CN102202569B - 移动体控制装置和移动体控制方法 - Google Patents

移动体控制装置和移动体控制方法 Download PDF

Info

Publication number
CN102202569B
CN102202569B CN200980143412.8A CN200980143412A CN102202569B CN 102202569 B CN102202569 B CN 102202569B CN 200980143412 A CN200980143412 A CN 200980143412A CN 102202569 B CN102202569 B CN 102202569B
Authority
CN
China
Prior art keywords
control signal
control
signal
moving body
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980143412.8A
Other languages
English (en)
Other versions
CN102202569A (zh
Inventor
山田整
高谷智哉
江部和俊
安德则耶·斯科奇
崔圭完
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, RIKEN Institute of Physical and Chemical Research filed Critical Toyota Motor Corp
Publication of CN102202569A publication Critical patent/CN102202569A/zh
Application granted granted Critical
Publication of CN102202569B publication Critical patent/CN102202569B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/80Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/84Wheelchairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

移动体控制装置包括:脑活动检测单元,用于检测用户的脑活动信息;脑信号分离单元,用于从检测到的用户的脑活动信息中将伪迹成分分离;控制信号产生单元,用于将从不包括伪迹成分的脑活动信息中提取脑数据的采样时段错开预定的时段,在将采样时段彼此交叠的情况下,计算错开的采样时段期间检测的脑数据的特征值,并根据计算得到的特征值产生控制信号;以及驱动/控制单元,用于根据产生的控制信号对其上或其中有用户在驾乘的移动体进行驱动控制。

Description

移动体控制装置和移动体控制方法
技术领域
本发明涉及移动体控制装置和移动体控制方法,用于控制与其上驾乘的用户一起行驶的移动体。具体地,本发明涉及移动体控制装置和移动体控制方法,用于基于用户的脑活动信息来对移动体进行驱动控制。
背景技术
近年来,提出了各种控制方法,作为用于通过利用用户的脑活动信息来操作移动体的方法。利用该脑活动信息的控制例如具有可以提供迅速、用户友好界面(或还可以被肢体残疾人使用的界面)的优势。传统的控制难于获得这样的优势,例如利用肌电位的控制和利用如操纵杆的操作系统的控制。
同时,已知一种活动支持系统,根据用户的注意程度和用户的视野中的注意区域来对电动轮椅进行驱动控制,该注意程度基于用户的脑电波强度的变化形式,该视野中的注意区域基于脑电波强度分布和视线(例如参见专利文献1)。此外,公开了一种技术,其中由脑电波控制的电动轮椅配置有各种障碍传感器,并且根据用户的需要通过利用来自障碍传感器的传感器信息来可靠地控制电动轮椅(例如参见非专利文献1)。
文献列表
专利文献
[专利文献1]日本未经审查的专利申请公开No.2007-202882
非专利文献
[非专利文献1]2007IEEE第十次国际会议(Adaptive Shared Control ofa Brain-Actuated Simulated Wheelchair)
发明内容
技术问题
顺便提及,由传感器检测的脑活动信息一般具有小的信号/噪声比。因此,难于通过分离并提取理想的脑活动信息来产生具有足够精度的控制信号。另一方面,专利文献1中公开的活动支持系统根据用户的注意程度和用户的视野中的注意区域来驱动控制电动轮椅。然而其结构和控制过程很复杂。在非专利文献1中公开的相关技术中,通过利用来自障碍传感器的传感器信息似乎可以更可靠地控制电动轮椅。然而,电动轮椅的结构和控制过程很复杂。
为解决上述问题提出本发明,并且本发明的主要目的是提供移动体控制装置和移动体控制方法,可以在简化控制过程的同时实现高精度控制。解决问题的方案
为了实现上述目的,本发明的一个方面是一种移动体控制装置,包括:脑活动检测单元,其检测用户的脑活动信息;脑信号分离单元,其从所述脑活动检测单元检测到的所述脑活动信息将伪迹成分分离;控制信号产生单元,其在被所述脑信号分离单元将所述伪迹成分分离出的所述脑活动信息中,以交叠方式使用于提取脑数据的采样时段以预定间隔滑动,分别计算对于在通过滑动获得的各个所述采样时段内所述脑数据的特征值,并且基于计算得到的所述特征值产生控制信号;以及驱动控制单元,其根据所述控制信号产生单元产生的控制信号来对其上有用户在驾乘的移动体进行驱动控制。根据此方面,可在简化控制过程的同时实现高精度控制。
在该方面中,还可包括产生教师信号的教师信号产生单元,其中,所述脑信号分离单元可利用由所述教师信号产生单元产生的所述教师信号来执行学习,并且根据用户将所述伪迹成分分离。
在该方面中,还可包括产生教师信号的教师信号产生单元,其中,所述控制信号产生单元可利用由所述教师信号产生单元产生的所述教师信号来计算所述特征值与所述控制信号之间的对应关系,并且基于所述特征值和计算得到的所述对应关系来产生所述控制信号。
在该方面中,还可包括:肌电位检测单元,其检测用户的肌电位;以及停止判定单元,其基于由所述肌电位检测单元检测到的所述肌电位来判定是否使所述移动体停止。当所述停止判定单元判定为要使所述移动体停止时,所述驱动控制单元控制所述移动体以使所述移动体停止。
在该方面中,可当所述驱动控制单元连续地从所述控制信号产生单元接收到相同的控制信号达预定次数或更多时,所述驱动控制单元执行与所述控制信号对应的控制。
在该方面中,所述控制信号产生单元可包括:信号产生单元,基于计算得到的所述特征值并基于所述特征值与控制信号之间的预设对应关系,连续地产生与所述特征值对应的控制信号;以及信号选择单元,将由所述信号产生单元连续地产生的控制信号分成群组,从每个所述群组选择至少一个控制信号,并且将所选择的所述控制信号输出到所述驱动控制单元,其中每个所述群组具有预定数目的连续的控制信号。
在该方面中,所述信号选择单元可针对各个所述群组选择每个所述群组中数目最多的类型的控制信号,并且可将所选择的控制信号输出到所述驱动控制装置。
在该方面中,所述信号选择单元形成的所述群组中的每个所述群组均具有当前控制信号和连续的之前控制信号。
在该方面中,所述控制信号产生单元可以基于肌电位检测单元检测到的所述肌电位产生控制信号,并且当将基于所述脑活动信息产生的控制信号与基于所述肌电位产生的控制信号相比较并且当它们彼此不同时,所述驱动控制单元根据基于所述肌电位产生的控制信号来对所述移动体进行驱动控制或使所述移动体停止。
此外,在该方面中,还可以设置检测用户的肌电位的肌电位检测单元。所述控制信号产生单元可以被配置为能够基于所述肌电位检测单元检测到的所述肌电位产生控制信号。此外,当基于所述脑活动信息的控制内容与基于所述肌电位的控制内容不同时,所述控制信号产生单元可以将表示基于所述肌电位的控制内容的控制信号提供给所述驱动控制单元。
此外,在该方面中,所述控制信号产生单元可以利用所述特征值逐次地进行判断,通过逐次地进行的判断的多个结果中的多数来确定一个控制内容。然后,所述控制信号产生单元可以将表示由所述多数确定的所述控制内容的控制信号提供给所述驱动控制单元。
此外,在该方面中,所述脑活动检测单元包括至少三个传感器组。这里,所述至少三个传感器组中的每组包括检测用户的脑电波信号的至少一个传感器。在该情况下,当基于由各个所述传感器组检测到的所述脑活动信息的控制内容彼此不同时,所述控制信号产生装置可以通过多数来确定一个控制内容,并且可以将表示由所述多数确定的所述控制内容的所述控制信号提供给所述驱动控制装置。此外,在该方面中,还可以设置感知装置,其用于基于由所述控制信号产生单元产生的控制信号来允许用户感知控制结果,并且所述感知单元可以是使控制结果可视化的视觉反馈单元。
另一方面,为了实现上述目的,本发明的另一方面是一种移动体控制方法,包括:脑活动检测步骤,其检测用户的脑活动信息;脑信号分离步骤,其从所述脑活动检测步骤中检测到的所述脑活动信息将伪迹成分分离;特征值计算步骤,其在所述脑信号分离步骤中将所述伪迹成分分离出的所述脑活动信息中,以交叠方式使用于提取脑数据的采样时段以预定间隔滑动,并分别计算对于在通过滑动获得的各个所述采样时段内的所述脑数据的特征值;控制信号产生步骤,基于所述特征值计算步骤中计算得到的所述特征值产生控制信号;以及驱动控制步骤,根据所述控制信号产生步骤中产生的控制信号来对其上有用户在驾乘的移动体进行驱动控制。
发明的有利效果
根据本发明,在移动体控制装置和移动体控制方法中,可以在简化控制过程的同时实现高精度控制。
附图说明
图1是示出根据本发明的第一实施例的移动体控制装置的系统结构的示例的框图;
图2是示出从上方观察时用户的头部的视图,并且示出了布置在头部上的五个电极;
图3A是示出脑数据的示例的图线,在该脑数据中,以规则的小间隔来划分各脑电波信号的采样时段;
图3B示出其中以交叠方式使脑电波信号X的采样时段以每个预定短时间滑动的状态的示例;
图4是示出根据本发明第一实施例的移动体控制装置的控制处理流程的示例的流程图;
图5是示出根据本发明的第二实施例的移动体控制装置的系统结构的示例的框图;
图6是示出根据本发明的第三实施例的移动体控制装置的系统结构的示例的框图;
图7是示出根据本发明的第三实施例的控制信号产生单元的信号选择单元的选择方法的示例的视图;
图8是示出根据本发明的第四实施例的移动体控制装置的系统结构的示例的框图;并且
图9是示出根据本发明的第五实施例的移动体控制装置的系统结构的示例的框图。
具体实施方式
以下将参照附图通过实施例描述实施本发明的最佳实施方式。
(第一实施例)
图1是示出根据本发明的第一实施例的移动体控制装置的系统结构的示例的框图。根据第一实施例的移动体控制装置10控制移动体(例如电动轮椅)11的驱动,移动体11在用户在其上驾乘的情况下移动。移动体控制装置10包括脑电仪1、教师信号产生单元2、脑信号分离单元3、控制信号产生单元4、驱动控制单元5和视觉反馈单元6。
注意,移动体控制装置10配置有微型计算机作为中心。微型计算机包括作为主要硬件构件的CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器),CPU执行控制处理、运算处理等,ROM存储由CPU执行的控制程序、运算程序等,RAM临时存储处理数据等。脑信号分离单元3、控制信号产生单元4、驱动控制单元5、视觉反馈单元6和后述的停止判定单元22例如通过存储在ROM中并由CPU执行的软件来实现。
脑电仪(脑活动检测单元)1例如包括布置在用户的头部上的五个电极1a、1b、1c、1d和1e(图2),并且测量和检测用户的头部的主运动区域附近的脑活动信息。各个电极1a至1e可以检测作为脑活动信息的脑电波信号,例如θ波(4~8Hz)、α波(8~12Hz)、β波(12~40Hz)。脑电仪1的电极1a至1e将测量得到的用户脑电波信号X1(t)、X2(t)、X3(t)、X4(t)、X5(t)(“t”表示时间)分别输出给脑信号分离单元3。
教师信号产生单元2为脑信号分离单元3和控制信号产生单元4中的每一者产生教师信号,如后文所述。教师信号产生单元2包括姿态传感器(例如陀螺传感器或加速度传感器),其可检测用户的头部的姿态值(侧倾角、俯仰角、横摆角等)。教师信号产生单元2基于姿态传感器检测得到的用户的姿态值来产生教师信号。
脑信号分离单元3首先将来自脑电仪1的电极1a至1e的脑电波信号放大,并将放大的信号转换为数字信号。此外,脑信号分离单元3执行适应性滤波处理,其用于通过利用盲信号分离算法来从被放大并被转换为数字信号的各个脑电波信号将伪迹(artifact)成分分离和移除。因此,从脑电波信号中将除脑活动外的由心肌、眼肌等引起的噪声信号(伪迹)移除。这可以提高脑电波信噪比并可以检测高精度的脑电波信号。应注意,盲信号分离算法是基于AMUSE方法的公知的信号分离算法,因此省略对其的描述。
此外,脑信号分离单元3可以基于从教师信号产生单元2输入的教师信号、通过利用学习算法(例如神经网络)来预先学习在用户(其在移动体11上驾乘)的脑电波信号中所包含的伪迹成分,并且可以针对各个用户构建最佳滤波器。由此,伪迹成分可以根据各个用户的特性而高精度地从脑电波信号中分离出。脑信号分离单元3将其中将伪迹成分分离出的脑电波信号输出到控制信号产生单元4。
控制信号产生单元4基于来自脑信号分离单元3的脑电波信号产生控制信号(例如,前进信号、后退信号、右转信号或左转信号)用于对移动体11进行驱动控制(例如,前进控制、后退控制、右转控制或左转控制)。
控制信号产生单元4基于由短时间序列构成的脑电波信号X1(t)、X2(t)、X3(t)、X4(t)、X5(t)、通过CSP方法(共同空间模式方法)连续地计算特征值fp。然后,控制信号产生单元4基于计算的特征值fp连续地产生控制信号。
如图3A所示,控制信号产生单元4首先在每个脑电波信号Xn(t)(n=1~5)中设定与间隔T1对应的帧,并计算每个脑电波信号在间隔T1内的fs×T1(fs:采样频率)个点处的值(脑数据)Dn(1)至Dn(fs×T1)。如上所述,控制信号产生单元4分别从脑电仪1的电极1a至1e的信号X1(t)、X2(t)、X3(t)、X4(t)、X5(t)提取脑数据D1(1)至D1(fs×T1)、D2(1)至D2(fs×T1)、D3(1)至D3(fs×T1)、D4(1)至D4(fs×T1)、D5(1)至D5(fs×T1)。然后,控制信号产生单元4基于提取的脑数据产生5(电极数)×fs×T1(采样时段T1内的脑数据项数)的矩阵E。
Figure BPA00001357897800071
此外,控制信号产生单元4基于所产生的矩阵E和通过已知的CSP方法获得的滤波W1和W1通过以下公式(1)计算特征值fp。
fp = var ( Zp ) Σ i = 1 2 var ( Zt ) = var ( WpE ) Σ i = 1 2 var ( WiE ) (1)式
注意上述的“var(Zp)”表示数据序列Zp的方差。
此外,控制信号产生单元4相继地计算在每个预定的短时间T2(例如,T2=125ms)处的特征值fp。具体地,如图3B所示,通过在每个脑电波信号Xn(t)中以交叠方式使采样时段T1以每个预定短时间(预定间隔)T2滑动,控制信号产生单元4相继地产生矩阵E,并连续地计算特征值fp。
控制信号产生单元4基于计算得到的特征值fp以例如线性SVM(支持向量机)的学习功能执行信号处理,并且产生控制信号。此外,控制信号产生单元4在初始设定时利用从教师信号产生单元2接收的教师信号、基于线性SVM预先执行学习,并且计算特征值fp和控制信号(例如,前进信号、后退信号、右转信号、左转信号、加速信号、减速信号或停止信号)之间的对应关系。
应注意,当对应关系的精度例如由于用户的脑活动状态的变化而劣化时,控制信号产生单元4可以自动地或通过用户的操作来在在线状态下基于线性SVM执行学习。控制信号产生单元4基于计算的特征值fp以及特征值fp与控制信号之间的对应关系连续地产生与特征值fp对应的控制信号,并连续地将产生的控制信号输出到驱动控制单元5和视觉反馈单元6的每个。
驱动控制单元5响应于来自控制信号产生单元4的控制信号连续地执行移动体11的驱动控制。例如,驱动控制单元5分别响应于来自控制信号产生单元4的前进信号、后退信号、右转信号、左转信号、加速信号、减速信号和停止信号来执行移动体11的前进控制、后退控制、右转控制、左转控制、加速控制、减速控制和停止控制。
驱动控制单元5例如控制用于驱动电动轮椅的右驱动轮和左驱动轮的右电机和左电机,从而可以执行电动轮椅的前进控制、后退控制、右转控制、左转控制、加速控制、减速控制和停止控制。
以该方式,驱动控制单元5响应于从控制信号产生单元4在短时间段内连续输出的控制信号来实时执行对移动体11的驱动控制。这可以高速地对移动体11进行高精度和平滑的驱动控制。
此外,视觉反馈单元6根据从控制信号产生单元4连续发送的控制信号向用户视觉地呈现控制结果。视觉反馈单元6例如分别通过利用右箭头、左箭头、上箭头、下箭头来描绘右转、左转、加速和减速。
接下来,将详细描述通过根据第一实施例的移动体控制装置10的移动体控制方法。图4是示出根据第一实施例的移动体控制装置的控制处理例程的示例的流程图。
脑电仪1的电极1a至1e的每个检测用户的脑电波(脑活动检测步骤)(步骤S100),并且将检测得到的用户的脑电波信号输出到脑信号分离单元3。
接下来,脑信号分离单元3通过利用盲信号分离算法执行滤波适应处理,以用于从脑电仪1的电极1a至1e的每个所接收的脑电波信号当中分离并移除伪迹成分(脑信号分离步骤)(步骤S101)。脑信号分离单元3将其中分离出伪迹成分的脑电波信号输出到控制信号产生单元4。
之后,控制信号产生单元4基于由短时间序列构成的脑电波信号、通过空间滤波来连续地计算特征值fp(p=1,2)(特征值计算步骤)(步骤S102)。然后,控制信号产生单元4基于计算得到的特征值fp执行辨别,连续地产生控制信号(控制信号产生步骤)(步骤S103),并将产生的控制信号连续地输出到驱动控制单元5。
驱动控制单元5响应于来自控制信号产生单元4的连续控制信号实施对移动体11的驱动控制(驱动控制步骤)(步骤S104)。
如上所述,在根据第一实施例的移动体控制装置10中,控制信号产生单元4在每个脑电波信号Xn(t)中以交叠方式使采样时段T1以各个预定短时间T2滑动,而连续地产生矩阵E,并连续地计算特征值fp。然后,驱动控制单元5响应于从控制信号产生单元4在短时间段内连续输出的控制信号来实时执行对移动体11的驱动控制。从而,以每个采样时段T1进行分段的脑电波信号中的控制和辨别以交叠方式以每个预定的短时间T2连续地重复。基于在短时段中连续获得的控制和辨别的组合结果,可以控制对移动体11的宏观操作。因此,可以实现高速地(实时地)实现对移动体11进行高精度和平滑的驱动控制。
此外,如上所述,通过简单的控制过程(其中在每个脑电波信号Xn(t)中以交叠方式使采样时段T1以每个预定短时间T2滑动,而连续地计算特征值fp,从而产生相应的控制信号),可以高速地实现对移动体11进行高精度和平滑的驱动控制。即,在移动体控制装置10和移动体控制方法中可以在简化控制过程的同时实现高精度控制。
(第二实施例)
图5是示出根据本发明的第二实施例的移动体控制装置的系统结构的示例的框图。根据第二实施例的移动体控制装置20除了根据第一实施例的移动体控制装置10的构件外还包括肌电位检测单元21和停止判定单元22。
肌电位检测单元21包括一个或多个肌电位传感器,例如干表面电极、湿表面电极、或银/氯化银板电极。连接到面颊或颈部区域等的肌电位传感器可以通过用户而被即时地移动。这可以容易并可靠地检测用户的肌电位。肌电位检测单元21的各个肌电位传感器将检测到的肌电位输出到停止判定单元22作为肌电位信号。
停止判定单元22基于来自肌电位检测单元21的肌电位信号来判定是否使移动体11停止。当判定为要使移动体11停止时,停止判定单元22向驱动控制单元5输出停止信号。一旦从停止判定单元22接收到停止信号,驱动控制单元5执行对移动体11的停止控制。
例如,当从肌电位检测单元21的肌电位传感器输出的肌电位信号等于或大于预定值并且当停止判定单元22将面颊(或颈部等)的运动判定为表示用户的紧急状态的运动时,停止判定单元22将停止信号输出到驱动控制单元5。在从停止判定单元22接收到停止信号时,驱动控制单元5执行停止控制以使移动体11紧急停止。
根据第二实施例的移动体控制装置20的其它构件大体上与根据第一实施例的移动体控制装置10的相同。因此,在根据第二实施例的移动体控制装置20中,相同的构件由相同的附图标记表示,并省略对其描述。
如上所述,在根据第二实施例的移动体控制装置20中,当基于来自肌电位检测单元21的肌电位信号判定为要使移动体11停止时,停止判定单元22向驱动控制单元5输出停止信号。然后,当从停止判定单元22接收到停止信号时,驱动控制单元5执行对移动体11的停止控制。这可以响应于当用户想使移动体11停止时用户的自然反应而可靠地使移动体11停止。
(第三实施例)
图6是示出根据本发明的第三实施例的移动体控制装置的系统结构的示例的框图。在根据第三实施例的移动体控制装置30中,控制信号产生单元34包括信号产生单元34a和信号选择单元34b,信号产生单元34a基于计算得到的特征值fp以及特征值fp与控制信号之间的对应关系连续地产生与特征值fp对应的控制信号,信号选择单元34b将信号产生单元34a连续地产生的控制信号分为群组,每个群组均具有预定数目(例如,三个)的连续控制信号,并针对每个群组选择每个群组中数量最多的那个类型的控制信号。
这里,信号选择单元34b形成的群组当中的每个均具有当前控制信号和连续的之前控制信号。例如,信号选择单元34b选择当前控制信号、之前控制信号和之前第二个控制信号作为一个群组。然而,被选择的控制信号不限于此。例如,选择当前制信号、之前控制信号、之前第二个控制信号和之前第三个控制信号作为一个群组。可以应用任意群组结构。应注意,随着作为构成一个群组的控制信号的数量增加,产生的控制信号的精度增加,允许对移动体11的更稳定的操作。此外,信号选择单元34b从每个群组选择一个控制信号,但是被选择的控制信号数量不限于此。可以选择多个控制信号。信号选择单元34b逐次地将控制信号输出到驱动控制单元5和视觉反馈单元6中的每一者。
例如,假定信号产生单元34a连续地产生用于“左转、前进、左转、左转、左转、前进、和前进”的控制信号。在该情况下,如图7所示,信号选择单元34b将信号产生单元34a所产生的连续控制信号分为以下群组:群组1(左转、前进、左转)、群组2(前进、左转、左转)、群组3(左转、左转、左转)、群组4(左转、左转、前进)、群组5(左转、前进、前进)、...。然后,信号选择单元34b针对每个群组选择每个群组中数量最多的类型的控制信号,即“左转、左转、左转、左转、前进”,并逐次地将所选择的控制信号输出到驱动控制单元5和视觉反馈单元6中的每一者。
以该方式,根据第三实施例的移动体控制装置30可以改善由控制信号产生单元34所产生的控制信号的精度,并且可以允许移动体11稳定地操作。例如,在一些情况下,移动体11的没经验的操作者不能准确地想像移动体11的操作,并且脑电波信号可能被扰乱。同样在此情况下,根据第三实施例的移动体控制装置30校正脑电波的扰动,从而允许操作者更准确地操作移动体11。应注意,表示与用户的真实意图不同的操作的脑信号的扰动例如可能在操作切换前瞬时出现。因此,基于多数逻辑来有效判定控制内容。然而,上述的信号选择单元34b可以例如基于时间均值、中值或统计值来选择控制信号,来代替基于多数逻辑选择每个群组中数量最多的类型的控制信号。
应注意,根据第三实施例的移动体控制装置30的其它构件大体上与根据第一实施例的移动体控制装置10的相同。因此,在根据第三实施例的移动体控制装置30中,相同的构件由相同的附图标记表示,并省略对其描述。
(第四实施例)
上述第二实施例示出了其中利用肌电位的检测结果实施移动体11的停止控制的示例。然而,对肌电位的利用不限于停止控制。在该实施例中,描述的具体示例中,将基于脑活动信息对移动体11的控制与基于肌电位对移动体11的控制相结合。
图8是示出根据本发明的第四实施例的移动体控制装置的系统结构的示例的框图。根据第四实施例的移动体控制装置40除根据第一实施例的移动体控制装置10的构件外还包括肌电位检测单元41。以与上述肌电位检测单元21相同的方式,肌电位检测单元41产生表示用户的肌电位的波动的肌电位信号。应注意,肌电位检测单元41可以具有与肌电位检测单元21相同的结构。所产生的肌电位信号被提供给控制信号产生单元4。
根据本实施例的控制信号产生单元4通过综合地使用从脑信号分离单元3提供的脑电波信号和从肌电位检测单元41提供的肌电位信号产生要被提供给驱动控制单元5的控制信号。具体地,控制信号产生单元4将基于脑电波信号(即,脑活动信息)的控制内容与基于肌电位信号(即,肌电位)的控制内容相比。然后,当这些内容彼此冲突时,控制信号产生单元4产生表示基于肌电位的控制内容的控制信号。换言之,相比脑活动信息优选地利用肌电位来控制移动体11的操作。例如,当脑活动信息表示前进而肌电位表示停止时,控制信号产生单元4产生用于使移动体11执行停止操作的控制信号。此外,例如,当脑活动信息表示笔直前进而肌电位表示左转或右转时,控制信号产生单元4产生用于使移动体11执行转向操作的控制信号。
根据该实施例,移动体11可以受到更安全的驱动控制。注意在根据该实施例的移动体控制装置40中,其它构件大体上与根据第一实施例的移动体控制装置10的相同。因此,在根据第四实施例的移动体控制装置40中,相同的构件由相同的附图标记表示,并省略对其描述。
(第五实施例)
上述的第二实施例示出了对由脑电仪获得的脑电波信号的输出进行采样并且对每个采样所表示的控制内容沿时间方向执行多数评估的示例。在该实施例中,包括在脑电仪中的多个传感器(例如电极)被分为三或更多个传感器组(例如,电极组),当同一时刻由每个传感器组的输出表示的控制内容彼此不同时,通过多数评估来选择一个控制内容。
图9是示出根据本发明的第五实施例的移动体控制装置50的系统结构的示例的框图。本实施例的脑电仪1中包括的电极被分为多个电极组。一个电极组包括至少一个电极。在图9的示例中,脑电仪1包括三个电极组G1至G3。
脑信号分离单元3执行从电极组G1至G3中包括的各个电极提供的模拟脑电波信号的数字采样,并且利用盲信号分离算法执行适应滤波处理,从而产生其中移除了伪迹成分的脑电波信号组。应注意,脑信号分离单元3中的信号处理可以类似于上述第一实施例。
控制信号产生单元4从脑信号分离单元3接收其中移除了伪迹成分的脑电波信号组,并且通过利用各个电极组G1至G3的脑电波信号、针对电极组G1至G3中的每个确定用于移动体11的控制内容(例如,前进控制、后退控制、右转控制或左转控制)。然后,当各个电极组G1至G3的控制内容彼此不同时,通过多数评估来确定一个控制内容。例如,当基于电极组G1和G2的输出确定的控制内容表示“左转”并且基于电极组G3的输出确定的控制内容表示“笔直前进”时,控制信号产生单元4将表示“左转”的控制信号提供给驱动控制单元5。
以该方式,在多个传感器组当中通过多数评估来确定用于移动体11的控制内容,从而可以进一步抑制脑电波的扰动带来的移动体11的失常的发生。
尽管以上通过实施例的方式描述了用于实施本发明的最佳方式,本发明不具体地限于以上实施例。只要不背离本发明的范围可以对以上实施例进行各种改变或替代。
在第一至第五实施例中,通过脑电仪1检测用户的脑活动信息,但是检测方法不限于此。例如,可以利用近红外光通过NIRS(近红外光谱)检测用户的脑活动信息。换言之,脑电仪1仅是脑活动检测单元的示例。作为脑活动检测单元,可以使用任意能检测用户的脑活动信息的脑电图仪。此外,用户的脑电波被用作为脑活动信息,但是脑活动信息不限于此。例如,可以使用如关于脑血流中充氧血红蛋白的信息的任何脑活动信息。
在第一至第五实施例中,脑电仪1包括五个电极1a至1e,但是脑电仪1的结构不限于此,例如,可以包括一个或任意数目的电极,并且其在头部上的安装位置也是任意的。
在第一至第五实施例中,脑信号分离单元3利用盲信号分离算法将伪迹成分从每个脑电波信号中分离,但是信号分离算法不限于此。只要可以适当地从每个脑电波信号分离出伪迹,可以使用任意的信号分离算法。
在第一至第五实施例中,驱动控制单元5可以具有限制器功能,其中仅当从控制信号产生单元4连续地接收到相同的控制信号达预定次数或更多次时,才执行与控制信号对应的移动体11的驱动控制。这允许对移动体11的高精度驱动控制。
在第一至第五实施例中,电动轮椅被用作为移动体11,但是本发明的应用不限于此。本发明可以被用于在用户在其上驾乘的情况下行驶的任意移动设备。此外,除移动设备外,本发明也可以用于作为控制对象的机器人、PC上的光标等。
在第一至第五实施例中,控制信号产生单元4和34基于产生的矩阵“E”通过上述公式(1)计算特征值fp,但是计算方法不限于此。用于脑电波信号的特征值可以通过任意计算方法来计算。
此外,在第一至第五实施例中,视觉反馈单元6响应于来自控制信号产生单元4的连续控制信号向用户视觉地呈现控制结果,但是方法不限于此。例如,可以使用声音等以听觉的方式、使用振动等以触觉的方式或它们的结合,将控制结果呈现给用户。可以使用任意允许用户感知控制结果的控制方法。此外,如果需要可以结合第一至第一实施例。
本申请基于并要求享有于2008年10月29日递交的日本专利申请No.2008-278348的优先权,在此通过引用引入其公开全文。
附图标记说明
1                    脑电仪
1a,1b,1c,1d,1e   电极
2                    教师信号产生单元
3                    脑信号分离单元
4,34                控制信号产生单元
5                    驱动控制单元
6                    视觉反馈单元
10,20,30,40,50   移动体控制装置
11                   移动体
21,41               肌电位检测单元
22                   停止判定单元
34a                  信号产生单元
34b                  信号选择单元
G1,G2,G3           电极组

Claims (14)

1.一种移动体控制装置,包括:
脑活动检测装置,其用于检测用户的脑活动信息;
脑信号分离装置,其用于从由所述脑活动检测装置检测到的所述脑活动信息将伪迹成分分离;
控制信号产生装置,其用于在被所述脑信号分离装置将所述伪迹成分分离出的所述脑活动信息中,以交叠方式使用于提取脑数据的采样时段以预定间隔滑动,分别计算对于在通过滑动获得的各个所述采样时段内的所述脑数据的特征值,并且基于计算得到的所述特征值产生控制信号;以及
驱动控制装置,其用于根据由所述控制信号产生装置产生的控制信号来对其上有用户在驾乘的移动体进行驱动控制,并且,
其中,所述控制信号产生装置包括:
信号产生单元,其基于计算得到的所述特征值并基于预定的在所述特征值与所述控制信号之间的对应关系,连续地产生与所述特征值对应的控制信号;以及
信号选择单元,其将由所述信号产生单元连续地产生的所述控制信号分成群组,从每个所述群组选择至少一个控制信号,并且将所选择的所述控制信号输出到所述驱动控制装置,其中每个所述群组具有预定数目的连续的控制信号。
2.根据权利要求1所述的移动体控制装置,还包括用于产生教师信号的教师信号产生装置,
其中,所述脑信号分离装置利用由所述教师信号产生装置产生的所述教师信号来执行学习,并且根据用户将所述伪迹成分分离。
3.根据权利要求1或2所述的移动体控制装置,还包括用于产生教师信号的教师信号产生装置,
其中,所述控制信号产生装置通过利用由所述教师信号产生装置产生的所述教师信号来计算所述特征值与所述控制信号之间的对应关系,并且基于所述特征值和计算得到的所述对应关系来产生所述控制信号。
4.根据权利要求1所述的移动体控制装置,还包括:
肌电位检测装置,其用于检测用户的肌电位;以及
停止判定装置,其用于基于由所述肌电位检测装置检测到的所述肌电位来判定是否使所述移动体停止,
其中,当所述停止判定装置判定为要使所述移动体停止时,所述驱动控制装置控制所述移动体以使所述移动体停止。
5.根据权利要求1所述的移动体控制装置,其中,当所述驱动控制装置连续地从所述控制信号产生装置接收到相同的控制信号达预定次数或更多时,所述驱动控制装置执行与所述控制信号对应的控制。
6.根据权利要求1所述的移动体控制装置,其中,
所述脑活动检测装置包括检测用户的脑电波信号的多个传感器,并且
所述控制信号产生装置在由所述多个传感器检测到的且将所述伪迹成分分离出的多个所述脑电波信号中,以交叠方式使用于提取脑数据的采样时段以预定间隔滑动,分别计算对于在通过滑动获得的各个所述采样时段内的所述脑数据的特征值,并且基于计算得到的多个所述特征值产生多个控制信号。
7.根据权利要求1所述的移动体控制装置,其中,所述信号选择单元针对各个所述群组选择每个所述群组中数目最多的类型的控制信号,并且将所选择的控制信号输出到所述驱动控制装置。
8.根据权利要求1所述的移动体控制装置,其中,所述信号选择单元形成的所述群组中的每个所述群组均具有当前控制信号和连续的之前控制信号。
9.根据权利要求1所述的移动体控制装置,还包括用于检测用户的肌电位的肌电位检测装置,其中,
所述控制信号产生装置能够基于所述肌电位检测装置检测到的所述肌电位产生所述控制信号,并且
当基于所述脑活动信息的控制内容与基于所述肌电位的控制内容不同时,所述控制信号产生装置将表示基于所述肌电位的控制内容的所述控制信号提供给所述驱动控制装置。
10.根据权利要求1所述的移动体控制装置,其中,所述控制信号产生装置利用所述特征值逐次地进行判断,通过逐次地进行的判断的多个结果中的多数来确定一个控制内容,并且将表示由所述多数确定的所述控制内容的所述控制信号提供给所述驱动控制装置。
11.根据权利要求1所述的移动体控制装置,其中
所述脑活动检测装置包括至少三个传感器组,
所述至少三个传感器组中的每组包括检测用户的脑电波信号的至少一个传感器,并且
当基于由各个所述传感器组检测到的所述脑活动信息的控制内容彼此不同时,所述控制信号产生装置通过多数来确定一个控制内容,并且将表示由所述多数确定的所述控制内容的所述控制信号提供给所述驱动控制装置。
12.根据权利要求1所述的移动体控制装置,还包括感知装置,其用于基于由所述控制信号产生装置产生的控制信号来允许用户感知控制结果。
13.根据权利要求12所述的移动体控制装置,其中,所述感知装置是使所述控制结果可视化的视觉反馈单元。
14.一种移动体控制方法,包括:
脑活动检测步骤,其检测用户的脑活动信息;
脑信号分离步骤,其从所述脑活动检测步骤中检测到的所述脑活动信息将伪迹成分分离;
特征值计算步骤,其在所述脑信号分离步骤中将所述伪迹成分分离出的所述脑活动信息中,以交叠方式使用于提取脑数据的采样时段以预定间隔滑动,并分别计算对于在通过滑动获得的各个所述采样时段内的所述脑数据的特征值;
控制信号产生步骤,其基于所述特征值计算步骤中计算得到的所述特征值产生控制信号;以及;
驱动控制步骤,其根据所述控制信号产生步骤中产生的所述控制信号来对其上有用户在驾乘的移动体进行驱动控制,并且
其中,所述控制信号产生步骤包括以下步骤:
基于计算得到的所述特征值并基于预定的在所述特征值与所述控制信号之间的对应关系,连续地产生与所述特征值对应的控制信号;以及
将连续地产生的所述控制信号分成群组,从每个所述群组选择至少一个控制信号,并且将所选择的所述控制信号输出,其中每个所述群组具有预定数目的连续的控制信号。
CN200980143412.8A 2008-10-29 2009-09-18 移动体控制装置和移动体控制方法 Expired - Fee Related CN102202569B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008278348 2008-10-29
JP2008-278348 2008-10-29
PCT/JP2009/004749 WO2010050113A1 (ja) 2008-10-29 2009-09-18 移動体制御装置及び移動体制御方法

Publications (2)

Publication Number Publication Date
CN102202569A CN102202569A (zh) 2011-09-28
CN102202569B true CN102202569B (zh) 2014-05-07

Family

ID=42128487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980143412.8A Expired - Fee Related CN102202569B (zh) 2008-10-29 2009-09-18 移动体控制装置和移动体控制方法

Country Status (4)

Country Link
US (1) US20110152709A1 (zh)
JP (1) JP5167368B2 (zh)
CN (1) CN102202569B (zh)
WO (1) WO2010050113A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101031507B1 (ko) * 2010-07-28 2011-04-29 (주)아이맥스 휴대용 뇌파 측정 및 제어 시스템
JP5711056B2 (ja) * 2011-06-21 2015-04-30 アイシン精機株式会社 脳波インターフェースシステム
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
CN103150007B (zh) * 2011-12-06 2016-03-30 联想(北京)有限公司 一种输入方法及装置
CN102880098A (zh) * 2012-10-07 2013-01-16 西北农林科技大学 一种基于脑电波轮椅控制器
US20150338917A1 (en) * 2012-12-26 2015-11-26 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
JP2014159766A (ja) * 2013-02-19 2014-09-04 Denso Corp 移動体用制御システム
WO2014158921A1 (en) * 2013-03-14 2014-10-02 Persyst Development Corporation Method and system to calculate qeeg
CN103750845B (zh) * 2014-01-06 2016-05-04 西安交通大学 一种自动去除近红外光谱信号运动伪迹的方法
CN104665790A (zh) * 2015-01-26 2015-06-03 周常安 耳戴式生理检测装置
CN105534648A (zh) * 2016-01-14 2016-05-04 马忠超 基于脑电波结合头部动作的轮椅控制方法及控制装置
JP6759496B2 (ja) * 2016-05-12 2020-09-23 株式会社国際電気通信基礎技術研究所 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム
EP3510986B1 (en) * 2016-09-06 2024-06-05 Cyberdyne Inc. Mobility device and mobility system
CN106648080A (zh) * 2016-12-06 2017-05-10 青岛海信电器股份有限公司 一种基于脑电波的设备控制方法及装置
CN107854127B (zh) * 2017-10-30 2021-04-09 苏州大学 一种运动状态的检测方法及装置
CN108399006B (zh) * 2018-02-11 2020-06-02 Oppo广东移动通信有限公司 信号处理方法及相关产品
CN108399007B (zh) * 2018-02-11 2021-08-24 Oppo广东移动通信有限公司 脑电波的采样区间调整方法及相关产品
CN110033772B (zh) * 2019-04-28 2021-04-20 中国科学院上海高等研究院 基于ppg信号的非声学语音信息检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1498595A (zh) * 2002-10-30 2004-05-26 ������������ʽ���� 利用脑电波信号的控制装置
CN101138495A (zh) * 2007-10-25 2008-03-12 中国科学院昆明动物研究所 一种电刺激噪声消除仪
CN101259015A (zh) * 2007-03-06 2008-09-10 李小俚 一种脑电信号分析监测方法及其装置
US7460905B2 (en) * 2005-01-14 2008-12-02 Nihon Kohden Corporation System for displaying vital sign data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223851B2 (ja) * 1997-07-04 2001-10-29 日産自動車株式会社 メンタルストレス判定装置
JPH11198075A (ja) * 1998-01-08 1999-07-27 Mitsubishi Electric Corp 行動支援装置
JP3160621B2 (ja) * 1998-05-21 2001-04-25 京都大学長 脳波測定装置
JP4687935B2 (ja) * 2000-03-13 2011-05-25 国立大学法人北海道大学 個人適応型生体信号被動機器制御システム
LU90582B1 (en) * 2000-05-16 2001-11-19 Europ Economic Community System for identifying brain activity
CN100506147C (zh) * 2001-06-13 2009-07-01 康普麦迪克斯有限公司 用于监测意识的方法和设备
US6587713B1 (en) * 2001-12-14 2003-07-01 Bertha Freeman Brainwave responsive wheelchair
KR100495504B1 (ko) * 2002-12-12 2005-06-14 한국전자통신연구원 뇌파를 이용한 자동차 브레이크 제어 장치 및 제어 방법
JP2005143896A (ja) * 2003-11-17 2005-06-09 Nissan Motor Co Ltd 運転者心理状態判定装置
EP2508124A3 (en) * 2003-11-18 2014-01-01 Adidas AG System for processing data from ambulatory physiological monitoring
JP2006051343A (ja) * 2004-07-16 2006-02-23 Semiconductor Energy Lab Co Ltd 生体信号処理装置、無線メモリ、生体信号処理システム及び被制御装置の制御システム
WO2006121455A1 (en) * 2005-05-10 2006-11-16 The Salk Institute For Biological Studies Dynamic signal processing
JP5150942B2 (ja) * 2006-02-03 2013-02-27 株式会社国際電気通信基礎技術研究所 活動補助システム
WO2009042170A1 (en) * 2007-09-26 2009-04-02 Medtronic, Inc. Therapy program selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1498595A (zh) * 2002-10-30 2004-05-26 ������������ʽ���� 利用脑电波信号的控制装置
US7460905B2 (en) * 2005-01-14 2008-12-02 Nihon Kohden Corporation System for displaying vital sign data
CN101259015A (zh) * 2007-03-06 2008-09-10 李小俚 一种脑电信号分析监测方法及其装置
CN101138495A (zh) * 2007-10-25 2008-03-12 中国科学院昆明动物研究所 一种电刺激噪声消除仪

Also Published As

Publication number Publication date
US20110152709A1 (en) 2011-06-23
JP5167368B2 (ja) 2013-03-21
JPWO2010050113A1 (ja) 2012-03-29
CN102202569A (zh) 2011-09-28
WO2010050113A1 (ja) 2010-05-06

Similar Documents

Publication Publication Date Title
CN102202569B (zh) 移动体控制装置和移动体控制方法
CN109310561B (zh) 运动示教系统和运动示教方法
EP2613222B1 (en) Apparatus and method to determine a decision of a user based on brain wave analysis
Kohlmorgen et al. Improving human performance in a real operating environment through real-time mental workload detection
CN108351701B (zh) 辅助技术控制系统及相关方法
Müller et al. Proposal of a SSVEP-BCI to command a robotic wheelchair
Muscillo et al. Early recognition of upper limb motor tasks through accelerometers: real-time implementation of a DTW-based algorithm
EP3836836B1 (en) Real-time spike detection and identification
EP2271254A1 (en) A method and system for concentration detection
CN106648087B (zh) 一种基于意识任务的特征eeg处理方法
Ahamed et al. Fuzzy inference system-based recognition of slow, medium and fast running conditions using a triaxial accelerometer
Bousseta et al. EEG efficient classification of imagined hand movement using RBF kernel SVM
KR102282101B1 (ko) 기능적 근적외선 분광법을 이용한 대상체의 상태를 결정하기 위한 방법 및 시스템
Abiri et al. A real-time brainwave based neuro-feedback system for cognitive enhancement
KR101539923B1 (ko) 이중 기계학습 구조를 이용한 생체신호 기반의 안구이동추적 시스템 및 이를 이용한 안구이동추적 방법
Labib et al. Multiple classification techniques toward a robust and reliable P300 BCI system
Huve et al. Online recognition of the mental states of drivers with an fnirs-based brain-computer interface using deep neural network
Amor et al. A deep learning based approach for Arabic Sign language alphabet recognition using electromyographic signals
Sepulveda et al. A comparison of mental task combinations for asynchronous EEG-based BCIs
POMŠÁR et al. Using surface electromyography for gesture detection
Abdullah et al. EEG Emotion Detection Using Multi-Model Classification
KR20200144996A (ko) 근육시너지 라이브러리를 이용한 운동 코칭 시스템 및 근육시너지 라이브러리를 이용한 근육시너지 특성 산출방법
Abuzaher et al. Mind-wave wheelchair system
Geyik et al. Decoding human intent using a wearable system and multi-modal sensor data
Amor et al. Deep learning approach for sign language's handshapes recognition from EMG signals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Free format text: FORMER OWNER: PHYSICAL CHEMISTRY INST

Effective date: 20140704

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140704

Address after: Aichi Prefecture, Japan

Patentee after: Toyota Motor Corp.

Address before: Aichi Prefecture, Japan

Patentee before: Toyota Motor Corp.

Patentee before: RIKEN

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507