CN112433600A - 信息处理装置、存储介质及信息处理方法 - Google Patents

信息处理装置、存储介质及信息处理方法 Download PDF

Info

Publication number
CN112433600A
CN112433600A CN202010030546.7A CN202010030546A CN112433600A CN 112433600 A CN112433600 A CN 112433600A CN 202010030546 A CN202010030546 A CN 202010030546A CN 112433600 A CN112433600 A CN 112433600A
Authority
CN
China
Prior art keywords
user
information
living body
processor
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010030546.7A
Other languages
English (en)
Inventor
佐藤雅弘
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agama X Co Ltd
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN112433600A publication Critical patent/CN112433600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/021Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a variable is automatically adjusted to optimise the performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/082Evaluation by breath analysis, e.g. determination of the chemical composition of exhaled breath
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Vascular Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)

Abstract

一种信息处理装置、存储介质及信息处理方法,在利用活体信息来操作设备的情况下,能够提高设备的操作精度。信息处理装置具有处理器,所述处理器根据从受到来自外部的刺激的用户产生的活体信息来操作设备。

Description

信息处理装置、存储介质及信息处理方法
技术领域
本发明涉及一种信息处理装置、存储介质及信息处理方法。
背景技术
可以考虑使用脑电波等活体信息来操作设备。
在专利文献1中记载有一种装置,其从使用者的脑电波中检测出脑电波活体信号,从使用者的表面肌电位中检测出表面肌电位活体信号,并根据两种活体信号来运算控制信号。
在专利文献2中记载有一种装置,其获取使用者的脑电波,并根据通过分析该脑电波而得到的分析结果选择性地操作多个被操作装置。
专利文献1:日本特开2015-211705号公报
专利文献2:日本特开2016-067922号公报
并不限定于能够根据活体信息正确地操作设备。
发明内容
本发明的目的在于,在利用活体信息来操作设备的情况下,提高设备的操作精度。
方案1所涉及的发明为信息处理装置,其具有处理器,所述处理器根据从受到来自外部的刺激的用户产生的活体信息来操作设备。
方案2所涉及的发明在第1方式所涉及的信息处理装置中,其特征在于,在所述活体信息与表示所述设备的操作的基准活体信息的差异在容许范围内的情况下,所述处理器根据所述活体信息来操作所述设备。
方案3所涉及的发明在方案1或方案2所述的信息处理装置中,其特征在于,所述处理器在根据所述活体信息来操作所述设备之前输出询问所述用户是否可以操作所述设备的信息,在从所述用户接收到操作所述设备的指示的情况下操作所述设备。
方案4所涉及的发明在方案3所述的信息处理装置中,其特征在于,在停止所述设备的动作的情况下,所述处理器不询问所述用户是否可以操作所述设备而停止所述设备的动作。
方案5所涉及的发明在方案3所述的信息处理装置中,其特征在于,在使所述设备的性能级别降低的情况下,所述处理器不询问所述用户是否可以操作所述设备而使所述设备的性能级别。
方案6所涉及的发明在方案1至方案5中任一项所述的信息处理装置中,其特征在于,来自所述外部的刺激是所述用户的对话对方的语音。
方案7所涉及的发明在方案1至方案5中任一项所述的信息处理装置中,其特征在于,来自所述外部的刺激是气味。
方案8所涉及的发明在方案1至方案5中任一项所述的信息处理装置中,其特征在于,来自所述外部的刺激是温度。
方案9所涉及的发明在方案1至方案5中任一项所述的信息处理装置中,其特征在于,来自所述外部的刺激是所述用户肉眼观察到的状况。
方案10所涉及的发明在方案1至方案9中任一项所述的信息处理装置中,其特征在于,在所述用户的睡眠中,所述处理器不会根据所述活体信息来操作所述设备。
方案11所涉及的发明在方案1至方案10中任一项所述的信息处理装置中,其特征在于,所述处理器根据所述活体信息的变化大小来变更所述设备的性能级别。
方案12所涉及的发明在方案1至方案10中任一项所述的信息处理装置中,其特征在于,所述处理器根据所述活体信息的变化速度来变更所述设备的性能级别。
方案13所涉及的发明在方案1至方案12中任一项所述的信息处理装置中,其特征在于,在从所述用户测定出多个活体信息的情况下,所述处理器按照预先确定的优先顺序并根据活体信息来操作所述设备。
方案14所涉及的发明在方案1至方案12中任一项所述的信息处理装置中,其特征在于,从所述用户测定出表示对所述设备的操作的活体信息的时刻在预先确定的时间内,从所述用户测定出表示与所述操作不同的操作的其他活体信息的情况下,所述处理器按照预先确定的优先顺序并根据活体信息来操作所述设备。
方案15所涉及的发明在方案1至方案14中任一项所述的信息处理装置中,其特征在于,所述活体信息是脑电波。
方案16所涉及的发明为存储介质,其存储有使计算机根据从受到来自外部的刺激的用户产生的活体信息来操作设备的程序。
方案17所涉及的发明为信息处理方法,其包括如下步骤:
根据从受到来自外部的刺激的用户产生的活体信息来操作设备。
发明效果
根据本发明的第1、2、16、17方案,在利用活体信息来操作设备的情况下,能够提高设备的操作精度。
根据本发明的第3方案,能够防止违背用户的意图而操作设备。
根据本发明的第4方案,不需要花时间回答询问便能够停止设备的动作。
根据本发明的第5方案,不需要花时间询问便能够降低设备的性能级别。
根据本发明的第6方案,能够从接收到对话对方的语音的用户产生的活体信息来操作设备。
根据本发明的第7方案,能够根据从闻到气味的用户产生的活体信息来操作设备。
根据本发明的第8方案,能够根据从感觉到温度的用户产生的活体信息来操作设备。
根据本发明的第9方案,能够根据用户肉眼观察到的状况并基于从该用户产生的活体信息来操作设备。
根据本发明的第10方案,防止在用户的睡眠中根据活体信息来操作设备。
根据本发明的第11、12方案,能够根据活体信息来变更设备的性能级别。
根据本发明的第13、14方案,即使在测定出多个活体信息的情况下,也能够根据活体信息来操作设备。
根据本发明的第15方案,能够根据脑电波来操作设备。
附图说明
根据以下附图,对本发明的实施方式进行详细叙述。
图1是表示本实施方式所涉及的信息处理系统的结构的框图;
图2是表示本实施方式所涉及的信息处理装置的结构的框图;
图3是表示管理表的图;
图4是表示管理表的图。
符号说明
10-信息处理装置,12-活体信息测定装置,22-设备,30-处理器。
具体实施方式
参考图1,对本实施方式所涉及的信息处理系统进行说明。图1中示出本实施方式所涉及的信息处理系统的结构的一例。
本实施方式所涉及的信息处理系统包括信息处理装置10、一个或多个活体信息测定装置12、一个或多个麦克风14、一个或多个相机16、一个或多个臭气传感器18、一个或多个温度传感器20及一个或多个设备22。另外,图1所示的各装置及各传感器的数量只是一例,各装置及各传感器的数量并不限定于图1所示的各装置及各传感器的数量。并且,信息处理系统可以包括除了图1所示的装置以外的其他装置(例如服务器等外部装置)。
信息处理装置10、活体信息测定装置12、麦克风14、相机16、臭气传感器18、温度传感器20及设备22以与其他装置或其他传感器等进行通信的方式构成。该通信可以是利用电缆的有线通信,也可以是无线通信。即,各装置及各传感器可以通过电缆而与其他装置和其他传感器等物理连接来彼此收发信息,也可以通过无线通信而彼此收发信息。作为无线通信,例如可以使用近距离无线通信和Wi-Fi(注册商标)等。也可以使用除此以外的标准的无线通信。近距离无线通信例如为Bluetooth(蓝牙)(注册商标)、RFID(Radio FrequencyIdentifier:射频识别符)、NFC等。各装置可以经由LAN(Local Area Network:局域网)和互联网等通信路径而与其他装置和其他传感器等进行通信。
信息处理装置10例如是个人电脑(以下,称为“PC”)、平板电脑、智能手机、移动电话或其他装置。信息处理装置10可以是用户能够携带的终端装置(例如平板电脑、智能手机、移动电话等),也可以是设置于桌子等上使用的装置。信息处理装置10可以是具有通信功能、麦克风及扬声器的智能扬声器。信息处理装置10可以设置于室内(例如房间的地板、天花板、桌子等),也可以设置于室外。并且,信息处理装置10可以是能够移动的装置(例如自推进装置)。
活体信息测定装置12可以具有传感器和电极等,并以测定用户的活体信息的方式构成。在信息处理系统中包括多个活体信息测定装置12的情况下,各活体信息测定装置12可以测定不同种类的活体信息。当然,所有活体信息测定装置12中的一部分或全部可以以测定相同种类的活体信息的方式构成。并且,各活体信息测定装置12可以以测定一种活体信息的方式构成,也可以以测定多种活体信息的方式构成。
活体信息测定装置12将由本装置测定出的活体信息发送到信息处理装置10。活体信息测定装置12可以在每次测定活体信息时将活体信息发送到信息处理装置10,也可以存储活体信息并按预先确定的时间间隔将活体信息发送到信息处理装置10,在用户所指定的定时将活体信息发送到信息处理装置10。并且,活体信息测定装置12可以从其他活体信息测定装置12接收由该其他活体信息测定装置12所测定出的活体信息,并将本装置所测定出的活体信息和该其他活体信息测定装置12所测定出的活体信息发送到信息处理装置10。
活体信息测定装置12可以分析本装置或其他活体信息测定装置所测定出的活体信息,并将表示该分析结果的信息发送到信息处理装置10。例如,活体信息测定装置12可以包括处理器,该处理器分析活体信息。当然,可以在信息处理装置10中进行该分析。
活体信息测定装置12包括电池,可以通过从该电池供给的电力而驱动,也可以从信息处理装置10接收电力供给而驱动。
活体信息测定装置12可以是活体信息测定装置12整体安装于用户并测定活体信息的穿戴式装置。例如,活体信息测定装置12可以是安装于用户头部的装置,可以是安装于用户耳朵上的可听装置,可以是安装于用户的手臂、手、手腕、手指等上的装置(例如手表型装置等),可以是挂在用户脖子上的装置,也可以是安装于用户的身体和腿等上的装置。
活体信息是从作为活体的用户发出的各种生理学信息和解剖学信息。在活体信息概念的范畴中,例如包括表示大脑活动的信息(例如脑电波、脑血流量、脑磁场信号等)、脉搏数、血压、心跳数、心电图波形、肌电图波形、眼球运动、体温、出汗量、视线、语音及用户的移动等。这些只是活体信息的一例,其他生理学信息和解剖学信息可以用作活体信息。活体信息测定装置12可以测定这些活体信息中的一个活体信息,也可以测定多个活体信息。
信息处理装置10从活体信息测定装置12接收活体信息而进行活体信息的分析、活体信息的存储、活体信息的输出、表示活体信息的分析结果的信息的存储、及表示活体信息的分析结果的信息的输出等。当然,可以通过活体信息测定装置12进行活体信息的分析。输出活体信息例如是显示活体信息、输出活体信息作为语音信息等。输出表示活体信息的分析结果的信息例如是显示表示分析结果的信息、输出分析结果作为语音信息等。信息处理装置10可以将活体信息和表示分析结果的信息发送到其他装置。
信息处理装置10可以包括一个或多个活体信息测定装置12。即,一个或多个活体信息测定装置12可以组装于信息处理装置10,也可以构成一个装置。包括一个或多个活体信息测定装置12的信息处理装置10整体可以安装于用户来测定活体信息。即,信息处理装置10可以是穿戴式装置。例如,信息处理装置10可以是安装于用户头部的装置,也可以是安装于用户耳朵上的可听装置,也可以是安装于用户的手臂、手、手腕、手指等上的装置(例如手表型装置),可以是挂在用户脖子上的装置,也可以是安装于用户的身体和腿等上的装置。
当然,信息处理装置10和活体信息测定装置12可以是单独的装置。例如,信息处理装置10可以是智能扬声器,活体信息测定装置12可以是安装于用户的穿戴式装置。
麦克风14是收集声波的装置。麦克风14的周围的声音(例如人的语音和其他声音)输入到麦克风14中,并由麦克风14生成声音数据。表示输入到麦克风14中的声音的声音数据相当于表示麦克风14的周围环境的环境信息的一例。从这个意义上讲,麦克风14相当于环境信息测定装置的一例。并且,表示输入到麦克风14中的用户语音的声音数据相当于该用户的活体信息的一例。从这个意义上讲,麦克风14相当于测定该用户的活体信息的活体信息测定装置的一例。
相机16是摄影装置。由相机16来拍摄信息处理装置10的周围和其他位置,以生成表示该周围的图像数据和表示其他位置的图像数据。该图像数据可以是动态图像数据,也可以是静态图像数据。由相机16拍摄的图像数据相当于表示包括在相机16的摄影范围内的环境的环境信息的一例。从这个意义上讲,相机16相当于环境信息测定装置的一例。并且,通过由相机16拍摄用户而生成的表示该用户的图像数据相当于该用户的活体信息的一例。例如,从该图像数据中检测的该用户的移动和该用户的体型等相当于该用户的活体信息的一例。从这个意义上讲,相机16相当于测定该用户的活体信息的活体信息测定装置的一例。
臭气传感器18是测定臭气传感器18的周围的气味,并生成表示所测定出的气味的臭气数据的装置。表示由臭气传感器18测定出的气味的臭气数据相当于表示臭气传感器18的周围环境的环境信息的一例。从这个意义上讲,臭气传感器18相当于环境信息测定装置的一例。并且,表示由臭气传感器18测定出的用户气味的臭气数据相当于该用户的活体信息的一例。从这个意义上讲,臭气传感器18相当于测定该用户的活体信息的活体信息测定装置的一例。
温度传感器20是测定温度传感器20的周围温度,并生成表示所测定出的温度的温度数据的装置。表示由温度传感器20测定出的温度的温度数据相当于表示温度传感器20的周围环境的环境信息的一例。从这个意义上讲,温度传感器20相当于环境信息测定装置的一例。并且,表示由温度传感器20测定出的用户的温度的温度数据相当于该用户的活体信息的一例。从这个意义上讲,温度传感器20相当于测定该用户的活体信息的活体信息测定装置的一例。
另外,相机16、臭气传感器18及温度传感器20可以包括在信息处理系统中,其中至少一个可以包括在信息处理系统中。除此以外的环境信息测定装置(例如湿度传感器、照度传感器、气压传感器、红外线传感器等)可以包括在信息处理系统中。一个或多个环境信息测定装置可以包括在信息处理装置10中。例如,相机16可以包括在信息处理装置10中。并且,麦克风14可以包括在信息处理装置10中。
设备22例如是PC、平板电脑、智能手机、移动电话、机器人(例如人形机器人、非人类动物形机器人、清洁机器人及除此以外的机器人等)、投影仪、液晶显示器等显示装置、记录装置、再生装置、相机等摄像装置、冰箱、电饭煲、微波炉、咖啡机、吸尘器、洗衣机、空调、照明设备、钟表、监控相机、汽车、二轮车、航空器(例如无人航空器(例如无人机))、游戏机、煤气灶、热水清洗坐垫器、通风扇、门铃、入口监控器、电梯、门、窗或各种感应设备(例如温度传感器、湿度传感器、电压传感器、电流传感器等)等装置。在设备22的概念范畴中可以包括所有设备。例如,信息设备、影像设备、音响设备、其他设备也可以包括在本实施方式所涉及的设备22的范畴中。
以下,对信息处理装置10的结构进行详细说明。
信息处理装置10例如包括通信装置24、UI26、存储装置28及处理器30。信息处理装置10可以包括除此以外的结构。
通信装置24是通信接口,具有向其他装置发送数据的功能、以及接收从其他装置发送过来的数据的功能。通信装置24可以具有无线通信功能,也可以具有有线通信功能。通信装置24例如可以通过利用近距离无线通信而与其他装置进行通信,也可以经由LAN和互联网等通信路径而与其他装置进行通信。通信装置24通过与活体信息测定装置12进行通信而接收从活体信息测定装置12发送过来的活体信息。通信装置24可以将用于控制活体信息测定装置12的动作的控制信息发送到活体信息测定装置12。并且,通信装置24通过与环境信息测定装置进行通信而接收从环境信息测定装置发送过来的环境信息。通信装置24可以将用于控制环境信息测定装置的动作的控制信息发送到环境信息测定装置。
UI26是用户界面,包括显示装置和操作装置。显示装置是液晶显示器和EL显示器等。操作装置是键盘、输入键、操作面板等。UI26可以是兼具显示装置和操作装置的触摸面板等UI。并且,麦克风可以包括在UI26中,发出声音的扬声器可以包括在UI26中。
存储装置28是构成存储各种数据的一个或多个存储区域的装置。存储装置28例如是硬盘驱动器、各种存储器(例如RAM、DRAM、ROM等)、其他存储装置(例如光盘等)或它们的组合。一个或多个存储装置28包括在信息处理装置10中。
在存储装置28中存储有管理信息。管理信息是用于对用于操作设备22的活体信息进行管理的信息。例如,每当操作设备22时,表示设备22的操作的控制信息和基准活体信息预先建立关联而登录在管理信息中,所述基准活体信息假定在操作该设备22时从进行该操作的用户产生。也可以说基准活体信息是表示设备22的操作的信息。针对每个用户,控制信息和基准活体信息可以被建立关联而登录在管理信息中。
处理器30以根据从受到来自外部的刺激的用户产生的活体信息来操作设备22的方式构成。
来自外部的刺激例如是与设备22的操作有关的刺激。例如,设备22的操作所需环境等相当于来自外部的刺激的一例。设备22的操作所需环境,例如是与设备22有关的对话、设备22的操作所需气味和温度等。处理器30根据由环境信息测定装置测定出的环境信息来检测来自外部的刺激,并判断用户是否从外部受到刺激。并且,处理器30判断从用户测定出的活体信息是否为从受到来自外部的刺激的该用户产生的活体信息。即,处理器30判断从用户测定出的活体信息是否为因来自外部的刺激而从该用户产生的活体信息。在从用户测定出的活体信息是从受到来自外部的刺激的该用户产生的活体信息的情况下,即,在从用户测定出的活体信息是因来自外部的刺激而从该用户产生的活体信息的情况下,处理器30根据该活体信息来操作设备22。环境信息测定装置例如是麦克风14、相机16、臭气传感器18及温度传感器20等。除此以外的传感器等可以用作环境信息测定装置。处理器30例如根据由麦克风14测定出的声音数据、由相机16拍摄的图像数据、由臭气传感器18测定出的臭气数据及由温度传感器20测定出的温度数据中的至少一种数据来判断用户是否从外部受到刺激。处理器30可以根据除此以外的数据来判断用户是否从外部受到刺激。
例如,用户及其周围被相机16拍摄,处理器30分析通过该拍摄而生成的图像数据,由此判断该用户是否从外部受到刺激。举出具体例进行说明,在图像数据中显示出用户的手被捏住的状态的情况下,处理器30识别为此时所测定出的活体信息(例如脑电波)是因用户的手被捏住的来自外部的刺激而从该用户产生的活体信息。
例如,测定特定的环境信息,推测为在测定出该特定的环境信息之后从用户测定出的活体信息是从受到来自外部的刺激的该用户产生的活体信息。即,推测为所测定出的活体信息是因来自外部的刺激而从用户产生的活体信息。该情况下,特定的环境信息表示的环境相当于来自外部的刺激的一例。例如,推测为在从测定出特定的环境信息的时刻到经过预先确定的时间为止的期间从用户测定出的活体信息是从受到来自外部的刺激的该用户产生的活体信息。特定的环境信息表示的环境例如是与设备22的操作有关的环境。例如,在测定出与设备22的操作有关的特定的环境信息的情况下,处理器30根据在测定出该特定的环境信息之后从用户测定出的活体信息来操作设备22。根据因来自外部的刺激而从用户产生的活体信息来操作设备22,由此能够反映用户的意图而提高设备22的操作精度。
例如,在从用户产生并由活体信息测定装置12测定出的活体信息与登录在管理信息中的基准活体信息的差异在容许范围内的情况下,处理器30通过将与该基准活体信息建立关联的控制信息发送到设备22而操作该设备22。容许范围例如被预先确定。可以由用户变更容许范围。
例如,处理器30判断从用户测定出的活体信息表示的波形与基准活体信息表示的波形的差异是否包括在容许范围内。作为用于该判断的要素,例如使用波形形状、峰值、周期或振幅等波形特征。
例如,可以由测定大脑活动的活体信息测定装置12和信息处理装置10来构建脑机接口。脑机接口方式可以是侵入式,也可以是非侵入式。该情况下,处理器30根据用户的大脑活动(例如脑电波等)来操作设备22。处理器30为了操作设备22而可以从脑电波中提取特征成分,并根据所提取的成分来操作设备22。为了从脑电波中提取特征成分,可以使用高速傅里叶变换(FFT:Fast Fourier Transform:快速傅立叶变换)、小波变换(WT:WaveletTransform)、TFD(Time Frequency Distribution:时间频率分布)、EM(EigenvectorMethods:特征向量法)、自回归模型(ARM:Autoregressive Model)等。并且,作为使用通过特征的提取而得到的特征矢量来连接脑电波和设备22的操作的方法,例如可以使用独立成分分析(ICA:Independent Component Analysis:独立成分分析)、k平均法、支持向量机(SVM:Support Vector Machine)、卷积神经网络等。
并且,处理器30以控制信息处理装置10的各部的动作的方式构成。处理器30可以包括存储器。
以下,举出具体例对本实施方式所涉及的信息处理系统进行详细说明。
图3中示出作为管理信息的一例的管理表的一例。管理表的数据存储在存储装置28中。管理表的数据可以不存储在存储装置28中,而存储在服务器等外部装置中。
在管理表中,每当操作设备22时,ID、设备信息、控制信息、作为基准活体信息的一例的基准脑电波预先被建立关联。图3所示的管理表不是反映出各个用户的具体的活体信息的管理表。在此,作为活体信息的一例而使用脑电波,但是也可以使用除了脑电波以外的活体信息。
ID是用于管理设备22的操作的信息。设备信息是用于识别被操作的设备22的信息,例如是该设备22的名称、设备ID或型号等。控制信息是表示该设备22的操作的信息。基准脑电波是表示该设备22的操作的活体信息,而且是假定在操作该设备22时从进行该操作的用户产生的活体信息。基准脑电波例如是通过统计处理而被确定,并且假定通常从进行与该基准脑电波建立关联的操作的用户产生的脑电波。另外,脑电波本身(即,波形)未登录于管理表中,表示通过分析脑电波而被确定的操作的信息可以登录在管理表中。
以下,举出具体例进行说明。
与ID“1”建立关联的信息是与作为设备22的一例的“空调α”的操作有关的信息。
与ID“1”建立关联的控制信息是表示当““空调α”的电源断开时接通电源”的操作的信息。
与ID“1”建立关联的基准脑电波是表示“接通“空调α”的电源”的操作的脑电波。即,该基准脑电波是在“空调α”的电源断开的情况下假定当用户接通电源时从该用户发出的脑电波。
例如,当“空调α”的电源断开时,因来自外部的刺激而从用户测定出与ID“1”建立关联的基准脑电波的情况下,处理器30按照与ID“1”建立关联的控制信息而接通“空调α”的电源。例如,处理器30通过将与ID“1”建立关联的控制信息发送到“空调α”而接通“空调α”的电源。
当“空调α”的电源断开时,因来自外部的刺激而从用户测定出和与ID“1”建立关联的基准脑电波的差异包括在容许范围内的脑电波的情况下,处理器30可以按照与ID“1”建立关联的控制信息而接通“空调α”的电源。例如,处理器30根据从用户测定出的脑电波和基准脑电波中分别提取脑电波形状、峰值、周期及振幅等的特征,比较各波形的特征,并判断两个波形的特征差异是否在容许范围内。
并且,处理器30可以计算从用户测定出的脑电波与基准脑电波之间的相似度,并判断该相似度是否为阈值以上。阈值是对应于容许范围的值。在两个波形之间的相似度为阈值以上的情况下,处理器30判断为两个波形相似,并判断为从用户测定出的波形与基准脑电波的差异在容许范围内。即,当“空调α”的电源断开时,在从用户测定出和与ID“1”建立关联的基准脑电波之间的相似度成为阈值以上的脑电波的情况下,处理器30可以按照与ID“1”建立关联的控制信息而接通“空调α”的电源。
关于除了ID“1”的操作以外的操作,也与关于ID“1”的操作同样地,根据因来自外部的刺激而产生的用户的脑电波来操作设备22。
另外,每当操作设备22时,多个不同的基准活体信息的组合与控制信息可以被建立关联。例如,在“空调α”的电源断开的情况下假定当用户接通电源时从该用户发出的脑电波(即,基准脑电波)和假定此时该用户所具有的体温(即,基准体温),作为基准活体信息可以与表示接通“空调α”的电源的操作的控制信息被建立关联。该情况下,在因来自外部的刺激而从用户测定出的脑电波与基准脑电波的差异在容许范围内、且此时所测定出的用户的体温与基准体温的差异在容许范围内的情况下,处理器30按照与该基准脑电波和该基准体温建立关联的控制信息而接通“空调α”的电源。可以使用除了脑电波和体温以外的活体信息。
另外,当用户根据活体信息来操作设备22时,用户发出用于识别被操作的设备22的设备信息的语音,处理器30可以通过分析该语音而确定被操作的设备22。另外,用户的语音通过麦克风14而被测定。处理器30在管理表中搜索被操作的设备22,并控制关于该设备22的操作。例如,在从用户发出表示接通“空调α”的电源的操作的脑电波的状态下,在用户发出了表示“空调α”的语音的情况下,处理器30根据该语音来确定被操作的设备22是“空调α”,并按照与所测定出的脑电波建立关联的控制信息接通“空调α”的电源。在图3所示例中,关于“空调α”的操作,与ID“1”建立关联的操作和与ID“2”建立关联的操作登录在管理表中。处理器30将分别与ID“1”及ID“2”建立关联的脑电波和从用户测定出的脑电波进行比较。在与ID“1”建立关联的脑电波和从用户测定出的脑电波的差异在容许范围内、且与ID“2”建立关联的脑电波和从用户测定出的脑电波的差异不在容许范围内的情况下,处理器30按照与ID“1”建立关联的控制信息而操作“空调α”。该情况下,处理器30接通“空调α”的电源。另一方面,在与ID“1”建立关联的脑电波与从用户测定出的脑电波的差异不在容许范围内、且与ID“2”建立关联的脑电波和从用户测定出的脑电波的差异在容许范围内的情况下,处理器30按照与ID“2”建立关联的控制信息而操作“空调α”。该情况下,处理器30断开“空调α”的电源。
并且,针对每个用户,设备信息、控制信息、基准活体信息可以被建立关联而登录在管理表中。具体而言,各个用户的具体的基准活体信息可以登录在管理表中。
图4中示出登录有各个用户的具体的基准活体信息的管理表。在图4所示的管理表中,每当操作设备22时,ID、设备信息、控制信息、作为基准活体信息的一例的基准脑电波、用户信息被建立关联。用户信息是用于识别用户的信息(例如用户名和用户ID等)。另外,用户信息可以未登录于管理表中。
与用户信息建立关联的基准脑电波是,当该用户信息表示的用户进行了与该基准脑电波建立关联的控制信息所表示的操作时,从该用户测定出的脑电波。各用户的基准脑电波被预先测定。
例如,当用户A手动接通空调α的电源时,用户A的脑电波通过活体信息测定装置12而被测定,该所测定出的脑电波作为表示用户A接通空调α的电源的操作的基准脑电波而登录在管理表中。该情况下,表示“空调α”的设备信息、表示接通“空调α”的电源的操作的控制信息、所测定出的用户A的该基准脑电波、用于识别用户A的用户信息被建立关联并登录于管理表中。该登录操作可以使用信息处理装置10来进行,也可以使用其他装置来进行。在图4所示例中,这些信息登录为ID“1”的信息。关于其他操作和其他用户也同样。
另外,可以进行多次登录操作,由此将所测定出的多个脑电波的平均值登录为基准脑电波。例如,用户A可以手动接通空调α的电源,此时进行多次由活体信息测定装置12测定从用户A产生的脑电波的操作,将由此测定出的多个脑电波的平均值作为基准脑电波而登录于管理表中。
例如,当“空调α”的电源断开时,在因来自外部的刺激而测定出和与ID“1”建立关联的基准脑电波的差异包括在容许范围内的脑电波的情况下,处理器30按照与ID“1”建立关联的控制信息而接通“空调α”的电源。
例如,在只有用户A登录于信息处理装置10中的状态下,在从用户A测定出和与ID“1”建立关联的基准脑电波的差异包括在容许范围内的脑电波的情况下,处理器30按照与ID“1”建立关联的控制信息而接通“空调α”的电源。具体而言,当只有用户A登录于信息处理装置10中时,若由活体信息测定装置12测定脑电波,则处理器30搜索与用于识别所登录的用户A的用户信息建立关联的管理表中所登录的基准脑电波。在图4所示例中,与ID“1”建立关联的基准脑电波和与ID“3”建立关联的基准脑电波作为用户A的基准脑电波而登录在管理表中,因此这些基准脑电波被搜索。在所测定出的脑电波和与ID“1”建立关联的基准脑电波一致的情况下,或者在所测定出的脑电波和与ID“1”建立关联的基准脑电波的差异在容许范围内的情况下,处理器30按照与ID“1”建立关联的控制信息而接通“空调α”的电源。在所测定出的脑电波和与ID“3”建立关联的基准脑电波一致的情况下,或者在所测定出的脑电波和与ID“3”建立关联的基准脑电波的差异在容许范围内的情况下,处理器30按照与ID“3”建立关联的控制信息而断开“空调α”的电源。
作为另一例,在操作设备22的用户是“用户A”的内容设定在信息处理装置10中的状态下,从用户A测定出与ID“1”建立关联的基准脑电波的情况下,处理器30可以按照与ID“1”建立关联的控制信息而接通“空调α”的电源。具体而言,在操作设备22的用户是“用户A”的内容设定在信息处理装置10中的状态下,若由活体信息测定装置12测定出脑电波,则处理器30搜索与用于识别作为操作设备22的用户的用户A的用户信息建立关联并登录在管理表中的基准脑电波。在所测定出的脑电波和与ID“1”建立关联的基准脑电波一致的情况下,或者在所测定出的脑电波和与ID“1”建立关联的基准脑电波的差异在容许范围内的情况下,处理器30按照与ID“1”建立关联的控制信息而接通“空调α”的电源。操作设备22的用户,例如由用户设定于信息处理装置10中。
关于除了用户A以外的其他用户,也与用户A同样地,各信息登录在管理表中。例如,与ID“2”建立关联的各信息是与用户B接通了“空调α”的电源时的操作有关的信息。与ID“3”建立关联的各信息是与用户A断开了“空调α”的电源时的操作有关的信息。
处理器30在根据活体信息来操作设备22之前,输出用于询问用户是否可以操作该设备22的信息,在从该用户接收到操作该设备22的指示的情况下,可以操作该设备22。输出用于询问用户是否可以操作设备22的信息,例如可以通过将表示该操作内容的图像显示于UI26的显示部,也可以从扬声器发出表示该操作内容的语音。即,处理器30可以通过图像和语音等督促用户判断是否可以操作。在从该用户得到执行该操作的协议的情况下,处理器30通过将与基准脑电波建立关联的控制信息发送到该设备22而操作该设备22,该基准脑电波与从该用户测定出的脑电波的差异包括在容许范围内。例如,在从该用户测定出表示协议的脑电波的情况下,处理器30通过将该控制信息发送到该设备22而操作该设备22。
在与基准脑电波建立关联的控制信息所表示的操作是停止设备22的动作的情况下,处理器30可以不询问用户是否可以操作该设备22而停止该设备22的动作,所述基准脑电波与从用户测定出的脑电波的差异包括在容许范围内。例如,在与基准脑电波建立关联的控制信息所表示的操作是断开该设备22的电源的操作、临时停止该设备22的动作的操作等的情况下,处理器30不询问用户是否可以进行该操作而断开该设备22的电源,或者临时停止该设备22的动作,所述基准脑电波与从该用户测定出的脑电波的差异包括在容许范围内。
在与基准脑电波建立关联的操作是降低设备22的性能级别的操作的情况下,处理器30可以不询问用户是否可以进行该设备22的操作而降低该设备22的性能级别,所述基准脑电波与从用户测定出的脑电波的差异包括在容许范围内。降低设备22的性能级别是降低该设备22的输出级别。例如,减小扬声器的音量、减弱空调的风量、升高制冷温度、降低供暖温度等相当于降低性能级别的一例。
在用户睡眠中,处理器30可以中止基于活体信息的设备22的操作。处理器30例如通过使用公知技术,根据从用户测定出的活体信息来判断该用户是否在睡眠中。已知有根据脑电波的种类、强度、变化等,能够掌握人的睡眠状态。睡眠状态例如分类成快速动眼睡眠、非快速动眼睡眠及苏醒。当然,该分类只是一例,也可以使用其他分类。在此,作为一例,在用户的睡眠状态是快速动眼睡眠或非快速动眼睡眠的情况下,用户的状态设为睡眠状态,在用户的睡眠状态是苏醒的情况下,用户的状态设为非睡眠状态。处理器30通过使用公知技术,根据所测定出的脑电波的种类、强度、变化等判断用户的睡眠状态。
已知有入睡时的脑电波是以β波、α波、θ波、δ波的顺序产生。若用户躺下闭上眼睛,则从产生β波的状态起因身体开始放松而产生α波。从该阶段起,若意识开始减弱,则产生θ波,若睡眠深入,则产生δ波。处理器30通过分析如此产生的脑电波而判断用户的睡眠状态。
作为活体信息测定装置12的一例的加速度传感器可以安装于用户,并测定用户的加速度即移动。处理器30可以根据加速度的大小和变化量来识别用户的睡眠状态。并且,处理器30可以根据用户的脉搏数和血压等掌握用户的睡眠状态。
在操作范围内不存在操作对象的设备22的情况下,处理器30可以输出警告。处理器30例如可以将表示警告的信息显示于UI26的显示部,也可以发出警告声。操作范围例如是以预先确定的位置为基准从该位置在预先确定的距离内的范围。预先确定的位置可以是用户的位置,也可以是设置有信息处理装置10的位置,也可以是由用户指定的任意的位置。例如,由GPS(Global Positioning System:全球定位系统)等确定用户携带的终端装置(例如智能手机等)的位置,由此确定该用户的位置。信息处理装置10的位置可以设定于信息处理装置10,也可以根据GPS等来确定。
处理器30在接收到表示对多个设备22的每一个进行操作的指示的活体信息的情况下,可以将对应于活体信息的控制信息发送到各设备22,由此操作各设备22。
处理器30可以根据从用户测定出的活体信息的变化大小来变更设备22的性能级别。例如,针对每个设备22,表示活体信息的变化大小的信息与表示性能级别的信息建立关联并存储在存储装置28中。处理器30通过参考该建立关联的信息,根据活体信息的变化来变更性能级别。例如,处理器30根据作为活体信息的一例的脑电波振幅的变化大小来变更设备22的性能级别。具体而言,脑电波振幅的变化越大,处理器30越提高性能级别。例如,脑电波振幅的变化越大,处理器30越提高扬声器的音量,或者越增强空调的风量,或者越降低制冷温度,或者越提高供暖温度。作为另一例,处理器30可以根据脑电波峰值的变化大小和周期的变化大小等来变更设备22的性能级别。
处理器30可以根据从用户测定出的活体信息的变化速度来变更设备22的性能级别。例如,针对每个设备22,表示活体信息的变化速度的信息与表示性能级别的信息建立关联并存储在存储装置28中。处理器30通过参考该建立关联的信息,根据活体信息的变化速度来变更性能级别。例如,处理器30根据作为活体信息的一例的脑电波振幅的变化速度来变更设备22的性能级别。具体而言,脑电波振幅的变化越快,处理器30越提高性能级别。例如,脑电波振幅的变化越快,处理器30越提高扬声器的音量,或者越增强空调的风量,或者越降低制冷温度,或者越提高供暖温度。作为另一例,处理器30可以根据脑电波峰值的变化速度和周期的变化速度等变更设备22的性能级别。
在从用户测定出多个活体信息的情况下,处理器30可以按照预先确定的优先顺序并根据活体信息来操作设备22。例如,在从用户同时测定出多个活体信息的情况下,处理器30按照优先顺序并根据活体信息来操作设备22。例如,在多个活体信息每一个示出对同一设备22的操作的情况下,处理器30按照根据操作内容所确定的优先顺序并根据活体信息来操作同一设备22。作为另一例,可以根据活体信息的种类来确定优先顺序。例如,脑电波的优先顺序设定为最高的优先顺序,脉搏的优先顺序设定为第二个高的优先顺序。关于其他种类的活体信息,优先顺序也被预先设定。例如,在测定出脑电波和脉搏的情况下,处理器30根据优先顺序高的脑电波来操作设备22,不会根据优先顺序低的脉搏来操作设备22。在测定出其他活体信息的情况下,处理器30也根据优先顺序比其他活体信息高的活体信息来操作设备22。
用户的状态与预先确定的正常状态不同的情况下,处理器30可以停止信息处理装置10的动作。处理器30根据从用户测定出的活体信息来判断用户的状态。例如,在用户的体温与正常状态的体温(例如正常体温)的差异成为阈值以上的情况下,处理器30判断为用户的状态是与正常状态不同的状态,并停止信息处理装置10的动作。由此,进行基于活体信息的设备22的操作。处理器30可以根据用户脉搏和血压等来判断用户的状态是否为正常状态。
从用户测定出表示对设备22的操作(以下,称为“第1操作”)的活体信息的时刻起在预先确定的时间内,从该用户测定出表示与该操作不同的另一操作(以下,称为“第2操作”)的另一活体信息的情况下,处理器30按照预先确定的优先顺序并根据活体信息来操作该设备22。第2操作是对进行第1操作的设备22的操作。例如,可以根据操作内容来确定优先顺序。在第1操作内容的优先顺序比第2操作内容的优先顺序高的情况下,处理器30对设备22进行第1操作。作为另一例,可以根据活体信息的测定顺序来确定优先顺序。例如,在之后测定出的活体信息的优先顺序比之前测定出的活体信息的优先顺序高。该情况下,处理器30对设备22进行第2操作。上述优先顺序只是一例,该优先顺序可以由用户来确定。
以下,对具体的变形例进行详细说明。
(变形例1)
在变形例1中,由麦克风14测定出的特定的语音相当于来自外部的刺激的一例,表示该特定的语音的语音数据相当于特定的环境信息的一例。并且,活体信息作为一例是脑电波。特定的语音例如是与设备22的操作有关的语音(例如对话等)。推测为在测定出表示特定的语音的语音数据之后从用户测定出的活体信息是从接收到作为来自外部的刺激的特定的语音的该用户产生的活体信息。该情况下,处理器30根据从接收到特定的语音的该用户产生的活体信息来操作设备22。即,处理器30根据从听到特定的语音的该用户产生的活体信息来操作设备22。例如,推测为在从测定出特定的语音的时刻到经过预先确定的时间为止的期间从用户测定出的活体信息是从听到作为来自外部的刺激的特定的语音的该用户产生的活体信息。即,推测为该测定出的活体信息是因听到作为来自外部的刺激的特定的语音而从该用户产生的活体信息。
例如,测定作为活体信息的脑电波的用户(例如用户A)的对话对方的语音相当于来自外部的刺激的一例,表示该语音的语音数据相当于特定的环境信息的一例。
测定脑电波的用户A和其对话对方进行对话的情况下,处理器30接收由听到该对话对方的语音的用户A测定出的脑电波,并确定与该脑电波建立关联的操作。例如,处理器30通过参考图4所示的管理表而确定与从用户A测定出的该脑电波建立关联的操作。具体而言,处理器30确定与基准脑电波建立关联的操作,所述基准脑电波与从用户A测定出的该脑电波的差异包括在容许范围内。处理器30可以使表示该操作内容的图像显示于UI26的显示部,并可以使表示该操作内容的语音从扬声器发出。在从用户A得到执行该操作的协议的情况下,处理器30通过将与基准脑电波建立关联的控制信息发送到设备22而操作该设备22,所述基准脑电波与从用户A测定出的该脑电波的差异包括在容许范围内。
例如,由麦克风14测定表示用户A和对话对方的语音的语音数据,处理器30通过分析由麦克风14测定出的语音数据而识别用户A与对话对方之间的对话内容。并且,由相机16来拍摄用户A和对话对方,处理器30可以根据通过该拍摄而生成的图像数据来识别用户A和对话对方。处理器30识别与设备22的操作有关的对话对方的发言内容,听取该发言并接收从用户A测定出的脑电波,并将与基准脑电波建立关联的控制信息发送到设备22,该基准脑电波与用户A的该脑电波的差异包括在容许范围内。与设备22的操作有关的对话对方的发言内容相当于来自外部的刺激的一例,表示该发言内容的语音数据相当于特定的环境信息的一例。推测为在该对话对方发言之后测定出的脑电波(例如从该对话对方发言的时刻到经过预先确定的时间为止的期间测定出的脑电波)是听取该对话对方的发言并从用户A发出的脑电波,即,从受到来自外部的刺激的用户A发出的脑电波。
举出具体例进行说明。在对话对方发言“想在电视上看○○?”的情况下,该发言内容由麦克风14来测定,处理器30通过分析由麦克风14测定出的语音而识别该发言内容。该发言内容是与作为设备22的电视的操作有关的发言,相当于来自外部的刺激的一例,表示该发言内容的语音数据相当于特定的环境信息的一例。处理器30接收由接收到该发言的用户A测定出的脑电波。例如,推测为从对话对方发言“想在电视上看○○?”的时刻到经过预先确定的时间为止的期间所测定出的脑电波是从听到该对话对方的发言的用户A所发出的脑电波。在该脑电波是表示同意的脑电波的情况下,处理器30输出“要打开电视吗?”的内容信息。例如,处理器30可以使该信息的语音从扬声器发出,也可以使该信息显示于UI26的显示部。处理器30在输出该信息之后,接收从用户A测定出的脑电波。在该脑电波是表示同意的脑电波的情况下,处理器30将用于执行打开作为设备22的电视的操作的控制信息发送到该电视,由此接通该电视的电源。
(变形例2)
在变形例2中,由臭气传感器18测定出的特定的气味相当于来自外部的刺激的一例,表示该特定的气味的臭气数据相当于特定的环境信息的一例。例如,由臭气传感器18测定用户周围的气味。并且,活体信息作为一例是脑电波。特定的气味例如是与设备22的操作有关的气味。推测为在测定出表示特定的气味的臭气数据之后从用户测定出的活体信息是从接收作为来自外部的刺激的特定的气味的该用户产生的活体信息。该情况下,处理器30根据从接收特定的气味的该用户产生的活体信息来操作设备22。即,处理器30根据从闻到特定的气味的该用户产生的活体信息来操作设备22。例如,推测为从测定出特定的气味的时刻到经过预先确定的时间为止的期间从用户测定出的活体信息是从闻到来自外部的刺激的特定的气味的该用户产生的活体信息。即,推测为该测定出的活体信息是因闻到作为来自外部的刺激的特定的气味而从该用户产生的活体信息。
在测定出特定的气味的情况下,处理器30接收从闻到该特定的气味的用户测定出的脑电波,并确定与该脑电波建立关联的操作。例如,处理器30通过参考图4所示的管理表而确定与从该用户测定出的该脑电波建立关联的操作。具体而言,处理器30确定与基准脑电波建立关联的操作,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。处理器30可以使表示该操作内容的图像显示于UI26的显示部,并可以使表示该操作内容的语音从扬声器发出。在从该用户得到执行该操作的协议的情况下,处理器30通过将与基准脑电波建立关联的控制信息发送到设备22而操作该设备22,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。推测为在测定出与设备22的操作有关的特定的气味之后所测定出的脑电波(例如,从测定出特定的气味的时刻到经过预先确定的时间为止的期间所测定出的脑电波)是从闻到该特定的气味的用户发出的脑电波,即,从受到来自外部的刺激的用户发出的脑电波。
举出具体例进行说明。在烹饪之后,烹饪时的气味残留在房间里,并由臭气传感器18来测定表示该气味的臭气数据。该气味是与作为设备22的空气净化器的操作有关的气味,相当于来自外部的刺激的一例,表示该气味的臭气数据相当于特定的环境信息的一例。处理器30接收从闻到该气味的用户测定出的脑电波。例如,推测为在从测定出烹饪后的气味的时刻到经过预先确定的时间为止的期间所测定出的表示“气味难闻”的脑电波是从闻到该气味的用户发出的脑电波。该情况下,处理器30输出“想要打开空气净化器吗?”的内容信息。例如,处理器30可以使该信息的语音从扬声器发出,也可以使该信息显示于UI26的显示部。处理器30在输出该信息之后,接收从用户测定出的脑电波。在该脑电波是表示同意的脑电波的情况下,处理器30将用于执行打开作为设备22的空气净化器的操作的控制信息发送到该空气净化器,由此接通该空气净化器的电源。另外,可以与空气净化器一同使用用于使香气扩散的香气扩散器,或者可以使用香气扩散器来代替空气净化器。
(变形例3)
在变形例3中,由温度传感器20测定出的包括在特定的温度范围内的温度相当于来自外部的刺激的一例,表示包括在该特定的温度范围内的温度的温度数据相当于特定的环境信息的一例。例如,由温度传感器20测定用户周围的温度。并且,活体信息作为一例是脑电波。例如,包括在特定的温度范围内的温度是与设备22的操作有关的温度。推测为在测定出表示包括在特定的温度范围内的温度的温度数据之后从用户测定出的活体信息是从接收到作为来自外部的刺激的温度的该用户产生的活体信息。该情况下,处理器30根据从接收到包括在特定的温度范围内的温度的该用户产生的活体信息来操作设备22。即,处理器30根据从感觉到包括在特定的温度范围内的温度的该用户产生的活体信息来操作设备22。例如,推测为在从测定出包括在特定的温度范围内的温度的时刻到经过预先确定的时间为止的期间,从用户测定出的活体信息是从感觉到包括在作为来自外部的刺激的特定的温度范围内的温度的该用户产生的活体信息。即,推测为该测定出的活体信息是因感觉到包括在作为来自外部的刺激的特定的温度范围内的温度而从该用户产生的活体信息。
在测定出包括在特定的温度范围内的温度的情况下,处理器30接收从感觉到包括在该特定的温度范围内的温度的用户测定出的脑电波,并确定与该脑电波建立关联的操作。例如,处理器30通过参考图4所示的管理表而确定与从用户测定出的该脑电波建立关联的操作。具体而言,处理器30确定与基准脑电波建立关联的操作,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。处理器30可以使表示该操作内容的图像显示于UI26的显示部,并可以使表示该操作内容的语音从扬声器发出。在从用户得到执行该操作的协议的情况下,处理器30通过将与基准脑电波建立关联的控制信息发送到设备22而操作该设备22,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。推测为从测定出与设备22的操作有关的温度之后所测定出的脑电波(例如,从测定出包括在特定的温度范围内的温度的时刻到经过预先确定的时间为止的期间所测定出的脑电波)是从感觉到该温度的用户发出的脑电波,即,从受到来自外部的刺激的用户发出的脑电波。
举出具体例进行说明。当用户回到家时房间热,设为由设置于房间的温度传感器20来测定出预先确定的阈值以上的温度。预先确定的阈值以上的温度是包括在特定的温度范围内的温度,在此,作为一例,是推测为通常人感觉到热的温度。包括在特定的温度范围内的温度是与作为设备22的空调的操作有关的温度,相当于来自外部的刺激的一例,表示该温度的温度数据相当于特定的环境信息的一例。处理器30接收从感觉到该温度的用户测定出的脑电波。例如,推测为在从测定出包括在特定的温度范围内的温度的时刻到经过预先确定的时间为止的期间所测定出的表示“因热而不舒服”的脑电波是从感觉到该温度的用户发出的脑电波。该情况下,处理器30输出“想要打开空调吗?”的内容信息。例如,处理器30可以使该信息的语音从扬声器发出,也可以使该信息显示于UI26的显示部。处理器30在输出该信息之后,接收从用户测定出的脑电波。在该脑电波是表示同意的脑电波的情况下,处理器30将用于执行打开作为设备22的空调的操作的控制信息发送到该空调,由此接通该空调的电源。
(变形例4)
在变形例4中,测定活体信息的用户肉眼观察到的特定的状况相当于来自外部的刺激的一例,表示该特定的状况的图像数据相当于特定的环境信息的一例。例如,由相机16来拍摄用户及其周围。并且,活体信息作为一例是脑电波。例如,特定的状况是与设备22的操作有关的状况。推测为在测定出表示特定的状况的图像数据之后从用户测定出的活体信息是从受到作为来自外部的刺激的特定的状况的该用户产生的活体信息。该情况下,处理器30根据从接收到特定的状况的该用户产生的活体信息来操作设备22。即,处理器30根据从肉眼观察到特定的状况的该用户产生的活体信息来操作设备22。例如,推测为在从已拍摄表示特定的状况的图像数据的时刻到经过预先确定的时间为止的期间从用户测定出的活体信息是从肉眼观察到作为来自外部的刺激的特定的状况的该用户产生的活体信息。即,推测为该测定出的活体信息是因肉眼观察到作为来自外部的刺激的特定的状况而从该用户产生的活体信息。
例如,处理器30分析显示有用户及其周围的图像数据,由此确定用户注视的方向,并识别用户肉眼观察的状况。
在已拍摄表示特定的状况的图像数据的情况下,处理器30接收从肉眼观察到该特定的状况的用户测定出的脑电波,并确定与该脑电波建立关联的操作。例如,处理器30通过参考图4所示的管理表而确定与从用户测定出的该脑电波建立关联的操作。具体而言,处理器30确定与基准脑电波建立关联的操作,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。处理器30可以使表示该操作内容的图像显示于UI26的显示部,并可以使表示该操作内容的语音从扬声器发出。在从用户得到执行该操作的协议的情况下,处理器30通过将与基准脑电波建立关联的控制信息发送到设备22而操作该设备22,该基准脑电波与从该用户测定出的该脑电波的差异包括在容许范围内。推测为在拍摄表示与设备22的操作有关的特定的状况的图像数据之后所测定出的脑电波(例如,在从已拍摄表示特定的状况的图像数据的时刻到经过预先确定的时间为止的期间所测定出的脑电波)是从肉眼观察到该特定的状况的用户发出的脑电波,即,从受到来自外部的刺激的用户发出的脑电波。
举出具体例进行说明。用户分析落在地板上的棉尘,并由相机16来拍摄用户在观看该状况的情形,从而生成表示该情形的图像数据。棉尘落在地板上的状况是与作为设备22的机器人吸尘器的操作有关的状况,相当于来自外部的刺激的一例,表示该状况的图像数据相当于特定的环境信息的一例。处理器30接收从看到该状况的用户测定出的脑电波。例如,推测为在从已拍摄表示用户在观看棉尘落在地板上的情形的图像数据的时刻到经过预先确定的时间为止的期间测定出的表示“灰尘令人不舒服”的脑电波是从看到该状况的用户发出的脑电波。该情况下,处理器30输出“想要打开机器人吸尘器吗?”的内容信息。例如,处理器30可以使该信息的语音从扬声器发出,也可以使该信息显示于UI26的显示部。处理器30在输出该信息之后,接收从用户测定出的脑电波。在该脑电波是表示同意的脑电波的情况下,处理器30将用于执行打开作为设备22的机器人吸尘器的操作的控制信息发送到该机器人吸尘器,由此接通该机器人吸尘器的电源。
在上述各实施方式中,处理器是指广义的处理器,包括通用的处理器(例如CPU:Central Processing Unit:中央处理单元等)、专用处理器(例如GPU:GraphicsProcessing Unit:图形处理单元、ASIC:Application Specific Integrated Circuit:专用集成电路、FPGA:Field Programmable Gate Array:现场可编程门阵列、可编程逻辑器件等)。并且,上述各实施方式中的处理器的动作不仅可以通过一个处理器而构成,而且也可以通过在物理上分离的位置上存在的多个处理器协同作用而构成。并且,处理器的各动作的顺序并不仅限于上述各实施方式中所记载的顺序,而可以适当地进行变更。
上述本发明的实施方式是以例示及说明为目的而提供的。另外,本发明的实施方式并不全面详尽地包括本发明,并且并不将本发明限定于所公开的方式。很显然,对本发明所属的领域中的技术人员而言,各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此,本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (17)

1.一种信息处理装置,其具有处理器,
所述处理器根据从受到来自外部的刺激的用户产生的活体信息来操作设备。
2.根据权利要求1所述的信息处理装置,其特征在于,
在所述活体信息与表示所述设备的操作的基准活体信息的差异在容许范围内的情况下,所述处理器根据所述活体信息来操作所述设备。
3.根据权利要求1或2所述的信息处理装置,其特征在于,
所述处理器在根据所述活体信息来操作所述设备之前,输出用于询问所述用户是否可以操作所述设备的信息,在从所述用户接收到操作所述设备的指示的情况下操作所述设备。
4.根据权利要求3所述的信息处理装置,其特征在于,
在停止所述设备的动作的情况下,所述处理器不询问用户是否可以操作所述设备而停止所述设备的动作。
5.根据权利要求3所述的信息处理装置,其特征在于,
在使所述设备的性能级别降低的情况下,所述处理器不询问所述用户是否可以操作所述设备而降低所述设备的性能级别。
6.根据权利要求1至5中任一项所述的信息处理装置,其特征在于,
来自所述外部的刺激是所述用户的对话对方的语音。
7.根据权利要求1至5中任一项所述的信息处理装置,其特征在于,
来自所述外部的刺激是气味。
8.根据权利要求1至5中任一项所述的信息处理装置,其特征在于,
来自所述外部的刺激是温度。
9.根据权利要求1至5中任一项所述的信息处理装置,其特征在于,
来自所述外部的刺激是所述用户肉眼观察到的状况。
10.根据权利要求1至9中任一项所述的信息处理装置,其特征在于,
在所述用户的睡眠中,所述处理器不会根据所述活体信息来操作所述设备。
11.根据权利要求1至10中任一项所述的信息处理装置,其特征在于,
所述处理器根据所述活体信息的变化大小来变更所述设备的性能级别。
12.根据权利要求1至10中任一项所述的信息处理装置,其特征在于,
所述处理器根据所述活体信息的变化速度来变更所述设备的性能级别。
13.根据权利要求1至12中任一项所述的信息处理装置,其特征在于,
在从所述用户测定出多个活体信息的情况下,所述处理器按照预先确定的优先顺序并根据活体信息来操作所述设备。
14.根据权利要求1至12中任一项所述的信息处理装置,其特征在于,
从所述用户测定出表示对所述设备的操作的活体信息的时刻在预先确定的时间内,从所述用户测定出表示与所述操作不同的操作的其他活体信息的情况下,所述处理器按照预先确定的优先顺序并根据活体信息来操作所述设备。
15.根据权利要求1至14中任一项所述的信息处理装置,其特征在于,
所述活体信息是脑电波。
16.一种存储介质,其存储有使计算机根据从受到来自外部的刺激的用户产生的活体信息来操作设备的程序。
17.一种信息处理方法,其包括如下步骤:
根据从受到来自外部的刺激的用户产生的活体信息来操作设备。
CN202010030546.7A 2019-08-26 2020-01-13 信息处理装置、存储介质及信息处理方法 Pending CN112433600A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019153630A JP7296626B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム
JP2019-153630 2019-08-26

Publications (1)

Publication Number Publication Date
CN112433600A true CN112433600A (zh) 2021-03-02

Family

ID=74675937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030546.7A Pending CN112433600A (zh) 2019-08-26 2020-01-13 信息处理装置、存储介质及信息处理方法

Country Status (3)

Country Link
US (1) US20210063971A1 (zh)
JP (1) JP7296626B2 (zh)
CN (1) CN112433600A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022110509A (ja) * 2021-01-18 2022-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US20230409115A1 (en) * 2022-05-24 2023-12-21 Lenovo (Singapore) Pte, Ltd Systems and methods for controlling a digital operating device via an input and physiological signals from an individual

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289765A (ja) * 1993-03-31 1994-10-18 Casio Comput Co Ltd 学習装置
CN101589358B (zh) * 2006-11-15 2012-05-16 松下电器产业株式会社 脑波识别方法的调整装置、方法
JP2011137917A (ja) * 2009-12-28 2011-07-14 Technos Japan:Kk 脳波のバイオフィードバックにより制御される脳トレーニング装置
TW201238562A (en) * 2011-03-25 2012-10-01 Univ Southern Taiwan Brain wave control system and method
JP2013042768A (ja) * 2011-08-22 2013-03-04 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP6213936B2 (ja) * 2014-03-20 2017-10-18 パナソニックIpマネジメント株式会社 睡眠環境制御システムおよびそれに用いられる睡眠環境制御プログラム
JP2015192870A (ja) * 2014-03-25 2015-11-05 キッセイコムテック株式会社 意図推定方法、意図推定用プログラムおよび意図推定装置
CN104202644B (zh) * 2014-09-29 2017-07-07 深圳市九洲电器有限公司 脑电波信号标准化输出方法、装置、机顶盒及系统
CN105632049B (zh) * 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
WO2016140408A1 (ko) * 2015-03-05 2016-09-09 주식회사 프라센 수면 유도 장치 및 이를 포함하는 수면 관리 시스템
JP6657682B2 (ja) * 2015-09-02 2020-03-04 Tdk株式会社 睡眠管理装置、睡眠管理システム、睡眠管理方法及びそのプログラム
KR102587452B1 (ko) * 2015-12-09 2023-10-11 삼성전자주식회사 생체 정보에 기반하여 장비를 제어하는 기법
US20190056707A1 (en) * 2017-08-18 2019-02-21 The Boeing Company Methods and Systems for Controlling Operation of Equipment Based on Biometric Data

Also Published As

Publication number Publication date
JP7296626B2 (ja) 2023-06-23
JP2021033677A (ja) 2021-03-01
US20210063971A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP2023129585A (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2024045281A (ja) 情報処理方法
CN112433600A (zh) 信息处理装置、存储介质及信息处理方法
JP7359437B2 (ja) 情報処理装置、プログラム、及び、方法
US20240205584A1 (en) Ear-wearable devices for control of other devices and related methods
US11636392B2 (en) Information processing device and non-transitory computer readable medium
US11755109B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US11868529B2 (en) Information processing device and non-transitory computer readable medium
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US20210173362A1 (en) Information processing device and non-transitory computer readable medium
US20230181869A1 (en) Multi-sensory ear-wearable devices for stress related condition detection and therapy
JP7254346B2 (ja) 情報処理装置及びプログラム
US20210165488A1 (en) Information processing apparatus and non-transitory computer readable medium
JP7411209B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210402

Address after: Room 1107, Adel Po Tin, 26-8, Po Tin pentatomus, OTA District, Tokyo, Japan

Applicant after: Agama AIX Co.,Ltd.

Address before: No.3, 7-fan-3, Kawasaki, Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210302