CN112433602A - 信息处理装置、存储介质及信息处理方法 - Google Patents

信息处理装置、存储介质及信息处理方法 Download PDF

Info

Publication number
CN112433602A
CN112433602A CN202010063644.0A CN202010063644A CN112433602A CN 112433602 A CN112433602 A CN 112433602A CN 202010063644 A CN202010063644 A CN 202010063644A CN 112433602 A CN112433602 A CN 112433602A
Authority
CN
China
Prior art keywords
user
information
voice
living body
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010063644.0A
Other languages
English (en)
Inventor
佐藤雅弘
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agama X Co Ltd
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN112433602A publication Critical patent/CN112433602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/381—Olfactory or gustatory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749—Voice-controlled interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07—Home care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Automation & Control Theory (AREA)
  • Anesthesiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种信息处理装置、存储介质及信息处理方法，所述信息处理装置具有处理器，所述处理器将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。

Description

信息处理装置、存储介质及信息处理方法
技术领域
本发明涉及一种信息处理装置、存储介质及信息处理方法。
背景技术
考虑利用脑波等活体信息对设备进行操作。
在专利文献1中，记载有如下装置，其从使用者的脑波检测脑波活体信号，从使用者的表面肌电位检测表面肌电位活体信号，并根据两个活体信号运算控制信号。
在专利文献2中，记载有如下装置，其按照通过获取使用者的脑波并分析该脑波而获得的分析结果，对复数个被操作装置选择性地进行操作。
专利文献1：日本特开2015-211705号公报
专利文献2：日本特开2016-067922号公报
并不一定能够根据活体信息而准确地对设备进行操作。
发明内容
本发明的目的在于提供一种利用活体信息对设备进行操作时，提高设备操作的精度。
方案1所涉及的发明具有处理器，所述处理器将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
方案2所涉及的发明具有处理器，当表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息及所述用户的除语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围内时，在之后的操作中，所述处理器根据活体信息对所述设备进行操作。
方案3所涉及的发明根据方案2所述的信息处理装置，其特征在于，表示针对所述设备的手动操作的手动操作信息、以语音表示所述设备的操作的语音信息及发出所述语音时的所述用户的除语音以外的活体信息预先建立有关联，当表示所述用户通过手动对所述设备进行操作时的所述用户的语音的识别结果的信息与所述建立有关联的语音信息之间的差异在第1容许范围内，且所述用户通过手动对所述设备进行操作时的所述用户的除语音以外的活体信息与所述建立有关联的活体信息之间的差异在第2容许范围内时，在之后的操作中，所述处理器根据活体信息对所述设备进行操作。
方案4所涉及的发明根据方案1或方案3所述的信息处理装置，其特征在于，按每个用户，手动操作信息、语音信息及活体信息建立有关联，所述处理器按每个用户判别语音，并根据活体信息对所述设备进行操作。
方案5所涉及的发明根据方案1所述的信息处理装置，其特征在于，所述处理器在所述用户的睡眠期间中止将语音信息和活体信息建立关联的处理。
方案6所涉及的发明根据方案1至方案5中任一项所述的信息处理装置，其特征在于，所述处理器在所述用户的睡眠期间中止基于活体信息的操作。
方案7所涉及的发明根据方案1至方案6中任一项所述的信息处理装置，其特征在于，测定出预先确定的数量以上的用户的语音时，所述处理器中止基于活体信息的操作。
方案8所涉及的发明根据方案1至方案7中任一项所述的信息处理装置，其特征在于，所述处理器根据由受到来自外部的刺激的所述用户产生的所述活体信息对所述设备进行操作。
方案9所涉及的发明根据方案8所述的信息处理装置，其特征在于，所述来自外部的刺激为所述用户的对话对象的语音。
方案10所涉及的发明根据方案8所述的信息处理装置，其特征在于，所述来自外部的刺激为气味。
方案11所涉及的发明根据方案8所述的信息处理装置，其特征在于，所述来自外部的刺激为温度。
方案12所涉及的发明根据方案8所述的信息处理装置，其特征在于，所述来自外部的刺激为所述用户所观察的状况。
方案13所涉及的发明根据方案1至方案12中任一项所述的信息处理装置，其特征在于，所述活体信息为脑波。
方案14所涉及的发明是一种存储介质，其存储有用于使计算机进行如下操作的程序：将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
方案15所涉及的发明是一种存储介质，其存储有用于使计算机进行如下操作的程序：将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息及所述用户的除语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围时，在之后的操作中，根据活体信息对所述设备进行操作。
方案16所涉及的发明是一种信息处理方法，其包括如下步骤：将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
方案17所涉及的发明是一种信息处理方法，其包括如下步骤：当表示用户通过手动对设备进行操作时发出的所述用户语音的识别结果的信息及除所述用户语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围内时，在之后的操作中，根据活体信息对所述设备进行操作。
发明效果
根据本发明的第1-3、14、15、16、17方案，能够在利用活体信息对设备进行操作时，提高设备操作的精度。
根据本发明的第4方案，能够根据每个用户的活体信息对设备进行操作。
根据本发明的第5方案，可防止无需建立关联的语音信息和活体信息被建立关联。
根据本发明的第6方案，可防止在用户睡眠期间根据活体信息对设备进行操作。
根据本发明的第7方案，可防止进行用户不期望的操作。
根据本发明的第8方案，能够根据由受到来自外部的刺激的用户产生的活体信息对设备进行操作。
根据本发明的第9方案，能够根据由接收到对话对象的语音的用户产生的活体信息对设备进行操作。
根据本发明的第10方案，能够根据由嗅到气味的用户产生的活体信息对设备进行操作。
根据本发明的第11方案，能够根据由感到温度的用户产生的活体信息对设备进行操作。
根据本发明的第12方案，能够根据与用户所观察的状况相对应地由该用户产生的活体信息对设备进行操作。
根据本发明的第13方案，能够根据脑波对设备进行操作。
附图说明
根据以下附图，对本发明的实施方式进行详细叙述。
图1是表示本实施方式所涉及的信息处理系统的结构的框图；
图2是表示本实施方式所涉及的信息处理装置的结构的框图；
图3是表示管理表的图；
图4是表示管理表的图。
符号说明
10-信息处理装置，12-活体信息测定装置，14-传声器，22-设备，30-处理器。
具体实施方式
参考图1，对本实施方式所涉及的信息处理系统进行说明。图1中示出有本实施方式所涉及的信息处理系统的结构的一例。
本实施方式所涉及的信息处理系统包含信息处理装置10、1个或复数个活体信息测定装置12、1个或复数个传声器14、1个或复数个相机16、1个或复数个臭气传感器18、1个或复数个温度传感器20及1个或复数个设备22。另外，图1中示出的各装置及各传感器的数量仅为一例，各装置及各传感器的数量并不限定于图1中示出的各装置及各传感器的数量。并且，信息处理系统也可以包含除图1中示出的装置以外的其他装置(例如，服务器等外部装置)。
信息处理装置10、活体信息测定装置12、传声器14、相机16、臭气传感器18、温度传感器20及设备22构成为与其他装置或其他传感器等进行通信。该通信可以是利用电缆的有线通信，也可以是无线通信。即，各装置及各传感器可以通过电缆与其他装置或其他传感器等物理连接而彼此收发信息，也可以通过无线通信彼此收发信息。作为无线通信，例如，使用近距离无线通信或Wi-Fi(注册商标)等。也可以使用除这些以外的标准的无线通信。近距离无线通信例如为Bluetooth(注册商标)或RFID(射频识别符，Radio FrequencyIdentifier)或NFC等。各装置可以经由LAN(局域网，Local Area Network)或互联网等通信路径与其他装置或其他传感器等进行通信。
信息处理装置10例如为个人电脑(以下，称为“PC”)、平板电脑、智能手机、移动电话或其他装置。信息处理装置10可以是用户能够携带的终端装置(例如，平板电脑或智能手机或移动电话等)，也可以是设置于桌子等而使用的装置。信息处理装置10可以是具有通信功能、传声器及扬声器的智能扬声器。信息处理装置10可以设置于室内(例如，房间的地板、天花板、桌子等)，也可以设置于户外。并且，信息处理装置10可以是能够移动的装置(例如，自行式装置)。
活体信息测定装置12构成为具有传感器或电极等，测定用户的活体信息。信息处理系统中包含复数个活体信息测定装置12时，各活体信息测定装置12可以测定不同种类的活体信息。当然，也可以构成为所有活体信息测定装置12中的一部分或全部测定相同种类的活体信息。并且，各活体信息测定装置12可以构成为测定1种活体信息，也可以构成为测定多种活体信息。
活体信息测定装置12将通过自身装置测定的活体信息发送至信息处理装置10。活体信息测定装置12可以在每次测定活体信息时将活体信息发送至信息处理装置10，也可以存储活体信息并按预先设定的时间间隔将活体信息发送至信息处理装置10，还可以以用户指定的定时将活体信息发送至信息处理装置10。并且，活体信息测定装置12也可以从其他活体信息测定装置12接收由该其他活体信息测定装置12测定出的活体信息，并将自身装置测定出的活体信息和该其他活体信息测定装置12测定出的活体信息发送至信息处理装置10。
活体信息测定装置12可以对由自身装置或其他活体信息测定装置测定出的活体信息进行分析，并将表示该分析结果的信息发送至信息处理装置10。例如，活体信息测定装置12可以包含处理器，由该处理器分析活体信息。当然，该分析也可以利用信息处理装置10进行。
活体信息测定装置12可以包含电池并通过从该电池供给的电力而驱动，也可以从信息处理装置10接受电力供给而驱动。
活体信息测定装置12可以是整个活体信息测定装置12安装于用户来测定活体信息的可穿戴装置。例如，活体信息测定装置12可以是安装于用户头部的装置，可以是安装于用户耳朵的可听(Hearable)装置，可以是安装于用户腕部或手或手腕或手指等的装置(例如，手表型装置等)，也可以是挂在用户颈部的装置，还可以是安装于用户胴体或腿部等的装置。
活体信息是由作为活体的用户发出的各种生理学信息或解剖学信息。活体信息的概念范畴中，例如包含表示大脑活动的信息(例如，脑波、脑血流量、脑磁场信号等)、脉搏数、血压、心率、心电波形、肌电波形、眼球运动、体温、发汗量、视线、语音及用户的运动等。这些仅为活体信息的一例，可以将其他生理学信息或解剖学信息用作活体信息。活体信息测定装置12可以测定这些活体信息中的1个活体信息，也可以测定复数个活体信息。
信息处理装置10从活体信息测定装置12接收活体信息，进行活体信息的分析、活体信息的存储、活体信息的输出、表示活体信息的分析结果的信息的存储及表示活体信息的分析结果的信息的输出等。当然，活体信息的分析也可以通过活体信息测定装置12进行。输出活体信息例如为显示活体信息或将活体信息输出为语音信息等。输出表示活体信息的分析结果的信息例如为显示表示分析结果的信息或将分析结果输出为语音信息等。信息处理装置10可以将活体信息或表示分析结果的信息发送至其他装置。
信息处理装置10可以包含1个或复数个活体信息测定装置12。即，1个或复数个活体信息测定装置12可以组装于信息处理装置10而构成1个装置。也可以是包含1个或复数个活体信息测定装置12的整个信息处理装置10安装于用户而测定活体信息。即，信息处理装置10可以是可穿戴装置。例如，信息处理装置10可以是安装于用户头部的装置，可以是安装于用户耳朵的可听(Hearable)装置，可以是安装于用户腕部或手或手腕或手指等的装置(例如，手表型装置)，也可以是挂在用户颈部的装置，还可以是安装于用户胴体或腿部等的装置。
当然，信息处理装置10和活体信息测定装置12可以是独立的装置。例如，可以如下，即，信息处理装置10为智能扬声器而活体信息测定装置12为安装于用户的可穿戴装置。
传声器14为收集声波的装置。传声器14周围的声音(例如，人的语音或其他声音)输入至传声器14，通过传声器14生成声音数据。表示输入至传声器14的声音的声音数据属于表示传声器14的周围环境的环境信息的一例。在该含义上，传声器14属于环境信息测定装置的一例。并且，表示输入至传声器14的用户的语音的声音数据属于该用户的活体信息的一例。在该含义上，传声器14属于测定该用户的活体信息的活体信息测定装置的一例。
相机16为摄影装置。通过相机16对信息处理装置10的周围或其他位置进行摄影，生成表示该周围的图像数据或表示其他位置的图像数据。该图像数据可以是动态图像数据，也可以是静止图像数据。通过相机16摄影的图像数据属于表示包含在相机16的摄影范围的环境的环境信息的一例。在该含义上，相机16属于环境信息测定装置的一例。并且，通过利用相机16对用户进行摄影而生成的表示该用户的图像数据属于该用户的活体信息的一例。例如，从该图像数据检测出的该用户的运动或该用户的体型等属于该用户的活体信息的一例。在该含义上，相机16属于测定该用户的活体信息的活体信息测定装置的一例。
臭气传感器18为测定臭气传感器18周围的气味，生成表示所测定的气味的臭气数据的装置。表示通过臭气传感器18测定出的气味的臭气数据属于表示臭气传感器18的周围环境的环境信息的一例。在该含义上，臭气传感器18属于环境信息测定装置的一例。并且，通过臭气传感器18测定出的表示用户的气味的臭气数据属于该用户的活体信息的一例。在该含义上，臭气传感器18属于测定该用户的活体信息的活体信息测定装置的一例。
温度传感器20为测定温度传感器20周围的温度，生成表示所测定的温度的温度数据的装置。通过温度传感器20测定出的表示温度的温度数据属于表示温度传感器20的周围环境的环境信息的一例。在该含义上，温度传感器20属于环境信息测定装置的一例。并且，通过温度传感器20测定出的表示用户的温度的温度数据属于该用户的活体信息的一例。在该含义上，温度传感器20属于测定该用户的活体信息的活体信息测定装置的一例。
另外，相机16、臭气传感器18及温度传感器20可以不包含在信息处理系统中，也可以是这些中的至少1个包含在信息处理系统中。也可以是除这些以外的环境信息测定装置(例如，湿度传感器、照度传感器、气压传感器或红外线传感器等)包含在信息处理系统中。也可以是1个或复数个环境信息测定装置包含在信息处理装置10中。例如，可以是相机16包含在信息处理装置10中。并且，也可以是传声器14包含在信息处理装置10中。
设备22例如为PC、平板电脑、智能手机、移动电话、机器人(例如，人型机器人、除人以外的动物型机器人、清扫机器人及除这些以外的机器人等)、投影仪、液晶显示器等显示装置、记录装置、再生装置、相机等摄像装置、冰箱、电饭煲、微波炉、咖啡机、吸尘器、洗衣机、空调机、照明设备、钟表、监控摄像机、汽车、二轮车、航空器(例如，无人航空器(例如无人驾驶飞机))、游戏机、煤气灶、温水清洗坐便器、通风扇、呼叫铃、玄关监视器、电梯、门、窗或各种传感设备(例如，温度传感器、湿度传感器、电压传感器、电流传感器等)等装置。设备22的概念范畴中可包含整个设备。例如，信息设备、影像设备、音响设备、其他设备也可以包含在本实施方式所涉及的设备22的范畴中。
以下，参考图2，对信息处理装置10的结构进行详细说明。
信息处理装置10例如包含通信装置24、UI26、存储装置28及处理器30。信息处理装置10也可以包含除这些以外的结构。
通信装置24为通信接口，具有向其他装置发送数据的功能及接收从其他装置发送过来的数据的功能。通信装置24可以具有无线通信功能，也可以具有有线通信功能。通信装置24例如可以通过利用近距离无线通信来与其他装置进行通信，也可以经由LAN或互联网等通信路径与其他装置进行通信。通信装置24通过与活体信息测定装置12进行通信而接收从活体信息测定装置12发送过来的活体信息。通信装置24可以将用于控制活体信息测定装置12的动作的控制信息发送至活体信息测定装置12。并且，通信装置24通过与环境信息测定装置进行通信而接收从环境信息测定装置发送过来的环境信息。通信装置24可以将用于控制环境信息测定装置的动作的控制信息发送至环境信息测定装置。
UI26为用户接口，包含显示装置及操作装置。显示装置为液晶显示器或EL显示器等。操作装置为键盘或输入键或操作面板等。UI26可以是兼备显示装置和操作装置的触摸面板等UI。并且，可以是传声器包含在UI26中，也可以是发出声音的扬声器包含在UI26中。
存储装置28为构成存储各种数据的1个或复数个存储区域的装置。存储装置28例如为硬盘驱动器、各种存储器(例如，RAM或DRAM或ROM等)、其他存储装置(例如，光盘等)或它们的组合。1个或复数个存储装置28包含在信息处理装置10中。
存储装置28中存储有管理信息。管理信息为用于管理为了对设备22进行操作而使用的活体信息的信息。例如，按设备22的每个操作，将表示针对设备22的手动操作的手动操作信息、用语音表示该设备22的操作的语音信息、发出该语音时的除语音以外的活体信息及表示该设备22的操作的控制信息预先建立关联而登录于管理信息中。也可以按每个用户，将手动操作信息、语音信息、除语音以外的活体信息及控制信息建立关联而登录于管理信息中。
处理器30构成为根据用户的活体信息对设备22进行操作。例如，用户通过手动对设备22进行操作时发出的该用户的语音的识别结果及除语音以外的该用户的活体信息包含在表示针对该设备22的手动操作的手动操作信息的容许范围内时，在之后的操作中，处理器30根据该用户的活体信息对该设备22进行操作。在之后的操作中，处理器30可以根据用户的语音和除语音以外的该用户的活体信息的组合对设备22进行操作，也可以根据除语音以外的用户的活体信息对设备22进行操作。例如，处理器30按照控制信息对该设备22进行操作。
用户通过手动对设备22进行操作时发出的该用户的语音通过传声器14被测定，此时的该用户的活体信息通过活体信息测定装置12被测定。
并且，处理器30可以对通过相机16摄影的图像数据进行分析，从而识别由用户通过手动操作的设备22和该操作的内容，也可以通过与各设备22进行通信而识别由用户通过手动操作的设备22和该操作的内容。例如，若由用户对自身装置进行操作，则设备22将包含表示由用户对自身装置进行操作的信息、表示该操作的内容的信息及用于识别自身装置的信息的通知信息发送至信息处理装置10。处理器30根据从设备22发送过来的通知信息，识别由用户通过手动操作的设备22和该操作的内容。
处理器30例如根据用户的语音的波形及表示除语音以外的活体信息的波形，判断用户的语音的识别结果及除语音以外的该用户的活体信息是否包含在手动操作信息的容许范围内。例如，作为用于该判断的要件，使用波形的形状、峰值、周期或振幅等波形的特征。并且，处理器30可以从语音的识别结果掌握用户发言的含义内容，并判断其含义内容是否包含在手动操作信息的容许范围内。
在用户通过手动对设备22进行操作时发出的该用户的语音的识别结果及除语音以外的该用户的活体信息包含在表示针对该设备22的手动操作的手动操作信息的容许范围内的情况例如为如下情况：在该用户通过手动对该设备22进行操作时测定出的该用户的语音的识别结果与登录于管理信息中的语音信息之间的差异在第1容许范围内，且在该用户通过手动对该设备22进行操作时测定出的除该用户的除语音以外的活体信息与登录于管理信息中的活体信息之间的差异成为第2容许范围内。第1容许范围及第2容许范围为预先确定的值，可以由用户等进行变更。
即，用户通过手动对设备22进行操作时测定出的该用户的语音的识别结果与登录于管理信息中的语音信息之间的差异在第1容许范围内，且该用户通过手动对该设备22进行操作时测定出的该用户的除语音以外的活体信息与登录于管理信息中的活体信息之间的差异在第2容许范围内时，在之后的操作中，处理器30根据该用户的活体信息对该设备22进行操作。
用户通过手动对设备22进行了操作的时间点可以是通过手动对设备22进行了操作的那一时间点，也可以是包含通过手动进行了操作的时间点在内的期间。包含通过手动进行了操作的时间点在内的期间可以是包含比通过手动进行了操作的时间点更靠后的期间的期间，也可以是包含比通过手动进行了操作的时间点更靠前的期间的期间，还可以是包含通过手动进行了操作的时间点的前后期间的期间。包含比通过手动进行了操作的时间点更靠后的期间的期间为从通过手动进行了操作的时间点经过预先确定的时间为止的期间。包含比通过手动进行了操作的时间更靠前的期间的期间为从通过手动进行了操作的时间点更靠前的预先确定的时间点至通过手动进行了操作的时间点为止的期间。包含通过手动进行了操作的时间点的前后期间的期间为包含比通过手动进行了操作的时间点更靠后的期间和比通过手动进行了操作的时间点更靠前的期间这两个期间的期间。即，处理器30判断在通过手动进行了操作的那一时间点测定出的语音及其他活体信息、在包含比通过手动进行了操作的时间点更靠后的期间的期间内测定出的语音及其他活体信息、在包含比通过手动进行了操作的时间点更靠前的期间的期间内测定出的语音及其他活体信息或在包含通过手动进行了操作的时间点的前后期间的期间内测定出的语音及其他活体信息是否包含在手动操作信息的容许范围内。测定出用于该判断的语音及其他活体信息的时间点或期间可以由用户设定，也可以预先确定。
通过手动进行的操作的内容包含复数个操作时，可以是进行了该复数个操作中包含的最初的操作的时间点为通过手动进行了操作的时间点，可以是进行了该复数个操作中包含的中途的操作的时间点为通过手动进行了操作的时间点，也可以是进行了该复数个操作中包含的最后的操作的时间点为通过手动进行了操作的时间点。例如，如连续按压用于变更空调的设定温度的按钮来变更设定温度的情况等，通过手动连续进行相同的操作时，连续操作的最初的时间点(例如，按压连续被操作的相同按钮的最初的时间点)、连续操作的中途的时间点(例如，按压连续被操作的相同按钮的中途的时间点)或连续操作的最后的时间点(例如，按压连续被操作的相同按钮的最后的时间点)中的任一个时间点设定为通过手动进行了操作的时间点。并且，如连续按压复数个不同按钮的情况等，通过手动连续进行复数个不同操作的情况也同样地，连续操作的最初的时间点(例如，按压复数个不同按钮中最初的按钮的时间点)、连续操作的中途的时间点(例如，按压复数个不同按钮中中途的按钮(除最初和最后的按钮以外的按钮)的时间点)或连续操作的最后的时间点(例如，按压复数个不同按钮中最后的按钮的时间点)中的任一个时间点设定为通过手动进行操作的时间点。该时间点可以由用户设定，也可以预先确定。
识别用户的语音的处理可以通过处理器30进行，也可以通过服务器等外部装置进行。作为识别语音的处理，例如使用公知技术。并且，识别语音的处理可以通过人工智能进行。
按每个用户，手动操作信息、语音信息、除语音以外的活体信息及控制信息建立有关联而登录于管理信息中时，处理器30可以按每个用户判别语音，并根据活体信息对设备22进行操作。
例如，可以通过测定大脑活动的活体信息测定装置12和信息处理装置10构筑脑机介面。脑机介面方式可以是侵入式，也可以是非侵入式。在该情况下，处理器30根据用户的大脑活动(例如，脑波等)对设备22进行操作。处理器30为了对设备22进行操作，可以从脑波提取特征性成分，并根据该提取的成分对设备22进行操作。为了从脑波提取特征性成分，可利用高速傅里叶变换(FFT：Fast Fourier Transform)、小波变换(WT：WaveletTransform)、TFD(时频分布，Time Frequency Distribution)、EM(特征向量法，Eigenvector Methods)、自回归模型(ARM：AutoRegressive Model)等。并且，作为利用通过提取特征来获得的特征矢量将脑波和设备22的操作建立关联的方法，例如，可利用独立成分分析(ICA：Independent Component Analysis)、k平均法、支持向量机(SVM：SupportVector Machine)、卷积神经网络等。
并且，处理器30构成为控制信息处理装置10的各部的动作。处理器30可以包含存储器。
以下，举出具体例，对本实施方式所涉及的信息处理系统进行详细说明。
图3中示出有作为管理信息的一例的管理表的一例。管理表的数据存储于存储装置28。另外，管理表的数据可以存储于服务器等外部装置，而不是存储于存储装置28。
在管理表中，按设备22的每个操作，ID、设备信息、手动操作信息、语音信息、作为除语音以外的活体信息的一例的脑波及控制信息预先建立有关联。图3中示出的管理表为预先制作的默认的管理表，而不是反映有各用户的具体活体信息的管理表。在此，作为除语音以外的活体信息使用了脑波，但只要是除语音以外的活体信息，则也可以使用除脑波以外的活体信息。
ID为用于管理设备22的操作的信息。设备信息为用于识别所操作的设备22的信息，例如为该设备22的名称、设备ID或型号等。手动操作信息为表示用户针对该设备22的手动操作的信息。语音信息为以语音表示该设备22的该操作的信息。语音信息可以是以语音表示该设备22的该操作的语音数据(例如，表示该语音的波形)其本身，也可以是表示该语音的识别结果的信息。表示该语音的识别结果的信息可以是以字符串表示该语音的信息，也可以是表示该语音的特征的信息，还可以是表示该语音所表示的含义内容的信息。具体地说，语音信息为表示设想为在用户通过手动对该设备22进行该手动操作信息所示的操作时，由该用户发出的语音的信息。脑波为表示针对该设备22的该操作的活体信息。具体地说，脑波为设想为对该设备22进行该操作时由该用户发出的活体信息。另外，也可以是通过分析脑波而确定的表示操作的信息登录于管理表，而不是脑波其本身(即，波形)登录于管理表。控制信息为表示该设备22的操作的信息。
以下，举出具体例进行说明。
与ID“1”建立有关联的信息为与作为设备22的一例的“空调α”的操作相关的信息。
与ID“1”建立有关联的手动操作信息为表示““空调α”的电源为关闭状态时按压电源按钮”这一手动操作的信息。可设想在“空调α”的电源为关闭状态的情况下，打开“空调α”的电源时，用户会打开“空调α”的电源按钮。该手动操作信息为表示该手动操作的信息。“空调α”的电源按钮例如设置在用于对“空调α”进行操作的遥控器等。
与ID“1”建立有关联的语音信息为表示“打开开关”这一语音的信息。该语音信息可以是表示“打开开关”这一语音的语音数据(例如，表示该语音的波形)其本身，也可以是表示字符串“打开开关”的信息。表示“打开开关”这一语音的语音信息为表示设想为在“空调α”的电源为关闭状态的情况下，用户按压电源按钮时由该用户发出的语音的信息。即，设想为在“空调α”的电源为关闭状态的情况下，用户按压电源按钮时，该用户会发出表示“打开开关”的语音。
与ID“1”建立有关联的脑波为表示打开“空调α”的电源这一操作的脑波。具体地说，该脑波为设想为在“空调α”的电源为关闭状态的情况下，用户打开电源时由该用户发出的脑波。即，设想为在“空调α”的电源为关闭状态的情况下，用户打开电源时，该用户会发出与ID“1”建立有关联的脑波。
与ID“1”建立有关联的控制信息为表示打开“空调α”的电源这一操作的信息。
例如，设为在“空调α”的电源为关闭状态时，用户在发出语音的同时按压了“空调α”的电源按钮。该语音通过传声器14被测定。并且，该用户在发出语音的同时按压“空调α”的电源按钮时，由该用户发出的脑波通过活体信息测定装置12被测定。
在“空调α”的电源为关闭状态时按压“空调α”的电源按钮这一操作为ID“1”的操作。例如，若由用户通过手动对作为设备22的“空调α”进行操作，则将包含表示由用户通过手动对自身装置进行了操作的信息、表示该操作的内容(例如，打开电源的操作)的信息及用于识别作为自身装置的“空调α”的信息的通知信息发送至信息处理装置10。处理器30根据从“空调α”发送过来的通知信息，识别由用户通过手动对“空调α”进行了操作的情况，进一步识别该操作的内容为打开电源。即，处理器30识别进行了ID“1”的操作的情况。并且，通过相机16拍摄到用户利用“空调α”的遥控器等打开电源的操作的情况时，处理器30也可以对通过该摄影生成的图像数据进行分析，由此识别由用户对“空调α”进行了操作的情况，进一步识别该操作的内容为打开电源。
按压“空调α”的电源按钮时由用户发出的语音的识别结果为“打开开关”时，该语音的识别结果和与ID“1”建立有关联的语音信息一致。并且，此时测定出的脑波和与ID“1”建立有关联的脑波一致时，在之后的操作中，处理器30可以根据用户的语音和脑波的组合对“空调α”进行操作，也可以根据用户的脑波对“空调α”进行操作。
推测为对设备22进行操作时由用户发出的语音的内容中准确地反映有用户的意图。即，认为用户自身对设备22进行操作时，用户并不会故意说谎，因此设想为对设备22进行操作时由用户发出的语音的内容中准确地反映有用户的意图。例如，认为用户在通过手动打开电源时，用户不会进行与该操作的内容相反的发言(例如，“关闭”这一发言)。因此，推测为在对设备22进行操作时由用户发出的语音的内容中准确地反映有用户的意图，并且，此时由用户发出的除语音以外的活体信息(例如，脑波)中也准确地反映有用户的意图。因此，通过利用语音，能够提高对设备22的操作精度。
例如，在之后的操作中，“空调α”的电源为关闭状态时，从用户测定出与ID“1”建立有关联的脑波，且从用户测定出与ID“1”建立有关联的语音信息所表示的语音时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。例如，处理器30通过将命令打开电源的控制信息发送至“空调α”而打开“空调α”的电源。从用户测定出的脑波和与ID“1”建立有关联的脑波之间的差异在容许范围内，且从用户测定出的语音和与ID“1”建立有关联的语音信息所表示的语音之间的差异在容许范围内时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。推测为在对设备22进行操作时，通过发出表示该操作的语音，与不发出语音时相比，易在脑波中反映该操作。因此，在对设备22进行操作时，通过发出表示该操作的语音，与不发出语音时相比，能够提高对设备22的操作精度。
作为另一例，在之后的操作中，“空调α”的电源为关闭状态时，从用户测定出与ID“1”建立有关联的脑波时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。从用户测定出的脑波和与ID“1”建立有关联的脑波之间的差异在容许范围内时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。
在按压“空调α”的电源按钮时由用户发出的语音的识别结果和与ID“1”建立有关联的语音信息“打开开关”之间的差异在第1容许范围内，且此时测定出的脑波和与ID“1”建立有关联的脑波之间的差异在第2容许范围内时，在之后的操作中，处理器30可以根据用户的语音和脑波的组合进行打开“空调α”的电源的操作，也可以根据用户的脑波进行打开“空调α”的电源的操作。
例如，在按压“空调α”的电源按钮时由用户发出的语音的识别结果为“打开”时，该识别结果“打开”和与ID“1”建立有关联的语音信息“打开开关”不同。在该情况下，处理器30判断该识别结果“打开”和与ID“1”建立有关联的语音信息“打开开关”之间的差异是否在第1容许范围内。处理器30例如对语音的识别结果即表示该语音的字符串“打开”和表示与ID“1”建立有关联的语音信息“打开开关”的字符串“打开开关”进行比较，并判断这些字符串的差异是否在第1容许范围内。处理器30例如可以通过对各字符串进行分析来识别各字符串所表示的含义内容，并判断这些含义内容的差异是否在第1容许范围内。处理器30例如可以通过利用自然语言处理、形态要素分析、语法分析及统计自然语言处理等来分析字符串。并且，也可以通过人工智能进行字符串的分析或语音的识别结果的比较等。由用户发出的语音的识别结果“打开”具有打开电源等含义，因此在此作为一例，处理器30判断为语音的识别结果“打开”和与ID“1”建立有关联的语音信息“打开开关”之间的差异在第1容许范围内。
作为另一例，处理器30可以对由用户发出的语音的识别结果即该语音的波形和与ID“1”建立有关联的语音信息所表示的波形进行比较。具体地说，处理器30可以从各波形提取波形的形状、峰值、周期及振幅等特征，对两个波形的特征进行比较，并判断两个波形的特征的差异是否在第1容许范围内。
并且，处理器30可以计算两个波形之间的相似度，并判断该相似度是否为第1阈值以上。第1阈值为与第1容许范围对应的阈值。两个波形之间的相似度为第1阈值以上时，处理器30判断为两个波形相似，并判断为由用户发出的语音的识别结果和与ID“1”建立有关联的语音信息之间的差异在第1容许范围内。另外，为了计算波形的相似度，可以使用公知的技术。
并且，在按压“空调α”的电源按钮时从用户测定出的脑波和与ID“1”建立有关联的脑波不同时，处理器30判断该测定出的脑波和与ID“1”建立有关联的脑波之间的差异是否在第2容许范围内。具体地说，处理器30分别从从用户测定出的脑波和与ID“1”建立有关联的脑波提取脑波的形状、峰值、周期及振幅等特征，对各波形的特征进行比较，并判断两个波形的特征的差异是否在第2容许范围内。
并且，处理器30可以计算两个波形之间的相似度，并判断该相似度是否为第2阈值以上。第2阈值为与第2容许范围对应的阈值。两个波形之间的相似度为第2阈值以上时，处理器30判断为两个波形相似，并判断为从用户测定出的脑波和与ID“1”建立有关联的语音信息之间的差异在第2容许范围内。
由用户发出的语音的识别结果和与ID“1”建立有关联的语音信息之间的差异在第1容许范围内，且从用户测定出的脑波和与ID“1”建立有关联的脑波之间的差异在第2容许范围内时，在之后的操作中，处理器30可以根据用户的语音和脑波的组合进行打开“空调α”的电源的操作，也可以根据用户的脑波进行打开“空调α”的电源的操作。
例如，在之后的操作中，“空调α”的电源为关闭状态时，从用户测定出和与ID“1”建立有关联的语音信息所表示的语音之间的差异成为第1容许范围内的语音，且从用户测定出和与ID“1”建立有关联的脑波之间的差异成为第2容许范围内的脑波时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。
作为另一例，在之后的操作中，“空调α”的电源为关闭状态时，从用户测定出和与ID“1”建立有关联的脑波之间的差异成为第2容许范围内的脑波时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。
对于除ID“1”的操作以外的其他操作，也与对于ID“1”的操作同样地，用户的语音的识别结果和脑波包含在手动操作信息的容许范围内时，在之后的操作中，根据语音和脑波的组合或根据脑波进行该操作。
并且，根据用户的语音和脑波的组合对设备22进行操作，该操作的次数成为阈值以上时，在之后的操作中，处理器30可以仅根据用户的脑波对设备22进行操作。作为另一例，基于用户的语音和脑波的组合的操作的成功率成为阈值以上时，在之后的操作中，处理器30可以仅根据用户的脑波对设备22进行操作。
如此，处理器30可以阶段性地减少为了对设备22进行操作而使用的信息。具体地说，在第1阶段，处理器30根据基于用户的手动操作、语音、除语音以外的活体信息(例如，脑波)的组合对设备22进行操作。在第2阶段，处理器30根据用户的语音和除语音以外的活体信息的组合对设备22进行操作。在第3阶段，处理器30根据除语音以外的用户的活体信息对设备22进行操作。可以如下：第1阶段中的操作成功率成为阈值以上时，进行第2阶段中的操作，第2阶段中的操作成功率成为阈值以上时，进行第3阶段中的操作。
另外，用户通过手动对设备22进行操作时，用户可以发出表示用于识别所操作的设备22的设备信息的语音。该语音通过传声器14被测定，处理器30通过对该语音进行分析来确定被操作的设备22。并且，处理器30在管理表中搜索被操作的设备22，控制针对该设备22的操作。例如，在“空调α”的电源为关闭状态时用户按压“空调α”的电源按钮的同时发出表示“空调α”的语音时，处理器30根据该语音确定被操作的设备22为“空调α”。“空调α”的电源为关闭状态时按压“空调α”的电源按钮这一操作为与ID“1”建立有关联的操作，因此处理器30判断用户的语音的识别结果和脑波是否包含在与ID“1”建立有关联的手动操作信息的容许范围内。
并且，用户根据脑波对设备22进行操作时，用户可以发出表示用于识别被操作的设备22的设备信息的语音。处理器30通过对该语音进行分析来确定通过脑波进行操作的设备22。并且，处理器30在管理表中搜索通过脑波进行操作的设备22，对与该设备22建立有关联的脑波和从用户测定出的脑波进行比较。两个脑波的差异在第2容许范围内时，处理器30按照和与该设备22建立有关联的脑波建立有关联的控制信息对该设备22进行操作。例如，用户通过脑波打开“空调α”时，发出表示“空调α”的语音时，处理器30根据该语音确定通过脑波测定的设备22为“空调α”。图3所示的例子中，关于针对“空调α”的操作，与ID“1”建立有关联的操作和与ID“2”建立有关联的操作登录于管理表。处理器30对分别与ID“1”及ID“2”建立有关联的脑波和从用户测定出的脑波进行比较。与ID“1”建立有关联的脑波和从用户测定出的脑波之间的差异在第2容许范围内，且与ID“2”建立有关联的脑波和从用户测定出的脑波之间的差异不在第2容许范围内时，处理器30按照与ID“1”建立有关联的控制信息对“空调α”进行操作。在该情况下，处理器30打开“空调α”的电源。另一方面，与ID“1”建立有关联的脑波和从用户测定出的脑波之间的差异不在第2容许范围内，且与ID“2”建立有关联的脑波和从用户测定出的脑波之间的差异在第2容许范围内时，处理器30按照与ID“2”建立有关联的控制信息对“空调α”进行操作。在该情况下，处理器30关闭“空调α”的电源。
并且，可以按每个用户，手动操作信息、语音信息、脑波及控制信息建立有关联而登录于管理表。具体地说，也可以是各用户的具体的脑波登录于管理表。
图4中示出登录有各用户的具体的脑波的管理表。图4中示出的管理表中，按设备22的每个操作，ID、设备信息、手动操作信息、语音信息、作为除语音以外的活体信息的一例的脑波、控制信息及用户信息建立有关联。关于相同的操作，各用户的脑波登录于管理表。用户信息为用于识别用户的信息(例如，用户名或用户ID等)。另外，用户信息也可以未登录于管理表。
例如，设为在“空调α”的电源为关闭状态时用户A按压“空调α”的电源按钮的同时发出表示“打开开关”的语音。如此，若由用户A对“空调α”进行操作，则“空调α”将包含表示由用户通过手动对自身装置进行了操作的信息、表示该操作的内容(例如，在电源为关闭状态时按压电源按钮来打开电源的操作)的信息及用于识别作为自身装置的“空调α”的信息的通知信息发送至信息处理装置10。处理器30根据从“空调α”发送过来的通知信息，识别由用户对“空调α”进行了操作的情况，进一步识别该操作的内容为在电源为关闭状态时按压电源按钮来打开电源。并且，通过相机16拍摄到用户A利用“空调α”的遥控器等打开电源的操作的情况时，处理器30对通过该摄影生成的图像数据进行分析，由此识别由用户对“空调α”进行了操作的情况，进一步识别该操作的内容为在电源为关闭状态时按压电源按钮来打开电源。
通过传声器14测定表示“打开开关”的语音。并且，用户A在发出该语音的同时按压“空调α”的电源按钮时，由用户A发出的脑波通过活体信息测定装置12被测定。
处理器30将用于识别由用户进行操作的设备22即“空调α”的设备信息、表示电源为关闭状态时按压电源按钮的情况的手动操作信息、表示通过传声器14测定出的语音“打开开关”的语音信息、通过活体信息测定装置12测定出的脑波及表示打开电源的操作的控制信息建立关联而登录于管理表。该登录的脑波为从用户A测定出的脑波。并且，语音信息可以是表示语音的语音数据其本身，也可以是表示该语音的识别结果的信息。语音数据为表示用户A的语音的数据。图4所示的例子中，这些信息与ID“1”建立关联而登录于管理表。与ID“1”建立有关联的脑波为从用户A测定出的脑波。
各信息登录于管理表之后，处理器30根据用户的语音和脑波的组合或根据用户的脑波对“空调α”进行操作。具体地说，“空调α”的电源为关闭状态时，从用户测定出与ID“1”建立有关联的语音信息所表示的语音，且从用户测定出表示与ID“1”建立有关联的脑波时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。“空调α”的电源为关闭状态时，从用户测定出和与ID“1”建立有关联的语音信息所表示的语音之间的差异成为第1容许范围内的语音，且从用户测定出和与ID“1”建立有关联的脑波之间的差异成为第2容许范围内的脑波时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。“空调α”的电源为关闭状态时，从用户测定出与ID“1”建立有关联的脑波时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。“空调α”的电源为关闭状态时，从用户测定出与ID“1”建立有关联的脑波之间的差异成为第2容许范围时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。另外，用于识别用户A的用户信息未与ID“1”建立有关联时，若从除用户A以外的其他用户测定出与ID“1”建立有关联的语音信息所表示的语音和脑波或测定出与ID“1”建立有关联的脑波，则处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。
用于识别用户A的用户信息可以与ID“1”建立关联而登录于管理表。例如，与ID“1”建立有关联的各信息登录于管理表中之后，可以由用户对管理表进行编辑，由此将ID“1”和用户信息建立关联。作为另一例，在只有用户A登录于信息处理装置10的状态下测定出语音和脑波时，处理器30识别为测定出的语音和脑波为用户A的语音和脑波，可以将用于识别所登录的用户A的用户信息和ID“1”建立关联。并且，用户信息的登录对象的用户为“用户A”的情况设定在信息处理装置10中时，处理器30识别为测定出的语音和脑波为用户A的语音和脑波，可以将用于识别登录对象的用户A的用户信息和ID“1”建立关联。用户信息的登录对象的用户例如由用户设定在信息处理装置10中。
在用于识别用户A的用户信息和ID“1”建立关联而登录于管理表中的情况下，从用户A测定出与ID“1”建立有关联的语音信息所表示的语音和脑波的组合时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。该处理相当于上述第2阶段的处理。
例如，在只有用户A登录于信息处理装置10的状态下，从用户A测定出与ID“1”建立有关联的语音信息所表示的语音和脑波的组合时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。具体地说，若在只有用户A登录于信息处理装置10时，通过传声器14测定出语音，且通过活体信息测定装置12测定出脑波，则处理器30搜索和用于识别所登录的用户A的用户信息建立关联而登录于管理表的语音信息和脑波的组合。图4所示的例子中，与ID“1”建立有关联的语音信息和脑波的组合、与ID“3”建立有关联的语音信息和脑波的组合作为用户A的语音信息和脑波的组合而登录于管理表中，因此搜索这些组合。测定出的语音和脑波的组合和与ID“1”建立有关联的语音信息所表示的语音和脑波的组合一致时，或测定出的语音和与ID“1”建立有关联的语音信息所表示的语音之间的差异在第1容许范围内，且测定出的脑波和与ID“1”建立有关联的脑波之间的差异在第2容许范围内时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。另外，测定出的语音和脑波的组合和与ID“3”建立有关联的语音信息所表示的语音和脑波的组合一致时，或测定出的语音和与ID“3”建立有关联的语音信息所表示的语音之间的差异在第1容许范围内，且测定出的脑波和与ID“3”建立有关联的脑波之间的差异在第2容许范围内时，处理器30按照与ID“3”建立有关联的控制信息关闭“空调α”的电源。
作为另一例，在对设备22进行操作的用户为“用户A”的情况设定在信息处理装置10中的状态下，从用户A测定出与ID“1”建立有关联的语音信息所表示的语音和脑波的组合时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。具体地说，若在对设备22进行操作的用户为“用户A”的情况设定在信息处理装置10中的状态下，通过传声器14测定出语音，且通过活体信息测定装置12测定出脑波，则处理器30搜索和用于识别对设备22进行操作的用户即用户A的用户信息建立关联而登录于管理表的语音信息和脑波的组合。测定出的语音和脑波的组合和与ID“1”建立有关联的语音信息所表示的语音和脑波的组合一致时，或测定出的语音和与ID“1”建立有关联的语音信息所表示的语音之间的差异在第1容许范围内，且测定出的脑波和与ID“1”建立有关联的脑波之间的差异在第2容许范围内时，处理器30按照与ID“1”建立有关联的控制信息打开“空调α”的电源。对设备22进行操作的用户例如由用户设定在信息处理装置10中。
作为另一例，在用于识别用户A的用户信息和ID“1”建立关联而登录于管理表的情况下，从用户A测定出与ID“1”建立有关联的脑波时或测定出和与ID“1”建立有关联的脑波之间的差异成为第2容许范围内的脑波时，处理器30可以按照与ID“1”建立有关联的控制信息打开“空调α”的电源。该处理相当于上述第3阶段的处理。
对于除用户A以外的其他用户，也与用户A同样地，将各信息登录于管理表。例如，与ID“2”建立有关联的各信息为与用户B打开“空调α”的电源时的操作相关的信息。与ID“3”建立有关联的各信息为与用户A关闭“空调α”的电源时的操作相关的信息。
处理器30可以按每个用户判别语音，并根据语音和除语音以外的活体信息的组合或根据除语音以外的活体信息对设备22进行操作。处理器30例如根据通过传声器14测定出的语音判别发出该语音的用户。例如，按每个用户，将表示用户的语音的语音数据和用于识别该用户的用户信息建立关联而预先存储于存储装置28或服务器等。若通过传声器14测定出语音，则处理器30搜索与表示测定出的语音的语音数据建立有关联的用户识别信息，确定发出该语音的用户。并且，处理器30在图4所示的管理表中确定与发出该语音的用户的用户信息建立有关联的操作，根据表示该用户的语音的语音信息和脑波的组合或根据该用户的脑波对设备22进行操作。
在用户睡眠期间，处理器30可以中止基于活体信息的设备22的操作。处理器30例如通过利用公知的技术，根据从用户测定出的活体信息来判断该用户是否在睡眠期间。已知能够根据脑波的种类、强度或变化等掌握人的睡眠状态。睡眠状态例如分类为快速眼动睡眠、非快速眼动睡眠及清醒。当然，该分类仅为一例，可以使用其他分类。在此，作为一例，设为用户的睡眠状态为快速眼动睡眠或非快速眼动睡眠时，用户的状态为睡眠状态，用户的睡眠状态为清醒时，用户的状态为非睡眠状态。处理器30通过利用公知技术，根据测定出的脑波的种类、强度或变化等来判断用户的睡眠状态。
已知入睡时依次产生如下脑波：β波、α波、θ波、δ波。若用户躺下并闭上眼睛，则从产生β波的状态，身体放松而产生α波。若从该阶段意识逐渐变模糊则产生θ波，若睡眠变深则产生δ波。处理器30通过对如此产生的脑波进行分析来判断用户的睡眠状态。
可以将作为活体信息测定装置12的一例的加速度传感器安装于用户，测定用户的加速度即运动。处理器30可以根据加速度的大小或变化量识别用户的睡眠状态。并且，处理器30也可以根据用户的脉搏数或血压等掌握用户的睡眠状态。
在用户的睡眠期间，处理器30可以中止将该用户的语音信息和活体信息建立关联的处理。例如，即使从睡眠期间的用户测定出语音或脑波，处理器30也不将语音信息和脑波建立关联，不将它们登录于管理表。
通过传声器14测定出复数个用户的语音或预先确定的数量以上的用户的语音时，处理器30可以中止基于活体信息的设备22的操作，也可以仅允许基于活体信息的应用程序的操作，还可以中止将语音信息和活体信息建立关联。
在根据用户的语音和除语音以外的活体信息(例如，脑波)的组合对设备22进行操作的情况下，通过传声器14测定出除已认证的用户以外的语音时，处理器30可以中止基于语音和除语音以外的活体信息的组合的设备22的操作及基于除语音以外的活体信息的设备22的操作。已认证的用户例如为通过信息处理装置10或认证服务器等其他装置认证的用户。例如，登录于信息处理装置10的用户或允许利用活体信息对设备22进行操作的用户等属于已认证的用户的一例。
根据用户的语音和除语音以外的活体信息的组合或根据除语音以外的活体信息对设备22进行操作时，处理器30可以在设备22被操作之前向用户通知操作内容。获得了用户的同意时，处理器30可以对设备进行操作。例如，处理器30可以通过语音向用户通知操作内容，也可以将表示操作内容的信息显示于UI26的显示部。并且，用户的同意可以通过用户的活体信息来赋予。例如，通过活体信息测定装置12测定出表示同意的脑波时，处理器30对设备22进行操作。
操作对象的设备22不存在于操作范围内时，处理器30可以输出警告。处理器30例如可以将表示警告的信息显示于UI26的显示部，也可以发出警告声。操作范围例如为以预先确定的位置为基准，从该位置距离预先确定的距离以内的范围。预先确定的位置可以是用户的位置，也可以是设置有信息处理装置10的位置，还可以是由用户指定的任意位置。例如，通过利用GPS(全球定位系统，Global Positioning System)等确定用户所携带的终端装置(例如智能手机等)的位置，确定该用户的位置。信息处理装置10的位置可以设定在信息处理装置10中，也可以通过GPS等确定。
处理器30接收到表示分别针对复数个设备22的操作命令的活体信息时，可以通过将与活体信息相对应的控制信息发送至各设备22来对各设备22进行操作。
以下，对变形例进行说明。变形例中，处理器30根据由受到来自外部的刺激的用户产生的活体信息对设备22进行操作。处理器30根据通过环境信息测定装置测定出的环境信息，检测来自外部的刺激，并判定用户是否从外部受到了刺激。并且，处理器30判定从用户测定出的活体信息是否为由受到来自外部的刺激的该用户产生的活体信息。从用户测定出的活体信息为由受到来自外部的刺激的该用户产生的活体信息时，处理器30根据该活体信息对设备22进行操作。环境信息测定装置例如为传声器14、相机16、臭气传感器18及温度传感器20等。也可以将除这些以外的传感器等用作环境信息测定装置。处理器30例如根据通过传声器14测定出的声音数据、通过相机16拍摄到的图像数据、通过臭气传感器18测定出的臭气数据及通过温度传感器20测定出的温度数据中的至少1个数据，判定用户是否从外部受到了刺激。处理器30可以根据除这些以外的数据判定用户是否从外部受到了刺激。
例如，推测为测定出特定的环境信息，在测定出该特定的环境信息之后从用户测定出的活体信息为由受到来自外部的刺激的该用户产生的活体信息。在该情况下，特定的环境信息所表示的环境属于来自外部的刺激的一例。例如，推测为在从测定出特定的环境信息的时间点经过预先确定的时间为止的期间从用户测定出的活体信息为由受到来自外部的刺激的该用户产生的活体信息。特定的环境信息所表示的环境例如为与设备22的操作相关的环境。例如，测定出与设备22的操作相关的特定的环境信息时，处理器30根据在测定出该特定的环境信息之后从用户测定出的活体信息对设备22进行操作。
以下，对变形例进行详细说明。
(变形例1)
变形例1中，通过传声器14测定出的特定的语音属于来自外部的刺激的一例，表示该特定的语音的语音数据属于特定的环境信息的一例。并且，作为活体信息的一例，为脑波。特定的语音例如为与设备22的操作相关的语音(例如，对话等)。推测为在测定出表示特定的语音的语音数据之后从用户测定出的活体信息为由受到来自外部的刺激即特定的语音的该用户产生的活体信息。在该情况下，处理器30根据由受到特定的语音的该用户产生的活体信息对设备22进行操作。即，处理器30根据由听到特定的语音的该用户产生的活体信息对设备22进行操作。例如，推测为在从测定出特定的语音的时间点经过预先确定的时间为止的期间从用户测定出的活体信息为由听到来自外部的刺激即特定的语音的该用户产生的活体信息。
例如，测定出作为活体信息的脑波的用户(例如，用户A)的对话对象的语音属于来自外部的刺激的一例，表示该语音的语音数据属于特定的环境信息的一例。
测定出脑波的用户A和该对话对象进行对话时，处理器30接收听到该对话对象的语音而从用户A测定出的脑波，确定与该脑波建立有关联的操作。例如，处理器30通过参考图4中示出的管理表来确定与从用户A测定出的该脑波建立有关联的操作。处理器30可以将表示该操作的内容的图像显示于UI26的显示部，也可以从扬声器发出表示该操作的内容的语音。在用户A同意执行该操作时，处理器30通过将用于执行该操作的控制信息发送至设备22而对该设备22进行操作。
例如，通过传声器14测定出表示用户A和对话对象的语音的语音数据，处理器30对通过传声器14测定出的语音数据进行分析，由此识别用户A与对话对象之间的对话内容。并且，也可以通过相机16拍摄用户A和对话对象，处理器30根据通过该摄影生成的图像数据，识别用户A和对话对象。处理器30识别与设备22的操作相关的对话对象的发言内容，接收听到该发言而从用户A测定出的脑波，将用于控制与该脑波相对应的操作的控制信息发送至设备22。与设备22的操作相关的对话对象的发言内容属于来自外部的刺激的一例，表示该发言内容的语音数据属于特定的环境信息的一例。推测为在该对话对象的发言之后测定出的脑波(例如，在从该对话对象发言的时间点经过预先确定的时间为止的期间测定出的脑波)为听到该对话对象的发言而由用户A发出的脑波，即由受到来自外部的刺激的用户A发出的脑波。
举出具体例进行说明。当对话对象说出“想用电视看○○吗？”时，通过传声器14测定出该发言内容，处理器30对通过传声器14测定出的语音进行分析，由此识别该发言内容。该发言内容为与作为设备22的电视的操作相关的发言，属于来自外部的刺激的一例，表示该发言内容的语音数据属于特定的环境信息的一例。处理器30接收听到该发言而从用户A测定出的脑波。例如，推测为在从对话对象说出“想用电视看○○吗？”的时间点经过预先确定的时间为止的期间测定出的脑波为由听到该对话对象的发言的用户A发出的脑波。该脑波为表示同意的脑波时，处理器30输出“打开电视吗？”的内容的消息。例如，处理器30可以从扬声器发出该消息的语音，也可以将该消息显示于UI26的显示部。处理器30接收输出该消息之后从用户A测定出的脑波。该脑波为表示同意的脑波时，处理器30将用于执行打开作为设备22的电视的操作的控制信息发送至电视，由此打开该电视的电源。
(变形例2)
变形例2中，通过臭气传感器18测定出的特定气味属于来自外部的刺激的一例，表示该特定气味的臭气数据属于特定的环境信息的一例。例如，通过臭气传感器18测定用户周围的气味。并且，作为活体信息的一例，为脑波。特定气味例如为与设备22的操作相关的气味。推测为在测定出表示特定气味的气味数据之后从用户测定出的活体信息为受到来自外部的刺激即特定气味而由该用户产生的活体信息。在该情况下，处理器30根据受到特定气味而由该用户产生的活体信息对设备22进行操作。即，处理器30根据嗅到特定气味而由该用户产生的活体信息对设备22进行操作。例如，推测为在从测定出特定气味的时间点经过预先确定的时间为止的期间从用户测定出的活体信息为由嗅到来自外部的刺激即特定气味的该用户产生的活体信息。
测定出特定气味时，处理器30接收从嗅到该特定气味的用户测定出的脑波，确定与该脑波建立有关联的操作。例如，处理器30通过参考图4中示出的管理表，确定与从用户测定出的该脑波建立有关联的操作。处理器30可以将表示该操作的内容的图像显示于UI26的显示部，也可以从扬声器发出表示该操作的内容的语音。在用户同意执行该操作时，处理器30通过将用于执行该操作的控制信息发送至设备22，对该设备22进行操作。推测为在测定出与设备22的操作相关的特定气味之后测定出的脑波(例如，在测定出特定气味的时间点经过预先确定的时间为止的期间测定出的脑波)为由嗅到该特定气味的用户发出的脑波，即由受到来自外部的刺激的用户发出的脑波。
举出具体例进行说明。烹饪之后，房间内会残留烹调时的气味，通过臭气传感器18测定表示该气味的臭气数据。该气味为与作为设备22的空气净化器的操作相关的气味，属于来自外部的刺激的一例，表示该气味的臭气数据属于特定的环境信息的一例。处理器30接收从嗅到该气味的用户A测定出的脑波。例如，推测为在从测定出烹饪之后的气味的时间点经过预先确定的时间为止的期间测定出的表示“气味令人不舒服”的脑波为由嗅到该气味的用户发出的脑波。在该情况下，处理器30发出“打开空气净化器吗？”的内容的消息。例如，处理器30可以从扬声器发出该消息的语音，也可以将该消息显示于UI26的显示部。处理器30接收输出该消息之后从用户测定出的脑波。该脑波为表示同意的脑波时，处理器30将用于执行打开作为设备22的空气净化器的操作的控制信息发送至空气净化器，由此打开该空气净化器的电源。另外，也可以与空气净化器一同或代替空气净化器，使用用于使香气扩散的芳香漫射器。
(变形例3)
变形例3中，通过温度传感器20测定出的特定的温度范围内包含的温度属于来自外部的刺激的一例，表示该特定的温度范围内包含的温度的温度数据属于特定的环境信息的一例。例如，通过温度传感器20测定用户周围的温度。并且，作为活体信息的一例，为脑波。例如，特定的温度范围内包含的温度为与设备22的操作相关的温度。推测为在测定出表示特定的温度范围内包含的温度的温度数据之后从用户测定出的活体信息为受到来自外部的刺激即温度而由该用户产生的活体信息。在该情况下，处理器30根据由受到特定的温度范围内包含的温度的该用户产生的活体信息对设备22进行操作。即，处理器30根据由感到特定的温度范围内包含的温度的该用户产生的活体信息对设备22进行操作。例如，推测为在从测定出特定的温度范围内包含的温度的时间点经过预先确定的时间为止的期间从用户测定出的活体信息为由感到来自外部的刺激即特定的温度范围内包含的温度的该用户产生的活体信息。
测定出特定的温度范围内包含的温度时，处理器30接收从感到该特定的温度范围内包含的温度的用户测定出的脑波，确定与该脑波建立有关联的操作。例如，处理器30通过参考图4中示出的管理表，确定与从用户测定出的该脑波建立有关联的操作。处理器30可以将表示该操作的内容的图像显示于UI26的显示部，也可以从扬声器发出表示该操作的内容的语音。从用户获得执行该操作的同意时，处理器30通过将用于执行该操作的控制信息发送至设备22而对该设备22进行操作。推测为在测定出与设备22的操作相关的温度之后测定出的脑波(例如，在测定出特定的温度范围内包含的温度的时间点经过预先确定的时间为止的期间测定出的脑波)为由感到该特定的温度的用户发出的脑波，即由受到来自外部的刺激的用户发出的脑波。
举出具体例进行说明。假设用户回家时房间较热，通过设置于房间的温度传感器20测定出预先确定的阈值以上的温度。预先确定的阈值以上的温度为特定的温度范围内包含的温度，在此作为一例，是推测为通常人们感到热的温度。特定的温度范围内包含的温度为与作为设备22的空调的操作相关的温度，属于来自外部的刺激的一例，表示该温度的温度数据属于特定的环境信息的一例。处理器30接收从感到该温度的用户测定出的脑波。例如，推测在从测定出特定的温度范围内包含的温度的时间点经过预先确定的时间为止的期间测定出的表示“因为热而使人不舒服”的脑波为由感到该温度的用户发出的脑波。在该情况下，处理器30输出“打开空调吗？”的内容的消息。例如，处理器30可以从扬声器发出该消息的语音，也可以将该消息显示于UI26的显示部。处理器30接收输出该消息之后从用户测定出的脑波。该脑波为表示同意的脑波时，处理器30将用于执行打开作为设备22的空调的操作的控制信息发送至该空调，由此打开该空调的电源。
(变形例4)
变形例4中，测定活体信息的用户所观察的特定状况属于来自外部的刺激的一例，表示该特定状况的图像数据属于特定的环境信息的一例。例如，通过相机16拍摄用户和其周围。并且，作为活体信息的一例，为脑波。例如，特定状况为与设备22的操作相关的情况。推测为在测定出表示特定状况的图像数据之后从用户测定出的活体信息为由受到来自外部的刺激即特定状况的该用户产生的活体信息。在该情况下，处理器30根据由受到特定状况的该用户产生的活体信息对设备22进行操作。即，处理器30根据由观察到特定状况的该用户产生的活体信息对设备22进行操作。例如，推测为在从拍摄到表示特定状况的图像数据的时间点经过预先确定的时间为止的期间从用户测定出的活体信息为由观察到来自外部的刺激即特定状况的该用户产生的活体信息。
例如，处理器30通过对表示用户和其周围的图像数据进行分析来确定用户所观察的方向，识别用户所观察的状况。
拍摄到表示特定状况的图像数据时，处理器30接收从观察到该特定状况的用户测定出的脑波，确定与该脑波建立有关联的操作。例如，处理器30通过参考图4中示出的管理表，确定与从用户测定出的该脑波建立有关联的操作。处理器30可以将表示该操作的内容的图像显示于UI26的显示部，也可以从扬声器发出表示该操作的内容的语音。在用户同意执行该操作时，处理器30通过将用于执行该操作的控制信息发送至设备22，对该设备22进行操作。推测为在拍摄到表示与设备22的操作相关的特定状况的图像数据之后测定出的脑波(例如，在拍摄到表示特定状况的图像数据的时间点经过预先确定的时间为止的期间测定出的脑波)为由观察到该特定状况的用户发出的脑波，即由受到来自外部的刺激的用户发出的脑波。
举出具体例进行说明。假设用户发现落在地板上的棉絮，通过相机16拍摄到用户看到该状况的情况，生成表示该情况的图像数据。地板上落有棉絮的状况为与作为设备22的机器人吸尘器的操作相关的状况，属于来自外部的刺激的一例，表示该情况的图像数据属于特定的环境信息的一例。处理器30接收从看到该状况的用户测定出的脑波。例如，推测为在从拍摄到表示用户看到落在地板上的棉絮的情况的图像数据的时间点经过预先确定的时间为止的期间测定出的表示“尘埃令人不舒服”的脑波为由看到该状况的用户发出的脑波。在该情况下，处理器30输出“打开机器人吸尘器吗？”的内容的消息。例如，处理器30可以从扬声器发出该消息的语音，也可以将该消息显示于UI26的显示部。处理器30接收输出该消息之后从用户测定出的脑波。该脑波为表示同意的脑波时，处理器30将用于执行打开作为设备22的机器人吸尘器的操作的控制信息发送至该机器人吸尘器，由此打开该机器人吸尘器的电源。
上述各实施方式中，处理器是指广义的处理器，包含通用的处理器(例如CPU：中央处理器，Central Processing Unit等)或专用的处理器(例如GPU：图形处理器，GraphicsProcessing Unit、ASIC：专用集成电路，Application Specific Integrated Circuit、FPGA：现场可编程门阵列，Field Programmable Gate Array、可编程逻辑器件等)。并且，上述各实施方式中的处理器的动作可以仅通过1个处理器完成，也可以由存在于物理上远离的位置的复数个处理器协同工作来完成。并且，处理器的各动作的顺序并不仅限于上述各实施方式中记载的顺序，可以适当变更。
上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (17)

1.一种信息处理装置，其具有处理器，
所述处理器将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
2.一种信息处理装置，其具有处理器，
当表示用户通过手动对设备进行操作时发出的所述用户语音的识别结果的信息及所述用户的除语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围内时，在之后的操作中，所述处理器根据活体信息对所述设备进行操作。
3.根据权利要求2所述的信息处理装置，其特征在于，
表示针对所述设备的手动操作的手动操作信息、以语音表示所述设备的操作的语音信息及发出所述语音时的所述用户的除语音以外的活体信息预先建立有关联，
当表示所述用户通过手动对所述设备进行操作时的所述用户的语音的识别结果的信息与所述建立有关联的语音信息之间的差异在第1容许范围内，且所述用户通过手动对所述设备进行操作时的所述用户的除语音以外的活体信息与所述建立有关联的活体信息之间的差异在第2容许范围内时，在之后的操作中，所述处理器根据活体信息对所述设备进行操作。
4.根据权利要求1或3所述的信息处理装置，其特征在于，
按每个用户，手动操作信息、语音信息及活体信息建立有关联，
所述处理器按每个用户判别语音，并根据活体信息对所述设备进行操作。
5.根据权利要求1所述的信息处理装置，其特征在于，
所述处理器在所述用户的睡眠期间中止将语音信息和活体信息建立关联的处理。
6.根据权利要求1至5中任一项所述的信息处理装置，其特征在于，
所述处理器在所述用户的睡眠期间中止基于活体信息的操作。
7.根据权利要求1至6中任一项所述的信息处理装置，其特征在于，
测定出预先确定的数量以上的用户的语音时，所述处理器中止基于活体信息的操作。
8.根据权利要求1至7中任一项所述的信息处理装置，其特征在于，
所述处理器根据由受到来自外部的刺激的所述用户产生的所述活体信息对所述设备进行操作。
9.根据权利要求8所述的信息处理装置，其特征在于，
所述来自外部的刺激为所述用户的对话对象的语音。
10.根据权利要求8所述的信息处理装置，其特征在于，
所述来自外部的刺激为气味。
11.根据权利要求8所述的信息处理装置，其特征在于，
所述来自外部的刺激为温度。
12.根据权利要求8所述的信息处理装置，其特征在于，
所述来自外部的刺激为所述用户所观察的状况。
13.根据权利要求1至12中任一项所述的信息处理装置，其特征在于，
所述活体信息为脑波。
14.一种存储介质，其存储有用于使计算机进行如下操作的程序：
将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
15.一种存储介质，其存储有用于使计算机进行如下操作的程序：
当表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息及所述用户的除语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围内时，在之后的操作中，根据活体信息对所述设备进行操作。
16.一种信息处理方法，其包括如下步骤：
将表示用户通过手动对设备进行操作时发出的所述用户的语音的识别结果的信息、所述用户的除语音以外的活体信息及表示针对所述设备的手动操作的手动操作信息建立关联，在之后的操作中，根据活体信息对所述设备进行操作。
17.一种信息处理方法，其包括如下步骤：
当表示用户通过手动对设备进行操作时发出的所述用户语音的识别结果的信息及除所述用户语音以外的活体信息包含在表示针对所述设备的手动操作的手动操作信息的容许范围内时，在之后的操作中，根据活体信息对所述设备进行操作。
CN202010063644.0A 2019-08-26 2020-01-20 信息处理装置、存储介质及信息处理方法 Pending CN112433602A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019153629A JP7254345B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム
JP2019-153629 2019-08-26

Publications (1)

Publication Number Publication Date
CN112433602A true CN112433602A (zh) 2021-03-02

Family

ID=74678701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063644.0A Pending CN112433602A (zh) 2019-08-26 2020-01-20 信息处理装置、存储介质及信息处理方法

Country Status (3)

Country Link
US (1) US11687049B2 (zh)
JP (1) JP7254345B2 (zh)
CN (1) CN112433602A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029192A1 (ja) * 2022-08-03 2024-02-08 株式会社Ｊｖｃケンウッド 音声コマンド受付装置、および音声コマンド受付方法
WO2024190659A1 (ja) * 2023-03-14 2024-09-19 株式会社Ｊｖｃケンウッド 操作制御装置、操作制御方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59102645A (ja) * 1982-12-03 1984-06-13 Toyota Motor Corp 車両用音声認識装置
JPH0332779Y2 (zh) 1986-09-03 1991-07-11
JP4037127B2 (ja) * 2002-02-22 2008-01-23 三菱電機株式会社 脳波信号を用いたナビゲーション装置及びナビゲーション制御方法
JP2007011873A (ja) * 2005-07-01 2007-01-18 Toshiba Corp インタフェース装置およびインタフェース方法
JP2007135008A (ja) * 2005-11-10 2007-05-31 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2010019708A (ja) 2008-07-11 2010-01-28 Hitachi Ltd 車載装置
TW201238562A (en) * 2011-03-25 2012-10-01 Univ Southern Taiwan Brain wave control system and method
JP2013042768A (ja) * 2011-08-22 2013-03-04 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US9539118B2 (en) * 2013-03-15 2017-01-10 Neurolutions, Inc. Brain-controlled body movement assistance devices and methods
JP6340528B2 (ja) 2014-05-01 2018-06-13 公益財団法人ヒューマンサイエンス振興財団 Ｂｍｉ運動補助装置
WO2015174422A1 (ja) * 2014-05-12 2015-11-19 株式会社 東芝 超音波診断装置とそのプログラム
KR101585150B1 (ko) 2014-09-25 2016-01-14 서울대학교산학협력단 뇌 연결성에 기반한 멀티모드 뇌-컴퓨터 인터페이스 시스템
WO2018235191A1 (ja) * 2017-06-21 2018-12-27 三菱電機株式会社 ジェスチャ操作装置及びジェスチャ操作方法

Also Published As

Publication number Publication date
US20210063978A1 (en) 2021-03-04
JP7254345B2 (ja) 2023-04-10
JP2021033676A (ja) 2021-03-01
US11687049B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
CN103561652B (zh) 用于辅助患者的方法和系统
WO2018074224A1 (ja) 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム
JP2023129585A (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
CN112433602A (zh) 信息处理装置、存储介质及信息处理方法
JP7359437B2 (ja) 情報処理装置、プログラム、及び、方法
JP2024045281A (ja) 情報処理方法
JP7296626B2 (ja) 情報処理装置及びプログラム
US11636392B2 (en) Information processing device and non-transitory computer readable medium
US20210072828A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
CN110587621A (zh) 机器人、基于机器人的病人看护方法和可读存储介质
US11868529B2 (en) Information processing device and non-transitory computer readable medium
JP7343168B2 (ja) 情報処理装置、プログラム、及び、方法
KR102256669B1 (ko) 주변 환경을 고려한 사용자 중심의 맞춤형 조명 제어 시스템 및 방법
JP7254346B2 (ja) 情報処理装置及びプログラム
CN118340505A (zh) 基于人脸图像检测用户状态的应急站及用户状态检测方法
KR20200113614A (ko) 주변 환경을 고려한 사용자 중심의 맞춤형 조명 제어 시스템 및 방법
CN113010006A (zh) 信息处理装置和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210409

Address after: Room 1107, Adel Po Tin, 26-8, Po Tin pentatomus, OTA District, Tokyo, Japan

Applicant after: Agama AIX Co.,Ltd.

Address before: No.3, 7-fan-3, Kawasaki, Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210302