JP2021033678A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021033678A
JP2021033678A JP2019153631A JP2019153631A JP2021033678A JP 2021033678 A JP2021033678 A JP 2021033678A JP 2019153631 A JP2019153631 A JP 2019153631A JP 2019153631 A JP2019153631 A JP 2019153631A JP 2021033678 A JP2021033678 A JP 2021033678A
Authority
JP
Japan
Prior art keywords
user
information
processor
information processing
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019153631A
Other languages
English (en)
Other versions
JP7254346B2 (ja
Inventor
佐藤 雅弘
Masahiro Sato
雅弘 佐藤
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2019153631A priority Critical patent/JP7254346B2/ja
Priority to CN202010034674.9A priority patent/CN112433601A/zh
Priority to US16/741,748 priority patent/US20210063977A1/en
Publication of JP2021033678A publication Critical patent/JP2021033678A/ja
Application granted granted Critical
Publication of JP7254346B2 publication Critical patent/JP7254346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2614HVAC, heating, ventillation, climate control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】ユーザの生体情報に基づいて、ユーザの状態に対処することができる機器に操作指示を出力する情報処理装置を提供する。【解決手段】情報処理システムの情報処理装置において、プロセッサは、ユーザの生体情報を受け付け、生体情報から把握されるユーザの状態に対処するための手段を実現するための機器18A、18Bに、手段を実現するための操作指示を出力する。プロセッサは、更に、機器からの情報を受け付けて機器を識別する。機器は、ユーザ自身又はユーザの周囲に作用する。【選択図】図1

Description

本発明は、情報処理装置及びプログラムに関する。
脳波等の生体情報を用いて機器を操作することが考えられる。
引用文献1には、使用者の脳波から脳波生体信号を検出し、使用者の表面筋電位から表面筋電位生体信号を検出し、両生体信号に基づいて制御信号を演算する装置が記載されている。
引用文献2には、使用者の脳波を取得し、その脳波を分析することで得られた分析結果に従って複数の被操作装置を選択的に操作する装置が記載されている。
特開2015−211705号公報 特開2016−67922号公報
ところで、ユーザの状態に対処することができる手段が複数ある場合、その手段を実現するためにどの機器に操作指示を与えるべきなのか分かり難いことがある。
本発明の目的は、ユーザの状態に対処することができる機器に操作指示を出力することにある。
請求項1に係る発明は、プロセッサを有し、前記プロセッサは、ユーザの生体情報を受け付け、前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するための機器に、前記手段を実現するための操作指示を出力する、情報処理装置である。
請求項2に係る発明は、前記プロセッサは、更に、前記機器からの情報を受け付けて前記機器を識別する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項3に係る発明は、前記機器は、前記ユーザ自身又は前記ユーザの周囲に作用する、ことを特徴とする請求項1又は請求項2に記載の情報処理装置である。
請求項4に係る発明は、前記プロセッサは、前記生体情報が測定されたときの前記ユーザの会話内容に応じた機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項5に係る発明は、前記プロセッサは、前記生体情報が測定されたときの前記ユーザの作業内容に応じた機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項6に係る発明は、前記ユーザの状態は、前記ユーザの感情であり、前記プロセッサは、前記ユーザの感情に応じた機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項7に係る発明は、前記プロセッサは、前記ユーザの位置と機器の位置との関係に応じた機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項8に係る発明は、前記プロセッサは、前記手段を実現するための機器であって前記ユーザの位置に最も近い位置に設置されている機器に前記操作指示を出力する、ことを特徴とする請求項7に記載の情報処理装置である。
請求項9に係る発明は、前記プロセッサは、前記ユーザの状態への作用が最も大きい機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項10に係る発明は、前記プロセッサは、前記ユーザの会話相手に応じた機器に前記操作指示を出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置である。
請求項11に係る発明は、コンピュータに、ユーザの生体情報を受け付けさせ、前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するための機器に、前記手段を実現するための操作指示を出力させる、プログラムである。
請求項1,11に係る発明によれば、ユーザの状態に対処することができる機器に操作指示を出力することができる。
請求項2に係る発明によれば、機器を識別することができる。
請求項3に係る発明よれば、ユーザの状態に効果的に対処することができる。
請求項4に係る発明によれば、ユーザの会話内容に応じた対処を行うことができる。
請求項5に係る発明によれば、ユーザの作業状態に応じた対処を行うことができる。
請求項6に係る発明によれば、ユーザの感情に応じた対処を行うことができる。
請求項7に係る発明によれば、ユーザの位置と機器の位置との関係を考慮に入れて選択された機器に操作指示を出力することができる。
請求項8,9に係る発明によれば、ユーザの状態に効果的に対処することができる機器に操作指示を出力することができる。
請求項10に係る発明によれば、ユーザの会話相手に応じた対処を行うことができる。
本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る情報処理装置の構成を示すブロック図である。 本実施形態に係る情報処理装置による処理を示すフローチャートを示す図である。 管理テーブルを示す図である。 管理テーブルを示す図である。 管理テーブルを示す図である。
図1を参照して、本実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムの構成の一例が示されている。
本実施形態に係る情報処理システムは、情報処理装置10と、1又は複数の生体情報測定装置12と、1又は複数のカメラ14と、1又は複数のマイク16と、1又は複数の機器とを含む。図1に示す例では、情報処理システムは機器18A,18Bを含むが、これは一例に過ぎない。以下では、機器18A,18Bを区別する必要がない場合には、機器18A,18Bを「機器18」と称することとする。なお、図1に示されている各装置及び各センサの数は一例に過ぎず、各装置及び各センサの数が、図1に示されている各装置及び各センサの数に限定されるものではない。また、情報処理システムは、図1に示されている装置以外の他の装置(例えばサーバ等の外部装置)を含んでもよい。
情報処理装置10、生体情報測定装置12、カメラ14、マイク16、及び、機器18は、他の装置や他のセンサ等と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置及び各センサは、他の装置や他のセンサ等とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やWi−Fi(登録商標)等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Bluetooth(登録商標)やRFID(Radio Frequency Identifier)やNFC等である。各装置は、LAN(Local Area Network)やインターネット等の通信経路を介して他の装置や他のセンサ等と通信してもよい。
情報処理装置10は、例えば、パーソナルコンピュータ(以下、「PC」と称する)、タブレットPC、スマートフォン、携帯電話、又は、その他の装置である。情報処理装置10は、ユーザが携帯することが可能な端末装置(例えば、タブレットPCやスマートフォンや携帯電話等)であってもよいし、テーブル等に設置されて使用される装置であってもよい。情報処理装置10は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよい。情報処理装置10は、屋内(例えば、部屋の床、天井、テーブル等)に設置されてもよいし、屋外に設置されてもよい。また、情報処理装置10は、移動可能な装置(例えば自走式の装置)でもよい。
生体情報測定装置12は、センサや電極等を有し、ユーザの生体情報を測定するように構成されている。複数の生体情報測定装置12が情報処理システムに含まれている場合、各生体情報測定装置12は、異なる種類の生体情報を測定してもよい。もちろん、すべての生体情報測定装置12の中の一部又は全部は、同じ種類の生体情報を測定するように構成されてもよい。また、各生体情報測定装置12は、1つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。
生体情報測定装置12は、自装置で測定した生体情報を情報処理装置10に送信する。生体情報測定装置12は、生体情報を測定する度に生体情報を情報処理装置10に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置10に送信してもよいし、ユーザが指定したタイミングで生体情報を情報処理装置10に送信してもよい。また、生体情報測定装置12は、他の生体情報測定装置12が測定した生体情報を当該他の生体情報測定装置12から受信し、自装置が測定した生体情報と当該他の生体情報測定装置12が測定した生体情報とを情報処理装置10に送信してもよい。
生体情報測定装置12は、自装置又は他の生体情報測定装置が測定した生体情報を分析し、その分析結果を示す情報を情報処理装置10に送信してもよい。例えば、生体情報測定装置12はプロセッサを含み、当該プロセッサが生体情報を分析してもよい。もちろん、その分析は情報処理装置10にて行われてもよい。
生体情報測定装置12は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、情報処理装置10から電力の供給を受けて駆動してもよい。
生体情報測定装置12は、生体情報測定装置12全体がユーザに装着されて生体情報を測定するウェアラブル装置であってもよい。例えば、生体情報測定装置12は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置(例えば腕時計型の装置等)であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
生体情報は、生体であるユーザから発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報(例えば、脳波、脳の血流量、脳磁場信号等)、脈拍数、血圧、心拍数、心電波形、筋電波形、眼球運動、体温、発汗量、視線、音声、及び、ユーザの動き等が含まれる。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置12は、これらの生体情報の中の1つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。
情報処理装置10は、生体情報測定装置12から生体情報を受け付けて、生体情報の分析、生体情報の記憶、生体情報の出力、生体情報の分析結果を示す情報の記憶、及び、生体情報の分析結果を示す情報の出力等を行う。もちろん、生体情報の分析は生体情報測定装置12によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の分析結果を示す情報を出力することは、例えば、分析結果を示す情報を表示することや、分析結果を音声情報として出力すること等である。情報処理装置10は、生体情報や分析結果を示す情報を他の装置に送信してよい。
情報処理装置10は、1又は複数の生体情報測定装置12を含んでもよい。つまり、1又は複数の生体情報測定装置12は、情報処理装置10に組み込まれて、1つの装置が構成されてもよい。1又は複数の生体情報測定装置12を含む情報処理装置10全体が、ユーザに装着されて生体情報を測定してもよい。つまり、情報処理装置10はウェアラブル装置であってもよい。例えば、情報処理装置10は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置(例えば腕時計型の装置)であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
もちろん、情報処理装置10と生体情報測定装置12は、別々の装置であってもよい。例えば、情報処理装置10はスマートスピーカであり、生体情報測定装置12は、ユーザに装着されるウェアラブル装置であってもよい。
カメラ14は、撮影装置である。情報処理装置10の周囲やその他の場所がカメラ14によって撮影されて、当該周囲を表す画像データやその他の場所を表す画像データが生成される。当該画像データは、動画像データであってもよいし、静止画像データであってもよい。カメラ14によって撮影された画像データは、カメラ14の撮影範囲に含まれている環境を示す環境情報の一例に相当する。その意味で、カメラ14は、環境情報測定装置の一例に相当する。また、カメラ14によってユーザが撮影されることで生成された、当該ユーザを表す画像データは、当該ユーザの生体情報の一例に相当する。例えば、当該画像データから検知される当該ユーザの動きや当該ユーザの体型等は、当該ユーザの生体情報の一例に相当する。その意味で、カメラ14は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。
マイク16は、音波を集める装置である。マイク16の周囲の音(例えば、人の音声やその他の音)がマイク16に入力されて、マイク16によって音データが生成される。マイク16に入力された音を表す音データは、マイク16の周囲の環境を示す環境情報の一例に相当する。その意味で、マイク16は、環境情報測定装置の一例に相当する。また、マイク16に入力されたユーザの音声を表す音データは、当該ユーザの生体情報の一例に相当する。その意味で、マイク16は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。
なお、カメラ14及びマイク16は、情報処理システムに含まれなくてもよいし、これらの中の少なくとも1つが情報処理システムに含まれてもよい。これら以外の環境情報測定装置が、情報処理システムに含まれてもよい。例えば、温度を測定する温度センサ、湿度を測定する湿度センサ、匂いを測定する臭気センサ、明るさを測定する照度センサ、及び、赤外線センサ等が、情報処理システムに含まれてもよい。これらのセンサによって測定されたデータは、環境情報の一例に相当する。1又は複数の環境情報測定装置が、情報処理装置10に含まれてもよい。例えば、カメラ14が情報処理装置10に含まれてもよい。また、マイク16が情報処理装置10に含まれてもよい。
機器18は、例えば、PC、タブレットPC、スマートフォン、携帯電話、ロボット(例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(例えばドローン))、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器18の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器18の範疇に含まれてもよい。
機器18は、通信インターフェースである通信装置、データを記憶する記憶装置、及び、当該機器18の動作を制御するプロセッサを有する。機器18は、ユーザインターフェースを有してもよい。機器18は、自装置である機器18を識別するための機器識別情報を情報処理装置10に送信してもよい。機器識別情報は、例えば、機器18のID、名称、型番、又は、アドレス(例えばMACアドレスやIPアドレス等)等である。
以下、情報処理装置10の構成について詳しく説明する。
情報処理装置10は、例えば、通信装置20と、UI22と、記憶装置24と、プロセッサ26とを含む。情報処理装置10は、これら以外の構成を含んでもよい。
通信装置20は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置20は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置20は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、LANやインターネット等の通信経路を介して他の装置と通信してもよい。例えば、通信装置20は、生体情報測定装置12から送信されてきた生体情報を受信する。通信装置20は、生体情報測定装置12の動作を制御するための制御情報を生体情報測定装置12に送信してもよい。また、通信装置20は、環境情報測定装置から送信されてきた環境情報を受信する。通信装置20は、環境情報測定装置の動作を制御するための制御情報を環境情報測定装置に送信してもよい。また、通信装置20は、機器18の動作を制御するための制御情報を機器18に送信する。通信装置20は、機器18から送信されてきた情報を受信してもよい。
UI22はユーザインターフェースであり、表示装置と操作装置とを含む。表示装置は、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI22は、表示装置と操作装置とを兼ね備えたタッチパネル等のUIであってもよい。また、マイクがUI22に含まれてもよいし、音を発するスピーカがUI22に含まれてもよい。
記憶装置24は、各種のデータを記憶する1又は複数の記憶領域を構成する装置である。記憶装置24は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。1又は複数の記憶装置24が情報処理装置10に含まれている。
記憶装置24には、管理情報が記憶されている。管理情報は、ユーザの状態に対処するための手段を実現するための機器を操作するための情報を管理するための情報である。
ユーザの状態の概念の範疇には、例えば、ユーザの感情、精神状態、心理状態、欲求、生理的状態、及び、身体に関する状態(例えば体の機能や組織に関する状態)等が含まれる。ユーザの状態は、当該ユーザから測定された生体情報に基づいて把握される。
ユーザの状態に対処するための手段は、例えば、ユーザの状態を良好にする手段、ユーザの欲求を満たすために手段、又は、ユーザが有する問題を解決するための手段等であり、予め定められている。以下、ユーザの状態に対処するための手段を「対処手段」と称することとする。
例えば、ユーザの状態を示すユーザ状態情報と、当該状態を有するユーザから発生すると想定される基準生体情報と、当該状態に対処するための対処手段を示す対処手段情報と、当該対処手段を実現するための機器を識別するための機器情報とが、予め紐付けられて管理情報に登録されている。ユーザ毎に、ユーザ状態情報と、基準生体情報と、対処手段情報と、機器情報とが紐付けられて管理情報に登録されてもよい。
プロセッサ26は、ユーザの生体情報に基づいて機器18を操作するように構成されている。例えば、プロセッサ26は、ユーザの生体情報を受け付け、当該生体情報から把握される当該ユーザの状態に対処するための対処手段を実現するための機器18に、当該対処手段を実現するための操作指示を出力する。
例えば、脳の活動を測定する生体情報測定装置12と情報処理装置10とによって、ブレイン・マシン・インターフェースが構築されてもよい。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ26は、ユーザの脳の活動(例えば脳波等)に基づいて機器18を操作する。プロセッサ26は、機器18を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて機器18を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換(FFT:Fast Fourier Transform)や、ウェーブレット変換(WT:Wavelet Transform)、TFD(Time Frequency Distribution)、EM(Eigenvector Methods)、自己回帰モデル(ARM:Auto Regressive Method)等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と機器18の操作とを結び付ける方法として、例えば、独立成分分析(ICA:Independent Component Analysis)、k平均法、サポートベクターマシン(SVM:Support Vector Machine)、畳み込みニューラルネットワーク等が用いられてもよい。
また、プロセッサ26は、機器18から送信されてきた機器識別情報を受け付けて当該機器18を識別するように構成されている。例えば、プロセッサ26は、機器識別情報の取得要求を機器18に送信し、その取得要求に応じて当該機器18から送信されてきた機器識別情報を取得する。また、情報処理装置10と接続される等して情報処理装置10と通信することが可能になった機器18から機器識別情報が情報処理装置10に送信され、プロセッサ26は、そのようにして送信されてきた機器識別情報を受け付けてもよい。
また、プロセッサ26は、情報処理装置10の各部の動作を制御するように構成されている。プロセッサ26は、メモリを含んでもよい。
以下、図3を参照して、情報処理装置10による処理について詳しく説明する。
1又は複数の生体情報測定装置12によってユーザの生体情報が測定される(S01)。測定された生体情報は、情報処理装置10に送信される。
プロセッサ26は、ユーザから測定された生体情報を受け付け、当該生体情報に基づいて当該ユーザの状態を把握する(S02)。
例えば、プロセッサ26は、ユーザから測定された生体情報と、上述した管理情報に登録されている各基準生体情報とを比較し、ユーザから測定された生体情報との差異が許容範囲内に含まれる基準生体情報を検索する。プロセッサ26は、その検索された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。ユーザから測定された生体情報との差異が許容範囲に含まれる複数の基準生体情報が検索された場合、プロセッサ26は、当該複数の基準生体情報の中で、ユーザから測定された生体情報との差異が最小となる基準生体情報を特定する。プロセッサ26は、その特定された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。許容範囲は、予め定められている。許容範囲は、ユーザによって変更されてもよい。
基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ26は、ユーザから測定された生体情報から特徴的な成分を抽出し、その抽出された成分との差異が許容範囲内に含まれる基準生体情報を検索してもよい。プロセッサ26は、その検索された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。
例えば、生体情報として脳波が用いられる場合、プロセッサ26は、測定された脳波から特徴的な成分を抽出し、当該成分を解析することで、当該脳波が測定されたユーザの状態を推測してもよい。
次に、プロセッサ26は、生体情報が測定されたユーザ自身、又は、当該ユーザの周囲に作用することが可能な1又は複数の機器18を検知する(S03)。例えば、プロセッサ26は、生体情報が測定されたユーザの位置と各機器18の位置との関係に基づいて、ユーザ自身又はユーザの周囲に作用する機器18を検知する。ユーザの周囲は、ユーザの位置を含み、ユーザの位置を基準として予め定められた範囲である。
次に、プロセッサ26は、ユーザの状態に対処するための対処手段を選択する(S04)。例えば、プロセッサ26は、上述した管理情報において、ステップS02にて特定された状態を示すユーザ状態情報に紐付けられている対処手段情報を検索し、その検索された対処手段情報が示す対処手段を、ユーザの状態を対処するための対処手段として選択する。
次に、プロセッサ26は、ステップS04にて選択された対処手段を実現するための機器18を選択する(S05)。プロセッサ26は、ステップS03にて検知された、ユーザ自身又はユーザの周囲に作用することが可能な1又は複数の機器18の中から、ステップS04にて選択された対処手段を実現するための機器18を選択する。例えば、プロセッサ26は、上述した管理情報において、ステップS04にて選択された対処手段を示す対処手段情報に紐付けられた機器情報が示す機器18であって、ユーザ自身又はユーザの周囲に作用することが可能な機器18を選択する。
次に、プロセッサ26は、ステップS05にて選択された機器18に、ステップS04にて選択された対処手段を実現するための操作指示を示す制御情報を送信することで、当該機器18を操作する(S06)。制御情報を受信した機器18は、当該制御情報に従って動作することで、ステップS04にて選択された対処手段を実現する。このように、ユーザの状態に対処するための対処手段を実現するための機器18が選択され、その機器に操作指示を出力することができる。
以下、具体例を挙げて、本実施形態に係る情報処理システムについて詳しく説明する。
図4には、管理情報の一例である管理テーブルの一例が示されている。管理テーブルのデータは、記憶装置24に記憶されている。管理テーブルのデータは、記憶装置24に記憶されずに、サーバ等の外部装置に記憶されてもよい。
管理テーブルにおいては、IDと、ユーザの状態を示すユーザ状態情報と、当該状態を有するユーザから発生すると想定される基準脳波と、当該状態を対処するための対処手段を示す対処手段情報と、当該対処手段を実現するための機器を識別するための機器情報と、機器を選択するための選択条件を示す選択条件情報とが、予め紐付けられている。基準脳波は、基準生体情報の一例である。ここでは、生体情報の一例として脳波が用いられているが、脳波以外の生体情報が用いられてもよい。
IDは、管理テーブルに登録されている情報を管理するための情報である。基準脳波は、例えば、統計的な処理によって定められ、当該基準脳波に紐付けられている状態を有するユーザから一般的に発生すると想定される脳波である。機器情報は、例えば、機器18の名称、機器ID又は型番等である。
以下、ID「1」に紐付けられている各情報について詳しく説明する
ID「1」に紐付けられているユーザ状態情報が示す状態は、ユーザが「暑い」と感じている状態である。ID「1」に紐付けられている基準脳波は、ユーザが「暑い」と感じているときに当該ユーザから発生すると想定される脳波である。つまり、ID「1」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、当該ユーザは「暑い」と感じていると推測される。ID「1」に紐付けられている対処手段情報は、「暑い」と感じているユーザの状態に対処するために、ユーザの周囲を涼しくするという対処手段を示す情報である。「涼しくする」という対処手段は、「暑い」と感じているユーザの状態を良好にするための手段である。具体的には、「涼しくする」という対処手段は、「暑い」と感じているユーザが、「暑い」と感じないようにするための手段である。「涼しくする」という対処手段を実現するための機器18として、「エアコン」と「扇風機」が、「涼しくする」という対処手段に紐付けられている。つまり、「涼しくする」という対処手段を実際に実現するための機器18として、「エアコン」と「扇風機」が、管理テーブルに登録されている。なお、図4に示す例では、対処手段に2つの機器18が紐付けられているが、当該対処手段を実現するための1又は複数の機器18が当該対処手段に紐付けられていればよい。ID「1」に紐付けられている選択条件情報は、機器18である「エアコン」及び「扇風機」の中から、実際に操作される機器18を選択するための条件を示す情報である。選択条件は、例えば、ユーザや機器18の周囲の環境、ユーザの位置、機器18の位置、ユーザの状態、機器18の性能、又は、機器18がユーザやユーザの周囲に作用する程度等に関する条件である。
例えば、ID「1」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、ユーザが「暑い」と感じていると推測する。例えば、プロセッサ26は、ユーザから測定された脳波と基準脳波のそれぞれから、脳波の形状、ピーク、周期及び振幅等の特徴を抽出し、各波形の特徴を比較し、両波形の特徴の差異が許容範囲内に含まれるか否かを判断する。
また、プロセッサ26は、ユーザから測定された脳波と基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は、許容範囲に対応する値である。両波形の間の類似度が閾値以上である場合、プロセッサ26は、両波形は類似していると判断し、ユーザから測定された波形と基準脳波との差異が許容範囲内に含まれると判断する。つまり、ID「1」に紐付けられている基準脳波との間の類似度が閾値以上となる脳波がユーザから測定された場合、プロセッサ26は、ユーザが「暑い」と感じていると推測する。
なお、ユーザ状態情報と複数の異なる基準生体情報とが紐付けられていてもよい。例えば、「暑い」というユーザの状態を示すユーザ状態情報に、「暑い」と感じているユーザから測定されると想定される基準脳波と、そのときに当該ユーザが有すると想定される基準体温とが、基準生体情報として、紐付けられていてもよい。この場合、ユーザから測定された脳波と基準脳波との差異が許容範囲内に含まれ、かつ、そのときに測定されたユーザの体温と基準体温との差異が許容範囲内に含まれる場合、プロセッサ26は、ユーザが「暑い」と感じていると推測してもよい。
プロセッサ26は、選択条件に従って、対処手段を実際に実現する機器18を選択し、当該機器18に操作指示を示す制御情報を送信することで、当該機器18を操作する。例えば、プロセッサ26は、選択条件に従って「エアコン」を選択し、対処手段「涼しくする」を実現するために、当該「エアコン」の冷房をオンするという操作指示を示す制御情報を当該「エアコン」に送信することで、当該「エアコン」の冷房をオンする。
なお、ユーザの状態に応じた、機器18の出力レベルが、対処手段及び機器18に紐付けられて管理テーブルに登録されてもよい。例えば、機器18である「エアコン」の冷房の設定温度や風量が、対処手段及び当該「エアコン」に紐付けられてもよい。設定温度や風量は、ユーザの状態に応じて定められる。この場合、プロセッサ26は、設定温度や風量を含む制御情報を「エアコン」に送信することで、当該「エアコン」の設定温度や風量を当該「エアコン」に設定する。
ユーザ毎に、ユーザ状態情報と、基準生体情報と、対処手段情報と、機器情報と、選択条件情報とが紐付けられて管理テーブルに登録されてもよい。例えば、ユーザから測定された生体情報が、当該ユーザの基準生体情報として管理テーブルに登録されてもよい。
図5には、個々のユーザの具体的な基準生体情報が登録されている管理テーブルが示されている。図5に示されている管理テーブルにおいては、IDと、ユーザ状態情報と、基準生体情報の一例である基準脳波と、対処手段情報と、機器情報と、選択条件情報と、ユーザ情報とが紐付けられている。ユーザ情報は、ユーザを識別するための情報(例えば、ユーザ名やユーザID等)である。
ユーザ情報に紐付けられている基準脳波は、当該ユーザ情報が示すユーザが、当該基準脳波に紐付けられているユーザ状態情報が示す状態を有しているときに、当該ユーザから測定された脳波である。各ユーザの各状態を表す基準脳波は、予め測定されて管理テーブルに登録されている。
例えば、ユーザAが「暑い」と感じたときのユーザAの脳波が生体情報測定装置12によって測定され、その測定された脳波が、ユーザAが「暑い」と感じたときに発生する基準脳波として、「暑い」という状態を示すユーザ状態情報に紐付けられて管理テーブルに登録される。また、対処手段情報、機器情報、選択条件情報、及び、ユーザAを示すユーザ情報が、そのユーザ状態情報と基準脳波とに紐付けられて管理テーブルに登録される。この登録の作業は、情報処理装置10を用いて行われてもよいし、他の装置を用いて行われてもよい。図5に示す例では、これらの情報はID「1」の情報として登録されている。他の状態や他のユーザについても同様に、各情報が管理テーブルに登録される。
なお、登録の作業を複数回行い、これによって測定された複数の脳波の平均を、基準脳波として登録してもよい。例えば、ユーザAが「暑い」と感じたときのユーザAの脳波を生体情報測定装置12によって測定するという作業を、複数回行い、これによって測定された複数の脳波の平均を、基準脳波として管理テーブルに登録してもよい。
例えば、ユーザAのみが情報処理装置10にログインしている状態で、ユーザAから、ID「1」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ26は、ユーザAが「暑い」と感じていると推測する。そして、プロセッサ26は、ユーザAの状態に対処するための対処手段として、「涼しくする」という対処手段を選択し、その対処手段を実現するための機器18を特定する。プロセッサ26は、選択条件に従って、「涼しくする」という対処手段を実際に実現するための機器18を選択し、その選択した機器18を操作する。
別の例として、機器18を操作するユーザが「ユーザA」であることが情報処理装置10に設定されている状態で、ユーザAから、ID「1」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ26は、ユーザAが「暑い」と感じていると推測してもよい。
ユーザA以外の他のユーザについても、ユーザAと同様に、各情報が管理テーブルに登録される。例えば、ID「2」に紐付けられている各情報は、ユーザBが「暑い」と感じたときの対処手段等を示す情報である。
1つの機器18によって対処手段が実現されてもよいし、複数の機器18の組み合わせによって対処手段が実現されてもよい。例えば、図6に示すように、管理テーブルには、対処手段を実現するための複数の機器18の組み合わせが登録されてもよい。具体例を挙げて説明すると、ID「1」の対処手段には、単体の機器18である「エアコン」、単体の機器18である「扇風機」、及び、機器18の組み合わせである「エアコン+扇風機」が紐付けられている。つまり、「涼しくする」という対処手段は、単体の機器18である「エアコン」又は「扇風機」によって実現されてもよいし、「エアコン」と「扇風機」との組み合わせによって実現されてもよい。プロセッサ26は、選択条件に従って、「エアコン」、「扇風機」、又は、「エアコン+扇風機」の中から、対処手段を実際に実現する機器18を選択する。他の対処手段についても、当該他の対処手段を実現するための単体の機器18や機器18の組み合わせが紐付けられている。
以下、選択条件に従って、対処手段を実際に実現する機器18を選択する処理について説明する。
例えば、プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、ユーザ自身又はユーザの周囲に作用する機器18を、当該対処手段を実際に実現する機器18として選択してもよい。プロセッサ26は、その選択した機器18に操作指示を示す制御情報を送信することで、当該機器18を操作する。例えば、プロセッサ26は、ユーザの位置と、対処手段に紐付けられている各機器18の位置とを特定し、ユーザの位置と各機器18の位置との関係に基づいて、ユーザ自身、又は、ユーザの周囲に作用することが可能な機器18を、当該対処手段を実際に実現する機器18として選択する。例えば、対処手段が「涼しくする」ことである場合、プロセッサ26は、ユーザ自身又はユーザの周囲に風を送ることができる機器18を、当該対処手段を実際に実現する機器18として選択する。「エアコン」が、ユーザ自身又はユーザの周囲に風を送ることができる機器18であり、「扇風機」が、ユーザ自身又はユーザの周囲に風を送ることができない機器18である場合、プロセッサ26は、「エアコン」を、当該対処手段を実際に実現する機器18として選択し、「エアコン」に制御情報を送信することで、「エアコン」の冷房をオンする。つまり、「エアコン」から送出された風がユーザ自身又はユーザの周囲に届く位置に、「エアコン」が設置されており、「扇風機」から送出された風がユーザ自身又はユーザの周囲に届かない位置に、「扇風機」が設置されている場合、プロセッサ26は、「エアコン」の冷房をオンにする。なお、プロセッサ26は、GPS(Global Positioning System)を利用することで、ユーザの位置及び機器18の位置を特定する。なお、ユーザの位置は、例えば、ユーザが携帯している端末装置(例えばスマートフォンや携帯電話等)の位置である。カメラ14によってユーザ及び各機器18が撮影され、プロセッサ26は、その撮影によって生成された画像データを解析することで、ユーザと各機器18との位置関係を認識してもよい。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、ユーザの状態に対処する作用が最も大きい機器18を、当該対処手段を実際に実現する機器18として選択してもよい。上記の例を用いて説明すると、プロセッサ26は、複数のエアコンの中で、ユーザ自身又はユーザの周囲に対して最も強い風を送ることが可能なエアコンを、対処手段を実際に実現する機器18として選択する。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときの当該ユーザの会話内容に応じた機器18を、当該対処手段を実際に実現する機器18として選択してもよい。例えば、ユーザ及び会話相手の会話が、マイク16によって測定され、プロセッサ26は、その会話内容を解析することで、当該ユーザが置かれている環境を把握し、その環境に適合する機器18を、対処手段を実際に実現する機器18として選択する。例えば、プロセッサ26は、会話内容から会話している人の数をカウントし、その人数に応じた機器18を、対処手段を実際に実現する機器18として選択する。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、ユーザの会話相手に応じた機器18を、当該対処手段を実際に実現する機器18として選択してもよい。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときのユーザの作業内容に応じた機器18を、当該対処手段を実際に実現する機器18として選択してもよい。例えば、ユーザの動作がカメラ14によって撮影され、プロセッサ26は、その撮影によって生成された画像データを解析することで、当該ユーザの作業内容を把握し、その作業内容に適合する機器18を、対処手段を実際に実現する機器18として選択する。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、ユーザの位置と各機器18の位置との関係に応じた機器18を、当該対処手段を実際に実現する機器18として選択してもよい。例えば、プロセッサ26は、当該対処手段に紐付けられている1又は複数の機器18の中から、ユーザの位置に最も近い位置に設置されている機器18を、当該対処手段を実際に実現する機器18として選択する。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、インターネット上での検索ランキングがより高い機器18を、当該対処手段を実際に実現する機器18として選択してもよい。
プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、最も新しい機器18を、当該対処手段を実際に実現する機器18として選択してもよい。最も新しい機器18は、例えば、製造年月日が最も新しい機器18であってもよいし、設置された日時が最も新しい機器18であってもよい。
以下、具体的な実施例について詳しく説明する。
(実施例1)
実施例1では、プロセッサ26は、ユーザの位置と各機器18の位置との関係に基づいて、対処手段を実際に実現する機器18を選択する。
例えば、「テレビを見たい」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、管理テーブルにおいて「テレビを見たい」というユーザ状態に紐付けられている1又は複数の機器18を特定する。例えば、「テレビを見たい」というユーザ状態に対処するための機器18として、「テレビ」が管理テーブルに登録されている。この場合、プロセッサ26は、ユーザの位置から最も近い位置に設置されている「テレビ」に、当該「テレビ」の電源をオンするという操作指示を示す制御情報を送信することで、当該「テレビ」の電源をオンする。
(実施例2)
実施例2では、プロセッサ26は、ユーザ自身又はユーザの周囲に最も作用する機器18を、対処手段を実際に実現する機器18として選択する。最も作用する機器18は、例えば、ユーザ自身又はユーザの周囲に対して最も効果的な位置に設置されている機器18である。
例えば、「蒸し暑い」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、管理テーブルにおいて「蒸し暑い」というユーザ状態に紐付けられている1又は複数の機器18を特定する。例えば、「蒸し暑い」というユーザ状態に対処するための機器18として、「エアコン」と「除湿機」が管理テーブルに登録されている。この場合、プロセッサ26は、「エアコン」及び「除湿機」の中から、ユーザ自身又はユーザの周囲に対して最も効果的な位置に設置されている機器18を選択する。例えば、「エアコン」から送出される風が、ユーザ自身又はユーザの周囲に届き、ユーザ自身又はユーザの周囲が、「除湿機」による除湿効果が得られる領域に含まれていない場合、プロセッサ26は、最も効果的な位置に設置されている機器18として「エアコン」を選択し、当該「エアコン」に除湿の操作指示を示す制御情報を送信することで、当該「エアコン」の除湿機能をオンする。
(実施例3)
実施例3では、プロセッサ26は、対処手段を実現するための複数の機器18の組み合わせを選択し、当該複数の機器18に制御情報を送信することで、当該複数の機器18を操作する。
例えば、「寒い」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、管理テーブルにおいて「寒い」というユーザ状態に紐付けられている複数の機器18の組み合わせを特定する。例えば、「寒い」というユーザ状態に対処するための複数の機器18の組み合わせとして、「床暖房」、「エアコン」及び「温風ヒータ」の組み合わせが管理テーブルに登録されている。また、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれが、「寒い」というユーザ状態に対処するための単体の機器18として管理テーブルに登録されていてもよい。例えば、「床暖房」、「エアコン」及び「温風ヒータ」の組み合わせを用いることで、ユーザ自身又はユーザの周囲を最も早く暖めることができる場合、プロセッサ26は、その組み合わせを、対処手段を実際に実現する機器18の組み合わせとして選択する。そして、プロセッサ26は、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれに、暖房の操作指示を示す制御情報を送信することで、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれの暖房機能をオンする。
(実施例4)
実施例4では、プロセッサ26は、対処手段に紐付けられている1又は複数の機器18の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときのユーザの作業内容に応じた機器18を、当該対処手段を実際に実現する機器18として選択する。
例えば、ユーザが机に座って作業をしている場合、その作業の様子がカメラ14によって撮影される。プロセッサ26は、その撮影によって生成された画像データを解析することで、ユーザの作業内容を把握する。例えば、ユーザが文献を読んでいる場合、プロセッサ26は、ユーザの手元を照らす照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、当該照明装置によってユーザの手元が照らされる。別の例として、ユーザが机に座っているときに、「文献を読む」という視覚情報処理の心理状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、ユーザの手元を照らす照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、当該照明装置によってユーザの手元が照らされる。また、ユーザがPCを用いて資料を作成している場合、プロセッサ26は、ユーザの手元を照らす照明装置に、照明をオフする操作指示を示す制御情報を送信し、天井に設置されている照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、天井に設置されている照明装置によって、部屋全体が照らされる。別の例として、ユーザが机に座っているときに、「PCを用いて資料を作成する」という創造的な心理状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、ユーザの手元を照らす照明装置に、照明をオフする操作指示を示す制御情報を送信し、天井に設置されている照明装置に、照明をオンする操作指示を示す制御情報を送信してもよい。
(実施例5)
実施例5では、プロセッサ26は、ユーザの会話内容に応じた機器18を、対処手段を実際に実現する機器18として選択する。より具体的には、プロセッサ26は、ユーザの会話相手に応じた機器18を、対処手段を実際に実現する機器18として選択する。
例えば、「照明を操作したい」という要求を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、管理テーブルにおいて「照明を操作したい」というユーザ状態に紐付けられている1又は複数の機器18を特定する。例えば、「照明を操作したい」というユーザ状態に対処するための機器18として、「天井に設置されている照明装置」及び「間接照明装置」が管理テーブルに登録されている。この場合、プロセッサ26は、「天井に設置されている照明装置」及び「間接照明装置」の中から、ユーザの会話相手に応じた照明装置を選択する。例えば、ユーザを含む家族が会話している場合や、ユーザが友人と会話している場合、プロセッサ26は、「天井に設置されている照明装置」に、照明をオンする操作指示を示す制御情報を送信する。これにより、「天井に設置されている照明装置」によって部屋が照らされる。また、ユーザが恋人と会話している場合、プロセッサ26は、「間接照明装置」に、照明をオンする操作指示を示す制御情報を送信する。
(実施例6)
実施例6では、プロセッサ26は、ユーザの会話内容に応じた機器18を、対処手段を実際に実現する機器18として選択する。
例えば、ユーザを含む複数の人が会議をしており、その様子がカメラ14によって撮影される。プロセッサ26は、その撮影によって生成された画像データを解析することで、複数の人によって会議が行われていることを把握する。また、「プレゼンテーション用の資料を表示したい」という要求を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ26は、管理テーブルにおいて「プレゼンテーション用の資料を表示したい」というユーザ状態に紐付けられている1又は複数の機器18を特定する。例えば、「プレゼンテーション用の資料を表示したい」というユーザ状態に対処するための機器18として、「液晶ディスプレイ」及び「プロジェクタ」が管理テーブルに登録されている。対処手段を実際に実現するための機器18として「液晶ディスプレイ」が選択される条件は、会議の参加者の人数が、閾値以下(例えば3人以下)であるということである。対処手段を実際に実現するための機器18として「プロジェクタ」が選択される条件は、会議の参加者の人数が閾値を越えることである。これらの条件は、選択条件として管理テーブルに登録されている。プロセッサ26は、カメラ14による撮影によって生成された画像データを解析することで、会議の参加者の人数を推測してもよいし、マイク16による測定によって生成された音声データを解析することで、会議の参加者の人数を推測してもよい。
会議の参加者の人数が閾値以下である場合、プロセッサ26は、「液晶ディスプレイ」に、「液晶ディスプレイ」の電源をオンする操作指示を示す制御情報を送信することで、「液晶ディスプレイ」の電源をオンする。会議の参加者の人数が閾値を越える場合、プロセッサ26は、「プロジェクタ」に、「プロジェクタ」の電源をオンする操作指示を示す制御情報を送信することで、「プロジェクタ」の電源をオンする。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
10 情報処理装置、12 生体情報測定装置、18 機器、26 プロセッサ。

Claims (11)

  1. プロセッサを有し、
    前記プロセッサは、
    ユーザの生体情報を受け付け、
    前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するための機器に、前記手段を実現するための操作指示を出力する、
    情報処理装置。
  2. 前記プロセッサは、更に、前記機器からの情報を受け付けて前記機器を識別する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記機器は、前記ユーザ自身又は前記ユーザの周囲に作用する、
    ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
  4. 前記プロセッサは、前記生体情報が測定されたときの前記ユーザの会話内容に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5. 前記プロセッサは、前記生体情報が測定されたときの前記ユーザの作業内容に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  6. 前記ユーザの状態は、前記ユーザの感情であり、
    前記プロセッサは、前記ユーザの感情に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  7. 前記プロセッサは、前記ユーザの位置と機器の位置との関係に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  8. 前記プロセッサは、前記手段を実現するための機器であって前記ユーザの位置に最も近い位置に設置されている機器に前記操作指示を出力する、
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記プロセッサは、前記ユーザの状態への作用が最も大きい機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  10. 前記プロセッサは、前記ユーザの会話相手に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
  11. コンピュータに、
    ユーザの生体情報を受け付けさせ、
    前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するための機器に、前記手段を実現するための操作指示を出力させる、
    プログラム。
JP2019153631A 2019-08-26 2019-08-26 情報処理装置及びプログラム Active JP7254346B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019153631A JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム
CN202010034674.9A CN112433601A (zh) 2019-08-26 2020-01-14 信息处理装置、存储介质及信息处理方法
US16/741,748 US20210063977A1 (en) 2019-08-26 2020-01-14 Information processing apparatus and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019153631A JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021033678A true JP2021033678A (ja) 2021-03-01
JP7254346B2 JP7254346B2 (ja) 2023-04-10

Family

ID=74675921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153631A Active JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20210063977A1 (ja)
JP (1) JP7254346B2 (ja)
CN (1) CN112433601A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325728A (zh) * 2021-05-27 2021-08-31 西安慧脑智能科技有限公司 基于脑电的智能家居控制方法、系统及控制设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066734A1 (ja) * 2010-11-15 2012-05-24 パナソニック株式会社 音声コミュニケーション装置および音声コミュニケーション方法
JP2017009867A (ja) * 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、その方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6520506B2 (ja) * 2014-09-03 2019-05-29 株式会社デンソー 車両の走行制御システム
JP2016177422A (ja) * 2015-03-19 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN110199244B (zh) * 2017-01-20 2022-05-24 索尼公司 信息处理设备、信息处理方法以及程序
KR101955941B1 (ko) * 2017-02-07 2019-03-11 남서울대학교 산학협력단 뇌파를 이용한 IoT 기반의 멘탈 케어 제공 시스템 및 그 방법
CN107048661B (zh) * 2017-05-04 2021-01-29 京东方科技集团股份有限公司 加热设备及其控制方法
US20200019373A1 (en) * 2018-02-14 2020-01-16 Cellepathy Inc. Multi-device personal assistants
KR20190108727A (ko) * 2018-03-15 2019-09-25 민상규 접이식 가상현실 장비
JP7424285B2 (ja) * 2018-04-25 2024-01-30 ソニーグループ株式会社 情報処理システム、情報処理方法、および記録媒体
US20200007411A1 (en) * 2018-06-28 2020-01-02 International Business Machines Corporation Cognitive role-based policy assignment and user interface modification for mobile electronic devices
JP6661174B1 (ja) * 2018-09-20 2020-03-11 アールシーソリューション株式会社 長周期地震動関連情報通知システム、長周期地震動関連情報通知サーバー、携帯端末および長周期地震動関連情報通知方法
US11635814B2 (en) * 2019-07-25 2023-04-25 International Business Machines Corporation Preventing access to potentially hazardous environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066734A1 (ja) * 2010-11-15 2012-05-24 パナソニック株式会社 音声コミュニケーション装置および音声コミュニケーション方法
JP2017009867A (ja) * 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、その方法及びプログラム

Also Published As

Publication number Publication date
JP7254346B2 (ja) 2023-04-10
US20210063977A1 (en) 2021-03-04
CN112433601A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
JP2023129585A (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP7359437B2 (ja) 情報処理装置、プログラム、及び、方法
US11755109B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP2024045281A (ja) 情報処理方法
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210174251A1 (en) Information processing device and non-transitory computer readable medium
US20210063971A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP7330507B2 (ja) 情報処理装置、プログラム、及び、方法
JP7254346B2 (ja) 情報処理装置及びプログラム
JP7343168B2 (ja) 情報処理装置、プログラム、及び、方法
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US20210165488A1 (en) Information processing apparatus and non-transitory computer readable medium
JP7411209B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210322

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210416

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R150 Certificate of patent or registration of utility model

Ref document number: 7254346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150