CN113208812A - 信息处理装置、信息处理方法以及计算机可读介质 - Google Patents

信息处理装置、信息处理方法以及计算机可读介质 Download PDF

Info

Publication number
CN113208812A
CN113208812A CN202010934511.6A CN202010934511A CN113208812A CN 113208812 A CN113208812 A CN 113208812A CN 202010934511 A CN202010934511 A CN 202010934511A CN 113208812 A CN113208812 A CN 113208812A
Authority
CN
China
Prior art keywords
condition
information processing
processing apparatus
subject
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010934511.6A
Other languages
English (en)
Inventor
佐藤雅弘
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN113208812A publication Critical patent/CN113208812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • A61F11/045—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense using mechanical stimulation of nerves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/043—Time compression or expansion by changing speed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Otolaryngology (AREA)
  • Epidemiology (AREA)
  • Developmental Disabilities (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本发明提供信息处理装置、信息处理方法以及计算机可读介质。信息处理装置具有处理器，在与对象者的心理状态或情感有关的信息满足预先规定的第1条件的情况下，所述处理器对在满足该第1条件的期间内收集的对象者周围的声音的输出进行控制。

Description

信息处理装置、信息处理方法以及计算机可读介质
技术领域
本公开涉及信息处理装置、信息处理方法以及计算机可读介质。
背景技术
作为新一代用户接口，脑波等生物体信息的活用备受期待。例如，有一种摄像控制装置，其具有：条件存储部，预先存储有生物体信息条件，所述生物体信息条件是在回忆关于身体的特定动作时产生的生物体信息的条件；条件判断部，获取与来自生物体的信息有关的生物体信息，判断获取到的所述生物体信息中所包含的信息是否满足条件存储部中存储的生物体信息条件；以及条件输出部，在通过条件判断部判断为满足条件的情况下，将作为摄像装置拍摄被摄体时的条件的摄像条件输出给摄像装置(例如参照日本特开2015-229040号公报)。
发明内容
即使参照对话或会议，也有时听漏其他人所发言的内容。这样的状况例如有可能在集中力缓慢时或激动的状态时引起。
本公开的目的在于，另外设置在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下对周围的声音进行确认的机会。
根据本公开的第1方案，提供一种信息处理装置，其具有处理器，所述处理器在与对象者的心理状态或情感有关的信息满足预先规定的第1条件的情况下，对在满足该第1条件的期间内收集到的对象者周围的声音的输出进行控制。
根据本公开的第2方案，预先规定的所述第1条件是视为对象者的集中力下降的状态。
根据本公开的第3方案，预先规定的所述第1条件是从对象者测量到的θ波的电平或δ波的电平比预先规定的阈值高。
根据本公开的第4方案，在检测到呼入电话的情况下，所述处理器被控制成能够进行电话通话的状态。
根据本公开的第5方案，预先规定的所述第1条件是视为对象者兴奋的状态。
根据本公开的第6方案，预先规定的所述第1条件是从对象者测量到的γ波的电平或β波的电平比预先规定的阈值高。
根据本公开的第7方案，所述处理器通过不伴随空气振动的设备而输出在满足所述第1条件的期间内收集的对象者周围的声音。
根据本公开的第8方案，所述设备通过骨传导或软骨传导而传导声音。
根据本公开的第9方案，在满足预先规定的第2条件的情况下，所述处理器输出在满足所述第1条件的期间内收集到的对象者周围的声音。
根据本公开的第10方案，所述第2条件是不满足所述第1条件的情况。
根据本公开的第11方案，所述第2条件是由对象者发出的输出指示的检测。
根据本公开的第12方案，所述第2条件是按照每个对象者设定的。
根据本公开的第13方案，所述第2条件是对象者所处的环境的变化的检测。
根据本公开的第14方案，所述环境的变化是电话通话结束的检测。
根据本公开的第15方案，所述环境的变化是对象者所参加的会议结束的检测。
根据本公开的第16方案，所述处理器快进再现在满足所述第1条件的期间内收集到的对象者周围的声音。
根据本公开的第17方案，所述处理器输出在满足所述第1条件的期间内收集到的对象者周围的声音的概要。
根据本公开的第18方案，所述处理器选择性地输出出现频率高的短语或单词。
根据本公开的第19方案，所述处理器在满足所述第1条件的期间内收集到的对象者周围的声音满足预先规定的第3条件的情况下，输出满足该第3条件的声音。
根据本公开的第20方案，所述第3条件是指特定发言者的发言。
根据本公开的第21方案，所述第3条件是按照每个对象者设定的。
根据本公开的第22方案，所述信息处理装置是由用户佩戴使用的设备。
根据本公开的第23方案，所述信息处理装置是能够通信地连接于用户所佩戴的设备的计算机。
根据本公开的第24方案，提供一种计算机可读介质，其存储有使计算机执行处理的程序，在所述处理中具有以下工序：在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下，对在满足所述预先规定的条件的期间内收集的对象者周围的声音的输出进行控制。
根据本公开的第25方案，提供一种信息处理方法，其具有以下工序：在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下，对在满足所述预先规定的条件的期间内收集到的对象者周围的声音的输出进行控制。
发明效果
根据所述第1方案，能够另外设置在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下对周围的声音进行确认的机会。
根据所述第2方案，能够设定对在集中力下降的状态下出现的周围的声音进行确认的机会。
根据所述第3方案，能够设定对在集中力下降的状态下发出的其他人的发言进行确认的机会。
根据所述第4方案，在集中力下降的状态下，能够以对象者的环境的变化为优先。
根据所述第5方案，能够设定在对象者兴奋状态下出现的周围的声音进行确认的机会。
根据所述第6方案，能够设定在对象者兴奋状态下出现的周围的声音进行确认的机会。
根据所述第7方案，能够在不被其他人察觉的前提下确认周围的声音。
根据所述第8方案，能够在不被其他人察觉的前提下确认周围的声音。
根据所述第9方案，能够以满足预先规定的其他条件为条件开始确认所收集的声音。
根据所述第10方案，能够设置以与对象者的心理状态或情感有关的信息的变化为契机对周围的声音进行确认的机会。
根据所述第11方案，能够设置根据对象者的希望对周围的声音进行确认的机会。
根据所述第12方案，能够按照每个对象者设定对周围的声音进行确认的机会。
根据所述第13方案，能够设置以对象者的环境的变化为契机对周围的声音进行确认的机会。
根据所述第14方案，能够设定在电话对话结束之后确认对话中的周围的声音的机会。
根据所述第15方案，能够设定在所参加的会议结束之后对会议中的周围的声音进行确认的机会。
根据所述第16方案，能够缩短确认所需的时间。
根据所述第17方案，能够在短时间内确认周围声音的概要。
根据所述第18方案，能够确认周围声音的要点。
根据所述第19方案，能够选择性地只确认满足特定条件的声音。
根据所述第20方案，能够避免关于特定发言者的发言的听漏。
根据所述第21方案，能够反映对象者的希望。
根据所述第22方案，即使在周围的通信状况差的情况下，也能够使用功能。
根据所述第23方案，能够减少相对于对象者所佩戴的设备的限制。
根据所述第24方案，能够另外设置在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下对周围的声音进行确认的机会。
根据所述第25方案，能够另外设置在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下对周围的声音进行确认的机会。
附图说明
图1是对耳机型终端的佩戴例进行说明的图。图1的(A)是从斜前方观察佩戴有耳机型终端的人的耳机型终端的佩戴样子，图1的(B)示出了从正面观察佩戴者的耳机型终端的佩戴样子。
图2是对实施方式1中所使用的耳机型终端的外观结构的一例进行说明的图。图2的(A)示出了终端整体的外观，图2的(B)示出了左右模块的外观。
图3是对耳机型终端的内部结构的一例进行说明的图。
图4是示出耳机型终端的功能结构的一例的图。
图5是对实施方式中所使用的耳机型终端所执行的处理动作例进行说明的流程图。
图6是对在焦躁的人恢复冷静时开始再现语音的例进行说明的图。
图7是对在激动收敛的时点根据自己的意向指示再现在会议中发出的语音的例进行说明的图。
图8是对能够在佩戴有耳机型终端的状态下测量脑波的带有脑波传感器的耳麦的测量点进行说明的图。
图9是示出了刊载在论文中的脑波的计量点的图。
图10是对α波的输出评价进行说明的图。
图11是对通过MindWave测量的测量结果进行说明的图。图11的(A)是由眨眼强度小的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果，图11的(B)是由眨眼强度大的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果。
图12是对通过实施方式中所使用的耳机型终端测量的测量结果进行说明的图。图12的(A)是由眨眼强度小的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果，图12的(B)是由眨眼强度大的人除了进行下巴的活动之外还进行2组睁眼状态与闭眼状态的切换的情况下的测量结果。
图13是对通过MindWave测量的测量结果进行说明的图。图13的(A)示出了按从眨眼强度大的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图13的(B)示出了按从眨眼强度小的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图13的(C)是没有出现α波的增加的情况。
图14是对通过实施方式中所使用的耳机型终端测量的测量结果进行说明的图。图14的(A)示出了按从眨眼强度大的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图14的(B)示出了按从眨眼强度小的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图14的(C)是没有出现α波的增加的情况。
图15是示出频谱强度的增加部的提示例的图。图15的(A)是MindWave的测量结果，图15的(B)是实施方式中所使用的耳机型终端的测量结果。
图16是对实施方式2中所使用的耳机型终端所执行的处理动作例进行说明的流程图。
图17是示出外部装置为因特网上的服务器的情况的图。
图18是对佩戴于单耳的类型的耳机型终端的外观例进行说明的图。
图19是对配置有在脑波的测量中所使用的电极的耳环的一例进行说明的图。
图20是对配置有在脑波的测量中所使用的电极的眼镜的一例进行说明的图。
图21是对将具有显示与用户周围的环境同化的图像的功能的耳麦使用于脑波的测量中的情况下的电极的配置例进行说明的图。
图22是示出利用近红外光对血流量因大脑活动产生的变化进行测量的耳麦一例的图。
图23是对脑磁图仪的一例进行说明的图。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。
＜实施方式1＞
＜系统结构＞
图1是对耳机型终端1的佩戴例进行说明的图。图1的(A)是从斜前方观察佩戴有耳机型终端1的人(以下称作“佩戴者”)的耳机型终端1的佩戴样子，图1的(B)示出了从正面观察佩戴者的耳机型终端1的佩戴样子。
本实施方式中的耳机型终端1是信息处理装置的一例，具有佩戴于右耳的模块1R和佩戴于左耳的模块1L。
本实施方式中的佩戴者是对象者的一例。
本实施方式中的耳机型终端1除了内置有再现从未图示的音响设备或智能手机接收的声音的电路之外，还内置有测量起因于大脑活动的电信号(以下称作“脑波”)的电路等。
本实施方式中所使用的耳机型终端1是无线类设备。因此，耳机型终端1通过无线通信而与外部装置连接。此处的外部装置设想音响播放器、智能手机、平板终端、笔记本电脑、可佩带计算机等。在与外部装置之间的通信中例如使用蓝牙(注册商标)。然而，无线通信中还能够使用WiFi(注册商标)等其他通信标准。并且，也可以通过电缆而将耳机型终端1与外部装置连接。
在脑波的测量中使用耳机型终端1是因为考虑使用脑波的接口的普及。
在考虑使用脑波的接口的普及的情况下，计量脑波很明显的设备的佩戴有可能得不到用户的支持。例如，无论是从设计性的观点出发，还是从对身体的负担的观点出发，头盔型设备都有可能得不到用户的支持。
因此，在本实施方式中，作为测量脑波的设备，着眼于耳机型终端1。由于耳机本身已作为所谓的音响设备普及，因此在外观上也考虑为佩戴耳机型终端1的心理上的抵触较少。
并且，由于佩戴耳机型终端1的外耳道离大脑近，因此也方便测量脑波。关于能够通过耳机型终端1测量脑波这一点，在后述的实验结果的项中进行说明。另外，外耳道是耳部的一例。在本实施方式的情况下，耳部包含耳壳和外耳道。
此外，在耳机型终端1内置有未图示的软骨传导振子。使用软骨传导振子的声音传导被称作软骨传导。在软骨传导中，无需堵住外耳道。因此，基于软骨传导的声音和外界的声音能够同时听到。
另外，软骨传导的路径被称作与空气传导路径或骨传导路径不同的第3听觉路径。
本实施方式中的耳机型终端1包含用于测量佩戴者的脑波的电路和通过软骨传导向佩戴者传递声音的电路这双方。
＜耳机型终端1的结构＞
图2是对实施方式1中所使用的耳机型终端1的外观结构的一例进行说明的图。图2的(A)示出了终端整体的外观，图2的(B)示出了左右模块1L以及1R的外观。
本实施方式中的耳机型终端1具有：佩戴于左耳的模块1L；佩戴于右耳的模块1R；以及将模块1L与模块1R连接起来的连结部1C。连结部1C是树脂制品，在连结部1C的内部容纳有电力线以及信号线。
佩戴于左耳的模块1L由以下三个部分构成，该三个部分分别是：容纳有电池等的模块主体2L；佩戴于耳部的带电极的振动部3L；以及佩戴于耳壳与侧头之间的间隙的耳钩4L。
同样地，佩戴于右耳的模块1R由以下三个部分构成，该三个部分分别是：容纳有电子电路等的模块主体2R；佩戴于耳部的带电极的振动部3R；以及佩戴于耳壳与侧头之间的间隙的耳钩4R。
本实施方式中的带电极的振动部3L以及3R具有：与外耳道的内壁接触的环状的电极部；以及与耳壳接触的环状的软骨传导振子3L3以及3R3。
左侧的模块1L的电极部具有穹顶状的电极3L1，该电极3L1在中央具有贯通至相反侧的开口。右侧的模块1R的电极部具有：在中央具有贯通至相反侧的开口的穹顶状的电极3R1；以及与耳甲腔接触的环状的电极3R2。
软骨传导振子3L3以及3R3是产生软骨传导所需的振动的元件。本实施方式中的软骨传导振子3L3以及3R3被保护部件覆盖。即，软骨传导振子3L3以及3R3是密闭型振子。
在本实施方式的情况下，在带电极的振动部3L以及3R设置有从耳部的里侧连至耳部外侧的孔。因此，佩戴有带电极的振动部3L以及3R的状态的佩戴者能够通过空气传导路径而听取外部的声音。
本实施方式中的电极3L1、3R1、3R2均由导电性橡胶构成。这是为了测量皮肤中出现的电信号。另外，电极3R1与电极3R2通过绝缘体而电分离。
在本实施方式的情况下，电极3R1是用于测量脑波(EEG：Electro EncephaloGram)的端子(以下称作“EEG测量用端子”)。另外，通过电极3R1测量的电位变动不仅包含起因于脑波的电位变动，还包含起因于其他生物体信息的电位变动。电极3R2是接地电极(以下还称作“GND端子”)。
一个电极3L1是用于测量基准电位(REF：REFerence)的端子(以下称作“REF端子”)。然而，在本实施方式的情况下，电极3R2与电极3L1通过绝缘体而电分离。
在本实施方式的情况下，起因于脑波的电位变动被测量为通过电极3R1和电极3L1测量到的电信号的差分信号。关于起因于其他生物体信息的电位变动也相同。
有时将包含脑波和脑波以外的生物体信息的电位变动统称为“脑波等生物体信息”。
另外，在脑科学领域中，来源于脑波以外的原因的所有电位变动被称作伪影。在脑科学领域中，可以认为测量了脑波的电信号中必定包含伪影。
伪影中所包含的成分分类为来源于生物体的成分、来源于电极等测量系统的成分以及来源于外部机会或环境的成分。这些3个成分中，除了来源于生物体的成分以外，都能够作为通过耳机型终端1测量的杂音进行测量。杂音能够作为使电极3R1与电极3L1电短路的状态下的电信号进行测量。
在本实施方式中的模块1R中内置有如下等电路：测量佩戴者的脑波等的电路；对测量到的脑波进行分析而确定与心理状态或情感(以下称作“心理状态等”)有关的信息的电路；以及根据佩戴者的心理状态等对佩戴者周围的声音的记录或再现进行控制的电路。另一方面，在模块1L中内置有电池。
在本实施方式的情况下，与心理状态等有关的信息并不限于言语上的分类，还包含通过符号、记号、数值等表示的信息。
图3是对耳机型终端1的内部结构的一例进行说明的图。
模块主体2R具有麦克风11R、数字脑波仪12、6轴传感器13、蓝牙模块14、半导体存储器15以及MPU(＝Micro Processing Unit)16。
数字脑波仪12包含：差动放大器，对电极3R1和电极3L1中出现的电位变动进行差动放大；采样电路，对差动放大器的输出进行采样处理；以及模拟/数字变换电路，将采样后的模拟电位变换为数字值。在本实施方式的情况下，采样频率为600Hz。并且，模拟/数字变换电路的分辨率为16位。
6轴传感器13由3轴加速度传感器和3轴陀螺仪传感器构成。6轴传感器13用于检测用户的姿势。
蓝牙模块14为了在与未图示的外部装置之间收发数据而使用。蓝牙模块14例如用于从外部装置接收音响数据。
半导体存储器15例如由以下三个部分构成，该三个部分分别是：记录有BIOS(＝Basic Input Output System)的ROM(＝Read Only Memory)；用作工作区域的RAM(＝Random Access Memory)；以及可改写的非易失性存储器(以下称作“闪存”)。
在本实施方式的情况下，闪速存储器用于如下等记录：通过麦克风11R收集的声音的记录；作为数字脑波仪12的输出的数字信号的记录；与通过脑波的分析而确定出的心理状态等有关的信息的记录；以及从外部装置接收到的音响数据的记录。此外，闪存中还记录有固件或应用程序。
MPU16执行通过数字脑波仪12测量到的脑波的分析、与分析出的心理状态等相应的周围声音的再现的控制等。在分析脑波的情况下，MPU16执行对数字脑波仪12所输出的数字信号的傅里叶变换等处理。另外，MPU16和半导体存储器15作为计算机工作。
另一方面，在模块主体2L内置有麦克风11L和锂离子电池17。
＜耳机型终端1的功能结构＞
图4是示出耳机型终端1的功能结构的一例的图。图4所示的功能通过MPU16(参照图3)和各部分的协作而实现。
本实施方式中的耳机型终端1作为如下部件发挥功能：生物体信息获取部161，根据生物体电位的信息获取包含脑波信息的生物体信息；生物体信息分析部162，对获取到的生物体信息进行分析而估计佩戴者的心理状态等；声音获取部163，获取麦克风11L以及11R所输出的佩戴者周围的声音的数据(以下称作“声音数据”)；声音记录控制部164，根据与生物体信息等有关的信息对获取到的声音数据的记录进行控制；声音要素分辨部165，将记录了的声音数据分辨为声音要素；优先声音提取部166，按照预先规定的优先顺序提取声音要素；以及再现控制部167，根据预先规定的条件对声音数据的再现进行控制。
生物体信息获取部161和生物体信息分析部162例如可以作为数字脑波仪12(参照图3)的功能执行，也可以作为MPU16(参照图3)的功能执行。
本实施方式中的生物体信息获取部161根据生物体电位的信息获取脑波的特征。本实施方式中的生物体信息分析部162在获取脑波的特征时活用独立成分分析法(Independent Component Analysis：ICA)等其他已知技术。脑波信息的特征例如有如下等：脑波特有的波形成分；按构成波形成分的频率成分的频谱强度或其分布；构成波形成分的特定频率成分的频谱强度；以及α波的增加率。
在本实施方式的情况下，生物体信息分析部162例如使用高速傅里叶变换等对脑波进行频率分析，生成行为时间、列为频率成分的n行×m列数据矩阵。接着，生物体信息分析部162将n行×m列数据矩阵归一化，并根据经归一化的数据矩阵求出相关矩阵。之后，生物体信息分析部162在将相关矩阵分辨为固有值矢量之后，利用主因子法提取因子。接着，生物体信息分析部162使用所提取到的因子中的贡献率较高的因子进行方差极大旋转，通过最小二乗法求出因子得分，将所获得的因子得分作为特征值。在本实施方式的情况下，将这样得到的特征值作为表示耳机型终端1的佩戴者的心理状态等的生物体信息来处理。另外，求出特征值的方法并不限于前述的方法，也可以采用其他方法。
本实施方式中的生物体信息分析部162将生物体信息分类为多个心理状态等。在本实施方式的情况下，多个心理状态等例如被分类为喜欢、讨厌、快乐、悲伤、危险、兴趣、困倦、集中、放松、头脑清醒、紧张、愤怒、激动、幸福。这些当然是一例，分类的数量可以更少，也可以更多。这些是言语上的分类的一例。
声音获取部163获取麦克风11L以及11R(参照图3)所输出的声音数据，并变换为预先规定的数据形式。
本实施方式中的声音记录控制部164将在与生物体信息等有关的信息满足预先规定的条件的期间内获取到的声音数据记录在半导体存储器15(参照图3)中，而不记录在不满足条件的期间内获取到的声音数据。然而，还能够设成和与生物体信息等有关的信息的内容无关地将所有声音数据记录在半导体存储器15中的设定。此处的预先规定的条件是第1条件的一例。
本实施方式中的声音记录控制部164将在视为佩戴者的集中力下降的状态的情况下获取到的声音数据记录在半导体存储器15中。
视为佩戴者的集中力下降的状态有如下等情况：分析为过度放松的情况；分析为发困或正在睡觉的情况；以及分析为无聊的情况。在这些情况下，佩戴者有可能很难掌握对话内容。
另外，视为佩戴者的集中力下降的状态例如有可能在如下情况下出现：从佩戴者测量到的θ波的电平比预先规定的阈值高的情况；或δ波的电平比预先规定的阈值高的情况。θ波是频率为约4Hz～约8Hz的频率成分，δ波是频率为约4Hz以下的频率成分。
因此，在声音记录控制部164中设置以下功能，该功能是将视为佩戴者的集中力下降的状态检测为θ波的电平比预先规定的阈值高的情况或δ波的电平比预先规定的阈值高的情况的功能。视为佩戴者的集中力下降的状态是第1条件的一例。
并且，本实施方式中的声音记录控制部164将在视为佩戴者兴奋的状态的情况下获取到的声音数据记录在半导体存储器15中。
视为佩戴者兴奋的状态有分析为焦躁的情况以及分析为正在激动或过于激动的情况等。在这些情况下，佩戴者也有可能很难掌握对话内容。
另外，佩戴者兴奋的状态例如有可能在以下情况下出现，该情况是：从佩戴者测量到的γ波的电平比预先规定的阈值高的情况或β波的电平比预先规定的阈值高的情况下出现。γ波是频率为约40Hz～约70Hz的频率成分，β波是频率为约13Hz～约40Hz的频率成分。
因此，也可以在声音记录控制部164中设置如下功能：将视为佩戴者兴奋的状态检测为γ波的电平比预先规定的阈值高的情况或β波的电平比预先规定的阈值高的情况。视为佩戴者兴奋的状态是第1条件的一例。另外，第1条件能够按照每个账户设定。
声音要素分辨部165执行将记录在半导体存储器15(参照图3)中的声音数据分辨为声音要素的处理。在本实施方式的情况下，声音要素分辨部165使用多个基准将声音数据分辨为声音要素。基准例如使用声音的种类、声源或说话者的差异、语言的单位、概要。
在以声音的种类为基准的情况下，声音数据例如被分辨为人的声音和除此以外的声音。当然还能够将声音数据分辨为其他种类。并且，种类的数量也可以是3个以上。
在以声源或说话者的差异为基准的情况下，声音数据例如按说话者分辨。例如分辨为A的声音、B的声音这样的情形。另外，根据声音数据识别说话者的技术已经实用化。例如有Microsoft公司的Speaker Recognition API。
在以语言的单位为基准的情况下，声音数据例如以短语或单词为单位分辨。若以短语或单词的单位分辨，则能够提取出现频率高的短语或单词。
在以概要为基准的情况下，采用原有技术并根据声音数据生成概要。例如存在将声音数据变换为文本数据并生成文本数据的概要的技术。若生成概要，则还能够提取对话的概要。
优先声音提取部166执行按照预先规定的优先顺序提取声音要素的处理。由佩戴者设定优先顺序。在本实施方式的情况下，事先设定优先顺序。优先顺序规定再现的声音要素之间的优先级关系。根据优先顺序决定再现的声音要素。
在优先顺序为上位的例中例如有特定说话者。特定说话者的代表例是上司或领导者。具体而言，将特定说话者的优先顺序设定得高。
优先顺序为上位的例有发言数多的特定说话者。虽然有均与上司以及领导者重复的可能性，但是发言次数多的说话者进行重要发言的可能性也高。
优先顺序为上位的例有出现频率高的短语或单词。通过以重复出现的短语或单词的内容为优先，能够在短时间内掌握对话的要点。
优先顺序为上位的例有对话的概要。通过再现概要，能够在短时间内掌握对话的要点。
另外，还能够不设定优先顺序。在该情况下，所记录的语声音数据全部为再现的对象。此处的优先顺序是第3条件的一例。顺便说一下，优先顺序能够按照每个佩戴者设定。换句话说，优先顺序能够按照每个账户设定。
在满足预先规定的条件的情况下，再现控制部167再现半导体存储器15(参照图3)中记录的声音数据或声音要素。
预先规定的条件有时例如为与佩戴者的心理状态等有关的状态相当于能够掌握对话内容的状态的情况。换句话说，是不视为佩戴者的集中力下降的情况或不视为佩戴者兴奋的情况。即，是佩戴者的集中力恢复的情况或恢复冷静的情况。此处的预先规定的条件还能够定义为不满足第1条件的情况。
此外，预先规定的条件还包括佩戴者提供了明确指示的情况。明确指示通过对未图示的操作元件或操作按钮的操作而输入。在该情况下，佩戴者能够自由选择开始再现的时刻。换句话说，能够在佩戴者方便的时刻进行所记录的声音数据的再现。
并且，预先规定的条件还包括检测到佩戴者所处的环境的变化的情况。环境的变化例如有对话的结束或所参加会议的结束。对话的结束例如通过检测结束对话的语言而判定。并且，会议的结束也例如通过告知会议结束的语言的检测或噪音的增加等而判定。
并且，预先规定的条件也可以包括实时。在该情况下，即使在很难掌握对话内容的状态下，也强行再现收集到的声音。已知在大多情况下，基于软骨传导的声音的传递听起来比直接入耳的声音大。因此，即使心理状态等为不能完全掌握周围声音的状态，也能够注意到声音。由于本实施方式中的耳机型终端1不是助听器，因此声音数据等的实时再现仅限于佩戴者的心理状态等为很难掌握对话内容的情况。
再现控制部167所使用的预先规定的条件是第2条件的一例。第2条件也按照每个佩戴者设定。换句话说，第2条件能够按照每个账户设定。
＜处理动作＞
图5是对实施方式1中所使用的耳机型终端1所执行的处理动作例进行说明的流程图。在图5中，用记号S示出了处理动作的各步骤。
首先，耳机型终端1若获取生物体电位的信息(步骤1)，则分析生物体电位的信息而确定心理状态等(步骤2)。在本实施方式的情况下，生物体电位的信息是包含脑波的信息，从预先准备的心理状态等中确定1个或多个。
接着，耳机型终端1判定是否满足记录周围声音的条件(步骤3)。在步骤3中获得否定结果的期间，耳机型终端1重复进行步骤3的判定。在此期间，不记录佩戴者周围的声音。并且，周围的声音也不会通过软骨传导而传递。
在步骤3中得到肯定结果的情况下，耳机型终端1记录周围的声音(步骤4)。
接下来，耳机型终端1判定是否有实时再现的设定(步骤5)。
在步骤5中得到肯定结果的情况下，耳机型终端1再现所记录或提取到的声音(步骤10)。在此，实时再现所记录的声音。再现中使用软骨传导振子3L3以及3R3(参照图3)。
另一方面，在步骤5中得到否定结果的情况下，耳机型终端1将声音分辨为要素(步骤6)，之后存储分辨后的声音要素(步骤7)。如前述，声音要素存储在半导体存储器15(参照图3)中。
接着，耳机型终端1提取优先的声音要素(步骤8)。声音要素的提取根据事先设定的优先顺序执行。
之后，耳机型终端1判定是否满足再现条件(步骤9)。
在不满足再现条件的期间，耳机型终端1在步骤9中得到否定结果。若满足再现条件，则耳机型终端1在步骤9中得到肯定结果而过渡到步骤10，再现所提取到的声音。
以下，利用图6以及图7对耳机型终端1的使用例进行说明。
图6是对在焦躁的人恢复冷静时开始再现语音的例进行说明的图。在图6中，A为说话者，佩戴有耳机型终端1的B为听众。如图6所示，A刚向B说“本次项目是……”，但是B焦躁而为不能完全掌握A讲话的内容的状态。另外，由于在耳机型终端1中确保了空气传导路径，因此B在物理上听见A讲话的声音。但是，因焦躁而不适宜掌握说话内容的状态。
在该情况下，耳机型终端1若检测到B的心理状态等为冷静，则开始再现在焦躁的期间记录的语音。再现的语音基于事先的设定。例如，所有语音以1倍速再现或快进再现。并且，例如选择性地再现语音的概要。
图7是对在激动收敛的时点根据自己的意向指示会议中发出的语音的再现的例进行说明的图。在图7的情况下，A、B、C、D这4名参加了会议。在图7的情况下，A为领导者，正在讲“本次目标是……”。在该时点，B、C、D是听众。其中，D佩戴有耳机型终端1。另外，D可能因为紧张而处于激动的状态。因此，D不能完全掌握A讲话的内容。
在图7的例中，根据恢复冷静的D的指示，提取领导者的声音并开始再现。在图7的情况下，D将作为领导者的A的语音的优先顺序设定得高。因此，即使在有B或C的发言的情况下，也选择性地再现A的发言。在该例中，由于根据D的指示来再现A的发言，因此即使在会议中，也能够在不被其他参加者察觉的前提下确认A的发言。
＜实验结果等＞
以下，通过第三者的实验结果或申请人的实验结果对能够通过使用耳机型终端1(参照图2)获取佩戴者的脑波的情况进行说明。
＜用于与耳机型终端1之间的对比的MindWave(NeuroSky公司)的可靠性＞
图8是对能够在佩戴有耳机型终端1的状态下测量脑波的带脑波传感器的耳麦20的测量点进行说明的图。
在本次实验中，作为带脑波传感器的耳麦20，使用了能够从市场购买的NeuroSky公司的MindWave。
如前述，耳机型终端1将外耳道用作脑波的测量点，而NeuroSky公司的MindWave将额20A作为脑波的测量点。
图8所示的额20A相当于依照作为用于测量脑波的电极配置的国际标准推荐的10-20法规定的21个配置中的Fp1。
通过MindWave测量的脑波与医疗认证的EEG系统同等这一点在Elena Ratti等的论文“Comparison of Medical and Consumer Wireless EEG Systems for Use inClinical Trials”(https://www.frontiersin.org/articles/10.3389/fnhum.2017.00398/full)中得到了验证。
另外，该论文由US杜克大学的Ph.D资深科学家Dimiter Dimitrov和意大利米兰理工大学Ph.D意大利国家研究委员会(CNR)的Marta Parazzini评审并刊载。
图9是示出刊载在论文中的脑波的计量点的图。
图9所示的B-Alert和Enobio是在欧洲和美国获得医疗认证的EEG系统的名称。并且，Muse和MindWave是面向消费者的EEG系统的名称。
在图9的情况下，用白色圆圈表示的位置是只在医疗认证的EEG系统中使用的测量点。与此相对，用AF7、Ap1、AF8、A1、A2表示的位置是只在作为面向消费者的EEG系统的Muse中使用的测量点。而且，Fp1是在4个EEG系统中共同的测量点。即，Fp1是MindWave的测量点。另外，测量点A1和A2相当于被耳壳和侧头部夹住的部分，而不是外耳道。
省略论文的详细内容，以5名健康的受试者为对象，在不同的一天进行了2次安静时的脑波测量。并且，在本实验中，以额部的Fp1为共同的测量点，对闭眼睛的状态和睁开眼睛的状态下的脑波图案和功率谱密度进行了比较。该论文中的评价相当于闭眼时的脑波中的α波的输出评价。
并且，在论文的结论项中记载有如下内容：通过MindWave的Fp1测量的功率谱也包括再现测试的结果在内，与作为医疗认证的EEG系统的B-Alert以及Enobio大致相同，还能够掌握α波的峰。另外，还记载有眨眼和睁眼中的活动作为噪声叠加于通过MindWave测量的脑波上的内容。顺便说一下，作为Muse的可靠性低的理由，指出了伪影的影响的可能性。
＜通过耳机型终端1测量的测量结果与通过MindWave测量的测量结果的比较＞
以下，对进行了将耳机型终端1(参照图2)和MindWave这两者佩戴在受试者上测量脑波的实验的结果进行说明。
如图8所示，耳机型终端1以外耳道为测量点，MindWave以额20A为测量点。
在申请人的实验中，设受试者为58名。进行了如下实验：每人每天设计3次关注的上升测试和沉思的上升测试，捕捉闭眼时的α波的出现。
另外，实际受试者是83名，但是由于25名的测量结果中睁眼时的伪影的影响过大，因此除外。
在关注的上升测试中，使受试者在睁眼状态下对150mm处的笔尖持续注视30秒。该测试的目的是形成集中状态而抑制α波的出现，增加β波。
在沉思上升测试中，请求受试者在闭眼状态下冥想30秒。该测试相当于闭眼时的α波的输出评价。换句话说，其目的是捕捉放松状态下的α波的增加比率。
在实验时，在关注的上升测试之后，过渡到沉思的上升测试，对α波的输出进行了评价。
关于α波的输出的评价，通常在30秒的睁眼状态之后，重复2组30秒的闭眼状态，确认闭眼状态下的α波的上升。
但是，在本次实验中，为了一次性收集大量的数据而增加组的次数来进行。
首先，对进行了沉思的上升测试的理由和在闭眼时的α波的输出的评价中所使用的方法进行说明。
图10是对α波的输出评价进行说明的图。如图10所示，脑波的原始数据主要能分为δ波、θ波、α波、β波、γ波。
脑波的基于人的动作的再现性较小，很难进行基于临床数据的获取性能的再现性的评价，但是其中α波容易以睁眼与闭眼之差出现。
可以说，无论是任一波，都容易在睁眼状态下均匀地出现，而α波以外的波在闭眼状态下均匀地衰减。即，可以说α波即使在闭眼状态下也不太受影响地出现。
活用该特征，在实验中，对脑波的原始数据进行傅里叶变换，将与各波对应的频带的频谱强度Sn作为特性值。
在实验中，将α波强度比Tα定义为α波段的频谱强度Sα与整个频带的频谱强度之和(即ΣSn)之比(＝Sα/ΣSn)，根据从睁眼状态到闭眼状态的变化来确认了α波强度比Tα是否增加。
若确认到α波强度比Tα的增加，则成为脑波测量的证据。
利用图11以及图12对通过耳机型终端1测量的测量结果和通过MindWave测量的测量结果的差异进行说明。
图11是对通过MindWave测量的测量结果进行说明的图。图11的(A)是由眨眼强度小的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果，图11的(B)是由眨眼强度大的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果。
图12是对通过实施方式中所使用的耳机型终端1(参照图2)测量的测量结果进行说明的图。图12的(A)是由眨眼强度小的人进行2组睁眼状态与闭眼状态的切换的情况下的测量结果，图12的(B)是由眨眼强度大的人除了下巴的活动之外还进行2组睁眼状态与闭眼状态的切换的情况下的测量结果。
在眨眼强度小的人的情况下，在通过耳机型终端1测量的测量结果与通过MindWave测量的测量结果之间看到了较高的类似性。
另一方面，在眨眼强度大的人的情况下，通过MindWave测量的测量结果中显著地出现了受眨眼的影响的伪影。其理由可以认为是，MindWave在测量中所使用的额的位置靠近眼睛，容易被检测为睁眼时的眨眼较大的伪影。这一现象在前述的Elena Ratti等的论文中也有指出。
可是，受眨眼的影响的伪影主要出现在δ波段。但是，若有如图11所示的较大的伪影，则错误地被检测为α波的增加的可能性高。其理由是因为，若睁眼状态下的整个频带的频谱强度之和变大，则睁眼状态下的α波强度比Tα变小，闭眼状态下的α波强度比Tα看起来相对大。前述的受试者的削减也是基于该理由。
另外，随着眨眼检测到的伪影中不仅包含随着眼睑的活动产生的来源于生物体的电位变动，还包含欲使眼睑活动的来源于脑波的电位变动。
另一方面，在通过本实施方式中所使用的耳机型终端1(参照图2)测量的测量结果中，在0秒至30秒的期间未检测到因眨眼产生的伪影。
但是，确认到因吞咽唾液的下巴的活动引起的伪影不论在睁眼状态下，还是在闭眼状态下都被检测到。因吞咽唾液的下巴的活动引起的伪影主要出现在θ波段。
另一方面，随着唾液的吞咽出现的伪影的频谱强度与对应于通过MindWave检测到的眨眼的伪影的频谱强度相比格外小。因此，如MindWave的情况那样，未看到对α波的增加的影响。
顺便说一下，在随着唾液的吞咽出现的伪影中也不仅包含随着下巴肌肉的活动产生的来源于生物体的电位变动，还包含欲使下巴肌肉活动的来源于脑波的电位变动。
接下来，利用图13以及图14对在通过耳机型终端1测量的测量结果中出现的α波的增加和在通过MindWave测量的测量结果中出现的α波的增加进行说明。
图13是对通过MindWave测量的测量结果进行说明的图。图13的(A)示出了按从眨眼强度大的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图13的(B)示出了按从眨眼强度小的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图13的(C)是没有出现α波的增加的情况。
图14是对通过实施方式中所使用的耳机型终端1(参照图2)测量的测量结果进行说明的图。图14的(A)是按从眨眼强度大的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图14的(B)是按从眨眼强度小的睁眼状态变为闭眼状态时的频带的频谱强度的比例的变化，图14的(C)是没有出现α波的增加的情况。
图13以及图14的纵轴是频谱强度的比例，横轴是频带。并且，与图13的(A)对应的受试者和与图14的(A)对应的受试者相同。同样地，与图13的(B)对应的受试者和与图14(B)对应的受试者相同。与图13的(C)对应的受试者和与图14的(C)对应的受试者也相同。
MindWave的频谱强度的分布(参照图13)与耳机型终端1的频谱强度的分布(参照图14)在δ波～θ波的低频带中不同，但是在α波以上中大致相同。
实验的结果是，在MindWave和耳机型终端1这两者中确认到α波的增加的受试者为46名。该比例相当于58名中的小于约80％。
顺便说一下，只在耳机型终端1中确认到α波的增加的受试者为7名。换句话说，在耳机型终端1中确认到α波的增加为合计53名。即，在耳机型终端1中，在大于约90％的受试者中确认到了α波的增加。
另外，在MindWave和耳机型终端1这两者中未确认到α波的增加的受试者为5名。图13以及图14的(C)所示的波形表示该5名受试者的测量结果。
图15是示出频谱强度的增加部的提示例的图。图15的(A)是MindWave的测量结果，图15的(B)是实施方式中所使用的耳机型终端1(参照图2)的测量结果。纵轴是频谱强度的比例，横轴是频率。
在图15中，与图13以及图14的情况不同，横轴使用了实际频率。在前述ElenaRatti等的论文中，横轴使用实际频率来说明了α波的增加。图中的用○标记表示的部分是增加部分。
如图15所示，无论在任一测量方法中，都表现出了频谱强度的比例随着频率增高而下降的倾向。该倾向与Elena Ratti等的论文相同。
这样，确认了本实施方式中所使用的通过外耳道测量脑波的耳机型终端1具有与MindWave同等的测量能力。
＜实施方式2＞
在本实施方式中，对在视为对象者的集中力下降的状态下来电的情况下的处理动作进行说明。
另外，在本实施方式的情况下，也使用在实施方式1说明的耳机型终端1。不同的处理内容的原因是MPU16(参照图3)所执行的程序。
图16是对实施方式2中所使用的耳机型终端1所执行的处理动作例进行说明的流程图。图16中对与图5对应的部分标注对应的符号来示出。
在本实施方式的情况下，耳机型终端1若获取生物体电位的信息(步骤1)，则也分析生物体电位的信息并确定心理状态等(步骤2)。
并且，耳机型终端1判定是否满足记录周围声音的条件(步骤3)。在步骤3中获得否定结果的期间，耳机型终端1重复进行步骤3的判定。
另一方面，在步骤3中得到肯定结果的情况下，耳机型终端1记录周围的声音(步骤4)。
此处为止的处理与实施方式1相同。
接下来，耳机型终端1判定在满足再现条件之前是否呼入电话(步骤11)。在本实施方式的情况下，在步骤11中获得否定结果的期间，耳机型终端1重复进行步骤11的判定。然而，在获得否定结果的期间，也执行实施方式1中说明的步骤5～步骤10的处理。因此，在步骤11中得到肯定结果之前，还有可能开始再现所记录的周围的声音。
在此，考虑在步骤11中得到肯定结果的情况。即，考虑在满足再现条件之前呼入电话的情况。在该情况下，耳机型终端1控制电话的连接(步骤12)。在本实施方式的情况下，耳机型终端1与佩戴者的电话机或智能手机等协作。
若电话被连接，则佩戴者开始与电话的对方之间的对话。若开始与电话的对方之间的对话，则在大多情况下，佩戴者的心理状态等从无聊的状态变为集中的状态等。若是前述的实施方式1的情况，则该变化被检测为结束周围声音的记录的事件，还开始再现刚刚为止记录的声音数据。
但是，在本实施方式的情况下，由于佩戴者与电话的对方进行对话，因此不优选再现周围的声音。因此，本实施方式中的耳机型终端1即使心理状态等发生变化，除非是电话中，也继续记录周围的声音。因此，在实施方式1中说明的步骤6～步骤8的处理即使是正在电话对话中也持续执行。
之后，耳机型终端1判定是否检测到了通话结束(步骤13)。通话结束能够通过来自电话机或智能手机的通知而检测。在步骤13中获得否定结果的期间，关于持续记录的周围的声音，持续进行步骤6～步骤8的处理。
若在步骤13中得到肯定结果，则耳机型终端1再现所记录或提取到的声音(步骤10)。即，开始再现在电话中产生的周围的声音。
在本实施方式的情况下，在步骤3中得到肯定结果的情况与实施方式1相同，但是不适合以焦躁的状态接电话。因此，在步骤3中得到肯定结果的情形并不限定于被判定为无聊的状态的情况等预先规定的状态的情况。
＜其他实施方式＞
以上，对本公开的实施方式进行了说明，但是本公开的技术范围并不限定于前述的实施方式所记载的范围。由权利要求书的记载明确可知，对前述实施方式施加了各种各样的变更或改良的方式也包含于本公开的技术范围。
例如，在前述的实施方式中，由耳机型终端1(参照图2)执行了前述的全部处理，但是也可以由外部装置执行这些处理的一部分或全部。在该情况下，外部装置为独立体，或者外部装置和耳机型终端1这两成为信息处理装置的一例。
图17是示出外部装置为因特网30上的服务器31的情况的图。在图17的情况下，耳机型终端1作为将从佩戴者测量到的脑波的信息上传到服务器31并接收处理结果的设备发挥功能。
并且，在前述的实施方式中，作为能够通过耳机型终端1(参照图1)测量的生物体电位的信息的一例，对脑波进行了说明，但是也可以是肌电、心律、心电、脉搏、脈波等。
并且，在前述的实施方式中，在双耳的外耳道佩戴耳机型终端1并测量了脑波，但是耳机型终端1也可以是佩戴于单耳的外耳道的类型。
图18是对佩戴于单耳的类型的耳机型终端1A的外观例进行说明的图。在图18中对与图2对应的部分标注对应的符号来示出。图18所示的耳机型终端1A以佩戴于右耳的模块1R为基本结构。在图18的情况下，在模块主体2R还内置有锂离子电池17(参照图3)。
并且，在图18所示的耳机型终端1A的情况下，在佩戴于耳部的带电极的振动部3R的末端部设置有3个电极3R1、3L1以及3R2。穹顶状的电极3R1与环状的电极3L1之间以及环状的电极3L1与环状的电极3R2之间分别通过绝缘体电分离。
并且，在前述的实施方式中，对将测量起因于脑波等的电位变动的电极配置于耳机型终端1的例进行了说明，但是也可以安装于其他物品或设备。以下，例示几个具体例。
例如，测量起因于脑波等的电位变动的电极也可以配置在覆盖耳壳的头戴式耳机。在头戴式耳机的情况下，电极设置于耳垫中的与头部接触的部分。此时，电极配置于头发较少且能够直接接触皮肤的位置。
并且，与耳壳接触的物品也可以是耳环等装饰品或眼镜型设备。这些是可佩带设备的一例。
图19是对配置有用于测量脑波的电极的耳环40的一例进行说明的图。图19所示的耳环40具有：在安装装饰物的耳部的正面侧与耳垂接触的电极3R1；在耳部的背面侧与耳垂接触的电极3L1；以及在U字部分中的任一位置与耳垂接触的电极3R2。这些电极通过未图示的绝缘体电分离。并且，供给动作所需的电力的电池或蓝牙等其他通信模块内置于装饰物的内部、U字部分以及使配置有电极3L1的盘形状的部件沿轴向移动的螺钉的轴内等。
另外，软骨传导振子3R3通过电缆41而与耳环40的主体连接。在该情况下，软骨传导振子3R3独立佩戴于耳部。
图20是对配置有用于测量脑波的电极的眼镜50的一例进行说明的图。图20所示的眼镜50在右侧腿部51的末端部(以下称作“镜脚”)配置有电极3R1和电极3R2，在左侧腿部51的镜脚配置有电极3L1。这些电极通过未图示的绝缘体电分离。并且，供给动作所需的电力的电池或蓝牙等其他通信模块内置于腿部或镜脚。在图20的情况下，软骨传导振子3R3以及3L3与腿部的镜脚连结。
此外，用于测量脑波的电极还能够与智能眼镜或被称作头戴显示器的显示信息的耳麦进行组合。并且，还能够搭载于具有理解用户周围的环境并显示与环境同化的图像的功能的耳麦。
图21是对将具有显示与用户周围的环境同化的图像的功能的耳麦60用于测量脑波的情况下的电极的配置例进行说明的图。图21所示的耳麦60想象了在微软(注册商标)公司的hololens(注册商标)上配置有测量脑波的电极的结构。佩戴有耳麦60的用户所体验的假想环境被称作增强现实或混合现实。
在图21所示的耳麦60中，在佩戴于头部的环状部件中的与耳部接触的部位配置有电极3R1、电极3R2、电极3L1。在图21所示的耳麦60的情况下，电极3R1和电极3R2配置在右耳侧，电极3L1配置在左耳侧。另外，若使用设置于耳麦60的追踪视线的功能，则容易建立视线目的地的物体或人与佩戴者的心理状态等的关联。并且，在耳麦60的主体安装有：佩戴于右侧耳部的软骨传导振子3R3；以及佩戴于左侧耳部的软骨传导振子3L3。
在前述的实施方式中，对使用与用户的耳部接触的电极获取包含脑波的生物体信息的情况进行了说明，但是获取包含脑波的生物体信息的位置并不限于耳部。电极例如也可以设置于额等其他头部位置。
例如，在耳麦60(参照图21)的情况下，也可以在佩戴于头部的环状部件中的任一位置设置电极。
在前述的实施方式中，对使用与用户的包含耳部的头部接触的电极获取包含脑波的生物体信息的情况进行了说明，但是也可以根据血流量的变化来计量大脑活动。
图22是示出使用近红外光对起因于大脑活动的血流量变化进行测量的耳麦70的一例的图。耳麦70具有佩戴于头部的环状的主体。在该主体的内侧配置有1个或多个测量部，所述测量部由向头皮照射近红外光的探针71和接收反射光的检测探针72构成。另外，MPU73对通过探针71的近红外光照射进行控制，对从检测探针72输出的信号进行处理，从而检测用户的脑波特征。
此外，在测量包含脑波的生物体信息时也可以使用脑磁图仪。在测量通过大脑的神经细胞所产生的电活动产生的磁场时例如使用TMR(＝Tunnel Magneto Resistance)传感器。
图23是对脑磁图仪80的一例进行说明的图。图23所示的脑磁图仪80具有在佩戴于头部的脑磁帽81排列有多个TMR传感器82的构造。另外，TMR传感器82的输出被输入到未图示的MPU，生成脑磁图。在该情况下，将脑磁图中的磁场的分布用作用户的脑波特征。另外，图23中还绘制了佩戴于耳部的软骨传导振子3L3。
在前述的实施方式中，以在不被其他人察觉的前提下向佩戴者传递声音为前提设想了软骨传导路径，但是也可以使用骨传导路径。在使用骨传导路径的情况下，骨传导振子配置于佩戴者的与侧头部接触的位置。并且，也可以代替软骨传导或骨传导而使用具有输出声音的振动板的耳机。
在前述的实施方式中说明的耳机型终端1中的蓝牙模块14例如也可以依照“Bluetooth LE Audio”。关于“Bluetooth LE Audio”，例如公开于“https://www.bluetooth.com/learn-about-bluetooth/bluetooth-technology/le-audio/”等。在蓝牙模块14依照该标准的情况下，能够将在耳机型终端1的使用中接收到的紧急广播等与再现中的声音重叠输出。此处的输出是活用“Bluetooth LE Audio”的广播功能或将多个设备同时与1个设备连接的功能的例。耳机型终端1相当于多个设备。
另外，前述的各实施方式中的MPU是指广义上的处理器，除了包含通用的处理器(例如CPU(＝Central Processing Unit)等)之外，还包含专用的处理器(例如GPU(＝Graphical Processing Unit)、ASIC(＝Application Specific Integrated Circuit)、FPGA(＝Field Programmable Gate Array)、编程逻辑设备等)。
并且，前述的各实施方式中的处理器的动作可以由1个处理器单独执行，但是也可以由存在于物理上分离的位置的多个处理器协作执行。并且，处理器中的各动作的执行顺序并不仅限定于前述的各实施方式所记载的顺序，也可以个别地变更。

Claims (25)

1.一种信息处理装置，其具有处理器，
所述处理器在与对象者的心理状态或情感有关的信息满足预先规定的第1条件的情况下，对在满足该第1条件的期间内收集到的对象者周围的声音的输出进行控制。
2.根据权利要求1所述的信息处理装置，其中，
预先规定的所述第1条件是视为对象者的集中力下降的状态。
3.根据权利要求2所述的信息处理装置，其中，
预先规定的所述第1条件是从对象者测量到的θ波的电平或δ波的电平比预先规定的阈值高。
4.根据权利要求2或3所述的信息处理装置，其中，
在检测到呼入电话的情况下，所述处理器控制成能够进行电话通话的状态。
5.根据权利要求1所述的信息处理装置，其中，
预先规定的所述第1条件是视为对象者兴奋的状态。
6.根据权利要求5所述的信息处理装置，其中，
预先规定的所述第1条件是从对象者测量到的γ波的电平或β波的电平比预先规定的阈值高。
7.根据权利要求1至6中任意一项所述的信息处理装置，其中，
所述处理器通过不伴随空气振动的设备而输出在满足所述第1条件的期间内收集到的对象者周围的声音。
8.根据权利要求7所述的信息处理装置，其中，
所述设备通过骨传导或软骨传导而传导声音。
9.根据权利要求1所述的信息处理装置，其中，
在满足预先规定的第2条件的情况下，所述处理器输出在满足所述第1条件的期间内收集到的对象者周围的声音。
10.根据权利要求9所述的信息处理装置，其中，
所述第2条件是不满足所述第1条件的情况。
11.根据权利要求9所述的信息处理装置，其中，
所述第2条件是由对象者发出的输出指示的检测。
12.根据权利要求9所述的信息处理装置，其中，
所述第2条件是按照每个对象者设定的。
13.根据权利要求9所述的信息处理装置，其中，
所述第2条件是对象者所处的环境的变化的检测。
14.根据权利要求13所述的信息处理装置，其中，
所述环境的变化是电话通话结束的检测。
15.根据权利要求13所述的信息处理装置，其中，
所述环境的变化是对象者所参加的会议结束的检测。
16.根据权利要求1所述的信息处理装置，其中，
所述处理器快进再现在满足所述第1条件的期间内收集到的对象者周围的声音。
17.根据权利要求1所述的信息处理装置，其中，
所述处理器输出在满足所述第1条件的期间内收集到的对象者周围的声音的概要。
18.根据权利要求17所述的信息处理装置，其中，
所述处理器选择性地输出出现频率高的短语或单词。
19.根据权利要求1所述的信息处理装置，其中，
所述处理器在满足所述第1条件的期间内收集到的对象者周围的声音满足预先规定的第3条件的情况下，输出满足该第3条件的声音。
20.根据权利要求19所述的信息处理装置，其中，
所述第3条件是指特定发言者的发言。
21.根据权利要求19或20所述的信息处理装置，其中，
所述第3条件是按照每个对象者设定的。
22.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置是由用户佩戴使用的设备。
23.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置是能够通信地连接于用户所佩戴的设备的计算机。
24.一种计算机可读介质，其存储有使计算机执行处理的程序，
在所述处理中具有以下工序：在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下，对在满足所述预先规定的条件的期间内收集到的对象者周围的声音的输出进行控制。
25.一种信息处理方法，其具有以下工序：在与对象者的心理状态或情感有关的信息满足预先规定的条件的情况下，对在满足所述预先规定的条件的期间内收集到的对象者周围的声音的输出进行控制。
CN202010934511.6A 2020-02-04 2020-09-08 信息处理装置、信息处理方法以及计算机可读介质 Pending CN113208812A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020017479A JP7410557B2 (ja) 2020-02-04 2020-02-04 情報処理装置及びプログラム
JP2020-017479 2020-02-04

Publications (1)

Publication Number Publication Date
CN113208812A true CN113208812A (zh) 2021-08-06

Family

ID=77085939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010934511.6A Pending CN113208812A (zh) 2020-02-04 2020-09-08 信息处理装置、信息处理方法以及计算机可读介质

Country Status (3)

Country Link
US (1) US20210240433A1 (zh)
JP (1) JP7410557B2 (zh)
CN (1) CN113208812A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020209123A1 (de) * 2020-07-21 2022-01-27 Sivantos Pte. Ltd. Hörgerät und Hörgeräte-Modul
WO2023073956A1 (ja) * 2021-10-29 2023-05-04 Ｖｉｅ Ｓｔｙｌｅ株式会社 プログラム、情報処理方法、及び情報処理装置
WO2023150218A1 (en) * 2022-02-02 2023-08-10 Meta Platforms Technologies, Llc In-ear optical sensors for ar/vr applications and devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349772A (ja) 2005-06-13 2006-12-28 Shinsuke Kataoka 音楽データ記録媒体
US8649494B2 (en) * 2008-08-05 2014-02-11 International Business Machines Corporation Participant alerts during multi-person teleconferences
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
WO2015182834A1 (ko) 2014-05-27 2015-12-03 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170199934A1 (en) * 2016-01-11 2017-07-13 Google Inc. Method and apparatus for audio summarization
FR3055203A1 (fr) * 2016-09-01 2018-03-02 Orange Prediction de l'attention d'un auditoire lors d'une presentation
US10902866B2 (en) * 2016-09-08 2021-01-26 Huawei Technologies Co., Ltd. Sound signal processing method, terminal, and headset
US9652113B1 (en) * 2016-10-06 2017-05-16 International Business Machines Corporation Managing multiple overlapped or missed meetings
US10362385B1 (en) 2018-03-05 2019-07-23 Harman International Industries, Incorporated Controlling perceived ambient sounds based on focus level
US20200228358A1 (en) * 2019-01-11 2020-07-16 Calendar.com, Inc. Coordinated intelligent multi-party conferencing
US11128483B1 (en) * 2019-08-01 2021-09-21 Fuze, Inc. System for providing a meeting record for playback to participants in an online meeting
JP2021090136A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US11645604B2 (en) * 2020-01-31 2023-05-09 International Business Machines Corporation Methods and systems for managing concentration in work environments
US11755277B2 (en) * 2020-11-05 2023-09-12 Harman International Industries, Incorporated Daydream-aware information recovery system

Also Published As

Publication number Publication date
US20210240433A1 (en) 2021-08-05
JP2021124923A (ja) 2021-08-30
JP7410557B2 (ja) 2024-01-10

Similar Documents

Publication Publication Date Title
CA2953539C (en) Voice affect modification
CN113208812A (zh) 信息处理装置、信息处理方法以及计算机可读介质
US11856355B2 (en) Information processing system and non-transitory computer readable medium storing program
JP6580497B2 (ja) 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法
JP6673828B2 (ja) 自閉症における言語処理向上のための装置
CN110520041B (zh) 脑波数据分析系统、信息处理终端、电子设备以及用于认知症检查的信息的呈现方法
US20230199413A1 (en) Multimodal hearing assistance devices and systems
JPWO2011135789A1 (ja) 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
JPWO2011001694A1 (ja) 補聴器の調整装置、方法およびプログラム
JPWO2012108128A1 (ja) 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
Crum Hearables: Here come the: Technology tucked inside your ears will augment your daily life
Bleichner et al. Building an ear-EEG system by hacking a commercial neck speaker and a commercial EEG amplifier to record brain activity beyond the lab
Fu et al. Congruent audiovisual speech enhances auditory attention decoding with EEG
CN114432565A (zh) 空想意识信息恢复系统
JP2006136742A (ja) 通信装置
US11402907B2 (en) Information processing system and non-transitory computer readable medium
JP2021124922A (ja) 情報処理装置及びプログラム
WO2024106195A1 (ja) 情報処理装置および情報処理システム
EP4230113A1 (en) Device for determining a hearing capacity of a person
US20220101873A1 (en) Techniques for providing feedback on the veracity of spoken statements
Paul In-Ear Electrophysiology for Unobtrusive Auditory Brain-Machine Interfaces
Hu et al. ERP Research on Semantic Matching of Audio-visual Information in Interfaces in Quiet-Noise Situations
Odame et al. Towards a Brain-Machine System for Auditory Scene Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination