CN107683399B - 声音输出装置、电子装置、以及其控制方法 - Google Patents
声音输出装置、电子装置、以及其控制方法 Download PDFInfo
- Publication number
- CN107683399B CN107683399B CN201680031923.0A CN201680031923A CN107683399B CN 107683399 B CN107683399 B CN 107683399B CN 201680031923 A CN201680031923 A CN 201680031923A CN 107683399 B CN107683399 B CN 107683399B
- Authority
- CN
- China
- Prior art keywords
- user
- audio data
- data
- listening
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 66
- 210000004556 brain Anatomy 0.000 claims abstract description 168
- 238000012986 modification Methods 0.000 claims abstract description 6
- 230000004048 modification Effects 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 98
- 230000035945 sensitivity Effects 0.000 claims description 93
- 230000004044 response Effects 0.000 claims description 49
- 230000037081 physical activity Effects 0.000 claims description 25
- 210000005069 ears Anatomy 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 38
- 230000000694 effects Effects 0.000 description 28
- 238000005259 measurement Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 208000016354 hearing loss disease Diseases 0.000 description 8
- 206010016256 fatigue Diseases 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 235000019577 caloric intake Nutrition 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000010370 hearing loss Effects 0.000 description 3
- 231100000888 hearing loss Toxicity 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 241000272534 Struthio camelus Species 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000036403 neuro physiology Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000003534 oscillatory effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008430 psychophysiology Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
- G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37193—Multicoordinate measuring system, machine, cmm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Neurology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Neurosurgery (AREA)
- Dermatology (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种声音输出装置,其包括:通信器,被配置为与电子装置通信并接收第一音频数据;输出模块,被配置为输出接收到的第一音频数据并且输出作为第一音频数据的修改数据的第二音频数据;传感器,被配置为检测用户的脑电波数据;以及处理器,被配置为控制使得通过传感器检测的用户的脑电波数据通过通信器被发送到电子装置,并且使得从电子装置接收第二音频数据。
Description
技术领域
与这里公开的内容一致的设备和方法涉及声音输出装置、电子装置、以及它们的控制方法,并且更具体地,涉及被配置为提供音频的声音输出装置、和电子装置、以及它们的控制方法。
背景技术
随着电子技术研发的强度,各种类型的电子装置被研发和提供。具体地,作为最近在许多情况下使用的电子产品的一个示例,智能电话近年来继续被研发。
虽然电子装置的性能变得高度合格,但是一般趋势是电子装置、或更具体地,便携式用户终端装置输出预先存储的内容,或将来自外部服务器的内容流化(stream)并将其输出。
然而,用户在听觉能力方面具有差异,并且应该根据各种地方的各种收听状况来直接控制内容的输出状态。结果,用户不能被提供针对收听状况而优化的听觉服务。
发明内容
技术问题
本公开的示例性实施例克服以上缺点和以上没有描述的其它缺点。并且,本公开不被要求克服上述缺点,并且本发明构思的示例性实施例可以不克服上述问题中的任何一个。
根据实施例,一个技术目标是提供声音输出装置、电子装置、以及它们的控制方法,所述声音输出装置通过基于用户的收听状况和听觉能力自动地控制音频数据的输出状态,以提供针对用户的收听状况和听觉能力而优化的用户友好的听觉服务。
技术方案
根据实施例,提供了声音输出装置,其可以包括:通信器,被配置为与电子装置通信并接收第一音频数据;输出模块,被配置为输出接收到的第一音频数据和作为第一音频数据的修改数据的第二音频数据;传感器,被配置为检测用户的脑电波数据;处理器,被配置为控制使得由传感器检测到的用户的脑电波数据通过通信器被发送到电子装置,并且使得从电子装置接收第二音频数据。
电子装置可以基于根据用户的脑电波数据和用户的收听状况而确定的收听信息根据音频输出信息将第一音频数据修改为第二音频数据,并且可以将第二音频数据发送到声音输出装置。
音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。
当从电子装置接收到测试信号时,处理器可以输出测试信号并向电子装置发送回应于测试信号的脑电波数据。
根据实施例,提供了电子装置,其可以包括:声音输出装置;通信器,其连接到声音输出装置并被配置为将第一音频数据发送到声音输出装置;检测器,被配置为检测用户的状况数据;以及处理器,被配置为通过使用对应于由从声音输出装置接收到的用户的脑电波数据和检测到的状况数据而确定的音频输出信息,将第一音频数据修改为第二音频数据,并且将第二音频数据发送到声音输出装置。
音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。
处理器可以通过使用对应于基于用户的脑电波数据的用户的收听信息、和基于用户的状况数据的用户的收听状况而确定的音频输出信息,将第一音频数据修改为第二音频数据。
收听状况可以包括以下各项中的至少一个:用户的周围环境状况、用户的身体活动状况、和声音输出装置的类型。
进一步,用户的收听信息可以包括用户的听觉特性和用户的听觉灵敏度,用户的听觉特性可以包括:用户的可听范围、分别关于左耳和右耳的听觉水平、以及每频率的听觉水平;并且用户的听觉灵敏度可以包括以下各项中的至少一个:环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、以及识别状态灵敏度。
处理器可以向声音输出装置发送测试信号,并且基于回应于测试信号的脑电波数据获得用户的收听信息。
同时,根据实施例,提供了用于与电子装置通信并且输出音频数据的声音输出装置的控制方法,其可以包括:从电子装置接收第一音频数据并且输出第一音频数据、向电子装置发送用户的脑电波数据、以及从电子装置接收作为第一音频数据的修改数据的第二音频数据,并且响应于发送脑电波数据将其输出。
电子装置可以根据基于收听信息和用户的收听状况而修改的音频输出信息,将第一音频数据修改为第二音频数据,并且向声音输出装置发送第二音频数据,所述收听信息基于用户的脑电波数据而确定。
音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间当中的至少一个的信息。
当从电子装置接收测试信号时,发送可以包括输出测试信号和向电子装置发送回应于测试信号的脑电波数据。
同时,根据实施例,提供了用于向声音输出装置发送音频数据的电子装置的控制方法,其可以包括:将第一音频数据发送到声音输出装置;检测用户的状况数据;并且通过使用对应于从声音输出装置接收到的用户的脑电波数据和检测到的用户的状况数据而确定的音频输出信息,将第一音频数据修改为第二音频数据;并且向声音输出装置发送第二音频数据。
音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间当中的至少一个的信息。
修改和发送第二音频数据可以包括:通过使用对应于基于用户的脑电波数据的用户的收听信息和基于用户的状况数据的用户的收听状况而确定的音频输出信息,将第一音频数据修改为第二音频数据。
收听状况可以包括关于以下各项中的至少一个:用户的周围环境状况、用户的身体活动状况、和声音输出装置的类型。
用户的收听信息可以包括:用户的听觉特性和用户的听觉灵敏度,用户的听觉特性可以包括以下各项当中的至少一个:用户的可听范围、分别关于左耳和右耳的听觉水平、以及每频率的听觉水平;用户的听觉灵敏度可以包括以下各项当中的至少一个:环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、以及识别状态灵敏度。
控制方法可以额外包括:向声音输出装置发送测试信号,并且基于回应于测试信号的脑电波数据获得用户的收听信息。
同时,根据实施例,提供了电子系统,其可以包括:声音输出装置,被配置为与电子装置通信、接收第一音频数据并将其输出、检测用户的脑电波数据、并向电子装置发送检测到的用户的脑电波数据;以及电子装置,被配置为通过使用对应于从声音输出装置接收的用户的脑电波数据和检测到的用户的状况数据而确定的音频输出信息,将作为第一音频数据的修改数据的第二音频数据发送到声音输出装置。
发明的有益效果
根据上述各种实施例,用户能够被提供针对当前收听状况而优化的用户友好的听觉体验。
附图说明
通过参考附图描述本发明构思的某些示例性实施例,本发明构思的以上和/或其它方面将更加清楚,其中:
图1是示意地示出根据实施例的电子系统的示图;
图2A是被提供以说明根据实施例的电子装置的构成的框图;
图2B是根据实施例的电子装置的详细框图;
图2C是根据实施例的电子装置的详细框图;
图3是示出根据实施例的声音输出装置的构成的框图;
图4A和图4B是被提供以说明根据实施例的电子装置和声音输出装置的操作的序列图;
图5和图6是被提供以说明根据实施例的用于生成音频输出信息的方法示图;
图7和图8是被提供以说明根据实施例的用于确定音频输出信息的方法的示图;
图9和图10是被提供以说明根据实施例的用于确定音频输出信息的方法的示图;
图11是被提供以说明根据实施例的用于测量听觉能力的方法的示图;
图12是被提供以说明根据实施例的用于分析脑电波数据的方法的示图;
图13、图14A至图14D是被提供以说明根据各种实施例提供的听觉服务的示例的示图;
图15是被提供以说明根据实施例的用于管理音频数据的方法的示图;
图16A至图16C是被提供以说明根据各种实施例的声音输出装置的实施方式的示图;
图17至图23是被提供以说明根据各种实施例的电子系统的示图;
图24是被提供以说明根据实施例的声音输出装置的控制方法的流程图;
图25是被提供以说明根据实施例的电子装置的控制方法的流程图;
图26是被提供以说明根据各种实施例的包括声音输出装置的运输装置的形式和用于确定音频输出信息的方法的示图;以及
图27是被提供以说明根据各种实施例的用于在包括声音输出装置的医疗设备处确定音频输出信息的方法的示图。
具体实施方式
将参考附图更详细地描述本发明构思的某些示例性实施例。
在下面的描述中,即使在不同的附图中,相同的附图参考标号也用于相同的元件。在说明书中定义的事物,诸如详细的结构和元件,被提供以帮助对本发明构思的全面理解。因此,很明显可以无需那些具体定义的事物来实施本发明构思的示例性实施例。并且,熟知的功能或结构不被具体地描述,因为它们将以不必要的细节来模糊本公开。
以下将参考附图详细描述本公开。
图1是根据实施例的电子系统50的示意图;
参考图1,根据实施例的电子系统50包括电子装置100和声音输出装置200。
电子装置100可以再现音频数据,并发送到有线或无线地连接到电子装置100的声音输出装置200。
在这种情况下,电子装置100可以实施为智能电话、平板计算机、智能手表、智能眼镜、智能手环等等。
这里,音频数据可以是各种类型的语音或声音内容,诸如:音乐、视频、无线电广播、地波广播、以及呼叫期间的对方用户的语音信号。音频数据可以预先下载在电子装置100中或通过外部接收或被实时流化来提供。
具体地,电子装置100可以利用音频输出信息控制音频数据的输出状态。
这里,音频输出信息可以包括:在收听状况下的用于优化的声音的信息、和关于收听指示音频数据的声音的用户86的听觉能力的信息。例如,音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间的信息。
例如,当用户在健身房运动的同时收听指示音频数据的声音时,通过考虑用户正在运动的健身房(状况)、运动(状况)、以及用户的听觉能力,电子装置100可以输出指示具有均衡器、音量、和为继续收听而优化的推荐时间的音频数据的声音。
同时,声音输出装置200可以被有线或无线地连接到电子装置100,以从电子装置100接收音频数据,并且(例如,以声音的形式)输出音频数据。
在这种情况下,声音输出装置200可以被实施为各种类型的设备,所述设备能够从电子装置100接收音频数据并且(例如,以声音的形式)输出音频数据。
例如,声音输出装置200可以被实施为能够由用户86穿戴的可穿戴装置,诸如:耳机、头戴式耳机、骨传导耳机/骨传导头戴式耳机、以及助听器,或其它各种类型的装置,诸如:扬声器、条形音箱、家庭影院。
图2A是被提供来说明根据实施例的图1的电子装置100的构成的框图;
参考图2A,根据实施例的电子装置100包括通信器110、检测器120、和处理器130。
通信器110可以与声音输出装置200通信。具体地,通信器110可以与声音输出装置200通信,并且向声音输出装置200发送在电子装置100中再现的音频数据。
在这种情况下,通信器110可以根据各种方法与声音输出装置200通信。
例如,通信器110可以通过诸如蓝牙(BT)、无线保真(Wi-Fi)、ZigBee、红外(IR)、串行接口、通用串行总线(USB)、和有线电缆等各种有线和/或无线通信方法与声音输出装置200通信。
检测器120可以检测用户的状况数据。这里,状况数据可以包括:用于确定用户的收听状况的数据,所述用户通过声音输出装置200听见指示音频数据的声音。
同时,用户的收听状况可以包括以下各项中的至少一个:周围环境状况、用户的身体活动状况、和声音输出装置200的类型。
例如,用户的收听状况可以包括:1)与用户通过声音输出装置200收听指示音频数据的声音的收听地方有关的信息,诸如:用户是在室内、室外、还是在汽车里,是否存在环境噪声,周围的天气如何等等;2)与在收听指示音频数据的声音时执行的动作有关的信息,所述动作诸如:当前行走、运动、睡觉、阅读、调停、谈话、和(视频)呼叫;3)与音频数据有关的信息,诸如:什么类型的音频数据被听见;以及4)与声音输出装置200的类型有关的信息,诸如:声音输出装置200是耳机、头戴式耳机、还是扬声器。
对于以上情况,检测器120可以通过使用各种类型的传感器检测用户的状况数据。
例如,检测器120可以经由身体成分传感器感测状况数据以确定收听指示音频数据的声音的用户的身体条件,诸如:心率、肌肉活动程度、呼吸量、血氧水平、体温、卡路里消耗量、面部、语音、和时间。
进一步,检测器120可以经由传感器(诸如:例如,陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、近场传感器、亮度传感器、运动传感器、触摸传感器、相机、麦克风等等)感测数据以确定在用户收听指示音频数据的声音时的环境噪声、用户收听指示音频数据的声音的地方、以及在收听指示音频数据的声音时执行的用户动作。
此外,检测器120可以从电子装置100的外部设备获得状况数据。
例如,检测器120可以经由感测音频数据的传感器中的一个或多个或经由存储预先记录的状况数据的外部服务器来获得关于用户正在收听指示音频数据的声音的地方的周围天气、用户正在做什么的信息、以及噪声信息。
同时,检测器120可以从声音输出装置200获得声音输出装置200的类型。
例如,图1的通信器110可以接收从声音输出装置200发送的、与声音输出装置200有关的信息(例如,制造商、模型名称、产品序号、和ID),并且检测器120可以从在通信器110处接收到的信息获得声音输出装置200的类型。
在其它实施例中,用户可以直接输入声音输出装置200的类型。
进一步,检测器120可以确定在电子装置100中再现的音频数据的类型。
例如,检测器120可以基于音频数据的元数据确定当前再现的音频数据的类型,即:音频数据的种类。
处理器130可以控制电子装置100的一般操作。
处理器130可以包括用于操作电子装置100的微型计算机(micom,micro-computer)、或micom和中央处理单元(central processing unit,CPU)、随机存取存储器(random-access memory,RAM)、只读存储器(read-only memory,ROM)。
处理器130可以控制通信器110以向声音输出装置200发送音频数据。
具体地,处理器130可以再现存储在电子装置100中的或外部流传输的音频数据,并且向声音输出装置200发送再现的音频数据。
同时,处理器130可以通过使用对应于从声音输出装置200接收的脑电波数据和由检测器检测到的状况数据而确定的音频输出信息,将第一音频数据修改为第二音频数据,并发送到声音输出装置200。例如,使用被发送到声音输出装置的基于脑电波数据和状况数据的音频输出信息,第一音频数据被修改为第二音频数据。这里,脑电波数据可以通过在图1的用户86的头上的两点之间连续记录或测量的电势差来表示,该脑电波数据可以反映大脑的电活动。例如,脑电波数据可以包括但不限于,诸如delta波和基于频率带宽的alpha波、beta波、gamma波的多个类型中的至少一个类型的数据。
具体地,处理器130可以通过使用基于从脑电波数据推导的用户86的听觉能力、和基于用户86的状况数据的收听状况而确定的音频输出信息,将第一音频数据修改为第二音频数据。
这里,第一音频数据可以指示其中输出状态没有基于音频输出信息被修改的音频数据,并且第二音频数据可以指示其中输出状态基于音频输出信息被修改的音频数据,所述音频输出信息根据基于脑电波数据确定的听觉能力信息和基于由检测器120检测的状况数据确定的收听状况中的至少一个来确定。
这里,音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。
例如,处理器130可以基于用户的听觉能力和收听状况中的至少一个,修改关于音频数据的均衡器、音量、和用于继续收听的推荐时间中的至少一个,并且将其中输出状态被修改的音频数据发送到声音输出装置200。
对于以上情况,电子装置100可以存储每收听状况的音频输出信息。在这种情况下,音频输出信息可以由处理器130或另一外部装置生成以被存储在电子装置100中。
下面将说明处理器130生成音频输出信息的示例。
处理器130可以基于状况数据确定图1的用户86的收听状况。
具体地,处理器130可以基于从检测器120获得的状况数据来确定收听指示音频数据的声音的用户的周围环境状况(例如,噪声水平)、身体活动状况(例如,运动)、和声音输出装置200的类型。因此,处理器130可以基于状况数据确定用户正参与哪个身体活动、哪个周围环境、以及用户使用哪个类型的声音输出装置200收听指示音频数据的声音。
进一步,处理器130可以生成每收听状况的音频输出信息。因此,处理器130可以生成每收听状况的音频输出信息,所述每收听状况的音频输出信息是在不损害用户86的听觉能力的情况下,关于均衡器、音量、和为继续收听声音而优化的推荐时间中的至少一个。
具体地,处理器130可以通过使用预先定义的音频输出信息生成算法来生成适于收听状况的音频输出信息。
音频输出信息生成算法可以是以下算法:当具有特定听觉特性的用户在特定收听状况下收听指示音频数据的声音时(例如,当用户在特定的周围环境中进行特定的身体活动的同时利用特定类型的声音输出装置收听指示音频数据的声音时),能够以图1的用户86的听觉灵敏度作为变量,生成音频输出信息以在不损害图1的用户86的听觉能力的情况下提供优化的声音。
这里,听觉特性可以包括图1的用户86的可听范围、分别关于左耳和右耳的听觉水平、以及每频率的听觉水平。处理器130可以获得听觉特性作为听力图。具体地,听力图指示通过听力计测量的用户的可听范围,即,每频率的最小听觉水平(dB)。换句话说,听力图示出用户86的听觉特性。
从而,处理器130可以通过分析听力图来确定用户的可听范围、分别关于左耳和右耳的听觉水平、以及每频率的听觉水平。
同时,用户的听觉特性可以被预先存储在电子装置100中。然而,听觉特性也可以被外部提供并且被存储在电子装置100中。例如,用户可以通过从电子装置100提供的程序(例如,听觉测量应用)来测量他的听觉特性。以这种方式,处理器130可以通过生成听力图格式的听觉测量结果来获得用户的听觉特性。进一步,用户可以通过访问诊所或使用网站来测量他的听觉特性。所测量的听觉特性结果可以以听力图格式生成并且通过各种设备被发送到电子装置100。
听觉灵敏度可以包括环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、和识别状态灵敏度中的至少一个,并且具有反映环境噪声、身体活动、温度、音频数据、和识别状态影响用户听觉特性的改变的数字值。例如,当身体活动影响用户的听觉特性的改变相对大于环境噪声的改变时,身体活动灵敏度的值可以大于环境噪声灵敏度的值。
然而,当关于用户的听觉灵敏度的信息不可用时,处理器130可以基于用户的听觉特性和收听者的平均听觉特性(即普通人的听觉灵敏度),生成每收听状况的音频输出信息。对于以上情况,电子装置100可以预先存储关于普通人的听觉灵敏度的信息。
同时,关于利用处理器130通过使用预先定义的音频输出信息生成算法来生成音频输出信息的一个示例可以在下面的表1、表2、和表3中示出。
具体地,表1指示适于以下情况的音频输出信息的示例:当具有特定听觉特性的用户在特定周围环境中进行特定身体活动的同时收听指示音频数据的声音时。表2和表3指示适于以下情况的音频输出信息的示例:当用户在表1的状况下,分别通过头戴式耳机和条形音箱收听指示音频数据的声音时。在这种情况下,可以使用普通人的听觉灵敏度而不是用户的听觉灵敏度。
【表1】
基础开始音量水平 | A |
最大/最小音量水平 | Min=A-30~Max=A+50 |
每听觉阈值偏移的音量调整宽度 | ±3/单位偏移 |
听觉阈值偏移量的计算公式 | -1×△噪声 |
最大听觉准许时间 | 30分钟 |
频率1的量(例如,125Hz) | (L)CV+0|(R)CV+1 |
频率2的量(例如,250Hz) | (L)CV+3|(R)CV+5 |
... | ... |
频率N的量(例如,4000Hz) | (L)CV+8|(R)CV+18 |
-音频输出信息
【表2】
-对于头戴式耳机的音频输出信息
【表3】
基础开始音量水平 | C |
最大/最小音量水平 | Min=C-10~Max=C+70 |
每听觉阈值偏移的音量调整宽度 | ±2/单位偏移 |
听觉阈值偏移量的计算公式 | -1×m×△噪声 |
最大听觉准许时间 | 60分钟 |
频率1的量(例如,125Hz) | (ch1)CV+0|(chM)CV+1 |
频率2的量(例如,250Hz) | (ch1)CV+3|(chM)CV+4 |
... | ... |
频率N的量(例如,4000Hz) | (ch1)CV+8|(chM)CV+12 |
-对于条形音箱的音频输出信息
同时,根据表1、表2、和表3,针对声音输出装置200的类型,基础开始音量水平可以分别为A、B、和C,并且最大/最小音量水平可以基于各个基础开始音量水平来定义。单位偏移指示可调整的音量水平的单位。CV指示当前音量。基于声音输出装置200的类型,CV可以包括不同的可调整的音量水平。基于声音输出装置20的类型,表1、表2、和表3还可以指明各个最大的准许收听时间。参考表1和表2,当声音输出装置200具有左声道和右声道(即,两个不同的声道)时,可以为两个声道定义频率的量。参考表3,当声音输出装置200具有M个声道时,可以为M个声道(ch1至chM)分别定义频率的量。进一步,在表2和表3中,k和m可以是根据声音输出装置的类型、考虑每声音输出装置的输出/关闭性能的权值。
应该注意到表1、表2、和表3中列出的数字值仅仅是示例性值。其它数字值也可以被用于这些和其它实施例。
进一步,处理器130可以生成每个用户的音频输出信息。因此,鉴于用户的收听信息影响音频输出信息的事实,处理器130可以生成分别与使用电子装置100的多个用户相对应的每收听状况的音频输出信息。
例如,处理器130可以生成如表4中所示的每个用户的音频输出信息。
【表4】
应该注意到表4只列出示例性值。在其它实施例中,处理器130可以基于噪声水平通过预设范围单位来划分周围环境状况、基于卡路里消耗量通过预设范围单位来划分身体活动状况,并且生成适于每个范围的音频输出信息。在一些实施例中,例如,处理器130可以通过30-dB单位来划分噪声水平,诸如:0dB~30dB、30dB~60dB,并且通过500-卡路里单位来划分卡路里消耗量,诸如:0~500卡路里、500卡路里~1000卡路里,并且生成适于每个范围的音频输出信息。在其它实施例中,其它预设范围可以用于噪声水平和/或卡路里消耗量。
进一步,甚至当声音输出装置相似时,处理器130还可以利用声音输出装置200的制造商和模型类型来生成音频输出信息。例如,当声音输出装置都是头戴式耳机时,处理器130可以按照头戴式耳机的制造商和模型类型生成音频输出信息。
从而,处理器130可以生成每收听状况的音频输出信息。
同时,处理器130可以基于状况数据确定用户的收听状况,并且确定与由处理器130确定的收听状况相对应的音频输出信息。
具体地,处理器130可以基于通过检测器120获得的状况数据来确定收听指示音频数据的声音的用户的周围环境状况(例如,噪声水平)、身体活动状况(例如,运动)、和声音输出装置200的类型。因此,处理器130可以基于状况数据确定用户正在一周围环境中进行身体活动,并且利用一类型的声音输出装置200收听指示音频数据的声音。
进一步,处理器130还可以根据存储在电子装置100中的音频输出信息来确定与用户的收听状况相对应的音频输出信息。
例如,当处理器130确定用户在室外区域(户外)运动并且利用耳机收听指示音频数据的声音时,处理器130可以根据存储在电子装置100中的音频输出信息来确定适于用户的当前收听状况的音频输出信息。
在这种情况下,处理器130可以基于用户的识别信息(例如,用户的登录ID、或脑电波)确定用户,并且获得适于已经被识别的用户的音频输出信息。
同时,处理器130可以使用从声音输出装置200接收的用户的脑电波数据来更新音频输出信息。进一步,处理器130可以在电子装置100中存储更新的音频输出信息。
对于以上情况,处理器130可以控制通信器110向声音输出装置200发送测试信号。
从而,当接收到测试信号时,用户可以回应测试信号,因此基于收到的测试信号产生脑电波。处理器130可以基于脑电波数据确定用户的收听信息,并且根据收听信息更新音频输出信息。
在这种情况下,处理器130可以执行一系列的信号处理,并且从处理的信号获得脑电波数据,所述信号处理诸如:放大从声音输出装置200接收到的脑电波数据、滤波(例如,带通滤波)、重新参考、以及噪声消除。然而,当在声音输出装置200上装载信号处理功能时,可以从声音输出装置200接收脑电波数据。
同时,收听信息包括听觉特性和听觉灵敏度。因此,下面将说明使用脑电波数据确定听觉特性和听觉灵敏度的方法的示例。
处理器130可以基于回应于接收到的测试信号的用户的脑电波数据来确定用户的听觉特性。在这种情况下,处理器130可以使用在各种收听状况下接收到的用户的脑电波数据来确定每收听状况的用户的听觉特性。
例如,测试信号可以包括以特定频率逐渐减低强度的信号,并且用户可以生成回应于每个特定频率他能够识别的降低强度的测试信号的脑电波数据。从而处理器130可以基于回应于测试信号的脑电波数据确定能够被用户识别的每频率的最小强度(即,最小可听水平)。
在一些实施例中,处理器130可以将包括特定频率分量信号的再现的音频数据作为测试信号发送到声音输出装置200。然后,处理器130可以基于用户回应于再现的音频数据的主频率分量的脑电波数据来确定在主频率分量的最小可听水平。
进一步,处理器130可以提供具有诸如100Hz、500Hz、1000Hz、4000Hz、8000Hz、和12000Hz的频率的测试信号,或由以上确定的频率的组合构成的测试信号,并且基于回应于测试信号的脑电波数据来测量听觉受损的水平(Korczak等,2012美国听力学会期刊“听力稳态响应”(Korczak et al.,2012 Journal of the American Academy of Audiology,"Auditory Steady-State Responses”))。
在这种情况下,测试信号可以是纯音、点击声音、人话音、或作为以上确定的声音的组合的音乐信号。处理器130可以基于测试信号放大或时频变换在听觉诱发电位(auditory evoked potential,AEP)当中提供激励之后立即生成的听脑干响应(auditorybrainstem response,ABR),并且将该响应与已经预先的在相同或相似年龄的普通用户的平均响应相比来确定用户是否听觉受损,或使用诸如调制频率的频率响应的功率量来确定用户是否在特定频率听觉受损。
同时,处理器130可以基于用户的回应于测试信号的脑电波数据,根据收听状况确定用户的听觉灵敏度。在这种情况下,处理器130可以使用在各种收听状况中接收的用户的脑电波数据来确定每收听状况的用户的听觉灵敏度。
这里,听觉灵敏度可以包括以下各项中的至少一个:环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、和识别状态灵敏度,并且可以包括反映在影响用户的听觉特性的环境噪声、身体活动、温度、音频数据、和识别状态中的改变的效果的数字值。
例如,处理器130可以基于EQN.(1)来计算用户的听觉灵敏度。为方便说明,EQN.(1)可以假定并且考虑环境噪声灵敏度、身体活动灵敏度、温度灵敏度、和音频数据灵敏度。
Δ听觉水平(iN-i1)/(tN-t1)=a×Δ噪声+b×Δ活动+c×Δ体温+d×Δ内容....EQN.(1)
这里,a表示环境噪声灵敏度,b表示身体活动灵敏度,c表示温度灵敏度,以及d表示音频数据灵敏度。
具体地,处理器130可以基于测试信号分别确定在特定时间tN和t1的用户的最小可听水平iN和i1(dB),并且基于最小可听水平iN和i1(dB)来计算特定时间tN和t1之间的最小可听水平的变化量,即Δ听觉水平(iN-i1)/(tN-t1)。
进一步,处理器130可以基于状况数据确定在特定时间tN和t1的环境噪声、身体活动量、温度和音频数据类型。如以上所讨论的,处理器130可以计算对应时间之间的环境噪声的变化量Δ噪声、活动的变化量Δ活动、温度的变化量Δ身体温度、以及音频数据的变化量Δ内容。
在这种情况下,处理器130可以通过数字化环境噪声、活动量、温度、和音频数据类型中的每一个来数值地计算特定时间之间的变化量中的每一个。
例如,处理器130可以利用预设范围单位来划分环境噪声、活动水平、和温度,利用范围分别映射特定值,并且利用音频数据的种类分别映射特定值。
具体地,环境噪声可以被划分为多个20-dB单位,诸如:例如,0dB~20dB、20dB~40dB、和40dB~60dB。进一步,0dB~20dB可以被映射为“0”,20dB~40dB可以被映射为“1”,以及40dB~60dB可以被映射为“2”。
活动量,即卡路里消耗量,可以相似地被划分为多个100-卡路里单位,诸如:0卡路里~100卡路里、100卡路里~200卡路里、以及200卡路里~300卡路里。进一步,0卡路里~100卡路里可以被映射为“0”,100卡路里~200卡路里可以被映射为“1”,以及200卡路里~300卡路里可以被映射为“2”。
体温可以相似地被划分为多个0.2℃单位,诸如:36.0℃~36.2℃,36.2℃~36.4℃,36.4℃~36.6℃,以及36.6℃~36.8℃。进一步,36.0℃~36.2℃可以被映射为“0”,36.2℃~36.4℃可以被映射为“1”,36.4℃~36.6℃可以被映射为“2”,并且36.6℃~36.8℃可以被映射为“3”。
音频数据可以通过它们的种类来分类,诸如:例如,古典、民谣、舞蹈、和摇滚。进一步,古典种类的被映射为“0”、民谣种类被映射为“1”、舞蹈种类被映射为“2”、以及摇滚种类被映射为“3”。
然而,以上值是为了方便说明而提供的示例,并且可能不限于此。
从而,处理器130可以基于最小可听水平的变化量、环境噪声、活动、温度、和音频数据来计算环境噪声灵敏度a、身体活动灵敏度b、温度灵敏度c、和音频数据灵敏度d。
进一步,处理器130可以基于用户回应于测试信号的脑电波数据来计算识别状态灵敏度。
用户的识别状态通常可以指示直接或间接经由听觉可能受影响的用户的各种状态,并且可以包括以下各项中的至少一个:用户的收听努力、可理解度、疲劳程度、专注程度、偏好程度、记忆状态、和感伤状态。
收听努力通常指示为了听见相应的声音用户所做出的努力。当语音信号呈现给用户时,处理器130可以将测量的脑电波数据修改到频域中,提取角度熵值,并且根据角度熵值计算收听努力。((Bernarding等,2013年关于神经工程的IEEE EMBS会议,“收听努力的提取与振动EEG活动的关系:不同助听器配置的调查”)(Bernarding et al.,2013IEEE EMBSConference on Neural Engineering,“Extraction of Listening Effort Correlatesin the Oscillatory EEG Activity:Investigation of Different Hearing AidConfigurations”))。进一步,处理器130可以通过作为时域中的一种耳参考点(earreference point,ERP)的听觉延迟响应(auditory late responses,ALR)来测量用户为了听见语音信号的收听努力(Strauss等,2010年认知神经动力学,“收听努力的电生理相关:神经动力学建模和测量(Strauss et al.,2010Cognitive Neurodynamics,“Electrophysiological correlates of listening effort:neurodynamical modelingand measurement”))
可理解度可以通常指示用户对声音的理解程度。当基于信号声音、字、音节、和句子的语音信号被呈现给用户时,处理器130可以将所测量的脑电波数据修改或转换为它的频域等同物,测量α-波(8-12Hz)被抑制的程度,并且检测关于单个声音、字、音节、或句子的可理解度。(Obleser和Weisz,2011年大脑皮层,“抑制的Alpha振荡预测语言的可理解度及其声学细节”(Obleser and Weisz,2011Cerebral Cortex,“Suppressed AlphaOscillations Predict Intelligibility of Speech and its Acoustic Details”))。
疲劳程度可以通常指示影响用户是否能够继续听见的身体的改变,并且可以包括困倦和认知工作负荷(cognitive workload)。处理器130可以将用户的脑电波数据修改或转换为它的频域等同物,并且可以根据δ-波(0-4Hz)、θ-波(4-8Hz)、α-波(8-12Hz)、β-波(12-30Hz)的功率改变,主频率的平均功率和主峰,重心频率的中心和频率可变性来确定疲劳程度。(Shen等,2008年临床神经生理学,“带置信估计的使用多级支持向量机基于EEG的心理疲劳测量”(Shen et al.,2008Clinical Neurophysiology,“EEG-based mentalfatigue measurement using multi-class support vector machines with confidenceestimate”))。进一步,处理器130可以利用至少两个梯级(step)来划分和表达疲劳程度,或为了更详细和定量地表达,利用诸如线性、多项式、对数、和指数的逼近将疲劳程度表达为连续的编号(例如,从0到100)。
专注程度通常可以指示用户是否专心于听觉或其它感觉。处理器130可以根据提供给用户的特定频率确定用户对听觉信号的专注,或关于以上的组合信号的ASSR(auditory steady-state responses,听力稳态响应)的大小。
记忆状态通常可以指示用户是否记得根据过去的听觉体验当前呈现的音频或语音信号。处理器130可以通过在已经向用户呈现音频或语音信号之后立即显示的γ-频带(30-50Hz)功率的增加,来确定用户是否记得音频和语音信号。(Lenz等,2007年国际心理学杂志,“那是什么声音”(Lenz et al.,2007 International Journal ofPsychophysiology,“What’s that sound”))。
偏好程度通常可以指示用户对关于当前呈现的音频和/或语音信号的偏好。处理器130可以根据包括被修改或被转换为其频域等同物的脑电波的γ-频带(30-50Hz)的功率的增加和减小来区分用户的偏好。(Pan等,2013年关于神经工程的IEEE EMBS会议,“使用正面EEG的用于音乐偏好识别的共同频率模式”(Pan et al.,2013IEEE EMBS Conference onNeural Engineering,“Common Frequency Pattern for Music PreferenceIdentification using Frontal EEG”))。
从而,处理器130可以通过脑电波数据确定并且数字化用户的收听努力、可理解度、疲劳程度、专注程度、偏好程度、记忆状态、和感伤状态,并且通过将识别状态灵敏度添加到EQN.(1)作为变量来计算识别状态灵敏度。
因此,处理器130可以将各种格式的测试信号发送到声音输出装置200,并且基于用户回应测试信号的脑电波数据来确定听觉特性和听觉灵敏度。
同时,处理器130可以在各种时间点和以各种频率向声音输出装置200提供测试信号,以便获得用户的脑电波数据。
例如,处理器130可以在以下时间向声音输出装置200发送测试信号:a)在再现音频数据的同时;b)每预设时间间隔,从再现音频数据的时间经过预设时间之后;c)当已经使用电子装置100大于预设时间时,或d)在当音频数据不被再现时的时间(例如,再现一个音频数据之后和再现下一个音频数据之前的部分、再现第一节之后和再现第二节之前的部分,等等)。进一步,处理器130可以以在再现的音频数据之前和之后的大约10秒钟之内提供各种频率的声音的格式来提供测试信号,或者连续提供特定频率的声音。
然而,提供测试信号可以不限于以上方式。例如,在一些实施例中,处理器130可以自动地确定测试信号被发送的时间点或频率。在其它实施例中,处理器130可以在由用户选择的时间点和频率提供测试信号。
进一步,除了常规测量之外,当改变超过了对脑电波数据的响应中的某一水平、或在相似收听环境下基于关于某一信号(例如,音乐、或语音)的以上响应而测量的听觉特性时,处理器130可以重新测量用户的听觉能力,并且为听觉能力的重新测量提供测试信号。
在这种情况下,处理器130可以提供默认信号或由用户选择的信号来作为测试信号。然而,处理器130可以根据收听状况适当地修改测试信号的预设类型,或修改并且提供测试信号的类型和大小。
同时,虽然以上实施例描述了用户的收听信息是使用脑电波数据来确定的,但是用户的收听信息也可以使用其它方法来确定。
例如,当用户的脑电波不能通过声音输出装置200测量时,当用户响应于测试信号手动输入或操纵时(例如,按下按键或触摸电子装置100上提供的触摸屏),处理器130可以确定用户的收听信息。因此,每当听见测试信号时,用户可以向电子装置100手动输入并提供关于测试信号的响应,并且处理器130可以基于所提供的响应来确定用户的收听信息。
从而,当基于用户回应于测试信号的脑电波数据来确定听觉特性和听觉灵敏度时,处理器130可以更新对应于听觉特性和听觉灵敏度的音频输出信息。
因此,通过考虑用户的听觉特性和听觉灵敏度可以根据收听状况的改变来确定,处理器130可以基于脑电波数据更新音频输出信息以调整用户的当前听觉特性和听觉灵敏度。具体地,基于脑电波数据计算的听觉灵敏度可以对应于用户的听觉灵敏度,所述用户是收听指示音频数据的声音的用户,而不是任何普通人。因此,基于脑电波数据更新的音频输出信息可以包括更加适于收听指示音频数据的声音的用户的信息。
具体地,处理器130可以生成适于听觉特性和听觉灵敏度的音频输出信息,所述听觉特性和听觉灵敏度是经由关于音频输出信息生成算法反映基于脑电波数据而确定的听觉特性和听觉灵敏度而确定的。可替换地,处理器130可以通过更新先前的音频输出信息来生成适于听觉特性和听觉灵敏度的音频输出信息。在这种情况下,处理器130可以通过考虑用户的收听状况来更新音频输出信息。
例如,处理器130可以通过调整均衡器来修改音频输出信息,使得音频输出信息的频域等同物能够被良好地感测。
进一步,处理器130可以处理音频输出信息以改善对在电话呼叫期间的语音信号、或被包括在音频数据中的语音信号的净化,并且处理音频输出信号以便将语音信号调整到如下水平:其中,没有显示由于能够被添加的噪声而造成的净化的减小以及收听努力的增加。
进一步,当用户被确定为在收听指示音频数据的声音时感觉疲劳或睡眠时,处理器130可以根据用于增加或减小关于音频数据的识别程度的用户设置来将音频输出信息修改为调整声音的音量、和/或声音输出装置200的功率。
具体地,当用户在收听指示音频数据的声音的同时睡觉时,处理器130可以修改音频输出信息以自动地最小化或降低声音输出装置200的音量水平、或停止再现音频数据使得不能进一步生成音频数据。在这种情况下,当另一电力被提供给声音输出装置200时,处理器130可以发送控制信号以关断声音输出装置200的电力。
进一步,当用户被确定为在收听的同时进行活动(例如,运动)时,或当对指示音频数据的声音的专注程度相对低于另一感觉器官(例如,视觉器官)时,处理器130可以修改音频输出信息以减小指示音频数据的声音的音量。相反,当用户在大于某一时间量的时间内展示关于指示音频数据的声音的高于预定水平的专注程度时,处理器130可以修改音频输出信息以基于环境噪声和用户的听觉特性来适当地增加音量。
进一步,当用户被确定为打电话或交谈时,处理器130可以修改音频输出信息以增强、增加、或最大化对讲话方的语音信号的可理解性,以便基于所测量的脑波数据减小或最小化收听努力。
进一步,当用户对于特定频率的可理解性低于预定水平时,处理器130可以对除了特定频率以外的频率执行强化噪声消除,或不同地应用音量和清晰度(或清楚度),并且将音频输出信息修改为其中特定频率的声音被加强的格式。
进一步,当用户的收听努力高于预定水平时,处理器130可以通过修改与音量有关的一个或多个参数并通过检查基于脑电波数据确定的收听努力来修改音频输出信息,以便应用其中收听努力可以被减小或被最小化的音量/音调。
进一步,处理器130可以修改音频输出信息以修改在音频数据中的特定乐器演奏的输出状态。
具体地,当提供包括古典音乐的、由多个乐器(例如,钢琴、鼓、和小提琴)构成的音频数据时,处理器130可以确认在每个乐器的不同演奏部分上显示的、关于ERP和ASSR中的至少一个的用户响应,并且确定用户最感兴趣的乐器演奏的种类。在这种情况下,处理器130可以调整均衡器,并且修改音频输出信息使得用户最感兴趣的乐器演奏能更好地被递送和/或呈现。
具体地,当通过EQN.(1)计算的用户的听觉灵敏度在表2中的对于头戴式耳机的音频输出信息上反映时,表2的音频输出信息可以被修改为如表5中所示。
【表5】
进一步,当通过EQN.(1)计算的用户的听觉灵敏度在表3中的对于用户的条形音箱的音频输出信息上反映时,表3的音频输出信息可以被修改为如表6中所示。
【表6】
同时,处理器130可以基于收听数据确定用户的收听状况,并且确定与用户的脑电波数据和用户的收听状况相对应的音频输出信息。
具体地,处理器130可以基于接收到的脑电波数据确定用户的收听信息和听觉灵敏度、基于所确定的收听信息来更新在电子装置100中存储的每收听状况的音频输出信息,并且确定在更新后的音频输出信息当中适于用户的收听状况的音频输出信息。
同时,虽然以上实施例描述了处理器130可以更新音频输出信息并且可以利用更新后的音频输出信息确定适于用户的收听状况的音频输出信息,但这仅仅是实施例之一。因此,当根据用户的脑电波数据更新的音频输出信息被预先存储时,处理器130可以利用被预先存储的更新的音频输出信息确定适于用户的收听状况的音频输出信息。
从而,当用户保持与先前经历一致的收听信息和听觉灵敏度时,处理器130可以使用预先更新的音频输出信息。
同时,处理器130可以使用基于用户的收听状况确定的音频输出信息、或基于用户的脑电波数据和收听状况确定的音频输出信息来控制音频数据的输出状态。
这里,音频输出信息可以包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。因此,处理器130可以根据所确定的音频输出信息修改应用于音频数据的均衡器、音量、和用于继续收听的推荐时间,修改音频数据的输出状态,并发送到声音输出装置200。
例如,处理器130可以根据音频输出信息将其中输出状态被修改的音频数据发送到声音输出装置200。否则,在将其中输出状态未被修改的音频数据发送到声音输出装置200的同时,处理器130根据音频输出信息将其中输出状态被修改的音频数据发送到声音输出装置200。
同时,处理器130可以使用各种方法控制音频数据的输出状态。
例如,处理器130可以通过将音频数据划分为声音信号、和语音或言语信号来控制音频数据的输出状态。
进一步,处理器130可以根据确定的音频输出信息通过调整限制器、压缩器、扩展器、和噪声门,来修改音频数据的音量。
进一步,处理器130可以根据所确定的音频输出信息,通过调整滤波器、均衡器(EQ)、和/或去咝声器来修改音频数据,使得用户能够听见与原始声音最相似的声音。
进一步,处理器130可以基于用户偏好和收听环境,用其它音频数据代替当前呈现给用户的音频数据,并且再现、或重新排列,使得一些音频数据能稍后被排除、被重复再现、或稍后被频繁地呈现。
同时,处理器130可以自动地或根据用户命令修改音频数据的输出状态。
在这种情况下,用户命令可以以各种格式输入,诸如直接输入,如:姿势、触摸、语音、按键输入和菜单选择,或间接输入,如:脑电图(electroencephalogram,EEG)和眼电图(electrooculogram,EOG)。
例如,当用户正在没有来自其它方面的打扰的情况下尝试阅读时,他可以输入更久地眨他的眼三或四次的动作,或在耳朵附近摇晃他的手。处理器130可以基于所确定的音频输出信息修改或不修改音频数据的输出状态。
同时,处理器130可以控制电子装置100提供与收听指示音频数据的声音的用户有关的各种服务。
具体地,当基于脑电波数据感测到用户的听觉受损风险时,处理器130可以通过语音和/或视觉信息向用户提供建议休息的通知,或提供改善听觉的治疗服务(例如,约束诱导型声音治疗)。
同时,当多个用户使用电子装置100听见指示音频数据的声音时,电子装置100可以确认当前使用电子装置100的用户,以便向每个用户提供优化或增强的声音。
在这种情况下,处理器130可以将脑电波数据与预先存储的脑电波数据进行比较,基于该比较来确认当前用户,并且根据所确认的用户提供服务。
具体地,处理器130可以基于在用户的脑电波数据中周期性地和/或重复地显示的原始特征来确定脑电波数据是被预先存储的还是被首次测量的,并相应地提供服务。
例如,当用户的脑电波数据是被首次测量时,处理器130可以最新地生成并存储所测量用户的简档。进一步,当用户的脑电波数据与预先存储的脑电波数据匹配或相似时,处理器130可以提供欢迎信号或欢迎评论。
同时,原始特征可以指示在音乐收听状况或其它状况(例如,休息)下,在特定用户的脑电波数据中周期性地和/或重复地显示的特征。这样的特征可以由被修改或被转换为其频域等同物的脑电波数据的功率谱密度来表达。(Lee等,2013年关于神经工程的IEEEEMBS会议,“基于脑电图(EEG)的生物认证再现性研究”(Lee et al.,2013 IEEE EMBSConference on Neural Engineering,“A Study on the Reproducibility of BiometricAuthentication based on Electroencephalogram(EEG)”))或其自回归模型(Rocca等,2012年生物识别特别兴趣小组的IEEE国际会议,“用于闭眼休息状态下的个人识别的EEG生物识别”(Rocca et al.,2012 IEEE International Conference of the BiometricsSpecial Interest Group,“EEG Biometrics for Individual Recognition in RestingState with Closed Eyes”))。
然而,可以通过除上述方法之外的各种方法来识别用户。例如,处理器130可以通过诸如ID/口令、指纹识别、和面部识别的各种方法来识别用户。
同时,处理器130可以基于用户的脑电波数据自动地管理音频数据。
具体地,处理器130可以基于脑电波数据通过分析关于音频数据的用户偏好,管理播放列表和喜爱列表。进一步,处理器130可以向用户建议和提供与音频数据有关的各条信息。
例如,处理器130可以基于音频数据确定偏好、记忆程度、和在当从听见音频数据的用户的脑电波数据收到音频数据时的时间处的的收听环境,并基于所确定的偏好、记忆程度、和收听环境调整再现频率。
例如,当感测到对特定音频数据的积极偏好时,处理器130可以通过将音频数据包括在喜爱列表上以分开地管理音频数据,或实时地建议与特定音频数据的种类、模式、歌手、和作曲者相似的其它音频数据。进一步,处理器130可以确定是否用户记得音频数据因为他先前收听过指示音频数据的声音。在一些实施例中,处理器130还可以基于收听指示音频数据的声音的用户的脑电波数据来确定用户是否是第一次收听指示音频数据的声音。当确定用户确实是第一次收听指示音频数据的声音时,处理器130可以在呈现音频数据的同时或在通过语音或视觉信息再现之后立即提供关于音频数据的信息(例如,标题和播放者名称)。
同时,处理器130可以基于在测量用户的脑电波数据之后从平均α频带功率推断的事件相关去同步(event-related desynchronization,ERD)和事件相关同步(event-related synchronization,ERS)来确定用户的想要移动。(Daly等,2014年IEEE EMBC,“音乐节奏的改变引起移动相关的大脑活动”(Daly et al.,2014 IEEE EMBC,“Changes inmusic tempo entrain movement related brain activity))”。
具体地,处理器130可以通过比较从当前再现的音频数据获得的节拍与用户的ERD/ERS的大小,来确定用户移动或尝试移动诸如手或脚的特定的身体部位的程度与指示音频数据的声音(例如,音乐)的节拍或节奏之间的关系。在这种情况下,当存在用户移动或尝试移动身体部位的程度与音乐的节拍或节奏之间的关系时,处理器130可以基于所确定的关系或关系的程度向用户提供视觉、听觉、或触摸信号。
例如,处理器130可以将用户的移动虚拟地视觉化为在电子装置100的显示器92(图1的显示器92)上跳舞的角色或阿凡达,或可以基于用户的移动覆盖并输出当前再现的音频数据的声音。进一步,处理器130可以添加或插入犹如用户直接加入演奏多于一个的特定的乐器那样的声音剪辑、击掌声、或类似“呀嗬”的欢呼声。进一步,每当用户移动时,处理器130可以提供反馈使得用户能够利用例如电子装置100上的振动来感测声音。
从而,即使当用户正在学习和/或工作时,或在公共场所时,他也能在不实际移动他的身体的情况下,利用他的思想和大脑虚拟地跳舞,或利用混音、打碟、演奏、和鼓掌来虚拟地参与音乐演奏或音乐独奏。
图2B是示出根据实施例的、图2A的电子装置100的示例性构成的框图。
参考图2B,除通信器110、检测器120、和处理器130之外,电子装置100还可以包括储存器140、显示器150(与图1的显示器92相似)、音频处理器160、视频处理器170、和扬声器180。
处理器130可以包括随机存取存储器(RAM,random-access memory)131、只读存储器132(ROM,read-only memory)、主中央处理单元(CPU,central processing unit)133、图形处理器134、多个接口135-1至135-n、以及总线136。
RAM 131、ROM 132、主CPU 133、图形处理器134、和多个接口135-1至135-n可以通过总线136相互连接。
在一些实施例中,多个接口135-1至135-n中的至少一个可以是通过网络连接到外部设备的网络接口。
主CPU 133可以访问储存器140,并且可以启动在储存器140中存储的操作系统(O/S,operating system)。进一步,主CPU 133可以通过使用在储存器140中存储的各种程序、内容、和数据来执行各种操作。
ROM 132可以存储用于启动或初始化电子装置100的命令集合。当输入开启命令且提供了电力时,主CPU 133可以根据存储的命令将存储的O/S从储存器140复制到RAM 131,并通过实施O/S启动电子装置100。当启动完成时,主CPU 133可以将在储存器140中存储的各种应用程序复制到RAM 131,并通过实施复制到RAM 131的应用程序来执行各种操作。
图形处理器134可以生成具有诸如图标、图像、和文本的各种对象的屏幕。例如,屏幕可以包括指向对象、计算器(未示出)和渲染器(未示出)。计算器(未示出)可以基于屏幕的布局和控制命令计算每个对象将被标记的诸如坐标值、形状、大小、和色彩的特征值。渲染器(未示出)可以基于在计算器(未示出)中计算出的特征值来生成包括对象的屏幕的各种布局。在渲染器(未示出)中生成的屏幕可以通过显示器150显示。
储存器140可以存储用于驱动电子装置100的各种数据,诸如O/S软件模块和各种程序。
进一步,储存器140可以存储用以生成音频输出信息的算法或程序,以及根据算法或程序生成的音频输出信息。
同时,如图2C中所示,储存器140可以存储用以提供根据各种实施例的功能的程序,诸如基础模块141、感测模块143、通信模块142、演示模块144、网络浏览器模块145、和服务模块146。
基础模块141可以指示在电子装置100中处理信号并将处理过的信号递送到更上层模块的基本模块。虽然未示出,但在一些实施例中,基础模块141可以包括储存器模块、安全性模块、和网络模块。储存器模块是管理数据库(DB,database)或注册的程序模块。主CPU133可以使用储存器模块访问例如,在储存器140中的DB中的数据。安全模块是支持硬件认证、请求许可、和安全存储的程序模块。网络模块是支持网络连接的模块,并且可以包括分布式网络(DNET,distributed network)模块和通用随插即用(UPnP,universal-plug-and-play)模块。
感测模块143是从各种传感器收集信息并分析和管理所收集的信息的模块。在这种情况下,感测模块可以包括触摸识别模块、前进方向识别模块、面部识别模块、语音识别模块、情感识别模块、以及近场通信(NFC,near-field communication)识别模块。
通信模块142可以包括用以外部通信的设备模块。通信模块142可以包括与外部设备通信的设备模块,诸如信使程序、短消息服务(SMS,Short Message Service)和多媒体消息服务(MMS,Multimedia Message Service)程序、电子邮件程序的消息模块,以及包括呼叫信息聚合器程序模块和互联网语音协议(VoIP,voice-over Internet Protocols)模块的呼叫模块。
演示模块144是构成显示器屏幕的模块。演示模块144可以包括再现和输出多媒体内容的多媒体模块、和处理关于UI和相关图形的用户界面(UI,user interface)渲染模块。多媒体模块可以包括播放器模块、摄像录像机模块、和声音处理模块。从而,多媒体模块可以再现各种多媒体内容,并生成以及再现屏幕和声音。UI渲染模块可以包括组合图像的图像合成器模块、组合并生成图像将在其中显示的屏幕的坐标的坐标组合模块、从硬件接收各种事件的X11模块、以及提供用于构成2D或3D格式的UI的工具的2D/3D UI工具箱。
网络浏览器模块145可以指示模块执行网络浏览并访问网络服务器。网络浏览器模块145可以包括各种模块,诸如构成网页的网络视图模块、执行下载的下载代理模块、书签模块、和极速模块(webkit module)。
服务模块146是包括提供各种服务的各种应用的模块。具体地,服务模块146可以包括各种程序模块,诸如SNS程序、内容播放程序、游戏程序、电子书程序、日历程序、警告管理程序、和配件窗口小部件。
显示器150可以提供各种屏幕。这里,屏幕可以包括实施包括诸如图像、视频、文本和音乐的各种内容的应用以及UI屏幕。
显示器150可以被实施为诸如液晶显示器、有机发光二极管、硅基液晶(LCoS,liquid crystal on silicon)、和数字光处理(DLP,digital light processing)的各种格式的显示器,并且当与触摸面板组合时可以起到触摸屏幕的作用。
在这种情况下,处理器130可以通过显示器150提供包括各种反馈信息的UI屏幕。
例如,处理器130可以提供包括诸如关于当前收听状况、测试信号的类型和大小、测试信号的建议修改的类型和大小、测试信号的手动修改方法、以及医疗/心理原因的信息的各条信息的UI屏幕。
进一步,处理器130可以提供与用户的听觉测量有关的各种UI屏幕。
例如,处理器130可以提供选择脑电波数据测量的开启/关闭的UI、选择测量收听信息的时间点和频率的UI、选择将要被测量的收听信息的UI、当用户手动输入关于测试信号的响应时引导用户输入的UI。
同时,关于测量时间点,可以被提供UI以根据将要被测量的收听信息的类型(例如,听觉特性和识别特征的类型)选择诸如在穿戴声音输出装置200之后立即进行、在听到特定音频数据之前、在听期间、在听之后、在睡觉期间、用户的听觉环境改变(例如,从户内转换到户外或反之亦然,以及噪声的改变)、和身体状况的改变(例如,运动和工作状态改变)的详细状况。
此外,电子装置100还可以包括处理音频数据的音频处理器160、处理将要在显示器150上显示的视频数据的视频处理器170、输出各种提示音或语音消息以及在音频处理器160中处理过的各种语音数据的扬声器180、根据用户的控制拍摄静止图像或视频的相机、以及接收用户语音和各种声音并转换成音频数据的麦克风。
图3是示出根据实施例的声音输出装置的构成的框图。
参考图3,声音输出装置200可以包括通信器210、输出模块220、传感器230、和处理器240。同时,在描述图3时,与图2中的描述重叠的部分将不再具体说明。
通信器210可以与电子装置100通信。具体地,通信器210可以与电子装置100通信并接收测试信号和音频数据。
在这种情况下,通信器210可以根据各种方法与电子装置100通信。
例如,通信器210可以通过诸如蓝牙(BT)、无线保真(Wi-Fi)、ZigBee、红外(IR)、串行接口、通用串行总线(USB)、和有线电缆等各种有线和无线通信方法与电子装置100通信。
输出模块220可以输出音频数据。具体地,输出模块220输出从电子装置100接收的第一音频数据和第二音频数据。
传感器230可以检测用户的脑电波数据。例如,传感器230可以通过使用至少一个干/湿/半干型电极(例如,有源电极和EEG电极)来检测用户的额头、头皮、或其它身体部位的脑电波数据。
处理器240可以控制声音输出装置200的一般操作。处理器240可以包括micom(或micom和CPU)、RAM和ROM,以用于声音输出装置200的操作。
处理器240可以控制通过通信器210将由传感器230检测到的用户的脑电波数据发送到电子装置100、从电子装置100接收并输出作为第一音频数据的修改数据的第二音频数据。
具体地,当从电子装置100接收到第一音频数据时,处理器240可以控制输出模块220输出接收到的第一音频数据。
进一步,当接收到测试信号时,处理器240可以输出测试信号并将用户回应测试信号的脑电波数据发送到电子装置100。
因此,当接收到测试信号时,处理器240可以通过输出模块220输出接收到的测试信号,控制传感器230检测用户回应测试信号的脑电波数据,并通过通信器210向电子装置100发送检测到的脑电波数据。
从而,电子装置100可以基于感测数据和从声音输出装置200接收到的脑电波数据确定音频输出信息,并向声音输出装置200发送其中根据所确定的音频输出信息修改第一音频数据的输出状态的音频数据,即,第二音频数据。
当从电子装置100接收到第二音频数据时,处理器240可以控制输出模块220输出接收到的第二音频数据。
图4A和图4B是被提供来说明根据实施例的电子装置和声音输出装置的操作的序列图。
参考图4A,在S411,电子装置100可以生成并存储每收听状况的音频输出信息。
在S412,电子装置100可以再现并向声音输出装置200发送音频数据,并且在S413,声音输出装置200可以输出从电子装置100接收到的音频数据。
这里,被发送到声音输出装置200的音频数据可以是其中输出状态基于音频输出信息没有被改变的音频数据。
在S414,电子装置100可以根据预设事件检测用户的状况数据。
这里,预设事件可以是在再现音频数据之后消逝了预设时间的事件、输入特定用户命令(例如,驱动特定应用或选择特定菜单)的事件、收听状况正在快速改变(例如,噪声迅速增加)的事件、输入与收听有关的特定操纵(例如,音量大幅度增加)的事件、以及用户的收听信息正在快速改变(例如,假定用户的听觉能力信息正被测量)的事件。然而,可以并不限于此。
在S415,电子装置100可以基于状况数据确定用户的收听状况,并确定适于收听状况的音频输出信息。
此后,在S416,电子装置100可以基于音频输出信息修改音频数据的输出状态,并向声音输出装置200发送已被修改的音频数据。在S417,声音输出装置200可以输出从电子装置100接收到的音频数据。
同时,参考图4B,S411至S414与在图4A中的那些说明相似。
在S414之后,如图4B中所示,电子装置100可以根据在S421处的预设事件向声音输出装置200发送测试信号,且在S422,声音输出装置200可以向电子装置100发送回应于测试信号的脑电波数据。
这里,预设事件可以是其中从电子装置100输入特定用户命令(驱动特定应用或选择特定菜单)的事件、在再现音频数据之后消逝了预设时间的事件、以及收听状况正在快速改变的事件。然而,可以并不限于此。
在S423,电子装置100可以确定适于脑电波数据和收听状况的音频输出信息。
此后,在S424,电子装置100可以基于音频输出信息修改音频数据的输出状态,并向声音输出装置200发送其中输出状态被修改的音频数据。在S425,声音输出装置200可以输出从电子装置100接收到的音频数据。
图5和图6是被提供来说明根据实施例的用于生成音频输出信息的方法的示图。
参考图5,在S510,图1的电子装置100可以生成每收听状况的音频输出信息。
具体地,电子装置100可以通过使用图6中的音频输出信息生成算法620来生成适于具有特定听觉特性(例如,图6中的听力图610)的用户的每收听状况的音频输出信息。在这种情况下,电子装置100可以使用普通听众而不是特定听众的听觉灵敏度来生成音频输出信息。这里,用户听力图可以通过电子装置100来测量,或在诊所或网站测量并提供给电子装置100。
进一步,在S520和S530,电子装置100可以基于用户回应于测试信号的脑电波数据来确定用户的听觉特性和灵敏度。
具体地,电子装置100可以分析每收听状况的累积听力图的改变趋势并确定用户的听觉特性。
例如,电子装置100可以通过分析每单位时间的高频听力图的改变量,例如,接近4000kHz的听力图的改变量,来确认由于噪声诱发的听觉受损症状引起的听觉损耗。进一步,电子装置100可以分析关于多个连续频率听力图的改变量,例如,分析在三个连续频率听力图之内,改变量是否不止在特定频率处大于30dB,并确认由于突然听觉受损症状引起的听觉损耗。
进一步,电子装置100可以对听觉灵敏度建模。在这种情况下,电子装置100可以最初对普通听众的听觉灵敏度建模,并在用户的听觉灵敏度被确认之后对相应用户的听觉灵敏度建模。
具体地,当用户在正常收听状况之外时,电子装置100可以根据时间,以及相应时间的关于收听状况的状况数据,利用听力图的改变量(例如,可听阈值)来对可听阈值(例如,用户可听的最小可听水平)被灵敏地改变了多少(例如,可听阈值被收听状况影响多少)建模。例如,电子装置100可以对环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、和识别状态灵敏度建模。
此后,电子装置100可以生成每收听状况(例如,图6中的631、632等)的最优音频输出信息。
具体地,电子装置100可以使用音频输出信息生成算法(图6中的620)来生成适于具有特定听觉特性(例如,图6中的610)的用户的每收听状况音频输出信息。在这种情况下,电子装置100可以使用用户的听觉灵敏度来生成音频输出信息。
因此,电子装置100可以通过考虑收听状况、用户的收听信息、和声音输出装置200的类型信息来生成适于用户的音频输出信息。例如,音频输出信息可以包括:每收听状况的最大/最小建议音量预设信息、每频率EQ信息、基于每收听状况的用户的收听信息来补偿弱频域声音的声音、当声音在继续收听的推荐时间内被充分地传递时最小化听觉损耗的音量。
图7和图8是被提供来说明根据实施例的用于确定音频输出信息的方法的示图。
参考图7,可以在S710检测关于当前收听状况的状况数据。例如,电子装置100可以通过各种传感器检测在确定用户的收听状况中使用的状况数据。
在S720,可以通过分析状况数据来确定当前收听状况。例如,如图8中所示,电子装置100可以基于从用户正在图书馆阅读书籍的收听状况中检测到的状况数据来确定当前收听状况具有非常小的噪声,并且活动非常小。
在S730,电子装置100可以确定关于所确定的收听状况的音频输出信息。例如,如图8中所示,电子装置100可以确定与其中噪声和活动都非常小的收听状况相对应的音频输出信息810,再现并向声音输出装置200发送其中输出状态根据音频输出信息被修改的音频数据。在S740,电子装置100可以获得关于当前收听状况的状况数据。
在S750,可以确定收听状况是否被改变。具体地,电子装置100可以通过分析另一检测的状况数据来确定收听状况是否被改变。
这里,确定收听状况是否被改变的关于环境噪声和用户活动的临界值可以设立为默认。然而,用户可以设立和/或修改该临界值。进一步,根据收听状况,可以基于用户的听觉特性连续地更新预设临界值。例如,如图8中所示,当用户在公共汽车内来回移动时,电子装置100可以确定收听状况被改变,因为基于所检测到的状况数据,噪声增加了30dB以上。
当在S750收听状况被确定为改变(“Y”路径)时,可以在S760确定关于改变的收听状况的音频输出信息。例如,如图8中所示,电子装置100可以确定与噪声水平高且用户进行非常少的活动的收听状况相对应的音频输出信息820,再现并向声音输出装置200发送输出状态根据音频输出信息被修改的音频数据。
进一步,如图8中所示,当用户移动到健身房时,电子装置100可以基于状况数据确定用户的收听状况被改变,使得当用户进行更多活动并且声音输出装置200从脑电波头戴式耳机被修改为脑电波耳机时,噪声降低20dB。
在这种情况下,电子装置100可以确定适于改变的收听状况的音频输出信息,再现并向声音输出装置200发送其中输出状态根据音频输出信息被修改的音频数据。
因此,如图8中所示,电子装置100可以确定适于其中噪声低而用户参与很多活动并且声音输出装置200的类型为脑电波耳机的情况的音频输出信息830,再现并向音频输出装置200发送其中输出状态根据音频输出信息被修改的音频数据。
图9和图10是被提供来说明根据实施例的用于确定音频输出信息的方法的示图。
如图9中所示,在S910可以检测关于当前收听状况的状况数据。例如,电子装置100可以通过各种传感器检测在确定用户的收听状况中使用的状况数据。
在S920,可以通过分析状况数据来确定当前收听状况。例如,如图10中所示,当用户正在图书馆阅读书籍时,电子装置100可以基于收到的状况数据确定当前收听状况是其中噪声和活动都很小的状况。
在S930,电子装置100可以确定关于所确定的收听状况的音频输出信息。例如,如图10中所示,电子装置100可以确定与噪声水平低且用户参与非常少的活动的收听状况相对应的音频输出信息1010,再现并向声音输出装置200发送其中输出状态根据音频输出信息被修改的音频数据。
此后,在S940,可以向声音输出装置200提供听觉测试信号。例如,如图10中所示,电子装置100可以在音频数据30之间提供测试信号(i1,...,iN+1)。
在S950,可以基于回应于测试信号的脑电波数据确定用户的收听信息。例如,如图10中所示,电子装置100可以获得实时的收听信息1040。这里,收听信息1040可以包括上述用户的听觉特性和听觉灵敏度当中的至少一个。
在S960,可以基于获得的用户的收听信息确定音频输出信息。例如,如图10中所示,电子装置100可以更新音频输出信息1010、基于更新后的音频输出信息1010-1来修改并再现音频数据的输出状态。
此后,电子装置100可以根据脑电波数据基于用户的收听信息来确定音频输出信息1020、1030,基于音频输出信息1020、1030修改并再现音频数据的输出状态。
图11是被提供来说明根据实施例的用于测量收听信息的方法的示图。
参考图11,S1110确定是否测量收听信息,以及S1120确定收听信息的测量范围。
例如,当用户请求时、初始生成用户账户时、收听时间长于基于用户听力活动监视的临界时间时、或其中用户手动地操纵临界音量的频率大于临界值时,可以确定要执行收听信息的测量。进一步,关于收听信息的测量范围,还可以确定测量频率中的一些还是全部以监听任何听觉受损。
当在S1120收听信息的测量范围被确定时,在S1130可以确定脑电波数据的感测。
当在S1130确定要执行脑电波数据的感测时(“Y”路径),在S1140可以通过使用脑电波数据执行收听信息的测量。
例如,可以输出在高频(例如,大于4kHz)处的左耳和右耳的听觉刺激信号以及三个频率处的测试信号。进一步,可以基于回应于测试信号的脑电波数据测量脑电波ASSR。此后,通过重复诸如再现随后的一组音频数据、输出听觉刺激信号、测量脑电波ASSR、以及再现随后的一组音频数据的过程来测量收听信息(例如,左/右耳听力图)。
当在S1130确定不执行脑电波数据的感测时(“N”路径)时,在S1150可以执行收听信息的手动测量。
具体地,当声音输出装置200不包括测量脑电波数据的传感器时,或当前不使用声音输出装置200时,可以确定不会执行感测。
例如,可以输出关于高频(例如,大于4kHz)处的左耳和右耳的听觉刺激信号以及关于三个频率处的测试信号,并且可以接收用户手动输入的测试信号。
在这种情况下,当用户听见测试信号时,测试信号可以是诸如在如头戴式耳机/耳机的声音输出装置200上的特定输入(例如,按键输入、点头(EMG传感器))、和语音识别)、在诸如智能电话/平板计算机的图1的电子装置100上的特定输入(例如,屏幕触摸、按键输入、诸如摇晃的特定运动输入、和语音输入)、或在诸如智能手表的电子装置100上的特定输入(例如,手运动输入(EMG传感器)、按键输入、和语音输入)的用户输入。
此后,通过重复诸如再现随后的一组音频数据、输出测试信号、接收用户的输入信号、以及再现随后的一组音频数据的上述确定的过程来生成收听信息(例如,左/右耳听力图)。
图12是被提供来说明根据实施例的用于分析脑电波数据的方法的示图。
通常,ASSR可以是由听力刺激潜在引起的大脑,并且可以用于客观地估计个人的听觉特性。
如图12中所示,测试信号可以是将要被测试的诸如500、1000、2000、和4000Hz的特定频率的单音信号。可以在具有一个或多个特定频率的上述确定的单音信号的测试信号被呈现给一只或两只耳朵之后(例如,几十毫秒的75dB声压级(SPL,sound-pressure-level))立即检测脑电波数据。可以通过快速傅里叶变换(FFT,Fast Fourier Transformation),利用特定频率分析检测到的脑电波数据。当显示与测试信号的载波频率相对应的调制频率分量时,可以确定每频率的单音信号被用户听见。
以上方法能够推断基于响应信号(例如,按下按键)计算出的行为纯音听力图,所述行为纯音听力图指示用户更加准确、方便、快捷地直接听到测试信号。具体地,相比于单独地提供测试信号,该方法可以通过同时提供几个测试信号来节省时间。
图13、图14A至图14D是被提供来说明根据各种实施例的提供的示例性听觉服务的示图。
参考图13,与用户的当前收听信息有关的各种信息服务可以被提供。
例如,作为测量用户的听觉特性的结果,当预见到临时的用户的听觉恶化时,电子装置100可以提供UI 1310以呈现示例性通知。图14A示出示例性UI。电子装置100的屏幕可以经由UI 1310来呈现声明“临时听觉恶化即将到来”的UI指南、和供用户选择的多个UI选择(例如,“收听”和“休息”)。
进一步,如图14B中所示,当基于音量被手动操纵得多么频繁来请求重新测量用户的听力时,电子装置100可以提供UI 1320以确认听觉复查的预约。在图14C中,电子装置100可以提供UI 1330以根据预约确认听觉复查的开始。还可以以示出的格式提供UI。
进一步,当基于用户输入而不是脑电波数据测量用户的收听信息时,电子装置100可以提供UI 1340以请求用户输入。图14D示出对应UI的示例。还可以以示出的格式提供UI。
同时,如图14C中所示,当用户通过选择“是”来加入听觉复审时,电子装置100可以通过如图14B中示出的听觉复查来重新计算用户的收听信息(例如,用户听力图)。
图15是被提供来说明根据实施例的用于管理音频数据的方法的示图。
根据实施例,电子装置100可以基于在音频数据的再现期间测量的用户的脑电波数据来自动管理音频数据。
例如,如图15中所示,电子装置100可以将相似的音频数据自动地添加到或分类为相同种类或相同模式。例如,当通过测量用户的脑电波数据确定用户喜欢“改变”1521的音频数据时,电子装置100可以将“别傻了”的音频数据1522添加或分类到播放列表。
进一步,当经由测量的脑电波数据用户显示出对特定音频数据的消极偏好时,电子装置100可以删除对应的音频数据,或将相同种类或相同模式中的音频数据插入到在多个播放列表中的一个中包括的音频数据当中的对应的音频数据中。
然而,以上仅仅是多个实施例中的一个,音频数据管理可以通过各种方法来执行。例如,电子装置100可以将用户优选的音频数据作为单独的列表来管理,或向用户建议在用户显示的具有高偏好的音频数据的相同种类或相同模式中的音频数据。
图16A至图16C是被提供来说明根据各种实施例的声音输出装置200的实施格式的示图。
根据实施例,声音输出装置200可以实施为能够由用户穿戴的设备。例如,声音输出装置200可以实施为能够放置在用户头部周围的耳机、头戴式耳机、或HMD(Head MountedDisplay,头戴式显示器)设备。
在这种情况下,声音输出装置200可以使用至少一个干式/湿式/半干式电极,经由用户的额头、头皮、或其它身体部位来测量他的/她的脑电波数据。这里,测量脑电波数据的电极可以与声音输出装置200一体地实施。然而,根据情况,电极可以实施在能够分离和附接到耳机或头戴式耳机或HMD设备的泡沫尖端(foam tip)上。
例如,当声音输出装置200可以被实施为耳机1610时,用于测量脑电波数据的电极1614可以被放置在耳机尖端1611上以微电极格式被实施以被插入到用户的(多个)耳朵里,如图16A所示。同时,耳机线1612可以包括可以用来将指示音频数据和/或脑电波数据的声音传达给用户的多条信号线,并且插头1613将耳机线1612连接到电子装置100。
进一步,当声音输出装置200被实施为头戴式耳机装置(headphone set)1620时,电极1625可以被实施为连接耳机装置1620的两个扬声器的支撑器1621、1622,和/或被实施为两个扬声器的耳朵接触垫1623、1624,如图16B中所示。同时,头戴式耳机装置1620的支撑器1621、1622可以是可移动的,以在多个位置测量用户的脑电波数据。在一些实施例中,支撑器1621、1622可以实施为头带的部分。同时,虽然图16B示出了声音输出装置200包括两个支撑器1621、1622,但在其它实施例中,声音输出装置200可以包括一个支撑器。
进一步,当声音输出装置200被实施为HMD设备1630时,如图16C中所示,电极1635可以以一形式实施,使得电极1635可以附接到安装电子装置100的主框架1631,或者附接到被配置为连接到主框架1631并且将主框架1631固定到用户身体的一部分的安装件(mount)1632。同时,虽然图16C例示了多个安装件1632,但在其它实施例中,可以仅实施一个安装件。
根据另一实施例,声音输出装置200可以被实施为其它设备,诸如,例如,便携式电话扬声器、家建扬声器、条形音箱、家庭影院、和汽车扬声器。在这种情况下,用于测量脑电波数据的电极(诸如电极1614)可以被实施为连接到声音输出装置200的单独的脑电波测量设备。例如,当声音输出装置200被实施为条形音箱和汽车扬声器时,用于测量脑电波的电极可以被提供在单独的脑波测量设备上。
根据以上各种实施例,可以经由对应的装置向用户提供改善的或优化的听觉体验,而无需专门和/或手动地操纵声音输出装置200。
具体地,通过分析收听环境,通过基于用户维度、工作、锻炼、和识别状态等来修改和提供音频数据的输出状态,可以为用户提供针对收听状况的改善的或优化的听觉体验。进一步,即使当用户穿戴对应的装置而不考虑左耳和右耳的方向与对应的声音输出装置200不同时,也可以根据听觉水平利用合适的音量水平来有效地最小化或防止噪声引起的听力受损。
同时,虽然以上实施例描述了电子装置100生成音频输出信息并且基于音频输出信息来控制音频数据的输出状态,但这仅仅是实施例中的一个。
在一些实施例中,服务器可以执行电子装置100的一些或全部功能。在一些其他实施例中,声音输出装置200可以执行电子装置100的一些或全部功能。
下面将一般地解释其中服务器执行电子装置100的上述功能的方法。
图17是根据实施例的电子系统1700的示图,其中类似的标号指的是类似的部件。
参考图17,根据实施例的电子系统1700可以包括电子装置100、声音输出装置200、和服务器300。
同时,除了服务器300可以生成音频数据之外,图17中的电子系统与图1中的电子系统90相似。
电子装置100可以检测用户的状况数据,并且向服务器300发送检测到的状况数据。进一步,电子装置100可以向服务器300发送从声音输出装置200接收到的脑电波数据。
对于以上情况,电子装置100可以包括如图2A和图2B中所示的组件,并且可以实施为执行图1中的电子装置100的一些或全部功能。
(图2A和2B的)通信器110可以与服务器300通信。具体地,通信器110可以与服务器300通信,并向服务器300发送用户的状况数据和脑电波数据。
在这种情况下,通信器110可以根据各种方法与服务器300通信。
例如,通信器110可以通过Wi-Fi、第三代(3G)、第三代合作伙伴计划(3GPP)、和长期演进(LTE)与服务器200通信。
(图2A和图2B的)处理器130可以控制通信器110向服务器300发送由(图2A和2B的)检测器120检测到的用户的状况数据和从声音输出装置200接收到的用户的脑电波数据,当从服务器300接收到音频输出信息时,基于音频输出信息修改音频数据的输出状态并将其发送到声音输出装置200。
服务器300可以基于从电子装置100接收到的状况数据和脑电波数据来生成并存储音频输出信息,并向电子装置100发送。
对于以上情况,服务器300可以包括通信器310、储存器320、和处理器330,如图18中所示。
通信器310可以与电子装置100通信。具体地,通信器310可以与电子装置100通信、接收用户的状况数据和脑电波数据、并向电子装置100发送音频输出信息。
在这种情况下,通信器310可以根据各种方法与电子装置100通信。
例如,通信器310可以通过诸如Wi-Fi、3G、3GPP、和LTE的各种通信方法与电子装置100通信。
储存器320可以存储各条信息。具体地,储存器320可以存储每收听状况的音频输出信息。
处理器330可以控制服务器300的一般操作。
具体地,处理器330可以控制基于用户的状况数据和脑电波数据中的至少一个,来生成每收听状况的音频输出信息,并存储在储存器320中。进一步,处理器330可以控制向电子装置100发送适于用户的收听状况的音频输出信息。
同时,以上已经描述了用于生成音频输出信息的方法。
图19A和图19B是被提供来说明根据实施例的(图17的)电子装置100、(图17的)声音输出装置200、和(图17的)服务器300的操作的序列图。
参考图19A,在S1911,服务器300可以生成并存储每收听状况的音频输出信息。
此后,在S1912,电子装置100可以再现音频数据并发送到声音输出装置200,并且在S1913,声音输出装置200可以输出指示从电子装置100接收到的音频数据的声音。
在S1914,电子装置100可以检测用户的状况数据,并且在S1915向服务器300发送检测到的状况数据。
在这种情况下,在S1916,服务器300可以基于状况数据确定用户的收听状况、确定适于收听状况的音频输出信息,并且在S1917向电子装置100发送音频输出信息。
此后,在S1918,电子装置100可以基于音频输出信息修改音频数据的输出状态,并向声音输出装置200发送其中输出状态被修改的音频数据。在S1919,声音输出装置200可以输出指示从电子装置100接收到的音频数据的声音。
图19B包括相似于图19A的S1911至S1915的步骤。
然而,在S1922,电子装置100可以向声音输出装置200发送测试信号,并且声音输出装置200可以向电子装置100发送回应于测试信号的脑电波数据。
在S1923,电子装置100可以向服务器300发送从声音输出装置200接收到的脑电波数据。
在S1924,服务器300可以确定适于脑波数据和收听状况的音频输出信息,并在S1925向电子装置100发送音频输出信息。
此后,在S1926,电子装置100可以基于音频输出信息修改音频数据的输出状态,并向声音输出装置200发送其中输出状态被修改的音频数据。在S1927,声音输出装置200可以输出指示从电子装置100接收到的音频数据的声音。
图20是根据实施例的电子系统2000的示图。
参考图20,根据实施例的电子系统可以包括声音输出装置200和服务器300。
同时,除了声音输出装置200执行图17的电子装置100的一些或全部功能之外,图20中的电子系统与图17的电子装置100相似。
声音输出装置200可以检测用户的状况数据和脑电波数据,并且向服务器300发送检测到的状况数据和脑电波数据。
对于以上情况,声音输出装置200可以与图3的声音输出装置200相似,并且可以被实施为额外地检测状况数据。
图3的通信器210可以与服务器300通信。具体地,通信器210可以与服务器300通信,并向服务器300发送用户的状况数据和脑电波数据。
在这种情况下,通信器210可以根据各种方法与服务器300通信。
例如,通信器210可以根据诸如Wi-Fi、3G、3GPP、和LTE的各种通信方法与服务器300通信。
图3的传感器230可以检测用户的状况数据。在这种情况下,传感器230可以使用与以上针对图2A的检测器120所讨论的方法相似的方法来检测用户的状况数据。
图3的处理器240可以控制通信器210向服务器300发送由传感器230检测到的用户的状况数据和脑电波数据,当从服务器300接收到音频输出信息时,基于音频输出信息修改并输出音频数据的输出状态。
同时,以上已经描述了修改音频数据的输出状态的方法。
图21是被提供来说明根据实施例的声音输出装置和服务器的操作的序列图。
参考图21,在S2111,服务器300可以生成并存储每收听状况的音频输出信息。
此后,在S2112,服务器300可以向声音输出装置200发送音频数据,并且在S2113,声音输出装置200可以输出指示从服务器300接收到的音频数据的声音。
在S2114,声音输出装置200可以检测用户的状况数据,并且在S2115向服务器300发送检测到的状况数据。
在这种情况下,在S2116,服务器300可以基于状况数据确定用户的收听状况,并确定适于收听状况的音频输出信息。进一步,在S2117,服务器300可以基于音频输出信息修改音频数据的输出状态,并发送到声音输出装置200。
在S2118,服务器300可以向声音输出装置200发送测试信号,并且在S2119,声音输出装置200可以向声音输出装置200发送回应于测试信号的脑电波数据。
从而,在S2121,服务器300可以确定适于脑电波数据和收听状况的音频输出信息。
进一步,在S2122,服务器300可以基于音频输出信息修改音频数据的输出状态,并向声音输出装置200发送其中输出状态被修改的音频数据。在S2123,声音输出装置200可以输出指示从服务器300接收到的音频数据的声音。
图22是根据实施例的电子系统2200的示图。
参考图22,根据实施例的电子系统2200可以包括声音输出装置200和服务器300。
同时,除了声音输出装置200执行由电子装置100执行的一些或全部功能之外,图22中的电子系统与图17中的电子系统1700相似。
电子装置100可以检测用户的状况数据,并且向服务器300发送检测到的状况数据。进一步,电子装置100可以向服务器300发送回应于测试信号的用户输入(例如,手动输入的用户操纵)。
服务器300可以基于从电子装置100接收到的状况数据和用户输入来生成并存储音频输出信息,并向声音输出装置200发送。
对于以上情况,服务器300可以包括通信器310、储存器320、和处理器330,如图18中所示。
通信器310可以与声音输出装置200通信。具体地,通信器310可以与声音输出装置200通信,并且向声音输出装置200发送音频输出信息。
在这种情况下,通信器310可以根据各种方法与声音输出装置200通信。例如,通信器310可以通过诸如Wi-Fi、3G、3GPP、和LTE的各种通信方法与声音输出装置200通信。
处理器330可以控制向声音输出装置200发送基于回应于用户的收听状况和测试信号的用户输入而确定的音频输出信息。
同时,声音输出装置200可以基于从服务器300接收到的音频输出信息来修改和输出指示音频数据的输出状态的声音。
图23是被提供来说明根据实施例的声音输出装置和服务器的操作的序列图。
参考图23,在S2311,服务器300可以生成并存储每收听状况的音频输出信息。
在S2312,电子装置100可以检测用户的状况数据,并且在S2313向服务器300发送检测到的状况数据。
在这种情况下,在S2314,服务器300可以基于状况数据确定用户的收听状况、确定适于收听状况的音频输出信息,并且在S2315向声音输出装置200发送音频输出信息。
在S2316,声音输出装置200可以基于从服务器300接收到的音频输出信息来修改和输出指示音频数据的输出状态的声音。
同时,在S2317,服务器可以向电子装置100发送测试信号,并且在S2318,电子装置100可以向服务器300发送回应于测试信号的用户输入。
进一步,在S2319,服务器300可以确定适于用户输入和收听状况的音频输出信息,并在S2321向声音输出装置200发送音频输出信息。
因此,在S2322,声音输出装置200可以基于从服务器300接收到的音频输出信息来修改和生成指示音频数据的输出状态的声音。
图24是被提供来说明根据实施例的声音输出装置的控制方法的流程图。
在S2410,可以从电子装置接收到第一音频数据并将其输出。
在S2420,用户的脑电波数据可以被发送到电子装置。
在S2430,响应于所发送的脑电波数据,可以从电子装置接收作为第一音频数据的修改数据的第二音频数据并将其输出。
在这种情况下,电子装置可以根据对应于基于用户的脑电波数据和用户的收听状况所确定的收听信息而修改的音频输出信息,将第一音频数据修改为第二音频数据,并且发送到例如,图1的声音输出装置200。
这里,音频输出信息可以包括关于均衡器、音量、和继续收听的推荐时间中的至少一个的信息。
同时,当从例如图1的电子装置100接收到测试信号时,在S2420,可以输出测试信号,并且回应于测试信号的脑电波数据可以被发送到例如图1的电子装置100。
图25是被提供来说明根据实施例的,例如,图1的电子装置100的控制方法的流程图。
在S2510,第一音频数据可以被发送到例如,图1的声音输出装置200。
在S2520,可以检测用户的状况数据,并且在S2530,可以从例如图1的声音输出装置200接收用户的脑电波数据。
进一步,在S2540,可以对应于脑电波数据和状况数据确定音频输出信息,并且在S2550,可以使用音频输出信息将第一音频数据修改为第二音频数据,并且可以将第二音频数据发送到例如图1的声音输出装置200。
这里,音频输出信息可以包括关于均衡器、音量、和继续收听的推荐时间中的至少一个的信息。
同时,在S2550,可以通过使用对应于基于用户的脑电波数据的用户的收听信息和基于用户的状况数据的用户的收听状况而确定的音频输出信息,将第一音频数据修改为第二音频数据。
这里,收听状况可以包括用户的周围环境状况、用户参与的活动状况、以及声音输出装置的类型中的至少一个。
进一步,用户的收听信息可以包括用户的听觉特性和用户的听觉灵敏度。用户的听觉特性可以包括用户的可听范围、分别关于左耳和右耳的听觉水平,以及每频率的听觉水平当中的至少一个。用户的听觉灵敏度可以包括环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度和识别状态灵敏度当中的至少一个。
同时,根据实施例的控制方法可以向声音输出装置发送测试信号,并且基于回应于测试信号的脑电波数据来获得用户的收听信息。
同时,基于用户在各种状况下收听音频数据的假设,以下将描述用于改变音频数据的输出状态的方法。
根据各种实施例,声音输出装置200可以被实施为包括在运输装置中的扬声器。如这里所使用的“运输装置”可以是有乘客或货物在其上的诸如车辆、飞机、轮船、摩托车、自行车、火车等的移动设备(moving device)。
图26是被提供来说明根据各种实施例的包括声音输出装置的运输装置的形式和用于确定音频输出信息的方法的示图。
参考图26A,运输装置2600可以包括图3的构成元件。运输装置2600可以利用通信器210与电子装置100通信,因而接收音频数据并通过输出模块(例如,扬声器2615)输出音频数据。
根据实施例,当声音输出装置200被包括在运输装置2600中时,用于脑电波数据测量的电极2630可以被实施为可与用户的身体接触的形式。例如,用于脑电波数据测量的电极2630可以以一形式实施,使得电极2630可以被安装在可与用户的手接触的方向盘2610上、被安装在可与用户的脖子接触的头枕2620上等。在这些示例中,运输装置2600可以利用至少一个干式、湿式、或半干式电极来测量来自手、颈后、或其它身体部位的用户的脑电波数据。
例如,当用于脑电波数据测量的电极2630被包括在方向盘2610中时,方向盘可以包括多个电极2630。当用于脑电波数据测量的电极2630内置在方向盘2610中时,由于测量位置与用户的大脑之间的距离,可能会生成不必要的噪声。在这种情况下,处理器240可以额外地包括从测量的数据中仅提取必要的脑电波的软件,以便增强脑电波测量的准确度。
根据各种实施例,用于脑电波数据测量的电极2630可以安装在支撑用户的头部的头枕2620-1、2620-2上。头枕2620-1、2620-2可以与司机或乘客的颈部接触以测量脑电波。在这个示例中,处理器240可以将司机的脑电波与乘客的脑电波区分开来,从而根据各自的状况来控制车辆的输出模块2615。
电子装置100可以基于从运输装置2600接收到的状况数据或者通过提供在电子装置上的各种传感器感测到的状况数据来确定用户的收听状况。
例如,如图26B中所示,电子装置100可以基于在用户正在驾驶运输装置2600的收听状况期间接收到的状况数据,确定当前收听状况与具有低噪音和非常低活动量的收听状况相对应。
电子装置100可以确定与具有低噪声和非常低活动量的收听状况相对应的音频输出信息2640,再现具有根据这样的音频输出信息而改变的输出状态的音频数据,并且向运输装置的输出模块2615发送结果。
接下来,如图26B中所示,电子装置100可以在音频数据30之间提供测试信号(i1,...,iN+1)。
然后,电子装置100可以通过基于回应于测试信号的脑电波数据所确定的用户的听觉能力信息来获取实时的听觉能力信息2670。听觉能力信息2670可以包括上述的用户的听觉特性和听觉灵敏度中的至少一个。
接下来,基于所获取的用户的听觉能力信息,电子装置100可以更新音频输出信息2640,基于更新后的音频输出信息2640-1改变音频数据的输出状态,并相应地再现音频数据。
甚至在此之后,电子装置100可以根据脑电波数据,基于用户的听觉能力信息再次确定音频输出信息2650、2660,基于音频输出信息2650、2660改变音频数据的输出状态,并且相应地再现音频数据。
可能的是,甚至在此之后,电子装置100可以根据脑电波数据,基于用户的听觉能力信息再次确定音频输出信息2650、2660,基于音频输出信息2650、2660改变音频数据的输出状态,并且相应地再现音频数据。
电子装置100可以通过不仅使用运输装置2600的司机的脑电波数据而且还使用乘客的脑电波数据来改变音频数据的输出状态并且再现音频数据。可替换地,电子装置100可以在相互更改与司机相邻的输出模块和与乘客相邻的输出模块的输出状态的同时,再现音频数据。
根据各种实施例,运输装置2600的处理器240可以基于在电子装置100的传感器230或检测器120处获取的各种信息来控制运输装置2600的各种构成元件。
例如,处理器240可以控制运输装置2600的加热装置、方向盘处的热线圈、座位处的热线圈、座位通风、显示器亮度等。
具体地,当用户在驾驶的同时打开窗户时,处理器240可以停止空调的操作并且将包括在运输装置2600中的显示器(未示出)的亮度控制到更亮的程度。进一步,处理器240可以通过增加音频数据的音量来回应可能从外部进入的噪声。
当用户正在驾驶的同时下雨时,处理器240可以驱动座椅或方向盘处的热线圈,并且可以通过增加音频数据的声级来回应由于下雨声而导致的噪声增加的状况,尽管示例性实施例并不限于此。例如,虽然可以考虑到如上所述的用户便利性来调整声级,但也可以考虑到运输装置2600的安全驾驶来调整声级。
具体地,当运输装置2600的速度增加到高于预设水平时,与车辆的驾驶相关联的警报声的声级可以增加。并且当运输装置2600的速度低于预设水平时,可以以降低后的声级生成与车辆的驾驶相关联的警报声的声级。
如上所述,处理器240可以基于通过电子装置100的传感器230或检测器120收集的信息来控制运输装置2600的各种操作。
根据各种实施例,声音输出装置200可以被实施为被包括在医疗装置中的头戴式耳机。例如,医疗装置可以是测量对象的生物状态的诸如磁共振成像(MRI,magneticresonance imaging)系统的装置。
图27是被提供来说明根据各种实施例的用于确定在包括声音输出装置的医疗装置处的音频输出信息的方法。参考图27,MRI系统2701可以包括图3的构成元件。同时,MRI系统2701可以包括用于感测MRI系统2701周围环境的各种传感器(未示出)。
处理器240可以将与基于感测到的状况数据所确定的音频输出信息相对应的音频数据输出到安装在需要测量的对象的头部上的头戴式耳机(未示出)。头戴式耳机(未示出)可以被实施为图16B的头戴式耳机1620。
例如,处理器240可以通过各种传感器检测在确定用户的听觉状况中使用的状况数据。例如,基于对象正被检查的状况下接收到的状况数据,处理器240可以确定对象的当前听觉状况与具有非常低的活动量的低噪声测量部分相对应。这里,“对象”指的是拍摄的主题,并且可以包括人类、动物、或它们的部分。例如,对象可以包括身体部位(例如,器官)或幻影等。
处理器240可以确定与具有非常低的对象活动量的听觉状况相对应的音频输出信息2710,根据音频输出信息再现具有改变的输出状态的音频数据,并向头戴式耳机(未示出)发送音频数据。进一步,处理器240可以驱动低噪声状况下的噪声消除算法,从而从音频数据中去除噪声,并且可以向头戴式耳机(未示出)发送无噪声音频数据。
接下来,如图27所示,MRI系统2701可以在音频数据30之间提供测试信号(i1,...,iN+1)。
然后,处理器240可以通过基于回应于测试信号的脑电波数据确定用户的听觉能力信息来获取实时的听觉能力信息2730。这里听觉能力信息2730可以包括上述的用户的听觉特性和听觉灵敏度中的至少一个。例如,处理器240可以通过根据长时间进行的检查反映对象的脑电波数据的变化来获取实时的听觉能力信息2730。
然后,处理器240可以基于获取的用户的听觉能力信息来更新音频输出信息2710,基于更新后的音频输出信息2710-1改变音频数据的输出状态,并且相应地再现音频数据。
甚至在此之后,处理器240可以基于用户的基于脑电波数据的听觉能力信息并基于噪声水平增加的状况再次确定音频输出信息2720,基于音频输出信息2720改变音频数据的输出状态,并相应地再现音频数据。进一步,当处于高噪声状态时,处理器240可以驱动噪声去除算法,从而去除噪声并向头戴式耳机(未示出)发送无噪声音频数据。
同时,可以根据示例性实施例提供非瞬时性计算机可读介质,在所述非瞬时性计算机可读介质中可以存储顺序地运行上述各种方法的程序。非瞬时性计算机可读介质不是诸如寄存器、缓存、存储器等的暂时在其中存储数据的介质,而是指至少半永久地在其中存储数据并且可以被诸如微处理器的设备读取的介质。详细地,上述各种应用或程序可以被存储并提供在诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等的非瞬时性计算机可读介质中。
根据示例性实施例,如图2、图3、图18中所示的由框表示的组件、元件、模块、或单元中的至少一个可以被具体实现为运行上述各个功能的各种数量的硬件、软件、和/或固件结构。例如,这些组件、元件、模块或单元中的至少一个可以使用诸如存储器、处理器、逻辑电路、查找表等的直接电路结构,所述直接电路结构可以通过一个或多个微处理器或其它控制装置的控制来运行各自的功能。并且,这些组件、元件、模块、或单元中的至少一个可以通过模块、程序、或代码的一部分来具体实现,并且由一个或多个微处理器或其它控制装置来运行,所述模块、程序、或代码的一部分包含用于执行指定的逻辑功能的一个或多个可运行指令。并且,这些组件、元件、模块、或单元中的至少一个还可以包括诸如执行各个功能的中央处理单元(CPU)、微处理器等的处理器,或通过诸如执行各个功能的中央处理单元(CPU)、微处理器等的处理器来实施。这些组件、元件、模块、或单元中的两个或更多个可以被组合为执行所组合的两个或更多个组件、元件、模块、或单元的所有操作或功能的单个组件、元件、模块、或单元。并且,这些组件、元件、模块、或单元中的至少一个的功能的至少一部分可以由这些组件、元件、模块、或单元中的另一个来执行。进一步,虽然在以上框图中未示出总线,但可以通过总线来执行组件、元件、模块、或单元之间的通信。以上示例性实施例的功能方面可以在一个或多个处理器上执行的算法中实施。此外,由框表示的组件、元件、模块、或单元或处理步骤可以采用任何数量的现有技术,以用于电子配置、信号处理和/或控制、数据处理等。
进一步,前述示例性实施例和优点仅仅是示例性的,并且将不会被解释为限制示例性实施例。本教导可以被容易地应用到其它类型的装置。并且,对本发明构思的示例性实施例的描述意图是说明性的,而不是限制权利要求的范围。
Claims (7)
1.一种声音输出装置,包括:
通信器,被配置为与电子装置通信并且接收第一音频数据;
输出模块,被配置为输出接收到的所述第一音频数据;
传感器,被配置为检测用户的脑电波数据;以及
处理器,被配置为:
响应于从所述电子装置接收测试信号,控制所述输出模块输出所述测试信号;
控制所述通信器向所述电子装置发送响应于所述测试信号通过所述传感器检测到的所述用户的脑电波数据,并且
响应于从所述电子装置接收作为所述第一音频数据的修改数据的第二音频数据,控制所述输出模块输出所述第二音频数据,
其中第一音频数据系根据基于用户的听觉能力信息和用户的收听状况信息确定的音频输出信息被修改为第二音频数据,用户的听觉能力信息系基于所述用户的脑电波数据被确定,以及
所述用户的收听状况信息包括以下至少一个:与用户收听第一音频数据的收听地点相关的信息、与用户在收听第一音频数据时执行的动作相关的信息以及与所述声音输出装置的类型相关的信息。
2.如权利要求1所述的声音输出装置,其中,所述电子装置基于用户的脑电波数据确定用户的听觉能力信息,根据基于用户的听觉能力信息和用户的收听状况信息确定的音频输出信息将所述第一音频数据修改为所述第二音频数据,并且向声音输出装置发送所述第二音频数据。
3.如权利要求2所述的声音输出装置,其中所述音频输出信息包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。
4.一种电子装置,包括:
通信器,被连接到声音输出装置,并被配置为向所述声音输出装置发送第一音频数据;
检测器,被配置为检测用户的状况数据;以及
处理器,被配置为:
从所述声音输出装置接收用户的脑电波数据,
基于所接收的用户的脑电波数据确定用户的听觉能力信息,
基于所检测的用户的状况数据确定用户的收听状况信息,
通过使用基于用户的听觉能力信息和用户的收听状况信息确定的音频输出信息,将所述第一音频数据修改为第二音频数据,并且
向所述声音输出装置发送所述第二音频数据,
所述用户的收听状况信息包括以下至少一个:与用户收听第一音频数据的收听地点相关的信息、与用户在收听第一音频数据时执行的动作相关的信息以及与所述声音输出装置的类型相关的信息,
其中,所述处理器进一步被配置为向所述声音输出装置发送测试信号,并基于响应所述测试信号的脑电波数据获得用户的听觉能力信息。
5.如权利要求4所述的电子装置,其中,所述音频输出信息包括关于均衡器、音量、和用于继续收听的推荐时间中的至少一个的信息。
6.如权利要求4所述的电子装置,其中,所述用户的收听信息包括所述用户的听觉特性和所述用户的听觉灵敏度,
所述用户的听觉特性包括:所述用户的可听范围、分别关于左耳和右耳的听觉水平、和每频率的听觉水平,以及
所述用户的听觉灵敏度包括以下各项中的至少一个:环境噪声灵敏度、身体活动灵敏度、温度灵敏度、音频数据灵敏度、和识别状态灵敏度。
7.一种包括电子装置和声音输出装置的电子系统,包括:
所述声音输出装置被配置为从所述电子装置接收第一音频数据,输出所述第一音频数据,从所述电子装置接收测试信号,响应于所述测试信号检测用户的脑电波数据,向所述电子装置发送检测到的所述用户的脑电波数据,以及响应于从所述电子装置接收作为所述第一音频数据的修改数据的第二音频数据,输出所述第二音频数据;以及
所述电子装置被配置为向所述声音输出装置发送所述测试信号,从所述声音输出装置接收用户的脑电波数据,检测用户的状况数据,基于所接收的用户的脑电波数据确定用户的听觉能力信息,基于所检测的用户的状况数据确定用户的收听状况信息,通过使用基于用户的听觉能力信息和用户的收听状况信息确定的音频输出信息,将所述第一音频数据修改为第二音频数据,以及向所述声音输出装置发送第二音频数据,
所述用户的收听状况信息包括以下至少一个:与用户收听第一音频数据的收听地点相关的信息、与用户在收听第一音频数据时执行的动作相关的信息以及与所述声音输出装置的类型相关的信息。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0061905 | 2015-04-30 | ||
KR20150061905 | 2015-04-30 | ||
KR1020160051960A KR102460393B1 (ko) | 2015-04-30 | 2016-04-28 | 사운드 출력 기기, 전자 장치 및 그 제어 방법 |
KR10-2016-0051960 | 2016-04-28 | ||
PCT/KR2016/004565 WO2016175622A1 (en) | 2015-04-30 | 2016-04-29 | Sound outputting apparatus, electronic apparatus, and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107683399A CN107683399A (zh) | 2018-02-09 |
CN107683399B true CN107683399B (zh) | 2020-12-11 |
Family
ID=57529034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680031923.0A Expired - Fee Related CN107683399B (zh) | 2015-04-30 | 2016-04-29 | 声音输出装置、电子装置、以及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10824232B2 (zh) |
KR (1) | KR102460393B1 (zh) |
CN (1) | CN107683399B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10307611B2 (en) | 2016-11-17 | 2019-06-04 | Cognito Therapeutics, Inc. | Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations |
DE102017214163B3 (de) * | 2017-08-14 | 2019-01-17 | Sivantos Pte. Ltd. | Verfahren zum Betrieb eines Hörgeräts und Hörgerät |
CN117215514A (zh) * | 2017-10-03 | 2023-12-12 | 谷歌有限责任公司 | 具有延迟考虑的显示模式相关响应生成 |
CN108682434B (zh) * | 2018-03-26 | 2020-08-21 | Oppo广东移动通信有限公司 | 电子装置、数据处理方法及相关产品 |
CN109147807B (zh) * | 2018-06-05 | 2023-06-23 | 安克创新科技股份有限公司 | 一种基于深度学习的音域平衡方法、装置及系统 |
US11272288B1 (en) * | 2018-07-19 | 2022-03-08 | Scaeva Technologies, Inc. | System and method for selective activation of an audio reproduction device |
CN110839193A (zh) * | 2018-08-15 | 2020-02-25 | 宏碁股份有限公司 | 电子系统及音频处理方法 |
US11017790B2 (en) * | 2018-11-30 | 2021-05-25 | International Business Machines Corporation | Avoiding speech collisions among participants during teleconferences |
TW202027062A (zh) * | 2018-12-28 | 2020-07-16 | 塞席爾商元鼎音訊股份有限公司 | 聲音播放系統及其調整輸出聲音之方法 |
KR102278069B1 (ko) * | 2019-10-22 | 2021-07-14 | 조선대학교산학협력단 | 근전도 신호 기반 사용자 인증 장치 및 인증 방법 |
CN111132377B (zh) * | 2019-12-27 | 2022-03-22 | 昱兆微电子科技(上海)有限公司 | 一种终端与耳机的数据传输方法和系统 |
US11986309B2 (en) * | 2021-04-09 | 2024-05-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Passenger identification and profile mapping via brainwave monitoring |
CN115514844A (zh) * | 2021-06-07 | 2022-12-23 | 华为技术有限公司 | 一种音量调节的方法,电子设备和系统 |
EP4298800A4 (en) * | 2021-09-24 | 2024-06-05 | Samsung Electronics Co., Ltd. | METHOD AND ELECTRONIC DEVICE FOR PERSONALIZED AUDIO ENHANCEMENT |
CN114449411B (zh) * | 2021-12-21 | 2023-05-26 | 歌尔科技有限公司 | 一种智能穿戴设备音量的动态调整方法、装置及智能穿戴设备 |
WO2023197043A1 (en) * | 2022-04-14 | 2023-10-19 | The Bionics Institute Of Australia | Systems, methods and devices for assessing hearing |
KR102486690B1 (ko) | 2022-11-01 | 2023-01-12 | 주식회사 디지털뉴트리션 | 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템 |
KR102486687B1 (ko) | 2022-11-01 | 2023-01-11 | 주식회사 디지털뉴트리션 | 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법 |
WO2024145479A1 (en) * | 2022-12-30 | 2024-07-04 | Elemind Technologies, Inc. | Method, system and non-transitory computer-readable medium for producing neuromodulating audio signals for altering endogenous electrical signals |
JP2024096542A (ja) * | 2023-01-04 | 2024-07-17 | 株式会社Jvcケンウッド | 情報伝送装置、情報伝送方法およびプログラム |
KR102636709B1 (ko) * | 2023-09-14 | 2024-02-14 | 주식회사 포자랩스 | 강화 학습을 이용한 오디오 생성 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130120692A (ko) * | 2012-04-26 | 2013-11-05 | 주식회사 티움씨앤씨 | 음량 변화를 이용한 유효 뇌파 강화 시스템 및 방법 |
KR101496661B1 (ko) * | 2013-10-08 | 2015-02-27 | 유한회사 청텍 | 다기능 스포츠 헤드셋 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5219202B2 (zh) | 1973-05-22 | 1977-05-26 | ||
US4275744A (en) | 1979-11-19 | 1981-06-30 | Wisconsin Alumni Research Foundation | Auditory response detection method and apparatus |
IL99946A (en) | 1991-11-03 | 1995-12-31 | Or Gil Computerized Medical Sy | Apparatus for determination of auditory threshold to intelligible speech |
JP3381074B2 (ja) | 1992-09-21 | 2003-02-24 | ソニー株式会社 | 音響構成装置 |
DE29615656U1 (de) | 1996-09-07 | 1997-01-02 | Finkenzeller, Peter, Prof. Dr.rer.nat., 91054 Erlangen | Gerät zur Ableitung akustisch evozierter Gehirnpotentiale |
US5999856A (en) | 1997-02-21 | 1999-12-07 | St. Croix Medical, Inc. | Implantable hearing assistance system with calibration and auditory response testing |
US6475163B1 (en) | 2000-01-07 | 2002-11-05 | Natus Medical, Inc | Hearing evaluation device with patient connection evaluation capabilities |
US7399282B2 (en) | 2000-05-19 | 2008-07-15 | Baycrest Center For Geriatric Care | System and method for objective evaluation of hearing using auditory steady-state responses |
KR100839109B1 (ko) | 2006-09-20 | 2008-06-19 | [주]이어로직코리아 | 타각적 자동청력검사 방법 및 그 장치 |
US7574254B2 (en) | 2007-11-13 | 2009-08-11 | Wavesynch Technologies, Inc. | Method for monitoring attentiveness and productivity in a subject |
JP5219202B2 (ja) | 2008-10-02 | 2013-06-26 | 学校法人金沢工業大学 | 音信号処理装置、ヘッドホン装置および音信号処理方法 |
DE102008055180A1 (de) | 2008-12-30 | 2010-07-01 | Sennheiser Electronic Gmbh & Co. Kg | Steuersystem, Hörer und Steuerungsverfahren |
DE102009060093B4 (de) | 2009-12-22 | 2011-11-17 | Siemens Medical Instruments Pte. Ltd. | Verfahren und Anordnung zum Einstellen eines Hörgeräts durch Erfassung der Höranstrengung |
KR101668249B1 (ko) * | 2010-08-24 | 2016-10-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
KR20120046367A (ko) | 2010-11-02 | 2012-05-10 | 문재철 | 사운드와 영상을 이용한 뇌파 변이 장치 및 방법 |
KR101199443B1 (ko) | 2010-12-14 | 2012-11-09 | 유비벨록스(주) | 감성 인식용 이어폰 및 감성 표시용 단말 장치 |
KR101207697B1 (ko) | 2011-03-04 | 2012-12-03 | 단국대학교 산학협력단 | 뇌파를 이용한 이명 유무 검사 장치 및 이를 이용한 이명 유무 검사 방법 |
JP2012183210A (ja) | 2011-03-07 | 2012-09-27 | Tokyo Univ Of Agriculture & Technology | 脳波処理装置、脳波処理プログラム及び脳波処理方法 |
EP2581038B1 (en) * | 2011-10-14 | 2017-12-13 | Oticon A/S | Automatic real-time hearing aid fitting based on auditory evoked potentials |
WO2014102722A1 (en) * | 2012-12-26 | 2014-07-03 | Sia Technology Ltd. | Device, system, and method of controlling electronic devices via thought |
WO2014108080A1 (en) * | 2013-01-09 | 2014-07-17 | Ace Communications Limited | Method and system for self-managed sound enhancement |
US9148768B2 (en) | 2013-01-18 | 2015-09-29 | Ruggero Scorcioni | Communication system having automated filtering based on mental state decisions |
US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
CN204428043U (zh) * | 2015-01-31 | 2015-07-01 | 付瑞芳 | 新型儿童听力测试仪 |
CN104783817B (zh) * | 2015-04-16 | 2016-08-24 | 深圳市索菱实业股份有限公司 | 双模式汽车驾驶员驾驶状态检测平台 |
-
2016
- 2016-04-28 KR KR1020160051960A patent/KR102460393B1/ko active IP Right Grant
- 2016-04-29 CN CN201680031923.0A patent/CN107683399B/zh not_active Expired - Fee Related
-
2019
- 2019-06-20 US US16/446,783 patent/US10824232B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130120692A (ko) * | 2012-04-26 | 2013-11-05 | 주식회사 티움씨앤씨 | 음량 변화를 이용한 유효 뇌파 강화 시스템 및 방법 |
KR101496661B1 (ko) * | 2013-10-08 | 2015-02-27 | 유한회사 청텍 | 다기능 스포츠 헤드셋 |
Also Published As
Publication number | Publication date |
---|---|
KR20160129752A (ko) | 2016-11-09 |
US10824232B2 (en) | 2020-11-03 |
US20190310707A1 (en) | 2019-10-10 |
CN107683399A (zh) | 2018-02-09 |
KR102460393B1 (ko) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107683399B (zh) | 声音输出装置、电子装置、以及其控制方法 | |
US10345901B2 (en) | Sound outputting apparatus, electronic apparatus, and control method thereof | |
US10366778B2 (en) | Method and device for processing content based on bio-signals | |
JP7422801B2 (ja) | 脳波データ分析方法及び脳波測定検査のための情報の呈示方法 | |
US9138178B2 (en) | Method and system for self-managed sound enhancement | |
JP6939797B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TW201820315A (zh) | 改良型音訊耳機裝置及其聲音播放方法、電腦程式 | |
JP2005021255A (ja) | 制御装置及び制御方法 | |
US9191764B2 (en) | Binaural audio signal-based applications | |
JP2016511648A (ja) | 自己管理音声を強化させるための方法及びシステム | |
US10695529B2 (en) | Methods, systems, and apparatus for configuring cognitive states | |
KR20150137453A (ko) | 뇌파를 이용한 제어 방법 및 휴대 장치 | |
WO2024106195A1 (ja) | 情報処理装置および情報処理システム | |
US20230396941A1 (en) | Context-based situational awareness for hearing instruments | |
KR20140133767A (ko) | 디스플레이 장치 제어 방법 및 장치 | |
JP7162780B1 (ja) | 音環境制御システムおよび音環境制御方法 | |
US20240054159A1 (en) | Method and apparatus for a user-adaptive audiovisual experience | |
JP2024003859A (ja) | 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201211 |