CN105787005A - 信息处理方法及移动终端 - Google Patents
信息处理方法及移动终端 Download PDFInfo
- Publication number
- CN105787005A CN105787005A CN201610096422.2A CN201610096422A CN105787005A CN 105787005 A CN105787005 A CN 105787005A CN 201610096422 A CN201610096422 A CN 201610096422A CN 105787005 A CN105787005 A CN 105787005A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- targeted customer
- state
- waveform
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims description 44
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 238000003786 synthesis reaction Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000002194 synthesizing effect Effects 0.000 claims description 21
- 238000012913 prioritisation Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 description 41
- 238000003860 storage Methods 0.000 description 18
- 230000008451 emotion Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000001413 cellular effect Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 230000006855 networking Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 230000027455 binding Effects 0.000 description 5
- 238000009739 binding Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 239000000976 ink Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000002283 diesel fuel Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- YGANSGVIUGARFR-UHFFFAOYSA-N dipotassium dioxosilane oxo(oxoalumanyloxy)alumane oxygen(2-) Chemical compound [O--].[K+].[K+].O=[Si]=O.O=[Al]O[Al]=O YGANSGVIUGARFR-UHFFFAOYSA-N 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 239000003502 gasoline Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052627 muscovite Inorganic materials 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Navigation (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种信息处理方法及移动终端,方法包括:检测移动终端中加载的车辆服务,并获取加载的车辆服务输出的待播放声音数据、以及车辆服务输出的行车数据;解析加载的车辆服务输出的行车数据得到车辆所处的车辆状态;基于车辆所处的车辆状态调整待播放声音数据在至少一个维度的声音特征,输出调整后的待播放声音数据。实施本发明,能够以区别于车辆内置的声音播放方式对车辆的各种信息进行播放。
Description
技术领域
本发明涉及通信领域的车辆信息的处理技术,尤其涉及一种针对车辆信息的信息处理方法及移动终端。
背景技术
目前车辆成为户外出行不可缺少的工具,在车辆的行驶过程中,车辆内部存在进行信息提示的场景。如在车辆的行驶过程中播放导航信息,在车辆行驶过程中以及在车辆行驶之前提示车辆的状态信息(如车辆的剩余能源、车辆各种部件如发动机的工作状态、车辆内部的温度、车身的清洁程度等),以提示用户及时进行处理,避免对车辆的正常行驶产生影响。
在车辆的内部进行信息提示时,通常在通过调用预设的声音包文件来播放信息,播放声音的音调、响度、音色是固定不变的,这就导致对于车辆的不同紧急程度的信息不能进行有区别性地的提示,同时由于用户在驾驶的过程中精力过于集中,致使用户无法及时了解哪些提示的信息是需要立即处理的,进而可能因没有及时处理车辆的信息(如车辆的剩余能源不足、车辆的部件故障等)而影响车辆的正常行驶。
发明内容
本发明实施例提供一种信息处理方法及移动终端,能够以区别于车辆内置的声音播放方式对车辆的各种信息进行播放。
本发明实施例的技术方案是这样实现的:
第一方面,本发明实施例提供一种信息处理方法,应用于设置在车辆内部的移动终端;所述方法包括:
检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
优选地,所述解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态,包括:
解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
所述基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,包括:
基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
优选地,所述基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,包括:
在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
优选地,所述对目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征,包括:
将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取所述目标用户的声音数据的波形;
解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,包括:
解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,所述将目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据,包括:
获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
第二方面,本发明实施例提供一种移动终端;所述移动终端包括:
检测单元,用于检测所述移动终端中加载的车辆服务;
获取单元,用于获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析单元,用于解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
调整单元,用于基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
优选地,所述解析单元还用于解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
所述调整单元还用于基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
所述调整单元还用于确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
优选地,所述调整单元包括:
分析模块,用于在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定模块,用于确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
合成模块,用于获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
优选地,所述分析模块包括:
匹配子模块,用于将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
确定子模块,用于基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取子模块,用于获取所述目标用户的声音数据的波形;
解析子模块,用于解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述确定子模块还用于解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
所述确定子模块还用于确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,所述合成模块包括:
波形获取子模块,用于获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
合成子模块,用于在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
第三方面,本发明实施例提供一种信息处理方法,应用于设置在车辆内部的移动终端;所述方法包括:
在所述车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征;
检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据;
获取合成有所述目标用户的声音特征的所述待播放声音数据,并输出符合所述目标用户的声音特征的所述待播放声音数据。
优选地,对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征,包括:
获取所述目标用户的声音数据的波形;
解析所述目标用户的声音数据的波形,得到以下维度至少之一的所述声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述方法还包括:
将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
确定与所述目标用户所处的所述用户状态对应的所述声音特征。
优选地,所述获取合成有所述目标用户的声音特征的所述待播放声音数据,包括:
解析所述车辆服务输出的数据得到所述车辆服务的优先级;
确定所述目标用户的历史的用户状态中与所述车辆服务的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆服务的不同优先级对应;
获取与所述目标用户状态对应的至少一个维度的声音特征,将所述至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据;其中,所述至少一个维度包括:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述解析所述车辆服务输出的数据得到所述车辆服务的优先级,包括:
解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态对应的优先级为所述车辆服务的优先级;
所述确定所述目标用户的历史用户状态中与所述车辆服务的优先级对应的目标用户状态,包括:
解析所述目标用户的历史用户状态的至少一个维度的声音特征,得到所述历史用户状态所表征的紧急程度,基于所述历史用户状态所述表征的紧急程度对所述历史用户状态进行优先级排序;
确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,所述获取合成有所述目标用户的声音特征的所述待播放声音数据,包括:
获取所述待播放声音数据的波形、以及获取所述目标用户的声音数据的波形;
在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户的声音数据的波形,得到合成有所述目标用户的声音特征的所述待播放声音数据的波形:
波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
第四方面,本发明实施例提供一种移动终端,所述移动终端包括:
采集单元,用于在所述车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
音色分析单元,用于对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征;
检测单元,用于检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据;
合成单元,用于获取合成有所述目标用户的声音特征的所述待播放声音数据,并输出符合所述目标用户的声音特征的所述待播放声音数据。
优选地,所述音色分析单元还用于获取所述目标用户的声音数据的波形;
所述音色分析单元还用于解析所述目标用户的声音数据的波形,得到以下维度至少之一的所述声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述音色分析单元,还用于将至少一个维度的所述声音特征与对应维度的不同的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
所述音色分析单元,还用于基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;确定与所述目标用户所处的所述用户状态对应的所述声音特征。
优选地,所述移动终端还包括:
解析单元,用于解析所述车辆服务输出的数据得到所述车辆服务的优先级;
确定单元,用于确定所述目标用户的历史的用户状态中与所述车辆服务的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆服务的不同优先级对应;
所述合成单元,还用于获取与所述目标用户状态对应的至少一个维度的声音特征,将所述至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据;其中,所述至少一个维度包括:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述解析单元,包括:
解析模块,用于解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
优先级模块,用于基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态对应的优先级为所述车辆服务的优先级;
所述确定单元,还用于解析所述目标用户的历史用户状态的至少一个维度的声音特征,得到所述历史用户状态所表征的紧急程度,基于所述历史用户状态所述表征的紧急程度对所述历史用户状态进行优先级排序;确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,所述合成单元,还用于获取所述待播放声音数据的波形、以及获取所述目标用户的声音数据的波形;在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户的声音数据的波形,得到合成有所述目标用户的声音特征的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
第五方面,本发明实施例提供一种计算机存储介质,所述计算机存储介质中存储有可执行指令,所述可执行指令用于执行上述的任意一种信息处理方法。
本发明实施例中,基于车辆所处的车辆状态调整待播放声音数据在至少一个维度的声音特征,模拟目标用户的声音特征(包括音调、响度和音色),实现以目标用户的声音特征来播放车辆服务输出的待播放声音数据,由于采用了区别于车辆内置语音的方式来播放声音数据,使目标用户对车辆服务输出的声音关注度高于内置语音播放的声音,能够避免目标用户遗漏重要的信息,从而避免造成影响车辆正常行驶的情况。
附图说明
图1为本发明实施例中在车辆内部固定移动终端的一个可选的示意图;
图2为本发明实施例中在车辆内部固定移动终端的又一个可选的示意图;
图3为本发明实施例中移动终端和车辆的一个可选的硬件结构示意图;
图4为本发明实施例中移动终端内置功能列表界面的一个可选的示意图;
图5为本发明实施例中绑定车辆和手持移动终端运行社交应用的操作示意图;
图6为本发明实施例中用户查看车辆的交通违规记录的交互示意图;
图7为本发明实施例中查询车辆信息的一个可选的场景示意图;
图8为本发明实施例中信息处理方法流程示意图一;
图9为本发明实施例中信息处理方法流程示意图二;
图10为本发明实施例中信息处理方法流程示意图三;
图11为本发明实施例中移动终端的功能结构示意图一;
图12为本发明实施例中信息处理方法流程示意图四;
图13为本发明实施例中信息处理方法流程示意图五;
图14为本发明实施例中信息处理方法流程示意图六;
图15为本发明实施例中移动终端的功能结构示意图二。
具体实施方式
以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合附图描述实现本发明各实施例中记载的应用于车辆中的移动终端。
本发明实施例记载的移动终端支持应用的车辆的动力来源可以为多种方式,例如可以为汽油、柴油、天然气、电能或混合动力,本发明实施例记载的移动终端可以以各种形式来实施。例如,本发明实施例中记载的移动终端可以采用如智能手机、平板电脑的形式实施,并通过固定装置固定在任意位置(如车窗玻璃、车辆驾驶台或用户自身如手臂上,这里的用户可以为驾驶人员或车辆内部其他人员)。固定装置可以采用真空吸盘吸合、基于磁性元件吸合、基于螺栓螺母紧固、基于卡扣咬合和基于束带方式绑定等方式,根据需求灵活设置在车辆内部空间的任意位置。当然,本发明以下各实施例记载的移动终端也可以嵌入车辆内部以避免占用额外的空间。
作为在车辆内部设置移动终端的一个示例,在图1示出的车辆内部固定移动终端的一个可选的示意图中,移动终端100以平板电脑的方式实施并通过固定装置300(包括吸盘301和支臂302)吸盘的方式固定于车辆200的前窗部位,移动终端100的高度可以通过调节固定装置300中支臂302实现以便于用户观看移动终端100的屏幕。作为在车辆内部设置移动终端的另一个示例,在图2示出的在车辆内部固定移动终端的一个可选的示意图中,移动终端100嵌入在车辆200的前置面板中并与车辆200的内部结构构成流线型的整体,节省车辆200的内部空间。
图3示出了移动终端100的一个可选的硬件结构示意图,移动终端100通过移动终端100内置的天线或设置在车辆200外部的天线(通常,天线设置在车辆200顶部的尾端)接收广播信号并通过移动终端100的扬声器109输出为声音。
蜂窝模块103以接入基站的建立链路的方式承载移动终端100的移动通信,例如语音(视频)通信和数据通信,通信制式可以采用码分多址(CDMA)、宽带码分多址(WCDMA)、TD-SCDMA(时分-同步码分多址)以及演进制式。
WiFi模块104支持移动终端100接入无线互联网,还可作为无线热点提供对车辆200内部手持移动终端(如用户持有的智能手机、平板电脑、笔记本电脑等)的无线互联网接入。
蓝牙模块105用于支持移动终端100的近距离通信,例如移动终端100与车辆200的内部空间中手持移动终端(如用户持有的智能手机、平板电脑、笔记本电脑等)的近距离通信,可以替换地,移动终端100的近距离通信还可以使用基于红外、紫蜂等技术的模块实现。
定位模块106可以实施为基于美国的全球卫星定位系统(GPS)的定位模块106,通过接收GPS信号来定位移动终端100而输出移动终端100(也就是车辆200)的位置信息、速度信息等;可以替换地,定位模块106可以实施为基于其他的卫星定位系统的模块,如基于中国北斗卫星定位系统的定位模块106、基于俄罗斯的格洛纳斯(GLONASS)全球定位系统的定位模块106,以及基于欧洲的伽利略(Galileo)全球定位系统的定位模块106。
麦克风107可以在移动终端100经由蜂窝模块103提供语音电话功能时采集车辆200内部的声音处理为音频数据,并通过与基站之间的链路传输,以及,在移动终端100工作于声控模式时采集车辆200内部的用户的声音并处理为音频数据,由控制器101解析音频数据并执行相应的指令以触发移动终端100中的功能(移动终端100的功能在下文中具体说明)。
显示单元108可以显示控制器101实现的功能以及相关的信息。例如,显示在移动终端100中内置功能的功能列表界面,显示单元108显示的移动终端100的内置功能列表界面的一个可选的示意图如图4所示,在图4中,移动终端100中内置导航功能、多媒体功能(如音乐播放、电台接收)、社交功能以及针对用户车辆的服务功能(MyCar),这里的功能也可以视为应用。
存储器110用于存储由控制器101可执行的指令和应用(如图4中示出的各种功能),还可以缓存待控制器101以及移动终端100中各模块待处理或已经处理的数据(例如,音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器110(RAM)实现。
显示单元108可以实施为触摸屏,输出表征触摸屏的操作特征(包括触点位置、触点数量、触发压力)的用户操作数据,控制器101解析用户操作数据确定用户在功能列表界面中触发的功能,生成对应触发的功能的显示数据供显示单元108加载触发功能的界面,下面对移动终端100针对用户触发不同功能的响应处理进行说明。
1)以触发导航功能为例,控制器101通过定位模块106输出的车辆200的位置信息,在显示单元108加载车辆200所处区域(区域的范围与预设的地理网格如街道、城区或城市对应)的地图,可选地,控制器101基于在存储器110预先存储的地图数据,或者在定位车辆200是经由蜂窝模块103提供的数据通信功能从网络侧服务器获取与车辆200位置相关的地图数据,基于地图数据在地图中加载该区域的提供车辆服务的站点的地理位置标识(可以采用文字、图标的方式),作为示例,车辆服务包括:车辆保养、车辆加油、停靠、车辆维修等;当然,还可以包括医疗、教育、卫生、餐饮、娱乐等服务。
控制器101通过解析麦克风107采集用户声音输出的音频数据而确定用户指示的目标位置、或者解析显示单元108输出的用户操作数据而确定在用户显示单元108加载的地图中通过点触操作指示的目标位置,结合车辆200的当前位置计算从车辆200当前位置到达目标位置的导航路径,并在显示显示单元108中显示导航路径;可选地,控制器101可以根据用户在设置目标位置时设置的导航路径的特征(如距离最短、路况最畅通等)计算导航路径,或者,在显示单元108加载多种特征的导航路径便于用户根据需求选择。
控制器101基于导航路径调用存储器110中存储的与导航路径对应的声音导航数据,通过扬声器109播放与车辆200当前位置相关的声音导航数据,以及基于位置信息模块输出的车辆200的当前位置在显示单元108加载的地图中更新车辆200的位置标识;可选地,声音导航数据包括行驶方向、当前行驶路线限速信息、行驶路线变更提醒信息;特别地,车辆200偏离导航路径时重新计算至目标位置的导航路径并播放对应的声音导航数据。
2)以触发音乐功能为例,控制器101通过运行音乐播放应用播放存储器110存储的音频数据,通过扬声器109将音频数据转换为音频信号并输出为声音,或者,经由蜂窝模块103提供的数据通信功能从网络服务器侧获取音频数据,将音频数据转换为音频信号并输出为声音。
3)以触发电台功能为例,控制器101触发移动终端102通过天线接收不同频段或波段的广播信号并转换为音频信号,通过扬声器109将音频信号输出为声音。
4)以触发QQ功能为例,控制器101运行存储器110中设置的QQ应用,基于用户通过声音指示(或通过在显示单元108通过触控操作输入)的QQ登录账户信息,通过蜂窝模块103提供的数据通信功能登录网络侧的QQ服务器,加载QQ内置功能,以收发声音消息为例,控制器101控制麦克风107采集用户的声音(指示向目标发送消息),解析出指示向目标用户发送消息的指令,则继续控制麦克风107采集用户声音形成音频数据发送至目标用户(或者,将音频数据识别为文本发送至目标用户)。特别地,控制器101可以将QQ接收到的消息转换音频数据,并控制扬声器109输出为声音,使用户在驾驶过程中无需注视显示单元108。
5)以触发微信功能为例,控制器101运行存储器110中设置的微信应用,基于用户通过声音指示(或通过在显示单元108通过触控操作输入)的微信登录账户信息,通过蜂窝模块103提供的数据通信功能登录网络侧的微信服务器,向用户提供通过声音或触控来操作微信内置功能如收发微信消息、查看朋友圈等。特别地,控制器101可以将微信接收到的消息转换音频数据,并控制扬声器109输出为声音,使用户在驾驶过程中无需注视移动终端100的显示单元108。
6)再以触发我的车(MyCar)功能为例,参见图5,首次运行MyCar时,控制器101通过运行Mycar应用以在显示单元108中加载Mycar应用的公众服务平台号(如以二维码等形式呈现,二维码中承载有车辆200的标识),供用户通过持有的手持移动终端(如智能手机、平板电脑)运行的社交应用(如QQ、微信)调用摄像头(如智能手机)扫描二维码,并将扫描得到的车辆200的标识与用户社交应用的账号在网路侧的服务器绑定,以将车辆200提供为社交应用中的联系人的方式,支持用户通过持有的手持移动终端运行的社交应用查看车辆200的信息,支持查看的信息可以包括:交通违规记录、当前位置、内部温度、行驶路线、能耗(剩余能源、已用能源等)、里程(当日里程、累积里程等)、车身清洁程度、车辆200中各部件的状态(如故障状态,良好状态);示例性地,网络侧的服务器将车辆200的标识与用户的社交应用账号绑定之后,还可以通过接收用户通过手持移动终端(或移动终端100)设置期望的信息的类型,并根据期望的信息类型向用户的手持移动终端推送用户定制的信息,供社交应用在对应的MyCar功能界面加载。
图6为用户通过手持移动终端400的MyCar功能界面(作为微信的内置功能)查看车辆200的交通违规记录的交互示意图,对应地,参见图7,手持移动终端400加载微信中对应MyCar的功能界面,根据用户的查询指令向网络侧服务器500发送当日里程的查询请求(携带车辆200的标识信息如车牌号),网络侧服务器500根据车辆200的标识信息获取车辆200的当日里程,并基于与车辆200标识绑定的微信账号向用户的手持移动终端400中运行的微信发送车辆200的当日里程,由微信在MyCar的功能界面中展示车辆的当日里程。
可选地,移动终端100定期(如以24小时为周期)向网络侧服务器400上报车辆200的信息(包括前述的车辆200的内部温度、车辆200的行驶路线、车辆200的续航里程、车辆200的车身清洁程度、车辆200中各部件的状态),服务器基于车辆200的标识信息来维护车辆200的各种信息,在接收到用户手持移动终端400运行的微信发送的查询车辆200状态信息的请求(携带车辆200的标识)时,根据车辆200的标识查询车辆200的信息,并根据与车辆200的标识绑定的微信账号推送车辆200的信息。
对于车辆200的其他信息如里程、交通违规信息等可以通过与前述获取车辆200里程类似的方式实现,例如交通违规信息,参见图7,网络侧的服务器500可以根据车辆200的标识信息从车辆200违规信息库600查询车辆200的违规信息并发送至手持移动终端,供手持移动终端400在运行的社交应用的MyCar功能界面加载;如果用户订制了交通违规记录的信息推送服务,网络侧的服务器500可以根据车辆200的标识信息定期从车辆200违规信息库600查询车辆200的违规信息并推送至手持移动终端400,供手持移动终端400在运行的社交应用的MyCar功能界面加载。
下面对移动终端100获取车辆200的各种信息(如里程、能耗、车身清洁程度、车辆200内部各部件状态)进行说明。参见图3,车辆200的组件通过控制器局域网络(CAN)总线连接,作为示例,组件包括:传感器201、动力系统202、能源系统203、防抱死系统(ABS)204、组合仪表205、悬架206、空调207、安全气囊208和车门209;上述组件由车辆200内部的控制器(图3中未示出)基于从总线获取的数据进行控制。
移动终端100与车辆200的CAN总线连接,对于以图1方式在车辆200设置的移动终端100可以通过近距离通信(如基于蓝牙模块105连接到车辆200的CAN总线)等无线通信方式与CAN总线连接,对于以图2的方式在车辆200内部设置的移动终端100,移动终端100内部的总线与CAN总线可以物理耦接的方式支持控制器101从CAN总线读取数据。移动终端100中的控制器101通过车辆200内部的CAN总线读取车辆200的各种数据得到车辆200中各部件的状态,例如从基于传感器201输出的数据可以得到车辆200内部温度、车身的清洁程度,通过能源系统203输出的数据可以得到车辆200的剩余能源,进而确定车辆200的续航里程,通过组合仪表205输出的数据读取车辆200的里程、通过门控制系统209输出的数据得到车门是否锁闭。
需要说明的是,图4中移动终端100实现的功能可以封装为针对移动终端100存储器110进行刷写的操作系统安装包也就是ROM包,通过对移动终端100的存储器110中刷写入新的操作系统(操作系统中预置有图4中示出的至少一个功能)来使移动终端100实现图4中示出的至少一个功能。当然,图4中移动终端100实现的每个功能都可以封装为独立的应用安装包,如将MyCar功能封装为MyCar应用安装包,移动终端100通过运行MyCar应用安装包安装MyCar应用并运行相MyCar应用。
基于上述移动终端100的硬件结构以及支持实现的功能,提出本发明各个实施例。
实施例一
本实施例提供一种信息处理方法,应用于设置在车辆内部的移动终端如前述的移动终端100,参见图8,本实施例提供的信息处理方法包括以下步骤:
步骤101,检测移动终端中加载的车辆服务,并获取加载的车辆服务输出的待播放声音数据、以及车辆服务输出的行车数据。
移动终端加载的车辆服务的一个可选的示意图如图4所示,加载的车辆服务在移动终端中处于运行状态(前台运行或后台运行),当车辆服务在运行过程中具有播放声音的需求时(如导航服务播放导航声音、电台服务播放节目)时,移动终端通过检测车辆服务调用扬声器109的请求截获车辆服务请求播放的声音数据也就是待播放声音数据。
车辆服务输出的行车数据是车辆服务根据自身的控制逻辑输出的表征车辆状态的各种数据,例如表征车辆的行驶速度、车辆的位置、车辆的剩余能源等。
步骤102,解析加载的车辆服务输出的行车数据得到车辆所处的车辆状态。
解析车辆服务输出的数据与不同车辆状态的车辆状态判断条件进行匹配,得到车辆所处的车辆状态。以导航服务为例,车辆状态包括表征车辆高危的行驶路线错误、表征车辆危险的行驶区域事故多发、表征车辆安全的行驶区域正确等,车辆状态判断条件包括对行车数据中的字段进行匹配的预定字段的集合,用于对车辆服务输出的行车数据中的字段进行匹配,如果字段匹配成功则代表行车数据与该车辆状态判断条件匹配,车辆处于与该匹配成功的车辆状态匹配条件对应的车辆状态。
步骤103,基于车辆所处的车辆状态调整待播放声音数据在至少一个维度的声音特征,输出调整后的待播放声音数据。
作为步骤103中基于车辆所处的车辆状态调整待播放声音数据在至少一个维度的声音特征的一个可选的实现方式,参见图9,步骤103可以通过以下方式实现:
步骤1031a,基于车辆基于预设的车辆状态与优先级之间的对应关系确定车辆所处的车辆状态的优先级。
车辆状态判断条件与车辆状态的紧急程度(使用不同取值空间的行车数据的度量值表征)对应,以行车数据表征车辆速度为例,车辆状态、车辆状态优先级、以及车辆状态判断条件的一个可选的对应关系如表1所示。
表1
参见表1,车辆状态1(高危)、车辆状态2(危险)、车辆状态3(安全)的紧急程度根据行车数据表征的车辆速度所归属的不同的取值空间依次降低,表2中示出的车辆状态判断条件以车辆速度对行车数据中的特定字段进行匹配得到车辆状态,实际实施中,车辆状态判断条件可以对根据以下维度至少之一对行车数据中的相应字段进行匹配得到车辆所处的车辆状态:车辆速度、车辆所处区域的安全程度、车辆可以根据车辆速度、车辆所处区域的交通拥堵程度、车辆当前行驶的交通违规情况。
步骤1032a,确定车辆状态的优先级对应的调整幅度,基于车辆状态的优先级对应的调整幅度调整待播放声音数据在以下维度至少之一的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
下面对待播放声音数据的不同维度的声音特征与声音的要素(音调、响度和音色)的关系进行说明。
1)波形的频率(赫兹,简称赫,符号为Hz)表征目标用户声音的音调且与音调正相关,波形的频率越高,目标用户声音的音调也就越高;频率越低,目标用户的音调也就越低。
2)波形的振幅表征目标用户的声音的响度(也称为音量,单位为分贝),振幅越大,目标用户的声音的响度越大。
3)波形的谐波频谱和包络决定了目标用户的声音的音色(又称音品),波形的基频所产生的最清楚的音称为基音,波形的各次谐波的微小振动所产生的声音称泛音。单一频率的音称为纯音,具有谐波的音称为复音,每个基音都有固有的频率和不同响度的泛音,可以区别于非目标用户的具有相同响度和音调的声音。波形的各次谐波的比例和随时间的衰减大小决定了目标用户的语义的音色特征,波形的包络是每个周期波峰间的连线,包络的陡缓影响了目标用户的声音的强度的瞬态特性。
车辆状态可以根据紧急程度设置有多个优先级,每个优先级在上述维度具有相应的幅度(也就是相应维度特征调整的度量值),其中,车辆状态的优先级与待播放声音数据的声音特征调整后的度量值正相关,也就是说,进行调整幅度的处理后,车辆状态处于高优先级(例如,设为优先级1)时待播放声音数据在相应维度的度量值,大于车辆服务处于次高优先级(优先级2,为低于优先级1的任一优先级)时待播放声音数据在相应维度的度量值。
以振幅维度为例,车辆状态优先级为优先级1时待播放声音数据的振幅设为d2,车辆状态优先级为优先级2(低于优先级1)时待播放声音数据的振幅设为d2,则d2小于d1,车辆服务为优先级1时待播放声音数据被输出时声音的响度大于车辆服务为优先级2时待播放声音数据被输出时声音的响度。
以频率维度为例,车辆状态优先级为优先级1时待播放声音数据的频率设为f2,车辆状态优先级为优先级2(低于优先级1)时待播放声音数据的频率设为f2,则f2小于f1,车辆服务为优先级1时待播放声音数据被输出时声音的音调大于车辆服务为优先级2时待播放声音数据被输出时声音的音调。
作为步骤103中基于车辆所处的车辆状态调整待播放声音数据在至少一个维度的声音特征的一个可选的实现方式,参见图10,步骤103可以通过以下方式实现:
步骤1031b,在车辆内部进行音频采集得到目标用户的声音数据。
移动终端通过自身的麦克风107对车辆内部的环境进行音频采集得到音频信号;将音频信号进行模拟信号/数字信号转换得到数字形式的音频数据,其中包括有目标用户的声音数据;从声音数据中滤除背景声音的得到目标用户的声音数据。可选地,数字形式的音频数据承载有多个用户的声音时,基于目标用户与非目标用户的声音的频率的差异识别出目标用户的声音数据,目标用户的声音的频率可以通过预先采集目标用户的声音并分析得到。可选地,对音频信号进行降噪处理后进行模拟信号/数字信号转换以减少分析声音数据时的干扰。
步骤1032b,对目标用户的声音数据进行音色分析,得到目标用户所具有的不同用户状态、以及目标用户处于不同用户状态的声音特征。
将至少一个维度的声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果,基于至少一个维度的用户状态判断结果确定目标用户所处的用户状态。
获取目标用户的声音数据的波形,解析目标用户的声音数据的波形,得到目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
如前所述,声音特征包括以下维度:1)振幅;2)频率:3)波形的包络、波形的谐波频率。目标用户的情绪不同时具有不同的用户状态,而不同的用户状态对应的用户状态判断条件可以通过上述至少一个维度的声音特征的不同取值范围的量化值来表示,表2示例性示出了目标用户的情绪、用户状态、声音波形的振幅、声音波形的频率的一个对应关系,需要指出的是,实际上用户的用户状态的分类不仅限于表2中所示。
表2
表3
参见表2至表3,目标用户具有激动、高兴和平静三种情绪,每种情绪对应目标用户的一种用户状态,每种维度用户状态可以用相应维度的量化的用户状态判断条件来表示,例如,激动的用户状态在振幅维度可以用用户状态判断条件1来表示,高兴的用户状态在振幅维度可以用用户状态判断条件2来表示,平静的用户状态在振幅维度可以用用户状态判断条件3来表示,激动的用户状态在频率维度可以用用户状态判断条件4来表示,高兴的用户状态在频率维度可以用用户状态判断条件5来表示,平静的用户状态在频率维度可以用用户状态判断条件6来表示。
表2和表3仅仅示出了在振幅维度和频率对目标用户的用户状态进行判断的用户状态判断条件,在波形的包络、波形的谐波频谱维度也可以设置针对目标用户的不同用户状态进行判断的用户状态判断条件,用户状态判断条件可以由移动终端基于对目标用户的语音进行跟踪采集并分析得到。
移动终端基于分析出的目标用户在不同维度的声音特征,针对不同维度的用户状态判断条件得到目标用户的用户状态在相应维度的判断结果,目标用户的用户状态在上述三个维度的判断结果的一个示例为:
振幅维度:用户状态1;频率维度:用户状态1;波形的包络、波形的谐波频谱维度:用户状态2。
基于不同维度的用户状态的判断结果确定目标用户的潜在的用户状态,基于判断结果的重复次数计算每个潜在的用户状态的概率,取概率最大的用户状态为目标用户最终的用户状态。例如,对于步骤302的判断结果确定目标用户的潜在的用户状态为用户状态1(重复次数为2,概率为2/3*100%)和用户状态2(重复次数为1,概率为1/3*100%),则取概率最大的用户状态1为目标用户的用户状态,确定与目标用户所处的用户状态1对应的声音特征,用户状态1对应的声音特征可以使用用户状态1上述维度的判断条件(如判断条件1和判断条件3)来量化表示。
步骤1033b,确定目标用户的不同用户状态中与当前的车辆状态的优先级对应的目标用户状态,目标用户的不同用户状态与车辆状态的不同优先级对应。
解析目标用户的历史用户状态在至少一个维度的声音特征,得到历史用户状态所表征的目标用户的紧张程度,基于历史用户状态表征的紧张程度对历史用户状态进行优先级排序,目标用户的历史用户状态的紧张程度可以采用目标用户的声音在相应维度的语音特征的量化值来表征,则目标用户的历史用户状态的优先级排序为目标用户的声音在上述至少一个维度的语音特征的量化值的排序,确定目标用户的历史用户状态的优先级与车辆服务的优先级匹配的历史用户状态为目标用户状态。
以表2(表3)示出的用户状态1至用户状态3为例,在波形的振幅(频率)维度对用户状态1至用户状态3排序,波形的振幅(频率)越大表征目标用户的紧张程度越高,相应的用户状态的优先级也越高,则用户状态的优先级排序为:用户状态1>用户状态2>用户状态3,那么表1示出的不同优先级的车辆状态与表2示出的不同优先级的用户状态的优先级之间的对应关系为:用户状态1-车辆状态1;用户状态2-车辆状态2;用户状态3-车辆状态3。
以导航服务为例,车辆的车辆状态与用户状态的优先级的对应关系中,行驶路线错误的车辆状态对应车辆状态优先级2,行驶区域事故多发的车辆状态对应车辆状态优先级1、行驶区域正确的车辆状态对应车辆状态优先级3;车辆状态优先级的排序为车辆状态优先级1>车辆状态优先级2>车辆状态优先级3,用户状态的优先级排序为:用户状态1(目标用户具有激动的情绪)>用户状态2(目标用户具有严肃的情绪)>用户状态3(目标用户具有轻快的情绪),基于上述对应关系,可以确定与车辆的当前车辆状态对应的目标用户状态。
步骤1034b,获取与目标用户状态对应的至少一个维度的声音特征。
与目标用户状态对应的至少一个维度的声音特征采用声音特征的量化值,可以采用与目标用户状态对应的相应维度的用户状态判断条件所限定的量化值范围中的值,例如在振幅维度,参见表2,当目标用户状态为用户状态1时与用户状态1对应的声音特征的量化值可以采用用户状态判断条件1(d1,d2)的值,再例如在频率维度,参见表3,当目标用户状态为用户状态1时与用户状态1对应的声音特征的量化值可以采用用户状态判断条件1(f1,f2)中的值。
步骤1035b,将目标用户状态的至少一个维度的声音特征与待播放声音数据进行合成,得到合成有目标用户的声音特征的待播放声音数据。
在以下维度至少之一合成待播放声音数据的波形(也就是待播放声音数据的波形文件)与目标用户状态的特征的波形(也就是具有目标用户状态的特征的目标用户声音数据的波形文件),得到更新待播放声音数据的波形(也就是最终的待播放声音数据的波形文件,合成有目标用户状态的特征):波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
在波形的频率、波形的幅度、波形的包络、波形的谐波频中的至少一个维度合成待播放声音数据的波形与目标用户状态对应的声音特征的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户状态对应的声音特征如响度、音调和音色至少之一,参见表1,目标用户状态可以为表征用户具有激动情绪的用户状态1、表征用户具有严肃情绪的用户状态2、表征用户具有平静情绪的用户状态3、例如:
1)在波形的频率维度合成待播放声音数据的波形与目标用户状态对应的声音特征的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的音调,基于待播放声音数据的波形输出的声音的音调与目标用户处于目标用户状态的声音的音调一致。
2)在波形的幅度维度合成待播放声音数据的波形与目标用户状态对应的声音特征的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的响度,基于待播放声音数据的波形输出的声音的响度与目标用户处于目标用户状态的声音的响度一致。
3)在波形的包络、波形的谐波频谱维度合成待播放声音数据的波形与目标用户状态对应的声音特征的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的音色,基于待播放声音数据的波形输出的声音的音色与目标用户处于目标用户状态的声音的音色一致。
当导航服务在时刻1输出的数据1用于指示车辆的行车速度满足表1示出的车辆状态判断条件1也就是车辆处于高危的车辆状态1时,将与车辆状态1的优先级对应的用户状态1(目标用户状态)的声音特征在上述三个维度的与待播放声音数据合成,将使播放提示车辆偏移导航路线的声音与目标用户处于声音的一致(也就是声音特征一致),并且,播放的声音将具有类似目标用户的严肃的语调以引起目标用户足够的注意。
当导航服务在时刻2输出的数据1用于指示车辆的行车路线正确(或者在车辆没有违反交通规则,当前所处路段没有危险因素,或当前车速比较慢、道路拥堵时)也就是车辆处于安全的车辆状态3时,将与车辆状态3的优先级对应的用户状态3(目标用户状态)的声音特征在上述三个维度与待播放声音数据合成,将使播放的声音与目标用户处于用户状态3(也就是具有轻快的情绪时声音一致),并且,播放的声音将具有轻快的语调以拉近与目标用户的距离从而提升体验。
实施例二
这里需要指出的是:以下涉及移动终端的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述。对于本发明所述移动终端实施例中未披露的技术细节,请参照前述实施例一的描述。
本实施例提供一种移动终端100,参见图11,本实施例提供的移动终端100包括:
检测单元120,用于检测所述移动终端中加载的车辆服务;
获取单元130,用于获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析单元140,用于解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
调整单元150,用于基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
优选地,所述解析单元140还用于解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
所述调整单元150还用于基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
所述调整单元150还用于确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
优选地,所述调整单元150包括:
分析模块1501,用于在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定模块1502,用于确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
合成模块1503,用于获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
优选地,所述分析模块1501包括:
匹配子模块15012,用于将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
确定子模块15013,用于基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取子模块15014,用于获取所述目标用户的声音数据的波形;
解析子模块15015,用于解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,所述确定子模块15013还用于解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
所述确定子模块15013还用于确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,所述合成模块1503包括:
波形获取子模块15031,用于获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
合成子模块15032,用于在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
在本实施例中,移动终端中采集单元120可由麦克风实现,音色分析单元130、检测单元140、合成单元150、解析单元160、确定单元170可由中央处理器(CPU,CentralProcessingUnit)、数字信号处理器(DSP,DigitalSignalProcessor)、现场可编程门阵列(FPGA,FieldProgrammableGateArray)、或集成电路(ASIC,ApplicationSpecificIntegratedCircuit)实现。
实施例三
图12为本发明实施例中信息处理方法流程示意图,可以应用于设置在车辆内部的移动终端如前述的移动终端100,如图12所示,本发明实施例提供的信息处理方法包括以下步骤:
步骤201,在车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据。
移动终端通过自身的麦克风107对车辆内部的环境进行音频采集得到音频信号;将音频信号进行模拟信号/数字信号转换得到数字形式的音频数据,其中包括有目标用户的声音数据;从声音数据中滤除背景声音的得到目标用户的声音数据。可选地,数字形式的音频数据承载有多个用户的声音时,基于目标用户与非目标用户的声音的频率的差异识别出目标用户的声音数据,目标用户的声音的频率可以通过预先采集目标用户的声音并分析得到。可选地,对音频信号进行降噪处理后进行模拟信号/数字信号转换以减少分析声音数据时的干扰。
步骤202,对目标用户的声音数据进行音色分析,得到目标用户的声音特征。
获取目标用户的声音数据的波形,例如将声音数据转换成WAV格式的波形数据,通过WAV格式的波形数据可以获得声音数据的波形,通过解析目标用户的声音数据的波形,得到以下维度至少之一的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,下面对不同维度的声音特征与目标用户的声音的要素(音调、响度和音色)的关系进行说明。
1)波形的频率(赫兹,简称赫,符号为Hz)表征目标用户声音的音调且与音调正相关,波形的频率越高,目标用户声音的音调也就越高;频率越低,目标用户的音调也就越低。
2)波形的振幅表征目标用户的声音的响度(也称为音量,单位为分贝),振幅越大,目标用户的声音的响度越大。
3)波形的谐波频谱和包络决定了目标用户的声音的音色(又称音品),波形的基频所产生的最清楚的音称为基音,波形的各次谐波的微小振动所产生的声音称泛音。单一频率的音称为纯音,具有谐波的音称为复音,每个基音都有固有的频率和不同响度的泛音,可以区别于非目标用户的具有相同响度和音调的声音。波形的各次谐波的比例和随时间的衰减大小决定了目标用户的语义的音色特征,波形的包络是每个周期波峰间的连线,包络的陡缓影响了目标用户的声音的强度的瞬态特性。
步骤203,检测移动终端中加载的车辆服务,并获取加载的车辆服务输出的待播放声音数据。
移动终端加载的车辆服务的一个可选的示意图如图4所示,加载的车辆服务在移动终端中处于运行状态(前台运行或后台运行),当车辆服务在运行过程中具有播放声音的需求时(如导航服务播放导航声音、电台服务播放节目)时,移动终端通过检测车辆服务调用扬声器109的请求截获车辆服务请求播放的声音数据也就是待播放声音数据。
步骤204,获取合成有目标用户的声音特征的待播放声音数据,并输出符合目标用户的声音特征的待播放声音数据。
获取待播放声音数据的波形、以及获取目标用户的声音数据的波形,例如将待播放声音数据、目标用户的声音数据分别转换成WAV格式的波形数据,通过WAV格式的波形数据可以对应获得待播放声音数据的波形以及目标用户的声音数据的波形。
在波形的频率、波形的幅度、波形的包络、波形的谐波频中的至少一个维度合成待播放声音数据的波形与目标用户的声音数据的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的声音特征如响度、音调和音色至少之一。例如:
1)在波形的频率维度合成待播放声音数据的波形与目标用户的声音数据的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的音调,基于待播放声音数据的波形输出的声音的音调与目标用户的声音的音调一致。
2)在波形的幅度维度合成待播放声音数据的波形与目标用户的声音数据的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的响度,基于待播放声音数据的波形输出的声音的响度与目标用户的声音的响度一致。
3)在波形的包络、波形的谐波频谱维度合成待播放声音数据的波形与目标用户的声音数据的波形,得到待播放声音数据的波形,待播放声音数据的波形中合成有目标用户的音色,基于待播放声音数据的波形输出的声音的音色与目标用户的声音的音色一致。
结合具体示例对进行说明,移动终端采集车辆内部的声音信号进行去噪处理。
移动终端在内部进行音频采集,例如在检测到与声音相关的车辆服务(如车载电话、QQ语音聊天)时进行音频采集,基于目标用户的声音的频率从采集到的声音数据中分离出目标用户的声音数据;使用音色分析技术对目标用户的声音数据进行分析得到相关声音特征,包括波形的频率、振幅、波形的包络、波形的谐波频谱。
移动终端检测当前所加载的服务并获取所加载的车辆服务输出的待播放声音数据;可选地,检测优先级最高的车辆服务(也可以为用户预设类型的车辆服务)以获取车辆服务输出的待播放声音数据。
以加载有导航服务为例,对导航服务输出的待播放的声音数据(也就是前述的声音导航数据)进行处理,得到即将要进行播报的声音的波形;
为了模拟目标用户的声音特征(包括音调、响度和音色),移动终端将待播放的声音数据的波形与目标用户的语音的波形声音进行合成,从而调整移动终端自带声音的波形与目标用户声音的波形一致,实现以目标用户的语音来播放导航服务输出的待播放声音数据,由于采用了区别于车辆内置语音的方式来播放声音数据,使目标用户对导航服务输出的声音关注度高于内置语音播放的信息。
实施例四
前述实施例中播放车辆服务输出的待播放声音数据时在声音中合成目标用户的声音特征,使播放的声音的辨识度高于车辆内置声音播放的声音数据,本实施例针对车辆服务的不同优先级合成目标用户的不同用户状态的声音特征,对车辆服务的不同使用场景输出的待播放声音数据,使用目标用户的不同语调的声音进行差异化播放,从而能够对待播放声音数据承载的信息进行有针对性的提示。
图13为本实施例提供的信息处理方法流程示意图,可以应用于设置在车辆内部的移动终端如前述的移动终端100,如图13所示,本发明实施例提供的信息处理方法包括以下步骤:
步骤301,在车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据。
步骤302,对目标用户的声音数据进行音色分析,得到目标用户的声音特征。
步骤301和步骤302与前述实施例三中步骤201和步骤202相同,这里不再赘述。
步骤303,将至少一个维度的声音特征与对应维度的不同的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果。
如前所述,声音特征包括以下维度:1)振幅;2)频率:3)波形的包络、波形的谐波频率。目标用户的情绪不同时具有不同的用户状态,而不同的用户状态对应的用户状态判断条件可以通过上述至少一个维度的声音特征的不同取值范围的量化值来表示,表2示例性示出了目标用户的情绪、用户状态、声音波形的振幅、声音波形的频率的一个对应关系,需要指出的是,实际上用户的用户状态的分类不仅限于表2中所示。
表2
表3
参见表2至表3,目标用户具有激动、高兴和平静三种情绪,每种情绪对应目标用户的一种用户状态,每种维度用户状态可以用相应维度的量化的用户状态判断条件来表示,例如,激动的用户状态在振幅维度可以用用户状态判断条件1来表示,高兴的用户状态在振幅维度可以用用户状态判断条件2来表示,平静的用户状态在振幅维度可以用用户状态判断条件3来表示,激动的用户状态在频率维度可以用用户状态判断条件4来表示,高兴的用户状态在频率维度可以用用户状态判断条件5来表示,平静的用户状态在频率维度可以用用户状态判断条件6来表示。
表2和表3仅仅示出了在振幅维度和频率对目标用户的用户状态进行判断的用户状态判断条件,在波形的包络、波形的谐波频谱维度也可以设置针对目标用户的不同用户状态进行判断的用户状态判断条件,用户状态判断条件可以由移动终端基于对目标用户的语音进行跟踪采集并分析得到。
移动终端基于分析出的目标用户在不同维度的声音特征,针对不同维度的用户状态判断条件得到目标用户的用户状态在相应维度的判断结果,目标用户的用户状态在上述三个维度的判断结果的一个示例为:
振幅维度:用户状态1;频率维度:用户状态1;波形的包络、波形的谐波频谱维度:用户状态2。
步骤304,基于至少一个维度的用户状态判断结果确定目标用户所处的用户状态,确定与目标用户所处的用户状态对应的声音特征。
基于不同维度的用户状态的判断结果确定目标用户的潜在的用户状态,基于判断结果的重复次数计算每个潜在的用户状态的概率,取概率最大的用户状态为目标用户最终的用户状态。例如,对于步骤302的判断结果确定目标用户的潜在的用户状态为用户状态1(重复次数为2,概率为2/3*100%)和用户状态2(重复次数为1,概率为1/3*100%),则取概率最大的用户状态1为目标用户的用户状态,确定与目标用户所处的用户状态1对应的声音特征,用户状态1对应的声音特征可以使用用户状态1上述维度的判断条件(如判断条件1和判断条件3)来量化表示。
步骤305,检测移动终端中加载的车辆服务,并获取加载的车辆服务输出的待播放声音数据。
上述的步骤301至步骤304与步骤305的执行顺序不分先后,实际应用中可以采用并行执行或串行执行的方式。
步骤306,获取合成有目标用户的声音特征的待播放声音数据,并输出符合目标用户的声音特征的待播放声音数据。
参见图14,步骤306可以通过以下步骤实现:
步骤3061,解析车辆服务输出的数据得到车辆服务的优先级。
作为步骤3061的一个示例,车辆的优先级可以根据用户设置自动生成,或者,根据车辆服务输出的数据对车辆行驶的影响程度自动排序,例如在图4示出的移动终端加载的车辆服务中,导航服务在时刻1输出的数据1用于指示车辆的行车路线发生偏离也就是行驶路线错误,导航服务在时刻2输出的行车数据2指示车辆沿当前路线行驶也就是当前行驶路线正确,移动终端通过解析导航服务输出的数据,确定导航服务在时刻1输出的数据对车辆正常行驶的影响程度大于导航服务在时刻2输出的数据,因此导航服务在时刻1的优先级高于在时刻2的优先级。
作为步骤3061的另一个示例,首先,解析车辆服务输出的数据与不同车辆状态的车辆状态判断条件进行匹配,得到车辆所处的车辆状态。以导航服务为例,车辆状态包括行驶路线错误、行驶区域事故多发、行驶区域正确等,车辆状态判断条件包括对行车数据中的字段进行匹配的预定字段的集合,用于对车辆服务输出的行车数据中的字段进行匹配,如果字段匹配成功则代表行车数据与该车辆状态判断条件匹配,车辆处于与该匹配成功的车辆状态匹配条件对应的车辆状态。
其次,基于预设的车辆状态与优先级之间的对应关系确定车辆所处的车辆状态对应的优先级为车辆服务的优先级。仍以导航服务为例,车辆的行驶状态与优先级的对应关系中,行驶路线错误对应优先级2,行驶区域事故多发对应优先级1、行驶区域正确对应优先级3;优先级的排序为对应优先级1>优先级2>优先级3,基于上述对应关系,导航服务在时刻1处于优先级2,在时刻2处于优先级3。
步骤3062,确定目标用户的历史的用户状态中与车辆服务的优先级对应的目标用户状态,目标用户的不同用户状态与车辆服务的不同优先级对应。
通过步骤301和步骤302可以解析目标用户的历史用户状态的至少一个维度的声音特征,得到历史用户状态所表征的紧急程度(采用量化的形式表征历史用户状态的紧急程度),基于历史用户状态表征的紧急程度对历史用户状态进行优先级排序;确定目标用户的历史用户状态的优先级与车辆服务的优先级匹配的历史用户状态为目标用户状态。例如,前述的表2和表3示出的历史用户状态包括用户状态1、用户状态2和用户状态3,通过比较各用户状态的不同维度的用户状态判断条件(采用量化的形式表征)的量化值的大小得到各用户状态的紧急程度,例如在振幅维度,用户状态1判断条件中的振幅的幅度大于用户状态2判断条件中的振幅度(通常目标用户的情绪越移动,则声音波形的振幅越大),用户状态2判断条件中的振幅的幅度大于用户状态3判断条件中的振幅,则历史用户状态所表征的紧急程度排序为:用户状态1>用户状态2>用户状态3,导航服务具有优先级1至优先级3共计三个优先级,且优先级排序为:优先级1>优先级2>优先级3,那么,用户状态与导航服务的优先级对应关系的一个示例参见表4:
表4
当导航服务输出的数据表征导航服务在时刻1输出的数据1用于指示车辆的行车路线发生偏离时,导航服务具有优先级2,对应的目标用户状态为用户状态2;当导航服务输出的数据表征导航服务在时刻2输出的数据2用于指示车辆沿当前行驶路线也就是行驶路线正确时,导航服务具有优先级3,对应的目标用户状态为用户状态3。
步骤3063,获取与目标用户状态对应的至少一个维度的声音特征。
获取声音特征中波形的频率、波形的幅度、波形的包络、波形的谐波频谱中至少一个维度特征。
例如,当导航服务在时刻1输出的数据1用于指示车辆的行车路线发生偏离也就是行驶路线错误时,对应的目标用户状态为用户状态2,获取用户状态2在上述维度至少之一的声音特征,导航服务在时刻2输出的行车数据2指示车辆沿当前路线行驶也就是当前行驶路线正确时,对应的目标用户状态为用户状态1,获取用户状态1在上述维度至少之一的声音特征。
与目标用户状态对应的至少一个维度的声音特征采用声音特征的量化值,可以采用与目标用户状态对应的相应维度的用户状态判断条件所限定的量化值范围中的值,例如在振幅维度,参见表2,当目标用户状态为用户状态1时与用户状态1对应的声音特征的量化值可以采用用户状态判断条件1(d1,d2)的值,再例如在频率维度,参见表3,当目标用户状态为用户状态1时与用户状态1对应的声音特征的量化值可以采用用户状态判断条件1(f1,f2)中的值。
步骤3064,将至少一个维度的声音特征与待播放声音数据进行合成,得到合成有目标用户的声音特征的待播放声音数据。
步骤3065,输出符合目标用户的声音特征的待播放声音数据。
当导航服务在时刻1输出的数据1用于指示车辆的行车路线发生偏离也就是行驶路线错误时,如果将用户状态2的声音特征与待播放声音数据合成,将使播放提示车辆偏移导航路线的声音与目标用户处于声音的一致(也就是声音特征一致),并且,具有严肃的语调以引起目标用户足够的注意;实际实施中导航服务在时刻输出的数据用于指示车辆处于事故多发区域、车辆超速时,也可以将用户状态2的声音特征与待播放声音数据合成,使播放提示车辆处于事故多发区域、车辆超速的声音与目标用户处于声音的一致(也就是声音特征一致),并且,具有严肃的语调以引起目标用户足够的注意。
当导航服务在时刻2输出的数据1用于指示车辆的行车路线正确时(或者在车辆没有违反交通规则,当前所处路段没有危险因素,或当前车速比较慢、道路拥堵时)将用户状态2的声音特征与待播放声音数据合成,将使播放的声音与目标用户处于声音的一致(也就是声音特征一致),并且,具有轻快的语调以拉近与目标用户的距离从而提升体验。
实施例五
这里需要指出的是:以下涉及移动终端的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述。对于本发明所述移动终端实施例中未披露的技术细节,请参照前述实施例三和实施例四的描述。
本实施例记载一种移动终端100,参见图15,移动终端100包括:
采集单元160,用于在车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
音色分析单元170,用于对目标用户的声音数据进行音色分析,得到目标用户的声音特征;
检测单元180,用于检测移动终端100中加载的车辆服务,并获取加载的车辆服务输出的待播放声音数据;
合成单元190,用于获取合成有目标用户的声音特征的待播放声音数据,并输出符合目标用户的声音特征的待播放声音数据。
优选地,音色分析单元170还用于获取目标用户的声音数据的波形;
音色分析单元170还用于解析目标用户的声音数据的波形,得到以下维度至少之一的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,音色分析单元170,还用于将至少一个维度的声音特征与对应维度的不同用户状态的判断条件进行匹配,得到在相应维度的用户状态判断结果;
音色分析单元170,还用于基于至少一个维度的用户状态判断结果确定目标用户所处的用户状态;确定与目标用户所处的用户状态对应的声音特征。
优选地,移动终端100还包括:
解析单元,用于解析车辆服务输出的数据得到车辆服务的优先级;
确定单元,用于确定目标用户的历史的用户状态中与车辆服务的优先级对应的目标用户状态,目标用户的不同用户状态与车辆服务的不同优先级对应;
合成单元190,还用于获取与目标用户状态对应的至少一个维度的声音特征,将至少一个维度的声音特征与待播放声音数据进行合成,得到合成有目标用户的声音特征的待播放声音数据;其中,至少一个维度包括:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,解析单元,包括:
解析模块,用于解析车辆服务输出的行车数据与不同车辆状态的判断条件进行匹配,得到车辆所处的车辆状态;
优先级模块,用于基于预设的车辆状态与优先级之间的对应关系确定车辆所处的车辆状态对应的优先级为车辆服务的优先级;
确定单元,还用于解析目标用户的历史用户状态的至少一个维度的声音特征,得到历史用户状态所表征的紧急程度,基于历史用户状态表征的紧急程度对历史用户状态进行优先级排序;确定目标用户的历史用户状态的优先级与车辆服务的优先级匹配的历史用户状态为目标用户状态。
优选地,合成单元190,还用于获取待播放声音数据的波形、以及获取目标用户的声音数据的波形;在以下维度至少之一合成待播放声音数据的波形与目标用户的声音数据的波形,得到待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
在本实施例中,移动终端中采集单元160可由麦克风实现,音色分析单元170、检测单元180、合成单元190、解析单元、确定单元可由中央处理器(CPU,CentralProcessingUnit)或数字信号处理器(DSP,DigitalSignalProcessor)、或现场可编程门阵列(FPGA,FieldProgrammableGateArray)、或集成电路(ASIC,ApplicationSpecificIntegratedCircuit)实现。
实施例六
与前述实施例一对应,本实施例还记载一种应用于移动终端计算机可读介质,可以为ROM(例如,只读存储器、FLASH存储器、转移装置等)、磁存储介质(例如,磁带、磁盘驱动器等)、光学存储介质(例如,CD-ROM、DVD-ROM、纸卡、纸带等)以及其他熟知类型的程序存储器;计算机可读介质中存储有计算机可执行指令,当执行指令时,引起至少一个处理器执行包括以下的操作:
检测移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取所述目标用户的声音数据的波形;
解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
实施例七
与前述实施例三和实施例对应,本实施例还记载一种应用于移动终端中的计算机可读介质,可以为ROM(例如,只读存储器、FLASH存储器、转移装置等)、磁存储介质(例如,磁带、磁盘驱动器等)、光学存储介质(例如,CD-ROM、DVD-ROM、纸卡、纸带等)以及其他熟知类型的程序存储器;计算机可读介质中存储有计算机可执行指令,当执行指令时,引起至少一个处理器执行包括以下的操作:
在所述车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征;
检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据;
获取合成有所述目标用户的声音特征的所述待播放声音数据,并输出符合所述目标用户的声音特征的所述待播放声音数据。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取所述目标用户的声音数据的波形;
解析所述目标用户的声音数据的波形,得到以下维度至少之一的所述声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
确定与所述目标用户所处的所述用户状态对应的所述声音特征。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
解析所述车辆服务输出的数据得到所述车辆服务的优先级;
确定所述目标用户的历史的用户状态中与所述车辆服务的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆服务的不同优先级对应;
获取与所述目标用户状态对应的至少一个维度的声音特征,将所述至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据;其中,所述至少一个维度包括:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态对应的优先级为所述车辆服务的优先级;
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
解析所述目标用户的历史用户状态的至少一个维度的声音特征,得到所述历史用户状态所表征的紧急程度,基于所述历史用户状态所述表征的紧急程度对所述历史用户状态进行优先级排序;
确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
优选地,当执行指令时,还引起至少一个处理器执行包括以下的操作:
获取所述待播放声音数据的波形、以及获取所述目标用户的声音数据的波形;
在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户的声音数据的波形,得到合成有所述目标用户的声音特征的所述待播放声音数据的波形:
波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
本领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、随机存取存储器110(RAM,RandomAccessMemory)、只读存储器110(ROM,Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种信息处理方法,其特征在于,应用于设置在车辆内部的移动终端;所述方法包括:
检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
2.如权利要求1所述的方法,其特征在于,
所述解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态,包括:
解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
所述基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,包括:
基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
3.如权利要求1所述的方法,其特征在于,所述基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,包括:
在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
4.如权利要求3所述的方法,其特征在于,所述对目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征,包括:
将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取所述目标用户的声音数据的波形;
解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
5.如权利要求3所述的方法,其特征在于,所述确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,包括:
解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
6.如权利要求3所述的方法,其特征在于,所述将目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据,包括:
获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
7.一种移动终端,其特征在于,所述移动终端包括:
检测单元,用于检测所述移动终端中加载的车辆服务;
获取单元,用于获取所述加载的车辆服务输出的待播放声音数据、以及所述车辆服务输出的行车数据;
解析单元,用于解析所述加载的车辆服务输出的行车数据得到所述车辆所处的车辆状态;
调整单元,用于基于所述车辆所处的车辆状态调整所述待播放声音数据在至少一个维度的声音特征,输出调整后的所述待播放声音数据。
8.如权利要求7所述的移动终端,其特征在于,
所述解析单元还用于解析所述车辆服务输出的所述行车数据与不同的车辆状态判断条件进行匹配,得到所述车辆所处的车辆状态;
所述调整单元还用于基于预设的车辆状态与优先级之间的对应关系确定所述车辆所处的车辆状态的优先级;
所述调整单元还用于确定所述车辆状态的优先级对应的调整幅度,基于所述车辆状态的优先级对应的调整幅度调整所述待播放声音数据在以下维度的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱,其中,所述车辆状态的优先级与所述待播放声音数据的声音特征调整后的度量值正相关。
9.如权利要求7所述的移动终端,其特征在于,所述调整单元包括:
分析模块,用于在所述车辆内部进行音频采集得到目标用户的声音数据,对所述目标用户的声音数据进行音色分析,得到所述目标用户所具有的不同用户状态、以及所述目标用户处于不同用户状态的声音特征;
确定模块,用于确定所述目标用户的不同用户状态中与所述车辆状态的优先级对应的目标用户状态,所述目标用户的不同所述用户状态与所述车辆状态的不同优先级对应;
合成模块,用于获取与所述目标用户状态对应的至少一个维度的声音特征,将所述目标用户状态对应的至少一个维度的声音特征与所述待播放声音数据进行合成,得到合成有所述目标用户的声音特征的所述待播放声音数据。
10.如权利要求9所述的移动终端,其特征在于,所述分析模块包括:
匹配子模块,用于将至少一个维度的所述声音特征与对应维度的用户状态判断条件进行匹配,得到在相应维度的用户状态判断结果;
确定子模块,用于基于所述至少一个维度的用户状态判断结果确定所述目标用户所处的用户状态;
获取子模块,用于获取所述目标用户的声音数据的波形;
解析子模块,用于解析所述目标用户的声音数据的波形,得到所述目标用户处于不同用户状态时在以下维度至少之一所具有的声音特征:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
11.如权利要求9所述的移动终端,其特征在于,
所述确定子模块还用于解析所述目标用户的历史用户状态在至少一个维度的声音特征,得到所述历史用户状态所表征的所述目标用户的紧张程度,基于所述历史用户状态所述表征的紧张程度对所述历史用户状态进行优先级排序;
所述确定子模块还用于确定所述目标用户的历史用户状态的优先级与所述车辆服务的优先级匹配的历史用户状态为所述目标用户状态。
12.如权利要求9所述的移动终端,其特征在于,所述合成模块包括:
波形获取子模块,用于获取所述待播放声音数据的波形、以及获取所述目标用户状态的声音特征的波形;
合成子子模块,用于在以下维度至少之一合成所述待播放声音数据的波形与所述目标用户状态的声音特征的波形,得到更新的所述待播放声音数据的波形:波形的频率、波形的幅度、波形的包络、波形的谐波频谱。
13.一种信息处理方法,其特征在于,应用于设置在车辆内部的移动终端;所述方法包括:
在所述车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征;
检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据得到所述获取合成有所述目标用户的声音特征的所述待播放声音数据,并输出符合所述目标用户的声音特征的所述待播放声音数据。
14.一种移动终端,其特征在于,所述移动终端包括:
采集单元,用于在所述车辆内部进行音频采集,从采集到得到的音频数据中识别出目标用户的声音数据;
音色分析单元,用于对所述目标用户的声音数据进行音色分析,得到所述目标用户的声音特征;
检测单元,用于检测所述移动终端中加载的车辆服务,并获取所述加载的车辆服务输出的待播放声音数据;
合成单元,用于获取合成有所述目标用户的声音特征的所述待播放声音数据,并输出符合所述目标用户的声音特征的所述待播放声音数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610096422.2A CN105787005B (zh) | 2016-02-22 | 2016-02-22 | 信息处理方法及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610096422.2A CN105787005B (zh) | 2016-02-22 | 2016-02-22 | 信息处理方法及移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105787005A true CN105787005A (zh) | 2016-07-20 |
CN105787005B CN105787005B (zh) | 2019-09-20 |
Family
ID=56403604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610096422.2A Active CN105787005B (zh) | 2016-02-22 | 2016-02-22 | 信息处理方法及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105787005B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548548A (zh) * | 2016-08-16 | 2017-03-29 | 中山微宇电器科技有限公司 | 一种智能锁的开锁方法及智能锁系统 |
CN108735211A (zh) * | 2018-05-16 | 2018-11-02 | 智车优行科技(北京)有限公司 | 语音处理方法、装置、车辆、电子设备、程序及介质 |
CN109936497A (zh) * | 2017-12-15 | 2019-06-25 | 蔚来汽车有限公司 | 一种车载即时通讯方法以及车载即时通讯系统 |
CN110278461A (zh) * | 2019-07-01 | 2019-09-24 | 腾讯科技(深圳)有限公司 | 信息推荐界面显示方法、装置、车载终端及存储介质 |
CN111261139A (zh) * | 2018-11-30 | 2020-06-09 | 上海擎感智能科技有限公司 | 文字拟人化播报方法及系统 |
CN111831250A (zh) * | 2020-07-10 | 2020-10-27 | Oppo广东移动通信有限公司 | 音频处理方法、装置、存储介质及电子设备 |
CN112073569A (zh) * | 2019-06-11 | 2020-12-11 | 奇酷互联网络科技(深圳)有限公司 | 导航音量的调节方法、终端及具有存储功能的装置 |
CN113362802A (zh) * | 2021-05-28 | 2021-09-07 | 维沃移动通信有限公司 | 语音生成方法、装置和电子设备 |
CN113834498A (zh) * | 2021-11-29 | 2021-12-24 | 四川北控聚慧物联网科技有限公司 | 一种收运定位导航系统及方法 |
CN114121033A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市北海轨道交通技术有限公司 | 基于深度学习的列车广播语音增强方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034545A (zh) * | 2006-03-08 | 2007-09-12 | 海尔集团公司 | 一种具有合成播放卡拉ok音乐功能的手机及实现方法 |
US20080071536A1 (en) * | 2006-09-15 | 2008-03-20 | Honda Motor Co., Ltd. | Voice recognition device, voice recognition method, and voice recognition program |
CN201354064Y (zh) * | 2008-12-12 | 2009-12-02 | 谢丹 | 一种具备多种报警模式的汽车报警装置 |
CN102402982A (zh) * | 2010-09-14 | 2012-04-04 | 盛乐信息技术(上海)有限公司 | 一种背景音可选的朗读系统及其实现方法 |
CN102496376A (zh) * | 2011-12-07 | 2012-06-13 | 刘晓运 | 一种车载信息娱乐系统中声音播放的控制方法及装置 |
CN104288889A (zh) * | 2014-08-21 | 2015-01-21 | 惠州Tcl移动通信有限公司 | 情绪调节方法及智能终端 |
CN104354701A (zh) * | 2014-10-29 | 2015-02-18 | 云南大学 | 一种人车交互的实现方法 |
-
2016
- 2016-02-22 CN CN201610096422.2A patent/CN105787005B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034545A (zh) * | 2006-03-08 | 2007-09-12 | 海尔集团公司 | 一种具有合成播放卡拉ok音乐功能的手机及实现方法 |
US20080071536A1 (en) * | 2006-09-15 | 2008-03-20 | Honda Motor Co., Ltd. | Voice recognition device, voice recognition method, and voice recognition program |
CN201354064Y (zh) * | 2008-12-12 | 2009-12-02 | 谢丹 | 一种具备多种报警模式的汽车报警装置 |
CN102402982A (zh) * | 2010-09-14 | 2012-04-04 | 盛乐信息技术(上海)有限公司 | 一种背景音可选的朗读系统及其实现方法 |
CN102496376A (zh) * | 2011-12-07 | 2012-06-13 | 刘晓运 | 一种车载信息娱乐系统中声音播放的控制方法及装置 |
CN104288889A (zh) * | 2014-08-21 | 2015-01-21 | 惠州Tcl移动通信有限公司 | 情绪调节方法及智能终端 |
CN104354701A (zh) * | 2014-10-29 | 2015-02-18 | 云南大学 | 一种人车交互的实现方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548548A (zh) * | 2016-08-16 | 2017-03-29 | 中山微宇电器科技有限公司 | 一种智能锁的开锁方法及智能锁系统 |
CN106548548B (zh) * | 2016-08-16 | 2018-12-25 | 中山微宇电器科技有限公司 | 一种智能锁的开锁方法及智能锁系统 |
CN109936497A (zh) * | 2017-12-15 | 2019-06-25 | 蔚来汽车有限公司 | 一种车载即时通讯方法以及车载即时通讯系统 |
CN108735211A (zh) * | 2018-05-16 | 2018-11-02 | 智车优行科技(北京)有限公司 | 语音处理方法、装置、车辆、电子设备、程序及介质 |
CN111261139A (zh) * | 2018-11-30 | 2020-06-09 | 上海擎感智能科技有限公司 | 文字拟人化播报方法及系统 |
CN111261139B (zh) * | 2018-11-30 | 2023-12-26 | 上海擎感智能科技有限公司 | 文字拟人化播报方法及系统 |
CN112073569A (zh) * | 2019-06-11 | 2020-12-11 | 奇酷互联网络科技(深圳)有限公司 | 导航音量的调节方法、终端及具有存储功能的装置 |
CN110278461A (zh) * | 2019-07-01 | 2019-09-24 | 腾讯科技(深圳)有限公司 | 信息推荐界面显示方法、装置、车载终端及存储介质 |
CN111831250A (zh) * | 2020-07-10 | 2020-10-27 | Oppo广东移动通信有限公司 | 音频处理方法、装置、存储介质及电子设备 |
CN113362802A (zh) * | 2021-05-28 | 2021-09-07 | 维沃移动通信有限公司 | 语音生成方法、装置和电子设备 |
CN113834498A (zh) * | 2021-11-29 | 2021-12-24 | 四川北控聚慧物联网科技有限公司 | 一种收运定位导航系统及方法 |
CN114121033A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市北海轨道交通技术有限公司 | 基于深度学习的列车广播语音增强方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105787005B (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105787005A (zh) | 信息处理方法及移动终端 | |
US6853910B1 (en) | Vehicle tracking telematics system | |
CN1188834C (zh) | 在输出声频信号呈现期间处理输入语音信号的方法和设备 | |
CN102006373B (zh) | 基于语音命令控制的车载服务系统及方法 | |
EP1646037B1 (en) | Method and apparatus for enhancing speech recognition accuracy by using geographic data to filter a set of words | |
US8138897B2 (en) | Method of generating vehicle noise | |
CN109285543A (zh) | 一种车载多媒体导航仪语音自动化测试系统 | |
AU2015310052B2 (en) | Audio processing device and method of providing information | |
CN1408182A (zh) | 基于本地中断探测的语音识别技术 | |
CN1967188A (zh) | 车辆诊断测试与报告方法 | |
CN1798401A (zh) | 移动无线终端装置以及无线通信系统 | |
CN1759588A (zh) | 携带信息终端和通信系统 | |
US8525696B2 (en) | Vehicle-mounted device and audio reproduction method | |
CN108377478B (zh) | 一种业务提示方法、装置、车载终端及存储介质 | |
US8358221B2 (en) | Vehicle-mounted device, output propriety judgment method, communication system and program | |
CN112216140A (zh) | 交通工具到站确认方法、电子设备及计算机可读存储介质 | |
US20190096397A1 (en) | Method and apparatus for providing feedback | |
CN105243850B (zh) | 应用新一代信息技术对车辆喇叭使用进行管控的方法 | |
CN101714294B (zh) | 一种机动车在禁鸣区鸣笛的取证系统 | |
JP2010039952A (ja) | 情報提供装置、及び受信情報の選択出力方法 | |
CN105139655B (zh) | 应用新一代信息技术的车辆喇叭使用管控系统 | |
CN2789880Y (zh) | 乘车自动报站装置 | |
JP4080986B2 (ja) | 音声通知装置 | |
CA2283993A1 (en) | A method of signalling traffic-relevant status information | |
JP2009093532A (ja) | 道路通信システム,通信端末,データ再生処理方法およびデータ再生用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |