CN104424971B - 一种音频文件播放方法及装置 - Google Patents
一种音频文件播放方法及装置 Download PDFInfo
- Publication number
- CN104424971B CN104424971B CN201310393430.XA CN201310393430A CN104424971B CN 104424971 B CN104424971 B CN 104424971B CN 201310393430 A CN201310393430 A CN 201310393430A CN 104424971 B CN104424971 B CN 104424971B
- Authority
- CN
- China
- Prior art keywords
- channel
- frequency
- signal
- sound channel
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Abstract
本发明公开了一种音频文件播放方法及装置,用以在音频文件播放时,扩展音频文件的声道信号数目,提升音频文件的播放效果。该方法为:移动设备在获得音频文件后,将判断音频文件中是否包含有自身能够播放的声道信号,若有则直接播放,否则,将音频文件中的声道信号转换为自身能够播放的声音信号后再播放,这样,当使用多个移动设备播放同一个音频文件时,既可以避免各个移动设备执行相同的操作,同时又增加了音频文件的声道数目,扩大了音频文件的声场,提升了音频文件的播放效果。
Description
技术领域
本发明涉及音频处理技术,特别涉及一种音频文件播放方法及装置。
背景技术
近年来,智能手机用户和手持平板电脑设备用户越来越多。传统的移动设备的音乐播放大多数是在同一个设备上进行的。通过多个移动设备协作播放同一首音乐,可以提升音量或扩展声场,提升用户体验。但目前用户广泛使用的音频文件(如MP3),声道数一般是单声道或双声道(即立体声),多声道格式(例如,5.1)的音频文件数量比较少。如果简单地使用多个移动设备播放同一个音频文件,只是增加了音频的音量,不能扩展音频的声场。
例如,现有技术下的第一种方案为:将单声道的音频文件使用两台或多台移动设备进行播放,每台移动设备都是播放相同的音频信号。如,参阅图1所示,移动设备1、移动设备2和移动设备3均播放同一个单声道的音频文件。
又例如:现有技术下的第二种方案为:将立体声音频文件使用两台或多台移动设备进行播放,有的移动设备播放立体声音频文件的左声道信号,有的移动设备播放立体声音频文件的右声道信号。如,参阅图2所示,移动设备1和移动设备2播放同一个立体声音频文件的左声道信号,移动设备3和移动设备4播放同一个立体声音频文件的右声道信号。
又例如:现有技术下的第三种方案为:将多声道的音频文件(如5.1声道)使用多台移动设备进行播放,不同的移动设备负责播放不同的声道信号。如,参阅图3所示,移动设备1播放同一个5.1声道音频文件的中声道信号,移动设备2播放同一个5.1声道音频文件的左声道信号,移动设备3播放同一个5.1声道音频文件的右声道信号,移动设备4播放同一个5.1声道音频文件的左后声道信号,移动设备4播放同一个5.1声道音频文件的右后声道信号。
但是,使用多台移动设备分别播放5.1声道音频文件的各个声道信号,虽然播放的声道信号数(多个)比单声道信号和立体声信号多,却也只是增强了播放的音量,并不能增加扩展声道信号数,即要求原始音频文件就是多声道的。如果原始音频文件是立体声或者是单声道,就没有办法实时转成多声道进行播放。
发明内容
本发明实施例提供一种音频文件的播放方法及装置,用以在音频文件播放时,扩展音频文件的声道信号数目,提升音频文件的播放效果。
本发明实施例提供的具体技术方案如下:
第一方面,一种音频文件的播放方法,包括:
获取音频文件,并获取所述音频文件中包含的声道信号;
获取预先存储的声道标识;
若获取的所述声道信号与所述声道标识匹配,则播放所述与所述声道标识匹配的声道信号;
若获取的所述声道信号与所述声道标识不匹配,则基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号。
结合第一方面,在第一种可能的实现方式中,若获取的所述声道信号与所述声道标识匹配,则播放所述与所述声道标识匹配的声道信号,包括:
若所述音频文件为立体声音频文件,则在确定所述声道标识为左声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的左声道信号;或者,在确定所述声道标识为右声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的右声道信号;
若所述音频文件为单声道音频文件,则在确定所述声道标识为中声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述单声道音频文件中的单声道信号。
结合第一方面,在第二种可能的实现方式中,包括:若获取的所述声道信号与所述声道标识不匹配,则基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号,包括:
若所述音频文件为立体声音频文件,则根据所述立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号;
若所述音频文件为单声道音频文件,则先采用全通滤波方式将所述单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述音频文件为立体声音频文件且所述声道标识为中声道的标识,则基于左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,包括:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
结合第一方面的第二种可能的实现方式,在第四种可能的实现方式中,若所述音频文件为立体声音频文件或单声道音频文件,且所述声道标识为左后声道的标识或右后声道的标识,则基于左声道信号和右声道信号生成与所述声道标识匹配的声道信号,包括:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若所述声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若所述声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
第二方面,一种移动设备,包括:
获取单元,用于获取音频文件,并获取所述音频文件中包含的声道信号,以及获取预先存储的声道标识;
处理单元,用于在确定获取的所述声道信号与所述声道标识匹配时,播放所述与所述声道标识匹配的声道信号;以及在确定获取的所述声道信号与所述声道标识不匹配时,基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号。
结合第二方面,在第一种可能的实现方式中,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元在确定所述声道标识为左声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的左声道信号;或者,所述处理单元在确定所述声道标识为右声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的右声道信号;
若所述音频文件为单声道音频文件,则所述处理单元在确定所述声道标识为中声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述单声道音频文件中的单声道信号。
结合第二方面,在第二种可能的实现方式中,在确定获取的所述声道信号与所述声道标识不匹配时,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元根据所述立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号;
若所述音频文件为单声道音频文件,则所述处理单元先采用全通滤波方式将所述单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号。
结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,若所述音频文件为立体声音频文件且所述声道标识为中声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
结合第二方面的第二种可能的实现方式,在第四种可能的实现方式中,若所述音频文件为立体声音频文件或单声道音频文件,且所述声道标识为左后声道的标识或右后声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若所述声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若所述声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
第三方面,一种移动设备,包括:
存储器,用于存储音频文件,以及存储预先设置的声道标识;
处理单元,用于获取音频文件,并获取所述音频文件中包含的声道信号,以及获取预先存储的声道标识;在确定获取的所述声道信号与所述声道标识匹配时,播放所述与所述声道标识匹配的声道信号;以及在确定获取的所述声道信号与所述声道标识不匹配时,基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号。
结合第三方面,在第一种可能的实现方式中,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元在确定所述声道标识为左声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的左声道信号;或者,所述处理单元在确定所述声道标识为右声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的右声道信号;
若所述音频文件为单声道音频文件,则所述处理单元在确定所述声道标识为中声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述单声道音频文件中的单声道信号。
结合第三方面,在第二种可能的实现方式中,在确定获取的所述声道信号与所述声道标识不匹配时,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元根据所述立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号;
若所述音频文件为单声道音频文件,则所述处理单元先采用全通滤波方式将所述单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号。
结合第三方面的第二种可能的实现方式,在第三种可能的实现方式中,若所述音频文件为立体声音频文件且所述声道标识为中声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
结合第三方面的第二种可能的实现方式,在第四种可能的实现方式中,若所述音频文件为立体声音频文件或单声道音频文件,且所述声道标识为左后声道的标识或右后声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若所述声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若所述声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
综上所述,本发明实施例中,本发明实施例中,移动设备在获得音频文件后,将判断音频文件中是否包含有自身能够播放的声道信号,若有则直接播放,否则,将音频文件中的声道信号转换为自身能够播放的声音信号后再播放,这样,当使用多个移动设备播放同一个音频文件时,既可以避免各个移动设备执行相同的操作,同时又增加了音频文件的声道数目,扩大了音频文件的声场,提升了音频文件的播放效果。
附图说明
图1-图3为现有技术下播放音乐文件示意图;
图4为本发明实施例中播放音频文件流程图;
图5为本发明实施例中基于左声道信号和右声道信号生成中声道信号示意图;
图6为本发明实施例中基于左声道信号和右声道信号生成左后声道信号或右后声道信号示意图;
图7和图8为本发明实施例中移动设备结构图。
具体实施方式
为了能够在音频文件播放时,扩展音频文件的声道信号数目,提升音频文件的播放效果。本发明实施例中,移动设备在获得音频文件后,将判断音频文件中是否包含有自身能够播放的声道信号,若有则直接播放,否则,将音频文件中的声道信号转换为自身能够播放的声音信号后再播放,这样,可以在音频文件播放时,扩展音频文件的声道信号数目,提升音频文件的播放效果。
下面结合附图对本发明优选的实施方式进行详细说明。
参阅图4所示,本发明实施例中,移动设备播放音频文件的详细流程如下:
步骤400:移动设备获取音频文件,并获取该音频文件中包含的声道信号。
步骤410:移动设备获取预先存储的声道标识。
步骤420:若获取的上述声道信号与上述声道标识匹配,则移动设备播放与上述声道标识匹配的声道信号。
例如:若音频文件为立体声音频文件,则移动设备在确定声道标识为左声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的左声道信号;或者,在确定声道标识为右声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的右声道信号。
又例如:若音频文件为单声道音频文件,则移动设备在确定声道标识为中声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放单声道音频文件中的单声道信号。
步骤430:若获取的上述声道信号与上述声道标识不匹配,则移动设备基于上述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与上述声道标识匹配的声道信号,并播放生成的与上述声道标识匹配的声道信号。
其中,联合协方差矩阵系数反映了声道信号的能量及声道间的相关程度,(例如,左声道信号和右声道信号的能量,以及左声道信号和右声道信号之间的相关程度);联合协方差角度则反映了声源信号在空间上的方位信息。采用这种方式计算与上棕声道标识匹配的声道信号,可以降低算法整体的复杂度,从而在移动设备上也能够实现。
例如,若音频文件为立体声音频文件,则移动设备根据立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号。
又例如,若音频文件为单声道音频文件,则移动设备先采用全通滤波方式将单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号。
由上述流程可以看出,本发明实施例中,当单声道音频文件或立体声音频文件在多个移动设备之间协作播放时,各个移动设备上均设置有其负责的声道标识(例如:假设需要将音频文件转成5.1声道格式播放,则可以分为左声道、右声道、中声道、左后声道、右后声道等五个声道,具体的设置可以根据移动设备所处的相对位置来决定,也可以由用户自行设定);在播放的时候,每个移动设备将原始的音频文件实时地转换成与自身负责的声道标识匹配的声道信号,并进行播放。
下面分别以立体声音频文件和单声道音频文件为例,对上述步骤420的具体执行作出进一步详细说明。
第一场景,假设多台移动设备协作播放一个立体声音频文件,每台移动设备确定自身负责播放的声道标识(如,左声道、右声道、中声道、左后声道、或者右后声道),确定方法可以由用户设定,也可以是根据移动设备所处的位置来确定。如果其中一台移动设备确定自身负责播放左声道或者右声道,则直接播放立体声音频文件中包含的左声道信号或者右声道信号;如果其中一台移动设备确定自身负责播放中声道,则需要实时地将立体声音频文件中包含的左声道信号和右声道信号转换成中声道信号进行播放;如果其中一台移动设备确定自身负责播放左后声道或者右后声道,则需要实时地将立体声音频文件中包含的左声道信号和右声道信号转换成左后声道信号或者右后声道信号进行播放。
参阅图5所示,本发明实施例中,假设待播放的音频文件为立体声音频文件,且移动设备中设置的声道标识为中声道的标识,则基于音立体声音频文件中包含的左声道信号和右声道信号生成中声道信号的步骤如下:
步骤500:移动设备将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号。
本发明实施例中,为了便于实时转换及播放,将立体声音频文件中包含的左声道信号和右声道信号分别按照相同规格划分为大小相同的帧,每帧中包含相同数目(如,数目N)的采样点,N为正整数。例如,N=512,或者,N=1024。分帧的目的是便于实时处理,每处理完一帧,就可以直接播放这一帧处理后得到的音频数据,而不用等整个立体声音频文件都处理完才进行播放。为了便于描述,后续本实施例中,以对一帧声道信号的处理为例进行介绍。
具体的,本发明实施例中,例如,可以采用离散傅里叶变换(DFT)、快速傅里叶变换(FFT)、余弦变换(DCT)等等方法将当前帧的左声道信号经频域变换得到左声道频域信号SL,以及将当前帧的右声道信号经频域变换得到右声道频域信号SR。以DCT为例,将当前帧的左声道信号sL(也称为左声道时域信号)和当前帧的右声道信号sR(也称为右声道时域信号)分别进行频域变换时,可以采用如下公式:
其中,n为采用点的序号,k为生成点的序号,e为自然对数的底。
FFT实质上是DFT的快速算法,计算过程不一样,但得到的结果是一样的或者是相近的。因为移动设备一般计算能力比台式机要弱,使用电池还要考虑减小计算复杂度来节约用电,因此,较佳的,也可以采用FFT进行上述过程的计算。经傅里叶变换后的信号是复数,即具有实部和虚部。
步骤510:移动设备将转换后的左声道频域信号和右声道频域信号SR分别基于相同的子带规格划分为多个子带频域信号,再分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号计算相应子带规格的联合协方差矩阵系数。
本发明实施例中,不同的子带规格即是指不同的声音频段,换言之,不同的子带规格可以视为不同的声源信号。移动设备按照连续的声音频段将左声道频域信号SL划分为若干左声道子带频域信号,以及按照相同的连续的声音频段将右声道频域信号SR划分为若干右声道子带频域信号,因此,同一种声音频段会对应一个左声道子带频域信号和一个右声道子带频域信号。
以任意一种子带规格为例,其对应的联合协方差矩阵系数有三个,分别表示为rLL、rRR、rLR,这是因为音频信号中,每个子带规格对应的信号分布都不一样,因此,将频域信号分成子带频域信号进行处理有助于提升音频信号质量。
在计算任意一种子带规格对应的联合协方差矩阵系数时,可以采用以下公式:
其中Nsb表示子带规格的数目,k表示子带规格的索引号,i表示频域信号的索引号;start(k)表示第k种子带规格的起始点,end(k)表示第k种子带规格的结束点,start(k)和end(k)都是正整数,end(k)>start(k);SL表示左声道频域信号,SR表示右声道频域信号,表示取复数的实部,Ι表示取复数的虚部。
步骤520:移动设备分别对每一种子带规格对应的联合协方差矩阵系数进行帧间平滑处理,得到每一种子带规格对应的平滑联合协方差矩阵系数。
具体的,在针对任意一种子带规格的联合协方差矩阵系数进行平滑处理时,可以采用以下公式:
其中和表示当前帧中第k种子带规格对应的的平滑协方差矩阵系数;和表示上一帧中第k种子带规格对应的平滑协方差矩阵系数,wsm1表示预设的第一平滑系数,wsm2表示预设的第二平滑系数,第一平滑系数和第二平滑系数都是正数,通常情况下,wsm1+wsm2=1,例如:当wsm1=0.8,则wsm2=0.2。
当然,步骤520是对步骤510的优化操作,根据具体应用环境的不同,必要时,也可以不执行步骤520,而直接执行步骤530。
步骤530:移动设备分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度。
较佳的,可以采用反正切函数(即atan)来计算上述任意一种子带规格对应的联合协方差角度,具体可以采用以下公式:
其中和表示当前帧中第k种子带规格对应的的平滑协方差矩阵系数。
步骤540:移动设备分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度。
具体的,可以采用以下公式对上述任意一种子带规格对应的联合协方差角度进行平滑处理:
其中,α(k)表示当前帧中的第k种子带规格的联合协方差角度,表示是上一帧中的第k种子带规格的平滑联合协方差角度;wsm1是表示预设的第一平滑系数,wsm2表示预设的是第二平滑系数,第一平滑系数和第二平滑系统都是正数,通常情况下,wsm1+wsm2=1,例如:当wsm1=0.85,则wsm2=0.15。
当然,步骤540是对步骤530的优化操作,根据具体应用环境的不同,必要时,也可以不执行步骤540,而直接执行步骤550。
步骤550:移动设备分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的中声道子带频域信号。
具体的,移动设备可以采用加权加法使用以下公式计算任意一个中声道子带频域信号:
其中,SC(s)表示第k种子带规格对应的中声道子带频域信号,即表示s点的取值从start(k)到end(k)那么多点构成的一个中声道子带频域信号,g表示预设的能量控制因子,取值为正数,例如,wL(k)和wR(k)均表示预设的第k种子带规格对应的加权因子,SL(s)表示第k种子带规格左声道子带频域信号,SR(s)表示第k种子带规格右声道子带频域信号,s表示生成点的序号,start(k)表示第k种子带规格的起始点,end(k)表示第k种子带规格的结束点。
显然,按照不同的子带规格分别计算对应的中声道子带频域信号,即是基于不同的声源信号来计算中声道子带频域信号,这样,可以有效提高最终获得的中声道频域信号的准确性。后续采用不同子带规格计算其他声道频域信号的原理亦是如此,将不再赘述。
步骤560:移动设备将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号(即中声道时域信号)。
具体的,在进行反频域变换时,移动设备可以采用反离散傅里叶变换)IDFT)、反快速傅里叶变换(IFFT)和反离散余弦变换(IDCT)等等方法,得到中声道信号sC(i)(时域)。以IDFT为例,所采用的公式如下:
其中,i表示中声道时频信号的索引号,SC(k)表示中声道频域信号,k表示中声道频域信号的索引号,N表示每一帧中的采样点数目,e为自然对数的底。
这样,当多个移动设备获得立体声音频文件时,可以基于立体声音频文件中包含的左声道信号和右声道信号分别生成符合其各自声道标识的声道信号进行播放,例如,参阅图3所示,移动设备1基于立体声音频文件1中包含的左声道信号和右声道信号生成中声道信号进行播放;移动设备2将立体声音频文件中包含的左声道信号直接播放;移动设备3将立体声音频文件中包含的右声道信号直接播放;移动设备4基于立体声音频文件1中包含的左声道信号和右声道信号生成左后声道信号进行播放;移动设备5基于立体声音频文件1中包含的左声道信号和右声道信号生成右后声道信号进行播放。显然,采用这种方式可以避免各个移动设备执行相同的操作,同时又增加了立体声音频文件1的声道数目,扩大了立体声音频文件1的声场,提升了立体声音频文件1的播放效果。
参阅图6所示,本发明实施例中,假设待播放的音频文件为立体声音频文件,且移动设备中设置的声道标识为左后声道的标识(或右后声道的标识),则基于音立体声音频文件中包含的左声道信号和右声道信号生成左后声道的信号(或右后声道的信号)的步骤如下:
步骤600:移动设备将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号。
本发明实施例中,为了便于实时转换及播放,将立体声音频文件中包含的左声道信号和右声道信号分别按照相同规格划分为大小相同的帧,每帧中包含相同数目(如,数目N)的采样点,N为正整数。例如,N=512,或者,N=1024。分帧的目的是便于实时处理,每处理完一帧,就可以直接播放这一帧处理后得到的音频数据,而不用等整个立体声音频文件都处理完才进行播放。为了便于描述,后续本实施例中,以对一帧声道信号的处理为例进行介绍。
具体的,在进行频域变换时所采用的方式与步骤500相同,具体参阅步骤500,在此不再赘述。
步骤610:移动设备将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,再分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号计算相应子带规格的联合协方差矩阵系数。
本发明实施例中,生成联合协方差矩阵系数的方式与步骤510相同,具体参见步骤510,在此不再赘述。
步骤620:移动设备分别对每一种子带规格对应的联合协方差矩阵系数进行帧间平滑处理,得到每一种子带规格对应的平滑联合协方差矩阵系数。
本发明实施例中,对生成的联合协方差矩阵系数进行平滑处理的方式与步骤520相同,具体参见步骤520,在此不再赘述。
步骤630:移动设备分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度。
本发明实施例中,计算上述联合协方差角度的方式与步骤530相同,具体参见步骤530,在此不再赘述。
步骤640:移动设备分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度。
本发明实施例中,计算上述平滑联合协方差角度的方式与步骤540相同,具体参见步骤540,在此不再赘述。
步骤650:移动设备分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号、每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号。
具体的,移动设备可以采用加权减法使用以下公式计算任意一个后声道子带频域信号:
其中,SS(s)表示第k种子带规格对应的后声道子带频域信号,即表示s点的取值从start(k)到end(k)那么多点构成的一个后声道子带频域信号,g表示预设的能量控制因子,取值为正数,例如,g=1.414;wL(k)和wR(k)均表示预设的第k种子带规格对应的加权因子,SL(s)表示第k种子带规格对应的左声道子带频域信号,SR(s)表示第k种子带规格对应的右声道子带频域信号,s表示生成点的序号,start(k)表示第k种子带规格的起始点,end(k)表示第k种子带规格的结束点。
通过加权减法,可以较好的减弱音频信号中的人声信号,因为在实际应用中,人声信号一般是从前方传过来的。
步骤660:若移动设备保存的声道标识为左后声道的标识,则移动设备分别根据获得的每一个子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一个子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号(即左后声道时域信号)。
具体的,移动设备可以采用加权加法使用以下公式计算任意一个左后声道子带频域信号,记为SSL(s)。
其中,SSL(s)表示第k种子带规格对应的左后声道子带频域信号,即表示s点的取值从start(k)到end(k)那么多点构成的一个左后声道子带频域信号,SS[s]表示第k种子带规格对应的后声道子带频域信号,SL[s]表示第k种子带规格对应的左声道子带频域信号,w1表示预设的第一加权系数,w2表示预设的第二加权系数,通常情况下,w1+w2=1,例如:w1=0.9,则w2=0.1,s表示生成点的序号,start(k)表示第k种子带规格的起始点,end(k)表示第k种子带规格的结束点
而在将获得的各个左后声道子带频域信号合并为左后声道频域信号后,在对左后声道频域信号进行频域变换时,移动设备可以采用反离散傅里叶变换)IDFT)、反快速傅里叶变换(IFFT)和反离散余弦变换(IDCT)等等方法,得到左后声道信号sSL(i)(时域)。以IDFT为例,所采用的公式如下:
其中,i表示左后声道时频信号的索引号,SSL(k)表示左后声道频域信号,k表示左后声道频域信号的索引号,N表示每一帧中的采样点数目,e为自然对数的底。
步骤670:若移动设备保存的声道标识为右后声道的标识,则移动设备分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号(即右后声道时域信号)。
具体的,移动设备可以采用加权加法使用以下公式计算任意一个左后声道子带频域信号,记为SSR(s):
其中,SSR(s)表示第k种子带规格对应的右后声道子带频域信号,即表示s点的取值从start(k)到end(k)那么多点构成的一个右后声道子带频域信号,SS[s]表示第k种子带规格对应的后声道子带频域信号,SR[s]表示第k种子带规格对应的右声道子带频域信号,w1表示预设的第一加权系数,w2表示预设的第二加权系数,通常情况下,w1+w2=1,例如:w1=0.9,则w2=0.1,s表示生成点的序号,start(k)表示第k种子带规格的起始点,end(k)表示第k种子带规格的结束点。
而在将获得的各个右后声道子带频域信号合并为右后声道频域信号后,在对右后声道频域信号进行频域变换时,移动设备可以采用反离散傅里叶变换)IDFT)、反快速傅里叶变换(IFFT)和反离散余弦变换(IDCT)等等方法,得到右后声道信号sSR(i)(时域)。以IDFT为例,所采用的公式如下:
其中,i表示右后声道时频信号的索引号,SSR(k)表示右后声道频域信号,k表示右后声道频域信号的索引号,N表示每一帧中的采样点数目,e为自然对数的底。
通过上述步骤650和步骤660,移动设备可以去除后声道频域信号SS(s)中可能出现的频谱空洞,避免了帧间频谱突变导致的噪声。
第二场景,假设多台移动设备协作播放一个单声道音频文件,每台移动设备确定自身负责播放的声道标识(如,左声道、右声道、中声道、左后声道、或者右后声道),确定方法可以由用户设定,也可以是根据移动设备所处的位置来确定。如果其中一台移动设备确定自身播放中声道,则直接播放单声道音频文件中包含的单声道信号;如果其中一台移动设备确定自身负责播放左声道或者右声道,则采用全通滤波方式将单声道音频文件中包含的单声道信号转换为左声道信号或右声道信号进行播放;如果其中一台移动设备确定自身负责播放左后声道或者右后声道,则需要实时地将基于单声道信号转换获得的左声道信号和右声道信号再次转换成左后声道信号或者右后声道信号进行播放。
具体的,移动设备在获得单声道音频文件后,先将其中包含的单声道信号分成相同大小的帧,每帧包含同样多的样点数目N。本发明实施例中,为了便于实时转换及播放,将单声道音频文件中包含的单声道信号划分为大小相同的帧,每帧中包含相同数目(如,数目N)的采样点,N为正整数。例如,N=512,或者,N=1024。分帧的目的是便于实时处理,每处理完一帧,就可以直接播放这一帧处理后得到的音频数据,而不用等整个单声道音频文件都处理完才进行播放。为了便于描述,后续实施例中,以对一帧单声道信号的处理为例进行介绍。
接着,移动设备将当前帧的单声道信号sM进行全通滤波,全通滤波器会让输入信号的所有频段的信号都能全部通过,但是会改变信号的相位和时延。如果移动设备负责播放左声道,则采用时延为dL的全通滤波器,得到左声道信号sL;如果移动设备负责播放右声道,则采用时延为dR的全通滤波器,得到右声道信号sR,dL和dR都是非负整数,且dL≠dR,例如,dL=5,dR=400。对左右声道采用不同时延的全通滤波器,可以在协作播放时,形成方位感和立体感,起到把单声道信号变为立体声信号的作用。
然后,移动设备可以基于获得的转换后的左声道信号和右声道信号生成与本地保存的声道标识匹配的左后声道信号或者右后声道信号进行播放,具体的实现方式与步骤600-步骤660相同,在此不再赘述。
这样,当多个移动设备获得单声道音频文件时,可以将单声道音频文件中包含的单声道信号分别转换为符合其各自声道标识的声道信号进行播放,例如,参阅图3所示,移动设备1将单声道音频文件1中包含的单声道信号作为中声道信号播放;移动设备2将单声道音频文件1中包含的单声道信号转换为左声道信号后进行播放;移动设备3将单声道音频文件1中包含的单声道信号转换为右声道信号后进行播放;移动设备4将单声道音频文件1中包含的单声道信号转换为左后声道信号后进行播放;移动设备5将单声道音频文件1中包含的单声道信号转换为右后声道信号后进行播放;显然,采用这种方式可以避免各个移动设备执行相同的操作,同时又增加了单声道音频文件1的声道数目,扩大了单声道音频文件1的声场,提升了单声道音频文件1的播放效果。
参阅图7所示,为实现上述步骤400-步骤430,本发明实施例中提供了一种移动设备,该移动设备包括获取单元70和处理单元71,其中,
获取单元70,用于获取音频文件,并获取音频文件中包含的声道信号,以及获取预先存储的声道标识;
处理单元71,用于在确定获取的声道信号与声道标识匹配时,播放与声道标识匹配的声道信号;以及在确定获取的声道信号与声道标识不匹配时,基于音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号,并播放生成的与声道标识匹配的声道信号。
处理单元71具体用于:
若音频文件为立体声音频文件,则处理单元71在确定声道标识为左声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的左声道信号;或者,处理单元在确定声道标识为右声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的右声道信号;
若音频文件为单声道音频文件,则处理单元71在确定声道标识为中声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放单声道音频文件中的单声道信号。
在确定获取的声道信号与声道标识不匹配时,处理单元71具体用于:
若音频文件为立体声音频文件,则处理单元71根据立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号;
若音频文件为单声道音频文件,则处理单元71先采用全通滤波方式将单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号。
若音频文件为立体声音频文件且声道标识为中声道的标识,则处理单元71具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
若音频文件为立体声音频文件或单声道音频文件,且声道标识为左后声道的标识或右后声道的标识,则处理单元71具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
参阅图8所示,为实现上述步骤400-步骤430,本发明实施例中提供了一种移动设备,该移动设备包括存储器80和处理器81,其中,
存储器80,用于存储音频文件,以及存储预先设置的声道标识;
处理器81,用于获取音频文件,并获取音频文件中包含的声道信号,以及获取预先存储的声道标识;在确定获取的声道信号与声道标识匹配时,播放与声道标识匹配的声道信号;以及在确定获取的声道信号与声道标识不匹配时,基于音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号,并播放生成的与声道标识匹配的声道信号。
处理器81具体用于:
若音频文件为立体声音频文件,则处理器81在确定声道标识为左声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的左声道信号;或者,处理器在确定声道标识为右声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放立体声音频文件中包含的右声道信号;
若音频文件为单声道音频文件,则处理器81在确定声道标识为中声道的标识时,确认获取的声道信号与声道标识匹配,并直接播放单声道音频文件中的单声道信号。
在确定获取的声道信号与声道标识不匹配时,处理器81具体用于包括:
若音频文件为立体声音频文件,则处理器81根据立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号;
若音频文件为单声道音频文件,则处理器81先采用全通滤波方式将单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与声道标识匹配的声道信号。
若音频文件为立体声音频文件且声道标识为中声道的标识,则处理器81具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
若音频文件为立体声音频文件或单声道音频文件,且声道标识为左后声道的标识或右后声道的标识,则处理器81具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
综上所述,本发明实施例中,每个移动设备首先确定自身负责播放的声道标识,然后,若确定获得的音频文件中包含有与本地声道标识匹配的声道信号,则直接播放该声道信号,若确定获得的音频文件中未包含有与本地声道标识匹配的声道信号,则基于该声道信号生成与本地声道标识匹配的声道信号并进行播放。这样,避免了每个移动设备都做同样的操作,并且不需要每个移动设备都生成所有声道的信号,从而减小了算法复杂度,有利于降低移动设备的工作负荷,节约了电能;同时,当存在多个移动设备时,又可以确保按照使用需求增加音频文件的声道数目,既提升了音频文件的声场,又提高了音频文件的播放效果。
当然,本发明实施例中提供的技术方案可以应用到其他需要将单声道或立体声信号转换为多声道信号的场景中,其算法复杂度低,转换后的声音质量完全可以满足用户需求,并且还可以有效削弱左后声道和右后声道中的人声。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种音频文件的播放方法,其特征在于,包括:
获取音频文件,并获取所述音频文件中包含的声道信号;
获取预先存储的声道标识;
若获取的所述声道信号与所述声道标识匹配,则播放所述与所述声道标识匹配的声道信号;
若获取的所述声道信号与所述声道标识不匹配,则基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号。
2.如权利要求1所述的方法,其特征在于,若获取的所述声道信号与所述声道标识匹配,则播放所述与所述声道标识匹配的声道信号,包括:
若所述音频文件为立体声音频文件,则在确定所述声道标识为左声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的左声道信号;或者,在确定所述声道标识为右声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的右声道信号;
若所述音频文件为单声道音频文件,则在确定所述声道标识为中声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述单声道音频文件中的单声道信号。
3.如权利要求1所述的方法,其特征在于,包括:若获取的所述声道信号与所述声道标识不匹配,则基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号,包括:
若所述音频文件为立体声音频文件,则根据所述立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号;
若所述音频文件为单声道音频文件,则先采用全通滤波方式将所述单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号。
4.如权利要求3所述的方法,其特征在于,若所述音频文件为立体声音频文件且所述声道标识为中声道的标识,则基于左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,包括:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
5.如权利要求3所述的方法,其特征在于,若所述音频文件为立体声音频文件或单声道音频文件,且所述声道标识为左后声道的标识或右后声道的标识,则基于左声道信号和右声道信号生成与所述声道标识匹配的声道信号,包括:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若所述声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若所述声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
6.一种移动设备,其特征在于,包括:
获取单元,用于获取音频文件,并获取所述音频文件中包含的声道信号,以及获取预先存储的声道标识;
处理单元,用于在确定获取的所述声道信号与所述声道标识匹配时,播放所述与所述声道标识匹配的声道信号;以及在确定获取的所述声道信号与所述声道标识不匹配时,基于所述音频文件包含的声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号,并播放所述生成的与所述声道标识匹配的声道信号。
7.如权利要求6所述的移动设备,其特征在于,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元在确定所述声道标识为左声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的左声道信号;或者,所述处理单元在确定所述声道标识为右声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述立体声音频文件中包含的右声道信号;
若所述音频文件为单声道音频文件,则所述处理单元在确定所述声道标识为中声道的标识时,确认获取的声道信号与所述声道标识匹配,并直接播放所述单声道音频文件中的单声道信号。
8.如权利要求6所述的移动设备,其特征在于,在确定获取的所述声道信号与所述声道标识不匹配时,所述处理单元具体用于:
若所述音频文件为立体声音频文件,则所述处理单元根据所述立体声音频文件中包含的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号;
若所述音频文件为单声道音频文件,则所述处理单元先采用全通滤波方式将所述单声道音频文件中包含的单声道信号分别转换为左声道信号和右声道信号,再基于转换后的左声道信号和右声道信号对应的联合协方差矩阵系数及联合协方差角度,生成与所述声道标识匹配的声道信号。
9.如权利要求8所述的移动设备,其特征在于,若所述音频文件为立体声音频文件且所述声道标识为中声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算每一种子带规格对应的中声道子带频域信号;
将获得的各个中声道子带频域信号进行合并,得到中声道频域信号,并将中声道频域信号进行反频域变换,获得中声道信号。
10.如权利要求8所述的移动设备,其特征在于,若所述音频文件为立体声音频文件或单声道音频文件,且所述声道标识为左后声道的标识或右后声道的标识,则所述处理单元具体用于:
将当前帧的左声道信号转换为左声道频域信号,以及将当前帧的右声道信号转换为右声道频域信号;
将转换后的左声道频域信号和右声道频域信号分别基于相同的子带规格划分为多个子带频域信号,并分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号生成相应子带规格的联合协方差矩阵系数,以及分别对每一种子带规格对应的联合协方差矩阵系数进行平滑处理,获得每一种子带规格对应的平滑联合协方差矩阵系数;
分别根据每一种子带规格的平滑联合协方差矩阵系数,计算每一种子带规格对应的联合协方差角度,以及分别对每一种子带规格对应的联合协方差角度进行帧间平滑,得到每一种子带规格对应的平滑联合协方差角度;
分别根据每一种子带规格对应的左声道子带频域信号和右声道子带频域信号,以及每一种子带规格对应的平滑联合协方差角度,计算出每一种子带规格对应的后声道子带频域信号;
若所述声道标识为左后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和左声道子带频域信号,计算获得每一种子带规格对应的左后声道子带频域信号,再将获得的各个左后声道子带频域信号进行合并,得到左后声道频域信号,以及将左后声道频域信号进行反频域变换,获得左后声道信号;
若所述声道标识为右后声道的标识,则分别根据获得的每一种子带规格对应的后声道子带频域信号和右声道子带频域信号,计算获得每一种子带规格对应的右后声道子带频域信号,再将获得的各个右后声道子带频域信号进行合并,得到右后声道频域信号,以及将右后声道频域信号进行反频域变换,获得右后声道信号。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310393430.XA CN104424971B (zh) | 2013-09-02 | 2013-09-02 | 一种音频文件播放方法及装置 |
PCT/CN2014/076035 WO2015027711A1 (zh) | 2013-09-02 | 2014-04-23 | 一种音频文件播放方法及装置 |
US15/057,508 US10021500B2 (en) | 2013-09-02 | 2016-03-01 | Audio file playing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310393430.XA CN104424971B (zh) | 2013-09-02 | 2013-09-02 | 一种音频文件播放方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104424971A CN104424971A (zh) | 2015-03-18 |
CN104424971B true CN104424971B (zh) | 2017-09-29 |
Family
ID=52585500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310393430.XA Active CN104424971B (zh) | 2013-09-02 | 2013-09-02 | 一种音频文件播放方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10021500B2 (zh) |
CN (1) | CN104424971B (zh) |
WO (1) | WO2015027711A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947978B (zh) * | 2017-07-28 | 2021-04-02 | 杭州海康威视数字技术股份有限公司 | 一种音频存储、播放方法及装置 |
CN110392045B (zh) * | 2019-06-28 | 2022-03-18 | 上海元笛软件有限公司 | 音频播放方法、装置、计算机设备和存储介质 |
CN112788350B (zh) * | 2019-11-01 | 2023-01-20 | 上海哔哩哔哩科技有限公司 | 直播控制方法、装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1188572A (zh) * | 1996-02-08 | 1998-07-22 | 菲利浦电子有限公司 | 兼容2-声道传输和1-声道传输的n-声道传输 |
CN1524399A (zh) * | 2001-02-07 | 2004-08-25 | ʵ | 声道转换 |
CN101547245A (zh) * | 2008-03-25 | 2009-09-30 | 中兴通讯股份有限公司 | 利用手机播放多声道音频文件的方法 |
CN102340730A (zh) * | 2010-07-23 | 2012-02-01 | 希姆通信息技术(上海)有限公司 | 多台手机配合播放多声道立体声的方法 |
CN103067848A (zh) * | 2012-12-28 | 2013-04-24 | 北京小米科技有限责任公司 | 实现多声道播放声音的方法、设备及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20001570A (fi) | 2000-06-30 | 2001-12-31 | Nokia Corp | Synkronoitu palveluntarjonta tietoliikenneverkossa |
JP4264037B2 (ja) * | 2004-06-30 | 2009-05-13 | 株式会社ケンウッド | 音響装置および再生モード設定方法 |
CN101465910B (zh) | 2009-01-12 | 2012-10-03 | 华为终端有限公司 | 基于移动终端的立体声播放控制方法、终端与系统 |
KR101090962B1 (ko) * | 2010-03-11 | 2011-12-08 | 광주과학기술원 | 오디오 업믹싱 장치 및 방법 |
CN102387171B (zh) | 2010-08-25 | 2016-08-03 | 株式会社Ntt都科摩 | 音乐的多端协同播放方法、多端协同音乐播放系统 |
-
2013
- 2013-09-02 CN CN201310393430.XA patent/CN104424971B/zh active Active
-
2014
- 2014-04-23 WO PCT/CN2014/076035 patent/WO2015027711A1/zh active Application Filing
-
2016
- 2016-03-01 US US15/057,508 patent/US10021500B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1188572A (zh) * | 1996-02-08 | 1998-07-22 | 菲利浦电子有限公司 | 兼容2-声道传输和1-声道传输的n-声道传输 |
CN1524399A (zh) * | 2001-02-07 | 2004-08-25 | ʵ | 声道转换 |
CN101547245A (zh) * | 2008-03-25 | 2009-09-30 | 中兴通讯股份有限公司 | 利用手机播放多声道音频文件的方法 |
CN102340730A (zh) * | 2010-07-23 | 2012-02-01 | 希姆通信息技术(上海)有限公司 | 多台手机配合播放多声道立体声的方法 |
CN103067848A (zh) * | 2012-12-28 | 2013-04-24 | 北京小米科技有限责任公司 | 实现多声道播放声音的方法、设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
US10021500B2 (en) | 2018-07-10 |
US20160183023A1 (en) | 2016-06-23 |
CN104424971A (zh) | 2015-03-18 |
WO2015027711A1 (zh) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106105269B (zh) | 音频信号处理方法和设备 | |
US10469978B2 (en) | Audio signal processing method and device | |
CN101263741B (zh) | 产生和处理表示hrtf的参数的方法和设备 | |
CN105900457B (zh) | 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统 | |
CN105900455B (zh) | 用于处理音频信号的方法和设备 | |
CN106658343B (zh) | 用于渲染音频声场表示以供音频回放的方法和设备 | |
CN104285390B (zh) | 压缩和解压缩高阶高保真度立体声响复制信号表示的方法及装置 | |
CN103329571B (zh) | 沉浸式音频呈现系统 | |
KR101521368B1 (ko) | 다중 채널 오디오 신호를 분해하는 방법, 장치 및 머신 판독가능 저장 매체 | |
KR101572894B1 (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
US9424852B2 (en) | Determining the inter-channel time difference of a multi-channel audio signal | |
JP4850948B2 (ja) | 空間効果を考慮に入れたバイノーラル合成のための方法 | |
CN105409247A (zh) | 用于音频信号处理的多声道直接-周围分解的装置及方法 | |
CN104134444B (zh) | 一种基于mmse的歌曲去伴奏方法和装置 | |
JP6377249B2 (ja) | オーディオ信号の強化のための装置と方法及び音響強化システム | |
CN103348703A (zh) | 用以利用预先算出的参考曲线来分解输入信号的装置和方法 | |
TW201251479A (en) | Apparatus and method for generating an output signal employing a decomposer | |
KR20130112898A (ko) | 시간 변화 정보를 갖는 기저 함수를 사용한 음악 신호의 분해 | |
CN103650538A (zh) | 用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置 | |
CN111724757A (zh) | 一种音频数据处理方法及相关产品 | |
CN104424971B (zh) | 一种音频文件播放方法及装置 | |
CN104981866A (zh) | 用于确定立体声信号的方法 | |
WO2018193160A1 (en) | Ambience generation for spatial audio mixing featuring use of original and extended signal | |
WO2023228437A1 (ja) | 情報処理方法、情報処理システムおよびプログラム | |
Zea | A framework for spatial rendering of amplified musical instruments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |