CN108281146A - 一种短语音说话人识别方法和装置 - Google Patents

一种短语音说话人识别方法和装置 Download PDF

Info

Publication number
CN108281146A
CN108281146A CN201711472767.4A CN201711472767A CN108281146A CN 108281146 A CN108281146 A CN 108281146A CN 201711472767 A CN201711472767 A CN 201711472767A CN 108281146 A CN108281146 A CN 108281146A
Authority
CN
China
Prior art keywords
speaker
feature vector
phrase sound
reference model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711472767.4A
Other languages
English (en)
Other versions
CN108281146B (zh
Inventor
苏鹏程
张凡
张一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Real Time Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Real Time Technology Co Ltd filed Critical Qingdao Real Time Technology Co Ltd
Priority to CN201711472767.4A priority Critical patent/CN108281146B/zh
Publication of CN108281146A publication Critical patent/CN108281146A/zh
Application granted granted Critical
Publication of CN108281146B publication Critical patent/CN108281146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • G10L17/08Use of distortion metrics or a particular distance between probe pattern and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种短语音说话人识别方法和装置,方法包括:对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算测试特征向量与说话人语音参考模型之间的距离,并根据距离识别短语音说话人的身份。本实施例的短语音说话人识别方法和装置通过提取梅尔频率倒谱系数作为特征,利用特征以及自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型,执行模式匹配后识别出短语音说话人的身份,提高了识别正确率,满足了实际应用需求。

Description

一种短语音说话人识别方法和装置
技术领域
本发明涉及语音识别技术领域,特别涉及一种短语音说话人识别方法和装置。
背景技术
在现代社会,随着信息技术的发展,如何进行个人身份的识别进而保护私人数据,有着越来越广泛的需求。利用人的生物特征进行识别是一种既方便又可靠的选择,如指纹、虹膜、声音等。相对于指纹、虹膜识别来说,人声的采集成本低廉、操作简便,同时声音带有较强的个人特性,可以利用声音作为一种方便的识别说话人身份的手段。对于短语音说话人识别,由于语音时间很短,提取的特征有限,说话人识别性能不高,难以满足实际应用需求。
发明内容
本发明提供了一种短语音说话人识别方法和装置,以解决现有技术短语音说话人识别性能不高,难以满足实际需求的问题。
根据本申请的一个方面,提供了一种短语音说话人识别方法,该短语音说话人识别方法包括:
对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
根据本申请的另一个方面,提供了一种短语音说话人识别装置,该短语音说话人识别装置包括:
模型训练单元,用于对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
说话人识别单元,用于对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
根据本申请的又一个方面,提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现本申请的一个方面的短语音说话人识别方法。
本发明的有益效果是:本发明实施例的短语音说话人识别方法和装置,对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型并保存;对输入的测试短语音信号预处理后,提取相同特征得到测试特征向量后计算测试特征向量与说话人语音参考模型之间的距离,并根据距离识别短语音说话人的身份。本实施例的短语音说话人识别方法和装置利用新的自适应核可能性模糊C均值聚类算法(AKPFCM)进行聚类建模,克服了在短语音情况下说话人识别性能下降的缺陷,提高了短语音识别正确率,满足了实际应用需求。
附图说明
图1为本发明一个实施例的短语音说话人识别方法的流程图;
图2为本发明一个实施例的短语音说话人识别原理图;
图3为本发明一个实施例的语音信号预处理的流程图;
图4为本发明一个实施例的MFCC特征提取的流程图;
图5为本发明一个实施例的AKPFCM算法流程图;
图6为本发明一个实施例的短语音说话人识别装置的框图;
图7为本发明一个实施例的电子设备的结构示意图。
具体实施方式
本发明的发明构思是:目前的声纹识别技术,对于较长语音一般具有较好的识别性能,但对于短语音说话人识别,由于语音时间很短,随着语音时间长度的缩短,提取的特征有限,性能会下降很多。对此,本发明实施例提出一种短语音说话人识别方案,本实施例的技术方案通过对提取的MFCC(Mel Frequency Cepstral Coefficents,梅尔频率倒谱系数)语音特征进行了改进,并提出了新的AKPFCM(Adaptive Kernel Possibility Fuzzy C-means,自适应核可能性模糊C-均值)聚类算法,以及采用高维特征空间中的可能性模糊分类器实现可靠的说话人识别,在很短的语音情况下(如1~2秒),仍能具有很高的识别性能。通过本实施例提出的改进算法,克服了在短语音情况下说话人识别性能下降的缺陷,提高了系统的识别率。
图1为本发明一个实施例的短语音说话人识别方法的流程图,参见图1,本实施例的短语音说话人识别方法包括下列步骤:
步骤S101,对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
步骤S102,对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
由图1所示可知,本实施例的短语音说话人识别方法,对预处理后的语音信号,提取梅尔频率倒谱系数作为特征,利用自适应核可能性模糊C均值聚类算法进行聚类建立参考模型,将测试特征和说话人语音参考模型进行匹配,识别出短语音说话人的身份。由于AKPFCM算法克服了FCM(Fuzzy C-Means,模糊C均值)聚类算法对噪声的敏感,以及PCM(Possibility C-Means,可能性C-均值)算法对初始化类中心敏感,易导致一致性聚类的缺点。而且,通过使用高斯核函数,将说话人的语音特征映射到高维特征空间,能够较好地分辨、提取并放大有用的特征,扩大了模式之间的差异,提高了短语音的说话人识别性能。
同时,根据数据集的离散程度自适应选择高斯核的宽度,不需要通过大量的实验去确定合适的值。在每次的聚类迭代过程中,根据当前聚类中心的分布情况自适应更新高斯核函数的宽度参数,使得特征数据在高维空间中具有不同的伸缩能力,有利于找到更优的聚类中心,避免陷入局部最优值。
图2为本发明一个实施例的短语音说话人识别原理图,如图2所示,短语音说话人识别主要包括预处理、特征提取、模式匹配和判决四个部分。其中在训练环节,输入的训练语音经过预处理、特征提取后通过自适应核可能性模糊C均值聚类算法聚类分析建立说话人语音参考模型。在测试环节,测试语音经过预处理、特征提取后得到特征向量序列,然后与说话人语音参考模型进行模式匹配,根据匹配结果判决待识别说话人的身份得到识别结果。
以下结合图3至图5对图2中短语音说话人识别的各个部分进行具体说明。
(一)预处理
如图3所示预处理过程主要包括下列操作:
(1)预加重
对于语音信号的频谱,通常是频率越高,幅值越小。因此,需要对高频进行加重处理,一般是将语音信号通过一个一阶高通滤波器(即,预加重滤波器),公式如下:
y(n)=x(n)-μ*x(n-1)
其中μ为滤波器参数,取值介于0.9~1.0之间,通常可以取0.97。预加重的目的是滤除低频干扰,将对语音识别更为有用的高频部分进行频谱提升。
(2)分帧
语音信号具有短时平稳特性。目前,广泛采用短时分析技术,即假设在非常短的时间(5-50ms)内,语音信号是平稳的,可以采用平稳信号的分析方法。因此,需要对语音作分帧处理,具体而言就是将其分割成成很小的时间段(约10~30ms),每个语音片段称为帧,帧与帧的非重叠部分称为帧移,帧移一般取帧长的1/3~1/2。分帧后,语音信号被分为具有N个连续采样的帧,x(n),n=0,…,N-1。
(3)加窗
对语音的分帧是通过窗函数在语音信号上滑动实现,为了保持语音信号的短时平稳性,利用窗函数来减少由截断处理导致的吉布斯效应。通常采用汉明窗W(n)进行处理。即:
s(n)=y(n)*W(n)
(4)端点检测
输入语音信号中可能包含有语音部分和非语音部分,这就需要采用端点检测算法来确定语音的起点和终点,从而只存储和处理有效语音信号。进行端点检测的基本参数主要有短时能量、幅度、过零率和相关函数等。端点检测最常见的方法是采用短时能量和短时过零率的双门限端点检测方法。端点检测为现有技术,这里不做过多说明。
(二)特征提取
特征提取是从输入信号(如预处理语音信号)中提取一组能够描述信号本质属性的特征参数。特征提取不仅能够实现对输入信号的数据压缩,而且能够提取出反映不同模式之间差异的特征,为进一步的识别提供基础。
MFCC特征基于人耳听觉感知原理,采用Mel(梅尔)尺度对频带进行划分并提取倒谱特征。MFCC被广泛使用在语音识别以及说话人识别领域。
本实施例改进了MFCC语音特征提取过程,降低了复杂度,减少了信号失真,增强了语音信号中的个性化特征。
如图4所示,改进后MFCC特征提取过程主要包括以下几个部分。
(1)快速傅里叶变换(FFT)
对加窗的信号作快速傅里叶变换,获得频谱分布信息。
(2)求频谱幅度
对短语音信号的频谱取绝对值获得幅度谱。
本实施例没有像传统方法那样取幅度的平方,而是直接取频谱绝对值,这样在降低计算复杂度的同时提高了对噪声的鲁棒性。
(3)梅尔滤波
即,将幅度谱通过一组有Q个滤波器的滤波器组。本发明采用高斯带通滤波器组代替传统的三角形滤波器组。高斯滤波器在两端是逐渐衰减的并且是对称的,可以保留语音信号每个子带及其相邻子带的相关信息,减少失真。该高斯滤波器表示为:
其中Q为滤波器的个数。σi为标准差,计算公式为:
这里的α为方差控制参数,实际应用时需要根据试验选择一个合适的值。kbi为每个子带的中心,在Mel频率尺度上是均匀分布的,计算公式为:
其中,函数fmel(·)为Mel频率的计算,fs为采样频率,fhigh和flow为滤波器组的最高和最低频率边界点,fhigh=Fs/2,flow=Fs/N,为fmel(·)的逆函数。
第i个高斯滤波器的输出信号为:
(4)取对数
对上述(3)梅尔滤波后每个滤波器的输出信号取对数,计算每个滤波器输出的对数。
(5)离散余弦变换
这里将每个高斯带通滤波器的对数能量带入离散余弦变换,提取得到梅尔频率倒谱系数。也就是将取对数后的数据经过离散余弦变换(DCT)后得到MFCC系数,即
其中,M指MFCC系数的阶数。MFCC系数个数通常取20~30,一般不用0阶倒谱系数。
(三)训练建立参考模型
提取出输入信号的特征向量序列后,通过本发明一个实施例的自适应核可能性模糊C均值聚类算法(AKPFCM)进行聚类分析,生成码本,建立说话人语音参考模型。
本实施例的AKPFCM算法可以克服FCM算法对噪声的敏感,以及PCM算法对初始化类中心敏感,易导致一致性聚类的缺点。另一方面,通过使用核函数,将说话人的语音特征映射到高维特征空间,能够较好地分辨、提取并放大有用的特征,扩大了模式类之间的差异,提高了短时语音的说话人识别性能。同时,根据数据集的离散程度自适应选择高斯核的宽度,不需要通过大量的实验去确定合适的值。而且,在每次的聚类迭代过程中,根据当前聚类中心的分布情况自适应更新高斯核宽度,给特征数据在高维空间中提供了不同的伸缩能力,有利于找到更优的聚类中心,一定程度上避免了陷入局部最优值。
本实施例中,聚类所要解决的问题是把N个特征向量的集合{xk},k=1,…,N(其中xk为M维向量)划分为C个子集(1<C<N),求出每个子集的聚类中心,使得如下的目标函数最小化:
且满足下列约束条件一和二:
条件一,条件二,这里的条件二可以理解为以及
上述公式(1)中,uik∈U表示第k个特征向量对第i类的隶属度;tik∈T表示集合xk属于第i类的可能性,即典型值;m,η>1为模糊加权指数;a,b>0为权重系数;vi∈V为聚类中心;系数γi>0。
通过拉格朗日乘数法最小化目标函数可求得隶属度、典型值和聚类中心。
参见图5,这里的AKPFCM聚类算法通过下降的循环迭代方式,直至找到符合终止条件的U、T和V,此时U、T和V都是最优解。
算法流程开始,首先初始化参数,例如,给定参数C,N,a,b,m,η,以及允许的最大误差ε,最大迭代次数tmax
接着,执行步骤S0,计算初始V0
这里利用LBG算法或FCM等传统算法得到初始的聚类中心V0。LBG算法是由Linde,Buzo,Gray三人在1980年提出的。LBG算法通过训练矢量集和一定的迭代算法来逼近最优的再生码本。
然后,执行下列步骤S1至S8,
步骤S1,计算σ
根据公式(2)和(3)计算高斯核函数的带宽参数σ:
本实施例中,是将输入样本向量集的标准差作为高斯核函数的参数,所以计算输入样本向量集的标准差的过程即为计算高斯核函数的带宽参数σ的过程。
步骤S2,计算γi
这里的γi为系数,利用下列预定公式计算出γi
其中,K(·)为引入的高斯核函数,
其中,σ为高斯带宽参数。选择一个高斯核函数最重要的就是对带宽参数的选择,选择的带宽过小,则导致过学习,选择的带宽过大,又会导致过平滑。本实施例提出自适应确定核函数的宽度参数的方法,将σ设置为给定输入样本向量集的标准差,标准差能够代表数据的离散程度,从而根据当前聚类中心的分布情况自适应更新高斯核函数的宽度参数。
步骤S3,令t=1;
步骤S4,计算σt
即,根据公式(4)和(5),计算在第t次迭代时高斯核函数的带宽参数σt
公式(4)中的
如果在每次的聚类迭代过程中,根据当前计算的聚类中心,按照公式(4)求出聚类中心的标准差作为新的高斯带宽参数σt,如果σt较小,那么聚类中心较接近,则在高维空间中增加数据的离散程度,反之亦然。这是因为在高维空间中的两个数据点间的距离范数为:
||Φ(xk)-Φ(vi))||2=2(1-K(xk,vi))
又根据可知,当σt较小时,则在高维空间中的距离将被放大,这样通过σt就自适应地控制了高维空间中的数据离散程度。即,根据当前的聚类中心分布情况,赋予特征数据在高维空间中不同的伸缩能力,有利于找到更优的聚类中心,一定程度上避免了陷入局部最优值。
步骤S5,计算Ut,Tt,Vt
具体的,根据第t-1次的聚类中心Vt-1和下列公式(6)计算第t次第k个特征向量对第i类的隶属度Ut
根据第t-1次的聚类中心Vt-1和下列公式(7)计算第t次集合xk属于第i类的典型值Tt
根据第t-1次的聚类中心Vt-1和Ut、Tt、下列公式(8)计算第t次的聚类中心Vt
步骤S6,是否满足终止条件;
这里是判断是否满足终止条件,即,判断当||Ut-Ut-1||≤ε或者||Vt-Vt-1||≤ε时,终止迭代并输出对应的Ut、Tt、Vt;其中,ε为预设的最大误差;
步骤S7,t=t+1;将t+1赋值给t;
步骤S8,是否t>tmax
即,判断赋值后的t是否大于最大迭代次数tmax,是则终止迭代并输出对应的Ut、Tt、Vt;否则,返回步骤S4继续执行直至终止迭代。
迭代终止输出U、V、T。其中,V即为聚类中心,也就是对输入信号的特征向量序列训练出来的码本,将码本作为该模式的参考模型。
经过图5所示的步骤,将训练出来的说话人语音参考模型保存到参考模型数据库中以用于下面进一步的模式识别。
至此,训练环节结束。
接下来介绍模式匹配和判决部分。
(四)模式匹配和判决
本发明实施例说话人识别部分是利用训练出的说话人语音参考模型的码本对测试特征向量进行量化,并计算平均量化误差,将算出的平均量化误差作为测试特征向量与说话人语音参考模型之间的距离。当测试特征向量与说话人语音参考模型之间的距离小于或者等于距离阈值时,确定短语音的说话人与说话人语音参考模型指示的参考说话人为同一人。
也就是,在高维特征空间,采用可能性模糊分类器通过计算出平均量化失真作为测试向量序列与参考模型之间的距离,实现更可靠的判决决策,提高系统的识别率。
具体的,对待测试说话人的语音采用与训练同样的预处理和MFCC特征提取过程,得到测试语音特征向量序列X={x1,x2,…,xN}。假设训练得到的参考模型的码本为V={v1,v2,…,vC},隶属度函数矩阵为U,典型值矩阵为T。接下来在高维特征空间中采用该码本对待测试说话人语音特征向量序列X进行量化,并通过下列公式计算产生的平均量化误差:
将此平均量化误差作为测试向量序列与说话人语音参考模型之间的距离,根据该平均量化误差对测试短语音说话人的身份进行判决。这里预设平均量化误差的阈值为TH,则如果D≤TH,即,如果D小于或等于TH,则确定短语音的说话人与说话人语音参考模型指示的参考说话人是同一个人,否则不是同一个人。
由上可知,本实施例的模式匹配和判决采用高维特征空间中的可能性模糊分类器实现可靠的说话人识别,在很短的语音情况下(比如1~2秒),仍能具有很高的识别性能,克服了在短语音情况下说话人识别性能下降的情况,提高了系统的识别率。
本发明实施例还提供了一种短语音说话人识别装置,图6为本发明一个实施例的短语音说话人识别装置的框图,参见图6,短语音说话人识别装置600包括:
模型训练单元601,用于模型训练单元,用于对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
说话人识别单元602,用于对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
在一个优选实施例中,模型训练单元601用于:对预处理后的训练短语音信号作快速傅里叶变换,获得频谱分布信息;对训练短语音信号的频谱取绝对值获得幅度谱;将幅度谱通过一个有Q个高斯带通滤波器的滤波器组,并计算每个高斯带通滤波器输出的对数;将每个高斯带通滤波器的对数能量带入离散余弦变换,提取得到梅尔频率倒谱系数。
在一个优选实施例中,模型训练单元601用于:
将得到的包含N个训练特征向量的集合{xk}划分为C个子集,其中,k=1,…,N,xk为M维向量,1<C<N,
求出每个子集的聚类中心,使得下列目标函数最小:
且满足下列约束条件一和二:
条件一,条件二,
公式(1)中,uik∈U表示第k个特征向量对第i类的隶属度;tik∈T表示集合xk属于第i类的典型值;m,η>1为模糊加权指数;a,b>0为权重系数;vi∈V为聚类中心;系数γi>0。
在一个优选实施例中,模型训练单元601具体用于执行下列步骤:
步骤S0,计算初始聚类中心V0
步骤S1,根据公式(2)和(3)计算高斯核函数的带宽参数σ;
需要说明的是,本实施例是将输入样本向量集的标准差作为高斯核函数的参数,所以计算输入样本向量集的标准差的过程即为计算高斯核函数的带宽参数σ的过程。
步骤S2,计算γi
利用下列预定公式计算出γi
其中,K(·)为引入的高斯核函数,
步骤S3,令t=1;
步骤S4,计算σt
根据公式(4)和(5),计算在第t次迭代时高斯核函数的带宽参数σt
步骤S5,计算Ut,Tt,Vt
根据第t-1次的聚类中心Vt-1和下列公式(6)计算第t次第k个特征向量对第i类的隶属度Ut
根据第t-1次的聚类中心Vt-1和下列公式(7)计算第t次集合xk属于第i类的典型值Tt
根据第t-1次的聚类中心Vt-1和Ut、Tt、下列公式(8)计算第t次的聚类中心Vt
步骤S6,是否满足终止条件;
判断当||Ut-Ut-1||≤ε或者||Vt-Vt-1||≤ε时,终止迭代并输出对应的Ut、Tt、Vt;其中,ε为预设的最大误差;
步骤S7,t=t+1;
步骤S8,是否t>tmax
判断当赋值后的t大于最大迭代次数tmax时,终止迭代并输出对应的Ut、Tt、Vt;否则,返回步骤S4继续执行直至终止迭代。
在一个优选实施例中,说话人识别单元602,具体用于利用训练出的说话人语音参考模型的码本对测试特征向量进行量化,并计算平均量化误差,将算出的平均量化误差作为测试向量与说话人语音参考模型之间的距离;当测试特征向量与说话人语音参考模型之间的距离小于或者等于距离阈值时,则确定短语音的说话人与说话人语音参考模型指示的参考说话人为同一人。
需要说明的是,本实施例的短语音说话人识别装置的工作过程是和前述短语音说话人识别方法的实现步骤对应的,因此本实施例中没有描述的部分可以参见前述实施例中的说明,在此不再赘述。
图7为本发明一个实施例的电子设备的结构示意图。如图7所示,该电子设备包括存储器71和处理器72,存储器71和处理器72之间通过内部总线73通讯连接,存储器71存储有能够被处理器72执行的程序指令,程序指令被处理器72执行时能够实现上述的短语音说话人识别方法。
此外,上述的存储器71中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的另一个实施例提供一种计算机可读存储介质,计算机可读存储介质存储计算机指令,计算机指令使所述计算机执行上述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种短语音说话人识别方法,其特征在于,该方法包括:
对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
2.根据权利要求1所述的短语音说话人识别方法,其特征在于,提取梅尔频率倒谱系数作为训练特征向量包括:
对预处理后的训练短语音信号作快速傅里叶变换,获得频谱分布信息;
对训练短语音信号的频谱取绝对值获得幅度谱;
将幅度谱通过一个有Q个高斯带通滤波器的滤波器组,并计算每个高斯带通滤波器输出的对数;
将每个高斯带通滤波器的对数能量带入离散余弦变换,提取得到梅尔频率倒谱系数。
3.根据权利要求1所述的短语音说话人识别方法,其特征在于,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型包括:
将得到的包含N个训练特征向量的集合{xk}划分为C个子集,其中,k=1,…,N,xk为M维向量,1<C<N,
求出每个子集的聚类中心,使得下列目标函数最小:
且满足下列约束条件一和二:
条件一,条件二,
公式(1)中,uik∈U表示第k个特征向量对第i类的隶属度;tik∈T表示集合xk属于第i类的典型值;m,η>1为模糊加权指数;a,b>0为权重系数;vi∈V为聚类中心;系数γi>0。
4.根据权利要求3所述的短语音说话人识别方法,其特征在于,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型具体包括下列步骤:
步骤S0,计算初始聚类中心V0
步骤S1,根据公式(2)和(3)计算高斯核函数的带宽参数σ:
步骤S2,根据预定公式计算γi
步骤S3,令t=1;
步骤S4,根据公式(4)和(5),计算在第t次迭代时高斯核函数的带宽参数σt
步骤S5,根据第t-1次的聚类中心Vt-1和下列公式(6)计算第t次第k个特征向量对第i类的隶属度Ut
根据第t-1次的聚类中心Vt-1和下列公式(7)计算第t次集合xk属于第i类的典型值Tt
根据第t-1次的聚类中心Vt-1和Ut、Tt、下列公式(8)计算第t次的聚类中心Vt
步骤S6,判断当||Ut-Ut-1||≤ε或者||Vt-Vt-1||≤ε时,终止迭代并输出对应的Ut、Tt、Vt;其中,ε为预设的最大误差;
步骤S7,令t=t+1,
步骤S8,判断当赋值后的t大于最大迭代次数时,终止迭代并输出对应的Ut、Tt、Vt;否则,返回步骤S4继续执行直至终止迭代。
5.根据权利要求1所述的短语音说话人识别方法,其特征在于,计算所述测试特征向量与所述说话人语音参考模型之间的距离包括:
利用训练出的说话人语音参考模型的码本对测试特征向量进行量化,并计算平均量化误差,将算出的平均量化误差作为测试特征向量与说话人语音参考模型之间的距离;
当测试特征向量与说话人语音参考模型之间的距离小于或者等于距离阈值时,则确定短语音的说话人与说话人语音参考模型指示的参考说话人为同一人。
6.一种短语音说话人识别装置,其特征在于,该短语音说话人识别装置包括:
模型训练单元,用于对输入的训练短语音信号预处理后,提取梅尔频率倒谱系数作为训练特征向量,利用自适应核可能性模糊C均值聚类算法进行聚类分析建立说话人语音参考模型;
说话人识别单元,用于对输入的测试短语音信号预处理后,提取梅尔频率倒谱系数作为测试特征向量,计算所述测试特征向量与所述说话人语音参考模型之间的距离,并根据所述距离识别短语音说话人的身份。
7.根据权利要求6所述的短语音说话人识别装置,其特征在于,所述模型训练单元用于:
对预处理后的训练短语音信号作快速傅里叶变换,获得频谱分布信息;
对训练短语音信号的频谱取绝对值获得幅度谱;
将幅度谱通过一个有Q个高斯带通滤波器的滤波器组,并计算每个高斯带通滤波器输出的对数;
将每个高斯带通滤波器的对数能量带入离散余弦变换,提取得到梅尔频率倒谱系数。
8.根据权利要求6所述的短语音说话人识别装置,其特征在于,所述模型训练单元用于:
将得到的包含N个训练特征向量的集合{xk}划分为C个子集,其中,k=1,…,N,xk为M维向量,1<C<N,
求出每个子集的聚类中心,使得下列目标函数最小:
且满足下列约束条件一和二:
条件一,条件二,
公式(1)中,uik∈U表示第k个特征向量对第i类的隶属度;tik∈T表示集合xk属于第i类的典型值;m,η>1为模糊加权指数;a,b>0为权重系数;vi∈V为聚类中心;系数γi>0。
9.根据权利要求8所述的短语音说话人识别装置,其特征在于,所述模型训练单元具体用于执行下列步骤:
步骤S0,计算初始聚类中心V0
步骤S1,根据公式(2)和(3)计算高斯核函数的带宽参数σ:
步骤S2,根据预定公式计算γi
步骤S3,令t=1;
步骤S4,根据公式(4)和(5),计算在第t次迭代时高斯核函数的带宽参数σt
步骤S5,根据第t-1次的聚类中心Vt-1和下列公式(6)计算第t次第k个特征向量对第i类的隶属度Ut
根据第t-1次的聚类中心Vt-1和下列公式(7)计算第t次集合xk属于第i类的典型值Tt
根据第t-1次的聚类中心Vt-1和Ut、Tt、下列公式(8)计算第t次的聚类中心Vt
步骤S6,判断当||Ut-Ut-1||≤ε或者||Vt-Vt-1||≤ε时,终止迭代并输出对应的Ut、Tt、Vt;其中,ε为预设的最大误差;
步骤S7,令t=t+1,
步骤S8,判断当赋值后的t大于最大迭代次数时,终止迭代并输出对应的Ut、Tt、Vt;否则,返回步骤S4继续执行直至终止迭代。
10.根据权利要求6所述的短语音说话人识别装置,其特征在于,
所述说话人识别单元,具体用于利用训练出的说话人语音参考模型的码本对测试特征向量进行量化,并计算平均量化误差,将算出的平均量化误差作为测试向量与说话人语音参考模型之间的距离;当测试特征向量与说话人语音参考模型之间的距离小于或者等于距离阈值时,则确定短语音的说话人与说话人语音参考模型指示的参考说话人为同一人。
11.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现权利要求1-5任一项所述的短语音说话人识别方法。
CN201711472767.4A 2017-12-29 2017-12-29 一种短语音说话人识别方法和装置 Active CN108281146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711472767.4A CN108281146B (zh) 2017-12-29 2017-12-29 一种短语音说话人识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711472767.4A CN108281146B (zh) 2017-12-29 2017-12-29 一种短语音说话人识别方法和装置

Publications (2)

Publication Number Publication Date
CN108281146A true CN108281146A (zh) 2018-07-13
CN108281146B CN108281146B (zh) 2020-11-13

Family

ID=62802588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711472767.4A Active CN108281146B (zh) 2017-12-29 2017-12-29 一种短语音说话人识别方法和装置

Country Status (1)

Country Link
CN (1) CN108281146B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040466A (zh) * 2018-09-20 2018-12-18 李庆湧 基于语音的移动终端解锁方法以及装置
CN109119085A (zh) * 2018-08-24 2019-01-01 深圳竹云科技有限公司 一种基于小波分析和超级向量的非对称文本相关的语音识别方法
CN109147798A (zh) * 2018-07-27 2019-01-04 北京三快在线科技有限公司 语音识别方法、装置、电子设备及可读存储介质
CN109256147A (zh) * 2018-10-30 2019-01-22 腾讯音乐娱乐科技(深圳)有限公司 音频节拍检测方法、装置及存储介质
CN109448734A (zh) * 2018-09-20 2019-03-08 李庆湧 基于声纹的终端设备解锁及应用启动方法以及装置
CN110232932A (zh) * 2019-05-09 2019-09-13 平安科技(深圳)有限公司 基于残差时延网络的说话人确认方法、装置、设备及介质
CN110444202A (zh) * 2019-07-04 2019-11-12 平安科技(深圳)有限公司 复合语音识别方法、装置、设备及计算机可读存储介质
CN110889009A (zh) * 2019-10-18 2020-03-17 平安科技(深圳)有限公司 一种声纹聚类方法、装置、处理设备以及计算机存储介质
CN111402898A (zh) * 2020-03-17 2020-07-10 北京远鉴信息技术有限公司 音频信号处理方法、装置、设备及存储介质
CN111985231A (zh) * 2020-08-07 2020-11-24 中移(杭州)信息技术有限公司 无监督角色识别方法、装置、电子设备及存储介质
CN112466299A (zh) * 2020-11-26 2021-03-09 广东工业大学 一种声音主题识别方法
CN112700790A (zh) * 2020-12-11 2021-04-23 广州市申迪计算机系统有限公司 一种idc机房声音处理方法、系统、设备及计算机存储介质
CN113362829A (zh) * 2021-06-04 2021-09-07 思必驰科技股份有限公司 说话人验证方法、电子设备及存储介质
CN113746822A (zh) * 2021-08-25 2021-12-03 安徽创变信息科技有限公司 一种远程会议管理方法及系统
CN117853035A (zh) * 2023-12-15 2024-04-09 百鸟数据科技(北京)有限责任公司 一种用于生态保护管理的智慧湿地系统管理平台

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440839B2 (en) * 2005-03-04 2008-10-21 Stmicroelectronics S.R.L. Method and associated device for sensing the air/fuel ratio of an internal combustion engine
KR20120048376A (ko) * 2010-11-05 2012-05-15 목포대학교산학협력단 Knn과 gg방법을 이용한 pfcm 군집화 기반의 혼합된 무선 실내 측위 방법
CN102663432A (zh) * 2012-04-18 2012-09-12 电子科技大学 结合支持向量机二次识别的模糊核聚类语音情感识别方法
CN103309657A (zh) * 2013-05-17 2013-09-18 北京小米科技有限责任公司 一种更换移动设备响铃音频的方法、装置和设备
CN105894024A (zh) * 2016-03-29 2016-08-24 合肥工业大学 多重核的可能性模糊聚类算法
CN107203785A (zh) * 2017-06-02 2017-09-26 常州工学院 多路径高斯核模糊c均值聚类算法
CN107452166A (zh) * 2017-06-27 2017-12-08 长江大学 一种基于声纹识别的图书馆借书方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440839B2 (en) * 2005-03-04 2008-10-21 Stmicroelectronics S.R.L. Method and associated device for sensing the air/fuel ratio of an internal combustion engine
KR20120048376A (ko) * 2010-11-05 2012-05-15 목포대학교산학협력단 Knn과 gg방법을 이용한 pfcm 군집화 기반의 혼합된 무선 실내 측위 방법
CN102663432A (zh) * 2012-04-18 2012-09-12 电子科技大学 结合支持向量机二次识别的模糊核聚类语音情感识别方法
CN103309657A (zh) * 2013-05-17 2013-09-18 北京小米科技有限责任公司 一种更换移动设备响铃音频的方法、装置和设备
CN105894024A (zh) * 2016-03-29 2016-08-24 合肥工业大学 多重核的可能性模糊聚类算法
CN107203785A (zh) * 2017-06-02 2017-09-26 常州工学院 多路径高斯核模糊c均值聚类算法
CN107452166A (zh) * 2017-06-27 2017-12-08 长江大学 一种基于声纹识别的图书馆借书方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JEONGHWAN GWAK ET AL: "An Improved Kernel-induced Possibilistic Fuzzy C-Means Clustering Algorithm based on Dispersion Control", 《THE 2014 INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND INFORMATION SCIENCES (ICCAIS 2014)》 *
SANDIPAN CHAKROBORTY ET AL: "Improved Text-Independent Speaker Identification using Fused MFCC & IMFCC Feature Sets based on Gaussian Filter", 《INTERNATIONAL JOURNAL OF ELECTRICAL, COMPUTER, ENERGETIC, ELECTRONIC AND COMMUNICATION ENGINEERING》 *
XIAO-HONG WU: "A Possibilistic C-Means Clustering Algorithm Based on Kernel Methods", 《2006 INTERNATIONAL CONFERENCE ON COMMUNICATION,CIRCUITS AND SYSTEMS》 *
唐细平: "基于模糊聚类的说话人识别", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147798A (zh) * 2018-07-27 2019-01-04 北京三快在线科技有限公司 语音识别方法、装置、电子设备及可读存储介质
CN109147798B (zh) * 2018-07-27 2023-06-09 北京三快在线科技有限公司 语音识别方法、装置、电子设备及可读存储介质
CN109119085A (zh) * 2018-08-24 2019-01-01 深圳竹云科技有限公司 一种基于小波分析和超级向量的非对称文本相关的语音识别方法
CN109448734A (zh) * 2018-09-20 2019-03-08 李庆湧 基于声纹的终端设备解锁及应用启动方法以及装置
CN109040466A (zh) * 2018-09-20 2018-12-18 李庆湧 基于语音的移动终端解锁方法以及装置
CN109040466B (zh) * 2018-09-20 2021-03-26 李庆湧 基于语音的移动终端解锁方法、装置、电子设备以及存储介质
CN109256147B (zh) * 2018-10-30 2022-06-10 腾讯音乐娱乐科技(深圳)有限公司 音频节拍检测方法、装置及存储介质
CN109256147A (zh) * 2018-10-30 2019-01-22 腾讯音乐娱乐科技(深圳)有限公司 音频节拍检测方法、装置及存储介质
CN110232932A (zh) * 2019-05-09 2019-09-13 平安科技(深圳)有限公司 基于残差时延网络的说话人确认方法、装置、设备及介质
CN110232932B (zh) * 2019-05-09 2023-11-03 平安科技(深圳)有限公司 基于残差时延网络的说话人确认方法、装置、设备及介质
CN110444202A (zh) * 2019-07-04 2019-11-12 平安科技(深圳)有限公司 复合语音识别方法、装置、设备及计算机可读存储介质
CN110444202B (zh) * 2019-07-04 2023-05-26 平安科技(深圳)有限公司 复合语音识别方法、装置、设备及计算机可读存储介质
CN110889009B (zh) * 2019-10-18 2023-07-21 平安科技(深圳)有限公司 一种声纹聚类方法、装置、处理设备以及计算机存储介质
CN110889009A (zh) * 2019-10-18 2020-03-17 平安科技(深圳)有限公司 一种声纹聚类方法、装置、处理设备以及计算机存储介质
CN111402898A (zh) * 2020-03-17 2020-07-10 北京远鉴信息技术有限公司 音频信号处理方法、装置、设备及存储介质
CN111402898B (zh) * 2020-03-17 2023-07-25 北京远鉴信息技术有限公司 音频信号处理方法、装置、设备及存储介质
CN111985231A (zh) * 2020-08-07 2020-11-24 中移(杭州)信息技术有限公司 无监督角色识别方法、装置、电子设备及存储介质
CN111985231B (zh) * 2020-08-07 2023-12-26 中移(杭州)信息技术有限公司 无监督角色识别方法、装置、电子设备及存储介质
CN112466299A (zh) * 2020-11-26 2021-03-09 广东工业大学 一种声音主题识别方法
CN112466299B (zh) * 2020-11-26 2023-11-17 广东工业大学 一种声音主题识别方法
CN112700790A (zh) * 2020-12-11 2021-04-23 广州市申迪计算机系统有限公司 一种idc机房声音处理方法、系统、设备及计算机存储介质
CN113362829A (zh) * 2021-06-04 2021-09-07 思必驰科技股份有限公司 说话人验证方法、电子设备及存储介质
CN113746822A (zh) * 2021-08-25 2021-12-03 安徽创变信息科技有限公司 一种远程会议管理方法及系统
CN117853035A (zh) * 2023-12-15 2024-04-09 百鸟数据科技(北京)有限责任公司 一种用于生态保护管理的智慧湿地系统管理平台

Also Published As

Publication number Publication date
CN108281146B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN108281146A (zh) 一种短语音说话人识别方法和装置
CN107610707B (zh) 一种声纹识别方法及装置
CN102509547B (zh) 基于矢量量化的声纹识别方法及系统
Kishore et al. Emotion recognition in speech using MFCC and wavelet features
CN105206270B (zh) 一种组合pca和rbm的孤立数字语音识别分类系统及方法
CN109044396B (zh) 一种基于双向长短时记忆神经网络的智能心音识别方法
CN105096955B (zh) 一种基于模型生长聚类的说话人快速识别方法及系统
CN108369813A (zh) 特定声音识别方法、设备和存储介质
CN108630209B (zh) 一种基于特征融合与深度置信网络的海洋生物识别方法
CN102968990B (zh) 说话人识别方法和系统
CN108922541A (zh) 基于dtw和gmm模型的多维特征参数声纹识别方法
WO2020034628A1 (zh) 口音识别方法、装置、计算机装置及存储介质
CN105654944B (zh) 一种融合了短时与长时特征建模的环境声识别方法及装置
WO2019023879A1 (zh) 咳嗽声音识别方法、设备和存储介质
CN113223536B (zh) 声纹识别方法、装置及终端设备
CN110767239A (zh) 一种基于深度学习的声纹识别方法、装置及设备
CN109961794A (zh) 一种基于模型聚类的分层说话人识别方法
CN108922543A (zh) 模型库建立方法、语音识别方法、装置、设备及介质
CN103456302A (zh) 一种基于情感gmm模型权重合成的情感说话人识别方法
WO2018095167A1 (zh) 声纹识别方法和声纹识别系统
CN106548786A (zh) 一种音频数据的检测方法及系统
CN107945793A (zh) 一种语音激活检测方法及装置
CN110570871A (zh) 一种基于TristouNet的声纹识别方法、装置及设备
CN115101076A (zh) 一种基于多尺度通道分离卷积特征提取的说话人聚类方法
CN111243621A (zh) 一种用于合成语音检测的gru-svm深度学习模型的构造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191114

Address after: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant after: GEER TECHNOLOGY CO., LTD.

Address before: 266061, No. 3, building 18, Qinling Mountains Road, Laoshan District, Shandong, Qingdao 401

Applicant before: Qingdao real time Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant