CN108899033A - 一种确定说话人特征的方法及装置 - Google Patents
一种确定说话人特征的方法及装置 Download PDFInfo
- Publication number
- CN108899033A CN108899033A CN201810501729.5A CN201810501729A CN108899033A CN 108899033 A CN108899033 A CN 108899033A CN 201810501729 A CN201810501729 A CN 201810501729A CN 108899033 A CN108899033 A CN 108899033A
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- vocal print
- speaker
- text data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000001755 vocal effect Effects 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000654 additive Substances 0.000 claims description 11
- 230000000996 additive effect Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000012216 screening Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种确定说话人特征的方法及装置,涉及数据处理技术领域,能够根据说话人提供的声音文本数据识别并确定说话人具有的特征信息,以便于开发人员依据得到的说话人特征能够更加有针对性地改进当前的智能化服务,以便于大大提高向说话人推送的个性化服务方案的应用价值。本发明实施例主要技术方案为:接收声音文本数据;从所述声音文本数据中提取声纹特征数据;利用预置模型对所述声纹特征数据进行处理,根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。本发明实施例主要用于根据声音文本数据识别并确定说话人具有的特征信息。
Description
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种确定说话人特征的方法及装置。
背景技术
随着科技的不断创新、发展,智能影音设备已经可以具备信息处理能力,尤其是对于支持智能语音控制的设备,用户可以通过下达语音命令控制指定的影音设备执行播放音乐/视频、接入/断开互联网、搜索数据信息等等操作,以享受智能影音设备提供的智能化服务。
目前,在依据用户下达的语音命令实现对智能影音设备的控制之前,需要在该指定的智能影音设备上完成用户注册操作,以用于在智能影音设备接收到语音命令时验证用户身份,若验证通过,才会执行相关的语音命令,进一步的,在注册用户时,用户将填写用户特征数据,比如年龄、性别等等,以便智能影音设备的开发人员可以依据用户特征数据对该用户在本影音设备上产生的行为数据进行分析,有助于开发人员对智能影音设备上的智能化功能进行改进,以用于能够实现为用户定制个性化的服务方案。
然而,在注册用户时如果用户未在影音设备上预留用户特征数据,又或者,预留的用户特征数据不够完整,这将使得开发人员无法获取到准确的、完整的用户特征数据,继而使得开发人员无法依据用户特征数据对用户行为数据进行准确地、有效地分析,如此将大大降低向用户提供的个性化服务方案的应用价值。
发明内容
有鉴于此,本发明实施例提供一种确定说话人特征的方法及装置,主要目的在于优化对说话人声音文本数据的处理,以用于根据说话人声音文本数据识别并确定说话人具有的特征信息,以便于开发人员依据得到的说话人特征能够更加有针对性地改进当前的智能化服务,以大大提高向说话人推送的个性化服务方案的应用价值。
为了达到上述目的,本发明实施例主要提供如下技术方案:
第一方面,本发明实施例提供了一种确定说话人特征的方法,该方法包括:
接收声音文本数据;
从所述声音文本数据中提取声纹特征数据;
利用预置模型对所述声纹特征数据进行处理,根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。
优选的,所述利用预置模型对所述声纹特征数据进行处理,包括:
将所述声纹特征数据输入所述预置模型,所述预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型;
按照预置特征维度,利用所述分类模型对所述声纹特征数据进行处理,输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
优选的,所述根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征,包括:
按照数值由大到小的顺序,将多个所述预置特征对应的置信度值排序;
在多个所述预置特征对应的置信度值中选取排序在前两位的置信度值;
将所述选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值;
判断所述差值的绝对值是否大于第一预置阈值;
若是,则获取所述最大置信度值对应的预置特征包含的特征信息,将所述特征信息确定为与所述声纹特征数据匹配的说话人特征;
若否,则舍弃所述预置模型的输出数据。
优选的,在所述从所述声音文本数据中提取声纹特征数据之前,所述方法还包括:
对所述声音文本数据进行筛选,得到说话人的人声文本数据;
计算所述人声文本数据对应的数据量在所述声音文本数据对应的数据量中的占比值;
判断所述占比值是否大于第二预置阈值;
若是,则在所述人声文本数据中提取声纹特征数据;
若否,则舍弃所述接收的声音文本数据,并重新向所述说话人获取声音文本数据。
优选的,所述声音文本数据至少包括热词唤醒音频数据和/或语音搜索音频数据。
第二方面,本发明实施例还提供了一种确定说话人特征的装置,该装置包括:
接收单元,用于接收声音文本数据;
提取单元,用于从所述接收单元接收的声音文本数据中提取声纹特征数据;
处理单元,用于利用预置模型对所述提取单元提取的声纹特征数据进行处理;
确定单元,用于根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。
优选的,所述处理单元包括:
输入模块,用于将所述声纹特征数据输入所述预置模型,所述预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型;
处理模块,用于按照预置特征维度,利用所述分类模型对所述输入模块输入的声纹特征数据进行处理;
输出模块,用于输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
优选的,所述确定单元包括:
排序模块,用于按照数值由大到小的顺序,将多个所述预置特征对应的置信度值排序;
选取模块,用于在多个所述预置特征对应的置信度值中选取所述排序模块排序在前两位的置信度值;
执行模块,用于将所述选取模块选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值;
判断模块,用于判断所述执行模块得到的差值的绝对值是否大于第一预置阈值;
获取模块,用于当所述判断模块判断所述差值的绝对值大于第一预置阈值时时,获取所述最大置信度值对应的预置特征包含的特征信息;
确定模块,用于将所述获取模块获取的特征信息确定为与所述声纹特征数据匹配的说话人特征;
舍弃模块,当所述判断模块判断所述差值的绝对值不大于第一预置阈值时,舍弃所述预置模型的输出数据。
优选的,所述装置还包括:
筛选单元,用于对所述声音文本数据进行筛选,得到说话人的人声文本数据;
计算单元,用于计算所述筛选单元筛选的人声文本数据对应的数据量在所述声音文本数据对应的数据量中的占比值;
判断单元,用于判断所述计算单元计算的占比值是否大于第二预置阈值;
所述提取单元,还用于当所述判断单元判断所述占比值是大于第二预置阈值时,在所述人声文本数据中提取声纹特征数据;
舍弃单元,用于当所述判断单元判断所述占比值不大于第二预置阈值时,舍弃所述接收的声音文本数据;
获取单元,用于重新向所述说话人获取声音文本数据。
优选的,所述声音文本数据至少包括热词唤醒音频数据和/或语音搜索音频数据。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明实施例提供的一种确定说话人特征的方法及装置。本发明实施例是通过在接收的说话人声音文本数据中提取声纹特征数据,并利用预置模型对声纹特征数据进行处理,得到与声纹特征数据匹配的说话人特征。与现有技术相比,避免在注册用户时如果用户未在影音设备上预留用户特征数据,又或者,预留的用户特征数据不够完整,使得开发人员无法获取到准确的、完整的用户特征数据,继而影响向用户提供的个性化服务方案的有效性的问题。本发明实施例可以不依赖于说话人是否在注册时预留完整的特征数据,而是能够通过说话人提供的声音文本数据,进而识别并确定说话人具有的特征信息,以便开发人员可以及时地获取到准确的、完整的说话人具有的特征信息,继而依据得到的说话人特征能够更加有针对性地改进当前的智能化服务,以便于大大提高向说话人推送的个性化服务方案的应用价值。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明实施例的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种确定说话人特征的方法流程图;
图2示出了本发明实施例提供的另一种确定说话人特征的方法流程图;
图3示出了本发明实施例提供的一种确定说话人特征的装置的组成框图;
图4示出了本发明实施例提供的另一种确定说话人特征的装置的组成框图;
图5示出了本发明实施例提供的一种确定说话人特征的电子设备的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明实施例的示例性实施例。虽然附图中显示了本发明实施例的示例性实施例,然而应当理解,可以以各种形式实现本发明实施例而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明实施例,并且能够将本发明实施例的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种确定说话人特征的方法,如图1所示,该方法是利用预置模型对说话人提供的声音文本数据中存在的声纹特征数据进行处理,并根据预置模型输出数据确定说话人具有的特征信息,对此本发明实施例提供以下具体步骤:
101、接收声音文本数据。
其中,声音文本数据是指说话人向智能影音设备提供的一段或多段音频,比如向智能影音设备下达语音指令。
在本发明实施例中,接收声音文本数据是指接收说话人向智能影音设备下达的语音指令。
102、从声音文本数据中提取声纹特征数据。
其中,声纹是指是用电声学仪器显示的携带语言信息的声波频谱,依据现有实验证明,无论说话人是故意模仿他人声音和语气,还是耳语轻声讲话,即使模仿得惟妙惟肖,其声纹却始终不相同。声纹特征是在声纹层面上表征一个人说话具有的特征,主要包括:与人类的发音机制的解剖学结构有关的声学特征(如频谱、倒频谱、共振峰、基音、反射系数等等)、鼻音、带深呼吸音、沙哑音、笑声等;受社会经济状况、受教育水平、出生地等影响的语义、修辞、发音、言语习惯等;个人特点或受父母影响的韵律、节奏、速度、语调、音量等特征。
在本发明实施例中,在从声音文本数据中提取声纹特征数据时,可以采用深度学习方法、或者识别特征向量(i-vector,identity-vector)的方法,以通过对声音文本数据的处理并最终得到声纹特征向量数据。具体地,对于本发明实施例,对提取声纹特征数据的方法不作限定。
103、利用预置模型对声纹特征数据进行处理,根据预置模型的输出数据,确定与声纹特征数据匹配的说话人特征。
其中,预置模型是指在得到说话人的声纹特征数据后可以通过添加分类器的方法,以依据说话人的声纹特征数据对说话人的声音文本数据进行定向分析,比如,添加分类器的目的是分析说话人的性别、又或者是分析说话人归属的年龄范围等等,对于本发明实施例,对构建预置模型的方法不作具体限定。
在本发明实施例中,通过预置模型对声纹特征数据进行处理,以达到对说话人的声音文本数据的定向分析,继而分析得到说话人具有的特征信息,比如通过分析说话人的声纹特征数据,继而确定说话人是男性、年龄在5岁至12岁之间。
本发明实施例提供的一种确定说话人特征的方法。本发明实施例是通过在接收的说话人声音文本数据中提取声纹特征数据,并利用预置模型对声纹特征数据进行处理,得到与声纹特征数据匹配的说话人特征。本发明实施例可以不依赖于说话人是否在注册时预留完整的特征数据,而是能够通过说话人提供的声音文本数据,进而识别并确定说话人具有的特征信息,以便开发人员可以及时地获取到准确的、完整的说话人具有的特征信息,继而依据得到的说话人特征能够更加有针对性地改进当前的智能化服务,以便于大大提高向说话人推送的个性化服务方案的应用价值。
为了对上述实施例做出更加详细的说明,本发明实施例还提供了另一种确定说话人特征的方法,如图2所示,该方法是在声音文本数据中提取声纹特征数据之前,筛选出声音文本数据中的人声文本数据,并判断人声文本数据对应的数据量在该声音文本数据中是否占比过小,以进一步判断利用将该声音文本数据作为数据基础去识别并确定说话人具有的特征信息是否是合理的,对此本发明实施例提供以下具体步骤:
201、接收声音文本数据。
其中,声音文本数据可以包括:热词唤醒音频数据、语音搜索音频数据,亦或者是两者兼有。其中,热词唤醒数据是指“你好,小度!”等类似唤醒智能影音设备的固定语音文本数据,语音搜素音频数据是指基于人工智能技术实现的说话人与智能影音设备的语音聊天、语音对答、下达任务指令等等操作所对应的自由语音文本数据。
在本发明实施例中,在至少保证声音文本数据在3秒时长以上的前提下,可以根据分析需求,只利用热词唤醒音频完成识别并确定说话人特征的操作,以减少不必要地多次录制声音文本数据,以提高工作效率。又或者,为满足复杂分析需求,同时利用热词唤醒音频数据和语音音频数据以使识别并确定说话人特征的输出结果更加准确、可靠。
202、对声音文本数据进行筛选,得到说话人的人声文本数据。
在本发明实施例中,可以通过优先利用静音检测对接收的声音文本数据进行处理,以区分声音文本数据中的说话人声音、噪音、静音等等,比如传统的静音检测方法是通过检测声音的能量值来区别哪些是说话人的声音、哪些是噪音、哪些是静音,但是当噪音的能够值足够大并等同于说话人的声音所具有的能量值时,会使得噪音被误认为是说话人的声音,导致在区分说话人声音、噪音、静音的结果不准确,因此进一步的,目前采用的方法是利用样本数据训练用于在声音文本数据中提取说话人声音数据的模型,再利用该模型完成对待处理声音文本数据执行提取操作。在此,对于本发明实施例中对声音文本数据进行筛选的方法包括但不限于上述陈述的方法。
203、计算人声文本数据对应的数据量在声音文本数据对应的数据量中的占比值。
在本发明实施例中,当从声音文本数据中筛选出说话人人声文本数据时,累计筛选的说话人人声文本数据时长,计算在声音本文数据对应的时长中,该筛选的说话人人声文本数据时长的占比值。
204、判断占比值是否大于第二预置阈值。
其中,第二预置阈值是百分比数值。
在本发明实施例中,以第二预置阈值作为衡量标准,以用于判断在声音文本数据对应的时长中是否筛选的说话人人声文本数据的时长占比过小。
205a、若判断占比值大于第二预置阈值,则在人声文本数据中提取声纹特征数据。
在本发明实施例中,当确定在声音文本数据对应的时长中说话人人声文本数据对应时长占比值大于预置阈值时,则可以进一步地判断出在该声音文本数据中存在的噪音、静音等其他声音不会影响说话人人声的清晰度,以当利用该声音文本数据完成识别并确定说话人具有的特征信息操作时,不会由于声音文本数据不合适而影响识别并确定操作的准确性。
205b、若判断占比值不大于第二预置阈值,则舍弃接收的声音文本数据,并重新向说话人获取声音文本数据。
在本发明实施例中,当确定在声音文本数据对应的时长中说话人人声文本数据对应时长占比值不大于(即小于或等于)预置阈值时,则可以进一步地判断出在该声音文本数据中存在的噪音、静音等其他声音可能影响说话人人声的清晰度,以当利用该声音文本数据完成识别并确定说话人具有的特征信息操作时,很大可能会由于声音文本数据不合适而影响识别并确定的准确性。因此,应该舍弃该声音文本数据,并重新向说话人获取声音文本数据。
206a、利用预置模型对声纹特征数据进行处理。
在本发明实施例中,对于利用预置模型对声纹特征数据进行处理的具体步骤,可以包括如下:
第一,将声纹特征数据输入所述预置模型。其中,预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型。
在本发明实施例中,当在声音文本数据中提取到声纹特征数据时,可以通过添加分类器的方法,以利用说话人的声纹特征数据完成对说话人的人声文本数据进行定向分析,比如,添加分类器的目的是分析说话人的性别、又或者是分析说话人归属的年龄范围等等,对于本发明实施例,对构建预置模型的方法不作具体限定。
第二,按照预置特征维度,利用所述分类模型对所述声纹特征数据进行处理,输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
其中,预置特征维度是指为满足对依据说话人声纹特征数据完成对说话人人声文本数据进行定向分析的需求,预设满足需求分析对应的特征维度,比如欲根据说话人声纹特征数据分析并确定说话人的性别特征,在此“性别特征”是预置特征维度,进一步,根据该预置特征维度可以确定两个预置特征“性别男”与“性别女”,相应的,对于不同的预置特征维度,还可以预先确定多个预置特征,比如预置特征维度“年龄”,则可以确定多个预置特征“0至6岁”对应幼儿、“大于6岁小于18岁”对应少年、“大于18岁小于30岁”对应青年,等等,具体的划分年龄段方法,本发明实施例不作具体限定。
在本发明实施例中,将声纹特征数据输入预置模型,输出的是预置特征对应的置信度值,比如预置特征维度“性别”,相应的,输出预置特征“性别男”置信度值是95%,输出预置特征“性别女”的置信度值是5%。
207a、根据预置模型的输出数据,确定与声纹特征数据匹配的说话人特征。
对于本发明实施例,根据预置模型的输出数据确定与声纹特征数据匹配的说话人特征的具体步骤,可以包括如下:
按照数值由大到小的顺序,将多个预置特征对应的置信度值排序,在多个预置特征对应的置信度值中选取排序在前两位的置信度值,将选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值,判断差值的绝对值是否大于第一预置阈值,若是,则获取最大置信度值对应的预置特征包含的特征信息,将特征信息确定为与声纹特征数据匹配的说话人特征;若否,则舍弃预置模型的输出数据。
其中,第一预置阈值是百分比数值,作为衡量标准以用于判断在多个预置特征对应的置信度值中最大数值与第二大的数值的差值是否过小。
在本发明实施例中,当在多个预置特征对应的置信度值中最大数值与最二大的数值的差值大于预置阈值时,则可以说明对于同一声纹特征数据,将其判断归属于最大置信度值对应的预置特征,或者将其判断归属于第二大的置信度值对应的预置特征,这两个判断结果区别度是很大的。比如预置特征维度“性别”,对于同一声纹特征数据,输出预置特征“性别男”置信度值是95%,输出预置特征“性别女”的置信度值是5%,当通过计算95%与5%的差值大于预置阈值时,则可以进一步确定该声纹特征数据应该归属于置信度值是95%对于的预置特征“性别男”,则进一步地可以根据该声纹特征数据判断说话人性别是男性。
然而,当在多个预置特征对应的置信度值中最大数值与最二大的数值的差值不大于预置阈值时,相应的,分析确定对于同一声纹特征数据,将其判断归属于最大置信度值对应的预置特征,或者将其判断归属于第二大的置信度值对应的预置特征,这两个判断结果区别度不是很大的。比如预置特征维度“性别”,对于同一声纹特征数据,输出预置特征“性别男”置信度值是51%,输出预置特征“性别女”的置信度值是49%,当通过计算51%与49%的差值不大于预置阈值时,则此时说明通过输入该声纹特征数据至预置模型,输出的数据并不能给出确定该声纹特征数据与哪个预置特征匹配的倾向性的判断结果。比如当说话人的人声比较偏中性时,则当利用预置模型对该人声文本数据对应的声纹特征数据进行处理时,根据如此输出数据很难确定与该声纹特征数据匹配的说话人特征,因此,对于本步骤207a,当在多个预置特征对应的置信度值中最大数值与最二大的数值的差值不大于预置阈值时,则舍弃该输出结果,并重新向说话人获取声音文本数据,以重新执行确定说话人具有特征信息的操作。
进一步的,在本发明实施例中,当根据预置特征维度确定的预置特征的数目为大于两个时,则比较多个预置特征对应的置信度值中最大数值和第二大数值即可,以便可以快速查找声纹特征数据应最大概率可能归属的预置特征,继而快速地识别并确定与该声纹特征数据匹配的说话人具有的特征信息。
进一步的,作为对上述图1、图2所示方法的实现,本发明实施例提供了一种确定说话人特征的装置。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于根据接收声音文本数据中对应的声纹特征数据,识别并确定说话人具有的特征信息,具体如图3所示,该装置包括:
接收单元31,用于接收声音文本数据;
提取单元32,用于从所述接收单元31接收的声音文本数据中提取声纹特征数据;
处理单元33,用于利用预置模型对所述提取单元32提取的声纹特征数据进行处理;
确定单元34,用于根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。
进一步的,如图4所示,所述处理单元33包括:
输入模块331,用于将所述声纹特征数据输入所述预置模型,所述预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型;
处理模块332,用于按照预置特征维度,利用所述分类模型对所述输入模块331输入的声纹特征数据进行处理;
输出模块333,用于输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
进一步的,如图4所示,所述确定单元34包括:
排序模块341,用于按照数值由大到小的顺序,将多个所述预置特征对应的置信度值排序;
选取模块342,用于在多个所述预置特征对应的置信度值中选取所述排序模块341排序在前两位的置信度值;
执行模块343,用于将所述选取模块342选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值;
判断模块344,用于判断所述执行模块343得到的差值的绝对值是否大于第一预置阈值;
获取模块345,用于当所述判断模块344判断所述差值的绝对值大于第一预置阈值时时,获取所述最大置信度值对应的预置特征包含的特征信息;
确定模块346,用于将所述获取模块345获取的特征信息确定为与所述声纹特征数据匹配的说话人特征;
舍弃模块347,当所述判断模块344判断所述差值的绝对值不大于第一预置阈值时,舍弃所述预置模型的输出数据。
进一步的,如图4所示,所述装置还包括:
筛选单元35,用于对所述声音文本数据进行筛选,得到说话人的人声文本数据;
计算单元36,用于计算所述筛选单元35筛选的人声文本数据对应的数据量在所述声音文本数据对应的数据量中的占比值;
判断单元37,用于判断所述计算单元36计算的占比值是否大于第二预置阈值;
所述提取单元32,还用于当所述判断单元37判断所述占比值是大于第二预置阈值时,在所述人声文本数据中提取声纹特征数据;
舍弃单元38,用于当所述判断单元37判断所述占比值不大于第二预置阈值时,舍弃所述接收的声音文本数据;
获取单元39,用于重新向所述说话人获取声音文本数据。
进一步的,所述声音文本数据至少包括热词唤醒音频数据和/或语音搜索音频数据。
进一步的,本发明实施例还提供了一种确定说话人特征的电子设备的结构框图,用于执行上述任一实施例所述的确定说话人特征的方法,如图5所示,其中,所述电子设备包括处理器及存储器,上述接收单元、提取单元、处理单元以及确定单元等作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。具体的,本发明实施例所述的电子设备中包括:
至少一个处理器(processor)41;
以及与所述处理器41连接的至少一个存储器(memory)42、总线43;其中,
所述处理器41、存储器42通过所述总线43完成相互间的通信;
所述处理器41用于调用所述存储器42中的程序指令,以执行上述各方法实施例所提供的方法。其中,处理器41中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来根据说话人声音文本数据识别并确定说话人具有的特征信息。
所述存储器42,可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器42中包括至少一个存储芯片。
进一步的,本发明实施例提还供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的确定说话人特征的方法。
由于本实施例所介绍的确定说话人特征的装置为可以执行本发明实施例中的确定说话人特征的方法的装置,故而基于本发明实施例中所介绍的确定说话人特征的方法,本领域所属技术人员能够了解本实施例的确定说话人特征的装置的具体实施方式以及其各种变化形式,所以在此对于该确定说话人特征的装置如何实现本发明实施例中的确定说话人特征的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中确定说话人特征的方法所采用的装置,都属于本申请所欲保护的范围。
本发明实施例提供的一种确定说话人特征的方法及装置。本发明实施例是通过在接收的说话人声音文本数据中提取声纹特征数据,在这之前还对接收的声音文本数据进行筛选以进一步确定该声音文本数据中存在的噪音、静音等等是否会降低提取声纹特征数据的准确性,以避免影响后续执行识别并确定说话人具有特征信息的操作的准确性。当提取声纹特征数据后,利用预置模型对声纹特征数据进行处理,并对输出数据进行校验,以确定输出数据是否有效,以避免利用该输出数据确定与声纹特征数据匹配的说话人特征时影响其完成的准确性。本发明实施例可以不依赖于说话人是否在注册时预留完整的特征数据,而是能够通过说话人提供的声音文本数据,进而识别并确定说话人具有的特征信息,以便开发人员可以及时地获取到准确的、完整的说话人具有的特征信息,继而依据得到的说话人特征能够更加有针对性地改进当前的智能化服务,以便于大大提高向说话人推送的个性化服务方案的应用价值。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种确定说话人特征的方法,其特征在于,所述方法包括:
接收声音文本数据;
从所述声音文本数据中提取声纹特征数据;
利用预置模型对所述声纹特征数据进行处理,根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。
2.根据权利要求1所述的方法,其特征在于,所述利用预置模型对所述声纹特征数据进行处理,包括:
将所述声纹特征数据输入所述预置模型,所述预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型;
按照预置特征维度,利用所述分类模型对所述声纹特征数据进行处理,输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
3.根据权利要求2所述的方法,其特征在于,所述根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征,包括:
按照数值由大到小的顺序,将多个所述预置特征对应的置信度值排序;
在多个所述预置特征对应的置信度值中选取排序在前两位的置信度值;
将所述选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值;
判断所述差值的绝对值是否大于第一预置阈值;
若是,则获取所述最大置信度值对应的预置特征包含的特征信息,将所述特征信息确定为与所述声纹特征数据匹配的说话人特征;
若否,则舍弃所述预置模型的输出数据。
4.根据权利要求1所述的方法,其特征在于,在所述从所述声音文本数据中提取声纹特征数据之前,所述方法还包括:
对所述声音文本数据进行筛选,得到说话人的人声文本数据;
计算所述人声文本数据对应的数据量在所述声音文本数据对应的数据量中的占比值;
判断所述占比值是否大于第二预置阈值;
若是,则在所述人声文本数据中提取声纹特征数据;
若否,则舍弃所述接收的声音文本数据,并重新向所述说话人获取声音文本数据。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述声音文本数据至少包括热词唤醒音频数据和/或语音搜索音频数据。
6.一种确定说话人特征的装置,其特征在于,所述装置包括:
接收单元,用于接收声音文本数据;
提取单元,用于从所述接收单元接收的声音文本数据中提取声纹特征数据;
处理单元,用于利用预置模型对所述提取单元提取的声纹特征数据进行处理;
确定单元,用于根据所述预置模型的输出数据,确定与所述声纹特征数据匹配的说话人特征。
7.根据权利要求6所述的装置,其特征在于,所述处理单元包括:
输入模块,用于将所述声纹特征数据输入所述预置模型,所述预置模型是预先利用深度神经网络对声音样本数据训练生成的分类模型;
处理模块,用于按照预置特征维度,利用所述分类模型对所述输入模块输入的声纹特征数据进行处理;
输出模块,用于输出所述预置特征对应的置信度值,所述预置特征是根据所述预置特征维度确定的多个特征。
8.根据权利要求7所述的装置,其特征在于,所述确定单元包括:
排序模块,用于按照数值由大到小的顺序,将多个所述预置特征对应的置信度值排序;
选取模块,用于在多个所述预置特征对应的置信度值中选取所述排序模块排序在前两位的置信度值;
执行模块,用于将所述选取模块选取的前两位置信度值做相减运算,并得到执行所述相减运算对应的差值的绝对值;
判断模块,用于判断所述执行模块得到的差值的绝对值是否大于第一预置阈值;
获取模块,用于当所述判断模块判断所述差值的绝对值大于第一预置阈值时时,获取所述最大置信度值对应的预置特征包含的特征信息;
确定模块,用于将所述获取模块获取的特征信息确定为与所述声纹特征数据匹配的说话人特征;
舍弃模块,当所述判断模块判断所述差值的绝对值不大于第一预置阈值时,舍弃所述预置模型的输出数据。
9.一种电子设备,其特征在于,包括:
至少一个处理器;
以及与所述处理器连接的至少一个存储器、总线;其中,
所述处理器、存储器通过所述总线完成相互间的通信;
所述处理器用于调用所述存储器中的程序指令,以执行权利要求1至权利要求5中任一项所述的确定说话人特征的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行权利要求1至权利要求5中任一项所述的确定说话人特征的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810501729.5A CN108899033B (zh) | 2018-05-23 | 2018-05-23 | 一种确定说话人特征的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810501729.5A CN108899033B (zh) | 2018-05-23 | 2018-05-23 | 一种确定说话人特征的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108899033A true CN108899033A (zh) | 2018-11-27 |
CN108899033B CN108899033B (zh) | 2021-09-10 |
Family
ID=64343149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810501729.5A Active CN108899033B (zh) | 2018-05-23 | 2018-05-23 | 一种确定说话人特征的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108899033B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109801637A (zh) * | 2018-12-03 | 2019-05-24 | 厦门快商通信息技术有限公司 | 基于隐藏因素的模型融合方法及系统 |
CN110503961A (zh) * | 2019-09-03 | 2019-11-26 | 北京字节跳动网络技术有限公司 | 音频识别方法、装置、存储介质及电子设备 |
CN111916065A (zh) * | 2020-08-05 | 2020-11-10 | 北京百度网讯科技有限公司 | 用于处理语音的方法和装置 |
CN111933150A (zh) * | 2020-07-20 | 2020-11-13 | 北京澎思科技有限公司 | 一种基于双向补偿机制的文本相关说话人识别方法 |
WO2021159688A1 (zh) * | 2020-02-13 | 2021-08-19 | 平安科技(深圳)有限公司 | 声纹识别方法、装置、存储介质、电子装置 |
WO2022012215A1 (zh) * | 2020-07-17 | 2022-01-20 | 深圳前海微众银行股份有限公司 | 一种识别说话对象的方法、装置、设备及可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080312926A1 (en) * | 2005-05-24 | 2008-12-18 | Claudio Vair | Automatic Text-Independent, Language-Independent Speaker Voice-Print Creation and Speaker Recognition |
US7567901B2 (en) * | 2003-02-13 | 2009-07-28 | At&T Intellectual Property 1, L.P. | Bio-phonetic multi-phrase speaker identity verification |
CN104143326A (zh) * | 2013-12-03 | 2014-11-12 | 腾讯科技(深圳)有限公司 | 一种语音命令识别方法和装置 |
CN104992706A (zh) * | 2015-05-15 | 2015-10-21 | 百度在线网络技术(北京)有限公司 | 一种基于语音的信息推送方法及装置 |
CN105117238A (zh) * | 2015-07-24 | 2015-12-02 | 上海海漾软件技术有限公司 | 一种用于智能设备的系统定制方法以及装置 |
CN106782536A (zh) * | 2016-12-26 | 2017-05-31 | 北京云知声信息技术有限公司 | 一种语音唤醒方法及装置 |
CN107046517A (zh) * | 2016-02-05 | 2017-08-15 | 阿里巴巴集团控股有限公司 | 一种语音处理方法、装置和智能终端 |
CN107357875A (zh) * | 2017-07-04 | 2017-11-17 | 北京奇艺世纪科技有限公司 | 一种语音搜索方法、装置及电子设备 |
CN107507612A (zh) * | 2017-06-30 | 2017-12-22 | 百度在线网络技术(北京)有限公司 | 一种声纹识别方法及装置 |
CN107623614A (zh) * | 2017-09-19 | 2018-01-23 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
-
2018
- 2018-05-23 CN CN201810501729.5A patent/CN108899033B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7567901B2 (en) * | 2003-02-13 | 2009-07-28 | At&T Intellectual Property 1, L.P. | Bio-phonetic multi-phrase speaker identity verification |
US20080312926A1 (en) * | 2005-05-24 | 2008-12-18 | Claudio Vair | Automatic Text-Independent, Language-Independent Speaker Voice-Print Creation and Speaker Recognition |
CN104143326A (zh) * | 2013-12-03 | 2014-11-12 | 腾讯科技(深圳)有限公司 | 一种语音命令识别方法和装置 |
CN104992706A (zh) * | 2015-05-15 | 2015-10-21 | 百度在线网络技术(北京)有限公司 | 一种基于语音的信息推送方法及装置 |
CN105117238A (zh) * | 2015-07-24 | 2015-12-02 | 上海海漾软件技术有限公司 | 一种用于智能设备的系统定制方法以及装置 |
CN107046517A (zh) * | 2016-02-05 | 2017-08-15 | 阿里巴巴集团控股有限公司 | 一种语音处理方法、装置和智能终端 |
CN106782536A (zh) * | 2016-12-26 | 2017-05-31 | 北京云知声信息技术有限公司 | 一种语音唤醒方法及装置 |
CN107507612A (zh) * | 2017-06-30 | 2017-12-22 | 百度在线网络技术(北京)有限公司 | 一种声纹识别方法及装置 |
CN107357875A (zh) * | 2017-07-04 | 2017-11-17 | 北京奇艺世纪科技有限公司 | 一种语音搜索方法、装置及电子设备 |
CN107623614A (zh) * | 2017-09-19 | 2018-01-23 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
Non-Patent Citations (1)
Title |
---|
赵思慧: "基于个体声纹挑战的身份认证系统的实现与验证", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109801637A (zh) * | 2018-12-03 | 2019-05-24 | 厦门快商通信息技术有限公司 | 基于隐藏因素的模型融合方法及系统 |
CN110503961A (zh) * | 2019-09-03 | 2019-11-26 | 北京字节跳动网络技术有限公司 | 音频识别方法、装置、存储介质及电子设备 |
WO2021159688A1 (zh) * | 2020-02-13 | 2021-08-19 | 平安科技(深圳)有限公司 | 声纹识别方法、装置、存储介质、电子装置 |
WO2022012215A1 (zh) * | 2020-07-17 | 2022-01-20 | 深圳前海微众银行股份有限公司 | 一种识别说话对象的方法、装置、设备及可读存储介质 |
CN111933150A (zh) * | 2020-07-20 | 2020-11-13 | 北京澎思科技有限公司 | 一种基于双向补偿机制的文本相关说话人识别方法 |
CN111916065A (zh) * | 2020-08-05 | 2020-11-10 | 北京百度网讯科技有限公司 | 用于处理语音的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108899033B (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108899033A (zh) | 一种确定说话人特征的方法及装置 | |
CN107578775B (zh) | 一种基于深度神经网络的多分类语音方法 | |
CN106503805B (zh) | 一种基于机器学习的双模态人人对话情感分析方法 | |
CN110021308B (zh) | 语音情绪识别方法、装置、计算机设备和存储介质 | |
WO2021128741A1 (zh) | 语音情绪波动分析方法、装置、计算机设备及存储介质 | |
CN108281137A (zh) | 一种全音素框架下的通用语音唤醒识别方法及系统 | |
CN110047512B (zh) | 一种环境声音分类方法、系统及相关装置 | |
CN110265040A (zh) | 声纹模型的训练方法、装置、存储介质及电子设备 | |
CN107316638A (zh) | 一种诗词背诵评测方法及系统、一种终端及存储介质 | |
WO2020253128A1 (zh) | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 | |
CN108364662B (zh) | 基于成对鉴别任务的语音情感识别方法与系统 | |
CN104903954A (zh) | 使用基于人工神经网络的亚语音单位区分的说话人验证及识别 | |
Sahoo et al. | Emotion recognition from audio-visual data using rule based decision level fusion | |
CN104538043A (zh) | 一种通话中实时情感提示装置 | |
CN107526826A (zh) | 语音搜索处理方法、装置及服务器 | |
CN112786029B (zh) | 使用弱监督数据训练vad的方法及装置 | |
CN109410986B (zh) | 一种情绪识别方法、装置及存储介质 | |
CN111901627B (zh) | 视频处理方法、装置、存储介质及电子设备 | |
CN110580897B (zh) | 音频校验方法、装置、存储介质及电子设备 | |
CN108829739A (zh) | 一种信息推送方法及装置 | |
CN110111778A (zh) | 一种语音处理方法、装置、存储介质及电子设备 | |
US20070192097A1 (en) | Method and apparatus for detecting affects in speech | |
CN112185382A (zh) | 一种唤醒模型的生成和更新方法、装置、设备及介质 | |
CN111833842A (zh) | 合成音模板发现方法、装置以及设备 | |
CN113990288B (zh) | 一种语音客服自动生成部署语音合成模型的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |