CN112530438B - 一种基于知识图谱辅助声纹识别的身份认证方法 - Google Patents

一种基于知识图谱辅助声纹识别的身份认证方法 Download PDF

Info

Publication number
CN112530438B
CN112530438B CN202011364919.0A CN202011364919A CN112530438B CN 112530438 B CN112530438 B CN 112530438B CN 202011364919 A CN202011364919 A CN 202011364919A CN 112530438 B CN112530438 B CN 112530438B
Authority
CN
China
Prior art keywords
voiceprint recognition
identity authentication
knowledge
graph
assisted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011364919.0A
Other languages
English (en)
Other versions
CN112530438A (zh
Inventor
孟悦恒
金宇
龚霄
潘嵩
苏畅
孙已茹
朱鹏
蒋猛
沈云春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202011364919.0A priority Critical patent/CN112530438B/zh
Publication of CN112530438A publication Critical patent/CN112530438A/zh
Application granted granted Critical
Publication of CN112530438B publication Critical patent/CN112530438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/04—Power grid distribution networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于知识图谱辅助声纹识别的身份认证方法，包括，利用原始数据提取各个实体之间的关系构建知识图谱及电网调度关键词库；当声纹识别准确率下降时，根据语音识别策略将调度通话录音转换为调度文本；基于所述电网调度关键词库和自然语言处理策略提取所述调度文本中的关键实体及关系；利用所述知识图谱匹配策略辅助所述声纹识别进行身份认证。本发明实现声纹识别失效下大幅提高了人员身份认证的准确性，保证电网调度过程的安全进行。

Description

一种基于知识图谱辅助声纹识别的身份认证方法
技术领域
本发明涉及电网调度系统、身份认证的技术领域，尤其涉及一种基于知识图谱辅助声纹识别的身份认证方法。
背景技术
目前电网调度系统进行身份认证主要是通过行政管理手段进行把关，例如，调度操作票填写的“五核实”、“三审签字”以及通话核实等，现行管理方式下，人员身份核实仍然存在盲点，通话确认身份的方式往往缺乏可信度，存在无资质操作的隐患；现阶段电网调度系统正在做声纹识别改造，拟通过声纹识别的方式进行身份认证，但是受现场环境及设备的影响，通话录音往往质量不高，存在噪音、盲音等情况，影响声纹识别的效果，从而导致声纹识别失效的情况。
当前通过声纹识别确认通话双方身份的方式对比以前通过行政管理的方式虽然在效率和规范性上都有很大提高，但是受现场条件的约束，通话现场环境的影响，通话录音质量可能不高，存在噪音、盲音、声音太小无法识别等情况，从而导致声纹识别失败，还是会存在一定的安全隐患。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种基于知识图谱辅助声纹识别的身份认证方法，能够解决现有声纹识别认证身份存在效率和安全规范不足的问题。
为解决上述技术问题，本发明提供如下技术方案：包括，利用原始数据提取各个实体之间的关系构建知识图谱及电网调度关键词库；当声纹识别准确率下降时，根据语音识别策略将调度通话录音转换为调度文本；基于所述电网调度关键词库和自然语言处理策略提取所述调度文本中的关键实体及关系；利用所述知识图谱匹配策略辅助所述声纹识别进行身份认证。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：所述原始数据包括，结构化数据、非结构化数据及半结构化数据。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：所述实体包括，人名、地域名称、设备名称和电话号码。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：构建所述知识图谱包括，数据预处理、实体识别及关系抽取、实体对齐和生成所述知识图谱；所述数据预处理包括，利用所述语音识别策略将语音转化为文本。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：包括，根据电网调度专业语料库生成自定义分词器，对所述文本进行分词，利用CRF+双向LSTM进行所述实体识别，结合SDP+LSTM进行关系抽取，形成初步知识。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：所述知识对齐包括，对所述实体进行消岐、同义词装换处理，对所述实体间关系进行共指消解操作，进行质量评估，形成正确的所述知识并存入生成的所述知识图谱中。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：对所述调度通话录音进行识别对比分析需建立识别分析模型，包括，叠加多个残差网络ResNet，y＝F(x)+x；建立区域生成网络，Pi＝FC2[FC1[Pooling(f,Ri)]]，设置阈值为0.5，若Pi超过0.5，则保留候选区域，若Pi低于0.5，则舍弃；生成分类分支，
Figure BDA0002805128970000021
生成掩码分支，Mi＝FC6[FC5[Pooling(f,Ri′)]]；其中，y：残差网络的输出，x：残差网络的输入，F：卷积运算函数，f：残差网络输出的语音特征，Ri：候选区域，Pooling：池化运算，FC1、FC2分别为第一层、第二层全连接层运算，Pi：候选区域Ri属于前景(即包含待识别特征)的概率，Ri′：保留的候选区域，FC3、FC4分别为第三层、第四层全连接层运算，
Figure BDA0002805128970000022
候选区域Ri′待识别物体c的概率，FC5、FC6分别为第五层、第六层全连接层运算，矩阵Mi与候选区域Ri′像素大小一致，Mi中每个位置代表候选区域内该目标点属于识别特征的概率。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：识别包括，利用所述残差网络提取语音待识别特征；所述区域生成网络利用所述语音待识别特征对待识别语音进行分析，且将候选区域的特征分别送入所述分类分支和所述掩码分支中；所述分类分支识别所述待识别特征的种类；所述掩码分支定位所述待识别特征在所述调度语音中的波点。
作为本发明所述的基于知识图谱辅助声纹识别的身份认证方法的一种优选方案，其中：进行所述验证包括，若声纹识别结果通过身份验证，则直接进入所述语音识别；若所述声纹识别结果未通过身份验证，则对所述下令人身份进行ID地址核实，若核实正确，则重新继续所述身份验证，若核实错误，则终止对当前所述语音的声纹识别。
本发明的有益效果：本发明通过构建知识图谱，构建人与设备、组织机构、地点、固定电话号码等实体的关系，在声纹识别失效时，通过语音识别，将通话录音转化为文本，提起文本中的实体及关系，再经过图匹配算法与知识图谱中的实体-关系进行匹配，再与声纹识别结果进行筛选，从而实现极端情况(声纹识别失效)下大幅提高了人员身份认证的准确性，保证电网调度过程的安全进行。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例所述的基于知识图谱辅助声纹识别的身份认证方法的流程示意图；
图2为本发明一个实施例所述的基于知识图谱辅助声纹识别的身份认证方法的知识图谱示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1和图2，为本发明的第一个实施例，提供了一种基于知识图谱辅助声纹识别的身份认证方法，包括：
S1：利用原始数据提取各个实体之间的关系构建知识图谱及电网调度关键词库。其中需要说明的是，原始数据包括：
结构化数据、非结构化数据及半结构化数据；
实体包括，人名、地域名称、设备名称和电话号码；
构建知识图谱包括，数据预处理、实体识别及关系抽取、实体对齐和生成知识图谱；
数据预处理包括，利用语音识别策略将语音转化为文本；
知识对齐包括，对实体进行消岐、同义词装换处理，对实体间关系进行共指消解操作，进行质量评估，形成正确的知识并存入生成的知识图谱中。
S2：当声纹识别准确率下降时，根据语音识别策略将调度通话录音转换为调度文本。
S3：基于电网调度关键词库和自然语言处理策略提取调度文本中的关键实体及关系。其中还需要说明的是，实体识别及关系抽取包括：
根据电网调度专业语料库生成自定义分词器，对文本进行分词，利用CRF+双向LSTM进行实体识别，结合SDP+LSTM进行关系抽取，形成初步知识。
S4：利用知识图谱匹配策略辅助声纹识别进行身份认证。本步骤还需要说明的是，对调度通话录音进行识别对比分析需建立识别分析模型，包括：
叠加多个残差网络ResNet，y＝F(x)+x；
建立区域生成网络，Pi＝FC2[FC1[Pooling(f,Ri)]]，设置阈值为0.5，若Pi超过0.5，则保留候选区域，若Pi低于0.5，则舍弃；
生成分类分支，
Figure BDA0002805128970000051
生成掩码分支，
Figure BDA0002805128970000052
其中，y：残差网络的输出，x：残差网络的输入，F：卷积运算函数，f：残差网络输出的语音特征，Ri：候选区域，Pooling：池化运算，FC1、FC2分别为第一层、第二层全连接层运算，Pi：候选区域Ri属于前景(即包含待识别特征)的概率，Ri′：保留的候选区域，FC3、FC4分别为第三层、第四层全连接层运算，
Figure BDA0002805128970000053
候选区域Ri′待识别物体c的概率，FC5、FC6分别为第五层、第六层全连接层运算，矩阵Mi与候选区域Ri′像素大小一致，Mi中每个位置代表候选区域内该目标点属于识别特征的概率。
识别包括：
利用残差网络提取语音待识别特征；
区域生成网络利用语音待识别特征对待识别语音进行分析，且将候选区域的特征分别送入分类分支和掩码分支中；
分类分支识别待识别特征的种类；
掩码分支定位待识别特征在调度语音中的波点。
进行验证包括：
若声纹识别结果通过身份验证，则直接进入语音识别；
若声纹识别结果未通过身份验证，则对下令人身份进行ID地址核实，若核实正确，则重新继续身份验证，若核实错误，则终止对当前语音的声纹识别。
较佳的是，本实施例根据电网调度系统获取值班调度员调度电话获取通话录音，并调用声纹识别服务进行声纹识别，如果声纹识别返回的结果匹配率≥80％,则表示身份识别成功，返回匹配率最高的人；如果声纹识别返回的结果＜80％，表示声纹识别失败，不能根据声纹确定人员身份，此时获取匹配率最高的三个用户，调用语音识别服务，将通话录音转换为文本，并通过实体识别及关系抽取技术，对文本进行处理，将提取出的实体及关系与知识图谱中的知识进行图匹配，查找到匹配程度最高的三个用户，再与声纹识别时匹配率最高的三个用户进行筛选，找到最佳匹配用户，从而完成辅助声纹识别进行身份认证。
需要说明的是，本实施例中的数据预处理，由于以往电网调度过程中产生的数据存在多样化、复杂化的特点，如数据有可能是通话录音、操作票等非结构化数据以及关系型数据库存储的结构化数据，对不同的数据需要采取不同的方式进行处理，如对于通话录音，利用语音识别技术将语音转化为文本，再通过下一步实体识别及关系抽取转换为知识，对于关系型数据库存储的结构化数据，直接通过D2R转换提取实体及关系。具体实现的部分程序如下：
Figure BDA0002805128970000061
参照图2，本实施例还需要说明的是，若受调度人“李华”接通电话，通话内容为“贞丰供电局李华，在35kV纳夜变10kV麻山线0023刀闸线路侧装设接地线一组”，声纹识别服务对其通话录音进行声纹识别，但是当时“李华”所处环境噪音太大，声纹识别失效，识别出的结果列表匹配率都小于80％，此时可以通过语音识别，识别出实体“李华”、“贞丰供电局”、“35kV纳夜变10kV麻山线0023刀闸”，通话电话号码为“085106384756”，此时就可以根据这些实体-关系与知识图谱进行匹配，找到其中匹配率最高的人，再与声纹识别返回的结果列表进行筛选，识别出当前人员为“李华”。
实施例2
为了对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的知识图谱声纹识别认证方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，验证本发明方法所具有的真实效果。
传统的知识图谱声纹识别认证方法存在安全隐患，对于身份认证的准确度不高，为验证本发明方法相对于传统方法具有较高的安全性和准确性，本实施例中将此案有传统的知识图谱声纹识别认证方法和本发明方法分别对仿真电网调度系统的身份认证进行实时测量对比。
测试环境：将仿真电网调度系统运行在仿真平台模拟运行并模拟四种场景(噪音、盲音、声音过小及合成音)，采用历史声纹识别数据作为测试样本，分别利用传统方法的智能化操作进行声纹测试并获得测试结果；采用本发明方法，则开启自动化测试设备并运用MATLB实现本发明方法的仿真测试，根据实验结果得到仿真数据；每种方法各测试100组数据，计算获得每组数据的时间，通过与仿真模拟输入的实际预测值进行误差对比计算，结果如下表所示：
表1：四种场景下误差对比数据表。
Figure BDA0002805128970000071
参照表1，能够直观的看出，在相同的四种模拟场景下，传统方法输出的误差值过大，即身份认证准确性较低，其不能很好地在复杂环境下对电网调度的身份认证进行有效验证，而本发明方法虽然也存在误差，但是相对于传统方法已有较高的提升，显然，本发明方法对于身份认证是一种优选方法，且能够保证稳定的准确度和安全性。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于知识图谱辅助声纹识别的身份认证方法，其特征在于：包括，
利用原始数据提取各个实体之间的关系构建知识图谱及电网调度关键词库；
当声纹识别匹配率小于阈值时，根据语音识别策略将调度通话录音转换为调度文本；
基于所述电网调度关键词库和自然语言处理策略提取所述调度文本中的关键实体及关系；
利用所述知识图谱匹配策略辅助所述声纹识别进行身份认证，包括将提取出的实体及关系与知识图谱中的知识进行图匹配，查找匹配程度最高的多名用户，再与声纹识别时匹配率最高的多名用户进行筛选，找到最佳匹配用户，完成辅助声纹识别进行身份认证。
2.如权利要求1所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：所述原始数据包括，结构化数据、非结构化数据及半结构化数据。
3.如权利要求1或2所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：所述实体包括，人名、地域名称、设备名称和电话号码。
4.如权利要求3所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：构建所述知识图谱包括，数据预处理、实体识别及关系抽取、实体对齐和生成所述知识图谱；
所述数据预处理包括，利用所述语音识别策略将语音转化为文本。
5.如权利要求4所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：包括，根据电网调度专业语料库生成自定义分词器，对所述文本进行分词，利用CRF+双向LSTM进行所述实体识别，结合SDP+LSTM进行关系抽取，形成初步知识。
6.如权利要求5所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：所述实体对齐包括，对所述实体进行消岐、同义词装换处理，对所述实体间关系进行共指消解操作，进行质量评估，形成正确的所述知识并存入生成的所述知识图谱中。
7.如权利要求6所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：对所述调度通话录音进行识别对比分析需建立识别分析模型，包括，
叠加多个残差网络ResNet，；
建立区域生成网络，，设置阈值为0.5，若超过0.5，则保留候选区域，若低于0.5，则舍弃；
生成分类分支，；
生成掩码分支，；
其中，：残差网络的输出，：残差网络的输入，：卷积运算函数，：残差网络输出的语音特征，：候选区域，：池化运算，分别为第一层、第二层全连接层运算，：候选区域属于前景（即包含待识别特征）的概率，：保留的候选区域，分别为第三层、第四层全连接层运算，：候选区域待识别物体的概率，分别为第五层、第六层全连接层运算，矩阵与候选区域像素大小一致，中每个位置代表候选区域内目标点属于识别特征的概率。
8.根据权利要求7所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：识别包括，
利用所述残差网络提取语音待识别特征；
所述区域生成网络利用所述语音待识别特征对待识别语音进行分析，且将候选区域的特征分别送入所述分类分支和所述掩码分支中；
所述分类分支识别所述待识别特征的种类；
所述掩码分支定位所述待识别特征在所述调度通话录音中的波点。
9.根据权利要求8所述的基于知识图谱辅助声纹识别的身份认证方法，其特征在于：进行所述认证包括，
若声纹识别结果通过身份认证，则直接进入所述语音识别；
若所述声纹识别结果未通过身份认证，则对下令人身份进行ID地址核实，若核实正确，则重新继续所述身份认证，若核实错误，则终止对当前所述语音的声纹识别。
CN202011364919.0A 2020-11-27 2020-11-27 一种基于知识图谱辅助声纹识别的身份认证方法 Active CN112530438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364919.0A CN112530438B (zh) 2020-11-27 2020-11-27 一种基于知识图谱辅助声纹识别的身份认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364919.0A CN112530438B (zh) 2020-11-27 2020-11-27 一种基于知识图谱辅助声纹识别的身份认证方法

Publications (2)

Publication Number Publication Date
CN112530438A CN112530438A (zh) 2021-03-19
CN112530438B true CN112530438B (zh) 2023-04-07

Family

ID=74994765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364919.0A Active CN112530438B (zh) 2020-11-27 2020-11-27 一种基于知识图谱辅助声纹识别的身份认证方法

Country Status (1)

Country Link
CN (1) CN112530438B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
CN107808145A (zh) * 2017-11-13 2018-03-16 河南大学 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统
CN109145123A (zh) * 2018-09-30 2019-01-04 国信优易数据有限公司 知识图谱模型的构建方法、智能交互方法、系统及电子设备
CN111667840A (zh) * 2020-06-11 2020-09-15 刘娴 基于声纹识别的机器人知识图谱节点更新方法
CN111858892A (zh) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 基于知识图谱的语音交互方法、装置、设备及介质
CN111883140A (zh) * 2020-07-24 2020-11-03 中国平安人寿保险股份有限公司 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN111984797A (zh) * 2020-09-07 2020-11-24 中国银行股份有限公司 客户身份识别装置及方法
CN112509583A (zh) * 2020-11-27 2021-03-16 贵州电网有限责任公司 一种基于调度操作票系统的辅助监督方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721086B2 (en) * 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
US10438584B2 (en) * 2017-04-07 2019-10-08 Google Llc Multi-user virtual assistant for verbal device control
US10782986B2 (en) * 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
CN107808145A (zh) * 2017-11-13 2018-03-16 河南大学 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统
CN109145123A (zh) * 2018-09-30 2019-01-04 国信优易数据有限公司 知识图谱模型的构建方法、智能交互方法、系统及电子设备
CN111667840A (zh) * 2020-06-11 2020-09-15 刘娴 基于声纹识别的机器人知识图谱节点更新方法
CN111858892A (zh) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 基于知识图谱的语音交互方法、装置、设备及介质
CN111883140A (zh) * 2020-07-24 2020-11-03 中国平安人寿保险股份有限公司 基于知识图谱和声纹识别的认证方法、装置、设备及介质
CN111984797A (zh) * 2020-09-07 2020-11-24 中国银行股份有限公司 客户身份识别装置及方法
CN112509583A (zh) * 2020-11-27 2021-03-16 贵州电网有限责任公司 一种基于调度操作票系统的辅助监督方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Utilizing relationships between named entities to improve speech recognition in dialog systems;Shajith Ikbal，等;《2010 IEEE Spoken Language Technology Workshop》;20110124;全文 *
生物识别技术在AIoT+5G新型智慧社区中的应用研究;王洪艳;《吉林农业科技学院学报》;20201015;全文 *

Also Published As

Publication number Publication date
CN112530438A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN106373575B (zh) 一种用户声纹模型构建方法、装置及系统
CN103685185B (zh) 移动设备声纹注册、认证的方法及系统
CN108447471A (zh) 语音识别方法及语音识别装置
CN112528041B (zh) 一种基于知识图谱的调度用语规范验证方法
CN109658579A (zh) 一种门禁控制方法、系统、设备及存储介质
CN112509583A (zh) 一种基于调度操作票系统的辅助监督方法及系统
CN112468659B (zh) 应用于电话客服的质量评价方法、装置、设备及存储介质
CN107454657A (zh) 一种语音配网方法
CN113949582B (zh) 一种网络资产的识别方法、装置、电子设备及存储介质
CN112232078A (zh) 一种基于双向gru与注意力机制的调度操作票审核方法
CN112530438B (zh) 一种基于知识图谱辅助声纹识别的身份认证方法
CN112487789B (zh) 一种基于知识图谱的操作票调度逻辑合法性验证方法
JP6380393B2 (ja) 文章分類装置、文章分類方法、及び文章分類プログラム
CN109637523A (zh) 一种基于语音的车辆门锁控制方法及装置
CN116417000A (zh) 一种基于声纹识别的电网调度身份认证方法及系统
CN112002306B (zh) 语音类别的识别方法、装置、电子设备及可读存储介质
CN115391512A (zh) 一种对话语言模型的训练方法、装置、设备及存储介质
US8051026B2 (en) Rules collector system and method with user interaction
CN110110048B (zh) 问询指引方法及装置
CN114490885A (zh) 一种实体关系抽取方法、装置、电子设备及存储介质
CN113408637A (zh) 一种基于相似度算法的操作票匹配方法
CN111176618A (zh) 一种语音唤醒开发程序的方法及系统
CN115982657B (zh) 一种智能外呼客服系统的录音审核分类方法及装置
CN109062911B (zh) 一种人工智能语音建模方法
CN114945058A (zh) 基于虚拟坐席的电力问询系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant