CN113033191A - 语音数据处理方法、电子设备及计算机可读存储介质 - Google Patents
语音数据处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113033191A CN113033191A CN202110342497.5A CN202110342497A CN113033191A CN 113033191 A CN113033191 A CN 113033191A CN 202110342497 A CN202110342497 A CN 202110342497A CN 113033191 A CN113033191 A CN 113033191A
- Authority
- CN
- China
- Prior art keywords
- desensitization
- voice data
- processing
- desensitized
- text content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 31
- 238000000586 desensitisation Methods 0.000 claims abstract description 162
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012217 deletion Methods 0.000 description 12
- 230000037430 deletion Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Bioethics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开一种语音数据处理方法，包括：对语音数据进行生物特征处理得到第一脱敏语音数据；对第一脱敏语音数据进行语音识别处理得到第一脱敏识别文本内容；按照预设脱敏规则确定第一脱敏识别文本内容中的敏感文本内容；对敏感文本内容进行脱敏处理；至少根据脱敏处理结果生成第二脱敏语音数据。本发明实施例通过对语音数据做生物特征处理，从而达到了对说话人生物特征隐私的脱敏。通过将第一脱敏语音数据识别为第一脱敏识别文本内容，再按照预设脱敏规则检测出敏感文本内容进行脱敏处理，最后基于脱敏处理结果生成了脱敏后的语音数据，从而确保了在利用脱敏语音数据时不会存在暴露说话者的个人私密信息，实现了说话者的信息安全。
Description
技术领域
本发明涉及语音数据处理技术领域，尤其涉及一种语音数据处理方法、电子设备及计算机可读存储介质。
背景技术
随着智能语音技术的发展，语音数据或者音视频中的音频信息，已经成为医疗、金融、政府、企业等重要的可以直接应用的数据源。
以医疗行业应用举例，录制医生和患者间的问诊过程，是最一手的信息。通过一系列语音识别和自然语言处理，这些信息在生成门诊电子病历、辅助诊断、医疗教学和培训中都有非常重要的应用。为了保护病人和医生隐私，现有的医疗数据脱敏规范，已经覆盖了姓名、年龄、身份证号码、病历号、住址等个人信息。但原始的音频中，仍然包含了病人和医生的各种生物特征信息(例如，声纹和年龄等)，这些信息同样需要进行脱敏处理，以确保病人和医生的隐私。
以金融行业应用举例，银行电话客服和客户之间的对话录音重要的原始信息，可以通过语音识别技术得到对话的转写。该对话录音还可以用于客服服务质检。定量的质检包括判断是否有不规范用语。定性的质检包括是否保持热情的服务态度、用户是否满意。情绪识别技术进行定性的质检。此外，智能语音技术还可以分析对话的主题、对话持续时长等，用于客服的培训等应用。所以原始的语音有重要的应用价值。但是语音内容包含大量敏感的信息，例如，银行电话客服和客户之间的对话内容，往往包括用户的身份信息、用户账号信息等敏感信息。如果直接存储利用，则会存在极大的隐私安全隐患。
发明内容
本发明实施例提供一种语音数据处理方法、电子设备及计算机可读存储介质，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种语音数据处理方法，包括：
对语音数据进行生物特征处理得到第一脱敏语音数据；
对所述第一脱敏语音数据进行语音识别处理得到第一脱敏识别文本内容；
按照预设脱敏规则确定所述第一脱敏识别文本内容中的敏感文本内容；
对所述敏感文本内容进行脱敏处理；
至少根据脱敏处理结果生成第二脱敏语音数据。
第二方面，本发明实施例提供一种计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明的任一项语音数据处理方法。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明的任一项语音数据处理方法。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明的任一项语音数据处理方法。
本发明实施例通过对语音数据做生物特征处理，从而达到了对说话人生物特征隐私的脱敏。通过将第一脱敏语音数据识别为第一脱敏识别文本内容，再按照预设脱敏规则检测出敏感文本内容进行脱敏处理，最后基于脱敏处理结果生成了脱敏后的语音数据，从而确保了在利用脱敏语音数据时不会存在暴露说话者的个人私密信息，实现了说话者的信息安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的语音数据处理方法的一实施例的流程图；
图2为本发明的语音数据处理方法的另一实施例的流程图；
图3为本发明的语音数据处理方法的另一实施例的流程图；
图4为本发明的语音数据处理方法的另一实施例的流程图；
图5为本发明的语音数据处理方法的另一实施例的流程图；
图6为本发明的语音数据处理方法的另一实施例的流程图；
图7为本发明的语音数据处理方法的另一实施例的流程图；
图8为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示，本发明的实施例提供一种语音数据处理方法，包括：
S110、对语音数据进行生物特征处理得到第一脱敏语音数据。示例性地，生物特征处理包括：声纹特征处理和年龄特征处理中的至少一种。
S120、对所述第一脱敏语音数据进行语音识别处理得到第一脱敏识别文本内容。
S130、按照预设脱敏规则确定所述第一脱敏识别文本内容中的敏感文本内容。
示例性地，预设脱敏规则可以是敏感字段检测。例如，“我的名字是”、“身份证号是”、“手机号是”、“家庭住址是”和“年龄是”等。在检测到以上敏感字段后将后面相应的内容确定为敏感文本内容。
S140、对所述敏感文本内容进行脱敏处理。示例性地，脱敏处理包括替换处理和删除处理中的至少一种。对敏感文本内容进行脱敏处理包括：对第一脱敏识别文本内容中的敏感文本内容进行替换处理或者删除处理。其中替换处理可以是将敏感文本内容替换为预设字符串(例如，XXX或者其它字符串，本发明对此不作限定)，例如，对于“身份证号是11010819800203****”，进行替换处理之后得到“身份证号码是XXX”，相应的在生成第二脱敏语音数据时对应于预设字符串的音频可以是预设的蜂鸣声或者其它任何频率或者音调的声音；删除处理可以是将敏感文本内容直接删除，例如，对于身份证号是11010819800203****”，进行删除处理之后得到“身份证号码是”，相应的在生成第二脱敏语音数据时对应于删除部分可以设置为静音。
S150、至少根据脱敏处理结果生成第二脱敏语音数据。
示例性地，第二脱敏语音数据是对应于语音数据的脱敏后的语音数据。第二脱敏语音数据中原本的敏感内容部分被替换成了脱敏音频内容。
本发明实施例通过对语音数据做生物特征处理，从而达到了对说话人生物特征隐私的脱敏，避免了将语音数据分享后带来的隐私泄露隐患。通过将第一脱敏语音数据识别为第一脱敏识别文本内容，再按照预设脱敏规则检测出敏感文本内容进行脱敏处理，最后基于脱敏处理结果生成了脱敏后的语音数据，从而确保了在利用脱敏语音数据时不会存在暴露说话者的个人私密信息，实现了说话者的信息安全。
如图2所示为发明的语音数据处理方法的另一实施例的流程图，在该实施例中还包括：
S210、提取所述语音数据的原始生物特征信息。示例性地，提取语音数据的原始声纹信息。
S220、提取所述第一脱敏语音数据的新的生物特征信息。示例性地，提取第一脱敏语音数据的新的声纹信息。
S230、计算所述原始生物特征信息和所述新的生物特征信息之间的相似度，得到生物特征相似度值。
示例性地，生物特征相似度值为声纹相似度值。声纹相似度值越小说明说话人的语音数据变声前后的声纹信息越不相似，即脱敏效果越好。
S240、当所述生物特征相似度值小于第一预设阈值时，确定所述生物特征处理合格；否则，确定所述生物特征处理不合格。
示例性地，第一预设阈值可以取值为0.8或者0.85等，具体可以根据实际需求进行设定，本发明对此不作限定。当声纹相似度值小于第一预设阈值时，表明对说话人的语音数据的脱敏效果均达到的预期效果，否则认为声纹信息脱敏不合格。
本实施例中不仅对说话人声纹信息进行了脱敏，而且还对脱敏效果进行了评估，并且只有在脱敏效果达到预期时才确定脱敏成功，从而确保了对说话人声纹信息脱敏的有效性。
如图3所示为发明的语音数据处理方法的另一实施例的流程图，在该实施例中还包括：
S310、对所述语音数据进行语音识别得到对应的原始识别文本内容。
S320、计算所述原始识别文本内容和所述第一脱敏识别文本内容之间的相似度，得到第一文本相似度值。
示例性地，第一文本相似度值越大，表明进行生物特征处理前后的语音数据的内容一致性越强，即生物特征处理对内容识别结果的影响越小。
S330、当所述第一文本相似度值大于第二预设阈值时，确定所述生物特征处理合格；否则，确定所述生物特征处理不合格。
本发明实施例中通过将说话人的生物特征处理前后的语音数据的识别文本内容进行比较，并且通过第二预设阈值的设定限定当说话人的生物特征处理前后的语音数据的识别文本内容足够一致时才认定生物特征处理合格，从而确保了在进行语音数据脱敏后新的语音数据的可用性。
如图4所示为本发明的语音数据处理方法的另一实施例的流程图，在该实施例中，至少根据脱敏处理结果生成第二脱敏语音数据，包括：
S151、根据脱敏处理结果确定脱敏后的第二脱敏识别文本内容。
示例性地，脱敏处理结果可以是对应于敏感文本内容的预设字符串 (对应于替换处理)，也可以是对应于敏感文本内容的空字符串(对应于删除处理)。当采用替换处理进行脱敏时，根据脱敏处理结果确定脱敏后的第二脱敏识别文本内容包括：采用预设字符串替换识别文本内容中的敏感文本内容得到脱敏后的第二脱敏识别文本内容。当采用删除处理进行脱敏时，根据脱敏处理结果确定脱敏后的第二脱敏识别文本内容包括：采用空字符串替换识别文本内容中的敏感文本内容得到脱敏后的第二脱敏识别文本内容。
S152、合成对应于所述第二脱敏识别文本内容的第二脱敏语音数据。
示例性地，采用语音合成技术合成对应于脱敏后的第二脱敏识别文本内容的第二脱敏语音数据。对于脱敏后的第二脱敏识别文本内容中所包含的预设字符串或者空字符串可以合成预设音频片段。例如，对于预设字符串，预设音频片段可以是预设频率或者音色的音频；对于空字符串，预设音频片段可以是静音片段，本发明对此不作限定。
本实施例中在对敏感文本内容进行脱敏处理之后，根据脱敏处理后的内容生成了脱敏后的识别文本内容，并进一步地通过语音合成算法合成对应于脱敏后的第二脱敏识别文本内容的第二脱敏语音数据，整体合成所得的第二脱敏语音数据顺畅自然。
在一些实施例中，本发明的语音数据处理方法还包括：生成对应于所述语音数据中说话人的语音合成模型；
所述合成对应于所述第二脱敏识别文本内容的第二脱敏语音数据，包括：采用所述语音合成模型合成对应于所述第二脱敏识别文本内容的第二脱敏语音数据。
示例性地，说话人的音频通过声纹复刻方式都可以获得说话人对应的说话人语音合成模型。声纹复刻利用迁移学习技术，利用声纹编码器、语音合成器和发声器来实现，本发明对此不作限制。
本实施例中通过生成对应于说话人的语音合成模型用于合成脱敏语音数据使得到的脱敏语音数据听起来仍然是原说话人的语音，提升了用户体验。
发明人在实现本发明的过程中发现，前述实施例中所述的语音数据处理方法先通过语音转写，获得文本信息。然后根据预定义的脱敏规则和算法，替换或者删除敏感内容。在获得脱敏的文本后，使用说话人的语音合成模型，生成语音数据。不同说话人采用不同的语音合成模型。这样方案的好处是，生成的脱敏语音数据顺畅自然，一致性较好。但是这个方案存在以下问题：语音转写引入的错误会传递到生成的语音中，造成信息传递的误差；原始语音中语速、情绪等综合的信息丢失了。
如图5所示为本发明的语音数据处理方法的另一实施例的流程图，在该实施例中，至少根据脱敏处理结果生成第二脱敏语音数据，包括：
S151′、生成对应于脱敏处理结果的脱敏音频片段。
示例性地，脱敏处理包括替换处理和删除处理中的至少一种。对第一脱敏识别文本内容中的敏感文本内容进行脱敏处理包括：对第一脱敏识别文本内容中的敏感文本内容进行替换处理或者删除处理。其中替换处理可以是将敏感文本内容替换为预设字符串(例如，XXX或者其它字符串，本发明对此不作限定)，例如，对于“身份证号是11010819800203****”，进行替换处理之后得到“身份证号码是XXX”，相应的在生成对应于“XXX”的脱敏音频片段，例如可以是预设的蜂鸣声片段或者其它任何频率或者音调的声音片段；删除处理可以是将敏感文本内容直接删除，例如，对于身份证号是11010819800203****”，进行删除处理之后得到“身份证号码是”，相应的在生成静音片段作为脱敏音频片段。
S152′、根据所述脱敏音频片段对所述第一脱敏语音数据进行处理得到第二脱敏语音数据。示例性地，将第一脱敏语音数据中包含敏感内容的部分音频片段替换为脱敏音频片段。
本实施例中对需要脱敏处理的敏感文本内容进行脱敏处理，生成对应于脱敏处理结果的脱敏音频片段，并根据脱敏音频片段对第一脱敏语音数据进行处理得到脱敏语音数据，无需将整个第一脱敏语音数据转化成文本内容，生成对应于这个第一脱敏语音数据的脱敏文本内容，之后再合成对应于脱敏文本内容的第二脱敏语音数据。避免了大量的语音数据到文本内容，再由文本内容到语音数据之间相互转换导致的信息传递的误差，降低了潜在错误率。同时由于除敏感信息以外的语音数据并未进行改变，所以最大程度的保留了原始语音中语速、情绪等综合信息。
在一些实施例中，本发明的语音数据处理方法还包括：确定所述第一脱敏语音数据中对应于所述敏感文本内容的敏感音频片段的敏感位置信息；
根据所述脱敏音频片段对所述第一脱敏语音数据进行处理得到第二脱敏语音数据，包括：将所述第一脱敏语音数据中对应于所述敏感位置信息的语音片段替换为所述脱敏音频片段得到第二脱敏语音数据。
示例性地，对语音数据进行语音识别得到的识别文本内容为“好的，我的身份证号码是11010819800203****”，预定义的脱敏字段为“身份证号码”，通过基于命名实体识别的自然语言处理技术，识别出身份证号码内容为“11010819800203****”，同时，根据语音识别的结果，在音频中定位到该内容的边界为(3.556s，7.566s)，即敏感音频片段的敏感位置信息 (所在时间段)。
本实施例中对敏感音频片段的敏感位置信息进行了精准的定位，从而使得将脱敏音频片段拼接至语音数据所得到的脱敏语音数据更加顺畅，确保了语音数据中除去敏感音频片段之外的非敏感音频的完整性。
如图6所示为本发明的语音数据处理方法的另一实施例的流程图，在该实施例中，还包括：
S410、对所述第二脱敏语音数据进行语音识别处理得到第二脱敏识别文本内容。
S420、比较所述第二脱敏识别文本内容与所述第一脱敏识别文本内容之间的第二文本相似度。其中，第二文本相似度值越大，表明进行脱敏处理前后的语音数据的内容一致性越强，即脱敏处理对内容识别结果的影响越小。
S430、当所述第二文本相似度大于第三预设阈值时确定所述第二脱敏语音数据可用。
本发明实施例中通过将说话人的脱敏处理前后的语音数据的识别文本信息进行比较，并且通过预设阈值的设定限定当说话人的脱敏处理前后的语音数据的识别文本信息足够一致时才认定脱敏处理合格，从而确保了在进行语音数据脱敏后新的语音数据(即，脱敏语音数据)的可用性。
在一些实施例中，本发明的语音数据处理方法还包括：在对语音数据进行生物特征处理得到第一脱敏语音数据之前，滤除所述语音数据中的背景音。
本实施例中可以通过智能声音分析技术，进行背景音的分析，获得场景相关的敏感信息，例如地点等。此外，背景音中的音乐可能具有版权信息，不能随原始音频一起做发布，通过本实施例即可避免侵犯版权。
如图7所示，为本发明的语音数据处理方法的另一实施例的流程图，在该实施例中包括：
1、背景音抑制和说话人分离：原始音频数据首先通过噪声抑制模块，用于去除背景中的敏感信息和涉版权信息。然后通过说话人分离模块，用于获得每个说话人独立的音频(对于原始音频中包含多个说话人语音时)。
2、语音内容脱敏：单独说话人的音频通过语音内容脱敏模块，获得内容脱敏的音频。
3、说话人身份脱敏：内容脱敏的音频通过说话人身份脱敏模块，获得单独说话人的脱敏音频。
4、语音脱敏评估：单独说话人的脱敏音频和其原始音频通过语音脱敏评估模块，获得脱敏语音可用性和说话人身份脱敏效果的评估结果。我们以脱敏对语音识别结果的影响来评估脱敏语音的可用性。用相同的语音识别模型来处理原始音频和脱敏音频，以词错误率来评估原始音频识别结果和脱敏音频识别结果的差距。词错误率计算中部不考虑语音内容脱敏引入的敏感内容的替换和删除。类似的，可以根据不同的下游语音处理模块来对脱敏音频可用性质量进行评估。例如脱敏音频要用于某个情绪识别模块，则可以用该情绪识别模块处理原始音频和对应的脱敏音频，比较结果的差异来进行可用性质量评估。如果采用了说话人身份脱敏，则可以用声纹比较结果来评估说话人身份脱敏的有效性。
5、语音脱敏日志：记录了语音内容脱敏和说话人身份脱敏中产生的日志信息。
6、音频合并：单独说话人的脱敏音频通过音频合并模块，获得脱敏音频。
通过本发明实施例对语音数据进行脱敏处理可以增加数据的流动和共享。公开的数据集可以更好更广泛的支持科研的基站。可以用于建立国家级声学数据中心。私有云环境往往不具备大规模/超大规模算力，对语音数据进行脱敏，可以充分利用共有云用的算力资源。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一实施例所述的语音数据处理方法。
在一些实施例中，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任一实施例所述的语音数据处理方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语音数据处理方法。
图8是本申请另一实施例提供的执行语音数据处理方法的电子设备的硬件结构示意图，如图8所示，该设备包括：一个或多个处理器810以及存储器820，图8中以一个处理器810为例。
执行语音数据处理方法的设备还可以包括：输入装置830和输出装置 840。
处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器820作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的语音数据处理方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例语音数据处理方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音数据处理装置的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至语音数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可接收输入的数字或字符信息，以及产生与语音数据处理装置的用户设置以及功能控制有关的信号。输出装置840可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行上述任意方法实施例中的语音数据处理方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC 设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种语音数据处理方法，包括：
对语音数据进行生物特征处理得到第一脱敏语音数据；
对所述第一脱敏语音数据进行语音识别处理得到第一脱敏识别文本内容；
按照预设脱敏规则确定所述第一脱敏识别文本内容中的敏感文本内容；
对所述敏感文本内容进行脱敏处理；
至少根据脱敏处理结果生成第二脱敏语音数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
提取所述语音数据的原始生物特征信息；
提取所述第一脱敏语音数据的新的生物特征信息；
计算所述原始生物特征信息和所述新的生物特征信息之间的相似度，得到生物特征相似度值；
当所述生物特征相似度值小于第一预设阈值时，确定所述生物特征处理合格；否则，确定所述生物特征处理不合格。
3.根据权利要求1所述的方法，其特征在于，还包括：
对所述语音数据进行语音识别得到对应的原始识别文本内容；
计算所述原始识别文本内容和所述第一脱敏识别文本内容之间的相似度，得到第一文本相似度值；
当所述第一文本相似度值大于第二预设阈值时，确定所述生物特征处理合格；否则，确定所述生物特征处理不合格。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述至少根据脱敏处理结果生成第二脱敏语音数据，包括：
根据脱敏处理结果确定脱敏后的第二脱敏识别文本内容；
合成对应于所述第二脱敏识别文本内容的第二脱敏语音数据。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述至少根据脱敏处理结果生成第二脱敏语音数据，包括：
生成对应于脱敏处理结果的脱敏音频片段；
根据所述脱敏音频片段对所述第一脱敏语音数据进行处理得到第二脱敏语音数据。
6.根据权利要求5所述的方法，其特征在于，还包括：确定所述第一脱敏语音数据中对应于所述敏感文本内容的敏感音频片段的敏感位置信息；
根据所述脱敏音频片段对所述第一脱敏语音数据进行处理得到第二脱敏语音数据，包括：将所述第一脱敏语音数据中对应于所述敏感位置信息的语音片段替换为所述脱敏音频片段得到第二脱敏语音数据。
7.根据权利要求6所述的方法，其特征在于，还包括：
对所述第二脱敏语音数据进行语音识别处理得到第二脱敏识别文本内容；
比较所述第二脱敏识别文本内容与所述第一脱敏识别文本内容之间的第二文本相似度；
当所述第二文本相似度大于第三预设阈值时确定所述第二脱敏语音数据可用。
8.根据权利要求1所述的方法，其特征在于，还包括：在对语音数据进行生物特征处理得到第一脱敏语音数据之前，滤除所述语音数据中的背景音。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342497.5A CN113033191A (zh) | 2021-03-30 | 2021-03-30 | 语音数据处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342497.5A CN113033191A (zh) | 2021-03-30 | 2021-03-30 | 语音数据处理方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113033191A true CN113033191A (zh) | 2021-06-25 |
Family
ID=76452939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110342497.5A Pending CN113033191A (zh) | 2021-03-30 | 2021-03-30 | 语音数据处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033191A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050390A (zh) * | 2022-08-12 | 2022-09-13 | 杭州海康威视数字技术股份有限公司 | 一种语音隐私保护方法、装置、电子设备及存储介质 |
| WO2023235067A1 (en) * | 2022-06-03 | 2023-12-07 | Nuance Communications, Inc. | System and method for secure transcription generation |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160379639A1 (en) * | 2015-06-29 | 2016-12-29 | Google Inc. | Privacy-preserving training corpus selection |
| CN106504744A (zh) * | 2016-10-26 | 2017-03-15 | 科大讯飞股份有限公司 | 一种语音处理方法及装置 |
| US20180285576A1 (en) * | 2015-10-01 | 2018-10-04 | Nigel Henry CANNINGS | System and method for preserving privacy of data in the cloud |
| CN109686369A (zh) * | 2018-12-21 | 2019-04-26 | 秒针信息技术有限公司 | 音频处理方法和装置 |
| CN110111794A (zh) * | 2019-04-16 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 应用程序的启动方法、装置、计算机设备及存储介质 |
| CN110534113A (zh) * | 2019-08-26 | 2019-12-03 | 深圳追一科技有限公司 | 音频数据脱敏方法、装置、设备和存储介质 |
| CN110968673A (zh) * | 2019-12-04 | 2020-04-07 | 北京明略软件系统有限公司 | 一种语音评论的播放方法、装置、语音设备及存储介质 |
| CN111341326A (zh) * | 2020-02-18 | 2020-06-26 | RealMe重庆移动通信有限公司 | 语音处理方法及相关产品 |
| WO2020192890A1 (en) * | 2019-03-25 | 2020-10-01 | Omilia Natural Language Solutions Ltd. | Systems and methods for speaker verification |
| CN111832075A (zh) * | 2020-07-24 | 2020-10-27 | 上海明略人工智能(集团)有限公司 | 一种音频数据处理方法、装置及电子设备 |
| CN111883110A (zh) * | 2020-07-30 | 2020-11-03 | 上海携旅信息技术有限公司 | 语音识别的声学模型训练方法、系统、设备及介质 |
| CN111984175A (zh) * | 2020-08-14 | 2020-11-24 | 维沃移动通信有限公司 | 音频信息处理方法及装置 |
| CN112231748A (zh) * | 2020-10-13 | 2021-01-15 | 上海明略人工智能(集团)有限公司 | 脱敏处理方法及装置、存储介质和电子装置 |
| CN112349266A (zh) * | 2019-08-09 | 2021-02-09 | 深圳Tcl数字技术有限公司 | 一种语音编辑方法及相关设备 |
-
2021
- 2021-03-30 CN CN202110342497.5A patent/CN113033191A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160379639A1 (en) * | 2015-06-29 | 2016-12-29 | Google Inc. | Privacy-preserving training corpus selection |
| US20180285576A1 (en) * | 2015-10-01 | 2018-10-04 | Nigel Henry CANNINGS | System and method for preserving privacy of data in the cloud |
| CN106504744A (zh) * | 2016-10-26 | 2017-03-15 | 科大讯飞股份有限公司 | 一种语音处理方法及装置 |
| CN109686369A (zh) * | 2018-12-21 | 2019-04-26 | 秒针信息技术有限公司 | 音频处理方法和装置 |
| WO2020192890A1 (en) * | 2019-03-25 | 2020-10-01 | Omilia Natural Language Solutions Ltd. | Systems and methods for speaker verification |
| CN110111794A (zh) * | 2019-04-16 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 应用程序的启动方法、装置、计算机设备及存储介质 |
| CN112349266A (zh) * | 2019-08-09 | 2021-02-09 | 深圳Tcl数字技术有限公司 | 一种语音编辑方法及相关设备 |
| CN110534113A (zh) * | 2019-08-26 | 2019-12-03 | 深圳追一科技有限公司 | 音频数据脱敏方法、装置、设备和存储介质 |
| CN110968673A (zh) * | 2019-12-04 | 2020-04-07 | 北京明略软件系统有限公司 | 一种语音评论的播放方法、装置、语音设备及存储介质 |
| CN111341326A (zh) * | 2020-02-18 | 2020-06-26 | RealMe重庆移动通信有限公司 | 语音处理方法及相关产品 |
| CN111832075A (zh) * | 2020-07-24 | 2020-10-27 | 上海明略人工智能(集团)有限公司 | 一种音频数据处理方法、装置及电子设备 |
| CN111883110A (zh) * | 2020-07-30 | 2020-11-03 | 上海携旅信息技术有限公司 | 语音识别的声学模型训练方法、系统、设备及介质 |
| CN111984175A (zh) * | 2020-08-14 | 2020-11-24 | 维沃移动通信有限公司 | 音频信息处理方法及装置 |
| CN112231748A (zh) * | 2020-10-13 | 2021-01-15 | 上海明略人工智能(集团)有限公司 | 脱敏处理方法及装置、存储介质和电子装置 |
Non-Patent Citations (1)
| Title |
|---|
| 丁勇;李佳慧;唐士杰;王会勇;: "基于随机映射技术的声纹识别模板保护", 计算机研究与发展, no. 10 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023235067A1 (en) * | 2022-06-03 | 2023-12-07 | Nuance Communications, Inc. | System and method for secure transcription generation |
| CN115050390A (zh) * | 2022-08-12 | 2022-09-13 | 杭州海康威视数字技术股份有限公司 | 一种语音隐私保护方法、装置、电子设备及存储介质 |
| CN115050390B (zh) * | 2022-08-12 | 2022-12-06 | 杭州海康威视数字技术股份有限公司 | 一种语音隐私保护方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069608B (zh) | 一种语音交互的方法、装置、设备和计算机存储介质 | |
| CN104509065B (zh) | 使用说话能力作为人类交互证明 | |
| CN107481720B (zh) | 一种显式声纹识别方法及装置 | |
| CN107430858A (zh) | 传送标识当前说话者的元数据 | |
| CN108831477B (zh) | 一种语音识别方法、装置、设备及存储介质 | |
| KR20200130352A (ko) | 음성 웨이크업 방법 및 장치 | |
| JP5496863B2 (ja) | 感情推定装置、その方法、プログラム及びその記録媒体 | |
| US10885902B1 (en) | Non-semantic audio stenography | |
| CN113033191A (zh) | 语音数据处理方法、电子设备及计算机可读存储介质 | |
| CN108900612A (zh) | 用于推送信息的方法和装置 | |
| CN112489682A (zh) | 音频处理方法、装置、电子设备和存储介质 | |
| CN112966090B (zh) | 对话音频数据处理方法、电子设备和计算机可读存储介质 | |
| CN114155860A (zh) | 摘要记录方法、装置、计算机设备和存储介质 | |
| CN114399995A (zh) | 语音模型的训练方法、装置、设备及计算机可读存储介质 | |
| CN113095204B (zh) | 双录数据质检方法、装置及系统 | |
| JP2020016784A (ja) | 認識装置、認識方法及び認識プログラム | |
| CN110298150B (zh) | 一种基于语音识别的身份验证方法及系统 | |
| WO2022169417A1 (zh) | 语音相似度确定方法及设备、程序产品 | |
| CN113051902A (zh) | 语音数据脱敏方法、电子设备及计算机可读存储介质 | |
| CN113064983A (zh) | 语义检测方法、装置、计算机设备及存储介质 | |
| Firc | Applicability of Deepfakes in the Field of Cyber Security | |
| CN110516043A (zh) | 用于问答系统的答案生成方法和装置 | |
| US11889168B1 (en) | Systems and methods for generating a video summary of a virtual event | |
| CN112885371B (zh) | 音频脱敏的方法、装置、电子设备以及可读存储介质 | |
| Bispham et al. | Black-box attacks via the speech interface using linguistically crafted input |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |