CN110933225B - 通话信息获取方法、装置、存储介质及电子设备 - Google Patents

通话信息获取方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110933225B
CN110933225B CN201911065504.0A CN201911065504A CN110933225B CN 110933225 B CN110933225 B CN 110933225B CN 201911065504 A CN201911065504 A CN 201911065504A CN 110933225 B CN110933225 B CN 110933225B
Authority
CN
China
Prior art keywords
call
key information
information
data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911065504.0A
Other languages
English (en)
Other versions
CN110933225A (zh
Inventor
刘云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201911065504.0A priority Critical patent/CN110933225B/zh
Publication of CN110933225A publication Critical patent/CN110933225A/zh
Application granted granted Critical
Publication of CN110933225B publication Critical patent/CN110933225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones

Abstract

本申请实施例公开了一种通话信息获取方法、装置、存储介质及电子设备,其中,方法包括:监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。采用本申请实施例,可以智能的在通话过程中实时生成通话关键信息,提高了用户的体验感。

Description

通话信息获取方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种通话信息获取方法、装置、存储介质及电子设备。
背景技术
随着通信技术的发展以及终端的普及,人们使用终端(手机、智能平板等)进行通话的场景越来越普遍。
在人们使用终端(如手机)进行通话的过程中,常会涉及到一些通话信息,有时需要对这些通话信息进行记录,例如:通话过程中涉及到开会事宜,就需要记录开会的时间、地点、事项等内容。
目前,在对通话信息进行记录时,通常是在保持通话状态下,用户点击通话界面的录音按键对通话语音进行录音,在通话结束之后通过多次回放通话录音来获取通话信息。这种采用人工记录通话信息的方式过程繁琐,降低了终端的智能性。
发明内容
本申请实施例提供了一种通话信息获取方法、装置、存储介质及电子设备,可以智能的在通话过程中实时生成通话关键信息,提高了用户的体验感。所述技术方案如下:
第一方面,本申请实施例提供了一种通话信息获取方法,所述方法包括:
监测到通话开始时,实时采集通话过程中的通话数据;
对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;
保存所述通话关键信息。
第二方面,本申请实施例提供了一种通话信息获取装置,所述装置包括:
通话数据采集模块,用于监测到通话开始时,实时采集通话过程中的通话数据;
关键信息获取模块,用于对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;
关键信息保存模块,用于保存所述通话关键信息。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种通话信息获取的场景架构示意图;
图2是本申请实施例提供的一种通话信息获取方法的流程示意图;
图3是本申请实施例提供的一种通话信息获取方法涉及的拨号通话的界面示意图;
图4是本申请实施例提供的一种通话信息获取方法涉及的通话时的界面示意图;
图5是本申请实施例提供的另一种通话信息获取方法的流程示意图;
图6是本申请实施例提供的通话信息获取方法涉及的一种提示信息显示的界面示意图;
图7是本申请实施例提供的一种终端向服务器上传样本数据的场景示意图;
图8是本申请实施例提供的通话信息获取方法涉及的一种终端实时显示通话关键信息的示意图;
图9是本申请实施例提供的通话信息获取方法涉及的一种终端通话关键信息显示设置界面的示意图;
图10是本申请实施例提供的通话信息获取方法涉及的一种通话记录界面的示意图;
图11是本申请实施例提供的通话信息获取方法涉及的一种验证界面的示意图;
图12是本申请实施例提供的通话信息获取方法涉及的一种通话关键信息显示界面的示意图;
图13是本申请实施例提供的一种通话信息获取装置的结构示意图;
图14是本申请实施例提供的另一种通话信息获取装置的结构示意图;
图15是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语:“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
请参见图1,为本申请实施例提供的一种通话信息获取系统的场景示意图。如图1所示,所述通话信息获取系统可以包括终端100及终端110。
所述终端100、终端110可以是具有通话功能的电子设备,该电子设备包括但不限于:可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中第一终端、第二终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的终端设备等。
用户A通过终端100向终端110上的用户B发起通话请求。
终端100监测到与终端110上的用户B的通话开始时,实时采集通话过程中的通话数据。
具体的,用户A通过终端100向终端110上的用户B发起通话请求,用户B通过终端110响应所述通话请求,与终端100上的用户A开始通话。终端100可以通过检测用户A接听电话或拨打电话的操作来监测终端100上通话是否开始,当终端100监测到通话开始时,终端100开启录音模式,并调用终端100上的麦克风应用所对应的接口开始采集用户A与用户B通话过程中的通话数据。
所述录音模式可以理解为终端在开启录音模式时,调用终端上的麦克风应用所对应的接口开始对用户通话过程中的语音进行录音。在实际应用中,终端上的麦克风应用会将用户通话过程中的声音转换成模拟信号,经放大器放大,再送入终端上的模/数转换器将其转换成二进制数字信号,并将所述数字信号依次写入存储空间中实时保存。
终端100将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息。
在一种可行的实施方式中,终端100可以接收针对所述语义识别模型推送的更新信息,所述更新消息可以是与所述终端100建立通信连接的电子设备推送过来的,所述电子设备可以是服务器、平板电脑、手持设备、移动终端等。需要说明的是,所述电子设备在不同的实施环境中可以是不同的设备,在本实施例中不作具体的限定。获取所述语义识别处理模型对应的更新安装包。终端100基于所述更新安装包对所述语义识别模型进行更新。
终端100在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述信息显示模式集合包括待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式中的至少一种。
其中,所述待办模式中包含用户待办的事项或需要完成的任务;所述亲友模式中包含与用户的亲友相关的事项;所述工作任务模式中包含与用户工作相关的事项或工作相关的任务;所述扩展模式可以理解为用户自定义的显示模式,用户可以在扩展模式中自定义与模式相关的特征项(模式关键词、模式显示规则、输出模板等特征项);所述隐私模式可以理解为所述通话关键信息涉及用户隐私(银行卡密码、社交账号密码等)。
终端100将所述通话关键信息保存至通话记录栏中。
终端100当接收到用户A针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
终端100接收到用户A针对所述通话关键信息所输入的密钥时,并对所述密钥进行验证,当所述密钥验证通过时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
在一种可行的实施方式中,终端100可以同时与多个对端设备进行语音通话,所述对端设备可以理解为除所述终端100外的具有通话功能的电子设备,终端100在检测到用户A与多个对端设备上的用户开始语音通话时,实时采集通话过程中的通话数据。并对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息。然后将所述通话关键信息进行保存。
在本申请实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
在一个实施例中,如图2所示,特提出了一种通话信息获取方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的通话信息获取装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
具体的,该通话信息获取方法包括:
步骤101:监测到通话开始时,实时采集通话过程中的通话数据。
所述通话数据是指终端对通话事件进行记录并可以鉴别的符号,通过通话数据可以对“通话”的性质、状态以及相互关系等通话信息进行表达,在计算机技术领域中,数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称。
具体的,当使用终端的用户接听电话或拨打电话至其他用户时,终端就会开始进入通话状态。在本实施例中,终端可以通过检测用户接听电话或拨打电话的操作来监测终端上通话是否开始,当终端监测到通话开始时,终端可以开启录音模式,并调用终端上的麦克风应用所对应的接口开始采集用户通话过程中的通话数据。所述录音模式可以理解为终端在开启录音模式时,调用终端上的麦克风应用所对应的接口开始对用户通话过程中的语音进行录音。在实际应用中,终端上的麦克风应用会将用户通话过程中的声音转换成模拟信号,经放大器放大,再送入终端上的模/数转换器将其转换成二进制数字信号,并将所述数字信号依次写入存储空间中实时保存。
具体的,终端在实时采集通话数据时,终端可以通过内置的录音采集装置或外置的录音采集装置采集用户通话过程中的通话数据,音频采集装置可以是一个或多个话筒(也称为麦克风)。在麦克风的数量为多个的情况下,多个麦克风可以分布在不同的位置组成话筒阵列,终端通过话筒阵列获取每个话筒采集到的通话数据,将多个通道采集到的通话数据进行语音合并处理得到高保真的通话语音所对应的通话数据。
可选的,在音频采集装置是外置的情况下,音频采集装置可以通过3.5mm耳机插口、USB接口或蓝牙将采集到的通话数据实时传输给终端。终端对所述通话数据实时保存。
可选的,终端通过麦克风采集用户通话过程中的通话数据,所述麦克风可以是内置的或者外置的一个或者多个,在麦克风数量为多个时,可以根据实际需求设计麦克风的放置位置,放置方式可以是不同的角度放置,以便采集到更优质的通话语音,进而生成优质的通话数据。
在一种具体的实施场景中,用户小明想要拨打电话给其他用户,如图3所示,图3为一种终端界面显示示意图,此时用户小明通过手指触控的方式打开图3所示的电话应用,输入其他用户的电话号码并点击“拨出”图标向终端输入通话请求,终端响应于用户的通话请求开始通话,同时触发开启录音模式,如图4所示,图4是开始通话并开始录音时终端界面的示意图,终端内置有2个麦克风,分别分布在终端的底部和顶部,终端通过2个麦克风采集用户小明在通话过程中的通话语音,对两个麦克风采集通道上采集的通话语音进行滤波和降噪等过程之后得到高保真的通话语音对应的通话语音数据,并保存下来。
步骤102:对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息。
所述语义识别处理在本实施例中可以理解为以通话过程中的通话语音为研究对象,终端在采集到通话语音之后,通过对通话语音进行语音信号处理(如对通话语音进行预处理)和语义识别,让终端自动识别和理解用户在通话过程中的口述语音,并提取通话过程中的关键信息。
其中,所述语义识别处理通常是运用语音识别技术以及语义识别技术通过识别和处理过程把通话语音转变为相应的文本或命令的技术。例如:终端将采集到的通话语音数据转变为相应的通话关键信息。在实际应用中,在双方或多方进行语音通话时,随着通话时间的增长,通话的信息也会越来越多,通过对通话过程中的通话数据进行语义识别处理,可以得到通话过程中的通话关键信息。
具体的,终端在实时采集的通话数据的过程中,通常采集的是语音流,所述语音流即为持续采集的音频序列,即包括至少一个音频信号(如包括一个单词发音、一个字的发音)。音频信号是带有语音、音乐和音效的有规律的声波的频率、幅度变化信息载体。根据声波的特征,可把音频信息分类为规则音频和不规则声音。其中规则音频又可以分为语音、音乐和音效。规则音频是一种连续变化的模拟信号,可用一条连续的曲线来表示,称为声波。
在本实施例中,所述通话过程中的语音流可以为规则音频,也可以为不规则声音,例如通话过程中的噪音。
具体的,终端在采集到语音流(通话数据)之后,所述语音流实际上是一种信号波,终端在开始对所述语音流(通话数据)进行语义识别时,需要对采集的信号波进行预处理,消除因为环境噪声、回声等干扰因素影响采集语音的质量,在实际实施中,会对通过终端采集的信号波进行预处理,所述预处理包含端点检测、降噪、波束形成,经过预处理后的通话语音进行后置滤波消除残留的语音噪声,然后通过自动增益算法调节采集的语音能量。再进行下一步的语义识别处理。
具体的,在语义识别处理的之前,通常需要获取大量通话样本数据提取语义特征,所述语义特征是以自然语言表达的非结构化数据特有的语义属性,以一篇论文为例,语义特征包括作者创作意图、数据主题说明、底层特征含义等语义要素。所述语义特征信息是能够表达对象本身的语义以及在环境中语义的多种特征,以通话内容为例,所述语义特征信息可以是组成元素的顺序、词的顺序、词的情感信息、互信息等。
其中,组成元素可以理解为组成一段话最小的组成单位,以汉语言为例,最小组成单位是每个字的发音。
词顺序为通话过程中表达一句话(一个意思)组成的各个词的先后顺序。
词的情感信息为通话过程中该词语在这个句子中所表达的情感含义,所述情感含义可以理解为词在句子是高昂还是低沉、是褒义还是贬义、是欣喜还是悲伤等。
互信息是指某个词或字和类别之间的统计独立关系,互信息常应用于度量两个对象之间的相互性。
在本实施例中,提取的语义特征对于整个通话数据来说,它包括但不限于通话过程中的关键词信息、词频分布信息、语法级的实体信息、语义级的主题等。
具体的,终端在提取到通话样本数据的语义特征之后,在此基础上建立语义识别所需的语义库,所述语义库中包含大量的语义模板。终端获取到通话数据之后,提取通话数据中的语义特征,然后在语义库所包含的各语义模板中确定与所述语义特征相匹配的目标语义模板。然后根据所述目标语义模板的通话关键信息输出规则,输出所述通话数据相对应的通话关键信息。其中,所述语义模板可以理解为终端针对不同的通话场景设置有不同的通话关键信息输出规则,例如:工作类型的语义模板侧重于输出与工作相关的关键内容(会议时间、地点、会议内容等),日常活动类型的语义模板侧重于输出与日常活动相关的关键内容(活动名称、活动注意事项、活动人员等)。
可选的,终端在语音库所包含的各语义模板中确定与所述语音特征相匹配的目标语义模板,可以是基于所述语音特征与各语义模板中的模板语义特征进行匹配。所述匹配方式可以是对所述语音特征与所述各语义模板中的模板语义特征分别计算相似度,以在各语义模板中确定相似度最高指示的目标语义模板;可以是对所述语音特征与所述各语义模板中的模板语义特征分别计算相似距离,以在各语义模板中确定相似距离最长指示的目标语义模板;可以是对所述语音特征与所述各语义模板中的模板语义特征分别计算差异特征信息(差异词、差异字、差异句等),然后基于差异特征信息进行评级或评分,以在各语义模板中确定各评级中最高评级指示的目标语义模板或各评分中最高评分指示的目标语义模板。
在一种可行的实施方式中,终端在采集到通话语音数据之后,可以对所述通话数据进行语音数据识别,以将通话数据转化为相对应的通话文本内容,基于预设的关键信息库,所述关键信息库中包含大量的关键信息(关键字、关键句等),从所述通话文本与所述关键信息库中的关键信息进行匹配,从而提取出通话关键信息。
例如:终端采集到的通话语音数据采集到的通话文本内容为:“今天天气晴转多云,适合外出钓鱼,钓鱼之后可以一起在广场路茶餐厅吃个饭,时间可以是6点以后,我可以派司机来接你...”,其中预设的关键信息中的关键信息-时间、地点、事项进行匹配,从而提取出通话关键信息为:“6点后广场路茶餐厅吃饭”。
步骤103:保存所述通话关键信息。
所述通话关键信息可以理解为通话过程中的重要通话信息。
具体的,终端在得到所述通话数据对应的通话关键信息之后,将所述通话关键信息保存至预设的关键信息集合中。
可选的,终端还可以对所述通话关键信息进行加密处理,加密处理的方式可以为用户预设的加密方式,也可以为终端出厂时预设的加密方式,通过预设的加密算法对所述通话关键信息进行加密,对于加密处理后的信息可以通过特定的解密密码或解密工具才能解密获取得到终端上的通话关键信息。在具体的实施过程中特定的解密密码或解密工具可以交由特定的机关或者指定的机构进行保管。通过对解密密码和解密工具的严格管理,保证终端用户的通话信息安全。其中在对通话关键信息进行加密处理以后,还可以对通话关键信息以及通话数据进行必要的压缩处理,从而节省存储空间。
可选的,终端在得到所述通话数据对应的通话关键信息之后,可以将所述通话关键信息上传至云端服务器,通过云端服务器存储所述通话关键信息,用户可通过终端访问云端服务器查看所述通话关键信息。
在本申请实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
请参见图5,图5是本申请提出的一种通话信息获取方法的另一种实施例的流程示意图。具体的:
步骤201:监测到通话开始时,实时采集通话过程中的通话数据。
具体可参见步骤101,此处不再赘述。
步骤202:检测通话过程中的用户通话距离,当所述用户通话距离大于通话距离阈值时,输出距离调整信息。
所述用户通话距离可以理解为在通话过程中,用户距离终端的通话距离。
所述通话距离阈值可以理解为在采集用户通话数据的过程中,终端通过麦克风采集通话语音会有一个有效语音采集范围,所述有效语音采集范围指示的最大通话距离即通话距离阈值。通常用户通话距离在所述有效语音采集范围时,终端采集到的通话语音所对应的语音质量较好,可以被终端准确识别。其中,所述通话距离阈值可以是终端出厂是预先设置好的,也可以是用户自定义设置的。
所述距离调整信息可以理解为用于用户调整与终端的相对距离的提示信息。
具体的,终端在采集通话数据的过程中,终端上所包含的电子传感部件(如距离传感器、红外线传感器、激光测距仪等)可以对用户输入的通话语音的过程实时监测,以得到用户通话过程中的用户通话距离。终端判断所述用户通话距离是否大于通话距离阈值,当所述用户通话距离大于通话距离阈值时,终端向用户展示距离调整信息。
例如,终端的麦克风采集有效语音范围是0-30cm,即通话距离阈值为30cm,用户在离终端麦克风35cm的位置输入语。此时,终端上所包含的电子传感部件(如距离传感器、红外线传感器、激光测距仪等)检测到用户通话距离为35cm,用户通话距离(35cm)大于通话距离阈值(30cm)。此时终端确定用户距离过远,不在有效语音采集范围之内,终端在显示屏上展示如图6所示“距离过远,请调整与麦克风的距离”的文本提示信息,提示用户调整与麦克风的距离,用户此时可以通过拉近与麦克风的距离从而采集到更优质的通话语音所对应的通话数据。
可选的,终端在采集通话数据的过程中,可以同时对通话接听方的通话语音进行实时监测,当采集到的通话接听方的通话语音质量不佳时,可以在终端上显示相应的提示信息,例如:对方通话语音不佳,请提示通话接听方调整与麦克风的距离。
可选的,所述通话语音质量不佳可以理解为,终端具有通话语音质量评测机制,当采集到通话接听方的通话语音时,对通话接听方的通话语音的各项语音参数进行评测,所述语音参数包括但不限于音色参数、音质、语音强度、时/频域参数等等。生成通话语音的评测得分,终端预先设置有评测阈值,当所述评测得分低于评测阈值时,确定当前通话语音质量不佳。
步骤203:将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息。
具体的,终端首先需要对初始的语义识别模型进行训练,终端可以从已有的通话语音数据库中获取全部或部分通话样本数据,和/或获取采用录音设备对实际语言环境下录制的通话样本数据,然后提取通话样本数据中的特征向量。
具体的,通常所述通话样本数据中的通话语音为模拟信号,模拟信号的时域波形反映声压随时间变化的关系,为了更好的反映通话语音的声学特征,终端对所述通话样本数据进行数字化处理以及预处理之后,提取通话语音特征向量。
其中,所述数字化处理包含反混叠滤波、采样、A/D转换等等,所述预处理包括对通话样本数据采样量化、预加重、加窗分帧以及端点检测,经所述数字化处理以及预处理之后,所述通话样本数据的高频分辨率被提高,方便对所述语义识别模型的后续训练。
可选的,所述提取通话语音特征向量。可以基于梅尔频率倒谱系数MFCC从上述通话样本数据中提取通话语音特征向量。具体的,可以首先利用离散傅氏变换的快速算法对上述通话样本数据进行从时域/频域的转换,得到能量频率;之后,可以利用三角带通滤波方法,依照梅尔刻度分布,将上述通话样本数据的能量频谱进行卷积计算,得到多个输出对数能量,最后对上述多个输出对数能量构成的向量进行离散余弦变换,生成特征向量;还可以利用线性预测编码方法,通过对上述通话样本数据进行解析,生成声道激励和转移函数的参数,并以所生成的参数作为特征参数,生成通话语音特征向量。
在本实施例中,所述语义识别模型为神经网络模型,所述神经网络模型是由许多节点中各节点的简单非线性模拟处理要素密集互连配置而成的,是一种模仿了生物神经元的系统模型。所述神经网络模型通过使至少一个节点的输入与每一个节点的输出连接形成,类似于真实神经元的突触连接。每个神经元表达了一种特定的输出函数,即激励函数,每两个神经元之间的连接都包含一个连接强度,即作用于通过该连接的信号的加权值。在本实施例中,将通话样本数据输入至神经网络模型进行训练,可以得到训练之后的语义识别模型,该语义识别模型具有通话过程中关键信息特征抽取、语义知识概括和学习记忆的能力,通常所述神经网络模型学习到的信息或知识储存在每个单元节点之间的连接矩阵上。
可选的,所述神经网络模型可以是基于卷积神经网络(Convolutional NeuralNetwork,CNN)模型,深度神经网络(Deep Neural Network,DNN)模型、循环神经网络(RecurrentNeuralNetworks,RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型、逻辑回归(Logistic Regression,LR)模型等模型中的一种或多种的拟合实现的。
具体的,终端在获取到所述通话样本数据的通话语音特征向量时,对所述通话语音特征向量进行标注,所述标注可以理解为对所述通话样本数据对应的关键信息进行标注,将所述通话语音特征向量输入至初始的语义识别模型进行训练,基于已经标注的通话样本数据对语义识别模型进行训练,可以得到训练好的语义识别模型。
具体的,终端在获取到所述通话数据之后,将所述通话数据输入至训练完成的语义识别模型中,输出所述通话数据对应的通话关键信息。
步骤204:接收针对所述语义识别模型推送的更新信息,获取所述语义识别处理模型对应的更新安装包。
所述更新信息可以理解为针对终端当前的语义识别模型推送的模型更新的信息。
其中,所述更新消息可以是与所述终端建立通信连接的电子设备推送过来的,所述电子设备可以是服务器、平板电脑、手持设备、移动终端等。
需要说明的是,所述电子设备在不同的实施环境中可以是不同的设备,在本实施例中不作具体的限定,以下为了描述的方便,以电子设备为服务器举例说明。
具体的,所述终端与所述服务器通过通信网络进行连接,终端在与服务器连接正常时,可以接收到所述服务器推送的针对所述语义识别模型的更新信息。终端可以基于所述更新信息获取所述语义识别模型对应的更新安装包。
在一种可行的实施方式中,在所述终端与服务器连接正常的通信状态下,当前服务器若有针对所述语义识别模型的更新安装包,可以向所述终端推送更新信息,终端在接收到所述更新信息之后,可以向服务器反馈所述语义识别模型的版本号,服务器在接收到终端发送的所述语义识别模型的版本号之后,在更新安装包集合中查找与所述语义识别模型的版本号相匹配的目标更新安装包,然后生成所述目标更新安装包对应的下载地址,将所述下载地址发送至终端。终端接收到所述目标更新安装包对应的下载地址之后,终端通过所述下载地址下载所述语义识别模型对应的更新安装包。
可选的,终端可以相隔一定的时间间隔向服务器发送更新请求,所述时间间隔可以是用户自定义的,可以是终端默认设置的,例如每隔一周向服务器发送更新请求,服务器接收到所述更新请求之后,在更新日志中查询所述终端的更新记录,所述更细日志保存有所述终端上所述语义识别模型的历次更新记录,服务器基于所述历次更新记录确定所述终端待更新的目标更新安装包,例如:历次更新记录指示所述终端当前语义识别模型的版本号为2.1,服务器保存有包含多个更新安装包的更新安装包集合,确定与所述版本号为2.1相兼容的目标更新安装包的版本号3.1。然后生成所述目标更新安装包对应的下载地址,将所述下载地址发送至终端。终端接收到所述目标更新安装包对应的下载地址之后,终端通过所述下载地址下载所述语义识别模型对应的更新安装包。
在一种可行的实施方式中,如图7所示,图7是一种终端向服务器上传包含通话数据以及通话关键信息的样本数据对应的场景示意图。
请参见图7,图7中包含服务器以及终端集群。所述终端集群可以包括多个终端,具体包括终端1、终端2、…、终端n,n为大于0的整数;所述服务器单独的服务器设备,例如:机架式、刀片、塔式、或者机柜式的服务器设备,或采用工作站、大型计算机等具备较强计算能力硬件设备;也可以是采用多个服务器组成的服务器集群,所述服务集群中的各服务器可以是以对称方式组成的,其中每台服务器在业务链路中功能等价、地位等价,各服务器均可单独对外提供服务,所述单独提供服务可以理解为无需另外的服务器的辅助。所述终端通过网络与业务服务器进行通信,网络可以是无线网络,也可以是有线网络。为便于理解,本申请实施例以图7中的终端1为例进行描述。
当用户通过终端1通话开始时,终端1可以采集用户的通话数据,将通话数据输入至语义识别模型,生成通话关键信息,终端1将所述通话数据以及通话关键信息打包作为样本数据发送至服务器。所述样本数据可以理解为用于对语义识别模型进行训练,优化语义识别模型的参数。服务器对样本数据进行解析,并对样本数据所包含的通话关键信息进行语义校准并标注,将已标注的样本数据输入至对语义识别模型。采用误差反向传播算法对所述语义识别模型的模型参数进行校正。
在一种可行的实施方式中,所述对所述语义识别模型中的模型参数进行校正,可以是根据至少一组样本数据组各自对应的计算损失,采用误差反向传播算法对所述模型参数进行校正。
具体对经语义识别模型得到的训练结果和已标注的样本数据结果进行比较,得到计算损失,计算损失用于指示训练结果与数据结果之间的误差。
计算损失通过交叉熵(cross-entropy)来表示,预先通过下述公式计算损失(p,q):
Figure BDA0002259209910000151
其中,p(x)和q(x)是长度相等的离散分布向量,p(x)表示表示训练结果;q(x)表示输出参数;x为训练结果或输出参数中的一个向量。
通过反向传播算法根据计算损失确定语义识别模型的梯度方向,从语义识别模型的输出层逐层向前更新语义识别模型中的模型参数,完成对所述模型参数进行校正。从而得到校正之后的语义识别模型,并生成校正之后的语义识别模型对应的更新安装包,向终端推送更新信息。
步骤205:基于所述更新安装包对所述语义识别模型进行更新。
具体的,终端获取所述语义识别处理模型对应的更新安装包,所述更新安装包可以包含有该语义识别模型的所有文件。终端在获取更新安装包时,获取的通常是完整的更新安装包,然后对所述更新安装包进行解析,获取所述更新安装包对应的更新安装文件,并将所述更新安装文件安装到终端上指定的安装路径上。例如:语义识别模型的更新安装包中包含有数据文件、图片文件、日志文件、配置设置,本申请实施例在获取更新安装包时,不同的终端可以对应获取不同的更新安装包,本发明实施例对更新安装包中具体包含的文件不进行限定。
具体的,终端在对更新安装包进行更新之前,可以将原语义识别模型对应的文件(数据文件、图片文件、日志文件、配置设置等)进行删除或卸载,终端在安装更新安装包时,可以将更新安装包的安装路径设置为语义识别模型未卸载之前的安装路径,也可以采用用户手动设置更新安装包的安装路径,本发明实施例对此不进行限定。选择完更新安装包的安装路径后,还可以在终端的界面上显示应用程序的更新进度图文。所述更新进度图文请参考现有技术中的任一种进度图文,本申请实施例在此不再进行赘述。
在一种可行的实施方式中,终端获取到的所述更新安装包可以是针对所述语义识别模型的增量包,所述增量包可以理解为原语义识别模型对应的安装包与更新版本对应的安装板之间的差异文件,当终端获取到的所述更新安装包为增量包时,在安装所述更新安装包之前,可以不对原语义识别模型对应的文件(数据文件、图片文件、日志文件、配置设置等)进行删除或卸载,即对所述增量包进行解析,获取所述更新安装包对应的更新安装文件,并将所述更新安装文件安装到终端上指定的安装路径上。
步骤206:在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述信息显示模式集合包括待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式中的至少一种。
所述通话关键信息通常包含通话人身份、通话时间、事项、主要内容、重要信息等。所述通话关键信息也可以理解为通话的摘要,即根据通话过程中的通话数据摘录下来的通话要点或通话总结。
具体的,终端生成所述通话关键信息之后,对所述关键信息进行解析,提取所述关键信息中的关键特征,所述关键特征包括但不限于关键字、关键词、关键句等,基于所述关键特征与所述信息显示模式中各信息显示模式所对应的关键特征进行匹配,以确定与所述通话关键信息对应的关键特征相匹配的目标模式。
具体的,终端在基于关键特征匹配确定目标模式之前,可以基于关键特征设置同义特征库或近义特征库,例如,终端可以基于关键特征中的关键词设置包含至少一个同义词的特征库或包含至少一个近义词的特征库,如,“住在哪”、“地点”、“位置”、“地址”等语义相近的词。当终端从通话关键信息中提取的关键特征为多个时,从各信息显示模式确定与所述多个关键特征匹配度最高的指示的目标模式。
可选的,所述基于所述关键特征与所述信息显示模式中各信息显示模式所对应的关键特征进行匹配。所述匹配方式可以是对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似度,可以是对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似距离,可以是对所述关键特征与所述各信息显示模式所对应的关键特征分别计算差异特征信息(差异词、差异字、差异句等),然后基于差异特征信息进行评级或评分。
在一种可行的实施方式中,终端对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似度时,可以是设置相似度阈值,例如设置相似度阈值为0.95,当所述关键特征与某一信息显示模式所对应的关键特征的相似度达到相似度阈值时,即确定所述某一信息显示模式为目标显示模式;或,终端对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似度之后,确定各相似度中最高相似度指示的目标显示模式。
在一种可行的实施方式中,终端对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似距离时,可以是设置相似距离阈值,例如设置相似距离阈值为10,当所述关键特征与某一信息显示模式所对应的关键特征的相似距离达到相似度距离阈值时,即确定所述某一信息显示模式为目标显示模式;或,终端对所述关键特征与所述各信息显示模式所对应的关键特征分别计算相似距离之后,确定各相似度中最高相似距离指示的目标显示模式。
在一种可行的实施方式中,终端对所述关键特征与所述各信息显示模式所对应的关键特征分别计算差异特征信息时,对所述差异特征信息进行评级或评分,当所述关键特征与某一信息显示模式的差异特征信息对应的评级达到预设等级或对应的评分达到预设分数时,即确定所述某一信息显示模式为目标显示模式;或,终端对所述差异特征信息进行评级或评分之后,确定各评级中最高评级指示的目标显示模式或各评分中最高评分指示的目标显示模式。
需要说明的是,终端确定的目标显示模式可以是多个,例如终端根据所述通话关键信息确定待办模式、亲友模式为目标显示模式。
需要说明的是,在本申请实施例中,步骤204中终端接收针对所述语义识别模型推送的更新信息与步骤206中终端在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式的执行步骤不分先后,可以是终端执行所述接收针对所述语义识别模型推送的更新信息的步骤在执行所述在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式的步骤之前,也可以是终端执行所述接收针对所述语义识别模型推送的更新信息的步骤在执行所述在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式的步骤之后,还可以是终端执行所述接收针对所述语义识别模型推送的更新信息的步骤与执行所述在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式的步骤同时进行。为了在本申请实施例中描述的方便,本申请实施例以终端执行所述接收针对所述语义识别模型推送的更新信息的步骤在执行所述在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式的步骤之前进行描述,如图6所示。
步骤207:将所述通话关键信息保存至通话记录栏中。
所述通话记录栏可以理解为用于保存用户通话记录的区域,所述区域通常可以是终端的全部或部分界面、显示窗口、弹出框等形式。
具体的,终端在根据所述通话数据输出对应的通话关键信息之后,将所述通话关键信息保存至通话记录栏中。
可选的,终端将所述通话关键信息保存至通话记录栏时,可以检测所述通话关键信息是否包含用户的身份信息(邮箱、公司名称、即时通讯账号、出生年月、住址等),当所述通话关键信息包含用户的身份信息时,终端可以基于所述通话关键信息所包含的身份信息完善终端通讯录中该用户的身份信息。
例如:所述通话关键信息包含用户小明的身份信息:邮箱-A信息、公司-B信息、即时通讯账号-C信息、出生年月-D信息。则终端将邮箱-A信息、公司-B信息、即时通讯账号-C信息、出生年月-D信息对应保存至通讯录中用户小明对应的联系人身份信息中的邮箱项、公司项、即时通讯账号项、出生年月项中。
在一种可行的实施方式中,终端在用户通话未结束时,可以将所述通话关键信息保存至通话记录栏,并将所述通话关键信息实时显示在终端的通话显示界面上,以方便用户对通话过程的实时查看通话过程中的通话关键信息。
例如,如图8所示,图8是一种终端实时显示通话关键信息的示意图。终端将实时采集的通话数据输入至训练完成的语义识别模型中,得到所述通话数据对应的通话关键信息,所述通话关键信息为“下午5点,行政楼8楼2401会议室与销售科人员开会。”终端可以将通话关键信息“下午5点,行政楼8楼2401会议室与销售科人员开会。”以文字形式显示在当前通话界面上,并保存至通话记录栏中,以方便用户对通话过程的实时查看通话过程中的通话关键信息。
步骤208:当接收到针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
所述指令是指挥终端工作的指示和命令,可以理解为指定执行某种运算或功能实现的某种控制的代码。所述查看指令在本申请实施例中可以理解为指挥终端执行显示通话记录中的通话关键信息功能的代码,终端通过执行所述代码,显示所述通话关键信息。
所述显示规则可以理解为不同的信息显示模式对应不同的显示规则,所述信息显示模式包括但不限于待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式,所述显示规则包括将通话关键信息转化成对应信息显示模式的输出信息以及输出显示信息的显示样式(字体的样式、颜色样式、显示时长等等)。
具体的,当终端接收到用户针对所述通话记录栏所输入的查看指令时,终端按照所述目标模式对应的信息显示规则,将所述通话关键信息显示在所述通话记录栏中。
可选的,所述用户针对所述通话记录栏所输入的查看指令可以是通过外部设备完成的,例如,用户可以通过连接终端的鼠标选中终端的显示界面的通话记录栏中查看图标输入的查看指令;可以是用户通过连接终端的键盘或者触摸板输入相应指令进行的;可以是用户通过语音输入查看通话记录栏的指令(例如语音输入查看通话记录栏第一条通话记录等);可以是用户通过摄像头采集手势控制指令完成查看通话记录栏的通话关键信息的操作等。
在一种具体的实施场景中,当目标模式为待办模式时,终端将通话关键信息转化成待办模式的显示规则所对应的输出信息,通常待办模式中包含用户待办的事项或需要完成的任务,待办模式对应的输出信息显示偏商务,例如通话关键信息:“下午5点,行政楼8楼2401会议室与销售科人员开会。”按照待办模式的显示规则可以只需显示时间、待办事项、地点、截止时间,输出信息可以是“时间:下午5点,待办事项:与销售科人员开会,地点:行政楼8楼2401会议室,截止时间:今天”。
在一种具体的实施场景中,当目标模式为亲友模式时,终端将通话关键信息转化成亲友模式的显示规则所对应的输出信息,通常亲友模式中包含与用户的亲友相关的事项,亲友模式对应的输出信息显示偏生活化,例如通话关键信息:“爷爷昨天生病了,在医院住院。”按照亲友模式的显示规则可以显示与通话关键信息中关键词“生病”、“住院”、“爷爷”相匹配的情态信息,所述情态信息可以理解为基于关键词输出信息“多关心家人身体健康”,在亲友模式下,终端可以建立输出信息语义库,建立关键词与提醒信息的对应关系,当关键词为“生病”时,匹配“生病”对应的提醒信息模板,基于输出信息模板输出提醒信息,例如所述输出信息模板可以是:“亲友对象+生病了+关心文字”,则输出信息可以是如“爷爷生病了,记得多关心爷爷身体。”等等。
在一种具体的实施场景中,当目标模式为工作任务模式时,终端将通话关键信息转化成工作任务模式的显示规则所对应的输出信息,通常工作任务模式中包含与用户工作相关的事项或工作相关的任务,工作任务模式对应的输出信息显示偏工作化,例如通话关键信息:“下午5点,行政楼9楼2401办公室向总经理提交工作报告。”按照工作任务模式的显示规则可以只需显示时间、工作任务事项、地点,输出信息可以是“时间:下午5点,待办事项:向总经理提交工作报告,地点:行政楼9楼2401办公室”。
在一种具体的实施场景中,当目标模式为扩展模式时,终端将通话关键信息转化成扩展模式的显示规则所对应的输出提示信息,所述扩展模式可以理解为用户自定义的显示模式,用户可以在扩展模式中自定义与模式相关的特征项(模式关键词、模式显示规则、输出模板等特征项)。例如用户可以对扩展模式对应的通话关键信息设置通话特征,所述通话特征包括但不限于关键词、关键句、关键字符等,当所述通话关键信息包含所述通话特征时,确定所述目标模式为扩展模式,在扩展模式下用户可以设置输出提示信息的输出模板。
在一种可行的实施方式中,用户可以对终端上各信息显示模式的通话关键信息对应的显示规则进行自定义,如图9,图9为一种终端通话关键信息显示设置界面的示意图,用户可以在通话前,在终端设置界面选择某一信息显示模式,触发终端显示供选择的“通话关键信息显示设置”相关选项的界面,所述界面如图9所示,用户可以在所述界面上设置信息语义输出级别、显示样式-字体大小、显示样式-显示时长、显示样式-字体颜色风格等选项,例如:可以具体设置语义输出级别为详细,字体大小为中,显示时长为300s等,用户设置完成之后,可以点击终端显示界面上的确认按钮,以触发终端对应的通话关键信息显示规则存储至本地,当接收到针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
在一种具体的实施场景中,当目标模式为隐私模式时,终端可以设置隐私模式对应的通话关键信息为验证显示,所述验证显示可以理解为需要对用户的身份信息进行认证,所述认证可以是基于数字密码、图案密码、生物特征密码等形式,待验证显示通过时,在终端显示界面显示隐私模式对应的通话关键信息。其中,所述隐私模式可以理解为所述通话关键信息涉及用户隐私(银行卡密码、社交账号密码等)。
在一种可行的实施方式中,用户可以在终端上设置查看通话关键信息的验证密匙,所述密匙可以是数字密码、图案密码、生物特征密码等形式,终端接收到用户针对所述通话关键信息所输入的密钥时,并对所述密钥进行验证,当所述密钥验证通过时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
例如:可参考图10,图10是一种通话记录界面的示意图,所述通话记录界面中有多个通话记录,用户可以通过手指触控的方式选择“记录三”对应的通话记录栏查看记录三对应的通话关键信息,具体通过手指触控选择“查看”按钮,输入针对“记录三”的通话记录栏的查看指令时,此时,终端响应所述查看指令,向用户展示如图11所示的验证界面,用户可以在验证界面上针对所述通话关键信息通过手指触摸的方式输入验证密码。终端接收到用户针对所述通话关键信息所输入的密码,对所述密钥进行验证,当所述密钥验证通过时,请参考图12,图12是一种通话关键信息显示界面的示意图,按照所述目标模式-待办模式对应的信息显示规则显示所述通话关键信息,所述通话关键信息为“时间:下午5点,待办事项:与销售科人员开会,地点:行政楼8楼2401会议室,截止时间:今天”。
在一种可行的实施方式中,终端在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述目标模式可以是多个,例如终端在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式-亲友模式和隐私模式。当目标模式为亲友模式和隐私模式时,终端将通话关键信息转化成亲友模式的显示规则所对应的输出提示信息以及隐私模式显示规则所对应的输出提示信息。例如通话关键信息:“爷爷昨天生病了,在医院住院,明天记得用信用卡交住院费,信用卡密码是123456。”按照亲友模式的显示规则可以显示与通话关键信息中关键词“生病”、“住院”、“爷爷”相匹配的情态信息,所述情态信息可以理解为基于关键词输出提示信息“爷爷生病了,多关心爷爷身体,记得明天用信用卡交住院费。”;按照隐私模式的显示规则需要用户进行验证之后,显示隐私模式所对应的提示信息。当用户输入的密匙验证通过之后,终端展示隐私模式对应的提示信息,所述提示信息可以为“明天记得用信用卡替爷爷交住院费,信用卡密码是123456。”。
可选的,当终端确定与所述通话关键信息相匹配的目标模式为多个时,终端可以基于各目标模式分别对应的显示规则,将各目标模式输出的提示信息进行综合处理,输出综合处理之后的提示信息。以上述通话关键信息:“爷爷昨天生病了,在医院住院,明天记得用信用卡交住院费,信用卡密码是123456。”为例,根据终端所确定的目标模式-亲友模式和隐私模式。得到亲友模式所对应的提示信息A:“爷爷生病了,多关心爷爷身体,记得明天用信用卡交住院费。”,隐私模式对应的提示信息B:“明天记得用信用卡替爷爷交住院费,信用卡密码是123456。”,然后终端将提示信息A以及提示信息B进行综合处理,输出综合处理之后的提示信息C:“爷爷生病了,多关心爷爷身体,记得明天用信用卡交住院费,信用卡密码输入密匙之后方可查看。”,用户在阅读终端显示的提示信息C之后,可以输入密匙查看“信用卡密码”。
在本申请实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图13,其示出了本申请一个示例性实施例提供的通话信息获取装置的结构示意图。该通话信息获取装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括通话数据采集模块11、关键信息获取模块12和关键信息保存模块13。
通话数据采集模块11,用于监测到通话开始时,实时采集通话过程中的通话数据;
关键信息获取模块12,用于对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;
关键信息保存模块13,用于保存所述通话关键信息。
可选的,所述关键信息获取模块12,具体用于:
将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息。
可选的,如图14所示,所述装置1,还包括:
目标模式确定模块14,用于在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述信息显示模式集合包括待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式中的至少一种;
关键信息显示模块15,用于按照所述目标模式对应的信息显示规则显示所述通话关键信息。
可选的,如图14所示,所述关键信息保存模块13,具体用于:
将所述通话关键信息保存至通话记录栏中;
所述关键信息显示模块15,具体用于:
当接收到针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
可选的,如图14所示,所述装置1,还包括:
密钥验证模块16,用于接收针对所述通话关键信息所输入的密钥,并对所述密钥进行验证;
所述关键信息显示模块15,还用于当所述密钥验证通过时,执行所述按照所述目标模式对应的信息显示规则显示所述通话关键信息的步骤。
可选的,如图14所示,所述装置1,还包括:
更新信息接收模块17,用于接收针对所述语义识别模型推送的更新信息,获取所述语义识别处理模型对应的更新安装包;
模型更新模块18,用于基于所述更新安装包对所述语义识别模型进行更新。
可选的,如图14所示,所述装置1,还包括:
通话距离检测模块19,用于检测通话过程中的用户通话距离,当所述用户通话距离大于通话距离阈值时,输出距离调整信息。
需要说明的是,上述实施例提供的通话信息获取装置在执行通话信息获取方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的通话信息获取装置与通话信息获取方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图12所示实施例的所述通话信息获取方法,具体执行过程可以参见图1-图12所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1-图12所示实施例的所述通话信息获取方法,具体执行过程可以参见图1-图12所示实施例的具体说明,在此不进行赘述。
请参见图15,为本申请实施例提供了一种电子设备的结构示意图。如图15所示,所述电子设备1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行服务器1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable GateArray,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central ProcessingUnit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(RandomAccess Memory,RAM),也可以包括只读存储器(Read-OnlyMemory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图15所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及通话信息获取应用程序。
在图15所示的电子设备1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的通话信息获取应用程序,并具体执行以下操作:
监测到通话开始时,实时采集通话过程中的通话数据;
对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;
保存所述通话关键信息。
在一个实施例中,所述处理器1001在执行所述对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息时,具体执行以下操作:
将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息。
在一个实施例中,所述处理器1001在执行所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息之后,还执行以下操作:
在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述信息显示模式集合包括待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式中的至少一种;
所述保存所述通话关键信息之后,还包括:
按照所述目标模式对应的信息显示规则显示所述通话关键信息。
在一个实施例中,所述处理器1001在执行所述保存所述通话关键信息时,具体执行以下操作:
将所述通话关键信息保存至通话记录栏中;
所述按照所述目标模式对应的信息显示规则显示所述通话关键信息,包括:
当接收到针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
在一个实施例中,所述处理器1001在执行所述按照所述目标模式对应的信息显示规则显示所述通话关键信息之前,还执行以下操作:
接收针对所述通话关键信息所输入的密钥,并对所述密钥进行验证;
当所述密钥验证通过时,执行所述按照所述目标模式对应的信息显示规则显示所述通话关键信息的步骤。
在一个实施例中,所述处理器1001在执行将所述语音数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息之后,还执行以下操作:
接收针对所述语义识别模型推送的更新信息,获取所述语义识别处理模型对应的更新安装包;
基于所述更新安装包对所述语义识别模型进行更新。
在一个实施例中,所述处理器1001在执行所述监测到通话开始时,实时采集通话过程中的通话数据之后,还执行以下操作:
检测通话过程中的用户通话距离,当所述用户通话距离大于通话距离阈值时,输出距离调整信息。
在本申请实施例中,终端监测到通话开始时,实时采集通话过程中的通话数据,对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,保存所述通话关键信息。通过对通话数据进行语义识别处理,生成所述通话数据对应的通话关键信息,从而可以智能的在通话过程中实时生成通话关键信息,而不需要人工对通话关键信息进行记录,提高了用户的体验感。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (9)

1.一种通话信息获取方法,其特征在于,所述方法包括:
监测到通话开始时,实时采集通话过程中的通话数据;所述通话数据为通话语音数据;
对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;其中,所述对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息,包括:将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息;
保存所述通话关键信息;基于所述通话关键信息中的关键特征确定与所述通话关键信息相匹配的目标模式;若所述目标模式为隐私模式,设置隐私模式对应的通话关键信息为验证显示,所述验证显示用于对用户的身份信息进行认证,待验证显示通过时在显示界面显示所述通话关键信息;
所述语义识别模型的模型训练过程,包括:对通话样本语音数据提取通话语音特征向量,对所述通话语音特征向量标注通话样本语音数据中的关键信息,基于已标注的所述通话语音特征向量对初始的语义识别模型进行训练,得到训练完成的语义识别模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息之后,还包括:
在信息显示模式集合中确定与所述通话关键信息相匹配的目标模式,所述信息显示模式集合包括待办模式、亲友模式、工作任务模式、扩展模式以及隐私模式中的至少一种;
所述保存所述通话关键信息之后,还包括:
按照所述目标模式对应的信息显示规则显示所述通话关键信息。
3.根据权利要求2所述的方法,其特征在于,所述保存所述通话关键信息,包括:
将所述通话关键信息保存至通话记录栏中;
所述按照所述目标模式对应的信息显示规则显示所述通话关键信息,包括:
当接收到针对所述通话记录栏所输入的查看指令时,按照所述目标模式对应的信息显示规则显示所述通话关键信息。
4.根据权利要求3所述的方法,其特征在于,所述按照所述目标模式对应的信息显示规则显示所述通话关键信息之前,还包括:
接收针对所述通话关键信息所输入的密钥,并对所述密钥进行验证;
当所述密钥验证通过时,执行所述按照所述目标模式对应的信息显示规则显示所述通话关键信息的步骤。
5.根据权利要求1所述的方法,所述将所述语音数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息之后,还包括:
接收针对所述语义识别模型推送的更新信息,获取所述语义识别处理模型对应的更新安装包;
基于所述更新安装包对所述语义识别模型进行更新。
6.根据权利要求1所述的方法,其特征在于,所述监测到通话开始时,实时采集通话过程中的通话数据之后,还包括:
检测通话过程中的用户通话距离,当所述用户通话距离大于通话距离阈值时,输出距离调整信息。
7.一种通话信息获取装置,其特征在于,所述装置包括:
通话数据采集模块,用于监测到通话开始时,实时采集通话过程中的通话数据;所述通话数据为通话语音数据;
关键信息获取模块,用于对所述通话数据进行语义识别处理,得到所述通话数据对应的通话关键信息;
关键信息保存模块,用于保存所述通话关键信息;基于所述通话关键信息中的关键特征确定与所述通话关键信息相匹配的目标模式;若所述目标模式为隐私模式,设置隐私模式对应的通话关键信息为验证显示,所述验证显示用于对用户的身份信息进行认证,待验证显示通过时在显示界面显示所述通话关键信息;
所述装置还用于:
对通话样本语音数据提取通话语音特征向量,对所述通话语音特征向量标注通话样本语音数据中的关键信息,基于已标注的所述通话语音特征向量对初始的语义识别模型进行训练,得到训练完成的语义识别模型;
其中,所述关键信息获取模块,还用于:
将所述通话数据输入至语义识别模型中,输出所述通话数据对应的通话关键信息。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~6任意一项的方法步骤。
9.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~6任意一项的方法步骤。
CN201911065504.0A 2019-11-04 2019-11-04 通话信息获取方法、装置、存储介质及电子设备 Active CN110933225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911065504.0A CN110933225B (zh) 2019-11-04 2019-11-04 通话信息获取方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065504.0A CN110933225B (zh) 2019-11-04 2019-11-04 通话信息获取方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110933225A CN110933225A (zh) 2020-03-27
CN110933225B true CN110933225B (zh) 2022-03-15

Family

ID=69850204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065504.0A Active CN110933225B (zh) 2019-11-04 2019-11-04 通话信息获取方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110933225B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743966A (zh) * 2020-05-27 2021-12-03 百度在线网络技术(北京)有限公司 信息验证方法、装置、设备以及存储介质
CN111756930A (zh) * 2020-06-28 2020-10-09 维沃移动通信有限公司 通信控制方法、通信控制装置、电子设备和可读存储介质
CN113299290A (zh) * 2021-04-06 2021-08-24 维沃移动通信有限公司 语音识别的方法、装置、电子设备和可读存储介质
CN115344571B (zh) * 2022-05-20 2023-05-23 药渡经纬信息科技(北京)有限公司 通用型数据采集解析方法、系统和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078986A (zh) * 2012-12-19 2013-05-01 北京百度网讯科技有限公司 移动终端的通话信息保存方法、装置和移动终端
CN103973544A (zh) * 2014-04-02 2014-08-06 小米科技有限责任公司 语音通话方法、语音播放方法及装置
CN104836914A (zh) * 2015-05-12 2015-08-12 惠州Tcl移动通信有限公司 一种基于通话内容的事项提醒方法及提醒系统
CN105657129A (zh) * 2016-01-25 2016-06-08 百度在线网络技术(北京)有限公司 通话信息获取方法和装置
CN107818786A (zh) * 2017-10-25 2018-03-20 维沃移动通信有限公司 一种通话语音处理方法、移动终端
CN108449495A (zh) * 2018-03-12 2018-08-24 广东欧珀移动通信有限公司 语音通话数据处理方法、装置、存储介质及移动终端
CN109167884A (zh) * 2018-10-31 2019-01-08 维沃移动通信有限公司 一种基于用户语音的服务方法和装置
CN109286728A (zh) * 2018-11-29 2019-01-29 维沃移动通信有限公司 一种通话内容处理方法及终端设备
CN109413283A (zh) * 2019-01-09 2019-03-01 广东小天才科技有限公司 一种通话中的关键信息的提取方法及移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103943107B (zh) * 2014-04-03 2017-04-05 北京大学深圳研究生院 一种基于决策层融合的音视频关键词识别方法
US9916127B1 (en) * 2016-09-14 2018-03-13 International Business Machines Corporation Audio input replay enhancement with closed captioning display
CN107169105A (zh) * 2017-05-17 2017-09-15 北京品智能量科技有限公司 用于车辆的问答装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078986A (zh) * 2012-12-19 2013-05-01 北京百度网讯科技有限公司 移动终端的通话信息保存方法、装置和移动终端
CN103973544A (zh) * 2014-04-02 2014-08-06 小米科技有限责任公司 语音通话方法、语音播放方法及装置
CN104836914A (zh) * 2015-05-12 2015-08-12 惠州Tcl移动通信有限公司 一种基于通话内容的事项提醒方法及提醒系统
CN105657129A (zh) * 2016-01-25 2016-06-08 百度在线网络技术(北京)有限公司 通话信息获取方法和装置
CN107818786A (zh) * 2017-10-25 2018-03-20 维沃移动通信有限公司 一种通话语音处理方法、移动终端
CN108449495A (zh) * 2018-03-12 2018-08-24 广东欧珀移动通信有限公司 语音通话数据处理方法、装置、存储介质及移动终端
CN109167884A (zh) * 2018-10-31 2019-01-08 维沃移动通信有限公司 一种基于用户语音的服务方法和装置
CN109286728A (zh) * 2018-11-29 2019-01-29 维沃移动通信有限公司 一种通话内容处理方法及终端设备
CN109413283A (zh) * 2019-01-09 2019-03-01 广东小天才科技有限公司 一种通话中的关键信息的提取方法及移动终端

Also Published As

Publication number Publication date
CN110933225A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110933225B (zh) 通话信息获取方法、装置、存储介质及电子设备
US11711462B2 (en) Machine learning dataset generation using a natural language processing technique
US11475897B2 (en) Method and apparatus for response using voice matching user category
US9361891B1 (en) Method for converting speech to text, performing natural language processing on the text output, extracting data values and matching to an electronic ticket form
CN108305626A (zh) 应用程序的语音控制方法和装置
CN110335612A (zh) 基于语音识别的会议记录生成方法、装置及存储介质
CN107863108B (zh) 信息输出方法和装置
US20220076674A1 (en) Cross-device voiceprint recognition
CN109360550A (zh) 语音交互系统的测试方法、装置、设备和存储介质
CN107705782B (zh) 用于确定音素发音时长的方法和装置
CN107506166A (zh) 信息提示方法及装置、计算机装置及可读存储介质
US20220138770A1 (en) Method and apparatus for analyzing sales conversation based on voice recognition
US10943603B2 (en) Systems and methods for a neighborhood voice assistant
CN107733722A (zh) 用于配置语音服务的方法和装置
CN111813910A (zh) 客服问题的更新方法、系统、终端设备及计算机存储介质
KR102312993B1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
CN114065720A (zh) 会议纪要生成方法、装置、存储介质及电子设备
CN109147792A (zh) 一种语音简历系统
CN113051384A (zh) 基于对话的用户画像抽取方法及相关装置
KR20210009266A (ko) 음성 인식 기반의 세일즈 대화 분석 방법 및 장치
CN114067842B (zh) 客户满意度鉴别方法及装置、存储介质及电子设备
TWM578858U (zh) 跨通路人工智慧對話式平台
CN111968630B (zh) 信息处理方法、装置和电子设备
CN114462376A (zh) 基于rpa和ai的庭审笔录生成方法、装置、设备及介质
CN113421554A (zh) 语音关键词检测模型处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant