CN112017056B - 一种智能双录方法及系统 - Google Patents

一种智能双录方法及系统 Download PDF

Info

Publication number
CN112017056B
CN112017056B CN202011152010.9A CN202011152010A CN112017056B CN 112017056 B CN112017056 B CN 112017056B CN 202011152010 A CN202011152010 A CN 202011152010A CN 112017056 B CN112017056 B CN 112017056B
Authority
CN
China
Prior art keywords
scene change
information
change feature
recording
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011152010.9A
Other languages
English (en)
Other versions
CN112017056A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bairui Network Technology Co ltd
Original Assignee
Guangzhou Bairui Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Bairui Network Technology Co ltd filed Critical Guangzhou Bairui Network Technology Co ltd
Priority to CN202011152010.9A priority Critical patent/CN112017056B/zh
Publication of CN112017056A publication Critical patent/CN112017056A/zh
Application granted granted Critical
Publication of CN112017056B publication Critical patent/CN112017056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06Asset management; Financial planning or analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及智能双录技术领域,涉及一种智能双录方法及系统。本发明先根据用户终端发送的双录请求开启双录并进行实时质检,规范引导用户双录行为;然后将风险揭示文本内容向所述用户终端进行播报后;继续将问题文本内容进行播报,采集用户终端的音频数据转化为文本内容且匹配回答准确度;然后对双录视频进行回放并通过自动分析实时质检结果,智能引导用户重新录制或者提交和上传视频;最后将双录视频上传至服务端存储。本发明能够在双录过程中准确引导用户进行录制,并实现风险揭示文本内容的智能播报及实时智能质检,突破了传统双录场景固定业务办理时间的限制,用户可自助完成业务办理,可有效提高业务办理效率,提升金融机构市场竞争力。

Description

一种智能双录方法及系统
技术领域
本发明涉及智能双录技术领域,具体而言,涉及一种智能双录方法及系统。
背景技术
为切实保护投资者的合法权益,防范金融产品销售风险,银行、证券、保险等行业陆续推出了双录措施,即在从业人员销售理财产品或代理其他机构销售产品时,同期进行录音录像,确保销售人员按程序、按规定介绍产品,以便购买者更清楚地了解产品的性质和自身享有的权利、承担的责任和风险。
传统的双录方法采用远程视频见证方式进行,主要依靠人工进行客户身份真实性核实、风险揭示和客户意愿确认。传统的远程视频见证双录形式金融机构人工运营成本高,易出现人为失误导致双录视频质检通过率低,完全依靠人工也无法实现精准质检。随着金融行业双录场景越来越丰富,双录业务量急剧增长,效率较低的传统双录方法已不能满足需求。
发明内容
有鉴于此,本发明的目的在于提供一种智能双录方法及系统,能够在双录过程中准确引导用户自助进行视频录制,无需专业客服人员参与和指导,可实现实时自助业务办理,双录开始后,通过实时质检,实现用户身份真实性验证和业务办理合规性的前置验证,并在双录过程实时进行录制规范性引导,并且通过语音合成功能,实现风险揭示的智能播报,全面避免人工朗读易出错的弊端,全面替代传统的人工朗读,实现播报环节零出错,能够及时发现双录过程中的问题,提示用户重新录制或调整行为,提高双录视频质量。
根据本发明的第一方面,提供一种智能双录方法,应用于与用户终端通信连接的服务器,所述方法包括:
根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录;
获取所述用户终端实时发送双录音视频流,并对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态;
将预先配置好的风险揭示文本内容转化为语音内容向所述用户终端自动进行播报;
继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报,根据所述用户终端的所述目标用户针对所述问题文本内容中每个问题文本内容对象的语音回答信息,将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当所述回答文本信息存在匹配的标定答案信息时,则进入一下问题文本内容对象的播报,当所述回答文本信息不存在匹配的标定答案信息时,则提示所述用户终端的所述目标用户重新输入该问题文本内容对象的语音回答信息;
若重新输入的次数超过预先设定的次数阈值,则提示所述用户终端的所述目标用户录制失败,并自动结束录制,以及若所述问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制。
在第一方面的一种可能的实现方式中,所述对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态的步骤,包括:
识别所述双录音视频流中每个双录音视频帧中与预设关键特征点匹配的规范录制解析特征信息;
根据所述规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取所述场景变化特征信息对应的多个场景变化特征覆盖对象,所述场景变化特征信息包括多个场景变化特征向量以及所述场景变化特征向量之间的变量关系,所述场景变化特征信息包括所述多个场景变化特征向量中的任一场景变化特征向量对以及所述场景变化特征向量对中场景变化特征向量之间的变量关系,所述场景变化特征覆盖对象包括所述场景变化特征向量对;
基于所述多个场景变化特征覆盖对象,进行关系预测,得到所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系分别属于多个关系标签的概率,所述多个关系标签包括所述变量关系的关系标签;
将所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系属于所述变量关系的关系标签的概率,确定为所述多个场景变化特征覆盖对象对应的关系参数;
基于所述关系参数,确定所述场景变化特征信息的置信度,所述置信度用于表示所述场景变化特征信息所包括的变量关系的可信程度;
将所述置信度满足目标处理条件的场景变化特征信息确定为目标场景变化特征信息;
判断所述目标场景变化特征信息中的预设数量个目标场景变化特征对象的变化幅度是否均大于对应的设定幅度,在为是时判定所述用户终端的目标用户未处于规范录制状态,否则判定所述用户终端的目标用户处于规范录制状态。
在第一方面的一种可能的实现方式中,所述根据所述规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取所述场景变化特征信息对应的多个场景变化特征覆盖对象的步骤,包括:
将所述场景变化特征信息所包括的所述场景变化特征向量对作为索引目标进行索引,得到所述场景变化特征信息对应的多个初始场景变化特征覆盖对象;
对所述多个初始场景变化特征覆盖对象进行场景变化特征向量提取,得到每个初始场景变化特征覆盖对象中的场景变化特征向量;
将满足第一目标条件的初始场景变化特征覆盖对象确定为所述场景变化特征覆盖对象,所述第一目标条件为抽取到的场景变化特征向量中存在分别与所述场景变化特征向量对中的两个场景变化特征向量相同的场景变化特征向量;
所述场景变化特征信息还包括所述场景变化特征向量对中场景变化特征向量的场景变化特征向量类型,所述场景变化特征覆盖对象还满足第二目标条件,所述第二目标条件为抽取到的场景变化特征向量对应的场景变化特征向量类型与所述场景变化特征信息所包括的所述场景变化特征向量对应的场景变化特征向量类型相同。
在第一方面的一种可能的实现方式中,所述方法还包括:
在每次自动结束录制后生成已录制完成的双录音视频信息以及对应的实时质检结果,其中,所述实时质检结果用于表示通过实时质检,或者未通过实时质检以及未通过实时质检的原因;
对所述双录音视频信息的所述实时质检结果对应的每个实时质检风险点的位置添加对应的跳转标签点,并在检测到所述用户终端的目标用户定位到所述跳转标签点时快速跳转到相应实时质检风险点的位置向所述用户终端推送对应的重点回放音视频信息。
在第一方面的一种可能的实现方式中,所述方法还包括:
将实时质检结果与所述双录音视频信息进行同步展示,在同步展示的过程中标识所述双录音视频信息的实时质检风险点及未通过实时质检的原因;
根据所述用户终端发送的智能引导需求请求,基于所述实时质检结果智能引导所述用户终端的目标用户重新发起双录请求后,返回执行根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录的步骤。
在第一方面的一种可能的实现方式中,所述将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配的步骤,包括:
将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息;
提取所述回答文本信息所对应的回答文本变量分布,以及提取所述预先配置好的标定答案信息中每个标定答案变量信息所对应的标定答案变量分布,在从所述标定答案变量分布的匹配规则集中获取所述标定答案变量分布在匹配时所关联的匹配规则特征列表的同时,并行地提取所述标定答案变量分布的动态变量分布信息;
基于提取到的动态变量分布信息确定用于对所述匹配规则特征列表进行筛选的筛选规则信息,从所述筛选规则信息中提取出多个待使用的筛选规则节点的规则匹配参数以及不同筛选规则节点之间的业务关联信息,根据所述规则匹配参数和所述业务关联信息对多个待使用的筛选规则节点进行筛选得到至少两个目标筛选规则元素;其中,所述目标筛选规则元素的规则匹配参数的覆盖特征范围位于设定特征范围内且不同的目标筛选规则元素之间的业务关联信息的差异度小于设定值;
通过所述目标筛选规则元素对所述匹配规则特征列表进行筛选,得到目标匹配规则特征;
确定所述目标匹配规则特征的匹配规则特征向量,以及根据确定出的所述目标匹配规则特征中的规则标签确定所述目标匹配规则特征的匹配规则扩展分布;
基于所述匹配规则特征向量以及所述匹配规则特征向量在所述匹配规则扩展分布中的扩展特征向量,生成每个标定答案变量信息的待匹配特征向量;
将所述回答文本信息所对应的回答文本变量分布分别与每个标定答案变量信息的待匹配特征向量进行匹配。
在第一方面的一种可能的实现方式中,所述基于提取到的动态变量分布信息确定用于对所述匹配规则特征列表进行筛选的筛选规则信息,从所述筛选规则信息中提取出多个待使用的筛选规则节点的规则匹配参数以及不同筛选规则节点之间的业务关联信息的步骤,包括:
从所述动态变量分布信息中确定出多个具有不同动态变量类型的分布节点信息,根据所述分布节点信息构建第一筛选规则集合以及第二筛选规则集合,其中,所述第一筛选规则集合为全局筛选规则集合,所述第二筛选规则集合为特定对象筛选规则集合;
将所述第一筛选规则集合中的任意一个第一筛选规则对应的筛选位图映射到所述第二筛选规则集合中的对应节点上的第二筛选规则中,并确定所述筛选位图在所述第二筛选规则中的规则匹配信息;
基于所述规则匹配信息与所述第二筛选规则中的目标位图信息之间的分层参数确定所述动态变量分布信息在设定业务范围内常用的目标分布规则图谱,解析所述目标分布规则图谱对应的分布规则图谱内容信息并通过所述分布规则图谱内容信息所指代的信息特征生成所述筛选规则信息;
将所述筛选规则信息以拓扑结构列出,得到多个初始筛选规则节点,根据所述筛选规则信息的拓扑关系层级确定每个初始筛选规则节点的筛选层级,按照所述筛选层级由大到小的顺序将所述初始筛选规则节点进行排序并选取排序靠前的目标数量个初始筛选规则节点作为待使用的筛选规则节点;
针对每个待使用的筛选规则节点,确定该筛选规则节点的规则使用图鉴,从所述规则使用图鉴中提取出规则匹配参数;以及
针对待使用的多个筛选规则节点中的每两个筛选规则节点,计算每两个筛选规则节点之间的规则重合参数,基于所述规则重合参数确定每两个筛选规则节点在答案验证流程上的图鉴特征信息,从所述图鉴特征信息中提取出每两个筛选规则节点之间的业务关联信息。
根据本发明的第二方面,提供一种智能双录系统,应用于与用户终端通信连接的服务器,所述系统包括:
请求模块,用于根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录;
实时质检模块,用于获取所述用户终端实时发送双录音视频流,并对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态;
播报模块,用于将预先配置好的风险揭示文本内容转化为语音内容向所述用户终端自动进行播报;
匹配模块,用于继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报根据所述用户终端的所述目标用户针对所述问题文本内容中每个问题文本内容对象的语音回答信息,将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当所述回答文本信息存在匹配的标定答案信息时,则进入一下问题文本内容对象的播报,当所述回答文本信息不存在匹配的标定答案信息时,则提示所述用户终端的所述目标用户重新输入该问题文本内容对象的语音回答信息;
结束录制模块,用于若重新输入的次数超过预先设定的次数阈值,则提示所述用户终端的所述目标用户录制失败,并自动结束录制,以及若所述问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制。
基于上述任一方面,本发明能够在双录过程中准确引导用户自助进行视频录制,无需专业客服人员参与和指导,可实现实时自助业务办理,双录开始后,通过实时质检,实现用户身份真实性验证和业务办理合规性的前置验证,并在双录过程实时进行录制规范性引导,并且通过语音合成功能,实现风险揭示文本内容的智能播报,全面避免人工朗读易出错的弊端,并通过问题文本内容的智能交互过程可以实现实时智能质检,全面替代传统的人工朗读,实现播报环节零出错,能够及时发现双录过程中的问题,提示用户重新录制或调整行为,提高双录视频质量;打破了现有双录场景对场地的桎梏,有效提高了办理效率,有效提高了市场竞争力。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的智能双录系统的应用场景示意图;
图2示出了本发明实施例所提供的智能双录方法的流程示意图;
图3示出了本发明实施例所提供的智能双录系统的功能模块示意图;
图4示出了本发明实施例所提供的用于执行上述的智能双录方法的服务器的组件结构示意图。
具体实施方式
下面结合说明书附图对本发明进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本发明一种实施例提供的智能双录系统10的交互示意图。智能双录系统10可以包括服务器100以及与所述服务器100通信连接的用户终端200,用户端200可以是PC端、APP端、H5或小程序等。图1所示的智能双录系统10仅为一种可行的示例,在其它可行的实施例中,该智能双录系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中,智能双录系统10中的服务器100和用户终端200可以通过配合执行以下方法实施例所描述的智能双录方法,具体服务器100和用户终端200的执行步骤部分可以参照以下方法实施例的详细描述。
为了解决前述背景技术中的技术问题,图2为本发明实施例提供的智能双录方法的流程示意图,本实施例提供的智能双录方法可以由图1中所示的服务器100执行,下面对该智能双录方法进行详细介绍。
步骤S110,根据用户终端200发送的双录请求,向用户终端200请求开启图像采集装置,以使得用户终端200开启图像采集装置的音视频录制功能开始进行双录。
步骤S120,获取用户终端200实时发送双录音视频流,并对双录音视频流进行实时质检,以实现用户终端200的目标用户身份真实性验证和业务办理合规性的前置验证,并在双录过程实时进行录制规范性引导,以判断用户终端200的目标用户是否处于规范录制状态。
例如,用户终端200可以打开图像采集装置,调用音视频录制功能开始双录,开始双录的同时,服务器100启动特征信息识别功能,在音视频画面中提取指定的图像、声音的相关音视频数据信息,并与预置好的质检规则进行匹配验证,实时返回验证结果,用以验证用户身份的真实性,质检内容包括不限于:人脸识别、活体检测、身份证OCR、声纹识别的用户身份信息,在双录全过程智能监测用户是否离开画面,是否始终是本人在办理业务等信息,引导用户规范录制。
步骤S130,将预先配置好的风险揭示文本内容转化为语音内容向用户终端200自动进行播报。
例如,服务器100可以调用语音合成AI功能,将预先配置好的风险揭示文本内容自动转化为语音自动进行智能播报。
步骤S140,继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报,根据用户终端200的目标用户针对问题文本内容中每个问题文本内容对象的语音回答信息,将每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当回答文本信息存在匹配的标定答案信息时,则进入一下问题文本内容对象的播报,当回答文本信息不存在匹配的标定答案信息时,则提示用户终端200的目标用户重新输入该问题文本内容对象的语音回答信息。
步骤S150,若重新输入的次数超过预先设定的次数阈值,则提示用户终端200的目标用户录制失败,并自动结束录制,以及若问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制。
例如,服务器100可以调用语音合成AI功能,将预先配置好的问题文本内容自动转化为语音自动进行智能播报。并且,用户终端100的目标用户针对每个问题文本内容对象进行语音回答,这样服务器100可以继续调用语音识别AI功能将用户的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,如有一致标定答案,则进入一下环节,如没有一致标定答案,则提示用户重新进行一次一问一答,若重复作答次数超过预先设定的阈值,则提示用户录制失败,并自动结束录制。
基于上述设计,本实施例能够在双录过程中准确引导用户自助进行视频录制,无需专业客服人员参与和指导,可实现实时自助业务办理,双录开始后,通过实时质检,实现用户身份真实性验证和业务办理合规性的前置验证,并在双录过程实时进行录制规范性引导,并且通过语音合成功能,实现风险揭示文本内容的智能播报,全面避免人工朗读易出错的弊端,并通过问题文本内容的智能交互过程可以实现实时智能质检,全面替代传统的人工朗读,实现播报环节出错,能够及时发现双录过程中的问题,提示用户重新录制或调整行为,提高双录视频质量。
在一种可能的实现方式中,针对步骤S120而言,在对双录音视频流进行实时质检,以实现用户终端200的目标用户身份真实性验证和业务办理合规性的前置验证,以判断用户终端200的目标用户是否处于规范录制状态的过程中,为了准确考虑到各种场景变化对双录过程的规范性产生的营销,可以通过以下示例性的子步骤来实现。
子步骤S121,识别双录音视频流中每个双录音视频帧中与预设关键特征点匹配的规范录制解析特征信息。
子步骤S122,根据规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取场景变化特征信息对应的多个场景变化特征覆盖对象。
本实施例中,场景变化特征信息包括多个场景变化特征向量以及场景变化特征向量之间的变量关系,场景变化特征信息包括多个场景变化特征向量中的任一场景变化特征向量对以及场景变化特征向量对中场景变化特征向量之间的变量关系,场景变化特征覆盖对象包括场景变化特征向量对。
示例性地,可以将场景变化特征信息所包括的场景变化特征向量对作为索引目标进行索引,得到场景变化特征信息对应的多个初始场景变化特征覆盖对象。然后,对多个初始场景变化特征覆盖对象进行场景变化特征向量提取,得到每个初始场景变化特征覆盖对象中的场景变化特征向量,将满足第一目标条件的初始场景变化特征覆盖对象确定为场景变化特征覆盖对象,第一目标条件为抽取到的场景变化特征向量中存在分别与场景变化特征向量对中的两个场景变化特征向量相同的场景变化特征向量。
本实施例中,场景变化特征信息还包括场景变化特征向量对中场景变化特征向量的场景变化特征向量类型,场景变化特征覆盖对象还满足第二目标条件,第二目标条件为抽取到的场景变化特征向量对应的场景变化特征向量类型与场景变化特征信息所包括的场景变化特征向量对应的场景变化特征向量类型相同。
子步骤S123,基于多个场景变化特征覆盖对象,进行关系预测,得到多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系分别属于多个关系标签的概率,多个关系标签包括变量关系的关系标签。
子步骤S124,将多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系属于变量关系的关系标签的概率,确定为多个场景变化特征覆盖对象对应的关系参数。
子步骤S125,基于关系参数,确定场景变化特征信息的置信度,置信度用于表示场景变化特征信息所包括的变量关系的可信程度。
子步骤S126,将置信度满足目标处理条件的场景变化特征信息确定为目标场景变化特征信息。
子步骤S127,判断目标场景变化特征信息中的预设数量个目标场景变化特征对象的变化幅度是否均大于对应的设定幅度,在为是时判定用户终端200的目标用户未处于规范录制状态,否则判定用户终端200的目标用户处于规范录制状态。
在一种可能的实现方式中,在上述步骤S110-步骤S150的基础上,本实施例提供的双录信息处理方法还可以包括如下步骤。
步骤S160,在每次自动结束录制后生成已录制完成的双录音视频信息以及对应的实时质检结果。
本实施例中,实时质检结果可以用于表示通过实时质检,或者未通过实时质检以及未通过实时质检的原因。其中,未通过实时质检的原因可以通过回答文本信息与各个标定答案信息的匹配结果来进行确定。
步骤S170,对双录音视频信息的实时质检结果对应的每个实时质检风险点的位置添加对应的跳转标签点,并在检测到用户终端200的目标用户定位到跳转标签点时快速跳转到相应实时质检风险点的位置向用户终端200推送对应的重点回放音视频信息。
本实施例中,通过展示已录制完成的双录音视频信息,并就双录音视频信息的实时质检风险点位置进行自动跳转标签点的添加,便于用户通过跳转标签点快速跳转相应位置重点查看回放。
如此,双录完成后支持已录制完成的双录音视频信息的回放和实时质检结果的查看,用户可以便捷地自检视频录制问题,决定是否需要重新录制,全面待审核双录视频的质量。
在一种可能的实现方式中,在上述步骤S160-步骤S170的基础上,本实施例提供的双录信息处理方法还可以包括如下步骤。
步骤S180,将实时质检结果与双录音视频信息进行同步展示,在同步展示的过程中标识双录音视频信息的实时质检风险点及未通过实时质检的原因。
步骤S190,根据用户终端200发送的智能引导需求请求,基于实时质检结果智能引导用户终端200的目标用户重新发起双录请求后,返回执行根据用户终端200发送的双录请求,向用户终端200请求开启图像采集装置,以使得用户终端200开启图像采集装置的音视频录制功能开始进行双录的步骤。
进一步地,在一种可能的实现方式中,针对步骤S140而言,在将每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配的过程中,为了保证匹配的准确性,可以通过以下示例性的子步骤来实现。
子步骤S141,将每个问题文本内容对象的语音回答信息实时转化为回答文本信息。
子步骤S142,提取回答文本信息所对应的回答文本变量分布,以及提取预先配置好的标定答案信息中每个标定答案变量信息所对应的标定答案变量分布,在从标定答案变量分布的匹配规则集中获取标定答案变量分布在匹配时所关联的匹配规则特征列表的同时,并行地提取标定答案变量分布的动态变量分布信息。
子步骤S143,基于提取到的动态变量分布信息确定用于对匹配规则特征列表进行筛选的筛选规则信息,从筛选规则信息中提取出多个待使用的筛选规则节点的规则匹配参数以及不同筛选规则节点之间的业务关联信息,根据规则匹配参数和业务关联信息对多个待使用的筛选规则节点进行筛选得到至少两个目标筛选规则元素。
其中,目标筛选规则元素的规则匹配参数的覆盖特征范围位于设定特征范围内且不同的目标筛选规则元素之间的业务关联信息的差异度小于设定值。
示例性地,在子步骤S143中,可以通过以下详细的实施方式来实现。
(1)从动态变量分布信息中确定出多个具有不同动态变量类型的分布节点信息,根据分布节点信息构建第一筛选规则集合以及第二筛选规则集合。
本实施例中,第一筛选规则集合为全局筛选规则集合,第二筛选规则集合为特定对象筛选规则集合。
(2)将第一筛选规则集合中的任意一个第一筛选规则对应的筛选位图映射到第二筛选规则集合中的对应节点上的第二筛选规则中,并确定筛选位图在第二筛选规则中的规则匹配信息。
(3)基于规则匹配信息与第二筛选规则中的目标位图信息之间的分层参数确定动态变量分布信息在设定业务范围内常用的目标分布规则图谱,解析目标分布规则图谱对应的分布规则图谱内容信息并通过分布规则图谱内容信息所指代的信息特征生成筛选规则信息。
(4)将筛选规则信息以拓扑结构列出,得到多个初始筛选规则节点,根据筛选规则信息的拓扑关系层级确定每个初始筛选规则节点的筛选层级,按照筛选层级由大到小的顺序将初始筛选规则节点进行排序并选取排序靠前的目标数量个初始筛选规则节点作为待使用的筛选规则节点。
(5)针对每个待使用的筛选规则节点,确定该筛选规则节点的规则使用图鉴,从规则使用图鉴中提取出规则匹配参数。
(6)针对待使用的多个筛选规则节点中的每两个筛选规则节点,计算每两个筛选规则节点之间的规则重合参数,基于规则重合参数确定每两个筛选规则节点在答案验证流程上的图鉴特征信息,从图鉴特征信息中提取出每两个筛选规则节点之间的业务关联信息。
子步骤S144,通过目标筛选规则元素对匹配规则特征列表进行筛选,得到目标匹配规则特征。
子步骤S145,确定目标匹配规则特征的匹配规则特征向量,以及根据确定出的目标匹配规则特征中的规则标签确定目标匹配规则特征的匹配规则扩展分布。
子步骤S146,基于匹配规则特征向量以及匹配规则特征向量在匹配规则扩展分布中的扩展特征向量,生成每个标定答案变量信息的待匹配特征向量。
子步骤S147,将回答文本信息所对应的回答文本变量分布分别与每个标定答案变量信息的待匹配特征向量进行匹配。
基于同一发明构思,请参阅图3,示出了本发明实施例提供的智能双录系统300的功能模块示意图,本实施例可以根据上述方法实施例对智能双录系统300进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图3示出的智能双录系统300只是一种装置示意图。其中,智能双录系统300可以包括请求模块310、实时质检模块320、播报模块330、匹配模块340以及结束录制模块350,下面分别对该智能双录系统300的各个功能模块的功能进行详细阐述。
请求模块310,用于根据用户终端200发送的双录请求,向用户终端200请求开启图像采集装置,以使得用户终端200开启图像采集装置的音视频录制功能开始进行双录。可以理解,该请求模块310可以用于执行上述步骤S110,关于该请求模块310的详细实现方式可以参照上述对步骤S110有关的内容。
实时质检模块320,用于获取用户终端200实时发送双录音视频流,并对双录音视频流进行实时质检以判断用户终端200的目标用户是否处于规范录制状态。可以理解,该实时质检模块320可以用于执行上述步骤S120,关于该实时质检模块320的详细实现方式可以参照上述对步骤S120有关的内容。
播报模块330,用于将预先配置好的风险揭示文本内容转化为语音内容向用户终端200自动进行播报后,继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报。可以理解,该播报模块330可以用于执行上述步骤S130,关于该播报模块330的详细实现方式可以参照上述对步骤S130有关的内容。
匹配模块340,用于根据用户终端200的目标用户针对问题文本内容中每个问题文本内容对象的语音回答信息,将每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当回答文本信息存在匹配的标定答案信息时,则进入一下问题文本内容对象的播报,当回答文本信息不存在匹配的标定答案信息时,则提示用户终端200的目标用户重新输入该问题文本内容对象的语音回答信息。可以理解,该匹配模块340可以用于执行上述步骤S140,关于该匹配模块340的详细实现方式可以参照上述对步骤S140有关的内容。
结束录制模块350,用于若重新输入的次数超过预先设定的次数阈值,则提示用户终端200的目标用户录制失败,并自动结束录制,用户可以选择是否转人工坐席双录继续进行业务办理,以及若问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制并进行录像存储,录像可以先实时保存在客户端本地,录制完成后再上传;也可以通过服务器同步进行实时录制和存储。可以理解,该结束录制模块350可以用于执行上述步骤S150,关于该结束录制模块350的详细实现方式可以参照上述对步骤S150有关的内容。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,请求模块310可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上请求模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
图4示出了本发明实施例提供的用于实现上述的控制设备的服务器100的硬件结构示意图,如图4所示,服务器100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中,至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令(例如图3中所示的智能双录系统300包括的请求模块310、实时质检模块320、播报模块330、匹配模块340以及结束录制模块350),使得处理器110可以执行如上方法实施例的智能双录方法,其中,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的用户终端200进行数据收发。
处理器110的具体实现过程可参见上述服务器100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图4所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,DSP)、专用集成电路(英文:ApplicationSpecificIntegrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
机器可读存储介质120可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
总线130可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示,本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
此外,本发明实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上智能双录方法。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
需要说明的是,如果本说明书初始材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种智能双录方法,其特征在于,应用于与用户终端通信连接的服务器,所述方法包括:
根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录;
获取所述用户终端实时发送双录音视频流,并对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态;
将预先配置好的风险揭示文本内容转化为语音内容向所述用户终端自动进行播报;
继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报,根据所述用户终端的所述目标用户针对所述问题文本内容中每个问题文本内容对象的语音回答信息,将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当所述回答文本信息存在匹配的标定答案信息时,则进入下一问题文本内容对象的播报,当所述回答文本信息不存在匹配的标定答案信息时,则提示所述用户终端的所述目标用户重新输入该问题文本内容对象的语音回答信息;
若重新输入的次数超过预先设定的次数阈值,则提示所述用户终端的所述目标用户录制失败,并自动结束录制,以及若所述问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制;其中:
所述对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态的步骤,包括:
识别所述双录音视频流中每个双录音视频帧中与预设关键特征点匹配的规范录制解析特征信息;
根据所述规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取所述场景变化特征信息对应的多个场景变化特征覆盖对象,所述场景变化特征信息包括多个场景变化特征向量以及所述场景变化特征向量之间的变量关系,所述场景变化特征信息包括所述多个场景变化特征向量中的任一场景变化特征向量对以及所述场景变化特征向量对中场景变化特征向量之间的变量关系,所述场景变化特征覆盖对象包括所述场景变化特征向量对;
基于所述多个场景变化特征覆盖对象,进行关系预测,得到所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系分别属于多个关系标签的概率,所述多个关系标签包括所述变量关系的关系标签;
将所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系属于所述变量关系的关系标签的概率,确定为所述多个场景变化特征覆盖对象对应的关系参数;
基于所述关系参数,确定所述场景变化特征信息的置信度,所述置信度用于表示所述场景变化特征信息所包括的变量关系的可信程度;
将所述置信度满足目标处理条件的场景变化特征信息确定为目标场景变化特征信息;
判断所述目标场景变化特征信息中的预设数量个目标场景变化特征对象的变化幅度是否均大于对应的设定幅度,在为是时判定所述用户终端的目标用户未处于规范录制状态,否则判定所述用户终端的目标用户处于规范录制状态。
2.根据权利要求1所述的智能双录方法,其特征在于,所述根据所述规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取所述场景变化特征信息对应的多个场景变化特征覆盖对象的步骤,包括:
将所述场景变化特征信息所包括的所述场景变化特征向量对作为索引目标进行索引,得到所述场景变化特征信息对应的多个初始场景变化特征覆盖对象;
对所述多个初始场景变化特征覆盖对象进行场景变化特征向量提取,得到每个初始场景变化特征覆盖对象中的场景变化特征向量;
将满足第一目标条件的初始场景变化特征覆盖对象确定为所述场景变化特征覆盖对象,所述第一目标条件为抽取到的场景变化特征向量中存在分别与所述场景变化特征向量对中的两个场景变化特征向量相同的场景变化特征向量;
所述场景变化特征信息还包括所述场景变化特征向量对中场景变化特征向量的场景变化特征向量类型,所述场景变化特征覆盖对象还满足第二目标条件,所述第二目标条件为抽取到的场景变化特征向量对应的场景变化特征向量类型与所述场景变化特征信息所包括的所述场景变化特征向量对应的场景变化特征向量类型相同。
3.根据权利要求1所述的智能双录方法,其特征在于,所述方法还包括:
在每次自动结束录制后生成已录制完成的双录音视频信息以及对应的实时质检结果,其中,所述实时质检结果用于表示通过实时质检,或者未通过实时质检以及未通过实时质检的原因;
对所述双录音视频信息的所述实时质检结果对应的每个实时质检风险点的位置添加对应的跳转标签点,并在检测到所述用户终端的目标用户定位到所述跳转标签点时快速跳转到相应实时质检风险点的位置向所述用户终端推送对应的重点回放音视频信息。
4.根据权利要求3所述的智能双录方法,其特征在于,所述方法还包括:
将实时质检结果与所述双录音视频信息进行同步展示,在同步展示的过程中标识所述双录音视频信息的实时质检风险点及未通过实时质检的原因;
根据所述用户终端发送的智能引导需求请求,基于所述实时质检结果智能引导所述用户终端的目标用户重新发起双录请求后,返回执行根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录的步骤。
5.根据权利要求1-4中任意一项所述的智能双录方法,其特征在于,所述将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配的步骤,包括:
将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息;
提取所述回答文本信息所对应的回答文本变量分布,以及提取所述预先配置好的标定答案信息中每个标定答案变量信息所对应的标定答案变量分布,在从所述标定答案变量分布的匹配规则集中获取所述标定答案变量分布在匹配时所关联的匹配规则特征列表的同时,并行地提取所述标定答案变量分布的动态变量分布信息;
基于提取到的动态变量分布信息确定用于对所述匹配规则特征列表进行筛选的筛选规则信息,从所述筛选规则信息中提取出多个待使用的筛选规则节点的规则匹配参数以及不同筛选规则节点之间的业务关联信息,根据所述规则匹配参数和所述业务关联信息对多个待使用的筛选规则节点进行筛选得到至少两个目标筛选规则元素;其中,所述目标筛选规则元素的规则匹配参数的覆盖特征范围位于设定特征范围内且不同的目标筛选规则元素之间的业务关联信息的差异度小于设定值;
通过所述目标筛选规则元素对所述匹配规则特征列表进行筛选,得到目标匹配规则特征;
确定所述目标匹配规则特征的匹配规则特征向量,以及根据确定出的所述目标匹配规则特征中的规则标签确定所述目标匹配规则特征的匹配规则扩展分布;
基于所述匹配规则特征向量以及所述匹配规则特征向量在所述匹配规则扩展分布中的扩展特征向量,生成每个标定答案变量信息的待匹配特征向量;
将所述回答文本信息所对应的回答文本变量分布分别与每个标定答案变量信息的待匹配特征向量进行匹配。
6.根据权利要求5所述的智能双录方法,其特征在于,所述基于提取到的动态变量分布信息确定用于对所述匹配规则特征列表进行筛选的筛选规则信息,从所述筛选规则信息中提取出多个待使用的筛选规则节点的规则匹配参数以及不同筛选规则节点之间的业务关联信息的步骤,包括:
从所述动态变量分布信息中确定出多个具有不同动态变量类型的分布节点信息,根据所述分布节点信息构建第一筛选规则集合以及第二筛选规则集合,其中,所述第一筛选规则集合为全局筛选规则集合,所述第二筛选规则集合为特定对象筛选规则集合;
将所述第一筛选规则集合中的任意一个第一筛选规则对应的筛选位图映射到所述第二筛选规则集合中的对应节点上的第二筛选规则中,并确定所述筛选位图在所述第二筛选规则中的规则匹配信息;
基于所述规则匹配信息与所述第二筛选规则中的目标位图信息之间的分层参数确定所述动态变量分布信息在设定业务范围内常用的目标分布规则图谱,解析所述目标分布规则图谱对应的分布规则图谱内容信息并通过所述分布规则图谱内容信息所指代的信息特征生成所述筛选规则信息;
将所述筛选规则信息以拓扑结构列出,得到多个初始筛选规则节点,根据所述筛选规则信息的拓扑关系层级确定每个初始筛选规则节点的筛选层级,按照所述筛选层级由大到小的顺序将所述初始筛选规则节点进行排序并选取排序靠前的目标数量个初始筛选规则节点作为待使用的筛选规则节点;
针对每个待使用的筛选规则节点,确定该筛选规则节点的规则使用图鉴,从所述规则使用图鉴中提取出规则匹配参数;以及
针对待使用的多个筛选规则节点中的每两个筛选规则节点,计算每两个筛选规则节点之间的规则重合参数,基于所述规则重合参数确定每两个筛选规则节点在答案验证流程上的图鉴特征信息,从所述图鉴特征信息中提取出每两个筛选规则节点之间的业务关联信息。
7.一种智能双录系统,其特征在于,应用于与用户终端通信连接的服务器,所述系统包括:
请求模块,用于根据所述用户终端发送的双录请求,向所述用户终端请求开启图像采集装置,以使得所述用户终端开启所述图像采集装置的音视频录制功能开始进行双录;
实时质检模块,用于获取所述用户终端实时发送双录音视频流,并对所述双录音视频流进行实时质检以判断所述用户终端的目标用户是否处于规范录制状态;
播报模块,用于将预先配置好的风险揭示文本内容转化为语音内容向所述用户终端自动进行播报;
匹配模块,用于继续将预先配置的问题文本内容自动转化为语音内容自动进行智能播报根据所述用户终端的所述目标用户针对所述问题文本内容中每个问题文本内容对象的语音回答信息,将所述每个问题文本内容对象的语音回答信息实时转化为回答文本信息,并与预先配置好的标定答案信息进行全变量匹配,当所述回答文本信息存在匹配的标定答案信息时,则进入下一问题文本内容对象的播报,当所述回答文本信息不存在匹配的标定答案信息时,则提示所述用户终端的所述目标用户重新输入该问题文本内容对象的语音回答信息;
结束录制模块,用于若重新输入的次数超过预先设定的次数阈值,则提示所述用户终端的所述目标用户录制失败,并自动结束录制,以及若所述问题文本内容中每个问题文本内容对象的语音回答信息所对应的回答文本信息均存在匹配的标定答案信息时,自动结束录制;其中:所述实时质检模块具体用于:
识别所述双录音视频流中每个双录音视频帧中与预设关键特征点匹配的规范录制解析特征信息;
根据所述规范录制解析特征信息中的每一特征节点的场景变化特征信息,获取所述场景变化特征信息对应的多个场景变化特征覆盖对象,所述场景变化特征信息包括多个场景变化特征向量以及所述场景变化特征向量之间的变量关系,所述场景变化特征信息包括所述多个场景变化特征向量中的任一场景变化特征向量对以及所述场景变化特征向量对中场景变化特征向量之间的变量关系,所述场景变化特征覆盖对象包括所述场景变化特征向量对;
基于所述多个场景变化特征覆盖对象,进行关系预测,得到所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系分别属于多个关系标签的概率,所述多个关系标签包括所述变量关系的关系标签;
将所述多个场景变化特征覆盖对象所表达的场景变化特征向量之间的关系属于所述变量关系的关系标签的概率,确定为所述多个场景变化特征覆盖对象对应的关系参数;
基于所述关系参数,确定所述场景变化特征信息的置信度,所述置信度用于表示所述场景变化特征信息所包括的变量关系的可信程度;
将所述置信度满足目标处理条件的场景变化特征信息确定为目标场景变化特征信息;
判断所述目标场景变化特征信息中的预设数量个目标场景变化特征对象的变化幅度是否均大于对应的设定幅度,在为是时判定所述用户终端的目标用户未处于规范录制状态,否则判定所述用户终端的目标用户处于规范录制状态。
8.根据权利要求7所述的智能双录系统,其特征在于,所述实时质检模块具体用于:
将所述场景变化特征信息所包括的所述场景变化特征向量对作为索引目标进行索引,得到所述场景变化特征信息对应的多个初始场景变化特征覆盖对象;
对所述多个初始场景变化特征覆盖对象进行场景变化特征向量提取,得到每个初始场景变化特征覆盖对象中的场景变化特征向量;
将满足第一目标条件的初始场景变化特征覆盖对象确定为所述场景变化特征覆盖对象,所述第一目标条件为抽取到的场景变化特征向量中存在分别与所述场景变化特征向量对中的两个场景变化特征向量相同的场景变化特征向量;
所述场景变化特征信息还包括所述场景变化特征向量对中场景变化特征向量的场景变化特征向量类型,所述场景变化特征覆盖对象还满足第二目标条件,所述第二目标条件为抽取到的场景变化特征向量对应的场景变化特征向量类型与所述场景变化特征信息所包括的所述场景变化特征向量对应的场景变化特征向量类型相同。
CN202011152010.9A 2020-10-26 2020-10-26 一种智能双录方法及系统 Active CN112017056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011152010.9A CN112017056B (zh) 2020-10-26 2020-10-26 一种智能双录方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011152010.9A CN112017056B (zh) 2020-10-26 2020-10-26 一种智能双录方法及系统

Publications (2)

Publication Number Publication Date
CN112017056A CN112017056A (zh) 2020-12-01
CN112017056B true CN112017056B (zh) 2021-01-19

Family

ID=73527872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011152010.9A Active CN112017056B (zh) 2020-10-26 2020-10-26 一种智能双录方法及系统

Country Status (1)

Country Link
CN (1) CN112017056B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818104A (zh) * 2021-02-05 2021-05-18 广州佰锐网络科技有限公司 一种基于智能交互问答的开户方法及相关系统
CN113485668B (zh) * 2021-05-17 2024-05-10 广州佰锐网络科技有限公司 一种智能开户方法及系统
CN113645427A (zh) * 2021-08-12 2021-11-12 合众人寿保险股份有限公司 音视频数据的处理方法及装置、电子设备、存储介质
CN113727051A (zh) * 2021-08-31 2021-11-30 深圳市思迪信息技术股份有限公司 基于虚拟坐席的双向视频方法及系统、设备及存储介质
CN115330359B (zh) * 2022-10-11 2023-01-17 湖北微模式科技发展有限公司 一种实现本地化双录质检稽核服务的方法
CN115643356A (zh) * 2022-12-23 2023-01-24 广州佰锐网络科技有限公司 对金融服务销售过程进行双录的方法、存储介质和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385283B (zh) * 2018-12-29 2022-07-05 中电长城(长沙)信息技术有限公司 一种自助设备的双录视频合成方法及其双录系统
CN110597964B (zh) * 2019-09-27 2023-04-07 神州数码融信软件有限公司 一种双录质检语义分析方法、装置及双录质检系统
CN111462783A (zh) * 2020-03-05 2020-07-28 深圳壹账通智能科技有限公司 音视频录制引导方法、装置、计算机设备及存储介质
CN111552833A (zh) * 2020-03-30 2020-08-18 深圳壹账通智能科技有限公司 智能双录方法、装置及存储介质
CN111741356B (zh) * 2020-08-25 2020-12-08 腾讯科技(深圳)有限公司 双录视频的质检方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112017056A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017056B (zh) 一种智能双录方法及系统
JP7111887B2 (ja) ビデオ品質検査方法、装置、コンピュータデバイス及び記憶媒体
US20050204241A1 (en) Method and device for analyzing software error
CN112488652B (zh) 工单审核方法、系统、终端和存储介质
CN112884092A (zh) Ai模型生成方法、电子设备及存储介质
CN111885375A (zh) 双录视频的检验方法、装置、服务器及系统
CN109947651B (zh) 人工智能引擎优化方法和装置
CN111683285A (zh) 文件内容识别方法、装置、计算机设备及存储介质
CN112989990B (zh) 医疗票据识别方法、装置、设备及存储介质
CN115328784A (zh) 一种面向敏捷接口的自动化测试方法及系统
Spoletini et al. Interview review: An empirical study on detecting ambiguities in requirements elicitation interviews
CN111191889A (zh) 一种基于逻辑回归与投票式模型集成的评分卡开发方法
CN114579523A (zh) 双录文件质检方法、装置、计算机设备和存储介质
KR102232880B1 (ko) 인공지능 학습데이터 생성을 위한 이미지 또는 동영상 수집을 위한 크라우드소싱 기반 프로젝트의 검수자 평가 방법
CN106250755A (zh) 用于生成验证码的方法及装置
CN109582578A (zh) 软件测试用例的系统、方法、计算机可读介质及电子设备
CN113379528A (zh) 风控模型建立方法、装置和风险控制方法
CN117495544A (zh) 一种基于沙箱的风控评估方法、系统、终端及存储介质
CN113645357B (zh) 通话质检方法、装置、计算机设备和计算机可读存储介质
KR102159574B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과의 정확도 추정 및 관리 방법
CN112183951B (zh) 基于审核质量评价的监管处理方法和装置
CN110765006A (zh) 流程测试方法和装置、计算机可读存储介质、电子设备
Singh Voice biometric: revolution in field of security
CN112015858B (zh) 信息的检测方法、设备及存储介质
KR102244699B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 문장 유사도를 이용한 감정 라벨링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant