CN112398931A - 音视频数据处理方法、装置、计算机设备及存储介质 - Google Patents

音视频数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112398931A
CN112398931A CN202011217148.2A CN202011217148A CN112398931A CN 112398931 A CN112398931 A CN 112398931A CN 202011217148 A CN202011217148 A CN 202011217148A CN 112398931 A CN112398931 A CN 112398931A
Authority
CN
China
Prior art keywords
audio
video data
video
customer service
communication connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011217148.2A
Other languages
English (en)
Inventor
林森
林城彬
何树平
陈欢欢
马万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Trust Co Ltd
Original Assignee
Ping An Trust Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Trust Co Ltd filed Critical Ping An Trust Co Ltd
Priority to CN202011217148.2A priority Critical patent/CN112398931A/zh
Publication of CN112398931A publication Critical patent/CN112398931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Finance (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Technology Law (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及图像处理领域，公开了一种音视频数据处理方法、装置、计算机设备及存储介质，其方法包括：接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；分别与用户客户端建立第一通信连接，与客服客户端建立第二通信连接；通过第二通信连接将第一音视频数据和视讯话术传送给客服客户端，同时存储第一音视频数据；通过第二通信连接从客服客户端获取第二音视频数据，通过第一通信连接将第二音视频数据传送给用户客户端，同时存储第二音视频数据。本发明可以满足“双录”要求，同时提高面签效率，降低面签成本。

Description

音视频数据处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种音视频数据处理方法、装置、计算机设备及存储介质。
背景技术
近年来，随着金融行业的快速发展，理财产品的种类和销售数量日益增多。部分金融机构在展业过程中经常出现一些不合规的行为，如误导销售、私售飞单等。为了规范金融机构的销售行为，银监会要求金融机构在销售特定种类的理财产品时必须要实施专区“双录”。专区“双录”强化金融机构的信息披露义务，有效规范销售行为，有利于保护金融投资者(客户)的权益。
现有的专区“双录”一般以临柜面签方式实现。金融投资者(客户)需要前往金融机构设置的销售专区，并在客户经理的协助下完成“双录”面签。显然，这种面签方式的效率低下，成本高昂。
因而，如何在满足“双录”要求下，提高面签效率，降低面签成本，成为当前亟需解决的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种音视频数据处理方法、装置、计算机设备及存储介质，以满足“双录”要求，同时提高面签效率，降低面签成本。
一种音视频数据处理方法，包括：
接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别所述客服客户端是否为空闲状态；
当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
一种音视频数据处理装置，包括：
视讯请求模块，用于接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
第一连接模块，用于根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别状态模块，用于识别所述客服客户端是否为空闲状态；
第二连接模块，用于当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
数据传送模块，用于通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述音视频数据处理方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述音视频数据处理方法。
上述音视频数据处理方法、装置、计算机设备及存储介质，接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数，以创建与客服人员的视讯通话。根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端，以建立公共视讯平台与用户客户端之间的连接，同时等待客服客户端的接入。识别所述客服客户端是否为空闲状态，当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接，以建立公共视讯平台与客服客户端之间的连接。通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据，以向客服客户端推送客户的视频流数据以及视讯话术，以及向用户客户端推送客服人员的视频流数据。本发明可以满足“双录”要求，同时提高面签效率，降低面签成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中音视频数据处理方法的一应用环境示意图；
图2是本发明一实施例中音视频数据处理方法的一流程示意图；
图3是本发明一实施例中音视频数据处理方法的一流程示意图；
图4是本发明一实施例中音视频数据处理方法的一流程示意图；
图5是本发明一实施例中音视频数据处理方法的一流程示意图；
图6是本发明一实施例中音视频数据处理方法的一流程示意图；
图7是本发明一实施例中音视频数据处理装置的一结构示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的音视频数据处理方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种音视频数据处理方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10、接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数。
本实施例提供的音视频数据处理方法，可通过设置在服务端的公共视讯平台(可以是金融机构自行设置的平台，也可以是第三方服务公司提供的平台)实现。本实施例可通过公共视讯平台实现符合“双录”要求的远程面签，大大提高面签效率，降低面签成本。本实施例所指的用户客户端，可以是由金融机构提供的符合面签规范的展业客户端，如自助式的面签终端；也可以是用户自用的符合面签要求的设备，如智能手机。在用户客户端上，安装有用于购买指定理财产品(如需要进行“双录”面签的理财产品)的应用程序。面签订单指的是需要进行远程面签的订单，可用于订购特定种类的理财产品，如信托产品。客户在应用程序上选择面签订单，然后向公共视讯平台发送视讯请求。同时，应用程序上的订单流程系统将根据当前的面签订单生成视讯话语参数，同步发送给公共视讯平台。视讯话语参数指的是用于组装视讯话术的参数，可以根据面签订单的内容和类型进行设置。
S20、根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端。
本实施例中，公共视讯平台可以调用实时视讯模块与用户客户端建立第一通信连接。实时视讯模块是公共视讯平台用于建立多方视讯连接的模块。第一通信连接可以是websocket连接。WebSocket是一种在单个TCP连接上进行全双工通信的协议，可以减少平台的资源占用量。公共视讯平台还具有创建和派发派工任务的功能。公共视讯平台与多个客服客户端连接，并监测客服客户端的实时状态(包括工作状态和空闲状态两种)。派工任务指的是寻找一个处于空闲状态的客服客户端与用户客户端对接，实现远程视讯面签。在公共视讯平台与用户客户端建立第一通信连接，可以根据需要建立虚拟视讯房间，以容纳多方的视讯通信。
S30、识别所述客服客户端是否为空闲状态；
S40、当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
当派工模块接收到的派工任务分配给处于空闲状态的客服客户端时，公共视讯平台可以与该客服客户端建立第二通信连接。同样的，第二通信连接可以是websocket连接。在第二通信连接建立之后，客服人员可通过客户客户端进入虚拟视讯房间，与虚拟视讯房间内的客户(通过用户客户端)交流。
S50、通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
本实施例中，当第一通信连接和第二通信连接建立之后，公共视讯平台通过第一通信连接从用户客户端获取第一音视频数据。第一音视频数据指的是通过用户客户端实时获取到的客户的影像数据和音频数据(即“双录”数据)。视讯话术可以指在视讯面签过程中，客服人员需要传达的内容。第一音视频数据和视讯话术通过第二通信连接传送至客服客户端后，客服人员可以在客服客户端的显示屏看到视讯话术和用户的实时画面，同时客服客户端也会播放第一音视频数据中包含用户声音的音频数据。
在将第一音视频数据传送给客服客户端的同时，公共视讯平台同时实时存储第一音视频数据，并将该第一音视频数据与当前的面签订单相关联。
在另一方面，当第一通信连接和第二通信连接建立之后，公共视讯平台通过第二通信连接从客服客户端获取第二音视频数据。第二音视频数据指的是通过客服客户端实时获取到的客服人员的影像数据和音频数据(也属于“双录”数据)。第二音视频数据通过第一通信连接传送至用户客户端后，客户可以在用户客户端的显示屏看到客服人员的实时画面，同时用户客户端也会播放第二音视频数据中包含客服人员声音的音频数据。
在将第二音视频数据传送给用户客户端的同时，公共视讯平台同时实时存储第二音视频数据，并将该第二音视频数据与当前的面签订单相关联。
在完成视讯面签之后，可以结束第一通信连接和第二通信连接，而期间记录的第一音视频数据和第二音视频数据将作为面签证据留存在公共视讯平台设置的服务器上。
步骤S10-S50中，接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数，以创建与客服人员的视讯通话。根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端，以建立公共视讯平台与用户客户端之间的连接，同时等待客服客户端的接入。识别所述客服客户端是否为空闲状态，当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接，以建立公共视讯平台与客服客户端之间的连接。通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据，以向客服客户端推送客户的视频流数据以及视讯话术，以及向用户客户端推送客服人员的视频流数据。本实施例提供的音视频数据处理方法，可实现远程面签，客户不需要前往金融机构的营业场所办理面签手续，而且自动录制面签的音视频数据，满足“双录”要求，大大提高了面签效率，降低面签成本。
可选的，如图3所示，步骤S40之后，即所述通过所述第一通信连接从所述用户客户端获取第一音视频数据之后，还包括：
S41、通过第一监控程序检查所述第一音视频数据，检查所述第一音视频数据是否存在违规问题；
S42、若所述第一音视频数据存在用户违规问题，确定所述用户违规问题的违规程度；
S43、若所述违规程度满足第一警报条件，则发出第一警报信息。
本实施例中，第一监控程序可以是对第一音视频数据中的画面数据和/或音频数据进行规范性检查的程序，如可以是判断画面数据是否存在违规(如真人验证)、判断音频数据是否存在异常(如是否存在影响面签结果的异响等)等。在视讯中，一些重要的对话，如确定客户的真实意愿等环节，若环境因素的干扰判断客户的真实表达，可能导致第一音视频数据的不可用。
用户违规问题指的是客户违反视讯规范的问题。用户违规问题可以预先设置(如设置一些敏感词，若存在敏感词，则判定违规)，也可以通过一些人工智能系统进行智能判断。不同的用户违规问题可以设置不同的违规程度。示意性的，在视讯面签过程中，客户若出现一些不文明用语的表达，则判定其违规程度为轻微；若进行视讯的客户与面签订单填写的身份不匹配，则其违规程度为严重。可以根据需要设置第一警报条件，如当违规程度为严重时，则满足预设报警条件；当违规程度为轻微时，则不满足预设报警条件。若违规程度满足第一警报条件，则发出第一警报信息，并将该第一警报信息发送给相应的安保人员。
本实施例可以对客户的行为进行监控，自动检查出违规问题。
可选的，如图4所示，步骤S50之后，即所述通过所述第二通信连接从所述客服客户端获取第二音视频数据之后，还包括：
S51、根据所述视讯话术设置第二监控程序；
S52、通过所述第二监控程序检查所述第二音视频数据，检查所述第二音视频数据是否存在客服违规问题；
S53、若所述第二音视频数据存在客服违规问题，确定所述客服违规问题的客服违规程度；
S54、若所述客服违规程度满足第二预设警报条件，则发出第二警报信息。
本实施例中，第二监控程序主要包括两个功能，其一是对第二音视频数据中的画面数据和/或音频数据进行规范性检查的程序，检查内容可与第一监控程序类似；其二是计算客服人员回应客户的话语与视讯话术的契合程度。当客服人员回应的话语与视讯话术有较大差异时，可以自动发出提醒信息，提醒客服人员不要偏离视讯话术的内容。
客服违规问题指的是客服人员违反视讯规范的问题。客服违规问题可以预先设置(如设置一些敏感词，若存在敏感词，则判定违规)，也可以通过一些人工智能系统进行智能判断。不同的客服违规问题可以设置不同的违规程度。示意性的，在视讯面签过程中，若出现一些不文明用语，则判定其违规程度为中度；若客服人员回应的话语涉及与面签订单无关的产品推荐，则其违规程度为严重。可以根据违规程度和违规次数设置第二警报条件。如，当违规程度为严重时，则满足预设报警条件；当违规程度为轻微且次数较少时，则不满足预设报警条件。若违规程度满足第二警报条件，则发出第二警报信息，并将该第二警报信息发送给相应的安保人员。
本实施例可以对客服人员的行为进行监控，自动检查出违规问题。
可选的，如图5所示，步骤S40，即所述通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，包括：
S401、通过所述第一通信连接从所述用户客户端获取第一音视频数据；
S402、通过语音处理程序处理所述第一音视频数据中的音频数据，获得第一识别数据；
S403、通过语义分析网络分析所述第一识别数据，获得所述语义分析网络输出的流程节点数据；
S404、根据所述流程节点数据和所述视讯话语参数生成实时视讯话术，所述视讯话术包括所述实时视讯话术；
S405、通过所述第二通信连接将所述实时视讯话术传送给所述客服客户端。
本实施例中，通过第一通信连接从用户客户端获取第一音视频数据之后，通过语音处理程序处理第一音视频数据中的音频数据，获得第一识别数据。语音处理程序可以是现有的语音转文字程序。第一识别数据包括但不限于基于上述音频数据转换成的文本数据。语义分析网络是预先训练好的网络模型，可以根据当前用户的第一音视频数据判断当前视讯面签的流程节点，输出流程节点数据。流程节点数据指的是当前所处的流程节点。在一些情况下，语义分析网络还可以使用第二音视频数据作为输入数据，以进一步确定当前所处的流程节点。一般情况下，面签订单的视频面签可以预先划分出若干个流程节点。通过对各个流程节点的逐一判定可以确定视频面签是否完成所有的流程节点，防止流程节点遗漏。
在获得流程节点数据之后，可以根据流程节点数据和视讯话语参数生成实时视讯话术。不同的流程节点数据，生成的实时视讯话术是不相同的。视讯话术包括各个流程节点数据所对应生成的实时视讯话术。最后，通过第二通信连接将实时视讯话术传送给客服客户端。在此处，第一音视频数据是持续性地传送给客服客户端，而实时视讯话术是间歇性地传送给客服客户端。当流程节点数据发生变化时，新生成的实时视讯话术传送至客服客户端，更新上一流程节点的实时视讯话术。
本实施例可以智能识别当前的流程节点数据，并向客服客户端发送匹配的实时视讯话术，有利于提高视讯面签的质量。
可选的，如图6所示，步骤S50之后，即所述通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据之后，还包括：
S501、通过第一评估网络处理所述第一音视频数据，获得所述第一评估网络输出的用户评价分数；
S502、通过第二评估网络处理所述第二音视频数据和所述视讯话术，获取所述第二评估网络输出的话术匹配分数；
S503、根据所述用户评价分数和所述话术匹配分数生成客服评价分数。
本实施例中，第一评估网络可用于分析客户的情绪态度，根据客户的情绪态度自动生成用户评价分数。在评估的过程中，由于不同客户的情绪态度存在较大差异，需要采用较为客观的评估方法，减少客户因素对用户评价分数的影响。在一示例中，可以截取第一音视频数据中起始阶段一定时长的初始音视频片段，第一评估网络分析该初始音视频片段，获得起始用户评价分数；然后截取第一音视频数据中结束阶段一定时长的结束音视频片段，第一评估网络分析该结束音视频片段，获得结束用户评价分数。最后，根据起始用户评价分数和结束用户评价分数进行综合评估，获得用户评价分数。
第二评估网络可用于分析客服人员的话语表现能力和表达精准度。第二评估网络用于分析客服人员的话语表现能力时，可以对第二音视频数据进行分析，分析画面图像中客服人员的面部表情，以及音频数据中的语气语调，对面部表情和语气语调进行综合评价，获得客服人员的话语表现能力。第二评估网络用于分析客服人员的表达精准度时，将音频数据转化为文本数据，通过语义评估网络(与上述语义分析网络不同)对文本数据和视讯话术进行比较，计算出相应的表达精准度。在获得话语表现能力和表达精准度两个方面的评估之后，可以综合话语表现能力和表达精准度，生成话术匹配分数。最后，根据用户评价分数和话术匹配分数生成客服评价分数。
本实施例可实现对第一音视频数据和第二音视频数据进行综合评分，获取客服评价分数，客服评价分数具有较高的客观性，同时减少客户评分环节，大大减少客户的时间成本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种音视频数据处理装置，该音视频数据处理装置与上述实施例中音视频数据处理方法一一对应。如图7所示，该音视频数据处理装置包括视讯请求模块10、第一连接模块20、识别状态模块30、第二连接模块40、数据传送模块50。各功能模块详细说明如下：
视讯请求模块10，用于接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
第一连接模块20，用于根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别状态模块30，用于识别所述客服客户端是否为空闲状态；
第二连接模块40，用于当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
数据传送模块50，用于通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
可选的，音视频数据处理装置还包括第一监控模块，所述第一监控模块包括：
第一检查单元，用于通过第一监控程序检查所述第一音视频数据，检查所述第一音视频数据是否存在用户违规问题；
用户违规程度单元，用于若所述第一音视频数据存在用户违规问题，确定所述用户违规问题的用户违规程度；
第一警报单元，用于若所述用户违规程度满足第一预设警报条件，则发出第一警报信息。
可选的，音视频数据处理装置还包括第二监控模块，所述第二监控模块包括：
设置单元，用于根据所述视讯话术设置第二监控程序；
第二检查单元，用于通过所述第二监控程序检查所述第二音视频数据，检查所述第二音视频数据是否存在客服违规问题；
第二违规单元，用于若所述第二音视频数据存在客服违规问题，确定所述客服违规问题的客服违规程度；
第二警报单元，用于若所述客服违规程度满足第二预设警报条件，则发出第二警报信息。
可选的，第一连接模块20包括：
第一音视频数据获取单元，用于通过所述第一通信连接从所述用户客户端获取第一音视频数据；
第一识别单元，用于通过语音处理程序处理所述第一音视频数据中的音频数据，获得第一识别数据；
获得流程节点单元，用于通过语义分析网络分析所述第一识别数据，获得所述语义分析网络输出的流程节点数据；
生成实时视讯话术单元，用于根据所述流程节点数据和所述视讯话语参数生成实时视讯话术，所述视讯话术包括所述实时视讯话术；
话术传送单元，用于通过所述第二通信连接将所述实时视讯话术传送给所述客服客户端。
可选的，音视频数据处理装置还包括分数评价模块，所述分数评价模块包括：
第一评价单元，用于通过第一评估网络处理所述第一音视频数据，获得所述第一评估网络输出的用户评价分数；
第二评价单元，用于通过第二评估网络处理所述第二音视频数据和所述视讯话术，获取所述第二评估网络输出的话术匹配分数；
生成评价分数单元，用于根据所述用户评价分数和所述话术匹配分数生成客服评价分数。
关于音视频数据处理装置的具体限定可以参见上文中对于音视频数据处理方法的限定，在此不再赘述。上述音视频数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储音视频数据处理方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种音视频数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别所述客服客户端是否为空闲状态；
当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别所述客服客户端是否为空闲状态；
当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音视频数据处理方法，其特征在于，包括：
接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别所述客服客户端是否为空闲状态；
当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
2.如权利要求1所述的音视频数据处理方法，其特征在于，所述通过所述第一通信连接从所述用户客户端获取第一音视频数据之后，还包括：
通过第一监控程序检查所述第一音视频数据，检查所述第一音视频数据是否存在用户违规问题；
若所述第一音视频数据存在用户违规问题，确定所述用户违规问题的用户违规程度；
若所述用户违规程度满足第一预设警报条件，则发出第一警报信息。
3.如权利要求1所述的音视频数据处理方法，其特征在于，所述通过所述第二通信连接从所述客服客户端获取第二音视频数据之后，还包括：
根据所述视讯话术设置第二监控程序；
通过所述第二监控程序检查所述第二音视频数据，检查所述第二音视频数据是否存在客服违规问题；
若所述第二音视频数据存在客服违规问题，确定所述客服违规问题的客服违规程度；
若所述客服违规程度满足第二预设警报条件，则发出第二警报信息。
4.如权利要求1所述的音视频数据处理方法，其特征在于，所述通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，包括：
通过所述第一通信连接从所述用户客户端获取第一音视频数据；
通过语音处理程序处理所述第一音视频数据中的音频数据，获得第一识别数据；
通过语义分析网络分析所述第一识别数据，获得所述语义分析网络输出的流程节点数据；
根据所述流程节点数据和所述视讯话语参数生成实时视讯话术，所述视讯话术包括所述实时视讯话术；
通过所述第二通信连接将所述实时视讯话术传送给所述客服客户端。
5.如权利要求1所述的音视频数据处理方法，其特征在于，所述通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据之后，还包括：
通过第一评估网络处理所述第一音视频数据，获得所述第一评估网络输出的用户评价分数；
通过第二评估网络处理所述第二音视频数据和所述视讯话术，获取所述第二评估网络输出的话术匹配分数；
根据所述用户评价分数和所述话术匹配分数生成客服评价分数。
6.一种音视频数据处理装置，其特征在于，包括：
视讯请求模块，用于接收用户客户端发送的与面签订单关联的视讯请求和视讯话语参数；
第一连接模块，用于根据所述视讯请求与所述用户客户端建立第一通信连接，通过所述第一通信连接从所述用户客户端获取第一音视频数据，根据所述视讯话语参数生成视讯话术，并同时发送派工任务给客服客户端；
识别状态模块，用于识别所述客服客户端是否为空闲状态；
第二连接模块，用于当所述客服客户端为空闲状态时，与所述客服客户端建立第二通信连接；
数据传送模块，用于通过所述第二通信连接将所述第一音视频数据和所述视讯话术传送给所述客服客户端，同时存储所述第一音视频数据；通过所述第二通信连接从所述客服客户端获取第二音视频数据，通过所述第一通信连接将所述第二音视频数据传送给所述用户客户端，同时存储所述第二音视频数据。
7.如权利要求6所述的音视频数据处理装置，其特征在于，还包括第一监控模块，所述第一监控模块包括：
第一检查单元，用于通过第一监控程序检查所述第一音视频数据，检查所述第一音视频数据是否存在用户违规问题；
用户违规程度单元，用于若所述第一音视频数据存在用户违规问题，确定所述用户违规问题的用户违规程度；
第一警报单元，用于若所述用户违规程度满足第一预设警报条件，则发出第一警报信息。
8.如权利要求6所述的音视频数据处理装置，其特征在于，还包括第二监控模块，所述第二监控模块包括：
设置单元，用于根据所述视讯话术设置第二监控程序；
第二检查单元，用于通过所述第二监控程序检查所述第二音视频数据，检查所述第二音视频数据是否存在客服违规问题；
第二违规单元，用于若所述第二音视频数据存在客服违规问题，确定所述客服违规问题的客服违规程度；
第二警报单元，用于若所述客服违规程度满足第二预设警报条件，则发出第二警报信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述音视频数据处理方法。
10.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至5中任一项所述音视频数据处理方法。
CN202011217148.2A 2020-11-04 2020-11-04 音视频数据处理方法、装置、计算机设备及存储介质 Pending CN112398931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217148.2A CN112398931A (zh) 2020-11-04 2020-11-04 音视频数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217148.2A CN112398931A (zh) 2020-11-04 2020-11-04 音视频数据处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112398931A true CN112398931A (zh) 2021-02-23

Family

ID=74598756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217148.2A Pending CN112398931A (zh) 2020-11-04 2020-11-04 音视频数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112398931A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884375A (zh) * 2021-03-29 2021-06-01 中信银行股份有限公司 基于双录系统的应用方法、装置、电子设备及介质
CN113645427A (zh) * 2021-08-12 2021-11-12 合众人寿保险股份有限公司 音视频数据的处理方法及装置、电子设备、存储介质
CN113706159A (zh) * 2021-09-07 2021-11-26 中国银行股份有限公司 银行产品交易双录方法及装置
CN114598913A (zh) * 2022-01-30 2022-06-07 青岛希望鸟科技有限公司 一种多人双录交互控制方法、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109520A1 (zh) * 2017-12-08 2019-06-13 平安科技（深圳）有限公司 视频面签派工方法、装置、设备及可读存储介质
CN111866544A (zh) * 2020-07-23 2020-10-30 京东数字科技控股股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109520A1 (zh) * 2017-12-08 2019-06-13 平安科技（深圳）有限公司 视频面签派工方法、装置、设备及可读存储介质
CN111866544A (zh) * 2020-07-23 2020-10-30 京东数字科技控股股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨志明;: "简析商业银行理财双录系统建设", 云南科技管理, no. 05 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884375A (zh) * 2021-03-29 2021-06-01 中信银行股份有限公司 基于双录系统的应用方法、装置、电子设备及介质
CN113645427A (zh) * 2021-08-12 2021-11-12 合众人寿保险股份有限公司 音视频数据的处理方法及装置、电子设备、存储介质
CN113706159A (zh) * 2021-09-07 2021-11-26 中国银行股份有限公司 银行产品交易双录方法及装置
CN114598913A (zh) * 2022-01-30 2022-06-07 青岛希望鸟科技有限公司 一种多人双录交互控制方法、系统
CN114598913B (zh) * 2022-01-30 2024-01-23 青岛希望鸟科技有限公司 一种多人双录交互控制方法、系统

Similar Documents

Publication Publication Date Title
CN112398931A (zh) 音视频数据处理方法、装置、计算机设备及存储介质
EP3386164B1 (en) Context sensitive rule-based alerts for fraud monitoring
US9916605B2 (en) Collaboration group recommendations derived from request-action correlations
US9357058B2 (en) Contact center anti-fraud monitoring, detection and prevention solution
US20120081506A1 (en) Method and system for presenting metadata during a videoconference
WO2019237085A1 (en) Session-based information exchange
US8498404B2 (en) Methods and systems for monitoring contact center operations
US9077699B1 (en) Text chat
CN107292441B (zh) 一种运维协作系统
US11375062B2 (en) Systems for detecting harassing communication
US20240029741A1 (en) Systems and methods for party authentication and information control in a video call with a server controlling the authentication and flow of information between parties whose identiies are not revealed to each other
US20120035977A1 (en) Enterprise Consumer Complaints Program
US11335351B2 (en) Cognitive automation-based engine BOT for processing audio and taking actions in response thereto
CN116762125A (zh) 环境协作智能系统和方法
TWM554612U (zh) 智能線上客戶服務系統
US10380687B2 (en) Trade surveillance and monitoring systems and/or methods
US11657295B2 (en) Cognitive automation platform for dynamic unauthorized event detection and processing
CN115544234A (zh) 用户交互方法、装置、电子设备及存储介质
KR20200080590A (ko) 스마트 컨택 센터 서비스를 수행하기 위한 컴퓨팅 장치
US20240129436A1 (en) Automatic engagement analytics in collaboration and conferencing
US20180113937A1 (en) Determining process steps from analysis of online collaborations
US11902117B1 (en) Virtual on-watch
KR102533361B1 (ko) 인사정보와 연계된 메신저 운용방법
US20230376969A1 (en) Providing customer service within a metaverse
CN114553684A (zh) 网点运维方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination