CN109451297A - 音视频通话质量分析方法及装置、电子设备、存储介质 - Google Patents

音视频通话质量分析方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109451297A
CN109451297A CN201811236778.7A CN201811236778A CN109451297A CN 109451297 A CN109451297 A CN 109451297A CN 201811236778 A CN201811236778 A CN 201811236778A CN 109451297 A CN109451297 A CN 109451297A
Authority
CN
China
Prior art keywords
voice
video telephone
video
client
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811236778.7A
Other languages
English (en)
Inventor
张秀凯
乔磊
刘广伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811236778.7A priority Critical patent/CN109451297A/zh
Publication of CN109451297A publication Critical patent/CN109451297A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请揭示了一种音视频通话质量分析方法及装置，本申请应用于数据处理技术领域。所述方法包括：从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的；获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态；将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。本申请所提供的音视频通话质量分析方法是由计算机设备自动执行的，无需人工的参与，极大地提高了音视频通话质量分析的效率。

Description

音视频通话质量分析方法及装置、电子设备、存储介质
技术领域
本申请涉及数据处理技术领域，特别涉及一种音视频通话质量方法及装置、电子设备、计算机可读存储介质。
背景技术
在银行业务办理系统中，客户在进行在线业务办理时，系统会对办理过程中的音视频进行录制，例如，客户在办理银行卡开卡业务的过程中，需要与后端的坐席台进行音视频通话，此时系统则会对所进行的音视频通话进行录制，只有当所录制的视频无误，客户才能急需进行后续的业务办理流程。因此，必须保证所录制的音视频通话的质量不会影响业务的后续办理。
目前，银行业务办理系统对音视频质量的分析都是通过人工核查每一笔录屏，给出对应录屏的音视频质量状况结论，例如当前录屏是否存在语音延迟、视频马赛克、语音画面丢帧等问题。这种分析方法的过程极其繁琐，且效率低下，不适合对大批量的录屏进行质量分析。
发明内容
基于上述技术问题，本申请提供了一种音视频通话质量分析方法及装置、电子设备、计算机可读存储介质，旨在解决现有技术中的质量分析过程效率低下、浪费人力的问题。
本申请所揭示的技术方案包括：
一种音视频通话质量分析方法，所述方法包括：从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的；获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态；将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。进一步地，所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配，包括：将所述网络参数集合中各网络参数与所述通话质量评价规则所包含的网络参数判定条件集合进行匹配，获得各网络参数共同满足的网络参数判定条件；从所述通话质量评价规则所包含的音视频通话质量判定结果集合中提取与所述网络参数判定条件相对应的判定结果。
进一步地，在所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果之后，所述方法还包括：将获得的所述音视频通话质量分析结果形成结果报告，并将所述结果报告发送至业务处理客户端进行展示，所述业务处理客户端用于提供交互界面供工作人员处理所述业务。
进一步地，在所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果之后，所述方法还包括：检测所获得的音视频通话质量分析结果是否满足预设的通话质量标准；如果不满足，向业务办理客户端发送提示信息，所述业务办理客户端用于提供交互界面供客户办理所述业务，所述提示信息用于指示所述业务办理失败。
进一步地，所述音视频通话质量分析方法还包括：从所采集的录屏信息中提取含有业务办理客户人脸图像的视频流；对所述视频流中的人脸图像进行特征提取，获得所述客户的人脸特征数据；将所述人脸特征数据与所存储的人脸特征模板进行搜索匹配，根据匹配结果对所述客户的身份信息进行验证。
进一步地，所述音视频通话质量分析方法还包括：从所采集的录屏信息中提取含有业务办理客户声音的音频流；对所述音频流进行特征提取，获得所述客户的声纹特征数据；将所述声纹特征数据与所存储的声纹特征模板进行搜索匹配，根据匹配结果对所述客户的身份信息进行验证。
一种音视频通话质量分析装置，所述装置包括：录频信息采集模块，用于从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的；参数获取模块，用于获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态；参数匹配模块，用于将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。
一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的音视频通话质量分析方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的音视频通话质量分析方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请中，通过从音视频业务办理系统中采集录屏信息，并从录屏信息中获取音视频业务办理系统进行音视频通话录制时所记录的网络参数集合，以将所获取的网络参数集合中的每一网络参数与预设的通话质量评价规则进行匹配，匹配所得的结果则为当前录屏的音视频通话质量状况。
与现有技术相比，本申请中的上述分析过程均由计算机设备自动执行，无需人工的参与，极大地提高了音视频通话质量分析的效率。并且，由于计算机进行数据处理的能力极强，采用本申请提供的方法能够同时对大量的录屏数据进行分析。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种计算机设备的硬件框图；
图2是根据一示例性实施例示出一种音视频通话质量分析方法的流程图；
图3是根据另一示例性实施例示出一种音视频通话质量分析方法的流程图；
图4是根据一示例性实施例示出的一种音视频通话质量分析装置的框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种计算机设备的框图。如图1所示，计算机设备可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，计算机设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。
处理组件101通常控制计算机设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及日志数据处理相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在计算机设备的操作。这些数据的示例包括用于在计算机设备上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static RandomAccess Memory，静态随机存取存储器)，EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable ReadOnly Memory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成以下任一所示音视频通话质量分析方法中的全部或者部分步骤。
电源组件103为计算机设备的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为计算机设备生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述计算机设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风，当计算机设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。
传感器组件107包括一个或多个传感器，用于为计算机设备提供各个方面的状态评估。例如，传感器组件107可以检测到计算机设备的打开/关闭状态，组件的相对定位，传感器组件107还可以检测计算机设备或计算机设备一个组件的坐标改变以及计算机设备的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。
通信组件108被配置为便于计算机设备和其他设备之间有线或无线方式的通信。计算机设备可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared DataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。
在示例性实施例中，计算机设备可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
本实施例中的计算机设备中处理器执行操作的具体方式将在有关音视频通话质量分析方法的实施例中进行详细描述，此处将不做详细阐述说明。
图2是根据一示例性实施例示出的一种音视频通话质量分析方法的流程图，该方法适用于图1所示的计算机设备。如图2所示，该方法可以包括以下步骤：
在步骤110中，从音视频业务办理系统中采集录屏信息。
其中，音视频业务办理系统可以包括银行业务办理系统或者其他需要进行音视频通话业务办理、且需要对所进行的音视频通话进行录制的业务系统，例如客户服务系统等，本处不进行限定。
如前所述的，客户在进行业务办理时，需要进行音视频通话，音视频业务办理系统则会对音视频通话进行录制，且在进行音视频通话录制时，同时记录相关的录屏信息。因此，可从音视频业务办理系统中采集相关的录屏信息。
录屏信息可以具体包括音视频通话的音频流、视频流，以及录制音视频通话时的网络参数。网络参数用于描述音视频通话录制时的网络状态，可以具体包括音频上行码率、音频下行码率、视频上行码率、视频下行码率、音频丢包率、视频丢包率、音频延迟参数、视频延迟参数、音频抖动参数等等。
在一种实施例中，从音视频业务办理系统中采集录屏信息的过程可以是与音视频业务办理系统进行音视频通话录制同步进行。作为一种可行的实施方式，可通过设置监控程序对音视频业务办理系统进行监控，若监控到音视频业务办理系统执行音视频通话录制的动作，则触发从音视频业务办理系统中采集当前正在进行录制的录屏信息。
而在另一实施例中，从音视频业务办理系统中采集录屏信息可以是在音视频业务办理系统完成每一笔音视频通话的录制后进行的。音视频业务办理系统会将相关录屏信息进行存储，因此，可从音视频业务办理系统的存储单元中获取录屏信息。
应当说明的是，为了保证能够对音视频业务办理系统所录制音视频通话的质量进行实时分析，当音视频业务办理系统每完整一笔音视频通话的录制后，需要及时进行录屏信息的采集。
在步骤130中，获取录屏信息中所包含的网络参数集合。
其中，如前所述，录屏信息中包括多种网络参数，通过从录屏信息中提取出全部的网络参数，由所提取的全部网络参数组成网络参数集合。
由于在对录屏信息进行播放时，不同的网络参数会反映出不同的录屏画面状态，例如，音频丢包率过大会导致录屏播放时无声音，而视频丢包率过大会导致录屏播放时画面有马赛克，因此，可通过对这些网络参数进行分析来判断所录制音视频通话的质量状况。
在步骤150中，将每一网络参数与预设的通话质量评价规则进行匹配，从通话质量评价规则中获取音视频通话质量分析结果。
其中，通话质量评价规则预先存储于计算机设备中，以随时获取相应信息。通话质量评价规则具体包括多个网络参数判定条件以及相对应的音视频通话质量分析结果，音视频通话质量分析结果具体为录屏在进行播放时所展示的画面状况。
网络参数判定条件由不同网络参数的取值范围构成，以音频丢包率和视频丢包率为例，假设通话质量评价规则包括判定条件A、B、C和D，在判定条件A中，音频丢包率大于80％且视频丢包率小于5％；在判定条件B中，视频丢包率大于80％且音频丢包率小于5％；在判定条件C中，音频丢包率和视频丢包率都大于80％；在判定条件D中，音频丢包率和视频丢包率都小于5％。
相对应的，判定条件A所对应的音视频通话质量分析结果为画面声音卡顿，判定条件B所对应的音视频通话质量分析结果为画面有马赛克，判定条件C所对应的音视频通话质量分析结果为画面声音卡顿，且画面有马赛克，判定条件D所对应的音视频通话质量分析结果为画面正常。
因此，在进行网络参数集合与预设的通话质量评价规则相匹配的过程中，先将网络参数集合中的每一网络参数与网络参数判定条件进行匹配，获得由各网络参数共同满足的网络参数判定条件，并将各网络参数共同满足的网络参数判定条件所对应的音视频通话质量分析结果，作为当前所分析录屏的音视频通话质量分析结果。即，音视频通话质量分析结果应当与网络参数集合中全部的网络参数相匹配。
仍以上述举例进行说明，如果所获得网络参数集合中的音频丢包率为85％，且视频丢包率为81％，满足上述判定条件C，因此，所得的音视频通话质量分析结果应当为：画面声音卡顿，且画面有马赛克。
应当说明的是，在实际应用中，由于所记录网络参数的种类往往多于上述音频丢包率和视频丢包率，网络参数判定条件的构成也应当比上述举例更复杂，并且相对应的音视频通话质量分析结果也应当更加全面。
并且，在实际应用中，预设的通话质量评价规则中所包含的网络参数判定条件以及相对应的音视频通话质量分析结果是技术人员根据历史的运维经验进行制定的，因此，预设的通话质量评价规则应当是对于音视频业务办理系统适用性、匹配性很高的标准准则。
因此，采用本实施例所提供的音视频质量分析方法，可以准确地对音视频业务办理系统所录制音视频通话的质量状态进行分析。并且与现有技术相比，本申请所提供的方法由计算机设备自动执行，无需人工的参与，极大地提高了音视频通话质量分析的效率，使得采用本申请所提供的方法能够同时对大量的录屏数据进行分析。
进一步地，在一示例性实施例中，音视频通话的每一种网络参数都是一个list集合(java程序中数据的一种有序集合)，例如，在进行音视频通话的录制时，每5秒统计一次音频丢包率，因此从录屏信息中获取的音频丢包率可以具体是[0,0,0,100,100,100……]的形式。
如果每一网络参数均按照相同的频率进行统计，则可以对音视频通话的质量状况进行更加细化的分析。
具体地，对同一时刻所记录的各网络参数，按照步骤150所描述的方法与通话质量评价规则进行匹配，并确定由全部网络参数共同匹配的音视频通话质量分析结果。由此，在对一笔音视频通话分析完成后，会得到按照时间先后顺序进行排列的分析结果序列，并由所得的分析结果序列表示该笔音视频通话在不同时刻的质量状况。
更进一步地，获取音视频通话的每一种网络参数所对应的list集合后，还可对这些list集合进行处理，以根据处理所得结果与通话质量评价规则进行匹配。例如，对相同时间长度内的多个数据求取平均参数值，所得的平均参数值表示当前时间段下的音视频通话质量状态，或者选择特定时间段对音视频通话进行质量状况分析。
因此，本实施例提供的音视频质量分析方法能够对音视频业务办理系统录制所录制音视频通话的质量状况进行更加细化的分析，以满足不同的质量分析需求。
在另一示例性实施例中，在将网络参数集合与预设的通话质量评价规则进行匹配，获得音视频通话质量分析结果后，还将获得的音视频通话质量分析结果形成结果报告，并将结果报告发送至业务处理客户端进行展示。
其中，所形成的结果报告为一文档文件，其格式为常见的文档格式，例如word、excel、日记本文档等格式。业务处理客户端运行于后台终端中，用于提供用户交互界面以供相关工作人员进行业务处理。
具体地，所形成的结果报告发送至业务处理客户端后，可以是以文档图标的形式进行展示，相关工作人员可通过点击相应图标来查看具体的分析结果内容，如果发现分析结果存在任何问题，可以及时对相应业务进行处理。
例如，工作人员如果发现所录制音视频通话质量不佳，则可通过相关操作通知客户此次业务办理不成功，需重新进行此次业务办理，以保证所录制的音视频通话不会影响本次业务办理。因此，本实施例所提供的方法能够使得业务处理的过程更加灵活。
而在另一示例性实施例中，在获得音视频通话质量分析结果后，还可以对获得的音视频通话质量分析结果进行检测，以判断当前录屏是否满足预设的通话质量标准。若当前录屏满足预设的通话质量标准，则表示该录屏在进行播放时，画面状态较好，不会影响客户进行相关业务的后续办理。
作为一种可行的实施方式，预设的通话质量标准具体为一音视频通话质量分析结果集合，其中包含有若干音视频通话质量分析结果，如果当前所获得的音视频通话质量分析结果存在于该集合中，则表示为，当前录屏满足预设的通话质量标准。
便于理解的，假设预设的通话质量标准包括分析结果1、分析结果2和分析结果3，如果得到当前录屏为分析结果2，则该录屏满足通话质量标准。反之，如果得到当前录屏的分析结果为其它，则该录屏不满足通话质量标准。
在另一种实施方式中，预设的通话质量标准具体对各网络参数所设定的阈值，对所获取当前录屏的网络参数集合来说，根据各网络参数的值与所设定阈值之间的大小关系，来判断当前录屏是否满足预设的通话质量标准。
例如，假设所设定音频丢包率的阈值为10％，视频丢包率的阈值为15％，若当前录屏的音频丢包率为15％，视频丢包率为20％，则该录屏不满足预设的通话质量标准。如果当前录屏的音频丢包率为5％，视频丢包率为10％，则该录屏满足预设的通话质量标准。
若当前录屏不满足预设的通话质量标准，则表示该录屏的质量会影响客户后续的业务办理，因此，需要向业务办理客户端发送提示消息。业务办理客户端运行于前台终端，用于提供用户交互界面以供客户进行相关业务的办理。业务办理客户端对所接收的提示消息进行显示，以提示客户当前办理的业务失败，需要用户重新进行办理。
应当说明的是，本实施中所指的前台终端和业务办理客户端与上述实施例所指的后台终端、业务处理客户端之间均为相对的概念，不应当理解对本申请的保护范围进行了任何限制。例如在银行业务办理的应用场景中，前台终端为业务办理大厅中放置的业务自助办理柜员机，业务办理客户端运行于其中，而后台终端为银行工作人员所使用的电脑设备，业务处理客户端则相应运行为该电脑设备中。
因此，本实施例所提供的方法可以对音视频通话质量进行自动检测，并根据所检测的结果自动进行处理，无需工作人员手动操作，进一步提高了音视频通话质量分析方法的适用性和灵活性。
如图3所示，在一示例性实施例中，上述音视频通话质量分析方法还可以包括以下步骤：
步骤210，从所采集的录屏信息中提取含有业务办理客户人脸图像的视频流。
如前所述的，录屏信息包含音视频通话的视频流和音频流。由于客户在于工作人员进行音视频通话时，所录制的通话视频一般以画中画的形式将客户图像和工作人员图像进行展示，并且客户图像和工作人员图像的展示区域也是预先设定的，因此在视频流中，每一帧视频画面都应当含有客户的人脸图像。
步骤220，对视频流中的人脸图像进行特征提取，获得客户的人脸特征数据。
对视频流中人脸特征的提取采用现有的人脸识别技术，例如至少可以包括人脸检测、人脸图像预处理、人脸图像特征提取等具体处理过程，其中人脸检测用于在图像中标定出人脸的位置和大小，人脸图像预处理可以是对人脸图像进行灰度校正、噪声过滤等图像预处理，人脸图像特征提取则用于对人脸进行特征建模，以获取客户人脸的视觉特征、像素统计特征、变换系数特征以及代数特征等人脸特征数据。
步骤250，将所获得的人脸特征数据与所存储的人脸特征模板进行搜索匹配，根据匹配结果对客户的身份信息进行验证。
其中，人脸特征模板为存储于人脸特征数据库中大量人脸特征数据，且与每一人脸特征数据所对应的用户信息相关联。
因此，本实施例在获取客户的人脸特征数据后，从人脸特征数据库中搜索相匹配的人脸特征数据，并获取对应的用户信息。若所获得的用户信息与当前客户信息相匹配，则表示该客户办理当前业务所使用的身份信息是其真实的身份信息。
具体地，在从人脸特征数据库中搜索相匹配的人脸特征数据时，可采用一对一或者一对多的方式进行图像匹配，匹配的过程可以具体是计算人脸特征数据之间的相似程度。
应当说明的是，本实施例所提供的以上步骤均是通过现有的人脸识别技术来实现的，本实施例不应当被视为对现有的人脸识别技术进行了任何改进。
进一步地，在一示例性实施例中，上述音视频通话质量分析方法还可以包括以下步骤：
从所采集的录屏信息中提取含有业务办理客户声音的音频流；
对音频流进行特征提取，获得客户的声纹特征数据；
将所获得的声纹特征数据与所存储的声纹特征模板进行搜索匹配，根据匹配结果对客户的身份信息进行验证。
其中，在业务办理过程中，工作人员与客户之间的会话一般是按照特定的程序进行的，例如，工作人员先向客户进行提问，然后客户再进行回答；或者工作人员按照固定的问题格式向客户提取。因此，可以通过从录屏信息所包含音视频通话的音频流中提取与回答问题相关的数据，来获得含有客户声音的音频数据。
对音频流进行特征提取是为了获得客户声音所具有可区分性强、稳定性高的声学特征或者语言特征，将所获取的声学特征或者语言特征称为客户的声纹特征数据。
与上述实施例相类似的，声纹特征模板存储于声纹特征数据库中，并与对应用户信息相关联。在获得客户的声纹特征数据后，则将该声纹特征数据与声纹数据库中存储的声纹特征模板进行匹配，并获取对应的用户信息。如果该用户信息与当前客户信息相匹配，则表示该客户办理当前业务所使用的身份信息是其真实的身份信息。
应当说明的是，本实施例所提供的上述步骤也是通过现有的声纹识别技术来实现的，本实施例不应当被视为对现有的声纹识别技术进行了任何改进。
因此，通过对客户信息进行的身份验证，可确保音视频业务办理系统所办理业务的安全性，能够有效防止出现客户使用造假身份信息办理业务而导致的业务事故。
如图4所示，在一示例性实施例中，一种音视频通话质量分析装置包括录频信息采集模块310、参数获取模块320和参数匹配模块330。
录频信息采集模块310用于从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的。
参数获取模块320用于获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态。
参数匹配模块330用于将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。
在一示例性实施例中，参数匹配模块330包括判定条件匹配单元和判定结果获取单元。
判定条件匹配单元用于将所述网络参数集合中各网络参数与所述通话质量评价规则所包含的网络参数判定条件集合进行匹配，获得各网络参数共同满足的网络参数判定条件。
判定结果获取单元用于从所述通话质量评价规则所包含的音视频通话质量判定结果集合中提取与所述网络参数判定条件相对应的判定结果。
在一示例性实施例中，音视频通话质量分析装置还包括结果报告生成模块，用于将获得的所述音视频通话质量分析结果形成结果报告，并将所述结果报告发送至业务处理客户端进行展示。
在一示例性实施例中，音视频通话质量分析装置还包括通话质量标准检测模块，用于检测所获得的音视频通话质量分析结果是否满足预设的通话质量标准；如果不满足，则向业务办理客户端发送提示信息。
在一示例性实施例中，音视频通话质量分析装置还包括数据流获取模块、特征提取模块和身份验证模块。
数据流获取模块用于从所采集的录屏信息中提取含有业务办理客户人脸图像的视频流和/或含有所述客户声音的音频流；
特征提取模块用于对所述视频流中的人脸图像进行特征提取获得所述客户的人脸特征数据，和/或对所述音频流进行特征提取，获得所述客户的声纹特征数据；
身份验证模块用于将所述人脸特征数据和/或所述声纹特征数据与特征模块进行匹配，根据匹配结果对所述客户进行身份验证。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
在一示例性实施例中，本申请还提供一种电子设备，该电子设备包括：
处理器；
存储器，该存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时，实现如前所示的音视频通话质量分析方法。
在一示例性实施例中，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前所示的音视频通话质量分析方法。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种音视频通话质量分析方法，其特征在于，包括：
从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的；
获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态；
将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。
2.根据权利要求1所述的方法，其特征在于，所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配，包括：
将所述网络参数集合中各网络参数与所述通话质量评价规则所包含的网络参数判定条件集合进行匹配，获得各网络参数共同满足的网络参数判定条件；
从所述通话质量评价规则所包含的音视频通话质量判定结果集合中提取与所述网络参数判定条件相对应的判定结果。
3.根据权利要求1所述的方法，其特征在于，在所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果之后，所述方法还包括：
将获得的所述音视频通话质量分析结果形成结果报告，并将所述结果报告发送至业务处理客户端进行展示，所述业务处理客户端用于提供交互界面供工作人员处理所述业务。
4.根据权利要求1所述的方法，其特征在于，在所述将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果之后，所述方法还包括：
检测所获得的音视频通话质量分析结果是否满足预设的通话质量标准；
如果不满足，向业务办理客户端发送提示信息，所述业务办理客户端用于提供交互界面供客户办理所述业务，所述提示信息用于指示所述业务办理失败。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所采集的录屏信息中提取含有业务办理客户人脸图像的视频流；
对所述视频流中的人脸图像进行特征提取，获得所述客户的人脸特征数据；
将所述人脸特征数据与所存储的人脸特征模板进行搜索匹配，根据匹配结果对所述客户的身份信息进行验证。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所采集的录屏信息中提取含有业务办理客户声音的音频流；
对所述音频流进行特征提取，获得所述客户的声纹特征数据；
将所述声纹特征数据与所存储的声纹特征模板进行搜索匹配，根据匹配结果对所述客户的身份信息进行验证。
7.一种音视频通话质量分析装置，其特征在于，所述装置包括：
录频信息采集模块，用于从音视频业务办理系统中采集录屏信息，所述录屏信息是所述系统在进行音视频通话录制时所记录的；
参数获取模块，用于获取所述录屏信息中所包含的网络参数集合，所述网络参数集合中的每一网络参数用于描述所述音视频通话录制时的网络状态；
参数匹配模块，将每一所述网络参数与预设的通话质量评价规则进行匹配，从所述通话质量评价规则中获取音视频通话质量分析结果，所述音视频通话质量分析结果与全部所述网络参数相匹配。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
数据流获取模块，用于从所采集的录屏信息中提取含有业务办理客户人脸图像的视频流和/或含有所述客户声音的音频流；
特征提取模块，用于对所述视频流中的人脸图像进行特征提取获得所述客户的人脸特征数据，和/或对所述音频流进行特征提取，获得所述客户的声纹特征数据；
身份验证模块，用于将所述人脸特征数据和/或所述声纹特征数据与特征模块进行匹配，根据匹配结果对所述客户进行身份验证。
9.一种电子设备，其特征在于，所述设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至6任一项所述的音视频通话质量分析方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的音视频通话质量分析方法。
CN201811236778.7A 2018-10-23 2018-10-23 音视频通话质量分析方法及装置、电子设备、存储介质 Pending CN109451297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811236778.7A CN109451297A (zh) 2018-10-23 2018-10-23 音视频通话质量分析方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811236778.7A CN109451297A (zh) 2018-10-23 2018-10-23 音视频通话质量分析方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN109451297A true CN109451297A (zh) 2019-03-08

Family

ID=65548028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811236778.7A Pending CN109451297A (zh) 2018-10-23 2018-10-23 音视频通话质量分析方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109451297A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378587A (zh) * 2019-07-08 2019-10-25 上海辰尚信息科技有限公司 智能质检方法、系统、介质以及设备
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114760461A (zh) * 2022-03-31 2022-07-15 中国信息通信研究院 音视频通话业务用户体验测试方法及装置
CN115221340A (zh) * 2021-12-23 2022-10-21 飞虎互动科技(北京)有限公司 音视频会话质检方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552826A (zh) * 2009-05-04 2009-10-07 中兴通讯股份有限公司 可视电话业务自动答录的方法和装置
CN103813160A (zh) * 2012-11-12 2014-05-21 中国电信股份有限公司 视频质量监控方法和装置
CN105703977A (zh) * 2016-04-29 2016-06-22 腾讯科技（深圳）有限公司 一种音视频质量监控方法、装置及系统
CN107707721A (zh) * 2017-11-06 2018-02-16 广东欧珀移动通信有限公司 移动终端的录音方法、装置、存储介质及移动终端
KR101846386B1 (ko) * 2017-08-02 2018-04-06 주식회사 비바엔에스 모바일 영상통화 품질측정 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552826A (zh) * 2009-05-04 2009-10-07 中兴通讯股份有限公司 可视电话业务自动答录的方法和装置
CN103813160A (zh) * 2012-11-12 2014-05-21 中国电信股份有限公司 视频质量监控方法和装置
CN105703977A (zh) * 2016-04-29 2016-06-22 腾讯科技（深圳）有限公司 一种音视频质量监控方法、装置及系统
KR101846386B1 (ko) * 2017-08-02 2018-04-06 주식회사 비바엔에스 모바일 영상통화 품질측정 방법 및 시스템
CN107707721A (zh) * 2017-11-06 2018-02-16 广东欧珀移动通信有限公司 移动终端的录音方法、装置、存储介质及移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378587A (zh) * 2019-07-08 2019-10-25 上海辰尚信息科技有限公司 智能质检方法、系统、介质以及设备
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114071233B (zh) * 2021-11-04 2023-04-25 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN115221340A (zh) * 2021-12-23 2022-10-21 飞虎互动科技(北京)有限公司 音视频会话质检方法和装置
CN115221340B (zh) * 2021-12-23 2024-01-05 飞虎互动科技(北京)有限公司 音视频会话质检方法和装置
CN114760461A (zh) * 2022-03-31 2022-07-15 中国信息通信研究院 音视频通话业务用户体验测试方法及装置
CN114760461B (zh) * 2022-03-31 2024-05-31 中国信息通信研究院 音视频通话业务用户体验测试方法及装置

Similar Documents

Publication Publication Date Title
CN109451297A (zh) 音视频通话质量分析方法及装置、电子设备、存储介质
US10249304B2 (en) Method and system for using conversational biometrics and speaker identification/verification to filter voice streams
US10706448B2 (en) Service monitoring system and service monitoring method
US20190244034A1 (en) Methods and apparatuses for processing video data
CN110139062B (zh) 一种视频会议记录的创建方法、装置及终端设备
CN110533288A (zh) 业务办理流程检测方法、装置、计算机设备和存储介质
WO2021175019A1 (zh) 音视频录制引导方法、装置、计算机设备及存储介质
CN110598008B (zh) 录制数据的数据质检方法及装置、存储介质
US20120218396A1 (en) Method and apparatus for usability testing of a mobile device
CN110348378A (zh) 一种认证方法、装置和存储介质
CN109462603A (zh) 基于盲检测的声纹认证方法、设备、存储介质及装置
CN109829691B (zh) 基于位置和深度学习多重生物特征的c/s打卡方法和装置
EP3912063A1 (en) Liveness detection using audio-visual inconsistencies
CN112883932A (zh) 员工异常行为检测方法、装置及系统
CN108877779A (zh) 用于检测语音尾点的方法和装置
CN111507854A (zh) 基于历史赔案的车辆定损方法、装置、介质和电子设备
CN114363547A (zh) 一种双录装置、双录交互控制方法
US20140012792A1 (en) Systems and methods for building a virtual social network
CN110378587A (zh) 智能质检方法、系统、介质以及设备
CN104049833A (zh) 基于个人生物特征的终端屏幕图像显示方法及装置
CN111008925A (zh) 证件水印的验证方法、装置、设备及存储介质
CN110490101A (zh) 一种图片截取方法、装置及计算机存储介质
CN111161743B (zh) 基于语音识别的收银监督方法及系统
CN113627301A (zh) 实时视频信息提取方法、装置和系统
CN113689855A (zh) 一种会议记录生成系统、方法、装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308