CN115221340B - 音视频会话质检方法和装置 - Google Patents

Abstract

本申请是关于一种音视频会话质检方法和装置。该方法包括：获取音视频会话信息，将音视频会话信息存入数据库，并发送入库完成事件，接收入库完成事件，并根据音视频会话信息获取质检报告，根据质检报告获取质检结果，并将质检结果存入数据库，其中质检结果至少包括质检合格结果和质检不合格结果中的一种。本申请提供的方案，能够提高音视频会话信息质检的效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

Description

音视频会话质检方法和装置

技术领域

本申请涉及音视频质检技术领域，尤其涉及一种音视频会话质检方法和装置。

背景技术

金融行业中，为确保金融业务的正常办理，中国银行业监督管理委员要求对业务办理的过程进行双录，即对业务办理过程录音录像。对业务办理进行双录后将得到视音频会话信息。其中，视音频会话信息需要进行质检，以确认是否存在质量问题，质检合格后，业务办理完成。

相关技术中，通过回放音视频会话信息对每一音视频会话信息进行质检，以确认是否存在质量问题，筛查出存在质量问题的音视频会话信息。音视频会话信息越多，那么需要花费更多的时间对音视频会话信息进行质检。所以，线下或远程视频办理业务结束后，无法在短时间内知道视音频会话信息是否合格，是否需要重新办理业务。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种音视频会话质检方法和装置，能够提高音视频会话信息质检的效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

本申请第一方面提供一种音视频会话质检方法，其包括

获取音视频会话信息；

将所述音视频会话信息存入数据库，并发送入库完成事件；

接收所述入库完成事件，并根据所述音视频会话信息获取质检报告；

根据所述质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种。

在一实施例中，所述获取音视频会话信息，包括：

通过监听消息队列获取所述音视频会话信息。

在一实施例中，所述接收所述入库完成事件，并根据所述音视频会话信息获取质检报告，包括：

接收所述入库完成事件；将所述音视频会话信息存入质检结果表，获取所述质检报告，其中所述质检结果表用于根据所述音视频会话信息计算所述音视频会话信息的预设质检项，并将所述预设质检项存入所述质检报告。

在一实施例中，所述根据所述质检报告获取质检结果，并将所述质检结果存入所述数据库，包括：

若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库；或，

若所述质检报告不存在，将所述质检报告对应的所述音视频会话信息的质检次数减1，并将所述质检次数存入所述数据库。

在一实施例中，所述若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库，还包括：

若所述质检报告存在且所述质检报告的所述预设质检项在预设阈值范围内，获得质检合格结果，并将所述质检合格结果存入所述数据库；或，

若所述质检报告存在且所述质检报告的所述预设质检项不在预设阈值范围内，获得质检不合格结果，并将所述质检不合格结果存入所述数据库。

在一实施例中，所述方法还包括：

获取所述质检报告不存在的所述音视频会话信息和对应的所述质检次数，根据所述质检次数与质检次数阈值，获取所述质检结果。

在一实施例中，所述根据所述质检次数与质检次数阈值，获取所述质检结果，包括：

若所述音视频会话信息的质检次数小于所述质检次数阈值，重新发送所述音视频会话信息的所述入库完成事件；或，

若所述音视频会话信息的质检次数大于或等于所述质检次数阈值，获得质检失败结果，并将所述质检失败结果存入所述数据库。

在一实施例中，所述预设质检项至少包括音视频质量检验项和音视频参数检验项中的一个。

本申请第二方面提供一种音视频会话质检装置，其包括

会话获取模块：用于获取音视频会话信息；

会话入库模块：用于将所述会话获取模块获取的所述音视频会话信息存入数据库，并发送入库完成事件；

接收事件模块：用于接收所述会话入库模块发送的所述入库完成事件，并根据所述音视频会话信息获取质检报告；

结果获取模块：用于根据所述接收事件模块获取的所述质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请提供的音视频会话质检方法，通过获取音视频会话信息，将音视频会话信息存入数据库，并发送入库完成事件，再接收所述入库完成事件并根据音视频会话信息获取质检报告，再根据质检报告获取质检结果，并将质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种。这样的设计，能够通过数据库筛选出质检不合格结果对应的音视频会话信息，进而可以对质检不合格结果对应的音视频会话信息进行回放以此筛查存在质量问题的音视频会话信息，避免为了筛查存在质量问题的音视频会话信息而对所有的音视频会话信息进行回放，减少了音视频会话信息的回放次数，提高音视频会话信息的检查效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的音视频会话质检方法的流程示意图；

图2是本申请另一实施例示出的音视频会话质检方法的流程示意图；

图3是本申请另一实施例示出的音视频会话质检方法的流程示意图；

图4是本申请另一实施例示出的音视频会话质检方法的流程示意图；

图5是本申请实施例示出的音视频会话质检装置的结构示意图；

图6是本申请另一实施例示出的音视频会话质检装置的结构示意图；

图7是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

金融行业中，为确保金融业务的正常办理，业务的办理需要双录并对双录得到的音视频会话信息进行质检。相关技术中，通过回放音视频会话信息对每一音视频会话信息进行质检，以确认是否存在质量问题，筛查出存在质量问题的音视频会话信息。音视频会话信息越多，那么需要花费更多的时间对音视频会话信息进行质检。所以，线下或远程视频办理业务结束后，无法在短时间内知道视音频会话信息是否合格，是否需要重新办理业务。

针对上述问题，本申请实施例提供一种音视频会话质检方法，能够提高音视频会话信息质检的效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的音视频会话质检方法的流程示意图。

参见图1，本申请的音视频会话质检方法，包括：

步骤S110，获取音视频会话信息。

其中，通过音频采集装置和视频采集装置采集业务办理过程中的音视频会话信息。在线下的双录中，音频采集装置和视频采集装置可以是为办理业务场所所配备的录音器和摄像头，录音器和摄像头对办理业务的客户和工作人员进行录音和录像。在远程的双录中，音频采集装置和视频采集装置可以是客户登录的终端设备的录音装置和录像装置以及工作人员登录的终端设备的录音装置和录像装置。例如客户通过手机与工作人员进行交流，那么录音装置可以是手机的麦克风，录像装置可以是手机的摄像头。

步骤S120，将音视频会话信息存入数据库，并发送入库完成事件。

在一实施例中，每一音视频会话信息对应一业务办理，不同的音视频会话信息可以对应不同的业务办理，也可以对应同一业务办理。例如，两个音视频会话信息可以是同一客户在办理两个不同的业务中所采集的，也可以是同一客户在一业务办理的不同时间中所采集的。当音视频会话信息存入数据库时，可以通过触发入库完成事件以提示对应的音视频会话信息已存入数据库，以便及时对各音视频会话信息进行质检，提高质检的效率，在更短的时间内获取质检的结果。在一实施例中，每一音频会话信息至少包括一入库完成事件，不同的入库完成事件按照音视频会话信息存入数据库的先后时间发出，先存入数据库的音视频会话信息的入库完成事件先发送。

另外，通过步骤S110和步骤S120能够将音视频会话信息同步，保证各端收到的会话信息完全一致，以便后续对音视频会话信息的分析和计算。其中，服务端通过IM(InstantMessaging，实时通信)消息进行消息同步，目的是确保音视频会话的各参与方加入同一会话房间或会话组，也就是确保客户与座席加入的同一个房间。其中，坐席可以是工作人员。其中，各端收到的会话信息完全一致是指客户端(呼叫端)和座席端收到的关于音视频会话信息的音视频房间ID、会话ID或参与方信息一致。

步骤S130，接收入库完成事件，并根据音视频会话信息获取质检报告。

该步骤中，通过接收入库完成事件，及时对数据库中的音视频会话信息进行处理和计算，得到音视频会话信息的质检报告。质检报告能够反映音视频会话信息的质量，是判断音视频会话信息是否合格的依据。在一实施例中，可以按照接收入库完成事件的时间先后顺序对音视频会话信息进行处理以获取质检报告。该步骤中，事件监听器收到音视频会话信息的入库完成事件的通知。

步骤S140，根据质检报告获取质检结果，并将质检结果存入数据库，其中质检结果至少包括质检合格结果、质检不合格结果和质检失败结果中的一种。

其中，质检报告反映了视音频会话信息的质量，通过对质检报告的分析可以得到音视频会话信息的质检结果。其中，对于每一音视频会话信息，质检结果可以是质检合格结果和质检不合格结果中的一个。如果音视频会话信息的质检结果为质检合格结果，说明对应的音视频会话信息无质量问题，无需进行回放再次检查。如果音视频会话信息的质检结果为质检不合格结果，说明对应的音视频会话信息存在质量问题，需要进行回放以确认是否存在质量问题。若通过回放确认存在质量问题，那么该音视频会话信息对应的业务需要重新办理；若通过回放确认不存在质量问题，那么该音视频会话信息对应的业务无需重新办理。

综上，本申请提供的音视频会话质检方法，通过获取音视频会话信息，将音视频会话信息存入数据库，并发送入库完成事件，再接收入库完成事件并根据音视频会话信息获取质检报告，再根据质检报告获取质检结果，并将质检结果存入数据库，其中质检结果至少包括质检合格结果和质检不合格结果中的一种。这样的设计，能够通过数据库筛选出质检不合格结果对应的音视频会话信息，进而可以对质检不合格结果对应的音视频会话信息进行回放以此筛查存在质量问题的音视频会话信息，避免为了筛查存在质量问题的音视频会话信息而对所有的音视频会话信息进行回放，减少了音视频会话信息的回访次数，提高音视频会话信息的检查效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

图2是本申请实施例示出的音视频会话质检方法的另一流程示意图。

参见图2，本申请的音视频会话质检方法，包括：

步骤S210，通过监听消息队列获取音视频会话信息。

其中，音视频会话信息通过音频采集装置和视频采集装置进行采集，采集的音视频会话信息将被发送到消息队列，消息队列将音视频会话信息进行存储。当需要对音视频会话信息进行质检时，服务器或云端可以通过监听消息队列获取音视频会话信息。通过消息队列将音视频会话信息进行暂时存储，对于音频采集装置和视频采集装置而言，音频采集装置和视频采集装置将采集的音视频会话信息发送至消息队列，而无需等待服务器或云端获取音视频会话信息，对于服务器或云端而言，服务器或云端无需时刻监听并获取音频采集装置和视频采集装置采集的音视频会话信息，可以在需要对音视频会话信息进行质检时，通过监听消息队列以获得音频采集装置和视频采集装置采集的音视频会话信息，减轻了服务器或云端的负担。

在一实施例中，可以实时监听消息队列以获取音视频会话信息，以便及时对音视频会话信息进行质检，也可以每隔预设获取时间监听消息队列，以便减小对消息队列进行监听的负担。

步骤S220，将音视频会话信息存入数据库，并发送入库完成事件。

其中，对于每次业务办理至少对应一音视频会话信息，将每一音频会话信息存入数据库中。根据数据库中的每一音视频会话信息分别发送入库完成事件，以使得每一音视频会话信息至少对应一入库完成事件。

在一实施例中，音视频会话信息包括音频信息和视频信息，音频信息记录业务办理过程中客户和工作人员的对话，用于反映业务办理过程中客户和工作人员的关于业务办理的交流内容，视频信息记录客户和工作人员的面部信息和动作信息，用于反映客户和工作人员办理业务过程中的状态。

为了区分不同的音视频会话信息，在一实施例中，音视频会话信息还包括机构ID(Identity Document，身份标识号码)和会话时间。其中，机构ID用于识别不同的机构，通过机构ID可以识别音视频会话信息所涉及的业务办理机构。不同的业务办理机构的机构ID不同。会话时间用于识别音视频会话信息的记录时间。在一实施例中，会话时间可以包括会话起始时间点和会话结束时间点，还可以包括会话起始时间点和会话时长，还可以包括会话结束时间点和会话时长。会话起始时间点是音视频会话信息所记录的业务办理的开始时间点，会话结束时间点是音视频会话信息所记录的业务办理的结束时间点，会话时长是音视频会话信息所记录的业务办理的时长，也就是会话起始时间点和会话结束时间点之间的时长。其中，在不同时间发生的业务办理，对应的音视频会话信息的会话时间不同。例如早上9点至早上9点30分所记录的音视频会话信息的会话时间与早上9点至早上10点所记录的音视频会话信息的会话时间不同，由此通过会话时间可以将这两个音视频会话信息进行区分。进一步地，会话时间涉及音视频会话信息的时分秒。例如，会话起始时间点是15时30分20秒。进一步地，音视频会话信息还包括会话日期，会话日期涉及音视频会话信息的年月日。为了更方便区分音视频会话信息，进一步地，对不同的音视频会话信息设置不同的会话ID，会话ID用于识别不同的音视频会话信息，不同的音视频会话信息对应不同的业务办理，不同的业务办理可以是客户、机构ID、会话时间和会话日期中的至少一种不同。

其中，入库完成事件的作用是完成会话信息记录，保证可追溯性。

步骤S230，接收入库完成事件；将音视频会话信息存入质检结果表，获取质检报告，其中质检结果表用于根据音视频会话信息计算音视频会话信息的预设质检项，并将预设质检项存入质检报告。

其中，入库完成事件用于提示音视频会话信息已获取并存入数据库。在一实施例中，可以接收多个入库完成事件，可以同时接收多个入库完成事件，也可以在不同的时间接收一个、两个或多个入库完成事件。每一入库完成事件对应一音视频会话信息，不同入库完成事件对应不同的音视频会话信息，接收到不同的入库完成事件说明不同的音视频会话信息存入数据库。同一音视频会话信息可以对应两个或多个相同的入库完成事件。

其中，接收入库完成事件用于提示可以对相应的音视频会话信息进行质检。接收到不同的入库完成事件，将对不同的音视频会话信息进行质检，接收到相同的入库完成事件，将对同一音视频会话信息进行质检。

该步骤中，质检结果表根据存入的音视频会话信息进行计算，以获取关于音视频会话信息的质量相关的预设质检项。预设质检项反映音视频会话信息的质量，能够根据预设质检项判断音视频会话信息是否存在质量问题。在一实施例中，预设质检项可以是一个，也可以是多个。将计算得到的各预设质检项存入质检报告，那么质检报告可以通过存入的各预设质检项反映对应的音视频会话信息的质量，不同的质检报告对应不同的音视频会话信息，以便后续步骤通过分析各质检报告以判断对应的音视频会话信息是否合格。

其中，音视频会话信息包括音频信息和视频信息，音频信息涉及业务办理中所采集的音频，也就是对业务办理过程的录音，视频信息涉及业务办理中所采集的视频，也就是对业务办理过程的录像。在步骤中，可以分别对音频信息和视频信息进行计算，以更全面对音视频会话信息进行计算和分析，使质检报告更全面反映音视频会话信息的质量，更全面对音视频会话信息质检，提高音视频会话信息质检的正确率，更准确判断出存在质量问题的音视频会话信息，减小需要进行回放的音视频会话信息的数量，从而缩短音视频会话信息的回放的时间。

在一实施例中，预设质检项至少包括音视频质量检验项和音视频参数检验项中的一个。音视频质量检验项可以根据音视频会话信息的帧数和会话时长进行计算，音视频参数检验项可以根据音视频会话信息的码率和帧率进行计算。其中，帧数、会话时长、码率和帧率是根据音视频会话信息的音频信息和视频信息进行计算的。

在该步骤中，音视频质量检验项包括时长偏离阈值、视频异常帧数比和音频异常帧数比。其中，时长偏离阈值、视频异常帧数比和音频异常帧数比的计算公式如下：

时长偏离阈值＝系统自身记录会话时长-云端返回视频总时长

视频异常帧数比＝(视频乱序帧数+视频错误帧数+视频丢掉帧数)/视频总帧数

音频异常帧数比＝(音频乱序帧数+音频错误帧数+音频丢掉帧数)/音频总帧数

其中，系统自身记录会话时长、云端返回视频总时长、视频乱序帧数、视频错误帧数、视频丢掉帧数、视频总帧数、音频乱序帧数、音频错误帧数、音频丢掉帧数和音频总帧数是根据会话结束后生成的视频取到的值。

其中，系统自身记录会话时长是系统自身会议的起始和终止之间的时长。云端返回视频总时长是最终生成的时长，由于存在跳帧、音视频会话信息未录上和网络抖动等原因，最终生成的时长可能与系统自身记录会话时长不一致。系统自身记录会话时长是负责获取音视频会话信息的系统自身记录的业务办理的会话时长，云端返回视频总时长是从云端发送出去的音视频会话信息的时长，可以是云端返回以供回放的音视频会话信息的时长。其中，云端可以是云端数据库，云端数据库可以存储采集的音视频会话信息，还可以在工作人员调用音视频会话信息时发送对应的音视频会话信息。时长偏离阈值越大，对应的音视频会话信息存在质量问题的可能性越大。视频异常帧数比是根据音视频会话信息的视频信息进行计算的，对每一音视频会话信息计算视频乱序帧数、视频错误帧数、视频丢掉帧数和视频总帧数，以此对每一音视频会话信息计算视频异常帧数比。视频异常帧数比越大，对应的音视频会话信息存在质量问题的可能性越大。音频异常帧数比是根据音视频会话信息的音频信息进行计算的，对每一音视频会话信息计算音频乱序帧数、音频错误帧数、音频丢掉帧数和音频总帧数，以此对每一音视频会话信息计算音频异常帧数比。音频异常帧数比越大，对应的音视频会话信息存在质量问题的可能性越大。

在该步骤中，音视频参数检验项包括音频码率异常占比、视频码率异常占比和视频帧率异常时长。

其中，音频码率异常占比是音频码率低于预设音频码率对比值的时长占比，也就是音频码率低于预设音频码率对比值的时长与对应的音视频会话信息的音频总时长的比值。预设音频码率对比值可以是但不限于5bkps、10bkps或20bkps。例如，正常会话音频码率在45-60kbps之间，声音清晰，如长时间低于10kbps，则极大概率声音不连贯、失真，无法正常会话。

视频码率异常占比是视频码率低于预设视频码率对比值的时长占比，也就是视频码率低于预设视频码率对比值的时长与对应的音视频会话信息的视频总时长的比值。预设视频码率对比值可以是但不限于100kbps、200kbps、400kbps、600kbps或800kbps。例如，正常会话视频码率为800kbps，视频清晰，如长时间低于800kbps，则极大概率视频不连贯、失真、卡顿和叠影，无法正常会话。

视频帧率异常时长是视频帧率低于预设视频帧率对比值的连续时长，是指视频帧率连续时长低于预设视频帧率对比值。预设视频帧率对比值可以是但不限于5fps、10fps和15fps。连续时长可以以秒为单位进行计算。然后，将视频帧率异常时长与预设视频帧率异常阈值进行对比，判断不合格。例如，预设视频帧率对比值为10fps，预设视频帧率异常阈值为10秒，若视频帧率异常时长为12秒，也就是视频帧率连续12秒低于10fps，那么由于12秒大于预设视频帧率异常阈值10秒，判断不合格，将会得到质检不合格结果。

其中，质检结果表的作用是通过质检结果表进行结果查询和记录。

步骤S240，根据质检报告获取质检结果，并将质检结果存入数据库，其中质检结果至少包括质检合格结果和质检不合格结果中的一种。

其中，质检报告中的预设质检项能够反映音视频会话信息的质量，是分析质检结果是否合格的依据。通过对质检报告中的预设质检项进行分析，以判断对应的音视频会话信息的质量。

在一实施例中，每一质检报告对应一质检结果，每一质检报告的质检结果是质检合格结果和质检不合格结果中的一种，也就是对单独的质检报告而言，质检报告的质检结果可以是质检合格结果，也可以是质检不合格结果。进一步地，不同的质检报告的质检结果可以相同，也可以不同。

在一实施例中，根据质检报告的预设质检项与预设阈值范围获取质检结果。其中，预设阈值范围用于与预设质检项进行对比，从而获取质检结果。对于不同的预设质检项可以设置不同的预设阀值范围。在一实施例中，对于音视频质量检验项设置预设音视频质量范围，将音视频质量检验项与预设音视频质量范围对比以获取质检结果。预设音视频质量范围包括预设时长偏离范围、预设视频异常帧数范围和预设音频异常帧数范围，其中时长偏离阈值与预设时长偏离范围进行对比，视频异常帧数比与预设视频异常帧数范围进行对比，音频异常帧数比与预设音频异常帧数范围进行对比。

进一步地，对于音视频参数检验项设置预设音视频参数范围，将音视频参数检验项与预设音视频参数范围对比以获取质检结果。预设音视频参数范围包括预设音频码率异常范围、预设视频码率异常范围和预设视频帧率异常范围，其中音频码率异常占比与预设音频码率异常范围进行对比，视频码率异常占比与预设视频码率异常范围进行对比，视频帧率异常时长与预设视频帧率异常范围进行对比。

其中，对于质检结果而言，质检结果根据质检报告中各预设质检项与对应的预设阈值范围进行对比和分析得到的结果，也就是对各预设质检项综合分析得到质检结果，使得质检结果更加全面和合理。

步骤S250，获取质检报告不存在的音视频会话信息和对应的质检次数，根据质检次数与质检次数阈值，获取质检结果。

其中，将音视频会话信息存入质检结果表不一定能够获取对应的质检报告，导致音视频会话信息不一定对应有质检报告，音视频会话信息的质检报告不存在。为了对质检报告不存在的音视频会话信息进行质检，在一实施例中，将音视频会话信息的质检次数与质检次数阈值进行对比，根据不同的对比结果获取质检结果。在一实施例中，若音视频会话信息的质检次数小于质检次数阈值，重新发送音视频会话信息的入库完成事件；或，若音视频会话信息的质检次数大于或等于质检次数阈值，获得质检失败结果，并将质检失败结果存入数据库。当音视频会话信息的质检次数小于质检次数阈值，说明该音视频会话信息的质检次数相对较少，可以通过重新发送该音视频会话信息以获取质检报告，从而根据质检报告获取质检结果。当音视频会话信息的质检次数大于或等于质检次数阈值，说明该音视频会话信息的质检次数相对较多，通过该音视频会话信息获取质检结果的可能性较小，将质检结果设置为质检失败结果，停止对该音视频会话信息的质检，减小运算量。在一实施例中，若音视频会话信息的质检报告不存在，将对应的音视频会话信息的质检次数减1。

在对获取的音视频会话信息进行质检后，工作人员可以通过机构ID在前端登录，后端管理系统获取录用户的机构ID，通过机构ID、质检状态、会话时间、sessionId(会话ID)、分页参数在质检服务分页筛选不合格会话ID列表，不合格会话ID列表为质检状态为质检不合格结果的各音视频会话信息的列表。根据不合格会话ID列表在双录服务查询列表中展示的信息，后端管理系统将数据传给前端显示，也就是将质检状态为质检不合格结果的各音视频会话信息的列表传给前端显示，由此，工作人员可以在前端查看质检不合格结果的各音视频会话信息，以便确定需要进行回放检查的音视频会话信息。

本申请的的音视频会话质检方法，能够对音视频会话信息进行初步筛查，筛选出质检不合格结果对应的音视频会话信息，减小需要人工回放检查的音视频会话信息的数量。例如，日均有600个音视频会话信息，其中3个音视频会话信息存在质量问题，那么需要通过对600个音视频会话信息进行回放以筛查出其中3个存在质量问题的音视频会话信息。但是通过本申请的音视频会话质检方法，能够在600个音视频会话信息中筛选出9个质检不合格结果的音视频会话信息，可以对这9个音视频会话信息进行人工回放检查出3个存在质量问题的音视频会话信息，减少了需要人工回放检查的音视频会话信息的数量，提高了音视频会话信息的检查效率。

综上，本申请的的音视频会话质检方法通过监听消息队列获取音视频会话信息，减小了云端或服务器的压力，将将音视频会话信息存入数据库，并发送入库完成事件，通过接收入库完成事件将音视频会话信息存入质检结果表，质检结果表根据音视频会话信息计算音视频会话信息的预设质检项，通过预设质检项反映音视频会话信息的质量，例如预设质检项可以是时长偏离阈值、视频异常帧数比、音频异常帧数比、音频码率异常占比、视频码率异常占比和视频帧率异常时长。将预设质检项存入质检报告，将质检报告的各预设质检项与预设阈值范围进行对比和分析，获取质检结果。对于质检报告不存在的音视频会话信息，若音视频会话信息的质检次数小于质检次数阈值，重新发送音视频会话信息的入库完成事件以获取质检结果，若音视频会话信息的质检次数大于或等于质检次数阈值，获得质检失败结果，并将质检失败结果存入数据库。由此，数据库存入了音视频会话信息以及对应的质检结果，工作人员可以通过筛选出质检结果为质检不合格结果的音视频会话信息进行回放，在质检不合格结果的音视频会话信息中筛查出真正存在质量问题的音视频会话信息，减小人工回放音视频会话信息的次数，提高了音视频会话信息的检查效率。

图3是本申请实施例示出的音视频会话质检方法的另一流程示意图。

参见图3，本申请的音视频会话质检方法，包括：

步骤S310，接收入库完成事件。

通过接收入库完成事件以便及时对音视频会话信息进行质检。

步骤S320，将音视频会话信息存入质检结果表，获取质检报告。

质检结果表对存入的音视频会话信息进行计算，以得到音视频会话信息的预设质检项，并将预设质检项存入质检报告。

步骤S330，判断质检报告是否存在，如果是，进入步骤S340，如果否，进入步骤S350。

如果质检报告存在，则可以根据质检报告获取音视频会话信息的质检结果。

步骤S340，判断质检报告的预设质检项是否在预设阈值范围内，如果是，进入步骤S360，如果否，进入步骤S370。

如果质检报告的预设质检项在预设阈值范围内，说明音视频会话信息的质检结果为质检合格结果，音视频会话信息不存在质量问题。

其中，预设质检项为时长偏离阈值、视频异常帧数比、音频异常帧数比、音频码率异常占比、视频码率异常占比和视频帧率异常时长。

步骤S360，获得质检合格结果，并将质检合格结果存入数据库。

将音视频会话信息的质检合格结果存入数据库，以便后续根据质检结果筛选需要进行回放的音视频会话信息。

步骤S370，获得质检不合格结果，并将质检不合格结果存入数据库。

其中，通过消息队列向消息服务器发送质检不合格消息，再将质检不合格结果存入数据库。将质检不合格消息发送到“消息中心”模块，目的是提醒相关的管理人员，及时查看质检不合格视频，及时补录。消息中心模块可以是工作人员的所在的终端上的消息中心模块。将音视频会话信息的质检不合格结果存入数据库，以便后续根据质检结果筛选出需要进行回放的音视频会话信息。

步骤S350，将质检报告对应的音视频会话信息的质检次数减1，并将质检次数存入数据库。

对于质检报告不存在的音视频会话信息，由于无法根据质检报告进行质检，将该音视频会话信息的质检次数减1。其中，质检次数通过会话结束后自动触发质检动作，根据质检模型质检，记录质检次数与数据至数据库，从而计算质检次数。

从该实施例可以看出，利用本申请实施例提供的方案，可以通过接收入库完成事件，将音视频会话信息存入质检结果表，以获取存入预设质检项的质检报告。对于不存在质检报告而未能进行合格检验的音视频会话信息，将该音视频会话信息的质检次数减1。若质检报告存在，则可以根据质检报告的预设质检项对音视频会话信息进行合格检验，获取质检结果。其中预设质检项在预设阈值范围内，则获取质检合格结果；预设质检项不在预设阈值范围内，则获取质检不合格结果。由此，通过本申请的音视频会话质检方法能够根据音视频会话信息计算分析得到质检结果，以便在数据库中通过质检结果筛选出质检不合格结果对应的音视频会话信息进行回放，减少需要回放的音视频会话信息的次数，提高音视频会话信息的检查效率。

图4是本申请实施例示出的音视频会话质检方法的另一流程示意图。

参见图4，本申请的音视频会话质检方法，包括：

步骤S410，获取质检报告不存在的音视频会话信息和对应的质检次数。

该步骤中，每一质检报告不存在的音视频会话信息对应一个质检次数。其中，未获取到视频质检报告的会话信息数据也是存在消息队列，也就是未获取到质检报告的音视频会话信息存在于消息队列。

步骤S420，判断音视频会话信息的质检次数是否小于质检次数阈值，如果是，进入步骤S430，如果否，进入步骤S440。

该步骤中，通过将音视频会话信息的质检次数与质检次数阈值进行对比，根据对比结果选择不同的步骤获取质检结果。

步骤S430，重新发送入库完成事件。

该步骤中，重新发送入库完成事件，通过再次接收入库完成事件，再次将音视频会话信息存入数据库或质检结果表以重新获取质检报告和质检结果。其中，重新发送入库完成事件是通过计划任务重新触发会话质检事件。

步骤S440，获得质检失败结果，并将质检失败结果存入数据库。

当音视频会话信息的质检次数大于或等于质检次数阈值时，为了减小运算量，将质检结果设置为质检失败结果，停止对该音视频会话信息的计算。其中，如果音视频会话信息的质检结果为质检失败结果，说明还不能得到该音视频会话信息的质检结果，可以通过回放以确认是否存在质量问题，是否需要重新办理业务。

本申请中所有过程是在虚拟营业厅的服务端进行的，其中涉及到呼叫端、接听端的音视频流数据、会话结束后生成的双录视频质量数据。

其中，质检不合格结果的音视频会话信息会在可视化管理页面展示，由管理员人工复核。

综上，本申请实施例提供的方案，对质检报告不存在的音视频会话信息，根据音视频会话信息的质检次数和质检次数阈值的对比结果，通过不同的步骤获取质检结果。音视频会话信息的质检次数小于质检次数阈值可以重新发送入库完成事件以重新获取质检报告和质检结果，质检次数大于或等于质检次数阈值，可以将质检结果设置为质检失败结果。由此，可以对更多的音视频会话信息进行质检以获取质检结果，以便根据质检结果过滤掉质检合格结果对应的音视频会话信息，减少需要进行回放检查的音视频会话信息。

与前述应用功能实现方法实施例相对应，本申请还提供了一种音视频会话质检装置、电子设备及相应的实施例。

图5是本申请实施例示出的音视频会话质检装置的结构示意图。

参见图5，本申请的音视频会话质检装置500，包括：会话获取模块510、会话入库模块520、接收事件模块530和结果获取模块540。

会话获取模块510：用于获取音视频会话信息；

会话入库模块520：用于将会话获取模块510的音视频会话信息存入数据库，并发送入库完成事件；

接收事件模块530：用于接收会话入库模块520发送的入库完成事件，并根据音视频会话信息获取质检报告；

结果获取模块540：用于根据接收事件模块530的质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种。

其中，会话获取模块510通过音频采集装置和视频采集装置采集业务办理过程中的音视频会话信息。会话入库模块520中，每一音视频会话信息对应一业务办理，不同的音视频会话信息可以对应不同的业务办理，也可以对应同一业务办理。每一音频会话信息至少包括一入库完成事件。接收事件模块530中，质检报告能够反映音视频会话信息的质量，是判断音视频会话信息是否合格的依据。结果获取模块540中，对于每一音视频会话信息，质检结果可以是质检合格结果和质检不合格结果中的一个。如果音视频会话信息的质检结果为质检合格结果，说明对应的音视频会话信息无质量问题，无需进行回放再次检查。如果音视频会话信息的质检结果为质检不合格结果，说明对应的音视频会话信息存在质量问题，需要进行回放以确认是否存在质量问题。

从该实施例可以看出，本申请提供的音视频会话质检装置，通过获取音视频会话信息，将音视频会话信息存入数据库，并发送入库完成事件，再接收入库完成事件并根据音视频会话信息获取质检报告，再根据质检报告获取质检结果，并将质检结果存入数据库，其中质检结果至少包括质检合格结果和质检不合格结果中的一种。这样的设计，能够通过数据库筛选出质检不合格结果对应的音视频会话信息，进而可以对质检不合格结果对应的音视频会话信息进行回放以此过筛查在质量问题的音视频会话信息，避免为了筛查存在质量问题的音视频会话信息而对所有的音视频会话信息进行回放，减少了音视频会话信息的回访次数，提高音视频会话信息的检查效率，能够在短时间内知道视音频会话信息是否合格以及是否需要重新办理业务。

参见图6，本申请的音视频会话质检装置500，包括：会话获取模块510、会话入库模块520、接收事件模块530、结果获取模块540和质检补偿模块550。

会话获取模块510：用于通过监听消息队列信息获取音视频会话信息。

会话入库模块520：用于将会话获取模块510的音视频会话信息存入数据库，并发送入库完成事件。

接收事件模块530：用于接收会话入库模块520发送的入库完成事件；将音视频会话信息存入质检结果表，获取质检报告，其中质检结果表用于根据音视频会话信息计算音视频会话信息的预设质检项，并将预设质检项存入质检报告。

结果获取模块540：用于根据接收事件模块530的质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种。

质检补偿模块550：用于获取接收事件模块530中质检报告不存在的音视频会话信息和对应的质检次数，根据质检次数与质检次数阈值，获取质检结果。

其中，会话获取模块510可以实时监听消息队列以获取音视频会话信息，以便及时对音视频会话信息进行质检，也可以每隔预设获取时间监听消息队列，以便减小对消息队列进行监听的负担。

会话入库模块520中，音视频会话信息包括音频信息和视频信息，音频会话信息记录业务办理过程中客户和工作人员的对话，用于反映业务办理过程中客户和工作人员的关于业务办理的交流内容，视频信息记录客户和工作人员的面部信息和动作信息，用于反映客户和工作人员办理业务过程中的状态。音视频会话信息还包括机构ID和会话时间。其中，机构ID用于识别不同的机构。进一步地音视频会话信息还包括日期。会话入库模块520中，可以对不同的音视频会话信息设置不同的会话ID，会话ID用于识别不同的音视频会话信息。

接收事件模块530中，质检结果表根据存入的音视频会话信息进行计算，以获取关于音视频会话信息的质量的预设质检项。预设质检项至少包括音视频质量检验项和音视频参数检验项中的一个。音视频质量检验项包括时长偏离阈值、视频异常帧数比和音频异常帧数比。音视频参数检验项包括音频码率异常占比、视频码率异常占比和视频帧率异常时长。

结果获取模块540，可以根据质检报告的预设质检项与预设阈值范围获取质检结果。对于不同的预设质检项可以设置不同的预设阀值范围。其中，对于音视频质量检验项设置预设音视频质量范围，预设音视频质量范围包括预设时长偏离范围、预设视频异常帧数范围和预设音频异常帧数范围，其中时长偏离阈值与预设时长偏离范围进行对比，视频异常帧数比与预设视频异常帧数范围进行对比，音频异常帧数比与预设音频异常帧数范围进行对比。音视频参数检验项设置预设音视频参数范围，预设音视频参数范围包括预设音频码率异常范围、预设视频码率异常范围和预设视频帧率异常范围，其中音频码率异常占比与预设音频码率异常范围进行对比，视频码率异常占比与预设视频码率异常范围进行对比，视频帧率异常时长与预设视频帧率异常范围进行对比。其中，若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库；或，若所述质检报告不存在，将所述质检报告对应的所述音视频会话信息的质检次数减去预减次数值，并将所述质检次数存入所述数据库。进一步地，若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库，包括若所述质检报告存在且所述质检报告的所述预设质检项在预设阈值范围内，获得质检合格结果，并将所述质检合格结果存入所述数据库；或，若所述质检报告存在且所述质检报告的所述预设质检项不在预设阈值范围内，获得质检不合格结果，并将所述质检不合格结果存入所述数据库。

质检补偿模块550中，若音视频会话信息的质检次数小于质检次数阈值，重新发送音视频会话信息的入库完成事件；或，若音视频会话信息的质检次数大于或等于质检次数阈值，获得质检失败结果，并将质检失败结果存入数据库。进一步地，若音视频会话信息的质检报告不存在，将音视频会话信息的质检次数减1。其中，如果音视频会话信息的质检结果为质检失败结果，说明还不能得到该音视频会话信息的质检结果，可以通过回放以确认是否需要重新办理业务。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

图7是本申请实施例示出的电子设备的结构示意图。

参见图7，电子设备700包括存储器710和处理器720。

处理器720可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器710可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器720或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器710可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器710可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器710上存储有可执行代码，当可执行代码被处理器720处理时，可以使处理器720执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种音视频会话质检方法，其特征在于，应用于金融业务，包括：

获取音视频会话信息；

将所述音视频会话信息存入数据库，并发送入库完成事件；其中，接收所述入库完成事件用于提示对相应的音视频会话信息进行质检；

接收所述入库完成事件，并根据所述音视频会话信息获取质检报告；

根据所述质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种；

其中，所述接收所述入库完成事件，并根据所述音视频会话信息获取质检报告，包括：

接收所述入库完成事件；将所述音视频会话信息存入质检结果表，获取所述质检报告，其中所述质检结果表用于根据所述音视频会话信息计算所述音视频会话信息的预设质检项，并将所述预设质检项存入所述质检报告；

所述预设质检项至少包括音视频质量检验项和音视频参数检验项中的一个；

所述音视频质量检验项包括时长偏离阈值、视频异常帧数比和音频异常帧数比；

其中，所述时长偏离阈值、视频异常帧数比和音频异常帧数比的计算公式如下：

时长偏离阈值＝系统自身记录会话时长-云端返回视频总时长；

视频异常帧数比＝(视频乱序帧数+视频错误帧数+视频丢掉帧数)/视频总帧数；

音频异常帧数比＝(音频乱序帧数+音频错误帧数+音频丢掉帧数)/音频总帧数；

所述音视频参数检验项包括音频码率异常占比、视频码率异常占比和视频帧率异常时长；

所述音频码率异常占比是音频码率低于预设音频码率对比值的时长占比；

所述视频码率异常占比是视频码率低于预设视频码率对比值的时长占比；

所述视频帧率异常时长是视频帧率低于预设视频帧率对比值的连续时长。

2.根据权利要求1所述的视频会话质检方法，其特征在于，所述获取音视频会话信息，包括：

通过监听消息队列获取所述音视频会话信息。

3.根据权利要求1所述的视频会话质检方法，其特征在于，所述根据所述质检报告获取质检结果，并将所述质检结果存入所述数据库，包括：

若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库；或，

若所述质检报告不存在，将所述质检报告对应的所述音视频会话信息的质检次数减1，并将所述质检次数存入所述数据库。

4.根据权利要求3所述的视频会话质检方法，其特征在于，所述若所述质检报告存在，根据所述质检报告的所述预设质检项对所述音视频会话信息进行合格检验，获取所述质检结果，并将所述质检结果存入所述数据库，还包括：

若所述质检报告存在且所述质检报告的所述预设质检项在预设阈值范围内，获得质检合格结果，并将所述质检合格结果存入所述数据库；或，

若所述质检报告存在且所述质检报告的所述预设质检项不在预设阈值范围内，获得质检不合格结果，并将所述质检不合格结果存入所述数据库。

5.根据权利要求3所述的视频会话质检方法，其特征在于，所述方法还包括：

获取所述质检报告不存在的所述音视频会话信息和对应的所述质检次数，根据所述质检次数与质检次数阈值，获取所述质检结果。

6.根据权利要求5所述的视频会话质检方法，其特征在于，所述根据所述质检次数与质检次数阈值，获取所述质检结果，包括：

若所述音视频会话信息的质检次数小于所述质检次数阈值，重新发送所述音视频会话信息的所述入库完成事件；或，

若所述音视频会话信息的质检次数大于或等于所述质检次数阈值，获得质检失败结果，并将所述质检失败结果存入所述数据库。

7.一种音视频会话质检装置，其特征在于，应用于金融业务，包括：

会话获取模块：用于获取音视频会话信息；

会话入库模块：用于将所述会话获取模块的所述音视频会话信息存入数据库，并发送入库完成事件；其中，接收所述入库完成事件用于提示对相应的音视频会话信息进行质检；

接收事件模块：用于接收所述会话入库模块发送的所述入库完成事件，并根据所述音视频会话信息获取质检报告；

结果获取模块：用于根据所述接收事件模块的所述质检报告获取质检结果，并将所述质检结果存入所述数据库，其中所述质检结果至少包括质检合格结果和质检不合格结果中的一种；

其中，在接收所述会话入库模块发送的所述入库完成事件，并根据所述音视频会话信息获取质检报告方面，所述接收事件模块具体用于：

接收所述入库完成事件；将所述音视频会话信息存入质检结果表，获取所述质检报告，其中所述质检结果表用于根据所述音视频会话信息计算所述音视频会话信息的预设质检项，并将所述预设质检项存入所述质检报告；

所述预设质检项至少包括音视频质量检验项和音视频参数检验项中的一个；

所述音视频质量检验项包括时长偏离阈值、视频异常帧数比和音频异常帧数比；

其中，所述时长偏离阈值、视频异常帧数比和音频异常帧数比的计算公式如下：

时长偏离阈值＝系统自身记录会话时长-云端返回视频总时长；

视频异常帧数比＝(视频乱序帧数+视频错误帧数+视频丢掉帧数)/视频总帧数；

音频异常帧数比＝(音频乱序帧数+音频错误帧数+音频丢掉帧数)/音频总帧数；

所述音视频参数检验项包括音频码率异常占比、视频码率异常占比和视频帧率异常时长；

所述音频码率异常占比是音频码率低于预设音频码率对比值的时长占比；

所述视频码率异常占比是视频码率低于预设视频码率对比值的时长占比；

所述视频帧率异常时长是视频帧率低于预设视频帧率对比值的连续时长。

8.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。