CN116935896A - 一种数据处理方法、装置及设备 - Google Patents

一种数据处理方法、装置及设备 Download PDF

Info

Publication number
CN116935896A
CN116935896A CN202210349994.2A CN202210349994A CN116935896A CN 116935896 A CN116935896 A CN 116935896A CN 202210349994 A CN202210349994 A CN 202210349994A CN 116935896 A CN116935896 A CN 116935896A
Authority
CN
China
Prior art keywords
data
processing
audio
processing result
network service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210349994.2A
Other languages
English (en)
Inventor
刘思佳
李光宇
陈扬铭
梁燕萍
余立
冯俊兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210349994.2A priority Critical patent/CN116935896A/zh
Publication of CN116935896A publication Critical patent/CN116935896A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种数据处理方法、装置及设备，其中，数据处理方法包括：获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；对所述第一音频数据进行异常检测分析处理，得到第二处理结果；根据所述第一处理结果和所述第二处理结果，得到目标特征规则；利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，所述有效样本数据用于训练音频质量评估预测模型。本发明的方案能够实现音频质量评估预测模型的训练数据的修正和清洗，使得音频质量评估预测模型的预测结果更加准确，从而保证对语音质量的精准评估。

Description

一种数据处理方法、装置及设备
技术领域
本发明涉及通信技术领域，特别是指一种数据处理方法、装置及设备。
背景技术
随着网络的发展，作为运营商主流和基础业务的语音业务也随之发展的越来越完善，语音用户的数量在持续增加，VOLTE(Voice over Long-Term Evolution，长期演进语音承载)业务量也在逐年增长。随之而来的用户体验要求变得越来越高，其中VOLTE语音质量评估工作起到重要作用。
语音质量评估基于网络中全量语音业务通信特征数据如业务丢包率、相对时延、包间隔等，建立机器学习预测模型，对POLQA-MOS(感知客观听力质量评估-平均意见分数)分进行预测，POLQA-MOS分的高低衡量了语音质量的好坏。然而现有的机器学习预测模型忽略了预测模型训练阶段数据质量的检测，在数据的获取过程中，由于网络数据的复杂性，常常会出现脏数据，这些数据会对模型训练造成干扰，导致语音质量预测结果不准确。
发明内容
本发明要解决的技术问题是提供一种数据处理方法、装置及设备，保证语音质量预测模型训练的准确性。
为解决上述技术问题，本发明的技术方案如下：
一种数据处理方法，所述方法包括：
获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
根据所述第一处理结果和所述第二处理结果，得到目标特征规则；
利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于训练音频质量评估预测模型。
可选的，对所述第一网络业务数据进行可用性分析处理，得到第一处理结果，包括：
对所述第一网络业务数据按照预设规范进行特征计算，得到所述第一网络业务数据的目标特征数据；
将所述目标特征数据与所述第一网络业务数据的原始特征数据进行对比分析处理，得到所述第一网络业务数据是否可用的第一处理结果。
可选的，所述目标特征数据和所述原始特征数据均包括以下至少一项：
丢包类特征数据；
时延类特征数据。
可选的，对所述第一音频数据进行异常检测分析处理，得到第二处理结果，包括：
对所述第一音频数据进行傅里叶变换，得到语谱图；
按照预设阈值对所述语谱图进行异常音频判断处理，得到第二处理结果。
可选的，按照预设阈值对所述语谱图进行异常音频判断处理，包括以下至少一项：
按照第一预设阈值，对所述语谱图进行音频异常截断判断处理；
按照第二预设阈值，对所述语谱图进行白噪音异常判断处理；
按照第三预设阈值，对所述语谱图进行空音频异常判断处理。
可选的，根据所述第一处理结果和所述第二处理结果，得到目标特征规则，包括：
将所述第二处理结果中正常的第一音频数据的质量标签与所述第一处理结果中可用的第一网络业务数据进行关联，得到具有质量标签的第一处理结果；
对所述第一处理结果中可用的第一网络业务数据，按照所述质量标签进行划分，得到至少一个样本集；
利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则。
可选的，获取所述第二处理结果中音频数据的质量标签，包括：
根据感知客观听力质量评估POLQA算法计算所述第二处理结果中的音频数据的平均意见分数MOS分；
根据所述MOS分，获得音频数据的质量标签。
可选的，利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则，包括：
遍历所述至少一个预设规则，判断所述样本集中的样本的至少一个特征重要性指标是否满足所述预设规则中的条件，获得满足所述预设规则中的条件的样本数量的统计结果；所述预设规则包括：至少一个特征重要性指标分别满足相应特征经验阈值的条件；
根据所述统计结果，从所述至少一个预设规则中选择目标特征规则。
可选的，根据所述统计结果，从所述至少一个预设规则中选择目标特征规则，包括：
将所述统计结果中满足至少一个精确率阈值的预设规则，确定为与相应精确率阈值对应的目标特征规则。
可选的，所述业务样本数据通过以下过程获得：
获取第二音频数据以及第二音频数据对应的第二网络业务数据；所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数；
对所述第二网络业务数据进行可用性分析处理，得到第三处理结果；
对所述第二音频数据进行异常检测处理，得到第四处理结果；
将所述第四处理结果中的第二音频数据的质量标签与所述第三处理结果进行关联，得到所述业务样本数据。
本发明的实施例还提供一种数据处理装置，所述装置包括：
获取模块，用于获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
第一处理模块，用于对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
第二处理模块，用于对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
第三处理模块，用于根据所述第一处理结果和所述第二处理结果，得到目标特征规则；利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，用所述有效样本数据用于训练音频质量评估预测模型。
本发明还提供一种通信设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。
本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；对所述第一音频数据进行异常检测分析处理，得到第二处理结果；根据所述第一处理结果和所述第二处理结果，得到目标特征规则；利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，所述有效样本数据用于训练音频质量评估预测模型，所述业务样本数据包括：第二音频数据的质量标签和与该质量标签关联的第二网络业务数据，所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数；从网络业务数据XDR的可用性和异常样本的检测两个角度出发，能够合理并全面、有效的检测数据质量并定位数据问题。在检测出结果并定位问题后，能够精准有效的修正和清洗训练数据，使得语音质量评估模型的预测结果更加准确，保证语音业务质量分析的顺利进行。
附图说明
图1是本发明实施例提供的数据处理方法的流程图；
图2是本发明实施例提供的数据处理方法的又一具体的流程图；
图3是本发明实施例提供的相对时延计算流程图；
图4是本发明实施例提供的标准语谱图；
图5是本发明实施例提供的后侧异常截断的语谱图；
图6是本发明实施例提供的前侧异常截断的语谱图；
图7是本发明实施例提供的中间异常截断的语谱图；
图8是本发明实施例提供的噪音异常的语谱图；
图9是本发明实施例提供的异常音频识别流程图；
图10是本发明实施例提供的数据处理装置的模块图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提供一种数据处理方法，所述方法包括：
步骤11，获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
步骤12，对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
步骤13，对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
步骤14，根据所述第一处理结果和所述第二处理结果，得到目标特征规则；
步骤15，利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于训练音频质量评估预测模型，这里，所述业务样本数据可以包括：第二音频数据的质量标签和与该质量标签关联的第二网络业务数据，所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数。
这里，音频数据是采用相应音频采集工具，从现网中的数据中提取到的终端侧的数据。
网络业务数据是DPI(Deep Packet Inspection，深度报文检测)厂家提供的记录业务原始数据的pcap(过程特性分析软件包)包中携带的会话数据XDR数据；具体是音频数据采集时对应的该音频数据在网络侧传输时对应的相关网络参数，包括不限于丢包参数、时延参数等；
在音频质量评估预测模型的数据集的构造过程中，为了获取每条语音样本中音频数据的“质量标签”，需要进行道路测试，使用收发终端模拟拨打语音业务并播放通用语料库，再通过测试工具对比分析收发端的语料质量差异得到POLQA-MOS分，将所述POLQA-MOS分作为音频数据的质量标签。例如，可以将POLQA-MOS分小于第一值的音频数据的质量标签定义为好点，将POLQA-MOS分大于第一值且小于第二值的音频数据的质量标签定义为中点，将POLQA-MOS分大于第二值的音频数据的质量标签定义为差点。这里的第一值小于第二值。
每次拨打语音业务都是基于实时传输协议(real-time transport protocol，RTP)进行数据包的双向实时传输，通过对RTP包头进行解析可以得到丢包、时延等数据特征，这些特征构成了网络业务数据。
在进行模型训练时，根据网络侧的业务数据与终端测试数据主被叫、上下行以及时间覆盖等对应关系，关联路测语音包分别对应的网络侧的数据特征，得到网络侧的数据特征和该条语音质量标签POLQA-MOS分的关联数据，以此关联数据作为业务样本数据，进一步地，利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，利用所述有效样本数据对音频质量评估预测模型进行模型训练，这样可以有效提升音频质量评估预测模型的预测精度。
该实施例中，第一音频数据及第一网络业务数据进行相关处理后，并进行关联产生的样本集用于获得特征规则；
而在模型训练时，可以重新采集新的音频数据和获得相对应的网络业务数据，即上述第二音频数据和第二网络业务数据，并将第二音频数据和第二网络业务数据按照音频数据的质量标签进行关联后进行模型训练。
本发明的该实施例中，从网络业务数据的可用性分析以及音频数据异常检测分析两个角度出发，对用于训练音频质量评估预测模型的业务样本数据，通过特征规则进行筛选后，提取业务样本数据中的有效样本数据，作为音频质量评估预测模型的训练数据，这样通过对音频质量评估预测模型的训练数据进行质量检测和修正，能够有效的提升音频质量评估预测模型的预测精度，从而保证对语音质量准确评估。
如图2所示，本发明一可选的实施例中，步骤12具体包括：
步骤121，对所述第一网络业务数据按照预设规范进行特征计算，得到所述第一网络业务数据的目标特征数据；
步骤122，将所述目标特征数据与所述网络业务数据的原始特征数据进行对比分析处理，得到所述第一网络业务数据是否可用的第一处理结果。
这里，所述预设规范是包含有RTP(Real-Time Transport Protocol，实时传输协议)特征计算方法公式，用于进行特征计算的规范；
该实施例中，根据DPI厂家提供的记录业务原始数据的Pcap包中携带的第一网络业务数据，按照预设规范进行特征计算，得到第一网络业务数据的目标特征数据，将目标特征数据与DPI厂家提供的第一网络业务数据中对应字段(即上述原始特征数据)进行对比分析处理，核查DPI厂家提供的第一网络业务数据是否可用，以便于及时修正问题数据，最终得到第一网络业务数据可用的第一处理结果。
本发明又一可选的实施例中，步骤121中所述目标特征数据和原始特征数据均可以包括以下至少一项：
丢包类特征数据；
时延类特征数据。
本实施例中，所述丢包类特征数据包括但不限于：丢包数和最大连续丢包数等；所述时延类特征数据包括但不限于：最大包间隔、平均相对时延、最大相对时延等。在进行相应字段对比分析时，将目标特征数据中丢包类特征数据和原始特征数据的丢包类特征数据进行对比分析；将目标特征数据中时延类特征数据和原始特征数据的时延类特征数据进行对比分析。
本发明一可选的具体实施例中，按照预设规范对第一网络业务数据进行特征计算和核查的过程包括：
用Wireshark(网络封包分析软件)工具打开DPI厂家提供的pcap包，解析出端口号、序列号、时间戳等信息，以源端端口Source Port为例，pcap包解析结果下所示：
Frame1:62bytes on wire(496bits)，62bytes captured(496bits)
Raw packet data
Internet Protocol Version 6，Src:ffff:ffff:ffff:ffff:ffff:ffff:ffff:74c3
User Datagram Protocol,Src Port:50036,Dst Port:31504
Source Port:50036
Destination Port:31504
Length:27(bogus,payload length 22)
解析出的结果按照预设规范的RTP特征计算方法公式进行计算，以RTP相对时延为例，计算本切片收到的RTP包相对于本切片周期第一个RTP包的相对时延Relative Delay流程如图3所示，对应预设规范中的计算方法为：
RD(1)＝0，即本切片第一个RTP包的相对时延为0；
RD(i)＝RD(i-1)+J(i)，i≥2；
其中，J(i)为第i个包与第i-1个包的包间抖动，定义为：
J(i)＝R(i)-R(i-1)-(S(i)-S(i-1))，i≥2；
其中，R(i)指采集到第i个RTP包的采集解析设备NTP(Networl Time Protocol，网络时间协议)时间。S(i)指第i个RTP包头中填入的Timestamp(RTP时间戳)，需要根据采样频率对相邻包间的Timestamp差值进行时间单位换算。
若本切片内相对时延序列的最小值小于0，说明第一个收到的包并非切片内第一个发送的包，需要对相对时延序列进行校准，保证切片内所有包的相对时延均大于0，校准后的相对时延定义为：
RD(i)＝RD(i)-min{RD(i)，i∈{1，2，...，N}}，i≥1；
RTP平均相对时延取本切片内收到所有RTP包的相对时延(校准后)的平均值；RTP最大相对时延取本切片内收到所有RTP包的相对时延(校准后)的最大值。
将解析导出后的数据按照时间、端口、主被叫等信息与DPI厂家提供的网络业务数据进行关联，对比特征数据的重要字段与DPI厂家提供的网络业务数据中对应字段是否存在差异，如果同一批数据中有50％以上的样本都存在不匹配的状况，就认为该批次网络业务数据不可用，需要厂家核查网络业务数据问题并重新提供数据。
本发明又一可选的实施例中，步骤13包括：
步骤131，对所述第一音频数据进行傅里叶变换，得到语谱图；
步骤132，按照预设阈值对所述语谱图进行异常音频判断处理，得到第二处理结果。
如图4所示，该实施例中，通过对音频数据进行傅里叶变换，以横轴为时间，以纵轴为频率，用灰度颜色表示幅值，可以绘制出语谱图，也称时频图，按照预设阈值对语谱图进行异常音频截取，得到截取后的音频数据，将截取后的音频数据作为所述第二处理结果。这样可以从语谱图中直观的看出语音数据的异常情况。
本发明又一可选的实施例中，步骤132具体包括：
步骤1321，按照第一预设阈值，对所述语谱图进行音频异常截断判断处理；
步骤1322，按照第二预设阈值，对所述语谱图进行白噪音异常判断处理；
步骤1323，按照第三预设阈值，对所述语谱图进行空音频异常判断处理。
这里，所述音频异常截取可以包括：前侧异常截取和后侧异常截取；
所述第一预设阈值可以为：语谱图前0.5s或者后0.5s的平均amp比完整音频的平均amp高50db(Decibel，分贝)；
所述第二预设阈值可以为：完整音频在15000hz(Hertz，赫兹)—20000hz频段的平均amp高于-5000；
所述第三预设阈值可以为：完整音频的平均amp低于-25000。
该实施例中，按照不同的预设阈值，对语谱图分别进行音频异常截断判断、白噪音异常判断以及空音频异常判断，这样可以将异常音频数据进行细化分析，确定具体的异常情况。其中，图5为对语谱图进行后侧截断的示意图；图6为对语谱图进行前侧截断的示意图；图7为对语谱图进行中间截断的示意图；图8为语谱图的噪音示意图。
该实施例中，按照第一预设阈值，对所述语谱图进行音频异常截断判断处理，得到第一音频异常截断判断结果，可以将该第一音频异常截断判断结果作为上述第二处理结果；
按照第二预设阈值，对所述语谱图进行白噪音异常判断处理，得到第二异常判断结果，可以将该第二异常判断结果作为上述第二处理结果；
按照第三预设阈值，对所述语谱图进行空音频异常判断处理，得到第三异常判断处理结果，可以将该第三异常判断处理结果作为上述第二处理结果；
当然，也可以将第一音频异常截断判断结果和第二异常判断结果作为上述第二处理结果；或者将第一音频异常截断判断结果和第三异常判断处理结果作为上述第二处理结果；或者将第一音频异常截断判断结果、第二异常判断结果和第三异常判断处理结果作为上述第二处理结果。
本发明又一具体的实施例中，对音频数据进行异常检测分析处理的过程包括：
通过对音频进行傅里叶变换，以横轴为时间，以纵轴为频率，用颜色表示幅值，即可绘制出语谱图(时频图)，语谱图(时频图)能够表示信号的频率、幅度随时间的变化。
以0.05s为采样间隔，每个采样时间点的频率共257个频段，每个频段的振幅范围最低-100db，最高-20db。定义每个采样时间点对应的amp为：该时间点对应的所有频段振幅之和，amp∈[-25700，-5140]。
如图9所示，按照不同的预设阈值，对语谱图进行异常分析处理的语料示意图；通过分析每条语音信号的语谱图，按照不同的预设阈值进行异常分析处理，得到相应的处理结果，包括：
语谱图前0.5s或者后0.5s的平均amp比完整音频的平均amp高50db，视为音频前侧/后侧异常截断；
完整音频在15000hz–20000hz频段的平均amp高于-5000，该条语音视为白噪音；
完整音频的平均amp低于-25000，将该条语音视为空音频。
本发明又一可选的实施例中，步骤14包括：
步骤141，获取所述第二处理结果中的音频数据的质量标签；这里，所述质量标签的种类包括：好点、中点和差点；具体的，可以根据感知客观听力质量评估POLQA算法计算所述第二处理结果中的音频数据的平均意见分数MOS分；根据所述MOS分，获得音频数据的质量标签；例如，通过感知客观听力质量评估POLQA算法算得的MOS分，获得好点、中点或差点的质量标签；
步骤142，将所述第二处理结果中正常的音频数据的质量标签与所述第一处理结果中可用的第一网络业务数据进行关联，得到具有质量标签的第一处理结果；例如，将质量标签为好点的第一音频数据对应的网络业务数据按照上述步骤121至122的步骤进行处理后，将该质量标签为好点的第一音频数据对应的可用的第一处理结果关联起来；将质量标签为中点的第一音频数据对应的网络业务数据按照上述步骤121至122的步骤进行处理后，将该质量标签为中点的第一音频数据对应的可用的第一处理结果关联起来；将质量标签为差点的第一音频数据对应的网络业务数据按照上述步骤121至122的步骤进行处理后，将该质量标签为差点的第一音频数据对应的可用的第一处理结果关联起来；
步骤143，对所述第一处理结果中可用的第一网络业务数据，按照所述质量标签进行划分，得到至少一个样本集；这里，第一处理结果为可用的网络业务数据，将质量标签与第一处理结果进行关联后，可以以质量标签来命名各样本集，当然也可以用其它方式对样本集进行命名；
这里，所述样本集的名称及其对应的含义如表1所示：
样本集名称 含义
Good_good 好点被预测为好点的样本集
Mid_mid 中点被预测为中点的样本集
Bad_bad 差点被预测为差点的样本集
Good_mid 好点被误分为中点的样本集
Mid_good 中点被误分为好点的样本集
Mid_bad 中点被误分为差点的样本集
Bad_mid 差点被误分为中点的样本集
表1
该样本集中，Good_good表示原始质量标签为好点的音频数据的预测结果也是好点的样本集；Mid_mid表示原始质量标签为中点的音频数据的预测结果也是中点的样本集；Bad_bad表示原始质量标签为差点的音频数据的预测结果也是差点的样本集；Good_mid表示原始质量标签为好点的音频数据的预测结果是中点的样本集；Mid_good表示原始质量标签为中点的音频数据的预测结果是好点的样本集；Mid_bad表示原始质量标签为中点的音频数据的预测结果是差点的样本集；Bad_mid表示原始质量标签为差点的音频数据的预测结果是中点的样本集。上述样本集并不代表所有的样本集，只是一种示例性的说明。
这里被预测为好点的样本集是指：利用至少一种音频质量预测模型对原始质量标签为好点、中点或者差点的音频数据分别进行预测，得到预测结果，该预测结果可能是：好点的预测结果，也可以是中点的预测结果，也可能是差点的预测结果；这里可以将明显不符合要求的样本集去掉，保留可以用于训练特征规则的样本集，比如，可以将原始质量标签为好点的音频数据的预测结果为差点的样本集过滤，上述表格中的样本集为保留的样本集的举例说明，但不限于上述表格中的样本集。这里音频质量预测模块可以采用深度学习算法或者神经网络等相关网络模型。
步骤144，利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则。
本发明又一可选的实施例中，步骤144具体包括：
步骤1441，遍历至少一个预设规则，判断所述样本集中的样本的至少一个特征重要性指标是否满足所述预设规则中的条件，获得满足所述预设规则中的条件的至少一个样本集的统计结果；所述预设规则包括：至少一个特征重要性指标分别满足相应特征经验阈值的条件；
步骤1442，根据所述统计结果，从所述至少一个预设规则中选择目标特征规则。
该实施例中，样本的至少一个特征重要性指标是根据获取历史正常样本的特征重要性指标确定的；这里，所述特征重要性指标可以包括但不限于：MAXLOSS(最大连续丢包数)、LOSSRATE(丢包率)、AvgInterDelay(平均相对时延)、MaxInterdelay(最大相对时延)MAXInterval_NONSID(非静默帧的最大包间隔)。
该实施例中，根据业务经验和模型输出的特征重要性指标，获取正常样本的至少一个特征重要性指标，例如：选取MAXLOSS(最大连续丢包数)、LOSSRATE(丢包率)、AvgInterDelay(平均相对时延)、MaxInterdelay(最大相对时延)MAXInterval_NONSID(非静默帧的最大包间隔)，遍历至少一个预设规则，获得满足所述预设规则的至少一个样本集中的样本数量的统计结果，一种预设规则可以是：
{MAXLOSS≤0&LOSSRATE≤0&AvgInterDelay≤75&MaxInterDelay≤55&MAXInterval_NONSID≤100}；这里的条件是指标与相应经验阈值的满足关系，比如MAXLOSS≤0，LOSSRATE≤0，MAXInterval_NONSID≤100等；
满足所述预设规则的至少一个样本集的统计结果如表2所示：
样本子集 样本量 符合规则的样本量 符合规则的样本占比
Good_good 13180 11203 85％
Mid_mid 9355 749 8％
Bad_bad 4271 0 0％
Mid_good 702 644 91.7％
Good_mid 433 11 2.5％
表2
根据所述统计结果，得到至少一种目标特征规则，例如：
{MAXLOSS≤0&LOSSRATE≤0&AvgInterDelay≤80&MaxInterDelay≤60&MAXInterval_NONSID≤120}。
该目标特征规则中各指标满足的阈值为精确率阈值，将所述统计结果中满足至少一个精确率阈值的预设规则，确定为与相应精确率阈值对应的目标特征规则。
具体来说，历史正常样本中，音频数据的最大连续丢包数为0，则可以将0设置为该最大连续丢包数指示对应的经验阈值；同样的，丢包率的经验阈值也可以为0；同样的，平均相对时延的经验阈值可以为80；最大相对时延的经验阈值可以为60；非静默帧的最大包间隔的经验阈值可以为120。
预设规则可以是上述指标组合分别满足阈值的条件的并集关系，例如，对于一音频数据，在上述各指标均满足各自分别对应的经验阈值的情况，如预设规则的表达式可以为：{最大连续丢包≤0&丢包率≤0&最大相对时延≤80&平均相对时延丢包80&最大包间隔≤120}；
按照上述预设规则，对上述表1中的样本集进行数据异常筛选，可以得到如表2所述的样本集的统计结果，其中，将满足该预设规则的样本作为正常样本，不满足该规则的样本作为异常样本，处理异常样本后进行音频质量评估预测模型训练，可以提高模型的准确性。
以下表格为音频数据的指标组合、其对应的标签和预测结果的对应关系：
本发明又一可选的实施例中，步骤1443具体包括：
步骤14431，将所述统计结果中满足至少一个精确率阈值的预设规则，确定为与相应精确率阈值对应的目标特征规则。
例如：从上表2可以看出，以“好点被预测为好点的样本集”中，根据规则筛选出的好点比例占85％，这里的精确率阈值若为80&，则该条规则可以确定为目标特征规则同时，在正常样本的数据集上，根据规则筛选出的所有好点中，真正的好点占比即精确率为11203/(11203+749)＝93.7％。
在预设规则的精确率阈值达到预设阈值的情况下，认为{MAXLOSS≤0&LOSSRATE≤0&AvgInterDelay≤80&MaxInterDelay≤60&MANInterval_NONSID≤120}为好点的目标特征规则，即数据指标满足该目标特征规则的样本点应该为好点。
需要说明的是，在中点和差点数据集上执行上述操作，可以分别得到中点和差点的目标特征规则。
本发明的可选的实施例中，上述步骤15中，所述业务样本数据可以通过以下过程获得：
获取第二音频数据以及第二音频数据对应的第二网络业务数据；所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数；
对所述第二网络业务数据进行可用性分析处理，得到第三处理结果；
对所述第二音频数据进行异常检测处理，得到第四处理结果；
将所述第四处理结果中的第二音频数据的质量标签与所述第三处理结果进行关联，得到所述业务样本数据；
具体实现时，根据网络侧的业务数据与终端测试数据主被叫、上下行以及时间覆盖等对应关系，关联异常检测处理后的路测语音包以及所述路测语音包分别对应的可用性处理后的网络侧的数据特征，得到网络侧的数据特征和该条语音质量标签POLQA-MOS分的关联数据，以此关联数据作为业务样本数据；
利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于对音频质量评估预测模型进行模型训练；这样在真正模型训练时，可以将不符合特征规则的无效样本数据筛选掉，利用有效样本数据进行模型训练，有效提升音频质量评估预测模型的预测精度。
本发明的上述实施例从网络业务数据的可用性分析以及音频数据异常检测分析两个角度出发，有效实现音频质量评估预测模型的训练数据的修正和清洗，使得音频质量评估预测模型的预测结果更加准确，从而保证对语音质量的精准评估。
如图10所示，本发明的实施例还提供一种数据处理装置100，所述装置100包括：
获取模块101，用于获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
第一处理模块102，用于对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
第二处理模块103，用于对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
第三处理模块104，用于根据所述第一处理结果和所述第二处理结果，得到目标特征规则；利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于训练音频质量评估预测模型。
可选的，对所述第一网络业务数据进行可用性分析处理，得到第一处理结果，包括：
对所述第一网络业务数据按照预设规范进行特征计算，得到所述第一网络业务数据的目标特征数据；
将所述目标特征数据与所述第一网络业务数据的原始特征数据进行对比分析处理，得到所述第一网络业务数据是否可用的第一处理结果。
可选的，所述目标特征数据和所述原始特征数据均包括以下至少一项：
丢包类特征数据；
时延类特征数据。
可选的，对所述第一音频数据进行异常检测分析处理，得到第二处理结果，包括：
对所述第一音频数据进行傅里叶变换，得到语谱图；
按照预设阈值对所述语谱图进行异常音频判断处理，得到第二处理结果。
可选的，按照预设阈值对所述语谱图进行异常音频判断处理，包括以下至少一项：
按照第一预设阈值，对所述语谱图进行音频异常截断判断处理；
按照第二预设阈值，对所述语谱图进行白噪音异常判断处理；
按照第三预设阈值，对所述语谱图进行空音频异常判断处理。
可选的，根据所述第一处理结果和所述第二处理结果，得到目标特征规则，包括：
将所述第二处理结果中正常的音频数据的质量标签与所述第一处理结果中可用的第一网络业务数据进行关联，得到具有质量标签的第一处理结果；
对所述第一处理结果中可用的第一网络业务数据，按照所述质量标签进行划分，得到至少一个样本集；
利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则。
可选的，获取所述第二处理结果中音频数据的质量标签，包括：
根据感知客观听力质量评估POLQA算法计算所述第二处理结果中的音频数据的平均意见分数MOS分；
根据所述MOS分，获得音频数据的质量标签。
可选的，利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则，包括：
遍历所述至少一个预设规则，判断所述样本集中的样本的至少一个特征重要性指标是否满足所述预设规则中的条件，获得满足所述预设规则中的条件的至少一个样本集的统计结果；所述预设规则包括：至少一个特征重要性指标分别满足相应特征经验阈值的条件；
根据所述统计结果，从所述至少一个预设规则中选择目标特征规则。
可选的，根据所述统计结果，从所述至少一个预设规则中选择目标特征规则，包括：
将所述统计结果中满足至少一个精确率阈值的预设规则，确定为与相应精确率阈值对应的目标特征规则。
可选的，所述业务样本数据通过以下过程获得：
获取第二音频数据以及第二音频数据对应的第二网络业务数据；所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数；
对所述第二网络业务数据进行可用性分析处理，得到第三处理结果；
对所述第二音频数据进行异常检测处理，得到第四处理结果；
将所述第四处理结果中的第二音频数据的质量标签与所述第三处理结果进行关联，得到所述业务样本数据。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种通信设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：
获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
根据所述第一处理结果和所述第二处理结果，得到目标特征规则；
利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于训练音频质量评估预测模型。
2.根据权利要求1所述的数据处理方法，其特征在于，对所述第一网络业务数据进行可用性分析处理，得到第一处理结果，包括：
对所述第一网络业务数据按照预设规范进行特征计算，得到所述第一网络业务数据的目标特征数据；
将所述目标特征数据与所述第一网络业务数据的原始特征数据进行对比分析处理，得到所述第一网络业务数据是否可用的第一处理结果。
3.根据权利要求2所述的数据处理方法，其特征在于，所述目标特征数据和所述原始特征数据均包括以下至少一项：
丢包类特征数据；
时延类特征数据。
4.根据权利要求1所述的数据处理方法，其特征在于，对所述第一音频数据进行异常检测分析处理，得到第二处理结果，包括：
对所述第一音频数据进行傅里叶变换，得到语谱图；
按照预设阈值对所述语谱图进行异常音频判断处理，得到第二处理结果。
5.根据权利要求4所述的数据处理方法，其特征在于，按照预设阈值对所述语谱图进行异常音频判断处理，包括以下至少一项：
按照第一预设阈值，对所述语谱图进行音频异常截断判断处理；
按照第二预设阈值，对所述语谱图进行白噪音异常判断处理；
按照第三预设阈值，对所述语谱图进行空音频异常判断处理。
6.根据权利要求1所述的数据处理方法，其特征在于，根据所述第一处理结果和所述第二处理结果，得到目标特征规则，包括：
将所述第二处理结果中正常的第一音频数据的质量标签与所述第一处理结果中可用的第一网络业务数据进行关联，得到具有质量标签的第一处理结果；
对所述第一处理结果中可用的第一网络业务数据，按照所述质量标签进行划分，得到至少一个样本集；
利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则。
7.根据权利要求6所述的数据处理方法，其特征在于，获取所述第二处理结果中音频数据的质量标签，包括：
根据感知客观听力质量评估POLQA算法计算所述第二处理结果中的音频数据的平均意见分数MOS分；
根据所述MOS分，获得音频数据的质量标签。
8.根据权利要求6所述的数据处理方法，其特征在于，利用所述至少一个样本集对至少一个预设规则进行验证，根据验证结果从所述至少之一预设规则中选择目标特征规则，包括：
遍历所述至少一个预设规则，判断所述样本集中的样本的至少一个特征重要性指标是否满足所述预设规则中的条件，获得满足所述预设规则中的条件的样本数量的统计结果；所述预设规则包括：至少一个特征重要性指标分别满足相应特征经验阈值的条件；
根据所述统计结果，从所述至少一个预设规则中选择目标特征规则。
9.根据权利要求8所述的数据处理方法，其特征在于，根据所述统计结果，从所述至少一个预设规则中选择目标特征规则，包括：
将所述统计结果中满足至少一个精确率阈值的预设规则，确定为与相应精确率阈值对应的目标特征规则。
10.根据权利要求1所述的数据处理方法，其特征在于，所述业务样本数据通过以下过程获得：
获取第二音频数据以及第二音频数据对应的第二网络业务数据；所述第二网络业务数据包括采集所述第二音频数据时对应的网络侧产生的网络参数；
对所述第二网络业务数据进行可用性分析处理，得到第三处理结果；
对所述第二音频数据进行异常检测处理，得到第四处理结果；
将所述第四处理结果中的第二音频数据的质量标签与所述第三处理结果进行关联，得到所述业务样本数据。
11.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取第一音频数据及第一网络业务数据，所述第一网络业务数据包括采集所述第一音频数据时对应的网络侧产生的网络参数；
第一处理模块，用于对所述第一网络业务数据进行可用性分析处理，得到第一处理结果；
第二处理模块，用于对所述第一音频数据进行异常检测分析处理，得到第二处理结果；
第三处理模块，用于根据所述第一处理结果和所述第二处理结果，得到目标特征规则；利用所述目标特征规则对业务样本数据进行筛选，得到有效样本数据，其中，所述有效样本数据用于训练音频质量评估预测模型。
12.一种通信设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至10任一项所述的方法。
CN202210349994.2A 2022-04-02 2022-04-02 一种数据处理方法、装置及设备 Pending CN116935896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210349994.2A CN116935896A (zh) 2022-04-02 2022-04-02 一种数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210349994.2A CN116935896A (zh) 2022-04-02 2022-04-02 一种数据处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116935896A true CN116935896A (zh) 2023-10-24

Family

ID=88379387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210349994.2A Pending CN116935896A (zh) 2022-04-02 2022-04-02 一种数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116935896A (zh)

Similar Documents

Publication Publication Date Title
US9396738B2 (en) Methods and apparatus for signal quality analysis
US20170208487A1 (en) Multi kpi correlation in wireless protocols
US7729275B2 (en) Method and apparatus for non-intrusive single-ended voice quality assessment in VoIP
EP1727375A1 (en) Assessment of perceived quality of a packetized video stream
EP3035597A1 (en) Method and device for evaluating quality of user experience, user terminal and network server
US8868222B2 (en) Audio quality estimation method, audio quality estimation apparatus, and computer readable recording medium recording a program
US10963803B2 (en) System and method for machine learning based QoE prediction of voice/video services in wireless networks
EP3166239A1 (en) Method and system for scoring human sound voice quality
US20120203788A1 (en) Network management system and method for identifying and accessing quality of service issues within a communications network
CN110401622B (zh) 一种语音质量评估方法、装置、电子设备和存储介质
EP3694149B1 (en) Network quality determining method and apparatus
US6577996B1 (en) Method and apparatus for objective sound quality measurement using statistical and temporal distribution parameters
CN109256148B (zh) 一种语音质量评估方法和装置
JP4759230B2 (ja) 品質評価装置
EP2106109B1 (en) Echo source identifying method and echo source identifying apparatus
EP1443496B1 (en) Non-intrusive speech signal quality assessment tool
CN116935896A (zh) 一种数据处理方法、装置及设备
CN116633434B (zh) 多功能综合业务光端机的传输监测方法及系统
de O. Schmidt et al. Towards bandwidth estimation using flow-level measurements
US7657388B2 (en) Quality assessment tool
CN109756358B (zh) 采样频率推荐方法、装置、设备与存储介质
EP2474975B1 (en) Method for estimating speech quality
US7526394B2 (en) Quality assessment tool
Li et al. A real-time QoE methodology for AMR codec voice in mobile network
CN114640600A (zh) 网络服务质量分析方法、系统以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination