CN111464262A - 数据处理方法、装置、介质及电子设备 - Google Patents

数据处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111464262A
CN111464262A CN202010190624.XA CN202010190624A CN111464262A CN 111464262 A CN111464262 A CN 111464262A CN 202010190624 A CN202010190624 A CN 202010190624A CN 111464262 A CN111464262 A CN 111464262A
Authority
CN
China
Prior art keywords
data
sent
importance evaluation
data frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010190624.XA
Other languages
English (en)
Other versions
CN111464262B (zh
Inventor
梁俊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010190624.XA priority Critical patent/CN111464262B/zh
Publication of CN111464262A publication Critical patent/CN111464262A/zh
Application granted granted Critical
Publication of CN111464262B publication Critical patent/CN111464262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0059—Convolutional codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。本公开实施例中的数据处理方法包括：获取待发送数据，并对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息；获取已发送数据的数据包丢失率，并根据所述数据包丢失率确定所述待发送数据的当前数据冗余率；根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率；根据所述调控数据冗余率对所述待发送数据进行冗余编码以得到冗余编码数据。该方法不仅能够有效解决网络丢包问题，而且可以避免数据传输资源的浪费，提高数据传输的稳定可靠性和传输效率并降低数据传输成本。

Description

数据处理方法、装置、介质及电子设备
技术领域
本公开涉及互联网和计算机技术领域，具体而言，涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。
背景技术
随着互联网和计算机技术的发展，通过互联网进行实时地多媒体数据传输可以实现音视频通话、直播、广播等各种多媒体应用。
由于互联网是非可靠的传输网络，承载在互联网上的各种多媒体应用共同面对的主要问题就是抗丢包问题。以音频数据传输为例，传输网络的不稳定性容易导致音频数据在网络传输过程中出现数据包丢失现象。如果数据传输的接收端没能及时准确地接收完整的音频数据，则会导致接收端声音的卡顿和不连贯，严重影响收听者的使用体验。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据处理方法、数据处理装置、计算机可读介质以及电子设备，进而至少在一定程度上克服相关技术中存在的数据包易丢失、数据传输性能差等技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供一种数据处理方法，该方法包括：
获取待发送数据，并对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息；
获取已发送数据的数据包丢失率，并根据所述数据包丢失率确定所述待发送数据的当前数据冗余率；
根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率；
根据所述调控数据冗余率对所述待发送数据进行冗余编码以得到冗余编码数据。
根据本公开实施例的一个方面，提供一种数据处理装置，该装置包括：
重要性评价模块，被配置为获取待发送数据，并对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息；
冗余率计算模块，被配置为获取已发送数据的数据包丢失率，并根据所述数据包丢失率确定所述待发送数据的当前数据冗余率；
冗余率调整模块，被配置为根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率；
冗余编码模块，被配置为根据所述调控数据冗余率对所述待发送数据进行冗余编码以得到冗余编码数据。
在本公开的一些实施例中，基于以上技术方案，所述重要性评价模块包括：
数据帧获取单元，被配置为获取所述待发送数据中的数据帧；
数据帧评价单元，被配置为分别对每个所述数据帧进行重要性评价以得到每个所述数据帧的重要性评价信息。
在本公开的一些实施例中，基于以上技术方案，所述数据帧获取单元包括：
参数获取子单元，被配置为获取具有预设时间长度的分帧时间窗以及所述分帧时间窗的滑动步长；
数据分帧子单元，被配置为根据所述分帧时间窗和所述滑动步长对所述待发送数据进行分帧处理以得到所述待发送数据中的数据帧。
在本公开的一些实施例中，基于以上技术方案，所述数据帧评价单元包括：
特征提取子单元，被配置为分别对每个所述数据帧进行特征提取以得到至少一种重要性评价特征；
数据帧确定子单元，被配置为确定待评价的当前数据帧以及与所述当前数据帧相邻的邻接数据帧；
特征变化确定子单元，被配置为根据所述重要性评价特征确定所述当前数据帧与所述邻接数据帧的特征变化信息；
特征变化评价子单元，被配置为根据所述特征变化信息对所述当前数据帧进行重要性评价以得到所述当前数据帧的重要性评价信息。
在本公开的一些实施例中，基于以上技术方案，所述邻接数据帧是与所述当前数据帧相邻的前一数据帧。
在本公开的一些实施例中，基于以上技术方案，所述待发送数据为音频数据，所述重要性评价特征包括语音活跃检测值、语音基频值和音频能量值中的至少一种。
在本公开的一些实施例中，基于以上技术方案，所述特征提取子单元包括：
语音活跃检测值提取子单元，被配置为分别对每个所述数据帧进行语音活跃检测以判断所述数据帧是否为语音帧，并根据判断结果确定所述数据帧的语音活跃检测值；
语音基频值提取子单元，被配置为分别对每个所述数据帧进行语音基频识别以得到所述数据帧的语音基频值；
音频能量值提取子单元，被配置为分别获取每个所述数据帧的音频幅值，并根据所述音频幅值确定所述数据帧的音频能量值。
在本公开的一些实施例中，基于以上技术方案，所述重要性评价信息包括重要性评价等级，所述特征变化评价子单元包括：
第一获取子单元，被配置为若所述当前数据帧的语音活跃检测值为第一活跃值，并且所述前一数据帧的语音活跃检测值为第二活跃值，则从所述特征变化信息中获取所述语音基频值的基频值变化量；
第一评级子单元，被配置为若所述基频值变化量大于基频阈值，则确定所述当前数据帧的重要性评价等级为第一等级；
第二评级子单元，被配置为若所述基频值变化量小于或等于所述基频阈值，则确定所述当前数据帧的重要性评价等级为第二等级；
第二获取子单元，被配置为若所述当前数据帧和所述前一数据帧的语音活跃检测值均为第二活跃值，则从所述特征变化信息中获取所述音频能量值的能量值变化量；
第三评级子单元，被配置为若所述能量值变化量大于能量阈值，则确定所述当前数据帧的重要性评价等级为第二等级；
第四评级子单元，被配置为若所述能量值变化量小于或等于所述能量阈值，则确定所述当前数据帧的重要性评价等级为第三等级；
第五评级子单元，被配置为若所述当前数据帧的语音活跃检测值为第二活跃值，则确定所述当前数据帧的重要性评价等级为第四等级。
在本公开的一些实施例中，基于以上技术方案，所述待发送数据为音频数据；所述重要性评价模块包括：
语义识别单元，被配置为对所述待发送数据进行语义识别以得到所述待发送数据的语义信息；
主题获取单元，被配置为获取所述待发送数据的主题信息；
主题比较单元，被配置为对所述语义信息和所述主题信息进行比较以确定所述待发送数据的主题相关度信息；
相关度评价单元，被配置为根据所述主题相关度信息确定所述待发送数据的重要性评价信息。
在本公开的一些实施例中，基于以上技术方案，所述冗余率计算模块包括：
发送数量确定单元，被配置为确定数据接收端，并获取与所述数据接收端相对应的已发送数据的数据包发送数量；
丢失数量确定单元，被配置为获取由所述数据接收端反馈的所述已发送数据的数据包丢失数量；
丢失率确定单元，被配置为根据所述数据包发送数量和所述数据包丢失数量确定所述已发送数据的数据包丢失率。
在本公开的一些实施例中，基于以上技术方案，所述丢失率确定单元包括：
时间获取子单元，被配置为获取所述已发送数据的发送时间和接收时间；
数量获取子单元，被配置为根据所述发送时间和所述接收时间确定预设统计周期内的数据包发送数量和数据包丢失数量；
丢失率确定子单元，被配置为根据所述预设统计周期内的数据包发送数量和数据包丢失数量确定所述已发送数据在所述预设统计周期内的数据包丢失率。
在本公开的一些实施例中，基于以上技术方案，所述冗余率计算模块还包括：
丢失调整系数获取单元，被配置为获取所述待发送数据的数据包丢失调整系数；
冗余率计算单元，被配置为根据所述数据包丢失率和所述数据包丢失调整系数确定所述待发送数据的当前数据冗余率。
在本公开的一些实施例中，基于以上技术方案，所述冗余率调整模块包括：
等级确定单元，被配置为根据所述重要性评价信息确定所述待发送数据的重要性评价等级；
冗余率调整系数获取单元，被配置为获取与所述重要性评价等级相关联的数据冗余率调整系数；
冗余率调整单元，被配置为根据所述当前数据冗余率和所述数据冗余率调整系数确定所述待发送数据的调控数据冗余率。
根据本公开实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的数据处理方法。
根据本公开实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的数据处理方法。
在本公开实施例提供的技术方案中，通过对待发送数据进行重要性评价，可以基于评价结果对重要程度不同的待发送数据进行差异化地冗余编码，从而可以在保证足够的数据冗余率的同时，对网络带宽的占用做出适应性调整，不仅能够有效解决网络丢包问题，而且可以避免数据传输资源的浪费，提高数据传输的稳定可靠性和传输效率并降低数据传输成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在附图中：
图1A示意性地示出了一种基于FEC抗丢包方法的数据传输系统的系统架构示意图。
图1B示意性地示出了应用本公开技术方案的数据传输系统的系统架构示意图。
图2示意性地示出了本公开一些实施例中数据处理方法的步骤流程图。
图3示意性地示出了本公开一些实施例中对待发送数据进行分帧处理以获得数据帧的方法步骤流程图。
图4示意性地示出了本公开一些实施例中对数据帧进行重要性评价的方法步骤流程图。
图5示意性地示出了本公开一些实施例中确定重要性评价等级的方法步骤流程图。
图6示意性地示出了本公开一些实施例中基于语义识别进行重要性评价的方法步骤流程图。
图7示意性地示出了在本公开一些实施例中的数据处理装置的结构框图。
图8示意性地示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
稳定可靠的网络数据传输是音视频通话、直播、广播等各种应用场景的实现基础。以基于IP的语音传输技术(Voice over Internet Protocol，VoIP)为例，通过语音的压缩算法可以对语音数据进行编码压缩处理，然后按照网络传输协议标准对压缩后的数据进行打包，并经过IP网络把数据包发送到目的IP地址，再把语音数据包解析并解压缩处理后，恢复得到原始的语音信号，从而达到通过互联网传送语音信号并实现语音通话的目的。本公开在以下各种实施方式的描述中主要以语音传输的应用场景为例进行说明，但本公开并不以此为限。
数据在网络中通常会被分成一个个连续的数据包进行传输，网络链接阻塞、硬件故障或者软件故障等各种原因都可能会导致数据传输过程中出现数据包丢失。在音频数据传输过程中如果出现数据包丢失，可能会导致声音卡顿、音量忽大忽小等问题。而在视频数据传输过程中如果出现数据包丢失，还可能会导致视频画面出现缺陷。如果数据包丢失严重，还可能会导致数据传输的中断。
在本领域的相关技术中，可以采用多种方法抵抗网络数据传输过程中存在的丢包问题，例如可以采用前向纠错技术(Frward Error Correction，FEC)、丢包隐藏技术(Packet Loss Concealment，PLC)、自动重传请求技术(Automatic Repeat Request，ARQ)等等。其中，FEC抗丢包技术是一种差错控制技术，数据信号在被送入传输信道之前预先按一定的算法进行冗余编码，加入带有信号本身特征的冗余数据，在接收端按照相应算法对接收到的信号进行解码，从而找出在传输过程中因数据包丢失而产生的错误数据并将其纠正。FEC能够有效恢复丢包位置信息，在VoIP等多媒体应用中起到重要的作用。
图1A示意性地示出了一种基于FEC抗丢包方法的数据传输系统的系统架构示意图。如图1A所示，该数据传输系统可以包括数据发送端110和数据接收端130，数据发送端110通过网络120与数据接收端130进行通信连接。数据发送端110以及数据接收端130可以是智能手机、平板电脑、笔记本电脑、台式电脑等各种终端设备，也可以是服务器设备。网络120可以是能够在数据发送端110和数据接收端130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路、无线通信链路等等。
数据发送端110主要可以包括压缩编码器112和FEC信道编码器113两部分。压缩编码器112可以对待发送的原始语音数据111进行数据压缩编码以得到语音编码数据，FEC信道编码器113可以按照预先设置的FEC冗余率对语音编码数据进行冗余编码以得到冗余编码数据。冗余编码数据可以通过网络120直接发送至数据接收端130，或者也可以通过连接至网络120的其他第三方设备间接地发送至数据接收端130，该第三方设备可以是终端设备，也可以是服务器设备。
数据接收端130主要可以包括FEC信道解码器131、压缩解码器132和丢包状态统计模块133三个部分。FEC信道解码器131可以对接收到的冗余编码数据进行冗余解码，发现其中因数据包丢失而出现的错误数据并对其进行纠正后得到语音编码数据。压缩解码器132可以对语音编码数据进行解码处理后还原得到对应于原始语音数据111的音频数据134。
在这一语音数据的网络传输过程中，由于网络堵塞或者设备故障等原因可能会出现数据包丢失现象，数据接收端130中的丢包状态统计模块133可以对接收数据的状态进行统计得到接收数据包的丢包状态信息(如网络丢包率)，同时可以将该丢包状态信息通过网络120返回给数据发送端110中的FEC信道编码器113。FEC信道编码器113可以根据丢包状态信息对冗余编码的FEC冗余率做出调整，从而实现不同程度的抗丢包效果。当FEC冗余率较高时，可以恢复更多的连续丢包问题。当FEC冗余率较低时，则只能解决少量连续丢包或者零星丢包问题。因此，在网络丢包率较高时，可以增大FEC冗余率，而在网络丢包率较低时，可以减小FEC冗余率。
由于网络丢包是随机的，为了避免偶发或突发的网络丢包，必须配置足够大的FEC冗余率以抵抗出现的丢包问题。在常规应用中丢包概率相对无丢包概率是小很多的，而FEC的高冗余率会带来带宽较大幅度的增加，既带来通话成本的提升，也可能因此触达带宽上限而导致网络质量恶化。
针对背景技术以及以上相关技术中存在的问题，本公开提供了一种基于数据重要性评价的数据处理方法，该方法可以在保障语音通话质量的同时降低FEC冗余信息带来的网络带宽压力。
本公开的发明思路是分析待发送的原始语音数据的重要性(即关键性)，例如一些非语音帧(包括静音帧、噪声帧等)，由于所含传递的信息量低，属于非关键帧，即使被网络丢包了也不会对通话造成影响，因此没有必要耗用过多的带宽做冗余多发来确保其数据包的传输可靠性。相反地，一些语音关键帧，例如从非语音帧过渡到语音帧的语音起始帧，以及语音音调变化的语音帧，这些语音帧若在弱网络下传输丢包则会对语音通话带来不好的体验，例如出现声音卡顿断续、声音忽大忽小等问题，因此需要配置足够大的FEC冗余率来解决网络丢包问题，确保关键的语音数据包不会丢失。除此之外，本公开也可以对原始语音数据的语音内容进行语义识别，从自然语言理解的角度对原始语音数据的重要程度做出评价。例如，根据语义识别结果可以确定语音通话的主题；与主题相关程度高的部分，可以配置较大的FEC冗余率，以便确保通话主题的清楚完整；与主题相关程度低的部分，可以配置较小的FEC冗余率，以减小网络带宽压力。
图1B示意性地示出了应用本公开技术方案的数据传输系统的系统架构示意图。如图1B所示，在图1所示系统架构的基础上，数据发送端110还包括重要性评价模块114和FEC冗余率调控模块115。FEC冗余率调控模块115可以首先根据接收端130反馈的丢包状态信息(如网络丢包率)得到与当前网络丢包状态相匹配的FEC冗余率初始值，重要性评价模块114可以对原始语音数据111进行重要性评价分析，确定当前语音帧的重要性评价等级，不同重要性级别可以对应于不同的FEC冗余率调整系数。FEC冗余率调控模块115可以根据FEC冗余率调整系数对FEC冗余率初始值做出调整，以得到调整后的调控数据冗余率。然后由FEC信道编码器113根据调控数据冗余率对经过压缩编码器112编码后的语音编码数据进行冗余编码以得到冗余编码数据。数据接收端130对冗余编码数据的解码过程与图1A所示系统架构相同，此处不再赘述。
下面结合具体实施方式对本公开提供的数据处理方法、数据处理装置、计算机可读介质以及电子设备做出详细说明。
图2示意性地示出了本公开一些实施例中数据处理方法的步骤流程图。该数据处理方法由数据发送端执行，数据发送端可以是手机、电脑等终端设备，也可以是服务器。
如图2所示，该数据处理方法主要可以包括以下步骤：
步骤S210.获取待发送数据，并对待发送数据进行重要性评价以得到待发送数据的重要性评价信息。
待发送数据是需要通过网络向数据接收端进行传输的数据，例如可以是通过麦克风、摄像头等输入设备采集得到的音频、视频等多媒体数据。对待发送数据进行的重要性评价指的是按照预设的评价规则对待发送数据中承载信息的重要程度进行评价，例如可以根据重要程度形成多个重要性评价等级。举例而言，待发送数据为一段音频数据，如果这段音频数据中承载的信息为用户语音，则可认为该音频数据具有相对较高的重要性评价等级；而如果这段音频数据中承载的信息主要为噪声或者静音状态的数据，则可认为该音频数据具有相对较低的重要性评价等级。
步骤S220.获取已发送数据的数据包丢失率，并根据数据包丢失率确定待发送数据的当前数据冗余率。
数据发送端和数据接收端之间通常是以连续的数据码流进行传输，当发送端将待发送数据通过网络成功发出后，这部分待发送数据即成为已发送数据。与此同时，数据发送端可以继续对新的待发送数据进行编码和发送处理。
数据包丢失率是用于衡量接收端的数据接收情况的参数，数据包丢失率可以根据数据发送端发出的数据包的数量以及数据接收端丢失的数据包的数量计算得到。举例而言，本公开实施例可以先获取与数据接收端相对应的已发送数据的数据包发送数量，然后获取由数据接收端反馈的已发送数据的数据包丢失数量。根据数据包发送数量和数据包丢失数量可以确定已发送数据的数据包丢失率，数据包丢失率可以用数据包丢失数量和数据包发送数量的比值来表示。例如，数据发送端发出100个数据包，而数据接收端只接收到其中的80个数据包，另外的20个数据包在网络传输中丢失，那么可以计算得到数据包丢失率为20％。数据包丢失率越高，表示数据包丢失数量越多，接收端对接收到数据的解码和还原效果也将越差。
在一些可选的实施方式中，除了完全未接收到的数据包以外，还可以将接收时间延迟较高的数据包作为丢失数据包。举例而言，本公开实施例可以获取已发送数据的发送时间和接收时间，然后根据发送时间和接收时间确定预设统计周期内的数据包发送数量和数据包丢失数量。根据预设统计周期内的数据包发送数量和数据包丢失数量可以确定已发送数据在预设统计周期内的数据包丢失率。通过将数据延迟较大的情况纳入至数据包丢失率的计算中，可以进一步提高数据传输的稳定性和可靠性。
为了抵抗数据包丢失带来的不良影响，数据发送端可以在待发送数据中插入一定数量的冗余包，数据接收端基于这部分冗余包可以对丢失数据进行恢复。当前数据冗余率是根据数据包丢失率计算得到的冗余数据包在待发送数据中的插入比例，一般而言，数据包丢失率越高，本公开实施例确定的当前数据冗余率也将越高。在一些可选的实施方式中，本公开实施例可以预先获取待发送数据的数据包丢失调整系数，然后根据数据包丢失率和数据包丢失调整系数确定待发送数据的当前数据冗余率。举例而言，数据包丢失调整系数可以是一个取值为1～3的预设参数，例如将数据包丢失调整系数设置为2，当数据包丢失率为10％时，可以确定当前数据冗余率为2*10％＝20％。
步骤S230.根据重要性评价信息对当前数据冗余率进行调整以得到待发送数据的调控数据冗余率。
如果以较高的当前数据冗余率对待发送数据进行处理，虽然可以尽可能地抵抗数据包丢失进而提高数据恢复效果，但是这也对网络带宽提出了较高的要求，甚至可能会带来不必要的资源浪费。因此，对待发送数据的当前数据冗余率做出适应性地调整便显得十分重要。调控数据冗余率是根据待发送数据的重要程度对当前数据冗余率进行差异化调整后得到的参数，对当前数据冗余率做出的调整可以是增大、减小或者保持不变。
在一些可选的实施方式中，对于重要性评价高的待发送数据(例如与通话主题紧密相关的语音帧)，可以增大当前数据冗余率；而对于重要性评价低的待发送数据(例如静音帧、噪声帧或者与通话主题无关的语音帧)，可以减小当前数据冗余率。举例而言，在一个通话场景下，通话双方谈论的是一个商务交易主题；针对与该商务交易主题紧密相关的通话内容，如“我方报价是……”、“我们的交易地点是……”，可以增大当前数据冗余率，以便通话双方能够准确无误地进行语音交谈；而针对与该商务交易主题无关的通话内容，如口头禅、“啊啊啊……”、“这个这个这个……”等无意义的重复语句或者“今天天气怎么样？”、“来的路上有点堵”等闲聊内容，可以减小当前数据冗余率，在不影响双方通话质量的前提下降低网络传输压力。
在另一些可选的实施方式中，对于重要性评价高的待发送数据，可以按照第一调整量减小当前数据冗余率；而对于重要性评价低的待发送数据，可以按照第二调整量减小当前数据冗余率；其中，第一调整量小于第二调整量。这种实施方式在统一减小数据冗余率的同时，通过控制调整幅度来获得差异化的调整效果，主要适用于数据冗余率完全充足或者网络质量很差的应用场景中。
步骤S240.根据调控数据冗余率对待发送数据进行冗余编码以得到冗余编码数据。
冗余编码是在待发送数据的原始数据包中插入若干冗余数据包，并将原始数据包与冗余数据包进行共同编码的编码方案，例如可以在每n个原始数据包中插入m个冗余数据包。本步骤可以采用FEC技术进行冗余编码，例如可以使用RS编码(Reed-solomon codes)、汉明编码(Hamming Code)或者卷积编码，本公开对此不做特殊限定。
在本公开实施例提供的数据处理方法中，通过在数据的发送端对待发送数据进行重要性评价，可以基于评价结果对重要程度不同的待发送数据进行差异化地冗余编码，从而可以在保证足够的数据冗余率的同时，对网络带宽的占用做出适应性调整，不仅能够有效解决网络丢包问题，而且可以避免数据传输资源的浪费，提高数据传输的稳定可靠性和传输效率并降低数据传输成本。
在一些可选的实施方式中，本公开可以对待发送数据进行分帧处理，并逐帧地进行重要性评价。具体可以先获取待发送数据中的数据帧，然后分别对每个数据帧进行重要性评价以得到每个数据帧的重要性评价信息。
图3示意性地示出了本公开一些实施例中对待发送数据进行分帧处理以获得数据帧的方法步骤流程图。如图3所示，获取待发送数据中的数据帧，可以包括以下步骤：
步骤S310.获取具有预设时间长度的分帧时间窗以及分帧时间窗的滑动步长。
步骤S320.根据分帧时间窗和滑动步长对待发送数据进行分帧处理以得到待发送数据中的数据帧。
分帧时间窗用于从时间维度控制经过分帧处理后的每一帧数据的数据长度。以音频数据为例，将分帧时间窗设置为20ms，那么经过分帧处理后将得到一个一个连续的时间长度为20ms的音频数据帧。滑动步长是沿数据码流移动分帧时间窗的移动幅度，滑动步长一般要小于分帧时间窗，以便获得一定的数据重复度，进而保持各个数据帧的连续性。例如，分帧时间窗的长度为a，滑动步长为b，那么相邻两个数据帧的数据重复长度即为a-b。
按照滑动步长沿着待发送数据的数据码流移动分帧时间窗，可以在待发送数据上依次截取具有分帧时间窗时间长度的数据片段，再为该数据片段添加帧头、帧尾等信息后，便可以得到一个完整的待发送的数据帧。
图4示意性地示出了本公开一些实施例中对数据帧进行重要性评价的方法步骤流程图。如图4所示，分别对每个数据帧进行重要性评价以得到每个数据帧的重要性评价信息，可以包括以下步骤：
步骤S410.分别对每个数据帧进行特征提取以得到至少一种重要性评价特征。
针对不同类型的待发送数据，可以根据数据特点预先设置一个或者多个进行重要性评价的特征维度。从各个特征维度对每个数据帧进行特征提取后可以得到每个数据帧的一种或者多种重要性评价特征。
以音频数据为例，待发送数据的重要性评价特征可以包括语音活跃检测值、语音基频值和音频能量值中的至少一种。
语音活跃检测值是用于反映一个数据帧是否为语音帧的特征参数，在提取语音活跃检测值时，可以分别对每个数据帧进行语音活跃检测(Voice Activity Detection，VAD)以判断各个数据帧是否为语音帧，并根据判断结果确定各个数据帧的语音活跃检测值，具体可以基于语音的短时平稳性等特征对语音帧进行识别和判定。如果判定一个数据帧是语音帧，可以将其语音活跃检测值设置为第一活跃值，例如可以设置为1；相反地，如果判定一个数据帧是非语音帧，则可以将其语音活跃检测值设置为第二活跃值，例如可以设置为0。
语音基频值是音频信号的一个重要参数，可以用于衡量音频信号中音调的高低，在一段正常的音频信号中，语音基调值是可以不断变化的。在提取语音基频值时，可以分别对每个数据帧进行语音基频识别以得到数据帧的语音基频值，语音基频识别的方法例如可以包括自相关算法、平行处理法、倒谱法和简化逆滤波法等等。
音频能量值是音频信号的另一个重要参数，可以用于衡量音频信号中音量的高低。在提取音频能量值时，可以分别获取每个数据帧的音频幅值，并根据音频幅值确定数据帧的音频能量值。例如，可以将数据帧中各个时间点的音频幅值的平方和作为音频能量值。
步骤S420.确定待评价的当前数据帧以及与当前数据帧相邻的邻接数据帧。
待发送数据中的各个数据帧是按照发送时间的先后顺序依次排列的，除了位于数据头部和数据尾部的两个数据帧以外，每个数据帧都与前后两个数据帧相邻。针对一个待评价的当前数据帧，可以在本步骤中确定与之相邻的邻接数据帧，该邻接数据帧可以是与当前数据帧相邻的前一数据帧，也可以是与当前数据帧相邻的后一数据帧。
步骤S430.根据重要性评价特征确定当前数据帧与邻接数据帧的特征变化信息。
将当前数据帧的重要性评价特征与邻接数据帧的重要性评价特征进行比较可以得到二者之间的特征变化信息。当存在多种类型的重要性评价特征时，需要对每种重要性评价特征分别进行比较以得到每种特征的特征变化信息。
步骤S440.根据特征变化信息对当前数据帧进行重要性评价以得到当前数据帧的重要性评价信息。
当前数据帧的重要性评价信息可以具体表现为一个重要性评价等级，根据当前数据帧与邻接数据帧之间不同的特征变化情况，可以按照预设的评价规则确定与之对应的重要性评价等级。
图5示意性地示出了本公开一些实施例中确定重要性评价等级的方法步骤流程图。在该实施例中，取当前数据帧的前一数据帧作为其邻接数据帧。如图5所示，在以上各实施例的基础上，步骤S440.根据特征变化信息对当前数据帧进行重要性评价以得到当前数据帧的重要性评价信息，可以包括以下步骤：
步骤S510.从特征变化信息中获取语音活跃检测值的活跃值变化信息。
本步骤可以具体比较当前数据帧的语音活跃检测值X1与前一数据帧的语音活跃检测值X2之间的变化情况。如果当前数据帧的语音活跃检测值为第一活跃值，并且前一数据帧的语音活跃检测值为第二活跃值，如图中所示例的X1＝1且X2＝0，则跳转至步骤S520。如果当前数据帧和前一数据帧的语音活跃检测值均为第一活跃值，如图中所示例的X1＝1且X2＝1，则跳转至步骤S530。如果当前数据帧的语音活跃检测值为第二活跃值(前一数据帧的语音活跃检测值可以为第一活跃值或者第二活跃值)，如图中所示例的X1＝0，则跳转至步骤S570。
步骤S520.从特征变化信息中获取语音基频值的基频值变化量。
当前数据帧的语音活跃检测值为第一活跃值，表示当前数据帧是语音帧。而前一数据帧的语音活跃检测值为第二活跃值，表示前一数据帧是非语音帧。在这种情况下，可以进一步比较当前数据帧的语音基频值Y1与前一数据帧的语音基频值Y2之间的变化情况，该变化情况可以用语音基频值的基频值变化量来表示。在本公开实施例中，可以将两个语音基频值之间的差值作为基频值变化量，即|Y1-Y2|。如果基频值变化量大于某个预设的基频阈值s，如图中所示例的|Y1-Y2|>s，则跳转至步骤S540。如果基频值变化量小于或等于该基频阈值s，如图中所示例的|Y1-Y2|≤s，则跳转至步骤S550。
步骤S530.从特征变化信息中获取音频能量值的能量值变化量。
当前数据帧和前一数据帧的语音活跃检测值均为第一活跃值，表示当前数据帧与前一数据帧均为语音帧。在这种情况下，可以进一步比较当前数据帧的音频能量值Z1和前一数据帧的音频能量值Z2之间的变化情况，该变化情况可以用能量值变化量来表示。在本公开实施例中，可以将两个音频能量值之间的比值作为能量值变化量，即Z1/Z2。如果能量值变化量大于某个预设的能量阈值t(例如取值为10)，如图中所示例的Z1/Z2>t，则跳转至步骤S550。如果能量值变化量小于或等于该能量阈值t，如图中所示例的Z1/Z2≤t，则跳转至步骤S560。
步骤S540.确定当前数据帧的重要性评价等级为第一等级。
由前述步骤对相关特征变化信息进行分析后，可以确定当前数据帧为语音帧，而前一数据帧为非语音帧，并且两个数据帧之间的基频跳变幅度较大，此时可以将当前数据帧的重要性评价等级确定为第一等级。第一等级为最高等级，表示符合以上条件的当前数据帧是重要程度最高的数据帧。
步骤S550.确定当前数据帧的重要性评价等级为第二等级。
由前述步骤对相关特征变化信息进行分析后，可以确定当前数据帧符合以下两组条件中的任意一组。第一组条件是：当前数据帧为语音帧，前一数据帧为非语音帧，并且两个数据帧之间的基频跳变幅度较小。第二组条件是：当前数据帧和前一数据帧均为语音帧，并且两个数据帧之间的能量突变程度较大。在满足以上两组条件中任意一组的情况下，均可以将当前数据帧的重要性评价等级确定为第二等级。第二等级表示当前数据帧的重要程度低于第一等级。
步骤S560.确定当前数据帧的重要性评价等级为第三等级。
由前述步骤对相关特征变化信息进行分析后，可以确定当前数据帧和前一数据帧均为语音帧，并且两个数据帧之间的能量突变程度较小，此时可以将当前数据帧的重要性评价等级确定为第三等级。第三等级表示当前数据帧的重要程度低于第二等级。
步骤S570.确定当前数据帧的重要性评价等级为第四等级。
由前述步骤对相关特征变化信息进行分析后，可以确定当前数据帧为非语音帧，此时可以将当前数据帧的重要性评价等级确定为第四等级。第四等级为最低等级，表示作为当前数据帧的非语音帧重要程度最低。
在其他一些实施方式中，也可以根据待发送数据的类型以及用户的具体需求按照其他预设规则进行重要性评价等级的划分，本公开对此不做特殊限定。
在确定待发送数据的重要性评价信息后，可以利用该评价信息对当前数据冗余率进行差异化地调整。在一些可选的实施方式中，可以按照以上实施例中提供的评价规则确定待发送数据的重要性评价等级，然后获取与该重要性评价等级相关联的数据冗余率调整系数，最后再根据当前数据冗余率和数据冗余率调整系数确定待发送数据的调控数据冗余率，例如可以直接取当前数据冗余率和数据冗余率调整系数的乘积作为调控数据冗余率。举例而言，本公开实施例可以预先配置重要性评价等级与数据冗余率调整系数之间的映射关系表，通过查询该映射关系表可以获得与不同重要性评价等级相关联的数据冗余率调整系数。例如，第一等级对应的数据冗余率调整系数为1，第二等级对应的数据冗余率调整系数为0.7，第三等级对应的数据冗余率调整系数为0.4，第四等级对应的数据冗余率调整系数为0.2。针对不同等级的待发送数据，利用不同的调控数据冗余率进行冗余编码，可以在稳定传输数据的同时降低网络带宽占用，降低数据传输成本并提高数据传输效率。
针对待发送的音频数据，本公开还可以对其进行语义识别，并基于语义识别结果对其进行重要性评价。图6示意性地示出了本公开一些实施例中基于语义识别进行重要性评价的方法步骤流程图。如图6所示，在以上各实施例的基础上，步骤S210中的对待发送数据进行重要性评价以得到待发送数据的重要性评价信息，可以进一步包括以下步骤：
步骤S610.对待发送数据进行语义识别以得到待发送数据的语义信息。
语义识别是以语言学、计算机语言等学科为背景的，对自然语言进行词语解析、信息抽取、时间因果、情绪判断等等技术处理的自然语言处理技术(Natural LanguageProcessing，NLP)。利用语义识别技术可以让计算机理解人类的自然语言，也可以把计算机数据转化为人类使用的自然语言。举例而言，本步骤可以将待发送数据输入至预先训练的语义识别模型中，由语义识别模型对待发送数据进行特征提取和特征映射后，输出得到对应的语义信息。语义识别模型例如可以选用循环神经网络(Recurrent Neural Network，RNN)、长短期记忆网络(Long Short-Term Memory，LSTM)等神经网络模型。
步骤S620.获取待发送数据的主题信息。
主题信息是用于对待发送数据的主要内容进行表征的信息。例如，在视频会议或者语音会议的应用场景中，主题信息可以是与工作内容相关的主题，如工作日程安排、工作总结等等；在视频直播或者语音直播的应用场景中，主题信息可以是直播内容，如游戏主题、比赛主题等等。主题信息的获取方式可以是根据已发送数据的语义识别结果进行预测得到，例如可以根据一段时间内的通话内容确定通话双方的通话主题。
步骤S630.对语义信息和主题信息进行比较以确定待发送数据的主题相关度信息。
主题相关度信息是用于衡量语义信息和主题信息的相关程度的信息，例如本步骤可以先对语义信息和主题信息进行特征提取，以得到对应的特征向量，然后计算两个特征向量之间的向量相似度，并将该向量相似度作为待发送数据的主题相关度信息。向量相似度的计算方法例如可以选用欧式距离或者余弦距离。
步骤S640.根据主题相关度信息确定待发送数据的重要性评价信息。
重要性评价信息可以采用与上一实施例相类似的重要性评价等级，例如可以根据主题相关度信息的取值设定多个阈值范围，不同的阈值范围对应不同的重要性评价等级。
基于语义识别对待发送数据的主题相关程度进行量化，可以从自然语义的角度对待发送数据的重要程度做出评价，从而可以优先保证与主题高度相关的内容进行高质量传输，而对于与主题无关或者相关程度低的内容则可以适当降低数据冗余度，以便减小数据传输压力。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的数据处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的数据处理方法的实施例。
图7示意性地示出了在本公开一些实施例中的数据处理装置的结构框图。如图7所示，数据处理装置700主要可以包括：
重要性评价模块710，被配置为获取待发送数据，并对待发送数据进行重要性评价以得到待发送数据的重要性评价信息；
冗余率计算模块720，被配置为获取已发送数据的数据包丢失率，并根据数据包丢失率确定待发送数据的当前数据冗余率；
冗余率调整模块730，被配置为根据重要性评价信息对当前数据冗余率进行调整以得到待发送数据的调控数据冗余率；
冗余编码模块740，被配置为根据调控数据冗余率对待发送数据进行冗余编码以得到冗余编码数据。
在本公开的一些实施例中，基于以上各实施例，重要性评价模块可以进一步包括：
数据帧获取单元，被配置为获取待发送数据中的数据帧；
数据帧评价单元，被配置为分别对每个数据帧进行重要性评价以得到每个数据帧的重要性评价信息。
在本公开的一些实施例中，基于以上各实施例，数据帧获取单元可以进一步包括：
参数获取子单元，被配置为获取具有预设时间长度的分帧时间窗以及分帧时间窗的滑动步长；
数据分帧子单元，被配置为根据分帧时间窗和滑动步长对待发送数据进行分帧处理以得到待发送数据中的数据帧。
在本公开的一些实施例中，基于以上各实施例，数据帧评价单元可以进一步包括：
特征提取子单元，被配置为分别对每个数据帧进行特征提取以得到至少一种重要性评价特征；
数据帧确定子单元，被配置为确定待评价的当前数据帧以及与当前数据帧相邻的邻接数据帧；
特征变化确定子单元，被配置为根据重要性评价特征确定当前数据帧与邻接数据帧的特征变化信息；
特征变化评价子单元，被配置为根据特征变化信息对当前数据帧进行重要性评价以得到当前数据帧的重要性评价信息。
在本公开的一些实施例中，基于以上各实施例，邻接数据帧是与当前数据帧相邻的前一数据帧。
在本公开的一些实施例中，基于以上各实施例，待发送数据为音频数据，重要性评价特征包括语音活跃检测值、语音基频值和音频能量值中的至少一种。
在本公开的一些实施例中，基于以上各实施例，特征提取子单元可以进一步包括：
语音活跃检测值提取子单元，被配置为分别对每个数据帧进行语音活跃检测以判断数据帧是否为语音帧，并根据判断结果确定数据帧的语音活跃检测值；
语音基频值提取子单元，被配置为分别对每个数据帧进行语音基频识别以得到数据帧的语音基频值；
音频能量值提取子单元，被配置为分别获取每个数据帧的音频幅值，并根据音频幅值确定数据帧的音频能量值。
在本公开的一些实施例中，基于以上各实施例，重要性评价信息包括重要性评价等级，特征变化评价子单元可以进一步包括：
第一获取子单元，被配置为若当前数据帧的语音活跃检测值为第一活跃值，并且前一数据帧的语音活跃检测值为第二活跃值，则从特征变化信息中获取语音基频值的基频值变化量；
第一评级子单元，被配置为若基频值变化量大于基频阈值，则确定当前数据帧的重要性评价等级为第一等级；
第二评级子单元，被配置为若基频值变化量小于或等于基频阈值，则确定当前数据帧的重要性评价等级为第二等级；
第二获取子单元，被配置为若当前数据帧和前一数据帧的语音活跃检测值均为第二活跃值，则从特征变化信息中获取音频能量值的能量值变化量；
第三评级子单元，被配置为若能量值变化量大于能量阈值，则确定当前数据帧的重要性评价等级为第二等级；
第四评级子单元，被配置为若能量值变化量小于或等于能量阈值，则确定当前数据帧的重要性评价等级为第三等级；
第五评级子单元，被配置为若当前数据帧的语音活跃检测值为第二活跃值，则确定当前数据帧的重要性评价等级为第四等级。
在本公开的一些实施例中，基于以上各实施例，待发送数据为音频数据；重要性评价模块可以进一步包括：
语义识别单元，被配置为对待发送数据进行语义识别以得到待发送数据的语义信息；
主题获取单元，被配置为获取待发送数据的主题信息；
主题比较单元，被配置为对语义信息和主题信息进行比较以确定待发送数据的主题相关度信息；
相关度评价单元，被配置为根据主题相关度信息确定待发送数据的重要性评价信息。
在本公开的一些实施例中，基于以上各实施例，冗余率计算模块可以进一步包括：
发送数量确定单元，被配置为确定数据接收端，并获取与数据接收端相对应的已发送数据的数据包发送数量；
丢失数量确定单元，被配置为获取由数据接收端反馈的已发送数据的数据包丢失数量；
丢失率确定单元，被配置为根据数据包发送数量和数据包丢失数量确定已发送数据的数据包丢失率。
在本公开的一些实施例中，基于以上各实施例，丢失率确定单元可以进一步包括：
时间获取子单元，被配置为获取已发送数据的发送时间和接收时间；
数量获取子单元，被配置为根据发送时间和接收时间确定预设统计周期内的数据包发送数量和数据包丢失数量；
丢失率确定子单元，被配置为根据预设统计周期内的数据包发送数量和数据包丢失数量确定已发送数据在预设统计周期内的数据包丢失率。
在本公开的一些实施例中，基于以上各实施例，冗余率计算模块还可以进一步包括：
丢失调整系数获取单元，被配置为获取待发送数据的数据包丢失调整系数；
冗余率计算单元，被配置为根据数据包丢失率和数据包丢失调整系数确定待发送数据的当前数据冗余率。
在本公开的一些实施例中，基于以上各实施例，冗余率调整模块可以进一步包括：
等级确定单元，被配置为根据重要性评价信息确定待发送数据的重要性评价等级；
冗余率调整系数获取单元，被配置为获取与重要性评价等级相关联的数据冗余率调整系数；
冗余率调整单元，被配置为根据当前数据冗余率和数据冗余率调整系数确定待发送数据的调控数据冗余率。
本公开各实施例中提供的数据处理装置的具体细节已经在对应的方法实施例中进行了详细的描述，因此此处不再赘述。
图8示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图8示出的电子设备的计算机系统800仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(Central Processing Unit，CPU)801，其可以根据存储在只读存储器(Read-Only Memory，ROM)802中的程序或者从存储部分808加载到随机访问存储器(Random Access Memory，RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(Input/Output，I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种数据处理方法，其特征在于，包括：
获取待发送数据，并对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息；
获取已发送数据的数据包丢失率，并根据所述数据包丢失率确定所述待发送数据的当前数据冗余率；
根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率；
根据所述调控数据冗余率对所述待发送数据进行冗余编码以得到冗余编码数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息，包括：
获取所述待发送数据中的数据帧；
分别对每个所述数据帧进行重要性评价以得到每个所述数据帧的重要性评价信息。
3.根据权利要求2所述的数据处理方法，其特征在于，所述获取所述待发送数据中的数据帧，包括：
获取具有预设时间长度的分帧时间窗以及所述分帧时间窗的滑动步长；
根据所述分帧时间窗和所述滑动步长对所述待发送数据进行分帧处理以得到所述待发送数据中的数据帧。
4.根据权利要求2所述的数据处理方法，其特征在于，所述分别对每个所述数据帧进行重要性评价以得到每个所述数据帧的重要性评价信息，包括：
分别对每个所述数据帧进行特征提取以得到至少一种重要性评价特征；
确定待评价的当前数据帧以及与所述当前数据帧相邻的邻接数据帧；
根据所述重要性评价特征确定所述当前数据帧与所述邻接数据帧的特征变化信息；
根据所述特征变化信息对所述当前数据帧进行重要性评价以得到所述当前数据帧的重要性评价信息。
5.根据权利要求4所述的数据处理方法，其特征在于，所述邻接数据帧是与所述当前数据帧相邻的前一数据帧。
6.根据权利要求5所述的数据处理方法，其特征在于，所述待发送数据为音频数据，所述重要性评价特征包括语音活跃检测值、语音基频值和音频能量值中的至少一种；所述分别对每个所述数据帧进行特征提取以得到至少一种重要性评价特征，包括：
分别对每个所述数据帧进行语音活跃检测以判断所述数据帧是否为语音帧，并根据判断结果确定所述数据帧的语音活跃检测值；
分别对每个所述数据帧进行语音基频识别以得到所述数据帧的语音基频值；
分别获取每个所述数据帧的音频幅值，并根据所述音频幅值确定所述数据帧的音频能量值。
7.根据权利要求6所述的数据处理方法，其特征在于，所述重要性评价信息包括重要性评价等级；根据所述特征变化信息对所述当前数据帧进行重要性评价以得到所述当前数据帧的重要性评价信息，包括：
若所述当前数据帧的语音活跃检测值为第一活跃值，并且所述前一数据帧的语音活跃检测值为第二活跃值，则从所述特征变化信息中获取所述语音基频值的基频值变化量；
若所述基频值变化量大于基频阈值，则确定所述当前数据帧的重要性评价等级为第一等级；
若所述基频值变化量小于或等于所述基频阈值，则确定所述当前数据帧的重要性评价等级为第二等级；
若所述当前数据帧和所述前一数据帧的语音活跃检测值均为第二活跃值，则从所述特征变化信息中获取所述音频能量值的能量值变化量；
若所述能量值变化量大于能量阈值，则确定所述当前数据帧的重要性评价等级为第二等级；
若所述能量值变化量小于或等于所述能量阈值，则确定所述当前数据帧的重要性评价等级为第三等级；
若所述当前数据帧的语音活跃检测值为第二活跃值，则确定所述当前数据帧的重要性评价等级为第四等级。
8.根据权利要求1所述的数据处理方法，其特征在于，所述待发送数据为音频数据；所述对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息，包括：
对所述待发送数据进行语义识别以得到所述待发送数据的语义信息；
获取所述待发送数据的主题信息；
对所述语义信息和所述主题信息进行比较以确定所述待发送数据的主题相关度信息；
根据所述主题相关度信息确定所述待发送数据的重要性评价信息。
9.根据权利要求1所述的数据处理方法，其特征在于，所述获取已发送数据的数据包丢失率，包括：
确定数据接收端，并获取与所述数据接收端相对应的已发送数据的数据包发送数量；
获取由所述数据接收端反馈的所述已发送数据的数据包丢失数量；
根据所述数据包发送数量和所述数据包丢失数量确定所述已发送数据的数据包丢失率。
10.根据权利要求9所述的数据处理方法，其特征在于，所述根据所述数据包发送数量和所述数据包丢失数量确定所述已发送数据的数据包丢失率，包括：
获取所述已发送数据的发送时间和接收时间；
根据所述发送时间和所述接收时间确定预设统计周期内的数据包发送数量和数据包丢失数量；
根据所述预设统计周期内的数据包发送数量和数据包丢失数量确定所述已发送数据在所述预设统计周期内的数据包丢失率。
11.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述数据包丢失率确定所述待发送数据的当前数据冗余率，包括：
获取所述待发送数据的数据包丢失调整系数；
根据所述数据包丢失率和所述数据包丢失调整系数确定所述待发送数据的当前数据冗余率。
12.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率，包括：
根据所述重要性评价信息确定所述待发送数据的重要性评价等级；
获取与所述重要性评价等级相关联的数据冗余率调整系数；
根据所述当前数据冗余率和所述数据冗余率调整系数确定所述待发送数据的调控数据冗余率。
13.一种数据处理装置，其特征在于，包括：
重要性评价模块，被配置为获取待发送数据，并对所述待发送数据进行重要性评价以得到所述待发送数据的重要性评价信息；
冗余率计算模块，被配置为获取已发送数据的数据包丢失率，并根据所述数据包丢失率确定所述待发送数据的当前数据冗余率；
冗余率调整模块，被配置为根据所述重要性评价信息对所述当前数据冗余率进行调整以得到所述待发送数据的调控数据冗余率；
冗余编码模块，被配置为根据所述调控数据冗余率对所述待发送数据进行冗余编码以得到冗余编码数据。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的数据处理方法。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任一项所述的数据处理方法。
CN202010190624.XA 2020-03-18 2020-03-18 数据处理方法、装置、介质及电子设备 Active CN111464262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190624.XA CN111464262B (zh) 2020-03-18 2020-03-18 数据处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010190624.XA CN111464262B (zh) 2020-03-18 2020-03-18 数据处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN111464262A true CN111464262A (zh) 2020-07-28
CN111464262B CN111464262B (zh) 2022-03-25

Family

ID=71683223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010190624.XA Active CN111464262B (zh) 2020-03-18 2020-03-18 数据处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111464262B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259063A (zh) * 2021-06-10 2021-08-13 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和计算机可读存储介质
CN114124910A (zh) * 2021-11-04 2022-03-01 湖北美和易思教育科技有限公司 直播数据传输方法、系统及可读存储介质
CN114448569A (zh) * 2022-01-27 2022-05-06 阿里巴巴（中国）有限公司 数据传输方法、设备及计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167060A (en) * 1997-08-08 2000-12-26 Clarent Corporation Dynamic forward error correction algorithm for internet telephone
CN101754026A (zh) * 2008-12-12 2010-06-23 索尼株式会社 信息处理设备和方法
CN102546096A (zh) * 2011-12-12 2012-07-04 河海大学 一种基于不等错误保护的实时多播自适应优化方法
CN104620525A (zh) * 2012-07-09 2015-05-13 瑞典爱立信有限公司 用于在广播递送期间分发信息的方法和装置
WO2016060675A1 (en) * 2014-10-17 2016-04-21 Hitachi, Ltd. Method and apparatus for managing data recovery of distributed storage system
CN105610635A (zh) * 2016-02-29 2016-05-25 腾讯科技（深圳）有限公司 语音编码发送方法和装置
CN107181968A (zh) * 2016-03-11 2017-09-19 腾讯科技（深圳）有限公司 一种视频数据的冗余控制方法和装置
CN109618164A (zh) * 2018-11-16 2019-04-12 建湖云飞数据科技有限公司 一种视频编解码处理方法
CN109951254A (zh) * 2019-03-21 2019-06-28 腾讯科技（深圳）有限公司 一种数据处理方法及装置、计算机可读存储介质
CN110087140A (zh) * 2018-01-26 2019-08-02 腾讯科技（深圳）有限公司 一种传输流媒体数据的方法、装置、介质及设备
CN110890945A (zh) * 2019-11-20 2020-03-17 腾讯科技（深圳）有限公司 数据传输方法、装置、终端及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167060A (en) * 1997-08-08 2000-12-26 Clarent Corporation Dynamic forward error correction algorithm for internet telephone
CN101754026A (zh) * 2008-12-12 2010-06-23 索尼株式会社 信息处理设备和方法
CN102546096A (zh) * 2011-12-12 2012-07-04 河海大学 一种基于不等错误保护的实时多播自适应优化方法
CN104620525A (zh) * 2012-07-09 2015-05-13 瑞典爱立信有限公司 用于在广播递送期间分发信息的方法和装置
WO2016060675A1 (en) * 2014-10-17 2016-04-21 Hitachi, Ltd. Method and apparatus for managing data recovery of distributed storage system
CN105610635A (zh) * 2016-02-29 2016-05-25 腾讯科技（深圳）有限公司 语音编码发送方法和装置
CN107181968A (zh) * 2016-03-11 2017-09-19 腾讯科技（深圳）有限公司 一种视频数据的冗余控制方法和装置
CN110087140A (zh) * 2018-01-26 2019-08-02 腾讯科技（深圳）有限公司 一种传输流媒体数据的方法、装置、介质及设备
CN109618164A (zh) * 2018-11-16 2019-04-12 建湖云飞数据科技有限公司 一种视频编解码处理方法
CN109951254A (zh) * 2019-03-21 2019-06-28 腾讯科技（深圳）有限公司 一种数据处理方法及装置、计算机可读存储介质
CN110890945A (zh) * 2019-11-20 2020-03-17 腾讯科技（深圳）有限公司 数据传输方法、装置、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G. HELLSTROM; OMNITOR AB; P. JONES; CISCO SYSTEMS等: "RTP Payload for Text Conversation", 《IETF 》 *
G. HELLSTROM;OMNITOR AB;P. JONES; CISCO SYSTEMS等: "Real-Time Transport Protocol (RTP) Payload for Text Conversation Interleaved in an Audio Stream", 《IETF RFC4351》 *
刘晓侠等: "一种标准兼容的多描述图像编码分析及改进", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259063A (zh) * 2021-06-10 2021-08-13 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和计算机可读存储介质
CN114124910A (zh) * 2021-11-04 2022-03-01 湖北美和易思教育科技有限公司 直播数据传输方法、系统及可读存储介质
CN114448569A (zh) * 2022-01-27 2022-05-06 阿里巴巴（中国）有限公司 数据传输方法、设备及计算机存储介质

Also Published As

Publication number Publication date
CN111464262B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111464262B (zh) 数据处理方法、装置、介质及电子设备
US11227612B2 (en) Audio frame loss and recovery with redundant frames
CN111314335B (zh) 数据传输方法、装置、终端、存储介质和系统
US9558744B2 (en) Audio processing apparatus and audio processing method
CN111371957B (zh) 一种冗余度控制方法、装置、电子设备和存储介质
US9331887B2 (en) Peer-aware ranking of voice streams
CN111371534B (zh) 一种数据重传方法、装置、电子设备和存储介质
CN111245734B (zh) 音频数据传输方法、装置、处理设备及存储介质
CN110782907B (zh) 语音信号的发送方法、装置、设备及可读存储介质
CN110838894A (zh) 语音处理方法、装置、计算机可读存储介质和计算机设备
CN112449208B (zh) 语音处理方法及其装置
CN112767955A (zh) 音频编码方法及装置、存储介质、电子设备
CN112769524B (zh) 语音传输方法、装置、计算机设备和存储介质
CN111105815B (zh) 一种基于语音活动检测的辅助检测方法、装置及存储介质
CN115831132A (zh) 音频编解码方法、装置、介质及电子设备
CN112992161A (zh) 音频编码方法、音频解码方法、装置、介质及电子设备
CN114842857A (zh) 语音处理方法、装置、系统、设备及存储介质
CN109640165B (zh) 音轨切换的多媒体播放方法、终端设备及可读存储介质
CN117793078B (zh) 一种音频数据的处理方法、装置、电子设备和存储介质
CN117640015B (zh) 一种语音编码、解码方法、装置、电子设备及存储介质
CN113259063B (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN116996622B (zh) 语音数据的传输方法、装置、设备、介质和程序产品
Nour-Eldin et al. Automatic recognition of Bluetooth speech in 802.11 interference and the effectiveness of insertion-based compensation techniques
US20230075562A1 (en) Audio Transcoding Method and Apparatus, Audio Transcoder, Device, and Storage Medium
CN114079534B (zh) 编码、解码方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028309

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant