CN102568488B - 一种抑制网络丢包影响的语音数据后处理方法 - Google Patents

一种抑制网络丢包影响的语音数据后处理方法 Download PDF

Info

Publication number
CN102568488B
CN102568488B CN2012100419942A CN201210041994A CN102568488B CN 102568488 B CN102568488 B CN 102568488B CN 2012100419942 A CN2012100419942 A CN 2012100419942A CN 201210041994 A CN201210041994 A CN 201210041994A CN 102568488 B CN102568488 B CN 102568488B
Authority
CN
China
Prior art keywords
packet
data
amplitude
receives
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2012100419942A
Other languages
English (en)
Other versions
CN102568488A (zh
Inventor
何佳
王小敏
王大勇
尼秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI CREARO TECHNOLOGY CO., LTD.
Original Assignee
ANHUI CREARO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI CREARO TECHNOLOGY Co Ltd filed Critical ANHUI CREARO TECHNOLOGY Co Ltd
Priority to CN2012100419942A priority Critical patent/CN102568488B/zh
Publication of CN102568488A publication Critical patent/CN102568488A/zh
Application granted granted Critical
Publication of CN102568488B publication Critical patent/CN102568488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种抑制网络丢包影响的语音数据后处理方法，包括下面主要步骤：a.有数据包丢失时，在缓冲的数据包和当前接收的数据包中选取合适的两个极值点；b.用正弦函数对选取的两个极值点分别进行拟合；c.用拟合好的两个正弦函数的线性组合对两个极值点间的采样点的幅值进行校正，并以校正后的数据包作为播放数据包。本发明方法可以抑制在网络传输过程中数据包丢失情况下引入的高频噪音，改善主观听觉感受。

Description

一种抑制网络丢包影响的语音数据后处理方法
技术领域
本发明涉及一种语音数据的后处理方法，具体是一种抑制网络丢包影响的语音数据后处理方法。
背景技术
随着近年来互联网的迅猛发展，如视频会议、视频监控、VOIP等基于网络音视频技术的各种应用和产品得到了迅速的推广。其中音频数据在网络上传输时，为了保证实时性，大多数应用都是基于UDP进行传输的。UDP传输数据的特点是传输时不能保证负载数据的完整性。因此传输的音频数据不可避免的会产生丢包。如果丢包后的数据不做任何处理，直接播放会引入很多高频噪音，影响主观听觉感受。人们对音频数据在网络传输丢包的后处理方法进行了相关的研究，如：[1]、在分布式语音识别处理和系统中减轻传输错误影响的方法和设备，专利申请号：01809628.X；[2]、处理丢失帧的语音通信系统及方法，专利申请号：01812823.8；[3]、一种在网络上传输IP语音包的丢包恢复方法，专利申请号：00129594.2。专利[1]主要是基于识别并替换传输的错误语音参数来进行语音处理，而基于UDP的数据传输一般都是数据包丢失，而数据包内容错误的情况非常少见；专利[2]、专利[3]的目的都是要减轻数据包丢失造成的影响，不过这两个方法采用的思路是通过曲线拟合、波形插值、线性预测等方法恢复丢失的数据包的语音数据，这样的处理思路一般要缓冲丢失数据包前后各若干个数据包进行处理，需要内存较多，且影响语音播放的实时性。
发明内容
本发明要解决的技术问题是提供一种抑制网络丢包影响的语音数据后处理方法，在网络传输过程中数据包丢失情况下，对收到的前后两个数据包的边缘数据进行拟合校正，通过滤除采样点幅值突变而引入的高频噪音，改善了主观听觉感受。
本发明的技术方案为：
一种抑制网络丢包影响的语音数据后处理方法，其特征在于：包括以下步骤：
（1）、将每一个音频数据包记为P，每个数据包都由M个采样点组成，第m个采样点幅值记为P(m)，m=0，……，M-1；
（2）、一个新接收到的数据包，如果其通过数据包序列号的方式判断出和上一次接收的数据包之间没有数据丢失时，则此数据包的播放按正常方式播放上一次接收的数据包，并且将此数据包缓冲起来；如果此数据包通过数据包序列号的方式判断出和上一次接收的数据包之间有数据丢失时，则将上一次接收的数据包记为PB，将这次接收的数据包记为PN；
（3）、如果一个点m的幅值大于前后两点的幅值，我们称为极值点；在PB的采样点中从后向前找到的第一个极值点记为
Figure GDA00002910719800021
，在PN的采样点中从前向后找到的第二个极值点记为；
（4）、以数据包每个采样点的序号为横坐标，幅值为纵坐标，对
Figure GDA00002910719800023
和前后各一个点做正弦函数曲线拟合，得以下函数式[1]：
Figure GDA00002910719800024
对和前后各一个点同样按正弦函数曲线进行拟合，得以下函数式[2]：
Figure GDA00002910719800026
（5）、对区间
Figure GDA00002910719800027
内的点按式[1]和式[2]的线性组合后得的式[3]来求取新的幅值替代原来的幅值，函数式[3]为：
Figure GDA00002910719800028
（6）、将更改了
Figure GDA00002910719800029
之后若干点幅值的新的数据包PB即时播放，并且将更改了
Figure GDA000029107198000210
之前若干点幅值的新的数据包PN缓冲起来用于后续数据包的处理；
（7）、返回步骤1重新开始处理下一个接收到的数据包。
本发明的有益效果：本发明对收到的前后两个数据包的边缘数据进行拟合校正，滤除了采样点幅值突变而引入的高频噪音，从而改善主观听觉感受，该方法具有低延时、内存需求少、复杂度低的优点。
附图说明
图1是没有校正前的采样点波形图，其中，空心圈代表了前一个数据包的采样点的幅值，空心矩形代表了当前接收的数据包的采样点的幅值，
Figure GDA00002910719800031
代表前一个数据包从后向前的第一个极值点，
Figure GDA00002910719800032
代表当前接收的数据包从前向后的第二个极值点。
图2是校正后的采样点波形图，其中空心圈代表了前一个数据包的采样点的幅值，空心矩形代表了当前接收的数据包的采样点的幅值，实心圈代表了校正后的采样点的幅值，实心圈代表了校正后的采样点的幅值，
Figure GDA00002910719800033
代表前一个数据包从后向前的第一个极值点，代表当前接收的数据包从前向后的第二个极值点。
具体实施方式
一种抑制网络丢包影响的语音数据后处理方法，其特征在于：包括以下步骤：
（1）、将每一个音频数据包记为P，每个数据包都由M个采样点组成，第m个采样点幅值记为P(m)，m=0，……，M-1；
（2）、一个新接收到的数据包，如果其通过数据包序列号的方式判断出和上一次接收的数据包之间没有数据丢失时，则此数据包的播放按正常方式播放上一次接收的数据包，并且将此数据包缓冲起来；如果此数据包通过数据包序列号的方式判断出和上一次接收的数据包之间有数据丢失时，则将上一次接收的数据包记为PB，将这次接收的数据包记为PN；
（3）、如果一个点m的幅值大于前后两点的幅值，我们称为极值点；在PB的采样点中从后向前找到的第一个极值点记为
Figure GDA00002910719800035
，在PN的采样点中从前向后找到的第二个极值点记为
Figure GDA00002910719800036
；
（4）、以数据包每个采样点的序号为横坐标，幅值为纵坐标，对
Figure GDA00002910719800037
和前后各一个点做正弦函数曲线拟合，得以下函数式[1]：
Figure GDA00002910719800038
对和前后各一个点同样按正弦函数曲线进行拟合，得以下函数式[2]：
（5）、对区间
Figure GDA00002910719800042
内的点按式[1]和式[2]的线性组合后得的式[3]来求取新的幅值替代原来的幅值，函数式[3]为：
Figure GDA00002910719800043
（6）、见图2，将更改了
Figure GDA00002910719800044
之后若干点幅值（实心圆）的新的数据包PB即时播放，并且将更改了
Figure GDA00002910719800045
之前若干点幅值（实心圆）的新的数据包PN缓冲起来用于后续数据包的处理；
（7）、返回步骤1重新开始处理下一个接收到的数据包。
从图1、图2可以看出，校正后的幅值可能和原来的幅值有较大的偏差，但在两个数据包相邻采样点的跳变会减小，从而抑制了高频噪声。

Claims (1)

1.一种抑制网络丢包影响的语音数据后处理方法，其特征在于：包括以下步骤：
（1）、将每一个音频数据包记为P，每个数据包都由M个采样点组成，第m个采样点幅值记为P(m)，m=0，……，M-1；
（2）、一个新接收到的数据包，如果其通过数据包序列号的方式判断出和上一次接收的数据包之间没有数据丢失时，则此数据包的播放按正常方式播放上一次接收的数据包，并且将此数据包缓冲起来；如果此数据包通过数据包序列号的方式判断出和上一次接收的数据包之间有数据丢失时，则将上一次接收的数据包记为PB，将这次接收的数据包记为PN；
（3）、如果一个点m的幅值大于前后两点的幅值，我们称为极值点；在PB的采样点中从后向前找到的第一个极值点记为
Figure FDA00002910719700011
在PN的采样点中从前向后找到的第二个极值点记为
Figure FDA00002910719700012
（4）、以数据包每个采样点的序号为横坐标，幅值为纵坐标，对和前后各一个点做正弦函数曲线拟合，得以下函数式[1]：
Figure FDA00002910719700013
对
Figure FDA00002910719700014
和前后各一个点同样按正弦函数曲线进行拟合，得以下函数式[2]：
Figure FDA00002910719700015
（5）、对区间
Figure FDA00002910719700016
内的点按式[1]和式[2]的线性组合后得的式[3]来求取新的幅值替代原来的幅值，函数式[3]为：
Figure FDA00002910719700017
（6）、将更改了
Figure FDA00002910719700018
之后若干点幅值的新的数据包PB即时播放，并且将更改了
Figure FDA00002910719700019
之前若干点幅值的新的数据包PN缓冲起来用于后续数据包的处理；
（7）、返回步骤1重新开始处理下一个接收到的数据包。
CN2012100419942A 2012-02-23 2012-02-23 一种抑制网络丢包影响的语音数据后处理方法 Active CN102568488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100419942A CN102568488B (zh) 2012-02-23 2012-02-23 一种抑制网络丢包影响的语音数据后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100419942A CN102568488B (zh) 2012-02-23 2012-02-23 一种抑制网络丢包影响的语音数据后处理方法

Publications (2)

Publication Number Publication Date
CN102568488A CN102568488A (zh) 2012-07-11
CN102568488B true CN102568488B (zh) 2013-06-12

Family

ID=46413738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100419942A Active CN102568488B (zh) 2012-02-23 2012-02-23 一种抑制网络丢包影响的语音数据后处理方法

Country Status (1)

Country Link
CN (1) CN102568488B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731718A (zh) * 2004-08-06 2006-02-08 北京中星微电子有限公司 针对ip网络语音数据包丢失的降噪方法及装置
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000068950A (ko) * 1997-09-12 2000-11-25 요트.게.아. 롤페즈 신호의 미싱 부분을 복구하는 기능이 향상된 전송 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731718A (zh) * 2004-08-06 2006-02-08 北京中星微电子有限公司 针对ip网络语音数据包丢失的降噪方法及装置
CN101261833A (zh) * 2008-01-24 2008-09-10 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Frame Erasure Concealment Using Sinusoidal Analysis-Synthesis and Its Application to MDCT-Based Codecs;Vipul N.Parikh et al;《Proceedings of 2000 IEEE International Conference on Acoustics, Speech, and Signal Processing》;20000609;第2卷;905-908 *
Vipul N.Parikh et al.Frame Erasure Concealment Using Sinusoidal Analysis-Synthesis and Its Application to MDCT-Based Codecs.《Proceedings of 2000 IEEE International Conference on Acoustics, Speech, and Signal Processing》.2000,第2卷905-908.

Also Published As

Publication number Publication date
CN102568488A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
US8665370B2 (en) Method for synchronized playback of wireless audio and video and playback system using the same
US9817629B2 (en) Audio synchronization method for bluetooth speakers
WO2012070859A3 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 및 방송 신호 송/수신 장치에서 방송 신호 송수신 방법
WO2011005727A3 (en) Base station and method for reducing asynchronous interference in a multi-tier ofdma overlay network
US20150131429A1 (en) Method and apparatus for compensating for voice packet loss
AU2012265335B2 (en) Audio decoding method and device
US10021447B2 (en) Receiving apparatus and control method thereof
MY162423A (en) Speech/audio signal processing method and apparatus
WO2010105653A3 (en) Channel quality feedback signaling in communication systems
WO2021041998A3 (en) Low-latency, outbound message monitoring, control, and authentication
WO2009007915A3 (en) Dynamic update of channel filtering information in iptv systems
KR20170031699A (ko) 방송 시스템에서 시스템 시간 정보를 송수신하는 기법
EP4319099A1 (en) Audio processing method, related device, storage medium and program product
WO2012091421A3 (ko) 이종 네트워크 간 핸드오버를 수행하여 ｉｐ 데이터를 송수신하는 방법 및 이를 위한 장치
EP4024818A4 (en) ADDRESS BOOK BASED DEVICE DISCOVERY METHOD, AUDIO AND VIDEO COMMUNICATION METHOD, AND ELECTRONIC DEVICE
EP4079176A4 (en) ELECTRONIC CIGARETTE CAPABLE OF PREVENTING IT FROM BEING USED BY MINORS, AND ORDERING METHOD THEREOF
US10313416B2 (en) Dynamic latency control
US20110137644A1 (en) Decoding speech signals
CN102568488B (zh) 一种抑制网络丢包影响的语音数据后处理方法
WO2013112080A1 (en) Handling of signals transmitted through a human body
DE4427351C1 (de) Signalverarbeitungsverfahren und -anordnung für blockweise codierte Sprachsignale eines Nachrichtensystems
EP3796647A4 (en) VIDEOCONFERENCE SERVER FOR CONDUCTING A VIDEOCONFERENCE BY MEANS OF A PLURALITY OF VIDEOCONFERENCE TERMINALS, AND ASSOCIATED AUDIO ECHO CANCELLATION METHOD
CN106782598A (zh) 电视画面和外设声音同步控制方法和装置
US10171710B2 (en) Device and method for digital data distribution, device and method for digital data reproduction, synchronized reproduction system, program, and recording medium
EP3185505A1 (en) Data packet transmission processing method and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: 5 A District, 230088 Hefei Science Park, Hefei Road, 602 Mount Huangshan Road, Anhui, China

Patentee after: ANHUI CREARO TECHNOLOGY CO., LTD.

Address before: 5 A District, 230088 Hefei Science Park, Hefei Road, 602 Mount Huangshan Road, Anhui, China

Patentee before: Anhui Crearo Technology Co., Ltd.