CN107293303A - 一种多声道语音丢包补偿方法 - Google Patents

一种多声道语音丢包补偿方法 Download PDF

Info

Publication number
CN107293303A
CN107293303A CN201710456256.7A CN201710456256A CN107293303A CN 107293303 A CN107293303 A CN 107293303A CN 201710456256 A CN201710456256 A CN 201710456256A CN 107293303 A CN107293303 A CN 107293303A
Authority
CN
China
Prior art keywords
data
speech data
packet
channel
compensation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710456256.7A
Other languages
English (en)
Inventor
肖家良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Snail Digital Technology Co Ltd
Original Assignee
Suzhou Snail Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Snail Digital Technology Co Ltd filed Critical Suzhou Snail Digital Technology Co Ltd
Priority to CN201710456256.7A priority Critical patent/CN107293303A/zh
Publication of CN107293303A publication Critical patent/CN107293303A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/34—Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种多声道语音丢包补偿方法，包括以下步骤：采集语音数据，并保存为多声道数据；对语音数据进行比较、压缩；对压缩的语音信号进行编号、传输；判断语音数据的丢包情况，并进行解码；还原丢失的语音数据包，并做完整播放。本发明的方法，在语音传输过程中，根据不同声道数据的相似性，不需要增加带宽、不需要网络数据包重传的前提下，解决网络丢包造成声音卡顿的问题，即降低了延时，也降低了带宽成本。

Description

一种多声道语音丢包补偿方法
技术领域
本发明涉及数据传输技术领域，尤其涉及一种数据传输时丢失补偿的方法。
背景技术
现有的实时语音传输（视频会议、语音聊天、网络游戏等实时语音通话），对语音数据的处理一般采用的方式是：发送端将获取的语音数据经编码、压缩后按照传输协议传输到接收端，接收端接收语音数据进行解压、解压缩还原语音并进行播放。
采用现有的实时语音传输方式，由于在数据传输时会发生丢失数据包的情况，从而会造成在接收端播放语音是出现声音卡顿现象，通过网络重传往往会增加网络带宽和延时，尤其在通过手机流量上网的这种情况，既增加了延时，又增加了带宽成本。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种多声道语音丢包补偿方法，通过不同声道里的保存的数据还原出丢包部分的数据，从而还原整个语音数据。
为实现上述目的，本发明提供的玩多声道语音丢包补偿方法，包括以下步骤：
采集语音数据，并保存为多声道数据；
对语音数据进行比较、压缩；
对压缩的语音信号进行编号、传输；
判断语音数据的丢包情况，并进行解码；
还原丢失的语音数据包，并做完整播放。
进一步地，所述对语音数据进行比较、压缩，包括以下步骤：将第一个声道作为基准声道，其它声道与第一个声道进行比较，仅保存第一个通道数据和其它声道差异化语音数据；对上述第一个通道数据和其它声道差异化语音数据进行压缩。
进一步地，所述接收端判断语音数据的丢包情况，是接收端通过检查抵达数据的编号来判断音频数据的丢包情况。
进一步地，所述判断语音数据的丢包情况，是接收端通过检查抵达数据的编号来判断音频数据的丢包情况。
更进一步地，所述还原丢失的语音数据包，包括以下步骤：对接收的语音数据进行缓存；通过不同声道里的保存的语音数据，还原出丢包部分的语音数据。
本发明的技术方案，技术效果主要体现在：根据通过不同声道数据的相似性，不会增加额外的带宽，从而让语音传输过程中，在不需要增加带宽、不需要网络数据包重传的前提下，解决网络丢包造成声音卡顿的问题，即降低了延时，也降低了带宽成本。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的多声道语音丢包补偿方法流程图；
图2为根据本发明的双声道语音数据补偿示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的多声道语音丢包补偿方法流程图，下面将参考图1，对本发明的多声道语音丢包补偿方法进行详细描述。
首先，在步骤101，采集端采集语音数据，把单声道数据保存成多声道数据，不同的声道保存同一份数据，但是互相具有一定的延时。
在步骤102，把第一个声道作为基准声道，其它声道跟第一个声道进行比较，仅仅保存第一个通道数据和其它声道差异化数据，然后对保存的语音数据进行压缩，确保不会因为多个声道而造成压缩后的数据量变大。
在步骤103，对压缩后的语音数据进行编号，并在网络上进行传输，传输过程中可能会出现丢包的情况。
在步骤104，接收端接收语音数据，并通过检查抵达数据的编号来判断语音数据的丢包情况。
在步骤105，接收端对多通道数据进行解码。
在步骤106，对语音数据进行网络传输，如果有丢包情况，可以对语音数据做适当缓存，然后通过不同声道里的保存的语音数据还原出丢包部分的语音数据；对还原后的语音数据做完整播放。
实施例1
本实施例中，以视频会议的语音传输为例对本发明进行详细描述。
在视频会议具体实施方式中，
包括以下步骤：客户端进入视频会议房间，连接tcp控制通道，打开udp传输通道，通过步骤101、步骤102生成多声道语音数据，把单声道数据保存成多声道数据，不同的声道保存同一份数据；通过步骤102、步骤103对数据进行编号与压缩，将数据传输给视频会议服务端；通过步骤104视频会议服务端通过检查抵达数据的编号来判断语音数据的丢包情况；通过步骤105对多通道数据进行解码；通过步骤106对数据进行网络传输，如果有丢包情况，可以做适当缓存，然后通过不同声道里的保存的数据还原出丢包部分的数据；在服务器上对还原的数据进行混音；混音后的数据重复上述步骤101步骤102步骤103，通过步骤104、步骤105、步骤106把还原完成的数据给客户端并进行声音播放。
实施例2
本实施例中，以语音聊天、游戏的语音传输为例对本发明进行详细描述。
在语音聊天软件、游戏实时语音中
包括以下步骤：客户端进房间，连接tcp控制通道，打开udp传输通道，然后通过步骤101生成多声道语音数据，在步骤102，对数据进行压缩与编号，在步骤103，通过传输通道，将数据传输服务端，将语音数据传输给客户端；通过步骤104客户接收到数据后，检查抵达数据的编号来判断语音数据的丢包情况；通过步骤105对多通道数据进行解码；通过步骤106对数据进行网络传输，如果有丢包情况，可以做适当缓存,然后通过不同声道里的保存的数据还原出丢包部分的数据，并进行声音播放。
图2为根据本发明的双声道语音数据补偿示意图，如图2所示，双声道语音数据在传输过程中丢失了编号为1、3、8、10、14、19、23语音数据，通过本发明的补偿方法，还原出了丢失的语音数据。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种多声道语音丢包补偿方法，包括以下步骤：
采集语音数据，并保存为多声道数据；
对语音数据进行比较、压缩；
对压缩的语音信号进行编号、传输；
判断语音数据的丢包情况，并进行解码；
还原丢失的语音数据包，并做完整播放。
2.根据权利要求1所述的多声道语音丢包补偿方法，其特征在于，所述对语音数据进行比较、压缩，包括以下步骤：将第一个声道作为基准声道，其它声道与第一个声道进行比较，仅保存第一个通道数据和其它声道差异化语音数据；对上述第一个通道数据和其它声道差异化语音数据进行压缩。
3.根据权利要求1所述的多声道语音丢包补偿方法，其特征在于，所述接收端判断语音数据的丢包情况，是接收端通过检查抵达数据的编号来判断音频数据的丢包情况。
4.根据权利要求1所述的多声道语音丢包补偿方法，其特征在于，所述判断语音数据的丢包情况，是接收端通过检查抵达数据的编号来判断音频数据的丢包情况。
5.根据权利要求1所述的多声道语音丢包补偿方法，其特征在于，所述还原丢失的语音数据包，包括以下步骤：对接收的语音数据进行缓存；通过不同声道里的保存的语音数据，还原出丢包部分的语音数据。
CN201710456256.7A 2017-06-16 2017-06-16 一种多声道语音丢包补偿方法 Withdrawn CN107293303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710456256.7A CN107293303A (zh) 2017-06-16 2017-06-16 一种多声道语音丢包补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710456256.7A CN107293303A (zh) 2017-06-16 2017-06-16 一种多声道语音丢包补偿方法

Publications (1)

Publication Number Publication Date
CN107293303A true CN107293303A (zh) 2017-10-24

Family

ID=60096477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710456256.7A Withdrawn CN107293303A (zh) 2017-06-16 2017-06-16 一种多声道语音丢包补偿方法

Country Status (1)

Country Link
CN (1) CN107293303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602338A (zh) * 2019-07-30 2019-12-20 广州视源电子科技股份有限公司 音频处理方法、装置、系统、存储介质以及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262790A1 (en) * 2001-03-12 2006-11-23 Polycom, Inc. Low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
CN101572088A (zh) * 2008-04-30 2009-11-04 北京工业大学 立体声编解码方法、编解码器及编解码系统
US20100177706A1 (en) * 2009-01-13 2010-07-15 Alcatel-Lucent Usa, Inc. Method of handling transmission of data to a mobile device through multiple channels
CN102682776A (zh) * 2012-05-28 2012-09-19 深圳市茁壮网络股份有限公司 一种音频数据的处理方法和服务器
CN102752703A (zh) * 2012-06-28 2012-10-24 深圳Tcl新技术有限公司 单声道输入双声道输出的方法、装置及电视机
CN102810313A (zh) * 2011-06-02 2012-12-05 华为终端有限公司 音频解码方法及装置
CN102810314A (zh) * 2011-06-02 2012-12-05 华为终端有限公司 音频编码方法及装置、音频解码方法及装置、编解码系统
CN103237259A (zh) * 2013-03-29 2013-08-07 天脉聚源(北京)传媒科技有限公司 一种视频声道处理装置及方法
CN104506287A (zh) * 2014-12-29 2015-04-08 重庆邮电大学 一种td-lte应急通信下的实时语音通信方法
CN105378834A (zh) * 2013-07-05 2016-03-02 杜比国际公司 丢包掩蔽装置和方法以及音频处理系统
CN106209915A (zh) * 2016-08-31 2016-12-07 深圳聚点互动科技有限公司 一种实时流媒体无线传输方法及其系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262790A1 (en) * 2001-03-12 2006-11-23 Polycom, Inc. Low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
CN101572088A (zh) * 2008-04-30 2009-11-04 北京工业大学 立体声编解码方法、编解码器及编解码系统
US20100177706A1 (en) * 2009-01-13 2010-07-15 Alcatel-Lucent Usa, Inc. Method of handling transmission of data to a mobile device through multiple channels
CN102810313A (zh) * 2011-06-02 2012-12-05 华为终端有限公司 音频解码方法及装置
CN102810314A (zh) * 2011-06-02 2012-12-05 华为终端有限公司 音频编码方法及装置、音频解码方法及装置、编解码系统
CN102810313B (zh) * 2011-06-02 2014-01-01 华为终端有限公司 音频解码方法及装置
CN102682776A (zh) * 2012-05-28 2012-09-19 深圳市茁壮网络股份有限公司 一种音频数据的处理方法和服务器
CN102752703A (zh) * 2012-06-28 2012-10-24 深圳Tcl新技术有限公司 单声道输入双声道输出的方法、装置及电视机
CN103237259A (zh) * 2013-03-29 2013-08-07 天脉聚源(北京)传媒科技有限公司 一种视频声道处理装置及方法
CN105378834A (zh) * 2013-07-05 2016-03-02 杜比国际公司 丢包掩蔽装置和方法以及音频处理系统
CN104506287A (zh) * 2014-12-29 2015-04-08 重庆邮电大学 一种td-lte应急通信下的实时语音通信方法
CN106209915A (zh) * 2016-08-31 2016-12-07 深圳聚点互动科技有限公司 一种实时流媒体无线传输方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602338A (zh) * 2019-07-30 2019-12-20 广州视源电子科技股份有限公司 音频处理方法、装置、系统、存储介质以及设备
CN110602338B (zh) * 2019-07-30 2021-04-13 广州视源电子科技股份有限公司 音频处理方法、装置、系统、存储介质以及设备

Similar Documents

Publication Publication Date Title
US10930262B2 (en) Artificially generated speech for a communication session
US6167033A (en) Multiple-party network communication system and method of troubleshooting thereof
EP1271830B1 (en) Negotiated dynamic error correction for streamed media
CN101488967B (zh) 一种视频传输方法、嵌入式监控终端及监控平台服务器
CN103888818B (zh) 一种电视节目播放方法、设备和系统
CN105472477A (zh) 一种数据传输方法、装置及设备
US20230083441A1 (en) Managing subpacket transmission and reception for advanced interactive services
US20050062843A1 (en) Client-side audio mixing for conferencing
CN106941629B (zh) 基于sip+rtp与rtmp协议互通的实时直播方法
WO2002082772A3 (en) Systems and methods for voip wireless terminals
JP2003504897A (ja) 電話回線による高速映像伝送
WO2008077061A2 (en) Use of terrestrial channels to augment the number of satellite channels used for low latency traffic
CN108616334A (zh) 报文传输方法及装置、系统、存储介质、电子装置
CN103248964A (zh) 基于rtp/rtcp的车载视频传输系统
CN101123641A (zh) 基于分布式架构的无线网络电话监听装置的监听方法
CN112261633B (zh) 一种用于智能耳机的音频录音及转换方法
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
CN109147812B (zh) 回声消除方法和装置
CN105515943B (zh) 一种即时通讯实现方法
CN107293303A (zh) 一种多声道语音丢包补偿方法
CN108965777B (zh) 一种回声消除方法和装置
KR20040066641A (ko) 트랜스코딩을 이용한 동영상메일 통신장치 및 방법
CN106790030B (zh) 多屏协同音频传输服务端、客户端、系统及其处理方法
EP1802121A2 (en) Information provisioning device and method
CN109842856A (zh) 一种屏蔽上行丢包的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171024

WW01 Invention patent application withdrawn after publication