CN114024925B - 一种非连续性通话音频流传输队列控制方法 - Google Patents

一种非连续性通话音频流传输队列控制方法 Download PDF

Info

Publication number
CN114024925B
CN114024925B CN202111286182.XA CN202111286182A CN114024925B CN 114024925 B CN114024925 B CN 114024925B CN 202111286182 A CN202111286182 A CN 202111286182A CN 114024925 B CN114024925 B CN 114024925B
Authority
CN
China
Prior art keywords
audio stream
stream file
queue
file
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111286182.XA
Other languages
English (en)
Other versions
CN114024925A (zh
Inventor
李晓非
张胤
廖健
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Datalk Technology Co ltd
Original Assignee
Chengdu Datalk Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Datalk Technology Co ltd filed Critical Chengdu Datalk Technology Co ltd
Priority to CN202111286182.XA priority Critical patent/CN114024925B/zh
Publication of CN114024925A publication Critical patent/CN114024925A/zh
Application granted granted Critical
Publication of CN114024925B publication Critical patent/CN114024925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种非连续性通话音频流传输队列控制方法，包括初始化一个音频流文件队列缓冲区实例；开启监控模式，当已有队列缓冲区实例内音频流文件队列达到上限时，创建新的音频流文件队列缓冲区实例；监听同一来源的音频流文件，将其放置在任意未达上限的队列缓冲区实例内；对各个音频流文件标记序号；计算各个音频播放时长；从队列缓冲区取出最小序号的音频流文件，并向目标端口传输；等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功；如果未成功，则再次传输该音频流文件至目标端口；如果接收成功，则在队列中删除该音频流文件信息，并获取队列下一个序号最小的音频流文件，向目标端口传输。

Description

一种非连续性通话音频流传输队列控制方法
技术领域
本发明属于即时通信领域内多媒体终端通信互联的技术领域，具体涉及一种非连续性通话音频流传输队列控制方法。
背景技术
目前，即时通信领域，有点对点音频、点对点视频、音频会议、视频会议等多种业务形态。这些业务一般采用连续性的音频流传输方式，实现输入发送端到输出接收端的通信。而随着文字与语音互转技术的发展，非连续性的音频流传输需求开始涌现。例如：针对语言障碍人士，可以通过终端输入文字，经转换器处理后分段生成音频文件，再由中继传输服务器按RTP/RTCP协议传输至运营商通话业务核心网，并转换为移动电话语音信号，让对方听到输入的文字内容。
由于文字转换为语音的处理过程需要耗费时间，且有断句处理，所以，连续多个音频文件输出耗费的时间可能不同、音频播放的时长也不尽相同。如果音频转换输出速度大于接收端音频播放的速度，那么传输通道内的音频数据流就容易出现叠加或者网络拥塞，最终导致接收端通话音频效果失真。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种非连续性通话音频流传输队列控制方法，以解决现有技术存在的音频流叠加及网络拥塞的问题。
为达到上述目的，本发明采取的技术方案是：
一种非连续性通话音频流传输队列控制方法，其包括：
S1、队列控制器初始化一个音频流文件队列缓冲区实例Q1；
S2、队列控制器开启监控模式，当已有队列缓冲区实例内音频流文件队列达到上限时，创建下一个新的音频流文件队列缓冲区实例Qx，其中，x∈N+,升序取值；
S3、队列控制器监听同一来源的音频流文件，将所述音频流文件放置在任意未达上限的队列缓冲区实例Qn内，其中，n∈N+,升序取值；
S4、队列控制器对每个队列缓冲区实例内的音频流文件标记序号Sn，其中，n∈N+，升序取值；
S5、计算对应序号的音频流文件播放时长Dm，其中，m∈N*；
S6、取出序号最小的音频流文件S1，向目标端口传输字节，并记录开始时间点T1；
S7、等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功；
S8、若目标端音频流文件接收未成功，则返回步骤S6；
S9、若目标端音频流文件接收成功，则在实例队列中删除音频流文件S1信息，获取队列下一个序号最小的音频流文件S2，并向目标端口传输字节，记录开始时间T2；
S10、重复步骤S6-步骤S9，直至全部音频流文件传输完毕。
进一步地，步骤S4中根据接收顺序对每个队列缓冲区实例内的音频流文件标记序号。
进一步地，步骤S5中根据音频编码格式、采样率、采样位数、声道数、文件大小，计算对应序号的音频流文件播放时长Dm。
进一步地，步骤S7中等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功，包括：
当时间到达(T1+D1)时，即开始传输时间点加上音频流文件播放时长，通过RTCP协议询问音频流文件S1接收是否成功；
发送端将本次文件的字节大小通过RTCP协议的SDES源描述包传给接收端，接收端将接收到的音频流文件的字节大小与发送端给的大小信息做比较，如果文件大小一致，则认为此次音频文件接收成功；否则，则认为接收未成功；
其中，接收端是通过RTCP协议的RR接收者报告包，反馈文件字节大小比较结果信息给发送端。
本发明提供的非连续性通话音频流传输队列控制方法，具有以下有益效果：
本发明可应用于有序非连续性分段语音流的传输控制，实现接收端流畅的语音通话接听效果，且可实现非连续性语音流传输的发送端和接收端协调控制，避免了非连续性语音流传输过程中的音频失真。
附图说明
图1为连续性通话音频流传输参照示意图。
图2为非连续性通话音频传输发生“叠加”情况示意图。
图3为非连续性通话音频传输发生“拥塞”情况示意图。
图4为非连续性通话音频传输采用本发明“队列控制器”装置情况示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的实施例一，参考图1-图4，本方案的非连续性通话音频流传输队列控制方法，包括以下步骤：
步骤S1、队列控制器初始化一个音频流文件队列缓冲区实例Q1；
步骤S2、队列控制器开启监控模式，当已有队列缓冲区实例内音频流文件队列达到上限时，创建下一个新的音频流文件队列缓冲区实例Qx，其中，x∈N+,升序取值；
步骤S3、队列控制器监听同一来源的音频流文件，将所述音频流文件放置在任意未达上限的队列缓冲区实例Qn内，其中，n∈N+,升序取值；
步骤S4、队列控制器对每个队列缓冲区实例内的音频流文件标记序号Sn，其中，n∈N+，升序取值；
本步骤具体根据接收顺序对每个队列缓冲区实例内的音频流文件标记序号；
步骤S5、计算对应序号的音频流文件播放时长Dm，其中，m∈N*；
具体的本步骤步骤根据音频编码格式、采样率、采样位数、声道数、文件大小，计算对应序号的音频流文件播放时长Dm；
步骤S6、取出序号最小的音频流文件S1，向目标端口传输字节，并记录开始时间点T1；
步骤S7、等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功；
其中，Tn+Dm为开始传输时间点加上音频流文件播放时长，此时，听筒内本次传输的音频文件理论上已接收并播放完毕。
为确认接收端确实完成了该文件的接收和播放步骤，发送端将本次文件的字节大小通过RTCP协议的SDES源描述包传给接收端，接收端将接收到的音频流文件的字节大小与发送端给的大小信息做比较，如果文件大小一致，则认为此次音频文件接收成功。否则，则认为接收未成功。
此外，接收端是通过RTCP协议的RR接收者报告包，反馈该大小比较结果信息给发送端的。
步骤S8、若目标端音频流文件接收未成功，则返回步骤S6；
步骤S9、若目标端音频流文件接收成功，则在实例队列中删除音频流文件S1信息，获取队列下一个序号最小的音频流文件S2，并向目标端口传输字节，记录开始时间T2；
步骤S10、传输队列控制器，当时间到达(T2+D2)时，通过RTCP协议询问音频流文件S2接收是否成功；
步骤S11、当音频流文件S2接收未成功时，重复步骤S9；
步骤S12、当音频流文件S2接收成功时，所属实例队列中删除音频流文件S2信息，获取队列下一个序号最小的音频流文件S3，向目标端口传输字节，并记录开始时间T3；
步骤S13、重复步骤S6-步骤S9，以此类推，直至执行完全部n个音频流文件的传输。
根据本申请的实施例二，本方案的非连续性通话音频流传输队列控制方法，包括以下步骤：
步骤S1、队列控制器初始化一个音频流文件队列缓冲区实例Q1；
步骤S2、队列控制器开启监控模式，当已有队列缓冲区实例内音频流文件队列达到上限时，创建下一个新的音频流文件队列缓冲区实例；
步骤S3、队列控制器监听到文字转换为语音后的音频流文件S1，该音频流文件的属性值如下：
Figure BDA0003332919700000051
Figure BDA0003332919700000061
步骤S4、根据以上音频流文件属性信息，计算音频流文件的播放时长D1，具体为：
由公式：文件大小＝采样率*采样时间*(采样位数/8)*声道数，(D1等价于音频的采样时间)。
代入计算：1024＝16000*D1*(16/8)*1.可以得出：D1＝33s(32.768秒向上取整)；
步骤S5、队列控制器将音频流文件S1从队列中取出，并向目标端口传输字节，并记录开始时间点T1(14:30:00)
步骤S6、传输队列控制器，当时间到达(T1+D1)，即：14:30:33时，通过RTCP协议询问接收端音频流文件S1接收是否成功。
步骤S7、如果音频流文件S1接收未成功，则重复第5步操作
步骤S8、如果音频流文件S1接收成功，则所属实例队列中删除音频流文件S1信息，并获取队列下一个序号最小的音频流文件S2，向目标端口传输字节，并记录开始时间T2。
以此类推，直至执行完全部n个音频流文件的传输。
本发明通过队列控制器和动态队列缓冲区对非连续性通话音频流文件实现RTP/RTCP传输队列控制，可应用于有序非连续性分段语音流的传输控制，实现接收端流畅的语音通话接听效果，且可实现非连续性语音流传输的发送端和接收端协调控制，避免了非连续性语音流传输过程中的音频失真。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (3)

1.一种非连续性通话音频流传输队列控制方法，其特征在于，包括以下步骤：
S1、队列控制器初始化一个音频流文件队列缓冲区实例Q1；
S2、队列控制器开启监控模式，当已有队列缓冲区实例内音频流文件队列达到上限时，创建下一个新的音频流文件队列缓冲区实例Qx，其中，x∈N+,升序取值；
S3、队列控制器监听同一来源的音频流文件，将所述音频流文件放置在任意未达上限的队列缓冲区实例Qn内，其中，n∈N+,升序取值；
S4、队列控制器对每个队列缓冲区实例内的音频流文件标记序号Sn，其中，n∈N+，升序取值；
S5、计算对应序号的音频流文件播放时长Dm，其中，m∈N*；
S6、取出序号最小的音频流文件S1，向目标端口传输字节，并记录开始时间点T1；
S7、等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功，具体地，
等待最小序号的音频流文件播放时长后，询问目标端音频流文件是否接收成功，包括：
当时间到达(T1+D1)时，即开始传输时间点加上音频流文件播放时长，通过RTCP协议询问音频流文件S1接收是否成功；
发送端将本次文件的字节大小通过RTCP协议的SDES源描述包传给接收端，接收端将接收到的音频流文件的字节大小与发送端给的大小信息做比较，如果文件大小一致，则认为此次音频文件接收成功；否则，则认为接收未成功；
其中，接收端是通过RTCP协议的RR接收者报告包，反馈文件字节大小比较结果信息给发送端；
S8、若目标端音频流文件接收未成功，则返回步骤S6；
S9、若目标端音频流文件接收成功，则在实例队列中删除音频流文件S1信息，获取队列下一个序号最小的音频流文件S2，并向目标端口传输字节，记录开始时间T2；
S10、重复步骤S6-步骤S9，直至全部音频流文件传输完毕。
2.根据权利要求1所述的非连续性通话音频流传输队列控制方法，其特征在于：所述步骤S4中根据接收顺序对每个队列缓冲区实例内的音频流文件标记序号。
3.根据权利要求1所述的非连续性通话音频流传输队列控制方法，其特征在于：所述步骤S5中根据音频编码格式、采样率、采样位数、声道数、文件大小，计算对应序号的音频流文件播放时长Dm。
CN202111286182.XA 2021-11-02 2021-11-02 一种非连续性通话音频流传输队列控制方法 Active CN114024925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111286182.XA CN114024925B (zh) 2021-11-02 2021-11-02 一种非连续性通话音频流传输队列控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111286182.XA CN114024925B (zh) 2021-11-02 2021-11-02 一种非连续性通话音频流传输队列控制方法

Publications (2)

Publication Number Publication Date
CN114024925A CN114024925A (zh) 2022-02-08
CN114024925B true CN114024925B (zh) 2023-04-07

Family

ID=80059661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111286182.XA Active CN114024925B (zh) 2021-11-02 2021-11-02 一种非连续性通话音频流传输队列控制方法

Country Status (1)

Country Link
CN (1) CN114024925B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615649A (zh) * 2001-11-22 2005-05-11 Sk电信有限公司 一种提供视频数据流服务的方法
CN105744334A (zh) * 2016-02-18 2016-07-06 海信集团有限公司 一种音视频同步和同步播放的方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338386B (zh) * 2013-07-10 2016-01-13 航天恒星科技有限公司 基于简化时间戳的音视频同步方法
CN104580158B (zh) * 2014-12-12 2018-07-31 集时通（福建）信息科技有限公司 一种分布式平台文件与内容分发方法及系统
CN106162188B (zh) * 2015-04-28 2019-08-06 北京大学 视频码率自适应调整方法及装置
CN110166804B (zh) * 2018-02-11 2021-12-03 华为技术有限公司 实现视频业务的方法、设备、通信系统及计算机可读存储介质
CN113225598B (zh) * 2021-05-07 2023-01-20 上海一谈网络科技有限公司 移动端音视频同步的方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1615649A (zh) * 2001-11-22 2005-05-11 Sk电信有限公司 一种提供视频数据流服务的方法
CN105744334A (zh) * 2016-02-18 2016-07-06 海信集团有限公司 一种音视频同步和同步播放的方法及设备

Also Published As

Publication number Publication date
CN114024925A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US7656861B2 (en) Method and apparatus for interleaving text and media in a real-time transport session
CN100420229C (zh) 在数字通信系统中交替进行语音和数据传输的方法
US6167033A (en) Multiple-party network communication system and method of troubleshooting thereof
US20050157708A1 (en) System and method for providing unified messaging system service using voice over Internet protocol
US10069965B2 (en) Maintaining audio communication in a congested communication channel
ES2232188T3 (es) Sistema y metodo para comunicaciones basadas en ip que tiene texto generado a partir del habla.
US8359620B2 (en) Set-top box for wideband IP telephony service and method for providing wideband IP telephony service using set-top box
CN1636384A (zh) 进行带可选语音到文本转换的电话会议的方法和系统
CN101658000A (zh) 在通信系统中发送数据的方法
EP3039803B1 (en) Maintaining audio communication in a congested communication channel
CN109600341B (zh) 一种即时通信检测方法、设备和计算机存储介质
KR20010046161A (ko) 멀티미디어 메시징 서비스 장치 및 방법
CN114024925B (zh) 一种非连续性通话音频流传输队列控制方法
CN111787417B (zh) 基于人工智能ai的音视频的传输控制方法及相关设备
CN1247005A (zh) 作为一个短消息业务的字母数字短消息被发出的一个信息的传送方法和装置
CN101610321A (zh) 一种呼叫中心系统中话务员教练功能的实现方法
EP1475929B1 (en) Control component removing encoded frames from isochronous telecommunication stream
CN112887497A (zh) 通信方法、装置和计算机存储介质
JP3762709B2 (ja) 音声ｉｐ伝送システム
JP2000349824A (ja) 音声データ送受信システム
CN101488828B (zh) 一种电信端点
JP2005151044A (ja) 音声ミキシング方法、音声ミキシングシステム及び音声ミキシングのためのプログラム
CN1106734C (zh) 多方网络通信系统及其故障处理方法
TW200828915A (en) VOIP communication system and method
KR100706866B1 (ko) 이동 통신 단말기의 파일 전송 서비스를 지원하는 방법 및그 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant