CN111988556B - 动态音视频编码传输方法、系统、装置及存储介质 - Google Patents

动态音视频编码传输方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN111988556B
CN111988556B CN202010892079.9A CN202010892079A CN111988556B CN 111988556 B CN111988556 B CN 111988556B CN 202010892079 A CN202010892079 A CN 202010892079A CN 111988556 B CN111988556 B CN 111988556B
Authority
CN
China
Prior art keywords
audio
video
data
current
coding parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010892079.9A
Other languages
English (en)
Other versions
CN111988556A (zh
Inventor
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Rongxun Video Technology Co ltd
Original Assignee
Shenzhen Rongxun Video Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rongxun Video Technology Co ltd filed Critical Shenzhen Rongxun Video Technology Co ltd
Priority to CN202010892079.9A priority Critical patent/CN111988556B/zh
Publication of CN111988556A publication Critical patent/CN111988556A/zh
Application granted granted Critical
Publication of CN111988556B publication Critical patent/CN111988556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种动态音视频编码传输方法、系统、装置及存储介质，包括以下步骤：发送当前音频/视频编码参数，根据当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；获取并保存音频/视频数据，根据音频/视频数据生产当前音频/视频缓存数据量；对音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；根据当前音频/视频缓存数据量、当前音频/视频成帧数据值和当前空包数据值的大小，调整音频/视频编码参数的质量。本发明能够针对音视频编码速率变化和带宽固定的特性，解决了专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。

Description

动态音视频编码传输方法、系统、装置及存储介质
技术领域
本发明涉及专线传输领域，涉及一种动态音视频编码传输方法及系统、装置及存储介质，特别是涉及一种专线视频会议动态音视频编码传输方法、系统、装置及存储介质。
背景技术
随着音视频编码技术的发展，宽带音频编码支持不同速率的编码；H.264和H.265视频等视频能力的编码速率也不固定，与视频格式、帧频和当前的编码帧的类型、图像场景等有关。
对于专线视频会议通信，由于音视频数据在固定的时隙中传输，即使音视频的编码速率可以变化，但音视频信道对应时隙固定，音视频格式的编码速率最大值也就固定了。由于专线的带宽固定，音频和视频的编码速率不能超带宽，所以音视频的编码速率要小于或等于当前带宽，从而使得现有的专线通道的带宽利用率较低，传输速度较慢。
发明内容
本发明的目的是克服现有技术中的不足之处，提供一种动态音视频编码传输方法、系统、装置及存储介质，针对音视频编码速率变化和带宽固定的特性，能够解决专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。
本发明的目的是通过以下技术方案来实现的：
一种动态音视频编码传输方法，包括以下步骤：
S110、发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；
S120、获取并保存音频/视频数据，根据所述音频/视频数据生产当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量；
S130、对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；
S140、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数。
在其中一个实施例中，所述步骤S140中，调整音频/视频编码参数的质量的步骤具体包括：
S141、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；或
S142、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量。
在其中一个实施例中，所述步骤S141中，提升音频/视频编码参数的质量的步骤具体包括：
1411、当所述当前空包数据值大于提升数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件时，若是，则执行步骤1412，否则执行步骤1413；
1412、增加音频/视频编码参数的质量，重新执行步骤S110；
1413、所述音频/视频编码参数保持不变。
在其中一个实施例中，所述步骤S142中，降低音频/视频编码参数的质量的步骤具体包括：
1421、当所述当前空包数据值小于降低数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件时，若是，则执行步骤1422，否则执行步骤1423；
1422、降低音频/视频编码参数的质量，重新执行步骤S110；
1423、所述音频/视频编码参数保持不变。
本发明还提供一种专线视频会议动态音视频编码传输系统，包括：
编码器控制单元，所述编码器控制单元用于向编码器发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；
发送缓存单元，所述发送缓存单元用于获取并保存音频/视频数据，根据所述音频/视频数据生产当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量；
H221成帧单元，所述H221成帧单元用于对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；及
参数调整单元，所述参数调整单元用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数。
在其中一个实施例中，所述参数调整单元包括提升判断器及降低判断器；
所述提升判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；
所述降低判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量。
在其中一个实施例中，所述提升判断器包括第一判断模块、第一调整模块及第一执行模块；
所述第一判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件；
所述第一调整模块用于增加音频/视频编码参数的质量；
所述第一执行模块用于所述音频/视频编码参数保持不变。
在其中一个实施例中，所述降低判断器包括第二判断模块、第二调整模块及第二执行模块；
所述第二判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件；
所述第二调整模块用于降低音频/视频编码参数的质量；
所述第二执行模块用于所述音频/视频编码参数保持不变。
本发明还提供一种装置，所述装置包括：
处理器，
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行，使得所述处理器实现以上任意一项所述的动态音视频编码传输方法。
本发明还提供一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在装置执行以上任意一项所述动态音视频编码传输方法。
本发明相比于现有技术的优点及有益效果如下：
本发明为一种动态音视频编码传输方法、系统、装置及存储介质，能够根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，从而针对音视频编码速率变化和带宽固定的特性，解决了专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为H.320协议根据模式码确定音频、视频和数据信道传输对应的时隙的示意图；
图2为本发明一实施方式的动态音视频编码传输方法的流程图；
图3为本发明一实施方式的动态音视频编码传输系统的功能模块图；
图4为本发明实施例六提供的一种装置的结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，专线视频会议采用H.320协议实现音视频通信，通过BAS能力码进行音视频编码格式等的能力协商，然后通过BAS模式码通知对端本端的编码格式和速率，在E1线路中传输音频、视频和数据等信息。进一步地，对端本段是指通知对端和本端发送给对方的编码格式和速率。一条E1是2M的链路，用脉码调制(PCM)编码，包含32个时隙TS0-TS31，每个时隙为64Kbps。其中TS0为帧同步码。TS16为信令时隙，TS1至TS15和TS17至TS31共30个时隙传送音频、视频或数据等信息。H.320协议传输的H221数据帧是通过TS1至TS15和TS17至TS31时隙传输的。
请参阅图1，H.320协议根据模式码确定音频、视频和数据信道传输对应的时隙。模式码为音频56K、视频、数据信道HSD-512k和远遥信道LSD时，音频和远遥信道占用TS1，视频数据占用TS2至TS15和TS17至TS23，数据信道HSD-512K占用TS24至TS31。
而针对音视频编码速率变化和带宽固定的特性，为了解决专线通道带宽利用率低问题，提高专线通道传输中音视频数据带宽利用率，提升音频和视频通信效果。本发明提供一种一种动态音视频编码传输方法、系统、装置及存储介质。具体如下：
实施例一
请参阅图2，一实施方式中，本发明提供一种动态音视频编码传输方法，包括以下步骤：
S110、发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值。
需要说明的是，编码器控制单元向音频编码器发送音频编码参数，根据当前的音频参数向H221成帧控制单元发送H221帧结构中所音频数据的最大值。编码器控制单元向视频编码器发送视频编码参数，根据当前的视频频参数向H221成帧控制单元发送H221帧结构中视频数据最大值。
S120、获取并保存音频/视频数据，根据所述音频/视频数据生产当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量。
需要说明的是，音频编码器将数据发给音频发送缓存单元，音频发送缓存单元将当前音频缓存数据量反馈给编码器控制单元；视频编码器将数据发送给视频发送缓存单元，视频发送缓存单元将视频缓存数据量反馈给编码器控制单元。
S130、对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值。
S140、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数。
需要说明的是，H221成帧单元根据编码控制单元发送的H221成帧的音频数据最大值从音频发送缓存单元获取音频数据；H221成帧单元根据编码控制单元发送的H221成帧的视频数据最大值从视频发送缓存单元获取视频数据。经过H221成帧处理后，将当前帧中音频成帧数据值、视频成帧数据值和当前空包数据值(无效数据)大小反馈给编码器控制单元。
如此，通过能够根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，从而针对音视频编码速率变化和带宽固定的特性，解决了专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。
具体地，所述步骤S140中，调整音频/视频编码参数的质量的步骤具体包括：
S141、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；或
S142、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量。
需要说明的是，编码器控制单元结合音频发送缓存单元的反馈、视频发送缓存单元的反馈和H221成帧单元的反馈，决定提升音频或视频编码质量，或者降低音频或视频编码质量，提升专线视频会议音视频数据的复用率。将固定周期作为编码器控制单元的编码参数控制的决策周期。在本实施例中，所述决策周期为5～20次。优选的，所述决策周期为10次。
进一步地，所述步骤S141中，提升音频/视频编码参数的质量的步骤具体包括：
1411、当所述当前空包数据值大于提升数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件时，若是，则执行步骤1412，否则执行步骤1413；具体地，所述提升数据阈值是个经验值，与当前的音频/视频格式有关，满足提升音频/视频质量参数后用于发送音频/视频新增数据量。所述提升数据阈值为当前音频/视频格式到要提升的音频/视频格式所需的空包数据大小，以提升音频或视频的编码质量，提升专线视频会议音视频数据的复用率。
1412、增加音频/视频编码参数的质量，重新执行步骤S110；
1413、所述音频/视频编码参数保持不变。
需要说明的是，决策周期中H221帧结构中空包数据大小达到提升音频或视频编码参数所需要的数据大小的阈值。然后判断音频或视频发送缓存单元的数据量，当音频发送缓存单元的当前音频缓存数据量满足升速条件或视频发送缓存单元当前视频缓存数据量满足升速条件时，即可提升音频或视频编码质量。编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值。
进一步地，所述步骤S142中，降低音频/视频编码参数的质量的步骤具体包括：
1421、当所述当前空包数据值小于降低数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件时，若是，则执行步骤1422，否则执行步骤1423；具体地，所述降低数据的阈值是个经验值，与当前的音频/视频编码参数有关。所述降低数据阈值为当前音频/视频格式到要降低的音频/视频格式所需的空包数据大小，以降低音频或视频的编码质量，提升专线视频会议音视频数据的复用率。
1422、降低音频/视频编码参数的质量，重新执行步骤S110；
1423、所述音频/视频编码参数保持不变。
需要说明的是，决策周期中H221成帧单元的空包数据大小不满足提升音频或视频编码参数所需要的数据大小。当音频或视频发送缓存单元的数据满足降速条件的阈值时，即可降低音频或视频编码质量，避免数据累积导致延时过大或音视频数据丢失。编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值。
实施例二
在本实施例中，视频采用固定参数编码，音频采用动态参数编码。
开始时，音频和视频编码参数按满足固定带宽传输的编码参数发送。
当H221成帧单元反馈值和发送缓冲单元反馈值满足音频编码提升质量时，编码器控制单元向音频编码器发送新的参数，并向H221成帧单元发送H221帧数据中音频数据最大值和视频数据最大值。
当H221成帧单元反馈值和发送缓冲单元反馈值满足降低音频编码质量时，降低音频编码质量，编码器控制单元向音频编码器发送新的编码参数，并向H221成帧单元发送H221帧数据中音频数据最大值和视频数据最大值。
因此，根据视频码流速率大小的变化动态调整音频编码参数，提升音频通信效果，并且当视频有编码突发码流增大情况下，通过音频降低码率方式尽快消除视频时延或视频数据丢失。
实施例三
在本实施例中，音频采用固定参数编码，视频采用动态参数编码。
开始时，音频和视频编码参数按满足固定带宽传输的编码参数发送。
当H221成帧单元反馈值和发送缓冲单元反馈值满足视频编码提升质量时，编码器控制单元向视频编码器发送新的参数，并向H221成帧单元发送H221帧数据中视频数据最大值和音频数据最大值。
当H221成帧单元反馈值和发送缓冲单元反馈值满足降低视频编码质量时，降低视频编码质量，编码器控制单元向视频编码器发送新的编码参数，并向H221成帧单元发送H221帧数据中视频数据最大值和音频数据最大值。
因此，根据音频码流速率大小的变化动态调整视频编码参数，提升视频通信效果，并且当音频有编码突发码流增大情况下，通过视频降低码率方式尽快消除音频时延或音频数据丢失。
实施例四
视频和音频都采用动态参数编码，按设置的优先策略进行动态音频编码和视频编码。例如音频和视频有两个编码参数，音频低速参数和音频高速参数，视频低速编码参数和视频高速编码参数。
开始时，编码器控制单元将音频低速参数下方给音频编码器，将视频低速编码参数发送给视频编码器。
音频质量优先时，当H221成帧单元反馈值和发送缓冲单元反馈值满足音频或视频编码升速时，编码器控制单元将音频高速参数发送给音频编码器，并向H221成帧单元发送H221帧数据中音频数据最大值。音频参数为音频高速参数时，当H221成帧的当前空包数据值和发送缓冲单元数值满足视频编码升速时，编码器控制单元将视频高速编码参数发送给视频编码器，并向H221成帧单元发送H221帧数据中视频数据最大值，从而实现音频编码质量和视频编码质量的提升。
而另一种情况，当H221成帧单元反馈值和发送缓冲单元反馈值满足降速，并且视频的参数为视频高速编码参数时，编码器控制单元将视频低速编码参数发送给视频编码器，并向H221成帧单元发送H221帧数据中视频数据最大值；而进一步地，当H221成帧单元反馈值和发送缓冲单元反馈值满足降速时，视频的参数为视频低速编码参数时，编码器控制单元将音频低速参数下方给音频编码器，并向H221成帧单元发送H221帧数据中音频数据最大值。由此，音频和视频采用同一组TS时隙通道传输，可以实现动态控制音频和视频的编码率，提高了专线视频会议传输的负载利用率，提升音频和视频通信质量。
视频质量优先时，当H221成帧单元反馈值和发送缓冲单元反馈值满足音频或视频编码升速时，编码器控制单元将视频高速参数发送给视频编码器，并向H221成帧单元发送H221帧数据中视频数据最大值；视频参数为视频高速参数时，当H221成帧单元反馈值和发送缓冲单元反馈值满足音频编码升速时，编码器控制单元将音频高速编码参数发送给音频编码器，并向H221成帧单元发送H221帧数据中音频数据最大值，从而根据H221帧数据中空包数据和编码缓存区情况动态控制编码参数，可以解决音频或视频编码的超码导致的时延大或丢包问题，提升音视频通信效果。
而另一种情况，当H221成帧单元反馈值和发送缓冲单元反馈值满足降速，并且音频的参数为音频高速编码参数时，编码器控制单元将音频低速编码参数发送给音频编码器，并向H221成帧单元发送H221帧数据中音频数据最大值；当H221成帧单元反馈值和发送缓冲单元反馈值满足降速时，音频的参数为音频低速编码参数时，编码器控制单元将视频低速参数下方给音频编码器，并向H221成帧单元发送H221帧数据中视频数据最大值。由此，根据H221成帧单元和编码缓冲区状态判断是否动态变化当前音频和视频编码参数，通过动态调整音频和视频参数，提升音频和视频通信效果。
以上是三种编码速率的动态编码策略，音频和视频可以使用多个编码参数来动态编码，将音频或视频优先策略与不同的编码参数相结合，达到最好的音视频通信效果。
实施例五
请参阅图3，本发明还提供一种专线视频会议动态音视频编码传输系统，包括：编码器控制单元100、发送缓存单元200、H221成帧单元300及参数调整单元400，还包括编码器500，其中所述编码器500包括音频编码器510和视频编码器520。
所述编码器控制单元100用于向编码器发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；具体地，所述音频编码器510接收音频编码参数，所述视频编码器520用于接收视频编码参数。
所述发送缓存单元200用于获取并保存音频/视频数据，根据所述音频/视频数据生产当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量。需要说明的是，所述发送缓存单元200包括音频发送缓存单元和视频发送缓存单元，其中，所述音频发送缓存单元用于获取并保存音频数据，所述视频发送缓存单元用于获取并保存视频数据。
所述H221成帧单元300用于对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；
所述参数调整单元400用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数。
如此，通过能够根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，从而针对音视频编码速率变化和带宽固定的特性，解决了专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。
需要说明的是，所述编码器控制单元100可以控制音频编码器510和视频编码器520。向音频编码器和视频编码器发送编码参数，控制编码器的编码格式。通过音频发送缓存单元和视频发送缓存单元数据堆积情况和H221成帧单元的音视频数据负载利率调整音频编码参数和视频编码参数，并控制H221成帧单元中H221帧数据中音视和视频数据大小。
音频编码器，是由编码器控制单元控制，根据编码参数进行编码，将数据发送给音频发送缓存单元。
视频编码器，是由编码器控制单元控制，根据编码参数进行编码，将数据发送给视频发送缓存单元。
音频发送缓存单元，可以用于存放音频编码器的音频数据，该缓存单元的作用为缓存一定时间的音频数据，防止突然超码导致的音频数据发送失败，H221成帧单元获取音频发送缓存单元的音频数据后，音频发送缓存单元向编码器控制单元反馈当前音频缓存数据量的大小。
视频发送缓存单元，可以用于存放视频编码器的视频数据，该缓存单元的作用为缓存一定时间的视频数据，防止突然超码导致的视频数据发送失败，H221成帧单元获取视频发送缓存区的视频数据后，视频发送缓存区向编码器控制单元反馈当前视频缓存数据量的大小。
H221成帧单元，可以按照H320协议规范将音频和视频数据放到H221成帧数据中，音频数据和视频数据不再占用固定时隙传输，将音频时隙和视频时隙合成为一个时隙组合进行音频和视频数据发送，编码器控制单元控制H221成帧单元中每次H221帧所需要的音频数据最大值和视频数据最大值。H221成帧单元按音频数据最大值从音频缓存单元获取数据，按视频数据最大值从视频缓存单元获取数据，组成H221帧数据。音频数据和视频数据不能完全填充音频和视频的时隙组合时，填充特定格式的空包数据，这样接收端解析H221帧结构时可以区分有效数据和空包数据值(无效数据)。H221成帧单元每次成帧后向编码器控制单元反馈当前空包数据值(无效数据)、音频成帧数据值的大小和视频成帧数据值的大小。
TS时隙数据区，为H221成帧单元将帧数据发送给TS时隙数据区，TS时隙数据在E1专线中传输。
进一步地，所述参数调整单元包括提升判断器及降低判断器；
所述提升判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；
所述降低判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量。
进一步地，所述提升判断器包括第一判断模块、第一调整模块及第一执行模块；
所述第一判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件；
所述第一调整模块用于增加音频/视频编码参数的质量；
所述第一执行模块用于所述音频/视频编码参数保持不变。
进一步地，所述降低判断器包括第二判断模块、第二调整模块及第二执行模块；
所述第二判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件；
所述第二调整模块用于降低音频/视频编码参数的质量；
所述第二执行模块用于所述音频/视频编码参数保持不变。
实施例六
本发明实施例还提供一种装置，所述装置包括：
处理器，
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行，使得所述处理器实现以上任意一项所述的动态音视频编码传输方法。
请参阅图4，图4为本发明实施例六提供的一种装置的结构示意图，该装置包括处理器710和存储器720；装置中的处理器710和存储器720可以通过总线或其他方式连接，图4，中以通过总线连接为例。存储器720作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的命令处理方法对应的程序指令/模块(例如，编码器控制单元100、发送缓存单元200、H221成帧单元300及参数调整单元400)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行装置中的各种功能应用以及数据处理，即实现上述的命令处理方法。
实施例七
本发明实施例还提供一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行实施例一至实施例四中任一实施例中的动态音视频编码传输方法。
本发明实施例还提供一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在装置执行以上任意一项所述动态音视频编码传输方法。
当然，本发明实施例所提供的一种处理器可执行指令的存储介质，其处理器可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的动态音视频编码传输方法中的相关操作。
本发明相比于现有技术的优点及有益效果如下：
本发明为一种动态音视频编码传输方法、系统、装置及存储介质，能够根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，从而针对音视频编码速率变化和带宽固定的特性，解决了专线通道带宽利用率低的问题，提高专线通道传输中音视频数据带宽利用率，进而提升音频和视频通信效果。
以上所述实施方式仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种动态音视频编码传输方法，其特征在于，包括以下步骤：
S110、发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；
S120、获取并保存音频/视频数据，根据所述音频/视频数据生成当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量；
S130、对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；
S140、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数；
所述步骤S140中，调整音频/视频编码参数的质量的步骤具体包括：
S141、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；
或S142、根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量；
所述步骤S141中，提升音频/视频编码参数的质量的步骤具体包括：
1411、当所述当前空包数据值大于提升数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件时，若是，则执行步骤1412，否则执行步骤1413；
1412、增加音频/视频编码参数的质量，重新执行步骤S110；
1413、所述音频/视频编码参数保持不变；
决策周期中H221帧结构中空包数据大小达到提升音频或视频编码参数所需要的数据大小的阈值，判断音频或视频发送缓存单元的数据量，当音频发送缓存单元的当前音频缓存数据量满足升速条件或视频发送缓存单元当前视频缓存数据量满足升速条件时，编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值；
所述步骤S142中，降低音频/视频编码参数的质量的步骤具体包括：
1421、当所述当前空包数据值小于降低数据阈值时，判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件时，若是，则执行步骤1422，否则执行步骤1423；
1422、降低音频/视频编码参数的质量，重新执行步骤S110；
1423、所述音频/视频编码参数保持不变；
决策周期中H221成帧单元的空包数据大小不满足提升音频或视频编码参数所需要的数据大小，当音频或视频发送缓存单元的数据满足降速条件的阈值时，编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值。
2.一种动态音视频编码传输系统，其特征在于，包括：
编码器控制单元，所述编码器控制单元用于向编码器发送当前音频/视频编码参数，根据所述当前音频/视频编码参数生成H221帧结构中所对应的音频/视频数据最大值；
发送缓存单元，所述发送缓存单元用于获取并保存音频/视频数据，根据所述音频/视频数据生成当前音频/视频缓存数据量，并发出所述当前音频/视频缓存数据量；
H221成帧单元，所述H221成帧单元用于对所述音频/视频数据进行H221成帧处理，生成当前音频/视频成帧数据值和当前空包数据值；及参数调整单元，所述参数调整单元用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，调整音频/视频编码参数的质量，发出音频/视频编码参数；
所述参数调整单元包括提升判断器及降低判断器；
所述提升判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，提升音频/视频编码参数的质量；
所述降低判断器用于根据所述当前音频/视频缓存数据量、所述当前音频/视频成帧数据值和所述当前空包数据值的大小，降低音频/视频编码参数的质量；
所述提升判断器包括第一判断模块、第一调整模块及第一执行模块；
所述第一判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足升速条件；
所述第一调整模块用于增加音频/视频编码参数的质量；
所述第一执行模块用于所述音频/视频编码参数保持不变；
决策周期中H221帧结构中空包数据大小达到提升音频或视频编码参数所需要的数据大小的阈值，判断音频或视频发送缓存单元的数据量，当音频发送缓存单元的当前音频缓存数据量满足升速条件或视频发送缓存单元当前视频缓存数据量满足升速条件时，编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值；
所述降低判断器包括第二判断模块、第二调整模块及第二执行模块；
所述第二判断模块用于判断所述当前音频缓存数据量或视频缓存数据量是否满足降速条件；
所述第二调整模块用于降低音频/视频编码参数的质量；
所述第二执行模块用于所述音频/视频编码参数保持不变；
决策周期中H221成帧单元的空包数据大小不满足提升音频或视频编码参数所需要的数据大小，当音频或视频发送缓存单元的数据满足降速条件的阈值时，编码控制单元发送新的编码参数给音频编码器或视频编码器，同时向H221成帧控制单元发送H221帧结构中音频或视频数据最大值。
3.一种装置，其特征在于，所述装置包括：
处理器，
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述处理器执行，使得所述处理器实现如权利要求1所述的动态音视频编码传输。
4.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在装置执行如权利要求1所述动态音视频编码传输。
CN202010892079.9A 2020-08-28 2020-08-28 动态音视频编码传输方法、系统、装置及存储介质 Active CN111988556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892079.9A CN111988556B (zh) 2020-08-28 2020-08-28 动态音视频编码传输方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892079.9A CN111988556B (zh) 2020-08-28 2020-08-28 动态音视频编码传输方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111988556A CN111988556A (zh) 2020-11-24
CN111988556B true CN111988556B (zh) 2022-04-26

Family

ID=73441245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892079.9A Active CN111988556B (zh) 2020-08-28 2020-08-28 动态音视频编码传输方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111988556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565664B (zh) * 2020-11-27 2023-04-28 北京融讯科创技术有限公司 视频会议码流反馈方法、装置、设备及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743792A1 (en) * 1995-05-16 1996-11-20 Ncr International Inc. Video conferencing system
JPH0918881A (ja) * 1995-06-30 1997-01-17 Meidensha Corp 動画像データの通信・再生方法
CN1217851A (zh) * 1996-05-09 1999-05-26 汤姆森多媒体公司 可变比特率编码器
JP2000013465A (ja) * 1998-06-25 2000-01-14 Sharp Corp 情報通信端末
WO2000040032A1 (en) * 1998-12-23 2000-07-06 Koninklijke Philips Electronics N.V. Adaptive buffer and quantizer regulation scheme for bandwidth scalability of video data
CN101098451A (zh) * 2007-08-01 2008-01-02 中兴通讯股份有限公司 E1专线大容量会议电视系统信令传输方法
CN101341756A (zh) * 2005-10-27 2009-01-07 高通股份有限公司 用于视频电话的视频源速率控制
CN101488916A (zh) * 2009-01-24 2009-07-22 深圳华为通信技术有限公司 一种基于视频会议的带宽控制方法、装置、终端及系统
CN102695058A (zh) * 2012-05-30 2012-09-26 北京世纪鼎点软件有限公司 基于大尺度缓冲策略的音、视频编码流控方法
CN105323578A (zh) * 2014-06-27 2016-02-10 北京数码视讯科技股份有限公司 统计复用方法及装置
CN110996038A (zh) * 2019-11-19 2020-04-10 清华大学 一种面向多人互动直播的自适应码率调节方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0743792A1 (en) * 1995-05-16 1996-11-20 Ncr International Inc. Video conferencing system
JPH0918881A (ja) * 1995-06-30 1997-01-17 Meidensha Corp 動画像データの通信・再生方法
CN1217851A (zh) * 1996-05-09 1999-05-26 汤姆森多媒体公司 可变比特率编码器
JP2000013465A (ja) * 1998-06-25 2000-01-14 Sharp Corp 情報通信端末
WO2000040032A1 (en) * 1998-12-23 2000-07-06 Koninklijke Philips Electronics N.V. Adaptive buffer and quantizer regulation scheme for bandwidth scalability of video data
CN101341756A (zh) * 2005-10-27 2009-01-07 高通股份有限公司 用于视频电话的视频源速率控制
CN101098451A (zh) * 2007-08-01 2008-01-02 中兴通讯股份有限公司 E1专线大容量会议电视系统信令传输方法
CN101488916A (zh) * 2009-01-24 2009-07-22 深圳华为通信技术有限公司 一种基于视频会议的带宽控制方法、装置、终端及系统
CN102695058A (zh) * 2012-05-30 2012-09-26 北京世纪鼎点软件有限公司 基于大尺度缓冲策略的音、视频编码流控方法
CN105323578A (zh) * 2014-06-27 2016-02-10 北京数码视讯科技股份有限公司 统计复用方法及装置
CN110996038A (zh) * 2019-11-19 2020-04-10 清华大学 一种面向多人互动直播的自适应码率调节方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H.323视频会议系统中视频编解码子系统设计若干问题的研究;王中元等;《电子与信息学报》;20070731;全文 *
检察机关专线网视频会议系统设计及实施;邢晓辉;《中国优秀硕士论文全文数据库 信息科技辑》;20070915;全文 *

Also Published As

Publication number Publication date
CN111988556A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN105025249B (zh) 视频监控数据传输控制方法、装置及视频监控系统
US9137530B2 (en) Video communication method and system for dynamically modifying video encoding
CN108881780B (zh) 视频通话中动态调整清晰度模式的方法、服务器
US8831091B2 (en) Adaptive wireless channel allocation for media distribution in a multi-user environment
US20140321378A1 (en) Method and device for video transmission
WO2016050145A1 (zh) 编码参数调整方法及装置
CN109495157B (zh) 一种基于ccsds协议的全双工高吞吐率双向arq通信系统及方法
CN103096084A (zh) 一种无线传输中码率自适应调节的方法、装置及系统
CN102905128B (zh) 编解码处理器在无线视频传输过程中码率控制的方法
CN104519325A (zh) 一种基于4g网络的无线视频监控系统自适应保障方法
CN101742289B (zh) 视频码流压缩方法、系统及装置
CN102098547A (zh) 一种嵌入式网络自适应/实时高清视频的传输方法
JP2007324759A (ja) 無線通信装置及び送信制御方法
CN101860733A (zh) 3g网络视频监控系统与监控方法
CN105812711A (zh) 视频通话过程中优化图像质量的方法及系统
CN111988556B (zh) 动态音视频编码传输方法、系统、装置及存储介质
CN106162257B (zh) 一种实时视频的自适应网络传输优化方法
CN101931799A (zh) 一种视频码流的平滑方法及装置
CN102780877B (zh) 视频数据发送方法及设备
US20150146590A1 (en) Ethernet Physical Layer Device Using Time Division Duplex
CN102045552A (zh) 一种多媒体码流发送的方法和系统
CN105376595A (zh) 一种视频混合编码系统和方法
CN111404602A (zh) 一种低光功率下调顶信号的通信方法及系统、光模块
CN104010166A (zh) 一种车载设备无线远程视频监控自适应传输的方法
CN1332575A (zh) 数字动态图像的传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant