CN117014647A - 一种音视频信息传输方法、系统、终端设备及存储介质 - Google Patents

一种音视频信息传输方法、系统、终端设备及存储介质 Download PDF

Info

Publication number
CN117014647A
CN117014647A CN202311026541.7A CN202311026541A CN117014647A CN 117014647 A CN117014647 A CN 117014647A CN 202311026541 A CN202311026541 A CN 202311026541A CN 117014647 A CN117014647 A CN 117014647A
Authority
CN
China
Prior art keywords
information
data packet
audio
text
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311026541.7A
Other languages
English (en)
Inventor
陈亚刚
孔祥海
汪洋
王增栋
张新成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Golden Bridge Information Technology Co ltd
Original Assignee
Shanghai Golden Bridge Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Golden Bridge Information Technology Co ltd filed Critical Shanghai Golden Bridge Information Technology Co ltd
Priority to CN202311026541.7A priority Critical patent/CN117014647A/zh
Publication of CN117014647A publication Critical patent/CN117014647A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433Allocation of priorities to traffic types
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种音视频信息传输方法、系统、终端设备及存储介质,涉及音视频传输的技术领域,其方法包括:获取待传输信息,所述待传输信息包括视频数据包、音频数据包和文本数据包;基于预设的传输优先级规则传输所述待传输信息;接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息,所述已传输信息包括所述视频数据包、音频数据包和文本数据包中的一个或者多个;将所述待处理信息进行转发和/或输出。本申请具有较为全面和完整地传输信息,减少硬件和传输环境导致的负面影响的效果。

Description

一种音视频信息传输方法、系统、终端设备及存储介质
技术领域
本申请涉及音视频传输的技术领域,尤其是涉及一种音视频信息传输方法、系统、终端设备及存储介质。
背景技术
音视频传输是将音视频信号通过有线或者无线方式从发送端传输到接收端或者终端,随着科技的不断发展,音视频传输在大多科技领域都成为了不可或缺的一部分。
在传统技术中,音视频传输普遍是将音频信号和视频信号进行打包,通过网络进行统一传输,在传输网络环境较好的情况下,接收端能够获取到完整的音视频信号。
然而,采用传统技术的传输方法,在安防监控、卫星通信等系统硬件功能有限或者传输网络环境较差的场景下,接收端获取到的音频信号或者视频信号均会出现不规则断断续续的情况,导致接收端不能够获取连续完整的信号,获取的信息并不全面,因此十分不便。
发明内容
为了较为全面和完整地传输信息,减少硬件和传输环境导致的负面影响,本申请提供一种音视频信息传输方法、系统、终端设备及存储介质。
第一方面,本申请提供一种音视频信息传输方法,采用如下的技术方案:
一种音视频信息传输方法,包括:
获取待传输信息,所述待传输信息包括视频数据包、音频数据包和文本数据包;
基于预设的传输优先级规则传输所述待传输信息;
接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息,所述已传输信息包括所述视频数据包、音频数据包和文本数据包中的一个或者多个;
将所述待处理信息进行转发和/或输出。
通过采用上述技术方案,将视频数据包、音频数据包和文本数据包作为待传输信息,相较于现有技术,增加了文本数据包,能够减少由于音视频信息传输偏差导致的信息获取不全面的可能性;设定视频数据包、音频数据包和文本数据包的传输优先级规则,进一步保证信息传输的完整性;根据已传输信息生成待处理信息,从而将待处理信息进行输出和/或转发,能够基于实际情况,最大程度地减少硬件和传输环境导致的负面影响,尽可能地得到较为完整的信息。
可选的,所述获取待传输信息包括:
基于预设的数字信号处理装置获取视频信息和音频信息;
基于预设的语音识别系统对所述音频信息进行语音识别,得到文本信息;
将所述视频信息、所述音频信息和所述文本信息分别进行编码压缩,得到视频数据包、音频数据包和文本数据包。
通过采用上述技术方案,将音频信息转化为占用空间更小,占用传输带宽更小的文本信息,利于信息的传输。
可选的,所述传输优先级规则为:所述文本数据包为第一优先级,所述音频数据包为第二优先级,所述视频数据包为第三优先级。
通过采用上述技术方案,优先传输文本数据包,其次是音频数据包,最后是视频数据包,能够尽可能的保全所有的信息,减少硬件和传输环境导致的负面影响。
可选的,所述接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息包括:
当接收到所述文本数据包、所述音频数据包和所述视频数据包时,分析所述视频数据是否连续稳定,获取第一分析结果,基于所述第一分析结果生成待处理信息;
当接收到所述文本数据包和所述音频数据包时,分析所述音频数据是否连续稳定,获取第二分析结果,基于所述第二分析结果生成待处理信息;
当接收到所述文本数据包时,基于所述文本数据包生成待处理信息。
可选的,所述分析所述视频数据是否连续稳定,获取第一分析结果,基于所述第一分析结果生成待处理信息包括:
获取视频数据包传输后的视频数据丢包率,基于所述视频数据丢包率分析视频数据是否连续稳定;
若是,则基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,将所述视频信息、所述音频信息和所述文本信息作为第一待处理信息;
或者,基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,基于所述文字信息为所述视频信息配置字幕信息,基于所述视频信息、所述音频信息和所述字幕信息生成第二待处理信息;
若否,则获取预设的固定背景,基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,基于所述文字信息为所述固定背景配置字幕信息,基于所述固定背景、所述字幕信息和所述音频信息生成第三待处理信息;
从所述第一待处理信息、所述第二待处理信息和所述第三待处理信息中获取目标待处理信息。
通过采用上述技术方案,可以根据视频数据的传输情况制定相应策略,具有一定的适应性,且最大程度的减少了信息丢失的可能性。
可选的,所述分析所述音频数据是否连续稳定,获取第二分析结果,基于所述第二分析结果生成待处理信息包括:
获取音频数据包传输后的音频数据丢包率,基于所述音频数据丢包率分析音频数据是否连续稳定;
若是,则基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,将所述音频信息和所述文本信息作为第四待处理信息;
或者,获取预设的固定背景,基于所述文本数据包获取所述文本信息,基于所述文本信息为所述固定背景配置字幕信息,基于所述音频数据包获取所述音频信息,基于所述固定背景、所述字幕信息和所述音频信息生成视频信息,基于所述视频信息生成第五待处理信息;
若否,则基于所述文本数据包获取文本信息,基于所述文本信息获取语音信息,获取预设的固定背景,基于所述文本信息为所述固定背景配置字幕信息,基于所述固定背景、所述字幕信息和所述语音信息生成第六待处理信息,生成第六待处理信息;
从所述第四待处理信息、所述第五待处理信息和所述第六待处理信息中获取目标待处理信息。
通过采用上述技术方案,可以根据音频数据的传输情况和接收端的实际情况制定相应的策略,较为方便。
可选的,所述基于所述文本数据包生成待处理信息包括:
基于所述文本数据包获取所述文本信息,将所述文本信息作为第七待处理信息;
或者,基于所述文本数据包获取所述文本信息,基于所述文本信息获取语音信息,基于所述语音信息生成第八待处理信息;
或者,获取预设的固定背景,基于所述文字信息为所述固定背景配置字幕信息,基于所述文本信息获取语音信息,基于所述语音信息、所述固定背景和所述字幕信息生成第九待处理信息;
从所述第七待处理信息、所述第八待处理信息和所述第九待处理信息中获取目标待处理信息。
通过采用上述技术方案,可以根据接收端的实际情况生成不同的待处理信息,从而具有适应能力,较为方便。
第二方面,本申请还提供一种音视频信息传输系统,采用如下的技术方案:
一种音视频信息传输系统,包括:
发送端,用于获取待传输信息,所述待传输信息包括视频数据包、音频数据包和文本数据包;
传输端,用于基于预设的传输优先级规则传输所述待传输信息;
接收端,用于接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息,所述已传输信息为所述视频数据包、音频数据包和文本数据包中的一个或者多个;
以及处理端,用于将所述待处理信息进行转发和/或输出。
通过采用上述技术方案,将视频数据包、音频数据包和文本数据包作为待传输信息,相较于现有技术,增加了文本数据包,能够减少由于音视频信息传输偏差导致的信息获取不全面的可能性;设定视频数据包、音频数据包和文本数据包的传输优先级规则,进一步保证信息传输的完整性;根据已传输信息生成待处理信息,从而将待处理信息进行输出和/或转发,能够基于实际情况,最大程度地减少硬件和传输环境导致的负面影响,尽可能地得到较为完整的信息。
第三方面,本申请提供一种终端设备,采用如下的技术方案:
一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了上述的一种音视频信息传输方法。
通过采用上述技术方案,通过将上述的一种音视频信息传输方法生成计算机程序,并存储于存储器中,以被处理器加载并执行,从而,根据存储器及处理器制作终端设备,方便使用。
第四方面,本申请提供一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,采用了上述的一种音视频信息传输方法。
通过采用上述技术方案,通过将上述的一种音视频信息传输方法生成计算机程序,并存储于计算机可读存储介质中,以被处理器加载并执行,通过计算机可读存储介质,方便计算机程序的可读及存储。
附图说明
图1是本申请实施例一种音视频信息传输方法的整体流程示意图。
图2是本申请实施例一种音视频信息传输方法中步骤S201-S205的流程示意图。
图3是本申请实施例一种音视频信息传输方法中步骤S301-S305的流程示意图。
图4是本申请实施例一种音视频信息传输方法中步骤S401-S404的流程示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本申请实施例公开一种音视频信息传输方法,参照图1,包括:
S101、获取待传输信息,待传输信息包括视频数据包、音频数据包和文本数据包;
S102、基于预设的传输优先级规则传输待传输信息;
S103、接收待传输信息中的已传输信息,基于已传输信息生成待处理信息,已传输信息包括视频数据包、音频数据包和文本数据包中的一个或者多个;
S104、将待处理信息进行转发和/或输出。
步骤S101中,首先通过预设的数字信号处理装置获取待传输信息,数字信号处理装置可以为摄像机等音视频摄录装置,摄像机也即发送端,用于摄录视频信息和音频信息,并将视频信息和音频信息进行编码和压缩,形成视频数据包和音频数据包。一般情况下,待传输信息即包括视频数据包和音频数据包,音视频传输也仅传输视频数据包和音频数据包即可,但在本实施例中,待传输信息还包括文本数据包。
具体地,文本数据包的获取,是通过预设的语音识别系统对音频信息进行语音识别,并对识别出的文本信息进行压缩得到的。一般来讲,文字信息所占用的存储空间和传输带宽都小于音频信息,因此,通过音频信息识别得到的文字信息,在一定程度上保存了原音频信息的内容且更加方便传输。
步骤S102,在得到待传输信息后,即可将待传输信息通过传输网络进行传输。在本实施例中,待传输信息的传输是按照预设的传输优先级规则来进行的,传输优先级规则为:文本数据包为第一优先级,音频数据包为第二优先级,视频数据包为第三优先级,也即,在传输待传输信息时,首先传输文本数据包,其次传输音频数据包,最后传输视频数据包。
传输优先级规则的设定理由如下:
1.同一时间段内,所占存储空间大小:视频数据包>音频数据包>文本数据包;
2.同一时间段内,所占带宽大小:视频数据包>音频数据包>文本数据包。
因此,在硬件设备条件有限或者传输网络状况较差时,视频数据包难以传输成功,音频数据包次之,此时优先选择文本数据包进行传输,能够最大可能地将摄像机采集的信号完整地传输至接收端,在文本数据包传输成功后,即传输音频数据包;在音频数据包传输成功后,即传输视频数据包。
步骤S103和步骤S104,发送端基于传输优先级规则将待传输信息发送至接收端,由上述说明可以理解,在传输网络状况较佳时,接收端可以接收到视频数据包、音频数据包和文本数据包;在传输网络状况良好时,接收端可以接收到音频数据包和文本数据包;在传输网络状况较差时,接收端也可以接收到文本数据包。因此,针对接收端接收到的信息,即可执行相应的信号处理操作,如下:
1.当接收到文本数据包、音频数据包和视频数据包时,分析视频数据是否连续稳定,获取第一分析结果,基于第一分析结果生成待处理信息;
2.当接收到文本数据包和音频数据包时,分析音频数据是否连续稳定,获取第二分析结果,基于第二分析结果生成待处理信息;
3.当接收到文本数据包时,基于文本数据包生成待处理信息。
接收端可以为服务器,服务器在接收到数据包之后,对数据包中的信息一般有两种处理途径,一种是将数据包进行转发,第二种则是根据数据包直接输出相应的信息。以下内容则针对这两种处理途径对上述三种情况进行一一说明。
当接收到文本数据包、音频数据包和视频数据包时,表示此时网络状态较佳,且音频数据包和文本数据包为连续稳定的数据包,此时需要分析视频数据是否连续稳定,得到第一分析结果,并根据第一分析结果来生成待处理信息,参照图2,具体包括以下过程:
S201、获取视频数据包传输后的视频数据丢包率,基于视频数据丢包率分析视频数据是否连续稳定;
S202、若是,则基于视频数据包获取视频信息,基于音频数据包获取音频信息,基于文本数据包获取文本信息,将视频信息、音频信息和文本信息作为第一待处理信息;
S203、或者,基于视频数据包获取视频信息,基于音频数据包获取音频信息,基于文本数据包获取文本信息,基于文字信息为视频信息配置字幕信息,基于视频信息、音频信息和字幕信息生成第二待处理信息;
S204、若否,则获取预设的固定背景,基于视频数据包获取视频信息,基于音频数据包获取音频信息,基于文本数据包获取文本信息,基于文字信息为固定背景配置字幕信息,基于固定背景、字幕信息和音频信息生成第三待处理信息;
S205、从第一待处理信息、第二待处理信息和第三待处理信息中获取目标待处理信息。
其中,视频数据是否连续稳定,是通过获取视频数据包的视频数据丢包率来分析的,丢包率是指数据传输过程中所丢失数据包数量占所发送数据组的比率。计算方法是:“[(输入报文-输出报文)/输入报文]*100%”。通常来讲,千兆网卡在流量大于200Mbps时,丢包率小于万分之五;百兆网卡在流量大于60Mbps时,丢包率小于万分之一。
在本实施例中,预设有丢包率阈值,丢包率阈值可以根据实际应用场景进行设定,例如万分之五。当获取到视频数据丢包率大于等于丢包率阈值时,则确定视频数据不是连续稳定的;当获取到视频数据丢包率小于丢包率阈值时,则确定视频数据连续稳定。
当视频数据连续稳定时:
1.接收端可以对视频数据包、音频数据包和文本数据包直接进行转发;若接收端需要输出,则可以分别对视频数据包、音频数据包和文本数据包进行解码解压,从而得到视频信息、音频信息和文本信息,此时可以将视频信息、音频信息和文本信息作为第一待处理信息,接收端可以直接输出第一待处理信息;
2.在解码解压获取视频信息、音频信息和文本信息之后,接收端将文本信息与视频信息进行结合,将文本配置在视频上,得到字幕信息,并将视频信息、字幕信息和音频信息进行融合,得到带有实时字幕的音视频信息,作为第二待处理信息,接收端可以将第二待处理信息进行输出,从而方便使用者观看和获取信息;若需要将带有实时字幕的音视频信息进行转发,则可以将该音视频信息进行编码压缩,接收端即可进行转发。
当视频数据不连续稳定时:
获取预设的固定背景,并根据文本信息为固定背景配置字幕信息,此时根据固定背景、音频信息和字幕信息就可以得到带有实时字幕的固定背景音视频信息,并将此视频信息作为第三待处理信息,接收端同样可以将第三待处理信息进行输出。若需要将带有实时字幕的固定背景音视频信息进行转发,则可以将该音视频信息进行编码压缩,接收端即可进行转发。其中,固定背景可以选择视频数据包中的最后一帧流畅画面,也可以是预设的图片,从而提高用户观看的体验感。
可知,在接收到文本数据包、音频数据包和视频数据包时,接收端可以根据视频数据是否连续稳定以及实际情况,从三种待处理信息中选择目标待处理信息进行转发和/或输出,非常方便,且具有一定的适应性。
当接收端接收到文本数据包和音频数据包时,说明网络状态一般,同样地,此时需要分析音频数据是否连续稳定,得到第二分析结果,并根据第二分析结果来生成待处理信息,参照图3,具体包括以下过程:
S301、获取音频数据包传输后的音频数据丢包率,基于音频数据丢包率分析音频数据是否连续稳定;
S302、若是,则基于音频数据包获取音频信息,基于文本数据包获取文本信息,将音频信息和文本信息作为第四待处理信息;
S303、或者,获取预设的固定背景,基于文本数据包获取文本信息,基于文本信息为固定背景配置字幕信息,基于音频数据包获取音频信息,基于固定背景、字幕信息和音频信息生成视频信息,基于视频信息生成第五待处理信息;
S304、若否,则基于文本数据包获取文本信息,基于文本信息获取语音信息,获取预设的固定背景,基于文本信息为固定背景配置字幕信息,基于固定背景、字幕信息和语音信息生成第六待处理信息,生成第六待处理信息;
S305、从第四待处理信息、第五待处理信息和第六待处理信息中获取目标待处理信息。
其中,音频数据是否连续稳定,是通过获取音频数据包的音频数据丢包率来分析的。在本实施例中,预设有丢包率阈值,丢包率阈值可以根据实际应用场景进行设定,例如万分之五。当获取到音频数据丢包率大于等于丢包率阈值时,则确定音频数据不是连续稳定的;当获取到音频数据丢包率小于丢包率阈值时,则确定音频数据连续稳定。
当音频数据连续稳定时:
1.则接收端可以直接转发音频数据包和文本数据包;若接收端需要输出,则可以对音频数据包和文本数据包分别解码解压,得到音频信息和文本信息,将音频信息和文本信息作为第四待处理信息,此时接收端可以直接输出第四待处理信息。
2.接收端还可以选择预设的固定背景,根据解析的文本信息为固定背景配置字幕信息,并将音频信息、固定背景和固定背景上的字幕信息融合成新的视频信息,即带有实时字幕的固定背景音视频信息,将此音视频信息作为第五待处理信息,接收端即可输出第五待处理信息;若需要转发此音视频信息,则可以对此音视频信息进行编码压缩,接收端即可进行转发。
当音频数据不连续稳定时:
通过预设的文本-语音转化系统将文本信息转换成语音信息,从而得到了较为完整的音频信息。同时获取预设的固定背景,并根据文本信息为固定背景配置字幕信息,将语音信息、固定背景和固定背景上的字幕信息融合成新的音视频信息,即带有实时字幕的固定背景音视频信息,将此音视频信息作为第六待处理信息,接收端即可输出第六待处理信息;若需要转发此音视频信息,则可以对此音视频信息进行编码压缩,接收端即可进行转发。
可知,在接收到文本数据包和音频数据包时,接收端可以根据音频数据是否连续稳定以及实际情况,从三种待处理信息中选择目标待处理信息进行转发和/或输出,非常方便,且具有一定的适应性。
当接收端仅接收到文本数据包时,说明此时网络情况较差,参照图4,此时根据文本数据包进行输出和/或转发的过程包括:
S401、基于文本数据包获取文本信息,将文本信息作为第七待处理信息;
S402、或者,基于文本数据包获取文本信息,基于文本信息获取语音信息,基于语音信息生成第八待处理信息;
S403、或者,获取预设的固定背景,基于文字信息为固定背景配置字幕信息,基于文字信息获取语音信息,基于语音信息、固定背景和字幕信息生成第九待处理信息;
S404、从第七待处理信息、第八待处理信息和第九待处理信息中获取目标待处理信息。
其中,在接收端接收文本数据包之后,可以分为以下三种情况进行处理:
1.接收端直接转发文本数据包;根据文本数据包解析得到文本信息,将文本信息作为第七待处理信息,接收端直接输出第七待处理信息;
2.根据解析得到的文本信息,通过预设的文本-语音转化系统将文本信息转化成语音信息,从而将语音信息作为第八待处理信息,接收端可以输出第八待处理信息,当然,也可以对语音信息进行编码压缩,进行转发。将文本信息转化成语音信息的使用场景为:在低带宽的地方将音频转化成文本,在高带宽的地方将文本恢复成语音,例如卫星通讯;
3.获取预设的固定背景,首先根据解析后的文本信息为固定背景配置字幕信息,同时根据文本信息转化得到语音信息,将语音信息、字幕信息和固定背景融合形成新的音视频信息,即带有实时字幕的固定背景音视频信息,将此音视频信息作为第九待处理信息,接收端可以直接输出此音视频信息,也可以将此音视频信息进行编码压缩,进行转发。
本申请实施例一种音视频信息传输方法的实施原理为:将视频数据包、音频数据包和文本数据包作为待传输信息,相较于现有技术,增加了文本数据包,能够减少由于音视频信息传输偏差导致的信息获取不全面的可能性;设定视频数据包、音频数据包和文本数据包的传输优先级规则,进一步保证信息传输的完整性;根据已传输信息生成待处理信息,从而将待处理信息进行输出和/或转发,能够基于实际情况,最大程度地减少硬件和传输环境导致的负面影响,尽可能地得到较为完整的信息。
本申请实施例还公开一种音视频信息传输系统,包括发送端、传输端、接收端和处理端,其中,发送端用于获取待传输信息,待传输信息包括视频数据包、音频数据包和文本数据包;传输端用于基于预设的传输优先级规则传输待传输信息;接收端用于接收待传输信息中的已传输信息,基于已传输信息生成待处理信息,已传输信息为视频数据包、音频数据包和文本数据包中的一个或者多个;处理端用于将待处理信息进行转发和/或输出。
本申请实施例的具体实施方式与上述一种音视频信息传输方法的具体实时方式相同,故在此不再赘述。
本申请实施例还公开一种终端设备,包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序,其中,处理器执行计算机程序时,采用了上述实施例中的一种音视频信息传输方法。
其中,终端设备可以采用台式电脑、笔记本电脑或者云端服务器等计算机设备,并且,终端设备包括但不限于处理器以及存储器,例如,终端设备还可以包括输入输出设备、网络接入设备以及总线等。
其中,处理器可以采用中央处理单元(CPU),当然,根据实际的使用情况,也可以采用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,通用处理器可以采用微处理器或者任何常规的处理器等,本申请对此不做限制。
其中,存储器可以为终端设备的内部存储单元,例如,终端设备的硬盘或者内存,也可以为终端设备的外部存储设备,例如,终端设备上配备的插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)或者闪存卡(FC)等,并且,存储器还可以为终端设备的内部存储单元与外部存储设备的组合,存储器用于存储计算机程序以及终端设备所需的其他程序和数据,存储器还可以用于暂时地存储已经输出或者将要输出的数据,本申请对此不做限制。
其中,通过本终端设备,将上述实施例中的一种音视频信息传输方法存储于终端设备的存储器中,并且,被加载并执行于终端设备的处理器上,方便使用。
本申请实施例还公开一种计算机可读存储介质,并且,计算机可读存储介质存储有计算机程序,其中,计算机程序被处理器执行时,采用了上述实施例中的一种音视频信息传输方法。
其中,计算机程序可以存储于计算机可读介质中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等,计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)、电载波信号、电信信号以及软件分发介质等,需要说明的是,计算机可读介质包括但不限于上述元器件。
其中,通过本计算机可读存储介质,将上述实施例中的一种音视频信息传输方法存储于计算机可读存储介质中,并且,被加载并执行于处理器上,以方便上述方法的存储及应用。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种音视频信息传输方法,其特征在于,包括:
获取待传输信息,所述待传输信息包括视频数据包、音频数据包和文本数据包;
基于预设的传输优先级规则传输所述待传输信息;
接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息,所述已传输信息包括所述视频数据包、音频数据包和文本数据包中的一个或者多个;
将所述待处理信息进行转发和/或输出。
2.根据权利要求1所述的一种音视频信息传输方法,其特征在于,所述获取待传输信息包括:
基于预设的数字信号处理装置获取视频信息和音频信息;
基于预设的语音识别系统对所述音频信息进行语音识别,得到文本信息;
将所述视频信息、所述音频信息和所述文本信息分别进行编码压缩,得到视频数据包、音频数据包和文本数据包。
3.根据权利要求2所述的一种音视频信息传输方法,其特征在于,所述传输优先级规则为:所述文本数据包为第一优先级,所述音频数据包为第二优先级,所述视频数据包为第三优先级。
4.根据权利要求3所述的一种音视频信息传输方法,其特征在于,所述接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息包括:
当接收到所述文本数据包、所述音频数据包和所述视频数据包时,分析所述视频数据是否连续稳定,获取第一分析结果,基于所述第一分析结果生成待处理信息;
当接收到所述文本数据包和所述音频数据包时,分析所述音频数据是否连续稳定,获取第二分析结果,基于所述第二分析结果生成待处理信息;
当接收到所述文本数据包时,基于所述文本数据包生成待处理信息。
5.根据权利要求4所述的一种音视频信息传输方法,其特征在于,所述分析所述视频数据是否连续稳定,获取第一分析结果,基于所述第一分析结果生成待处理信息包括:
获取视频数据包传输后的视频数据丢包率,基于所述视频数据丢包率分析视频数据是否连续稳定;
若是,则基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,将所述视频信息、所述音频信息和所述文本信息作为第一待处理信息;
或者,基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,基于所述文字信息为所述视频信息配置字幕信息,基于所述视频信息、所述音频信息和所述字幕信息生成第二待处理信息;
若否,则获取预设的固定背景,基于所述视频数据包获取所述视频信息,基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,基于所述文字信息为所述固定背景配置字幕信息,基于所述固定背景、所述字幕信息和所述音频信息生成第三待处理信息;
从所述第一待处理信息、所述第二待处理信息和所述第三待处理信息中获取目标待处理信息。
6.根据权利要求4所述的一种音视频信息传输方法,其特征在于,所述分析所述音频数据是否连续稳定,获取第二分析结果,基于所述第二分析结果生成待处理信息包括:
获取音频数据包传输后的音频数据丢包率,基于所述音频数据丢包率分析音频数据是否连续稳定;
若是,则基于所述音频数据包获取所述音频信息,基于所述文本数据包获取所述文本信息,将所述音频信息和所述文本信息作为第四待处理信息;
或者,获取预设的固定背景,基于所述文本数据包获取所述文本信息,基于所述文本信息为所述固定背景配置字幕信息,基于所述音频数据包获取所述音频信息,基于所述固定背景、所述字幕信息和所述音频信息生成视频信息,基于所述视频信息生成第五待处理信息;
若否,则基于所述文本数据包获取文本信息,基于所述文本信息获取语音信息,获取预设的固定背景,基于所述文本信息为所述固定背景配置字幕信息,基于所述固定背景、所述字幕信息和所述语音信息生成第六待处理信息,生成第六待处理信息;
从所述第四待处理信息、所述第五待处理信息和所述第六待处理信息中获取目标待处理信息。
7.根据权利要求4所述的一种音视频信息传输方法,其特征在于,所述基于所述文本数据包生成待处理信息包括:
基于所述文本数据包获取所述文本信息,将所述文本信息作为第七待处理信息;
或者,基于所述文本数据包获取所述文本信息,基于所述文本信息获取语音信息,基于所述语音信息生成第八待处理信息;
或者,获取预设的固定背景,基于所述文字信息为所述固定背景配置字幕信息,基于所述文本信息获取语音信息,基于所述语音信息、所述固定背景和所述字幕信息生成第九待处理信息;
从所述第七待处理信息、所述第八待处理信息和所述第九待处理信息中获取目标待处理信息。
8.一种音视频信息传输系统,其特征在于,包括:
发送端,用于获取待传输信息,所述待传输信息包括视频数据包、音频数据包和文本数据包;
传输端,用于基于预设的传输优先级规则传输所述待传输信息;
接收端,用于接收所述待传输信息中的已传输信息,基于所述已传输信息生成待处理信息,所述已传输信息为所述视频数据包、音频数据包和文本数据包中的一个或者多个;
以及处理端,用于将所述待处理信息进行转发和/或输出。
9.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述处理器加载并执行计算机程序时,采用了权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序被处理器加载并执行时,采用了权利要求1-7中任一项所述的方法。
CN202311026541.7A 2023-08-15 2023-08-15 一种音视频信息传输方法、系统、终端设备及存储介质 Pending CN117014647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311026541.7A CN117014647A (zh) 2023-08-15 2023-08-15 一种音视频信息传输方法、系统、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311026541.7A CN117014647A (zh) 2023-08-15 2023-08-15 一种音视频信息传输方法、系统、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN117014647A true CN117014647A (zh) 2023-11-07

Family

ID=88576041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311026541.7A Pending CN117014647A (zh) 2023-08-15 2023-08-15 一种音视频信息传输方法、系统、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN117014647A (zh)

Similar Documents

Publication Publication Date Title
US11006134B2 (en) Picture decoding and encoding methods and apparatuses, decoder, and encoder
CN112804264B (zh) 多种编码标准与传输接口自适应切换方法、系统及设备
CN110545472B (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质
CN112866730B (zh) 流媒体数据传输方法及装置、系统、电子设备、存储介质
US11196868B2 (en) Audio data processing method, server, client and server, and storage medium
CN111586473A (zh) 视频的裁剪方法、装置、设备及存储介质
CN103607587A (zh) 一种视频终端的调试方法和系统
CN107276990B (zh) 一种流媒体直播方法及装置
US20120084435A1 (en) Smart Real-time Content Delivery
CN114630051A (zh) 视频处理方法以及系统
CN104270667A (zh) 一种节目切换方法、装置及终端
CN110753259B (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质
CN113079386A (zh) 一种视频在线播放方法、装置、电子设备及存储介质
EP3013025A1 (en) Multimedia data transmission method, and apparatus
CN117014647A (zh) 一种音视频信息传输方法、系统、终端设备及存储介质
CN112437315B (zh) 适应多系统版本的音频适配方法及系统
WO2021093500A1 (zh) 视频数据的处理方法、装置、电子设备及计算机可读介质
CN110868610B (zh) 流媒体传输方法、装置、服务器及存储介质
CN112243159B (zh) 基于dvb的数据处理、读取方法及服务器、终端以及系统
US10554573B2 (en) Streaming media data transmission method and apparatus
CN110876069A (zh) 视频截图的获取方法、装置、设备及存储介质
WO2017000146A1 (zh) 数据传输装置、路由器和数据传输方法
CN113674387B (zh) 非自然场景视频的视频处理方法、装置
CN115942000B (zh) H.264格式的视频流转码方法及装置、设备及介质
US10154248B2 (en) Encoder apparatus, encoder system, encoding method, and medium for separating frames captured in time series by imaging directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination