CN114598895A - 音视频处理方法、装置、设备及计算机可读存储介质 - Google Patents

音视频处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114598895A
CN114598895A CN202111626467.3A CN202111626467A CN114598895A CN 114598895 A CN114598895 A CN 114598895A CN 202111626467 A CN202111626467 A CN 202111626467A CN 114598895 A CN114598895 A CN 114598895A
Authority
CN
China
Prior art keywords
audio
video
video data
file
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111626467.3A
Other languages
English (en)
Other versions
CN114598895B (zh
Inventor
李志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Changsha Co Ltd
Original Assignee
Tencent Cloud Computing Changsha Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Changsha Co Ltd filed Critical Tencent Cloud Computing Changsha Co Ltd
Priority to CN202111626467.3A priority Critical patent/CN114598895B/zh
Publication of CN114598895A publication Critical patent/CN114598895A/zh
Application granted granted Critical
Publication of CN114598895B publication Critical patent/CN114598895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请实施例提供了一种音视频处理方法、装置、设备及计算机可读存储介质，获取音视频数据，并对音视频数据进行实时多媒体流分析；当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；发送回调消息，回调消息用于指示对相关异常进行相应处理。该方法对于音视频数据的相关异常，通过得到相应的音视频文件，便于对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。

Description

音视频处理方法、装置、设备及计算机可读存储介质
本申请为申请号为202011409884.8，申请日为2020年12月4日，发明名称为“音视频处理方法、装置、设备及计算机可读存储介质”的发明专利申请的分案申请。
技术领域
本申请涉及计算机技术领域，具体而言，本申请涉及一种音视频处理方法、装置、设备及计算机可读存储介质。
背景技术
互联网直播是进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上。互联网直播包括各种类型的直播，例如在互联网APP(Application，应用程序)上的秀场直播、游戏直播、户外直播、会议直播、互动直播等。在上述直播应用场景中，需要对直播流进行录制，一方面是政府监管要求，另一方面也便于直播内容回看和当作点播短视频内容分发，其中，直播流为音视频数据。
现有技术中，当音视频数据出现异常，由于没有对音视频数据的异常进行处理，从而导致音视频数据的丢失。
发明内容
本申请针对现有的方式的缺点，提出一种音视频处理方法、装置、设备及计算机可读存储介质，用以解决如何实现实时对音视频数据的相关异常进行处理的问题。
第一方面，本申请提供了一种音视频处理方法，包括：
获取音视频数据，并对音视频数据进行实时多媒体流分析；
当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；
通过子线程，得到相应的音视频文件；
发送回调消息，回调消息用于指示对相关异常进行相应处理。
可选地，当分析到音视频数据的相关异常，创建音视频流录制进程的子线程，包括：
当分析到音视频流录制进程不能兼容处理音视频数据，则创建音视频流录制进程的子线程。
可选地，音视频流录制进程不能兼容处理音视频数据包括音视频数据的时间戳异常跳变回退、音视频数据的容器格式不规范、音视频数据的序列参数集封装异常、音视频数据的图像参数集封装异常、音视频数据的解码异常、音视频数据的帧队列管理异常中的至少一项。
可选地，通过子线程，得到相应的音视频文件，包括：
通过子线程，将音视频数据对应的二进制数据在预设的第一缓存时长对应的缓存中进行数据落盘，数据落盘的时间起始点为音视频数据出现相关异常的起始时间点；
根据预设的缓存规则，确定缓存中进行数据落盘的二进制数据对应的音视频文件。
可选地，当分析到音视频数据正常，则通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；
将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；
将标准容器录制文件发送给后台服务器，并将标准容器录制文件存储在预设的第二缓存时长对应的缓存中。
可选地，缓存规则包括以下至少一项：
音视频文件和标准容器录制文件的文件名命名规则相同；
音视频文件和标准容器录制文件的存储位置目录结构相同；
音视频文件和标准容器录制文件的文件名后缀不同。
可选地，获取音视频数据，并对音视频数据进行实时多媒体流分析，包括：
接收预设的推流端发送的音视频数据，推流端为直播中的主播客户端；
将音视频数据中的各时间段内音视频数据依次在预设的第三缓存时长对应的缓存中进行存储，并对第三缓存时长对应的缓存中的音视频数据进行实时多媒体流分析，各时间段的时间长度与第三缓存时长相同。
可选地，对音视频数据进行实时多媒体流分析，包括：
通过预设的多媒体流分析工具ffprobe对音视频数据进行实时多媒体流分析。
可选地，回调消息用于指示对相关异常进行相应处理，包括：
回调消息用于指示后台服务器储存音视频文件，并使后台服务器根据音视频文件，确定相关异常发生的原因和/或对相关异常进行消除。
第二方面，本申请提供了一种音视频处理装置，包括：
第一处理模块，用于获取音视频数据，并对音视频数据进行实时多媒体流分析；
第二处理模块，用于当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；
第三处理模块，用于通过子线程，得到相应的音视频文件；
第四处理模块，用于发送回调消息，回调消息用于指示对相关异常进行相应处理。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线；
总线，用于连接处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请第一方面的音视频处理方法。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本申请第一方面的音视频处理方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
获取音视频数据，并对音视频数据进行实时多媒体流分析；当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；发送回调消息，回调消息用于指示对相关异常进行相应处理。如此，对于音视频数据的相关异常，通过得到相应的音视频文件，便于对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的系统架构的示意图；
图2为本申请实施例提供的一种音视频处理方法的流程示意图；
图3为本申请实施例提供的音视频处理的示意图；
图4为本申请实施例提供的另一种音视频处理方法的流程示意图；
图5为本申请实施例提供的一种音视频处理装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面详细描述本申请的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，IDentity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
为了更好的理解及说明本申请实施例的方案，下面对本申请实施例中所涉及到的一些技术用语进行简单说明。
SPS：SPS(Sequence Paramater Set，序列参数集)中保存了一组编码视频序列(Coded video sequence)的全局参数。编码视频序列即原始视频的一帧一帧的像素数据经过编码之后的结构组成的序列。而每一帧的编码后数据所依赖的参数保存于图像参数集中。
PPS：PPS(Picture Parameter Set，图像参数集)主要是承载一些图像级的参数集。
FLV:Flash Video，FLV流媒体格式是随着Flash MX的推出发展而来的视频格式。由于FLV形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，FLV的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等问题。
HLS：HTTP Live Streaming，Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。HLS包括一个m3u8的索引文件、TS媒体分片文件和key加密串文件。
DASH：DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)类似HLS协议，DASH通过一种自适应的比特率流技术，使高质量的流媒体可以通过HTTP协议进行传输。
mkv：Matroska多媒体容器是一种开放标准的自由的容器和文件格式，是一种多媒体封装格式，能够在一个文件中容纳无限数量的视频、音频、图片或字幕轨道。
TS：TS流是MPEG-2标准中定义一种用于直播的码流结构，具有很好的容错能力。
MP4：MP4是一套用于音频、视频信息的压缩编码标准，MPEG-4包含了MPEG-1及MPEG-2的绝大部份功能及其他格式的长处，并加入及扩充对虚拟现实模型语言的支持、面向对象的合成档案、数字版权管理及其他互动功能。
MP3：MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)是一种音频压缩技术，MP3被设计用来大幅度地降低音频数据量。
CDN：CDN(Content Delivery Network，内容分发网络)的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
视频编码格式H.264/H.265的整个系统框架分为两层：VCL(Video Coding Layer，视频编码层面)和NAL(Network Abstraction Layer，网络抽象层面)。VCL负责表示有效视频数据的内容，NAL负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。NAL unit是NAL的基本语法结构，NAL unit包含一个字节的头信息(NAL header)和一系列来自VCL的原始数据字节流。
COS：COS(Cloud Object Storage，云对象存储)是无目录层次结构、无数据格式限制、可容纳海量数据且支持HTTP/HTTPS协议访问的分布式存储服务。COS的存储桶空间无容量上限，无需分区管理，适用于CDN数据分发、数据万象处理、大数据计算与分析的数据湖等多种场景。COS提供网页端管理界面、多种主流开发语言的SDK、API以及命令行和图形化工具，并且兼容S3的API接口，方便用户直接使用社区工具和插件。
ffprobe：ffprobe是一个多媒体流分析工具，ffprobe从多媒体流中收集信息，并且以人类和机器可读的形式打印出来。ffprobe可以用来检测多媒体流的容器类型，以及每一个多媒体流的格式和类型。ffprobe可以作为一个独立的应用来使用，也可以结合文本过滤器执行更复杂的处理。
RTMP：RTMP(Real Time Messaging Protocol，实时消息传输协议)是为Flash/AIR平台和服务器之间音、视频及数据传输开发的实时消息传送协议。RTMP协议基于TCP，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP协议中，视频可以是H264编码，音频可以是AAC或MP3编码，且多以flv格式封包。RTMP是流媒体传输协议，对CDN支持良好，实现难度较低，广泛用于直播领域。
WebRTC：WebRTC(Web Real-Time Communication，源自网页即时通信)是一个支持浏览器进行实时语音、视频对话的开源协议，WebRTC是一个支持网页浏览器进行实时语音对话或视频对话的API。WebRTC支持目前的主流浏览器，并且基于SRTP和UDP，即便在网络信号一般的情况下也具备较好的稳定性。WebRTC可以实现点对点通信，通信双方延时低。
GB.28181：GB.28181协议是设备接入、流媒体传输的协议。
容器格式：为方便同时回放，设定了不同的视频文件格式来把视频和音频放在一个文件中，即在同一个容器格式文件里面包裹着不同的轨道。容器是用来区分不同文件的数据类型的，而编码格式则由音视频文件的压缩算法决定。文件格式或者是后缀名即是指文件的容器格式。对于一种容器格式文件，可以包含不同编码格式的一种视频和音频。容器格式包括AVI(.avi)、MPEG(.mpg，.mpeg)、QuickTime(.mov)、RealMedia(.rm)、MP4(.mp4)等。
时间戳异常跳变：直播推流时，对于视频帧和音频帧，都记录着一个时间戳，用于表示该帧播放的相对时间，其中pts表示该帧需要在xx时间上播放(相对时间)。直播中，理论上pts是需要单调递增的，但经常会遇到：由于推流设备对音视频帧做编码时，写入的时间戳异常，导致pts突然变得很大；对音视频录制时，由于推流设备异常，使得时间戳跳变，导致录制出来的视频时长异常变大；例如，几分钟的视频，被记录成几百个小时。
解码异常：音频/视频的编码格式不支持，导致解码失败；音频/视频的数据内容异常，导致解码失败。
进程：进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体。进程一般由程序、数据集合和进程控制块三部分组成；其中，程序用于描述进程要完成的功能，是控制进程执行的指令集；数据集合是程序在执行时所需要的数据和工作区；程序控制块包含进程的描述信息和控制信息是进程存在的唯一标志。
线程：线程是程序执行中一个单一的顺序控制流程，是程序执行流的最小单元，是处理器调度和分派的基本单位。一个进程可以有一个或多个线程，各个线程之间共享程序的内存空间，即所在进程的内存空间。一个标准的线程由线程ID、当前指令指针PC、寄存器和堆栈组成；进程由内存空间和一个或多个线程组成。
数据落盘：数据落盘可以确保数据已经安全的写到磁盘，以便在系统宕机或重启之后还能读到这些数据。
Bucket：Bucket(桶)是存储空间，Bucket是存储对象的容器；对象存储是一种扁平化的存储方式，桶中存储的对象都在同一个逻辑层级，不像文件系统那样有一个很多层级的文件结构。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供的一种系统架构的示意图如图1所示，该系统架构包括：音视频处理平台110、推流端120、后台服务器130。推流端120为直播中的主播客户端。音视频处理平台110接收推流端120发送的音视频数据，音视频处理平台110对音视频数据进行实时多媒体流分析；当音视频处理平台110分析到音视频数据的相关异常，则音视频处理平台110通过预设的音视频流录制进程对音视频数据进行录制，并创建音视频流录制进程的子线程；音视频处理平台110通过子线程，得到相应的音视频文件；音视频处理平台110发送回调消息给后台服务器130，回调消息用于指示后台服务器130对相关异常进行相应处理。当音视频处理平台110分析到音视频数据正常，则音视频处理平台110通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；音视频处理平台110将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；音视频处理平台110将标准容器录制文件发送给后台服务器130。音视频处理平台110可以为服务器；音视频处理平台110包括直播接入平台、录制平台和COS分布式存储系统。
本申请实施例中提供了一种音视频处理方法，该方法的流程示意图如图2所示，该方法包括：
S101，获取音视频数据，并对音视频数据进行实时多媒体流分析。
可选地，音视频数据可以为原始音视频流，原始音视频流可以是直播流，即多媒体流。音视频处理平台获取音视频数据，并对音视频数据进行实时多媒体流分析。
可选地，对音视频数据进行实时多媒体流分析，包括：
通过预设的多媒体流分析工具ffprobe对音视频数据进行实时多媒体流分析。
可选地，FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。通过FFmpeg中的多媒体流分析工具ffprobe对音视频数据进行实时多媒体流分析probe。
可选地，获取音视频数据，并对音视频数据进行实时多媒体流分析，包括步骤A1-A2：
步骤A1：接收预设的推流端发送的音视频数据，推流端为直播中的主播客户端。
可选地，直播中的主播基于RTMP、WebRTC、GB.28181中的任意一项，通过推流端SDK(Software Development Kit，软件开发工具包)发送音视频数据给音视频处理平台。
步骤A2：将音视频数据中的各时间段内音视频数据依次在预设的第三缓存时长对应的缓存中进行存储，并对第三缓存时长对应的缓存中的音视频数据进行实时多媒体流分析，各时间段的时间长度与第三缓存时长相同。
可选地，第三缓存时长为N分钟，N为正实数。例如，默认第三缓存时长对应的缓存存储最近1分钟的音视频数据，其中，第三缓存时长为1分钟，即N为1分钟；音视频数据中的各时间段包括时间段1、时间段2和时间段3，时间段1、时间段2和时间段3的时间长度都为1分钟，将时间段1内音视频数据在1分钟对应的缓存中进行存储，并对时间段1内音视频数据进行实时多媒体流分析；在完成时间段1内音视频数据的实时多媒体流分析之后，将时间段2内音视频数据在1分钟对应的缓存中进行存储，并对时间段2内音视频数据进行实时多媒体流分析；在完成时间段2内音视频数据的实时多媒体流分析之后，将时间段3内音视频数据在1分钟对应的缓存中进行存储，并对时间段3内音视频数据进行实时多媒体流分析。
S102，当分析到音视频数据的相关异常，创建音视频流录制进程的子线程。
可选地，相关异常可以为异常源流格式，例如音视频数据的容器格式不规范；相关异常可以为兼容性异常，例如音视频数据的解码异常。
需要说明的是，当音视频处理平台分析到音视频数据的相关异常，音视频处理平台还是会继续通过预设的音视频流录制进程对音视频数据进行录制，由于音视频数据存在相关异常，通过预设的音视频流录制进程对音视频数据进行录制可能会出现录制错误；将录制的音视频数据的容器格式进行封装的转换，可能会出现容器格式转换封装的失败。
可选地，当分析到音视频数据的相关异常，创建音视频流录制进程的子线程，包括：
当分析到音视频流录制进程不能兼容处理音视频数据，则创建音视频流录制进程的子线程。
需要说明的是，相关异常包括音视频流录制进程不能兼容处理音视频数据。
可选地，音视频流录制进程不能兼容处理音视频数据包括音视频数据的时间戳异常跳变回退、音视频数据的容器格式不规范、音视频数据的序列参数集封装异常、音视频数据的图像参数集封装异常、音视频数据的解码异常、音视频数据的帧队列管理异常中的至少一项。
可选地，音视频数据的序列参数集封装异常可以为SPS NALU异常，音视频数据的图像参数集封装异常可以为PPS NALU异常。
S103，通过子线程，得到相应的音视频文件。
可选地，音视频文件包括出现相关异常的音视频数据对应的二进制数据。
可选地，通过子线程，得到相应的音视频文件，包括步骤B1-B2：
步骤B1：通过子线程，将音视频数据对应的二进制数据在预设的第一缓存时长对应的缓存中进行数据落盘，数据落盘的时间起始点为音视频数据出现相关异常的起始时间点。
举例说明，音视频处理平台通过音视频流录制进程的子线程，从多媒体流分析probe出相关异常的起始时间点开始，实时对出现相关异常的音视频数据对应的二进制数据进行数据落盘dump。数据落盘对应的第一缓存时长为M分钟，M为正实数，例如，M取值为30分钟、60分钟或120分钟，相应的，第一缓存时长对应的缓存存储30分钟、60分钟或120分钟的音视频数据对应的二进制数据。第一缓存时长可以根据音视频处理平台包括的录制平台的内存大小灵活配置。
步骤B2：根据预设的缓存规则，确定缓存中进行数据落盘的二进制数据对应的音视频文件。
可选地，根据预设的缓存规则，确定音视频文件的文件名和存储位置目录结构，其中音视频文件的文件名包括音视频文件的文件名后缀。
可选地，缓存规则包括以下至少一项：
音视频文件和标准容器录制文件的文件名命名规则相同；
音视频文件和标准容器录制文件的存储位置目录结构相同；
音视频文件和标准容器录制文件的文件名后缀不同。
可选地，音视频文件和标准容器录制文件的文件名命名规则相同，且音视频文件和标准容器录制文件的存储位置目录结构相同，音视频文件和标准容器录制文件的文件名后缀不同，例如，音视频文件的文件名后缀为“.bin”，如此，可以方便后台服务器对相关异常的问题定位和对音视频文件的下载。
S104，发送回调消息，回调消息用于指示对相关异常进行相应处理。
可选地，音视频处理平台实时发送回调消息回调通知后台服务器，后台服务器根据回调消息，可以离线旁路下载文件名后缀为“.bin”的音视频文件，并对音视频文件包括的出现相关异常的音视频数据对应的二进制数据进行相应处理。
可选地，回调消息用于指示对相关异常进行相应处理，包括：
回调消息用于指示后台服务器储存音视频文件，并使后台服务器根据音视频文件，确定相关异常发生的原因和/或对相关异常进行消除。
可选地，后台服务器可以分析相关异常发生的原因，并对相关异常进行消除。在视频云上线的场景下，后台服务器可以自助分析相关异常发生的原因和解决客户录制的投诉咨询工单，避免了相关异常可能导致的音视频数据丢失。
可选地，当分析到音视频数据正常，则通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；
将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；
将标准容器录制文件发送给后台服务器，并将标准容器录制文件存储在预设的第二缓存时长对应的缓存中。
可选地，音视频处理平台当分析到音视频数据正常，音视频处理平台对音视频数据进行录制，并将录制的音视频数据的容器格式转换成封装，得到标准容器录制文件；音视频处理平台将标准容器录制文件存储在第二缓存时长对应的缓存中，其中，第二缓存时长为K分钟，K为正实数，例如，K取值为30分钟、60分钟或120分钟，相应的，第二缓存时长对应的缓存存储30分钟、60分钟或120分钟的标准容器录制文件。第二缓存时长可以根据音视频处理平台包括的录制平台的内存大小灵活配置。容器格式可以根据需求配置，容器格式例如MP4、HLS、FLV、DASH、mkv、MP3、TS等。后台服务器接收到标准容器录制文件后，后台服务器可以实时做短视频运营推广、审核等。
本申请实施例中，对于音视频数据的相关异常，通过得到相应的音视频文件，便于后台服务器对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。
为了更好的理解本申请实施例所提供的方法，下面结合具体应用场景的示例对本申请实施例的方案进行进一步说明。
本申请实施例所提供的音视频处理方法应用于网络直播场景，例如，秀场直播、游戏直播、户外直播、会议直播、互动直播等网络直播场景。
可选地，如图3所示，音视频处理平台包括直播接入平台210、录制平台220和COS分布式存储系统230。直播接入平台210包括配置策略模块、上行接入模块和调度分发模块；其中，配置策略模块负责一些录制任务流配置和是否有录制权限、是否有录制COS存储Bucket以及是否有录制集群等；上行接入模块负责实时流推流标准协议接入，以及录制平台220的RTMP协议回源拉流；调度分发模块负责整个录制平台集群录制任务调度管理，以及机器任务分配和控制。录制平台220包括录制任务流配置及流管理、实时容器格式转封装模块、异常流probe及dump模块；其中，录制任务流配置及流管理为后台配置管理系统，实时容器格式转封装包括单机内存缓存队列、处理器CPU、内存和硬盘。COS分布式存储系统230可以为内容分发网络CDN、COS系统等，COS分布式存储系统可以保证录制文件存储和容灾安全性。
推流端240基于RTMP、WebRTC、GB.28181中的任意一项，发送音视频数据给直播接入平台210；录制平台220通过异常流probe及dump模块分析音视频数据是否正常。当异常流probe及dump模块分析到音视频数据正常，则录制平台220通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；录制平台220通过实时容器格式转封装模块将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；录制平台220将标准容器录制文件存储在COS分布式存储系统230中。当异常流probe及dump模块分析到音视频数据的相关异常，则录制平台220通过预设的音视频流录制进程对音视频数据进行录制，并创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；录制平台220发送回调消息给后台服务器250，后台服务器250接收到回调消息后，对音视频数据的相关异常进行相应处理，例如，后台服务器250确定相关异常发生的原因、后台服务器250对相关异常进行消除修复等。
本申请实施例中提供了另一种音视频处理方法，该方法的流程示意图如图4所示，该方法包括：
S201，推流端发送音视频数据给音视频处理平台包括的直播接入平台。
可选地，推流端基于RTMP、WebRTC、GB.28181中的任意一项，发送音视频数据给直播接入平台。
S202，音视频处理平台包括的录制平台分析音视频数据是否正常；当确定音视频数据正常，则转到步骤S203处理；当确定音视频数据的相关异常，则转到步骤S204处理。
S203，音视频处理平台包括的录制平台确定标准容器录制文件，并将标准容器录制文件存储在COS分布式存储系统中。
可选地，音视频处理平台包括的录制平台通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；录制平台通过实时容器格式转封装模块将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；录制平台将标准容器录制文件存储在COS分布式存储系统中。
S204，音视频处理平台包括的录制平台创建音视频流录制进程的子线程，并通过音视频流录制进程对音视频数据进行录制，将录制的音视频数据的容器格式进行封装的转换。
需要说明的是，当音视频处理平台包括的录制平台分析到音视频数据异常，录制平台还是会继续通过预设的音视频流录制进程对音视频数据进行录制。
S205，音视频处理平台包括的录制平台通过子线程，将音视频数据对应的二进制数据在缓存时长30分钟对应的缓存中进行数据落盘，数据落盘的时间起始点为音视频数据出现相关异常的起始时间点。
S206，根据预设的缓存规则，确定缓存中进行数据落盘的二进制数据对应的音视频文件。
可选地，根据预设的缓存规则，确定音视频文件的文件名和存储位置目录结构，其中音视频文件的文件名包括音视频文件的文件名后缀“.bin”。
S207，音视频处理平台包括的录制平台发送回调消息给后台服务器。
可选地，回调消息用于指示后台服务器储存音视频文件，并使后台服务器根据音视频文件，确定相关异常发生的原因和/或对相关异常进行消除。
S208，后台服务器下载音视频文件，并存储音视频文件，对音视频数据的相关异常进行相应处理。
可选地，后台服务器对音视频数据的相关异常进行相应处理，例如，后台服务器确定相关异常发生的原因、后台服务器对相关异常进行消除修复等。
本申请实施例中，无论音视频数据是否正常，音视频处理平台包括的录制平台都会实时对音视频数据进行录制，并将录制的音视频数据的容器格式进行封装的转换；当录制平台确定音视频数据正常，则录制平台确定标准容器录制文件，并将标准容器录制文件存储在COS分布式存储系统中；当录制平台确定音视频数据的相关异常，则通过录制平台得到相应的音视频文件，后台服务器下载音视频文件，并存储音视频文件，对相关异常进行相应处理，从而保证直播结束后在预设时间内就可以输出录制文件，同时避免了相关异常可能导致的音视频数据丢失。
基于相同的发明构思，本申请实施例还提供了一种音视频处理装置，该装置的结构示意图如图5所示，音视频处理装置40，包括第一处理模块401、第二处理模块402、第三处理模块403和第四处理模块404。
第一处理模块401，用于获取音视频数据，并对音视频数据进行实时多媒体流分析；
第二处理模块402，用于当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；
第三处理模块403，用于通过子线程，得到相应的音视频文件；
第四处理模块404，用于发送回调消息，回调消息用于指示对相关异常进行相应处理。
可选地，第二处理模块402，具体用于当分析到音视频流录制进程不能兼容处理音视频数据，则创建音视频流录制进程的子线程。
可选地，音视频流录制进程不能兼容处理音视频数据包括音视频数据的时间戳异常跳变回退、音视频数据的容器格式不规范、音视频数据的序列参数集封装异常、音视频数据的图像参数集封装异常、音视频数据的解码异常、音视频数据的帧队列管理异常中的至少一项。
可选地，第三处理模块403，具体用于通过子线程，将音视频数据对应的二进制数据在预设的第一缓存时长对应的缓存中进行数据落盘，数据落盘的时间起始点为音视频数据出现相关异常的起始时间点；根据预设的缓存规则，确定缓存中进行数据落盘的二进制数据对应的音视频文件。
可选地，第二处理模块402，还用于当分析到音视频数据正常，则通过音视频流录制进程对音视频数据进行录制，得到录制的音视频数据；将录制的音视频数据的容器格式转换成封装，得到录制的音视频数据对应的标准容器录制文件；将标准容器录制文件发送给后台服务器，并将标准容器录制文件存储在预设的第二缓存时长对应的缓存中。
可选地，缓存规则包括以下至少一项：
音视频文件和标准容器录制文件的文件名命名规则相同；
音视频文件和标准容器录制文件的存储位置目录结构相同；
音视频文件和标准容器录制文件的文件名后缀不同。
可选地，第一处理模块401，具体用于接收预设的推流端发送的音视频数据，推流端为直播中的主播客户端；将音视频数据中的各时间段内音视频数据依次在预设的第三缓存时长对应的缓存中进行存储，并对第三缓存时长对应的缓存中的音视频数据进行实时多媒体流分析，各时间段的时间长度与第三缓存时长相同。
可选地，第一处理模块401，具体用于通过预设的多媒体流分析工具ffprobe对音视频数据进行实时多媒体流分析。
可选地，第四处理模块404，具体用于回调消息用于指示后台服务器储存音视频文件，并使后台服务器根据音视频文件，确定相关异常发生的原因和/或对相关异常进行消除。
应用本申请实施例，至少具有如下有益效果：
获取音视频数据，并对音视频数据进行实时多媒体流分析；当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；发送回调消息，回调消息用于指示对相关异常进行相应处理。如此，对于音视频数据的相关异常，通过得到相应的音视频文件，便于对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。
基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图6所示，该电子设备9000包括至少一个处理器9001、存储器9002和总线9003，至少一个处理器9001均与存储器9002电连接；存储器9002被配置用于存储有至少一个计算机可执行指令，处理器9001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种音视频处理方法的步骤。
进一步，处理器9001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，至少具有如下有益效果：
获取音视频数据，并对音视频数据进行实时多媒体流分析；当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；发送回调消息，回调消息用于指示对相关异常进行相应处理。如此，对于音视频数据的相关异常，通过得到相应的音视频文件，便于对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。
基于相同的发明构思，本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种音视频处理的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，至少具有如下有益效果：
获取音视频数据，并对音视频数据进行实时多媒体流分析；当分析到音视频数据的相关异常，创建音视频流录制进程的子线程；通过子线程，得到相应的音视频文件；发送回调消息给，回调消息用于指示对相关异常进行相应处理。如此，对于音视频数据的相关异常，通过得到相应的音视频文件，便于对相关异常进行相应处理，避免了相关异常可能导致的音视频数据丢失。
本技术领域技术人员可以理解，可以用计算机程序来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序产品提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种音视频处理方法，其特征在于，包括：
获取音视频数据，并对所述音视频数据进行实时多媒体流分析；
当分析到所述音视频数据的相关异常，创建音视频流录制进程的子线程；
通过所述子线程，得到相应的音视频文件；
发送回调消息，所述回调消息用于指示对所述相关异常进行相应处理。
2.根据权利要求1所述的方法，其特征在于，所述当分析到所述音视频数据的相关异常，创建音视频流录制进程的子线程，包括：
当分析到音视频流录制进程不能兼容处理所述音视频数据，则创建所述音视频流录制进程的子线程。
3.根据权利要求2所述的方法，其特征在于，所述音视频流录制进程不能兼容处理所述音视频数据包括所述音视频数据的时间戳异常跳变回退、所述音视频数据的容器格式不规范、所述音视频数据的序列参数集封装异常、所述音视频数据的图像参数集封装异常、所述音视频数据的解码异常、所述音视频数据的帧队列管理异常中的至少一项。
4.根据权利要求1所述的方法，其特征在于，所述通过所述子线程，得到相应的音视频文件，包括：
通过所述子线程，将所述音视频数据对应的二进制数据在预设的第一缓存时长对应的缓存中进行数据落盘，所述数据落盘的时间起始点为所述音视频数据出现所述相关异常的起始时间点；
根据预设的缓存规则，确定所述缓存中进行数据落盘的二进制数据对应的音视频文件。
5.根据权利要求4所述的方法，其特征在于，还包括：
当分析到所述音视频数据正常，则通过所述音视频流录制进程对所述音视频数据进行录制，得到录制的音视频数据；
将所述录制的音视频数据的容器格式转换成封装，得到所述录制的音视频数据对应的标准容器录制文件；
将所述标准容器录制文件发送给后台服务器，并将所述标准容器录制文件存储在预设的第二缓存时长对应的缓存中。
6.根据权利要求5所述的方法，其特征在于，所述缓存规则包括以下至少一项：
所述音视频文件和所述标准容器录制文件的文件名命名规则相同；
所述音视频文件和所述标准容器录制文件的存储位置目录结构相同；
所述音视频文件和所述标准容器录制文件的文件名后缀不同。
7.根据权利要求1所述的方法，其特征在于，所述获取音视频数据，并对所述音视频数据进行实时多媒体流分析，包括：
接收预设的推流端发送的音视频数据，所述推流端为直播中的主播客户端；
将所述音视频数据中的各时间段内音视频数据依次在预设的第三缓存时长对应的缓存中进行存储，并对所述第三缓存时长对应的缓存中的音视频数据进行实时多媒体流分析，所述各时间段的时间长度与所述第三缓存时长相同。
8.根据权利要求1所述的方法，其特征在于，所述对所述音视频数据进行实时多媒体流分析，包括：
通过预设的多媒体流分析工具ffprobe对所述音视频数据进行实时多媒体流分析。
9.根据权利要求1所述的方法，其特征在于，所述回调消息用于指示对所述相关异常进行相应处理，包括：
所述回调消息用于指示后台服务器储存所述音视频文件，并使所述后台服务器根据所述音视频文件，确定所述相关异常发生的原因和/或对所述相关异常进行消除。
10.一种音视频处理装置，其特征在于，包括：
第一处理模块，用于获取音视频数据，并对所述音视频数据进行实时多媒体流分析；
第二处理模块，用于当分析到所述音视频数据的相关异常，创建所述音视频流录制进程的子线程；
第三处理模块，用于通过所述子线程，得到相应的音视频文件；
第四处理模块，用于发送回调消息给，所述回调消息用于指示对所述相关异常进行相应处理。
11.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行如权利要求1-9中任一项所述的音视频处理方法。
12.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于被处理器执行时实现如权利要求1-9中任一项所述的音视频处理方法。
CN202111626467.3A 2020-12-04 2020-12-04 音视频处理方法、装置、设备及计算机可读存储介质 Active CN114598895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111626467.3A CN114598895B (zh) 2020-12-04 2020-12-04 音视频处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011409884.8 2020-12-04
CN202111626467.3A CN114598895B (zh) 2020-12-04 2020-12-04 音视频处理方法、装置、设备及计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011409884.8 Division 2020-12-04 2020-12-04

Publications (2)

Publication Number Publication Date
CN114598895A true CN114598895A (zh) 2022-06-07
CN114598895B CN114598895B (zh) 2023-08-11

Family

ID=81827385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111626467.3A Active CN114598895B (zh) 2020-12-04 2020-12-04 音视频处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114598895B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016530A1 (en) * 2005-07-15 2007-01-18 Christopher Stasi Multi-media file distribution system and method
WO2010075699A1 (zh) * 2008-12-31 2010-07-08 中兴通讯股份有限公司 一种平台录像方法、系统及客户端
US20100198981A1 (en) * 2009-02-02 2010-08-05 Wistron Corp. Method and system for multimedia audio video transfer
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN106231413A (zh) * 2016-08-03 2016-12-14 深圳市智行畅联科技有限公司 一种基于智能终端的音视频数据自动分割处理方法及系统
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN107566768A (zh) * 2017-07-25 2018-01-09 深圳市沃特沃德股份有限公司 视频录制方法和装置
CN107800988A (zh) * 2017-11-08 2018-03-13 青岛海信移动通信技术股份有限公司 一种视频录制的方法及装置、电子设备
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法
CN108111870A (zh) * 2017-12-28 2018-06-01 苏州麦迪斯顿医疗科技股份有限公司 一种视频处理方法及装置
CN110324643A (zh) * 2019-04-24 2019-10-11 网宿科技股份有限公司 一种视频录制方法及系统
CN111343344A (zh) * 2020-03-13 2020-06-26 Oppo（重庆）智能科技有限公司 语音异常检测方法、装置、存储介质及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016530A1 (en) * 2005-07-15 2007-01-18 Christopher Stasi Multi-media file distribution system and method
WO2010075699A1 (zh) * 2008-12-31 2010-07-08 中兴通讯股份有限公司 一种平台录像方法、系统及客户端
US20100198981A1 (en) * 2009-02-02 2010-08-05 Wistron Corp. Method and system for multimedia audio video transfer
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN106231413A (zh) * 2016-08-03 2016-12-14 深圳市智行畅联科技有限公司 一种基于智能终端的音视频数据自动分割处理方法及系统
CN107566768A (zh) * 2017-07-25 2018-01-09 深圳市沃特沃德股份有限公司 视频录制方法和装置
CN107566890A (zh) * 2017-09-15 2018-01-09 深圳国微技术有限公司 处理音频流播放异常的方法、装置、计算机装置及计算机可读存储介质
CN107800988A (zh) * 2017-11-08 2018-03-13 青岛海信移动通信技术股份有限公司 一种视频录制的方法及装置、电子设备
CN108111870A (zh) * 2017-12-28 2018-06-01 苏州麦迪斯顿医疗科技股份有限公司 一种视频处理方法及装置
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法
CN110324643A (zh) * 2019-04-24 2019-10-11 网宿科技股份有限公司 一种视频录制方法及系统
US20200382741A1 (en) * 2019-04-24 2020-12-03 Wangsu Science & Technology Co., Ltd. Method and system for video recording
CN111343344A (zh) * 2020-03-13 2020-06-26 Oppo（重庆）智能科技有限公司 语音异常检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114598895B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
US11792103B2 (en) Information stream management
US8489760B2 (en) Media file storage format and adaptive delivery system
EP3072301B1 (en) Transcoding media streams using subchunking
Krishnappa et al. Optimizing the video transcoding workflow in content delivery networks
US20130212342A1 (en) Storage format for media streams
US9197944B2 (en) Systems and methods for high availability HTTP streaming
US11356493B2 (en) Systems and methods for cloud storage direct streaming
US12010401B2 (en) Systems and methods for production of fragmented video content
EP2936825A1 (en) Media distribution and management platform
EP2788899A1 (en) Media service and method for delivery of stored media
US10230812B1 (en) Dynamic allocation of subtitle packaging
US9607002B2 (en) File retrieval from multiple storage locations
US11716369B2 (en) System and method of web streaming media content
JP2021510047A (ja) メディアファイルの同期再生方法、装置及び記憶媒体
US20170237794A1 (en) Technologies for distributed fault-tolerant transcoding with synchronized streams
US9549178B2 (en) Segmenting and transcoding of video and/or audio data
Kumar et al. Cloud‐based video streaming services: Trends, challenges, and opportunities
CN112188285A (zh) 视频转码方法、装置、系统及存储介质
WO2021017958A1 (zh) 视频转码方法及装置
CN114598895B (zh) 音视频处理方法、装置、设备及计算机可读存储介质
CN113079386A (zh) 一种视频在线播放方法、装置、电子设备及存储介质
US20170062004A1 (en) Method for enabling seamless and bidirectional playback of video
US20190158898A1 (en) Hybrid transmission protocol
Sahoo et al. Video transcoding services in cloud computing environment
US20160249078A1 (en) Cloud Encoding System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant