CN116723356A - 终端多媒体数据处理方法、装置、计算机设备、存储介质 - Google Patents

终端多媒体数据处理方法、装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN116723356A
CN116723356A CN202310612084.3A CN202310612084A CN116723356A CN 116723356 A CN116723356 A CN 116723356A CN 202310612084 A CN202310612084 A CN 202310612084A CN 116723356 A CN116723356 A CN 116723356A
Authority
CN
China
Prior art keywords
decoding
decoding mode
network condition
multimedia data
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310612084.3A
Other languages
English (en)
Inventor
商永凯
窦建辉
郑丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202310612084.3A priority Critical patent/CN116723356A/zh
Publication of CN116723356A publication Critical patent/CN116723356A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及一种终端多媒体数据处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取多媒体数据的属性信息，对该属性信息进行分析；基于分析结果，对该多媒体数据进行读取，得到读取内容；对终端所处的网络条件进行监测；若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容；对该第一解码内容进行显示。采用本方法能够使得当终端处于非正常的网络条件时，采用最优的解码方案进行解码来保证解码内容的流畅度。

Description

终端多媒体数据处理方法、装置、计算机设备、存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及终端多媒体数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着多媒体技术的发展，出现了Ffmpeg(一种多媒体框架)直播技术，是目前在计算机音视频流媒体处理领域应用最广泛的开源程序之一，具有非常强大的功能，包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。
然而，目前的Ffmpeg直播技术还是会有一些缺陷，尤其是当终端所处的网络条件不好的时候，视频的流畅度会受到很大影响。
发明内容
基于此，有必要针对上述技术问题，提供一种终端多媒体数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
为了解决上述技术问题，本申请提供了一种终端多媒体数据处理方法。该方法包括：
获取多媒体数据的属性信息，对所述属性信息进行分析；
基于分析结果，对所述多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
对所述第一解码内容进行显示。
在其中一个实施例中，获取设置的场景参数，所述场景参数用于调整所述多媒体数据探测到的关键帧数量；
所述获取多媒体数据的属性信息，对所述属性信息进行分析，包括：
获取多媒体数据的属性信息，基于所述场景参数，对所述属性信息进行分析。
在其中一个实施例中，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，包括：
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
在其中一个实施例中，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：
若监测到的所述网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为硬解码方式，则改变所述硬解码方式的解码率直到所述第一解码内容的显示流畅度满足预设流畅度。
在其中一个实施例中，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：
若监测到的所述网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为非硬解码方式，则将所述非硬解码方式切换成软解码方式。
在其中一个实施例中，若监测到的所述网络条件不满足预设网络条件，基于所述初始解码模式对所述读取内容进行解码，得到第二解码内容；对所述第二解码内容进行显示。
为了解决上述技术问题，本申请还提供了一种终端多媒体数据处理装置。
所述装置包括：
分析模块，用于获取多媒体数据的属性信息，对所述属性信息进行分析；
读取模块，用于基于分析结果，对所述多媒体数据进行读取，得到读取内容；
监测模块，用于对终端所处的网络条件进行监测；
解码模块，用于若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
显示模块，用于对所述第一解码内容进行显示。
在本申请的一些实施例中，还可以提供一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多媒体数据的属性信息，对所述属性信息进行分析；
基于分析结果，对所述多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
对所述第一解码内容进行显示。
在本申请的一些实施例中，还可以提供一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多媒体数据的属性信息，对所述属性信息进行分析；
基于分析结果，对所述多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
对所述第一解码内容进行显示。
在本申请中，通过对终端所处的网络条件进行监测，当监测到该终端所处的网络条件符合预设网络条件时，自动调整初始解码模式，利用调整后的解码模式对读取内容进行解码，从而使得当终端处于非正常的网络条件时，采用最优的解码方案进行解码来保证解码内容的流畅度。
附图说明
图1为一个实施例中终端多媒体数据处理方法的应用环境图；
图2为一个实施例中终端多媒体数据处理方法的流程示意图；
图3为另一个实施例中终端多媒体数据处理方法的流程示意图；
图4为一个实施例中视频缓冲区示意图；
图5为一个实施例中在module-lite.sh文件中进行视频支持格式扩充的示意图；
图6为一个实施例中增加录制和截图功能的底层逻辑示意图；
图7为一个实施例中增加录制和截图功能后的效果示意图；
图8为一个实施例中分析属性信息的示意图；
图9为一个实施例中解码层与显示层的交互示意图；
图10为一个实施例中整个计算机设备的底层逻辑图；
图11为一个实施例中终端多媒体数据处理装置流程图；
图12为另一个实施例中终端多媒体数据处理装置流程图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的终端多媒体数据处理方法，可以应用于如图1所示的应用环境中，图1即为终端多媒体数据处理方法的应用环境图。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，参考图2，图2即为终端多媒体数据处理方法的流程示意图。如图2所示，提供了一种终端多媒体数据处理方法，包括以下步骤：
步骤202，获取多媒体数据的属性信息，对该属性信息进行分析。
其中，多媒体是指多种媒体的综合，一般包含文本、声音和图像等多种媒体形式。在计算机系统中，多媒体指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体。可选的，多媒体数据为直播网络流。
其中，属性信息是指与多媒体数据内容相关的特性信息。可选的，属性信息可以是多媒体数据的格式信息，也可以是多媒体数据的地址信息等。
在其中一个实施例中，对该属性信息进行分析，即为对多媒体数据自身信息的分析。
具体地，对视频数据的格式信息是否支持Mediacodec(一种编解码接口)解码进行分析，若支持则初始化Mediacodec模块、绑定surface(一个接口，供生产方与消耗方交换缓冲区)初始化视频缓存列队，若不支持则初始化FFmpeg模块的视频解码器开辟视频缓存队列、配置OpenGL(一个跨编程语言、跨平台的编程图形程序接口)并关联surface。针对不同的分析结果，后续进行不同的处理过程。
在其中一个实施例中，获取多媒体数据的属性信息，对该属性信息进行分析之前，先接收用户的多媒体请求指令，获取与该多媒体请求指令相对应的多媒体数据。
204、基于分析结果，对该多媒体数据进行读取，得到读取内容。
其中，读取是指将存储在硬盘中的数据调入系统，
可选的，对视频数据或者音频数据进行读取，由于视频是由一帧一帧的图像组成的，所以对视频数据的读取本质上就是对图像数据的读取。
具体地，打开多媒体数据，创建音视频解码线程，循环读取解封装Packet(数据包)存入相应队列；队列中读取Packet软解码一帧Frame(一种通信的帧)存入frame_queue(一种数据结构)；创建(音频播放线程)aout_thread通过audio_cblk(数据控制块)从frame_quque中读取数据进行播放。
206、对终端所处的网络条件进行监测。
其中，终端是经由通信设施向计算机输入程序和数据或接收计算机输出处理结果的设备。容易理解的是，本申请对终端的具体形式不做明显限定，该终端可以但不限于是各种个人计算机、笔记本电脑、移动终端、平板电脑等。
在本实施例中，对于具体的网络条件不做明显限定。容易理解的是，只要是能够影响到终端的网络因素，都能够作为本实施例中的网络条件。
可选的，对终端所处的网络环境是否为弱网环境进行监测。其中，对于多媒体的实时播放来说，网络的复杂性、异构性、协议部分不规范性、网络异常、网络错误、网络抖动、网络时延、网络丢包、网络带宽等各种网络环境被破坏的特性都可以称之为弱网环境。
在本实施例中，对于具体实现对终端所处的网络环境进行监测的方法不做明显限定。
可选的，根据用户使用无线网络\移动终端流量建立了一套完善的网络环境监测系统，利用ping功能返回时间对当前网络环境进行监测，并进行实时反馈实时调整。
208、若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容。
其中，预设网络条件是网络环境监测系统预先设置的能够触发自动调整解码模式的网络条件，然后在具体的应用过程中，通过网络环境监测系统实时监测到的网络条件与预设网络条件之间的对比，来确定是否触发解码模式的自动调整。
其中，初始解码模式是指对读取后的多媒体数据进行解码之初所默认的解码模式。容易理解的是，对于初始解码模式并不做明显限定。可选的，初始解码模式为默认开启硬解码模式。
在本实施例中，第一解码内容是指当前网络环境监测系统监测到的网络条件满足预设网络条件，此时触发了解码模式的自动调整，基于调整后的解码模式对所读取到的多媒体数据进行解码，因此获得的解码内容称之为第一解码内容。
可选的，第一解码内容为当前网络环境监测系统监测到的ping值(从PC对网络服务器发送数据到接收到服务器反馈数据的时间)满足预设ping值，触发了解码模式的自动调整，基于调整后的解码模式对所读取到的多媒体数据进行解码，因此获得的解码内容称之为第一解码内容。
可选的，第一解码内容为当前网络环境监测系统监测到的时延值满足预设时延值，触发了解码模式的自动调整，基于调整后的解码模式对所读取到的多媒体数据进行解码，因此获得的解码内容称之为第一解码内容。
可选的，第一解码内容为当前网络环境监测系统监测到的丢包率满足预设丢包率，触发了解码模式的自动调整，基于调整后的解码模式对所读取到的多媒体数据进行解码，因此获得的解码内容称之为第一解码内容。
可选的，第一解码内容为当前网络环境监测系统监测到的带宽值满足预设带宽值，触发了解码模式的自动调整，基于调整后的解码模式对所读取到的多媒体数据进行解码，因此获得的解码内容称之为第一解码内容。容易理解的，对于具体的监测对象可以唯一，也可以多样，比如可以只监测ping值，也可以既监测ping值也监测丢包率，当监测到的ping值和丢包率都同时满足预设ping值与预设丢包率的时候，成功触发解码模式的调整。
在其中一个是实施例中，若监测到的该网络条件满足预设网络条件，则通过调整帧率在流畅度和实时性之间做一个平衡，达到一定程度的效果优化。
具体地，多媒体预览场景下，帧率越大则包越大，可以理解40fps的视频所需要带宽会比25fps(画面每秒传输帧数)的更大，在弱网环境下，所需要等待的时间更多，ffplay(FFmpeg工程自带的简单播放器)默认的帧率控制没有追帧的策略，所以网络如果发生抖动，延时会累加。可以通过调整帧率来改善上述表现，在弱网环境下，降低解码率，减少画面获取时间。具体实现方法如下：具体做法就是解码线程运行的时候获取机器本地时间，第一帧计算机器时间与流pts的时间差(本地时间和流时间同步)，流的时间落后本地时间多的情况下，快放或者考虑丢包原则就是要在流畅度和实时性之间得到一个平衡，原则就是要在流畅度和实时性之间得到一个平衡。
在其中一个实施例中，设置初始时间段与缓冲区，在初始时间端内适当降低显示内容的帧率，优先保障显示内容的流畅度，后续随着缓冲区内缓存的数据的积累，逐渐提高显示内容的帧率。
在其中一个实施例中，获取设置的场景参数，该场景参数用于调整该探测到的关键帧数量；该获取多媒体数据的属性信息，对该属性信息进行分析，包括：获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。
具体地，计算机设备获取设置的probesize(场景参数)参数，该probesize参数用于调整探测到的关键帧数量，计算机设备获取多媒体数据的属性信息，基于该probesize参数，对属性信息进行分析拆分。在多媒体刚打开的时候，分析拆分该多媒体数据的过程中，该函数即vformat find stream info函数会花去主要的时间。但是通过设置probesize参数后会有效节省分析拆分该多媒体数据时所花的时间，该probesize参数与探测关键帧的数量紧密关联。
可选的，rtmp(直播推流协议)直播流打开慢实际使用过程中，avformat_find_stream_info这个函数会花去主要的时间，主要功能是做直播流的分析拆分，设置probesize参数后会有效节省分析流所花去的时间，probesize参数的作用为：从源文件中读取的最大字节数，单位为字节，默认为：5000000，在网络条件好的环境下减少probesize值可降低时延，可以适当probesize参数关联探测的关键帧的数量。
由于对能够影响探测多媒体数据关键帧的参数进行了优化设置，使得在多媒体刚打开的时候，会有效节省分析拆分多媒体数据时所花的时间，当接收到用户的多媒体开启请求时，能够很快地打开该多媒体，也使得多媒体的显示更加流畅，节省了用户的等候时间。
在其中一个实施例中，若监测到的该网络条件满足预设网络条件，则调整初始解码模式，包括：若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
具体地，若监测到的该网络条件满足预设网络条件，计算机设备通过调整初始解码方式的办法来优化流畅度，调整初始解码方式包括对硬解码方式和软解码方式之间的选择和解码率大小进行调整。容易理解的是，对于硬解码方式和软解码方式之间的选择和解码率大小是否同时进行调整或者硬解码方式和软解码方式之间的选择和解码率大小两者之间的调整顺序，本实施例并不做明显限定，只要最终保证能够达到流畅度要求即可。
通过对解码模式中解码率大小和解码方式两种因素的调整，使得解码模式的调整更加的多元化。因此，通过此种解码模式的调整可以应对更多种复杂的网络条件。
在其中一个实施例中，若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为硬解码方式，则改变该硬解码方式为软解码方式，以此来使得第一解码内容的显示流畅度满足预设流畅度。
在其中一个实施例中，若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度。
具体地，若监测到的该网络条件满足预设网络条件，则计算机设备判断当前的解码方式是否为硬解码方式；若当前使用了硬编进行编码，也即此时的解码方式为硬解码方式，那么在该网络环境下，计算机设备改变硬编的解码率大小，从使得多媒体的显示更为流畅。容易想到的是当监测到网络条件较差丢帧的同时也可以采取降低解码率的策略。在Android sdk(软件开发工具包)版本大于等于19的时，可以通过传递参数给MediaCodec(移动操作系统原生编解码接口)，从而改变硬编码器出来多媒体数据的解码率。
通过先确定当前的解码方式是否为硬解码方式，确定是硬解码方式之后，通过对硬解码方式的解码率大小进行调整，使得当网络条件不好且解码方式依然是硬解码方式的时候，通过解码率大小的调整使得多媒体的显示更为流畅，直到第一解码内容的显示流畅度满足预设的流畅度要求。
在其中一个实施例中，若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为非硬解码方式，则将该非硬解码方式切换回硬解码方式，同时对该硬解码方式的解码率大小进行调整直到第一解码内容的显示流畅度满足预设的流畅度要求。
在其中一个实施例中，若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式。
具体地，若监测到的网络条件满足预设网络条件，计算机设备此时判断出当前的解码方式非硬解码方式，然后计算机设备对当前的解码方式进行实时调整，自动切换成软解码方式，通过成功自动切换的软解码方式，使得多媒体的显示更为流畅，满足预设的流畅度要求。
通过对当前的解码方式进行实时调整，自动切换成软解码方式，使得当网络条件不好且当前的解码方式为非硬解码方式的时候，依然能够保证多媒体的显示更为流畅，满足预设的流畅度要求。
210、对该第一解码内容进行显示。
其中，对于具体用于显示第一解码内容的设备不做明显限定，可以是各种个人计算机、笔记本电脑、移动终端、平板电脑。
在其中一个实施例中，若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容；对该第二解码内容进行显示。
其中，第二解码内容为，若监测到的该网络条件不满足预设网络条件即当前终端所处的网络条件属于正常或者良好的网络条件时，利用初始解码模式对读取内容进行解码得到的解码内容。
具体地，若当前监测到的终端所处于的该网络条件不满足预设网络条件即处于正常或者良好的网络条件时，计算机设备利用初始默认的解码模式对读取内容进行解码，得到解码内容。其中，初始默认的解码模式为默认开启硬解码模式，初始硬解码的解码率为预设固定值，该预设固定值可以根据具体的应用场景和终端类型等预先设置。
通过初始默认的硬解码模式和该硬解码解码率大小对当前处于正常或者良好的网络条件即监测到的该网络条件不满足预设网络条件，对读取内容进行解码，得到解码内容。补齐了监测结果为不满足预设网络条件时的应对处理，使得当前终端无论处于何种网络条件下，都能够保证解码出的解码内容流畅地显示。
参考图3，图3即为另一个实施例中终端多媒体数据处理方法的流程示意图。如图3所示，提供了一种终端多媒体数据处理方法，包括以下步骤：
步骤302，获取设置的场景参数，该场景参数用于调整该多媒体数据探测到的关键帧数量；该获取多媒体数据的属性信息，对该属性信息进行分析，包括：获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。
步骤304，基于分析结果，对该多媒体数据进行读取，得到读取内容；
步骤306，对终端所处的网络条件进行监测；
步骤308，若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度；基于调整后的解码模式对该读取内容进行解码，得到第一解码内容。或者
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式；基于调整后的解码模式对该读取内容进行解码，得到第一解码内容。或者
若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容。
步骤310，对该第一解码内容进行显示。或者
对该第二解码内容进行显示。
在其中一个实施例中，通过网络条件监测系统实现对网络条件的实时监测，利用网络条件监测反馈机制，建立多媒体缓冲区优化逻辑，在弱网环境下，通过对probesize和analyzeduration参数(播放延时参数)的调整，probesize为从源文件中读取的最大字节数，单位为字节，默认为：5000000，在多媒体的播放器直播、预览场景下，当网络条件相对较好，该值可配置减少，从而降低时延；analyzeduration为指定解析媒体所需要花销的时间，默认值为：0，当网络环境较差，多媒体首屏打开时，通过调用avformat_find_stream_info函数，来获取多媒体数据，若analyzeduration时间配置长，则信息获取越完整，但打开时间越慢，故依赖用户网络条件监测反馈机制，实时调整analyzeduration参数值，即可提升多媒体首屏打开速度。当用户处于弱网环境下，则打开建立的缓冲区，缓存一定的数据之后再进行播放，减少卡顿次数。当用户网络条件好时，则减少缓冲区大小或关闭缓冲区，降低视频延迟。依赖网络条件监测反馈机制反馈灵活调整缓冲区大小，提升多媒体播放器在弱网环境的多媒体预览性能。
在其中一个实施例中，多媒体数据传入缓冲区，发送者从缓冲区获取该多媒体数据进行发送，这样就形成了一个异步的生产者消费者模式。生产者只需要将采集、编码后的多媒体数据推送到缓冲区，而消费者则负责从这个缓冲区里面取出多媒体数据发送。
在其中一个实施例中，如图4所示的视频缓冲区示意图，视频缓冲区，网络条件优秀时，尽量减少缓冲区大小，保证丢包率及拉流速度，网络条件差时从缓冲区读取数据保证流畅度。多媒体经过编码后有关键帧和非关键帧，关键帧也就是一副完整的图片，而非关键帧描述图像的相对变化，通过修改framedrop(转码时输入帧丢弃的数量)的值来解决不同步的问题，framedrop是在视频帧处理不过来的时候丢弃一些帧达到同步的效果；
在其中一个实施例中，如图5所示的在module-lite.sh(编译配置)文件中进行视频支持格式扩充的示意图，在module_lite.sh文件中，进行视频支持格式扩充。开源环境下的Ijkplayer(一种播放器)项目只支持极少的几种多媒体格式，而生产环境中根据厂商型号不同会面对不同直播流的情况，所以需要在原始编译步骤上做到尽可能支持所有直播流类型。并且若要进行加密播放HLS(流媒体协议)协议的视频，也需要对Openssl(安全套接字层密码库)进行重新编译，使ijkplayer支持https(超文本传输安全协议)播放。
在其中一个实施例中，生产环境中直播流地址在传输过程中为其安全性常进行加密重定向操作，因此需要在终端进行解密/定向操作，且耗时操作在终端完成也可对拉流速度进行部分优化。
在其中一个实施例中，参考图6中增加录制和截图功能的底层逻辑示意图和图7中增加录制和截图功能后的效果示意图，编译完成后生成so文件，因为添加了jni(一种编程框架)的映射方法，所以也需要添加终端层的方法调到jni。导入ijkplayer-java(对于so库的native接口)模块，调用jni层的代码是在ijkMediaPlayer类中，在ijkMediaPlayer中添加调用映射的对应native方法(一个java调用非java代码的接口)。终端调用C端代码是在ijkPlayer jni中，ijkPlayer jni调用具体功能只能通过ijkPlayer，ijkPlayer jni需要包含所有方法的映射，ff_ffplay.c(FFmpeg源码自带的播放器)文件负责录制、截图方法底层实现，负责与Ffmpeg层数据交互。
参考图8，图8为分析属性信息的示意图，打开直播流，创建音视频解码线程，循环读取解封装Packet存入相应队列。队列中读取Packet软解码一帧Frame存入frame_queue。
参考图9，图9为解码层与显示层的交互示意图，通过对视频或者音频数据在解码层进行解码之后，在视频显示界面显示或者播放音频。
参考图10，图10为整个计算机设备的底层逻辑图。
应该理解的是，虽然如上该的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上该的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的终端多媒体数据处理方法的终端多媒体数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个终端多媒体数据处理装置实施例中的具体限定可以参见上文中对于终端多媒体数据处理方法的限定，在此不再赘述。
参考图11，图11即为在一个实施例中终端多媒体数据处理方法的装置流程图。如图11所示，提供了一种终端多媒体数据处理装置1100，包括：分析模块、读取模块、监测模块、解码模块和显示模块，其中：
分析模块1102，用于获取多媒体数据的属性信息，对该属性信息进行分析。
读取模块1104，用于基于分析结果，对该多媒体数据进行读取，得到读取内容。
监测模块1106，用于对终端所处的网络条件进行监测。
解码模块1108，用于若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容。
显示模块1110，用于对该第一解码内容进行显示。
在本申请的一些实施例中，分析模块1102还包括获取模块11021，用于获取设置的场景参数，该场景参数用于调整该多媒体数据探测到的关键帧数量；该获取多媒体数据的属性信息，对该属性信息进行分析，包括：获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。
在本申请的一些实施例中，解码模块1108，用于若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
在本申请的一些实施例中，解码模块1108，用于若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度。
在本申请的一些实施例中，解码模块1108，用于若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式。
在本申请的一些实施例中，终端多媒体数据处理装置还包括第二显示模块1112。用于若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容；对该第二解码内容进行显示。
在上述实施例中，在当前网络条件不好时即当前监测到的网络条件满足预设网络条件时，通过两种方式分别是调整硬解码的解码率大小以及切换成软解码，来对读取的内容进行解码，保证解码出的解码内容流畅地显示。并且通过初始默认的硬解码模式和该硬解码解码率大小对当前处于正常或者良好的网络条件即监测到的该网络条件不满足预设网络条件，对读取内容进行解码，得到解码内容。补齐了监测结果为不满足预设网络条件时的应对处理，使得当前终端无论处于何种网络条件下，都能够保证解码出的解码内容流畅地显示。
上述终端多媒体数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储与终端多媒体数据处理相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种终端多媒体数据处理方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多媒体数据的属性信息，对该属性信息进行分析；
基于分析结果，对该多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容；
对该第一解码内容进行显示。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取设置的场景参数，该场景参数用于调整该多媒体数据探测到的关键帧数量；
该获取多媒体数据的属性信息，对该属性信息进行分析，包括：
获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。
在一实施例中，处理器执行计算机程序时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容；
对该第二解码内容进行显示。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多媒体数据的属性信息，对该属性信息进行分析；
基于分析结果，对该多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容；
对该第一解码内容进行显示。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取设置的场景参数，该场景参数用于调整该多媒体数据探测到的关键帧数量；
该获取多媒体数据的属性信息，对该属性信息进行分析，包括：
获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容；
对该第二解码内容进行显示。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行以下步骤：
获取多媒体数据的属性信息，对该属性信息进行分析；
基于分析结果，对该多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的该网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对该读取内容进行解码，得到第一解码内容；
对该第一解码内容进行显示。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取设置的场景参数，该场景参数用于调整该多媒体数据探测到的关键帧数量；
该获取多媒体数据的属性信息，对该属性信息进行分析，包括：
获取多媒体数据的属性信息，基于该场景参数，对该属性信息进行分析。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为硬解码方式，则改变该硬解码方式的解码率直到该第一解码内容的显示流畅度满足预设流畅度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为非硬解码方式，则将该非硬解码方式切换成软解码方式。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若监测到的该网络条件不满足预设网络条件，基于该初始解码模式对该读取内容进行解码，得到第二解码内容；
对该第二解码内容进行显示。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种终端多媒体数据处理方法，其特征在于，所述方法包括：
获取多媒体数据的属性信息，对所述属性信息进行分析；
基于分析结果，对所述多媒体数据进行读取，得到读取内容；
对终端所处的网络条件进行监测；
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
对所述第一解码内容进行显示。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取设置的场景参数，所述场景参数用于调整所述多媒体数据探测到的关键帧数量；
所述获取多媒体数据的属性信息，对所述属性信息进行分析，包括：
获取多媒体数据的属性信息，基于所述场景参数，对所述属性信息进行分析。
3.根据权利要求1所述的方法，其特征在于，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，包括：
若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种。
4.根据权利要求3所述的方法，其特征在于，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：
若监测到的所述网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为硬解码方式，则改变所述硬解码方式的解码率直到所述第一解码内容的显示流畅度满足预设流畅度。
5.根据权利要求3所述的方法，其特征在于，所述若监测到的所述网络条件满足预设网络条件，则调整初始解码模式中的解码方式和解码率中至少一种，包括：
若监测到的所述网络条件满足预设网络条件，则判断当前的解码方式是否为硬解码方式；
若当前的解码方式为非硬解码方式，则将所述非硬解码方式切换成软解码方式。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
若监测到的所述网络条件不满足预设网络条件，基于所述初始解码模式对所述读取内容进行解码，得到第二解码内容；
对所述第二解码内容进行显示。
7.一种终端多媒体数据处理方法装置，其特征在于，所述装置包括：
分析模块，用于获取多媒体数据的属性信息，对所述属性信息进行分析；
读取模块，用于基于分析结果，对所述多媒体数据进行读取，得到读取内容；
监测模块，用于对终端所处的网络条件进行监测；
解码模块，用于若监测到的所述网络条件满足预设网络条件，则调整初始解码模式，基于调整后的解码模式对所述读取内容进行解码，得到第一解码内容；
显示模块，用于对所述第一解码内容进行显示。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310612084.3A 2023-05-26 2023-05-26 终端多媒体数据处理方法、装置、计算机设备、存储介质 Pending CN116723356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310612084.3A CN116723356A (zh) 2023-05-26 2023-05-26 终端多媒体数据处理方法、装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310612084.3A CN116723356A (zh) 2023-05-26 2023-05-26 终端多媒体数据处理方法、装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN116723356A true CN116723356A (zh) 2023-09-08

Family

ID=87870719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310612084.3A Pending CN116723356A (zh) 2023-05-26 2023-05-26 终端多媒体数据处理方法、装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN116723356A (zh)

Similar Documents

Publication Publication Date Title
US11336953B2 (en) Video processing method, electronic device, and computer-readable medium
CN109168078B (zh) 一种视频清晰度切换方法及装置
CN108989885B (zh) 视频文件转码系统、分割方法、转码方法及装置
KR100579387B1 (ko) 디지털 정보의 효율적인 전송 및 재생
KR101927016B1 (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
JP6266109B2 (ja) 動画画面の処理方法及び装置
CA2464844C (en) Media foundation media processor
CN111641838A (zh) 一种浏览器视频播放方法、装置以及计算机存储介质
US20020122656A1 (en) Method and apparatus for recording broadcast data
CN112261416A (zh) 基于云的视频处理方法、装置、存储介质与电子设备
CN109840879B (zh) 图像渲染方法、装置、计算机存储介质及终端
WO2020155964A1 (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
CN111669645B (zh) 视频的播放方法、装置、电子设备及存储介质
US11356739B2 (en) Video playback method, terminal apparatus, and storage medium
JP2023511019A (ja) ビデオ処理方法、装置、コンピュータデバイスおよびコンピュータプログラム
WO2014144641A1 (en) System and method for replicating a media stream
CN113938470A (zh) 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器
WO2018139284A1 (ja) 画像処理装置および方法、並びにプログラム
JP2016072858A (ja) メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
CN116723356A (zh) 终端多媒体数据处理方法、装置、计算机设备、存储介质
WO2018139283A1 (ja) 画像処理装置および方法、並びにプログラム
CN114363303B (zh) 一种实现监控视频快速起播的流媒体转码方法
WO2022116822A1 (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN115604238A (zh) 物联网操作系统的音视频处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination