CN116248964A - 一种音视频处理方法、装置及相关设备 - Google Patents
一种音视频处理方法、装置及相关设备 Download PDFInfo
- Publication number
- CN116248964A CN116248964A CN202310226445.0A CN202310226445A CN116248964A CN 116248964 A CN116248964 A CN 116248964A CN 202310226445 A CN202310226445 A CN 202310226445A CN 116248964 A CN116248964 A CN 116248964A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- determining
- frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请提供了一种音视频处理方法、装置及相关设备，用于对音视频媒体进行倒播，其中，所述音视频处理方法包括：确定目标音视媒体的媒体流信息和传输流数据，基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，根据所述关键帧图像确定倒播音视频帧范围，调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列，根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。这种音视频处理方法能够适应各种不同格式的音视频进行倒播工作需求，无需人工进行进度条拖动控制，倒播过程流畅自然，播放稳定性好。
Description
技术领域
本申请涉及多媒体技术领域，尤其涉及一种音视频处理方法、装置及相关设备。
背景技术
随着音视频播放技术的发展，拍摄和监控的应用和设备使用也越来越广泛。在目前社会上普遍使用的播放技术相关的应用中，多提供按照原音视频的播放流进行顺序播放，但随着对于如监控视频如车辆上安装的行车记录仪或者其他播放场景，往往还需要对音视频媒体进行倒播回放，以便有用户查找到对应时间点的音视频数据。然而目前行业内提供的音视频播放器在适应对音视频进行倒播的场景应用时，大多都需要用户手动拖动播放器进行进度条进行逆拖动以使得音视频数据进行倒播，并不提供直接对音视频媒体进行自动倒播的功能，这种人工拖动播放器播放进度条的方式使用非常不便，难以帮助用户快速的查找到对应的关键帧音视频数据，用户体验感差。
发明内容
有鉴于此，本申请实施例提供一种音视频处理方法，以至少部分解决上述问题。
第一方面，本申请实施例提供一种音视频处理方法，用于对音视频媒体进行倒播，包括：
确定目标音视媒体的媒体流信息和传输流数据；
基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
根据所述关键帧图像确定倒播音视频帧范围；
调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
可选地，在本申请的一种实施例中，所述根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播，包括：
按照所述目标音视频媒体流的播放顺序，将所述倒播音视频序列存入倒播存储栈中，以生成对应的倒播音视频媒体流；
根据先进后出原则，从所述倒播存储栈中出栈所述倒播音视频媒体流进行解码出栈，以对所述对应的倒播音视频媒体流进行播放。
可选地，在本申请的一种实施例中，所述基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，包括：
基于所述目标倒播的时间点和所述媒体流信息，确定对应的传输流数据；
在所述传输流数据中定位接近所述目标倒播的时间点的音视频帧信息；
基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧。
可选地，在本申请的一种实施例中，所述基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧，包括：
确定所述音视频帧信息的时间戳信息；
基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧；
将所述获取的至少一组用于表示完整图像信息的视频帧确定为进行所述倒播的关键帧。
可选地，在本申请的一种实施例中，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一个关键帧，包括：
当所述目标音视频为非固定的GOP的音视频媒体时，通过以下公式确定以所述音视频帧为基础位置往前序的音视频帧中进行检索的范围Qn：
其中，n用于表示往前序的音视频帧中进行检索的次数，x1、x2、…、xn用于表示对应所述次数往前序的音视频帧中进行检索的时间范围或帧数；
基于确定的时间范围或帧数，迭代检索所述至少一个关键帧。
可选地，在本申请的一种实施例中，所述基于确定的时间范围或帧数，迭代检索所述至少一个关键帧，包括：
根据检索到的至少一个关键帧的时间戳信息，对所述基础位置进行更新；
根据所述基础位置更新的结果，迭代检索所述至少一个关键帧。
可选地，在本申请的一种实施例中，所述根据所述关键帧图像确定倒播音视频帧范围，包括：
根据确定的所述关键帧图像对应的时间戳信息，确定所述倒播音视频范围。
可选地，在本申请的一种实施例中，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧，包括：
使用静态或动态步长，以所述音视频帧的位置为基础位置，向所述前序的音视频中进行检索，以获取至少一个用于表征完整图像信息的视频帧。
第二方面，基于本申请第一方面提供的音视频处理方法，本申请实施例还提供一种音视频处理装置，用于对音视频媒体进行倒播，，包括：
确定模块，用于确定目标音视媒体的媒体流信息和传输流数据；
检索模块，用于基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
定位模块，用于根据所述关键帧图像确定倒播音视频帧范围；
调整模块，用于调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
播放模块，用于根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
第三方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的任意一种音视频处理方法。
本申请提供了一种音视频处理方法、装置及相关设备，用于对音视频媒体进行倒播，其中，所述音视频处理方法包括：确定目标音视媒体的媒体流信息和传输流数据，基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，根据所述关键帧图像确定倒播音视频帧范围，调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列，根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。这种音视频处理方法能够适应各种不同格式的音视频进行倒播工作需求，无需人工进行进度条拖动控制，倒播过程流畅自然，播放稳定性好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音视频处理方法的工作流程示意图；
图2为本申请实施例提供的一种音视频处理装置的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
实施例一、
本申请实施例提供一种音视频处理方法，如图1所示，图1为本申请实施例提供的一种音视频处理方法的结构示意图，该音视频处理方法用于对音视频媒体进行倒播，包括：
S101、确定目标音视媒体的媒体流信息和传输流数据。
在本申请实施例的实施过程中，该音视频流为一个完整的视频文件，；例如包括一个的媒体信息可以是m3u8文件包含的相关信息，如时长、分辨率和编码方式等，而传输流数据是对应数量的.ts文件，完整的确定目标音视频媒体的整体时长。淡然，在本申请实施例中，该目标音视频媒体也可以是如MP4格式或其他格式的音视频文件，本申请实施例对此不作限制。
具体的，在本申请实施例的一种实现方式中，可以从媒体流信息和传输流数据中确定该确定目标音视频媒体的时间长度，即可准确的满足用户根据指定时间进行倒播的播放需求。
S102、基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧(I帧，intra picture)。
本申请实施例中，该确定的目标倒播时间点可以是基于用户输入的时间点信息解析确定的，也可以是通过其他操作如用户拖动播放器播放进度条确定的，从而更好的满足不同用户在不同播放模仿下的倒播需求，为用户提供一种或多种倒播方式，提高用户的使用体验感。
可选的，在本申请实施例中，在进行视频解码播放时，必须从关键帧即I帧为开头进行解码，才能使得其后的P帧和B帧才能跟据前向参考帧进行解码显示，而像P帧(Predictive Picture(预测编码图像帧)、B帧(Bidirectionally predicted picture，双向预测编码图像帧)或其它不携带任何音视频内容信息的音视频图像帧，如IDR帧，并不能完整的表征一组完整的视频帧(GOP，Group of Pictures)，本实施例这种实现过程能够有效的防止对目标音视媒体进行倒播时发生解码失败导致倒播中断的情况发生，以保证倒播的完整性和播放稳定性。
S103、根据所述关键帧图像确定倒播音视频帧范围。
在本申请实施例中，关键帧图像用于标识进行倒播的目标音视频中携带音视频相关信息的音视频帧媒体流图像，而非如P帧、B站等无法顺序解码或可能导致倒播停止的非关键帧影响倒播的稳定进行。
可选地，在本申请的一种实施例中，所述根据所述关键帧图像确定倒播音视频帧范围，包括：根据确定的所述关键帧图像对应的时间戳信息，确定所述倒播音视频范围。在本申请实施例中，时间戳信息是每一帧音视频帧图像对应所属完整音视频总时长中对应的时间信息，用于表征该帧音视频图像所处的时间点，也就是位置，例如某完整视频顺序播放时第3分钟第2秒对应的一帧视频帧图像。在本申请实施例的其他实现方式中该时间戳信息也可以是基于该完整视频包含的所有图像帧帧数确定的，例如一个完整视频拥有20000帧图像，该时间戳信息也可以用于表征其中的某一帧图像所处的位置，如第1000帧或第2000帧视频帧图像等相关序列参数。当然，本实施例此处只是示例性的对时间错信息进行说明，并不代表本申请局限于此。通过时间错信息，可以快速的确定目标倒播音视频帧的范围，过程效率高且准确性好。
优选地，在本申请实施例的一种实现方式中，将检索的所有关键帧图像确定倒播音视频帧范围，也即是去除掉原音视频媒体流中的灰帧、蓝帧或空白帧等不携带任何音视频内容信息的图像帧。
S104、调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列。
具体的，在本申请实施例的一种实现方式中，调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列，包括：基于目标音视媒体的视频帧图像解码方法，对确定的音视频帧范围对应的音视频数据进行顺序解码，得到解码后的音视频帧序列，将解码后的音视频序列进行反向排列，从而确定倒播音视频帧序列，以保证对倒播音视频帧序列能够稳定的解码播放。
S105、根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
可选地，在本申请的一种实施例中，所述根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播，包括：按照所述目标音视频媒体流的播放顺序，将所述倒播音视频序列存入倒播存储栈中，以生成对应的倒播音视频媒体流，根据先进后出原则，从所述倒播存储栈中出栈所述倒播音视频媒体流进行解码出栈，以对所述对应的倒播音视频媒体流进行播放。
本申请实施例通过建立倒播存储栈的方式对要倒播的音视频媒体流进行存储，以便于倒播音视频流媒体流播放的有序性和连贯性，以保证倒播工作的稳定进行，无需人工进行多余的操作，提高了对确定的视频进行倒播的效率和用户体验感。
可选地，在本申请的一种实施例中，所述基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，包括：基于所述目标倒播的时间点和所述媒体流信息，确定对应的传输流数据，在所述传输流数据中定位接近所述目标倒播的时间点的音视频帧信息，基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧。在本申请实施例中，由于是基于目标倒播的时间点进行倒播的实现过程时，需要获取的一定是与音视频数据是于基于该时间点确定的对应一帧音视频图像之前序列中音视频帧，以保证倒播工作的准确性，符合用户的需求。
可选地，在本申请的一种实施例中，所述基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧，包括：确定音视频帧信息的时间戳信息，基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧，将所述获取的至少一组用于表示完整图像信息的视频帧确定为进行所述倒播的关键帧。保证确定的准确性。也是的系统在进行检索的过程中，无需消耗过多的系统处理资源，以进一步提高确定关键帧的效率。
可选地，在本申请的一种实施例中，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧，包括：使用静态或动态步长，以所述音视频帧的位置为基础位置，向所述前序的音视频中进行检索，以获取至少一个用于表征完整图像信息的视频帧。
具体地，所述静态步长应用于拥有固定GOP的音视频媒体进行关键帧的检索。而所述动态步长应用于对具有非固定GOP的音视频媒体中的关键帧的检索过程。
优选地，对于具有固定GOP的音视频媒体，检索关键帧使用的静态步长可以为一个GOP对应时间长度或帧数，即两个相邻I帧之间的帧数；而针对具有非固定GOP的音视频媒体，使用动态步长，例如根据前一次或多次检索到关键帧时的步长对下一次使用的检索步长进行调整后，再进行关键帧检索，能一定程度的提高检索关键帧的效率。
可选地，在本申请的一种实施例中，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一个关键帧，包括：当所述目标音视频为非固定的GOP的音视频媒体时，通过以下公式确定以所述音视频帧为基础位置往前序的音视频帧中进行检索的范围Qn：
其中，n用于表示往前序的音视频帧中进行检索的次数，x1、x2、…、xn用于表示对应所次数往前序的音视频帧中进行检索的时间范围或帧数，基于确定的时间范围或帧数，迭代检索所述至少一个关键帧。
在本申请实施例的实现场景中，目标音视频媒体的媒体流一般分为两种，即具有固定GOP(Group of Pictures)的媒体流和具有非固定GOP的媒体流两种。对于具有固定GOP的音视频进行检索以确定关键帧的过程，以一个GOP帧数范围或时间范围或帧数为一个检索单位，向前检索其他关键帧，检索过程中不会在遇到P帧和B帧需要进行图像分析，必然能高效且准确的确定所有关键帧。但对具有非固定GOP的媒体流来通过上述公式计算算数平方根的方法调整每次检索的时间范围或帧数范围，能够更效率的检索到关键帧，提高检索命中率。
可选地，在本申请的一种实施例中，所述基于确定的时间范围或帧数，迭代检索所述至少一个关键帧，包括：根据检索到的至少一个关键帧的时间戳信息，对所述基础位置进行更新，根据所述基础位置更新的结果，迭代检索所述至少一个关键帧。在本申请实施例中，通过更新基础位置，能够更加完整的确定所有关键帧，并降低检索过程中的数据处理量，提高检索关键帧的效率和准确性。
本申请提供了一种音视频处理方法，用于对音视频媒体进行倒播，其中，所述音视频处理方法包括：确定目标音视媒体的媒体流信息和传输流数据，基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，根据所述关键帧图像确定倒播音视频帧范围，调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列，根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。这种音视频处理方法能够适应各种不同格式的音视频进行倒播工作需求，无需人工进行进度条拖动控制，倒播过程流畅自然，播放稳定性好。
实施例二、
基于本申请实施例一所述的音视频处理方法，本申请实施例此处还提供一种音视频处理装置20，用于对音视频媒体进行倒播，包括：
确定模块201，用于确定目标音视媒体的媒体流信息和传输流数据；
检索模块202，用于基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
定位模块203，用于根据所述关键帧图像确定倒播音视频帧范围；
调整模块204，用于调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
播放模块205，用于根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
可选地，在本实施例的一种实现方式中，播放模块205还用于：
按照所述目标音视频媒体流的播放顺序，将所述倒播音视频序列存入倒播存储栈中，以生成对应的倒播音视频媒体流；
根据先进后出原则，从所述倒播存储栈中出栈所述倒播音视频媒体流进行解码出栈，以对所述对应的倒播音视频媒体流进行播放。
可选地，在本实施例的一种实现方式中，检索模块202还用于：
基于所述目标倒播的时间点和所述媒体流信息，确定对应的传输流数据；
在所述传输流数据中定位接近所述目标倒播的时间点的音视频帧信息；
基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧。
可选地，在本实施例的一种实现方式中，检索模块202还用于：
确定所述音视频帧信息的时间戳信息；
基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧；
将所述获取的至少一组用于表示完整图像信息的视频帧确定为进行所述倒播的关键帧。
可选地，在本实施例的一种实现方式中，检索模块202还用于：
使用静态或动态步长，以所述音视频帧的位置为基础位置，向所述前序的音视频中进行检索，以获取至少一组用于表征完整图像信息的视频帧。
可选地，在本实施例的一种实现方式中，检索模块202还用于：
当所述目标音视频为非固定的GOP的音视频媒体时，通过以下公式确定以所述音视频帧为基础位置往前序的音视频帧中进行检索的范围Qn：
其中，n用于表示往前序的音视频帧中进行检索的次数，x1、x2、…、xn用于表示对应所述次数往前序的音视频帧中进行检索的时间范围或帧数；
基于确定的时间范围或帧数，迭代检索所述至少一个关键帧。
可选地，在本实施例的一种实现方式中，检索模块202还用于：
根据检索到的至少一个关键帧的时间戳信息，对所述基础位置进行更新；
根据所述基础位置更新的结果，迭代检索所述至少一个关键帧。
可选地，在本实施例的一种实现方式中，所述根据所述关键帧图像确定倒播音视频帧范围，包括：
根据确定的所述关键帧图像对应的时间戳信息，确定所述倒播音视频范围。
本申请提供了一种音视频处理装置，用于对音视频媒体进行倒播，其中，所述音视频处理方法包括：确定目标音视媒体的媒体流信息和传输流数据，基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，根据所述关键帧图像确定倒播音视频帧范围，调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列，根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。这种音视频处理方法能够适应各种不同格式的音视频进行倒播工作需求，无需人工进行进度条拖动控制，倒播过程流畅自然，播放稳定性好。
实施例三、
本申请实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一所述的任意一种音视频处理方法，该音视频处理方法包括但不限于：
确定目标音视媒体的媒体流信息和传输流数据；
基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
根据所述关键帧图像确定倒播音视频帧范围；
调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
至此，本申请已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种音视频处理方法，其特征在于，用于对音视频媒体进行倒播，包括：
确定目标音视媒体的媒体流信息和传输流数据；
基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
根据所述关键帧图像确定倒播音视频帧范围；
调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
2.根据权利要求1所述的音视频处理方法，其特征在于，所述根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播，包括：
按照所述目标音视频媒体流的播放顺序，将所述倒播音视频序列存入倒播存储栈中，以生成对应的倒播音视频媒体流；
根据先进后出原则，从所述倒播存储栈中出栈所述倒播音视频媒体流进行解码出栈，以对所述对应的倒播音视频媒体流进行播放。
3.根据权利要求1所述的音视频处理方法，其特征在于，所述基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧，包括：
基于所述目标倒播的时间点和所述媒体流信息，确定对应的传输流数据；
在所述传输流数据中定位接近所述目标倒播的时间点的音视频帧信息；
基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧。
4.根据权利要求3所述的音视频处理方法，其特征在于，所述基于所述音视频帧信息，确定所述目标音视频媒体中确定用于进行倒播的关键帧，包括：
确定所述音视频帧信息的时间戳信息；
基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧；
将所述获取的至少一组用于表示完整图像信息的视频帧确定为进行所述倒播的关键帧。
5.根据权利要求4所述的音视频处理方法，其特征在于，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一组用于表示完整图像信息的视频帧，包括：
使用静态或动态步长，以所述音视频帧的位置为基础位置，向所述前序的音视频中进行检索，以获取至少一个用于表征完整图像信息的视频帧。
6.根据权利要求4所述的音视频处理方法，其特征在于，所述基于所述时间戳信息，向所述音视频帧的位置为基础位置往前序的音视频帧进行检索，以获取至少一个关键帧，包括：
当所述目标音视频为非固定的GOP的音视频媒体时，通过以下公式确定以所述音视频帧为基础位置往前序的音视频帧中进行检索的范围Qn：
其中，n用于表示往前序的音视频帧中进行检索的次数，x1、x2、…、xn用于表示对应所次数往前序的音视频帧中进行检索的时间范围或帧数；
基于确定的时间范围或帧数，迭代检索所述至少一个关键帧。
7.根据权利要求6所述的音视频处理方法，其特征在于，所述基于确定的时间范围或帧数，迭代检索所述至少一个关键帧，包括：：
根据检索到的至少一个关键帧的时间戳信息，对所述基础位置进行更新；
根据所述基础位置更新的结果，迭代检索所述至少一个关键帧。
8.根据权利要求1所述的音视频处理方法，其特征在于，所述根据所述关键帧图像确定倒播音视频帧范围，包括：
根据确定的所述关键帧图像对应的时间戳信息，确定所述倒播音视频范围。
9.一种音视频处理装置，其特征在于，用于对音视频媒体进行倒播，包括：
确定模块，用于确定目标音视媒体的媒体流信息和传输流数据；
检索模块，用于基于确定的目标倒播时间点、所述媒体流信息和所述传输流数据，在所述目标音视频媒体中确定用于进行倒播的关键帧；
定位模块，用于根据所述关键帧图像确定倒播音视频帧范围；
调整模块，用于调整所述音视频帧范围对应的音视频数据播放流次序，确定倒播音视频帧序列；
播放模块，用于根据所述倒播音视频序列，对所述目标倒播时间点对应的音视频数据进行倒播。
10.一种存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任意一项所述的音视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310226445.0A CN116248964A (zh) | 2023-03-09 | 2023-03-09 | 一种音视频处理方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310226445.0A CN116248964A (zh) | 2023-03-09 | 2023-03-09 | 一种音视频处理方法、装置及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116248964A true CN116248964A (zh) | 2023-06-09 |
Family
ID=86632918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310226445.0A Pending CN116248964A (zh) | 2023-03-09 | 2023-03-09 | 一种音视频处理方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116248964A (zh) |
-
2023
- 2023-03-09 CN CN202310226445.0A patent/CN116248964A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11157689B2 (en) | Operations on dynamic data associated with cells in spreadsheets | |
| KR101365829B1 (ko) | 대화형 멀티미디어 프리젠테이션을 재생하는 방법을 수행하는 컴퓨터 실행가능 명령어들이 인코딩된 컴퓨터 판독가능 매체, 및 대화형 멀티미디어 프리젠테이션을 재생하는 프리젠테이션 시스템 및 장치 | |
| US20090079840A1 (en) | Method for intelligently creating, consuming, and sharing video content on mobile devices | |
| US20130042179A1 (en) | Annotating Media Content with User-Specified Information | |
| US20070223878A1 (en) | Image displaying method and video playback apparatus | |
| US9438876B2 (en) | Method for semantics based trick mode play in video system | |
| JP2010525497A (ja) | スピーチ認識技術を使用して生成されるメタデータにより映像コンテンツに注釈をつける方法及び装置 | |
| KR20070121728A (ko) | 미디어 타임라인 정렬 방법 | |
| TW201421994A (zh) | 視頻內容搜索系統及方法 | |
| US20140147100A1 (en) | Methods and systems of editing and decoding a video file | |
| CN101854508A (zh) | 反向回放编码的多媒体内容的方法和装置 | |
| CN104349173A (zh) | 视频复读方法及装置 | |
| CN106878807B (zh) | 一种视频切换方法和装置 | |
| US9729919B2 (en) | Remultiplexing bitstreams of encoded video for video playback | |
| WO2011135664A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20050047754A1 (en) | Interactive data processing method and apparatus | |
| CN116248964A (zh) | 一种音视频处理方法、装置及相关设备 | |
| KR100878528B1 (ko) | 동영상편집방법 및 그 장치 | |
| US20170069354A1 (en) | Method, system and apparatus for generating a position marker in video images | |
| US11140461B2 (en) | Video thumbnail in electronic program guide | |
| US20140250055A1 (en) | Systems and Methods for Associating Metadata With Media Using Metadata Placeholders | |
| WO2006030995A9 (en) | Index-based authoring and editing system for video contents | |
| Rome et al. | Multimedia on symbian OS: Inside the convergence device | |
| US11973820B2 (en) | Method and apparatus for mpeg dash to support preroll and midroll content during media playback | |
| JP2007122502A (ja) | フレームバッファ管理プログラム、プログラム記憶媒体、および管理方法。 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |