CN116886995A - 一种实时切流直播转码方法、系统、设备及存储介质 - Google Patents

一种实时切流直播转码方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116886995A
CN116886995A CN202311010005.8A CN202311010005A CN116886995A CN 116886995 A CN116886995 A CN 116886995A CN 202311010005 A CN202311010005 A CN 202311010005A CN 116886995 A CN116886995 A CN 116886995A
Authority
CN
China
Prior art keywords
frame rate
output
real
mode
transcoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311010005.8A
Other languages
English (en)
Inventor
王遥远
唐杰
杨天使
戴立言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Original Assignee
SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WONDERTEK SOFTWARE CO Ltd filed Critical SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority to CN202311010005.8A priority Critical patent/CN116886995A/zh
Publication of CN116886995A publication Critical patent/CN116886995A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种实时切流直播转码方法、系统、设备及存储介质，包括如下步骤：实时对输入的视频源进行帧率检测，获取帧率信息。基于帧率信息选择固定帧率模式或是可变帧率模式，固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值；可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率，进而输出的视频源进行转码并输出。本发明通过固定帧率和可变帧率模式实现帧率随信源的处理，确保输出帧率与信源的帧率相匹配，保持视频流的连续流畅。还对输入切流、断流及恢复操作进行处理，动态调整输出帧率，避免卡顿和不流畅现象，提升观看体验。还针对H264、HEVC视频编码，提供了具体的实时处理方式，保证编码后的视频质量和流畅度。

Description

一种实时切流直播转码方法、系统、设备及存储介质
技术领域
本发明属于视频处理领域，尤其涉及一种实时切流直播转码方法、系统、设备及存储介质。
背景技术
随着信息技术的不断发展，多媒体直播以其形式新颖、内容丰富受到人们的关注。目前，直播系统采用的直播方式如下：主播端单方面推流到直播平台，然后通过直播平台的中转系统、CDN(Content Delivery Network，内容分发)服务器的分发，最终在观众端拉流并播放流媒体内容，其中涉及到直播转码系统。
然而在直播转码系统中，输入信源的切流、断流及恢复操作常导致输出帧率的不稳定，从而影响观看体验。现有技术中采用固定帧率方式处理，或是手动调整输出帧率，无法根据信源的变化动态调整输出帧率，实际效果不佳。此外，针对H264、HEVC等视频编码，如何实现帧率随信源的转码仍然是一个挑战。
发明内容
本发明的技术目的是提供一种实时切流直播转码方法、系统、设备及存储介质，以解决输入切流、断流及恢复时出现卡顿、不流畅的技术问题。
为解决上述问题，本发明的技术方案为：
一种实时切流直播转码方法，包括如下步骤：
实时对输入的视频源进行帧率检测，获取实时的帧率信息；
基于帧率信息选择固定帧率模式或是可变帧率模式，固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值；可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率；
进而根据固定帧率模下或是可变帧率模式下输出的视频源进行转码并输出。
其中，在可变帧率模式下，具体步骤为：
根据帧率信息对输入的视频源帧率变化进行分析，确定帧率的变化趋势；
根据变化趋势，调整帧率的变化范围以及设置所需的调整策略,设置帧率调整参数，用以动态调整输出帧率，若输入源的帧率下降，则减少输出帧率以匹配输入源的帧率，反之增加输出帧率；其中，帧率调整参数包括最小帧率、最大帧率、步长参数以及编码参数。
其中，调整策略具体为：
调整视频源的GOP长度以间接调整输出帧率，通过对长GOP中的I帧数量实现减少，以降低输出帧率；通过对短GOP中的I帧数量实现增加，以提高输出帧率；
通过调整编码参数，以调整编码器输出的输出帧率，其中，编码参数包括帧间间隔、码率控制参数；
根据视频源的帧率和设定的帧率进行调整，实时计算输出帧率，若输入帧率低于或超过预设的最小帧率或是最大帧率，则根据预设的变换策略进行帧率调整。
其中，变换策略具体为：
若输入源的帧率低于预设的最小帧率，则通过重复输出帧或插入重复帧以增加输出帧率；若输入帧率超过预设的最大帧率，则丢弃部分帧或降低编码质量以减少输出帧率。
进一步优选地，当检测到输入源切流时，还包括如下步骤：
在固定帧率模式下，输出帧率直接切换为新输入源的帧率，在可变帧率模式下，根据新输入源的帧率变化，以动态调整输出帧率。
进一步优选地，当检测到断流及恢复处理时，还包括如下步骤：
在固定帧率模式下，将输出帧率设置为恢复后的输入源的帧率；在可变帧率模式下，根据恢复后的输入源的帧率变化，以动态调整输出帧率。
一种实时切流直播转码系统，应用如上述的实时切流直播转码方法，包括：切流模块、帧率检测模块、转码模块和输出流；
切流模块与至少两个输入信源信号连接，用于选择一路视频源作为当前流输出；
帧率检测模块用于实时对输入的视频源进行帧率检测，获取实时的帧率信息；
转码模块用于根据帧率信息选择固定帧率模式或是可变帧率模式，固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值；可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率；进而根据固定帧率模下或是可变帧率模式下输出的视频源进行转码，得到实时的视频流；
输出流用于将视频流输出至外部。
一种电子设备，电子设备包括处理器和存储器，存储器上存储有可在处理器上运行的计算机指令，处理器用于调用存储器中的计算机指令执行如上述的实时切流直播转码方法。
一种存储介质，存储介质用于存储计算机指令，其中，在计算机指令运行时控制存储介质所在设备执行如上述的实时切流直播转码方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
实时帧率调整：本发明通过固定帧率和可变帧率模式实现帧率随信源的处理，确保输出帧率与信源的帧率相匹配，保持视频流的连续流畅；
输入切流、断流及恢复时的输出帧率随源：对输入切流、断流及恢复操作进行处理，动态调整输出帧率，避免卡顿和不流畅现象，提升观看体验；
H264、HEVC编码帧率随源设置：针对H264、HEVC视频编码，提供了具体的实时处理方式，保证编码后的视频质量和流畅度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明所提供的实时切流直播转码方法的流程图；
图2为本发明所提供的实时切流直播转码系统的结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
以下结合附图和具体实施例对本发明提出的一种实时切流直播转码方法、系统、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例1
参看图1，本实施例提供了一种实时切流直播转码方法，包括如下步骤：
首先，需要实时地对输入的视频源进行帧率检测，获取实时的帧率信息。
然后，基于帧率信息选择固定帧率模式或是可变帧率模式进行。当选择固定帧率模时，此时输出帧率设置为与输入视频源帧率相同的固定值。当选择可变帧率模式时，本实施例会根据输入视频源帧率的变化，动态调整输出帧率，具体为：
根据帧率信息对输入的视频源帧率变化进行分析，确定帧率的变化趋势，变化趋势可以通过计算帧间间隔(GOP)等帧率相关参数来得到。
接着，再根据变化趋势，调整帧率的变化范围以及采用所需的调整策略,设置帧率调整参数，用以动态调整输出帧率以保持流畅。例如，若输入源的帧率下降，则减少输出帧率以匹配输入源的帧率，反之增加输出帧率。其中，帧率调整参数包括最小帧率、最大帧率、步长参数以及编码参数等。
具体为：GOP长度调整：由于H.264、HEVC编码采用GOP结构。通过调整视频源的GOP长度以间接调整输出帧率，对较长的GOP减少I帧数量，从而降低输出帧率；对较短GOP增加I帧数量，从而提高输出帧率。
帧率动态调整：根据视频源的帧率和设定的帧率进行调整，实时计算输出帧率，若输入源的帧率低于预设的最小帧率，则通过重复输出帧或插入重复帧以增加输出帧率；若输入帧率超过预设的最大帧率，则丢弃部分帧或降低编码质量以减少输出帧率。
紧接着，根据动态调整后的输出帧率，将视频帧送入H.264、HEVC编码器进行编码处理。编码器根据帧率的变化调整编码参数，以实现输出帧率的控制。调整编码参数：根据帧率变化需求，调整H.264、HEVC编码器的相关参数，包括帧间间隔(IPB帧间距)、码率控制参数等。这些参数的调整可以影响编码器输出的帧率。
较优地，在输入切流、断流及恢复的过程中，本实施例能够实现输出帧率随源的变化。
当检测到输入源切流时，本实施根据新的输入源的帧率进行切换。在固定帧率模式下，输出帧率直接切换为新输入源的帧率，在可变帧率模式下，根据新输入源的帧率变化，以动态调整输出帧率。
当检测到断流及恢复处理时，本实施根据恢复后的输入源的帧率进行相应处理。在固定帧率模式下，将输出帧率设置为恢复后的输入源的帧率；在可变帧率模式下，根据恢复后的输入源的帧率变化，以动态调整输出帧率。
实施例2
参看图2，本实施例提供了一种实时切流直播转码系统，应用如实施例1的实时切流直播转码方法，包括：切流模块、帧率检测模块、转码模块和输出流。
切流模块与至少两个输入信源信号连接，可以选择其中一路视频源作为当前流输出。输入信源代表视频源的输入，可以是摄像头、视频文件或其他直播信号源。
帧率检测模块从切流模块接收视频源，用于实时对视频源进行帧率检测，获取实时的帧率信息。
转码模块为核心组件，从帧率检测模块接收视频源，并进行实时转码处理。其转码引擎具有帧率随源的功能，可以根据帧率信息选择固定帧率模式或可变帧率模式。固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值。可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率，进而根据固定帧率模下或是可变帧率模式下输出的视频源进行转码，得到实时的视频流。其还包括帧率相关参数的处理，如GOP(Group of Pictures)长度的调整。
最后，利用输出流将转码后的视频流输出，输出流可以连接到各种目标，例如直播平台、网络服务器或其他终端设备。
实施例3
较优地，本实施例还提供一种电子设备，电子设备包括处理器和存储器，存储器上存储有可在处理器上运行的计算机指令，处理器用于调用存储器中的计算机指令执行如实施例1的实时切流直播转码方法。
实施例4
较优地，本实施例还提供一种存储介质，存储介质用于存储计算机指令，其中，在计算机指令运行时控制存储介质所在设备执行如实施例1的实时切流直播转码方法。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (9)

1.一种实时切流直播转码方法，其特征在于，包括如下步骤：
实时对输入的视频源进行帧率检测，获取实时的帧率信息；
基于所述帧率信息选择固定帧率模式或是可变帧率模式，固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值；可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率；
进而根据固定帧率模下或是可变帧率模式下输出的视频源进行转码并输出。
2.根据权利要求1所述的实时切流直播转码方法，其特征在于，在可变帧率模式下，具体步骤为：
根据帧率信息对输入的视频源帧率变化进行分析，确定帧率的变化趋势；
根据变化趋势，调整帧率的变化范围以及设置所需的调整策略,设置帧率调整参数，用以动态调整输出帧率，若输入源的帧率下降，则减少输出帧率以匹配输入源的帧率，反之增加输出帧率；其中，帧率调整参数包括最小帧率、最大帧率、步长参数以及编码参数。
3.根据权利要求2所述的实时切流直播转码方法，其特征在于，调整策略具体为：
调整视频源的GOP长度以间接调整输出帧率，通过对长GOP中的I帧数量实现减少，以降低输出帧率；通过对短GOP中的I帧数量实现增加，以提高输出帧率；
通过调整编码参数，以调整编码器输出的输出帧率，其中，编码参数包括帧间间隔、码率控制参数；
根据视频源的帧率和设定的帧率进行调整，实时计算输出帧率，若输入帧率低于或超过预设的最小帧率或是最大帧率，则根据预设的变换策略进行帧率调整。
4.根据权利要求3所述的实时切流直播转码方法，其特征在于，变换策略具体为：
若输入源的帧率低于预设的最小帧率，则通过重复输出帧或插入重复帧以增加输出帧率；若输入帧率超过预设的最大帧率，则丢弃部分帧或降低编码质量以减少输出帧率。
5.根据权利要求1所述的实时切流直播转码方法，其特征在于，当检测到输入源切流时，还包括如下步骤：
在固定帧率模式下，输出帧率直接切换为新输入源的帧率，在可变帧率模式下，根据新输入源的帧率变化，以动态调整输出帧率。
6.根据权利要求1所述的实时切流直播转码方法，其特征在于，当检测到断流及恢复处理时，还包括如下步骤：
在固定帧率模式下，将输出帧率设置为恢复后的输入源的帧率；在可变帧率模式下，根据恢复后的输入源的帧率变化，以动态调整输出帧率。
7.一种实时切流直播转码系统，应用如权利要求1至6所述的实时切流直播转码方法，其特征在于，包括：切流模块、帧率检测模块、转码模块和输出流；
所述切流模块与至少两个输入信源信号连接，用于选择一路视频源作为当前流输出；
所述帧率检测模块用于实时对输入的视频源进行帧率检测，获取实时的帧率信息；
转码模块用于根据所述帧率信息选择固定帧率模式或是可变帧率模式，固定帧率模下，输出帧率设置为与输入视频源帧率相同的固定值；可变帧率模式下，根据输入视频源帧率的变化动态调整输出帧率；进而根据固定帧率模下或是可变帧率模式下输出的视频源进行转码，得到实时的视频流；
所述输出流用于将视频流输出至外部。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器用于调用所述存储器中的计算机指令执行如权利要求1-6中任一项所述的实时切流直播转码方法。
9.一种存储介质，其特征在于，所述存储介质用于存储计算机指令，其中，在所述计算机指令运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的实时切流直播转码方法。
CN202311010005.8A 2023-08-11 2023-08-11 一种实时切流直播转码方法、系统、设备及存储介质 Pending CN116886995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311010005.8A CN116886995A (zh) 2023-08-11 2023-08-11 一种实时切流直播转码方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311010005.8A CN116886995A (zh) 2023-08-11 2023-08-11 一种实时切流直播转码方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116886995A true CN116886995A (zh) 2023-10-13

Family

ID=88262994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311010005.8A Pending CN116886995A (zh) 2023-08-11 2023-08-11 一种实时切流直播转码方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116886995A (zh)

Similar Documents

Publication Publication Date Title
US10638169B2 (en) Codec techniquest for fast switching without a synchronization frame
US9226022B2 (en) Method of switching from a first encoded video stream to a second encoded video stream
US9866605B2 (en) Streaming manifest quality control
CN108810545B (zh) 用于视频编码的方法、装置、计算机可读介质及电子设备
EP3520422B1 (en) Viewer importance adaptive bit rate delivery
WO2018060489A1 (en) Viewer importance adaptive bit rate delivery
CN116074296A (zh) 用于编码视频内容的系统和方法
US10547888B2 (en) Method and device for processing adaptive media service, encoder and decoder
CN110662100A (zh) 一种信息处理方法、装置、系统和计算机可读存储介质
US20180338168A1 (en) Splicing in adaptive bit rate (abr) video streams
US10848538B2 (en) Synchronized source selection for adaptive bitrate (ABR) encoders
CN111741248B (zh) 一种数据传输方法、装置、终端设备和存储介质
EP3681162A1 (en) Seamless content encoding and transmission
US9544664B1 (en) Group of pictures size adjustment
US20070280294A1 (en) Constrained Fidelity Constant Bit Rate Video Encoding Systems and Methods
CN111866533B (zh) 一种直播转码方法及装置
EP1978743A1 (en) A method and apparatus for transcoding a video signal
US20120044422A1 (en) Video Signal Processing
CN116886995A (zh) 一种实时切流直播转码方法、系统、设备及存储介质
US10924812B2 (en) Constant quality video encoding with encoding parameter fine-tuning
De Simone et al. Comparison of DASH adaptation strategies based on bitrate and quality signalling
CN100486335C (zh) 比特率自动调整装置
Kobayashi et al. A Low-Latency 4K HEVC Multi-Channel Encoding System with Content-Aware Bitrate Control for Live Streaming
Law et al. Universal CMAF Container for Efficient Cross-Format Low-Latency Delivery
GB2412807A (en) Video processing to reduce program length

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination