CN106412626A - 一种直播视频的处理方法及装置 - Google Patents

一种直播视频的处理方法及装置 Download PDF

Info

Publication number
CN106412626A
CN106412626A CN201610929382.5A CN201610929382A CN106412626A CN 106412626 A CN106412626 A CN 106412626A CN 201610929382 A CN201610929382 A CN 201610929382A CN 106412626 A CN106412626 A CN 106412626A
Authority
CN
China
Prior art keywords
video
frame
data stream
video data
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610929382.5A
Other languages
English (en)
Other versions
CN106412626B (zh
Inventor
郑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201610929382.5A priority Critical patent/CN106412626B/zh
Publication of CN106412626A publication Critical patent/CN106412626A/zh
Priority to PCT/CN2017/079622 priority patent/WO2018076614A1/zh
Application granted granted Critical
Publication of CN106412626B publication Critical patent/CN106412626B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种直播视频的处理方法及装置，包括：获取摄像头采集的视频数据流，该视频数据流包括多个视频帧；按相同布局将每一个视频帧划分为多个图像块；计算每个图像块的亮度值，根据该亮度值计算每个视频帧中位置相同的图像块之间亮度值的差值；确定位置相同的图像块对应的差值的平均值，根据平均值对应的图像块的个数确定上述视频数据流是否为静帧视频流；当确定为静帧视频流时，执行逐级降低摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。本发明中，避免了在观众和主播之间无交互时产生大量的冗余数据以及导致带宽的浪费。

Description

一种直播视频的处理方法及装置
技术领域
本发明涉及互联网及视频直播技术领域，具体而言，涉及一种直播视频的处理方法及装置。
背景技术
视频直播是指利用互联网及流媒体技术将主播录制的直播视频广播至多个观众用户的方式，在进行视频直播时，主播客户端通过摄像头采集主播的直播视频，然后将采集的直播视频发送给服务器，由服务器将直播视频发送给客户端。
视频直播与其他形式的视频播放最大的不同之处在于，直播视频具有交互性，这种交互性主要体现在两方面，一方面是观众与观众之间进行的交互，另一方面是观众和主播之间进行的交互。由于视频直播是实时将主播的视频发送出去，但是，在视频直播的过程中主播可能会离开摄像头或者睡觉，这时，观众和主播之间无法进行交互，如果这时仍然采用现有技术中处理直播视频的方式处理当前视频，容易造成大量的冗余数据和带宽的浪费。
发明内容
有鉴于此，本发明实施例的目的在于提供一种直播视频的处理方法及装置，以解决在观众和主播无法进行交互的情况下，如果继续采用现有技术中的直播视频的处理方法，容易导致大量的冗余数据和带宽浪费的问题。
第一方面，本发明实施例提供了一种直播视频的处理方法，其中，所述方法包括：
获取摄像头采集的视频数据流，所述视频数据流包括多个视频帧；
按相同布局将每一个所述视频帧划分为多个图像块；
计算每个所述图像块的亮度值，根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值；
确定所述位置相同的所述图像块对应的所述差值的平均值，根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流；
当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述按相同布局将每一个所述视频帧划分为多个图像块，包括：
周期性确定所述视频帧的划分布局；
根据所述划分布局将每一帧所述视频帧划分为多个图像块。
结合第一方面的第一种可能的实现方式，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述周期性确定所述视频帧的划分布局，包括：
在静帧检测周期开始后，提取当前检测周期内的第一个所述视频帧的亮度信号；
将第一个所述视频帧按照第一预设尺寸划分为多个区域，计算每个所述区域对应的像素点的亮度均值，将像素点的所述亮度均值相等且相邻的至少两个所述区域合并作为一个所述区域，得到所述视频帧的划分布局。
结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述按相同布局将每一个所述视频帧划分为多个图像块，包括：
按照第二预设尺寸将每一个所述视频帧平均划分为多个图像块。
结合第一方面，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述计算每个所述图像块的亮度值，包括：
获取所述图像块中每个像素点对应的亮度值；
根据每个所述像素点对应的亮度值，计算所述图像块对应的像素点的亮度均值；
将所述图像块对应的像素点的亮度均值确定为所述图像块的亮度值。
结合第一方面，本发明实施例提供了上述第一方面的第五种可能的实现方式，其中，所述根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值，包括：
计算当前检测周期内每个所述视频帧中与所述当前检测周期内第一个视频帧中位置相同的所述图像块之间的所述亮度值的差值。
结合第一方面，本发明实施例提供了上述第一方面的第六种可能的实现方式，其中，所述根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流，包括：
统计每个检测周期内所述平均值不为零的图像块的个数；
将所述个数与预设阈值进行比较，当连续预设数目个检测周期对应的所述个数小于所述预设阈值时，确定所述视频数据流为静帧视频流。
结合第一方面，本发明实施例提供了上述第一方面的第七种可能的实现方式，其中，所述当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项，包括：
当确定所述视频数据流为静帧视频流后，统计所述静帧视频流的持续时间；
根据所述持续时间，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
第二方面，本发明实施例提供了一种直播视频的处理装置，其中，该装置包括：
获取模块，用于获取摄像头采集的视频数据流，所述视频数据流包括多个视频帧；
划分模块，用于按相同布局将每一个所述视频帧划分为多个图像块；
计算模块，用于计算每个所述图像块的亮度值，根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值；
确定模块，用于确定所述位置相同的所述图像块对应的所述差值的平均值，根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流；
执行模块，用于当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
结合第二方面，本发明实施例提供了上述第二方面的第一种可能的实现方式，其中，所述划分模块包括：
确定单元，用于周期性确定所述视频帧的划分布局；
划分单元，用于根据所述划分布局将每一帧所述视频帧划分为多个图像块。
本发明实施例提供的直播视频的处理方法及装置，对获取到的视频数据流进行静帧检测，当检测到为静帧状态时，即当前当观众和主播之间无交互时，执行逐级降低摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项，避免了在观众和主播之间无交互时产生大量的冗余数据和导致带宽的浪费。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例1所提供的一种直播视频的处理方法的流程图；
图2示出了本发明实施例1所提供的一种直播视频的处理方法中周期性确定视频帧的划分布局的流程图；
图3示出了本发明实施例1所提供的一种直播视频的处理方法中计算每个图像块的亮度值的流程图；
图4示出了本发明实施例2所提供的一种直播视频的处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有技术中，在进行视频直播时，主播可能会离开摄像头或者睡觉，这时，观众和主播之间无法进行交互，如果这时仍然采用现有技术中处理直播视频的方式处理当前视频，容易造成大量的冗余数据和带宽的浪费。基于此，本发明实施例提供了一种直播视频的处理方法及装置，下面通过实施例进行描述。
实施例1
本发明实施例提供了一种直播视频的处理方法，如图1所示，采用该方法处理直播视频时，包括步骤S110-S150，具体如下。
S110，获取摄像头采集的视频数据流，该视频数据流包括多个视频帧。
其中，上述摄像头指的是手机或者电脑等设备上自带的摄像头，摄像头会实时采集视频数据流，当摄像头开启后，便开始采集视频数据流，并将采集的视频数据流输出给执行本发明实施例中的处理方法的装置，其中，摄像头采集的视频数据流是以视频帧帧为单位传输的，因此，获取的视频数据流包括多个视频帧。
S120，按相同布局将每一个视频帧划分为多个图像块。
当获取到摄像头采集的视频数据流后，将该视频数据流中的每一个视频帧都进行划分，划分成多个图像块，在本发明实施例中，对视频帧的划分包括两种情况：
第一种情况：周期性确定上述视频帧的划分布局；根据上述划分布局将每一帧上述视频帧划分为多个图像块。
其中，上述周期性确定上述视频帧的划分布局指的是在每个检测周期内，确定一次视频帧的划分布局，并且根据该检测周期内接收得到第一个视频帧确定，在该检测周期内接收到的其它视频帧均按照该检测周期内确定的划分布局进行划分，得到多个图像块。
在本发明实施例中，如图2所示，周期性确定上述视频帧的划分布局，包括步骤S210-S220，具体如下。
S210，在静帧检测周期开始后，提取当前检测周期内的第一个视频帧的亮度信号。
本发明实施例中，周期性对视频数据流进行静帧检测，每个检测周期的时间长短可以是预先设定的，比如说，5秒作为一个检测周期、8秒作为一个检测周期或者10秒作为一个检测周期等等，上述检测周期的具体时间长短可以根据实际应用场景进行设置，本发明实施例并不限定上述检测周期的具体时间长度。
上述获取到的视频数据流为YUV(Luminance Chrominance，亮度色度)格式的，其中，Y是亮度信号，且Y数据是连续存放的，视频帧中的每一个像素对应一个字节的数据，提取视频帧的亮度信号时,根据采集的视频数据流的分辨率，该分辨率可以表示为width×height(宽×高)，从视频数据流中拷贝出分辨率的width乘以height个字节的数据，该数据就是提取的视频帧的亮度信号。
S220，将第一个视频帧按照第一预设尺寸划分为多个区域，计算每个区域对应的像素点得亮度均值，将像素点得亮度均值相等且相邻的至少两个区域合并作为一个区域，得到上述视频帧的划分布局。
上述第一预设尺寸可以是64×64像素，也可以是其他大小，该第一预设尺寸的选取可以根据实际应用场景进行设置，本发明实施例并不对上述预设尺寸的具体大小进行限定。
按照上述第一预设尺寸的大小，将检测周期内接收到的第一个视频帧划分为多个区域，每个区域的大小与第一预设尺寸相等。
上述计算每个区域对应的像素点的亮度均值是通过先计算每个区域内所有像素点的亮度值总和，将该亮度值总和除以该区域内的像素点的个数，得到该区域对应的像素点的亮度均值。
将上述第一个视频帧划分得到的每个区域对应的像素点的亮度均值与其相邻的四个区域对应的像素点的亮度均值进行比较，判断像素均值是否相等，如果相等，则将其合并为一个区域，这样就将第一个视频帧划分为多个较大的区域，将该较大的区域成为图像块，并将该划分后的视频帧确定为当前检测周期内的划分布局。
在本发明实施例中，每个周期确定一次划分布局，因此，当获取到视频帧后，首先确定获取的视频帧是否是当前检测周期内的第一个视频帧，如果是，则根据该视频帧确定当前检测周期的划分布局，如果获取的视频帧不是当前检测周期内的第一个视频帧，则按照当前检测周期内确定的划分布局，将该视频帧进行划分，得到多个图像块。
第二种情况：按照第二预设尺寸将每一个视频帧平均划分为多个图像块。
上述第二预设尺寸具体大小可以根据实际应用场景进行设置，本发明实施例并不对第二预设尺寸的具体大小进行限定。
在上述第二种情况中，当获取到视频帧后，不管该视频帧是当前检测周期内的第一个视频帧，还是第一个视频帧之后的视频帧，将获取到的每个视频帧均按照第二预设尺寸平均划分为多个图像块，每个图像块的大小是相等的。
S130，计算每个图像块的亮度值，根据该亮度值计算每个视频帧中位置相同的图像块之间亮度值的差值。
不管是按照上述第一种情况将视频帧划分为多个图像块，还是按照上述第二种情况将视频帧划分为多个图像块，当将视频帧划分为多个图像块之后，均需要计算每个图像块的亮度值。
其中，如图3所示，计算每个图像块的亮度值，包括步骤S310-S330，具体如下。
S310，获取图像块中每个像素点对应的亮度值。
S320，根据每个像素点对应的亮度值，计算图像块对应的像素点的亮度均值。
在本发明实施例中，计算每个图像块中所有像素点对应的亮度值的总和，将计算得到的总和除以该图像块中的像素点的个数，得到该图像块对应的像素点得亮度均值。
S330，将上述图像块对应的像素点的亮度均值确定为图像块的亮度值。
上述计算出的图像块对应的像素点得亮度均值就是该图像块的亮度值。
当确定出每个图像块的亮度值后，根据图像块的亮度值计算每个视频帧中位置相同的图像块之间亮度值的差值，具体包括：
计算当前检测周期内每个视频帧中与当前检测周期内第一个视频帧中位置相同的图像块之间亮度值的差值。
比如说，在当前检测周期内获取了20个视频帧，且每个视频帧均划分成10个图像块，计算第二个视频帧中的10个图像块分别与第一个视频帧中位置相同处的图像块亮度值的差值，计算第三个视频帧中的10个图像块分别与第一个视频帧中位置相同处的图像块亮度值的差值，直到计算出第二十个视频帧中的10个图像块分别与第一个视频帧中位置相同处的图像块亮度值的差值，当然，上述只是以当前检测周期内获取到了20个视频帧、每个视频帧划分为10个图像块为例进行说明，并没有限定当前周期内获取到的视频帧的个数以及每个视频帧划分成的图像块的个数。
S140，确定上述位置相同的图像块对应的差值的平均值，根据上述平均值对应的图像块的个数确定上述视频数据流是否为静帧视频流。
当上述计算出当前检测周期内的每个视频帧中的图像块与该检测周期内第一个视频帧中位置相同处的图像块亮度值的差值后，计算相同位置处的图像块对应的差值的平均值，每个视频帧划分为多少个图像块，则此处得到多少个平均值。
上述根据平均值对应的图像块的个数确定上述视频数据流是否为静帧视频流，包括：
统计每个检测周期内平均值不为零的图像块的个数；将上述个数与预设阈值进行比较，当连续预设数目个检测周期对应的个数小于上述预设阈值时，确定上述视频数据流为静帧视频流。
将上述得到的多个平均值分别与零进行比较，统计上述不为零的平均值对应的图像块的个数，并将该个数与预设阈值进行比较，如果该个数小于预设阈值，且在连续预设数目个检测周期内，不为零的平均值对应的图像块的个数均小于预设阈值，则判断该视频数据流为静帧数据流。
其中，上述预设阈值可以是每个视频帧划分得到的图像块的个数的百分之十，当然，还可以是其他数值，该预设阈值的具体数值可以根据实际应用场景进行设置，本发明实施例并不对上述预设阈值的具体数值进行限定。
上述预设数目个检测周期中的预设数目可以是5、6、8等等数值，该预设数目的具体数值可以根据实际应用场景进行设置，本发明实施例并不对上述预设数目的具体数值进行限定。
当然，上述还可以统计为零的平均值对应的图像块的个数，将该个数与上述预设阈值进行比较，当该个数大于或者等于预设阈值时，且在连续预设数目个检测周期内，为零的平均值对应的图像块的个数均大于或等于预设阈值时，则判断该视频数据流为静帧数据流。
S150，当确定上述视频数据流为静帧视频流后，执行逐级降低上述摄像头的帧率、逐级增加上述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
当确定出上述视频数据流为静帧视频流后，则需要降低当前视频数据流占据的带宽，具体包括：
当确定上述视频数据流为静帧视频流后，统计静帧视频流的持续时间；根据上述持续时间，执行逐级降低上述摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
其中，上述可以根据静帧视频流的持续时间，可以执行逐级降低摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中任意一项、任意两项或者三项。
在本发明实施例中，当确定上述视频数据流为静帧视频流后，统计静帧视频流的持续时间，当静帧视频流持续的时间达到T1时，则开始逐级降低摄像头的帧率，这样摄像头输出的视频帧的个数会减少，因此，降低摄像头的帧率可以从源头上减少视频的处理量，一方面可以降低数据处理量，另一方面可以减少数据冗余。
其中，正常情况下摄像头的帧率一般是25～30fps(帧每秒)，表示每秒从摄像头输出的视频帧的个数，在逐级降低摄像头的帧率时，可以设置的摄像头的帧率为1～30fps，因此，可以在该范围内逐级降低摄像头的帧率，当然，上述范围可以根据具体应用场景进行调节，此处只是距离进行说明，并没有对上述帧率的调节范围进行限定。
或者还可以，当静帧视频流持续的时间达到T2时，逐级增加视频数据流中关键帧的间隔，由于关键帧中含有大量的信息，因此关键帧数据大小是其他类型帧的数十倍甚至数百倍，关键帧会以一定的间隔出现在视频数据流中，因此，随着静帧视频流持续时间的增长，逐级增加视频数据流中关键帧的间隔，可以减少整个视频数据流的大小，从而减少占据的带宽。
其中，正常情况下关键帧的间隔为30，表示每30个视频帧中只有一个关键帧，上述逐级增加关键帧的间隔后，关键帧的最大间隔可以增大到100，当然，还可以设置为其它数值，此处并不对可调节的关键帧的最大间隔进行限定。
其中，上述时间T1和时间T2可以相等，也可以是时间T1大于时间T2，也可以时间T1小于T2，本发明实施例并不对上述时间T1和时间T2的具体大小关系进行限定。
如果静帧视频流的持续时间一直延长，当静帧视频流的持续时间远远大于上述T1以及T2时，这时需要断开推流链接，即不再向外推送音视频数据流，这时，执行发送断流消息给服务器，这样，可以避免带宽的浪费。
发送断流消息给服务器是为了告知服务器该直播房间断流的原因，并要保持持续直播中，但是没有新的数据推送。对于断流后进入直播房间的观众用户，向服务器请求获取音视频数据时，服务器只能提供缓存的最后一个静帧图像；对于断流前已经进入直播房间的观众用户，服务器通知每一个观众用户断开播放数据请求，但不要释放播放器，播放界面保持最后一帧画面。
当确定上述视频数据流为非静帧视频数据流后，则检测当前的推流链接是否已经断开，如果是，则重新建立和服务器之间的推流链接。
在重新建立和服务器之间的推流链接时，需要发送重连消息给服务器，告知服务器该直播房间将开始重新推流，并要保持房间持续直播中，需要更新音视频数据，当服务器接收到重连消息后，则告知重连前已经进入直播房间的观众用户新的播放地址，播放器会重新加载音视频数据。
当重新建立和服务器之间的推流链接后，则检测当前摄像头的帧率以及视频数据流中关键帧的间隔，如果检测到当前摄像头的帧率已经被修改，则将该摄像头的帧率调节成原来处于非静帧状态时的帧率，如果检测到当前视频数据流中的关键帧间隔已经被修改，则将视频数据流中的关键帧间隔调节到原来处于非静帧状态时的间隔。
本发明实施例提供的直播视频的处理方法，对获取到的视频数据流进行静帧检测，当检测到为静帧状态时，即当前当观众和主播之间无交互时，执行逐级降低摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项，避免了在观众和主播之间无交互时产生大量的冗余数据和导致带宽的浪费。
实施例2
本发明实施例提供了一种直播视频的处理装置，如图4所示，该装置包括获取模块410、划分模块410、计算模块430、确定模块440和执行模块450；
其中，上述获取模块410，用于获取摄像头采集的视频数据流，该视频数据流包括多个视频帧；
上述划分模块420，用于按相同布局将每一个视频帧划分为多个图像块；
上述计算模块430，用于计算每个图像块的亮度值，根据该亮度值计算每个视频帧中位置相同的图像块之间亮度值的差值；
上述确定模块440，用于确定上述位置相同的图像块对应的差值的平均值，根据该平均值对应的图像块的个数确定上述视频数据流是否为静帧视频流；
上述执行模块450，用于当确定上述视频数据流为静帧视频流后，执行逐级降低上述摄像头的帧率、逐级增加上述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
其中，上述划分模块420按相同布局将每一个视频帧划分为多个图像块是通过确定单元和划分单元实现的，具体包括：
上述确定单元，用于周期性确定上述视频帧的划分布局；上述划分单元，用于根据上述划分布局将每一帧视频帧划分为多个图像块。
上述划分模块420还可以按照第二预设尺寸将每一个视频帧平均划分为多个图像块。
本发明实施例提供的直播视频的处理装置，对获取到的视频数据流进行静帧检测，当检测到为静帧状态时，即当前当观众和主播之间无交互时，执行逐级降低摄像头的帧率、逐级增加视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项，避免了在观众和主播之间无交互时产生大量的冗余数据和导致带宽的浪费。
本发明实施例所提供的直播视频的处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种直播视频的处理方法，其特征在于，所述方法包括：
获取摄像头采集的视频数据流，所述视频数据流包括多个视频帧；
按相同布局将每一个所述视频帧划分为多个图像块；
计算每个所述图像块的亮度值，根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值；
确定所述位置相同的所述图像块对应的所述差值的平均值，根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流；
当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
2.根据权利要求1所述的方法，其特征在于，所述按相同布局将每一个所述视频帧划分为多个图像块，包括：
周期性确定所述视频帧的划分布局；
根据所述划分布局将每一帧所述视频帧划分为多个图像块。
3.根据权利要求2所述的方法，其特征在于，所述周期性确定所述视频帧的划分布局，包括：
在静帧检测周期开始后，提取当前检测周期内的第一个所述视频帧的亮度信号；
将第一个所述视频帧按照第一预设尺寸划分为多个区域，计算每个所述区域对应的像素点的亮度均值，将像素点的所述亮度均值相等且相邻的至少两个所述区域合并作为一个所述区域，得到所述视频帧的划分布局。
4.根据权利要求1所述的方法，其特征在于，所述按相同布局将每一个所述视频帧划分为多个图像块，包括：
按照第二预设尺寸将每一个所述视频帧平均划分为多个图像块。
5.根据权利要求1所述的方法，其特征在于，所述计算每个所述图像块的亮度值，包括：
获取所述图像块中每个像素点对应的亮度值；
根据每个所述像素点对应的亮度值，计算所述图像块对应的像素点的亮度均值；
将所述图像块对应的像素点的亮度均值确定为所述图像块的亮度值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值，包括：
计算当前检测周期内每个所述视频帧中与所述当前检测周期内第一个视频帧中位置相同的所述图像块之间的所述亮度值的差值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流，包括：
统计每个检测周期内所述平均值不为零的图像块的个数；
将所述个数与预设阈值进行比较，当连续预设数目个检测周期对应的所述个数小于所述预设阈值时，确定所述视频数据流为静帧视频流。
8.根据权利要求1所述的方法，其特征在于，所述当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项，包括：
当确定所述视频数据流为静帧视频流后，统计所述静帧视频流的持续时间；
根据所述持续时间，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
9.一种直播视频的处理装置，其特征在于，所述装置包括：
获取模块，用于获取摄像头采集的视频数据流，所述视频数据流包括多个视频帧；
划分模块，用于按相同布局将每一个所述视频帧划分为多个图像块；
计算模块，用于计算每个所述图像块的亮度值，根据所述亮度值计算每个所述视频帧中位置相同的所述图像块之间的所述亮度值的差值；
确定模块，用于确定所述位置相同的所述图像块对应的所述差值的平均值，根据所述平均值对应的所述图像块的个数确定所述视频数据流是否为静帧视频流；
执行模块，用于当确定所述视频数据流为静帧视频流后，执行逐级降低所述摄像头的帧率、逐级增加所述视频数据流中关键帧的间隔和发送断流消息给服务器中至少一项。
10.根据权利要求9所述的装置，其特征在于，所述划分模块包括：
确定单元，用于周期性确定所述视频帧的划分布局；
划分单元，用于根据所述划分布局将每一帧所述视频帧划分为多个图像块。
CN201610929382.5A 2016-10-31 2016-10-31 一种直播视频的处理方法及装置 Expired - Fee Related CN106412626B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610929382.5A CN106412626B (zh) 2016-10-31 2016-10-31 一种直播视频的处理方法及装置
PCT/CN2017/079622 WO2018076614A1 (zh) 2016-10-31 2017-04-06 一种直播视频的处理方法、装置及设备、计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610929382.5A CN106412626B (zh) 2016-10-31 2016-10-31 一种直播视频的处理方法及装置

Publications (2)

Publication Number Publication Date
CN106412626A true CN106412626A (zh) 2017-02-15
CN106412626B CN106412626B (zh) 2019-06-18

Family

ID=58012825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610929382.5A Expired - Fee Related CN106412626B (zh) 2016-10-31 2016-10-31 一种直播视频的处理方法及装置

Country Status (2)

Country Link
CN (1) CN106412626B (zh)
WO (1) WO2018076614A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622234A (zh) * 2017-09-12 2018-01-23 广州酷狗计算机科技有限公司 一种显示萌脸礼物的方法和装置
WO2018076614A1 (zh) * 2016-10-31 2018-05-03 武汉斗鱼网络科技有限公司 一种直播视频的处理方法、装置及设备、计算机可读介质
CN110753237A (zh) * 2019-11-05 2020-02-04 北京金和网络股份有限公司 节省流媒体服务器上行带宽流量的方法及装置
CN112788329A (zh) * 2020-12-24 2021-05-11 深圳创维－Rgb电子有限公司 视频静帧检测方法、装置、电视及存储介质
CN113411569A (zh) * 2021-06-15 2021-09-17 北京百度网讯科技有限公司 检测静态画面的方法和装置
CN113573153A (zh) * 2021-02-02 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN113965814A (zh) * 2021-08-30 2022-01-21 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统
CN117255222A (zh) * 2023-11-20 2023-12-19 上海科江电子信息技术有限公司 一种数字电视监测的方法、系统及应用

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166780B (zh) * 2018-06-06 2023-06-30 腾讯科技（深圳）有限公司 视频的码率控制方法、转码处理方法、装置和机器设备
CN109147043B (zh) * 2018-09-30 2023-03-14 Oppo广东移动通信有限公司 一种数据处理方法、服务器及计算机存储介质
CN112752120A (zh) * 2019-10-31 2021-05-04 深圳市中兴微电子技术有限公司 像素检测方法及装置、像素判断方法及装置
CN111223058B (zh) * 2019-12-27 2023-07-18 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
CN111091118A (zh) * 2019-12-31 2020-05-01 北京奇艺世纪科技有限公司 图像的识别方法、装置及电子设备和存储介质
CN113365101B (zh) * 2020-03-05 2023-06-30 腾讯科技（深圳）有限公司 对视频进行多任务处理的方法及相关设备
CN112115295A (zh) * 2020-08-27 2020-12-22 广州华多网络科技有限公司 视频图像检测方法、装置、及电子设备
CN112069984B (zh) * 2020-09-03 2024-08-06 浙江大华技术股份有限公司 一种物品边框匹配显示方法及装置
CN115529481B (zh) * 2021-06-25 2024-05-03 杭州海康威视数字技术股份有限公司 基于融合信号源的视频同步显示系统、方法及输入设备
CN113873097A (zh) * 2021-09-27 2021-12-31 北京紫光展锐通信技术有限公司 一种运动检测方法、装置、存储介质和电子设备
CN114332721A (zh) * 2021-12-31 2022-04-12 上海商汤临港智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备及存储介质
CN114549821A (zh) * 2022-01-14 2022-05-27 三一建筑机器人(西安)研究院有限公司 视觉模板生成、目标检测方法和装置及机器人系统
CN114332738B (zh) * 2022-01-18 2023-08-04 浙江高信技术股份有限公司 一种用于智慧工地的安全帽检测系统
CN115103156A (zh) * 2022-06-10 2022-09-23 慧之安信息技术股份有限公司 一种动态的视频流传递方法
CN115396696B (zh) * 2022-08-22 2024-04-12 网易（杭州）网络有限公司 视频数据传输方法、系统、处理设备及存储介质
CN116828217A (zh) * 2022-11-30 2023-09-29 慧之安信息技术股份有限公司 一种基于边缘计算设备的多路监控推拉流方法和系统
CN117596425B (zh) * 2023-10-24 2024-08-20 书行科技(北京)有限公司 编码帧率的确定方法、装置、电子设备及存储介质
CN117560468B (zh) * 2023-11-10 2024-05-14 山东居安特消防科技有限公司 一种基于大数据的一体化消防器材生产监控系统
CN117440190B (zh) * 2023-11-23 2024-06-11 北京视睿讯科技有限公司 一种分布式视频同步方法、系统、设备和介质
CN118101925A (zh) * 2024-02-28 2024-05-28 镁佳(武汉)科技有限公司 车用摄像头的冻帧检测方法、装置、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695028A (zh) * 2012-05-22 2012-09-26 广东威创视讯科技股份有限公司 视频图像动态降帧方法和系统
CN102946505A (zh) * 2012-11-22 2013-02-27 四川虹微技术有限公司 一种基于图像分块统计的自适应运动检测方法
CN103618911A (zh) * 2013-10-12 2014-03-05 北京视博云科技有限公司 一种基于视频属性信息的视频流提供方法及装置
CN104270561A (zh) * 2014-08-01 2015-01-07 Tcl通讯（宁波）有限公司 移动终端自动调节Camera帧率的方法及移动终端
US20150350666A1 (en) * 2014-05-27 2015-12-03 Vladimir Kovacevic Block-based static region detection for video processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201039320A (en) * 2009-04-16 2010-11-01 Chunghwa Picture Tubes Ltd Driving circuit and gray insertion method of liquid crystal display
CN102547370A (zh) * 2011-11-01 2012-07-04 大连捷成实业发展有限公司 一种视频信号的黑场和静帧监测方法及系统
CN103281559A (zh) * 2013-05-31 2013-09-04 于京 视频质量检测的方法及系统
CN105578177A (zh) * 2015-12-15 2016-05-11 浙江广播电视集团 基于crc校验的视频静帧检测系统及方法
CN106412626B (zh) * 2016-10-31 2019-06-18 武汉斗鱼网络科技有限公司 一种直播视频的处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695028A (zh) * 2012-05-22 2012-09-26 广东威创视讯科技股份有限公司 视频图像动态降帧方法和系统
CN102946505A (zh) * 2012-11-22 2013-02-27 四川虹微技术有限公司 一种基于图像分块统计的自适应运动检测方法
CN103618911A (zh) * 2013-10-12 2014-03-05 北京视博云科技有限公司 一种基于视频属性信息的视频流提供方法及装置
US20150350666A1 (en) * 2014-05-27 2015-12-03 Vladimir Kovacevic Block-based static region detection for video processing
CN104270561A (zh) * 2014-08-01 2015-01-07 Tcl通讯（宁波）有限公司 移动终端自动调节Camera帧率的方法及移动终端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076614A1 (zh) * 2016-10-31 2018-05-03 武汉斗鱼网络科技有限公司 一种直播视频的处理方法、装置及设备、计算机可读介质
CN107622234A (zh) * 2017-09-12 2018-01-23 广州酷狗计算机科技有限公司 一种显示萌脸礼物的方法和装置
CN107622234B (zh) * 2017-09-12 2020-04-24 广州酷狗计算机科技有限公司 一种显示萌脸礼物的方法和装置
CN110753237A (zh) * 2019-11-05 2020-02-04 北京金和网络股份有限公司 节省流媒体服务器上行带宽流量的方法及装置
CN110753237B (zh) * 2019-11-05 2021-09-07 北京金和网络股份有限公司 节省流媒体服务器上行带宽流量的方法及装置
CN112788329A (zh) * 2020-12-24 2021-05-11 深圳创维－Rgb电子有限公司 视频静帧检测方法、装置、电视及存储介质
CN113573153A (zh) * 2021-02-02 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN113411569A (zh) * 2021-06-15 2021-09-17 北京百度网讯科技有限公司 检测静态画面的方法和装置
CN113411569B (zh) * 2021-06-15 2022-08-12 北京百度网讯科技有限公司 检测静态画面的方法和装置
CN113965814A (zh) * 2021-08-30 2022-01-21 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统
CN117255222A (zh) * 2023-11-20 2023-12-19 上海科江电子信息技术有限公司 一种数字电视监测的方法、系统及应用

Also Published As

Publication number Publication date
CN106412626B (zh) 2019-06-18
WO2018076614A1 (zh) 2018-05-03

Similar Documents

Publication Publication Date Title
CN106412626A (zh) 一种直播视频的处理方法及装置
CN108259934B (zh) 用于回放所记录的视频的方法和装置
JP2846840B2 (ja) ２次元映像から３次元映像を生成する方法
JP6421422B2 (ja) 映像解析装置、監視装置、監視システムおよび映像解析方法
CN105376642A (zh) 视频播放分辨率切换方法及系统
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
US20140161176A1 (en) Method and Device for Controlling Video Quality Fluctuation Based on Scalable Video Coding
CN108632666B (zh) 一种视频检测方法及视频检测设备
JP2006279464A (ja) 撮像装置及びネットワーク撮像システム
JP2012094990A (ja) 視点連動画像表示システム
US9232249B1 (en) Video presentation using repeated video frames
US20160100222A1 (en) Method and System for Image Alteration
CN116828262B (zh) 一种视频信号分流方法及装置
CN106507191B (zh) 同步转播内容监测方法及装置
US20180332291A1 (en) Information processing system and information processing method
US11386548B2 (en) Method, apparatus and computer program product for storing images of a scene
US10397461B2 (en) Control apparatus, control method, and non-transitory computer-readable storage medium
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
US11295453B2 (en) Image processing apparatus, transmission method, and storage medium
WO2019218147A1 (zh) 一种监控视频的传输方法、装置及设备
CN106131693A (zh) 一种模块化的视频传输播放系统及方法
CN115878379A (zh) 一种数据备份方法、主服务器、备份服务器及存储介质
CN114760441A (zh) Led数字背景拍摄监测方法和装置
CN111586349B (zh) 一种监控设备的数据断网续传方法及系统
CN206226637U (zh) 一种模块化的视频传输播放系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170215

Assignee: Hubei Special Automobile Network Technology Co.,Ltd.

Assignor: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2023980034618

Denomination of invention: A Processing Method and Device for Live Video

Granted publication date: 20190618

License type: Common License

Record date: 20230413

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190618