CN109672899B - 面向游戏直播场景的精彩时刻实时识别与预录制方法 - Google Patents
面向游戏直播场景的精彩时刻实时识别与预录制方法 Download PDFInfo
- Publication number
- CN109672899B CN109672899B CN201811523869.9A CN201811523869A CN109672899B CN 109672899 B CN109672899 B CN 109672899B CN 201811523869 A CN201811523869 A CN 201811523869A CN 109672899 B CN109672899 B CN 109672899B
- Authority
- CN
- China
- Prior art keywords
- wonderful
- live broadcast
- game
- recording
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Abstract
本发明揭示了一种面向游戏直播场景的精彩时刻实时识别与预录制方法,包括如下步骤:S1、直播开始后,设置视频缓存池,对直播视频流进行缓存;S2、对直播内容进行区域划分;S3、为各区域设置各自的打分模式及精彩程度加权系数,使用精彩时刻识别系统对各个区内的精彩程度打分;S4、通过加权统计后得到当前画面的精彩得分,识别精彩时刻;S5、识别到精彩时刻后触发预录制系统,录制直播内容,直至达到录制结束标准后停止录制并储存已录制内容。本发明通过对人工智能及图像识别技术的合理利用,免除了现有技术中人工剪辑和后期制作的作业负担,克服了视频制作过程中对人工操作的依赖,降低了制作成本。
Description
技术领域
本发明涉及一种面向游戏直播场景的精彩时刻实时识别与预录制方法,属于人工智能及图像识别技术领域。
背景技术
近年来,网络直播行业发展极为迅速,各种直播平台层出不穷并不断发展壮大,越来越多的游戏爱好者选择在网络上观看一些游戏直播。同时,随着互联网及游戏行业的飞速发展,各类游戏赛事及广大的游戏主播也越来越受到人们的关注。可以说,现如今,无论何时打开何种直播平台,人们总能看到诸多游戏直播间。
面对大量的游戏赛事和游戏主播的个人直播,观众们往往应接不暇。而且观众也无法做到因为害怕错过直播过程中的精彩瞬间而时刻坚守在电脑面前。为了应对这样的局面,各类游戏的精彩时刻集锦、主播高光时刻汇总等总结性质的网络节目专栏应运而生。但是这些集锦类节目的制作一般费时费力,需要将完整的直播内容录制下来后由人工识别精彩时刻再进行剪辑与后期制作。面对海量的直播内容与日益增长的主播数量,这种制作方式的成本越来越高,也越来越无法满足实际的节目制作需要。
综上所述,如何在现有技术的基础上提出一种依托于计算机技术的面向游戏直播场景的视频录制方法,快速且准确的完成对直播场景中精彩时刻的实时识别与预录制,也就成为了本领域内技术人员亟待解决的问题。
发明内容
鉴于现有技术存在上述缺陷,本发明的目的是提出一种面向游戏直播场景的精彩时刻实时识别与预录制方法,包括如下步骤:
S1、直播开始后,在储存区域设置一个视频缓存池,对直播视频流进行缓存;
S2、对直播内容进行区域划分;
S3、为划分出各个区域设置各自的打分模式以及精彩程度加权系数,使用精彩时刻识别系统从多个维度对各个区内的精彩程度打分;
S4、对各个区域进行实时识别和打分后,通过加权统计后得到当前画面的精彩得分,当精彩得分符合精彩时刻评判标准后将当前画面识别为精彩时刻;
S5、识别到精彩时刻后触发预录制系统,预录制系统将缓存池中的内容取出并在其后继续录制直播内容,直至达到录制结束标准后停止对直播内容的录制并储存已录制内容。
优选地,所述视频缓存池的大小根据直播游戏的特性而变化,所述视频缓存池的大小可调,调节依据包括游戏精彩时刻的突发性、需要的铺垫程度以及游戏节奏的快慢。
优选地,S2具体包括如下步骤:对直播画面进行区域划分,将直播画面划分为游戏画面区、游戏界面区以及主播画面区。
优选地,所述精彩时刻识别系统采用文字识别技术、表情识别技术、图形识别技术并结合人工判断精彩时刻的训练样本进行训练。
优选地,S4中所述精彩时刻评判标准为:画面的精彩得分超过评分阈值或精彩得分出现剧烈波动。
优选地,S5中所述录制结束标准为:画面的精彩得分低于评分阈值且持续时间达到低分最大允许时长。
与现有技术相比,本发明的优点主要体现在以下几个方面:
本发明设计了一种面向游戏直播场景的系统架构,实现了对各类游戏直播内容中精彩时刻的实时识别及预录制。本发明通过对人工智能及图像识别技术的合理利用,免除了现有技术中人工剪辑和后期制作的作业负担,克服了视频制作过程中对人工操作的依赖,降低了制作成本。同时,本发明中所提出的的系统架构具有很强的通用性,可广泛应用于各种直播平台、各类游戏的直播场景中,适用范围广、有利于推广普及。
此外,本发明也为同领域内的其他相关问题提供了参考,可以以此为依据进行拓展延伸,运用于同领域内其他的视频内容实时识别及预录制的技术方案中,具有十分广阔的应用前景。
以下便结合实施例附图,对本发明的具体实施方式作进一步的详述,以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明的面向游戏直播场景的精彩时刻实时识别与预录制方法的系统流程示意图;
图2为本发明的系统对视频流处理的示意图;
图3为本发明的系统识别到精彩时刻后对视频流处理的示意图。
具体实施方式
如图1~图3所示,本发明揭示了一种面向游戏直播场景的精彩时刻实时识别与预录制方法,包括如下步骤:
S1、直播开始后,在储存区域设置一个视频缓存池,对直播视频流进行缓存。
视频缓存池可以保存一段时间的直播内容,随着新内容的到来旧内容会被抛弃。视频缓存池的主要作用是在系别系统识别到精彩时刻时,可以记录下精彩时刻发生前一段时间的直播内容作为精彩时刻的铺垫部分。具体实现时可以采用队列的方式对内容进行管理。
所述视频缓存池的大小根据直播游戏的特性而变化,具体而言,设置越大的缓存池则可以预存精彩时刻前越长的内容,根据直播游戏的特性,缓存池的大小可以进行适当的调节。具体调节尺度主要取决于游戏精彩时刻的突发性、需要的铺垫程度以及游戏节奏的快慢。对于慢节奏游戏,例如棋牌类游戏的精彩时刻往往需要一定的铺垫,可以设置较大的缓存池。而一些快节奏的游戏,例如射击游戏,其精彩时刻的突发性较强,且不需要较长的铺垫,可以设置较小的缓存池。
S2、对直播画面进行区域划分,主要将直播画面划分为游戏画面区、游戏界面区以及主播画面区。
此处的划分方式主要取决于游戏的类型和主播对于直播界内容的布置。其中游戏内容部分可以以人工的方式进行一次性划分,即按照游戏的类型,人工划分出各个区域交由系统分区域识别。而对于各个主播而言,其直播间的布置并不相同。可以通过人脸识别技术和图片处理技术来让系统自行判断出主播画面区的位置。同时,对于直播间画面中一些会影响系统对游戏内容识别的广告内容,可以以文字识别、二维码识别等技术加以语义分析技术来识别并屏蔽。
此外,对游戏画面区和界面区可以进行进一步地划分,例如对抗类游戏显示双方对抗得分明细的计分板区域,显示攻防事件、击杀事件或者环境变化的事件播报区域和聊天窗口区等,更多的区域划分可以从更多维度对直播内容的精彩程度进行分析,甚至互动直播中的弹幕区域也可以作为判断内容精彩程度的一个重要依据,因为精彩时刻的出现往往会导致弹幕数量激增。
S3、为划分出各个区域设置各自的打分模式以及精彩程度加权系数,使用精彩时刻识别系统从多个维度对各个区内的精彩程度打分。所述精彩时刻识别系统采用文字识别技术、表情识别技术、图形识别技术并结合人工判断精彩时刻的训练样本进行训练。
对于不同的区域需要安排不同的识别模式和打分模式,例如主播画面区可以采用表情识别技术来对主播表情进行识别,当主播出现剧烈的表情变化时可以认为大概率地出现了精彩时刻,此时给与该区域较高的打分。而计分板区域和事件播报区可以采用文字识别技术和语义分析技术来判断游戏内容的变化,如得分情况、击杀情况、占领情况等游戏中较为重要的变化,出现这些变化时可以给该区域较高的打分。游戏画面区是情况最为复杂的情况,主要以图像识别技术为主,对画面中的颜色和图形进行动态地分析,当出现画面的剧烈变化时可以给该区域较高的打分。以各种策略对画面中的各个区域进行打分后,还需要根据游戏的类型给以各个区域的分值进行加权求和。
S4、对各个区域进行实时识别和打分后,通过加权统计后得到当前画面的精彩得分,当精彩得分符合精彩时刻评判标准后将当前画面识别为精彩时刻。所述精彩时刻评判标准为:画面的精彩得分超过评分阈值或精彩得分出现剧烈波动。
根据游戏类型的不同,各个区域相应的权值也不同,例如棋牌类游戏中,游戏画面区的变化程度往往不高,对于游戏精彩程度的影响有限。而计分板区域对于棋牌类游戏来说较为关键,可以给与较高的权值。而一些激烈程度比较高的对抗性游戏,如MOBA、FPS游戏,计分板区域能反应的精彩程度往往有限,此时事件播报区和游戏画面区甚至主播的表情变化对于精彩程度的反应都比较高,因此可以给这些区域以较高的权值。然后是精彩程度的评分阈值的设置,评分阈值的设置对系统的性能影响十分显著。较高的评分阈值对精彩程度的要求也较高,反之亦然。具体的设置方案可以采取如下法则,对于游戏一般进程中的得分求以平均值作为基础,再乘以一固定系数作为评分阈值。亦可以以经验法来设置,将大量人工判定的精彩时刻样本进行打分求均值作为评分阈值。除此以外,分值出现剧烈波动时的情况也应该在系统的考虑范围内,这种分值的剧烈波动往往代表着游戏的剧烈变化或者逆转,这种逆转也是精彩时刻的特征之一。我们可以设置一个得分队列来记录一定时间内的得分情况,通过计算队列的方差可以表示出的得分变化的剧烈程度。通过设置这种方差的评分阈值就可以将这种逆转式的精彩时刻也被考虑到。
S5、识别到精彩时刻后触发预录制系统,预录制系统将缓存池中的内容取出并在其后继续录制直播内容,直至达到录制结束标准后停止对直播内容的录制并储存已录制内容。所述录制结束标准为:画面的精彩得分低于评分阈值且持续时间达到低分最大允许时长。
当系统识别到精彩时刻时,视频缓存池中的内容将被保存,同时开始对接下来的直播内容进行实时录制,此时系统对视频流的处理如图3所示。根据经验,精彩时刻往往不是单一出现的,而且根据游戏内容的不同,精彩时刻的平均时长也有差异。慢节奏游戏的精彩时刻时长较长,快节奏游戏的则较短。同时,对于铺垫性较强的游戏类型,如棋牌类的精彩时刻发生之后,很可能伴随一定时长的打分较低的内容。所以根据游戏节奏的不同,对于截止录制的阈值设置也应该采用不同的策略。我们可以采用一种较为对称的方式来设置低分最大允许时长,即设置与缓存池最大缓存时长相同的低分允许时长。当得分情况持续低于评分阈值的时间超过该时长时视为精彩时刻结束。除了低分允许时长以外,评分阈值的设置对系统性能也有很大的影响。过低的评分阈值会导致录制在精彩时刻过后却迟迟无法停止,使得录制结果中充斥了大量垃圾时间,系统失去意义。而过高的评分阈值又会导致精彩时刻尚未结束便停止录制,造成录制不完全的情况。根据上一步骤的理解。我们应该将该阈值设定在游戏的平均阈值与启动阈值之间。具体的设置方案可以以大量人工判定的精彩时刻之后低分允许时长内容的样本进行打分求均值作为评分阈值。
本发明设计了一种面向游戏直播场景的系统架构,实现了对各类游戏直播内容中精彩时刻的实时识别及预录制。本发明通过对人工智能及图像识别技术的合理利用,免除了现有技术中人工剪辑和后期制作的作业负担,克服了视频制作过程中对人工操作的依赖,降低了制作成本。同时,本发明中所提出的的系统架构具有很强的通用性,可广泛应用于各种直播平台、各类游戏的直播场景中,适用范围广、有利于推广普及。
此外,本发明也为同领域内的其他相关问题提供了参考,可以以此为依据进行拓展延伸,运用于同领域内其他的视频内容实时识别及预录制的技术方案中,具有十分广阔的应用前景。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神和基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种面向游戏直播场景的精彩时刻实时识别与预录制方法,其特征在于,包括如下步骤:
S1、直播开始后,在储存区域设置一个视频缓存池,对直播视频流进行缓存;
所述视频缓存池的大小根据直播游戏的特性而变化,所述视频缓存池的大小可调,调节依据包括游戏精彩时刻的突发性、需要的铺垫程度以及游戏节奏的快慢;
S2、对直播画面进行区域划分,将直播画面划分为游戏画面区、游戏界面区以及主播画面区;
S3、为划分出的各个区域设置各自的打分模式以及精彩程度加权系数,使用精彩时刻识别系统从多个维度对各个区内的精彩程度打分;
所述精彩时刻识别系统采用文字识别技术、表情识别技术、图形识别技术并结合人工判断精彩时刻的训练样本进行训练;
S4、对各个区域进行实时识别和打分后,通过加权统计后得到当前画面的精彩得分,当精彩得分符合精彩时刻评判标准后将当前画面识别为精彩时刻;
所述精彩时刻评判标准为画面的精彩得分超过评分阈值或精彩得分出现剧烈波动;
S5、识别到精彩时刻后触发预录制系统,预录制系统将缓存池中的内容取出并在其后继续录制直播内容,直至达到录制结束标准后停止对直播内容的录制并储存已录制内容;
所述录制结束标准为画面的精彩得分低于评分阈值且持续时间达到低分最大允许时长。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811523869.9A CN109672899B (zh) | 2018-12-13 | 2018-12-13 | 面向游戏直播场景的精彩时刻实时识别与预录制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811523869.9A CN109672899B (zh) | 2018-12-13 | 2018-12-13 | 面向游戏直播场景的精彩时刻实时识别与预录制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109672899A CN109672899A (zh) | 2019-04-23 |
CN109672899B true CN109672899B (zh) | 2020-11-03 |
Family
ID=66144416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811523869.9A Active CN109672899B (zh) | 2018-12-13 | 2018-12-13 | 面向游戏直播场景的精彩时刻实时识别与预录制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109672899B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110339566A (zh) * | 2019-05-29 | 2019-10-18 | 努比亚技术有限公司 | 一种游戏精彩时刻识别方法、终端及计算机可读存储介质 |
CN110443238A (zh) * | 2019-06-21 | 2019-11-12 | 努比亚技术有限公司 | 一种显示界面场景识别方法、终端及计算机可读存储介质 |
CN110572690B (zh) * | 2019-09-29 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 用在直播中的方法、装置及计算机可读存储介质 |
CN111544897B (zh) * | 2020-05-20 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 基于虚拟场景的视频片段显示方法、装置、设备及介质 |
CN112084369A (zh) * | 2020-08-03 | 2020-12-15 | 广州数说故事信息科技有限公司 | 一种基于视频直播高光时刻挖掘方法和模型 |
CN112887782A (zh) * | 2021-01-19 | 2021-06-01 | 维沃移动通信有限公司 | 图像输出方法、装置及电子设备 |
WO2023065885A1 (zh) * | 2021-10-22 | 2023-04-27 | 荣耀终端有限公司 | 一种视频处理方法和电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050005308A1 (en) * | 2002-01-29 | 2005-01-06 | Gotuit Video, Inc. | Methods and apparatus for recording and replaying sports broadcasts |
JP5361033B2 (ja) * | 2008-04-23 | 2013-12-04 | 任天堂株式会社 | 圧縮処理プログラム、圧縮処理装置、文字発生装置、及び、ゲーム装置 |
CN104811787B (zh) * | 2014-10-27 | 2019-05-07 | 深圳市腾讯计算机系统有限公司 | 游戏视频录制方法及装置 |
CN104581193A (zh) * | 2015-01-20 | 2015-04-29 | 卡内基投资科技有限公司 | 一种精彩片段直播视频的生成方法 |
JP2017131416A (ja) * | 2016-01-28 | 2017-08-03 | 株式会社Gianty | コンピューティングシステムにより実施する対戦ゲームにおいて戦闘員が繰り出す攻撃技を決定するユーザーインタフェース技術 |
CN107297074B (zh) * | 2017-06-30 | 2021-01-26 | 努比亚技术有限公司 | 游戏视频录制方法、终端及存储介质 |
CN107820118B (zh) * | 2017-11-17 | 2020-01-10 | 杭州电魂网络科技股份有限公司 | 游戏视频录制、播放方法及装置 |
-
2018
- 2018-12-13 CN CN201811523869.9A patent/CN109672899B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109672899A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109672899B (zh) | 面向游戏直播场景的精彩时刻实时识别与预录制方法 | |
US10758807B2 (en) | Smart court system | |
CN106162223B (zh) | 一种新闻视频切分方法和装置 | |
CN107680157B (zh) | 一种基于直播的互动方法及直播系统、电子设备 | |
CN107615766B (zh) | 用于创建和分配多媒体内容的系统和方法 | |
CN110505519B (zh) | 一种视频剪辑方法、电子设备及存储介质 | |
US11308993B2 (en) | Short video synthesis method and apparatus, and device and storage medium | |
CN109194978A (zh) | 直播视频剪辑方法、装置和电子设备 | |
US20160199742A1 (en) | Automatic generation of a game replay video | |
CN107241645B (zh) | 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法 | |
CN110650374B (zh) | 剪辑方法、电子设备和计算机可读存储介质 | |
CN103763586B (zh) | 电视节目互动方法、装置和服务器 | |
US20210077911A1 (en) | Method of determining exciting moments in a game video and method of playing a game video | |
CN105704559A (zh) | 一种海报生成方法及装置 | |
US20080269924A1 (en) | Method of summarizing sports video and apparatus thereof | |
CN109710806A (zh) | 足球比赛数据的可视化方法及系统 | |
CN111372116B (zh) | 视频播放提示信息处理方法、装置、电子设备及存储介质 | |
CN106937177A (zh) | 直播间人气显示方法和装置 | |
CN110691271A (zh) | 一种新闻视频生成方法、系统、装置和存储介质 | |
KR20060030404A (ko) | 스포츠 동영상의 요약 방법 및 장치 | |
WO2021240679A1 (ja) | 映像処理装置、映像処理方法、及び、記録媒体 | |
CN110121077B (zh) | 一种题目生成方法、装置及设备 | |
KR20180089977A (ko) | 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법 | |
US20180056187A1 (en) | Method of providing observing service using event prediction in game | |
CN113497946A (zh) | 视频处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |