CN110971929B - 云游戏视频处理方法、电子设备及存储介质 - Google Patents

云游戏视频处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN110971929B
CN110971929B CN201911057041.3A CN201911057041A CN110971929B CN 110971929 B CN110971929 B CN 110971929B CN 201911057041 A CN201911057041 A CN 201911057041A CN 110971929 B CN110971929 B CN 110971929B
Authority
CN
China
Prior art keywords
frame
target
video
game
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911057041.3A
Other languages
English (en)
Other versions
CN110971929A (zh
Inventor
汪海萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Interactive Entertainment Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911057041.3A priority Critical patent/CN110971929B/zh
Publication of CN110971929A publication Critical patent/CN110971929A/zh
Application granted granted Critical
Publication of CN110971929B publication Critical patent/CN110971929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例涉及领域，特别涉及一种云游戏视频处理方法、电子设备及存储介质。云游戏视频处理方法，包括：识别云游戏中的目标游戏事件；获取所述目标游戏事件中的目标剪辑对象；根据所述目标剪辑对象，确定起始时刻和结束时刻；获取所述云游戏中起始时刻至结束时刻之间的视频片段；其中，所述起始时刻为所述目标游戏事件开始之前的时刻，所述结束时刻为所述目标游戏事件结束之后的时刻。采用本发明的实施方式，能够在云游戏过程中自动剪辑生成精彩的游戏视频片段，便于玩家对自动剪辑好的游戏视频片段进行分享。

Description

云游戏视频处理方法、电子设备及存储介质
技术领域
本发明实施例涉及领域，特别涉及一种云游戏视频处理方法、电子设备及存储介质。
背景技术
随着云计算技术的迅速发展，越来越多的云计算方案得到实际推广应用，其中就包括云游戏。云游戏是指玩家能够通过客户端访问网络云游戏平台上的游戏，将对游戏的操作指令传输给云服务器，游戏实际运行存储在云端服务器中，而无需玩家在客户端上安装游戏；通常玩家在体验云游戏的时候，会希望将游戏过程中的精彩片段与他人分享，因此派生了对游戏过程中的精彩片段的获取需求。然而，发明人发现相关技术中存在如下问题：相关技术中通常需要玩家人工地在游戏过程中控制视频录制功能的开启和关闭，并在录制完视频后手动地剪辑出一些精彩片段，其过程较为复杂繁琐，需要耗费较多的人力，获取游戏中精彩片段的效率较为低下。
发明内容
本发明实施方式的目的在于提供一种云游戏视频处理方法、电子设备及存储介质，能够在云游戏过程中自动剪辑生成精彩的游戏视频片段，便于玩家对自动剪辑好的游戏视频片段进行分享。
为解决上述技术问题，本发明的实施方式提供了一种云游戏视频处理方法，包括：识别云游戏中的目标游戏事件；获取所述目标游戏事件中的目标剪辑对象；根据所述目标剪辑对象，确定起始时刻和结束时刻；获取所述云游戏中起始时刻至结束时刻之间的视频片段；其中，所述起始时刻为所述目标游戏事件开始之前的时刻，所述结束时刻为所述目标游戏事件结束之后的时刻。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的云游戏视频处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的云游戏视频处理方法。
本发明实施方式相对于现有技术而言，识别云游戏中的目标游戏事件；获取所述目标游戏事件中的目标剪辑对象；根据所述目标剪辑对象，确定起始时刻和结束时刻；获取所述云游戏中起始时刻至结束时刻之间的视频片段；其中，所述起始时刻为所述目标游戏事件开始之前的时刻，所述结束时刻为所述目标游戏事件结束之后的时刻；通过上述方式，能够自动识别到云游戏过程中的目标游戏事件，无需人工进行判断；由于目标游戏事件持续的时间可能较短，而根据目标游戏对象中的目标剪辑对象所确定的起始时刻是在目标游戏事件开始之前的时刻，结束时刻是在目标游戏事件结束之后的时刻，因此最终自动剪辑得到的一段游戏视频片段，是包括但不仅限于目标游戏事件的一段游戏视频片段，游戏视频片段的连续性和完整性得到了保障，玩家的观看体验也得到了提升；同时，避免了人工保存全程的云游戏视频时耗费的较多存储空间，以及从全程云游戏视频中剪辑精彩游戏视频片段时耗费的较多人力资源，有效提升了获取精彩的游戏视频片段的效率，便于玩家对自动剪辑好的游戏视频片段进行分享。
另外，识别云游戏中的目标游戏事件，包括：依次计算所述云游戏中连续的两个视频帧之间的图像相似度；根据所述图像相似度，确定所述目标游戏事件；所述目标游戏事件对应的起始帧与所述起始帧的前一帧之间的图像相似度小于预设阈值，所述目标游戏事件对应的结束帧与所述结束帧的后一帧之间的图像相似度小于所述预设阈值，所述起始帧和所述结束帧之间的各视频帧之间的图像相似度大于或等于所述预设阈值。由于云游戏过程中所看到的游戏画面是由连续的视频帧所组成的，云游戏中连续的两个视频帧之间的图像相似度小于预设阈值时，可以理解为视频帧的图像内容发生了较为明显的变化，也就可以理解为精彩的游戏事件的开始或结束，因此通过上述方式来识别目标游戏事件时的识别精度较高，即使目标游戏事件持续的时间较短，其被识别到的可能性也较高。
另外，目标剪辑对象包括：起始剪辑对象和结束剪辑对象；所述起始剪辑对象，包括：所述起始帧中前景的目标对象、背景颜色信息和背景的目标对象；所述结束剪辑对象，包括：所述结束帧中前景的目标对象、背景颜色信息和背景的目标对象；上述目标剪辑对象包括的内容较为丰富，使得根据目标剪辑对象确定的起始时刻和结束时刻较为精确，从而获取到的视频片段的质量也得到了保障。
另外，根据所述目标剪辑对象，确定起始时刻，包括：若所述起始帧为首帧，则将所述起始帧对应的时刻作为所述起始时刻；若所述起始帧非首帧，则获取所述云游戏中的第i-n个视频帧，判断所述第i-n个视频帧是否匹配所述起始剪辑对象；其中，所述云游戏中的第i个视频帧为所述起始帧，所述n的初始取值取1；若否，将第i-(n-1)个视频帧对应的时刻作为所述起始时刻；若是，则当所述n小于i时，令所述n的取值为(n+1)，重复执行上述判断所述第i-n个视频帧是否匹配所述起始剪辑对象的步骤，当所述n的取值等于i时，将所述起始帧对应的时刻作为所述起始时刻，从而以起始时刻开始的连续每个视频帧中均包括起始剪辑对象，使得最终得到的视频片段的完整性较高，有助于提升对视频片段的观看体验。
另外，根据所述目标剪辑对象，确定结束时刻，包括：若所述结束帧为末帧，则将所述结束帧对应的时刻作为所述结束时刻；若所述结束帧为末帧，则获取所述云游戏中的第j+m个视频帧，判断所述第j+m个视频帧是否匹配所述结束剪辑对象；其中，所述云游戏中的第j个视频帧为所述结束帧，所述m的初始取值取1；若否，将第j+(m-1)个视频帧对应的时刻作为所述结束时刻；若是，则当所述(j+m)的取值小于所述云游戏的总视频帧数时，令所述m的取值为(m+1)，重复执行上述判断所述第j+m个视频帧是否匹配所述结束剪辑对象的步骤，当所述(j+m)的取值等于所述云游戏的总视频帧数时，将末帧对应的时刻作为所述结束时刻，从而以结束时刻结束的连续每个视频帧中均包括结束剪辑对象，使得最终得到的视频片段的完整性较高，有助于提升对视频片段的观看体验。
另外，目标对象，通过以下方式获取得到：获取视频帧中包含的预设对象作为所述目标对象；通过上述方式，可以根据实际需求预设指定的人物、非人物、图标、数字等任意对象，灵活性较强，有助于对其他视频帧是否包括目标对象进行判断。
另外，目标对象，通过以下方式获取得到：获取视频帧中占据图像面积最大的对象作为所述目标对象，也就是将视频帧中醒目、突出且重要的对象作为了目标对象，其对于视频帧的代表性较强，有助于对其他视频帧是否包括目标对象进行判断。
另外，目标对象，通过以下方式获取得到：获取视频帧中渲染精度最高的对象作为所述目标对象；对象的渲染精度高说明该对象是视频帧中希望被关注到的重要对象，其对于视频帧的代表性较强，有助于对其他视频帧是否包括目标对象进行判断。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是本发明第一实施方式中云游戏视频处理方法的流程示意图；
图2是本发明第一实施方式中识别目标游戏事件的方式的流程示意图；
图3是本发明第二实施方式中云游戏视频处理方法的流程示意图；
图4是本发明第二实施方式中电子设备的结构方框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种云游戏视频处理方法，具体流程如图1所示，包括：
步骤101，识别云游戏中的目标游戏事件；
步骤102，获取目标游戏事件中的目标剪辑对象；
步骤103，根据目标剪辑对象，确定起始时刻和结束时刻；
步骤104，获取云游戏中起始时刻至结束时刻之间的视频片段；其中，起始时刻为目标游戏事件开始之前的时刻，结束时刻为目标游戏事件结束之后的时刻。
下面对本实施方式中的云游戏视频处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的细节，并非实施本方案的必须。
本实施方式中，自动识别云游戏中的目标游戏事件，无需人工进行判断；获取所述目标游戏事件中的目标剪辑对象；根据所述目标剪辑对象，确定起始时刻和结束时刻；获取所述云游戏中起始时刻至结束时刻之间的视频片段；其中，所述起始时刻为所述目标游戏事件开始之前的时刻，所述结束时刻为所述目标游戏事件结束之后的时刻，因此最终自动剪辑得到的一段游戏视频片段，是包括但不仅限于目标游戏事件的一段游戏视频片段，游戏视频片段的连续性和完整性得到了保障，玩家的观看体验也得到了提升；同时，避免了人工保存全程的云游戏视频时耗费的较多存储空间，以及从全程云游戏视频中剪辑精彩游戏视频片段时耗费的较多人力资源，有效提升了获取精彩的游戏视频片段的效率，便于玩家对自动剪辑好的游戏视频片段进行分享。
在步骤101中，识别云游戏中的目标游戏事件，这里的目标游戏事件可以理解为例如“玩家使用了特定招数进行攻击的事件”、“玩家成功通过关卡的事件”、“玩家达成目标分数的事件”等任何云游戏过程中可能发生的事件；本实施方式中，以“玩家使用了特定招数进行攻击的事件”为例进行说明，提供了一种识别目标游戏事件的方式，具体如图2所示的流程图，包括以下步骤：
步骤201，依次计算云游戏中连续的两个视频帧之间的图像相似度；
步骤202，根据图像相似度，确定目标游戏事件。
具体地说，玩家在云游戏过程中使用了特定招数进行攻击时，游戏画面的变化会比较明显，例如游戏画面的亮度和/或饱和度等色彩度明显升高、游戏画面中出现特定招数相关的元素等等；而云游戏过程中所看到的游戏画面是由连续的视频帧所组成的，当游戏画面产生明显变化时，连续的两个视频帧之间的差异也会明显变大，也就是连续的两个视频帧之间的相似度明显变小，因此，可以通过计算云游戏中连续的两个视频帧之间的图像相似度来确定是否发生了目标游戏事件，并认为目标游戏事件对应的起始帧与起始帧的前一帧之间的图像相似度小于预设阈值(在起始帧时游戏画面明显变化)，目标游戏事件对应的结束帧与结束帧的后一帧之间的图像相似度小于预设阈值(在结束帧时游戏画面明显变化)，起始帧和结束帧之间的各视频帧之间的图像相似度大于或等于预设阈值；本实施方式中提供了以下两种计算连续的两个视频帧之间的图像相似度的方式。
方式一，根据两个视频帧图像的特征向量计算相似度。具体地说，首先将两个视频帧的图像(后称为第一帧画面和第二帧画面)进行灰度化处理，得到第一帧画面的灰度图像和第二帧画面的灰度图像；将灰度图像分为n个灰度级的灰度直方图，n＝2m-1，m为大于零的正整数，提取第一帧画面的特征向量Va＝{ga0,ga1,ga2,ga3……gai},gai(0≤i≤n)，特征向量Va为第一帧画面的灰度图像中灰度值为i像素点占总像素点的比例的集合；提取第二帧画面的特征向量Vb＝{gb0,gb1,gb2,gb3……gbj},gbj(0≤j≤n)，特征向量Vb为第二帧画面的灰度图像中灰度值为j像素点占总像素点的比例的集合。根据如下的相似度计算公式，计算第一帧画面和第二帧画面之间的相似度S(Ia,Ib)：
Figure BDA0002256804910000051
其中，
Figure BDA0002256804910000052
当计算出的相似度S(Ia,Ib)小于预设阈值时，判定第一帧画面和第二帧画面不相似；当当计算出的相似度S(Ia,Ib)大于或等于预设阈值时，判定第一帧画面和第二帧画面相似。
方式二，根据两个视频帧图像的颜色分布计算相似度。具体地说，首先使用八叉树的颜色量化算法分别将第一帧画面和第二帧画面中的像素进行分类，每一类像素的颜色是相似的(得到的是例如一类黑色系的像素、一类红色系的像素等等)；以第一帧画面中的一个像素点为标准，去第二帧图像中寻找与之坐标最相似的像素点，从而得到一对匹配的像素点(例如，以第一帧画面中的一个红色系的像素A为标准，去第二帧图像中的红色系的像素中寻找与像素A的坐标最相似的像素点B，得到的像素点A和像素点B为一对匹配的像素点)；在匹配完第一帧画面和第二帧画面中所有的像素后，分别计算每一对匹配的像素点的坐标间距|AB|，可通过如下的欧式距离公式进行计算：
Figure BDA0002256804910000061
其中，(x1,x2)和(y1,y2)为一对匹配的像素点的坐标。
此处可将预设阈值理解为一个百分比，当计算出的像素点的坐标间距|AB|小于匹配阈值的像素点对数小于总像素点对数的预设阈值时(例如预设阈值为80％，坐标间距小于匹配阈值的像素点对数小于总数的80％时)，判定第一帧画面和第二帧画面不相似；当计算出的像素点的坐标间距|AB|小于匹配阈值的像素点对数大于或等于总像素点对数的预设阈值时，判定第一帧画面和第二帧画面相似。
通过上述方式识别目标游戏事件时的识别精度较高，即使目标游戏事件持续的时间较短，视频帧的变化也能较好的被识别到。
另外，还可以通过数据埋点来识别目标游戏事件的发生，数据埋点是用于记录玩家在云游戏过程中产生的各种数据，例如：当预设用于记录玩家使用招数的数据埋点记录到玩家使用了特定招数时，则判定识别到“玩家使用了特定招数进行攻击”的目标游戏事件。
在步骤102中，获取目标游戏事件中的目标剪辑对象，这里的目标剪辑对象分为以下三类，包括：前景的目标对象、背景颜色信息和背景的目标对象，根据上述三类对象能够较为完整且具有代表性地概括游戏画面的主要内容。目标剪辑对象中，背景颜色信息可以理解为包括游戏画面的背景颜色类别的信息，例如游戏画面的背景颜色为红色系；目标剪辑对象中，(前景或背景的)目标对象可以理解为游戏中的人物角色、非人物角色、敌人、建筑、道具、图标、数字等等，本实施方式中提供了以下三种目标对象的获取方式，但并不限制于此三种获取方式。
方法一，获取视频帧中包含的预设对象作为目标对象。也就是说，预先指定了一些人物角色、非人物角色、敌人、建筑、道具、图标、数字等对象，当识别到视频帧中包含这些预先指定的对象时，就将识别到的对象作为目标对象；预先指定的对象可以是实际需求需要的任意对象，对于预先指定的对象的识别可以采用图像识别算法。
方法二，获取视频帧中占据图像面积最大的对象作为目标对象，也就是将视频帧中最醒目、突出的对象作为了目标对象；由于目标对象占据图像面积最大，那么可以将其视为视频帧中最重要的一个对象；上述方法同样可以通过图像识别算法来实现。
方法三，获取视频帧中渲染精度最高的对象作为目标对象；对象的渲染精度高说明该对象是视频帧中希望被关注到的重要对象，其余部分的渲染精度较低则并不是需要重点关注的重要对象；上述方法同样可以通过图像识别算法来实现。
通过上述方式获取的目标对象可以是一个也可以是多个，获取方式的多样使得本实施方式的灵活性较高，且获取到的目标对象基本对于视频帧有较强的代表性，有助于后续对其他视频帧是否包括目标对象进行判断。
由于根据目标剪辑对象确定的起始时刻是目标游戏事件开始之前的时刻，确定的结束时刻是目标游戏事件结束之后的时刻，因此对于起始时刻和结束时刻需要分别确定，也就可以理解目标剪辑对象包括：起始剪辑对象和结束剪辑对象；起始剪辑对象包括目标游戏事件的起始帧中前景的目标对象、背景颜色信息和背景的目标对象；结束剪辑对象包括目标游戏事件的结束帧中前景的目标对象、背景颜色信息和背景的目标对象。
在步骤103中，根据目标剪辑对象，确定起始时刻和结束时刻。
具体地说，起始时刻通过以下方式确定：从起始帧开始，如果起始帧为云游戏中的首帧(即第1帧)，直接将起始帧对应的时刻作为起始时刻；如果起始帧为云游戏中的第i个视频帧，则获取云游戏中的第i-n个视频帧，判断第i-n个视频帧是否匹配起始剪辑对象；其中，n的初始取值取1；若否，将第i-(n-1)个视频帧对应的时刻作为起始时刻；若是，令n的取值为(n+1)，重复执行上述确定起始时刻的步骤直至确定起始时刻；当n的取值取到等于i时，则将起始帧对应的时刻作为起始时刻。在一个实例中，起始帧A为第10个视频帧，获取到起始帧之前的第9个视频帧为A1，判断到第9个视频帧A1中包括起始帧A中全部的前景的目标对象、背景颜色信息和背景的目标对象，则继续获取到第8个视频帧为A2，判断到第8个视频帧A2中不包括起始帧A中全部的前景的目标对象、背景颜色信息和背景的目标对象，则放弃第8个视频帧A2，确定第9个视频帧A1对应的时刻作为起始时刻。
具体地说，结束时刻通过以下方式确定：从结束帧开始，如果结束帧为云游戏中的末帧(即最后1帧)，直接将结束帧对应的时刻作为结束时刻；如果结束帧为云游戏中的第j个视频帧，获取云游戏中的第j+m个视频帧，判断第j+m个视频帧是否匹配结束剪辑对象；其中，m的初始取值取1；若否，将第j+(m-1)个视频帧对应的时刻作为结束时刻；若是，令m的取值为(m+1)，重复执行上述确定结束时刻的步骤直至确定结束时刻；当(j+m)的取值取到等于云游戏的总视频帧数时，则将结束帧对应的时刻作为结束时刻。在一个实例中，结束帧为第20个视频帧B，获取到结束帧之后的第21个视频帧为B1，判断到第21个视频帧B1中包括结束帧B中全部的前景的目标对象、背景颜色信息和背景的目标对象，则继续获取到第22个视频帧B2，判断到第22个视频帧B2中不包括结束帧B中全部的前景的目标对象、背景颜色信息和背景的目标对象，则放弃第22个视频帧B2，确定第21个视频帧B1对应的时刻作为起始时刻。
通过上述方式得到的视频片段中，以起始时刻开始的连续每个视频帧中和以结束时刻结束的连续每个视频帧中均包括结束剪辑对象，完整性较高，有助于提升对视频片段的观看体验。
在步骤104中，获取云游戏中起始时刻至结束时刻之间的视频片段；其中，起始时刻为目标游戏事件开始之前的时刻，结束时刻为目标游戏事件结束之后的时刻。具体地说，由于云游戏过程本身可视为一个视频流媒体，因此可直接根据起始时刻和结束时刻从云游戏视频流中截取一段视频片段；而相关技术中是先截屏得到图片文件，再将图片以一定频率导出为视频，耗时较长，导出的视频帧率较低，因此本实施方式中直接截取的视频片段的帧率和流畅度得到了保障，也就是为玩家提供了良好的视频观感。
在一个实例中，从云游戏过程中识别到“玩家使用了特定招数进行攻击”的目标游戏事件，目标游戏事件的起始帧处于第1分20秒的时刻，结束帧处于第1分50秒的时刻，并获取到目标游戏事件中，起始剪辑对象包括玩家A(前景的目标对象)、红色背景(背景颜色信息)、敌人A(背景的目标对象)，结束剪辑对象包括玩家A(前景的目标对象)、橙色背景(背景颜色信息)、建筑B(背景的目标对象)；根据起始剪辑对象，确定到起始时刻为第1分15秒(也就是第1分15秒至第1分20秒间的视频帧均包括玩家A和敌人A，且背景颜色信息为红色背景)，并根据结束剪辑对象，确定到结束时刻为第1分52秒(也就是第1分50秒至第1分52秒间的视频帧均包括玩家A、建筑B，且背景颜色信息为橙色背景)；获取云游戏中第1分15秒至第1分52秒之间的视频片段，作为包含“玩家使用了特定招数进行攻击”的一段精彩游戏片段。
本实施方式相对于现有技术而言，根据云游戏中连续的两个视频帧之间的图像相似度，自动识别云游戏中的目标游戏事件，识别精度较高，无需人工进行判断；获取目标游戏事件中的目标剪辑对象，并根据目标剪辑对象，确定起始时刻和结束时刻；获取云游戏中起始时刻至结束时刻之间的视频片段，其中，起始时刻为目标游戏事件开始之前的时刻，结束时刻为目标游戏事件结束之后的时刻；由于目标游戏事件持续的时间可能较短，而根据目标游戏对象中的目标剪辑对象所确定的起始时刻是在目标游戏事件开始之前的时刻，结束时刻是在目标游戏事件结束之后的时刻，因此最终自动剪辑得到的一段游戏视频片段，是包括但不仅限于目标游戏事件的一段游戏视频片段，游戏视频片段的连续性和完整性得到了保障，玩家的观看体验也得到了提升；同时，避免了人工保存全程的云游戏视频时耗费的较多存储空间，以及从全程云游戏视频中剪辑精彩游戏视频片段时耗费的较多人力资源，有效提升了获取精彩的游戏视频片段的效率，便于玩家对自动剪辑好的游戏视频片段进行分享。
本发明第二实施方式涉及一种云游戏视频处理方法，本实施方式与第一实施方式大致相同，在第一实施方式的基础上提供了对获取到的视频片段进行后续处理的方式，以便于实现更多云游戏过程中的交互。本实施方式中的云游戏视频处理方法的流程图如图3所示，下面对图3的流程做具体说明。
步骤301，识别云游戏中的目标游戏事件；此步骤与步骤101大致相同，此处不再赘述。
步骤302，获取目标游戏事件中的目标剪辑对象；此步骤与步骤102大致相同，此处不再赘述。
步骤303，根据目标剪辑对象，确定起始时刻和结束时刻；此步骤与步骤103大致相同，此处不再赘述。
步骤304，获取云游戏中起始时刻至结束时刻之间的视频片段；其中，起始时刻为目标游戏事件开始之前的时刻，结束时刻为目标游戏事件结束之后的时刻。此步骤与步骤104大致相同，此处不再赘述。
步骤305，为视频片段添加视频特效，并将视频片段保存至云端服务器。
具体地说，在获取到视频片段后，可根据视频片段的内容添加图像特效或声音特效等，特效的具体实现形式不做具体的限制。例如，可以识别到的目标游戏事件对应的起始帧中，放大显示前景目标对象，并在起始帧的音轨中插入效果音，以强调目标游戏事件的开始，吸引玩家观看视频片段时的注意力。另外，在获取到视频片段后，也可以直接保存至云端服务器，玩家可手动为视频片段添加视频特效后再次上传至云端服务器，通过这种方式使得玩家在云游戏过程中交互的自由度更高。
在为视频片段添加视频特效后，将视频片段保存至云端服务器，并不占用玩家本地客户端的存储空间，减轻了玩家本地客户端的压力；玩家可通过云端服务器观看或是直接向互联网分享已保存的视频片段，十分便捷，无需手动进行视频片段的剪辑。
另外，玩家可观看的视频片段，包括玩家自身游玩过程中的的游戏视频片段和其他玩家游玩过程中的游戏视频片段，并可以对其他玩家侧的游戏视频片段进行点赞操作；云端服务器可根据已保存的游戏视频片段的点赞数，统计出热门的游戏视频片段推送至玩家，以增强玩家在云游戏过程中的交互体验。
本实施方式相对于现有技术而言，提供了对获取到的视频片段进行后续处理的方式，包括为视频片段添加特效、提供视频片段供玩家进行点赞、根据点赞数推送热度高的视频片段至玩家等等，从而增强了玩家在云游戏过程中的交互体验和玩家对云游戏平台的黏度。
需要说明的是，本实施方式中的上述各示例均为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种电子设备，如图4所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的云游戏视频处理方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述云游戏视频处理方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种云游戏视频处理方法，其特征在于，包括：
识别云游戏中的目标游戏事件；
获取所述目标游戏事件中的目标剪辑对象；
根据所述目标剪辑对象，确定起始时刻和结束时刻；
获取所述云游戏中起始时刻至结束时刻之间的视频片段；
其中，所述起始时刻为所述目标游戏事件开始之前的时刻，所述结束时刻为所述目标游戏事件结束之后的时刻；
其中，所述目标游戏事件包括起始帧和结束帧，所述目标剪辑对象包括起始剪辑对象和结束剪辑对象；
根据所述目标剪辑对象确定所述起始时刻，包括：
若所述起始帧为首帧，则将所述起始帧对应的时刻作为所述起始时刻；
若所述起始帧非首帧，则获取所述云游戏中的第i-n个视频帧，判断所述第i-n个视频帧是否匹配所述起始剪辑对象；其中，所述云游戏中的第i个视频帧为所述起始帧，所述n的初始取值取1；
若否，将第i-(n-1)个视频帧对应的时刻作为所述起始时刻；
若是，则当所述n小于i时，令所述n的取值为(n+1)，重复执行上述判断所述第i-n个视频帧是否匹配所述起始剪辑对象的步骤，当所述n的取值等于i时，将所述起始帧对应的时刻作为所述起始时刻；
根据所述目标剪辑对象确定所述结束时刻，包括：
若所述结束帧为末帧，则将所述结束帧对应的时刻作为所述结束时刻；
若所述结束帧为非末帧，则获取所述云游戏中的第j+m个视频帧，判断所述第j+m个视频帧是否匹配所述结束剪辑对象；其中，所述云游戏中的第j个视频帧为所述结束帧，所述m的初始取值取1；
若否，将第j+(m-1)个视频帧对应的时刻作为所述结束时刻；
若是，则当所述(j+m)的取值小于所述云游戏的总视频帧数时，令所述m的取值为(m+1)，重复执行上述判断所述第j+m个视频帧是否匹配所述结束剪辑对象的步骤，当所述(j+m)的取值等于所述云游戏的总视频帧数时，将所述结束帧对应的时刻作为所述结束时刻。
2.根据权利要求1所述的云游戏视频处理方法，其特征在于，所述识别云游戏中的目标游戏事件，包括：
依次计算所述云游戏中连续的两个视频帧之间的图像相似度；
根据所述图像相似度，确定所述目标游戏事件；
所述目标游戏事件对应的所述起始帧与所述起始帧的前一帧之间的图像相似度小于预设阈值，所述目标游戏事件对应的所述结束帧与所述结束帧的后一帧之间的图像相似度小于所述预设阈值，所述起始帧和所述结束帧之间的各视频帧之间的图像相似度大于或等于所述预设阈值。
3.根据权利要求2所述的云游戏视频处理方法，其特征在于，
所述起始剪辑对象，包括：所述起始帧中前景的目标对象、背景颜色信息和背景的目标对象；
所述结束剪辑对象，包括：所述结束帧中前景的目标对象、背景颜色信息和背景的目标对象。
4.根据权利要求3所述的云游戏视频处理方法，其特征在于，所述目标对象，通过以下方式获取得到：
获取视频帧中包含的预设对象作为所述目标对象。
5.根据权利要求3所述的云游戏视频处理方法，其特征在于，所述目标对象，通过以下方式获取得到：
获取视频帧中占据图像面积最大的对象作为所述目标对象。
6.根据权利要求3所述的云游戏视频处理方法，其特征在于，所述目标对象，通过以下方式获取得到：
获取视频帧中渲染精度最高的对象作为所述目标对象。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的云游戏视频处理方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的云游戏视频处理方法。
CN201911057041.3A 2019-10-31 2019-10-31 云游戏视频处理方法、电子设备及存储介质 Active CN110971929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911057041.3A CN110971929B (zh) 2019-10-31 2019-10-31 云游戏视频处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911057041.3A CN110971929B (zh) 2019-10-31 2019-10-31 云游戏视频处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110971929A CN110971929A (zh) 2020-04-07
CN110971929B true CN110971929B (zh) 2022-07-29

Family

ID=70030003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911057041.3A Active CN110971929B (zh) 2019-10-31 2019-10-31 云游戏视频处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110971929B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770051B (zh) * 2020-05-21 2021-10-26 中清龙图计算机科技(上海)有限公司 一种云游戏分享方法、装置、设备及介质
CN111726682B (zh) * 2020-06-30 2022-08-16 北京百度网讯科技有限公司 视频片段生成方法、装置、设备和计算机存储介质
CN112188260A (zh) * 2020-10-26 2021-01-05 咪咕文化科技有限公司 视频的分享方法、电子设备及可读存储介质
CN113542777B (zh) * 2020-12-25 2022-06-21 腾讯科技（深圳）有限公司 直播视频剪辑方法、装置及计算机设备
CN112866562B (zh) * 2020-12-31 2023-04-18 上海米哈游天命科技有限公司 画面处理方法、装置、电子设备及存储介质
CN112843688A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质
CN112843709B (zh) * 2020-12-31 2023-05-26 上海米哈游天命科技有限公司 一种拍摄方法、装置、设备及存储介质
CN112822396B (zh) * 2020-12-31 2023-05-02 上海米哈游天命科技有限公司 一种拍摄参数的确定方法、装置、设备及存储介质
CN112843695B (zh) * 2020-12-31 2023-06-27 上海米哈游天命科技有限公司 拍摄图像的方法、装置、电子设备及存储介质
CN112843685A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 拍摄方法、装置、电子设备及存储介质
CN113115106B (zh) * 2021-03-31 2023-05-05 影石创新科技股份有限公司 全景视频的自动剪辑方法、装置、终端及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166707B2 (ja) * 2004-01-20 2008-10-15 パイオニア株式会社 映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラム
JP4424396B2 (ja) * 2007-09-03 2010-03-03 ソニー株式会社 データ処理装置および方法、並びにデータ処理プログラムおよびデータ処理プログラムが記録された記録媒体
CN109672922B (zh) * 2017-10-17 2020-10-27 腾讯科技（深圳）有限公司 一种游戏视频剪辑方法及装置
CN109740499B (zh) * 2018-12-28 2021-06-11 北京旷视科技有限公司 视频分割方法、视频动作识别方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110971929A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110971929B (zh) 云游戏视频处理方法、电子设备及存储介质
CN110602554B (zh) 封面图像确定方法、装置及设备
CN109783178B (zh) 一种界面组件的颜色调整方法、装置、设备和介质
US11141665B2 (en) Method of determining exciting moments in a game video and method of playing a game video
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
CN112291634B (zh) 视频处理方法及装置
EP3410302A1 (en) Graphic instruction data processing method, apparatus and system
CN110677718B (zh) 一种视频识别方法和装置
CN115345968B (zh) 虚拟对象驱动方法、深度学习网络的训练方法及装置
CN115396705B (zh) 投屏操作验证方法、平台及系统
CN112929728A (zh) 一种视频渲染方法、装置、系统、电子设备及存储介质
CN108921138B (zh) 用于生成信息的方法和装置
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN110769291B (zh) 一种视频处理方法、装置、电子设备及存储介质
JP2004227527A (ja) 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体
CN112822539A (zh) 信息显示方法、装置、服务器及存储介质
CN115278355B (zh) 视频剪辑方法、装置、设备、计算机可读存储介质及产品
US20210289266A1 (en) Video playing method and apparatus
CN113438500B (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN115243073A (zh) 一种视频处理方法、装置、设备及存储介质
CN114745537A (zh) 音画延迟测试方法、装置、电子设备和存储介质
CN110619362B (zh) 一种基于感知与像差的视频内容比对方法及装置
CN117014649A (zh) 视频处理方法、装置及电子设备
CN114092359A (zh) 花屏处理方法、装置和电子设备
CN113259745B (zh) 视频播放页面的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant