CN109379622B - 游戏中播放视频的方法和装置 - Google Patents

游戏中播放视频的方法和装置 Download PDF

Info

Publication number
CN109379622B
CN109379622B CN201811241189.8A CN201811241189A CN109379622B CN 109379622 B CN109379622 B CN 109379622B CN 201811241189 A CN201811241189 A CN 201811241189A CN 109379622 B CN109379622 B CN 109379622B
Authority
CN
China
Prior art keywords
video stream
video
game
terminal equipment
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811241189.8A
Other languages
English (en)
Other versions
CN109379622A (zh
Inventor
黄振胜
陈健生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811241189.8A priority Critical patent/CN109379622B/zh
Publication of CN109379622A publication Critical patent/CN109379622A/zh
Application granted granted Critical
Publication of CN109379622B publication Critical patent/CN109379622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种游戏中播放视频的方法和装置，终端设备对获取到的视频流进行处理，得到视频流对应的纹理，将视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将视频流显示在游戏界面上，并对视频流进行音频解码，得到视频流对应的音频数据，将视频流对应的音频数据写入终端设备的声卡。通过将视频流转换为纹理，将视频流对应的纹理作为一种游戏纹理，与游戏的纹理一起进行渲染，视频相当于游戏的一个场景，用户可以与视频进行互动，提高了用户体验。

Description

游戏中播放视频的方法和装置
技术领域
本发明涉及游戏领域，尤其涉及一种游戏中播放视频的方法和装置。
背景技术
最近几年，伴随着互联网技术和智能终端的应用发展，视频直播成为了人们日常生活中的一种常见的娱乐方式。游戏直播作为一种视频直播内容，受到了越来越多的游戏玩家的青睐，很多玩家希望在玩游戏的同时又能观看游戏直播。
传统方法中，在游戏内创建一个新的窗口(View)，游戏直播的视频流在该创建的View上播放，从而实现在游戏中播放视频。但是，该方法中视频流和游戏内容是分开的，用户无法与直播的视频进行互动，用户体验不好。
发明内容
本发明提供一种游戏中播放视频的方法和装置，提高了用户体验。
本发明第一方面提供一种游戏中播放视频的方法，包括：
终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理；
所述终端设备将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上；
所述终端设备对所述视频流进行音频解码，得到所述视频流对应的音频数据；
所述终端设备将所述视频流对应的音频数据写入所述终端设备的声卡。
可选的，所述终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理，包括：
所述终端设备对所述视频流进行视频解码，得到YUV格式的视频数据；
所述终端设备将所述YUV格式的视频数据转换为RGB格式的视频数据；
所述终端设备将所述RGB格式的视频数据转换为所述视频流对应的纹理。
可选的，所述终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理，包括：
所述终端设备通过硬件解码器对所述视频流进行解码，得到所述视频流对应的纹理。
可选的，还包括：
所述终端设备接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
所述终端设备根据所述声音控制指令，开启或者关闭所述视频流的声音。
可选的，还包括：
所述终端设备接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
所述终端设备根据所述窗口移动指令，将所述视频流移动到目标位置。
可选的，所述视频流为所述终端设备上存储视频流；或者，所述视频流为实时视频流。
本发明第二方面提供一种游戏中播放视频的装置，包括：
视频处理模块，用于对获取到的视频流进行处理，得到所述视频流对应的纹理；
渲染模块，用于将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上；
音频处理模块，用于对所述视频流进行音频解码，得到所述视频流对应的音频数据；
所述音频处理模块，还用于将所述视频流对应的音频数据写入所述终端设备的声卡。
可选的，所述视频处理模块具体用于：
对所述视频流进行视频解码，得到YUV格式的视频数据；
将所述YUV格式的视频数据转换为RGB格式的视频数据；
将所述RGB格式的视频数据转换为所述视频流对应的纹理。
可选的，所述视频处理模块具体用于：
通过硬件解码器对所述视频流进行解码，得到所述视频流对应的纹理。
可选的，还包括：
接收模块，用于接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
所述音频处理，还用于根据所述声音控制指令，开启或者关闭所述视频流的声音。
可选的，还包括：
接收模块，用于接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
移动模块，用于根据所述窗口移动指令，将所述视频流移动到目标位置。
可选的，所述视频流为所述终端设备上存储的视频流；或者，所述视频流为实时视频流。
本发明第三方面提供一种终端设备，包括：处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述存储器中存储的指令，以执行如下所述方法：
对获取到的视频流进行处理，得到所述视频流对应的纹理；
将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上；
对所述视频流进行音频解码，得到所述视频流对应的音频数据；
将所述视频流对应的音频数据写入所述终端设备的声卡。
可选的，所述处理器具体用于：
对所述视频流进行视频解码，得到YUV格式的视频数据；
将所述YUV格式的视频数据转换为RGB格式的视频数据；
将所述RGB格式的视频数据转换为所述视频流对应的纹理。
可选的，还包括：
硬件解码器，用于对所述视频流进行解码，得到所述视频流对应的纹理。
可选的，所述处理器还用于：
接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
根据所述声音控制指令，开启或者关闭所述视频流的声音。
可选的，所述处理器还用于：
接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
根据所述窗口移动指令，将所述视频流移动到目标位置。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如本发明第一方面所述的方法。
本发明提供的射击游戏的控制方法和装置，
本发明提供的游戏中播放视频的方法和装置，终端设备对获取到的视频流进行处理，得到视频流对应的纹理，将视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将视频流显示在游戏界面上，并对视频流进行音频解码，得到视频流对应的音频数据，将视频流对应的音频数据写入终端设备的声卡。通过将视频流转换为纹理，将视频流对应的纹理作为一种游戏纹理，与游戏的纹理一起进行渲染，视频相当于游戏的一个场景，用户可以与视频进行互动，提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例一提供的游戏中播放视频的方法的流程图；
图2为渲染后的游戏界面的一种示意图；
图3为本发明实施例二提供的游戏中播放视频的方法的流程图；
图4为本发明实施例三提供的游戏中播放视频的装置的结构示意图；
图5为本发明实施例四提供的终端设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1为本发明实施例一提供的游戏中播放视频的方法的流程图，如图1所示，本实施例提供的方法包括以下步骤：
步骤S101、终端设备对获取到的视频流进行处理，得到视频流对应的纹理。
该终端设备可以为智能手机、平板电脑、笔记本电脑、游戏机、个人数字助理(Personal Digital Assistant，PDA)等。该视频流的格式可以为动态图像专家组(MovingPicture Experts Group，简称MPEG)格式，MPEG格式又分为MPEG-2、MPEG-4等格式，视频流的格式还可以为H.264、H.265、VP8、VP9等常用视频编码格式。
终端设备将各种编码格式的视频转换为对应的纹理，在计算机图形学中，纹理指的是一张表示物体表面细节的位图，可以用一个存放颜色值的二维数组表示，数组中的每个颜色值被称为texel。每个texel在纹理中有唯一的地址，可以认为这个地址是行和列的编号，它们分别被标记为u和v。纹理中每个texel的位置可以用它的texel坐标表示，纹理坐标位于纹理空间中，也就是说，它们相对于纹理中的位置(0,0)点。当把纹理贴到三维空间中图元的表面时，纹理的texel必须先被映射到对象坐标系，然后再变换到屏幕坐标系，或像素的位置。
一种方式中，终端设备对视频流进行视频解码，得到YUV格式的视频数据，将YUV格式的视频数据转换为红绿蓝(red green blue，RGB)格式的视频数据，将RGB格式的视频数据转换为视频流对应的纹理。
对视频流进行视频解码采用的是软件解码，得到YUV格式的视频数据，软件解码的兼容性比较好，对于一些不支持硬件解码或者系统版本较低的设备都支持。YUV是一种颜色编码方法，YUV是一个统称，YUV格式又可以细分为多种格式，常用的格式为YUV420，YCbCr4:2:0，YCbCr4:2:2，YCbCr4:1:1和YCbCr4:4:4等。
由中央处理器(center process unit，CPU)将YUV格式的视频数据转换为RGB格式的视频数据，RGB是一种颜色编码方法，采用这种编码方法，每种颜色都可用红色绿色以及蓝色的强度这三个变量来表示。在将RGB格式的视频数据转换为视频流对应的纹理时，可以采用glTexImage2D函数实现，glteximage2d是一个OpenGL函数，功能是根据指定的参数，生成一个2D纹理(Texture)，当然还可以通过具有相同或者类似功能的其他函数实现。
另一种方式中，终端设备通过硬件解码器对视频流进行解码，得到视频流对应的纹理。例如，对于安卓(Android)4.0以上的系统提供了MediaCodec来解码H264视频，可以直接把直播的视频流解码到Android的一个Surface上，而Surface可以和SurfaceTexture绑定在一起，只要生成一个android系统自带的扩展的opengl纹理，让这个纹理和SurfaceTexture关联，就可以把视频解码后的内容直接和Android扩展的YUV纹理关联起来。游戏程序在渲染时候，shader用uniform samplerExternalOES替代sampler2D就可以在游戏的一个纹理上显示视频流。硬件解码的方式更高效，并且是在系统的硬件完成，占用到系统的资源相对比较少，对于游戏的性能影响很少。
本实施例提供了软件解码和硬件解码两种方式，还可以提供接口供用户选择解码方式，当然，也可以由系统决定使用哪种解码方式。移动端设备运行了游戏后，游戏会占用比较多的系统资源，比如CPU和内存的占用会上升。硬件解码方式中，视频解码部分由硬件完成，解码后直接输出一个纹理，后续游戏程序只需要把该纹理作为游戏的一个纹理画到游戏画面即可，对于游戏的流畅度和性能几乎没有影响。
步骤S102、终端设备将视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染(render)，以将视频流显示在游戏界面上。
渲染在电脑绘图中是指用软件从模型生成图像的过程。模型是用严格定义的语言或者数据结构对于三维物体的描述，它包括几何、视点、纹理以及照明信息。在游戏中，通常使用实时渲染(real-time rendering/online rendering)方式，实时渲染依靠带有三维硬件加速器的显卡完成这个过程。
融合即将视频流对应的纹理作为一种游戏纹理，通过渲染将游戏场景的画面绘制到终端设备的屏幕上，本实施例中将视频流对应的纹理和游戏的纹理融合后一起进行渲染，通过渲染将视频流显示在游戏界面上，视频流作为游戏内容的一个场景。
图2为渲染后的游戏界面的一种示意图，如图2所示，视频流叠加在游戏界面上，视频流作为游戏的一部分或者一个场景，用户可以边玩游戏边看视频，由于视频流作为游戏的一部分，用户可以对视频流进行互动，例如，发送弹幕或者送礼。
终端设备在对视频流对应的纹理和游戏的纹理进行融合和渲染时，通常会将视频流渲染到一个预设的固定位置，例如，游戏界面的中央位置。为了使得视频流的显示更加灵活，用户还可以调整视频流的位置，例如，用户拖动视频流到目标位置，终端设备接收窗口移动指令，该窗口移动指令用于移动视频流的位置，终端设备根据窗口移动指令，将视频流移动到目标位置。
步骤S103、终端设备对视频流进行音频解码，得到视频流对应的音频数据。
视频流由视频数据和音频数据组成，视频数据和音频数据分别进行编码，终端设备对音频内容进行音频解码，得到音频数据。
步骤S104、终端设备将视频流对应的音频数据写入终端设备的声卡。
可选的，终端设备可以判断游戏是否需要视频流的声音，如果游戏需要视频流的声音，则将视频流对应的音频数据写入终端设备的声卡，如果游戏不需要视频流的声音，则丢弃视频流对应的音频数据。
在游戏运行过程中，如果用户不想听到视频流的声音，本实施例还提供了接口供用户设置只播放视频流而不播放视频流的声音。例如，在游戏界面上设置有视频流的播放选项，用户点开播放选项后，可以向用户显示多个功能选项，功能选项1为播放视频流时开启/关闭视频流的声音。终端设备接收声音控制指令，该声音控制指令用于开启或者关闭视频流的声音，终端设备根据声音控制指令，开启或者关闭视频流的声音。
本实施例中，视频流可以是终端设备上存储的视频流(例如，本地文件)的数据，也可以是实时视频流(例如直播视频)。终端设备可以通过两种不同接口调用本地文件和实时视频流。
当视频流为实时视频流时，为了保证用户体验，可以为每个视频流配置多路内容分发网络(Content Delivery Network，CDN)，当CDN服务异常时，及时切换到另外一路CDN，该多路CDN中可以包括游戏提供商自建的CDN。
需要说明的是，本实施例中对视频流的格式转换和音频解码是同步进行的。
本实施例中，终端设备对获取到的视频流进行处理，得到视频流对应的纹理，将视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将视频流显示在游戏界面上，并对视频流进行音频解码，得到视频流对应的音频数据，将视频流对应的音频数据写入终端设备的声卡。通过将视频流转换为纹理，将视频流对应的纹理作为一种游戏纹理，与游戏的纹理一起进行渲染，视频相当于游戏的一个场景，用户可以与视频进行互动，提高了用户体验。
在实施例一的基础上，图3为本发明实施例二提供的游戏中播放视频的方法的流程图，本实施例中采用软件解码方式对视频流进行解码，如图3所示，本实施例提供的方法包括以下步骤：
步骤S201、终端设备从本地读取视频流或者接收CDN发送的视频流。
步骤S202、终端设备对视频流进行视频解码，得到YUV格式的视频数据。
步骤S203、终端设备将YUV格式的视频数据转换为RGB格式的视频数据。
步骤S204、终端设备将RGB格式的视频数据转换为视频流对应的纹理。
步骤S205、终端设备将视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将视频流显示在游戏界面上。
步骤S206、终端设备对视频流进行音频解码，得到视频流对应的音频数据。
步骤S207、终端设备将视频流对应的音频数据写入终端设备的声卡。
其中，音频解码和视频解码是并行执行的。
本实施例的具体实现方式参照实施例一的相关描述，这里不再赘述。
图4为本发明实施例三提供的游戏中播放视频的装置的结构示意图，该装置可以应用在终端设备中，如图4所示，本实施例提供的装置，包括：
视频处理模块11，用于对获取到的视频流进行处理，得到所述视频流对应的纹理；
渲染模块12，用于将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上；
音频处理模块13，用于对所述视频流进行音频解码，得到所述视频流对应的音频数据；
所述音频处理模块13，还用于将所述视频流对应的音频数据写入所述终端设备的声卡。
可选的，所述视频处理模块11具体用于：
对所述视频流进行视频解码，得到YUV格式的视频数据；
将所述YUV格式的视频数据转换为RGB格式的视频数据；
将所述RGB格式的视频数据转换为所述视频流对应的纹理。
可选的，所述视频处理模块11具体用于：
通过硬件解码器对所述视频流进行解码，得到所述视频流对应的纹理。
可选的，还包括：
接收模块，用于接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
所述音频处理，还用于根据所述声音控制指令，开启或者关闭所述视频流的声音。
可选的，还包括：
接收模块，用于接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
移动模块，用于根据所述窗口移动指令，将所述视频流移动到目标位置。
可选的，所述视频流为所述终端设备上存储的视频文件的数据；或者，所述视频流为实时视频流的数据。
本实施例提供的装置可用于执行实施例一和实施例二的方法，具体实现方式和技术效果类似，这里不再赘述。
图5为本发明实施例四提供的终端设备的结构示意图，如图5所示，本实施例提供的终端设备，包括：处理器21和存储器22，存储器22用于存储指令，所述处理器21用于执行所述存储器22中存储的指令，以执行如下所述方法：
对获取到的视频流进行处理，得到所述视频流对应的纹理；
将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上；
对所述视频流进行音频解码，得到所述视频流对应的音频数据；
将所述视频流对应的音频数据写入所述终端设备的声卡。
可选的，所述处理器21具体用于：
对所述视频流进行视频解码，得到YUV格式的视频数据；
将所述YUV格式的视频数据转换为RGB格式的视频数据；
将所述RGB格式的视频数据转换为所述视频流对应的纹理。
可选的，还包括硬件解码器23，用于对所述视频流进行解码，得到所述视频流对应的纹理。
可选的，所述处理器21还用于：接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音，根据所述声音控制指令，开启或者关闭所述视频流的声音。
可选的，所述处理器21还用于：接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置，根据所述窗口移动指令，将所述视频流移动到目标位置。
本实施例提供的所述终端设备可以用于执行如上述实施例一和实施例二的方法，具体实现方式和技术效果类似，这里不再赘述。
本发明实施例五提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如上述实施例一和实施例二的方法，具体实现方式和技术效果类似，这里不再赘述。
应理解，上述实施例中，处理器可以是中央处理单元(英文：Central ProcessingUnit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital SignalProcessor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：ROM)、随机存取存储器(英文：random access memory，简称：RAM)、快闪存储器、硬盘或者固态硬盘。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (9)

1.一种游戏中播放视频的方法，其特征在于，包括：
终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理，所述视频流为直播视频；
所述终端设备将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上，以使用户可通过所述游戏界面向所述视频流发送弹幕或者刷送礼物；
所述终端设备对所述视频流进行音频解码，得到所述视频流对应的音频数据；
所述终端设备将所述视频流对应的音频数据写入所述终端设备的声卡；
所述终端设备接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
所述终端设备根据所述窗口移动指令，将所述视频流移动到目标位置。
2.根据权利要求1所述的方法，其特征在于，所述终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理，包括：
所述终端设备对所述视频流进行视频解码，得到YUV格式的视频数据；
所述终端设备将所述YUV格式的视频数据转换为RGB格式的视频数据；
所述终端设备将所述RGB格式的视频数据转换为所述视频流对应的纹理。
3.根据权利要求1所述的方法，其特征在于，所述终端设备对获取到的视频流进行处理，得到所述视频流对应的纹理，包括：
所述终端设备通过硬件解码器对所述视频流进行解码，得到所述视频流对应的纹理。
4.根据权利要求2或3所述的方法，其特征在于，还包括：
所述终端设备接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
所述终端设备根据所述声音控制指令，开启或者关闭所述视频流的声音。
5.一种终端设备，其特征在于，包括：处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述存储器中存储的指令，以执行如下方法：
对获取到的视频流进行处理，得到所述视频流对应的纹理，所述视频流为直播视频；
将所述视频流对应的纹理和当前运行的游戏的纹理进行融合并渲染，以将所述视频流显示在游戏界面上，以使用户可通过所述游戏界面向所述视频流发送弹幕或者刷送礼物；
对所述视频流进行音频解码，得到所述视频流对应的音频数据；
将所述视频流对应的音频数据写入所述终端设备的声卡；
接收窗口移动指令，所述窗口移动指令用于移动所述视频流的位置；
根据所述窗口移动指令，将所述视频流移动到目标位置。
6.根据权利要求5所述的设备，其特征在于，所述处理器具体用于：
对所述视频流进行视频解码，得到YUV格式的视频数据；
将所述YUV格式的视频数据转换为RGB格式的视频数据；
将所述RGB格式的视频数据转换为所述视频流对应的纹理。
7.根据权利要求5所述的设备，其特征在于，还包括：
硬件解码器，用于对所述视频流进行解码，得到所述视频流对应的纹理。
8.根据权利要求6或7所述的设备，其特征在于，所述处理器还用于：
接收声音控制指令，所述声音控制指令用于开启或者关闭所述视频流的声音；
根据所述声音控制指令，开启或者关闭所述视频流的声音。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，使得计算机执行如权利要求1-4任一项所述的方法。
CN201811241189.8A 2018-10-24 2018-10-24 游戏中播放视频的方法和装置 Active CN109379622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811241189.8A CN109379622B (zh) 2018-10-24 2018-10-24 游戏中播放视频的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811241189.8A CN109379622B (zh) 2018-10-24 2018-10-24 游戏中播放视频的方法和装置

Publications (2)

Publication Number Publication Date
CN109379622A CN109379622A (zh) 2019-02-22
CN109379622B true CN109379622B (zh) 2021-06-08

Family

ID=65401087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811241189.8A Active CN109379622B (zh) 2018-10-24 2018-10-24 游戏中播放视频的方法和装置

Country Status (1)

Country Link
CN (1) CN109379622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064994B (zh) * 2019-12-25 2022-03-29 广州酷狗计算机科技有限公司 视频图像处理方法及装置、存储介质
CN114143603A (zh) * 2021-12-13 2022-03-04 乐府互娱(上海)网络科技有限公司 一种客户端游戏中高兼容性的mp4播放方式

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328458A (ja) * 2006-06-06 2007-12-20 Sega Corp 画像生成用のプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
CN101169808A (zh) * 2007-11-26 2008-04-30 赵明 一种融合网络和现实的超时空对战游戏的设计
CN101681539A (zh) * 2006-06-05 2010-03-24 Igt公司 模拟具有交互的主持人和游戏者的真实游戏环境
CN103096134A (zh) * 2013-02-08 2013-05-08 广州博冠信息科技有限公司 一种基于视频直播和游戏的数据处理方法和设备
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140128114A1 (en) * 2012-11-07 2014-05-08 Jiun Hung Interactive Broadcasting Method for Broadcasting system and Related Service Providing System
CN106101855B (zh) * 2016-06-29 2019-03-05 北京奇虎科技有限公司 一种游戏页面的处理方法和装置
CN107551555B (zh) * 2017-08-24 2020-09-08 网易（杭州）网络有限公司 游戏画面显示方法及装置、存储介质、终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681539A (zh) * 2006-06-05 2010-03-24 Igt公司 模拟具有交互的主持人和游戏者的真实游戏环境
JP2007328458A (ja) * 2006-06-06 2007-12-20 Sega Corp 画像生成用のプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
CN101169808A (zh) * 2007-11-26 2008-04-30 赵明 一种融合网络和现实的超时空对战游戏的设计
CN103096134A (zh) * 2013-02-08 2013-05-08 广州博冠信息科技有限公司 一种基于视频直播和游戏的数据处理方法和设备
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及系统

Also Published As

Publication number Publication date
CN109379622A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109600666B (zh) 游戏场景中的视频播放方法、装置、介质以及电子设备
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US20180189980A1 (en) Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting
CN113457160B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN105468353B (zh) 一种界面动画的实现方法及装置、移动终端和电脑终端
JP5973409B2 (ja) プログラム、記録媒体、情報処理装置及び制御方法
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
CN110663068B (zh) 用于渲染全景场景的坐标映射
CN109168014A (zh) 一种直播方法、装置、设备及存储介质
CN112135161A (zh) 虚拟礼物的动效展示方法及装置、存储介质及电子设备
CN109379622B (zh) 游戏中播放视频的方法和装置
CN104244087A (zh) 一种视频渲染的方法及设备
CN113041617B (zh) 一种游戏画面渲染方法、装置、设备及存储介质
CN113946402A (zh) 基于渲染分离的云手机加速方法、系统、设备及存储介质
CN110049347B (zh) 在直播界面配置图像的方法、系统、终端和装置
CN112019907A (zh) 直播画面分流方法、计算机设备及可读存储介质
CN113096233B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112055254A (zh) 视频播放的方法、装置、终端及存储介质
WO2022218042A1 (zh) 视频处理方法、装置、视频播放器、电子设备及可读介质
CN115089966A (zh) 应用于云游戏的视频渲染方法、系统及相关设备
KR20230130756A (ko) 셰이딩 아틀라스를 사용한 분할 렌더링에서의 에러 은닉
CN114598937A (zh) 动画视频生成、播放方法及装置
US10891711B2 (en) Image processing method and apparatus
CN112019906A (zh) 直播方法、计算机设备及可读存储介质
CN110115026B (zh) 在电子装置中在矩形投影上产生360度内容的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant