CN113226501A - 应用程序的流媒体影像提供装置及方法 - Google Patents

应用程序的流媒体影像提供装置及方法 Download PDF

Info

Publication number
CN113226501A
CN113226501A CN202080007493.5A CN202080007493A CN113226501A CN 113226501 A CN113226501 A CN 113226501A CN 202080007493 A CN202080007493 A CN 202080007493A CN 113226501 A CN113226501 A CN 113226501A
Authority
CN
China
Prior art keywords
streaming media
cloud game
image
streaming
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007493.5A
Other languages
English (en)
Inventor
杨承埈
文善柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waterhouse Ltd
Original Assignee
Waterhouse Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waterhouse Ltd filed Critical Waterhouse Ltd
Publication of CN113226501A publication Critical patent/CN113226501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供应用程序的流媒体影像提供装置及方法。根据本发明的一实施例的应用程序的流媒体影像提供方法可包括如下的步骤：在运行多个云游戏应用程序而输出的多个云游戏流媒体影像中，根据预设条件选择两个以上的云游戏流媒体影像，以在一个画面输出两个以上的云游戏流媒体影像的方式结合所选择的上述两个以上的云游戏流媒体影像来生成一个合并流媒体影像，在上述合并流媒体影像中，提取与通过两个以上的述用户终端请求运行的云游戏对应的不同进展状况的云游戏影像来向对应用户终端提供。

Description

应用程序的流媒体影像提供装置及方法
技术领域
本发明涉及应用程序的流媒体影像提供装置及方法，更详细地，涉及如下的应用程序的流媒体影像提供装置及方法，即，可以对通过运行多个应用程序而输出的流媒体影像进行编码并向用户提供。
背景技术
最近，随着计算机相关信息通信技术的发展，游戏产业也随之急速发展。现有的计算机游戏由简单的情节街机游戏或视频游戏组成，随着多媒体技术和网络技术的发展，当前持续开发与之前不同次元的游戏。尤其，超高速网络和无线网络的普及创建了称为多用户(multi-user)在线游戏的新游戏领域，由此，成为彻底改变游戏产业的契机。
并且，开发了如下的技术，即，针对支持计算及网络功能的多个用户终端，通过流媒体方式提供云游戏服务的技术受人瞩目，从用户终端接收输入信号，来在服务器中执行与输入信号对应的游戏运行，向用户终端提供执行的游戏运行结果画面，使得用户可以享受游戏。
云游戏可以在个人计算机、手机、游戏机等设备之间不受限制地进行服务，只需要“订阅”来轻松享受游戏，而无需下载并“持有”内容，在云游戏服务器中处理对于游戏的运算，因此，可以与所联接的个人计算机或游戏机的性能无关地享受最新游戏。
与现有的视频流媒体服务不同，这种云游戏在服务器中运算和处理庞大的游戏数据，同时，持续发生向服务器反映用户的游戏控制信号的相互作用，因此，云环境及网络环境极为重要。
在现有的云游戏服务的情况下，如图1所示，在多个用户终端40中运行云游戏的情况下，在主计算装置10中运行与各个用户终端对应的云游戏，为了提供所运行的云游戏的流媒体影像而具备额外的辅助计算装置20来对各个流媒体影像进行编码。
但是，在这种现有的云游戏服务的情况下，除用于运行云游戏的主计算装置10之外，需要具备额外的辅助计算装置20，因此，需要花费庞大的费用来构建用于提供服务的服务器。
并且，为了操作云游戏，从用户终端40输入的操作将经过辅助计算装置20向主计算装置10传递，因此，存在发生用户的输入无法向游戏迅速反应的延迟(latency)问题。
为了解决上述问题，以往，尝试着并不经过图1所示的辅助计算装置20，而是从主计算装置10直接向多个用户终端40提供云游戏服务。但是，在主计算装置40中运行多个云游戏的情况下，发生影像、语音及操作信号重叠现象和噪音，为了避免这种现象的发生而需要分离数据。因此，以往，为了避免这种干扰现象，只能通过多个虚拟机(Virtual Machine)驱动多个操作系统来提供云游戏服务。因此，在主计算装置40中需要使用多个虚拟机，因此而发生过负荷现象，时而发生因未运行云游戏的虚拟机的不必要驱动而引起的存储空间的浪费。这将直接降低云游戏服务的提供质量。
因此，需要开发用于克服上述云游戏服务的界限并提供高质量的云游戏服务的流媒体影像提供方法。
发明内容
技术问题
本发明所要解决的技术问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，可以结合通过运行多个应用程序而输出的流媒体影像并进行编码，由此无需用于单独编码各个流媒体影像的额外的辅助计算装置。
本发明所要解决的再一技术问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，可通过结合多个流媒体影像来生成一个合并流媒体影像，对合并流媒体影像进行编码，由此，可仅通过一次编码工作来对多个流媒体影像进行编码。
本发明所要解决的又一问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，不经过额外的辅助计算装置，即可向提供云游戏服务的主计算装置传递从用户终端输入的游戏操作输入，由此，可以大幅度缩减游戏操作的延迟。
本发明所要解决的还有一问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，随着主计算装置直接从外部服务器接收流媒体内容来进行编码，解决通过捕获(Capturing)方式提供低质量流媒体内容的现有问题。
本发明所要解决的又一问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，主计算装置即使不使用多个虚拟机，也可以描绘不互相干扰的多个流媒体内容。
本发明所要解决的又一技术问题在于，提供如下的应用程序的流媒体影像提供装置及方法，即，主计算装置为了描绘流媒体内容而可以从提供游戏服务的服务器直接接收未被解码的数据。本发明的技术问题并不局限于以上提及的技术问题，本发明所属技术领域的普通技术人员可从以下的记载明确理解未提及的其他技术问题。
技术方案
用于解决上述技术问题的本发明一实施例的应用程序的流媒体影像提供方法通过计算装置执行，上述应用程序的流媒体影像提供方法可包括如下的步骤：在根据用户请求运行多个应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像；以在一个画面输出所选择的两个以上的上述云游戏流媒体影像的方式结合所选择的两个以上的上述云游戏流媒体影像来生成一个合并流媒体影像；对上述合并流媒体影像进行编码；以及在已编码的上述合并流媒体影像中，仅提取与从上述用户终端请求运行的应用程序对应的流媒体影像来向上述用户终端提供。
在一实施例中，选择两个以上的上述云游戏流媒体影像的步骤可包括如下的步骤，即，以输出上述合并流媒体影像的画面的分辨率为基准来确定所要选择的云游戏流媒体影像的数量。
在一实施例中，根据输出上述合并流媒体影像的画面的分辨率选择云游戏流媒体影像的数量的步骤可包括如下的步骤：在上述画面的分辨率为4K分辨率的情况下，在多个上述云游戏流媒体影像中选择4个流媒体影像；以及在上述画面的分辨率为8K分辨率的情况下，在多个上述云游戏流媒体影像中选择16个流媒体影像。
在一实施例中，选择两个以上的上述云游戏流媒体影像的步骤可包括如下的步骤，即，在运行用于运行应用程序的图形规格相同的多个应用程序而输出的多个云游戏流媒体影像中选择两个以上的云游戏流媒体影像。
在一实施例中，选择两个以上的上述云游戏流媒体影像的步骤可包括如下的步骤，即，在运行用于运行应用程序的类别相同的多个应用程序而输出的多个云游戏流媒体影像中选择两个以上的云游戏流媒体影像。
在一实施例中，选择两个以上的上述云游戏流媒体影像的步骤可包括如下的步骤，即，在以响应从不同的用户终端接收的运行请求的方式反复运行相同的应用程序而输出的多个云游戏流媒体影像中选择两个以上的流媒体影像。
在一实施例中，本发明还可包括从第一用户终端获取对于第一云游戏应用程序的用户输入的步骤，生成上述合并流媒体影像的步骤还包括如下的步骤，即，将上述合并流媒体影像所包含的上述第一云游戏应用程序的第一云游戏流媒体影像更新成根据上述用户输入改变的云游戏流媒体影像。
在一实施例中，上述应用程序可以为云游戏客户端程序。
在一实施例中，选择两个以上的上述流媒体影像可包括如下的步骤，即，在上述应用程序的影像描绘缓冲存储器中获取上述应用程序的流媒体影像。
在一实施例中，获取上述应用程序的流媒体影像的步骤可包括如下的步骤：根据向上述应用程序嵌入的流媒体库的应用程序接口调用，在上述影像描绘缓冲存储器实时更新上述应用程序所生成的画面；根据上述流媒体库的应用程序接口调用，获取上述影像描绘缓冲存储器的地址(address)；以及利用上述影像描绘缓冲存储器的地址来获取上述应用程序的流媒体影像。
在一实施例中，上述影像描绘缓冲存储器可形成于上述计算装置的图形界面内置存储器，与上述云游戏应用程序的基本影像描绘缓冲存储器分开独立形成。
在一实施例中，上述影像描绘缓冲存储器可形成于上述计算装置的随机存取存储器，与上述云游戏应用程序的基本影像描绘缓冲存储器分开独立形成。
在一实施例中，在已编码的上述合并流媒体影像中，仅提取与从上述用户终端请求运行的应用程序对应的流媒体影像来向上述用户终端提供的步骤可包括如下的步骤：从由上述用户终端请求运行的应用程序的声音描绘缓冲存储器中获取上述应用程序的声音数据；对上述应用程序的声音数据进行编码来生成输出声音；以及向上述用户终端一并提供应用程序的上述输出声音与所提取的上述流媒体影像。
用于解决上述技术问题的本发明另一实施例的应用程序的流媒体影像提供服务器可包括：处理器；网络接口；存储器；以及计算机程序，加载于(load)上述存储器，通过上述处理器运行，上述计算机程序包含：选择指令(instruction)，在根据用户请求运行多个应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像；生成指令，以在一个画面输出所选择的两个以上的上述云游戏流媒体影像的方式结合所选择的两个以上的上述云游戏流媒体影像来生成一个合并流媒体影像；编码指令，对上述合并流媒体影像进行编码；以及提供指令，向上述用户终端提供编码的上述合并流媒体影像，在已编码的上述合并流媒体影像中，仅提取与从上述用户终端请求运行的应用程序对应的流媒体影像来向上述用户终端提供。
技术效果
本发明一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，可以结合通过运行多个应用程序而输出的流媒体影像并进行编码，由此无需用于单独编码各个流媒体影像的额外的辅助计算装置。
本发明再一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，可通过结合多个流媒体影像来生成一个合并流媒体影像，对合并流媒体影像进行编码，由此，可仅通过一次编码工作来对多个流媒体影像进行编码。
本发明另一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，不经过额外的辅助计算装置，即可向提供云游戏服务的主计算装置传递从用户终端输入的游戏操作输入，由此，可以大幅度缩减游戏操作的延迟。
本发明还有一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，随着主计算装置直接从外部服务器接收流媒体内容来进行编码，解决通过获取方式提供低质量流媒体内容的现有问题。
本发明又一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，主计算装置即使不使用多个虚拟机，也可以描绘不互相干扰的多个流媒体内容。
本发明又一实施例的应用程序的流媒体影像提供装置及方法具有如下的效果，即，主计算装置为了描绘流媒体内容而可以从提供游戏服务的服务器直接接收未被解码的数据。
附图说明
图1为现有的云游戏服务提供系统的结构图。
图2为本发明一实施例的应用程序的流媒体影像提供系统的结构图。
图3为用于说明本发明另一实施例的应用程序的流媒体影像提供方法的流程图。
图4为用于说明在多个实施例中利用画面的分辨率来选择流媒体影像的方法的流程图。
图5为用于说明在多个实施例中根据应用程序的图形规格选择流媒体影像的方法的流程图。
图6为用于说明在多个实施例中根据应用程序的类别选择流媒体影像的方法的流程图。
图7为例示性示出在多个实施例中画面的分辨率为4K分辨率的情况下的合并流媒体影像的形态的图。
图8为例示性示出在多个实施例中画面的分辨率为8K分辨率的情况下的合并流媒体影像的形态的图。
图9为例示性示出在多个实施例中向用户终端提供合并流媒体影像的形态的图。
图10为本发明另一实施例的应用程序的流媒体影像提供系统的结构图。
图11为示出现有的应用程序的流媒体影像提供服务器运行多个应用程序的方法的例示图。
图12为示出本发明另一实施例的流媒体影像提供服务器运行多个应用程序的方法的例示图。
图13为本发明另一实施例的应用程序的流媒体影像提供系统的结构图。
图14为用于说明本发明另一实施例的应用程序的流媒体影像提供方法的流程图。
图15为用于详细说明图14的一部分步骤的流程图。
图16为本发明另一实施例的应用程序的流媒体影像提供服务器的硬件结构图。
优选的实施方式
本发明一实施例的应用程序的流媒体影像提供方法可包括如下的步骤：在多个云游戏中，利用与根据两个以上的用户终端的请求选择的两个以上的云游戏有关的操作信号，根据两个以上的上述用户终端的请求分开独立进行上述云游戏；在运行所进行的多个上述云游戏应用程序而输出的多个云游戏流媒体影像中，根据预设条件选择两个以上的云游戏流媒体影像；以在一个画面输出所选择的两个以上的上述云游戏流媒体影像的方式结合所选择的两个以上的上述云游戏流媒体影像来生成一个合并流媒体影像；对上述合并流媒体影像进行编码；以及在已编码的上述合并流媒体影像中，提取与从两个以上的用户终端请求运行的云游戏应用程序对应的云游戏流媒体影像来向两个以上的上述用户终端提供，向两个以上的上述用户终端提供云游戏流媒体影像的步骤可包括如下的步骤，即，在上述合并流媒体影像中，提取与通过两个以上的上述用户终端请求运行的云游戏对应的不同进展状况的云游戏影像来向对应用户终端提供。
具体实施方式
以下，参照附图，详细说明本发明的优选实施例。本发明优点、特征及实现这些的方法将参照与附图一同详细后述的实施例变得更加明确。但是，本发明并不局限于以下揭示的实施例，而是可体现为多种不同的形态，只是，本实施例使本发明的公开变得完整，并为了向本发明所属技术领域的普通技术人员告知本发明的完整范畴而提供，本发明通过发明要求保护范围的范畴定义。在整个说明书中，相同的附图标记表示相同的结构要素。
只要没有其他定义，则本说明书中所使用的所有术语(包括技术及可续术语)的含义与本发明所属技术领域的普通技术人员共同理解的含义相同。并且，只要并未明确定义，则通常使用的词典定义的术语的含义不能被异常或过度解释。在本说明书中所使用的术语用于说明实施例，而并非用于限定本发明。在本说明书中，只要在文脉中并未特别提及，则单数型包括复数型。
并且，在本说明书中，应用程序为云游戏，运行应用程序而输出的流媒体影像为运行云游戏而输出的游戏流媒体影像。但这仅是用于帮助理解本发明的例示，本发明并不局限于此。
以下，参照附图，说明本发明的多个实施例。
图2为本发明一实施例的应用程序的流媒体影像提供系统的结构图。
参照图2，本发明一实施例的应用程序的流媒体影像提供系统可包括应用程序的流媒体影像提供服务器100、用户终端200及网络300。
其中，图2所示的应用程序的流媒体影像提供系统基于一实施例，其结构要素并不局限于图2所示的实施例，根据需要，可以附加、改变或删除。
首先，应用程序的流媒体影像提供服务器100可根据从用户终端200接收的应用程序运行请求运行多个云游戏。
并且，应用程序的流媒体影像提供服务器100可以在运行多个云游戏而输出的多个云游戏流媒体影像中，根据预设条件选择两个以上的流媒体影像，结合所选择的两个以上的流媒体影像来生成及编码一个合并流媒体影像。
并且，应用程序的流媒体影像提供服务器100可向用户终端200提供已编码的合并流媒体影像，在已编码的合并流媒体影像中，可仅提取与从用户终端200请求运行的云游戏对应的游戏流媒体影像来提供。其中，应用程序的流媒体影像提供服务器100可通过网络300与多个用户终端200进行通信。
用户终端200可接收由应用程序的流媒体影像提供服务器100提供的游戏流媒体影像来输出。为此，用户终端200可包括用于输出影像的显示器。但是，并不局限于此，用户终端200可以与外部的显示装置执行有线或无线通信，向外部的显示装置传递从应用程序的流媒体影像提供服务器100提供的游戏流媒体影像并输出游戏流媒体影像。
并且，用户终端200可以输入用于操作云游戏的用户输入。为此，用户终端200还可包括操作控制器。例如，操作控制器可以为向用户终端200中所包括的显示器输出的操作控制器图像用户界面。但是，并不局限于此，可以为能够与用户终端200进行有线或无线通信的外部的控制终端。以下，参照图3至图9，说明应用程序的流媒体影像提供服务器100向用户提供流媒体影像的方法。
应用程序的流媒体影像提供方法可以在多种系统和/或环境下执行，为了方便理解，假设为与图1及图2所示的环境相同的环境来进行说明。
并且，只要没有其他提及，则假设应用程序的流媒体影像提供方法的各个步骤通过应用程序的流媒体影像提供服务器100执行。因此，在省略各个工作的主语的情况下，可以理解为上述各个工作通过应用程序的流媒体影像提供服务器100执行。同时，在以下描述的方法中，可以在根据需要改变逻辑执行顺序的范围内，改变各个工作的顺序，这是理所当然的。
图3为用于说明本发明另一实施例的应用程序的流媒体影像提供方法的流程图。
参照图3，首先，运行多个应用程序(步骤S110)。例如，在从第一用户终端接收对于第一应用程序的运行请求，从第2用户终端接收对于第二应用程序的运行请求的情况下，应用程序的流媒体影像提供服务器100可以运行第一应用程序及第二应用程序作为对于运行请求的响应。并且，在从第一用户终端及第二用户终端分别接收对于作为相同应用程序的第一应用程序的运行请求的情况下，应用程序的流媒体影像提供服务器100可根据第一用户终端和第二用户终端的运行请求来运行两次作为相同应用程序的第一应用程序。
接着，在步骤S110中，在随着运行多个应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像(步骤S120)。以下，参照图4至图6，说明在多个流媒体影像中选择两个以上的流媒体影像的多种方法。
在一实施例中，应用程序的流媒体影像提供服务器100可根据输出合并流媒体影像的画面的分辨率来选择两个以上的流媒体影像。
参照图4，在图3的步骤S110之后，确认输出合并流媒体影像的画面的分辨率(步骤S210)。
接着，判断画面的分辨率是否为4K分辨率(步骤S220)，在步骤S220中判断为4K分辨率的情况下，在运行多个应用程序而输出的多个流媒体影像中选择4个流媒体影像(步骤S230)。
接着，在步骤S220中判断为画面的分辨率并非为4K分辨率的情况下，判断是否为8K分辨率(步骤S240)，响应判断为8K分辨率，在运行多个应用程序而输出的多个流媒体影像中选择16个流媒体影像(步骤S250)。
在步骤S220及步骤S240中判断为画面的分辨率并不与4K分辨率及8K分辨率中的至少一个分辨率一致的情况下，可以再次执行步骤S210。但是，并不局限于此，在判断为画面的分辨率并不与4K分辨率及8K分辨率中的至少一个分辨率一致的情况下，可以向外部输出确认及再次设定分辨率的引导消息。
在另一实施例中，应用程序的流媒体影像提供服务器100可在运行用于运行应用程序的图形规格相同的多个应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像。
参照图5，在图3的步骤S100之后，用于运行应用程序的图形规格相同的多个应用程序被分成一组(步骤S310)。例如，应用程序的流媒体影像提供服务器100可根据图形规格细分成5步骤来分成如下五组：对多个应用程序要求最高水平的图形规格的第一应用程序组；要求高水平的图形规格的第二应用程序组；要求中间水平的图形规格的第三应用程序组；要求低水平的图形规格的第四应用程序组；以及要求最低水平的图形规格的第五应用程序组。但并不局限于此。
接着，在随着运行多个应用程序而输出的多个流媒体影像中，各个组选择两个以上的流媒体影像(步骤S320)。例如，在根据预设条件选择4个流媒体影像的情况下，应用程序的流媒体影像提供服务器100在第一应用程序组、第二应用程序组、第三应用程序组、第四应用程序组及第五应用程序组中，分别在各个组选择4个流媒体影像。
在另一实施例中，应用程序的流媒体影像提供服务器100可在运行应用程序的类别相同的多个应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像。
参照图6，在图3的步骤S110之后，应用程序的类别相同的多个应用程序被分成一组(步骤S410)。例如，在应用程序为云游戏的情况下，应用程序的类别可以为云游戏的类型，应用程序的流媒体影像提供服务器100可以将类型相同或类似的云游戏分成一组。但并不局限于此。
接着，在随着运行多个应用程序而输出的多个流媒体影像中，各个组选择两个以上的流媒体影像(步骤S420)。例如，在根据预设条件选择4个流媒体影像的情况下，应用程序的流媒体影像提供服务器100在对于运动类型的云游戏的多个流媒体影像中选择4个流媒体影像，在对于FPS类型的云游戏的多个流媒体影像中选择4个流媒体影像。
在另一实施例中，应用程序的流媒体影像提供服务器100可在随着响应从不同用户终端接收的运行请求来反复运行相同的应用程序而输出的多个流媒体影像中选择两个以上的流媒体影像。多个流媒体影像包括对于第一应用程序的4个第一流媒体影像以及对于第二应用程序的4个第二流媒体影像的情况下，应用程序的流媒体影像提供服务器100可以在多个流媒体影像中仅选择4个第一流媒体影像或4个第二流媒体影像。
再次参照图3，在步骤S120之后，在步骤S120中选择的两个以上的流媒体以向一个画面的输出的方式相结合来生成一个合并流媒体影像(步骤S130)。例如，在画面的分辨率为4K分辨率的情况下，应用程序的流媒体影像提供服务器100能够以图7所示的2×2形态结合4个流媒体影像来生成一个合并流媒体影像。并且，在画面的分辨率为8K分辨率的情况下，应用程序的流媒体影像提供服务器100能够以图8所示的4×4形态结合16个流媒体影像来生成一个合并流媒体影像。但是，并不局限于此。在此情况下，在另一实施例中，当显示多个影像时，如图7及图8所示，应用程序的流媒体影像提供服务器100可以形成能够区分各个影像的分界线。接着，对在步骤S130中生成的合并流媒体影像进行编码(步骤S140)。
其中，关于应用程序的流媒体影像提供服务器100执行的流媒体影像编码方法，可以参照“基于H.264的影像优先级识别编码技术”，郑容俊、李石奎、金黄男，韩国信息科学会，ITU-T H.265标准规格等多种文献。
接着，在步骤S140中，在已编码的合并流媒体影像中提取一部分并向用户终端提供所提取的流媒体影像(步骤S150)。例如，应用程序的流媒体影像提供服务器100可向用户终端200提供编码的合并流媒体影像，在已编码的合并流媒体影像中，可仅提取与从上述用户终端200请求运行的应用程序对应的流媒体影像来向用户终端200提供。
并且，在另一实施例中，当在已编码的影像中提取一部分时，应用程序的流媒体影像提供服务器100可以识别用于区分多个影像的分界线，判断为以分界线为基准区分影像，从而可以区分提取各个影像。
以下，参照图9进行说明。
参照图9，在画面的分辨率为4K分辨率的情况下，应用程序的流媒体影像提供服务器100可以生成及编码如图9所示的2×2形态的合并流媒体影像1。之后，应用程序的流媒体影像提供服务器100可向第一用户终端200-1及第二用户终端200-2提供合并流媒体影像1，在合并流媒体影像1中，仅提取在第一用户终端200-1中请求运行的第一应用程序的流媒体影像2-1来向第一用户终端200-1提供。并且，应用程序的流媒体影像提供服务器100可在合并流媒体影像1中，仅提取在第二用户终端200-2中请求运行的第二应用程序的流媒体影像2-2来向第二用户终端200-2提供。但并不局限于此。
在一实施例中，应用程序的流媒体影像提供服务器100可通过网络300，从第一用户终端200-1获取对于第一应用程序的用户输入，可以将在合并流媒体影像中所包含的第一应用程序的第一流媒体影像更新成根据用户输入改变的流媒体影像。但是，并不局限于此。
即，本发明一实施例的应用程序的流媒体影像提供服务器100执行对于结合多个流媒体影像来生成的合并流媒体影像的编码，由此，具有如下的优点，即，无需具备为了向用户终端200提供流媒体影像而分别对多个流媒体影像进行编码的多个辅助计算装置。
并且，本发明一实施例的应用程序的流媒体影像提供服务器100并不通过多个辅助计算装置执行流媒体影像的编码及流媒体影像提供工作，自身执行流媒体影像的编码及流媒体影像提供工作，因此，可以大幅度缩减延迟(latency)。
并且，本发明一实施例的应用程序的流媒体影像提供服务器100可以直接接收用于从用户终端200输入的应用程序操作的用户输入，而并非通过额外的辅助计算装置接收，因此，可以大幅度缩减对于应用程序工作的延迟。
图10为本发明另一实施例的应用程序的流媒体影像提供系统的结构图，图11为示出本发明另一实施例的应用程序的流媒体影像提供系统的结构图。
参照图10，本发明另一实施例的应用程序的流媒体影像提供系统可包括内容服务器1、应用程序的流媒体影像提供服务器100、用户终端200及网络300。
其中，图10所示的应用程序的流媒体影像提供系统为一实施例的应用程序的流媒体影像提供系统，其结构要素并不局限于图10所示的实施例，可根据需要附加、改变或删除。另一方面，在用户终端200及网络300的说明的情况下，由于与上述内容相同，因此将省略详细内容。
内容服务器1作为外部服务器，可以是提供应用程序的服务器，但并不局限于此，可以为提供游戏、影像或音频等多种内容的服务供应商。
应用程序的流媒体影像提供服务器100可在存储器103(RAM)内包括影像描绘缓冲存储器110或声音描绘缓冲存储器120。
在另一实施例中，影像描绘缓冲存储器110可形成于计算装置的随机存取存储器，与应用程序的基本影像描绘缓冲存储器分开独立形成。
在一实施例中，影像描绘缓冲存储器110可形成于计算装置的图形界面内置存储器上，与应用程序的基本影像描绘缓冲存储器分开独立形成。
当获取应用程序的流媒体影像时，应用程序的流媒体影像提供服务器100可根据向应用程序嵌入的流媒体库的应用程序接口调用来获取流媒体影像。
应用程序的流媒体影像提供服务器100可根据流媒体库的应用程序接口调用获取影像描绘缓冲存储器110的地址(address)之后，可利用上述影像描绘缓冲存储器110的地址获取上述应用程序的流媒体影像。在此情况下，影像描绘缓冲存储器110可以实时更新生成应用程序的影像。
并且，在应用程序的流媒体影像提供服务器100中，可从用户终端200向存储器直接获取对于应用程序的操作的控制信号来控制应用程序，并向内容服务器1发送对其的运算结果。由此，应用程序的流媒体影像提供服务器100可以从内容服务器1实时更新基于对控制信号运算的结果更新的影像。
现有的云游戏服务器存在为了向用户终端200提供而对已编码的数据进行解码之后，需要通过捕获(capture)方式发送影像的麻烦，但是，本发明另一实施例的应用程序的流媒体影像提供系统可从应用程序的流媒体影像提供服务器100直接接收原始数据(Rawdata)，因此，即使不进行捕获也可以处理数据，从而可以去除需要进行捕获的麻烦。
图11为示出现有的应用程序的流媒体影像提供服务器运行多个应用程序的方法的例示图，图12为示出本发明另一实施例的流媒体影像提供服务器运行多个应用程序的方法的例示图。
参照图11，现有的应用程序的流媒体影像提供服务器为了运行多个应用程序而驱动多个虚拟机(VM#1至VM#4)，在驱动的虚拟机(VM#1至VM#4)中运行操作系统(OS1至OS4)。
现有的应用程序的流媒体影像提供服务器100为了一次性处理多个影像和多个音频数据而接收已编码的流媒体内容。因此，现有的应用程序的流媒体影像提供服务器为了向用户终端200提供流媒体内容而驱动各个虚拟机(VM#1至VM#4)，在各个虚拟机(VM#1至VM#4)中，通过捕获已解码的流媒体内容的方式提供云游戏服务。
参照图12，在本发明另一实施例的应用程序的流媒体影像提供系统中，应用程序的流媒体影像提供服务器100直接接收原始数据(Raw data)，因此，即使并不通过虚拟机驱动多个操作系统，也可以处理多个流媒体内容。在本发明另一实施例的应用程序的流媒体影像提供系统中，随着应用程序的流媒体影像提供服务器100直接处理从影像描绘缓冲存储器110提供的内容，可驱动一个操作系统来一次性合并多个影像并进行编码。
参照图13，本发明另一实施例的应用程序的流媒体影像提供系统可包括内容服务器1、应用程序的流媒体影像提供服务器100、用户终端200及网络300。
其中，图13所示的应用程序的流媒体影像提供系统为一实施例应用程序的流媒体影像提供系统，其结构要素并不局限于图13所示的实施例，可根据需要附加、改变或删除。另一方面，在内容服务器1、用户终端200及网络300的说明的情况下，与上述内容相同，因此，将省略详细说明。
在本实施例中，影像描绘缓冲存储器110可形成于作为应用程序的流媒体影像提供服务器100的图像界面105的内置存储器的显示存储器106上，与上述应用程序的基本影像描绘缓冲存储器分开独立形成。在此情况下，影像描绘缓冲存储器110可通过存储器103获取影像，在另一实施例中，可从内容服务器1直接获取影像。
因此，在本发明另一实施例的应用程序的流媒体影像提供系统中，随着应用程序的流媒体影像提供服务器100利用显示存储器106来对高质量的影像进行编码，可以向用户终端200提供高质量的影像。
图14为用于说明本发明另一实施例的应用程序的流媒体影像提供方法的流程图，图15为用于详细说明图14的一部分步骤的流程图。
本发明另一实施例的应用程序的流媒体影像提供方法可通过应用程序的流媒体影像提供服务器100执行，在步骤S210中，可以在影像描绘缓冲存储器110中获取流媒体影像。在步骤S220中获取的多个流媒体影像中选择两个以上，在步骤S230中，结合所选择的两个以上的流媒体影像来生成合并流媒体影像，在步骤S240中，可以对整个合并流媒体影像进行编码。在步骤S250中，可在已编码的合并流媒体影像中提取一部分来向用户终端提供。
参照图15，在本发明另一实施例的应用程序的流媒体影像提供方法中，在可仅提取与应用程序对应的流媒体影像来向上述用户终端提供的步骤S250中，可提取与流媒体影像对应的描绘的音频来与上述流媒体影像一同提供。
具体地，在仅提取与应用程序对应的流媒体影像来向上述用户终端提供的步骤S250中，执行在从用户终端请求运行的应用程序的声音描绘缓冲存储器120中获取上述应用程序的声音数据的步骤S2501，可执行对应用程序的声音数据进行编码来生成输出声音的步骤S2503。之后，在步骤S250中，可以将应用程序的输出声音与所提取的流媒体影像一同向用户终端提供。
以上说明的本发明实施例的方法可通过以计算机可读代码实现的计算机程序的运行执行。上述计算机程序可通过互联网等的网络从第一计算装置向第二计算装置发送并设置于述第二计算装置，由此可以在上述第二计算装置中使用。上述第一计算装置及上述第二计算装置包括服务器装置、属于用于云服务的服务器池的物理服务器、如台式计算机的固定式计算装置。
上述计算机程序可存储于DVD-ROM、闪存装置等的存储介质。以下，参照图16，说明本发明另一实施例的应用程序的流媒体影像提供服务器100的硬件结构。
图16为本发明另一实施例的应用程序的流媒体影像提供服务器的硬件结构图。
参照图16，本发明了另一实施例的应用程序的流媒体影像提供服务器100可包括1个以上的处理器102、加载通过处理器102执行的第一计算机程序151及第二计算机程序152的存储器120、总线101、通信接口104、存储第一计算机程序151及第二计算机程序152的寄存器150。其中，图16仅示出与本发明的实施例有关的结构要素。因此，只要是本发明所属技术领域的普通技术人员就可以知道除图16所示的结构要素之外，还可包括其他常用结构要素。
处理器102控制应用程序的流媒体影像提供服务器100的各个结构的整体工作。处理器102可包括中央处理器(CPU：Central Processing Unit)、微处理器(MPU：MicroProcessor Unit)、微控制器(MCU：Micro Controller Unit)、图形处理单元(GPU：GraphicProcessing Unit)或本发明技术领域的任意形态的处理器。并且，处理器102可以执行用于运行本发明实施例的方法的至少一个应用或程序的运算。其中，图16所示的应用程序的流媒体影像提供服务器100包括一个处理器102，但并不局限于此，可包括多个处理器。
存储器120用于存储各种数据、指令和/或信息。存储器120为了运行本发明多种实施例的方法/工作而可以从寄存器150加载第一计算机程序151及第二计算机程序152。若在存储器120加载第一计算机程序151及第二计算机程序152，则处理器102运行构成第一计算机程序151及第二计算机程序152的一个以上的指令，由此可以执行应用程序的流媒体影像提供方法/工作。存储器120可体现为如随机存取存储器的易失性存储器，本发明的技术范围并不局限于此。
总线130提供应用程序的流媒体影像提供服务器100的结构要素之间的通信功能。总线130可体现为地址总线(address Bus)、数据总线(Data Bus)及控制总线(ControlBus)等多种形态的总线。
通信接口140支持应用程序的流媒体影像提供服务器100的有线或无线通信通信。并且，通信接口140可以支持除互联网通信之外的多种通信方式。为此，通信接口140可包括本发明所属技术领域的通信模块。在多个实施例中，可以省略通信接口140。
寄存器150可以非暂时存储第一计算机程序151及第二计算机程序152。在通过应用程序的流媒体影像提供服务器100运行及操作应用程序的情况下，寄存器150可存储与根据运行及操作运行的应用程序有关的各种数据。例如，寄存器150可存储与运行中的应用程序有关的信息、与应用程序有关的操作信息以及与请求对于应用程序的运行的用户有关的信息等。
寄存器150可包括只读存储器(ROM：Read Only Memory)、可擦除可编程只读存储器(EPROM：Erasable Programmable ROM)、电可擦除只读存储器(EEPROM：ElectricallyErasable Programmable ROM)、闪存等的非易失性存储器、硬盘、可移动磁盘或可通过本发明所属技术领域的任意形态的计算机读取的存储介质。
当第一计算机程序151及第二计算机程序152加载于存储器103时，可包括使处理器102执行本发明多种实施例的方法、动作的一个以上的指令。即，处理器102可运行一个以上的上述指令来执行本发明的多种实施例的上述方法/工作。
在一实施例中，第一计算机程序151及第二计算机程序152可包含如下的指令：选择指令，可在根据用户的请求运行多个应用程序而输出的多个流媒体影像中，根据预设条件选择两个以上的流媒体影像；生成指令，以在一个画面输出所选择的两个以上的流媒体影像的方式结合两个以上的流媒体影像来生成一个合并流媒体影像；编码指令，对合并流媒体影像进行编码；以及提供指令，向用户终端提供编码的合并流媒体影像，在已编码的合并流媒体影像中，仅提取与从用户终端请求运行的应用程序对应的流媒体影像来向用户终端提供。
至此，参照图1至图16，提及了本发明多种实施例及其实施例的效果。本发明的技术思想的效果并不局限于以上提及的效果，本发明所属技术领域的普通技术人员可以从以下的记载明确理解未提及的其他效果。
以上，参照附图，详细说明了本发明的实施例，本发明所属技术领域的普通技术人员在不改变本发明技术思想或必要特征的情况下可以实施成其他具体形态。因此，以上记述的实施例在所有方面均是例示性实施例，而并非用于限定本发明。

Claims (13)

1.一种应用程序的流媒体影像提供方法，通过计算装置执行，上述方法包括如下的步骤：
在多个云游戏中，利用针对根据两个以上的用户终端的请求选择的两个以上的云游戏的操作信号，根据两个以上的上述用户终端中的每一个的请求而单独进行上述云游戏；
在运行所进行的多个云游戏应用程序而输出的多个云游戏流媒体影像中，根据预设条件选择两个以上的云游戏流媒体影像；
以在一个画面输出所选择的两个以上的上述云游戏流媒体影像的方式结合所选择的两个以上的上述云游戏流媒体影像来生成一个合并流媒体影像；
对上述合并流媒体影像进行编码；以及
在已编码的上述合并流媒体影像中，提取与从两个以上的上述用户终端请求运行的云游戏应用程序对应的云游戏流媒体影像来向两个以上的上述用户终端提供，
其中，向两个以上的上述用户终端提供云游戏流媒体影像的步骤包括如下的步骤：
在上述合并流媒体影像中，提取与通过两个以上的上述用户终端请求运行的云游戏对应的不同进展状况的云游戏影像来向对应用户终端提供。
2.根据权利要求1所述的应用程序的流媒体影像提供方法，其中，
选择两个以上的上述云游戏流媒体影像的步骤包括如下的步骤：
以输出上述合并流媒体影像的画面的分辨率为基准来确定所要选择的云游戏流媒体影像的数量。
3.根据权利要求2所述的应用程序的流媒体影像提供方法，其中，
以输出上述合并流媒体影像的画面的分辨率为基准来确定所要选择的云游戏流媒体影像的数量的步骤包括如下的步骤：
在上述画面的分辨率为4K分辨率的情况下，在多个上述云游戏流媒体影像中选择4个流媒体影像；以及
在上述画面的分辨率为8K分辨率的情况下，在多个上述云游戏流媒体影像中选择16个流媒体影像。
4.根据权利要求1所述的应用程序的流媒体影像提供方法，其中，
选择两个以上的上述云游戏流媒体影像的步骤包括如下的步骤：
在运行用于运行应用程序的图形规格相同的多个应用程序而输出的多个云游戏流媒体影像中选择两个以上的云游戏流媒体影像。
5.根据权利要求1所述的应用程序的流媒体影像提供方法，其中，
选择两个以上的上述云游戏流媒体影像的步骤包括如下的步骤：
在运行用于运行应用程序的类别相同的多个应用程序而输出的多个云游戏流媒体影像中选择两个以上的云游戏流媒体影像。
6.根据权利要求1所述的应用程序的流媒体影像提供方法，其中
选择两个以上的上述云游戏流媒体影像的步骤包括如下的步骤：
在以响应从不同的用户终端接收的运行请求的方式反复运行相同的应用程序而输出的多个云游戏流媒体影像中选择两个以上的流媒体影像。
7.根据权利要求1所述的应用程序的流媒体影像提供方法，还包括如下步骤：
从第一用户终端获取对于第一云游戏应用程序的用户输入的步骤，
其中，生成上述合并流媒体影像的步骤还包括如下的步骤：
将上述合并流媒体影像所包含的上述第一云游戏应用程序的第一云游戏流媒体影像更新成根据上述用户输入改变的云游戏流媒体影像。
8.根据权利要求1所述的应用程序的流媒体影像提供方法，其中，上述云游戏应用程序为云游戏客户端程序。
9.一种应用程序的流媒体影像提供方法，通过计算装置执行，上述方法包括如下的步骤：
根据向通过用户的请求运行的云游戏应用程序嵌入的云游戏流媒体库的应用程序接口调用，在上述云游戏应用程序的影像描绘缓冲存储器实时更新上述云游戏应用程序所生成的画面；
根据上述云游戏流媒体库的应用程序接口调用，获取上述影像描绘缓冲存储器的地址；
利用上述影像描绘缓冲存储器的地址来获取上述云游戏应用程序的云游戏流媒体影像；以及
向请求运行上述云游戏应用程序的用户终端提供所获取的上述云游戏流媒体影像。
10.根据权利要求9所述的应用程序的流媒体影像提供方法，其中，
上述影像描绘缓冲存储器形成于上述计算装置的图形界面内置存储器，独立于上述云游戏应用程序的基本影像描绘缓冲存储器形成。
11.根据权利要求10所述的应用程序的流媒体影像提供方法，其中，
上述影像描绘缓冲存储器形成于上述计算装置的随机存取存储器，独立于上述云游戏应用程序的基本影像描绘缓冲存储器形成。
12.根据权利要求9所述的应用程序的流媒体影像提供方法，其中，
向请求运行上述云游戏应用程序的用户终端提供所获取的上述云游戏流媒体影像的步骤包括如下的步骤：
从上述用户终端，在上述云游戏应用程序的声音描绘缓冲存储器中获取上述云游戏应用程序的声音数据；
对上述云游戏应用程序的声音数据进行编码来生成输出声音；以及
向上述用户终端一并提供所生成的上述输出声音与上述云游戏流媒体影像。
13.一种应用程序的流媒体影像提供服务器，包括：
处理器；
网络接口；
存储器；以及
计算机程序，加载于上述存储器，通过上述处理器运行，
上述计算机程序包括：
进行指令，在多个云游戏中，利用与根据两个以上的用户终端的请求选择的两个以上的云游戏有关的操作信号，根据两个以上的上述用户终端的请求分开独立进行上述云游戏；
选择指令，在运行所进行的多个上述云游戏应用程序而输出的多个云游戏流媒体影像中，根据预设条件选择两个以上的云游戏流媒体影像；
生成指令，以在一个画面输出所选择的两个以上的上述云游戏流媒体影像的方式结合所选择的两个以上的上述云游戏流媒体影像来生成一个合并流媒体影像；
编码指令，对上述合并流媒体影像进行编码；以及
提供指令，在已编码的上述合并流媒体影像中，提取与从两个以上的上述用户终端请求运行的云游戏应用程序对应的云游戏流媒体影像来向两个以上的上述用户终端提供，
其中，向两个以上的上述用户终端提供云游戏流媒体影像的指令包含如下的指令：
在上述合并流媒体影像中，提取与通过两个以上的上述用户终端请求运行的云游戏对应的不同进展状况的云游戏影像来向对应用户终端提供。
CN202080007493.5A 2019-08-09 2020-07-27 应用程序的流媒体影像提供装置及方法 Pending CN113226501A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190097186A KR102110195B1 (ko) 2019-08-09 2019-08-09 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
KR10-2019-0097186 2019-08-09
PCT/KR2020/095090 WO2021029756A1 (ko) 2019-08-09 2020-07-27 응용 프로그램의 스트리밍 영상 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
CN113226501A true CN113226501A (zh) 2021-08-06

Family

ID=70737220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007493.5A Pending CN113226501A (zh) 2019-08-09 2020-07-27 应用程序的流媒体影像提供装置及方法

Country Status (4)

Country Link
US (1) US20210316213A1 (zh)
KR (1) KR102110195B1 (zh)
CN (1) CN113226501A (zh)
WO (1) WO2021029756A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100385927B1 (ko) * 2000-12-27 2003-06-02 강원도 고성군 (관리부서 농업기술센터) 팽이버섯이 함유된 창란젓갈의 제조방법
KR102110195B1 (ko) * 2019-08-09 2020-05-14 주식회사 볼트홀 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
CN113453059B (zh) * 2021-06-24 2022-12-09 深圳市腾讯计算机系统有限公司 云游戏数据处理方法、装置、设备以及介质
US20230149819A1 (en) * 2021-11-17 2023-05-18 Nvidia Corporation Dynamically selecting from multiple streams for presentation by predicting events using artificial intelligence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031497A1 (en) * 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
KR101535809B1 (ko) * 2014-01-24 2015-07-13 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치
KR20160016265A (ko) * 2014-08-04 2016-02-15 엔트릭스 주식회사 클라우드 스트리밍 서비스 시스템, 메모리 병목 현상을 방지하기 위한 데이터 압축 방법 및 이를 위한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869370B1 (ko) * 2012-01-02 2018-07-20 한국전자통신연구원 디지털 방송 시스템에서 초고화질 방송 송수신 방법 및 장치
KR20150040393A (ko) 2013-10-04 2015-04-15 한국전자통신연구원 클라우드 게임 서비스를 제공하는 클라우드 서버 및 그 방법
KR101739220B1 (ko) * 2016-02-04 2017-05-24 민코넷주식회사 게임 플레이 상황에 대한 특수 영상 생성 시스템
KR102110195B1 (ko) * 2019-08-09 2020-05-14 주식회사 볼트홀 응용 프로그램의 스트리밍 영상 제공 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001031497A1 (en) * 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
KR101535809B1 (ko) * 2014-01-24 2015-07-13 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 제공 방법, 이를 위한 시스템 및 장치
KR20160016265A (ko) * 2014-08-04 2016-02-15 엔트릭스 주식회사 클라우드 스트리밍 서비스 시스템, 메모리 병목 현상을 방지하기 위한 데이터 압축 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
WO2021029756A1 (ko) 2021-02-18
US20210316213A1 (en) 2021-10-14
KR102110195B1 (ko) 2020-05-14

Similar Documents

Publication Publication Date Title
CN113226501A (zh) 应用程序的流媒体影像提供装置及方法
EP4122568A1 (en) Data processing method and device and storage medium
US8477852B2 (en) Uniform video decoding and display
US9052959B2 (en) Load balancing between general purpose processors and graphics processors
CN113457160B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111736850B (zh) 图像处理方法、装置、服务器及介质
US10652591B2 (en) System for cloud streaming service, method for same using still-image compression technique and apparatus therefor
CN112843676B (zh) 数据处理方法、装置、终端、服务器及存储介质
WO2022257699A1 (zh) 图像画面显示方法、装置、设备、存储介质及程序产品
CN113542757A (zh) 云应用的图像传输方法、装置、服务器及存储介质
CN112383539A (zh) 一种基于远程过程调用云浏览器的方法、装置和电子设备
US20130311548A1 (en) Virtualized graphics processing for remote display
CN111432262B (zh) 页面视频渲染方法及装置
US20230245420A1 (en) Image processing method and apparatus, computer device, and storage medium
CN115955590A (zh) 视频处理方法、装置、计算机设备、介质
CN115065684A (zh) 数据处理方法、装置、设备以及介质
CN114268796A (zh) 视频流处理的方法及装置
KR102231875B1 (ko) 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
JP2017005544A (ja) 画像情報処理方法
WO2023083213A1 (zh) 一种数据解码方法、装置、电子设备及可读存储介质
CN116966546A (zh) 图像处理方法、装置、介质、设备和程序产品
US10560727B2 (en) Server structure for supporting multiple sessions of virtualization
KR20210037638A (ko) 응용 프로그램의 스트리밍 영상 제공 장치 및 방법
CN111885417B (zh) Vr视频播放方法、装置、设备以及存储介质
KR102238720B1 (ko) 인코딩과 업로딩의 병행 처리를 통해 미디어 파일의 전송 시간을 단축시킬 수 있는 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination