CN105169703A

CN105169703A - 智能手持设备点对点视频和游戏的互动融合方法、装置及系统

Info

Publication number: CN105169703A
Application number: CN201410251312.XA
Authority: CN
Inventors: 张国强; 张学渊; 张怀畅
Original assignee: Zhang Ying Information Technology (shanghai) Co Ltd
Current assignee: Zhang Ying Information Technology (shanghai) Co Ltd
Priority date: 2014-06-09
Filing date: 2014-06-09
Publication date: 2015-12-23

Abstract

本发明提供一种智能手持设备的点对点视频和游戏的互动融合方法，包括：接收端通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕获设备采集；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，其中，接收的游戏数据由发送端依据其当前游戏界面、游戏逻辑和发送端在游戏界面的输入生成；依据视频窗口呈现策略和接收端用户当前的本地和远端游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化；接收端在屏幕上呈现视频和游戏融合后的界面。因此，本发明提供的视频会话和游戏能有机融合，提高用户游戏时的互动性和趣味性。

Description

智能手持设备点对点视频和游戏的互动融合方法、装置及系统

技术领域

本发明涉及移动互联网多媒体技术领域，特别涉及智能手持设备点对点视频和游戏的互动融合方法、装置及系统。

背景技术

随着智能手持设备(如智能手机、平板电脑等)的普及和WiFi，3G，4G等无线接入带宽的提高，基于智能手持设备的点对点视频应用将会呈现爆炸性增长。另一方面，基于智能手持设备的互动游戏也将成为一大热点，能够打发用户的碎片时间。在游戏过程中添加视频功能能极大地增强游戏的互动性，提高游戏对用户的吸引力；反之，在视频通话的过程中添加游戏功能则能增加用户视频通话过程中的趣味性，增进用户之间的情感。而如果能让游戏和视频有机地融合在一起，则能将用户对视频聊天和游戏的需求融合在一起，提高用户对游戏的粘度。

因此，针对现有的视频会话和游戏相互独立和彼此隔离的处理方案，有必要提出一种新的视频会话和游戏能有机融合的方法，以提高用户游戏时的互动性和趣味性。

发明内容

本发明的目的旨在提供智能手持设备点对点视频和游戏的互动融合方法、装置及系统，以提高用户游戏时的互动性和趣味性。

第一方面，本发明提供一种智能手持设备点对点视频和游戏的互动融合方法，包括：接收端通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，其中，接收的游戏数据由发送端依据其当前游戏界面、游戏逻辑和发送端在游戏界面的输入生成；依据视频窗口呈现策略和接收端用户当前的本地和远端游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化；接收端在屏幕上呈现视频和游戏融合后的界面。

第二方面，本发明提供一种智能手持设备点对点视频和游戏的互动融合装置，包括：本地视频数据采集模块，用于通过智能手持设备的本地视频捕获设备采集本地视频数据，并将其存放到本地视频缓冲区；视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，将其暂存到远端视频缓冲区，并将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并从网络接收对端设备通过网络传输过来的实时游戏数据，将其缓存在远端游戏数据缓冲区；视频窗口呈现策略库，用于描述视频窗口在游戏界面上的呈现策略；视频与游戏融合模块，用于依据视频窗口呈现策略和本地及远端的游戏实时状态数据确定视频在界面上的呈现坐标、形态和大小；界面呈现模块，用于将融合后的数据显示在界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户在游戏界面上的输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。

进一步地，所述呈现策略包括：指定视频窗口与游戏道具的绑定关系，绑定关系可以随时间、空间的变化而变化；指定视频窗口在显示屏幕的固定位置、形态和大小；指定视频窗口的位置、形态和大小随时间的变化函数。

第三方面，本发明提供一种智能手持设备点对点视频和游戏的互动融合系统，包括：发送端，通过智能手持设备的本地视频捕捉设备捕捉本地的视频并暂存到本地视频缓冲区，并将本地视频通过网络传输接口传输到远端会话，将依据当前游戏界面、游戏逻辑和用户在游戏界面的输入生成的本地实时游戏数据暂存到本地游戏数据缓冲区，并通过网络传输接口传输到远端会话；接收端，通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉，从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，依据视频窗口呈现策略和接收端用户当前的存储的本地和远端游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化，在屏幕上呈现视频和游戏融合后的界面。

本发明提供的智能手持设备点对点视频和游戏的互动融合方法、装置及系统，能够使视频会话和游戏实现有机的融合，提高用户游戏时的互动性和趣味性，还能有效地降低视频数据的传输量。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1示出了根据本发明一实施方式的游戏与视频互动融合的流程示意图；

图2示出了根据本发明一实施方式的游戏与视频互动融合的装置示意图；

图3a-3c示出了根据本发明一实施方式的视频无缝嵌入游戏示意图；

图4示出了根据本发明一实施方式的网络部署示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

图1示出了根据本发明一实施方式的游戏与视频融合的流程示意图。如图1所示，本发明提供一种智能手持设备点对点视频和游戏的互动融合方法，包括：接收端通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉；接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，其中，接收的游戏数据由发送端依据其当前游戏界面、游戏逻辑和发送端在游戏界面的输入生成；依据视频窗口呈现策略和接收端用户当前的游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化；接收端在屏幕上呈现视频和游戏融合后的界面。

图2示出了根据本发明一实施方式的游戏与视频融合的装置示意图。图2是参与游戏的一端智能手持设备的装置图，包括游戏数据传输模块、本地视频数据采集模块、视频数据传输模块、视频与游戏融合模块、视频窗口呈现策略库、呈现界面模块、游戏数据生成模块。本地视频数据采集模块通过智能手持设备的本地视频捕获设备获取本地的视频，并将其存放到本地视频数据缓冲。视频数据传输模块将本地视频数据通过网络传输到对端节点；同时从网络接收对端节点传输过来的视频数据，并暂存在远端视频数据缓冲区。游戏数据传输模块将本地游戏数据通过网络传输到对端节点；同时从网络接收对端节点传输过来的游戏数据，并将其暂存在远端游戏数据缓冲区。视频窗口呈现策略库描述视频窗口和游戏界面的融合策略。视频窗口可以与游戏界面无关，即两者在独立的区域呈现。视频窗口也可以与游戏界面相关，例如将视频窗口与游戏中的道具绑定，视频窗口和游戏的绑定关系可以随时间、空间的变化而变化。视频与游戏融合模块则依据视频窗口的呈现策略、当前的游戏实时数据和视频数据确定视频窗口的呈现坐标、形态和和窗口大小，并通过界面呈现模块在界面上予以显示。当游戏界面发生变化时，视频呈现的坐标也随之、形态和大小可以随之发生变化。

图3a-3b示出了根据本发明一实施方式的视频无缝嵌入游戏示意图。图3a-3b给出了视频界面嵌入游戏道具的例子。该示例中，视频窗口嵌入在赛跑游戏中被拖拽的道具中，这一绑定关系由视频窗口呈现策略描述。随着用户游戏的进度，游戏数据生成模块会捕获用户的输入并生成游戏数据，将自身的游戏数据通过网络发送给对方，并通过网络从对方接收对端的游戏数据。这些实时游戏数据确定了本地和远端的道具的实时位置。随着时间的推移，被拖拽的道具会向终点(右边)移动，从而视频窗口也向右移动。实际的部署过程中，根据视频数据传输的路径和游戏数据传输的路径，可能存在图4所示的6种部署场景，其中终端A和终端B均为智能手持设备，如智能手机、平板电脑等。在第一种场景中，终端A和终端B的视频数据通过视频转发服务器转发，并且终端A和终端B的实时游戏数据也通过游戏服务器转发(例如需要游戏服务器维护状态的游戏)；在第二种场景中，终端A和B的视频数据和游戏数据都无需通过第三方服务器转发；在第三种场景中，终端A和B的视频数据不通过视频转发服务器转发，而游戏数据需要通过游戏服务器转发；在第四种场景中，终端A和B之间的视频数据通过视频转发服务器转发，而游戏数据无需通过第三方服务器转发；在第五种场景中，终端A和B之间的视频数据通过视频转发服务器转发，而游戏数据则通过两条通道转发，其中，需要同步的游戏数据，经过游戏服务器转发；而无需同步的游戏数据，则直接在终端A和B之间传输。在第六种场景中，终端A和B之间的视频数据不通过视频转发服务器转发，而游戏数据则通过两条通道转发，其中，需要同步的游戏数据，经过游戏服务器转发，而无需同步的游戏数据，则直接在终端A和B之间传输。

本发明还提供一种智能手持设备点对点视频和游戏的互动融合装置，包括：本地视频数据采集模块，用于通过本地视频采集设备采集本地视频数据，并将其存放到本地视频缓冲区；视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，将其暂存到远端视频缓冲区，并将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并从网络接收对端设备通过网络传输过来的实时游戏数据，将其缓存在远端游戏数据缓冲区；视频窗口呈现策略库，用于描述视频窗口在游戏界面上的呈现策略；视频与游戏融合模块，用于依据视频窗口呈现策略和本地及远端的游戏实时状态数据确定视频在界面上的呈现坐标、形态和大小；界面呈现模块，用于将融合后的数据显示在界面上；游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户在游戏界面的输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。

本发明还提供一种点对点视频和游戏的融合系统，包括：发送端，通过智能手持设备的本地视频捕捉设备捕捉本地的视频并暂存到本地视频缓冲区，并将本地视频通过网络传输接口传输到远端会话，将依据当前游戏界面、游戏逻辑和用户在游戏界面的输入生成的本地实时游戏数据暂存到本地游戏数据缓冲区，并通过网络传输接口传输到远端会话；接收端，通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉，从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，依据视频窗口呈现策略和接收端用户当前的存储的本地和远端游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化，在屏幕上呈现视频和游戏融合后的界面。

本技术领域技术人员可以理解，本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备，所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、随即存储器(RAM)、只读存储器(ROM)、电可编程ROM、电可擦ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备(例如，计算机)可读的形式存储或传输信息的任何机构。例如，可读介质包括随即存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号(例如载波、红外信号、数字信号)等。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种智能手持设备点对点视频和游戏的互动融合方法，其特征在于，包括：

接收端通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉；

接收端从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，其中，接收的游戏数据由发送端依据其当前游戏界面、游戏逻辑和发送端在游戏界面的输入生成；

依据视频窗口呈现策略和接收端用户当前的游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化；

接收端在屏幕上呈现视频和游戏融合后的界面。

2.一种智能手持设备点对点视频和游戏的互动融合装置，其特征在于，包括：

本地视频数据采集模块，用于通过本地视频采集设备采集本地视频数据，并将其存放到本地视频缓冲区；

视频数据传输模块，用于接收对端设备通过网络传输过来的视频数据，将其暂存到远端视频缓冲区，并将本地视频数据采集模块采集的视频数据通过网络传输到对端设备；

游戏数据传输模块，用于将本地产生的实时游戏数据通过网络传输到对端设备，并从网络接收对端设备通过网络传输过来的实时游戏数据，将其缓存在远端游戏数据缓冲区；

视频窗口呈现策略库，用于描述视频窗口在游戏界面上的呈现策略；

视频与游戏融合模块，用于依据视频窗口呈现策略和本地及远端的游戏实时状态数据确定视频在界面上的呈现坐标、形态和大小；

界面呈现模块，用于将融合后的数据显示在界面上；

游戏数据生成模块，用于依据当前游戏界面、游戏逻辑和用户在游戏界面的输入，生成本地实时游戏数据，并置于本地游戏数据缓冲区。

3.如权利要求2所述的装置，其特征在于，所述呈现策略包括：指定视频窗口与游戏道具的绑定关系，绑定关系可以随时间、空间的变化而变化;指定视频窗口在显示屏幕的固定位置、形态和大小；指定视频窗口的位置、形态和大小随时间的变化函数。

4.一种智能手持设备点对点视频和游戏的互动融合系统，其特征在于，包括：

发送端，通过视频捕捉设备捕捉本地的视频并暂存到本地视频缓冲区，并将本地视频通过网络传输接口传输到远端会话，将依据当前游戏界面、游戏逻辑和用户在游戏界面的输入生成的本地实时游戏数据暂存到本地游戏数据缓冲区，并通过网络传输接口传输到远端会话；

接收端，通过网络传输接口接收远端视频数据，并将其存放到远端视频缓冲区，其中：视频数据由发送端通过视频捕捉设备捕捉，从网络传输接口接收游戏数据，并将接收到的游戏数据存放到远端游戏数据缓冲区，依据视频窗口呈现策略和接收端用户当前的存储的本地和远端游戏数据共同确定本地视频窗口和远端视频窗口的呈现坐标、形态和大小，当游戏界面变化时，视频窗口呈现的坐标、形态和大小可以随之变化，在屏幕上呈现视频和游戏融合后的界面。