CN114051151A - 直播互动方法、装置、存储介质与电子设备 - Google Patents
直播互动方法、装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN114051151A CN114051151A CN202111391791.1A CN202111391791A CN114051151A CN 114051151 A CN114051151 A CN 114051151A CN 202111391791 A CN202111391791 A CN 202111391791A CN 114051151 A CN114051151 A CN 114051151A
- Authority
- CN
- China
- Prior art keywords
- data
- virtual scene
- live broadcast
- interactive
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000002452 interceptive effect Effects 0.000 claims abstract description 274
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000006854 communication Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 20
- 230000001960 triggered effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供直播互动方法、装置、存储介质与电子设备，涉及直播技术领域，包括：接收直播观众端的传感数据，及从虚拟场景控制端获取与真实场景存在映射关系的虚拟场景；直播观众端的图形用户界面显示真实场景的直播界面；基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据；将互动数据发送至虚拟场景控制端，以使虚拟场景控制端执行基于互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于虚拟场景控制端发送的互动事件的执行结果，执行真实场景中与互动事件对应的控制事件；接收真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面，以提高直播场景的可互动性。
Description
技术领域
本公开涉及直播技术领域，尤其涉及直播互动方法、直播互动装置、计算机可读存储介质与电子设备。
背景技术
随着直播行业的兴起，用户对直播的互动体验要求也越来越高，在直播过程中，观众和主播通过语音、文字、弹幕等方式进行社交互动为目前比较常见的直播互动形式。
相关技术中，缺乏将直播与线下真实场景进行结合的方式，用户通过直播观众端观看线下真实场景的互动进程时，无法与线下真实场景建立有效的联系，直播观众与线下真实场景的可互动性较差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了直播互动方法、直播互动装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决相关技术中直播场景的可互动性较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种直播互动方法，包括：接收所述直播观众端的传感数据，及从虚拟场景控制端获取与所述真实场景存在映射关系的虚拟场景；基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据；将所述互动数据发送至所述虚拟场景控制端，以使所述虚拟场景控制端执行基于所述互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于所述虚拟场景控制端发送的互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件；接收所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
在本公开的一种示例性实施例中，所述传感数据包括以下任意一种或多种：倾角传感数据、距离传感数据、声音传感数据。
在本公开的一种示例性实施例中，所述基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据，包括：根据所述倾角传感数据和所述距离传感数据确定所述虚拟场景的第一互动数据，所述第一互动数据用于触发所述虚拟场景的镜头移动互动事件；根据所述倾角传感数据、所述距离传感数据和所述声音传感数据确定所述虚拟场景的第二互动数据，所述第二互动数据用于触发所述虚拟场景的互动逻辑事件；根据所述倾角传感数据确定所述虚拟场景的第三互动数据，所述第三互动数据用于触发所述虚拟场景的声音同步事件。
在本公开的一种示例性实施例中，所述根据所述倾角传感数据和所述距离传感数据确定所述虚拟场景的第一互动数据，包括：将所述倾角传感数据和所述距离传感数据在所述虚拟场景的目标二维平面的二维坐标轴上映射，得到所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标，并将所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标作为第一互动数据，所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面。
在本公开的一种示例性实施例中，所述根据所述倾角传感数据、所述距离传感数据和所述声音传感数据确定所述虚拟场景的第二互动数据，包括：在所述虚拟场景的所述目标二维平面上预先划分多个功能区域；所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面；将所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标位于的功能区域作为目标功能区域；在所述倾角传感数据的标量、所述距离传感数据的标量以及所述声音传感数据的响度满足预设规则时，输出所述目标功能区域的标识数据、所述倾角传感数据的标量、所述距离传感数据的标量和所述声音传感数据的响度，并将所述目标功能区域的标识数据、所述倾角传感数据的标量、所述距离传感数据的标量和所述声音传感数据的响度作为第二互动数据。
在本公开的一种示例性实施例中，所述根据所述倾角传感数据确定所述虚拟场景的第三互动数据，包括：在所述虚拟场景的所述目标二维平面上预先等分多个网格状区域；所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面；将所述倾角传感数据在所述多个网格状区域内进行投射，确定投影至各所述网格状区域中的权重数值；将所述权重数值最大的网格状区域作为目标网格状区域，并将所述目标网格状区域作为第三互动数据。
在本公开的一种示例性实施例中，当所述互动事件为所述虚拟场景的互动逻辑事件时，所述方法还包括：接收由所述虚拟场景控制端发送的所述互动逻辑事件；确定所述互动逻辑事件的执行结果，将包含所述互动逻辑事件的所述执行结果的视频流发送至所述直播观众端的所述直播界面。
根据本公开的第二方面，提供一种直播互动方法，通过直播观众端的图形用户界面提供真实场景的直播界面，应用于虚拟场景控制端，包括：接收直播服务端发送的与所述真实场景存在映射关系的虚拟场景的互动数据；其中，所述直播服务端基于所述直播观众端针对直播界面的传感数据及所述虚拟场景控制端发送的虚拟场景确定所述互动数据；执行基于所述互动数据确定的所述虚拟场景的互动事件，以使真实场景控制端基于所述互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件，以使所述直播服务端基于所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
在本公开的一种示例性实施例中，当所述互动事件为所述虚拟场景的互动逻辑事件时，所述方法还包括：将所述互动逻辑事件发送至所述直播服务端，以使所述直播服务端确定所述互动逻辑事件的执行结果，将包含所述互动逻辑事件的所述执行结果的视频流发送至所述直播观众端的所述直播界面。
在本公开的一种示例性实施例中，所述互动数据包括第一互动数据，所述互动事件包括镜头移动互动事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：基于第一互动数据，触发所述虚拟场景的镜头移动互动事件，所述第一互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到；所述互动数据包括第二互动数据，所述互动事件包括互动逻辑事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：基于第二互动数据，触发所述虚拟场景的互动逻辑事件，所述第二互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到；所述互动数据包括第三互动数据，所述互动事件包括声音同步事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：基于第三互动数据，触发所述虚拟场景的声音同步事件，所述第三互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到。
根据本公开的第三方面，提供一种直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面，应用于与所述直播观众端通信连接的直播服务端，包括：传感数据接收模块，用于接收所述直播观众端的传感数据，及从虚拟场景控制端获取与所述真实场景存在映射关系的虚拟场景；传感数据处理模块，用于基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据；互动数据发送模块，用于将所述互动数据发送至所述虚拟场景控制端，以使所述虚拟场景控制端执行基于所述互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于所述虚拟场景控制端发送的互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件；控制结果接收模块，用于接收所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
根据本公开的第四方面，提供一种直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面，应用于虚拟场景控制端，包括：互动数据接收模块，用于接收直播服务端发送的与所述真实场景存在映射关系的虚拟场景的互动数据；其中，所述直播服务端基于所述直播观众端针对直播界面的传感数据及所述虚拟场景控制端发送的虚拟场景确定所述互动数据；互动事件执行模块，用于执行基于所述互动数据确定的所述虚拟场景的互动事件，以使真实场景控制端基于所述互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件，以使所述直播服务端基于所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述直播互动方法。
根据本公开的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述直播互动方法。
本公开的技术方案具有以下有益效果：
上述直播互动过程中，直播观众端、直播服务端、虚拟场景控制端、真实场景控制端等多方进行交互，基于与真实场景存在映射关系的虚拟场景确定直播观众端所触发的互动事件，进而改变真实场景中与互动事件所对应的控制事件，将线下可互动的真实场景与直播进行结合，使得用户能够与线下真实场景进行互动联系，增强了直播场景的可互动性，进而提升了用户的直播互动体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种直播互动的系统架构图；
图2示出本示例性实施方式中一种应用于直播服务端的直播互动方法的流程图；
图3示出本实例性实施方式中一种应用于虚拟场景控制端的直播互动方法的流程图；
图4示出本实例性实施方式中一种控制线下真实场景的结构图；
图5示出本实例性实施方式中一种应用于直播服务端的直播互动装置的结构框图；
图6示出本实例性实施方式中一种应用于虚拟场景控制端的直播互动装置的结构框图；
图7示出本示例性实施方式中一种用于实现上述方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本文中，“第一”、“第二”、“第三”等是对特定对象的标记，而并非限定对象的数量或次序。
相关技术中，缺乏将直播与线下的互动场景进行结合的方式，直播观众无法与线下互动场景建立有效的联系。以密室互动场景为例，通常通过在密闭空间中与场景、道具或场控线索进行交互完成解密通关，以享受互动剧情的过程，但是线下的密室互动场景的解密进程通常被录制成视频节目供远程观众观看，观众难以直接参与到密室解密进程中，缺乏沉浸式体验，直播与线下场景的互动性差。
鉴于上述一个或多个问题，本公开的示例性实施方式提供直播互动方法，图1示出了该方法执行系统架构图，包括直播观众端110、直播服务端120、虚拟场景控制端130以及真实场景控制端140。
其中，直播观众端110可以是手机、平板等终端设备，用户可以通过该端观看直播，此外该端可安装传感器，通过感知用户操作能够收集各种传感数据，例如倾角、距离、声音等传感数据。直播服务端120可以是直播后台服务器，能够对直播观众端所产生的传感数据进行处理，并向直播观众端反馈互动数据所对应的互动执行结果。虚拟场景控制端130可以是虚幻引擎，主要用于构建虚拟场景，并基于所构建的虚拟场景判定所触发的互动事件。真实场景控制端140与真实场景建立映射关系，能够基于映射关系对真实场景进行控制，以改变真实场景内的场景元素。
当用户在观看带入感较强的直播时，通常会随直播剧情做出相应的动作，例如在观看密室恐怖游戏直播时，在有恐怖元素出现时，用户可能倾斜并拿远手机，发出尖叫，若用户在做出相应行为时，采用下述直播互动方法，将直播通过虚拟场景与线下密室场景建立联系，通过直播互动控制线下密室场景触发相应的控制事件，即平行于主播主线的观众侧剧情事件，可显著提高用户观看直播的互动性。
图2示出了本示例性实施方式中一种直播互动方法的示意性流程，应用于与直播观众端通信连接直播服务端，通过直播观众端的图形用户界面提供真实场景的直播界面，具体包括以下步骤S210至S240：
步骤S210，接收直播观众端的传感数据，及从虚拟场景控制端获取与真实场景存在映射关系的虚拟场景；
步骤S220，基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据；
步骤S230，将互动数据发送至虚拟场景控制端，以使虚拟场景控制端执行基于互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于虚拟场景控制端发送的互动事件的执行结果，执行真实场景中与互动事件对应的控制事件；
步骤S240，接收真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
上述直播互动过程中，直播服务端与直播观众端、虚拟场景控制端、真实场景控制端等多方进行交互，将线下真实场景通过虚拟场景与直播建立联系，以便采用直播观众端的传感数据实现与线下场景的直播互动，能够提升用户的参与感，增强直播观看过程中的互动性。
需要说明的是，直播服务端在执行图2所示的步骤时，首先接收与真实场景存在映射关系的虚拟场景以及传感数据，在接收到与真实场景存在映射关系的虚拟场景以及传感数据之后，对传感数据进行映射处理，得到虚拟场景的互动数据，并将所得到的互动数据发送给虚拟场景控制端，同时等待真实场景控制端发送与互动事件对应的控制事件的控制结果，当接收到控制事件的控制结果时，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
下面分别对图2中的每个步骤进行具体说明。
步骤S210，接收直播观众端的传感数据，及从虚拟场景控制端获取与真实场景存在映射关系的虚拟场景。
用户可通过直播观众端进入正在互动直播的直播间，并通过场景互动功能入口进入线下互动模式，直播服务端在检测到直播观众端进入线下互动模式时，开始接收来自直播观众端的传感数据。
传感数据可由直播观众端进行采集，是关于用户行为的传感数据。用户可以利用直播观众端进行不同的行为操作，直播观众端通过感知用户的行为，采集与用户行为相对应的传感数据。直播观众端可将收集到的传感数据实时传送给直播服务端。
传感数据可以包括以下任意一种或多种：倾角传感数据、距离传感数据、声音传感数据。
其中，倾角传感数据可以包括：方位角、倾斜角、回转角等，距离传感数据可由直播观众端所配置的带有深度信息的摄像头进行收集，声音传感器可由直播观众端所配置的麦克风进行收集，所收集的声音传感数据可包括声音的内容以及声音的强度等数据。
虚拟场景中的场景元素与真实场景中的场景元素存在一一对应的映射关系，可以包括解密机关、前行通道等场景元素，以及摄像机、音效播放控件、场景元素变化控件等场景控制元素。这些场景控制元素与线下真实场景的控制实体之间相互对应。
步骤S220，基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据。
虚拟场景的互动数据可用于触发虚拟场景中互动事件，不同的传感数据可映射出不同的互动数据。
在一种可选的实施方式中，上述基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据，还可以通过以下方式进行实现：根据倾角传感数据和距离传感数据确定虚拟场景的第一互动数据，第一互动数据用于触发虚拟场景的镜头移动互动事件；根据倾角传感数据、距离传感数据和声音传感数据确定虚拟场景的第二互动数据，第二互动数据用于触发虚拟场景的互动逻辑事件；根据倾角传感数据确定虚拟场景的第三互动数据，第三互动数据用于触发虚拟场景的声音同步事件。
第一互动数据指的是可用于触发虚拟场景的镜头移动互动事件的互动数据；第二互动数据指的是可用于触发虚拟场景的互动逻辑事件的互动数据；第三互动数据指的是用于触发虚拟场景的声音同步事件的互动数据。此外，第一互动数据、第二互动数据、以及第三互动数据可用于判定其所触发的互动事件的具体作用对象以及作用强度。
上述过程中，通过将传感数据处理成后续流程所需的不同类型互动数据，以便基于不同类型的互动数据触发不同的互动事件，增强互动的多样性，使得直播互动更加真实全面。
在一种可选的实施方式中，上述根据倾角传感数据和距离传感数据确定虚拟场景的第一互动数据，可以通过以下方式进行实现：将倾角传感数据和距离传感数据在虚拟场景的目标二维平面的二维坐标轴上映射，得到倾角传感数据的二维坐标以及距离传感数据的二维坐标，并将倾角传感数据的二维坐标以及距离传感数据的二维坐标作为第一互动数据，目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面。
这里将所得到的倾角传感数据的二维坐标以及距离传感数据的二维坐标作为第一互动数据，以便后续虚拟场景控制端基于所获取的第一互动数据来触发相关的镜头移动互动事件，为镜头移动路径提供了参照依据。
需要说明的是，通常情况下可将主播人物在真实场景中所处的正面平面作为直播观众端所呈现的真实场景平面，将主播人物在虚拟场景中进行空间映射，可得到主播人物在虚拟场景中的空间坐标位置，进而确定虚拟场景中的目标二维平面。
在一种可选的实施方式中，上述根据倾角传感数据、距离传感数据或声音传感数据确定虚拟场景的第二互动数据，可以通过以下方式进行实现：在虚拟场景的目标二维平面上预先划分多个功能区域；目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面；将倾角传感数据的二维坐标以及距离传感数据的二维坐标位于的功能区域作为目标功能区域；在倾角传感数据的标量、距离传感数据的标量以及声音传感数据的响度满足预设规则时，输出目标功能区域的标识数据、倾角传感数据的标量、距离传感数据的标量和声音传感数据的响度，并将目标功能区域的标识数据、倾角传感数据的标量、距离传感数据的标量和声音传感数据的响度作为第二互动数据。
这里将所输出的目标功能区域的标识数据、倾角传感数据的标量、距离传感数据的标量、音传感数据的响度作为第二互动数据，以便后续虚拟场景控制端基于所获取的第二互动数据来触发相关的互动逻辑事件。这里可以将坐标所落入的功能区域作为目标功能区域。
预设规则可以是倾角传感数据的标量、距离传感数据的标量以及声音传感数据的响度分别超过各自所设置的预设阈值。可将虚拟场景的目标二维平面根据实际所涉及到的功能划分成多个功能区域，例如可划分为与真实场景映射的解密区域、机关区域等。
在一种可选的实施方式中，根据倾角传感数据确定虚拟场景的第三互动数据，可以通过以下方式进行实现：在虚拟场景的目标二维平面上预先等分多个网格状区域；目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面；将倾角传感数据在多个网格状区域内进行投射，确定投影至各网格状区域中的权重数值；将权重数值最大的网格状区域作为目标网格状区域，并将目标网格状区域作为第三互动数据。
这里将所得到的目标网格状区域作为第三互动数据，以便后续虚拟场景控制端基于所获取的第三互动数据来触发相关的互动逻辑事件。
将倾角传感数据在多个网格状区域内进行投射时，可将倾角传感数据的三维矢量在这些网格状区域内映射成一条线段，并将该条线段在各网格区域内落入的长度以及与目标二维平面一坐标轴(可以是目标二维平面的水平轴)所形成的夹角组合后作为投影至各网格状区域中的权重数值，例如确定某一网格状区域的权重数值为(-83°，2.18)，其中“-83°”为与目标二维平面一坐标轴负方向所形成的夹角，“2.18”为倾角传感数据在该网格区域内所落入的长度。
需要说明的是，这里将倾角传感数据的三维矢量在这些网格状区域内映射成了一条线段，因而所映射的线段在各网格区域中与目标二维平面坐标轴所形成的夹角相同，在各网格区域的权重数值中夹角绝对值相同的情况下，可通过对比各网格区域的权重数值中长度绝对值大小，将长度绝对值最大的网格区域作为权重数值最大的网格状区域。
步骤S230，将互动数据发送至虚拟场景控制端，以使虚拟场景控制端执行基于互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于虚拟场景控制端发送的互动事件的执行结果，执行真实场景中与互动事件对应的控制事件。
互动事件可以包括镜头移动互动事件、声音同步事件等，虚拟场景控制端可通过触发这些互动事件可以控制虚拟场景发生相应的改变。
虚拟场景控制端在执行互动事件之后，可将互动事件的执行结果发送至真实场景控制端。真实场景控制端在接收到虚拟场景控制端所发送的互动事件的执行结果后，能够通过通信模块，执行与互动事件对应的控制事件，使得用户在直播观众端所进行的互动操作通过虚拟场景映射到真实场景中，从而实现直播观众端与线下真实场景的互动。
步骤S240，接收真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
控制事件的控制结果指的是真实场景端对控制事件的执行反馈结果，例如成功、失败或者进行中，真实场景控制端也可以直接以反馈标识的形式将直播互动结果反馈给直播服务端，直播服务端通过解析反馈标识，得到直播互动结果。
在一种可选的实施方式中，当互动事件为虚拟场景的互动逻辑事件时，可以接收由虚拟场景控制端发送的互动逻辑事件；确定互动逻辑事件的执行结果，将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面。
该互动逻辑事件指的是作用于直播服务端的互动逻辑事件，可直接由直播服务端确定互动逻辑事件的执行结果，并将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面，以便引导用户完成后续操作。
图3示出了本示例性实施方式中一种应用于虚拟场景控制端的直播互动方法的示意性流程，通过直播观众端的图形用户界面提供真实场景的直播界面，包括以下步骤S310至S320：
步骤S310，接收直播服务端发送的与真实场景存在映射关系的虚拟场景的互动数据；其中，直播服务端基于直播观众端针对直播界面的传感数据及虚拟场景控制端发送的虚拟场景确定互动数据；
步骤S320，执行基于互动数据确定的虚拟场景的互动事件，以使真实场景控制端基于互动事件的执行结果，执行真实场景中与互动事件对应的控制事件，以使直播服务端基于真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
上述直播互动过程中，虚拟场景控制端与直播服务端、真实场景控制端等多方进行交互，通过在虚拟场景控制端设置与真实场景具有映射关系的虚拟场景，使得真实场景控制端能够根据虚拟场景控制端对互动事件的执行结果来执行真实场景中的控制事件，从而实现直播观众端与线下真实场景的互动联系，使得用户获得更为沉浸的直播观看体验，同时扩展了线下场景互动的新奇玩法。
需要说明的是，虚拟场景控制端在执行图3所示的步骤时，首先将与真实场景存在映射关系的虚拟场景发送给直播服务端，然后从开始接收直播服务端所发送的互动数据。当接收到直播服务端所发送的虚拟场景的互动数据后，根据互动数据确定所要执行的互动事件并将互动事件的执行结果发送给真实场景控制端。
下面分别对图3中的每个步骤进行具体说明。
步骤S310，接收直播服务端发送的与真实场景存在映射关系的虚拟场景的互动数据；其中，直播服务端基于直播观众端针对直播界面的传感数据及虚拟场景控制端发送的虚拟场景确定互动数据。
与真实场景存在映射关系的虚拟场景可预先由虚拟场景控制端进行创建可包括解密机关、前行通道等场景元素，以及摄像机、音效播放控件、场景元素变化控件等场景控制元素。虚拟场景控制端可以针对线下真实场景按照1:1比例构建虚拟场景，需要说明的是，这里的1:1比例只是示例性的说明，在实际构建过程中还可采取其他比例进行构建，这里不做具体限定。
这些互动数据可以为直播服务端将传感数据经过映射处理后得到的数据，可包括第一互动数据、第二互动数据以及第三互动数据。这里的传感数据是由直播服务端从直播观众端收集，可包括以下任意一种或多种：倾角传感数据、距离传感数据、声音传感数据。
步骤S320，执行基于互动数据确定的虚拟场景的互动事件，以使真实场景控制端基于互动事件的执行结果，执行真实场景中与互动事件对应的控制事件，以使直播服务端基于真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
在接收到直播服务端发送的互动数据后，虚拟场景控制端可以根据场景互动设计规则，判断这些互动数据所能够触发的互动事件，并将这些互动事件作为待执行的互动事件，并将互动事件的执行结果直接发送给真实场景控制端或经由直播服务端转发给真实场景控制端，以使真实场景控制端基于互动事件的执行结果，执行真实场景中与互动事件对应的控制事件。
在一种可选的实施方式中，互动数据包括第一互动数据，互动事件包括镜头移动互动事件，上述执行基于互动数据确定的虚拟场景的互动事件可通过以下方式实现：基于第一互动数据，触发虚拟场景的镜头移动互动事件，第一互动数据由直播服务端根据传感数据及虚拟场景得到；互动数据包括第二互动数据，互动事件包括互动逻辑事件，上述执行基于互动数据确定的虚拟场景的互动事件可通过以下方式实现：基于第二互动数据，触发虚拟场景的互动逻辑事件，第二互动数据由直播服务端根据传感数据及虚拟场景得到；互动数据包括第三互动数据，互动事件包括声音同步事件，上述执行基于互动数据确定的虚拟场景的互动事件可通过以下方式实现：基于第三互动数据，触发虚拟场景的声音同步事件，第三互动数据由直播服务端根据传感数据及虚拟场景得到。
第一互动数据可由直播服务端对倾角传感数据和距离传感数据经过处理得到，可包括倾角传感数据的二维坐标以及距离传感数据的二维坐标。基于第一互动数据，触发虚拟场景的镜头移动互动事件时，可以根据倾角传感数据的二维坐标以及距离传感数据的二维坐标设置虚拟场景中摄像机镜头的旋转角度以及移动距离，以确定虚拟场景中摄像机镜头的待移动的位置，并将摄像机镜头平滑移动至待移动的位置。
第二互动数据可由直播服务端对倾角传感数据、距离传感数据以及声音传感数据经过处理得到，可包括目标功能区域的标识数据以及倾角传感数据的标量、距离传感数据的标量和声音传感数据的响度。基于第二互动数据触发虚拟场景的互动逻辑事件时，可以根据所确定的目标互动区域的标识数据确定所触发的互动逻辑事件及其作用对象，并根据倾角传感数据的标量、距离传感数据的标量、声音传感数据的标量确定相应互动逻辑事件的触发时机及触发强度。
第三互动数据可由直播服务端对倾角传感数据经过处理得到，可包括目标网格状区域。基于第三互动数据触发虚拟场景的声音同步事件时，可以根据所确定的目标网格状区域确定拟触发的音效的播放位置，并在该位置播放拟触发的音效。
上述过程中通过触发虚拟场景中与互动数据相关的互动事件，从而控制虚拟场景的中的场景控制元素，例如镜头移动、音效播放等。
在一种可选的实施方式中，当互动事件为虚拟场景的互动逻辑事件时，还可以将所确定的互动逻辑事件发送至直播服务端，以使直播服务端确定互动逻辑事件的执行结果，将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面。
将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面，以便引导用户完成后续操作。
如图4所示，由虚拟场景控制端410将所互动事件传递给真实场景控制端420，以将虚拟场景内的互动事件所带来的虚拟变化映射至真实场景道具440中。其中虚拟场景430由虚拟引擎410(即，虚拟场景控制端)生成，真实场景道具440由真实场景控制端420进行控制。
需要说明的是，上述在直播服务端与虚拟场景控制端数据通信过程中，可以通过在直播服务端与虚拟场景控制端分别安装能够承担数据转发功能的SDK(SoftwareDevelopment Kit，软件开发工具)对传输数据进行数据收发。在虚拟场景控制端与真实场景控制端传输数据过程中，也可以通过在虚拟场景控制端和真实场景控制端分别安装能够承担数据转发功能的SDK包对传输数据进行数据收发。至于直播观众端与直播服务端的数据通信则可通过配置相应的直播流协议来实现。
本公开的示例性实施方式还提供一种应用于与直播观众端通信连接的直播服务端的直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面。如图5所示，该直播互动装置500可以包括：
传感数据接收模块510，用于接收直播观众端的传感数据，及从虚拟场景控制端获取与真实场景存在映射关系的虚拟场景；
传感数据处理模块520，用于基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据；
互动数据发送模块530，用于将互动数据发送至虚拟场景控制端，以使虚拟场景控制端执行基于互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于虚拟场景控制端发送的互动事件的执行结果，执行真实场景中与互动事件对应的控制事件；
控制结果接收模块540，用于接收真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
在一种可选的实施方式中，直播互动装置500中传感数据可以包括以下任意一种或多种：倾角传感数据、距离传感数据、声音传感数据。
在一种可选的实施方式中，传感数据处理模块520，可以包括：第一互动数据确定模块，用于根据倾角传感数据和距离传感数据确定虚拟场景的第一互动数据，第一互动数据用于触发虚拟场景的镜头移动互动事件；第二互动数据确定模块，用于根据倾角传感数据、距离传感数据和声音传感数据确定虚拟场景的第二互动数据，第二互动数据用于触发虚拟场景的互动逻辑事件；第三互动数据确定模块，用于根据倾角传感数据确定虚拟场景的第三互动数据，第三互动数据用于触发虚拟场景的声音同步事件。
在一种可选的实施方式中，第一互动数据确定模块，可以被配置为：将倾角传感数据和距离传感数据在虚拟场景的目标二维平面的二维坐标轴上映射，得到倾角传感数据的二维坐标以及距离传感数据的二维坐标，并将倾角传感数据的二维坐标以及距离传感数据的二维坐标作为第一互动数据，目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面。
在一种可选的实施方式中，第二互动数据确定模块，可以被配置为：在虚拟场景的目标二维平面上预先划分多个功能区域；目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面；将倾角传感数据的二维坐标以及距离传感数据的二维坐标位于的功能区域作为目标功能区域；在倾角传感数据的二维坐标所对应的标量、距离传感数据的二维坐标所对应的标量以及声音传感数据的响度满足预设规则时，输出目标功能区域的标识数据、倾角传感数据的二维坐标所对应的标量、距离传感数据的二维坐标所对应的标量和声音传感数据的响度，并将目标功能区域的标识数据、倾角传感数据的标量、距离传感数据的标量和声音传感数据的响度作为第二互动数据。
在一种可选的实施方式中，第三互动数据确定模块，可以被配置为：在虚拟场景的目标二维平面上预先等分多个网格状区域；目标二维平面为直播观众端的直播界面所呈现的真实场景平面在虚拟场景中所对应的二维平面；将倾角传感数据在多个网格状区域内进行投射，确定投影至各网格状区域中的权重数值；将权重数值最大的网格状区域作为目标网格状区域，并将目标网格状区域作为第三互动数据。
在一种可选的实施方式中，当互动事件为虚拟场景的互动逻辑事件时，直播互动装置500，还可以包括：互动逻辑事件接收模块，用于接收由虚拟场景控制端发送的互动逻辑事件；互动逻辑事件反馈模块，确定互动逻辑事件的执行结果，将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面。
本公开的示例性实施方式还提供一种应用于虚拟场景控制端的直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面，如图6所示，该直播互动装置600可以包括：
互动数据接收模块610，用于接收直播服务端发送的与真实场景存在映射关系的虚拟场景的互动数据；其中，直播服务端基于直播观众端针对直播界面的传感数据及虚拟场景控制端发送的虚拟场景确定互动数据；
互动事件执行模块620，用于执行基于互动数据确定的虚拟场景的互动事件，以使真实场景控制端基于互动事件的执行结果，执行真实场景中与互动事件对应的控制事件，以使直播服务端基于真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
在一种可选的实施方式中，当互动事件为虚拟场景的互动逻辑事件时，直播互动装置600可以包括：互动逻辑事件发送模块，用于将互动逻辑事件发送至直播服务端，以使直播服务端确定互动逻辑事件的执行结果，将包含互动逻辑事件的执行结果的视频流发送至直播观众端的直播界面。
在一种可选的实施方式中，互动数据包括第一互动数据，互动事件包括镜头移动互动事件，互动事件执行模块620中还可以被配置为：基于第一互动数据，触发虚拟场景的镜头移动互动事件，第一互动数据由直播服务端根据传感数据及虚拟场景得到；互动数据包括第二互动数据，互动事件包括互动逻辑事件，互动事件执行模块620中还可以被配置为：基于第二互动数据，触发虚拟场景的互动逻辑事件，第二互动数据由直播服务端根据传感数据及虚拟场景得到；互动数据包括第三互动数据，互动事件包括声音同步事件，互动事件执行模块620中还可以被配置为：基于第三互动数据，触发虚拟场景的声音同步事件，第三互动数据由直播服务端根据传感数据及虚拟场景得到。
上述直播互动装置500和直播互动装置600中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
下面以直播观众参与密室直播互动的过程为例，进行详细说明：
首先，虚拟场景控制端基于密室直播的线下密室场景，按照1:1比例构建虚拟密室场景，通过真实场景控制端，使得虚拟密室场景中的场景元素与线下密室场景中的场景元素建立一一映射关系。用户通过直播观众端进入密室直播间时，除了能够正常观看该密室直播间的直播外，用户还可以通过点击设置于密室直播间中的互动功能入口，进入场景互动体验模式。当检测到用户进入密室互动体验模式后，直播观众端开始采集用户所产生的密室互动数据，例如直播观众端的倾角传感数据、距离传感数据以及声音传感数据等，并将所采集到的密室传感数据实时传输给直播服务器。
当直播服务端接收到密室传感数据后，对这些密室传感数据进行预处理得到密室互动数据，并将所得到的密室互动数据发送给虚拟场景控制端。其中，对这些密室传感数据进行预处理得到密室互动数据，可包括：直播服务端可向虚拟场景控制端请求所创建的密室虚拟场景的二维坐标数据，以及密室主播在虚拟场景中所对应的人物二维坐标数据，根据密室主播的人物二维坐标数据，确定直播观众端的密室直播界面所呈现的真实场景平面在密室虚拟场景中所对应的目标二维平面，将倾角传感数据以及距离传感数据在该目标二维平面的二维坐标轴上进行映射，得到相应的二维坐标数据，将其作为第二互动数据。接着，直播服务端在目标二维平面上预先划分多个功能区域，当倾角传感数据的二维坐标以及距离传感数据的二维坐标位于多个功能区域中的目标功能区域内，且倾角传感数据的二维坐标所对应的标量、距离传感数据的二维坐标所对应的标量以及声音传感数据的响度超过各自所设定的阈值时，输出目标功能区域的标识数据、倾角传感数据的二维坐标所对应的标量、距离传感数据的二维坐标所对应的标量和声音传感数据的响度，将其作为第三互动数据。接着，直播服务端在目标二维平面上预先等分多个网格状区域，将倾角传感数据在多个网格状区域内进行投射，确定投影至各网格状区域中的权重数值；将权重数值最大的网格状区域作为目标网格状区域，作为第三互动数据。
虚拟场景控制端接收到密室互动数据后，基于第一互动数据，触发虚拟密室场景的镜头移动互动事件；基于第二互动数据，触发虚拟密室场景的互动逻辑事件；基于第三互动数据，触发虚拟密室场景的声音同步事件。虚拟场景控制端将镜头移动互动事件以及声音同步事件的执行结果发送给真实场景控制端，将互动逻辑事件发送给直播服务端。
真实场景控制端在接收到镜头移动互动事件以及声音同步事件的执行结果后，执行线下密室场景中与互动事件对应的控制事件，并将控制事件的控制结果发送给直播服务端，使直播服务端将包含控制结果的密室直播视频流反馈至直播观众端的密室直播界面。直播服务端端在接收到互动逻辑事件时，确定互动逻辑事件的执行结果，将包含互动逻辑事件的执行结果的视频流发送至直播观众端的密室直播界面。
本发明实施例还提供一种直播互动系统，包括上述任一实施例的(安装直播客户端的)直播观众端、直播服务端、虚拟场景控制端(例如虚幻引擎)及真实场景控制端(播控平台)。
其中，该系统中的直播观众端可用于执行：接收直播观众端的传感数据，及从虚拟场景控制端获取与真实场景存在映射关系的虚拟场景，基于虚拟场景对传感数据进行映射处理，得到虚拟场景的互动数据；将互动数据发送至虚拟场景控制端，以使虚拟场景控制端执行基于互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于虚拟场景控制端发送的互动事件的执行结果，执行真实场景中与互动事件对应的控制事件；接收真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
其中，该系统中的虚拟场景控制端可用于执行：接收直播服务端发送的与真实场景存在映射关系的虚拟场景的互动数据；其中，直播服务端基于直播观众端针对直播界面的传感数据及虚拟场景控制端发送的虚拟场景确定互动数据；执行基于互动数据确定的虚拟场景的互动事件，以使真实场景控制端基于互动事件的执行结果，执行真实场景中与互动事件对应的控制事件，以使直播服务端基于真实场景控制端对于控制事件的控制结果，将包含控制结果的直播视频流反馈至直播观众端的直播界面。
上述直播互动系统各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述直播互动方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开的示例性实施方式还提供了一种能够实现上述直播互动方法的电子设备。下面参照图7来描述根据本公开的这种示例性实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。
如图7所示，电子设备700可以以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730和显示单元740。
存储单元720存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元710可以执行图2和图3中任意一个或多个方法步骤。
存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)721和/或高速缓存存储单元722，还可以进一步包括只读存储单元(ROM)723。
存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724，这样的程序模块725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (14)
1.一种直播互动方法，通过直播观众端的图形用户界面提供真实场景的直播界面，其特征在于，应用于与所述直播观众端通信连接的直播服务端，包括：
接收所述直播观众端的传感数据，及从虚拟场景控制端获取与所述真实场景存在映射关系的虚拟场景；
基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据；
将所述互动数据发送至所述虚拟场景控制端，以使所述虚拟场景控制端执行基于所述互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于所述虚拟场景控制端发送的互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件；
接收所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
2.根据权利要求1所述的方法，其特征在于，所述传感数据至少包括以下任意一种或多种：
倾角传感数据、距离传感数据、声音传感数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据，包括：
根据所述倾角传感数据和所述距离传感数据确定所述虚拟场景的第一互动数据，所述第一互动数据用于触发所述虚拟场景的镜头移动互动事件；
根据所述倾角传感数据、所述距离传感数据和所述声音传感数据确定所述虚拟场景的第二互动数据，所述第二互动数据用于触发所述虚拟场景的互动逻辑事件；
根据所述倾角传感数据确定所述虚拟场景的第三互动数据，所述第三互动数据用于触发所述虚拟场景的声音同步事件。
4.根据权利要求3所述的方法，其特征在于，所述根据所述倾角传感数据和所述距离传感数据确定所述虚拟场景的第一互动数据，包括：
将所述倾角传感数据和所述距离传感数据在所述虚拟场景的目标二维平面的二维坐标轴上映射，得到所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标，并将所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标作为第一互动数据，所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面。
5.根据权利要求3所述的方法，其特征在于，所述根据所述倾角传感数据、所述距离传感数据和所述声音传感数据确定所述虚拟场景的第二互动数据，包括：
在所述虚拟场景的目标二维平面上预先划分多个功能区域；所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面；
将所述倾角传感数据的二维坐标以及所述距离传感数据的二维坐标位于的功能区域作为目标功能区域；
在所述倾角传感数据的标量、所述距离传感数据的标量以及所述声音传感数据的响度满足预设规则时，输出所述目标功能区域的标识数据、所述倾角传感数据的标量、所述距离传感数据的标量和所述声音传感数据的响度，并将所述目标功能区域的标识数据、所述倾角传感数据的标量、所述距离传感数据的标量和所述声音传感数据的响度作为第二互动数据。
6.根据权利要求3所述的方法，其特征在于，所述根据所述倾角传感数据确定所述虚拟场景的第三互动数据，包括：
在所述虚拟场景的所述目标二维平面上预先等分多个网格状区域；所述目标二维平面为直播观众端的直播界面所呈现的真实场景平面在所述虚拟场景中所对应的二维平面；
将所述倾角传感数据在所述多个网格状区域内进行投射，确定投影至各所述网格状区域中的权重数值；
将所述权重数值最大的网格状区域作为目标网格状区域，并将所述目标网格状区域作为第三互动数据。
7.根据权利要求3所述的方法，其特征在于，当所述互动事件为所述虚拟场景的互动逻辑事件时，所述方法还包括：
接收由所述虚拟场景控制端发送的所述互动逻辑事件；
确定所述互动逻辑事件的执行结果，将包含所述互动逻辑事件的所述执行结果的视频流发送至所述直播观众端的所述直播界面。
8.一种直播互动方法，通过直播观众端的图形用户界面提供真实场景的直播界面，其特征在于，应用于虚拟场景控制端，包括：
接收直播服务端发送的与所述真实场景存在映射关系的虚拟场景的互动数据；其中，所述直播服务端基于所述直播观众端针对直播界面的传感数据及所述虚拟场景控制端发送的虚拟场景确定所述互动数据；
执行基于所述互动数据确定的所述虚拟场景的互动事件，以使真实场景控制端基于所述互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件，以使所述直播服务端基于所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
9.根据权利要求8所述的方法，其特征在于，当所述互动事件为所述虚拟场景的互动逻辑事件时，所述方法还包括：
将所述互动逻辑事件发送至所述直播服务端，以使所述直播服务端确定所述互动逻辑事件的执行结果，将包含所述互动逻辑事件的所述执行结果的视频流发送至所述直播观众端的所述直播界面。
10.根据权利要求8所述的方法，其特征在于，所述互动数据包括第一互动数据，所述互动事件包括镜头移动互动事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：
基于第一互动数据，触发所述虚拟场景的镜头移动互动事件，所述第一互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到；
所述互动数据包括第二互动数据，所述互动事件包括互动逻辑事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：
基于第二互动数据，触发所述虚拟场景的互动逻辑事件，所述第二互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到；
所述互动数据包括第三互动数据，所述互动事件包括声音同步事件，所述执行基于所述互动数据确定的所述虚拟场景的互动事件包括：
基于第三互动数据，触发所述虚拟场景的声音同步事件，所述第三互动数据由所述直播服务端根据所述传感数据及所述虚拟场景得到。
11.一种直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面，其特征在于，应用于与所述直播观众端通信连接的直播服务端，包括：
传感数据接收模块，用于接收所述直播观众端的传感数据，及从虚拟场景控制端获取与所述真实场景存在映射关系的虚拟场景；
传感数据处理模块，用于基于所述虚拟场景对所述传感数据进行映射处理，得到所述虚拟场景的互动数据；
互动数据发送模块，用于将所述互动数据发送至所述虚拟场景控制端，以使所述虚拟场景控制端执行基于所述互动数据确定的虚拟场景的互动事件，以及真实场景控制端基于所述虚拟场景控制端发送的互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件；
控制结果接收模块，用于接收所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
12.一种直播互动装置，通过直播观众端的图形用户界面提供真实场景的直播界面，其特征在于，应用于虚拟场景控制端，包括：
互动数据接收模块，用于接收直播服务端发送的与所述真实场景存在映射关系的虚拟场景的互动数据；其中，所述直播服务端基于所述直播观众端针对直播界面的传感数据及所述虚拟场景控制端发送的虚拟场景确定所述互动数据；
互动事件执行模块，用于执行基于所述互动数据确定的所述虚拟场景的互动事件，以使真实场景控制端基于所述互动事件的执行结果，执行所述真实场景中与所述互动事件对应的控制事件，以使所述直播服务端基于所述真实场景控制端对于所述控制事件的控制结果，将包含所述控制结果的直播视频流反馈至所述直播观众端的所述直播界面。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111391791.1A CN114051151B (zh) | 2021-11-23 | 2021-11-23 | 直播互动方法、装置、存储介质与电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111391791.1A CN114051151B (zh) | 2021-11-23 | 2021-11-23 | 直播互动方法、装置、存储介质与电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114051151A true CN114051151A (zh) | 2022-02-15 |
| CN114051151B CN114051151B (zh) | 2023-11-28 |
Family
ID=80211180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111391791.1A Active CN114051151B (zh) | 2021-11-23 | 2021-11-23 | 直播互动方法、装置、存储介质与电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114051151B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994016406A1 (en) * | 1993-01-11 | 1994-07-21 | Ritchey Kurtis J | Improved panoramic image based virtual reality/telepresence audio-visual system and method |
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| US20170186243A1 (en) * | 2015-12-28 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Video Image Processing Method and Electronic Device Based on the Virtual Reality |
| CN108462883A (zh) * | 2018-01-08 | 2018-08-28 | 平安科技（深圳）有限公司 | 一种直播互动方法、装置、终端设备及存储介质 |
| CN108632633A (zh) * | 2018-04-28 | 2018-10-09 | 网易（杭州）网络有限公司 | 一种网络直播的数据处理方法和装置 |
| CN108776544A (zh) * | 2018-06-04 | 2018-11-09 | 网易（杭州）网络有限公司 | 增强现实中的交互方法及装置、存储介质、电子设备 |
| WO2018215502A1 (en) * | 2017-05-23 | 2018-11-29 | Koninklijke Kpn N.V. | Coordinate mapping for rendering panoramic scene |
| CN110124305A (zh) * | 2019-05-15 | 2019-08-16 | 网易（杭州）网络有限公司 | 虚拟场景调整方法、装置、存储介质与移动终端 |
| CN110141855A (zh) * | 2019-05-24 | 2019-08-20 | 网易（杭州）网络有限公司 | 视角控制方法、装置、存储介质及电子设备 |
| CN110519611A (zh) * | 2019-08-23 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、电子设备及存储介质 |
| CN110766788A (zh) * | 2019-10-15 | 2020-02-07 | 三星电子（中国）研发中心 | 将虚拟物体映射到现实世界的方法及装置 |
| CN111277845A (zh) * | 2020-01-15 | 2020-06-12 | 网易（杭州）网络有限公司 | 游戏直播控制方法及装置、计算机存储介质及电子设备 |
| CN112090070A (zh) * | 2020-09-18 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 虚拟道具的交互方法、装置及电子设备 |
| CN113038149A (zh) * | 2019-12-09 | 2021-06-25 | 上海幻电信息科技有限公司 | 直播视频互动方法、装置以及计算机设备 |
| CN113038264A (zh) * | 2021-03-01 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 直播视频处理方法、装置、设备和存储介质 |
| CN113440840A (zh) * | 2021-07-14 | 2021-09-28 | 腾讯科技（深圳）有限公司 | 一种互动方法和相关装置 |
| CN113504867A (zh) * | 2021-06-16 | 2021-10-15 | 广州博冠信息科技有限公司 | 直播交互方法、装置、存储介质及电子设备 |
-
2021
- 2021-11-23 CN CN202111391791.1A patent/CN114051151B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994016406A1 (en) * | 1993-01-11 | 1994-07-21 | Ritchey Kurtis J | Improved panoramic image based virtual reality/telepresence audio-visual system and method |
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| US20170186243A1 (en) * | 2015-12-28 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Video Image Processing Method and Electronic Device Based on the Virtual Reality |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| WO2018215502A1 (en) * | 2017-05-23 | 2018-11-29 | Koninklijke Kpn N.V. | Coordinate mapping for rendering panoramic scene |
| CN108462883A (zh) * | 2018-01-08 | 2018-08-28 | 平安科技（深圳）有限公司 | 一种直播互动方法、装置、终端设备及存储介质 |
| CN108632633A (zh) * | 2018-04-28 | 2018-10-09 | 网易（杭州）网络有限公司 | 一种网络直播的数据处理方法和装置 |
| CN108776544A (zh) * | 2018-06-04 | 2018-11-09 | 网易（杭州）网络有限公司 | 增强现实中的交互方法及装置、存储介质、电子设备 |
| CN110124305A (zh) * | 2019-05-15 | 2019-08-16 | 网易（杭州）网络有限公司 | 虚拟场景调整方法、装置、存储介质与移动终端 |
| CN110141855A (zh) * | 2019-05-24 | 2019-08-20 | 网易（杭州）网络有限公司 | 视角控制方法、装置、存储介质及电子设备 |
| CN110519611A (zh) * | 2019-08-23 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、电子设备及存储介质 |
| CN110766788A (zh) * | 2019-10-15 | 2020-02-07 | 三星电子（中国）研发中心 | 将虚拟物体映射到现实世界的方法及装置 |
| CN113038149A (zh) * | 2019-12-09 | 2021-06-25 | 上海幻电信息科技有限公司 | 直播视频互动方法、装置以及计算机设备 |
| CN111277845A (zh) * | 2020-01-15 | 2020-06-12 | 网易（杭州）网络有限公司 | 游戏直播控制方法及装置、计算机存储介质及电子设备 |
| CN112090070A (zh) * | 2020-09-18 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 虚拟道具的交互方法、装置及电子设备 |
| CN113038264A (zh) * | 2021-03-01 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 直播视频处理方法、装置、设备和存储介质 |
| CN113504867A (zh) * | 2021-06-16 | 2021-10-15 | 广州博冠信息科技有限公司 | 直播交互方法、装置、存储介质及电子设备 |
| CN113440840A (zh) * | 2021-07-14 | 2021-09-28 | 腾讯科技（深圳）有限公司 | 一种互动方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114051151B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111131851B (zh) | 游戏直播控制方法及装置、计算机存储介质、电子设备 | |
| US11025978B2 (en) | Dynamic video image synthesis using multiple cameras and remote control | |
| CN111277845B (zh) | 游戏直播控制方法及装置、计算机存储介质及电子设备 | |
| CN112470482B (zh) | 视频播放方法、装置、终端及存储介质 | |
| CN109107167B (zh) | 游戏中的交互控制方法、电子设备及存储介质 | |
| CN111278518A (zh) | 跨平台交互式流传输 | |
| US10965783B2 (en) | Multimedia information sharing method, related apparatus, and system | |
| CN106303555A (zh) | 一种基于混合现实的直播方法、装置和系统 | |
| CN102595212A (zh) | 与多媒体内容的模拟组交互 | |
| CN113840154A (zh) | 基于虚拟礼物的直播互动方法、系统及计算机设备 | |
| CN114225400A (zh) | 弹幕处理方法及装置、存储介质、电子设备 | |
| CN112511849A (zh) | 一种游戏显示方法、装置、设备、系统及存储介质 | |
| CN114666671B (zh) | 直播点赞互动方法、装置、设备及存储介质 | |
| CN111800661A (zh) | 直播间显示控制方法、电子设备及存储介质 | |
| CN114051151B (zh) | 直播互动方法、装置、存储介质与电子设备 | |
| CN112295233A (zh) | 一种控制权转移的方法和系统 | |
| CN112929685B (zh) | Vr直播间的互动方法、装置、电子设备和存储介质 | |
| CN112714331B (zh) | 信息提示方法和装置、存储介质、电子设备 | |
| CN113727125B (zh) | 直播间的截图方法、装置、系统、介质以及计算机设备 | |
| CN112601170B (zh) | 声音信息处理方法及装置、计算机存储介质、电子设备 | |
| CN114344891A (zh) | 卡牌游戏的显示控制方法及装置、存储介质、电子设备 | |
| CN115243064B (zh) | 一种直播控制方法、装置、设备和存储介质 | |
| CN118433455A (zh) | 游戏直播互动方法、装置、介质、计算设备及程序产品 | |
| CN115150634A (zh) | 直播间信息处理方法及装置、存储介质、电子设备 | |
| CN115714871A (zh) | 直播中的交互方法、装置、存储介质与电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |