CN114143568B - 一种用于确定增强现实直播图像的方法与设备 - Google Patents

一种用于确定增强现实直播图像的方法与设备 Download PDF

Info

Publication number
CN114143568B
CN114143568B CN202111347880.6A CN202111347880A CN114143568B CN 114143568 B CN114143568 B CN 114143568B CN 202111347880 A CN202111347880 A CN 202111347880A CN 114143568 B CN114143568 B CN 114143568B
Authority
CN
China
Prior art keywords
augmented reality
image
live
target object
live image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111347880.6A
Other languages
English (en)
Other versions
CN114143568A (zh
Inventor
谭梁镌
罗剑嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shengpay E Payment Service Co ltd
Original Assignee
Shanghai Shengpay E Payment Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shengpay E Payment Service Co ltd filed Critical Shanghai Shengpay E Payment Service Co ltd
Priority to CN202111347880.6A priority Critical patent/CN114143568B/zh
Publication of CN114143568A publication Critical patent/CN114143568A/zh
Application granted granted Critical
Publication of CN114143568B publication Critical patent/CN114143568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本申请的目的是提供一种用于确定增强现实直播图像的方法与设备，具体包括：接收主播的第一用户设备实时上传的、关于所述主播的直播图像；获取所述第一用户设备上传的、关于所述直播图像的图像增强请求；响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。本申请使得主播可以与虚拟物体产生互动，并在增强现实直播图像中展示主播与虚拟物品的互动，提高展示的生动性和趣味性，提高了直播场景的适应性，提高了用户的使用体验。

Description

一种用于确定增强现实直播图像的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种用于确定增强现实直播图像的技术。
背景技术
直播是在现场架设独立的信号采集设备(音频+视频)导入导播端(导播设备或平台)，再通过网络上传至服务器，发布至网址供人观看。直播吸取和延续了互联网的优势，利用视讯方式进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强活动现场的推广效果。现有直播应用中，主播可以对背景进行一键切换，但是切换后的直播显示效果并不理想。
发明内容
本申请的一个目的是提供一种用于确定增强现实直播图像的方法与设备。
根据本申请的一个方面，提供了一种用于确定增强现实直播图像的方法，应用于网络设备，该方法包括：
接收主播的第一用户设备实时上传的、关于所述主播的直播图像；
获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；
响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；
将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
根据本申请的另一个方面，提供了一种用于确定增强现实直播的方法，应用于第一用户设备，其中，该方法包括：
通过摄像装置实时拍摄关于主播的直播图像；
将所述直播图像上传至对应的网络设备；
基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应。
根据本申请的一个方面，提供了一种用于确定增强现实直播图像的方法，其中，该方法包括：
第一用户设备通过摄像装置实时拍摄关于主播的直播图像，将所述直播图像上传至对应的网络设备；
所述第一用户设备基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；
所述网络设备接收主播的第一用户设备实时上传的、关于所述主播的直播图像；获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
根据本申请的一个方面，提供了一种用于确定增强现实直播图像的网络设备，该设备包括：
一一模块，用于接收主播的第一用户设备实时上传的、关于所述主播的直播图像；
一二模块，用于获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；
一三模块，用于响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；
一四模块，用于将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
根据本申请的另一方面，提供了一种用于确定增强现实直播的第一用户设备，其中，该设备包括：
二一模块，用于通过摄像装置实时拍摄关于主播的直播图像；
二二模块，用于将所述直播图像上传至对应的网络设备；
二三模块，用于基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应。
根据本申请的一个方面，提供了一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得系统进行执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如上任一所述方法的步骤。
与现有技术相比，本申请使得主播可以与虚拟物体产生互动，并在增强现实直播图像中展示主播与虚拟物品的互动，提高展示的生动性和趣味性，提高了直播场景的适应性，提高了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于确定增强现实直播图像的方法流程图；
图2示出根据本申请一个实施例的一种用于确定增强现实直播图像的方法流程图；
图3示出根据本申请一个实施例的一种用于确定增强现实直播图像的系统方法流程图；
图4示出根据本申请一个实施例的一种网络设备的功能模块；
图5示出根据本申请一个实施例的一种用户设备的功能模块；
图6示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请一个方面的一种用于确定增强现实直播图像的方法，应用于网络设备，该方法包括步骤S101、步骤S102、步骤S103以及步骤S104。在步骤S101中，接收主播的第一用户设备实时上传的、关于所述主播的直播图像；在步骤S102中，获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；在步骤S103中，响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；在步骤S104中，将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。所述直播包括在现场随着事件的发生、发展进程同步制作和发布信息，具有双向流通过程的信息网络发布方式，具体包括现场直播、文字直播、图片直播、视频直播、视音频直播等，在此，本申请以视频直播为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于其他包含视频帧或者图像信息的直播方式。
具体而言，在步骤S101中，接收主播的第一用户设备实时上传的、关于所述主播的直播图像。例如，主播持有第一用户设备，第一用户设备可以通过对应的摄像装置实时采集关于主播的直播图像，其中，第一用户设备包括但不限于手机、pad、个人电脑或者摄像机、增强现实眼镜、增强现实头盔等，摄像装置包括不限于摄像头、深度摄像机、红外摄像头或者设备的外接摄像头等。第一用户设备采集对应的实时视频流并通过与网络设备的通信连接上传至网络设备，网络设备接收视频流中的直播图像，其中，直播图像包括拍摄的关于主播的实时视频流中的当前时刻对应的视频帧。
在一些实施方式中，所述第一用户设备包括增强现实设备。例如，所述第一用户设备包括增强现实设备，此时，所述增强现实设备上传的直播图像是该增强现实设备采集到的主播当前观看到的真实环境对应的场景图像。或者当前增强现实设备处于虚拟现实状态，如在当前显示屏幕中现实虚拟画面等，则对应直播图像是增强现实设备中显示的虚拟画面，例如，虚拟游戏的游戏画面等。
在步骤S102中，获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应。例如，第一用户设备可以通过采集装置(如摄像装置、语音输入装置或者触摸装置等)采集关于用户的操作，例如，用户的手势操作、语音信息或者指纹信息、触控操作等，通过将用户的操作与预设指令操作进行比较确定对应的图像增强请求，其中，图像增强请求用于在直播图像中叠加对应的增强现实目标对象以呈现增强现实互动效果等。增强现实请求包括对应的增强标识信息，增强标识信息用于指示用于进行增强现实交互的对象的标识信息，该增强标识信息与主播的当前直播主题相适应，例如，增强现实目标对象的类型信息与当前直播主题的直播类型相同，或者增强标识信息与当前直播主题相同；例如，当前直播主题为某商品的推广直播，则对应增强标识信息为该商品的商品标识信息；当前直播主题为某歌曲的才艺展示直播，则对应增强标识信息为该歌曲的歌曲标识信息。用户设备获取对应图像增强请求后，将其发送至对应的网络设备，供网络设备对直播图像进行虚拟现实以生成对应增强现实直播图像等。
在步骤S103中，响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像。例如，网络设备响应于所述增强标识请求，根据增强标识信息在数据库中匹配确定对应的增强现实目标对象，并将增强现实目标对象叠加显示于直播图像以生成对应的增强现实直播图像；进一步地，根据增强现实标识信息确定对应虚拟背景信息，并基于虚拟背景信息替换对应直播背景等。其中，具体匹配可以是根据大数据统计建立增强标识信息与增强现实目标对象之间的映射关系，从而在数据库中确定与主播上传的增强标识信息相对应的目标对象；还可以是根据主播的历史直播记录建立关于该主播的增强标识信息与增强现实目标对象之间的映射关系，从而在数据库中确定与主播上传的增强标识信息相对应的目标对象等。具体地，例如对应增强标识信息为与推广“羽毛球”的直播主题相适应的羽毛球，则根据羽毛球的增强标识信息可以确定对应对象包括羽毛球、羽毛球拍或者羽毛球场等。网络设备确定对应增强现实目标对象之后，可以将该增强现实目标对象叠加至直播图像中，从而生成对应的增强现实直播图像，例如，用户正在羽毛球场打羽毛球的增强现实直播图像等。
在步骤S104中，将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。例如，网络设备确定对应增强现实直播图像后，将该增强现实直播图像下发至直播对应的观看用户的第二用户设备；在一些实施方式中，网络设备还将该增强现实直播图像发送至第一用户设备，供主播查看对应增强现实效果等；或者网络设备先将增强现实直播图像下发至第一用户设备，第一用户设备呈现该增强现实直播图像，若获取到主播关于该增强现实直播图像的确认操作，则第一用户设备向网络设备发送增强现实确认信息，网络设备基于接收到的增强现实确认信息将该增强现实直播图像下发至一个或多个第二用户设备。
在一些实施方式中，在步骤S103中，响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象；根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像。例如，所述增强标识信息通常包括当前直播主题的类型信息及当前直播的交互对象等，基于增强标识信息可以在数据库中进行精确匹配，确定主播想要叠加至直播图像的增强现实目标对象，其中，所述增强现实目标对象包括与当前直播的交互对象相关的用于在当前直播主题的直播类型下进行交互的互动对象。例如，根据户外直播类型、羽毛球等的增强标识信息确定对应增强现实目标对象为羽毛球场，还如，根据商品推广类型、羽毛球等增强标识信息确定对应增强现实目标对象为羽毛球、羽毛球拍或者羽毛球场等。网络设备确定对应的增强现实目标对象后，将该增强现实目标对象叠加显示于直播图像中，以向观看用户呈现增强现实效果的直播图像，例如，基于用户当前正在打羽毛球的直播图像叠加羽毛球场，从而呈现主播在户外羽毛球场打羽毛球的增强现实效果；还如，基于用户正在直播间推广的羽毛球及用户打羽毛球的姿态信息，叠加显示虚拟的羽毛球、羽毛球拍以及羽毛球场等，从而呈现主播正在打羽毛球的增强现实效果等。在此，所述增强现实目标对象的数量不做限制，可以是一个，也可以是多个等。
在一些实施方式中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：获取所述增强现实目标对象在所述直播图像中的呈现位置信息；在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。例如，为了提高增强现实直播图像的显示效果以及叠加的增强现实目标对象的逼真程度，网络设备先获取各个增强现实目标对象的呈现位置信息，例如，根据直播图像中各物体对象的位置以及主播的动作、语音或者手势等确定增强现实目标对象应该叠加至直播图像的呈现位置信息，其中，呈现位置信息包括该增强现实目标对象呈现于直播图像的图像坐标系中的图像坐标的坐标集合或者坐标中心位置等，其中，该直播图像的图像坐标系可以是以直播图像的左上角为原点，横轴为X轴，竖轴为Y轴的像素坐标系。网络设备可以基于对应呈现位置信息在对应图像位置叠加呈现增强现实目标对象，例如，直接覆盖对应像素位置并显示增强现实目标对象，或者，在对应像素位置以一定透明度显示增强现实目标对象。
在一些实施方式中，所述获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：根据所述直播图像识别所述主播的体态信息；根据所述体态信息确定所述增强现实目标对象的呈现位置信息。所述主播的体态信息包括但不限于主播的身体姿态信息、手势信息等，网络设备基于主播的身体姿态信息可以确定该主播的当前交互操作，并基于当前交互操作确定对应的交互位置信息，基于交互位置信息确定增强现实目标对象在直播图像中的呈现位置信息，例如，网络设备根据主播当前身体微微后仰、扬手击球的身体姿态信息，确定主播当前直播图像中击球的位置，从而将该击球位置确定为羽毛球在直播图像中的呈现位置信息。或者，网络设备基于主播的手势信息可以确定该主播的交互位置信息，并基于交互位置信息确定增强现实目标对象在直播图像中的呈现位置信息，例如，网络设备根据主播指向羽毛球的手势信息，确定主播当前直播图像中用户手势所指的位置，从而将该手势所指的位置确定为羽毛球在直播图像中的呈现位置信息。
在一些实施方式中，所述获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：根据所述直播图像识别所述主播的交互对象的图像位置信息，将所述图像位置信息确定为所述增强现实目标对象的呈现位置信息，其中，所述增强现实目标对象用于在所述增强现实直播图像中替换所述交互对象。在一些情形中，所述直播图像包括对应交互对象，该交互对象可以是待推广的产品，或者主播直播的互动对象等。例如，当前直播的交互对象由于交互对象实际体量太大、主播当前未持有目标对象或者整体不能拆分等原因，不方便或者不能直接将目标对象呈现于直播图像，则主播可以以一个替换对象进行交互来指代目标对象，网络设备可以将增强现实目标对象在替换的交互对象位置进行替换叠加显示，从而达到增强现实效果。其中，网络设备可以直接通过直播图像识别主播当前交互的交互对象，或者基于主播的设置确定对应的替换的交互对象等，网络设备在直播图像中确定交互对象的像素位置，变基于该交互对象的像素位置确定为增强现实目标对象的呈现位置信息，例如，以交互对象的像素中心位置作为增强现实目标对象的中心的呈现位置信息等。在一些情形下，主播想要介绍某一款洗衣机及其内部构造等，则由于成品仅能够观看到外形，则网络设备可以在主播的当前交互对象(如实体洗衣机或者其他替换物体等)的位置叠加一个该款洗衣机的虚拟的内部构造透视图等。
在一些实施方式中，所述响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，还包括：基于所述增强标识信息确定对应的增强现实背景图像；其中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像。例如，网络设备基于增强标识信息可以确定在数据库中匹配确定对应的增强现实背景图像，网络设备设置有背景图像库，图像库中包含多个背景图像记录，每个背景图像记录包括一个背景图像及该背景图像对应的背景关键字段/背景标识信息等。网络设备根据增强标识信息在图像库中匹配确定对应的增强现实背景图像，该增强现实背景图像的背景关键字段/背景标识信息与直播标识信息相同或语义相同等。网络设备确定对应增强现实背景图像后，可以在直播图像中显示增强现实背景图像、增强现实目标对象等，以生成对应地增强现实直播图像。
在一些实施方式中，所述根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像，包括：基于所述增强现实背景图像替换所述直播图像中直播背景，并在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。例如，网络设备获取对应增强现实背景图像后，提取出直播图像中的主播人像区域，并将主播人像区域之外的部分通过增强现实背景图像进行填充，随后将增强现实目标对象叠加显示于呈现位置信息以生成对应增强现实直播图像。其中，所述主播人像区域包括主播对应像素在所述直播图像中像素位置。网络设备获取到对应的直播图像后，利用计算机视觉算法识别或跟踪实时直播图像中主播对应的主播人像区域，如利用对象实例分割算法、轮廓识别等。具体地，当所述直播图像为第一个需要识别主播人像区域的图像信息时，根据预设的主播特征信息识别出直播图像中主播所处的像素区域；或者，当所述直播图像为非首个需要识别主播人像区域的图像信息时，此时我们可以根据该直播图像的前序(如前一帧或多帧)实时直播图像的前序主播人像区域跟踪确定直播图像中的主播人像区域，例如，利用前序直播图像中的前序主播人像区域对直播图像中的主播人像区域进行估计确定估计像素区域，同时对主播人像区域进行识别确定对应的识别像素区域，从而综合估计像素区域和识别像素区域得到较为精确的主播人像区域。其中，所述主播人像区域包括主播在直播图像中对应的像素的像素位置，例如，以直播图像左上角为坐标原点建立对应的像素坐标系，则主播人像区域包括主播对应的像素在该坐标系中的坐标的集合。
在一些实施方式中，所述方法还包括步骤S105(未示出)，在步骤S105中，接收所述第一用户设备上传的、所述主播关于所述增强现实直播图像的交互信息；根据所述交互信息确定对应增强现实目标对象在后续直播图像中的跟踪位置信息；在所述后续直播图像的跟踪位置信息跟踪显示所述增强现实目标对象，以确定后续增强现实直播图像；将所述后续增强现实直播图像下发至所述第二用户设备。例如，步骤S101中实时传输的视频流除了当前视频帧对应直播图像之外，还包括相对于当前视频帧的前序视频帧和后续视频帧等。网络设备接收第一用户设备上传的后续视频帧，并识别增强现实直播图像中的交互信息，所述交互信息包括用户的体态信息、交互对象信息以及当前交互位置信息等，网络设备基于交互信息确定目标对象在后续视频帧中的后续呈现位置信息的先验估计，并结合后续视频帧中用户的后续交互信息确定的后续呈现位置信息，确定跟踪在后续视频帧中跟踪显示增强现实目标对象的跟踪呈现位置信息，进而在后续直播图像中跟踪现实增强现实目标对象，从而提高后续视频帧中目标对象的叠加位置的精确性，为用户带来更好的增强现实显示效果。
在一些实施方式中，所述增强现实直播图像包括对应增强现实目标对象在所述直播图像中的图像位置信息；其中，所述方法还包括步骤S106(未示出)，在步骤S106中，根据所述图像位置信息及所述增强现实设备的摄像装置的坐标变换关系，确定所述增强现实目标对象在所述增强现实设备的显示装置中的显示位置信息；将所述增强显示目标对象及所述显示位置信息发送至所述增强现实设备，以将所述增强现实目标对象叠加显示于所述增强现实设备的显示装置中。例如，增强现实目标对象相对于主播的位置已经确定，则该目标对象的世界坐标已知，例如，直播图像对应的实际场景有个第一坐标系(假设为世界坐标系)，增强现实设备(如增强现实眼镜)的实体摄像头有个三维摄像坐标系，主播的人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个第二坐标系(如二维坐标系)。主播或者目标对象本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维相机坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上第二坐标系的坐标。因此可以计算出目标对象最终在第二坐标系中的第二位置信息，该第二位置信息即为增强现实目标对象呈现于显示装置中的显示位置信息。网络设备确定对应增强现实目标对象及显示位置信息后，将其发送至第一用户的增强现实设备；增强现实设备接收该增强现实目标对象及显示位置信息，并将该该增强现实目标对象显示于显示装置中的显示位置，从而使主播能够看到对应增强现实效果。
图2示出根据本申请一个方面的一种用于确定增强现实直播的方法，应用于第一用户设备，其中，该方法包括步骤S201、步骤S202以及步骤S203。在步骤S201中，通过摄像装置实时拍摄关于主播的直播图像；在步骤S202中，将所述直播图像上传至对应的网络设备；在步骤S203中，基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应。
例如，主播持有第一用户设备，第一用户设备可以通过对应的摄像装置实时采集关于主播的直播图像，其中，第一用户设备包括但不限于手机、pad、个人电脑或者摄像机、增强现实眼镜、增强现实头盔等，摄像装置包括不限于摄像头、深度摄像机、红外摄像头或者设备的外接摄像头等。第一用户设备采集对应的实时视频流并通过与网络设备的通信连接上传至网络设备，网络设备接收视频流中的直播图像，其中，直播图像包括拍摄的关于主播的实时视频流中的当前时刻对应的视频帧。在一些实施方式中，所述第一用户设备包括增强现实设备。例如，所述第一用户设备包括增强现实设备，此时，所述增强现实设备上传的直播图像是该增强现实设备采集到的主播当前观看到的真实环境对应的场景图像。或者当前增强现实设备处于虚拟现实状态，如在当前显示屏幕中现实虚拟画面等，则对应直播图像是增强现实设备中显示的虚拟画面，例如，虚拟游戏的游戏画面等。
第一用户设备可以通过采集装置(如摄像装置、语音输入装置或者触摸装置等)采集关于用户的操作，例如，用户的手势操作、语音信息或者指纹信息、触控操作等，通过将用户的操作与预设指令操作进行比较确定对应的图像增强请求，其中，图像增强请求用于在直播图像中叠加对应的增强现实目标对象以呈现增强现实互动效果等。增强现实请求包括对应的增强标识信息，增强标识信息用于指示用于进行增强现实交互的对象的标识信息，该增强标识信息与主播的当前直播主题相适应，例如，增强现实目标对象的类型信息与当前直播主题的直播类型相同，或者增强标识信息与当前直播主题相同；例如，当前直播主题为某商品的推广直播，则对应增强标识信息为该商品的商品标识信息；当前直播主题为某歌曲的才艺展示直播，则对应增强标识信息为该歌曲的歌曲标识信息。用户设备获取对应图像增强请求后，将其发送至对应的网络设备，供网络设备对直播图像进行虚拟现实以生成对应增强现实直播图像等。
例如，网络设备响应于所述增强标识请求，根据增强标识信息在数据库中匹配确定对应的增强现实目标对象，并将增强现实目标对象叠加显示于直播图像以生成对应的增强现实直播图像；进一步地，根据增强现实标识信息确定对应虚拟背景信息，并基于虚拟背景信息替换对应直播背景等。其中，具体匹配可以是根据大数据统计建立增强标识信息与增强现实目标对象之间的映射关系，从而在数据库中确定与主播上传的增强标识信息相对应的目标对象；还可以是根据主播的历史直播记录建立关于该主播的增强标识信息与增强现实目标对象之间的映射关系，从而在数据库中确定与主播上传的增强标识信息相对应的目标对象等。具体地，例如对应增强标识信息为与推广“羽毛球”的直播主题相适应的羽毛球，则根据羽毛球的增强标识信息可以确定对应对象包括羽毛球、羽毛球拍或者羽毛球场等。网络设备确定对应增强现实目标对象之后，可以将该增强现实目标对象叠加至直播图像中，从而生成对应的增强现实直播图像，例如，用户正在羽毛球场打羽毛球的增强现实直播图像等。网络设备确定对应增强现实直播图像后，将该增强现实直播图像下发至直播对应的观看用户的第二用户设备；在一些实施方式中，网络设备还将该增强现实直播图像发送至第一用户设备，供主播查看对应增强现实效果等；或者网络设备先将增强现实直播图像下发至第一用户设备，第一用户设备呈现该增强现实直播图像，若获取到主播关于该增强现实直播图像的确认操作，则第一用户设备向网络设备发送增强现实确认信息，网络设备基于接收到的增强现实确认信息将该增强现实直播图像下发至一个或多个第二用户设备。
图3示出根据本申请一个方面的一种用于确定增强现实直播图像的方法，其中，该方法包括：
第一用户设备通过摄像装置实时拍摄关于主播的直播图像，将所述直播图像上传至对应的网络设备；
所述第一用户设备基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；
所述网络设备接收主播的第一用户设备实时上传的、关于所述主播的直播图像；获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
上文主要对本申请的一种用于确定增强现实直播图像的方法的各实施例进行了介绍，此外，本申请还提供了能够实施上述各实施例的具体设备，下面我们结合图4、图5进行介绍。
图4示出了本申请一个方面的一种用于确定增强现实直播图像的网络设备，该设备包括一一模块101、一二模块102、一三模块103以及一四模块104。一一模块101，用于接收主播的第一用户设备实时上传的、关于所述主播的直播图像；一二模块102，用于获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；一三模块103，用于响应于所述图像增强请求，基于所述增强标识信息、所述直播图像生成对应的增强现实直播图像；一四模块104，用于将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
在一些实施方式中，所述第一用户设备包括增强现实设备。
在一些实施方式中，一三模块103，用于响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象；根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像。
在一些实施方式中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：获取所述增强现实目标对象在所述直播图像中的呈现位置信息；在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。
在一些实施方式中，所述获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：根据所述直播图像识别所述主播的体态信息；根据所述体态信息确定所述增强现实目标对象的呈现位置信息。
在一些实施方式中，所述获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：根据所述直播图像识别所述主播的交互对象的图像位置信息，将所述图像位置信息确定为所述增强现实目标对象的呈现位置信息，其中，所述增强现实目标对象用于在所述增强现实直播图像中替换所述交互对象。
在一些实施方式中，所述响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，还包括：基于所述增强标识信息确定对应的增强现实背景图像；其中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像。
在一些实施方式中，所述根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像，包括：基于所述增强现实背景图像替换所述直播图像中直播背景，并在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。
在此，所述图4示出的一一模块101、一二模块102、一三模块103以及一四模块104的具体实施方式与前述图1示出的步骤S101、步骤S102、步骤S103以及步骤S104的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，所述设备还包括一五模块(未示出)，用于接收所述第一用户设备上传的、所述主播关于所述增强现实直播图像的交互信息；根据所述交互信息确定对应增强现实目标对象在后续直播图像中的跟踪位置信息；在所述后续直播图像的跟踪位置信息跟踪显示所述增强现实目标对象，以确定后续增强现实直播图像；将所述后续增强现实直播图像下发至所述第二用户设备。
在一些实施方式中，所述增强现实直播图像包括对应增强现实目标对象在所述直播图像中的图像位置信息；其中，所述设备还包括一六模块(未示出)，用于根据所述图像位置信息及所述增强现实设备的摄像装置的坐标变换关系，确定所述增强现实目标对象在所述增强现实设备的显示装置中的显示位置信息；将所述增强显示目标对象及所述显示位置信息发送至所述增强现实设备，以将所述增强现实目标对象叠加显示于所述增强现实设备的显示装置中。
在此，所述一五模块、一六模块的具体实施方式与前述步骤S105、步骤S106的实施例相同或相似，因而不再赘述，以引用的方式包含于此
图5示出根据本申请一个方面的一种用于确定增强现实直播的第一用户设备，其中，该设备包括二一模块201、二二模块202以及二三模块203。二一模块201，用于通过摄像装置实时拍摄关于主播的直播图像；二二模块202，用于将所述直播图像上传至对应的网络设备；二三模块203，用于基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应。
在此，所述图5示出的二一模块201、二二模块202以及二三模块203的具体实施方式与前述图2示出的步骤S201、步骤S202以及步骤S203的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图6示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图6所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (13)

1.一种用于确定增强现实直播图像的方法，应用于网络设备，其中，该方法包括：
接收主播的第一用户设备实时上传的、关于所述主播的直播图像；
获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应，所述增强标识信息包括当前直播主题的类型信息及当前直播的交互对象；
响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，其中，所述增强现实目标对象的类型信息与当前直播主题的直播类型相同，所述增强现实目标对象包括与当前直播的交互对象相关的用于在当前直播主题的直播类型下进行交互的互动对象；
根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，其中，所述增强现实目标对象叠加显示于所述直播图像；
将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
2.根据权利要求1所述的方法，其中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：
获取所述增强现实目标对象在所述直播图像中的呈现位置信息；
在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。
3.根据权利要求2所述的方法，其中，所述获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：
根据所述直播图像识别所述主播的体态信息；
根据所述体态信息确定所述增强现实目标对象的呈现位置信息。
4.根据权利要求2所述的方法，其中，所述步骤获取所述增强现实目标对象在所述直播图像中的呈现位置信息，包括：
根据所述直播图像识别所述主播的交互对象的图像位置信息，将所述图像位置信息确定为所述增强现实目标对象的呈现位置信息，其中，所述增强现实目标对象用于在所述增强现实直播图像中替换所述交互对象。
5.根据权利要求1所述的方法，其中，所述响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，还包括：
基于所述增强标识信息确定对应的增强现实背景图像；
其中，所述根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，包括：
根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像。
6.根据权利要求5所述的方法，其中，所述根据所述增强现实背景图像、所述增强现实目标对象以及所述直播图像生成对应的增强现实直播图像，包括：
基于所述增强现实背景图像替换所述直播图像中直播背景，并在所述直播图像的呈现位置信息显示所述增强现实目标对象，以生成对应的增强现实直播图像。
7.根据权利要求1至4中任一项所述的方法，其中，所述方法还包括：
接收所述第一用户设备上传的、所述主播关于所述增强现实直播图像的交互信息；
根据所述交互信息确定对应增强现实目标对象在后续直播图像中的跟踪位置信息；
在所述后续直播图像的跟踪位置信息跟踪显示所述增强现实目标对象，以确定后续增强现实直播图像；
将所述后续增强现实直播图像下发至所述第二用户设备。
8.根据权利要求1所述的方法，其中，所述第一用户设备包括增强现实设备。
9.根据权利要求8所述的方法，其中，所述增强现实直播图像包括对应增强现实目标对象在所述直播图像中的图像位置信息；其中，所述方法还包括：
根据所述图像位置信息及所述增强现实设备的摄像装置的坐标变换关系，确定所述增强现实目标对象在所述增强现实设备的显示装置中的显示位置信息；
将所述增强现实目标对象及所述显示位置信息发送至所述增强现实设备，以将所述增强现实目标对象叠加显示于所述增强现实设备的显示装置中。
10.一种用于确定增强现实直播的方法，应用于第一用户设备，其中，该方法包括：
通过摄像装置实时拍摄关于主播的直播图像；
将所述直播图像上传至对应的网络设备；
基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应，所述增强标识信息包括当前直播主题的类型信息及当前直播的交互对象，所述网络设备响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，其中，所述增强现实目标对象的类型信息与当前直播主题的直播类型相同，所述增强现实目标对象包括与当前直播的交互对象相关的用于在当前直播主题的直播类型下进行交互的互动对象；根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，其中，所述增强现实目标对象叠加显示于所述直播图像；将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
11.一种用于确定增强现实直播图像的方法，其中，该方法包括：
第一用户设备通过摄像装置实时拍摄关于主播的直播图像，将所述直播图像上传至对应的网络设备；
所述第一用户设备基于所述主播的用户操作，生成关于所述直播图像的图像增强请求，并将所述图像增强请求发送至所述网络设备，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应；
所述网络设备接收主播的第一用户设备实时上传的、关于所述主播的直播图像；获取所述第一用户设备上传的、关于所述直播图像的图像增强请求，其中，所述图像增强请求包括对应的增强标识信息，所述增强标识信息与所述主播的当前直播主题相适应，所述增强标识信息包括当前直播主题的类型信息及当前直播的交互对象；响应于所述图像增强请求，基于所述增强标识信息确定对应的增强现实目标对象，其中，所述增强现实目标对象的类型信息与当前直播主题的直播类型相同，所述增强现实目标对象包括与当前直播的交互对象相关的用于在当前直播主题的直播类型下进行交互的互动对象；根据所述增强现实目标对象及所述直播图像生成对应的增强现实直播图像，其中，所述增强现实目标对象叠加显示于所述直播图像；将所述增强现实直播图像下发至对应第二用户设备，以呈现于所述主播的直播页面，其中，所述第二用户设备包括所述主播的直播页面的观看用户的用户设备。
12.一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至10中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得系统进行执行如权利要求1至10中任一项所述方法的步骤。
CN202111347880.6A 2021-11-15 2021-11-15 一种用于确定增强现实直播图像的方法与设备 Active CN114143568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111347880.6A CN114143568B (zh) 2021-11-15 2021-11-15 一种用于确定增强现实直播图像的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111347880.6A CN114143568B (zh) 2021-11-15 2021-11-15 一种用于确定增强现实直播图像的方法与设备

Publications (2)

Publication Number Publication Date
CN114143568A CN114143568A (zh) 2022-03-04
CN114143568B true CN114143568B (zh) 2024-02-09

Family

ID=80394015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111347880.6A Active CN114143568B (zh) 2021-11-15 2021-11-15 一种用于确定增强现实直播图像的方法与设备

Country Status (1)

Country Link
CN (1) CN114143568B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174385A1 (zh) * 2022-03-18 2023-09-21 郑州泽正技术服务有限公司 利用虚拟场景进行真实社交的方法、系统及ar眼镜

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113405A1 (zh) * 2016-12-19 2018-06-28 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN109963163A (zh) * 2017-12-26 2019-07-02 阿里巴巴集团控股有限公司 网络视频直播方法、装置及电子设备
CN110213613A (zh) * 2018-08-09 2019-09-06 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
US10659848B1 (en) * 2019-03-21 2020-05-19 International Business Machines Corporation Display overlays for prioritization of video subjects
CN111405343A (zh) * 2020-03-18 2020-07-10 广州华多网络科技有限公司 直播互动方法、装置、电子设备及存储介质
CN111641842A (zh) * 2020-05-29 2020-09-08 广州华多网络科技有限公司 直播间中集体活动实现方法、装置、存储介质及电子设备
CN112511739A (zh) * 2020-11-20 2021-03-16 上海盛付通电子支付服务有限公司 互动信息的生成方法和设备
WO2021047430A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN112929678A (zh) * 2021-01-18 2021-06-08 广州虎牙科技有限公司 直播方法、装置、服务端及计算机可读存储介质
CN113329234A (zh) * 2021-05-28 2021-08-31 腾讯科技（深圳）有限公司 直播互动方法及相关设备
CN113365130A (zh) * 2020-03-03 2021-09-07 广州虎牙科技有限公司 直播显示方法、直播视频获取方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061869A (ko) * 2019-11-20 2021-05-28 주식회사 알체라 증강현실 콘텐츠 제작 방법 및 장치
TW202133118A (zh) * 2020-02-21 2021-09-01 四葉草娛樂有限公司 實境模擬全景系統及其方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113405A1 (zh) * 2016-12-19 2018-06-28 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN109963163A (zh) * 2017-12-26 2019-07-02 阿里巴巴集团控股有限公司 网络视频直播方法、装置及电子设备
CN110213613A (zh) * 2018-08-09 2019-09-06 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
US10659848B1 (en) * 2019-03-21 2020-05-19 International Business Machines Corporation Display overlays for prioritization of video subjects
WO2021047430A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN113365130A (zh) * 2020-03-03 2021-09-07 广州虎牙科技有限公司 直播显示方法、直播视频获取方法及相关装置
CN111405343A (zh) * 2020-03-18 2020-07-10 广州华多网络科技有限公司 直播互动方法、装置、电子设备及存储介质
CN111641842A (zh) * 2020-05-29 2020-09-08 广州华多网络科技有限公司 直播间中集体活动实现方法、装置、存储介质及电子设备
CN112511739A (zh) * 2020-11-20 2021-03-16 上海盛付通电子支付服务有限公司 互动信息的生成方法和设备
CN112929678A (zh) * 2021-01-18 2021-06-08 广州虎牙科技有限公司 直播方法、装置、服务端及计算机可读存储介质
CN113329234A (zh) * 2021-05-28 2021-08-31 腾讯科技（深圳）有限公司 直播互动方法及相关设备

Also Published As

Publication number Publication date
CN114143568A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
US11323750B2 (en) Video system and video processing method, device and computer readable medium
US10798363B2 (en) Video file processing method and apparatus
EP3338106B1 (en) Generating objects in real time panoramic video
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
CN110166795B (zh) 一种视频截图方法及装置
US20170225077A1 (en) Special video generation system for game play situation
CN108289231A (zh) 一种融合的全景播放器
CN114143568B (zh) 一种用于确定增强现实直播图像的方法与设备
US10638029B2 (en) Shared experiences in panoramic video
CN113965665A (zh) 一种用于确定虚拟直播图像的方法与设备
CN111163306B (zh) 一种vr视频处理的方法及相关装置
WO2022088908A1 (zh) 视频播放方法、装置、电子设备及存储介质
CN113301413B (zh) 信息显示方法及装置
KR101085718B1 (ko) 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법
CN112929685B (zh) Vr直播间的互动方法、装置、电子设备和存储介质
CN111726701B (zh) 信息植入方法、视频播放方法、装置和计算机设备
CN108985275B (zh) 增强现实设备及电子设备的显示追踪方法和装置
US11902603B2 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
US20240137588A1 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
US20220270368A1 (en) Interactive video system for sports media
WO2021073336A1 (en) A system and method for creating real-time video
KR20210138357A (ko) 현실 인식을 이용한 콘텐츠 재생 방법과 시스템
CN117560549A (zh) 视频播放方法、装置、存储介质、电子设备及计算机程序产品
CN116156208A (zh) 一种用于分享多媒体信息的方法、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant