CN116095356A - 用于呈现虚拟场景的方法、装置、设备和存储介质 - Google Patents
用于呈现虚拟场景的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116095356A CN116095356A CN202310102347.6A CN202310102347A CN116095356A CN 116095356 A CN116095356 A CN 116095356A CN 202310102347 A CN202310102347 A CN 202310102347A CN 116095356 A CN116095356 A CN 116095356A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- scene
- virtual scene
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002453 shampoo Substances 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
根据本公开的实施例,提供了一种用于呈现虚拟场景的方法、装置、设备和存储介质。在此描述的方法包括:接收虚拟直播应用的第一用户访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户当前所处的物理场景,物理场景包括物理对象;基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象;以及基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。基于以上的方式,本公开的实施例,用户可接入关联于其他用户的物理场景的虚拟场景,以感知其他用户所处的物理场景,提升交互体验。
Description
技术领域
本公开的示例实施例总体涉及计算机领域,特别地涉及用于呈现虚拟场景的方法、装置、电子设备和计算机存储介质。
背景技术
近年来,扩展现实(Extended Reality,简称XR)得到广泛研究和应用。XR通过利用硬件设备和多种技术手段的结合,将虚拟内容和真实场景进行融合,为用户提供独特的感官体验。XR例如包括虚拟现实(Virtual Reality,简称VR)、增强现实(Augmented Reality,简称AR)、混合现实(Mix Reality,简称MR)等。
VR是利用计算机模拟三维空间的虚拟场景,为用户提供视觉、听觉、触觉等方面的沉浸式体验。AR使得真实环境和虚拟对象实时叠加到同一个空间并同时存在。MR是融合物理场景和虚拟场景的新的可视化环境,物理场景中的对象与虚拟场景中的对象实时共存。此时,如何呈现虚拟场景进而提高用户体验,成为一个研究热点。
发明内容
在本公开的第一方面,提供了一种用于呈现虚拟场景的方法。该方法包括:接收虚拟直播应用的第一用户访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户当前所处的物理场景,物理场景包括物理对象。进一步地,基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。进一步地,基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。
在本公开的第二方面中,提供了一种用于呈现虚拟场景的装置。该装置包括:接收模块,被配置为接收虚拟直播应用的第一用户访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户当前所处的物理场景,物理场景包括物理对象。该装置进一步包括:第一呈现模块,被配置为基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。该装置进一步包括:第二呈现模块,被配置为基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。
在本公开的第三方面,提供了一种电子设备,包括:存储器和处理器;其中存储器用于存储一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。
在本公开的第四方面,提供了一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了其中可以实施根据本公开的实施例的示例环境的示意图;
图2A至图2F分别示出了根据本公开的一些实施例的用于呈现虚拟场景的示例的示意图;
图3示出了根据本公开的一些实施例的用于呈现虚拟场景的过程的流程图;
图4示出了根据本公开的一些实施例的用于呈现虚拟场景的装置的示意性结构框图;以及
图5示出了能够实施本公开的多个实施例的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限制性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式,例如可以是弹出窗口的方式,弹出窗口中可以以文字的方式呈现提示信息。此外,弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其他满足相关法律法规的方式也可应用于本公开的实现方式中。
术语“响应于”表示相应的事件发生或者条件得以满足。将会理解,响应于该事件或者条件而被执行的后续动作的执行时机,与事件发生或者条件满足的时间,这二者不一定是强关联的。在某些情况下,后续动作可在事件发生或者条件成立时立即被执行;在另一些情况下,后续动作也可在事件发生或者条件成立后经过一段时间才被执行。
在本公开的实施例的描述中,术语“虚拟场景”包括但不限于“XR”、“VR”、“AR”和“MR”等技术实现的虚拟场景。应当理解,术语“虚拟场景”可以是由“XR”、“VR”、“AR”和“MR”中的任何一种,也可以是其任意组合来实现。
如前文所简要提及的,扩展现实技术可通过生成虚拟场景,并允许用户加入虚拟场景的方式为用户提供交互。例如,这样的虚拟场景为虚拟会议场景,用户通过由虚拟场景生成设备生成的虚拟化身加入虚拟会议场景进行讨论。又例如,这样的虚拟场景为虚拟直播间,虚拟场景生成设备生成主持人的虚拟化身后,主持人在虚拟直播间中为听众推荐、介绍产品。由此,用户之间可达到一种身临其境的交互体验。
目前已经开发出了基于视频的虚拟直播间应用,观众可以实时地观看直播间的视频,然而观众并不能实时地浏览直播间和产品的三维效果。虽然可以为产品建立三维模型并且在虚拟直播间中呈现,然而,虚拟直播间提供的交互方式极为有限并且用户仅能从特定角度观看直播画面,这导致用户并不能实时地了解直播间和产品的详细信息。尤其是当产品尺度较大(例如,家具、电器、房屋,等等)时,用户难以感受到产品的整体信息。此时,期望可以在虚拟直播间中按照用户交互向用户提供更为丰富的信息。
有鉴于此,本公开的实施例提供了一种用于呈现虚拟场景的方案。根据该方案,接收虚拟直播应用的第一用户(例如,观众)访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户(例如,主持人)当前所处的物理场景,物理场景包括物理对象。进一步地,基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。进一步地,基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。
以此方式,本公开的实施例能够生成关联于第二用户当前所处的物理场景、物理场景中含有的物理对象的虚拟场景。由此第一用户可通过接入虚拟场景的方式对第二用户所处的物理场景、物理场景中存在的物理对象进行感知、体验,为第一用户提供接近于在物理场景中与第二用户、物理对象进行交互的交互感。在此基础上,还可以根据第一用户在虚拟场景的位姿相应地调整针对第一用户的呈现内容,进一步增强第一用户在虚拟场景中的交互体验。
示例环境
首先参见图1,其示出了其中可以实施根据本公开的实施例的示例环境的示意图。
如图1所示,环境100可以包括物理场景110,服务器120以及电子设备130,并且第一用户(例如,用户140)可以访问物理场景110的相应虚拟场景150。这样的物理场景110为第二用户(例如,用户113)所处的物理场景。例如,在第二用户为主持人的情况下,这样的物理场景110例如直播间。物理场景110中还包括采集设备111,采集设备111用于采集物理110的测量数据112。这样的采集设备111例如,单独的可见光图像采集设备、点云数据采集设备、红外图像采集设备等,或上述各类型的采集设备的组合。相应地,采集设备111采集到的测量数据可以例如,全景图像、三维点云数据、红外图像等。采集设备111可将采集到的测量数据112发送至服务器120,以供服务器120利用测量数据112生成第一场景110的虚拟场景,例如虚拟场景150。在一些实施例中,采集设备111还包括音频采集设备,例如,麦克风。由此,采集设备111采集物理场景110中的音频数据后为服务器120提供。相应地,使得服务器120生成的虚拟场景(例如,虚拟场景150)中还可包括物理场景110中的音频,进一步提升虚拟场景(例如,虚拟场景150)对于物理场景110的还原质量。
服务器120可以与采集设备,例如采集设备111进行通信,以接收测量数据(例如,测量数据112)后,基于测量数据生成虚拟场景(例如,虚拟场景150)。比如用于图像或数据处理的服务器、计算节点等。例如,服务器120利用可见光图像采集设备采集物理场景110的全景图像生成虚拟场景150。例如,服务器120利用可将光图像采集设备到的全景图像和点云数据采集设备采集三维点云数据生成虚拟场景150。
在一些实施例中,服务器120可将生成的虚拟场景(例如,虚拟场景150)关联至应用(例如,虚拟直播应用),以便于用户通过使用应用的方式接入虚拟场景。
电子设备130可与为用户140所使用,为用户140呈现虚拟场景(例如,虚拟场景150),这样的电子设备130例如头戴式显示器、智能眼镜等。电子设备130在与服务器120进行通信后(例如,电子设备130向服务器120发送访问虚拟场景的访问请求,例如用户140使用电子设备中的虚拟直播应用发送针对虚拟场景的访问请求),电子设备130可接收生成用于呈现虚拟场景的数据(例如,服务器120在上述访问请求后,向电子设备130发送的用于呈现虚拟场景的数据)后,为用户140呈现虚拟场景(例如,虚拟场景150)。在一些实施例中,在电子设备130的处理能力满足要求的情况下(例如,图像处理能力、三维重建能力、渲染能力等),电子设备130也可与采集设备111直接进行通信以获取测量数据112,继而基于测量数据112生成虚拟场景150。在此情况下,电子设备130也可与服务器120集成在一起,利用电子设备130实现服务器120的所有功能。
进一步地,电子设备130可被用户140用于在虚拟场景150中的交互。例如,电子设备130可根据用户140的操作,切换用户140在虚拟场景150中的位姿,或者说,调整呈现给用户140的虚拟场景150的内容。例如,在电子设备130当前为用户140呈现虚拟场景150中第一空间位置的内容的情况下,电子设备130可根据用户140的操作,例如调整至虚拟场景150中第二空间位置,相应地为用户140呈现虚拟场景150中第二空间位置的内容。
为方便说明,下文中仅以电子设备130作为为用户呈现虚拟场景(例如,虚拟场景150)的、实现用于呈现虚拟场景的方法的执行主体进行示例性说明。
应当理解,仅出于示例性的目的描述环境100的结构和功能,而不暗示对于本公开的范围的任何限制。以下将继续参考附图描述本公开的一些示例实施例。
示例生成虚拟场景
如上述说明的,在虚拟直播间应用中,通常可利用虚拟场景生成设备中预先配置的预存虚拟场景以及预存虚拟对象生成虚拟场景。例如,虚拟场景生成设备在为用户提供虚拟直播间的情况下,调用例如预存的商场、摊位场景,以及例如预存的商品。
但在此方式中,因预存虚拟场景、预存虚拟对象需要占用大量的存储资源,难以同时预存过多的预存虚拟场景。相应地,虚拟场景生成设备为用户所提供的预存虚拟场景、预存虚拟对象可能与用户预期存在较大差异,十分影响虚拟场景中的用户交互体验。
为了使得为第一用户提供的虚拟场景与第二用户当前所处的物理场景相关联,使得第一用户可基于虚拟场景实现与第二用户在第二用户当前所处的物理场景中近似的交互体验。本公开的实施例能够基于第二用户所处物理场景的测量数据来生成包括第一用户的虚拟形象、以及该物理场景中物理对象的虚拟对象的虚拟场景。第一用户可通过接入虚拟场景的方式,对第二用户所处的物理环境包括的物理对象进行感知、体验。
在一些实施例中,这样的物理场景可以是直播间,例如,由主持人在线为观众进行实体商品(例如,帽子,洗发水等)介绍、推荐的三维物理空间。相应地,在物理场景为直播间的情况下,第二用户可以为主持人间的主持人,第一用户可以为观看直播、收听主持人讲解的观众。进一步地,这样的虚拟场景是基于三维模型的虚拟场景。由此,观众可通过接入虚拟场景的方式,“身临其境”的直播间在收看直播,并利用虚拟对象中实时、直观地对主持人介绍的商品观看、感知,对主持人讲解的内容有更直观的了解。
在一些实施例中,这样的物理场景可以是房屋,例如,商品房、出租房等,例如,由房屋出售方(例如,房屋所有人、房屋中介等)在待出售的房屋中,实时地为观众进行房屋介绍。相应地,在物理场景为房屋的情况下,第二用户可以为房屋出售方,第一用户可以为期望购买房屋、了解房屋的观众。进一步地,这样的虚拟场景是基于三维模型的虚拟场景。由此,观众可通过接入虚拟场景的方式,“身临其境”的感受房屋的布局、房屋中的家具陈列等。相应地,观众可通过在虚拟场景中的观察、走动来了解房屋的布局、房屋内的家具,对房屋有更好的了解。
图2A示出了本公开的一些实施例的虚拟场景的示例200A的示意图。这样的虚拟场景,例如可以包括虚拟场景150。进一步,这样的虚拟场景例如可以包括但不限于:各种类型的虚拟现实场景、增强现实场景、混合现实场景或仿真场景等。
为便于讨论,将至少参考图1的环境100进行描述。服务器120获取物理场景的测量数据。在本公开的实施例中,服务器120设备从物理场景中布置的采集设备中获取物理场景的测量数据。这样的测量数据,例如上述讨论的全景图像、三维点云数据等。物理场景中包括第二用户(例如,用户113)和物理对象,例如,在物理场景为直播间的情况下,该第二用户可以为直播间的主持人,物理对象可以为主持人正在介绍、曾经介绍以及未来介绍的实体商品。例如,在物理场景为房屋的情况下,该第二用户可以为房屋中介,物理对象可以房屋中包括的家具。
在一些实施例中,可基于物理场景中所包括的固定对象(例如,墙壁、桌子、椅子、吊灯等)等确定采集基准点,以便于后续服务器120利用采集基准点快速地确定物理场景的空间布局(例如,房屋中各房间的空间形状,房屋内的家具摆放位置等)。在一些实施例中,服务器120获取到采集设备采集到的测量数据后,还可基于测量数据生成各物理对象的物理尺寸,以便于后续基于物理尺寸等尺寸的生成物理对象对应的虚拟对象,从而使用虚拟对象更好地、准确地对物理对象进行还原。
示例性地,以物理场景为直播间为例,参考图2A。在图2A中,服务器120可从采集设备111中获取物理场景110的测量数据112。物理场景110中包括主持人211、主持人211正在推荐的帽子212以及吊灯214。
进一步地,服务器120基于测量数据生成关联于物理场景的虚拟场景。在本公开的实施例中,服务器120基于获取的测量数据生成关联于物理场景的虚拟场景,该虚拟场景包括关联于物理对象的虚拟对象以及关联于第二用户的虚拟形象。在一些实施例中,服务器120基于物理对象的真实纹理、物理形状以及物理尺寸生成物理对象的虚拟对象,以便于用户通过虚拟对象的方式便可直接观察到与虚拟对象相关联物理对象的信息。在一些实施例中,在第二用户预先上传关联于物理对象的第一描述信息(例如,物理对象的外观图像、物理形状、物理尺寸)的情况下,服务器120也可预先基于描述信息生成初始虚拟对象模型。相应地,服务器120在获取到测量数据后,利用测量数据中关联于物理对象的第二描述信息(例如,环境光信息、贴图信息等)对初始虚拟对象模型进行处理,以生成虚拟对象。由此,提高虚拟对象的生成效率。
在一些实施例中,服务器120可根据测量数据关联于第二用户的第三描述信息(例如,人脸图像、形体模型等)生成虚拟人物形象作为第二用户的虚拟形象。在一些实施例中,服务器120也可预先配置的不同类型的虚拟形象,例如虚拟动物形象、虚拟主持人形象等。相应地,服务器120可根据第二用户的选择,从预先配置的虚拟形象中选择第二用户的虚拟形象。由此,兼顾根据第二用户的实际需求例如还原性需求或趣味性需求,合理地选择第二用户的虚拟形象。例如,在虚拟直播间场景下,服务器120可选择关联于第二用户(例如,主持人)的虚拟主持人这一形象,作为第二用户的虚拟形象。
示例性地,参考图2A,服务器120可生成虚拟场景150。虚拟场景150包括关联于主持人211的虚拟形象221,关联于帽子212的虚拟帽子222。在一些实施例中,虚拟场景150中还包括用于放置虚拟帽子222的虚拟桌子、以及关联于物理场景110中吊灯214的虚拟吊灯(图中未示出)。
在一些实施例中,在接收到第二用户的音频数据的情况下,在虚拟场景中提供音频数据。具体地,服务器120在获取到的测量数据中存在第二用户的音频数据(例如,主持人、房屋中介的讲解音频)的情况下,还可在生成的虚拟场景中提供该音频数据。以此方式,进一步提升虚拟场景(例如,虚拟场景150)对于物理场景110的还原质量。在一些实施例中,服务器120还可关联于虚拟形象播放音频数据,并适应性地对提供音频数据的播放范围、音量大小进行调整,以进一步地还原物理场景110中第二用户的说话情形。
示例性地,参考图2A,服务器120在采集到主持人211正在对帽子212进行讲解的音频数据211(例如,“帽子A,XXX”)的情况下,还可关联于虚拟形象221播放音频数据223。
在一些实施例中,可以实时地采集测量数据,如果接收到物理场景的更新的测量数据,基于更新的测量数据来确定物理场景的变化。进一步地,基于变化来更新虚拟场景。具体地,服务器120在接收到物理场景的更新的测量数据的情况下。例如,服务器120使用的测量数据是采集设备111连续采集物理场景110中的全景视频流(备选地和/或附加地,可以进一步包括深度数据),服务器120可基于全景视频流中的内容更新,确定物理场景,或者说物理对象变化。进一步地,服务器120可基于物理场景的更新来对虚拟场景进行对应性的调整,以使用物理场景的变化。由此,可跟随物理场景的变化实时对虚拟场景进行调整,同步虚拟场景与物理场景,保证用户的交互体验。
图2B示出了本公开的一些实施例的虚拟场景的示例200B的示意图。示例性地,可参考图2B,在图2B中,在物理场景110中的物理对象发生变化的情况下,例如主持人211放置于面前、正在讲解的产品由帽子212变为洗发水215的情况下。服务器120可相应地将虚拟场景150中的虚拟帽子222更新为虚拟洗发水226,以跟随主持人211所讲解的商品的变化对虚拟场景150进行调整。
在一些实施例中,服务器120在生成虚拟场景后,可将虚拟场景与应用进行关联,例如,将上述图2B中生成的虚拟场景150与虚拟直播应用进行关联,以便于用户(例如,用户130)通过电子设备130中设置的应用对虚拟场景150进行访问。
示例交互
服务器(例如,服务器120)可接收由用户(例如,用户140)所使用的电子设备(例如,电子设备130)发送的访问虚拟场景(例如,虚拟场景150)的请求,以访问例如上述讨论的虚拟场景。在本公开的实施例中,服务器120可接收用户使用电子设备发送的访问虚拟场景的请求,例如,用户使用电子设备中虚拟直播应用的虚拟场景呈现功能。示例性地,可参考图1,服务器120可接收用户140使用电子设备130中虚拟直播应用发送的访问虚拟场景(例如,虚拟场景150)的请求。在一些实施例中,这样的虚拟场景关联于虚拟直播应用的第二用户(例如,主持人)当前所处的物理场景(例如,直播间110)。
进一步地,服务器120基于上述的请求来向第一用户呈现虚拟场景。在本公开的实施例中,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。示例性地,这样的虚拟场景可以参考图2A中的虚拟场景150,其中包括关联于第二用户的虚拟形象221和关联于物理对象的虚拟对象225。
在一些实施例中,由第一用户穿戴的穿戴式电子设备呈现更新的虚拟场景。具体地,第一用户(例如,用户140)可利用穿戴式电子设备(例如,电子设备130,例如,头戴式显示器、智能眼镜等)向服务器120发送访问请求。服务器120根据穿戴式电子设备发送的访问请求,向穿戴式电子设备返回用于呈现虚拟场景的数据。穿戴式电子设备基于服务器120返回的数据,向第一用户呈现虚拟场景。由此,第一用户可通过使用的穿戴式电子设备,实现与关联于包括虚拟第一用户和物理对象的物理场景的虚拟场景的接入、交互。
示例性地,参考图2A,电子设备130可呈现图2A示例的虚拟场景150给用户140。用户140可通过虚拟场景150了解物理场景110中的情况。例如,在物理场景为直播间的情况下,用户140可通过在虚拟场景150,在“身临其境”的直播间中收看直播,并利用虚拟对象中实时、直观地对主持人介绍的商品观看、感知,对主持人讲解的内容有更直观的理解。
进一步地,电子设备130基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。在本公开的实施例中,电子设备130可根据位姿确定为第一用户呈现的虚拟场景的内容,并根据第一用户的切换请求调整位姿后,更新虚拟场景中的内容(例如,电子设备130根据第一用户从当前位姿切换至目标位姿的请求,对应地更新虚拟场景)。在一些实施例中,这样的位姿包括位置和朝向。在一些实施例中,位置可基于视点(例如,电子设备130配置的虚拟场景下第一用户的观察位置)确定。在一些实施例中,朝向可基于第一用户的视野朝向确定,例如,在空间坐标系中与参考坐标轴(例如,x、y、z轴)的夹角,在载体坐标系中的欧拉角(例如,俯仰角Pitch,偏航角Yaw,以及翻滚角Roll)。例如,位置为虚拟直播间中的桌子边缘位置的情况下,电子设备130可基于该位置,选择虚拟场景中一定范围(例如,整个桌面)对应的内容来呈现。进一步地,电子设备130可根据用户对于位置的调整,例如,电子设备130根据第一用户的移动、输入的移动坐标等确定用户期望前往的位置后相应地进行移动。进一步地,电子设备130可根据第一用户切换的位置,对向第一用户提供的虚拟场景进行更新,以为第一用户呈现更新的虚拟场景。例如,电子设备130根据第一用户所处的位姿(例如,房屋内的各同房间)为第一用户呈现虚拟场景中各房间所处空间的内容。由此,根据第一用户的位置变化对虚拟场景所呈现的内容进行调整,为第一用户提供与物理场景同样的交互体验。
示例性地,可参考图2C,图2C示出了本公开的一些实施例的虚拟场景的示例200C的示意图。图2C中,在用户140切换的位置为虚拟场景中第二用户的虚拟形象221的左侧的情况下,电子设备130相应地对虚拟场景150,以使得呈现内容与用户140在左侧观察第二用户211的情况相符。
在一些实施例中,向第一用户呈现更新的虚拟场景包括:基于第一用户的位姿确定第一用户在虚拟场景中的视野区域。进一步地,向第一用户呈现虚拟场景中的视野区域内的部分为了向第一用户呈现虚拟场景,基于第一用户的位姿确定第一用户在虚拟场景中的视野区域。具体地,电子设备130可根据第一用户的位姿确定第一用户在虚拟场景中的视野区域,例如,基于第一用户在虚拟场景中的位姿确定第一用户在虚拟场景中的视野区域。在一些实施例中,电子设备130还可预先视野距离和/或参数,以便于确定第一用户的位姿后,基于视野距离和/或参数和第一用户的位置确定目标视野区域。进一步地,电子设备130向第一用户呈现虚拟场景中的视野区域内的部分。由此,可基于第一用户的可视范围确定虚拟场景中呈现、渲染的内容,减小电子设备130的运算压力。
示例性地,参考图2A,电子设备130在确定用户140的视野区域后,仅将虚拟场景150中该视野区域内的内容呈现给用户140。例如,在关联于吊灯214的虚拟对象位于该视野区域外的情况下,服务器120不在虚拟场景150中呈现关联于吊灯214的虚拟对象。
在一些实施例中,电子设备130在接收到第一用户与虚拟对象的交互请求的请下,获取物理对象的预存虚拟对象。进一步地,利用预存虚拟对象替换虚拟场景中的虚拟对象。具体地,用户140可通过电子设备130在虚拟场景(例如,虚拟场景150)中进行交互。在一些实施例中,虚拟场景还可为用户140提供图标对象,以便于利用图标图像与虚拟场景中的虚拟对象进行交互。例如,提供虚拟手部图标,以便于用户140通过控制手部图标的方式选择虚拟对象,以及移动虚拟对象等交互操作。
进一步地,在用户140与虚拟对象存在交互的情况下,例如用户140选择了虚拟对象(例如,直播间中正在讲解的商品、房屋内陈列的家具),电子设备130获取物理对象的预存虚拟对象。预存虚拟对象为预先配置的,相较于虚拟环境当前中呈现的虚拟对象更为完整、清晰的虚拟对象。由此,可直播初始阶段生成分辨率、质量较低的虚拟对象。在存在预存虚拟对象的情况下,并在用户选择期望了解的虚拟对象的情况下,再将细节更为丰富、质量较高的预存虚拟对象呈现给用户,以便向用户提供更为丰富的视觉信息。
示例性地,可参考图2D,图2D示出了本公开的一些实施例的虚拟场景的示例200D的示意图。在图2D示例的虚拟环境150中,虚拟环境中还呈现有供用户140操作的手部图标224。进一步地,电子设备130在检测到用户140通过手部图标224选择虚拟帽子222后,将虚拟帽子222更新为预存虚拟帽子225。
在一些实施例中,预存虚拟对象的精度高于虚拟对象的精度。具体地,在生成高精度的预存虚拟对象期间,服务器120可利用高精度采集设备来获取测量数据,并且对物理对象进行建模,以便于利用更高精度的测量数据生成精度更高的预存虚拟对象。例如,可预先配置一个高精度采集物理空间,例如这样的高精度采集物理空间中配置有精度更高的采集设备。相应地,主持人或者商品的提供商等相关人员,可将实体商品放入该高精度采集物理空间中采集测量数据,由此得到上述更高精度的测量数据,并以此生成预存虚拟对象。这样的预存虚拟对象的精度高于虚拟对象。由此,可通过这样的方式,预先对物理对象进行高精度的信息采集,以便于为观众(第一用户)提供质量更高的(预存)虚拟对象,更好的对物理对象进行还原。
在一些实施例中,电子设备130还可根据第一用户选择的虚拟对象对虚拟对象执行例如放大功能,以便于第一用户更好的观察虚拟对象的细节。
在一些实施例中,服务器120还可根据第一用户在虚拟场景的其他操作,相应地在虚拟场景中配置特效,以增强互动性。这样的其他操作例如发送礼物操作,例如选择第二用户的虚拟形象以发送特效的操作。例如,服务器120可通过发送礼物的方式,为改变第二用户的虚拟形象,例如在原有的第二用户的虚拟形象上添加“特效眼镜”、“特效面具”。
在一些实施例中,电子设备130还可在虚拟场景中提供关联于第一用户的虚拟形象。具体地,电子设备130可在向第一用户呈现虚拟场景的情况下,进一步地在该虚拟场景中提供关联于该第一用户的虚拟形象。由此,用户可利用虚拟形象在虚拟场景实现更多元的交互,例如用户可利用虚拟形象在虚拟场景中进行走动以更好的观察虚拟场景(例如,直播间)的空间布局,与其他用户的虚拟形象进行交互等,以提升第一用户的交互体验。在一些实施例中,这样的虚拟形象如第一虚拟形象类似,同样可由电子设备130根据第一用户的第四描述信息(例如,人脸图像、形体模型等)生成虚拟人物形象作为第一用户的虚拟形象,也可根据第一用户从预先配置的虚拟形象中进行选择,例如,虚拟动物形象、虚拟观众形象等。
在一些实施例中,为了提供虚拟形象,电子设备130可基于第一用户的位姿,确定虚拟形象的位姿。进一步地,在虚拟场景中根据位姿来呈现虚拟形象。具体地,在电子设备130为第一用户提供虚拟形象的情况下,可基于第一用户的位姿确定虚拟形象的位姿(例如,上述讨论的包括位置和朝向的位姿。在此情况下,例如将视点位置调整虚拟形象在虚拟场景中的位置),以及在虚拟场景中根据位姿来呈现虚拟形象。
由此,可通过捕获第一用户的位姿的方式调整虚拟形象的位置,实现第一用户与虚拟形象的同步联动,使得第一用户可利用虚拟形象更好的在虚拟场景中进行交互。例如,控制虚拟形象在虚拟场景(例如,直播间、房屋中的各房间)中进行走动,虚拟形象的状态(例如,站立、坐、蹲、身体朝向等),例如,在虚拟直播间中从多个角度观察虚拟对象。在一些实施例中,电子设备130可基于虚拟形象的位姿来确定上述讨论的视野区域,以更好的还原第一用户的观察状态。
示例性地,可参考图2E,图2E示出了本公开的一些实施例的虚拟场景的示例200E的示意图。在图2E中,电子设备130可基于用户140的位姿变化,将第二虚拟形象由位置223调整至位置233,并对虚拟形象231的观察位姿进行调整(例如,调整虚拟形象231的身体朝向)。
在一些实施例中,如果接收到第一用户与虚拟对象的交互请求,基于交互请求改变虚拟对象在虚拟场景中的位姿。具体地,在电子设备130接收到第一用户与虚拟对象的交互请求的情况下,这样的交互请求指示第一用户期望与虚拟对象发生的交互操作。例如,拿起虚拟对象、试穿虚拟对象,改变虚拟对象的朝向,删除虚拟对象等。进一步地,电子设备130基于交互请求改变虚拟对象在虚拟场景中的位姿(例如,上述讨论的包括位置和朝向的位姿,在此情况下,例如将视点位置调整第二虚拟形象在虚拟场景中的位置)。
例如,在交互请求为试穿帽子的情况下,130可将虚拟对象(例如,虚拟帽子222)在虚拟场景(例如,虚拟场景150)中的位置中的位置改变为第一用户的虚拟形象(例如,虚拟形象231)的头部。在一些实施例中,电子设备130还可以设置虚拟对象(虚拟帽子222)的位姿与第一用户的虚拟形象(例如,虚拟形象231)关联地改变。例如,虚拟形象产生跳动位姿的情况下,虚拟帽子一并进行上下的移动。由此,可在虚拟场景为第一用户提供物理场景中的同样的交互体验,以便于用户实现虚拟对象的试穿、调整等功能,方便用户更好的了解虚拟对象。
在一些实施例中,虚拟场景还包括虚拟镜,在此情况下可以在虚拟镜中呈现第一用户的虚拟形象与虚拟对象的组合的镜像。具体地,服务器120还可在虚拟场景中配置虚拟镜,虚拟镜可用于呈现第二虚拟形象与虚拟对象的组合的镜像。电子设备130在第一用户切换的目标位姿关联于虚拟镜的情况下(例如,第一用户操作虚拟形象进入关联于虚拟镜的区域、选择虚拟镜等),利用虚拟镜中呈现关联于第一用户的虚拟形象与虚拟对象的组合的镜像。由此,便于用户利用虚拟镜观察第二虚拟形象与虚拟对象的组合的镜像,呈现试穿效果。相应地,辅助用户进行决策,判断是否购买与虚拟对象对应的物理对象,例如,判断是否购买虚拟帽子对应的帽子。
示例性地,可参考图2F,图2F示出了本公开的一些实施例的虚拟场景的示例200F的示意图。在图2F中,虚拟场景150还包括虚拟镜240。用户140可通过选择虚拟帽子222、试戴虚拟帽子222的交互请求后,电子设备130配置虚拟形象231和虚拟帽子222的组合形象。进一步地,用户140可通过控制虚拟形象231使用虚拟镜240,例如,控制虚拟形象移动至虚拟镜240面前一定范围的区域内,或者选择虚拟镜240。相应地,电子设备130控制在虚拟镜240中呈现虚拟形象231和虚拟帽子222的组合形象,以便于用户140观察虚拟帽子222的试戴效果,以辅助用户140决定是否购买帽子212。
由此,本公开的实施例能够生成关联于第二用户当前所处的物理场景、物理场景中含有的物理对象的虚拟场景。由此第一用户可通过接入虚拟场景的方式对第二用户所处的物理场景、物理场景中存在的物理对象进行感知、体验,为第一用户提供接近于在物理场景中与第二用户、物理对象进行交互的交互感。在此基础上,还可以根据第一用户在虚拟场景的位姿相应地调整针对第一用户的呈现内容,进一步增强第一用户在虚拟场景中的交互体验。
示例过程
图3示出了根据本公开的一些实施例的用于呈现虚拟场景的过程300的流程图。示例性地,过程300可以由图1的电子设备110独立实现,或者由电子设备110与其他计算设备的组合来实现。为了方便讨论,将结合图1来描述过程300。
如图3所示,在框310,电子设备130,接收虚拟直播应用的第一用户访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户当前所处的物理场景,物理场景包括物理对象。
在框320,电子设备130基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。
在框330,电子设备130基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。
在一些实施例中,电子设备130向第一用户呈现更新的虚拟场景包括:基于第一用户的位姿确定第一用户在虚拟场景中的视野区域。进一步地,向第一用户呈现虚拟场景中的视野区域内的部分。
在一些实施例中,响应于接收到第一用户与虚拟对象的交互请求,电子设备130还可以获取物理对象的预存虚拟对象。进一步地,利用预存虚拟对象替换虚拟场景中的虚拟对象。
在一些实施例中,预存虚拟对象的精度高于虚拟对象的精度。
在一些实施例中,电子设备130还可以虚拟场景中提供关联于第一用户的虚拟形象。
在一些实施例中,电子设备130提供关联于第一用户的虚拟形象包括:基于第一用户的位姿,确定关联于第一用户的虚拟形象的位姿。进一步地,在虚拟场景中根据位姿来呈现关联于第一用户的虚拟形象。
在一些实施例中,响应于接收到第一用户与虚拟对象的交互请求,电子设备130还可以基于交互请求改变虚拟对象在虚拟场景中的位姿。
在一些实施例中,虚拟场景还包括虚拟镜,电子设备130,向第一用户呈现更新的虚拟场景包括:响应于目标位姿关联于虚拟镜,在虚拟镜中呈现关联于第一用户的虚拟形象与虚拟对象的组合的镜像。
在一些实施例中,电子设备130还可以获取物理场景的测量数据。进一步地,基于测量数据生成关联于物理场景的虚拟场景。
在一些实施例中,电子设备130还可以响应于接收到第二用户的音频数据,在虚拟场景中提供音频数据。
在一些实施例中,响应于接收到物理场景的更新的测量数据,电子设备130还可以基于更新的测量数据来确定物理场景的变化。进一步地,基于变化来调整虚拟场景。
在一些实施例中,电子设备130向第一用户呈现更新的虚拟场景包括:向由第一用户穿戴的穿戴式电子设备呈现更新的虚拟场景。
在一些实施例中,物理场景是直播间,第一用户是观众,第二用户是主持人,物理对象是直播间中的物品,并且虚拟场景是基于三维模型的虚拟场景。
示例装置和设备
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图4示出了根据本公开的一些实施例的用于呈现虚拟场景的装置400的示意性结构框图。
如图4所示,装置400包括接收模块410,被配置为接收虚拟直播应用的第一用户访问虚拟场景的请求,虚拟场景关联于虚拟直播应用的第二用户当前所处的物理场景,物理场景包括物理对象。此外,装置400还包括第一呈现模块420,被配置为基于请求来向第一用户呈现虚拟场景,虚拟场景包括关联于第二用户的虚拟形象和关联于物理对象的虚拟对象。此外,装置400还包括第二呈现模块430,被配置为基于第一用户切换至虚拟场景中的目标位姿的请求,向第一用户呈现更新的虚拟场景,更新的虚拟场景包括基于目标位姿确定第二用户的更新的虚拟形象和更新的虚拟对象。
在一些实施例中,第二呈现模块430,包括:第一确定子模块,被配置为基于第一用户的位姿确定第一用户在虚拟场景中的视野区域。此外,第二呈现模块430还包括:第一呈现子模块,被配置为向第一用户呈现虚拟场景中的视野区域内的部分。
在一些实施例中,替换模块,被配置为响应于接收到第一用户与虚拟对象的交互请求,获取物理对象的预存虚拟对象。进一步地,利用预存虚拟对象替换虚拟场景中的虚拟对象。
在一些实施例中,预存虚拟对象的精度高于虚拟对象的精度。
在一些实施例中,装置400还包括第一提供模块,被配置为在虚拟场景中提供关联于第一用户的虚拟形象。
在一些实施例中,第一提供模块中包括,第二确定子模块,被配置为基于第一用户的位姿,确定关联于第一用户的虚拟形象的位姿。第一提供模块中还包括第二呈现子模块,被配置为在虚拟场景中根据位姿来呈现关联于第一用户的虚拟形象。
在一些实施例中,装置400还包括:改变模块,被配置为响应于接收到第一用户与虚拟对象的交互请求,基于交互请求改变虚拟对象在虚拟场景中的位姿。
在一些实施例中,虚拟场景还包括虚拟镜,装置400中第二呈现模块430还被配置为,响应于目标位姿关联于虚拟镜,在虚拟镜中呈现关联于第一用户的虚拟形象与虚拟对象的组合的镜像。
在一些实施例中,装置400还包括获取模块,被配置为获取物理场景的测量数据。此外,装置400还包括生成模块,被配置为基于测量数据生成关联于物理场景的虚拟场景。
在一些实施例中,装置400还包括第二提供模块,被配置为响应于接收到第二用户的音频数据,在虚拟场景中提供音频数据。
在一些实施例中,装置400还包括调整模块,被配置为响应于接收到物理场景的更新的测量数据,基于更新的测量数据来确定物理场景的变化。进一步地,基于变化来调整虚拟场景。
在一些实施例中,第二呈现模块430进一步被配置为,向由第一用户穿戴的穿戴式电子设备呈现更新的虚拟场景。
在一些实施例中,装置400中的物理场景是直播间,第一用户是主持人,第二用户是观众,物理对象是直播间中的物品,并且虚拟场景是基于三维模型的虚拟场景。
装置400中所包括的模块可以利用各种方式来实现,包括软件、硬件、固件或其任意组合。在一些实施例中,一个或多个模块(或者说单元)可以使用软件和/或固件来实现,例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代,装置400中的部分或者全部模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制,可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD),等等。此外,在一些实施例中,一个模块所实现的多个功能可由其中所包括的子模块或其他独立的模块来实现。例如,在由呈现模块430,实现向第二用户呈现虚拟场景,可由呈现模块430进一步地实现或由独立于呈现模块430的其他呈现模块来实现响应于接收到第二用户访问虚拟场景的访问请求,向第二用户呈现虚拟场景(例如,用户所使用的电子设备中的呈现模块),本公开对此并不限制。
图5示出了其中可以实施本公开的一个或多个实施例的电子设备/服务器500的框图。应当理解,图5所示出的电子设备/服务器500仅仅是示例性的,而不应当构成对本文所描述的实施例的功能和范围的任何限制。
如图5所示,电子设备/服务器500是通用电子设备的形式。电子设备/服务器500的组件可以包括但不限于一个或多个处理器或处理单元510、存储器520、存储设备530、一个或多个通信单元540、一个或多个输入设备550以及一个或多个输出设备560。处理单元510可以是实际或虚拟处理器并且能够根据存储器520中存储的程序来执行各种处理。在多处理器系统中,多个处理单元并行执行计算机可执行指令,以提高电子设备/服务器500的并行处理能力。
电子设备/服务器500通常包括多个计算机存储介质。这样的介质可以是电子设备/服务器500可访问的任何可以获得的介质,包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器520可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如,只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备530可以是可拆卸或不可拆卸的介质,并且可以包括机器可读介质,诸如闪存驱动、磁盘或者任何其他介质,其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备/服务器500内被访问。
电子设备/服务器500可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图5中示出,可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中,每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器520可以包括计算机程序产品525,其具有一个或多个程序模块,这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元540实现通过通信介质与其他电子设备进行通信。附加地,电子设备/服务器500的组件的功能可以以单个计算集群或多个计算机器来实现,这些计算机器能够通过通信连接进行通信。因此,电子设备/服务器500可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备550可以是一个或多个输入设备,例如鼠标、键盘、追踪球等。输出设备570可以是一个或多个输出设备,例如显示器、扬声器、打印机等。电子设备/服务器500还可以根据需要通过通信单元540与一个或多个外部设备(未示出)进行通信,外部设备诸如存储设备、显示设备等,与一个或多个使得用户与电子设备/服务器500交互的设备进行通信,或者与使得电子设备/服务器500与一个或多个其他电子设备通信的任何设备(例如,网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式,提供了一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中一条或多条计算机指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现,上述说明是示例性的,并非穷尽性的,并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文公开的各实现。
Claims (17)
1.一种用于呈现虚拟场景的方法,包括:
接收虚拟直播应用的第一用户访问虚拟场景的请求,所述虚拟场景关联于所述虚拟直播应用的第二用户当前所处的物理场景,所述物理场景包括物理对象;
基于所述请求来向所述第一用户呈现所述虚拟场景,所述虚拟场景包括关联于所述第二用户的虚拟形象和关联于所述物理对象的虚拟对象;以及
基于所述第一用户切换至所述虚拟场景中的目标位姿的请求,向所述第一用户呈现更新的虚拟场景,更新的所述虚拟场景包括基于所述目标位姿确定所述第二用户的更新的虚拟形象和更新的所述虚拟对象。
2.根据权利要求1所述的方法,其中向所述第一用户呈现更新的所述虚拟场景包括:
基于所述第一用户的所述目标位姿确定所述第一用户在所述虚拟场景中的视野区域;以及
向所述第一用户呈现所述虚拟场景中的所述视野区域内的部分。
3.根据权利要求1所述的方法,还包括:响应于接收到所述第一用户与所述虚拟对象的交互请求,
获取所述物理对象的预存虚拟对象;以及
利用所述预存虚拟对象替换所述虚拟场景中的所述虚拟对象。
4.根据权利要求3所述的方法,其中所述预存虚拟对象的精度高于所述虚拟对象的精度。
5.根据权利要求1所述的方法,还包括:在所述虚拟场景中提供关联于所述第一用户的虚拟形象。
6.根据权利要求5所述的方法,其中提供关联于所述第一用户的虚拟形象包括:
基于所述第一用户的所述目标位姿,确定关联于所述第一用户的虚拟形象的位姿;以及
在所述虚拟场景中根据所述位姿来呈现所述关联于所述第一用户的虚拟形象。
7.根据权利要求5所述的方法,还包括:
响应于接收到所述第一用户与所述虚拟对象的交互请求,基于所述交互请求改变所述虚拟对象在所述虚拟场景中的位姿。
8.根据权利要求7所述的方法,所述虚拟场景还包括虚拟镜,以及向所述第一用户呈现更新的虚拟场景包括:
响应于所述目标位姿关联于所述虚拟镜,在所述虚拟镜中呈现所述关联于所述第一用户的虚拟形象与所述虚拟对象的组合的镜像。
9.根据权利要求1所述的方法,还包括:
获取所述物理场景的测量数据;以及
基于所述测量数据生成关联于所述物理场景的所述虚拟场景。
10.根据权利要求9所述的方法,还包括:响应于接收到所述第二用户的音频数据,在所述虚拟场景中提供所述音频数据。
11.根据权利要求9所述的方法,还包括:
响应于接收到所述物理场景的更新的测量数据,基于更新的所述测量数据来确定所述物理场景的变化;以及
基于所述变化来调整所述虚拟场景。
12.根据权利要求1所述的方法,其中向所述第一用户呈现更新的虚拟场景包括:向由所述第一用户穿戴的穿戴式电子设备呈现更新的虚拟场景。
13.根据权利要求1所述的方法,其中所述物理场景是直播间,所述第一用户是观众,所述第二用户是主持人,所述物理对象是所述直播间中的物品,并且所述虚拟场景是基于三维模型的虚拟场景。
14.一种用于呈现虚拟场景的装置,包括:
接收模块,被配置为接收虚拟直播应用的第一用户访问虚拟场景的请求,所述虚拟场景关联于所述虚拟直播应用的第二用户当前所处的物理场景,所述物理场景包括物理对象;
第一呈现模块,被配置为基于所述请求来向所述第一用户呈现所述虚拟场景,所述虚拟场景包括关联于所述第二用户的虚拟形象和关联于所述物理对象的虚拟对象;以及
第二呈现模块,被配置为基于所述第一用户切换至所述虚拟场景中的目标位姿的请求,向所述第一用户呈现更新的虚拟场景,更新的所述虚拟场景包括基于所述目标位姿确定所述第二用户的更新的虚拟形象和更新的所述虚拟对象。
15.一种电子设备,包括:
存储器和处理器;
其中所述存储器用于存储一条或多条计算机指令,其中所述一条或多条计算机指令被所述处理器执行以实现根据权利要求1至13中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有一条或多条计算机指令,其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至13中任一项所述的方法。
17.一种计算机程序产品,包括计算机可执行指令,其中所述计算机可执行指令在被处理器执行时实现根据权利要求1至13中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310102347.6A CN116095356A (zh) | 2023-01-18 | 2023-01-18 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
PCT/CN2023/134844 WO2024152751A1 (zh) | 2023-01-18 | 2023-11-28 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310102347.6A CN116095356A (zh) | 2023-01-18 | 2023-01-18 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116095356A true CN116095356A (zh) | 2023-05-09 |
Family
ID=86206228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310102347.6A Pending CN116095356A (zh) | 2023-01-18 | 2023-01-18 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116095356A (zh) |
WO (1) | WO2024152751A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024152751A1 (zh) * | 2023-01-18 | 2024-07-25 | 北京有竹居网络技术有限公司 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112148197A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 增强现实ar交互方法、装置、电子设备及存储介质 |
CN113965812A (zh) * | 2021-12-21 | 2022-01-21 | 广州虎牙信息科技有限公司 | 直播方法、系统及直播设备 |
CN114971815A (zh) * | 2022-06-28 | 2022-08-30 | 上海禹璨信息技术有限公司 | 购物场景展示方法、数据处理方法、装置及存储介质 |
CN115049803A (zh) * | 2022-04-11 | 2022-09-13 | 北京字跳网络技术有限公司 | 增强现实画面的展示方法、装置、计算机设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348315B2 (en) * | 2019-03-19 | 2022-05-31 | Obsess, Inc. | Generating and presenting a 3D virtual shopping environment |
US11024098B1 (en) * | 2020-02-12 | 2021-06-01 | Disney Enterprises, Inc. | Augmenting a physical object with virtual components |
CN111429519B (zh) * | 2020-03-27 | 2021-07-16 | 贝壳找房(北京)科技有限公司 | 三维场景显示方法、装置、可读存储介质及电子设备 |
CN114092671A (zh) * | 2021-11-17 | 2022-02-25 | 广州博冠信息科技有限公司 | 虚拟直播的场景处理方法及装置、存储介质、电子设备 |
CN114332374A (zh) * | 2021-12-30 | 2022-04-12 | 深圳市慧鲤科技有限公司 | 一种虚拟显示方法、设备以及存储介质 |
CN114885213A (zh) * | 2022-04-28 | 2022-08-09 | 苏州梦想人软件科技有限公司 | 远程展示分享信息的方法、装置、设备及存储介质 |
CN115225949A (zh) * | 2022-07-11 | 2022-10-21 | 广州博冠信息科技有限公司 | 直播互动方法及装置、计算机存储介质、电子设备 |
CN116095356A (zh) * | 2023-01-18 | 2023-05-09 | 北京有竹居网络技术有限公司 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
-
2023
- 2023-01-18 CN CN202310102347.6A patent/CN116095356A/zh active Pending
- 2023-11-28 WO PCT/CN2023/134844 patent/WO2024152751A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112148197A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 增强现实ar交互方法、装置、电子设备及存储介质 |
CN113965812A (zh) * | 2021-12-21 | 2022-01-21 | 广州虎牙信息科技有限公司 | 直播方法、系统及直播设备 |
CN115049803A (zh) * | 2022-04-11 | 2022-09-13 | 北京字跳网络技术有限公司 | 增强现实画面的展示方法、装置、计算机设备及存储介质 |
CN114971815A (zh) * | 2022-06-28 | 2022-08-30 | 上海禹璨信息技术有限公司 | 购物场景展示方法、数据处理方法、装置及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024152751A1 (zh) * | 2023-01-18 | 2024-07-25 | 北京有竹居网络技术有限公司 | 用于呈现虚拟场景的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2024152751A1 (zh) | 2024-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9842433B2 (en) | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality | |
EP3332565B1 (en) | Mixed reality social interaction | |
CN106210861B (zh) | 显示弹幕的方法及系统 | |
US9654734B1 (en) | Virtual conference room | |
CN107911737B (zh) | 媒体内容的展示方法、装置、计算设备及存储介质 | |
Zillner et al. | 3D-board: a whole-body remote collaborative whiteboard | |
JP2024050721A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP7228338B2 (ja) | 動画を配信するためのシステム、方法、及びプログラム | |
US11880999B2 (en) | Personalized scene image processing method, apparatus and storage medium | |
WO2024152751A1 (zh) | 用于呈现虚拟场景的方法、装置、设备和存储介质 | |
WO2024175009A1 (zh) | 用于在虚拟环境中交互的方法、装置、设备和存储介质 | |
CN113066189B (zh) | 一种增强现实设备及虚实物体遮挡显示方法 | |
CN113426110A (zh) | 虚拟角色交互方法、装置、计算机设备和存储介质 | |
WO2022111005A1 (zh) | 虚拟现实设备及vr场景图像识别方法 | |
CN114567768A (zh) | 一种基于vr技术的交互方法、系统 | |
JP2023549657A (ja) | 複数の視点から撮像された立体レンダリング画像データを表示するための3dビデオ会議システムおよび方法 | |
CN110874656B (zh) | 用于选择座位的方法、终端设备、存储介质及处理器 | |
TWI839830B (zh) | 混合現實交互方法、裝置、電子設備及介質 | |
CN114327032B (zh) | 一种虚拟现实设备及vr画面显示方法 | |
CN110162258B (zh) | 个性化场景图像的处理方法及装置 | |
CN115933929A (zh) | 在线交互的方法、装置、设备和存储介质 | |
CN116048275A (zh) | 管理物理环境中的物理对象的方法、装置、设备和介质 | |
CN106125940A (zh) | 虚拟现实交互界面管理方法和装置 | |
Hough | Towards achieving convincing live interaction in a mixed reality environment for television studios | |
CN117615082A (zh) | 图像数据处理方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |