CN118262044A - 图像显示方法、装置、服务器及计算机可读存储介质 - Google Patents
图像显示方法、装置、服务器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN118262044A CN118262044A CN202410339145.8A CN202410339145A CN118262044A CN 118262044 A CN118262044 A CN 118262044A CN 202410339145 A CN202410339145 A CN 202410339145A CN 118262044 A CN118262044 A CN 118262044A
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional model
- initial
- image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 89
- 239000011159 matrix material Substances 0.000 claims description 80
- 238000012805 post-processing Methods 0.000 claims description 69
- 239000000463 material Substances 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 230000001537 neural effect Effects 0.000 claims description 12
- 230000005855 radiation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 241000283690 Bos taurus Species 0.000 description 3
- 235000013365 dairy product Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000012190 activator Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开一种图像显示方法、装置、服务器及介质,所述方法包括:获取目标物体的图像信息,根据图像信息确定目标物体的目标三维模型,生成与目标三维模型相关联的背景图像,根据目标三维模型、背景图像及预先构建的虚拟场景合成目标显示图像,以将目标显示图像进行显示。如此,本申请的服务器在通过目标三维模型、背景影像及虚拟场景合成出目标显示画面后,目标显示画面中的目标三维模型可通过背景影像凸显,强化目标三维模型的景深显示效果。以及,因通过目标物体的目标三维模型合成目标显示画面,故目标三维模型能与三维的虚拟场景匹配,目标物体的目标三维模型能够自然地显示在虚拟场景中。
Description
技术领域
本申请涉及图像技术领域,特别涉及一种图像显示方法、图像显示装置、服务器及计算机可读存储介质。
背景技术
在相关技术中,为提高直播带货的效果,可构建相应的虚拟三维场景以凸显商品,在售卖奶制品时构建三维的虚拟牧场场景。然而,商品在虚拟三维场景中可能以二维的图片形式展示,导致商品的视觉效果受到影响。
发明内容
本申请提供了一种图像显示方法、图像显示装置、服务器及计算机可读存储介质。
本申请实施方式提供的一种图像显示方法,包括:
获取目标物体的图像信息;
根据所述图像信息确定所述目标物体的目标三维模型;
生成与所述目标三维模型相关联的背景图像;
根据目标三维模型、所述背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
在本申请实施方式提供的图像显示方法中,服务器可获取目标物体的图像信息,并根据图像信息确定目标物体的目标三维模型,和生成与目标三维模型相关联的背景图像,及根据目标三维模型、背景图像及预先构建的虚拟场景合成目标显示图像,以将目标显示图像进行显示。
如此,在本申请实施方式中,服务器在确定出目标物体的目标三维模型,并生成有与目标三维模型相关联的背景影像,及通过目标三维模型、背景影像及预先确定的虚拟场景合成出目标显示画面后,目标显示画面中的目标三维模型可通过关联的背景影像凸显于虚拟场景中,及能在一定程度上强化目标三维模型的景深显示效果。以及,因通过目标物体的目标三维模型合成目标显示画面,故目标三维模型能与三维的虚拟场景相匹配,目标显示画面中目标物体的目标三维模型能够自然地显示在虚拟场景中。
在本申请某些实施方式中,所述根据所述图像信息确定所述目标物体的目标三维模型,包括:
根据所述图像信息确定所述目标物体的初始三维模型;
对所述初始三维模型进行预设的裁剪处理,得到所述目标三维模型。
如此,在本申请实施方式中,服务器可在根据目标物体的图像信息,构建出目标物体的初始三维模型的情况下,对初始三维模型进行裁剪以得到用于合成显示图像的目标三维模型,在一定程度上避免直接将未经裁剪的三维模型显示于虚拟场景的情况出现,服务器的运行负荷得以降低。
在本申请某些实施方式中,所述对所述初始三维模型进行预设的裁剪处理,得到所述目标三维模型,包括:
根据预先确定的视椎体参数,构建视图矩阵和透视投影矩阵;
根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型。
如此,在本申请实施方式中,服务器可基于视椎体参数构建视图矩阵和透视投影矩阵,及通过视图矩阵和透视投影矩阵进行初始三维模型的裁剪处理,从而在一定程度上能够保障裁剪处理的可靠进行。
在本申请某些实施方式中,所述根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,包括:
根据所述视图矩阵和所述透视投影矩阵,确定所述初始三维模型的裁剪空间坐标;
根据所述裁剪空间坐标和预先确定的裁剪规则,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型。
如此,在本申请实施方式中,服务器可根据视图矩阵和透视投影矩阵,确定初始三维模型的裁剪空间坐标,及根据裁剪空间坐标和预先确定的裁剪规则完成初始三维模型的裁剪处理,从而能在一定程度上保障裁剪处理的可靠进行。
在本申请某些实施方式中,所述根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,包括:
根据所述初始三维模型与视点的目标距离、所述视图矩阵及所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,所述目标距离根据动作检测设备相对于图像拍摄设备的参考距离所确定,所述动作检测设备被穿戴在目标对象上,所述图像拍摄设备用于拍摄所述目标物体以生成所述图像信息。
如此,本申请实施方式可基于动作检测设备相对于图像拍摄设备的参考距离,确定初始三维模型与视点的目标距离,及基于目标距离完成初始三维模型的裁剪处理,在一定程度上保证通过裁剪处理确定的目标三维模型的可信度。
在本申请某些实施方式中,所述根据所述图像信息确定所述目标物体的初始三维模型,包括:
根据所述图像信息和预先训练完成的神经辐射场网络模型,确定所述初始三维模型。
如此,在本申请实施方式中,服务器可基于预先训练完成的神经辐射场网络模型,对图像信息中的目标物体进行三维重建,以确定目标物体的初始三维模型,在一定程度上保障了初始三维模型的获取。
在本申请某些实施方式中,所述生成与所述目标三维模型相关联的背景图像,包括:
构建所述目标三维模型对应的目标包围盒;
根据所述目标包围盒确定所述背景图像。
如此,在本申请实施方式中,服务器可构建目标三维模型对应的目标包围盒,并基于目标包围盒确定与目标三维模型相关联的背景图像,使得背景图像的生成能够可靠地进行。
在本申请某些实施方式中,所述构建所述目标三维模型对应的目标包围盒,包括:
配置射线的参数;
检测所述射线与预先构建的所述目标三维模型对应的初始包围盒的相交位置;
根据所述相交位置更新所述初始包围盒以确定所述目标包围盒。
如此,在本申请实施方式中,服务器可根据射线检测的方式,构建目标三维模型的目标包围盒,在一定程度上保障了目标包围盒的可靠确定。
在本申请某些实施方式中,所述根据所述目标包围盒确定所述背景图像,包括:
根据所述目标包围盒对所述目标三维模型进行高斯模糊处理,得到所述背景图像。
如此,在本申请实施方式中,服务器可通过高斯模糊处理,确定与目标三维模型相关联的背景图像,进而可在一定程度上保障目标三维模型在颜色上相适应,还可保障目标三维模型显示于背景图像上时,目标三维模型能基于模糊的图像所凸显,由此可模拟实际镜头的景深效果。
在本申请某些实施方式中,所述根据所述目标包围盒对所述目标三维模型进行高斯模糊处理,得到所述背景图像,包括:
根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像。
如此,在本申请实施方式中,服务器可基于后处理体积和目标包围盒,实现目标三维模型的高斯模糊处理,因而能在一定程度上保障高斯模糊处理的可靠进行。
在本申请某些实施方式中,所述根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像,包括:
在预设的编辑器中设置后处理体积,及配置所述后处理体积的第一高斯模糊处理参数。
如此,在本申请实施方式中,服务器可基于编辑器中设置的后处理体积,及对后处理体积的第一高斯模糊处理参数进行配置,进而可通过配置完成的后处理体积进行高斯模糊处理。
在本申请某些实施方式中,所述根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像,包括:
配置所述后处理体积的目标后处理材质。
如此,在本申请实施方式中,服务器可通过对后处理体积中的目标后处理材质进行配置,实现目标三维模型的高斯模糊处理。
在本申请某些实施方式中,所述配置所述后处理体积的目标后处理材质,包括:
创建初始后处理材质,及对所述初始后处理材质的第二高斯模糊处理参数进行配置,以确定所述目标后处理材质。
如此,在本申请实施方式中,服务器可通过在创建的初始后处理材质中配置初始后处理材质的第二高斯模糊处理参数,进而可在对目标三维模型进行高斯模糊处理的过程中,基于参数配置完成的初始后处理材质进行高斯模糊处理,也即是,基于目标后处理材质实现高斯模糊处理,因而高斯模糊处理的处理效果能够得到一定程度的保障。
本申请实施方式提供一种图像显示装置,包括:
获取模块,用于获取目标物体的图像信息;
确定模块,用于根据所述图像信息确定所述目标物体的目标三维模型;
生成模块,用于生成与所述目标三维模型相关联的背景图像;
控制模块,用于根据目标三维模型、所述背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
本申请实施方式提供一种服务器,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述的图像显示方法。
本申请实施方式提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,实现上述图像显示方法。
本申请实施方式提供的图像显示装置、服务器及计算机可读存储介质,在确定出目标物体的目标三维模型,并生成有与目标三维模型相关联的背景影像,及通过目标三维模型、背景影像及预先确定的虚拟场景合成出目标显示画面后,目标显示画面中的目标三维模型可通过关联的背景影像凸显于虚拟场景中,及能在一定程度上强化目标三维模型的景深显示效果。以及,因通过目标物体的目标三维模型合成目标显示画面,故目标三维模型能与三维的虚拟场景相匹配,目标显示画面中目标物体的目标三维模型能够自然地显示在虚拟场景中。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1为本申请某些实施方式中图像显示方法的流程示意图;
图2为本申请某些实施方式中图像显示装置的示意图;
图3为本申请某些实施方式中应用场景的示意图;
图4为本申请某些实施方式中图像显示方法的流程示意图;
图5为本申请某些实施方式中图像显示方法的流程示意图;
图6为本申请某些实施方式中图像显示方法的流程示意图;
图7为本申请某些实施方式中图像显示方法的流程示意图;
图8为本申请某些实施方式中图像显示方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
虚拟直播(Virtual Live Streaming)是一种将现实物体和虚拟元素相结合而形成的新型直播形式,通过计算机图形学、实时渲染、增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)、绿幕实时抠像(Chroma Key)、音视频编解码等技术,为主播或主持人创造出一个可实时交互的虚拟环境。
进一步地,可通过实时抠像技术将绿幕前正在进行表演或商品讲解的主持人从背景中分离出,并将分离出的主持人图像加载至预设好的三维虚拟场景中,由此实现虚拟直播。其中,三维虚拟场景可以是完全虚构出来的三维场景,也可以是现实世界的高精度模拟,可灵活地自由定制。
相应的,观众可通过手机、电能、平板设备、VR设备等,来观看虚拟直播以获取沉浸式的视觉体验。同时,相对于通过实拍二维画面所实现的传统直播而言,由于虚拟直播基于三维场景所实现,因而能为观众带来更为丰富多样的视觉体验。
还能够理解的是,为使主持人形象与三维虚拟场景相符,在虚拟直播中还可将主持人形象虚拟化为以相应的三维人物模型(如三维卡通人物)。例如,在构建出虚拟出奶牛牧场的三维场景的情况下,可在三维场景中构建出具备奶牛特征(如牛的角、牛的皮肤等)的三维人物模型,并使该三维人物受控于按照主持人的动作。
以及,在虚拟直播中,观众还可以参与到互动环节中,如赠送虚拟礼物、在虚拟三维场景中探索等,直播的趣味性和参与感得以强化。
还可以理解的是,虚拟直播可广泛应用于多个行业中,如电商商品展示、在线教育、游戏推广、娱乐演出等,以及,针对于某些需展现复杂、大型或不易实物搬运的场景下,虚拟直播能够极大地节省成本并提高灵活性。
然而,在基于虚拟直播实现的直播带货场景中,或者说,在主播于虚拟场景中推销商品时,商品通常是以二维图片的形式展现于虚拟场景中,相对于三维的虚拟场景而言较为突兀。以及,当主播需推销多种商品的情况下,由于各类商品均是以二维图片的形式展现于虚拟场景,导致主播当前推销的商品难以与其他商品形成区分,使得从中途观看虚拟直播的观众难以确定主播当前推销的商品。
基于上述可能遇到的问题,请参阅图1,本申请实施方式提供一种图像显示方法,包括:
01:获取目标物体的图像信息;
02:根据图像信息确定目标物体的目标三维模型;
03:生成与目标三维模型相关联的背景图像;
04:根据目标三维模型、背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
请参阅图2,本申请实施方式提供一种图像显示装置200。本申请实施方式的图像显示方法可以由本申请实施方式的图像显示装置200实现。具体地,图像显示装置200包括获取模块210、确定模块220、生成模块230和显示模块240。其中,获取模块210用于获取目标物体的图像信息。确定模块220用于根据图像信息确定目标物体的目标三维模型。生成模块230用于生成与目标三维模型相关联的背景图像。显示模块240用于根据目标三维模型、背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
本申请实施方式还提供了一种服务器,服务器包括存储器和处理器。本申请实施方式的图像显示方法可以由本申请实施方式的服务器实现。具体地,存储器中存储有计算机程序,处理器用于获取目标物体的图像信息,及用于根据图像信息确定目标物体的目标三维模型,及用于生成与目标三维模型相关联的背景图像,及用于根据目标三维模型、背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
具体而言,在本申请实施方式中,服务器可在获取到目标物体的图像信息的情况下,根据目标物体的图像信息,对目标物体进行三维模型的构建,从而得到目标物体的目标三维模型。在确定出目标物体的目标三维模型的情况下,服务器可生成与目标三维模型相关联的背景图像,及根据目标三维模型、背景图像以及预先构建的虚拟场景,合成目标显示图像,进而可将该目标显示图像下发给各个客户端,以使目标显示图像显示于各个客户端中。
举例而言,请参阅图3。在通过摄像机拍摄绿幕前正在推销商品的主播时,摄像机可将拍摄到的图像帧推流至服务器;服务器获取到图像帧后,可确定基于图像帧构建商品的三维模型,并通过商品的三维模型生成背景图像310,及将该三维模型和该背景图像一并渲染至预先构建的虚拟场景320(即虚拟三维空间),进以合成“包含有该虚拟场景320、该背景图像及该三维模型的”画面,最后再将该画面下发给各个客户端。在客户端显示该画面的情况下,用户则可通过显示的画面观察到虚拟场景320下的主持人或主播的同时,还可观察到该商品的三维模型,以及,因显示有该商品的三维模型所关联的背景图像320,使得三维模型可基于背景图像310所凸显,或者说,使得三维模型的景深效果得以增强。
综上,在本申请实施方式中,服务器在确定出目标物体的目标三维模型,并生成有与目标三维模型相关联的背景影像,及通过目标三维模型、背景影像及预先确定的虚拟场景合成出目标显示画面后,目标显示画面中的目标三维模型可通过关联的背景影像凸显于虚拟场景中,及能在一定程度上强化目标三维模型的景深显示效果。以及,因通过目标物体的目标三维模型合成目标显示画面,故目标三维模型能与三维的虚拟场景相匹配,目标显示画面中目标物体的目标三维模型能够自然地显示在虚拟场景中。
其中,可以理解的是,本申请实施方式中的目标物体可以理解为直播带货中的推销商品。以及,目标物体的图像信息的获取方式为可根据实际情况设置的内容。
举例而言,上述示例中通过摄像机实时拍摄到的、包含目标物体的图像帧即可理解为本申请实施方式中目标物体的图像信息。
还可以理解的是,根据图像信息确定目标物体的目标三维模型的具体过程为可根据实际情况设置的内容。例如,在本申请某些实施方式中,服务器中预先配置有多种物体的三维模型模板,进而,在服务器获取到包含有目标物体的图像信息后,可根据图像信息中的目标物体,从全部的三维模型模板中确定出目标物体的三维模型模板,并将该三维模型模板确定为目标三维模型。
以及,能理解的是,生成与目标三维模型相关联的背景图像的具体过程为可根据实际情况设置的内容。
例如,在本申请某些实施方式中,服务器可根据目标三维模型的位置信息,或者说,根据目标三维模型在虚拟场景中的坐标,构建与该目标三维模型相关联的背景图像。
示范性的,假设目标三维模型在显示画面上的投影可基于(x1,y1)、(x2,y2)、(x3,y3)及(x4,y4)这4个坐标所包围,则与目标三维模型相关联的背景图像的4个角点可以为上述(x1,y1)、(x2,y2)、(x3,y3)及(x4,y4)这4个坐标。
以及,背景图像的具体内容可根据实际情况设置。例如,在本申请某些实施方式中,背景图像为根据目标三维模型的边缘部分的颜色所确定而成的图像,当背景图像放置于目标三维模型的正下方时,针对于背景图像中“距离目标三维模型的轮廓越近的像素”,该像素的颜色与目标三维模型的边缘部分的颜色越相近,相对应的,针对于“距离目标三维模型的轮廓越远的像素”,该像素的颜色越接近于透明。
另外,在本申请实施方式中,虚拟场景指代通过计算机所模拟出的虚拟三维空间所表征出的场景,如可通过计算机模拟虚拟三维空间并在该虚拟三维空间渲染多种物体如奶牛、树木、篱笆等物体的模型,从而模拟出虚拟的农场场景。
又如,在本申请实施方式中,虚拟场景与目标物体间存在一定关联,如在目标物体为牛奶时,则虚拟场景可以是虚拟的农场场景,又或者是虚拟的超市场景。
请参阅图4,在本申请某些实施方式中,步骤02包括:
020:根据图像信息确定目标物体的初始三维模型;
021:对初始三维模型进行预设的裁剪处理,得到目标三维模型。
本申请实施方式的确定模块还用于根据图像信息确定目标物体的初始三维模型,及用于对初始三维模型进行预设的裁剪处理,得到目标三维模型。
本申请实施方式的处理器还用于根据图像信息确定目标物体的初始三维模型,及用于对初始三维模型进行预设的裁剪处理,得到目标三维模型。
具体而言,为降低服务器的负荷,在本申请实施方式中,服务器在构建出目标物体的三维模型后,对该三维模型进行裁剪,以避免将三维模型中“不会出现在显示画面内的部分模型”渲染和显示。
举例而言,假设在虚拟场景中,视点(Eye Position)与远裁剪面(Far Plane)的距离为S1,而初始三维模型中的点与上述视点的距离Smodel,则服务器将初始三维模型中“Smodel大于S1的点”删除,从而得到目标三维模型。能理解的是,在基于视点观测虚拟场景时,“初始三维模型中‘Smodel大于S1的点’”无法被直接地观测,因而可将这些点删除或剪裁,以避免将这些点渲染和显示,由此减少服务器渲染和显示三维模型的负荷。
如此,在本申请实施方式中,服务器可在根据目标物体的图像信息,构建出目标物体的初始三维模型的情况下,对初始三维模型进行裁剪以得到用于合成显示图像的目标三维模型,在一定程度上避免直接将未经裁剪的三维模型显示于虚拟场景的情况出现,服务器的运行负荷得以降低。
请参阅图5,在本申请某些实施方式中,步骤021包括:
0210:根据预先确定的视椎体参数,构建视图矩阵和透视投影矩阵;
0211:根据视图矩阵和透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型。
本申请实施方式的确定模块还用于根据预先确定的视椎体参数,构建视图矩阵和透视投影矩阵,及用于根据视图矩阵和透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型。
本申请实施方式的处理器还用于根据预先确定的视椎体参数,构建视图矩阵和透视投影矩阵,及用于根据视图矩阵和透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型。
具体而言,为保障上述裁剪处理的可靠执行,在本申请实施方式中,服务器可基于预先确定的视椎体(frustum)参数,构建相应的视图矩阵和透视投影矩阵。
其中,视图矩阵可通过已确定的视椎体参数中的视点坐标参数、目标点(Look-AtPoint)坐标参数及上向量(Up Vector)参数所确定。视图矩阵可用于表征世界坐标系与摄像机坐标系(或称为视点坐标系/相机坐标系)的转换关系。摄像机坐标系中,摄像机位于原点(或者说,视点与原点重合),摄像机的拍摄方向为Z轴负方向,摄像机坐标系中的Y轴垂直于Z轴向上。
以及,透视投影矩阵可通过已确定的视椎体参数中的近裁剪面距离(Near PlaneDistance)、远裁剪面距离(Far Plane Distance)及视野角(Field Of View,FOV)来确定。能理解的是,透视投影能够根据“‘目标物体的初始三维模型’与摄像机(即视点)的距离”,将初始三维模型按照比例缩放,以模拟出真实世界中的“近大远小”的视觉效果。而在虚拟场景中,则是通过将初始三维模型与透视投影矩阵相乘,以对初始三维模型进行缩放。
进一步地,透视投影矩阵的具体形式为可根据实际情况设置的内容。例如,在本申请某些实施方式中,透视投影矩阵可如下式所示,即:
式中,n可指代近裁剪面与视点的距离,即近裁剪面距离。f可指代远裁剪面与视点的距离,即远裁剪面距离。r可指代近裁面右边框到近裁面中点的距离。l可指代近裁面左边框到近裁面中点的距离。t可指代近裁面上边框到近裁面中点的距离。b可指代近裁面低底框到近裁面中点的距离。
又如,在本申请另一些实施方式中,透视投影矩阵还可如下式所示,即:
能理解的是,本申请实施方式中的视椎体参数可以包括但不限于上述的n、f、r、l、t、b、视点坐标参数、目标点坐标参数及上向量参数。
还能理解的是,本申请实施方式可通过上述的视图矩阵以及上述透视投影矩阵,将初始三维模型变换至虚拟场景,从而可对虚拟场景中的初始三维模型进行裁剪以得到目标三维模型。
如此,在本申请实施方式中,服务器可基于视椎体参数构建视图矩阵和透视投影矩阵,及通过视图矩阵和透视投影矩阵进行初始三维模型的裁剪处理,从而在一定程度上能够保障裁剪处理的可靠进行。
请参阅图6,在本申请某些实施方式中,步骤0211包括:
02110:根据视图矩阵和透视投影矩阵,确定初始三维模型的裁剪空间坐标;
02111:根据裁剪空间坐标和预先确定的裁剪规则,对初始三维模型进行裁剪处理,得到目标三维模型。
本申请实施方式的确定模块还用于根据初始三维模型、视图矩阵及透视投影矩阵,确定裁剪空间坐标,及用于根据裁剪空间坐标和预先确定的裁剪规则,对初始三维模型进行裁剪处理,得到目标三维模型。
本申请实施方式的处理器还用于根据初始三维模型、视图矩阵及透视投影矩阵,确定裁剪空间坐标,及用于根据裁剪空间坐标和预先确定的裁剪规则,对初始三维模型进行裁剪处理,得到目标三维模型。
具体而言,本申请实施方式服务器可将初始三维模型的各个点(如顶点)的坐标,依次与视图矩阵和透视投影矩阵相乘,以得到初始三维模型在裁剪空间中的坐标,也即是裁剪空间坐标。进而,服务器可基于预先确定的裁剪规则及初始三维模型的裁剪空间坐标,完成初始三维模型的裁剪。
其中,能够理解的是,裁剪规则为可根据实际情况设置的内容。例如,在本申请某些实施方式中,裁剪规则可包括:(1)在初始三维模型某个点的z轴坐标小于-n,或是大于f的情况下,删除该点;(2)在初始三维模型某个点的x轴坐标未落入[-1,1]的区间,或是y轴坐标未落入[-1,1]的区间的情况下,删除该点。
其中,上述裁剪规则中的n可指代近裁剪面与视点的距离,即近裁剪面距离。f可指代远裁剪面与视点的距离,即远裁剪面距离。
还能理解的是,在初始三维模型某个点的z轴坐标小于-n,或是大于f的情况下,则表明该点的z轴坐标未在近裁剪面和远裁剪面之间,因而可以认定该点处于视锥体之外,故删除。
以及,在在初始三维模型某个点的x轴坐标未落入[-1,1]的区间,或是y轴坐标未落入[-1,1]的区间的情况下,则表明该点的x轴坐标或y轴坐标未落入标准化设备坐标[-1,1]范围内,因而可以认定该点处于视锥体之外,故删除。
另外,能够理解的是,视锥体可以理解为虚拟场景中可见的物体范围。
还能够理解的是,在根据裁剪规则及初始三维模型的裁剪空间坐标,对虚拟场景中的初始三维模型进行裁剪后,得到的是“将初始三维模型中‘视锥体之外的点’删除所形成的点的集合”,也即是目标三维模型。
可以理解的是,相比于渲染和显示初始三维模型而言,渲染和显示目标三维模型所需的负荷或代价更小。同时,因目标三维模型是“将初始三维模型中‘视锥体之外的点’删除所形成的点的集合”,故相比于渲染和显示初始三维模型而言,渲染和显示目标三维模型的资源利用率更高。
如此,在本申请实施方式中,服务器可根据视图矩阵和透视投影矩阵,确定初始三维模型的裁剪空间坐标,及根据裁剪空间坐标和预先确定的裁剪规则完成初始三维模型的裁剪处理,从而能在一定程度上保障裁剪处理的可靠进行。
在本申请某些实施方式中,步骤0211包括:
根据初始三维模型与视点的目标距离、视图矩阵及透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型,目标距离根据动作检测设备相对于图像拍摄设备的参考距离所确定,动作检测设备被穿戴在目标对象上,图像拍摄设备用于拍摄目标物体以生成图像信息。
本申请实施方式的确定模块还用于根据初始三维模型与视点的目标距离、视图矩阵及透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型,目标距离根据动作检测设备相对于图像拍摄设备的参考距离所确定,动作检测设备被穿戴在目标对象上,图像拍摄设备用于拍摄目标物体以生成图像信息。
本申请实施方式的处理器还用于根据初始三维模型与视点的目标距离、视图矩阵及透视投影矩阵,对初始三维模型进行裁剪处理,得到目标三维模型,目标距离根据动作检测设备相对于图像拍摄设备的参考距离所确定,动作检测设备被穿戴在目标对象上,图像拍摄设备用于拍摄目标物体以生成图像信息。
具体而言,为可靠地完成初始三维模型的裁剪处理,本申请实施方式还确定有初始三维模型与视点的目标距离,进而可在进行初始三维模型的裁剪处理前,能够通过该目标距离调整初始三维模型的大小,使得调整后的初始三维模型能满足“近大远小”的视觉效果后,再将调整后的初始三维模型转换至虚拟场景中。
其中,初始三维模型与视点的目标距离可基于动作检测设备相对于图像拍摄设备的参考距离来确定。动作检测设备可以理解为“在绿幕前进行表演或商品介绍的主播或主持人”所穿戴的、用于捕捉主持人动作的设备。图像拍摄设备则可以理解为用于拍摄“在绿幕前进行表演或商品介绍的主播或主持人”及目标物体的、具备拍摄功能的设备。目标对象则可以理解为穿戴有用于捕捉动作设备的用户,如上述的主播/主持人。
能够理解的是,当动作检测设备相对于图像拍摄设备的参考距离缩短时,可能是上述主播或主持人拿着目标物体(商品)向接近图像拍摄设备的方向移动,以缩短目标物体相对于图像拍摄设备的距离及体现目标物体的细节。由此,可认为初始三维模型与视点的目标距离同样缩短。
相对应的,当动作检测设备相对于图像拍摄设备的参考距离增大时,可能是上述主播或主持人拿着目标物体(商品)向远离图像拍摄设备的方向移动,以增大目标物体相对于图像拍摄设备的距离及停止“体现目标物体的细节”这一行为。由此,可认为初始三维模型与视点的目标距离同样增大。
由此,本申请实施方式可根据上述的参考距离,确定出上述目标距离,及基于目标距离完成裁剪处理。
例如,服务器可在获取到初始三维模型后,基于目标距离对初始三维模型进行按比例的缩放,以在动作检测设备相对于图像拍摄设备的参考距离越短时,初始三维模型越大,和在动作检测设备相对于图像拍摄设备的参考距离越长时,初始三维模型越小。
在完成初始三维模型的缩放后,可将缩放后的初始三维模型与视图矩阵及透视投影矩阵相乘,以得到缩放后的初始三维模型在裁剪空间中的坐标。最后,根据该坐标及预先确定的裁剪规则,对缩放后的初始三维模型进行裁剪,从而得到目标三维模型。
如此,本申请实施方式可基于动作检测设备相对于图像拍摄设备的参考距离,确定初始三维模型与视点的目标距离,及基于目标距离完成初始三维模型的裁剪处理,在一定程度上保证通过裁剪处理确定的目标三维模型的可信度。
可选的,在本申请某些实施方式中,服务器可在根据图像信息,确定出目标物体在动作检测设备的检测范围内时,通过图像信息确定目标三维模型。
能够理解的是,当目标物体在动作检测设备的检测范围内时,可能是主播正抓/握着目标物体(或者说商品),以对目标物体进行说明。由此,为保障直播带货过程中,用户能准确可靠地确认主播正在介绍的商品,因而在本申请某些实施方式中,服务器可在根据图像信息确定出目标物体在动作检测设备的检测范围内时,再构建目标三维模型。
在本申请某些实施方式中,步骤020包括:
根据图像信息和预先训练完成的神经辐射场网络模型,确定初始三维模型。
本申请实施方式的确定模块还用于根据图像信息和预先训练完成的神经辐射场网络模型,确定初始三维模型。
本申请实施方式处理器还用于根据图像信息和预先训练完成的神经辐射场网络模型,确定初始三维模型。
具体而言,为保障初始三维模型的高效获取,本申请实施方式的服务器还搭载有预先训练完成的神经辐射场(Neural Radiance Fields,NeRF)网络模型,进而在获取到目标物体的图像信息的情况下,可基于神经辐射场网络模型进行相应的三维重建,从而得到该目标物体的初始三维模型。
能够理解的是,神经辐射场网络模型能够根据二维图像中的物体,渲染出任意视角下观察该物体的二维图像。同时,还可根据相应的调节处理,将神经辐射场网络模型的输出结果设置为网格体(Mesh Actor),也即是三维模型。
如此,在本申请实施方式中,服务器可基于预先训练完成的神经辐射场网络模型,对图像信息中的目标物体进行三维重建,以确定目标物体的初始三维模型,在一定程度上保障了初始三维模型的获取。
请参阅图7,在本申请某些实施方式中,步骤03包括:
030:构建目标三维模型对应的目标包围盒;
031:根据目标包围盒确定背景图像。
本申请实施方式的生成模块还用于构建目标三维模型对应的目标包围盒,及用于根据目标包围盒确定背景图像。
本申请实施方式的处理器还用于构建目标三维模型对应的目标包围盒,及用于根据目标包围盒确定背景图像。
具体而言,为保障背景图像与目标三维模型的匹配,本申请实施方式的服务器还可构建在虚拟场景(或者说,虚拟三维空间)中能够完整包裹目标三维模型的盒体,或者说,构建目标三维模型对应的目标包围盒。进而,服务器可根据目标三维模型在虚拟场景中的目标包围盒,生成与目标三维模型相关联的背景图像。
可以理解的是,构建目标包围盒的具体过程为可根据实际情况设置的内容。例如,在本申请某些实施方式中,服务器可利用预先设置的、用于实现包围盒检测的程序或代码,对目标三维模型进行包围盒检测,从而得到目标三维模型对应的目标包围盒。
还可以理解的是,根据目标包围盒确定背景图像的具体过程亦为可根据实际情况设置的内容。例如,在本申请某些实施方式中,服务器可在确定出目标三维模型对应的目标包围盒的情况下,因虚拟场景中的目标包围盒可以理解为用于包裹目标三维模型的盒体,故服务器可基于目标包围盒在虚拟场景中的空间位置,确定该空间位置下各个点的色彩值,及利用这些点的颜色确定该空间位置下的色彩均值,由此,服务器可基于形成该色彩均值形成二维图像,也即是背景图像。
如此,在本申请实施方式中,服务器可构建目标三维模型对应的目标包围盒,并基于目标包围盒确定与目标三维模型相关联的背景图像,使得背景图像的生成能够可靠地进行。
请参阅图8,在本申请某些实施方式中,步骤030包括:
0300:配置射线的参数;
0301:检测射线与预先构建的目标三维模型对应的初始包围盒的相交位置;
0302:根据相交位置更新初始包围盒以确定目标包围盒。
本申请实施方式的生成模块还用于配置射线的参数,及用于检测射线与预先构建的目标三维模型对应的初始包围盒的相交位置,及用于根据相交位置更新初始包围盒以确定目标包围盒。
本申请实施方式的处理器还用于配置射线的参数,及检测利用射线与预先构建的目标三维模型对应的初始包围盒的相交位置,及用于根据相交位置更新初始包围盒以确定目标包围盒。
具体而言,在本申请实施方式中,服务器可基于“一条射线是否与一个三维轴对齐的边界框相交”的原理,或者说,基于盒射线检测(Box-Ray Intersection),来确定虚拟场景中目标三维模型的边界框从而构建目标包围盒。
更为具体地,服务器可基于预先设置的工具或程序,实现如下步骤:(1)基于预先确定的射线起点坐标O、归一化后的、表征射线方向的方向向量D及沿着射线的距离参数t,将射线参数化,也即是,将射线表征为P=O+t*D;(2)分别计算射线与初始三维模型的边界框六个面(即前后左右上下六个方向的平面,也即是初始包围盒的六个面)的交点参数tmin和tmax,并在射线未与某个面相交时跳过该面,在射线与某个面相交时根据交点的坐标更新全局的最小和最大交点距离tintersect_min和tintersect_max。(3)若t_intersect_min<=t_intersect_max且t_intersect_min>=0,则表明射线与边界框相角。(4)根据得到的最小非负交点参数t_intersect_min,计算实际的交点坐标,在可根据需要进行回溯或者进一步的碰撞响应处理,直至停止以得到最终的目标包围盒。
如此,在本申请实施方式中,服务器可根据射线检测的方式,构建目标三维模型的目标包围盒,在一定程度上保障了目标包围盒的可靠确定。
在本申请某些实施方式中,步骤031包括:
根据目标包围盒对目标三维模型进行高斯模糊处理,得到背景图像。
本申请实施方式的生成模块可用于根据目标包围盒对目标三维模型进行高斯模糊处理,得到背景图像。
本申请实施方式的处理器可用于根据目标包围盒对目标三维模型进行高斯模糊处理,得到背景图像。
具体而言,本申请实施方式的服务器可基于目标包围盒,对目标三维模型进行高斯模糊处理,从而得到模糊的背景图像。也因此,在将目标三维模型显示于背景图像的情况下,则清晰的目标三维模型能够与模糊的背景图像相区分,从而可模拟实际镜头的景深效果。
举例而言,如图3所示,背景图像320则可以理解为是对目标三维模型进行高斯模糊处理而形成的图像,因而目标三维模型能通过背景图像320凸显于虚拟场景310中。
能够理解的是,在图像处理中常通过二维高斯函数来构建相应的高斯模糊矩阵,以能通过高斯模糊矩阵对图像进行卷积操作,进而实现高斯模糊。
示范性的,上述二维高斯函数可以如下式所示,即:
式中,(x,y)可理解为像素坐标相对于当前位置的偏移量,σ2可理解为标准差。
进一步地,为构建通过上述二维高斯函数所实现的高斯模糊矩阵,可通过上述式子,对[-r,r]×[-r,r]范围内的所有整数坐标对(x,y)进行相应计算,以得到权重值。进而,可基于该权重值构建相应的二维高斯核矩阵,从而得到上述高斯模糊矩阵。
如此,在本申请实施方式中,服务器可通过高斯模糊处理,确定与目标三维模型相关联的背景图像,进而可在一定程度上保障目标三维模型在颜色上相适应,还可保障目标三维模型显示于背景图像上时,目标三维模型能基于模糊的图像所凸显,由此可模拟实际镜头的景深效果。
在本申请某些实施方式中,上述根据目标包围盒对目标三维模型进行高斯模糊处理,得到背景图像的步骤,包括:
根据后处理体积和目标包围盒,对目标三维模型进行高斯模糊处理,得到背景图像。
本申请实施方式的生成模块还用于根据后处理体积和目标包围盒,对目标三维模型进行高斯模糊处理,得到背景图像。
本申请实施方式的处理器根据后处理体积和目标包围盒,对目标三维模型进行高斯模糊处理,得到背景图像。
能够理解的是,Post Process Volume能够用于颜色的调制,还可用于特效的混淆,或是处理视频流输出时的影像效果,又或是控制输出图像帧时的焦距调节。
由此,为实现高斯模糊处理,本申请实施方式中可在虚拟场景中增添一个PostProcess Volume(后处理体积),以通过Post Process Volume实现和控制高斯模糊的程度。
如此,在本申请实施方式中,服务器可基于后处理体积和目标包围盒,实现目标三维模型的高斯模糊处理,因而能在一定程度上保障高斯模糊处理的可靠进行。
在本申请某些实施方式中,上述根据后处理体积和目标包围盒,对目标三维模型进行高斯模糊处理,得到背景图像的步骤,包括:
在预设的编辑器中设置后处理体积,及配置后处理体积的第一高斯模糊处理参数。
本申请实施方式的生成模块还用于在预设的编辑器中设置后处理体积,及配置后处理体积的第一高斯模糊处理参数。
本申请实施方式的处理器还用于在预设的编辑器中设置后处理体积,及配置后处理体积的第一高斯模糊处理参数。
具体而言,在本申请实施方式中,服务器可基于预先设定的程序,或是基于接收到的操作指令,在预设的编辑器(如用于能够编辑虚拟场景的关卡编辑器)中增添PostProcess Volume。
随后,确定Post Process Volume的面板参数中与模糊处理相关的参数,如MotionBlur强度参数和类型参数,或者与Blur强度设置相关的参数。
最后,通过蓝图、C++脚本或动画控制器等,动态改变这些参数以实现动态的高斯模糊处理,从而得到动态模糊显示效果的背景图像。
如此,在本申请实施方式中,服务器可基于编辑器中设置的后处理体积,及对后处理体积的第一高斯模糊处理参数进行配置,进而可通过配置完成的后处理体积进行高斯模糊处理。
在本申请某些实施方式中,上述根据后处理体积和目标包围盒,对目标三维模型进行高斯模糊处理,得到背景图像的步骤,包括:
配置后处理体积的目标后处理材质。
本申请实施方式的生成模块还用于配置后处理体积的目标后处理材质。
本申请实施方式的处理器还用于配置后处理体积的目标后处理材质。
具体而言,在本申请实施方式中,为实现对非规则形状的商品/物体的三维模型的背景图像生成,服务器还可基于自定义后处理材质(Custom Post Process Material)实现更高级的控制或定制化的高斯模糊处理,也即是,在后处理体积中设置自定义后处理材质以强化高斯模糊处理的处理效果。
如此,在本申请实施方式中,服务器可通过对后处理体积中的目标后处理材质进行配置,实现目标三维模型的高斯模糊处理。
在本申请某些实施方式中,上述配置后处理体积的目标后处理材质,包括:
创建初始后处理材质,及对初始后处理材质的第二高斯模糊处理参数进行配置,以确定目标后处理材质。
本申请实施方式中的生成模块还用于创建初始后处理材质,及对初始后处理材质的第二高斯模糊处理参数进行配置,以确定目标后处理材质。
本申请实施方式的处理器还用于创建初始后处理材质,及对初始后处理材质的第二高斯模糊处理参数进行配置,以确定目标后处理材质。
具体而言,本申请实施方式的服务器通过预先设定的代码或程序或工具,所能实现的“目标后处理材质的配置过程”可包括:创建一个新的后处理材质(即初始后处理材质),并在该后处理材质内部编写高斯模糊节点网络,其中,该高斯模糊节点网络能够用于“根据屏幕空间坐标确定节点输入参数,并通过采样当前图像帧和上一图像帧的屏幕缓冲信息,结合时间变量等信息计算出动态模糊的效果”;将编写有高斯模糊节点网络的后处理材质应用或绑定在Post Process Volume上,使得服务器在通过Post Process Volume进行高斯模糊处理时,可结合Post Process Volume中Post Process Material所实现的高斯模糊处理。
如此,在本申请实施方式中,服务器可通过在创建的初始后处理材质中配置初始后处理材质的第二高斯模糊处理参数,进而可在对目标三维模型进行高斯模糊处理的过程中,基于参数配置完成的初始后处理材质进行高斯模糊处理,也即是,基于目标后处理材质实现高斯模糊处理,因而高斯模糊处理的处理效果能够得到一定程度的保障。
本申请还提供了一种计算机可读存储介质,存储有计算机程序,当计算机程序被一个或多个处理器执行时,实现上述图像显示方法。
在本说明书的描述中,参考术语“具体地”、“进一步地”、“特别地”、“可以理解地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不预定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (16)
1.一种图像显示方法,其特征在于,包括:
获取目标物体的图像信息;
根据所述图像信息确定所述目标物体的目标三维模型;
生成与所述目标三维模型相关联的背景图像;
根据目标三维模型、所述背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
2.根据权利要求1所述的方法,其特征在于,所述根据所述图像信息确定所述目标物体的目标三维模型,包括:
根据所述图像信息确定所述目标物体的初始三维模型;
对所述初始三维模型进行预设的裁剪处理,得到所述目标三维模型。
3.根据权利要求2所述的方法,其特征在于,所述对所述初始三维模型进行预设的裁剪处理,得到所述目标三维模型,包括:
根据预先确定的视椎体参数,构建视图矩阵和透视投影矩阵;
根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,包括:
根据所述视图矩阵和所述透视投影矩阵,确定所述初始三维模型的裁剪空间坐标;
根据所述裁剪空间坐标和预先确定的裁剪规则,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型。
5.根据权利要求3所述的方法,其特征在于,所述根据所述视图矩阵和所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,包括:
根据所述初始三维模型与视点的目标距离、所述视图矩阵及所述透视投影矩阵,对所述初始三维模型进行所述裁剪处理,得到所述目标三维模型,所述目标距离根据动作检测设备相对于图像拍摄设备的参考距离所确定,所述动作检测设备被穿戴在目标对象上,所述图像拍摄设备用于拍摄所述目标物体以生成所述图像信息。
6.根据权利要求2所述的方法,其特征在于,所述根据所述图像信息确定所述目标物体的初始三维模型,包括:
根据所述图像信息和预先训练完成的神经辐射场网络模型,确定所述初始三维模型。
7.根据权利要求1所述的方法,其特征在于,所述生成与所述目标三维模型相关联的背景图像,包括:
构建所述目标三维模型对应的目标包围盒;
根据所述目标包围盒确定所述背景图像。
8.根据权利要求7所述的方法,其特征在于,所述构建所述目标三维模型对应的目标包围盒,包括:
配置射线的参数;
检测所述射线与预先构建的所述目标三维模型对应的初始包围盒的相交位置;
根据所述相交位置更新所述初始包围盒以确定所述目标包围盒。
9.根据权利要求7所述的方法,其特征在于,所述根据所述目标包围盒确定所述背景图像,包括:
根据所述目标包围盒对所述目标三维模型进行高斯模糊处理,得到所述背景图像。
10.根据权利要求9所述的方法,其特征在于,所述根据所述目标包围盒对所述目标三维模型进行高斯模糊处理,得到所述背景图像,包括:
根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像。
11.根据权利要求10所述的方法,其特征在于,所述根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像,包括:
在预设的编辑器中设置后处理体积,及配置所述后处理体积的第一高斯模糊处理参数。
12.根据权利要求10所述的方法,其特征在于,所述根据后处理体积和所述目标包围盒,对所述目标三维模型进行所述高斯模糊处理,得到所述背景图像,包括:
配置所述后处理体积的目标后处理材质。
13.根据权利要求12所述的方法,其特征在于,所述配置所述后处理体积的目标后处理材质,包括:
创建初始后处理材质,及对所述初始后处理材质的第二高斯模糊处理参数进行配置,以确定所述目标后处理材质。
14.一种图像显示装置,其特征在于,包括:
获取模块,用于获取目标物体的图像信息;
确定模块,用于根据所述图像信息确定所述目标物体的目标三维模型;
生成模块,用于生成与所述目标三维模型相关联的背景图像;
控制模块,用于根据目标三维模型、所述背景图像及预先构建的虚拟场景合成目标显示图像以进行显示。
15.一种服务器,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1-13任意一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,实现权利要求1-13任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410339145.8A CN118262044A (zh) | 2024-03-22 | 2024-03-22 | 图像显示方法、装置、服务器及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410339145.8A CN118262044A (zh) | 2024-03-22 | 2024-03-22 | 图像显示方法、装置、服务器及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118262044A true CN118262044A (zh) | 2024-06-28 |
Family
ID=91612359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410339145.8A Pending CN118262044A (zh) | 2024-03-22 | 2024-03-22 | 图像显示方法、装置、服务器及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118262044A (zh) |
-
2024
- 2024-03-22 CN CN202410339145.8A patent/CN118262044A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11335379B2 (en) | Video processing method, device and electronic equipment | |
US9654734B1 (en) | Virtual conference room | |
US11282264B2 (en) | Virtual reality content display method and apparatus | |
CN106375748B (zh) | 立体虚拟现实全景视图拼接方法、装置及电子设备 | |
US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
CN109829964B (zh) | Web增强现实的渲染方法和装置 | |
US9588651B1 (en) | Multiple virtual environments | |
US20170186243A1 (en) | Video Image Processing Method and Electronic Device Based on the Virtual Reality | |
CN111161392A (zh) | 一种视频的生成方法、装置及计算机系统 | |
CN107393018A (zh) | 一种利用Kinect实现实时虚拟影像叠加的方法 | |
US11557087B2 (en) | Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object | |
CN113269781A (zh) | 数据生成方法、装置及电子设备 | |
CN114358112A (zh) | 视频融合方法、计算机程序产品、客户端及存储介质 | |
US11188801B2 (en) | Method and apparatus for fusing object into panoramic video | |
CN117372602B (zh) | 一种异构三维多对象融合渲染方法、设备及系统 | |
US11961190B2 (en) | Content distribution system, content distribution method, and content distribution program | |
WO2024067320A1 (zh) | 虚拟物体的渲染方法、装置、设备及存储介质 | |
CN116712727A (zh) | 同屏画面渲染方法、装置及电子设备 | |
CN116801037A (zh) | 将真人主播影像投射于远程真实环境的增强现实直播方法 | |
CN112991146A (zh) | 一种自动特效生成系统及方法 | |
CN111047674A (zh) | 一种动画渲染方法及装置 | |
CN118262044A (zh) | 图像显示方法、装置、服务器及计算机可读存储介质 | |
JP7574400B2 (ja) | 文字の表示方法、装置、電子機器及び記憶媒体 | |
CN113223186B (zh) | 实现增强现实的处理方法、设备、产品和装置 | |
CN112396683B (zh) | 虚拟场景的阴影渲染方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |