CN108932750A - 增强现实的展示方法、装置、电子设备及存储介质 - Google Patents
增强现实的展示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN108932750A CN108932750A CN201810720343.3A CN201810720343A CN108932750A CN 108932750 A CN108932750 A CN 108932750A CN 201810720343 A CN201810720343 A CN 201810720343A CN 108932750 A CN108932750 A CN 108932750A
- Authority
- CN
- China
- Prior art keywords
- light field
- image
- information
- reflected light
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 230000001747 exhibiting effect Effects 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000010030 laminating Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000004907 flux Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 239000011521 glass Substances 0.000 description 17
- 238000013461 design Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 241000422846 Sequoiadendron giganteum Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种增强现实的展示方法、装置、电子设备及存储介质，获取物理对象的光场，将获取到的光场叠加到物理对象对应的模拟对象上，得到光场对象，AR展示时，将光场对象展示在现实世界图像，即电子设备捕捉到的实际图像上。该过程中，在模拟对象上叠加物理对象的光场，光场对象处于不同的位置和姿态时，对于用户来讲，观察到光场对象的视角是不同的，不同视角下光场对象的光场，与物理对象在真实世界中的对应视角下的光场相同或接近，使得光场对象呈现出更逼真、更接近于物理对象的效果。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种增强现实的展示方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Realty，AR)技术，是一种在用户看到的现实世界的视图上叠加计算机生成图像从而得到复合视图的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，把原本在现实世界一定时间和空间范围内很难体验到的实体信息，如视觉、声音，甚至味道和触觉等，通过模拟仿真后，得到相应的虚拟信息，在显示屏上将该虚拟信息套现在现实世界，以被用户感官感知，从而达到超越现实的感官体验。
通常情况下，AR技术可以对真实物体或者虚拟物体进行模拟仿真，以得到相应的虚拟信息。当对真实物体进行模拟时，先通过多个摄像头拍摄真实物体，然后，通过合成技术，得到该真实物体的模拟对象，该模拟对象例如为二维(Two Dimensional，2D图像或三维(Three Dimensional，3D)图像。最后，将模拟对象展示在任意真实的背景环境中。例如，预先扫描家具，得到家具的3D图像。然后，将房间作为AR场景的背景环境，将家具的3D图像展示在背景环境中，实现对房间的家具摆放的设计。
然而，真实物体处于真实的背景环境中，从不同视角观察该真实物体，该真实物体的给用户的视觉感觉是不一样的。上述将真实物体对应的模拟对象展示在AR场景的背景环境中时，无法精确的呈现模拟对象，导致AR效果差。
发明内容
本发明提供一种增强现实的展示方法、装置、电子设备及存储介质，以克服AR场景中，无法精确呈现模拟对象、AR效果差的问题。
第一方面，本发明实施例提供一种增强现实的展示方法，包括：
获取物理对象的光场；
将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象；
将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
在一种可行的设计中，所述获取物理对象的光场，包括：
获取至少一幅图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；
获取所述物理对象的每个像素点在各图像中的反射光信息；
对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
在一种可行的设计中，
所述获取所述物理对象的每个像素点在各图像中的反射光信息，包括：
从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；
获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
在一种可行的设计中，
所述光场包含所述物理对象在不同视角下的反射光信息；
所述将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象，包括：
确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；
从所述光场中选择与所述位姿信息对应的反射光信息；
将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象。
在一种可行的设计中，
所述将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，还包括：
监测所述光场对象在所述现实世界图像上是否发生位移；
若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光信息，以得到更新后的光场对象。
在一种可行的设计中，所述反射光信息包括下述信息中的一个或多个：反射光强度、反射光亮度、反射光照度以及反射光通量。
第二方面，本发明实施例提供一种增强现实展示装置，包括：
获取模块，用于获取物理对象的光场；
叠加模块，用于将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象；
展示模块，用于将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
在一种可行的设计中，所述获取模块，具体用于获取至少一幅拍摄图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；获取所述物理对象的每个像素点在各图像中的反射光信息；对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
在一种可行的设计中，所述获取模块，在获取所述物理对象的每个像素点在各图像中的反射光信息时，具体用于从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
在一种可行的设计中，
所述光场包含所述物理对象在不同视角下的反射光信息；
所述叠加模块，具体用于确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；从所述光场中选择与所述位姿信息对应的反射光信息；将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象。
在一种可行的设计中，还包括：处理模块；
所述处理模块，在所述叠加模块将据与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，用于监测所述光场对象在所述现实世界图像上是否发生位移；若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光的光信息，以得到更新后的光场对象。
在一种可行的设计中，所述反射光信息包括下述信息中的一个或多个：反射光强度、反射光亮度、反射光照度以及反射光通量。
第三方面，本发明实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述的方法。
第四方面，本发明实施例提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上第一方面所述的方法。
本发明实施例提供的增强现实的展示方法、装置、电子设备及存储介质，获取物理对象的光场，将获取到的光场叠加到物理对象对应的模拟对象上，得到光场对象，AR展示时，将光场对象展示在现实世界图像，即电子设备捕捉到的实际图像上。该过程中，在模拟对象上叠加物理对象的光场，光场对象处于不同的位置和姿态时，对于用户来讲，观察到光场对象的视角是不同的，不同视角下光场对象的光场，与物理对象在真实世界中的对应视角下的光场相同或接近，使得光场对象呈现出更逼真、更接近于物理对象的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的增强现实的展示方法所适用的场景示意图；
图2为本发明一实施例提供的增强现实的展示方法的流程图；
图3为本发明一个实施例提供的增强现实展示装置的结构示意图；
图4为本发明另一实施例提供的增强现实展示装置的结构示意图；
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的增强现实的展示方法所适用的场景示意图。如图1所示，物理对象是一直飞翔的小鸟100，电子设备捕捉到的实际图像是一棵大树200，小鸟100对应的模拟对象300。当时的情景是大树200周围并没有任何鸟类。现有的AR展示中，将模拟对象300展示在电子设备的屏幕的任意位置，且该模拟对象300可以模拟真实的小鸟100飞来飞去或停歇在树上的动作。
一般来说，每个物理对象都会反射自然界的光，不同视角下，反射光的光强度、光亮度等光信息不同，给用户的视觉感觉是不一样的，即不同视角小物理对象的同一个像素点的明暗程度等时不一样的。上述AR显示中，无论模拟对象300如何动作，或者电子设备移动导致模拟对象300的位置和姿态发生变化，使得用户的视角发生变化时，该模拟对象300的反射光的光信息是不会发生变化的，用户在视觉上无法感知模拟对象300的同一个像素点的明暗等发生变化。本发明实施例中，获取小鸟100的光场，根据观察角度，在模拟对象300上还原光场，得到光场对象，进而将光场对象展示在大树200的周围(图中未示出光场对象)，光场对象处于不同的位置和姿态时，将真实世界中物理对象表面的光场应用于模拟对象300，使得模拟对象300表面的反射光发生变化，呈现出更逼真、更接近于物理对象100的效果。
下面，基于图1所示场景，对本发明实施例所示的增强现实的展示方法进行详细说明。具体的，可参见图2。
图2为本发明一实施例提供的增强现实的展示方法的流程图。本实施例的执行主体是增强现实展示装置，该装置可以通过软件、硬件或者软硬件结合的方式实现，该装置可以是电子设备的部分或者全部。如图1所示，本实施例包括：
101、获取物理对象的光场。
本发明实施例中，可以预先通过光场相机等对物理对象进行多角度拍摄，从而得到物理对象的光场并存储在服务器或本地中。AR展示时，增强现实展示装置从服务器或本地获取物理对象的光场。或者，增强现实展示装置具备光场采集功能，预先或实时使用增强现实展示装置对物理对象进行多角度拍摄从而得到物理对象的光场。
102、将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象。
本发明实施例中，预先绘制物理对象对应的模拟对象，AR展示时，将步骤101获取到的光场叠加到模拟对象上。例如，点击加载，同时加载模拟对象与光场，将光场叠加到模拟对象上，得到光场对象。
103、将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
通过情况下，用户可以将模拟对象展示在现实世界图像上的任何位置。本步骤中，将任意位置叠加了光场的模拟对象进行展示，光场对象处于不同的位置和姿态时，对于用户来讲，观察到光场对象的视角是不同的，不同视角下光场对象的光场，与物理对象在真实世界中的对应视角下的光场相同或接近，使得光场对象呈现出更逼真、更接近于物理对象的效果。
本发明实施例提供的增强显示的展示方法，获取物理对象的光场，将获取到的光场叠加到物理对象对应的模拟对象上，得到光场对象，AR展示时，将光场对象展示在现实世界图像，即电子设备捕捉到的实际图像上。该过程中，在模拟对象上叠加物理对象的光场，光场对象处于不同的位置和姿态时，对于用户来讲，观察到光场对象的视角是不同的，不同视角下光场对象的光场，与物理对象在真实世界中的对应视角下的光场相同或接近，使得光场对象呈现出更逼真、更接近于物理对象的效果。
可选的，上述实施例中，增强现实展示装置获取物理对象的光场时，先获取至少一幅拍摄图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；然后获取所述物理对象的每个像素点在各图像中的反射光信息，对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
具体的，获取物理对象的光场时，从多个视角拍摄同一个物理对象，得到多个拍摄图像，不同拍摄图像中物理对象的世界不同。对于任意一个像素点，从每张图像中获取该像素点的发射光信息，从而获取到该像素点不同方向的反射光信息。然后，基于不同方向反射光的反射光信息，建立该像素点的光场，所有像素点的光场即为物理对象表面的光场。其中，每个像素点的反射光信息包括该像素点的反射光的反射光强度、反射光亮度、反射光照度以及反射光通量中的至少一个。
对于一个确定的像素点，建立该像素点的光场时，具体是将该像素点不同方向的反射光信息，即该像素点在不同拍摄图像中的反射光信息进行融合处理，如多纹理融合处理，从而得到该像素点的真实光场。
进一步的，由于多角度拍摄过程中，对于待建立光场的像素点，以下称之为目标像素点，很可能会出现有些拍摄图像中不存在该目标像素点的情况。例如，正面拍摄物理对象得到的拍摄图像，由于物理对象背面不在是视野范围内，因此，拍摄图像中不包含物理对象背面的像素点，在将物理对象背面的像素点作为目标像素点时，需要从多个拍摄图像中筛选出包含目标像素点的图像，此时，所述获取所述物理对象每个像素点在各个拍摄图像中的反射光信息时，具体是从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
可选的，上述实施例中，所述光场包含所述物理对象在不同视角下的反射光的光信息；此时，所述将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象，具体是通过确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；从所述光场中选择与所述位姿信息对应的反射光的光信息；将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象。
具体的，光场是一个集合，其包含所述物理对象不同视角下的反射光信息，不同视角对应不同的反射光，不同反射光的反射光信息不同。由于模拟对象可能是3D视频，或者被用户操作后可以在现实世界图像上展示3D效果，模拟对象处于不同位置和姿态时，用户的观察视角是不同，对应的物理对象的反射光信息不同。此时，根据模拟对象的位置和姿态，从光场中选择与该位置和姿态对应的反射光信息，该反射光信息即为物理对象处于同样的位置和姿态时反射光信息，进而将该反射光信息叠加在模拟对象上，得到光场对象。
进一步的，将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，还监测所述光场对象在所述现实世界图像上是否发生位移；若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光的光信息。
具体的，真实世界中，物理对象的位置和姿态不断发生变化时，即用户用不同视角观察物理对象时，对于该物理对象的同一个像素点，该像素点的反射光也是不断变化的。本实施例中，根据模拟对象在真实世界图像上的为位置和姿态，确定出用户观察模拟对象的视角，根据视角确定该视角对应的反射光信息，进而将该反射信息叠加在模拟对象上得到光场对象，实时更新模拟对象上的反射光信息得光场对象，并将光场对象实时展示在真实世界图像上。
例如，再请参照图1，模拟对象300在真实世界图像飞来飞去时，实时更新模拟对象300的反射光信息，并将得到的光场对象展示在现实世界图像200上。
再如，假设物理对象是一个透明的玻璃杯，从不同视角观察该玻璃杯时，玻璃杯的反射光是不同的，如光线正面照到玻璃杯且光线比较强时，由于反射光比较强，则正面看玻璃杯时，该玻璃杯比较刺眼失真，侧面看玻璃杯时，该玻璃杯是正常的。AR展示中，目前仅展示出虚拟玻璃杯的效果，无法动态展示该玻璃杯的光场，即反射光的信息。本发明实施例中，当玻璃杯的位置和姿态发生变化，导致用户观察该玻璃杯的视角不同时，可以在真实世界图像上展示玻璃杯的光场，即正面观察玻璃杯时，叠加在虚拟玻璃杯上的反射光的强度较大，使得用户观察到较为刺眼的玻璃杯，而侧面观察玻璃杯时，叠加在玻璃杯上的反射光的强度较弱，使得用户观察到正常的玻璃杯。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图3为本发明一个实施例提供的增强现实展示装置的结构示意图，该增强现实展示装置可以通过软件和/或硬件的方式实现。如图3所示，增强现实展示装置10包括：获取模块11、叠加模块12和展示模块13，其中，
获取模块11，用于获取物理对象的光场；
叠加模块12，用于将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象；
展示模块13，用于将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
本发明实施例提供的增强现实展示装置，获取物理对象的光场，将获取到的光场叠加到物理对象对应的模拟对象上，得到光场对象，AR展示时，将光场对象展示在现实世界图像，即电子设备捕捉到的实际图像上。该过程中，在模拟对象上叠加物理对象的光场，光场对象处于不同的位置和姿态时，对于用户来讲，观察到光场对象的视角是不同的，不同视角下光场对象的光场，与物理对象在真实世界中的对应视角下的光场相同或接近，使得光场对象呈现出更逼真、更接近于物理对象的效果。
可选的，所述获取模块11，具体用于获取至少一幅拍摄图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；获取所述物理对象的每个像素点在各图像中的反射光信息；对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
可选的，所述获取模块11，在获取所述物理对象的每个像素点在各图像中的反射光信息时，具体用于从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
可选的，所述光场包含所述物理对象在不同视角下的反射光信息；
所述叠加模块12，具体用于确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；从所述光场中选择与所述位姿信息对应的反射光信息；将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象象。
图4为本发明另一实施例提供的增强现实展示装置的结构示意图。如图4所示，本实施例所示的增强现实展示装置10在上述图3的基础上，进一步的，还包括：处理模块；该处理模块14，在所述叠加模块12将所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，用于监测所述光场对象在所述现实世界图像上是否发生位移；若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光的光信息，以得到更新后的光场对象。
可选的，所述反射光信息包括下述信息中的一个或多个：反射光强度、反射光亮度、反射光照度以及反射光通量。
图5为本发明一实施例提供的电子设备的结构示意图。如图5所示，该电子设备20包括：
至少一个处理器21和存储器22；
所述存储器22存储计算机执行指令；
所述至少一个处理器21执行所述存储器22存储的计算机执行指令，使得所述至少一个处理器21执行如上所述的增强现实的展示方法。
处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
可选地，该电子设备20还包括通信部件24。其中，处理器21、存储器22以及通信部件24可以通过总线25连接。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的增强现实的展示方法。
在上述的实施例中，应该理解到，所描述的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种增强现实的展示方法，其特征在于，包括：
获取物理对象的光场；
将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象；
将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
2.根据权利要求1所述的方法，其特征在于，所述获取物理对象的光场，包括：
获取至少一幅图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；
获取所述物理对象的每个像素点在各图像中的反射光信息；
对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
3.根据权利要求2所示的方法，其特征在于，所述获取所述物理对象的每个像素点在各图像中的反射光信息，包括：
从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；
获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
4.根据权利要求2所述的方法，其特征在于，所述光场包含所述物理对象在不同视角下的反射光信息；
所述将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象，包括：
确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；
从所述光场中选择与所述位姿信息对应的反射光信息；
将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象。
5.根据权利要求4所述的方法，其特征在于，所述将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，还包括：
监测所述光场对象在所述现实世界图像上是否发生位移；
若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光信息，以得到更新后的光场对象。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述反射光信息包括下述信息中的一个或多个：反射光强度、反射光亮度、反射光照度以及反射光通量。
7.一种增强现实展示装置，其特征在于，包括：
获取模块，用于获取物理对象的光场；
叠加模块，用于将所述光场叠加在所述物理对象对应的模拟对象上，以得到光场对象；
展示模块，用于将所述光场对象展示在现实世界图像上，所述现实世界图像是电子设备捕捉到的实际图像。
8.根据权利要求7所述的装置，其特征在于，
所述获取模块，具体用于获取至少一幅拍摄图像，所述至少一幅图像均包括所述物理对象、且所述物理对象在各图像中的视角不同；获取所述物理对象的每个像素点在各图像中的反射光信息；对所述物理对象的每个所述像素点在不同图像中的反射光信息进行融合，以得到每个所述像素点的光场。
9.根据权利要求8所述的装置，其特征在于，
所述获取模块，在获取所述物理对象的每个像素点在各图像中的反射光信息时，具体用于从所述至少一幅图像中选择包含目标像素点的图像，所述目标像素点为所述物理对象的一个像素点；获取所述目标像素点在包含所述目标像素点的图像中的反射光信息。
10.根据权利要求8所述的装置，其特征在于，所述光场包含所述物理对象在不同视角下的反射光信息；
所述叠加模块，具体用于确定所述模拟对象的位姿信息，所述位姿信息用于描述所述模拟对象在一个视角下的位置与姿态；从所述光场中选择与所述位姿信息对应的反射光信息；将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象。
11.根据权利要求10所述的装置，其特征在于，还包括：处理模块；
所述处理模块，在所述叠加模块将与所述位姿信息对应的反射光信息，叠加在所述物理对象对应的模拟对象上，以得到所述光场对象之后，用于监测所述光场对象在所述现实世界图像上是否发生位移；若所述光场对象在所述现实世界图像上发生位移，则更新所述模拟对象上叠加的反射光的光信息，以得到更新后的光场对象。
12.根据权利要求7～11任一项所述的装置，其特征在于，所述反射光信息包括下述信息中的一个或多个：反射光强度、反射光亮度、反射光照度以及反射光通量。
13.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-6任一项所述的方法。
14.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810720343.3A CN108932750A (zh) | 2018-07-03 | 2018-07-03 | 增强现实的展示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810720343.3A CN108932750A (zh) | 2018-07-03 | 2018-07-03 | 增强现实的展示方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108932750A true CN108932750A (zh) | 2018-12-04 |
Family
ID=64446632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810720343.3A Pending CN108932750A (zh) | 2018-07-03 | 2018-07-03 | 增强现实的展示方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108932750A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037339A (zh) * | 2020-09-01 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备和存储介质 |
| CN115002442A (zh) * | 2022-05-24 | 2022-09-02 | 北京字节跳动网络技术有限公司 | 一种图像展示方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130286004A1 (en) * | 2012-04-27 | 2013-10-31 | Daniel J. McCulloch | Displaying a collision between real and virtual objects |
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN107134005A (zh) * | 2017-05-04 | 2017-09-05 | 网易（杭州）网络有限公司 | 光照适配方法、装置、存储介质、处理器及终端 |
| CN107393017A (zh) * | 2017-08-11 | 2017-11-24 | 北京铂石空间科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN108028904A (zh) * | 2015-09-09 | 2018-05-11 | 华为技术有限公司 | 移动设备上光场增强现实/虚拟现实的方法和系统 |
-
2018
- 2018-07-03 CN CN201810720343.3A patent/CN108932750A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130286004A1 (en) * | 2012-04-27 | 2013-10-31 | Daniel J. McCulloch | Displaying a collision between real and virtual objects |
| CN108028904A (zh) * | 2015-09-09 | 2018-05-11 | 华为技术有限公司 | 移动设备上光场增强现实/虚拟现实的方法和系统 |
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN107134005A (zh) * | 2017-05-04 | 2017-09-05 | 网易（杭州）网络有限公司 | 光照适配方法、装置、存储介质、处理器及终端 |
| CN107393017A (zh) * | 2017-08-11 | 2017-11-24 | 北京铂石空间科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 胡孔明等: "基于光场的渲染技术研究", 《微计算机应用》 * |
| 陈宝权等: "混合现实中的虚实融合与人机智能交融", 《中国科学:信息科学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037339A (zh) * | 2020-09-01 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备和存储介质 |
| CN112037339B (zh) * | 2020-09-01 | 2024-01-19 | 抖音视界有限公司 | 图像处理方法、设备和存储介质 |
| CN115002442A (zh) * | 2022-05-24 | 2022-09-02 | 北京字节跳动网络技术有限公司 | 一种图像展示方法、装置、电子设备及存储介质 |
| CN115002442B (zh) * | 2022-05-24 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 一种图像展示方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6644833B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
| AU2013266187B2 (en) | Systems and methods for rendering virtual try-on products | |
| CN105814611B (zh) | 信息处理设备和方法以及非易失性计算机可读存储介质 | |
| CN108830894A (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| CN110889890A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| US20110084983A1 (en) | Systems and Methods for Interaction With a Virtual Environment | |
| CN110517355A (zh) | 用于照明混合现实对象的环境合成 | |
| CN111833458B (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
| US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
| WO2015090421A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
| KR20080069601A (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
| JP2005135355A (ja) | データオーサリング処理装置 | |
| US20180239514A1 (en) | Interactive 3d map with vibrant street view | |
| CN108043027B (zh) | 存储介质、电子装置、游戏画面的显示方法和装置 | |
| CN111815785A (zh) | 现实模型的呈现方法、装置、电子设备及存储介质 | |
| CN111249729B (zh) | 一种游戏角色的显示方法、装置、电子设备和存储介质 | |
| EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| CN112991551A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN115049803A (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
| CN108932750A (zh) | 增强现实的展示方法、装置、电子设备及存储介质 | |
| CN208506731U (zh) | 图像展示系统 | |
| CN118196135A (zh) | 图像处理方法、装置、存储介质、设备及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181204 |