CN112132940A - 显示方法、装置，显示设备及存储介质 - Google Patents
显示方法、装置，显示设备及存储介质 Download PDFInfo
- Publication number
- CN112132940A CN112132940A CN202010976171.3A CN202010976171A CN112132940A CN 112132940 A CN112132940 A CN 112132940A CN 202010976171 A CN202010976171 A CN 202010976171A CN 112132940 A CN112132940 A CN 112132940A
- Authority
- CN
- China
- Prior art keywords
- historical
- pose
- video frame
- pose information
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000009877 rendering Methods 0.000 claims abstract description 77
- 230000000694 effects Effects 0.000 claims description 84
- 230000000007 visual effect Effects 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 38
- 230000003190 augmentative effect Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 115
- 239000004576 sand Substances 0.000 description 35
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 230000009466 transformation Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种显示方法、装置，显示设备及存储介质。通过获取从真实场景中采集的当前视频帧对应的当前位姿信息，获取当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据，利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染所述虚拟对象位姿数据对应的虚拟对象，使得显示设备的启动位置无论在什么位置，显示设备都可以根据当前位姿信息和历史位姿信息的偏移调整显示虚拟对象，将虚拟对象显示到准确的位置。
Description
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种显示方法、装置，显示设备及存储介质。
背景技术
现有的三维模型显示方法是通过电机控制显示设备的行进位置。在滑动过程中根据显示设备的位置信息，进行显示相对应的增强现实(Augmented Reality，AR)模型。其缺点是AR模型的显示位置和滑动显示设备的初始位置绑定，一旦设备初始位置发生变化，其AR模型的显示位置亦将发生变化，导致AR模型和真实场景存在时延，AR呈现效果不佳。
发明内容
本公开实施例提供了一种显示方法，应用于显示设备，所述方法包括：
获取从真实场景中采集的当前视频帧的当前位姿信息；
获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据；
利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染虚拟对象；
在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果。
上述方案中，所述获取从真实场景中采集的当前视频帧的当前位姿信息，包括：
通过所述显示设备的采集模块采集所述真实场景的当前视频帧；
利用定位算法对所述当前视频帧进行处理，得到所述当前视频帧在相机传感器坐标系中的所述当前位姿信息。
上述方案中，所述获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据，包括：
获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息确定所述历史位姿偏移信息；
基于所述历史位姿偏移信息和所述当前位姿信息，得到所述虚拟对象位姿数据。
上述方案中，所述基于所述历史位姿信息确定历史位姿偏移信息，包括：
获取所述历史视频帧在视觉空间坐标系中的第一位姿信息；以及，利用定位算法对所述历史视频帧进行处理，得到所述历史视频帧在相机传感器坐标系中的第二位姿信息；其中，所述历史位姿信息包括所述第一位姿信息和所述第二位姿信息；
基于所述第二位姿信息与所述第一位姿信息之间的偏移量，确定所述历史位姿偏移信息。
上述方案中，所述基于所述历史位姿信息确定所述历史位姿偏移信息，包括：
获取所述历史视频帧在视觉空间坐标系中的第一位姿信息；
获取所述显示设备的采集模块在采集所述历史视频帧时的第三传感数据；
基于所述第一传感数据与所述第三传感数据之间的偏移量，确定历史传感位姿信息；所述历史位姿信息包括所述第一位姿信息和所述历史传感位姿信息；
基于所述第一位姿信息和所述历史传感位姿信息之间的偏移量，确定所述历史位姿偏移信息。
上述方案中，所述基于所述历史位姿偏移信息和所述当前位姿信息，得到所述虚拟对象位姿数据，包括：
按照所述历史位姿偏移信息，对所述当前位姿信息进行偏移，得到纠正位姿信息；
确定与所述纠正位姿信息对应的所述虚拟对象位姿数据。
上述方案中，所述获取从真实场景中采集的当前视频帧对应的当前位姿信息，包括：
获取所述显示设备的采集模块在采集初始视频帧时的第一传感数据，以及所述显示设备的采集模块在采集所述当前视频帧时的第二传感数据；
计算所述第一传感数据与所述第二传感数据的偏移量，确定所述显示设备采集所述当前视频帧时的所述当前位姿信息。
上述方案中，所述虚拟对象位姿数据包括：构成虚拟对象的每个像素的坐标位置；所述利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染虚拟对象，包括：
将所述虚拟对象中的每个像素的坐标位置映射到渲染引擎坐标系下，得到每个像素的目标坐标位置；
利用渲染引擎，在所述当前视频帧中目标坐标位置处渲染所述虚拟对象。
本公开实施例提供一种显示装置，基于显示设备进行使用，包括：
采集模块，用于获取从真实场景中采集的当前视频帧对应的当前位姿信息，获取所述当前视频帧之前的历史视频帧的历史位姿信息；
处理模块，用于基于所述历史位姿信息与所述当前位姿信息确定虚拟对象位姿数据；
渲染模块，用于利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染所述虚拟对象位姿数据对应的虚拟对象；
展示模块，用于在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果。
上述装置中，所述增强现实效果包括以下之一：
所述真实场景中的至少一个真实对象的至少部分被所述虚拟对象遮挡；
所述真实场景中的目标真实对象的边缘处渲染有所述虚拟对象；
所述真实场景中的背景区域中渲染有所述虚拟对象。
上述装置中，所述处理模块，还用于基于所述真实场景图像，确定所述展示对象在预设三维虚拟场景中对应的虚拟对象模型；所述预设三维虚拟场景为根据所述真实场景建模得到的虚拟模型；获得对所述虚拟对象模型是否存在有预设渲染数据的判断结果；在所述判断结果表征为所述虚拟对象模型存在有预设渲染数据的情况下，将所述预设渲染数据作为所述虚拟对象数据。
上述装置中，所述处理模块，还用于根据所述真实场景图像，确定所述展示对象在真实场景中的当前位姿信息；根据真实坐标系与虚拟坐标系的预设映射关系，确定所述当前位姿信息在所述预设三维虚拟场景中对应的虚拟对象模型；所述真实坐标系为所述真实场景对应的坐标系；所述虚拟坐标系为所述预设三维虚拟场景对应的坐标系。
上述装置中，所述处理模块，还用于根据真实坐标系与虚拟坐标系的预设映射关系，确定所述当前位姿信息在所述预设三维虚拟场景中对应的位置区域；将所述位置区域内对应的预设虚拟模型作为所述虚拟对象模型。
上述装置中，所述预设三维虚拟场景为实时重建的模型，或者预存在云端的模型。
上述装置中，所述图像采集单元包含双目摄像头；所述显示设备还包括建模模块，所述采集模块，还用于所述基于所述真实场景图像中包括的展示对象，确定与所述展示对象匹配的虚拟对象数据之前，通过所述双目摄像头，获取所述真实场景图像的图像信息和深度信息；所述建模模块，还用于根据所述真实场景图像的图像信息和深度信息；对所述真实场景图像中的展示对象进行三维建模，得到所述预设三维虚拟场景。
上述装置中，所述显示设备还包括更新模块，所述更新模块，用于在所述显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果之后，在所述显示设备的移动过程中，对采集的所述真实场景图像进行更新，并基于更新的真实场景图像得到更新的虚拟对象；所述展示模块，还用于在所述显示设备上实时展示所述更新的真实场景图像与所述更新的虚拟对象相叠加的增强现实AR效果。
上述装置中，展示对象的周围设置有至少一个显示设备，所述至少一个显示设备中的每个显示设备用于根据各自对所述展示对象的采集方向，在各自当前位置上实时采集所述展示对象的真实场景图像，并基于各自采集到的真实场景图像得到对应的虚拟对象，展示各自对应的真实场景图像与虚拟对象相叠加的增强现实AR效果。
本公开实施例提供一种显示设备，所述显示设备在预设的滑动轨道上移动，包括：
显示屏，用于在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果；
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，结合所述显示屏，实现本公开实施例所述的方法。
本公开实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本公开实施例所述的方法。
本公开实施例具有以下有益效果：
通过获取从真实场景中采集的当前视频帧对应的当前位姿信息，获取当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据，利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染所述虚拟对象位姿数据对应的虚拟对象，使得显示设备的初始位置无论在什么位置，显示设备都可以根据当前位姿信息和历史位姿信息的偏移调整虚拟对象的显示情况，将虚拟对象显示到准确的位置，提高了虚拟对象与真实场景的融合度以及AR呈现效果。
附图说明
图1是本公开实施例提供的一种应用场景的示意图；
图2是本公开实施例提供的另一种应用场景的示意图；
图3为本公开实施例提供的另一种应用场景示意图；
图4为本公开实施例提供的显示方法的一个可选的流程示意图；
图5是本公开实施例提供的显示设备的装置结构示意图；
图6a为本公开实施例提供的三个相机坐标系的关系示意图；
图6b为本公开实施例提供的SLAM算法定义的世界坐标系示意图；
图6c为本公开实施例提供的渲染引擎采用的世界坐标系和视觉空间世界坐标系的关系示意图；
图7a是本公开实施例提供的虚拟对象的一个可选的效果示意图；
图7b是本公开实施例提供的虚拟对象的一个可选的效果示意图；
图7c是本公开实施例提供的虚拟对象的一个可选的效果示意图；
图7d是本公开实施例提供的虚拟对象的一个可选的效果示意图；
图8是本公开实施例提供的显示方法的一个可选的流程示意图；
图9是本公开实施例提供的显示方法的一个可选的流程示意图；
图10是本公开实施例提供的显示方法的一个可选的流程示意图；
图11是本公开实施例提供的显示方法的一个可选的流程示意图；
图12a是本公开实施例提供的通过显示屏对沙盘模型进行展示的一个可选的效果示意图；
图12b是本公开实施例提供的通过显示屏对沙盘模型进行展示的一个可选的效果示意图；
图12c是本公开实施例提供的通过显示屏对沙盘模型进行展示的一个可选的效果示意图；
图12d是本公开实施例提供的通过显示屏对沙盘模型进行展示的一个可选的效果示意图；
图12e是本公开实施例提供的通过显示屏对沙盘模型进行展示的一个可选的效果示意图；
图13a是本公开实施例提供的显示设备的装置结构示意图；
图13b是本公开实施例提供的显示设备的装置结构示意图；
图14是本公开实施例提供的显示装置的一个可选的结构示意图；
图15是本公开实施例提供的显示设备的一个可选的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
本公开实施例提供一种显示方法、装置、显示设备及计算机可读存储介质，能够提高展示的直观性和丰富性，本公开实施例提供的显示方法应用于显示设备中，下面说明本公开实施例提供的显示设备的示例性应用，本公开实施例提供的显示设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种具有显示屏的终端。
下面对可适用于本公开实施例中的应用场景进行示例性说明。本公开实施例的应用场景包括但不限于物体展示场景，例如楼盘沙盘展示、工地楼宇展示、或其他物体展示等场景。
示例性的，请参见图1，图1为本公开实施例提供的一种应用场景的示意图，如图1所示，显示屏101可以设置在楼宇之中，并可以沿预设轨道进行滑动。在其它实施例中，显示屏101可以设置在楼宇的边缘或楼宇之外。显示屏101可以用于采集楼宇的真实场景图像，并在楼宇真实场景图像上叠加与楼宇相关的虚拟效果，从而呈现出AR效果。在一些实施例中，在显示屏101滑动到楼宇A的情况下，显示屏101采集到楼宇A的真实图像，并可以根据楼宇A的真实图像确定楼宇A的楼宇模型为A’，显示屏101根据A’对应的预设渲染数据，渲染得到楼宇A的虚拟效果图像，并将楼宇A的虚拟效果图像叠加楼宇A的真实图像上显示出AR效果。在显示屏101滑动到楼宇B的情况下，显示屏101可以得到楼宇B的真实图像，并确定楼宇B的楼宇模型为B’，进而将楼宇B的虚拟效果图像叠加楼宇B的真实图像上对屏幕显示内容进行更新，在显示屏101的移动过程中实时显示出每个移动位置上AR效果。
图2为本公开实施例提供的另一种应用场景的示意图，如图2所示，本公开实施例中的显示设备还可以为终端设备102，用户可以手持或佩戴终端设备102进入楼宇之间，并通过拍摄楼宇使在终端设备102上显示楼宇图像与楼宇相关的虚拟效果图像相叠加的AR效果。
图3为本公开实施例提供的另一种应用场景示意图，如图3所示，显示设备101设置于预设的滑动轨道102上，显示设备101可以沿滑动轨道102移动，且显示设备101设置于展示台的前方，在所述展示台上设有至少一个目标实体，所述显示设备101中显示有虚拟对象104，该虚拟对象104用于对目标实体103进行讲解。示例性的，在虚拟对象104讲解过程中可以基于显示设备101移动过程中采集的目标实体103的图像，在显示设备101的屏幕中显示与目标实体103相关的虚拟效果图像，以呈现目标实体103与虚拟效果图像相叠加的AR效果。
参见图4，图4是本公开实施例提供的显示方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。
步骤S101、获取从真实场景中采集的当前视频帧对应的当前位姿信息。
示例性的，本公开实施例中提供的显示方法应用于显示设备中，其中，如图5所示，显示设备500可以固定在通过带有滑轮的支架530上，与展台520上预设的滑动轨道510活动连接，并可沿预设的滑动轨道510左右滑动。示例性的，本公开实施例中提供的显示方法还可以应用于用户手持显示设备进行移动的场景。用户手持显示设备移动的同时，显示设备显示虚拟对象和真实场景进行融合。本公开实施例中提供的显示方法主要用于解决可移动的显示设备不在初始位置启动时，显示设备显示的虚拟对象很难和真实场景融合，AR呈现效果不佳的问题。
本公开实施例中，显示设备可以通过采集模块采集当前真实场景的图像，根据图像中的当前视频帧或者当前时刻的图像确定显示设备的当前位姿信息。示例性的，真实场景可以是展台上的沙盘模型或其他展品、建筑中的工地、建筑物室内场景、街道场景、或其他具体的物体等场景，通过在真实场景中叠加虚拟对象，来呈现增强现实的效果。其中，采集模块的采集范围可以包含全部展示物体，可以只包含部分展示物体，具体的可根据实际情况进行选择，本公开实施例对采集模块的采集范围不做限定。
本公开实施例中，显示设备的位姿信息可以包括显示设备在滑动轨道上运动时、用户手持显示设备进行移动时、智能移动显示设备自主导航移动时，用于显示虚拟对象的显示部件所在的位置和/或显示角度。当前视频帧对应的当前位姿信息可以通过设置在显示设备上的采集模块获取。本公开实施例中采集模块可以包括：双目相机、传感器、陀螺仪、惯性测量传感器(Inertial measurement unit，IMU)等；可以包括用来确定显示设备的位姿信息的部件，比如可以是基于全球定位系统(Global Positioning System，GPS)、全球导航卫星系统(Global Navigation Satellite System，GLONASS)，也可以同时包括用来确定显示设备的显示角度的角速度传感器。
本公开实施例中，显示设备在非初始位置启动时存在位姿偏移，当显示设备在当前视频帧需要显示虚拟对象时，首先需要获取当前视频帧的当前位姿信息，将当前位姿信息与位姿偏移叠加，进而可以在展示对象对应的位置显示虚拟对象。本公开实施例中，显示设备开启后采集模块实时采集真实场景中的视频图像，筛选出视频图像的当前时刻的视频帧作为当前视频帧，并对当前视频帧进行处理，获取到当前视频帧的当前位姿信息。
在本公开的一些实施例中，显示设备可以采用定位算法对当前视频帧进行处理，获取到当前视频帧的当前位姿信息。其中，定位算法例如为地图构建(simultaneouslocalization and mapping，SLAM)算法，SLAM算法可以基于预先定义的虚拟坐标系，结合当前视频帧计算出当前位姿信息。
本公开实施例中，采集模块可以是设置在显示设备上的传感器，显示设备开启后，传感器实时获取显示设备的位置坐标信息。当前视频帧对应的当前位姿信息可以是当前时刻的传感器获取到的显示设备的位置坐标信息。在本公开的一些实施例中，采集模块可以包括设置在显示设备上的角度传感器，显示设备开启后角度传感器实时获取显示设备的显示角度信息。当前视频帧对应的当前位姿信息可以包括当前时刻的角度传感器获取到的显示设备的显示角度信息。
在本公开的一些实施例中，当前视频帧对应的当前位姿信息也可以包括传感器获取到的位置坐标信息与角度传感器获取到的显示角度信息的组合信息。
步骤S102、获取当前视频帧之前的历史视频帧的历史位姿信息，基于历史位姿信息与当前位姿信息，确定虚拟对象位姿数据。
本公开实施例中，显示设备的采集模块(比如采集模块中的双目相机)实时采集当前真实场景的图像，显示设备启动预定时长(示例性的，设置为1-3秒内的时长)后通过设置在显示设备上的采集模块获取显示设备的历史视频帧。其中，历史视频帧是当前时刻之前任意一时刻的视频帧。显示设备可以采用定位算法对历史视频帧进行处理，获取到历史视频帧的历史位姿信息。本公开实施例中，定位算法例如为SLAM算法、视觉定位算法和基于惯性传感器的定位算法等，本申请对此并不限定。示例性的，显示设备通过视觉定位算法对历史视频帧进行处理得到历史视频帧的第一位姿信息，显示设备通过SLAM算法对历史视频帧进行处理得到历史视频帧的第二位姿信息，显示设备通过基于惯性传感器的定位算法对历史视频帧对应时刻的惯性传感器数据进行处理得到历史视频帧的历史传感位姿信息。其中第一位姿信息包括：视觉空间位姿信息，第二位姿信息包括：相机位姿信息，历史传感位姿信息包括：惯性传感位姿信息。示例性的，显示设备的处理模块可以基于第一位姿信息和第二位姿信息的计算出偏移，得到历史位姿偏移信息。
本公开实施例中，显示设备的处理模块获取到当前位姿信息与历史位姿偏移信息，通过显示设备的处理模块将当前位姿信息叠加历史位姿偏移信息，得到虚拟对象位姿数据。处理模块将虚拟对象位姿数据发送给显示设备的渲染模块上，渲染模块可以在对应的位置渲染出虚拟对象，提高了虚拟对象与真实场景的融合度以及AR呈现效果。
本公开实施例中，为了方便解释位姿信息，这里引入坐标系的概念。首先可以分别定义虚拟的相机传感器坐标系slam_c、视觉空间坐标系phy_c、渲染引擎相机坐标系render_c、相机传感器世界坐标系slam_w、渲染引擎相机世界坐标系render_w和视觉空间世界坐标系phy_w。其中，相机传感器坐标系slam_c为SLAM算法定义的相机坐标系，相机传感器世界坐标系slam_w为SLAM算法定义的世界坐标系，视觉空间坐标系phy_c为视觉定位算法定义的相机坐标系，视觉空间世界坐标系phy_w为视觉定位算法定义的世界坐标系，渲染引擎相机坐标系render_c为渲染引擎采用算法定义的相机坐标系，渲染引擎相机世界坐标系render_w为渲染引擎采用算法定义的世界坐标系。
由于在本公开实施例中，显示设备上的采集模块包括了一个相机，所以基于相机定义的相机传感器坐标系slam_c、视觉空间坐标系phy_c和渲染引擎相机坐标系render_c的原点是重合的。其中，SLAM算法定义的相机传感器世界坐标系slam_w与SLAM算法启动的位置有关，启动位置即为相机传感器世界坐标系slam_w的原点位置。渲染引擎相机世界坐标系render_w和视觉空间世界坐标系phy_w的原点可以是真实场景中的任意一点。
相机传感器坐标系slam_c中，如图6a所示，Xslam_c表示该坐标系的X轴，Yslam_c表示该坐标系的Y轴，Zslam_c表示该坐标系的Z轴。显示设备可以通过SLAM算法对当前视频帧或者历史视频帧进行计算，得到当前视频帧或者历史视频帧在相机传感器坐标系slam_c中的当前位姿信息或者历史位姿信息。
视觉空间坐标系phy_c中，如图6a所示，Xphy_c表示该坐标系的X轴，Yphy_c表示该坐标系的Y轴，Zphy_c表示该坐标系的Z轴。显示设备可以通过视觉定位算法对当前视频帧或者历史视频帧进行计算，得到当前视频帧或者历史视频帧在视觉空间坐标系phy_c中的当前位姿信息或者历史位姿信息。渲染引擎相机坐标系render_c中，如图6A所示，Xrender_c表示该坐标系的X轴，Yrender_c表示该坐标系的Y轴，Zrender_c表示该坐标系的Z轴。显示设备通过历史位姿信息计算获取历史位姿偏移信息，将历史位姿偏移信息和当前位姿信息叠加得到虚拟对象位姿数据。其中，虚拟对象位姿数据包括虚拟对象在相机传感器坐标系slam_c中的位姿数据，显示设备将虚拟对象在相机传感器坐标系slam_c中的位姿数据转换到渲染引擎相机坐标系render_c中，得到虚拟对象的目标位置坐标，然后可以通过渲染引擎根据虚拟对象的目标位置坐标在渲染引擎坐标系对应的位置渲染出虚拟对象。
相机传感器世界坐标系slam_w中，如图6b所示，Xslam_w、Yslam_w和Zslam_w即为三个坐标轴。
渲染引擎相机世界坐标系render_w中，如图6c所示，Xrender_w、Yrender_w和Zrender_w即为三个坐标轴。
视觉空间世界坐标系phy_w中，如图6c所示，Xphy_w、Yphy_w和Zphy_w即为三个坐标轴。如图6c所示，渲染引擎相机世界坐标系render_w和视觉空间世界坐标系phy_w(即真实世界坐标系)的原点是重合的，即渲染空间与物理空间应该是一一对应的。
示例性的，视觉空间坐标系phy_c中的历史位姿信息或者当前位姿信息包括显示设备的显示部件在视觉空间坐标系phy_c中的坐标位置，或者包括显示设备的显示部件与视觉空间坐标系phy_c中各个坐标轴的夹角，或者同时包括显示设备的显示部件在视觉空间坐标系phy_c中的坐标位置以及与视觉空间坐标phy_c中各个坐标轴的夹角，在此不做具体限定。
示例性的，显示设备的历史视频帧的历史位姿信息包括了第一位姿信息和第二位姿信息。可以计算获取历史视频帧的第一位姿信息为(X1，Y1，Z1)、第二位姿信息为(X2，Y2，Z2)。其中，第一位姿信息(X1，Y1，Z1)中的X1为历史视频帧在视觉空间坐标系phy_c中的X轴上的坐标点，Y1为历史视频帧在视觉空间坐标系phy_c中的Y轴上的坐标点，Z1为历史视频帧在视觉空间坐标系phy_c中的Z轴上的坐标点。第二位姿信息(X2，Y2，Z2)中的X2为历史视频帧在相机传感器坐标系slam_c中的X轴上的坐标点，Y2为历史视频帧在相机传感器坐标系slam_c中的Y轴上的坐标点，Z2为历史视频帧在相机传感器坐标系slam_c中的Z轴上的坐标点。然后通过显示设备的处理模块计算获取第一位姿信息(X1，Y1，Z1)和第二位姿信息(X2，Y2，Z2)之间的偏移，得到历史位姿偏移信息。将历史位姿偏移信息和当前位姿信息融合，得到虚拟对象位姿数据。
步骤S103、利用虚拟对象位姿数据，在显示设备对应的当前视频帧中渲染虚拟对象。
本公开实施例中，显示设备的渲染模块确定出的虚拟对象位姿数据之后，根据虚拟对象位姿数据包括的构成虚拟对象的每个像素的坐标位置，在真实场景图像中与展示对象关联的展示位置处渲染虚拟对象位姿数据对应的虚拟对象。
本公开实施例中，显示设备根据虚拟对象位姿数据渲染得到的虚拟对象可以包括以下至少之一：
与展示对象对应的虚拟场景效果；如图7a所示，在通过滑轨上的显示屏对展台上的沙盘模型进行展示时，虚拟对象可以是沙盘中的楼宇模型对应的完工后的效果，以及沙盘区域在白天和夜晚不同的场景效果。
与展示对象对应的虚拟细节图；如图7b所示，在通过滑轨上的显示屏对展台上的汽车进行展示时，显示屏不在初始位置启动，当获取到了显示屏的当前位姿信息和历史位姿信息后，可以确定虚拟对象位姿信息，从而进行虚拟虚拟对象的展示。虚拟对象可以是在显示屏当前位置对应的车身部位内部的构造细节图。
与展示对象对应的虚拟三维动画效果；如图7c所示，虚拟对象可以是汽车上的元件如方向盘的虚拟三维动画效果53，显示设备可以将方向盘元件对应的虚拟三维动画效果53在显示屏的上方区域播放，对方向盘进行全方位旋转展示。
与展示对象对应的虚拟标签。如图7d所示，在通过滑轨上的显示屏对展台上的沙盘模型进行展示时，虚拟对象可以是以文字标签或图片标签的形式展示楼宇模型对应的说明信息。
本公开实施例中，显示设备通过当前位姿信息和历史位姿信息确定了虚拟对象位姿数据之后，可以从真实场景图像中得到与展示对象关联的展示位置，这样在根据虚拟对象位姿数据进行渲染，得到虚拟对象之后，将虚拟对象对应叠加在真实场景图像中展示对象关联的展示位置上，再配合虚拟对象数据的透明度的设置，来达到真实场景图像与虚拟对象相叠加的增强显示AR效果。如上述图7a至图7d所示，虚拟对象与真实场景图像中的展示对象是1:1大小，并且虚拟对象是覆盖在真实场景图像中展示对象的同一位置上的，因此如沙盘完工效果、车身细节图等虚拟效果可以覆盖并重合在沙盘部分模型图像，汽车部分车身图像上显示，从而呈现出了在展示对象上进一步叠加了虚拟画面的AR效果。
S104、在显示设备上显示真实场景与所述虚拟对象相叠加的增强现实效果。
本公开实施例中，显示设备渲染出虚拟对象之后，可以通过显示设备上的显示屏幕，展示真实场景图像与虚拟对象相叠加的AR效果。
示例性的，通常显示设备需要通过相机传感器坐标系slam_c确定显示设备的位姿，从而根据显示设备的位姿来显示虚拟对象。当显示设备不在初始位置启动时，显示设备定义的相机传感器坐标系slam_c的原点不在预设的启动位置，造成显示设备的定位位姿存在误差。本公开实施例中，显示设备上的处理模块通过处理历史位姿信息得到显示设备不在初始位置启动时的历史位姿偏移信息。具体的，历史位姿信息包括第一位姿信息和第二位姿信息，第一位姿信息包括历史视频帧在视觉空间坐标系phy_c中的视觉空间位姿信息，而视觉空间坐标系phy_c与真实场景匹配，第二位姿信息包括历史视频帧在相机传感器坐标系slam_c中的相机位姿信息。显示设备可以通过第一位姿信息和第二位姿信息计算得到历史位姿偏移信息。其中，历史位姿偏移信息是显示设备不在初始位置启动时显示设备定义的相机传感器坐标系slam_c在真实场景内的偏移信息。显示设备将当前位姿信息和历史位姿偏移信息进行叠加可以将显示设备的位姿误差进行纠正，从而确定虚拟对象位姿数据，根据虚拟对象位姿数据对真实场景中与展示对象关联的展示位置进行进一步渲染，使得显示设备无论在任何位置启动时可以在真实场景中展示对象关联的展示位置展示虚拟对象，进而展示虚拟对象与真实场景图像相叠加的AR效果，使得显示设备显示的虚拟对象与真实场景高度融合，优化了AR显示效果。
在一些可能的实施方式中，参见图8，图8是本公开实施例提供的显示方法的一个可选的流程示意图，图4示出的S101可以通过S1011至S1012实现，将结合各步骤进行说明。
S1011、通过显示设备的采集模块采集真实场景的当前视频帧。
本公开实施例中，显示设备开启后，由于显示设备不在初始位置启动，显示设备显示的虚拟对象也不会显示在对应的位置上。此时通过设置在显示设备上的采集模块获取显示设备开启后当前时刻的视频帧。
S1012、利用定位算法对当前视频帧进行处理，得到当前视频帧在相机传感器坐标系中的当前位姿信息。
本公开实施例中，为了获取当前视频帧的当前位姿信息。定位算法首先对当前视频帧进行特征提取并进行特征匹配，选取当前视频帧的关键点，然后基于关键点的相关数据利用基础矩阵进行计算，可以获取当前视频帧对应的当前位姿信息。本公开实施例中，定位算法包括SLAM定位算法。本公开实施例中，显示设备可以通过算法计算得到当前位姿信息从相机传感器坐标系slam_c到相机传感器世界坐标系slam_w中的转换矩阵，即当前位姿信息矩阵。在本公开实施例中前位姿信息矩阵为：Tslam_w_slam_c_X。其中，Tslam_w_slam_c_X代表第X帧视频帧即当前视频帧的位姿信息从相机传感器坐标系slam_c中到相机传感器世界坐标系slam_w中的转换矩阵。
在一些可能的实施方式中，参见图9，图9是本公开实施例提供的显示方法的一个可选的流程示意图，图4示出的S101可以通过S1013至S1014实现，将结合各步骤进行说明。
S1013、获取显示设备的采集模块在采集初始视频帧时的第一传感数据，以及显示设备的采集模块在采集当前视频帧时的第二传感数据。
本公开实施例中，为了获取显示设备的当前位姿信息首先可以定义一个虚拟的传感坐标系imu_c。传感坐标系imu_c是惯性传感器定位算法定义的坐标系，传感坐标系imu_c的原点与坐标轴的定义参照S102中的相机传感器坐标系slam_c进行定义。显示设备开启后，通过设置在显示设备上的采集模块(可以为惯性传感器)获取显示设备开启时的初始视频帧的第一传感数据，和显示设备开启一段时候后当前视频帧的第二传感数据。示例性的，第一传感数据包括初始视频帧的加速度数据和方向数据，第二传感数据包括当前视频帧的加速度数据和方向数据。
S1014、计算第一传感数据与第二传感数据的偏移量，确定显示设备采集当前视频帧时的当前位姿信息。
本公开实施例中，显示设备的处理模块计算得到第一传感数据与第二传感数据之间的偏移量。显示设备通过偏移量计算转换可以得到当前视频帧在预先建立的传感坐标系imu_c中的当前位姿信息。本公开实施例中，显示设备可以通过算法计算得到当前位姿信息从传感坐标系imu_c到传感世界坐标系imu_w的转换矩阵，即当前位姿信息矩阵。在本公开实施例中，当前位信息姿矩阵为：Timu_w_imu_c_X。其中，Timu_w_imu_c_X代表第X帧视频帧即当前视频帧的位姿信息从传感坐标系imu_c到传感世界坐标系imu_w的转换矩阵。
在一些可能的实施方式中，参见图8，图8是本公开实施例提供的显示方法的一个可选的流程示意图，图4示出的S102可以通过S1021至S1022实现，将结合各步骤进行说明。
S1021、获取当前视频帧之前的历史视频帧的历史位姿信息，基于历史位姿信息确定所述历史位姿偏移信息。
本公开实施例中，显示设备的采集模块实时采集真实场景的图像，显示设备启动预定时长(通常设置为1-3秒内的时长)后通过设置在显示设备上的采集模块获取历史视频帧。显示设备的处理模块对历史视频帧的信息处理得到历史视频帧的第一位姿信息和第二位姿信息。然后显示设备的处理模块基于历史视频帧的第一位姿信息和第二位姿信息计算出历史位姿偏移信息。
在一些可能的实施方式中，参见图10，图10是本公开实施例提供的显示方法的一个可选的流程示意图，图8示出的S1021可以通过S201至S202实现，将结合各步骤进行说明。
S201、获取历史视频帧在视觉空间坐标系中的第一位姿信息；以及，利用定位算法对历史视频帧进行处理，得到历史视频帧在相机传感器坐标系中的第二位姿信息。
本公开实施例中，显示设备的采集模块获取到了历史视频帧之后，可以通过视觉定位算法计算得到历史视频帧在视觉空间坐标系phy_c中的第一位姿信息。然后将历史视频帧通过SLAM算法计算得到历史视频帧在相机传感器坐标系slam_c中的第二位姿信息。第一位姿信息包括了历史视频帧在视觉空间坐标系phy_c中的位置坐标。第二位姿信息包括了历史视频帧在相机传感器坐标系slam_c中的位置坐标。
本公开实施例中，显示设备可以通过算法计算得到第一位姿信息从视觉空间坐标系phy_c到视觉空间世界坐标系phy_w的转换矩阵，即第一位姿信息矩阵。在本公开实施例中，第一位姿信息矩阵为：Tphy_w_phy_c_N。其中，Tphy_w_phy_c_N代表第N帧历史视频帧的位姿信息从视觉空间坐标系phy_c到视觉空间世界坐标系phy_w的转换矩阵。
本公开实施例中，显示设备可以通过算法计算得到第二位姿信息从相机传感器坐标系slam_c到相机传感器世界坐标系slam_w的转换矩阵，即第二位姿信息矩阵。在本公开实施例中，第二位姿信息矩阵为：Tslam_w_slam_c_N。其中，Tslam_w_slam_c_N代表第N帧历史视频帧的位姿信息从相机传感器坐标系slam_c到相机传感器世界坐标系slam_w的转换矩阵。
S202、基于第二位姿信息与第一位姿信息之间的偏移量，确定历史位姿偏移信息。
本公开实施例中，历史位姿偏移信息可以为偏移矩阵Toffset1，计算获取偏移矩阵Toffset1时需要获取第一位姿信息矩阵、第二位姿信息矩阵、SLAM算法定义的相机传感器坐标系slam_c到渲染引擎相机坐标系render_c的第一转换矩阵、SLAM算法定义的相机传感器坐标系slam_c到视觉空间坐标系phy_c的第二转换矩阵和渲染引擎相机世界坐标系render_w到视觉空间世界坐标系phy_w的第三转换矩阵。将第二位姿信息矩阵基于第一转换矩阵、第二转换矩阵和第三转换矩阵转换到和第一位姿信息矩阵对应的视觉空间坐标系phy_c中，并将第二位姿信息矩阵转换到视觉空间坐标系phy_c中的矩阵信息与第一位姿信息矩阵进行计算，可以得到偏移矩阵Toffset1。
示例性的，具体计算公式为(1)为：
其中，Tphy_w_phy_c_N为第一位姿信息矩阵，Tslam_w_slam_c_N为第二位姿信息矩阵，Trotate_Y_UP为SLAM算法定义的相机传感器坐标slam_c系到渲染引擎相机坐标系render_c的第一转换矩阵，第一转换矩阵Trotate_Y_UP能够使SLAM算法定义的相机传感器坐标系slam_c的Y方向与渲染引擎相机坐标系render_c的UP方向一致。Tphy_c_slam_c为SLAM算法定义的相机传感器坐标系slam_c到视觉空间坐标系phy_c的第二转换矩阵，Trender_w_phy_w为渲染引擎相机世界坐标系render_w到视觉空间世界坐标系phy_w的第三转换矩阵。显示设备可以通过第一转换矩阵Trotate_Y_UP、第二转换矩阵Tphy_c_slam_c、第三转换矩阵Trender_w_phy_w、第一位姿信息矩阵Tphy_w_phy_c_N和第二位姿信息矩阵Tslam_w_slam_c_N进行计算，实现了相机传感器坐标slam_c、视觉空间坐标系phy_c和渲染引擎相机坐标系render_c之间的对齐，进而可以计算出偏移矩阵Toffset1。
显示设备将第三转换矩阵与所述第一位姿信息矩阵相乘，得到第一中间矩阵，然后将第一中间矩阵与所述第二转换矩阵相乘，得到第二中间矩阵，再将第二中间矩阵与所述第一转换矩阵相乘，得到第三中间矩阵。再将第三中间矩阵与第二位姿信息矩阵的逆矩阵相乘，得到历史位姿偏移信息也就是偏移矩阵Toffset1。
在一些可能的实施方式中，参见图11，图11是本公开实施例提供的显示方法的一个可选的流程示意图，图8示出的S1021可以通过S301至S304实现，将结合各步骤进行说明。
S301、获取历史视频帧在视觉空间坐标系中的第一位姿信息。
本公开实施例中，采集模块获取到了历史视频帧之后，可以通过处理模块确定历史视频帧在视觉空间坐标系phy_c中的位姿信息，从而得到历史视频帧在视觉空间坐标系phy_c中的第一位姿信息。
本公开实施例中，显示设备可以通过算法计算得到第一位姿信息在视觉空间坐标系phy_c到视觉空间世界坐标系phy_w的转换矩阵，即第一位姿信息矩阵。在本公开实施例中，第一位姿信息矩阵为：Tphy_w_phy_c_N。其中，Tphy_w_phy_c_N代表第N帧历史视频帧的位姿信息从视觉空间坐标系phy_c中到视觉空间世界坐标系phy_w的转换矩阵。
S302、获取显示设备的采集模块在采集历史视频帧时的第三传感数据。
本公开实施例中，显示设备开启后，由于显示设备不在初始位置启动。此时通过设置在显示设备上的采集模块(可以为惯性传感器)获取显示设备的历史视频帧的第三传感数据。第三传感数据包括历史视频帧的加速度数据和方向数据。
S303、基于第一传感数据与第三传感数据之间的偏移量，确定历史传感位姿信息。
本公开实施例中，显示设备的处理模块计算得到第一传感数据与第三传感数据的偏移量。偏移量通过计算转换可以得到历史视频帧在预先建立的传感坐标系imu_c中的历史传感位姿信息。
本公开实施例中，显示设备可以通过算法计算得到历史传感位姿信息在传感坐标系imu_c到传感世界坐标系imu_w的转换矩阵，即历史传感位姿信息矩阵。在本公开实施例中，历史传感位姿信息矩阵为：Timu_w_imu_c_N。其中，Timu_w_imu_c_N代表第N帧历史视频帧的位姿信息从传感坐标系imu_c中到传感世界坐标系imu_w的转换矩阵。
S304、基于第一位姿信息和历史传感位姿信息之间的偏移量，确定历史位姿偏移信息。
本公开实施例中，历史位姿偏移信息可以为偏移矩阵Toffset2，计算获取偏移矩阵Toffset2时需要获取第一位姿信息矩阵、历史传感位姿信息矩阵、惯性传感器定位算法定义的传感坐标系imu_c到渲染引擎相机坐标系render_c的第一转换矩阵、惯性传感器定位算法定义的传感坐标系imu_c到视觉空间坐标系phy_c的第二转换矩阵和渲染引擎相机世界坐标系render_w到视觉空间世界坐标系phy_w的第三转换矩阵。历史传感位姿信息矩阵基于第一转换矩阵、第二转换矩阵和第三转换矩阵转换到和第一位姿信息矩阵对应的视觉空间坐标系phy_c中，并将历史传感位姿信息转换到视觉空间坐标系phy_c中的矩阵信息与第一位姿信息矩阵进行计算，可以得到偏移矩阵Toffset2。
示例性的，具体计算公式(2)为：
其中，Tphy_w_phy_c_N为第一位姿信息矩阵，Timu_w_imu_c_N为历史传感位姿信息矩阵，Trotate_Y_UP为惯性传感器定位算法定义的传感坐标系imu_c到渲染引擎相机坐标系render_c的第一转换矩阵，第一转换矩阵Trotate_Y_UP能够使传感坐标系imu_c的Y方向与渲染引擎相机坐标系render_c的UP方向一致。Tphy_c_imu_c为惯性传感器定位算法定义的传感坐标系imu_c到视觉空间坐标系phy_c的第二转换矩阵，Trender_w_phy_w为渲染引擎相机世界坐标系render_w到视觉空间世界坐标系phy_w的第三转换矩阵。显示设备可以通过第一转换矩阵Trotate_Y_UP、第二转换矩阵Tphy_c_imu_c、第三转换矩阵Trender_w_phy_w、第一位姿信息矩阵Tphy_w_phy_c_N和历史传感位姿信息矩阵Timu_w_imu_c_N进行计算，实现了传感坐标系imu_c、视觉空间坐标系phy_c和渲染引擎相机坐标系render_c之间的对齐，进而可以计算出偏移矩阵Toffset2。
显示设备将第三转换矩阵与所述第一位姿信息矩阵相乘，得到第一中间矩阵，然后将第一中间矩阵与所述第二转换矩阵相乘，得到第二中间矩阵，再将第二中间矩阵与所述第一转换矩阵相乘，得到第三中间矩阵。再将第三中间矩阵与历史传感位姿矩阵的逆矩阵相乘，得到历史位姿偏移信息也就是偏移矩阵Toffset2。
S1022、基于历史位姿偏移信息和当前位姿信息，得到虚拟对象位姿数据。
本公开实施例中，虚拟对象位姿数据可以通过当前位姿信息和历史位姿偏移信息融合获取。
本公开实施例中，虚拟对象位姿数据可以通过公式N3计算获取。具体的，公式(3)为：
Toffset 1×(Tslam_w_slam_c_X)-1 (3)；
其中，Toffset1为S201至S202计算的偏移矩阵，(Tslam_w_slam_c_X)-1为S1011至S1012计算的当前位姿信息矩阵的逆矩阵，通过将Toffset1和(Tslam_w_slam_c_X)-1相乘，可以计算得到虚拟对象位姿数据，记为矩阵view1。
本公开实施例中，虚拟对象位姿数据可以通过公式N4计算获取。具体的，公式(4)为：
Toffset 2×(Timu_w_imu_c_X)-1 (4)；
其中，Toffset2为S301至S304计算的偏移矩阵，(Tslam_w_slam_c_X)-1为S1013至S1014计算的当前位姿信息矩阵的逆矩阵，通过将Toffset2和(Tslam_w_slam_c_X)-1相乘，可以计算得到虚拟对象位姿数据，记为矩阵view2。
在一些可能的实施方式中，参见图10，图10是本公开实施例提供的显示方法的一个可选的流程示意图，图4示出的S103可以通过S204至S205实现，将结合各步骤进行说明。
S204、将虚拟对象中的每个像素的坐标位置映射到渲染引擎坐标系下，得到每个像素的目标坐标位置。
本公开实施例中，虚拟对象位姿数据包括了虚拟对象每个像素的坐标位置。虚拟对象的其中一个标记像素位置的坐标1为(X3，Y3，Z3)，其中标记像素位置的坐标1(X3，Y3，Z3)为标记像素在相机传感器坐标系slam_c中的坐标，X3为标记像素在相机传感器坐标系slam_c的X轴上的坐标，Y3为标记像素在相机传感器坐标系slam_c的Y轴上的坐标，Z3为标记像素在相机传感器坐标系slam_c的Z轴上的坐标。显示设备得到虚拟对象位姿数据之后，将待展示的虚拟对象的每个像素的坐标位置根据虚拟对象位姿数据的坐标位置映射到渲染引擎坐标系render_c下，得到待展示的虚拟对象的每个像素的目标坐标位置。本公开实施例中，由于相机传感器坐标系slam_c和渲染引擎坐标系render_c的原点重合，可以将标记像素的坐标1通过坐标转换映射到渲染引擎坐标系render_c中的目标坐标位置，示例性的，目标坐标位置为坐标2(X4，Y4，Z4)。其中，标记像素的目标坐标位置的坐标2(X4，Y4，Z4)为目标坐标位置在渲染引擎坐标系render_c中的坐标，X4为目标坐标位置在渲染引擎坐标系render_c的X轴上的坐标，Y4为目标坐标位置在渲染引擎坐标系render_c的Y轴上的坐标，Z4为标记像素在渲染引擎坐标系render_c的Z轴上的坐标。
S205、利用渲染引擎，在当前视频帧中目标坐标位置处渲染虚拟对象。
本公开实施例中，显示设备的渲染引擎获取到了上一步骤中的需要展示的虚拟对象的每个像素的目标坐标位置，根据需要展示的虚拟对象的每个像素的目标坐标位置，按照预先设定好的程序在真实场景中渲染虚拟对象。示例性的，，标记像素被渲染引擎渲染在坐标为(X4，Y4，Z4)的位置。
参见图11，图11是本公开实施例提供的显示方法的一个可选的流程示意图。基于图4，在S104之后，还可以执行S105-S106，将结合各步骤进行说明。
S105、在显示设备的移动过程中，对采集的真实场景图像进行更新，并基于更新的真实场景图像得到更新的虚拟对象。
本公开实施例中，在显示设备移动的过程中，采集模块采集的真实场景图像也会有所变化，在一些实施例中，当显示设备上设置有沿着轨道移动的显示屏时，显示屏可以通过背面的摄像头对沙盘模型进行扫描，摄像头采集到的真实场景图像会随着扫描的位置实时更新，真实场景图像中包含的展示对象也会实时更新，因此，在显示设备的移动过程中，显示设备会对采集的真实场景图像进行更新，并基于更新的真实场景图像得到更新的虚拟对象。
S106、在显示设备上实时展示更新的真实场景图像与更新的虚拟对象相叠加的增强现实效果。
本公开实施例中，显示设备会在显示设备上实时展示更新的真实场景图像与更新的虚拟对象相叠加的增强现实AR效果，从而达到在显示设备移动过程中，根据每个不同移动位置上所采集到展示对象不同展示部分，实时展示不同的虚实结合的AR画面的流畅展示效果。
在本公开的一些实施例中，展示对象的周围可以设置有至少一个显示设备，至少一个显示设备中的每个显示设备用于根据各自对展示对象的采集方向，在各自当前位置上实时采集展示对象的真实场景图像，并基于各自采集到的真实场景图像得到对应的虚拟对象，展示各自对应的真实场景图像与虚拟对象相叠加的增强现实AR效果。当出现显示设备不在初始位置启动时，通过显示设备的当前位姿信息和历史位姿信息，确定虚拟对象位姿数据，进而将虚拟对象的展示在对应的位置。在一些实施例中，在对建筑工地的施工楼宇进行AR效果呈现的场景中，可以在建筑工地中搭设四面透明的玻璃房，并在每面玻璃墙后设置沿着预设轨道滑动的显示屏，用于对工地上各处位置的楼宇进行全方位的展示。
下面，将说明本公开实施例在一个实际的应用场景中的示例性应用。
在一些实施例中，对于楼盘沙盘展示的场景，可以在沙盘模型所在的展台旁设置滑动轨道，并在滑动轨道上设置可滑动的显示屏作为显示设备，其中，显示屏包括预设的滑动轨道和带有摄像头的显示屏，显示屏正面为屏幕部分，正对观看者，用于进行最终AR效果的展示，显示屏背面为摄像头，用于对沙盘模型进行图像采集。由于沙盘模型占据面积较大，显示屏的展示范围可以只是沙盘模型中的一部分，通过在预设滑动轨道上的移动来对整体沙盘模型进行扫描。
在一些实施例中，如图12a所示，当显示屏滑动到沙盘左侧位置时，背后的摄像头采集到沙盘模型左侧的图像作为真实场景图像，显示屏可以根据左侧沙盘模型图像，在显示设备内部存储空间中的预设三维虚拟场景中确定出与左侧沙盘模型匹配的虚拟左侧沙盘模型作为虚拟对象模型，并将关联在虚拟左侧沙盘模型上的虚拟沙盘模型渲染数据作为虚拟对象数据，从而可以通过虚拟沙盘模型渲染数据渲染出左侧沙盘模型对应的完工后的楼体图，并将完工后的楼体图叠加在真实的左侧沙盘模型图像上，并在显示屏中显示，从而展现出左侧沙盘模型对应的完工效果。在显示屏移动到沙盘模型的右侧时，如图12b所示，根据同样的过程得到右侧沙盘模型对应的虚拟效果，并叠加在右侧沙盘模型的真实图像上进行显示，展现出右侧沙盘模型对应的完工效果。在一些实施例中，虚拟沙盘模型渲染数据还可以设置为白天效果和夜间效果两种不同类型的虚拟对象数据，根据白天效果进行虚拟对象的渲染可以呈现出如图12c所示的AR效果，根据夜间效果进行虚拟对象的渲染可以呈现出如图12d所示的AR效果。
在一些实施例中，如图12e所示，显示屏上还可以对应设置展示主题控件，这样，在不同的展示主题控件被点击事件触发时，显示设备可以根据被触发的不同展示主题控件对应的不同虚拟对象数据，在真实沙盘模型图像上叠加不同主题类型效果的虚拟对象，如基于同样的沙盘模型可以显示出交通分析、区域规划、时间展示，企业介绍等等多种虚拟效果主题。
可以理解的是，本公开实施例中，对于同样的展示对象，显示设备可以通过不同渲染效果的虚拟对象呈现不同的虚实结合的AR效果，从而丰富了展示方式，提高了展示效果。
在一些实施例中，如图13a所示，本公开实施例提供的显示方法如下：
在本公开实施例中，显示设备101在滑动轨道105的非初始位置启动时，显示设备上的双目相机123实时获取真实场景的图像。显示设备101通过设置在显示设备101上的双目相机123获取显示设备101启动后第N视频帧在视觉空间坐标系phy_c中的第一位姿信息。然后通过设置在显示设备101上的双目相机123获取第N视频帧在相机传感器坐标系slam_c中的第二位姿信息。显示设备101通过将第二位姿信息转换到第一位姿信息的视觉空间坐标系phy_c中，并与第一位姿信息进行计算可以得到第N视频帧的位姿偏移信息。显示设备101通过设置在显示设备101上的双目相机123获取第N+X视频帧(当前视频帧)在相机传感器坐标系slam_c中的当前位姿信息。显示设备101将当前位姿信息的逆矩阵与历史位姿偏移信息相乘，可以获取虚拟对象位姿数据。在本公开实施例中虚拟对象可以为虚拟汽车122。显示设备101的渲染引擎获取虚拟汽车122位姿数据，基于虚拟汽车122位姿数据渲染得到虚拟汽车122，将虚拟汽车122对应叠加在建筑模型121关联的展示位置上，得到建筑模型121与虚拟汽车122相叠加的增强显示AR效果。提高了虚拟汽车122与建筑模型121的融合度以及AR呈现效果。
在一些实施例中，如图13b所示，本公开实施例提供的另一种显示方法的步骤可以如下：
在本公开实施例中，显示设备101在滑动轨道125的非初始位置启动时，显示设备101通过设置在显示设备101上的惯性传感器124获取显示设备101启动时的初始时刻T0的第一传感数据，第一传感数据包括显示设备101初始时刻T0的加速度数据和方向数据。显示设备101通过设置在显示设备101上的双目相机123获取当前视频帧之前的历史时刻T1对应的历史视频帧在视觉空间坐标系phy_c中的第一位姿信息。显示设备101通过设置在显示设备101上的惯性传感器124获取历史视频帧对应的历史时刻T1的第二传感数据，第二传感数据包括历史时刻T1的加速度数据和方向数据。然后计算第一传感数据和第二传感数据之间的偏移量可以得到历史传感位姿信息。显示设备101通过将历史传感位姿信息转换到第一位姿信息的视觉空间坐标系phy_c中，并与第一位姿信息进行计算可以得到历史位姿偏移信息。显示设备通过设置在显示设备101上的惯性传感器124获取显示设备101当前时刻T2的第三传感数据，第三传感数据包括当前时刻的加速度数据和方向数据。显示设备101计算第一传感数据和第三传感数据之间的偏移量可以得到当前位姿信息。显示设备101将当前位姿信息的逆矩阵与历史位姿偏移信息相乘，可以获取虚拟对象位姿数据。在本公开实施例中虚拟对象可以为虚拟汽车122。显示设备101的渲染引擎获取虚拟汽车122位姿数据，基于虚拟汽车122位姿数据渲染得到虚拟汽车122，将虚拟汽车122对应叠加在建筑模型121关联的展示位置上，得到建筑模型121与虚拟汽车122相叠加的增强显示AR效果。提高了虚拟汽车122与建筑模型121的融合度以及AR呈现效果。
本公开实施例提供一种显示设备，图14为本公开实施例提供的显示装置的一个可选的组成结构示意图，如图14所示，该显示装置455包括：
采集模块4551，用于获取从真实场景中采集的当前视频帧对应的当前位姿信息，获取当前视频帧之前的历史视频帧的历史位姿信息；
处理模块4552，用于基于历史位姿信息与当前位姿信息确定虚拟对象位姿数据；
渲染模块4553，用于利用虚拟对象位姿数据，在显示设备对应的当前视频帧中渲染虚拟对象位姿数据对应的虚拟对象；
展示模块4554，用于在显示设备上显示真实场景与所述虚拟对象相叠加的增强现实效果。
当显示装置455在非初始位置启动后，采集模块4551实时获取真实场景中的图像视频。图像视频中包括了当前视频帧和历史视频帧。处理模块4552基于当前视频帧和历史视频帧进行处理，可以分别得到当前位姿信息和历史位姿信息。处理模块4552将历史位姿信息进行计算得到历史位姿偏移信息，将当前位姿信息与历史位姿偏移信息进行叠加得到虚拟对象位姿数据。处理模块4552将虚拟对象位姿数据发送给渲染模块4553，渲染模块4553在显示设备对应的当前视频帧中渲染虚拟对象位姿数据对应的虚拟对象。展示模块4554显示真实场景与虚拟对象相叠加的增强现实效果。
在一些实施例中，增强现实效果包括以下之一：
所述真实场景中的至少一个真实对象的至少部分被所述虚拟对象遮挡；
所述真实场景中的目标真实对象的边缘处渲染有所述虚拟对象；
所述真实场景中的背景区域中渲染有所述虚拟对象。
所述真实场景中的一个真实对象与虚拟对象结合呈现AR效果。
所述真实场景中的一个真实对象与放大一定比例的虚拟对象结合呈现AR效果。
在一些实施例中，所述处理模块4552，还用于基于所述真实场景图像，确定所述展示对象在预设三维虚拟场景中对应的虚拟对象模型；所述预设三维虚拟场景为根据所述真实场景建模得到的虚拟模型；获得对所述虚拟对象模型是否存在有预设渲染数据的判断结果；在所述判断结果表征为所述虚拟对象模型存在有预设渲染数据的情况下，将所述预设渲染数据作为所述虚拟对象数据。
在一些实施例中，所述处理模块4552，还用于根据所述真实场景图像，确定所述展示对象在真实场景中的当前位姿信息；根据真实坐标系与虚拟坐标系的预设映射关系，确定所述当前位姿信息在所述预设三维虚拟场景中对应的虚拟对象模型；所述真实坐标系为所述真实场景对应的坐标系；所述虚拟坐标系为所述预设三维虚拟场景对应的坐标系。
在一些实施例中，所述处理模块4552，还用于根据真实坐标系与虚拟坐标系的预设映射关系，确定所述当前位姿信息在所述预设三维虚拟场景中对应的位置区域；将所述位置区域内对应的预设虚拟模型作为所述虚拟对象模型。
在一些实施例中，所述预设三维虚拟场景为实时重建的模型，或者预存在云端的模型。
在一些实施例中，所述采集模块4551包含双目摄像头；所述显示装置455还包括建模模块，所述采集模块4551，还用于所述基于所述真实场景图像中包括的展示对象，确定与所述展示对象匹配的虚拟对象数据之前，通过所述双目摄像头，获取所述真实场景图像的图像信息和深度信息；所述建模模块，还用于根据所述真实场景图像的图像信息和深度信息；对所述真实场景图像中的展示对象进行三维建模，得到所述预设三维虚拟场景。
在一些实施例中，所述显示装置455还包括更新模块，所述更新模块，用于在所述显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果之后，在所述显示设备的移动过程中，对采集的所述真实场景图像进行更新，并基于更新的真实场景图像得到更新的虚拟对象；所述展示模块4554，还用于在所述显示设备上实时展示所述更新的真实场景图像与所述更新的虚拟对象相叠加的增强现实AR效果。
在一些实施例中，展示对象的周围设置有至少一个显示设备，所述至少一个显示设备中的每个显示设备用于根据各自对所述展示对象的采集方向，在各自当前位置上实时采集所述展示对象的真实场景图像，并基于各自采集到的真实场景图像得到对应的虚拟对象，展示各自对应的真实场景图像与虚拟对象相叠加的增强现实AR效果。
本公开实施例中，当显示装置455不在初始位置启动时，通过设置在显示设备上的采集模块4551分别获取当前视频帧的当前位姿信息和历史视频帧的历史位姿信息，显示装置455上的处理模块4552通过处理历史位姿信息得到显示装置455不在初始位置启动时的历史位姿偏移信息。处理模块4552将当前位姿信息和历史位姿偏移信息进行叠加可以确定虚拟对象位姿数据，虚拟对象位姿数据包括了构成虚拟对象的每个像素的坐标位置。渲染模块4553根据虚拟对象位姿数据对真实场景中展示对象关联的展示位置进行进一步渲染，使得显示装置455无论在任何位置启动时可以在真实场景中与展示对象关联的展示位置展示虚拟对象，进而展示模块4554展示通过虚拟对象与真实场景图像相叠加的增强现实AR效果，使得显示设备显示的虚拟对象与真实场景进行无缝融合。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的展示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。
对应地，本公开实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本公开实施例提供的展示方法中的步骤。
相应的，本公开实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述实施例提供的展示方法的步骤。
本公开实施例还提供一种显示设备，图15为本公开实施例提供的显示设备的一个可选的组成结构示意图，如图15所示，所述显示设备110包括：显示屏1101；
存储器1102，用于存储计算机程序；
处理器1103，用于执行所述存储器1102中存储的计算机程序时，结合所述显示屏1101，实现上述实施例提供的展示方法的步骤。
显示设备110还包括：通信总线1104。通信总线1104配置为实现这些组件之间的连接通信。
在本公开实施例中，显示屏1101包括但不限于液晶显示屏，有机发光二级管显示屏，触控显示屏等等，本公开这里不做限定。
存储器1102配置为存储由处理器1101计算机程序和应用，还可以缓存待处理器1103以及显示设备110中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
处理器1103执行程序时实现上述任一项展示方法的步骤。处理器1103通常控制显示设备110的总体操作。
上述处理器1103可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本公开实施例不作限制。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种显示方法，其特征在于，应用于显示设备，所述方法包括：
获取从真实场景中采集的当前视频帧的当前位姿信息；
获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据；
利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染虚拟对象；
在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果。
2.根据权利要求1所述的显示方法，其特征在于，所述获取从真实场景中采集的当前视频帧的当前位姿信息，包括：
通过所述显示设备的采集模块采集所述真实场景的当前视频帧；
利用定位算法对所述当前视频帧进行处理，得到所述当前视频帧在相机传感器坐标系中的所述当前位姿信息。
3.根据权利要求1或2所述的显示方法，其特征在于，所述获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息与所述当前位姿信息，确定虚拟对象位姿数据，包括：
获取所述当前视频帧之前的历史视频帧的历史位姿信息，基于所述历史位姿信息确定所述历史位姿偏移信息；
基于所述历史位姿偏移信息和所述当前位姿信息，得到所述虚拟对象位姿数据。
4.根据权利要求3所述的显示方法，其特征在于，所述基于所述历史位姿信息确定历史位姿偏移信息，包括：
获取所述历史视频帧在视觉空间坐标系中的第一位姿信息；以及，利用定位算法对所述历史视频帧进行处理，得到所述历史视频帧在相机传感器坐标系中的第二位姿信息；其中，所述历史位姿信息包括所述第一位姿信息和所述第二位姿信息；
基于所述第二位姿信息与所述第一位姿信息之间的偏移量，确定所述历史位姿偏移信息。
5.根据权利要求3所述的显示方法，其特征在于，所述基于所述历史位姿信息确定所述历史位姿偏移信息，包括：
获取所述历史视频帧在视觉空间坐标系中的第一位姿信息；
获取所述显示设备的采集模块在采集所述历史视频帧时的第三传感数据；
基于所述第一传感数据与所述第三传感数据之间的偏移量，确定历史传感位姿信息；所述历史位姿信息包括所述第一位姿信息和所述历史传感位姿信息；
基于所述第一位姿信息和所述历史传感位姿信息之间的偏移量，确定所述历史位姿偏移信息。
6.根据权利要求3至5任一所述的显示方法，其特征在于，所述基于所述历史位姿偏移信息和所述当前位姿信息，得到所述虚拟对象位姿数据，包括：
按照所述历史位姿偏移信息，对所述当前位姿信息进行偏移，得到纠正位姿信息；
确定与所述纠正位姿信息对应的所述虚拟对象位姿数据。
7.根据权利要求1至4任一所述的显示方法，其特征在于，所述获取从真实场景中采集的当前视频帧对应的当前位姿信息，包括：
获取所述显示设备的采集模块在采集初始视频帧时的第一传感数据，以及所述显示设备的采集模块在采集所述当前视频帧时的第二传感数据；
基于所述第一传感数据与所述第二传感数据之间的偏移量，确定所述显示设备采集所述当前视频帧时的所述当前位姿信息。
8.根据权利要求1至7任一所述的显示方法，其特征在于，所述虚拟对象位姿数据包括：构成虚拟对象的每个像素的坐标位置；
所述利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染虚拟对象，包括：
将所述虚拟对象中的每个像素的坐标位置映射到渲染引擎坐标系下，得到每个像素的目标坐标位置；
利用渲染引擎，在所述当前视频帧中所述目标坐标位置处渲染所述虚拟对象。
9.根据权利要求1至8任一所述的显示方法，其特征在于，所述显示设备在预设的滑动轨道上滑动。
10.一种显示装置，基于显示设备进行使用，其特征在于，包括：
采集模块，用于获取从真实场景中采集的当前视频帧对应的当前位姿信息，获取所述当前视频帧之前的历史视频帧的历史位姿信息；
处理模块，用于基于所述历史位姿信息与所述当前位姿信息确定虚拟对象位姿数据；
渲染模块，用于利用所述虚拟对象位姿数据，在所述显示设备对应的当前视频帧中渲染所述虚拟对象位姿数据对应的虚拟对象；
展示模块，用于在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果。
11.一种显示设备，其特征在于，所述显示设备在预设的滑动轨道上移动，包括：
显示屏，用于在所述显示设备上显示所述真实场景与所述虚拟对象相叠加的增强现实效果；
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，结合所述显示屏，实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至9任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010976171.3A CN112132940A (zh) | 2020-09-16 | 2020-09-16 | 显示方法、装置，显示设备及存储介质 |
| PCT/CN2021/096358 WO2022057308A1 (zh) | 2020-09-16 | 2021-05-27 | 显示方法、装置，显示设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010976171.3A CN112132940A (zh) | 2020-09-16 | 2020-09-16 | 显示方法、装置，显示设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112132940A true CN112132940A (zh) | 2020-12-25 |
Family
ID=73846940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010976171.3A Pending CN112132940A (zh) | 2020-09-16 | 2020-09-16 | 显示方法、装置，显示设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112132940A (zh) |
| WO (1) | WO2022057308A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113176594A (zh) * | 2021-03-12 | 2021-07-27 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | 基于沙盘的车载预警测试方法、装置、计算机和存储介质 |
| CN113256710A (zh) * | 2021-05-21 | 2021-08-13 | 深圳市慧鲤科技有限公司 | 游戏中准星的显示方法、装置、计算机设备及存储介质 |
| CN114092526A (zh) * | 2022-01-21 | 2022-02-25 | 之江实验室 | 一种基于物体3d位姿视觉跟踪的增强现实方法及装置 |
| WO2022057308A1 (zh) * | 2020-09-16 | 2022-03-24 | 北京市商汤科技开发有限公司 | 显示方法、装置，显示设备及计算机可读存储介质 |
| CN114332416A (zh) * | 2021-11-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114401414A (zh) * | 2021-12-27 | 2022-04-26 | 北京达佳互联信息技术有限公司 | 沉浸式直播的信息显示方法及系统、信息推送方法 |
| CN114494328A (zh) * | 2022-02-11 | 2022-05-13 | 北京字跳网络技术有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN114543797A (zh) * | 2022-02-18 | 2022-05-27 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| WO2023143217A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效道具的展示方法、装置、设备及存储介质 |
| WO2023142265A1 (zh) * | 2022-01-27 | 2023-08-03 | 歌尔股份有限公司 | 一种信息显示方法、装置、设备及存储介质 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114896644B (zh) * | 2022-05-17 | 2023-06-20 | 电子科技大学 | 一种基于ThreeJS的3D塔吊施工场景展示系统的实现方法 |
| CN114995651A (zh) * | 2022-06-15 | 2022-09-02 | Oppo广东移动通信有限公司 | 时空对齐方法、装置、电子设备及存储介质 |
| CN115442519B (zh) * | 2022-08-08 | 2023-12-15 | 珠海普罗米修斯视觉技术有限公司 | 视频处理方法、装置及计算机可读存储介质 |
| CN117768627A (zh) * | 2022-09-16 | 2024-03-26 | 华为技术有限公司 | 一种增强现实方法和计算装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247456A1 (en) * | 2017-02-27 | 2018-08-30 | Hiscene (Shanghai) Information Technology Co., Ltd. | Method and device for augmented reality display of real physical model |
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN109947886A (zh) * | 2019-03-19 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111131806A (zh) * | 2019-12-30 | 2020-05-08 | 联想(北京)有限公司 | 用于展示虚拟物体的方法和装置、以及电子设备 |
| CN111651069A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 虚拟沙盘的展示方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100045701A1 (en) * | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
| CN108805917B (zh) * | 2018-05-25 | 2021-02-23 | 杭州易现先进科技有限公司 | 空间定位的方法、介质、装置和计算设备 |
| CN108765563B (zh) * | 2018-05-31 | 2022-05-10 | 北京百度网讯科技有限公司 | 基于ar的slam算法的处理方法、装置及设备 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN112132940A (zh) * | 2020-09-16 | 2020-12-25 | 北京市商汤科技开发有限公司 | 显示方法、装置，显示设备及存储介质 |
-
2020
- 2020-09-16 CN CN202010976171.3A patent/CN112132940A/zh active Pending
-
2021
- 2021-05-27 WO PCT/CN2021/096358 patent/WO2022057308A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180247456A1 (en) * | 2017-02-27 | 2018-08-30 | Hiscene (Shanghai) Information Technology Co., Ltd. | Method and device for augmented reality display of real physical model |
| CN108564045A (zh) * | 2018-04-17 | 2018-09-21 | 广州腾讯科技有限公司 | 增强现实的数据处理方法、装置、存储介质和计算机设备 |
| CN109947886A (zh) * | 2019-03-19 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111131806A (zh) * | 2019-12-30 | 2020-05-08 | 联想(北京)有限公司 | 用于展示虚拟物体的方法和装置、以及电子设备 |
| CN111651069A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 虚拟沙盘的展示方法、装置、电子设备及存储介质 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022057308A1 (zh) * | 2020-09-16 | 2022-03-24 | 北京市商汤科技开发有限公司 | 显示方法、装置，显示设备及计算机可读存储介质 |
| CN113176594B (zh) * | 2021-03-12 | 2024-06-11 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | 基于沙盘的车载预警测试方法、装置、计算机和存储介质 |
| CN113176594A (zh) * | 2021-03-12 | 2021-07-27 | 中国软件评测中心(工业和信息化部软件与集成电路促进中心) | 基于沙盘的车载预警测试方法、装置、计算机和存储介质 |
| CN113256710A (zh) * | 2021-05-21 | 2021-08-13 | 深圳市慧鲤科技有限公司 | 游戏中准星的显示方法、装置、计算机设备及存储介质 |
| CN114332416A (zh) * | 2021-11-30 | 2022-04-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114332416B (zh) * | 2021-11-30 | 2022-11-29 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN114401414A (zh) * | 2021-12-27 | 2022-04-26 | 北京达佳互联信息技术有限公司 | 沉浸式直播的信息显示方法及系统、信息推送方法 |
| CN114401414B (zh) * | 2021-12-27 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 沉浸式直播的信息显示方法及系统、信息推送方法 |
| CN114092526A (zh) * | 2022-01-21 | 2022-02-25 | 之江实验室 | 一种基于物体3d位姿视觉跟踪的增强现实方法及装置 |
| WO2023142265A1 (zh) * | 2022-01-27 | 2023-08-03 | 歌尔股份有限公司 | 一种信息显示方法、装置、设备及存储介质 |
| WO2023143217A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效道具的展示方法、装置、设备及存储介质 |
| CN114494328B (zh) * | 2022-02-11 | 2024-01-30 | 北京字跳网络技术有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN114494328A (zh) * | 2022-02-11 | 2022-05-13 | 北京字跳网络技术有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN114543797A (zh) * | 2022-02-18 | 2022-05-27 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| CN114543797B (zh) * | 2022-02-18 | 2024-06-07 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022057308A1 (zh) | 2022-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132940A (zh) | 显示方法、装置，显示设备及存储介质 | |
| TWI782332B (zh) | 一種擴增實境資料呈現方法、設備及儲存媒體 | |
| CN108474666B (zh) | 用于在地图显示中定位用户的系统和方法 | |
| US8902288B1 (en) | Photo-image-based 3D modeling system on a mobile device | |
| TWI494898B (zh) | 從地理參考影像擷取和映對三維特徵之技術 | |
| US9595294B2 (en) | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures | |
| US20130314398A1 (en) | Augmented reality using state plane coordinates | |
| CN111833458B (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
| JP2012084146A (ja) | 拡張現実（ａｒ）を提供するユーザ装置及び方法 | |
| CN111742281B (zh) | 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法 | |
| US20140313287A1 (en) | Information processing method and information processing device | |
| CN102446048A (zh) | 信息处理设备以及信息处理方法 | |
| JP2012068481A (ja) | 拡張現実表現システムおよび方法 | |
| CN111815780A (zh) | 展示方法、显示装置、设备及计算机可读存储介质 | |
| JP6711137B2 (ja) | 表示制御プログラム、表示制御方法および表示制御装置 | |
| JP6390992B1 (ja) | ストリートビューワーシステム | |
| JP5363971B2 (ja) | 景観再現システム | |
| JP6345381B2 (ja) | 拡張現実システム | |
| JP2022505999A (ja) | 拡張現実データの提示方法、装置、機器および記憶媒体 | |
| CN103632627A (zh) | 信息显示方法、装置及移动导览电子设备 | |
| JP7378510B2 (ja) | ストリートビューワーシステム | |
| KR101559586B1 (ko) | 증강 현실을 이용한 정보 안내 장치 및 그 방법 | |
| EP3510440B1 (en) | Electronic device and operation method thereof | |
| JP2010063076A (ja) | 画像処理装置および画像処理装置プログラム | |
| US11137976B1 (en) | Immersive audio tours |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039698 Country of ref document: HK |
|
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |
|
| RJ01 | Rejection of invention patent application after publication |