CN109840947B - 增强现实场景的实现方法、装置、设备及存储介质 - Google Patents

增强现实场景的实现方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109840947B
CN109840947B CN201711216327.2A CN201711216327A CN109840947B CN 109840947 B CN109840947 B CN 109840947B CN 201711216327 A CN201711216327 A CN 201711216327A CN 109840947 B CN109840947 B CN 109840947B
Authority
CN
China
Prior art keywords
target
information
virtual information
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711216327.2A
Other languages
English (en)
Other versions
CN109840947A (zh
Inventor
郑博
刘日佳
刘志斌
陈谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tencent Technology Co Ltd
Original Assignee
Guangzhou Tencent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tencent Technology Co Ltd filed Critical Guangzhou Tencent Technology Co Ltd
Priority to CN201711216327.2A priority Critical patent/CN109840947B/zh
Priority to PCT/CN2018/114177 priority patent/WO2019105190A1/zh
Publication of CN109840947A publication Critical patent/CN109840947A/zh
Priority to US16/677,047 priority patent/US11270511B2/en
Application granted granted Critical
Publication of CN109840947B publication Critical patent/CN109840947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

本发明实施例公开了一种增强现实场景的实现方法、装置及设备，方法包括：获取定位装置采集到的目标物体的移动感测数据；根据移动感测数据确定目标物体在目标场地区域中的空间运动信息，并根据空间运动信息对目标场地区域对应的三维场景模型中目标物体的对象模型进行模型更新；确定在模型更新后的对象模型在目标区域内的对象位置，目标区域是根据在目标场地区域内的显示设备的位置信息和视野角度信息从三维场景模型中确定的区域；根据对象位置，在显示设备上显示虚拟信息。采用本发明实施例，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置，计算快捷，提高了增强现实场景的实现效率。

Description

增强现实场景的实现方法、装置、设备及存储介质
技术领域
本发明涉及增强现实技术领域，尤其涉及一种增强现实场景的实现方法、装置、设备及存储介质。
背景技术
增强现实技术(Augmented Reality，AR)是一种将真实世界的相关信息和某些虚拟信息结合，构成增强现实场景并呈现给用户的技术。AR技术可以在现实世界的一定空间区域的基础上，将真实场景和虚拟信息叠加到同一个空间画面中，被AR用户的感官所感知，从而达到超越现实的感官体验。
目前的AR技术实现中，可以通过一个摄像头拍摄环境的图像，然后从图像中识别出需要叠加虚拟信息的位置，并生成虚拟信息叠加在拍摄到的图像中。这需要AR处理设备具有良好的即时图像识别性能，并且需要AR处理设备实时地对摄像头当前拍摄的图像的识别，完成AR处理所消耗的软硬件资源较高。
发明内容
本发明实施例提供一种增强现实场景的实现方法、装置、设备，可基于对物体的移动感测来生成增强现实场景中的虚拟信息。
一方面，本发明实施例提供了一种增强现实场景的实现方法，包括：
获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新；
确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。
另一方面，本发明实施例还提供了另一种增强现实场景的实现方法，包括：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
再一方面，本发明实施例还提供了一种增强现实处理设备，包括：存储装置和处理器；所述存储装置，存储有计算机应用程序指令；所述处理器，调用所述存储装置中存储的计算机应用程序指令，用于执行以下步骤：
获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新；
确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。
又一方面，本发明实施例还提供了一种增强现实显示设备，包括：存储装置和处理器；所述存储装置，存储有计算机应用程序指令；所述处理器，调用所述存储装置中存储的计算机应用程序指令，用于执行以下步骤：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
相应地，本发明实施例还提供了一种增强现实场景的实现装置，包括：
获取模块，用于获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
模型更新模块，用于根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新；
确定模块，用于确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
显示模块，用于根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。
相应地，本发明实施例还提供了另一种增强现实场景的实现装置，包括：
获取模块，用于获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
显示模块，用于生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
处理模块，用于接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
相应地，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有程序指令，所述程序指令被执行时，用于实现上述的方法。
本发明实施例能够对一定场地区域范围内的移动物体进行移动监控，在移动后及时更新该移动物体在场地区域所对应的三维场景模型中的对象模型，并以更新过后的三维场景模型为依据，生成需要显示设备显示的虚拟信息，结合透过显示设备看到的真实场地区域，完成增强现实场景的展示，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置，计算快捷，提高了增强现实场景的实现效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例的一种场景构造的示意图；
图1b是本发明实施例的一种移动感测数据的感测方式示意图；
图1c是本发明实施例的另一种移动感测数据的感测方式示意图；
图1d是本发明实施例的再一种移动感测数据的感测方式示意图；
图2是本发明实施例的一种AR眼镜的结构示意图；
图3a是本发明实施例通过AR眼镜上观看到的一种场景内容示意图；
图3b是本发明实施例通过AR眼镜上观看到的另一种场景内容示意图；
图3c是本发明实施例通过AR眼镜上观看到的再一种场景内容示意图；
图4是本发明实施例的增强现实场景的实现系统的结构示意图；
图5是本发明实施例的一种增强现实场景的实现方法的流程示意图；
图6是本发明实施例的根据距离数据来确定位置信息的方法的流程示意图；
图7是本发明实施例的对虚拟信息进行更新的方法的流程示意图；
图8是本发明实施例的另一种增强现实场景的实现方法的流程示意图；
图9是本发明实施例的一种增强现实场景的实现装置的结构示意图；
图10是本发明实施例的另一种增强现实场景的实现装置的结构示意图；
图11是本发明实施例的一种增强现实处理设备的结构示意图；
图12是本发明实施例的另一种增强现实显示设备的结构示意图。
具体实施方式
在本发明实施例中，可以预先布置一个或者多个场景的区域场地，在各个区域场地中，可以布置各种各样的场景道具物体，例如设置一个公园场景的区域场地，会在该区域场地中布置花台、各种形状的雕塑、桌子、椅子等物体。在布置完成区域场地中，根据现实世界中实际的区域场地内各个物体的形状和在场景中的位置，生成一个关于该区域场地所对应的虚拟的三维场景模型，使用该虚拟的三维场景模型来完整地体现整个区域场地内存在的物体的物体形状和位置。
AR用户可以使用一个显示设备在现实世界中的所述区域场地内移动，该显示设备可以为一个带透明显示屏的AR眼镜，一方面，用户通过该AR眼镜能够直接观察到现实世界的所述区域场地内的某些区域，另一方面该AR眼镜能够将需要显示的虚拟信息显示出来，这样，用户可以在观察区域场地的同时也能够看到虚拟的信息，例如，用户通过AR眼镜，在真实地看到区域场地中的一棵大树的时候，也能够叠加显示一些关于该大树的虚拟信息，该虚拟信息可以该大树的名称、属性、来源等等信息。在此用户佩戴AR眼镜移动的过程中，只需要知道AR眼镜在区域场景中的位置和AR眼镜的视野角度，即可计算出AR眼镜在该位置信息和视野角度的情况下，用户的视野范围。将AR眼镜在区域场景中的位置、计算出的用户的视野范围，与上述提到的三维场景模型结合，可以进一步确定出佩戴该AR处理设备的用户当前在一定的视野范围内能够看到的物体，然后生成需要叠加的虚拟信息，对生成的虚拟信息与能够看到的物体的三维空间模型进行计算，确定出虚拟信息应该显示的位置。生成的虚拟信息可以是查找到应该被显示的虚拟信息，也可以是在已经显示的被查找到的虚拟信息的基础上，进一步处理后得到的虚拟信息。
在一个实施例中，当虚拟信息为一些文字之类的可以直接显示的信息时，可以根据用户的视野范围内的物体对应的对象模型，计算虚拟信息的显示位置，AR眼镜直接在该显示位置显示虚拟信息即可，例如查找到的关于树的虚拟信息需要显示在树干上，需要根据用户的视野范围内树的对象模型中树干的位置，计算虚拟信息在AR眼镜上的显示位置，以便于该AR眼镜在显示虚拟信息时，将虚拟信息显示在树干对应的位置处。
在一个实施例中，如果虚拟信息是一个虚拟图像，则需要计算在用户的视野范围内，该虚拟图像可能存在的被区域场地中物体的遮挡情况。可以根据用户视野范围内的物体对应的对象模型，虚拟图像应当被显示的显示位置和该虚拟图像对应的形状，确定出不应该被显示的部分区域和应该被显示的部分区域，AR眼镜只需要显示虚拟图像中应该被显示的部分区域的图像即可。例如，查找到的虚拟路灯需要显示给用户，此时需要基于用户视野范围内的桌子、树木所对应的对象模型，去除掉虚拟路灯中被桌子、树木遮挡的部分区域，仅得到并显示未被遮挡的部分区域所对应的路灯图像。
在一个实施例中，AR眼镜仅起到显示虚拟信息的作用，可以由一个专用的AR处理设备(例如一台服务器)来计算场地区域的三维场景模型、根据AR眼镜的位置的视野角度计算用户的视野范围、以及上述的虚拟信息的处理，服务器将生成的虚拟信息携带在显示消息中发送给AR眼镜，AR眼镜按照显示消息中的虚拟信息和显示位置的指示，在相应AR眼镜的显示位置处显示虚拟信息即可，这样在用户的视野范围内，可以在相应位置处看到虚拟信息，例如在树干上看到该树的相关虚拟信息，固定在桌子后面的虚拟路灯。场地区域包括多个，根据AR眼镜的位置确定AR用户当前所处的场地区域是目标场景区域。
如图1a所示，为本发明实施例的一种场景构造示意图，在用户当前所处的目标场地区域100的可交互范围内，AR眼镜104才会为用户提供增强现实服务，用户与AR的交互也仅在此范围内有效。所述目标场地区域中的距离传感器102为预先设置的，距离传感器102包括多个，这些距离传感器102能够通过回声、反射光、或无线电信号测距的方式，结合距离传感器102及其匹配的接收器的位置，定位目标场地区域100中的固定物体106、移动物体和人，具体的定位算法可为三角测距定位算法等。在目标场地区域100中还设置了地面辅助定位装置103，地面辅助定位装置103通过激光阵列等对距离地面一定距离值的区域进行扫描检测，来处理可能被遮挡的物体和细节，这是可选的设备。地面辅助定位装置103主要用于避免距离传感器102无法准确感测靠近地面区域的物体(或物体的部分区域，例如凳子的凳脚底部的部分区域)的定位数据而导致这类物体的定位不准确的问题。AR眼镜104是一种可穿戴式显示器，AR眼镜104可以通过无线电信号来与AR处理设备107交互，传输需要显示的图像，并传输AR眼镜104的位置以及转动的角度，以便于确定该显示设备在目标场地区域中的位置信息和视野角度信息。
目标场地区域100中包括目标物体105，本发明实施例中，该目标物体105为所述目标场地区域100中的任意一个移动物体，比如可移动的椅子等，这样的物体除了可以通过所述距离传感器102来定位外，还可以内置加速度传感器等定位传感器来提高对此类物体的定位精度，在目标物体105的不同区域上可以设置多个加速度传感器等定位传感器，以此来精确定位整个目标物体105在目标场地区域100中的位置，定位的数据可通过无线电传输给AR处理设备107，这是可选设备。目标场地区域100中的固定物体106则预先已经确定了位置以及形状，固定物体106已经预先在存储的场景数据库中记录其详细位置和三维模型，以保证用户在交互时服务器能够有效构造与真实物理空间相同的可交互空间。
在一个实施例中，在目标场地区域100中无论是固定物体106还是移动物体，均为刚性的物体，方便定位装置对整个物体进行监控。如图1b所示，是对作为刚性物体的目标物体105进行监测得到移动感测数据的示意图，假设作为目标物体105的椅子的各个部位都是固定相连的，各个部件彼此之间不会相对移动。所述目标物体105作为刚性物体，结构和形状不会随着物体的移动而变化，定位装置则可通过对移动物体中某个点的位置和/或转动角度进行监测，从而可以得到整个移动物体的移动感测数据，方便后续基于监测到的移动感测数据，确定目标物体105的位置和转动角度，对移动物体对应的对象模型进行整体的移动和/或转动即可完成更新。
在一个实施例中，在目标场地区域100中的移动物体可以是柔性的，此时可以通过两种方式来确定移动物体的感测数据。在一种方式中，可以在目标物体105的关键部位设置定位传感器，例如可以设置加速度传感器、陀螺仪等定位传感器，通过这些在关键部位设置的定位传感器，则可以准确地获取关键部位对应区域的位置和转动角度等移动感测数据。如图1c所示，假设作为目标物体105的椅子为一个座位面1051可升降的椅子，可以在座位面1051上设置一个加速度传感器1053，在背靠1052上设置一个加速度传感器1054，当水平移动该目标物体105并同时按照距离d升高座位面1051时，两个传感器可以分别感测到两个移动感测数据，后续基于该两个移动感测数据，能够获取到移动并变形后的整个目标物体105的空间位置。图1c仅为示例，由于篇幅的限制，目标场地区域进行了简要示意。
另外一种方式则是通过激光测距阵列、红外测距阵列或者超声波测距阵列等阵列类型的测距传感器，来直接扫描整个目标物体105在移动后的各个部位的移动位置等移动感测数据。如图1d所示，作为目标物体105的椅子为一个可以变形的物体，该椅子例如存在多个可以相互之间移动的部件，在图1d中，激光测距阵列等测距传感器102通过阵列扫描的方式，能够得到针对目标物体105的移动感测数据，后续基于移动感测数据和三角定位算法，确定出目标物体105多个位置点在目标场地区域100中位置。在图1d中，为了确保不易被测距传感器102扫描到的底部等部位也能够得到移动感测数据，也通过地面辅助定位装置103来对其进行扫描，对测距传感器102的数据进行补充，以更为准确地得到可活动的目标物体105上绝大多数位置点的移动感测数据，方便后续对整个目标物体105的对象模型进行更新。需要说明的是，图1d中的测距传感器102和地面辅助定位装置103发出的线条仅为示意，实际情况中，基于不同性能和不同数量的测距传感器102、地面辅助定位装置103，能够发出更多的激光光束或者超声波等，完成对整个目标物体105的扫描。
在一个实施例中，针对目标物体105在移动过程中可能存在的被其他物体遮挡，使得扫描不全的问题，可以进一步地结合摄像机拍摄环境图像，通过简易的图像识别的方式来识别出关于目标场地区域的图像中的目标物体105的图像对象，确定该目标物体105的被遮挡情况，确定出测距传感器102和地面辅助定位装置103应该无法扫描到的位置区域，根据确定的无法扫描到的位置区域，再综合上述的测距传感器102和地面辅助定位装置103感测得到的数据，从感测得到的数据中筛选出部分数据进行处理作为所述目标物体105的移动感测数据进行后续处理。
AR处理设备107可以是服务器(主机)，用于接收上述的距离传感器102、定位传感器的感测数据，处理现实场景中目标物体105的实时定位信息和目标物体105的对象模型，处理虚拟物体的交互关系，以及生成用户视野范围内需要叠加的虚拟信息108，并将生成的虚拟信息108发送给用户的AR眼镜104，在一个实施例中，位于该目标场地区域100的AR眼镜104可以包括多个，AR处理设备107为各个AR眼镜104生成虚拟信息，并将相应的虚拟信息分发给各个用户的AR眼镜104。用于无线电通信的天线则可依照常见的无线互联网标准进行设置，使得距离传感器102、地面辅助定位装置103以及设置在目标物体105上的定位传感器能够将其对各个目标物体105的移动感测数据发送给AR处理设备107，AR处理设备107也能够正常地将AR场景处理结果，例如显示信息，发送给AR眼镜104。在一个实施例中，所述移动感测数据可以是上述提到的各个传感器感测得到的原始数据，后续由服务器来计算目标物体的位置和转动角度等信息，也可以是各个传感器经过处理后直接得到的位置、转动角度等数据，服务器能够直接获取目标物体的位置和转动角度等信息。
图1a中的虚线显示了用户所能够通过AR眼镜104看到的虚拟信息108，基于AR眼镜104，用户同时也可以看到场景中的凳子和方块。在一个实施例中，可以加入一些可互动元素，例如用户走到虚拟树下，查看虚拟树的种类，并且选择透视虚拟树的年轮以查看年龄信息等。由于基于AR眼镜104的位置信息和视野角度信息确定的视野范围所涵盖的区域不相同，因此，图1a中的左侧用户的视野内包含了虚拟树和虚拟汽车，而右侧用户的视角仅包含了虚拟树，不同用户AR眼镜104的显示屏叠加的虚拟信息108是根据用户的视野范围决定的，需要显示给用户的虚拟信息108的计算通过AR处理设备1072完成。
AR眼镜104为穿戴式显示设备，在其他实施例中还可以为其他的显示设备，例如，平视显示器(Head Up Display，HUD)等显示设备。其基本原理是通过透明的显示屏将用户的视野覆盖，并通过设置在AR眼镜104上的定位传感器和角度传感器来感测AR眼镜104的位置信息和转动角度信息，以此得到用户的位置信息和视野角度信息，将位置信息和视野角度信息发送给AR处理设备107，AR眼镜104还用于将AR处理设备107传回的用户视野对应的虚拟空间所存在的虚拟信息108显示出来，给用户以视野中存在该虚拟信息108的错觉。AR处理设备107是在接收到所述位置信息和视野角度信息后，计算得到用户当前在目标场地区域100中的位置以及头部相对于初始位置时的视野转动角度，并进一步得到用户的视野范围，确定虚拟信息108。
图2示出了一种AR眼镜104的结构示意图。在一个实施例中，该AR眼镜104可以包括固定装置1041，传感器组件1042以及透明显示屏1043，当然还包括无线电组件和电池等结构。固定装置1041主要保证AR眼镜104能够固定在头部上，AR眼镜104的显示范围能够有效覆盖用户视野的中间大部分区域，并且传感器组件1042能够随着用户头部的运动而实时感应到用户视野的位置和角度信息。在一个实施例中，所述固定装置1041采用了最简单的耳搭式眼镜架方案，也可以采用松紧绑带或全覆盖头盔或头套方案，或者颈部固定方案等。传感器组件1042可以为基于六轴陀螺仪芯片和/或加速传感器芯片的组件，可以直接得到用户在目标场地区域100中的位置和头部的转动角度。传感器组件1042中还可以包括基于激光、无线电或回声的辅助定位接收装置，辅助定位接收装置基于接收的信号(激光、无线电或声波)作为辅助，根据辅助定位接收装置接收的激光、无线电或回声的时间差，或者扫描频率差来得到AR眼镜104的位移感测数据，进而方便后续确定AR眼镜104的位置信息和视野角度信息。AR眼镜104中的无线电组件与无线电通信天线发送和接收信号，实现将感测到的AR眼镜104的相关感测数据上传至AR处理设备107，并将需要显示的图像下传至AR眼镜104。
在一个实施例中，设置在目标物体105上的定位传感器可以由多个传感器的组合和通信组件组成，通信组件可以为与AR处理设备107的有线连接的组件和/或无线连接的组件。定位传感器结合特定的固定装置，能够固定到目标场地区域100中的可目标物体105上，实时记录和传输相应的目标物体105的位置和转动角度，可以在目标物体105的多个关键位置处设置定位传感器，例如，针对目标场地区域100中的用户，可以做成手环或背贴一类的可穿戴定位传感器，用于精确确定用户人体的多个部位在目标场地区域100的三维空间内的，对增强现实场景进行增强，加强用户交互体验。
在本发明实施例中所实现的AR场景下，还可以实现用户与物体、用户与预置的系统界面之间的交互。在一个实施例中，可以采用在移动式显示屏的外框上外置触摸板或按键来接收用户操作，也可以配合固定在用户手部的定位传感器，在用户转动手指发出某些指定的手势时，根据姿态识别来选择相应的手势响应操作，例如，通过固定在用户手腕上的定位传感器，如果检测到摆动的手势，则确定将显示的关于树的信息翻页到下一页。如果采用触摸板或按钮，则需要向AR处理设备107回传数据，由AR处理设备107来确定应当如何对用户在触摸板或按钮上的用户操作进行响应处理，经响应处理后将处理结果通过图像方式在AR眼镜104上展示。
从用户角度来看，目标场地区域100内的真实物体和虚拟信息108同时存在于视野范围内，并且随着视野的运动，所有的虚拟物体都和真实物体进行相应的空间变化，完成增强现实场景的显示，实现增强现实场景。如图3a、图3b以及图3c所示，图3a是AR眼镜104仅作为眼镜使用，用户透过透明显示屏1043所在的镜框301能够看到目标场地区域100中的真实物体，并没有显示虚拟信息108；图3b则显示了虚拟信息108，即图3b中的两棵虚拟树；图3c则是用户小角度的转动了头部，基于转动的角度确定出新的视野范围，并在新的位置处叠加了两棵虚拟树，在图3c中叠加的两棵虚拟树与图3b中所示的两棵虚拟树是从相同的两棵完整虚拟树中截取出的不同部分区域，具体是依照AR眼镜104确定的不同的视野范围来截取的。
再请参见图4，是本发明实施例的增强现实场景的实现系统的结构示意图，如图4所示，本发明实施例的所述系统主要包括服务端、用户端以及数据采集端，服务端主要是由一个或者多个服务器构成，服务端与上述的AR处理设备107对应。用户端主要是在用户佩戴或者携带的显示设备402，例如上述提到的AR眼镜4，所述用户端可以包括由在目标场地区域体验AR场景的多个用户携带或者佩戴的显示设备402，在图4中包括多台显示设备402，显示设备402的具体数量可以根据目标场地区域的大小，进行AR处理的服务器的计算能力来综合确定。数据采集端则主要包括多个定位装置401，这些定位装置401可包括：感测目标物体在移动过程中的位置和转动角度的传感器，例如上述提到的距离传感器、设置在目标物体和AR眼镜上的加速度传感器、角度传感器、地面辅助定位装置等，还可以包括用来对目标物体进行拍摄以便根据图像识别来进行辅助定位的摄像头等视觉传感器。定位装置401的具体数量可以根据对移动物体所对应的对象模型的更新精度需求来配置，针对目标场地区域，设置多方位、多角度、多数量的定位装置401能够更好地对移动物体进行定位。信号传输处理设备403则可以为WiFi设备等无线传输接入点设备。
在本发明的一个实施例中，AR处理设备或者说服务端具备的功能可以由七个功能模块来实现，包括：传感器信号处理模块403、位置与姿态计算模块405、视野范围计算模块406、虚拟物体数据库407、物理效果处理模块408、图像渲染模块409、交互控制模块410。下面对图4所示的各个模块进行相关说明。
服务端通过所述信号传输处理设备403来收集各个定位装置401感测到的目标物体的位置、角度等移动感测数据。对于各种定位装置401，以时间间隔Tp分别采集各个对应的传感器得到的移动感测数据，在t时刻接收到的移动感测数据记作Pt＝(post，anglet)，其中post＝{pos1 t、……、pos2 t}，post表示各个定位装置401在t时刻感测的目标物体在目标场地区域中的移动感测数据，针对激光、回声等传感器一般包括相应激光信号、回声信号等信号的传输的时间或相位差，对于加速度传感器等则包括加速度数据；anglet是定位装置401中包括的陀螺仪等角度传感器记录下的目标物体的旋转角度数据。移动数据和旋转角度数据可以用于计算目标物体的空间运动信息。各定位装置401将每个时间点感测到的移动感测数据被传输给信号传输处理设备403。在一个实施例中，也可以对Pt进行一定程度的降噪和压缩，去除各个定位装置401的感测数据中的噪声数据得到有用的移动感测数据，并对有用的移动感测数据进行压缩，以便减小对无线传输带宽的需求。可以采用傅里叶变换降噪和小波变换降噪算法等方式进行降噪处理。
诸如AR眼镜等显示设备402将接收到的待显示数据解析并显示在显示屏上，待显示数据主要包括需要显示的虚拟图像、信息、在显示设备402的屏幕上的显示位置等。由于信号传输处理设备403传输的数据可能出现延迟或拥堵，因此需要对不同时刻的数据进行帧率的平滑和跳过，并在必要时对图像内容进行差值预测。
信号传输处理设备403主要用于进行有效的数据传输，在服务端、用户端和数据采集端之间完成数据交互。信号传输处理设备403的硬件实现可采用近场通信或无线局域网解决方案，该信号传输处理设备403与服务端、用户端、数据采集端上配置的通信接口相匹配，用于通过与这些接口传输数据来实现服务端、用户端和数据采集端之间的数据交互。例如，信号传输处理设备403与显示设备402上配置的具有发送和接收功能的子模块进行通信，信号传输处理设备403可以与定位装置401上配置的发送子模块进行通信。本发明实施例中，服务端配置的进行数据传输的接口除具有发送和接收功能之外，还包含了路由和链路管理等功能。
信号传输处理设备403在软件上可以采用多队列管理的方式进行控制，通过排队处理算法对待交互的数据进行排队以及传输处理。对于传输的信号，可以采用压缩算法进行编码处理，以降低其通信的带宽需求。例如对于图像数据，可以使用JPEG或JPEG2000压缩算法处理，对于数值数据可以采用算数编码的方式计算。对于可能包括的控制数据，则可以采用哈夫曼编码的方式处理。
传感器信号处理模块404从信号传输处理设备403上获取有效的各个传感器对应的移动感测数据Pk jt，并根据其中的移动感测数据P1 jt、……、P1 jt，计算目标物体最可能位于目标场景区域中的位置，得到空间运动信息中的位置信息。
位置与姿态计算模块405根据传感器信号处理模块404计算得到的位置信息，叠加移动感测数据中的anglet数据，计算得到目标物体在目标场地区域的空间中的位置信息和转动角度信息。
虚拟物体数据库407中记录目标场地区域中的各类物体和虚拟物体的三维模型和模板数据。由于真实世界的物体的形状变化多样，比如人体，有高矮胖瘦之分，因此，需要提供一些带参数的模板模型，能够简单输入参数，实现与真实世界物体的在形状和结构上相近似的对象模型。例如输入身高和体重性别，可以简单构造一个符合要求的人物模型，作为虚拟人物在目标场地区域对应的三维场景模型中的表示。除了人体，还应当包含简单的物体，例如圆柱体、立方体等，作为物体碰撞交互的基础。对于虚拟物体的三维模型，则可以根据需要配置较为精细的能够表示某个虚拟物体的对象模型，以保证显示渲染时的视觉效果。
视野范围计算模块406主要是根据显示设备402的位置信息和视野角度来确定一个用户视野范围。由于视野的正确性决定了用户的视觉体验是否准确，因此需要通过视野范围计算模块406进行精细化的计算。在一个实施例中，视野范围计算模块406可以基于感测到的AR眼镜等显示设备402的位置和转动的角度，结合AR眼镜的初始位置和初始角度，确定出位置的变化和角度的变化，进而得到变化后的视野范围。视野范围的尺寸可以是一个固定尺寸值的矩形或者多边形，在得到显示设备402的位置信息和视野角度后，即可直接在该位置和视野角度上从表示目标场地区域的三维空间模型中框选出该固定尺寸值的矩形或多边形的一个目标区域，将其作为用户视野范围内能够观看到的区域。在一个实施例中，对于得到的显示设备402的位置和角度数据，可以进一步进行平滑处理，通常需要结合视角变化的逻辑，以及用户历史的视角位置来进行平滑处理。平滑处理后可以使得视野范围的变化相对平缓，适合用户观看增强现实场景的相关内容。例如，当用户向前走时，其速度并不是均匀的，但应当符合人体的加速和减速的逻辑，即视野范围的变化应当在某个阈值范围内，如果超出此阈值，则说明用户应当在跑动或跳跃，这些运动状态的变化应当在时间上是连续的，比如在一秒钟内不可能出现同时5次跳跃，因此需要对其进行平滑处理。
物理效果处理模块408负责将真实物体和虚拟信息通过经典力学模型在虚拟空间中建立联系，从而使得增强现实场景中用户的交互、物体之间的交互符合日常生活中常见的场景。主要需要处理的内容包括刚体碰撞、弹性形变、自由落体、爆炸效果等。由于真实世界的很多物体并不会真正地与虚拟世界的物体发生碰撞，因此在处理时应当将真实世界的物体对应的三维刚体在计算时设置成为场景对象，即不可改变其运动状态。
物理效果处理模块408需要将目标场地区域中的所有固定的无图、可移动的物体(包括用户人体)和地面的三维模型作为刚体对象进行输入，设置其为场景对象，可选地会将一些虚拟物体的三维模型一并作为输入，得到一个关于目标场地区域的三维场景模型。在该三维场景模型中包括了所述目标场地区域内的所有物体的对象模型，并可选地包括了一些设置的虚拟物体的对象模型，例如虚拟的人物，虚拟的树等，各个对象模型在三维场景模型中的空间位置情况与这些对象模型对应的物体在所述目标场地区域内的空间位置情况基本相同。物理效果处理模块408可以根据所需的交互要求来设置各种对象模型的材质，然后通过经典力学的公式计算其中的交互。其中对象模型根据真实世界中的目标场地区域内的物体的位置和状态进行实时的更新，方便各个对象模型之间能够有效交互。关于可能存在的真实物体对应的对象模型与虚拟物体对应的对象模型之间的交互，则主要涉及到上述提及的两者之间可能存在的碰撞等交互。在一个实施例中，可以采用某些物理引擎来实现物理效果处理模块408。
根据物理效果处理模块408的计算结果，以及三维场景模型所包含的虚拟物体的对象模型，以视野范围计算模块406得到的视野范围对三维场景模型中的目标区域内的对象模型或对象模型的部分区域，结合想要显示的虚拟信息进行图像渲染，将需要显示的虚拟信息转换为图像，例如将虚拟物体的对象模型的实时图形数据转换为需要叠加显示的虚拟图像。其中，真实场景对于虚拟信息可能存在的遮挡需要预先计算，并在渲染的结果上进行遮罩，以排除掉虚拟信息上被遮挡的部分，防止显示时产生叠加效果的错误。图像渲染引擎可以使用常用的游戏引擎中的渲染功能。
交互控制模块410用于处理和控制用户与场景中各个物体所产生交互逻辑，例如查看一棵虚拟树的品种，显示用户图形界面(Graphical User Interface，GUI)供用户操作等等。交互控制模块410可以要根据具体的实际AR应用场景的需求来设置，在一个实施例中可以保留某个接口以供后续的功能实现。
本发明实施例能够对一定场地区域范围内的移动物体进行移动监控，构建得到一个关于场地区域的三维场景模型，在该三维场景模型的基础上，结合携带AR显示设备的用户的位置，对用户的显示设备上已经显示的增强现实场景的虚拟信息进行快捷地显示以及更新，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置。并且，相对于传统的在拍摄到的图像中直接叠加虚拟信息的处理方式，本发明实施例增加了遮挡效果的处理，使得在本发明实施例的基于位置来直接实现增强现实场景的情况下，能够较好的体现遮挡和移除遮挡的效果，使增强现实场景更真实。在本发明实施例中，AR处理设备和AR显示设备分离，用户只需要携带轻便的仅有显示功能的AR眼镜即可，避免了因为传统的AR眼镜需要携带摄像机导致AR眼镜较为笨重的问题。并且AR处理设备通常为服务器，可以根据需要同时处理多个用户的增强现实场景的虚拟信息显示需求，扩展了新的功能，可满足增强现实场景的多人需求，在一定程度上节省了成本。
再请参见图5，是本发明实施例的一种增强现实场景的实现方法的流程示意图，本发明实施例的所述方法可以由一个AR处理设备来执行，具体可以由一个具有AR处理功能的服务器来执行，当然也可以由一个集成了感测数据处理功能和显示功能的AR显示设备来执行。所述方法包括如下步骤。
S501：获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体。所述目标场地区域为一个预先布局的区域，可以根据用户场景的需求对该目标场地区域进行任意布局。在一个实施例中，可以在检测到所述目标物体发生移动后，再触发执行所述S501。可以通过在目标物体上设置的陀螺仪或者加速度传感器等来确定所述目标物体是否发生移动。
该目标场地区域可以是一个大的场地区域中的部分区域，也可以是布置的多个场地区域中的其中一个。这些场地区域可以根据需要，布置为室内房间的场景区域、公园场景区域、运动场地区域等。
在目标场地区域中，可以包括固定的物体和移动的物体，例如在室内房间场景的场地区域中，衣柜或者柱子等物体为固定的，固定物体在场地区域中的位置为已知的，不需要通过定位装置来对其进行监控。移动物体则需要通过定位装置来感测其移动感测数据，完成对移动物体的位置监控，移动物体例如可以是室内房间场景的场地区域中的椅子等物体。所述目标物体即为目标场地区域中的任意一个移动物体。
所述目标物体可以为刚性物体或者柔性物体，可以通过加速度传感器、角度传感器、诸如激光测距阵列等测距传感器，来感测整个目标物体的位置信息和角度数据，得到整个目标物体的移动感测数据。
对目标物体的位置信息的采集主要可以通过测距传感器、和/或定位传感器来采集得到。在一个实施例中，根据至少两个距离传感器获取的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息，所述至少两个距离传感器用于监测所述目标场地区域中的目标物体；在一个实施例中，根据设置在所述目标物体上的定位传感器感测到的运动数据，计算得到所述目标物体移动后在所述目标场地区域中的位置信息。
另外，在一个实施例中，在目标物体为柔性物体时，针对距离地面在一个较低高度范围内的目标物体或者目标物体的一部分，可以通过地面辅助定位装置来感测相关数据，该地面辅助定位装置可以是能够在地面一定高度范围内(例如20厘米内)进行激光阵列、超声波阵列扫描等扫描方式来得到数据，并进一步得到目标物体或者目标物体的部分结构在所述目标场地区域中的位置信息。
S502：根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新。目标场地区域的三维场景模型为一个空间模型，在三维场景模型中表示了所述目标场地区域的一定空间范围内的所有物体的对象模型，以及各个对象模型所对应物体的之间的位置关系。在一个实施例中，可以按照一定的缩小比例，根据目标场地区域中实际物体的空间位置区域，创建得到一个与目标场地区域的布局一模一样的三维场景模型。在三维场景模型中每一个对象模型的布局与所述目标场地区域中每一对应的物体的布局相同，也就是说，每一个对象模型在三维场景模型中所占据的空间位置区域与每一对应的物体在目标场地区域中所占据的空间位置区域是相同的或者仅仅是按照一定比例缩小的。目标场地区域的三维场景模型为预先设置的一个模型。该三维场景模型中存在移动物体的对象模型，因此，后续需要基于在S502中获取到的相应目标物体的移动情况，来对三维场景模型中该目标物体所对应的对象模型进行更新。
对于获取到的由传感器等定位装置感测到的在目标场地区域所在三维空间加速度数据和/或角加速度数据等移动感测数据，可进行降噪处理，去除掉位置数据和姿态数据中不需要的噪声数据，常见的方法有傅里叶变换降噪和小波变换降噪算法等。根据这些移动感测数据来确定目标对象在所述目标场地区域所在的三维空间中的位置数据(position)和姿态数据(orientation)。然后基于所述目标场地区域所在的实际三维空间的坐标系与所述目标场地区域所对应的三维场景模型所对应的坐标系进行映射，根据该映射关系将传感器得到的位置数据所对应的位置和姿态数据所对应的转动角度映射到三维场景模型对应的坐标系中，基于映射后的位置和角度，并基于所述目标对象所对应的对象模型的形状参数等基本参数，对三维场景模型中所述目标对象所对应的对象模型进行重新建模，得到在所述三维场景模型所在坐标系下具有新的位置和角度的对象模型。
在一个实施例中，对目标物体的对象模型进行更新，主要包括对该对象模型的位置和/或空间朝向进行更新。若所述空间运动信息中包括所述目标物体移动后的位置信息，则根据所述位置信息对所述目标物体的对象模型在所述三维场景模型中的位置进行更新；若所述空间运动信息中包括所述目标物体移动后的转动角度信息，则根据所述转动角度信息对所述目标物体的对象模型在所述三维场景模型中的空间朝向进行更新。
如果目标物体为刚性物体，则在目标物体移动后，只需要对目标物体原来的对象模型按照移动感测数据中位置信息和转动角度信息，对目标物体对应的对象模型在所述三维场景模型中作相应的移动和旋转即可。
如果目标物体为柔性物体，则在目标物体移动后，则可以基于不同测距传感器获取到的目标物体的不同位置点上的距离数据，基于三角定位等算法，计算得到目标物体多个点上的位置信息和/或转动角度信息，基于这些数据对该目标物体对应的对象物体上的大量的点进行移动和/或旋转，基于移动和/或旋转后的各个点重新构建得到所述目标物体在所述三维场景模型中的对象模型。在另一个实施例中，如果目标物体为柔性物体，则在目标物体移动后，则可以基于目标物体在不同部位出的定位传感器的位置信息和/或转动角度信息，来计算得到目标物体不同部件在目标场地区域的三维空间中的位置和/或角度，直接对该目标物体的对象模型中相应的部件模型按照位置进行移动，按照角度进行转动，即可得到重新得到所述目标物体在所述三维场景模型中的对象模型。
在对所述目标物体的对象模型进行更新的过程中，在上述提到的基于各种移动感测数据进行更新的基础上，还可以结合图像来进行更为精确的对象模型的更新。可以对所述目标场地区域还设置有至少两个图像传感器，该至少两个图像传感器用于在不同的监测角度上监测所述目标物体，得到所述目标物体的图像数据。所述S502可以包括：根据所述空间运动信息，对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行更新，得到初始更新对象模型；在所述至少两个图像传感器采集到的图像中识别出所述目标物体的图像对象，并根据识别出的图像对象对所述初始更新对象模型进行修正，得到更新后的所述目标物体的对象模型。所述初始更新对象模型主要可以基于上述提到的根据空间运动信息中的位置信息和/后转动角度信息，对所述目标物体的对象模型在所述三维场景模型中所述目标物体的对象模型的位置和朝向进行更新后，得到的对象模型。
S503：确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域，该确定的目标区域可以认为是一个视野区域，可以认为在该目标区域内包括的对象模型(或者对象模型的一部分模型区域)与能够被用户看到的物体(或者物体的一部分)相对应。
在一个实施例中，所述目标区域的确定方式可以包括：获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；根据所述位置信息和视野角度信息确定用户视野范围，并根据用户视野范围从建立的三维场景模型中确定出目标区域。对于AR眼镜等头戴式显示设备，用户开机后即可基于定位传感器和陀螺仪等角度传感器来感测显示设备的位置信息和视野角度信息。可以预先设置一个固定尺寸的矩形框来表示视野范围，或者依据不同的VR眼镜的镜框范围，来设置一个固定尺寸形状的多边形，例如上述图3a中AR眼镜的镜框301的形状。所述视野角度信息表示相对于初始视野朝向转动后的角度信息，在确定了位置和视野角度后，以初始视野朝向按照所述视野角度信息所指示的角度进行转动处理，得到新的视野朝向，在确定的位置处和新的视野朝向上，依据所述固定尺寸的矩形框或者多边形，即可框选出三维场景模型中应当出现在用户视野范围内的所述目标区域。
在一个实施例中，获取显示设备在目标场地区域中的位置信息和视野角度信息可以包括：接收定位装置对所述显示设备进行定位后得到的位置信息，所述定位装置包括设置在所述显示设备上的定位传感器，和/或设置在所述目标场地区域中的用于对所述显示设备进行定位的距离传感器；接收设置在所述显示设备上的角度传感器感测到的所述显示设备的视野角度信息。定位传感器可以为加速度传感器，通过感测三轴加速度和时间，可以得到显示设备相对于初始位置移动的位移。距离传感器则可以基于至少两个距离传感器感测到的到所述显示设备之间的距离，通过三角定位算法，得到所述显示设备的位移。
所述三维场景模型中目标区域内还包括了除所述目标物体以外的其他物体的对象模型。在更新完成后，判断更新后的所述对象模型与所述目标区域之间的位置关系，如果该位置关系表明更新后的所述对象模型的任何位置区域均不在所述目标区域内，则结束处理，继续检测新的目标物体的移动。如果该位置关系表明更新后的对象模型的全部或者部分区域在所述目标区域内，则需要进一步确定所述目标物体的对象模型在所述目标区域中的对象位置，以便于执行下述的S504。所述对象位置是指在目标区域下，所述目标物体的整个对象模型或者在目标区域中的部分模型在目标区域中的区域位置。例如如图3b所示，凳子为目标物体，该凳子的对象模型中部分出现在了AR眼镜的镜框内，该镜框的视野范围区域对应于三维场景模型中的目标区域，凳子位于镜框内的部分311所对应于目标区域的位置区域为所述对象位置。
S504：根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。得到的所述对象位置的作用主要在于判断是否会对虚拟信息造成影响，例如目标对象在对象位置处是否会造成对虚拟信息的遮挡，或者，是否需要在所述对象位置所对应位置处呈现虚拟信息给用户。
在一个实施例中，在所述显示设备显示虚拟信息可以是指：如果需要将虚拟信息在所述目标物体上叠加呈现给用户，则根据目标区域与显示设备的镜片区域之间的映射关系，将所述对象位置映射到显示设备的显示区域，然后生成一个新的虚拟信息，将生成的虚拟信息在该显示区域上投影显示给用户，以便于用户通过AR眼镜等显示设备能够看到增强现实场景。在一个实施例中，在所述显示设备显示虚拟信息可以是指：对显示设备当前已经显示的虚拟信息进行更新得到虚拟信息，并显示更新得到的虚拟信息。该更新包括由于目标对象移动到所述对象位置后，对当前已显示的虚拟信息造成了遮挡，从而对已显示的虚拟信息进行的遮罩处理，或者该更新为由于目标对象移动到所述对象位置后，对当前已显示的虚拟信息的部分区域不再造成遮挡，从而对已显示的虚拟信息进行去除遮挡的处理。在一个实施例中，如果根据所述对象位置确定所述目标物体的移动不会已经显示或准备显示的虚拟信息造成上述影响，则在所述显示设备上显示虚拟信息是指：按照正常的生成与显示刷新频率，刷新显示准备显示的或者之前已显示的虚拟信息。
可包括多种方式在所述显示设备上显示虚拟信息。在一个实施例中，可先生成包括需要显示的虚拟信息的待显示图像；对待显示图像的每个像素点进行渲染，完成对每个像素点的颜色值的调整。完成渲染后的待显示图像作为一个图像叠加层，调用AR眼镜上设置的投影仪将该图像叠加层投影到所述AR眼镜的半透明的镜片上，由该半透明的镜片反射聚焦到视网膜上，进而被人眼所捕获到，在捕获到包括虚拟信息的图像叠加层的同时，透过半透明的镜片还能够看到真实的目标场地区域。
在一个实施例中，每个像素点调整后的颜色值可以是根据所述目标场地区域的环境信息来确定。不同的环境信息可对像素点的颜色值进行不同调整处理，使得待显示图像最后呈现给用户时，与目标场地区域的环境相匹配。这些环境信息包括目标场地区域的温度、和/或光线强度等信息，例如，在光线强度较强的环境，进行像素点调整后得到的图像整体呈现出较为明亮的色彩。
在确定出目标物体的对象模型在所述目标区域中的对象位置后，主要判断在该对象位置下，所述目标物体的对象模型是否会对显示设备当前显示的虚拟信息造成遮挡，如果造成遮挡，则需要对虚拟信息中被遮挡部分去除，显示的时候并不会显示这部分被遮挡的局部虚拟信息，例如图3b右侧的大树由部分实际是被遮挡了。当然在其他实施例中，对目标物体的移动可能使得目标物体的对象模型不在对虚拟信息造成遮挡，这时候虚拟对象的遮挡部分需要被更新显示出来。
在一个实施例中，当上述步骤是由一个具有AR处理功能的服务器来执行时，则可选地所述方法还可以包括：向所述显示设备发送显示消息，所述显示消息携带需要在所述显示设备上显示的虚拟信息，所述显示消息用于指示所述显示设备显示该更携带的虚拟信息，以便于在所述用户视野范围所涵盖的目标区域中叠加显示所述生成的虚拟信息以完成增强现实场景的显示。
本发明实施例能够对一定场地区域范围内的移动物体进行移动监控，在移动后及时更新该移动物体在场地区域所对应的三维场景模型中的对象模型，并以更新过后的三维场景模型为依据，生成需要显示设备显示的虚拟信息，结合透过显示设备看到的真实场地区域，完成增强现实场景的展示，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置，计算快捷，提高了增强现实场景的实现效率。
再请参见图6，是本发明实施例的根据距离数据来确定位置信息的方法的流程示意图，所述方法与上述实施例中的S501对应，为获取位置信息的其中一种实现方式。所述方法包括如下步骤。
S601：确定至少两个距离传感器获取的关于所述目标物体的距离数据，所述至少两个距离传感器用于监测所述目标场地区域中的目标物体。所述距离传感器主要包括超声波、激光等测距传感器，可以设置一些相对来将更容易对目标物体进行监控的位置处。在一个实施例中，所述距离传感器可专用于对目标物体进行测距。在一个实施例中，所述目标物体上的多个位置点出可以设置超声波、激光等测距传感器对应的接收器，接收器获取接收到的超声波、激光的时间，并将时间反馈给所述距离传感器，由距离传感器来确定距离数据。
S602：获取所述至少两个距离传感器的传感器位置信息；距离传感器的位置信息为预先设置的数据，该传感器位置信息同样为在目标场地区域中的位置信息。
S603：对获取的距离数据和传感器位置信息进行最小二乘拟合计算，得到所述目标物体移动后在所述目标场地区域中的位置信息。
对于k个距离传感器，获取有效的各个距离数据Pjt，并根据其中的距离数据P1 jt、……、Pk jt计算其最可能位于目标场地区域中的位置。具体的算法需要输入各个定位装置在目标场地区域上的坐标POSk(例如激光定位发射器等传感器的空间位置)，使用最小二乘拟合计算：
Figure BDA0001485600670000212
估计得到在目标场地区域中某个被监控的物体的最优的位置
Figure BDA0001485600670000221
其中dist函数表示距离函数，通常采用三维欧几里得距离。POSk值为已知，pos为最小二乘拟合计算中的辅助参数。
在进行本发明实施例的虚拟信息在增强现实场景下显示的处理过程中，通过上述计算方式可以较为精确地计算确定目标物体的位置，特别是在基于多个距离传感器探测的距离数据的情况下，能够更为快捷、准确地得到目标物体的位置。
再请参见图7，是本发明实施例的对虚拟信息进行更新的方法的流程示意图，本发明实施例的所述方法对应于上述实施例中的S504，为对虚拟信息进行更新的其中一种方法。所述方法包括如下步骤。
S700：确定需要在所述显示设备上显示的目标虚拟信息；在一个实施例中，所确定的目标虚拟信息可以是新的需要叠加显示到用户通过AR眼镜等显示设备看到的增强现实场景中的虚拟信息，可以从预置的信息、图像等内容中选择出的一个或者多个需要叠加显示的信息和/或图像作为目标虚拟信息。在一个实施例中，所确定的目标虚拟信息还可以是与所述显示设备当前已经显示的虚拟信息相对应，例如，目前显示的是关于一棵虚拟树图像的的树梢部分(其余部分被遮挡)的虚拟信息，该已经显示的树梢部分的虚拟信息对于与所述虚拟树图像，而当前确定的也是该虚拟树图像作为目标虚拟信息，以便于后续执行由于目标物体的移动而需要对已显示的虚拟信息进行更新的处理步骤。
S701：根据所述对象位置，检测所述目标物体的对象模型与所述目标虚拟信息之间的遮挡关系。根据所述对象模型的对象位置及形状、目标虚拟信息应当被显示的位置及目标虚拟信息的形状、以及显示设备的位置、朝向来确定所述对象模型与所述目标虚拟信息之间的遮挡关系。在本发明实施例中，所述的对象位置实际是与所述目标物体在目标场地区域中所占据的空间位置区域相对应，并非单纯的一个位置点。
S702：如果遮挡关系表明所述目标物体的对象模型为对所述虚拟信息造成遮挡，则确定出所述目标虚拟信息中被遮挡的第一区域，得到第一虚拟信息，所述第一虚拟信息不包括所述目标虚拟信息的所述第一区域对应的内容。如图3b所示，作为虚拟信息108的虚拟树被小桌子遮挡了一部分，如区域302的部分，区域302被认为是第一区域，在对目标虚拟信息进行处理时，需要去除掉这部分的图像内容。此时，所述第一虚拟信息即为最终生成得到的需要在所述显示设备上显示的虚拟信息。
S703：如果遮挡关系表明所述目标物体的对象模型为不再对所述目标虚拟信息的第二区域造成遮挡，则确定出所述目标虚拟信息的所述第二区域，得到第二虚拟信息，所述第二虚拟信息包括所述目标虚拟信息的所述第二区域对应的内容，例如，如果上述的小桌子被其他用户移走，根据新的小桌子所对应的对象模型的对象位置，确定出该小桌子的对象模型不再对虚拟树(虚拟信息108)造成遮挡，则会将被遮挡的诸如被区域302等区域的第二区域的内容确定出来，以便得到包括第二区域所对应内容的第二虚拟信息。此时，所述第二虚拟信息即为最终生成得到的需要在所述显示设备上显示的虚拟信息。
相对于传统的在拍摄到的图像中直接叠加虚拟信息的处理方式，本发明实施例增加了遮挡效果的处理，使得在本发明实施例的基于位置来直接实现增强现实场景的情况下，能够较好的体现遮挡和移除遮挡的效果，使增强现实场景更真实。
再请参见图8，是本发明实施例的另一种增强现实场景的实现方法的流程示意图，本发明实施例的所述方法由AR显示设备来执行。AR显示设备通过与AR处理设备(例如服务器)之间的交互，完成对呈现的增强现实场景中显示的虚拟信息的显示更新，在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。所述方法包括如下步骤。
S801：获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息。可基于定位传感器和陀螺仪等角度传感器来感测显示设备的位置信息和视野角度信息。
S802：生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息。所述增强现实处理设备(例如上述提到的服务器等AR处理设备)根据位置信息和视野角度信息，得到虚拟信息或者更新后的虚拟信息的方式可以参考上述各实施例相关内容的描述。
S803：接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。增强现实显示设备只需要显示出虚拟信息或者更新后的虚拟信息即可，通过该增强现实设备，能够看到目标场地区域的真实物体，并且还能够叠加显示虚拟信息。
在一个实施例中，所述S803可以包括：接收所述增强现实处理设备发送的图像序列和图像时间戳序列；获取当前时刻的时间值；如果接收到的图像时间戳序列中存在目标时间戳，则将图像序列中所述目标时间戳对应的图像帧删除；其中，所述目标时间戳包括：所述图像时间戳序列中与所述当前时刻的时间值之间的差值大于所述显示设备的图像显示刷新周期值的两倍的时间戳。
显示设备在t时刻接收到的待显示的虚拟信息中，包括的图像序列为I＝(imgt1、imgt1、……、imgtn)，并针对图像序列中各个图像数据的时间戳为Ts＝(ts 1、ts 2、……、ts k)，显示设备的图像显示刷新周期值为ts。在一个实施例中，如果当前时刻t-ts i>2ts,表明目前已经接收到第i帧的下一帧图像，因此，可以直接丢弃第i帧imgti。在一个实施例中，如果存在t-ts i>2ts的情况，则可以通过差值预测的方式来预测被丢掉的第i帧图像，可通过imgti＝imgti-1+Δimg的方法预计算，减少传输带来的卡顿和延迟造成的在屏幕上显示图像的影响。Δimg是根据第i帧的前一帧和后一帧图像数据中相关像素点的像素值计算得到，具体计算方式可使用分块运动插值的方法，具体算法可参考H.265压缩算法标准。在本发明实施例中，还可以根据需要对不同时刻的数据进行帧率的平滑处理，并在必要时对图像内容进行差值预测。
在本发明实施例中，AR处理设备和AR显示设备分离，用户只需要携带轻便的仅有显示功能的AR眼镜即可，避免了因为传统的AR眼镜需要携带摄像机导致AR眼镜较为笨重的问题。并且AR显示设备能够对接收到的需要显示的虚拟信息适当地丢弃一部分数据，快捷地完成平滑处理，可较好地避免延迟、卡顿的发生。
再请参见图9，是本发明实施例的一种增强现实场景的实现装置的结构示意图，所述装置可以设置在AR处理设备中，例如设置在具有增强现实功能的服务器中。本发明实施例的所述装置包括如下结构。
获取模块901，用于获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
模型更新模块902，用于根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新；
确定模块903，用于确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
显示模块904，用于根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。
定位装置可以包括上述提到的各种传感器，可以包括距离传感器、定位传感器、地面辅助定位装置等。具体的例如可以是角速度传感器、角度传感器、红外测距传感器、激光测距传感器等。这些传感器设置在目标场地区域中、或者设置在目标场地区域的各个目标物体上，用于对各个目标物体进行运动感测，得到相应的移动感测数据。
目标场地区域的三维场景模型为一个空间模型，在三维场景模型中表示了所述目标场地区域的一定空间范围内的所有物体的对象模型，以及各个对象模型所对应物体的之间的位置关系。
所述模型更新模块902对目标物体的对象模型进行更新，主要包括对该对象模型的位置和/或空间朝向进行更新。如果目标物体为刚性物体，则在目标物体移动后，只需要对目标物体原来的对象模型按照移动感测数据中位置信息和转动角度信息，对目标物体对应的对象模型在所述三维场景模型中作相应的移动和旋转即可。如果目标物体为柔性物体，则需要对多个位置点进行感测，以便于得到整个目标物体的相关感测数据以及对整个对象模型进行更新。
在一个实施例中，所述显示模块904如果需要将虚拟信息在所述目标物体上叠加呈现给用户，则根据目标区域与显示设备的镜片区域之间的映射关系，将所述对象位置映射到显示设备的显示区域，然后生成一个新的虚拟信息，将生成的虚拟信息在该显示区域上投影显示给用户，以便于用户通过AR眼镜等显示设备能够看到增强现实场景。在一个实施例中，所述显示模块904可以对显示设备当前已经显示的虚拟信息进行更新得到虚拟信息，并显示更新得到的虚拟信息。该更新包括由于目标对象移动到所述对象位置后，对当前已显示的虚拟信息造成了遮挡，从而对已显示的虚拟信息进行的遮罩处理，或者该更新为由于目标对象移动到所述对象位置后，对当前已显示的虚拟信息的部分区域不再造成遮挡，从而对已显示的虚拟信息进行去除遮挡的处理。在一个实施例中，如果根据所述对象位置确定所述目标物体的移动不会已经显示或准备显示的虚拟信息造成上述影响，则所述显示模块904在所述显示设备上显示虚拟信息是指：按照正常的生成与显示刷新频率，刷新显示准备显示的或者之前已显示的虚拟信息。
在所述确定模块903确定出目标物体的对象模型在所述目标区域中的对象位置后，所述显示模块904主要判断在该对象位置下，所述目标物体的对象模型是否会对显示设备当前显示的虚拟信息造成遮挡，如果造成遮挡，则需要对虚拟信息中被遮挡部分去除，显示的时候并不会显示这部分被遮挡的局部虚拟信息，例如图3b右侧的大树由部分实际是被遮挡了。当然在其他实施例中，对目标物体的移动可能使得目标物体的对象模型不在对虚拟信息造成遮挡，这时候虚拟对象的遮挡部分需要被更新显示出来。
在一个实施例中，所述空间运动信息包括：所述目标物体移动后的位置信息和/或转动角度信息，所述模型更新模块902，用于若所述空间运动信息中包括所述目标物体移动后的位置信息，则根据所述位置信息对所述目标物体的对象模型在所述三维场景模型中的位置进行更新；若所述空间运动信息中包括所述目标物体移动后的转动角度信息，则根据所述转动角度信息对所述目标物体的对象模型在所述三维场景模型中的空间朝向进行更新。
在一个实施例中，所述装置还可以包括：第一位置获取模块907，用于根据至少两个距离传感器获取的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息，所述至少两个距离传感器用于监测所述目标场地区域中的目标物体；第二位置获取模块908，用于根据设置在所述目标物体上的定位传感器感测到的运动数据，计算得到所述目标物体移动后在所述目标场地区域中的位置信息；第三位置获取模块909，用于根据设置在所述目标场地区域中的地面辅助定位装置感测到的数据，计算得到在距离地面的高度在预设的高度阈值范围内的所述目标物体或所述目标物体的部分结构在所述目标场地区域中的位置信息。在本发明实施例中，可以根据实际需求以及实际布置的定位装置，设置所述第一位置获取模块907、第二位置获取模块908、以及第三位置获取模块909中的任意一个或者多个模块。
在一个实施例中，所述第一位置获取模块907，用于确定至少两个距离传感器获取的关于所述目标物体的距离数据；获取所述至少两个距离传感器的传感器位置信息；对获取的距离数据和传感器位置信息进行最小二乘拟合计算，得到所述目标物体移动后在所述目标场地区域中的位置信息。
在一个实施例中，对所述目标场地区域还设置有至少两个图像传感器，该至少两个图像传感器用于在不同的监测角度上监测所述目标物体，得到所述目标物体的图像数据；所述模型更新模块902，用于根据所述空间运动信息，对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行更新，得到初始更新对象模型；在所述至少两个图像传感器采集到的图像中识别出所述目标物体的图像对象，并根据识别出的图像对象对所述初始更新对象模型进行修正，得到更新后的所述目标物体的对象模型。
在一个实施例中，所述装置还可以包括：确定模块905，用于获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；根据所述位置信息和视野角度信息确定用户视野范围，并根据用户视野范围从建立的三维场景模型中确定出目标区域。
在一个实施例中，所述确定模块905，用于接收定位装置对所述显示设备进行定位后得到的位置信息，所述定位装置包括设置在所述显示设备上的定位传感器，和/或设置在所述目标场地区域中的用于对所述显示设备进行定位的距离传感器；接收设置在所述显示设备上的角度传感器感测到的所述显示设备的视野角度信息。
在一个实施例中，所述显示模块904，用于确定需要在所述显示设备上显示的目标虚拟信息；根据所述对象位置，检测所述目标物体的对象模型与所述目标虚拟信息之间的遮挡关系；如果遮挡关系表明所述目标物体的对象模型为对所述虚拟信息造成遮挡，则确定出所述目标虚拟信息中被遮挡的第一区域，得到第一虚拟信息，所述第一虚拟信息不包括所述目标虚拟信息的所述第一区域对应的内容；如果遮挡关系表明所述目标物体的对象模型为不再对所述目标虚拟信息的第二区域造成遮挡，则确定出所述目标虚拟信息的所述第二区域，得到第二虚拟信息，所述第二虚拟信息包括所述目标虚拟信息的所述第二区域对应的内容。
在一个实施例中，所述装置还可以包括：发送模块906，用于向所述显示设备发送显示消息，所述显示消息携带需要在所述显示设备上显示的虚拟信息，所述显示消息用于指示所述显示设备显示该携带的虚拟信息，以便于在所述用户视野范围所涵盖的目标区域中叠加显示所述生成的虚拟信息以完成增强现实场景的显示。在该实施例中，表明该装置为上述提到的AR处理设备等对应的装置，对于最终得到的虚拟信息，可以通过发送模块906发送给诸如AR眼镜等AR显示设备，指示AR显示设备在相应位置处显示虚拟信息。
本发明实施例的所述装置的各个模块的具体实现，可参考上述实施例中相关内容的描述，在此不赘述。
本发明实施例能够对一定场地区域范围内的移动物体进行移动监控，在移动后及时更新该移动物体在场地区域所对应的三维场景模型中的对象模型，并以更新过后的三维场景模型为依据，生成需要显示设备显示的虚拟信息，结合透过显示设备看到的真实场地区域，完成增强现实场景的展示，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置，计算快捷，提高了增强现实场景的实现效率。
再请参见图10，是本发明实施例的另一种增强现实场景的实现装置的结构示意图，所述装置可以设置在AR显示设备中，例如设置在具有增强现实场景相关虚拟信息的显示功能的AR眼镜中。本发明实施例的所述装置包括如下结构。
获取模块1001，用于获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
生成模块1002，用于生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
处理模块1003，用于接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
在一个实施例中，所述处理模块1003，用于接收所述增强现实处理设备发送的图像序列和图像时间戳序列；获取当前时刻的时间值；如果接收到的图像时间戳序列中存在目标时间戳，则将图像序列中所述目标时间戳对应的图像帧删除；其中，所述目标时间戳包括：所述图像时间戳序列中与所述当前时刻的时间值之间的差值大于所述显示设备的图像显示刷新周期值的两倍的时间戳。
本发明实施例的所述装置的各个模块的具体实现，可参考上述实施例中相关内容的描述，在此不赘述。
在本发明实施例中，AR处理设备和AR显示设备分离，用户只需要携带轻便的仅有显示功能的AR眼镜即可，避免了因为传统的AR眼镜需要携带摄像机导致AR眼镜较为笨重的问题。并且AR显示设备能够对接收到的需要显示的虚拟信息适当地丢弃一部分数据，快捷地完成平滑处理，可较好地避免延迟、卡顿的发生。
再请参见图11，是本发明实施例的一种增强现实处理设备的结构示意图，本发明实施例的所述增强现实处理设备可以为一个服务器，可以根据需要包括电源装置、散热装置等结构，在本发明实施例中，所述增强现实处理设备包括：存储装置1101、处理器1102、以及通信接口1103。
所述通信接口1103可以为有线和无线接口，一方面可以接收各类定位装置上传的关于目标场地区域内的目标物体的移动感测数据，另一方面能够将处理器1102处理后的虚拟信息发送给目标场地区域内的AR显示设备。
所述存储装置1101可以包括易失性存储器(volatile memory)、非易失性存储器(non-volatile memory)；存储装置1101还可以包括上述种类的存储器的组合。
所述处理器1102可以是中央处理器1102(central processing unit，CPU)。所述处理器1102还可以进一步包括硬件芯片。
可选地，所述存储装置1101存储有计算机应用程序指令。所述处理器1102可以调用所述存储装置1101中存储的计算机应用程序指令，实现如本申请图5、图6以及图7所对应实施例的相关方法。
在一个实施例中，所述处理器1102，调用所述存储的计算机应用程序指令，用于执行如下步骤：
获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中所述目标物体的对象模型进行模型更新；
确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
根据所述对象位置，在所述显示设备上显示虚拟信息，以便于在增强现实场景中显示所述虚拟信息。
在一个实施例中，所述空间运动信息包括：所述目标物体移动后的位置信息和/或转动角度信息，所述处理器1102，在用于执行根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新时，用于执行如下步骤：
若所述空间运动信息中包括所述目标物体移动后的位置信息，则根据所述位置信息对所述目标物体的对象模型在所述三维场景模型中的位置进行更新；
若所述空间运动信息中包括所述目标物体移动后的转动角度信息，则根据所述转动角度信息对所述目标物体的对象模型在所述三维场景模型中的空间朝向进行更新。
在一个实施例中，所述处理器1102对位置信息的采集包括执行以下的任意一个步骤或者多个步骤的组合：
根据至少两个距离传感器获取的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息，所述至少两个距离传感器用于监测所述目标场地区域中的目标物体；
根据设置在所述目标物体上的定位传感器感测到的运动数据，计算得到所述目标物体移动后在所述目标场地区域中的位置信息；
根据设置在所述目标场地区域中的地面辅助定位装置感测到的数据，计算得到在距离地面的高度在预设的高度阈值范围内的所述目标物体或所述目标物体的部分结构在所述目标场地区域中的位置信息。
在一个实施例中，所述处理器1102，在执行所述根据至少两个距离传感器获取的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息时，执行如下步骤：
确定至少两个距离传感器获取的关于所述目标物体的距离数据；
获取所述至少两个距离传感器的传感器位置信息；
对获取的距离数据和传感器位置信息进行最小二乘拟合计算，得到所述目标物体移动后在所述目标场地区域中的位置信息。
在一个实施例中，对所述目标场地区域还设置有至少两个图像传感器，该至少两个图像传感器用于在不同的监测角度上监测所述目标物体，得到所述目标物体的图像数据；所述处理器1102，在执行根据空间运动信息对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行模型更新时，执行如下步骤：
根据所述空间运动信息，对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行更新，得到初始更新对象模型；
在所述至少两个图像传感器采集到的图像中识别出所述目标物体的图像对象，并根据识别出的图像对象对所述初始更新对象模型进行修正，得到更新后的所述目标物体的对象模型。
在一个实施例中，所述处理器1102，在执行所述获取定位装置采集到的目标物体的移动感测数据之前，还执行如下步骤：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
根据所述位置信息和视野角度信息确定用户视野范围，并根据用户视野范围从建立的三维场景模型中确定出目标区域。
在一个实施例中，所述处理器1102，在执行所述获取显示设备在目标场地区域中的位置信息和视野角度信息时，执行如下步骤：
接收定位装置对所述显示设备进行定位后得到的位置信息，所述定位装置包括设置在所述显示设备上的定位传感器，和/或设置在所述目标场地区域中的用于对所述显示设备进行定位的距离传感器；
接收设置在所述显示设备上的角度传感器感测到的所述显示设备的视野角度信息。
在一个实施例中，所述处理器1102，在执行所述根据所述对象位置，在所述显示设备上显示虚拟信息时，执行如下步骤：
确定需要在所述显示设备上显示的目标虚拟信息；
根据所述对象位置，检测所述目标物体的对象模型与所述目标虚拟信息之间的遮挡关系；
如果遮挡关系表明所述目标物体的对象模型为对所述虚拟信息造成遮挡，则确定出所述目标虚拟信息中被遮挡的第一区域，得到第一虚拟信息，所述第一虚拟信息不包括所述目标虚拟信息的所述第一区域对应的内容；
如果遮挡关系表明所述目标物体的对象模型为不再对所述目标虚拟信息的第二区域造成遮挡，则确定出所述目标虚拟信息的所述第二区域，得到第二虚拟信息，所述第二虚拟信息包括所述目标虚拟信息的所述第二区域对应的内容。
在一个实施例中，所述处理器1102，还执行如下步骤：
向所述显示设备发送显示消息，所述显示消息携带需要在所述显示设备上显示的虚拟信息，所述显示消息用于指示所述显示设备显示该携带的虚拟信息，以便于在所述用户视野范围所涵盖的目标区域中叠加显示所述虚拟信息以完成增强现实场景的显示。
本发明实施例的所述处理器1102具体的实现可参考上述实施例中相关内容的描述，在此不赘述。
本发明实施例能够对一定场地区域范围内的移动物体进行移动监控，在移动后及时更新该移动物体在场地区域所对应的三维场景模型中的对象模型，并以更新过后的三维场景模型为依据，生成需要显示设备显示的虚拟信息，结合透过显示设备看到的真实场地区域，完成增强现实场景的展示，不需要经过复杂的图像分析识别算法来确定虚拟信息的显示位置，计算快捷，提高了增强现实场景的实现效率。
再请参见图12，是本发明实施例的另一种增强现实显示设备的结构示意图，本发明实施例的所述增强现实显示设备可以为一个能够实现增强现实场景的虚拟信息显示的显示设备，该设备可以根据需要包括电源装置、散热装置等结构，在一个实施例中，该显示设备可以为一个AR眼镜，该设备的外形可参考图2所示，当然还可以为其他的具有更多功能的设备，在本发明实施例中，所述增强现实显示设备主要包括：存储装置1201、处理器1202、显示屏1203以及网络接口1204、用户接口1205、传感器1206。
所述显示屏1203是一个透明显示屏1203，透过该透明显示屏1203既可以看到真实世界的物体，也可以显示作为在增强现实场景中显示的虚拟信息，该显示屏1203可以为有机发光二极管(Organic Light-Emitting Diode，OLED)等材质的显示屏1203，
所述网络接口1204则主要用于接收增强现实处理设备发送的虚拟信息，也可以通过该网络接口1204向增强现实显示设备发送本增强现实显示设备在目标场地区域中的移动感测数据，例如位置信息和视野角度信息。位置信息和视野角度信息则可以根据在本增强现实显示设备中设置的加速度传感器1206和角度传感器1206(例如陀螺仪)等类型的传感器1206采集到的数据来计算得到。
所述用户接口1205主要为设置的物理按键、触摸板，或者一些能够感测用户手势、感测用户的肢体语言的结构，主要用于接收用户的一些控制指令。
所述存储装置1201可以包括易失性存储器(volatile memory)、非易失性存储器(non-volatile memory)；存储装置1201还可以包括上述种类的存储器的组合。
所述处理器1202可以是中央处理器1202(central processing unit，CPU)。所述处理器1202还可以进一步包括硬件芯片。
可选地，所述存储装置1201存储有计算机应用程序指令。所述处理器1202可以调用所述存储装置1201中存储的计算机应用程序指令，实现如本申请图8所对应实施例的相关方法。
所述处理器1202，调用存储的所述计算机应用程序指令，用于执行如下步骤：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
所述处理器1202，在执行所述接收所述增强现实处理设备发送的携带虚拟信息的显示消息时，用于执行如下步骤：
接收所述增强现实处理设备发送的图像序列和图像时间戳序列；
获取当前时刻的时间值；
如果接收到的图像时间戳序列中存在目标时间戳，则将图像序列中所述目标时间戳对应的图像帧删除；
其中，所述目标时间戳包括：所述图像时间戳序列中与所述当前时刻的时间值之间的差值大于所述显示设备的图像显示刷新周期值的两倍的时间戳。
本发明实施例的所述处理器1202具体的实现可参考上述实施例中相关内容的描述，在此不赘述。
在本发明实施例中，AR处理设备和AR显示设备分离，用户只需要携带轻便的仅有显示功能的AR眼镜即可，避免了因为传统的AR眼镜需要携带摄像机导致AR眼镜较为笨重的问题。并且AR显示设备能够对接收到的需要显示的虚拟信息适当地丢弃一部分数据，快捷地完成平滑处理，可较好地避免延迟、卡顿的发生。
本发明实施例还提供了一种实现增强现实场景的系统，该系统包括增强现实处理设备和增强现实显示设备。本发明实施例的所述增强现实处理设备可以为一个服务器，所述增强现实显示设备可以为一个能够实现增强现实场景的虚拟信息显示的显示设备。该显示设备可以为一个AR眼镜，该设备的外形可参考图2所示。
其中，所述增强现实处理设备，用于获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中所述目标物体的对象模型进行模型更新；确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；根据所述对象位置，在所述显示设备上显示虚拟信息。
所述增强现实显示设备，用于获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示。
在本发明实施例中，所述增强现实处理设备和所述增强现实显示设备的具体实现可参考上述各个实施例中相关内容的描述。
在本发明实施例中，AR处理设备和AR显示设备分离，用户只需要携带轻便的仅有显示功能的AR眼镜即可，避免了因为传统的AR眼镜需要携带摄像机导致AR眼镜较为笨重的问题。并且AR显示设备能够对接收到的需要显示的虚拟信息适当地丢弃一部分数据，快捷地完成平滑处理，可较好地避免延迟、卡顿的发生。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (12)

1.一种增强现实场景的实现方法，其特征在于，包括：
获取定位装置采集到的目标物体的移动感测数据，所述定位装置用于监测位于目标场地区域中的所述目标物体；
根据所述移动感测数据确定所述目标物体在所述目标场地区域中的空间运动信息，并根据空间运动信息对所述目标场地区域对应的三维场景模型中所述目标物体的对象模型进行模型更新，所述空间运动信息包括：所述目标物体移动后的位置信息和/或转动角度信息，其中，所述目标物体移动后的位置信息用于对所述目标物体的对象模型在所述三维场景模型中的位置进行更新，所述转动角度信息用于对所述目标物体的对象模型在所述三维场景模型中的空间朝向进行更新；
确定在所述模型更新后的所述对象模型在目标区域内的对象位置，所述目标区域是指：根据在所述目标场地区域内的显示设备的位置信息和视野角度信息从所述三维场景模型中确定的区域；
根据所述对象位置，在所述显示设备上显示虚拟信息；
其中，所述空间运动信息中的位置信息的确定包括以下的任意一个步骤或者多个步骤的组合：
根据至少两个距离传感器获取得到的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息，所述至少两个距离传感器用于监测所述目标场地区域中的目标物体；
根据设置在所述目标物体上的定位传感器感测到的运动数据，计算得到所述目标物体移动后在所述目标场地区域中的位置信息；
根据设置在所述目标场地区域中的地面辅助定位装置感测到的数据，计算得到在距离地面的高度在预设的高度阈值范围内的所述目标物体或所述目标物体的部分结构在所述目标场地区域中的位置信息。
2.如权利要求1所述的方法，其特征在于，所述根据至少两个距离传感器获取得到的关于所述目标物体的距离数据，确定所述目标物体移动后在所述目标场地区域中的位置信息，包括：
确定至少两个距离传感器获取的关于所述目标物体的距离数据；
获取所述至少两个距离传感器的传感器位置信息；
对获取的距离数据和传感器位置信息进行最小二乘拟合计算，得到所述目标物体移动后在所述目标场地区域中的位置信息。
3.如权利要求1所述的方法，其特征在于，对所述目标场地区域还设置有至少两个图像传感器，该至少两个图像传感器用于在不同的监测角度上监测所述目标物体，得到所述目标物体的图像数据；
所述根据空间运动信息对所述目标场地区域对应的三维场景模型中所述目标物体的对象模型进行模型更新，包括：
根据所述空间运动信息，对所述目标场地区域对应的三维场景模型中的所述目标物体的对象模型进行更新，得到初始更新对象模型；
在所述至少两个图像传感器采集到的图像中识别出所述目标物体的图像对象，并根据识别出的图像对象对所述初始更新对象模型进行修正，得到更新后的所述目标物体的对象模型。
4.如权利要求1所述的方法，其特征在于，所述获取定位装置采集到的目标物体的移动感测数据之前，还包括：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；
根据所述位置信息和视野角度信息确定用户视野范围，并根据用户视野范围从建立的三维场景模型中确定出目标区域。
5.如权利要求4所述的方法，其特征在于，所述获取显示设备在目标场地区域中的位置信息和视野角度信息，包括：
接收定位装置对所述显示设备进行定位后得到的位置信息，所述定位装置包括设置在所述显示设备上的定位传感器，和/或设置在所述目标场地区域中的用于对所述显示设备进行定位的距离传感器；
接收设置在所述显示设备上的角度传感器感测到的所述显示设备的视野角度信息。
6.如权利要求1所述的方法，其特征在于，所述根据所述对象位置，在所述显示设备上显示虚拟信息，包括：
确定需要在所述显示设备上显示的目标虚拟信息；
根据所述对象位置，检测所述目标物体的对象模型与所述目标虚拟信息之间的遮挡关系；
如果遮挡关系表明所述目标物体的对象模型对所述目标虚拟信息造成遮挡，则确定出所述目标虚拟信息中被遮挡的第一区域，得到第一虚拟信息，所述第一虚拟信息不包括所述目标虚拟信息的所述第一区域对应的内容；
如果遮挡关系表明所述目标物体的对象模型不再对所述目标虚拟信息的第二区域造成遮挡，则确定出所述目标虚拟信息的所述第二区域，得到第二虚拟信息，所述第二虚拟信息包括所述目标虚拟信息的所述第二区域对应的内容。
7.如权利要求1所述的方法，其特征在于，还包括：
向所述显示设备发送显示消息，所述显示消息携带需要在所述显示设备上显示的虚拟信息，所述显示消息用于指示所述显示设备显示该携带的虚拟信息，以便于在用户视野范围所涵盖的目标区域中叠加显示所述虚拟信息以完成增强现实场景的显示。
8.一种增强现实场景的实现方法，其特征在于，包括：
获取显示设备在目标场地区域中的位置信息和视野角度信息，所述显示设备用于显示增强现实场景的虚拟信息；其中，所述显示设备在目标场地区域中的位置信息是通过定位装置对所述显示设备进行定位后得到的、所述显示设备在目标场地区域中的视野角度信息是通过设置在所述显示设备上的角度传感器感测到的；
生成携带所述位置信息和视野角度信息的位姿指示信息，并将所述位姿指示信息发送给增强现实处理设备，所述位姿指示信息用于指示所述增强现实处理设备生成需要在所述位置信息和视野角度信息所确定的用户视野范围内显示的虚拟信息；
接收所述增强现实处理设备发送的携带虚拟信息的显示消息，并根据所述显示消息显示虚拟信息，以便于在用户视野范围内叠加显示所述虚拟信息以完成增强现实场景的显示；
其中，所述虚拟信息是所述增强现实处理设备根据需要在所述显示设备上显示的目标虚拟信息确定的，所述虚拟信息包括第一虚拟信息或第二虚拟信息，所述第一虚拟信息或第二虚拟信息是根据遮挡关系确定的，所述增强现实处理设备是根据目标物体的对象模型在目标区域内的对象位置，检测目标物体的对象模型与所述目标虚拟信息之间的所述遮挡关系的，如果遮挡关系表明所述目标物体的对象模型对所述目标虚拟信息造成遮挡，则确定出所述目标虚拟信息中被遮挡的第一区域，得到第一虚拟信息，所述第一虚拟信息不包括所述目标虚拟信息的所述第一区域对应的内容；如果遮挡关系表明所述目标物体的对象模型为不再对所述目标虚拟信息的第二区域造成遮挡，则确定出所述目标虚拟信息的所述第二区域，得到第二虚拟信息，所述第二虚拟信息包括所述目标虚拟信息的所述第二区域对应的内容。
9.如权利要求8所述的方法，其特征在于，所述接收所述增强现实处理设备发送的携带虚拟信息的显示消息，包括：
接收所述增强现实处理设备发送的图像序列和图像时间戳序列；
获取当前时刻的时间值；
如果接收到的图像时间戳序列中存在目标时间戳，则将图像序列中所述目标时间戳对应的图像帧删除；
其中，所述目标时间戳包括：所述图像时间戳序列中与所述当前时刻的时间值之间的差值大于所述显示设备的图像显示刷新周期值的两倍的时间戳。
10.一种增强现实处理设备，其特征在于，包括：存储装置和处理器；
所述存储装置，存储有计算机应用程序指令；
所述处理器，调用所述存储装置中存储的计算机应用程序指令，用于执行如权利要求1-7任一项所述的方法。
11.一种增强现实显示设备，其特征在于，包括：存储装置和处理器；
所述存储装置，存储有计算机应用程序指令；
所述处理器，调用所述存储装置中存储的计算机应用程序指令，用于执行如权利要求8或9所述的方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有程序指令，所述程序指令被执行时，用于实现如权利要求1-7任一项所述的方法；或者用于实现如权利要求8或9所述的方法。
CN201711216327.2A 2017-11-28 2017-11-28 增强现实场景的实现方法、装置、设备及存储介质 Active CN109840947B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711216327.2A CN109840947B (zh) 2017-11-28 2017-11-28 增强现实场景的实现方法、装置、设备及存储介质
PCT/CN2018/114177 WO2019105190A1 (zh) 2017-11-28 2018-11-06 增强现实场景的实现方法、装置、设备及存储介质
US16/677,047 US11270511B2 (en) 2017-11-28 2019-11-07 Method, apparatus, device and storage medium for implementing augmented reality scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711216327.2A CN109840947B (zh) 2017-11-28 2017-11-28 增强现实场景的实现方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109840947A CN109840947A (zh) 2019-06-04
CN109840947B true CN109840947B (zh) 2023-05-09

Family

ID=66663787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711216327.2A Active CN109840947B (zh) 2017-11-28 2017-11-28 增强现实场景的实现方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11270511B2 (zh)
CN (1) CN109840947B (zh)
WO (1) WO2019105190A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10969486B2 (en) 2018-04-26 2021-04-06 SCRRD, Inc. Augmented reality platform and method for use of same
CA3113406A1 (en) * 2018-09-18 2020-03-26 TransRobotics, Inc. Technologies for acting based on object detection
EP3719532B1 (en) 2019-04-04 2022-12-28 Transrobotics, Inc. Technologies for acting based on object tracking
US11533468B2 (en) * 2019-06-27 2022-12-20 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
CN110335351B (zh) * 2019-07-02 2023-03-24 北京百度网讯科技有限公司 多模态ar处理方法、装置、系统、设备及可读存储介质
CN112242004B (zh) * 2019-07-16 2023-09-01 华中科技大学 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
CN110456907A (zh) * 2019-07-24 2019-11-15 广东虚拟现实科技有限公司 虚拟画面的控制方法、装置、终端设备及存储介质
CN110473293B (zh) * 2019-07-30 2023-03-24 Oppo广东移动通信有限公司 虚拟对象处理方法及装置、存储介质和电子设备
CN112166594A (zh) * 2019-09-29 2021-01-01 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
KR20210049600A (ko) * 2019-10-25 2021-05-06 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용하여 콘텐츠를 제공하기 위한 방법 및 장치
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
CN111265874B (zh) * 2020-01-20 2023-04-14 网易（杭州）网络有限公司 游戏中目标物的建模方法、装置、设备及存储介质
CN111408137A (zh) * 2020-02-28 2020-07-14 苏州叠纸网络科技股份有限公司 一种基于增强现实的场景交互方法、装置、设备和介质
CN111525940B (zh) * 2020-04-01 2022-04-12 Oppo广东移动通信有限公司 可穿戴设备、信号处理方法、信号处理装置及存储介质
CN111162840B (zh) * 2020-04-02 2020-09-29 北京外号信息技术有限公司 用于设置光通信装置周围的虚拟对象的方法和系统
CN113496049B (zh) * 2020-04-03 2024-03-12 琦境科技（北京）有限公司 一种三维空间物品规划的方法和系统
CN111640193A (zh) * 2020-06-05 2020-09-08 浙江商汤科技开发有限公司 文字处理方法、装置、计算机设备及存储介质
CN111665943B (zh) * 2020-06-08 2023-09-19 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN111862348A (zh) * 2020-07-30 2020-10-30 腾讯科技（深圳）有限公司 视频显示方法、视频生成方法、装置、设备及存储介质
CN111899349B (zh) * 2020-07-31 2023-08-04 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111881861B (zh) * 2020-07-31 2023-07-21 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
CN111915739A (zh) * 2020-08-13 2020-11-10 广东申义实业投资有限公司 一种实时三维全景信息互动影息系统
CN112148197A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实ar交互方法、装置、电子设备及存储介质
CN112184919B (zh) * 2020-10-12 2023-12-01 中国联合网络通信集团有限公司 生成ar设备视野信息的方法、装置及存储介质
CN112198963A (zh) * 2020-10-19 2021-01-08 深圳市太和世纪文化创意有限公司 一种沉浸式隧道型多媒体交互展示方法、设备及存储介质
CN112287790A (zh) * 2020-10-20 2021-01-29 北京字跳网络技术有限公司 影像处理方法、装置、存储介质及电子设备
CN112581630A (zh) * 2020-12-08 2021-03-30 北京外号信息技术有限公司 一种用户交互方法和系统
CN113327329A (zh) * 2020-12-15 2021-08-31 广州富港万嘉智能科技有限公司 基于三维模型的室内投影方法、装置及系统
CN112788583B (zh) * 2020-12-25 2024-01-05 深圳酷派技术有限公司 设备寻找方法、装置、存储介质及电子设备
CN112614234A (zh) * 2020-12-28 2021-04-06 深圳市人工智能与机器人研究院 对混合现实三维场景进行编辑的方法及混合现实设备
CN112669469B (zh) * 2021-01-08 2023-10-13 国网山东省电力公司枣庄供电公司 基于无人机和全景相机的发电厂虚拟漫游系统及方法
CN112991551A (zh) * 2021-02-10 2021-06-18 深圳市慧鲤科技有限公司 图像处理方法、装置、电子设备和存储介质
CN113012299A (zh) * 2021-02-22 2021-06-22 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN113077544A (zh) * 2021-03-31 2021-07-06 商汤集团有限公司 一种点云生成的方法、装置、电子设备及存储介质
CN113160423A (zh) * 2021-04-23 2021-07-23 杭州灵伴科技有限公司 基于增强现实的检测引导方法、系统、装置和存储介质
CN113359988B (zh) * 2021-06-03 2022-11-29 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN113274726A (zh) * 2021-06-15 2021-08-20 北京有竹居网络技术有限公司 3d场景下的对象行为状态模拟方法、装置、设备及介质
CN113570729B (zh) * 2021-07-28 2024-03-15 上海哔哩哔哩科技有限公司 标记生成方法及装置、对象展示方法及装置
CN113680059A (zh) * 2021-08-31 2021-11-23 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法
CN113487655B (zh) * 2021-09-07 2022-03-01 成都博恩思医学机器人有限公司 一种室内模型生成方法、一种电子设备及一种存储介质
CN113918011A (zh) * 2021-09-26 2022-01-11 平行空间(上海)科技有限公司 虚拟环境下的可视化对象、扩展现实设备以及应用方法
CN113643443B (zh) * 2021-10-13 2022-01-21 潍坊幻视软件科技有限公司 一种用于ar/mr技术的定位系统
CN114020355B (zh) * 2021-11-01 2024-01-30 上海米哈游天命科技有限公司 基于缓存空间的对象加载方法及装置
CN114187509B (zh) * 2021-11-30 2022-11-08 北京百度网讯科技有限公司 对象定位方法、装置、电子设备以及存储介质
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
CN114706489B (zh) * 2022-02-28 2023-04-25 北京所思信息科技有限责任公司 一种输入设备的虚拟方法、装置、设备和存储介质
CN114898395A (zh) * 2022-03-23 2022-08-12 北京市商汤科技开发有限公司 交互方法、装置、设备、存储介质及程序产品
CN114509162B (zh) * 2022-04-18 2022-06-21 四川三元环境治理股份有限公司 一种声环境数据监测方法及系统
CN115132013B (zh) * 2022-07-26 2023-03-14 北京大学深圳医院 一种医用超声模拟教学方法及系统
CN117152349B (zh) * 2023-08-03 2024-02-23 无锡泰禾宏科技有限公司 基于ar与大数据分析的虚拟场景自适应构建系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8681179B2 (en) * 2011-12-20 2014-03-25 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9652887B2 (en) * 2014-01-22 2017-05-16 Hankookin, Inc. Object oriented image processing and rendering in a multi-dimensional space
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9869863B2 (en) * 2015-10-05 2018-01-16 Unity IPR ApS Systems and methods for processing a 2D video
CA2916494A1 (en) * 2015-12-30 2017-06-30 Steve Mann Recompressive sensing, resparsified sampling, and lightspacetimelapse: means, apparatus, and methods for spatiotemporal and spatiotonal timelapse and infinitely long media or multimedia recordings in finite memory
WO2017120271A1 (en) * 2016-01-04 2017-07-13 Meta Company Apparatuses, methods and systems for application of forces within a 3d virtual environment
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US9824500B2 (en) * 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
CN106097435A (zh) * 2016-06-07 2016-11-09 北京圣威特科技有限公司 一种增强现实拍摄系统及方法
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN106355153B (zh) * 2016-08-31 2019-10-18 上海星视度科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法
US10346797B2 (en) * 2016-09-26 2019-07-09 Cybernet Systems, Inc. Path and load localization and operations supporting automated warehousing using robotic forklifts or other material handling vehicles
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
JP2018091656A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
CN107168532B (zh) * 2017-05-05 2020-09-11 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质
US11263824B2 (en) * 2018-11-14 2022-03-01 Unity IPR ApS Method and system to generate authoring conditions for digital content in a mixed reality environment

Also Published As

Publication number Publication date
US20200074743A1 (en) 2020-03-05
WO2019105190A1 (zh) 2019-06-06
CN109840947A (zh) 2019-06-04
US11270511B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
CN109840947B (zh) 增强现实场景的实现方法、装置、设备及存储介质
US11669152B2 (en) Massive simultaneous remote digital presence world
US20170206419A1 (en) Visualization of physical characteristics in augmented reality
US9690376B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US20210382547A1 (en) Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users
JP2022532825A (ja) ヘッドマウントディスプレイに対する動的な障害物衝突警告を生成するシステムおよび方法
JP7073481B2 (ja) 画像表示システム
US11620785B2 (en) Systems and methods for augmented reality
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
US11423602B2 (en) Fast 3D reconstruction with depth information
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
JP2022537817A (ja) 動的オクルージョンのための高速の手のメッシュ化
JP2023532285A (ja) アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
JP2020071718A (ja) 情報処理装置、情報処理方法及びプログラム
CN111279410A (zh) 显示设备和显示设备控制方法
US20220276696A1 (en) Asynchronous multi-engine virtual reality system with reduced vestibular-ocular conflict
WO2022129646A1 (en) Virtual reality environment
JP2020071394A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant