CN105183142B - 一种利用空间位置装订的数字信息复现方法 - Google Patents

Abstract

本发明是一种利用空间位置装订的数字信息复现方法，利用空间位置装订的数字信息复现系统实现方法的步骤如下：步骤S1：构建出含有位置钉坐标信息和位置钉虚拟图像信息的位置钉(Picture Nailed Positioning，PNP)数据库；步骤S2：通过获取用户终端位置、姿态及视场信息实现目标位置钉坐标锁定；步骤S3：实现目标位置钉坐标到目标位置钉虚拟图像的一对一映射；步骤S4：依据用户终端相对于目标位置钉的五维坐标变换参数，对待推送的目标位置钉虚拟图像信息进行图像处理，并将处理后的图像信息实时传送给用户终端，用于实现不同视角下的虚拟图像复现，终端图像处理单元对虚拟图像与现实场景进行无缝融合，获取并显示复现的数字图像信息。

Description

一种利用空间位置装订的数字信息复现方法

技术领域

本发明属于虚拟现实技术领域，涉及一种利用空间位置装订的数字信息复现系统。

背景技术

虚拟现实技术(Virtual Reality，VR)是20世纪末逐渐兴起的一门综合性信息技术。该技术融合了数字图像处理、计算机图形学、人工智能、多媒体、传感器、网络以及并行处理等多个信息技术分支的最新发展成果。虚拟现实技术的发展与其他技术的成熟密切相关，如三维跟踪定位、图像显示、语音交互以及触觉反馈等。

虚拟现实技术是在三维空间中与人交互的技术，为了能及时准确地获取人的动作信息，检测有关对象的相对位置，并将信息报告给VR系统，需要使用各类高精度、高可靠性的跟踪定位设备。常用的识别和跟踪定位技术主要有电磁波、超声波、机械、光学、惯性和图像提取等几种方法。

虚拟融合技术是将计算机生成的虚拟物体和真实环境中影像“对齐”的过程。目前的手段主要有3类：①基于传感器硬件，采用红外线、RFID、超宽带、电磁、超声波、惯导等感知设备，确定传感器和信号源之间的相对距离，其优点在于实时性高；②基于机器视觉，对摄入的图像数据进行识别，检测出目标物体，获取摄像机相对于目标物体的姿态，并根据摄像机内部参数，计算投影模型，最后渲染虚拟物体；③基于无线网络，即利用通信网络、Wi-Fi、广播网络等进行监测和定位。

发明内容

(一)要解决的技术问题

基于上述技术，本发明提出利用空间位置装订的数字信息复现方法，该方法基于高精度定位坐标与虚拟信息绑定技术实现空间的多重复用，结合终端定位实现对目标的识别与跟踪，通过头戴式可视设备(Head Mount Display，HMD)、手机、摄像机等作为终端显示装置，实现虚拟场景与现实场景的融合，为用户提供无所不在的可定制的数字信息服务。

(二)技术方案

本发明提供一种利用空间位置装订的数字信息复现方法，利用含有PNP数据库、定位定向定姿模块、数字信息获取模块、后台图像处理模块、终端图像处理与显示模块的空间位置装订的数字信息复现系统，在用户终端安装定位定向定姿模块、终端图像处理与显示模块；实现该方法包括步骤如下：

步骤S1：利用定位坐标信息将某一空间区域锁定，同时将需要推送的虚拟信息与该坐标绑定，构建出PNP数据库；所述PNP数据库的信息内容按属性分为位置钉坐标信息和位置钉虚拟图像信息；

步骤S2：当系统收到服务请求后，对用户终端进行定位，用以获取用户终端三维位置信息，以及获取用终端方位、姿态和视轴信息，通过计算用户终端视场空间区域并结合调用PNP数据库中的位置钉坐标信息，获得目标位置钉坐标；

步骤S3：通过调用PNP数据库中的位置钉虚拟图像信息，并结合用户终端发出的服务请求类型及用户个人信息，对位置钉虚拟图像信息进行匹配运算，获取匹配度最高的位置钉虚拟图像信息并将其定义为目标位置钉虚拟图像，从而实现目标位置钉坐标到目标位置钉虚拟图像的一对一映射；

步骤S4：依据用户终端相对于目标位置钉的五维坐标变换参数，对待推送的目标位置钉虚拟图像信息进行图像处理，并实时传送处理后的图像信息，用于实现不同视角下的虚拟图像复现，终端图像处理与显示模块对虚拟图像与现实场景进行无缝融合，获取并显示复现的图像数字信息。

(三)有益效果

本发明的优点在于：提出PNP数据库架构实现空间栅格网络划分和空间多重复用；仅依靠目标体和用户终端位置坐标和方位信息实现目标锁定，改变传统虚拟现实系统对目标识别、跟踪装置的依赖；传统配准手段需要通过相对距离测量、图像处理等手段获取投影模型，本发明利用目标体和用户终端位置坐标、方位和姿态信息直接计算五维坐标变换参数，减少数据处理复杂度，提供多维度坐标变换结果。

附图说明

图1是本发明利用空间位置装订的数字信息复现方法流程图；

图2是本发明中空间多重复用(一对多对应)示意图；

图3是本发明中四点钉位法示意图；

图4是本发明中单轴钉位法(360度环形跟踪显示)示意图；

图5是本发明利用空间位置装订的数字信息复现系统及信息流关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

下面将结合附图1对本发明做进一步说明。

图1示出实现本发明利用空间位置装订的数字信息复现方法，本发明提供了利用空间位置装订的数字信息复现方法，该方法首先建立位置钉PNP数据库，并实时采集用户终端位置及姿态信息；结合目标位置钉坐标计算五维坐标变换参数，通过图像处理，从而实现不同视角下的空间特定区域的虚拟信息复现。

如图1所示本发明是利用空间位置装订的图像信息复现方法，利用含有PNP数据库、定位定向定姿模块、数字信息获取模块、后台图像处理模块、终端图像处理与显示模块的空间位置锁定的数字信息复现系统，在用户终端安装定位定向定姿模块、终端图像处理与显示模块；实现该方法的详细步骤包括：

步骤一、PNP数据库的建立：首先提出位置钉的概念，就是利用高精度位置信息将某一空间区域锁定，同时将需要推送的虚拟信息与之绑定，并根据位置钉坐标对空间服务区域进行栅格网络划分。通过后台处理使这个位置上的信息能够在适当的时机向多用户进行实时推送显示。由于人眼对外界事物的感知是由远及近，由模糊到清晰，同时随着头部的姿态及视角的变化，图像在人眼中的成像都会产生相应的变化。这些人体固定生理机能的实现依赖于后台强大的处理能力，使用户能够更好的融入一种虚实场景融合的状态。当空间中的不同位置与相应图片或视频等数字信息绑定之后，位置本身将不单作为世界坐标系下的一个点存在，而是被赋予信息和与用户交互的能力。

PNP数据库的信息内容按属性分为位置钉坐标信息和位置钉虚拟图像信息。如图2所示位置钉坐标信息(由空间点A、B、C、D点的坐标定义)到虚拟图像信息是一对多对应关系，一个位置钉坐标对应装订多个位置钉虚拟图像信息，从而实现现实空间的多重复用(一对多对应)。所述位置钉坐标能够覆盖的空间区域定义为服务区域。现实空间复用技术是对位置钉理念的扩展，形象地说即位置钉钉住的不是单一的数字信息，针对同一服务区域的不同用户，可同时推送不同的虚拟信息。不同用户因个人服务定制不同，在同样区域范围内能够获取不同的虚拟图像信息，这种方式的实现依赖于强大的个人信息分布式提取和配比功能。

位置钉坐标信息的确定利用载波差分定位技术，事先对空间显示区域边界进行位置标定，将标定得到的坐标值存储在PNP数据库中。按照不同使用场景对位置精度的要求，位置钉坐标按精度分等级建立。针对不同的应用场景，位置钉坐标信息的建立采用不同的位置钉摆位方法。针对二维平面信息的显示，位置钉摆位方法分为四点法和单轴法。四点法如图3所示，通过空间点A、B、C、D确定显示平面；单轴法如图4所示，通过空间点A和矢量r确定显示平面的中轴，可实现360度环形跟踪显示。

PNP数据库的存储分为互联网服务器在线存储和存储卡离线存储两种方式。对应的虚拟信息获取分为在线和离线两种模式，在线模式用户可以通过互联网等无线数据接入方式在线获取PNP数据，离线模式通过存储卡事先下载特定区域的PNP数据信息，离线获取PNP数据。离线模式的实现类似导航仪处于无网络状态，使用户在该路径上移动的过程中，位置钉信息在用户到达一定位置时进行推送显示。

步骤二、当系统收到服务请求后，对用户终端进行定位，用以获取用户终端三维位置信息，以及获取用户终端方位、姿态和视轴信息，通过计算用户终端视场空间区域并结合调用PNP数据库中的位置钉坐标信息，获得目标位置钉坐标；

目标位置钉区域锁定：目标位置钉区域锁定依赖于PNP数据库中的位置钉坐标、用户终端的位置、方位、姿态和视场信息。用户通过HMD、手机、摄像机、智能显示屏等介质与虚拟信息进行交互。用户终端位置信息的获取采用实时动态差分技术；通过在用户终端安装磁罗盘、陀螺仪等设备实现用户终端方位和姿态测量。例如：针对HMD型用户终端，人眼正常的视场范围约为水平±100°，垂直±60°。针对HMD型用户终端，通过安装红外等视线追踪设备以实现人眼视线的追踪，结合用户终端位置和视线追踪结果，确定视场范围。

调用PNP数据库中的位置钉坐标信息并与用户终端三维位置信息比较，用以判断用户是否进入服务区域，并确定用户终端所在的位置钉空间栅格区域；若用户进入服务区域，开始对用户终端进行定向定姿，用以获取用户终端方位、姿态及视轴信息；若用户未进入服务区域，继续对用户终端进行定位。

结合用户位置、视场范围及位置钉坐标信息，判断视场内是否有位置钉信息，并最终锁定目标位置钉。所述获得目标位置钉坐标的步骤是：调用PNP数据库中的位置钉坐标信息，通过计算用户终端视场空间区域并结合位置钉坐标信息，用以判断视场内是否有位置钉坐标，若没有位置钉坐标，则继续对用户终端进行定向定姿；若有位置钉坐标，则对落入视场的位置钉坐标进行锁定，并将此位置钉坐标定义为目标位置钉坐标。

步骤三、通过调用PNP数据库中的位置钉虚拟图像信息，并结合用户终端发出的服务请求类型及用户个人信息，对位置钉虚拟图像信息进行匹配运算，获取匹配度最高的位置钉虚拟图像信息并将其定义为目标位置钉虚拟图像，从而实现目标位置钉坐标到目标位置钉虚拟图像的一对一映射；

信息匹配：PNP数据库中的位置钉坐标信息与位置钉虚拟图像信息是一对多对应关系，通过信息匹配技术，实现虚拟图像信息的个性化服务。信息匹配技术：PNP数据库的虚拟图像信息按照属性进行分类管理(比如：运动、美食、购物、医疗等)。用户注册时需回答设置的问题(比如年龄、性别、地区、成长及教育背景、兴趣、信息服务商使用喜好等)。数据接入时获取目标位置钉信息和用户个人信息，再根据用户个人信息与虚拟图像信息进行匹配运算，向用户推送匹配度最高的虚拟图像信息，从而实现位置钉坐标到位置钉虚拟图像信息的一对一映射。这样以来，不同用户在同一时刻、同一目标位置看到的图像会是不同的，从而实现了空间的多重复用。

步骤四、依据用户终端相对于目标位置钉的五维坐标变换参数，对待推送的目标位置钉虚拟图像信息进行图像处理，并实时传送处理后的图像信息，用于实现不同视角下的虚拟图像复现，终端图像处理与显示模块对虚拟图像与现实场景进行无缝融合，获取并显示复现的图像数字信息。

后台图像处理：所述后台图像处理模块实时接收用户终端视场范围内的目标位置钉坐标信息、目标位置钉虚拟图像信息和用户终端相对于目标位置钉的五维坐标变换参数，并依据用户终端的五维坐标变换参数、运动轨迹和人眼生理机能对位置钉绑定虚拟图像信息进行图像处理，向用户实时推送虚拟图像信息。

利用目标位置钉位置坐标和用户终端位置坐标，计算用户终端与图像显示区域相对位置关系，实现显示区域角点世界坐标系坐标往计算机图像坐标系的坐标转换。

利用可视范围内目标位置钉坐标及目标位置钉虚拟图像信息与用户视线实时计算五维坐标变换参数并传输给后台图像处理模块，后台依据用户运动轨迹和人眼生理机能对位置钉绑定虚拟图像信息进行图像处理后向用户实时推送；由于人眼对外界事物的感知是由远及近，由模糊到清晰，同时人头部的转角、俯仰角、视角的变化，图像在人眼中的成像都会产生相应的变化，后台图像处理模块能够根据定位和姿态信息动态调整所要推送的数字图像信息，使用户能够得到更好的虚实融合体验。

步骤五、终端图像处理与显示：用户终端将后台图像处理模块实时传输的虚拟图像信息进行接收、存储，利用终端图像处理与显示模块对用户所观察到的现实场景与虚拟信息进行无缝融合，获取并显示复现的图像数字信息。终端图像处理与显示模块包括智能手机、摄像机、HMD等，通过通信网络向网站运营商服务器发送信息服务请求(包括用户个人精确位置信息等)。用户终端具有很高的自主定位能力，并能够与网络运营商和主服务器之间实时通信。

本发明最大限度地实现了现实场景与虚拟信息的无缝融合，通过建立PNP数据库，将位置钉坐标信息和位置钉虚拟图像信息结合在一起，使位置本身不单作为世界坐标系下的一个点来存在，而是被赋予信息和与用户交互的能力。利用移动体高精度定位定向定姿模块实现了终端姿态和视轴的实时追踪，并结合终端姿态和视轴追踪结果，获取终端的视点与视场信息，为目标位置钉坐标信息的锁定和获取创造了条件。依靠强大的后台图像处理根据定位和姿态信息动态调整所要推送的数字图像信息，能够实现虚拟信息的实时推送。最后利用终端图像处理与显示模块对所获取虚拟信息通过图像处理进行实时存储显示，实现了不同视角下的空间特定区域的虚拟图像复现。

如图5示出本发明利用空间位置装订的数字信息复现系统及信息流关系示意图，该系统包括PNP数据库1、定位定向定姿模块2、数字信息获取模块3、后台图像处理模块4、终端图像处理与显示模块5，其中：

Infor1：用户终端位置、方位、姿态和视轴方向信息；

Infor2：位置钉坐标及位置钉虚拟图像信息；

Infor3：服务请求及用户个人信息；

Infor4：经锁定的目标位置钉坐标及绑定的目标位置钉虚拟图像信息；

Infor5：经变换后不同视角下的目标位置钉虚拟图像信息。

PNP数据库1，用于输出事先存储的位置钉坐标信息及其对应装订的多个位置钉虚拟图像信息Infor2；

定位定向定姿模块2，用于为提供用户终端位置、方位、姿态、视轴方向信息Infor1追踪；结合用户终端方位、姿态和视轴追踪结果，获取用户终端的视点与视场信息；

数字信息获取模块3分别与PNP数据库1、定位定向定姿模块2连接，接收用户终端位置、方位、姿态、视轴方向信息Infor1及位置钉坐标信息对应装订多个位置钉虚拟图像信息Infor2，并结合用户服务请求及个人信息Infor3，通过信息匹配技术实现位置钉坐标信息到位置钉虚拟图像的一对一映射，获得锁定的目标位置钉坐标及绑定的目标位置钉虚拟图像Infor4。

后台图像处理模块4与定位定向定姿模块2和数字信息获取模块3连接，接收锁定的目标位置钉坐标及绑定的目标位置钉虚拟图像Infor4，结合匹配的用户终端位置、视轴方向信息Infor1，计算五维坐标变换参数，对图像进行变换处理，得到不同视角下的目标位置钉虚拟图像Infor5。

终端图像处理与显示模块5与数字信息获取模块3和后台图像处理模块4连接，向数字信息获取模块3发出服务请求及用户个人信息Infor3，并对不同视角下的虚拟图像Infor5与现实场景融合，获取并显示复现的图像数字信息。

在用户终端(用户终端含定位定向定姿模块2和终端图像处理与显示模块5)安装定位定向定姿模块2，用于实现对用户终端位置、方位、姿态的追踪，获取用户终端的视点与视场信息。

所述定位定向定姿模块2包括定位单元、定向、定姿单元。

其中，HM型用户终端的定位定向定姿模块2还包含视线追踪单元。

所述定向单元包括磁罗盘，通过在用户头部安装的磁罗盘，获得用户终端方位信息；

所述定姿单元包括陀螺仪，通过在用户头部安装的陀螺仪，获得用户终端姿态信息；

视线追踪单元是红外设备，获得用户的视线方向信息。

后台图像处理模块4实时接收锁定的目标位置钉坐标信息、目标位置钉虚拟图像信息和用户终端相对于目标位置钉的五维坐标变换参数，并依据五维坐标变换参数、运动轨迹和人眼生理机能对目标位置钉虚拟图像信息进行图像处理，向用户终端实时推送虚拟图像信息。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (9)

1.一种利用空间位置装订的数字信息复现方法，其特征在于，利用含有PNP数据库、定位定向定姿模块、数字信息获取模块、后台图像处理模块、终端图像处理与显示模块的空间位置锁定的数字信息复现系统，在用户终端安装定位定向定姿模块、终端图像处理与显示模块；实现该方法包括步骤如下：

步骤S1：利用定位坐标信息将某一空间区域锁定，同时将需要推送的虚拟信息与该坐标绑定，构建出PNP数据库；所述PNP数据库的信息内容按属性分为位置钉坐标信息和位置钉虚拟图像信息，所述位置钉坐标信息与位置钉虚拟图像信息间成一对多对应关系，一个位置钉坐标对应装订多个位置钉虚拟图像信息，由此实现空间的多重复用；

步骤S2：当系统收到服务请求后，对用户终端进行定位，用以获取用户终端三维位置信息，以及获取用户终端方位、姿态和视轴信息，通过计算用户终端视场空间区域并结合调用PNP数据库中的位置钉坐标信息，获得目标位置钉坐标；

步骤S3：通过调用PNP数据库中的位置钉虚拟图像信息，并结合用户终端发出的服务请求类型及用户个人信息，对位置钉虚拟图像信息进行匹配运算，获取匹配度最高的位置钉虚拟图像信息并将其定义为目标位置钉虚拟图像，从而实现目标位置钉坐标到目标位置钉虚拟图像的一对一映射；

步骤S4：依据用户终端相对于目标位置钉的五维坐标变换参数，对待推送的目标位置钉虚拟图像信息进行图像处理，并实时传送处理后的图像信息，用于实现不同视角下的虚拟图像复现，终端图像处理与显示模块对虚拟图像与现实场景进行无缝融合，获取并显示复现的图像数字信息。

2.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述PNP数据库的存储分为互联网服务器在线存储和存储卡离线存储两种方式。

3.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述位置钉坐标信息的建立采用位置钉摆位技术包括为四点钉位法和单轴钉位法。

4.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述位置钉坐标能够覆盖的空间区域定义为服务区域。

5.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述获取用户终端方位、姿态及视轴信息的步骤是：调用PNP数据库中的位置钉坐标信息并与用户终端三维位置信息比较，用以判断用户是否进入服务区域；若进入服务区域，开始对用户终端进行定向定姿，用以获取用户终端方位、姿态及视轴信息；若未进入服务区域，继续对用户终端进行定位。

6.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述获得目标位置钉坐标的步骤是：调用PNP数据库中的位置钉坐标信息，通过计算用户终端视场空间区域并结合位置钉坐标信息，用以判断视场内是否有位置钉坐标，若没有位置钉坐标，则继续对用户终端进行定向定姿；若有位置钉坐标，则对落入视场的位置钉坐标进行锁定，并将此位置钉坐标定义为目标位置钉坐标。

7.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，所述定位定向定姿模块，用于实现对用户终端位置、方位、姿态和视轴追踪；结合用户终端方位、姿态和视轴追踪结果，获取用户终端的视点与视场方向信息。

8.如权利要求7所述利用空间位置装订的数字信息复现方法，其特征在于，所述定位定向定姿模块包括定位单元、定向、定姿单元和视轴追踪单元。

9.如权利要求1所述利用空间位置装订的数字信息复现方法，其特征在于，后台图像处理模块实时接收用户终端视场范围内的目标位置钉坐标信息、目标位置钉虚拟图像信息和用户终端相对于目标位置钉的五维坐标变换参数，并依据用户终端的五维坐标变换参数、运动轨迹和人眼生理机能对位置钉绑定虚拟图像信息进行图像处理，向用户终端实时推送虚拟图像信息。