CN103279187A - 一种用于构建多场景虚拟全景空间的方法及智能终端 - Google Patents

一种用于构建多场景虚拟全景空间的方法及智能终端 Download PDF

Info

Publication number
CN103279187A
CN103279187A CN2013101675279A CN201310167527A CN103279187A CN 103279187 A CN103279187 A CN 103279187A CN 2013101675279 A CN2013101675279 A CN 2013101675279A CN 201310167527 A CN201310167527 A CN 201310167527A CN 103279187 A CN103279187 A CN 103279187A
Authority
CN
China
Prior art keywords
intelligent terminal
space
panoramic
virtual panoramic
many scenes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101675279A
Other languages
English (en)
Other versions
CN103279187B (zh
Inventor
杜军朝
刘惠
沈坚
贺文
张振鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201310167527.9A priority Critical patent/CN103279187B/zh
Publication of CN103279187A publication Critical patent/CN103279187A/zh
Application granted granted Critical
Publication of CN103279187B publication Critical patent/CN103279187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于智能终端构建多场景虚拟全景空间的方法,包括:利用加速度传感器获得智能终端的加速度数据;利用方向传感器获得智能终端的方向数据;状态监测单元根据所述加速度数和方向数据来确定智能终端的操作状态,所述操作状态包括实景图像获取状态和导航状态;如果所述智能终端的操作状态处于实景图像获取状态,则图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间;以及如果所述智能终端的操作状态处于导航状态,则导航单元利用加速度数据和方向数据计算智能终端的移动距离以及移动方向,并且在初始多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。

Description

一种用于构建多场景虚拟全景空间的方法及智能终端
技术领域
本发明涉及计算机图像领域,并且更具体地,涉及一种用于构建多场景虚拟全景空间的方法及智能终端。
背景技术
全景图像生成技术的基本思想是通过移动终端(例如,手机)对场景信息进行照片图像或视频图像采样,通过在固定的视点使移动终端在水平面内旋转一周来获取场景,从而得到一组具有重叠区域的连续的环视图像序列。将多个图像由移动终端的摄像机坐标投影到空间坐标,利用图像配准方法寻找上述图像中两两相邻的图像间的重叠区域。然后,将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合,从而得到全景图像。由此可知,全景图生成过程的主要步骤为:图像的采集、图像的预处理、投影变换、图像配准以及图像融合。
美国VPL公司的创始人Jaron Lanier在1989年首先提出虚拟现实概念。最初,虚拟现实指用头盔显示器和传感手套等一系列新型交互设备构造出的一种计算机软硬件环境。人们通过这些设施以自然的方式向计算机输送各种命令和信息,并得到计算机对用户的视觉、听觉及触觉等多种感观的反馈。现在,虚拟现实的内涵还包括一切与之有关的具有自然模拟逼真体验的技术与方法。虚拟现实希望创建酷似客观环境又超越客观时空、能沉浸其中又能驾驭其上的和谐人机环境,也就是一种由多维信息所构成的可操纵的空间。虚拟现实是一种人机交互工具,这种工具的创造或设计是基于人与周围真实世界的交互,它最重要的目标是真实的体验和方便自然的人机交互,能够达到或部分达到这一目标的系统称为虚拟现实系统(VR系统)。
发明内容
本发明的目的在于,提供一种把智能终端采集的全景图像信息与位置信息结合起来,将传统的单独图像显示模式进行了改进,赋予其相对位置相关的信息,创建虚拟全景空间以及进行虚拟空间展示,以解决现有的图像展示技术只能单一显示图像的局限性,形象的为他人展示室内外场景,提高用户的视觉体验。
本发明通过以下两种技术方案解决上述虚拟全景空间创建问题:
根据第一方面,提供一种基于智能终端构建多场景虚拟全景空间的方法,所述智能终端包括:加速度传感器、方向传感器、状态监测单元、图像获取单元、虚拟全景生成单元、存储单元和导航单元,其特征在于,包括以下步骤:
利用加速度传感器获得所述智能终端的加速度数据;
利用方向传感器获得所述智能终端的方向数据;
利用状态监测单元根据所述加速度数据和方向数据来确定所述智能终端的操作状态,所述操作状态包括实景图像获取状态和导航状态;
从存储单元获取初始的多场景虚拟全景空间;
当所述智能终端的操作状态为实景图像获取状态时,图像获取单元基于加速度数据和方向数据获得多个实景图像,所述多个实景图像构成全景图像,然后虚拟全景生成单元利用所述多个实景图像生成多场景虚拟全景空间,并且将所生成的多场景虚拟全景空间用作最新的多场景虚拟全景空间;以及
当所述智能终端的操作状态为导航状态时,导航单元利用加速度数据和方向数据计算所述智能终端的移动距离以及移动方向,并且在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。
优选地,其中预先在智能终端的存储器单元中存储所述初始多场景虚拟全景空间;或者利用图像获取单元获取初始全景图像,然后虚拟全景生成单元利用所述初始全景图像生成初始多场景虚拟全景空间,并将所述初始多场景虚拟全景空间存储在存储器单元中。
优选地,其中,所述方向数据与获取多个实景图像时的角度相关,所生成的全景图像的视角与所述方向数据所指示的方向保持一致,加速度数据用于指示智能终端在拍摄多个实景图像时的倾斜度。
优选地,其中在确定具有初始多场景虚拟全景空间之后且智能终端开始移动之前,设置智能终端的倾斜度,使得所述智能终端水平向上,方向指向智能终端移动的前进方向。
优选地,其中在智能终端开始移动后,所述导航单元采集所述智能终端移动时的加速度数据和方向数据,当检测到加速度数据与上述智能终端获取多个实景图像时的加速度数据的相似度超过预定门限时,则导航单元暂停工作,建立多个实景图像热点并且图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。
优选地,所述智能终端将初始的多场景虚拟全景空间或所生成的最新的多场景虚拟全景空间作为图像数据发送给服务器,服务器根据所述图像数据和动态指示信息来生成更新的导航信息,并将所述更新的导航发送给所述智能终端,所述智能终端根据所述更新的导航信息在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中指示移动距离以及移动方向。
优选地,所述智能终端将初始的多场景虚拟全景空间或所生成的最新的多场景虚拟全景空间作为图像数据发送给另一智能终端,另一智能终端根据所述图像数据和动态指示信息来生成更新的导航信息,并将所述更新的导航发送给所述智能终端,所述智能终端根据所述更新的导航信息在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中指示移动距离以及移动方向。
优选地,所述动态指示信息包括:距离信息、标识物信息、道路信息和/或方向信息。
根据本发明的第二方面,提供一种用于构建多场景虚拟全景空间的智能终端,其特征在于,所述智能终端包括:
加速度传感器,获得智能终端的加速度数据;
方向传感器,获得智能终端的方向数据;
状态监测单元,根据所述加速度数据和方向数据来确定智能终端的操作状态,所述操作状态包括实景图像获取状态和导航状态;
图像获取单元,当所述智能终端的操作状态处于实景图像获取状态时,利用加速度数据和方向数据获得多个实景图像,所述多个实景图像构成全景图像;
虚拟全景生成单元,利用所述多个实景图像生成多场景虚拟全景空间,并且将所生成的多场景虚拟全景空间用作最新的多场景虚拟全景空间;以及
导航单元,当所述智能终端的操作状态处于导航状态时,利用加速度数据和方向数据计算智能终端的移动距离以及移动方向,并且在初始的多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。
优选地,所述智能终端进一步包括存储器单元,用于预先存储所述初始多场景虚拟全景空间;或利用图像获取单元获取初始全景图像,然后虚拟全景生成单元利用所述初始全景图像生成初始多场景虚拟全景空间,并将所述初始多场景虚拟全景空间存储在存储器单元中。
优选地,进一步地,将所述方向数据与获取全景图像时的角度相关,所生成的全景图像的视角与所述方向数据所指示的方向保持一致,加速度数据用于指示智能终端在拍摄多个实景图像时的倾斜度。
优选地,进一步包括在确定具有初始多场景虚拟全景空间之后且智能终端开始移动之前,设置智能终端的倾斜度,使得所述智能终端水平向上,方向指向智能终端移动的前进方向。
优选地,其中在智能终端开始移动后,所述导航单元采集所述智能终端移动时的加速度数据和方向数据,当检测到加速度数据与上述智能终端获取多个实景图像时的加速度数据的相似度超过预定门限时,则导航单元暂停工作,建立多个实景图像热点并且图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。
优选地,所述智能终端将初始的多场景虚拟全景空间或所生成的最新的多场景虚拟全景空间作为图像数据发送给服务器,服务器根据所述图像数据和动态指示信息来生成更新的导航信息,并将所述更新的导航发送给所述智能终端,所述智能终端根据所述更新的导航信息在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中指示移动距离以及移动方向。
优选地,所述智能终端将初始的多场景虚拟全景空间或所生成的最新的多场景虚拟全景空间作为图像数据发送给另一智能终端,另一智能终端根据所述图像数据和动态指示信息来生成更新的导航信息,并将所述更新的导航发送给所述智能终端,所述智能终端根据所述更新的导航信息在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中指示移动距离以及移动方向。
优选地,所述动态指示信息包括:距离信息、标识物信息、道路信息和/或方向信息。
优选地,距离信息可以是行进的距离,例如步数、米等。优选地,标识物信息可以是建筑物、自然景观等。
优选地,道路信息可以是道路名称、道路特点等。
优选地,方向信息可以是左、右、东、南、西、北等。
本发明技术方案与传统个人计算机构建全景空间的方法有以下一些有益效果:
(1)本发明技术方案在手机上实现构建全景虚拟空间方法,具有操作简单、携带方便等优势,用户可以随时随地将所在的场所构建成一个全景空间。
(2)本发明技术中自动创建虚拟全景空间可以使全景图之间的相对位置通过手机传感器自动获取,无需人工设置。用户可以一边走一边拍摄,在采集完所有的全景图同时,也完成了对全景空间的创建。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施方式的智能终端的结构示意图;
图2是根据本发明实施方式的获取图像时加速度传感器反馈的终端姿态的界面;
图3是根据本发明实施方式的虚拟空间编辑器VPS的操作界面;
图4是根据本发明实施方式的最终生成的虚拟空间效果图;
图5是根据本发明实施方式的终端设备空间中3轴加速度的分布图;以及
图6是根据本发明实施方式的用户移动时加速度传感器数据的分布折线图。
具体实施方式
以下将描述示例性的实施方式。出于简明目的,并不是本说明书中描述实际实现方式中的所有特性。应当理解的是,在任何这种实际的实施方式的开发中,可进行大量的实施方式专用决策来实现开发者的特定目的,例如根据系统相关和业务相关的限制,所述特定目的从一个实现方式到另一实现方式是变化的。此外,应当理解的是,这种开发工作可能是复杂并耗时的,但是依据此处的公开内容,这对本领域普通技术人员而言则属于常规任务。
现在将参考附图来描述所公开的主题。仅仅是为了解释目的,在附图中概要地描述的各种结构、系统和设备,因而不应将本发明限制到本领域技术人员所熟知的细节。然而,包括所附的附图,以描述和解释所公开的主题的示例性实例。此处所使用的单词和短语应当被理解和解释为具有与相关领域技术人员所理解的单词和短语相同的含义。此处术语和短语的一致性使用暗示不会使用术语或短语的特定定义,即不同于所属领域技术人员所理解的常见和惯用的定义。对于希望具有特定含义的术语或短语的程度,即不同于本领域技术人员所理解的含义,将按定义的方式在说明书中明确地阐述这种特定定义,其中定义的方式直接地或间接地为该术语或短语提供特定定义。
图1示出了根据本发明实施方式的智能终端的结构示意图。如图1所示,优选地,智能终端包括:加速度传感器、方向传感器、状态监测单元、图像获取单元、虚拟全景生成单元和导航单元。优选地,利用加速度传感器获得智能终端的加速度数据,例如,加速度传感器是一种能够测量加速力的电子设备。加速力就是当物体在加速过程中作用在物体上的力,就好比地球引力,也就是重力。加速力可以是个常量,比如g(重力加速度),也可以是变量。加速度计有两种:一种是角加速度计,是由陀螺仪(角速度传感器)的改进的。另一种就是线加速度计。优选地,利用方向传感器获得智能终端的方向数据。所述方向数据例如是用户移动智能终端的行进方向。优选地,状态监测单元根据所述加速度数据和方向数据来确定智能终端的操作状态。例如,根据用户手持智能终端的状态以及用户移动智能终端的行进方向,来确定智能终端的操作状态。优选地,所述操作状态包括实景图像获取状态和导航状态。当处于实景图像获取状态时,用户可以利用智能终端来获取全景图像,进而生成多场景虚拟全景空间。当处于导航状态时,可以利用智能终端在多场景虚拟全景空间中进行导航。
根据本发明的优选实施方式,具体地,如果所述智能终端的操作状态处于实景图像获取状态,则图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。如果所述智能终端的操作状态处于导航状态,则导航单元利用加速度数据和方向数据计算智能终端的移动距离以及移动方向,并且在初始多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。
根据本发明的优选实施方式,智能终端中还可以包括存储器单元(图1中未示出)。优选地,将所述初始多场景虚拟全景空间预先存储在智能终端的存储器单元中。可替换地,当没有所述初始多场景虚拟全景空间预先存储在智能终端的存储器单元中时,将利用图像获取单元获取初始全景图像,然后虚拟全景生成单元利用所述全景图像生成初始多场景虚拟全景空间,并将所述初始多场景虚拟全景空间存储在存储器单元中。
优选地,所述方向数据与获取全景图像时的角度相关联,所生成的全景图像的视角与所述方向数据所指示的方向保持一致,加速度数据用于指示获取智能设备在全景图像时的倾斜度。根据本发明的优选实施方式,确定具有初始多场景虚拟全景空间之后且智能终端开始移动之前,设置智能终端的倾斜度,使得所述智能终端水平向上,方向指向移动的前进方向。
根据本发明的优选实施方式,其中在智能终端开始移动后,所述导航单元采集智能终端移动时的加速度数据和方向数据,当检测到加速度数据与上述智能终端获取全景图像时的加速度数据的相似度超过预定门限时,则导航单元暂停工作,建立全景图像热点并且图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。
根据本发明的优选实施方式,用户可以手动地利用图1中所示的智能终端来构建多场景虚拟全景空间。优选地,用户在已经获得所有用来构造虚拟全景空间图像的情况下,进入虚拟空间编辑器编辑虚拟全景空间。其中,上述构造虚拟全景空间的图像是指上述用户已经通过全景图生成模块获取所需的图像资料,或者其他相同格式的全景图像。优选地,上述用户在进入虚拟空间编辑器后,选取一张全景图像作为初始图像,进入导航编辑模式并选择全景图像传感器展示模式。优选地,上述全景图像传感器展示模式根据全景图像生成时方向传感器获取的方向信息,上述用户在观看全景图像时,观看到的图像始终与上述全景图像生成时的用户视角保持一致。
根据本发明的优选实施方式,上述用户通过旋转终端设备,根据上述全景图像中的出口确定移动方向以后,将终端设备置于导航姿态下,并朝向确定的移动方向,沿着上述确定的方向开始移动构建虚拟全景空间。其中,上述全景图像中的出口指图像中建筑的门、走廊、过道等可供人通过的方向。优选地,上述用户在移动一段相应的距离以后,重新选择此时对应的全景图像。
根据本发明的优选实施方式,可以基于图1中所示的智能终端展示多场景虚拟全景空间。优选地,打开虚拟全景空间展示模块,选择传感器展示模式或者触控展示模式,打开虚拟全景文件。其中,上述用户在观看虚拟全景文件时,可以通过左右滑动来展示360°的全景图,也可以将终端设备置于拍摄姿态,通过旋转终端设备360°来展示。优选地,当在上述全景图像旋转过程中出现指引箭头时,表示在此时的方向上,有下一个场景图像可以展示,上述用户可以通过点击上述箭头来展示下一幅全景图像。
优选地,虚拟全景生成单元,用于生成360°全景图像。本发明实施例的终端设备附带有加速度传感器单元和方向传感器单元,加速度传感器单元一般用于统计用户移动的步数,方向传感器单元用于读取终端设备指示的方向以及终端的姿态。
图2是根据本发明实施方式的获取图像时加速度传感器反馈的终端姿态的界面。图2中示出了智能终端的界面,图中左边和上边的长圆柱分别是控件,并且智能终端右侧的三个圆形按钮为功能键,例如,确定键、取消键、呼叫键等。优选地,在虚拟全景生成状态中,上述智能终端按如下方式工作:
A:打开摄像头,加速度传感器控制终端设备的姿态,如图2所示,图中左边和上边的长圆柱形控件分别根据上述加速度传感器的数据控制上述终端设备保持在合适的拍摄姿态,若姿态不正确时,控件颜色会由绿色变为红色;
B:保持上述终端设备姿态基本不变并缓慢转动,在这个过程中摄像头会采集合成全景图像所需要的图像;
C:在上述转动过程中,上述方向传感器会记录每个时刻摄像头采集图像时对应的方向值,将该方向值与上述生成的全景图像相关联。
根据本发明的优选实施方式,进一步包括虚拟全景编辑单元(图1中未示出),用于创建、编辑虚拟全景空间。本发明实例中各个模块都需要用到智能终端的加速度传感器和方向传感器。上述方向传感器用来监测用户在构建虚拟全景空间时移动的方向,上述加速度传感器用来监测上述用户在构建虚拟全景空间时移动的距离,如图3所示,该模块中主要包含了导航的功能。图3是根据本发明实施方式的虚拟空间编辑器VPS的操作界面。图3示出了智能终端的示意图。优选地,屏幕左上角包括放大和缩小功能按键。屏幕右上角为方向标识,其指示北向。屏幕下部有四个功能按键:全景图、导航、删除和保存。优选地,全景图按键用于切换到全景图获取模式。优选地,导航按键用于切换到导航模式。删除按键用于删除虚拟空间全景图。保存按键用于保存虚拟空间全景图。在四个功能按键的下面是四个方向键。优选地,屏幕下方是智能终端的功能按键。
图4是根据本发明实施方式的最终生成的虚拟空间效果图。将虚拟空间呈现在智能终端的显示屏中。优选地,其中示出了道路的实景图,此处以街道示意图进行展示,实际上为街道的实景图。优选地,在虚拟空间中显示导航信息,例如前进距离和前进方向。
图5是根据本发明实施方式的终端设备空间中3轴加速度的分布图。如图5所示,在立体空间中,三维坐标系有三个轴。上述加速度传感器在测量上述智能终端的加速度信息时,采集的是上述智能终端3轴加速度的合成加速度,利用公式 x 2 + y 2 + z 2 就可以得到。
图6是根据本发明实施方式的用户移动时加速度传感器数据的分布折线图。其中,图6可用于统计步数,纵坐标为加速度峰值并且横坐标为时间轴。图6是在终端设备姿态保持不变的情况下,当上述用户开始移动时,上述终端设备的加速度传感器采集的加速度传感器数据。可以从图中看到,当上述用户开始移动时,上述加速度传感器的3轴合成值会出现规律性的变化,根据上述这一变化,确定用户行走的步数,再与事先设定的上述用户的步长相乘,就可以得到用户本次移动的直线距离。
优选地,虚拟全景生成单元生成虚拟全景空间的步骤包括:
A:上述用户在到达初始场景以后,进入创建虚拟全景空间模式,本实例会自动打开摄像头并启动虚拟全景生成单元中拍摄全景图像的功能;
B:上述用户在上述摄像头打开后,将终端设备置于拍摄模式,根据上述图像获取单元的方法拍摄全景图像;
C:在上述全景图像拍摄完成后,虚拟全景编辑单元会在虚拟全景空间中创建一个热点,表明上述全景图像已经添加到虚拟空间中。用户将上述终端设备重新置于水平面,屏幕朝上并且终端设备始终指向上述用户的移动方向,开始路径导航;
D:上述用户开始移动后,上述终端设备的方向传感器监控移动方向,加速度传感器统计用户的移动步数,虚拟全景编辑成单元根据上述的方向传感器信息和加速度传感器信息在虚拟全景空间中添加路径;
E:上述用户到达下一个需要拍摄全景图像的地点后,重新将上述终端设备置于拍摄姿态,上述加速度传感器监测到3轴加速度符合拍摄姿态的加速度模型时,暂停路径导航,重新开启图像获取单元拍摄全景图像。
上述虚拟全景编辑单元编辑虚拟全景空间的步骤包括:
A:用户编辑虚拟全景空间时,需要已经存在所有需要添加到虚拟空间文件的所有全景图像,上述用户添加第一张全景图像到虚拟空间中;
B:添加完全景图像后,将上述终端设备重新置于水平面,屏幕朝上并且终端设备始终指向上述用户的移动方向,进入导航状态开始路径导航;
C:上述用户开始移动后,上述终端设备的方向传感器监控移动方向,加速度传感器统计用户的移动步数,虚拟全景编辑单元根据上述的方向传感器信息和加速度传感器信息在虚拟全景空间中添加路径;
D:上述用户到达预定的地点后,暂停路径导航,重新导入新的全景图像,重复上述步骤,最终生成虚拟全景空间文件。
优选地,进一步包括虚拟全景展示单元(图1中未示出),用于展示生成的虚拟全景空间。有两种展示虚拟全景空间的方式,包括感应模式和触控模式两种。在传感器辅助展示模式下,用户打开保存的虚拟全景空间,将终端设备置于拍摄姿态,通过转动上述终端设备,虚拟全景展示单元会根据此时终端设备方向传感器的数据,结合拍摄全景图像时采集的方向传感器数据展示相一致的全景图像视角,通过全景图像转动展示的过程中,当图像视角转到指向下一个全景图像时,会出现指向标志,用户选择上述标志后可以切换至下一个全景图像。
在触控展示模式下,用户打开保存的虚拟全景空间,可以通过向左、向右滑动来展示全景图像,当图像视角转到指向下一个全景图像时,会出现指向标志,用户选择上述标志后可以切换至下一个全景图像。
根据本发明的优选实施方式,进一步提供一种自动创建虚拟全景空间的方法,包括以下步骤:智能终端在编辑虚拟全景空间时,首先启动状态监测单元,用于对用户移动过程中手持终端设备的姿态进行监控。该状态监测单元根据传感器的数据,将终端分为实景图像获取状态和导航状态。若监测到终端进入实景图像获取状态时,则:上述状态监测单元会启动全景图生成模块,拍摄360°全景图像;根据本发明的优选实施方式,虚拟全景生成单元的功能是用于生成一张用户当前位置的全景图。优选地,上述全景图获取过程是用户手持智能终端(横或竖),缓慢向右旋转使得终端摄像头旋转360°,拍摄完成后生成全景图;优选地,上述图像获取单元在用户拍摄全景图像时,采集上述终端设备上自带的加速度传感器和方向传感器数据。优选地,上述采集的方向传感器数据与拍摄全景图像时的角度相关联,生成的全景图像显示的视角与实际方向保持一致,上述采集的加速度传感器数据反馈用户拍摄全景图时的设备姿态是否符合要求。
根据本发明的优选实施方式,上述虚拟全景生成单元工作完成后,若用户需要移动至下一个位置拍摄全景图时,恢复上述智能设备的姿态,使得智能终端水平朝上,方向指向用户移动的方向。优选地,上述姿态变化,使得状态监测单元检测为导航状态,开启导航单元,用户开始移动。
优选地,导航单元采集用户移动时的加速度传感器和方向传感器数据,这些数据用于计算用户移动距离以及移动的方向。优选地,上述用户移动过程中,若某时刻状态监测模块检测到传感器的姿态数据符合拍摄状态时,则上述导航单元暂停工作,此时已进入到新的位置,并可再次开启全景图生成模块,按照上述方法拍摄360°全景图像。
根据本发明的优选实施方式,进一步包括一种用于手动创建虚拟全景空间的方法,包括以下步骤:用户在已经获得所有用来构造虚拟全景空间图像的情况下,启动虚拟全景编辑单元。优选地,上述构造虚拟全景空间的图像是指上述用户已经通过图像获取单元获取所需的图像资料,或者其他相同格式的全景图像。优选地,上述用户在启动虚拟全景编辑单元后,选取一张全景图像作为初始图像,进入导航编辑模式并选择全景图像传感器展示模式。优选地,利用全景图像自动展示单元根据全景图像生成时方向传感器获取的方向信息,上述用户在观看全景图像时,观看到的图像始终与上述全景图像生成时的用户视角保持一致。优选地,用户通过旋转智能终端,根据上述全景图像中的出口确定移动方向以后,将终端设备置于导航姿态下,并朝向确定的移动方向,沿着上述确定的方向开始移动构建虚拟全景空间。优选地,上述全景图像中的出口指图像中建筑的门、走廊、过道等可供人通过的方向。
根据本发明的优选实施方式,进一步包括一种自动展示虚拟全景空间的方法,包括以下步骤:启动虚拟空间展示单元,选择感应模式打开上述用户拍摄的第一张全景图像,将智能终端置于拍摄姿态,通过在水平面上缓慢转动上述终端设备,若在旋转中某一方向上出现指引箭头,则触摸上述指引箭头可以切换至箭头指引向的下一个地点的全景图像。
根据本发明的优选实施方式,进一步包括一种手工展示虚拟全景空间的方法,包括以下步骤:启动虚拟空间展示单元,选择手动模式打开上述用户拍摄的第一张全景图像,上述用户可以通过左右滑动图像来查看不同视角的全景图像,若在滑动中某一方向上出现指引箭头,则触摸上述指引箭头可以切换至箭头指引向的下一个地点的全景图像,上述全景图像可以通过放大操作来查看全景图像中的细节部分。
通过软件、算法或计算机存储器中的数据比特上的操作的符号表示来提供所公开的主题的一部分和相应的详细说明。本领域普通技术人员可通过这些说明和表示来向本领域的其他普通技术人员有效地传达他们工作的实质。此处所使用的术语算法,并且如通常所使用的,被设想为产生所需结果的步骤的自一致序列。这些步骤是物理量的那些要求的物理操作。通常,尽管不是必须的,这些量采用能被存储、传递、合并、比较或其它操作的光、电或磁信号的形式。有时已经证明的是,主要为了公共使用的原因,可以将这些信号表示为比特、值、元素、符号、字符、术语、数字或类似方式。
然而,应当牢记的是,所有这些或类似术语与适当的物理量相关联,并且仅仅是应用于这些量的方便的标记。除非特别指出,或者是由所述论述显然得到,例如“处理”、“计算”、“演算”、“确定”或者“显示”或类似的术语涉及计算机系统或者类似电子计算设备的动作和过程,被表示为计算机系统寄存器和存储器中的物理、电子量可被操作和转换为在计算机系统存储器或寄存器或其它这种信息存储、传送或者显示设备中相似地表示为物理量的其他数据。
还应当注意的是,典型地,在一些形式的程序存储介质上编码或在一些类型的传输介质上实现,所公开的主题的软件实现的方面。程序存储介质可为磁(例如,软盘或硬盘)或光(例如,致密光盘只读存储器或“CDROM”),并且可为只读或随机存取。同样地,传输介质可为双绞线、同轴电缆、光纤或现有技术中熟知的一些其他合适的传输介质。所公开的主题并不被任何给定实现方式的这些方面所限制。
以上所公开的特定实施方式只是示例性的,这是因为所公开的主题可被修改并被不同地实现,但却是得益于此处教导的本领域技术人员容易了解的等价方式。此外,除了在下面权利要求书中所描述的之外,不应限制为此处所示的结构和设计细节。因此,显然的是,可改变或修改上面公开的特定实施方式,并且所有这种改变被认为处于所公开主题的范围内。因此,下面的权利要求书中阐明此处寻求的保护。

Claims (10)

1.一种基于智能终端构建多场景虚拟全景空间的方法,所述智能终端包括:加速度传感器、方向传感器、状态监测单元、图像获取单元、虚拟全景生成单元、存储单元和导航单元,其特征在于,包括以下步骤: 
利用加速度传感器获得所述智能终端的加速度数据; 
利用方向传感器获得所述智能终端的方向数据; 
利用状态监测单元根据所述加速度数据和方向数据来确定所述智能终端的操作状态,所述操作状态包括实景图像获取状态和导航状态; 
从存储单元获取初始的多场景虚拟全景空间; 
当所述智能终端的操作状态为实景图像获取状态时,图像获取单元基于加速度数据和方向数据获得多个实景图像,所述多个实景图像构成全景图像,然后虚拟全景生成单元利用所述多个实景图像生成多场景虚拟全景空间,并且将所生成的多场景虚拟全景空间用作最新的多场景虚拟全景空间;以及 
当所述智能终端的操作状态为导航状态时,导航单元利用加速度数据和方向数据计算所述智能终端的移动距离以及移动方向,并且在初始多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。 
2.根据权利要求1所述的方法,其中预先在所述智能终端的存储器单元中存储所述初始的多场景虚拟全景空间;或者 
利用图像获取单元获取初始全景图像,然后虚拟全景生成单元利用所述初始全景图像生成初始的多场景虚拟全景空间,并将所述初始的多场景虚拟全景空间存储在存储器单元中。 
3.根据权利要求1所述的方法,其中,所述方向数据与获取多个实景图像时的角度相关,所生成的全景图像的视角与所述方向数据所指示的方向保持一致,并且所述加速度数据用于指示智能终端在拍摄多个实景图像时的倾斜度。 
4.根据权利要求2所述的方法,其中在确定具有初始多场景虚拟全景空间之后且智能终端开始移动之前,设置智能终端的倾斜度,使得所述智能终端水平向上,方向指向智能终端移动的前进方向。 
5.根据权利要求4所述的方法,其中在智能终端开始移动后,所述导航单元采集所述智能终端移动时的加速度数据和方向数据,当检测到加速度数据与上述智能终端获取多个实景图像时的加速度数据的相似度超过预定门限时,则导航单元暂停工作,建立多个实景图像热点并且图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。 
6.一种用于构建多场景虚拟全景空间的智能终端,其特征在于,所述智能终端包括: 
加速度传感器,获得智能终端的加速度数据; 
方向传感器,获得智能终端的方向数据; 
状态监测单元,根据所述加速度数据和方向数据来确定智能终端的操作状态,所述操作状态包括实景图像获取状态和导航状态; 
图像获取单元,当所述智能终端的操作状态处于实景图像获取状态时,利用加速度数据和方向数据获得多个实景图像,所述多个实景图像构成全景图像; 
虚拟全景生成单元,利用所述多个实景图像生成多场景虚拟全景空间,并且将所生成的多场景虚拟全景空间用作最新的多场景虚拟全景空间;以及 
导航单元,当所述智能终端的操作状态处于导航状态时,利用加速度数据和方向数据计算智能终端的移动距离以及移动方向,并且在初始的多场景虚拟全景空间或所述虚拟全景生成单元生成的最新的多场景虚拟全景空间中生成指示移动距离以及移动方向的导航信息。 
7.根据权利要求6所述的智能终端,所述智能终端进一步包括存储器单元,用于预先存储所述初始的多场景虚拟全景空间;或 
利用图像获取单元获取初始全景图像,然后虚拟全景生成单元利用所 述初始全景图像生成初始的多场景虚拟全景空间,并将所述初始的多场景虚拟全景空间存储在存储器单元中。 
8.根据权利要求6所述的智能终端,进一步地,将所述方向数据与获取全景图像时的角度相关,所生成的全景图像的视角与所述方向数据所指示的方向保持一致,并且所述加速度数据用于指示智能终端在拍摄多个实景图像时的倾斜度。 
9.根据权利要求7所述的智能终端,进一步包括在确定具有初始多场景虚拟全景空间之后且智能终端开始移动之前,设置智能终端的倾斜度,使得所述智能终端水平向上,方向指向智能终端移动的前进方向。 
10.根据权利要求9所述的智能终端,其中在智能终端开始移动后,所述导航单元采集所述智能终端移动时的加速度数据和方向数据,当检测到加速度数据与上述智能终端获取多个实景图像时的加速度数据的相似度超过预定门限时,则导航单元暂停工作,建立多个实景图像热点并且图像获取单元利用加速度数据和方向数据获得全景图像,然后虚拟全景生成单元利用所述全景图像生成多场景虚拟全景空间。 
CN201310167527.9A 2013-05-09 2013-05-09 一种用于构建多场景虚拟全景空间的方法及智能终端 Active CN103279187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310167527.9A CN103279187B (zh) 2013-05-09 2013-05-09 一种用于构建多场景虚拟全景空间的方法及智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310167527.9A CN103279187B (zh) 2013-05-09 2013-05-09 一种用于构建多场景虚拟全景空间的方法及智能终端

Publications (2)

Publication Number Publication Date
CN103279187A true CN103279187A (zh) 2013-09-04
CN103279187B CN103279187B (zh) 2018-05-04

Family

ID=49061746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310167527.9A Active CN103279187B (zh) 2013-05-09 2013-05-09 一种用于构建多场景虚拟全景空间的方法及智能终端

Country Status (1)

Country Link
CN (1) CN103279187B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016086494A1 (zh) * 2014-12-05 2016-06-09 钱晓炯 一种智能移动终端的视频呈现方法
CN105739505A (zh) * 2016-04-13 2016-07-06 上海物景智能科技有限公司 一种机器人的路径控制方法及系统
CN105959675A (zh) * 2016-05-25 2016-09-21 腾讯科技(深圳)有限公司 一种视频数据的处理方法和装置
CN106023321A (zh) * 2016-07-04 2016-10-12 深圳市彬讯科技有限公司 一种多场景漫游生成方法及装置
CN106500701A (zh) * 2016-11-22 2017-03-15 大唐软件技术股份有限公司 一种基于实景图片的室内导航方法及系统
CN107346174A (zh) * 2017-06-15 2017-11-14 武汉秀宝软件有限公司 一种现实环境与虚拟环境的交互方法及系统
WO2018192093A1 (zh) * 2017-04-18 2018-10-25 深圳市智能现实科技有限公司 场景建模方法及装置
CN109931950A (zh) * 2018-09-05 2019-06-25 浙江科比特科技有限公司 一种实景导航方法、系统及终端设备
CN110495166A (zh) * 2017-12-15 2019-11-22 斯纳普公司 球形视频编辑
CN110637457A (zh) * 2017-05-23 2019-12-31 林克物流有限公司 拍摄位置信息确定方法及执行该方法的装置
CN111050067A (zh) * 2019-11-25 2020-04-21 北京城市网邻信息技术有限公司 一种信息采集过程中的提示方法和装置
CN111189440A (zh) * 2019-12-31 2020-05-22 中国电建集团华东勘测设计研究院有限公司 一种基于空间信息模型与实时图像比对的定位导航方法
CN117705094A (zh) * 2023-05-16 2024-03-15 荣耀终端有限公司 导航定位方法及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303246A1 (en) * 2006-04-21 2009-12-10 Sony Computer Entertainment Inc. Image browsing device, computer control method and information recording medium
CN101895693A (zh) * 2010-06-07 2010-11-24 北京高森明晨信息科技有限公司 生成全景图像的方法及装置
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303246A1 (en) * 2006-04-21 2009-12-10 Sony Computer Entertainment Inc. Image browsing device, computer control method and information recording medium
CN101895693A (zh) * 2010-06-07 2010-11-24 北京高森明晨信息科技有限公司 生成全景图像的方法及装置
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
倪小元: "VPS虚拟全景空间的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
冯海波: "虚拟全景空间生成技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016086494A1 (zh) * 2014-12-05 2016-06-09 钱晓炯 一种智能移动终端的视频呈现方法
CN105739505A (zh) * 2016-04-13 2016-07-06 上海物景智能科技有限公司 一种机器人的路径控制方法及系统
CN105739505B (zh) * 2016-04-13 2018-09-04 上海物景智能科技有限公司 一种机器人的路径控制方法及系统
CN105959675A (zh) * 2016-05-25 2016-09-21 腾讯科技(深圳)有限公司 一种视频数据的处理方法和装置
CN106023321A (zh) * 2016-07-04 2016-10-12 深圳市彬讯科技有限公司 一种多场景漫游生成方法及装置
CN106023321B (zh) * 2016-07-04 2018-08-28 深圳市彬讯科技有限公司 一种多场景漫游生成方法及装置
CN106500701A (zh) * 2016-11-22 2017-03-15 大唐软件技术股份有限公司 一种基于实景图片的室内导航方法及系统
CN106500701B (zh) * 2016-11-22 2019-10-08 大唐软件技术股份有限公司 一种基于实景图片的室内导航方法及系统
WO2018192093A1 (zh) * 2017-04-18 2018-10-25 深圳市智能现实科技有限公司 场景建模方法及装置
CN110637457A (zh) * 2017-05-23 2019-12-31 林克物流有限公司 拍摄位置信息确定方法及执行该方法的装置
CN107346174A (zh) * 2017-06-15 2017-11-14 武汉秀宝软件有限公司 一种现实环境与虚拟环境的交互方法及系统
CN107346174B (zh) * 2017-06-15 2020-09-29 武汉秀宝软件有限公司 一种现实环境与虚拟环境的交互方法及系统
CN110495166A (zh) * 2017-12-15 2019-11-22 斯纳普公司 球形视频编辑
CN109931950A (zh) * 2018-09-05 2019-06-25 浙江科比特科技有限公司 一种实景导航方法、系统及终端设备
CN111050067A (zh) * 2019-11-25 2020-04-21 北京城市网邻信息技术有限公司 一种信息采集过程中的提示方法和装置
CN111050067B (zh) * 2019-11-25 2021-06-08 北京城市网邻信息技术有限公司 一种信息采集过程中的提示方法和装置
CN111189440A (zh) * 2019-12-31 2020-05-22 中国电建集团华东勘测设计研究院有限公司 一种基于空间信息模型与实时图像比对的定位导航方法
CN111189440B (zh) * 2019-12-31 2021-09-07 中国电建集团华东勘测设计研究院有限公司 一种基于空间信息模型与实时图像比对的定位导航方法
CN117705094A (zh) * 2023-05-16 2024-03-15 荣耀终端有限公司 导航定位方法及终端设备

Also Published As

Publication number Publication date
CN103279187B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN103279187A (zh) 一种用于构建多场景虚拟全景空间的方法及智能终端
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US10600253B2 (en) Information processing apparatus, information processing method, and program
CN107085422A (zh) 一种基于Xtion设备的多功能六足机器人的远程控制系统
CN105761299A (zh) 使用便携式电子设备记录产生三维模型
CN103426202A (zh) 三维全景互动移动终端展示系统及展示方法
CN101833896A (zh) 基于增强现实的地理信息指引方法与系统
CN102945563A (zh) 一种全景视频的展示与交互系统及方法
CN113345108B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
KR102396390B1 (ko) 증강 현실 기반의 3차원 조립 퍼즐을 제공하는 방법 및 단말
US11373329B2 (en) Method of generating 3-dimensional model data
KR101641672B1 (ko) 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
EP3996052B1 (en) Information processing system, information processing method, and program
CN104599310A (zh) 三维场景动画录制方法及装置
KR102388715B1 (ko) 문화유적복원 실감 장치
Wang et al. Vr exploration assistance through automatic occlusion removal
Liarokapis et al. Mobile augmented reality techniques for geovisualisation
KR101983233B1 (ko) 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법
CN108629842B (zh) 一种无人驾驶设备运动信息提供及运动控制方法与设备
CN113377205B (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN113345107A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN108346183B (zh) 一种用于ar基准定位的方法及系统
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
Aloor et al. Design of VR headset using augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Xidian University

Document name: Notification of Patent Invention Entering into Substantive Examination Stage

GR01 Patent grant
GR01 Patent grant