CN110869888A - 创建虚拟导览的基于云端的系统和方法 - Google Patents

创建虚拟导览的基于云端的系统和方法 Download PDF

Info

Publication number
CN110869888A
CN110869888A CN201880045744.1A CN201880045744A CN110869888A CN 110869888 A CN110869888 A CN 110869888A CN 201880045744 A CN201880045744 A CN 201880045744A CN 110869888 A CN110869888 A CN 110869888A
Authority
CN
China
Prior art keywords
images
virtual
cloud
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880045744.1A
Other languages
English (en)
Inventor
汤普森·桑约托
阿什顿·丹尼尔·陈
林东
侯犇
龙依婷
邱新辉
潘盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyexpo
Eyexpo Technology Co Ltd
Original Assignee
Eyexpo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyexpo Technology Co Ltd filed Critical Eyexpo Technology Co Ltd
Publication of CN110869888A publication Critical patent/CN110869888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了一种创建虚拟导览的基于云端的方法、系统和计算机可读介质。所述方法包括允许用户上传用于拼接360全景图像的图像；基于360全景图像创建虚拟导览；以及允许用户在使用虚拟现实(VR)头戴设备观看所述虚拟导览时，通过嵌入用于与用户交互的对象来编辑所述虚拟导览。

Description

创建虚拟导览的基于云端的系统和方法
相关申请的交叉引用
本申请请求受益于2017年9月29日提交的名为“用于创建虚拟导览的基于云端的系统和方法”的美国申请No.62/565,251的优先权，以及2017年9月29日提交的名为“移动装置辅助的虚拟现实环境的创建”的美国申请No.62/565,217的优先权，它们的公开内容通过引用结合于此。
技术领域
本申请涉及虚拟导览创建工具，更具体地涉及用于创建和构造虚拟导览的基于云端的系统、方法和计算机可读介质。
背景技术
人们对于提供虚拟导览创建工具越来越感兴趣，这使得用户能够创建和定制对用户所处真实环境进行模拟的由计算机所产生的环境。在行业中领先的方向虚拟导览允许内容创建者编辑虚拟环境并实现用户嵌入元件的交互，以创建出完全沉浸式的内容环境。
市场上的在线虚拟导览构建器的现有方案通常是在已知平台上构建的，已知平台用作带有多个预先创建功能的开发套件。在这样的平台上构建的虚拟导览构建方案限制了内容创建者将对象嵌入到360全景背景中的能力。通常，已创建的虚拟导览被优化用于在2D网页浏览器环境中观看，但是当在虚拟现实(VR)模式下使用VR头戴设备观看时，由于VR环境中不支持嵌入元件，导致嵌入元件被移除。
此外，大多数的方案需要内容创建者上传预先创建的360全景图像以便用于创建虚拟导览。
因此，存在对创建和定制虚拟导览的系统和方法进行改进的需求。
发明内容
以下列出本申请一些实施例或方面的概要，以提供对本申请的基本理解。这一概要并非是本申请的扩展综述。它并不意图标识出本申请的关键/至关重要的单元或勾勒出本申请的范围。其唯一目的是为了以简要的形式列出本申请的一些概念，作为之后列出的更详细说明的前序。
根据本申请的一个方面，提供了一种创建虚拟导览的基于云端的方法。该方法包括：允许用户上传用于拼接360全景图像的图像；基于360全景图像创建虚拟导览；且允许用户在使用虚拟现实(VR)头戴设备观看所述虚拟导览时，通过嵌入用于与用户交互的对象来编辑所述虚拟导览。
根据本申请的另一方面，提供了一种非暂时性计算机可读存储器，其上存储有计算机可执行指令，当指令被处理器运行时执行用于创建虚拟导览的基于云端的方法。该方法包括：允许用户上传用于拼接360全景图像的图像；根据360全景图像创建虚拟导览；且允许用户在使用虚拟现实(VR)头戴设备观看所述虚拟导览时，通过嵌入用于与用户交互的对象来编辑所述虚拟导览。
附图说明
本申请的这些和其他特征将从参考以下附图进行的说明中进一步显现。
图1为根据本申请的一个实施例的用于执行基于云端的虚拟导览创建器的示范性AWS基础架构；
图2为根据本申请的一个实施例的使用基于云端的虚拟导览创建器来创建360虚拟导览或360全景图像的流程图。
图3A为根据本申请的一个实施例的示出全景图像作为虚拟导览的一部分的示例情景菜单。
图3B为根据本申请的一个实施例的示例资源库，其中存储了360全景图像、3D模型和3D照片。
图3C为根据本申请的一个实施例的示例“编辑器”页面界面。
图3D为根据本申请的一个实施例的用于将热点添加到虚拟导览的情景中的示例用户界面。
图3E为根据本申请的一个实施例的用于添加瞬移和设置默认视图的示例用户界面。
图3F为根据本申请的一个实施例的用于将3D模型嵌入到虚拟导览情景中的示例用户界面。
图3G为根据本申请的一个实施例的用于调整所嵌入3D模型设置的示例用户界面。
图3H为根据本申请的一个实施例的处于预览模式下的带有嵌入式3D模型的虚拟导览示例。
图3I为根据本申请的一个实施例的处于WebVR模式下的带有嵌入式3D模型的虚拟导览示例。
图3J为根据本申请的一个实施例的用于将一个或更多全景图像添加到虚拟导览中的示例用户界面。
图3K为根据本申请的一个实施例的添加用于360全景拼接的图像的示例用户界面。
图3L为根据本申请的一个实施例的用于选择天空图像的示例用户界面。
图3M为根据本申请的一个实施例的用于选择两张地面图像的示例用户界面。
图3N为根据本申请的一个实施例的用于识别地面图像的方位的示例用户界面
图3O为根据本申请的一个实施例的给出了360全景拼接详情的示例用户界面。
图3P为根据本申请的一个实施例的示出了所拼接的全景图像的示例。
图4为根据本申请的一个实施例的创建虚拟导览的基于云端的方法。
图5为根据本申请的一个实施例的360全景图像拼接的基于云端的方法。
具体实施方式
本申请总体涉及提供一种基于云端的虚拟导览创建和构建工具，该工具改进且增强了功能性和用户交互。本申请的另一方面涉及基于云端的虚拟导览创建和构建工具，该工具根据从数字照相机拍摄的图像来支持创建360全景图像。
所描述的虚拟导览创建器向内容创建者提供了带有简单易用的基于云端的工具，该工具简化了虚拟导览的创建和编辑处理，减少了构建和向世界分享其浸入式内容所需的时间。
根据各个实施例，所描述的虚拟导览构建器使用户能够在单个平台上创建端到端的虚拟导览。在一个实施方式中，虚拟导览构建器基于Aframe.io平台。
虚拟导览构建器的一些实施例允许内容创建者将2D和/或3D元件嵌入到虚拟导览。所嵌入的2D和/或3D对象是完全交互式的，以便当使用虚拟现实(VR)头戴设备来观看虚拟导览时，用户能够利用与VR头戴设备关联的控件或界面将所嵌入的对象向不同方向移动。这种控件或界面可包括但不限于与VR头戴设备耦合的控制器、VR头戴设备或装置上安装的一个或更多按键、和/或通过语音或可视化命令的方式。
根据本申请的一些方面，虚拟导览构建器提供了基于云端的方案，通过将内容创建者所提供的图像进行拼接来创建360全景图像。
显然可以不需要某些或者全部这些特定细节来实现所介绍的实施例。在其他实例中，为了避免不必要地模糊所介绍的实施例，未详细描述那些公知的处理操作。
可使用计算设备以与计算机生成的VR环境进行交互。这种计算设备可以是但不限于个人电脑(PC)例如膝上型电脑、桌上型电脑等，或移动设备例如智能手机、平板电脑等。智能手机可以是但不限于运行iOS的iPhone、运行安卓操作系统的安卓机，或运行Windows操作系统的Windows电话。可以在计算设备中以标准规范运行的2D网页浏览器环境内，以网页的形式查看该VR环境。
WebVR模式或VR模式，是指所产生的VR环境能够使用支持VR的头戴设备观看的模式。
在线虚拟导览构建器的现有方案多是基于被称为KRPano的软件开发套件。KRPano提供预先建立的功能块以供开发者使用，然而它在用于向360全景背景中嵌入对象时具有局限性。所创建的虚拟导览被优化以在2D网页浏览器环境中观看，但是当在VR模式下观看时，所嵌入的对象被移除，这是由于VR环境中不支持这些对象。
此外，现有虚拟导览构建器方案通常需要内容创建者上传预先创建的360全景图像，因为它们并不支持根据用户所拍的原始照片来“创建”360全景图像。
根据本申请各个实施例的虚拟导览创建器基于Aframe.io框架，它是一个完全基于网页的构建虚拟现实体验的框架。该平台是基于超文本标记语言(HTML)的顶层，允许使用声明性HTML进行VR内容创建，能够在混合平台例如桌上型电梯、智能手机、头戴设备等平台上工作。
基于Aframe.io框架的虚拟导览创建器支持各种VR头戴设备或装置，例如但不限于ViveTM、RiftTM、WindowsTM混合现实、DaydreamTM、Gear VRTM、CardboardTM等。换言之，观看者使用这些设备从根据本申请各个实施例的虚拟导览创建器所创建的内容中能够体验完全沉浸。
根据本申请各个实施例的虚拟导览创建器，使内容创建者能够嵌入GL传输格式(glTF)文件或其他3D对象文件类型形式的3D元件或对象，这样很容易发布所生成的3D内容、场景、资源等。
结合堆栈Hugins技术，根据本申请各个实施例的虚拟导览创建器被配置为从内容创建者上传的一组原始照片来生成360全景图像。
从后端视角来看，基于云端的虚拟导览创建器整体托管于云端计算平台上，例如亚马逊网页服务(AWS)、阿里云等。该方案被构建为能缩放，并且云端计算平台内部的特定服务被用于提供可缩放性。
图1示出了根据本申请的一个实施例的用于实施基于云端的虚拟导览创建器的示范性AWS基础设施架构100。
用于实施基于云端的虚拟导览创建器的AWS架构100具有两个AWS弹性云计算(EC2)虚拟机102、104，一个102用于托管VR导览创建器，另一个104用于托管360全景图像拼接。全部全景图像或通过虚拟导览创建器上传的图像都存储在AWS简单存储服务(S3)对象存储器108中。
虚拟服务器访问关系数据库服务(RDS)106，它是提供MySQL数据库用于可操作数据服务的虚拟服务器。弹性文件系统(EFS)110是一个本地存储器，它被虚拟服务器用来经由创建者弹性块存储(EBS)卷112和拼接EBS卷114连接到虚拟导览创建器EC2 102和360全景拼接EC2 104。由此，应用程序可将创建者EC2 102和360全景拼接EC2 104视作为一个虚拟服务器。基于云端的方案也利用简单邮件服务(SES)116经由虚拟导览创建器来发送邮件；并利用简单通知服务(SNS)118来经由虚拟导览创建器发送文本消息。
图2是根据本申请的一个实施例的使用虚拟导览创建器来创建或编辑360虚拟导览以及创建或编辑360全景图像的流程图200。
内容创建者201可使用他们的邮件地址、移动电话号或通过第三方登录例如社交媒体账户如FacebookTM、WechatTM等，登陆202进入到虚拟导览创建器。
一旦登入，内容创建者201可访问“我的导览”(“My Tours”)页面204获取与该用户账户相关联的可用虚拟导览。“我的导览”页面204可提供存在于该用户账户下的全部虚拟导览的列表。用户可选择创建206一个导览或编辑207页面上的一个虚拟导览。用户还可预览或删除页面上的任何虚拟导览。当将要编辑该虚拟导览时，如在以下将更详细解释的那样，内容创建者201进入“编辑器”页面214。
虚拟导览被分组成公开或私有的虚拟导览。公开虚拟导览可被任何人查看，它们的每一个都具有能够共享的唯一外部链接。而私有虚拟导览不能被公众查看，仅能由内容创建者访问。在“我的导览”页面204上，用户可将虚拟导览设置成私有或公开。用户还能够经由QR代码、WeChat、嵌入式代码、公共统一资源定位符(URL)链接等来共享公开虚拟导览。用户能够更新他们的用户名、电话或邮件地址，修改密码和设定他们的语言偏好设置。
在本申请上下文中，计算机生成的虚拟导览环境可以是但不限于地理位置或场所(例如展会、矿区、主题公园等)、房地产、真实生活体验的模拟例如购物体验、医疗程序等。
所产生的虚拟导览可以在其他计算设备上共享和显示。例如，该虚拟导览可经由一个链接，例如代表所生成的该虚拟导览的网页链接，与其他计算设备进行共享，使用该链接，其他用户或在网页浏览器环境中，或在支持VR设备的VR模式中即可查看该虚拟导览。
当计算设备是移动设备例如智能手机时，根据本说明书某些实施例的虚拟导览创建器可被优化用于移动环境，其中所创建的虚拟导览可以通过网页链接进行共享，则其他用户使用他们自己设备上的网页浏览器即可查看该虚拟导览。由于普通智能手机的图形处理单元(GPU)可能难以提供这样高分辨率的图像以及全部可能的嵌入式多媒体UI/UX，所生成的虚拟导览可以具有移动版本，该版本具有较低的分辨率和对UI/UX的优化数据类型。这样也降低了下载时间和数据用量，显著提高了总体用户体验。
对于“我的导览”页面204上的每一个虚拟导览，用户可访问情景菜单，该情景菜单允许用户在一个叠加模式的窗口中看到作为该虚拟导览的一部分的那些全部全景图像(虚拟导览中的每个全景图像被称为一个“情景”)。用户可从该情景菜单导航至任何特定情景。
图3A是根据本申请一个实施例的示出作为虚拟导览的一部分的全景图像的示例情景菜单。
内容创建器具有使用一个或更多全景图像来创建206虚拟导览的功能。用于创建虚拟导览的全景图像可以是在资料库218中存储的该用户账户中已有360全景图像，或是从本地计算机上传的360全景图像，或者可以是将内容创建者上传的多个图像拼接制成的360全景图像。上传的和/或生成的360全景图像、以及3D模型和3D照片可存储于资料库218中。
图3B是根据本申请的实施例的示例资料库218，其中存储了360全景图像、3D模型和3D照片。
将要创建206虚拟导览时，可提示用户识别208是否存在一个或更多全景图像用于创建虚拟导览。根据是否存在全景图像，可在一个或更多现存全景图像上创建虚拟导览(“是”)；或进程将前进至全景图像创建(“否”)。
如果步骤208的答案为是，在步骤210，从资料库218检索或从本地计算机上传现有的全景图像。为构建一个虚拟导览，可选择212一个或多个全景图像。一旦选出用于构建虚拟导览的一个或多个全景图像，向内容创建者提示进入“编辑器”页面214，向内容创建者展示用以创建和编辑虚拟导览所用的各种功能。
在各个实施例中，虚拟导览创建器允许内容创建者包含交互式用户界面/用户体验(UI/UX)元件或模型，其中允许内容创建者编辑并定制所生成的虚拟导览。所嵌入的元件或模型可以是2D或3D。某些实施例中，通过允许用户执行编辑任务来增强该虚拟导览，例如添加热点，连接至不同视图，嵌入多媒体内容、嵌入3D模型、嵌入GoogleTM地图或类似物。
某些实施例中，虚拟导览构建器向内容创建者提供了简答易用的预设小工具。为了激活这些功能，内容创建者可以简单地将选中的模板拖动或落入到VR环境视图中。
根据本申请的某些实施例，可以向内容创建者提供小工具来添加一个或更多2D热点。内容创建者可以将每个热点拖动或落入到全景情景内以添加文本、图像和/或到外部URL的超链接。当用户点击热点按钮时，可以生成热点，并且用户可在虚拟导览中拖动它来调整它的位置。
某些实施例中，用户还可通过在虚拟导览中定义至少一个区域或将热点关联至所定义的区域来编辑该虚拟导览。如果用户定义的区域被激活(例如通过将光标移动到已定义区域内这一方式，或通过点击已定义区域)，一个对应的功能即可被激活，例如连接到不同视图、播放一个音频或视频内容或显示一个图片)。
可设计UI/UX以便自然地与VR环境中的3D空间相配合。若UI/UX设计是两种维度，当UI/UX设计位于3D空间内时，将执行数学2D到3D坐标变换以提供清晰和自然的视觉信息。例如，VR环境3D空间的球面可具有固定半径，每个热点在编辑器窗口中具有其2D坐标。可使用毕氏定理来计算投影变换以将2D设计转换至3D空间内，避免他们看起来不在合适的位置。可将交互信息、元件和/或道具分配至合适的位置并变换成适于曲形球面环境的展示形式。
某些实施例中，内容创建者还可添加一个或更多瞬移以将一个情景链接到另一个或多个情景。目的情景可被拖动并落入到当前情景内。每个瞬移用作从当前情景迁移到一个或多个目的情景中的每一个的入口。构建器可提供进入目的情景的默认观看方向，因此观看者在情景之间瞬移时不会迷失方向。
在某些实施中，内容创建者还可为虚拟导览体验设置要播放的背景音乐。背景音乐可从免版税音乐列表里选择或用户用自己的MP3歌曲上传。内容创建者还可编辑导览配置，包括：在预览模式或在VR模式下添加导览标题、描述和/或显示位置(如通过嵌入谷歌地图)。用户还能向虚拟导览的情景添加情景标题。内容创建者还可向虚拟导览添加联系方式例如电话号码，以便用户可点击所创建的虚拟导览上的按钮，直接通过所关联的电话业务来拨通该联系方式。
根据各个实施例，虚拟导览创建器还向内容创建者提供一系列的工具，使他们能向虚拟导览添加3D元件或模型，可使用VR头戴设备或护目镜在VR模式中观看和体验这些嵌入的3D元件或模型。
根据本申请的某些实施例，可向内容创建者提供小工具来向虚拟导览嵌入一个或更多的交互式3D元件、对象或资料。当使用VR头戴设备或护目镜在VR模式下观看时，这些嵌入的3D对象由用户通过VR头戴设备或护目镜相关的控件或界面进行控制。在一个实施方式中，所嵌入的3D模型是glTF格式的，被嵌入到虚拟导览中成为Aframe层的一部分。
在某些实施例中，内容创建者还可添加一个或多个支持嵌入式代码的2D热点，用户可在其中嵌入一个或更多代码，以便在使用VR头戴设备或护目镜查看时将虚拟导览创建器以外的3D内容获取到虚拟导览以内进行显示。例如，嵌入式代码可包括但不限于访问3D摄影作品的URL。嵌入式代码是HTML代码形式，它们被嵌入到虚拟导览内成为一个Aframe层，以便从其他网站检索内容后，显示在例如虚拟导览中出现的子浏览窗口中。
在某些实施例中，内容创建者还可在虚拟导览中添加3D文本。虚拟导览创建器支持不同的文字类型，例如英语、中文等。用户可将3D文本添加到将在WebVR模式下渲染的虚拟导览环境中。
虚拟导览创建器或“编辑器”利用了完全基于HTML的核心Aframe.io框架。根据本申请各个实施例，虚拟导览创建器接受文件类型为glTF/GLB的3D模型，并将它们嵌入到360全景图像中，其中使用JavaScript对象表示法(JSON)标准的glTF/GLB文件格式用作为3D情景的标准文件格式。3D模型和照片也可存储在资料库218中。
在虚拟导览“编辑器”页面214内，内容创建者还可从资料库218直接添加或者从他们的本地计算机上传一个全景图像到一个虚拟导览中。内容创建者还可从虚拟导览中移除一个全景图像。
图3C是根据本申请的一个实施例的示例“编辑器”页面214的用户界面。在编辑器页面214上，示出许多小工具300，包括用于添加热点的按钮302、用于嵌入3D模型的按钮304、用于设置背景音乐及其模式的按钮306以及用于添加联系方式的按钮308。
图3D是根据本申请的一个实施例的将一个热点添加到虚拟导览的情景中的示例用户界面。内容创建者可以在虚拟导览中拖动热点调整其方向。
图3E为根据本申请的一个实施例的添加一个瞬移以将不同情景与当前情景建立链接并设置默认视图的示例用户界面。
图3F是根据本申请的一个实施例的将3D模型嵌入到虚拟导览的一个情景中的示例用户界面。这一示例中，3D模型是一个3D中可旋转的吉他。具有嵌入式3D模型的情景也可通过按下按钮310在2D网页浏览器模式、或WebVR模式下预览。图3G是根据本申请一个实施例的调整3D模型设置的示例。
图3H是根据本申请一个实施例的预览模式下带有嵌入式3D模型的示例虚拟导览。如图3I所示，用户可经由预览页面按下按钮312以在WebVR模式中观看该虚拟导览。当虚拟导览处于WebVR模式中时，用户可将计算设备(如移动电话)放置到支持VR的设备或护目镜中，在三维中观看该虚拟导览。可以看到，3D对象可旋转吉他在WebVR和VR模式下被保持。
图3J是根据本申请的一个实施例的允许内容创建者将一个或更多的全景图像添加到虚拟导览中的示例用户界面。
“编辑器”214可自动保存内容创建者编辑虚拟导览时的改动。特别是，所做的任何改动都能在特定时间间隔内以及在一旦退出“编辑器”时被自动保存。
如已经说明的，所创建的虚拟导览可以在2D网页浏览器环境下预览。可以在与“编辑器”标签不同的单独的浏览器标签中进行预览。可替换地，预览和编辑模式可以在单个浏览器视图内交替。仅仅对该虚拟导览具有许可的那些用户才能够预览该虚拟导览。
参考回到图2，在步骤208，当用户识别出不存在用于创建虚拟导览的全景图像时，进程前进至创建220一360全景图像的流程。虚拟导览创建器允许用户通过上传222由例如Go Pro设备的支架设备所拍摄的原始照片来创建360全景图像。一个实施方式中，虚拟导览创建器可支持对大小低于如15MB的每张照片进行上传和拼接。
为了准备拼接，且将在以下详细解释的，通知用户从多个上传图像中选择224一张天空图像；从多个图像中选出226一个或多个地面图像，并设置228一个或多个地面图像的方位。用户可选地设置230拼接的详情和分辨率，并执行232该拼接，从而根据选项和设置将多个图像合成为360全景图像。
图3K是根据本申请的一个实施例的添加用于拼接的图像的示例用户界面。这一示例中，至少需要8张图像去拼接成一个全景图像。图3L为选择天空图像以保证所拼出的全景图像朝向正确的示例用户界面。图3M是选择一个或多个地面图像的示例用户界面。这一示例中，需要两张地面图像来保证所创建的全景图像不会显示出支撑的三脚架。图3N为用于识别出地面图像的方位来帮助移除三脚架的示例用户界面。图3O是提供全景拼接具体细节的示例用户界面。图3P为示出根据以上选择拼接的全景图像的示例。
创建全景图像之后，进程可继续至创建234另一全景图像。如上所述，将创建的全部全景图像保存在资料库218中。资料库218中存储了该登陆用户已有的全部全景图像的一览表，以及在一个或多个VR导览中已使用的那些全景图像。用户能够在资料库218中预览、编辑、下载和删除这些全景图像。例如，对已上传和/或创建的全景图像，可编辑其图像饱和度水平、白平衡、曝光度和/或亮度等。这些对原始全景图像的调整都可被保存下来。
根据各个示例的虚拟导览创建器是基于堆栈Hugins技术创建并进行改进的，该堆栈Hugins是一资料库并用作为从内容创建者上传的一系列原始照片生成360全景图像的根本技术。
创建全景图像的Hugins处理包括超过20个内部操作，这些内部操作需要使用输入参数分别进行调用，下一个操作依赖于先前操作的输出。为了保证串行过程对云端友好，基于云端的方案包括排队系统，将资料库的原始设计转换为并行处理方式，对20个步骤的每一个进行了缩放。
因此，拼接处理是一个异步的过程，其中用户并不需要等待在执行其他功能之前完成该过程。
当全景图像创建过程完结或失败时，将通知用户。可在网页浏览器中提供通知、和/或通过邮件或短信给出通知。
如将在以下详细解释的，虚拟导览创建器通过与平衡图像不同的方式处理天空图像、地面图像或两者。在本申请一个实施方式中，用户辨识出天空图像和/或地面图像。所识别出的天空图像和地面图像可用作锚点，用于在图像拼接中对准图像。
在此公开的系统和方法可与照相机、镜头和/或图像结合使用。例如，多个图像可由外部数字照相机、智能手机内置照相机、或数字，数码单反(DSLR)照相机拍摄。普通镜头可产生普通图像，看起来不失真(或仅有不易察觉的失真)。广角镜头可产生扩大视场(FoV)的图像和透视失真，图像看起来是弯曲的(如当使用广角镜头拍照时，直线看起来会弯曲)。所拍摄的图像典型地是从同一位置拍摄并且具有彼此互相重叠的区域。图像可以是一系列相邻的图像，由用户使用照相机在相对于旋转中心自己转动时或通过旋转照相机扫描视图而拍摄得到。一个示例中，多个图像可通过Go Pro设备拍摄。很多情况下，图像的拍摄借助于支撑三脚架。
图4是根据本申请一个实施例创建虚拟导览的基于云端的方法400。在步骤(402)，用户或内容创建者能上传图像用于拼接360全景图像。基于360全景图像创建(404)虚拟导览；允许(406)用户在使用VR头戴设备观看虚拟导览时，通过嵌入用于与用户交互的对象而对虚拟导览进行编辑。
图5是根据本申请一个实施例的360全景图像拼接的基于云端的方法500。
根据该实施例，该系统获取(502)多个图像将要用于图像拼接。这些图像可向用户征求，提示用户将图像上传至云端。用户可本地或远程检索图像文件。对于图像拼接，理想的一组图像彼此具有合理的互相重叠量，以便用于克服镜头失真以及具有足够的可删除特征。本申请一个实施方式中，通知用户为所拼接图像选择能覆盖360度FoV范围的8张图像。
一旦上传了图像，从上传的图像中识别(504)出一张天空的图像，随后或同时识别(506)出一个或多张地面图像。通知用户从上传图像中做出第一选择选出天空图像，以及第二选择选出地面图像。一个实施方式中，识别地面图像包括识别(508)出两张地面图像。将通知用户对两张地面图像的每一张做出方向辨别(509)。为了确保两张地面图像的方位一致，该方法帮助Hugins确定三脚架的精确定位，然后允许三脚架顶部的修补或图像应用在全景图像中将其覆盖，由此去除三脚架支架。
一旦系统接收到用户的选择，建立一项作业并推进到处理队列。该队列将根据该作业在队列中的优先权或其顺序来执行该作业。
虚拟导览创建器将首先执行图像配准(510)，这是一个两步骤的处理，包括控制点检测(511)和特征匹配(512)。
图像配准(510)是将不同图像的不同系列的像素坐标转换到一个坐标系统中。控制点检测(511)创建与像素坐标有关的数学模型，系统可使用它来确定两张图像是否具有任何重叠区域，并对将它们准确对齐所需要的转换进行计算。特征匹配(512)找出两张图像的重叠像素之间的绝对差别的最小和，并将它们并排对齐。
市面上很多现有方案使用尺度不变特征变换(SIFT)或加速健壮性特征(SURF)检测器，但是这两种算法的缺点是它们在图像具有最小特征量的时候例如当图像包含天空和/或地面的情况下，运行不良。天空图像和地面图像通常都是由非常相似的像素组成，因此它们具有最小量的控制点。因此，尽管当传统方法完成了图像拼接，拼接后图像可能在结束时被命名。一些情况下，与水平线并不相关联的线条可能被认为是水平线，结果构造出的3D空间将会扭曲；或在其他情况下，天空图像可能会被认为是地面的图像，反之亦然，因此导致拼接出的带有天空和地面的图像处于相反的位置。这可能是由系统识别出了正确的水平线，但是没有识别出哪个是在水平线以上，哪个是在水平线以下所导致。
根据各个实施例的虚拟导览创建器通过识别与平衡图像分开的天空图像和至少一个地面图像，并使用所识别出的图像作为对准的锚点，由此降低了这种视觉上的人工痕迹且提高图像的精确性。
根据各个实施例的虚拟导览创建器还提供了两种图像拼接模式。第一种模式是柱面全景拼接，其中系统对一系列图像执行柱面投影到三维空间内；第二种模式是球面全景拼接，其中该系统对一系列图像执行球面投影到三维空间中。球面全景相比柱面全景具有更大更完整的FoV。
在一个实施例中，如果用户在创建一项作业时已经做出选择，则系统可前进至球面全景拼接模式以便分别处理天空图像和地面图像。如果用户没有选择它们中的任何一个，系统将假定用户想要获取柱面全景图像，将前进至柱面全景拼接模式，并同样地处理全部图像。
在系统已计算(511)全部图像的控制点之后，系统将执行特征匹配处理(512)。根据各个实施例的虚拟导览创建器在Hugins算法之上创建并改进，但对天空图像和地面图像的处理不同。所识别出的天空图像将被投影至三维空间中上部的大部分，所识别出的地面图像将被投影至三维空间中的下部的大部分。其他图像将从所识别出的天空图像向下对齐，并从所识别出的地面图像向上对齐。换言之，所识别的天空图像/地面图像被用作将其他图像对齐的锚点。当存在多个天空图像或多个地面图像，所识别出的天空图像用于识别其他天空图像，所识别出的地面图像用于识别其他地面图像。虚拟导览创建器随后对剩余图像执行图像拼接。由于天空图像通常位于图像视图上面的大部分，所有天空图像将被放置在拼接图像的顶部，随后的对齐将从天空图像向下进行。类似地，由于地面图像通常处于图像视图下面的大部分，全部地面图像将被放置在拼接图像的底部，则随后的对齐将从地面图像向上进行。例如，如果天空图像包含屋顶，当天空图像被放置于图像视图的顶部时，通过识别房屋的将要从天空图像向下对齐的其他部分，使其他图像的对齐非常方便。这彻底地降低了执行对齐任务所需的迭代次数并产生了更精确的拼接结果。特征匹配(512)生成变换矩阵用于将一系列图像转换到新坐标系统中，转换矩阵将被随后用于精确对齐图像。
图像配准(510)之后，系统将执行校准(512)从镜头区别、失真或曝光度等角度来最小化一系列图像之间的区别。
当用户创建一项作业，通知用户识别出拍摄图像的镜头类型，例如是一个普通镜头还是鱼眼镜头。这一信息有助于对每一图像执行必要的转换以与该图像将要被组成的视角相匹配。虚拟导览创建器计算原始图像的每个像素坐标与输出拼接图像的理想视角相匹配所需的调整量，计算结果被存储于矩阵中，该矩阵称为单应性矩阵。对于普通镜头，由于捕获的图像具有很小的失真，校准过程通常包括将2D图像很自然地映射到3D球面空间。对于鱼眼镜头，由于所捕获的图像还包括球面失真，系统可仅调整它们的颜色或曝光。调整例如可以根据平均采样，以避免拼接图像曝光过度或不足。
通过从原始图像进行投影变换，随后将生成拼接后的图像。投影变换包括先前计算的变换矩阵、单应矩阵，还包括颜色调整以将图像无缝融合。一旦完成，可通知用户并向用户提供该拼接图像。
生成拼接图像之后，例如通过用户将拼接图像输入到虚拟导览创建器中的虚拟导览内，拼接图像可被渲染成VR环境视图。
根据各个实施例，虚拟导览创建器通过对天空图像和地面图像分别进行识别和处理，增加了图像拼接的准确性。该工具创建的拼接图像显示大大减少了倾斜现象。为生成类似质量的图像，传统方法可能需要手动对准或用户操纵图像视图。对于那些缺乏图像处理经验的用户来说，将水平线对准到直的且正确的位置是非常困难的，或者做到这样至少需要花费它们大量的努力和时间。通过根据天空图像和地面图像将图像进行对准，虚拟导览创建器可使用户免于手动操作，改进了图像拼接的准确率。根据该实施例的虚拟导览创建器可用较低的计算复杂度和较高的处理速度来产生可靠的结果。
应当明白，单数形式“一”、“一个”和“该”包括多个所指物，除非该内容清楚地表示了其他含义。因此，例如，提及“一个设备”包括一个或多个这种设备，即，至少存在一个设备。术语“包括”、“具有”、“包含”、“需要”、“含有”或者它们的动词时态的变形，都将被翻译为开放式的术语(即，含义是“包括但不限于”)，除非另有旨意。在此说明的所有方法都可以以任何合适的次序执行，除非在此指明或除非明显与上下文矛盾。示例或示范性语言的使用(如，“例如”)仅仅意图为了更好地解释或说明本申请的实施例，并不意图限制本申请的范围，除非另外有声明。
尽管已参考特定装置、材料和实施例从前述说明书对本申请做出了说明，本领域技术人员能够非常容易地探知本申请的本质特征，在不脱离如上说明以及所附权利要求书中所提出的本申请的精神和范围的前提下，可对本申请做出各种改变和修正以适应各种应用和特征。

Claims (13)

1.一种创建虚拟导览的基于云端的方法，包括：
允许用户上传用于拼接360全景图像的图像；
创建基于360全景图像的虚拟导览；以及
允许用户在使用虚拟现实(VR)头戴设备观看所述虚拟导览时，通过嵌入用于与用户交互的对象来编辑所述虚拟导览。
2.如权利要求1所述的基于云端的方法，其中允许用户上传用于拼接360全景图像的图像包括：
允许用户将多个图像上传到云端；
提示从所述多个图像中识别出天空图像的第一识别；
提示从所述多个图像中识别出地面图像的第二识别；
基于第一识别和第二识别将所述多个图像拼接成360全景图像；以及
将360全景图像渲染成VR环境视图。
3.如权利要求2所述的基于云端的方法，其中提示从所述多个图像中识别出地面图像的第二识别包括：
提示识别出两幅地面图像；以及
提示识别出两幅地面图像中的每一幅的方位。
4.如权利要求1所述的基于云端的方法，其中所述对象是3D对象。
5.如权利要求4所述的基于云端的方法，其中3D对象的形式是GL传输格式(glTF)文件。
6.如权利要求4所述的基于云端的方法，其中3D对象是3D文本。
7.如权利要求1所述的基于云端的方法，其中虚拟导览是在A-frame.io框架上创建的。
8.如权利要求7所述的基于云端的方法，其中所述对象是3D对象，且所述3D对象被嵌入到虚拟导览中作为A-frame层的一部分。
9.如权利要求1所述的基于云端的方法，其中将所述多个图像拼接成360全景图像是使用Hugins来执行的。
10.如权利要求1所述的基于云端的方法，还包括将虚拟导览显示在网页浏览器中。
11.如权利要求1所述的基于云端的方法，其中当使用VR头戴设备观看虚拟导览时，所述被嵌入的对象基于与VR头戴设备关联的控件可交互。
12.如权利要求9所述的基于云端的方法，其中将所述多个图像拼接成360全景图像基于将所述拼接转换为并行处理的排队系统。
13.一种其上记录有计算机可执行指令的非暂时性计算机可读存储器，当所述指令被处理器运行时执行创建虚拟导览的基于云端的方法，包括：
允许用户上传用于拼接360全景图像的图像；
基于360全景图像创建虚拟导览；以及
允许用户在使用虚拟现实(VR)头戴设备观看所述虚拟导览时，通过嵌入用于与用户交互的对象来编辑所述虚拟导览。
CN201880045744.1A 2017-09-29 2018-06-20 创建虚拟导览的基于云端的系统和方法 Pending CN110869888A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762565251P 2017-09-29 2017-09-29
US201762565217P 2017-09-29 2017-09-29
US62/565,217 2017-09-29
US62/565,251 2017-09-29
PCT/CA2018/050748 WO2019060985A1 (en) 2017-09-29 2018-06-20 CLOUD SYSTEM AND METHOD FOR CREATING A VIRTUAL GUIDED TOUR

Publications (1)

Publication Number Publication Date
CN110869888A true CN110869888A (zh) 2020-03-06

Family

ID=65900223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045744.1A Pending CN110869888A (zh) 2017-09-29 2018-06-20 创建虚拟导览的基于云端的系统和方法

Country Status (4)

Country Link
US (1) US20200264695A1 (zh)
CN (1) CN110869888A (zh)
CA (1) CA3114601A1 (zh)
WO (1) WO2019060985A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625863A (zh) * 2020-05-07 2021-11-09 艾索擘(上海)科技有限公司 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN114339192A (zh) * 2021-12-27 2022-04-12 南京乐知行智能科技有限公司 一种web vr内容的虚拟现实眼镜播放方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200159394A1 (en) * 2018-11-15 2020-05-21 Spintura, Inc. Electronic Picture Carousel
CN110673734B (zh) * 2019-09-30 2023-12-01 京东方科技集团股份有限公司 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
US11989342B2 (en) 2019-09-30 2024-05-21 Boe Technology Group Co., Ltd. Virtual tourism client, server, system and acquisition device
US11797475B2 (en) * 2021-01-14 2023-10-24 Tencent America LLC Method and apparatus for media scene description
CN112785349A (zh) * 2021-02-10 2021-05-11 西安科技大学 一种基于vr技术的智慧旅游互联网服务平台
CN113129110B (zh) * 2021-05-08 2023-11-03 深圳新房网络科技有限公司 一种基于虚拟现实技术的多感官vr看房系统
KR102571932B1 (ko) * 2021-11-29 2023-08-29 주식회사 쓰리아이 단말 거치대를 이용한 이미지 생성 방법 및 그를 위한 휴대 단말
US11995789B2 (en) 2022-06-15 2024-05-28 VRdirect GmbH System and method of creating, hosting, and accessing virtual reality projects
CN116243831B (zh) * 2023-05-12 2023-08-08 青岛道可云网络科技有限公司 一种虚拟云展厅交互方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290908A1 (en) * 2012-04-26 2013-10-31 Matthew Joseph Macura Systems and methods for creating and utilizing high visual aspect ratio virtual environments
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
CN106652047A (zh) * 2016-12-29 2017-05-10 四川跳爪信息技术有限公司 一种可自由编辑的虚拟场景全景体验系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
US9189839B1 (en) * 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290908A1 (en) * 2012-04-26 2013-10-31 Matthew Joseph Macura Systems and methods for creating and utilizing high visual aspect ratio virtual environments
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
CN106652047A (zh) * 2016-12-29 2017-05-10 四川跳爪信息技术有限公司 一种可自由编辑的虚拟场景全景体验系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625863A (zh) * 2020-05-07 2021-11-09 艾索擘(上海)科技有限公司 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN114339192A (zh) * 2021-12-27 2022-04-12 南京乐知行智能科技有限公司 一种web vr内容的虚拟现实眼镜播放方法
CN114339192B (zh) * 2021-12-27 2023-11-14 南京乐知行智能科技有限公司 一种web vr内容的虚拟现实眼镜播放方法

Also Published As

Publication number Publication date
WO2019060985A1 (en) 2019-04-04
US20200264695A1 (en) 2020-08-20
CA3114601A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN110869888A (zh) 创建虚拟导览的基于云端的系统和方法
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
JP2023036602A (ja) 拡張された仮想現実
JP6408019B2 (ja) 画像デバイスにおける写真構図および位置ガイダンス
US9852351B2 (en) 3D rotational presentation generated from 2D static images
US20160344783A1 (en) Content provision system, information processing apparatus and content reproduction method
US10049490B2 (en) Generating virtual shadows for displayable elements
JP2014504384A (ja) ２次元画像からの３次元バーチャルツアーの生成
JP7246502B2 (ja) ミニプログラム作成方法、装置、端末及びプログラム
KR20130047071A (ko) 모바일용 혼합현실 어플리케이션 개발 장치 및 그 방법
CN114928718A (zh) 视频监控方法、装置、电子设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN110036356B (zh) Vr系统中的图像处理
CN111399655B (zh) 一种基于vr同步的图像处理方法及装置
US20160373493A1 (en) System and method for creating contents by collaborating between users
CN110990106B (zh) 数据展示方法、装置、计算机设备及存储介质
KR102204721B1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
KR102566039B1 (ko) 경로 안내를 위한 콘텐츠 제공 방법 및 장치
KR101960046B1 (ko) Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
WO2022111005A1 (zh) 虚拟现实设备及vr场景图像识别方法
JP2018151793A (ja) プログラム、情報処理装置
KR20170139202A (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
Ren Panoramic imaging for text spotting
CN116578226A (zh) 图像处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200306

WD01 Invention patent application deemed withdrawn after publication