CN107004303A - 混合现实可视化和方法 - Google Patents

混合现实可视化和方法 Download PDF

Info

Publication number
CN107004303A
CN107004303A CN201580066094.5A CN201580066094A CN107004303A CN 107004303 A CN107004303 A CN 107004303A CN 201580066094 A CN201580066094 A CN 201580066094A CN 107004303 A CN107004303 A CN 107004303A
Authority
CN
China
Prior art keywords
virtual reality
visualization device
environment
equipment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580066094.5A
Other languages
English (en)
Inventor
M·阿什曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107004303A publication Critical patent/CN107004303A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于向可视化设备的用户提供混合现实视图的技术。该设备在该设备的显示区域上向用户提供所述用户的环境的现实世界实时视图。该设备还确定虚拟现实视窗应当在该用户的环境的现实世界实时视图内被显示的位置，以及在该用户的环境的现实世界实时视图内的所确定位置处显示该虚拟现实视窗。该设备可附加地在该用户的环境的该现实世界实时视图内显示一个或多个增强现实对象。

Description

混合现实可视化和方法
发明领域
本发明的至少一个实施例涉及虚拟现实(VR)和增强现实(AR)显示系统，且尤其涉及用于在所显示场景中组合VR、AR和/或现实世界视觉内容的设备和方法。
背景技术
虚拟现实(VR)是一种能够模拟用户在各种现实世界和想象环境中的物理存在的计算机模拟环境。传统VR显示系统显示与物理现实具有最小对应性的三维(3D)内容，这导致“非连接(disconnected)的”(但是可能无限制的)用户体验。增强现实(AR)是物理现实世界环境的实况直接或间接视图，所述物理现实世界环境的元素被计算机生成的传感输入(诸如视频、图形、声音等)增强(或补充)。当前的AR系统尝试将3D增强与现实世界理解合并，诸如用于物理学和遮挡的表面重构。
概述
此处介绍了用于向用户提供混合现实视觉内容的可视化方法和可视化设备(共同以及分别称为“可视化技术”或“本技术”)，所述混合现实视觉内容包括VR和AR内容的组合，由此提供这两种类型的可视化方法的优点。本技术在用户的环境的现实世界视图内向用户提供到另一宇宙或环境(即，VR环境)的物理视窗的假象。本可视化技术可通过例如标准的手持式移动计算设(诸如智能电话或平板计算机等)备实现，或通过诸如头戴式显示器(HMD)系统等专用可视化设备实现。
在某些实施例中，可视化设备在该设备的显示区域上向该(一个或多个)用户提供该用户的(或该设备的)环境的现实世界实时视图(“现实视图”)。该设备确定VR视窗(或即VR“门户”)应在该现实视图内向该用户显示的位置，并且显示该VR门户以使得其对用户而言看上去处于该所确定的位置处。在某些实施例中，这是通过检测现实视图中的预定视觉标记图案以及基于该标记图案来定位该VR门户(例如，将VR门户叠加在该标记图案上)来实现的。该设备随后在该VR门户内显示VR场景并且还可显示在该VR门户外的覆盖在该现实视图上的一个或多个AR对象。在某些实施例中，该设备可检测该设备的(或者握持/佩戴该设备的用户的)物理位置和/或定向的变化并且相应地动态调整VR门户的表观(所显示的)位置和/或定向以及该VR门户内的内容。通过这样做，该设备向该用户提供了VR门户是到另一宇宙或环境(即VR环境)中的物理视窗的一致且逼真的假象。
VR内容和AR内容各自可以是静态或动态的，或者静态和动态两种内容的组合(即，甚至在该用户/设备静止时)。此外，所显示的对象可从该VR门户内的位置移动到该VR门户外的位置，在此情况下，根据其显示位置，这样的对象实质上从VR对象改变为AR对象，或反之。
根据附图和详细描述，该技术的其他方面将显而易见。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
在附图中的各图中作为示例而非限制解说了本发明的一个或多个实施例，其中相同的标记指示相似的元素。
图1示出混合现实可视化设备的混合现实显示的示例。
图2示出在定位VR视窗中使用的目标图像的示例。
图3示出遮挡几何形状和VR图像之间的关系。
图4A到4D示出混合现实可视化技术可如何被应用的示例。
图5示出可由该混合现实可视化设备执行的总体过程的示例。
图6更详细地示出可由该混合现实可视化设备执行的过程的示例。
图7是示出该混合现实可视化设备的功能组件的示例的高级框图。
图8是该混合现实可视化设备的物理组件的示例的高级框图。
详细描述
在该描述中，对“一实施例”、“一个实施例”等的引用意味着描述的特定特征、功能、结构或特性被包括在本文中引入的技术的至少一个实施例中。这样的短语在本说明书中的出现不一定全部涉及同一实施例。另一方面，所涉及的各实施例也不一定是相互排斥的。
此处介绍的技术使得能够使用(例如HMD或启用AR的移动设备中的)传统图像显示设备(例如，液晶显示器(LCD))来创建视觉“门户”，该视觉门户看上去就像是现实世界和虚拟世界之间的渗透界面，其中任选的AR内容覆盖在用户的现实世界视图上。此技术对于HMD设备(及其它)具有优势，例如，因为屏幕的黑暗背景可提供改善的对比率，这解决了HMD设备的在不遮挡背景中的现实世界内容的情况下显示AR内容的技术挑战，例如，因为它们具有仅向场景添加光的透明或半透明显示器。
在某些实施例中，该混合现实可视化设备包括：1)HMD设备或手持式的启用AR的移动设备，其具有6自由度(6-DOF)位置/定位跟踪能力和识别并跟踪平面标记图像以及提供看上去相对于现实世界固定的混合现实覆盖层的能力；2)在需要时可显示目标图像以及呈现空白或黑暗屏幕的图像显示系统；以及3)用于触发平面标记图像在独立的显示系统上的显示的显示控制界面。在操作中，该混合现实可视化技术可包括使得平面标记图像被显示在与该可视化设备分开的独立图像显示系统(例如，LCD监视器)上，识别该平面标记图像与该可视化设备的位置和定向，以及操作该可视化设备以使得该图像显示系统变为AR和VR内容之间的渗透界面或“门户”。至少在其中该可视化设备是诸如智能电话或平板计算机等标准手持式移动设备的实施例中，该混合VR/AR内容可由多个用户同时查看。
图1概念性地示出了在该可视化设备采用此处介绍的混合现实可视化技术时该设备的用户可看到的显示画面的示例。图1和本说明书中的所有其它附图中的外围虚线框表示该可视化设备的显示元件(未示出)的显示区域边界，或者替代地，该用户的视野的边界。实线2表示该可视化设备的用户所占据的房间中的墙壁、门和天花板的相交处。可以假定该用户握持或佩戴该可视化设备。在该显示画面中该用户能够看到他的环境的现实视图，包括房间中的各种现实世界(物理)对象6。至少在该可视化设备是HMD设备的情况下，该显示区域可以是透明或半透明的，以使得该用户可以直接透过该显示器看到他或她的环境。在其它实施例中，诸如在智能电话或平板实施例中，在该显示器上提供的现实视图来自该可视化设备上的至少一个相机。
该可视化设备还生成并向用户显示VR视窗(也被称为VR门户)3，在至少一些实施例中，该VR视窗对用户而言看上去处于空间中的固定位置和定向，如下面所讨论的。该可视化设备在VR视窗3中显示表示VR环境的VR内容，该VR内容包括多个VR对象4。VR对象4(其可以在外观上比图1中所示的多样化得多)可使用传统透视技术来呈现以给用户在VR视窗3内的深度的假象。任选地，该可视化设备还可生成并向用户显示在VR视窗3外的一个或多个AR对象5。VR/AR对象4或5中的任一对象可看上去正在移动并且可被显示成看上去移入和移出VR视窗3。
在一些实施例中，被显示给用户的VR视窗3的位置和定向通过使用预定平面标记图像或目标图像来确定。图2示出目标图像的示例。在图2中，传统计算机监视器21正显示目标图像22。然而，注意，监视器21不是可视化设备的一部分。在所示示例中，目标图像22是监视器的整个(黑暗的)显示器，它上面有大字母“Q”。“Q”图像是有利的，因为它在水平和垂直两个轴中都不具有对称性。对称性可能导致目标图像的所检测到的姿态中的歧义。然而，注意，目标图像可以改为是某种其它预定图像，然而优选地是也不具有水平和垂直对称性的图像。例如，目标图像可以改为被绘制或固定在墙壁上或某个其它物理对象上。替换地，目标对象可以是实际物理对象(如由可视化设备上的相机所观察到的)。而且，尽管目标图像在所示实施例中是固定的，然而在其它实施例中，目标图像可在现实世界环境中物理地移动。在任一场景中，可视化设备可持续地调整VR视窗的所显示的位置、大小和形状以考虑目标图像相对于可视化设备的当前位置和定向。
可视化设备使用目标图像来确定在何处定位显示给用户的VR视窗以及如何设置该VR视窗的大小和定向。在某些实施例中，可视化设备将VR视窗覆盖在目标图像上并将VR视窗的边界精确地匹配到目标图像的边界，即，其将VR视窗和目标图像配准(coregister)。在其它实施例中，该设备可简单地使用目标图像作为参考点，例如以使VR视窗位于中心。
此外，可视化设备具有感测其自己在其本地物理环境中的位置以及其在6-DOF中的移动(即，沿着三个正交轴中的每个轴的平移以及绕每个轴的旋转)的能力。它使用此能力来在用户在空间中相对于标记图像移动时修改该VR视窗中显示的内容，以反映用户的位置和视角的改变。例如，如果用户(或可视化设备)移动得更靠近目标图像，则其中的VR视窗和VR内容将在显示器上变得更大。在该情况下，VR视窗内的内容也可被修改以显示对象的更多细节和/或VR视窗的边缘附近的附加图像，就像用户在直直朝着真实的(物理)窗口移动并接着用户正站在该窗口若干之外时向该窗口外看去时将看到的那样。类似地，如果用户移动远离目标图像，则其中的VR视窗和VR内容将在显示器上变得更小，其中VR内容被相应地修改。而且，如果用户向侧方移动而使得该设备不具有平面目标图像的直接(垂直)视图，则可视化设备将相应地调整VR视窗的所显示的形状和内容以考虑用户的视角的改变，以维持VR视窗是通向另一环境/宇宙的门户的逼真假象。
在某些实施例中，VR视窗内的VR内容是可视化设备维持的更大的VR图像的子集。例如，更大的VR图像的大小可被设置成至少涵盖整个所显示区域或者用户的视野。在这样的实施例中，可视化设备使用遮挡几何形状，诸如网格或着色器，以屏蔽VR图像的在VR视窗以外的部分以便VR图像的该部分不被显示给用户。遮挡几何形状的示例在图3中以遮挡网格31的形式示出。整个VR图像包括多个VR对象，但是仅至少部分在VR视窗内的那些VR对象被使得对用户可见，如在图1的示例中所示。
图4A到4D示出混合现实可视化技术可如何被应用的略微更复杂的示例。在图4中，可视化设备已将包含VR场景的VR视窗40覆盖在目标图像(未示出)上，以使得用户不再能通过显示器看见目标图像。此示例中的VR场景包括宇宙飞船41、星球42和月亮43。因此，应当理解，该VR场景不是监视器21(或连接到监视器的设备)实际生成的场景，而是改为由被用户握持或佩戴的可视化设备(在图4A到4D中未示出)生成并显示的。尽管如此，可视化设备可具有适当的控制界面来触发目标图像的显示，例如通过与一独立设备通信以使得该独立设备显示目标图像。
VR对象41到43中的至少一些可被动画化。例如，宇宙飞船41可看上去朝着用户飞出VR视窗，如图4B和4C中所示(虚线箭头和--宇宙飞船轮廓在本文档中仅是为了解释且不被显示给用户)。在VR视窗40的边界外的所显示的对象或其任何部分被认为是AR对象而非VR对象。然而，在AR对象和VR对象之间没有功能差异，用户也不会意识到它们的任何区别，除了它们在显示器上的表观位置和距用户的表观距离外。可视化设备中的渲染硬件和软件可将任何VR对象无缝地移出VR视窗40(在此情况下该对象变成AR对象)并将任何AR对象无缝地移入VR视窗(在此情况下该对象变成VR对象)。
图4D示出了替换视图，其中用户正从更偏向用户左侧的位置观看该场景，使得用户/设备不具有对平面目标图像的直接(垂直)视图。在此视图中，VR视窗40和其中的VR内容的形状被相应地修改以维持VR视窗40是通向另一环境/宇宙的门户的逼真假象。在此示例中，用户现在可以在VR视窗的背景中看到另一星球45，该另一星球45在图4A到4C的示例中被隐藏(其中用户正迎面看该图像)，并且也可在前景中看到第一星球42的更多部分。而且，用户现在可从不同角度看到宇宙飞船41(作为AR对象)。此外，VR视窗40本身的形状已被改变为略成梯形，而不是完美的矩形，以反映该不同查看角度。
图5示出在某些实施例中由可视化设备执行的总体过程的示例。在步骤501，设备向用户提供他或她的环境的现实世界实时视图。此“现实视图”可以是直接视图，诸如透过HMD设备上的透明或半透明显示器的视图，或者间接视图，诸如由相机获得并被显示在手持式移动设备上的视图。与步骤501并发地，在502设备确定VR视窗应当显示在环境的现实世界实时视图内的位置，并且在步骤503在所确定的位置处显示该VR视窗。此过程可不断重复，如上所述。注意，在其它实施例中，各步骤的安排可能不同。
图6更详细地示出根据某些实施例的可视化设备的操作的示例。在步骤601，可视化设备估计目标图像的6-DOF姿态。随后在步骤602该设备创建与目标图像对齐的遮挡几何形状，如上所述。遮挡几何形状实际上创建了VR视窗。设备在步骤603估计其自己的6-DOF相机姿态，即，其自己的跟踪相机的6-DOF位置和定向。在所示实施例中，设备随后在步骤604使用6-DOF相机姿态用其自己的虚拟相机在VR视窗内渲染VR场景，同时在步骤605在VR视窗外渲染一个或多个AR对象。注意，步骤604和605可作为单个渲染步骤来执行，然而为了清楚在图6中它们被分开显示。此外，在其它实施例中，图6中的过程的步骤序列可以不同。6-DOF相机姿态是从目标图像的坐标系到可视化设备上的显示相机(例如，RGB相机)的坐标系的估计姿态转换(旋转和平移)，或者反之。目标图像的中心可被当做目标图像的坐标系的原点。虚拟相机是由图形软件或硬件实现的渲染相机。估计的6-DOF相机姿态可被用来将该场景中的虚拟相机在来自实况视频馈源的幕布图像前方移动，从而带来内容处于所创作的场景中的假象。上述过程随后可循环回到步骤603并且从该步骤不断重复，如上所述。
图7是示出根据一些实施例的该混合现实可视化设备的某些功能组件的示例的高级框图。所示混合现实可视化设备71包括6-DOF跟踪模块72、应用渲染模块73、一个或多个跟踪(视频)相机74和一个或多个显示(视频)相机75。6-DOF跟踪模块72接收来自(一个或多个)跟踪相机74(以及任选的来自IMU(未示出))的输入并基于这些输入持续更新相机姿态。6-DOF跟踪模块72基于这些输入生成并输出转换数据(例如，旋转(R)和平移(t))，该转换数据表示从目标图像的坐标系到显示相机的坐标系的估计的姿态转换。
应用和渲染模块73生成在其中应用混合现实可视化技术的应用上下文并且可以例如是游戏软件应用。应用和渲染模块73接收来自6-DOF跟踪模块72的转换数据(R,t)，并且基于该数据以及来自(一个或多个)显示相机75的图像数据来生成图像数据，该图像数据被发送给(一个或多个)显示设备76以供显示给用户。6-DOF跟踪模块72和应用渲染模块73各自可由恰当编程的可编程电路系统或由专门设计(“硬连线”)的电路系统或其组合来实现。
如同上面提及的，混合现实可视化设备71可以例如是经恰当配置的传统手持式移动设备，或专用HMD设备。在任一情况下，这种可视化设备的物理组件可以如图8中所示，图8示出了这种设备的高级、概念视图。注意，这种可视化设备的其它实施例可不包括图8中示出的所有组件和/或可包括图8中未示出的附加组件。
所示可视化设备71的物理组件包括以下各项中的每一项的一个或多个实例：处理器81、存储器82、显示设备83、显示视频相机84、深度感测跟踪视频相机85、惯性测量单元(IMU)87、以及通信设备87，它们均通过互连88(直接或间接地)耦合在一起。互连88可以是或可以包括一个或多个导电迹线、总线、点到点连接、控制器、适配器、无线链路和/或其他常规连接设备和/或媒体，其中至少一些可彼此独立地操作。
(诸)处理器81单独地和/或共同地控制可视化设备71的总体操作并执行各种数据处理功能。附加地，处理器81可提供用于生成和显示上述虚拟测量工具的计算和数据处理功能中的至少一些。例如，每个处理器81可以是或可以包括一个或多个通用可编程微处理器、数字信号处理器(DSP)、移动应用处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PGA)等，或此类设备的组合。
将处理器81配置成执行本文介绍的混合现实可视化技术的各方面的数据和指令(代码)90可被存储在一个或多个存储器82中。每个存储器82可以是或可以包括一个或多个物理存储设备，其可以是以下形式：随机存取存储器(RAM)、只读存储器(ROM)(其可以是可擦除并可编程的)、闪存、微型硬盘驱动器、或其他合适类型的存储设备、或这样的设备的组合。
一个或多个通信设备87使得可视化设备71能够从分开的外部处理系统(诸如个人计算机、游戏控制台或远程服务器)接收数据和/或命令，并向该分开的外部处理系统发送数据和/或命令。例如，每个通信设备88可以是或可以包括通用串行总线(USB)适配器、Wi-Fi收发器、蓝牙或蓝牙低能量(BLE)收发器、以太网适配器、电缆调制解调器、DSL调制解调器、蜂窝收发器(例如，3G、LTE/4G或5G)、基带处理器等，或其组合。
(一个或多个)显示视频相机84获取用户的环境的实况视频馈源，以产生用户的环境的现实视图，特别是在传统手持式移动设备实施例中。(一个或多个)跟踪视频相机85可被用来检测可视化设备71相对于其本地环境(以及特别地，相对于目标图像)的移动(平移和/或旋转)。(一个或多个)跟踪相机85中的一个或多个可以是深度感测相机85，在此情况下(一个或多个)相机85可被用来应用例如飞行时间原理来确定到附近对象(包括目标图像)的距离。IMU 86可包括例如一个或多个陀螺仪和/或加速度计以发送设备71的平移和/或旋转。在至少一些实施例中，鉴于(一个或多个)跟踪相机85的存在，IMU 86不是必须的，但尽管如此IMU 86仍可被用来提供更稳健的估计。
注意，上述组件中的任何一种或全部可在它们的上述功能方面完全自包；然而，在一些实施例中，一个或多个处理器81提供与其他组件相关联的处理功能中的至少一些。例如，与跟踪相机85相关联的用于深度检测的数据处理中的至少一些可由处理器81执行。类似地，与IMU 86相关联的用于注视跟踪的数据处理中的至少一些可由处理器81执行。类似地，支持AR/VR显示器83的图像处理中的至少一些可由处理器81执行；等等。
以上描述的机器实现的操作可由通过软件和/或固件来编程/配置的可编程电路，或者完全由专用电路，或者由这样的形式的组合来实现。这样的专用电路(如果有的话)可采用例如一个或多个专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等的形式。
用于实现本文中引入的技术的软件可被储存在机器可读存储介质上，并可由一个或多个通用或专用可编程微处理器来执行。如本文中所使用的术语“机器可读介质”包括可存储机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任意设备等)可访问的形式的信息的任何机制。例如，机器可访问介质包括可记录/不可记录介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质、光学存储介质；闪存设备等)等。
某些实施例的示例
本文中介绍的技术的某些实施例被概括在以下经编号的示例中：
1.一种方法，包括：在可视化设备的显示区域上向所述可视化设备的用户提供所述用户的环境的现实世界实时视图；在所述可视化设备中确定虚拟现实视窗应当在所述用户的所述环境的所述现实世界实时视图内显示的位置；以及在所述可视化设备的所述显示区域上在所述用户的所述环境的所述现实世界实时视图内的所确定的位置处显示所述虚拟现实视窗。
2.如示例1所述的方法，进一步包括：在所述可视化设备中生成除所述用户的所述环境以外的第二环境的模拟场景；其中所述显示所述虚拟现实视窗包括在所述虚拟现实视窗内显示所述第二环境的所述模拟场景。
3.如示例1或示例2所述的方法，进一步包括：检测所述可视化设备的物理移动；其中所述显示所述虚拟现实视窗包括响应于所述可视化设备的物理移动在所述可视化设备中修改所述虚拟现实视窗的内容，以模拟所述可视化设备相对于所述虚拟现实视窗的视角的改变。
4.如示例1至3中任一项所述的方法，其中所述确定所述虚拟现实视窗应当被显示的位置包括：标识所述用户的所述环境中的预定图案；以及基于所述预定图案设置虚拟现实视窗应当被显示的位置。
5.如示例1至4所述的方法，其中所述显示所述虚拟现实视窗包括从所述可视化设备的视角将所述虚拟现实视窗覆盖在所述预定图案上。
6.如示例1至5中任一项所述的方法，进一步包括：检测所述预定图案的位置和定向；以及基于所述预定图案的所述位置和定向确定所述虚拟现实视窗的显示位置和定向。
7.如示例1至6中任一项所述的方法，进一步包括：在所述可视化设备的所述显示区域上显示覆盖在所述现实世界实时视图上的、在所述虚拟现实视窗外的增强现实图像。
8.如示例1至7中任一项所述的方法，进一步包括：在所述显示区域上显示由所述设备生成的对象，以使得所述对象看上去从所述虚拟现实视窗移动到所述用户的所述环境的所述现实世界实时视图，或反之。
9.一种方法，包括：通过具有显示能力的设备标识位于所述设备的用户占据的三维空间内的第一区域；使得所述用户能够在所述设备上查看所述三维空间的排除了所述第一区域的部分的实时现实世界视图；在使得所述用户能够在所述设备上查看所述三维空间的排除了所述第一区域的部分的实时现实世界视图的同时，使得所述设备在所述第一区域中向所述用户显示虚拟现实图像；在使得所述设备在所述第一区域中向所述用户显示虚拟现实图像的同时，使得所述设备从所述用户的视角在所述三维空间的第二区域中向所述用户显示增强现实图像，所述第二区域在所述第一区域之外；通过所述设备检测所述设备的位置和定向的改变；以及响应于所述显示设备的所述位置和定向的改变，调整所述设备所显示的所述虚拟现实图像的位置或定向。
10.如示例9中所述的方法，其中所述标识所述第一区域包括标识所述用户占据的所述三维空间中的预定可见标记图案。
11.如示例9或示例10所述的方法，其中所述使得所述设备在所述第一区域中显示所述虚拟现实图像包括将所述虚拟现实图像覆盖在所述第一区域上以使得所述第一区域与所述预定可见标记图案同延(coextensive)。
12.如示例9至11中任一项所述的方法，进一步包括：在所述设备上显示所述设备所生成的对象，以使得所述对象看上去从所述第一区域移动至所述第二区域，或反之。
13.一种可视化设备，包括：具有显示区域的显示设备；用于获取所述设备所处的环境的图像的相机；惯性测量单元(IMU)；耦合至所述显示设备、所述相机和所述IMU的至少一个处理器，且所述至少一个处理器被配置成：使得所述显示设备在所述显示区域上显示所述设备所处的所述环境的现实世界实时视图；确定虚拟现实视窗在所述现实世界实时视图内应当被显示的位置；使得所述显示设备在所述显示区域上在所述现实世界实时视图内的所确定的位置处显示所述虚拟现实视窗；基于来自所述相机或所述IMU中的至少一者的数据检测所述设备的物理移动；以及响应于所述设备的所述物理移动修改所述虚拟现实视窗的内容，以模拟所述用户相对于所述虚拟现实视窗的视角改变。
14.如示例13所述的可视化设备，其中所述设备是手持式移动计算设备，且所述设备所处的所述环境的所述现实世界实时视图是由所述相机获取的。
15.如示例13所述的可视化设备，其中所述设备是头戴式AR/VR显示设备。
16.如示例13至15中任一项所述的可视化设备，其中所述至少一个处理器被进一步配置成：生成除所述设备所处的所述环境以外的第二环境的模拟场景；其中显示所述虚拟现实视窗包括在所述虚拟现实视窗内显示所述第二环境的所述模拟场景。
17.如示例13至16中任一项所述的可视化设备，其中所述至少一个处理器被进一步配置成：使得所述显示设备在所述显示区域上显示覆盖在所述现实世界实时视图上的、在所述虚拟现实视窗外的增强现实图像。
18.如示例13至17中任一项所述的可视化设备，其中所述至少一个处理器被进一步配置成：生成对象；以及使得所述显示设备在所述显示区域上显示所述对象，以使得所述对象看上去从所述虚拟现实视窗移动到所述设备所处的所述环境的所述现实世界实时视图，或反之。
19.如示例13到18中任一项所述的可视化设备，其中确定所述虚拟现实视窗应当被显示的位置包括：标识所述用户的所述环境中的预定图案；以及基于所述预定图案的位置设置所述位置。
20.如示例13至19所述的可视化设备，其特征在于，显示所述虚拟现实视窗包括从所述可视化设备的视角将所述虚拟现实视窗覆盖在所述预定图案上。
21.一种设备，包括：用于在可视化设备的显示区域上向所述可视化设备的用户提供所述用户的环境的现实世界实时视图的装置；用于在所述可视化设备中确定虚拟现实视窗应当在所述用户的所述环境的所述现实世界实时视图内显示的位置的装置；以及用于在所述可视化设备的所述显示区域上在所述用户的所述环境的所述现实世界实时视图内的所确定的位置处显示所述虚拟现实视窗的装置。
22.如示例21所述的设备，进一步包括：用于在所述可视化设备中生成除所述用户的所述环境以外的第二环境的模拟场景的装置；其中所述用于显示所述虚拟现实视窗的装置包括用于在所述虚拟现实视窗内显示所述第二环境的所述模拟场景的装置。
23.如示例21或示例22所述的设备，进一步包括：用于检测所述可视化设备的物理移动的装置；其中所述用于显示所述虚拟现实视窗的装置包括用于响应于所述可视化设备的物理移动在所述可视化设备中修改所述虚拟现实视窗的内容，以模拟所述可视化设备相对于所述虚拟现实视窗的视角的改变的装置。
24.如示例21至23中任一项所述的设备，其中所述用于确定所述虚拟现实视窗应当被显示的位置的装置包括：用于标识所述用户的所述环境中的预定图案的装置；以及基于所述预定图案设置虚拟现实视窗应当被显示的位置。
25.如示例21至24所述的设备，其中所述用于显示所述虚拟现实视窗的装置包括用于从所述可视化设备的视角将所述虚拟现实视窗覆盖在所述预定图案上的装置。
26.如示例21至25中任一项所述的设备，进一步包括：用于检测所述预定图案的位置和定向的装置；以及
用于基于所述预定图案的所述位置和定向确定所述虚拟现实视窗的显示位置和定向的装置。
27.如示例21至26中任一项所述的设备，进一步包括：用于在所述可视化设备的所述显示区域上显示覆盖在所述现实世界实时视图上的、在所述虚拟现实视窗外的增强现实图像的装置。
28.如示例21至27中任一项所述的设备，进一步包括：用于在所述显示区域上显示由所述设备生成的对象，以使得所述对象看上去从所述虚拟现实视窗移动到所述用户的所述环境的所述现实世界实时视图，或反之的装置。
以上所述的特征和功能中的任一者和全部可彼此组合，除了其可在以上被按其他方式被陈述或者任何这样的实施例可由于其功能或结构而不兼容的范畴以外，如对本领域的普通技术人员所显而易见的。除非与物理可能性相反，否则可预期(i)本文中描述的方法/步骤可按任何顺序和/或任何组合被执行，以及(ii)相应的实施例的组件可按任何方式被组合。
尽管用结构特征和/或动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。

Claims (15)

1.一种方法，包括：
在可视化设备的显示区域上向所述可视化设备的用户提供所述用户的环境的现实世界实时视图；
在所述可视化设备中确定虚拟现实视窗应当在所述用户的所述环境的所述现实世界实时视图内显示的位置；以及
在所述可视化设备的所述显示区域上在所述用户的所述环境的所述现实世界实时视图内的所确定的位置处显示所述虚拟现实视窗。
2.如权利要求1所述的方法，其特征在于，进一步包括：
在所述可视化设备中生成除所述用户的所述环境以外的第二环境的模拟场景；
其中所述显示所述虚拟现实视窗包括在所述虚拟现实视窗内显示所述第二环境的所述模拟场景。
3.如权利要求1或权利要求2所述的方法，其特征在于，进一步包括：
检测所述可视化设备的物理移动；
其中所述显示所述虚拟现实视窗包括响应于所述可视化设备的物理移动在所述可视化设备中修改所述虚拟现实视窗的内容，以模拟所述可视化设备相对于所述虚拟现实视窗的视角的改变。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述确定所述虚拟现实视窗应当被显示的位置包括：
标识所述用户的所述环境中的预定图案；以及
基于所述预定图案设置虚拟现实视窗应当被显示的位置。
5.如权利要求4所述的方法，其特征在于，所述显示所述虚拟现实视窗包括从所述可视化设备的视角将所述虚拟现实视窗覆盖在所述预定图案上。
6.如权利要求1至5中任一项所述的方法，其特征在于，进一步包括：
在所述可视化设备的所述显示区域上显示覆盖在所述现实世界实时视图上的、在所述虚拟现实视窗外的增强现实图像。
7.如权利要求1至6中任一项所述的方法，其特征在于，进一步包括：
在所述显示区域上显示由所述设备生成的对象，以使得所述对象看上去从所述虚拟现实视窗移动到所述用户的所述环境的所述现实世界实时视图，或反之。
8.一种可视化设备，包括：
具有显示区域的显示设备；
用于获取所述设备所处的环境的图像的相机；
惯性测量单元(IMU)；
耦合至所述显示设备、所述相机和所述IMU的至少一个处理器，且所述至少一个处理器被配置成：
使得所述显示设备在所述显示区域上显示所述设备所处的所述环境的现实世界实时视图；
确定虚拟现实视窗在所述现实世界实时视图内应当被显示的位置；
使得所述显示设备在所述显示区域上在所述现实世界实时视图内的所确定的位置处显示所述虚拟现实视窗；
基于来自所述相机或所述IMU中的至少一者的数据检测所述设备的物理移动；以及
响应于所述设备的所述物理移动修改所述虚拟现实视窗的内容，以模拟所述用户相对于所述虚拟现实视窗的视角改变。
9.如权利要求8所述的可视化设备，其特征在于，所述设备是手持式移动计算设备，且所述设备所处的所述环境的所述现实世界实时视图是由所述相机获取的。
10.如权利要求8或权利要求9所述的可视化设备，其特征在于，所述设备是头戴式AR/VR显示设备。
11.如权利要求8至10中任一项所述的可视化设备，其特征在于，所述至少一个处理器被进一步配置成：
生成除所述设备所处的所述环境以外的第二环境的模拟场景；
其中显示所述虚拟现实视窗包括在所述虚拟现实视窗内显示所述第二环境的所述模拟场景。
12.如权利要求8至11中任一项所述的可视化设备，其特征在于，所述至少一个处理器被进一步配置成：
使得所述显示设备在所述显示区域上显示覆盖在所述现实世界实时视图上的、在所述虚拟现实视窗外的增强现实图像。
13.如权利要求8至12中任一项所述的可视化设备，其特征在于，所述至少一个处理器被进一步配置成：
生成对象；以及
使得所述显示设备在所述显示区域上显示所述对象，以使得所述对象看上去从所述虚拟现实视窗移动到所述设备所处的所述环境的所述现实世界实时视图，或反之。
14.如权利要求8到13中任一项所述的可视化设备，其特征在于，确定所述虚拟现实视窗应当被显示的位置包括：
标识所述用户的所述环境中的预定图案；以及
基于所述预定图案的位置设置所述位置。
15.如权利要求14所述的可视化设备，其特征在于，显示所述虚拟现实视窗包括从所述可视化设备的视角将所述虚拟现实视窗覆盖在所述预定图案上。
CN201580066094.5A 2014-12-04 2015-11-24 混合现实可视化和方法 Pending CN107004303A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201414561167A 2014-12-04 2014-12-04
US14/561,167 2014-12-04
US14/610,992 2015-01-30
US14/610,992 US20160163063A1 (en) 2014-12-04 2015-01-30 Mixed-reality visualization and method
PCT/US2015/062241 WO2016089655A1 (en) 2014-12-04 2015-11-24 Mixed-reality visualization and method

Publications (1)

Publication Number Publication Date
CN107004303A true CN107004303A (zh) 2017-08-01

Family

ID=54838440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066094.5A Pending CN107004303A (zh) 2014-12-04 2015-11-24 混合现实可视化和方法

Country Status (6)

Country Link
US (1) US20160163063A1 (zh)
EP (1) EP3227862A1 (zh)
JP (1) JP2018503165A (zh)
KR (1) KR20170092632A (zh)
CN (1) CN107004303A (zh)
WO (1) WO2016089655A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515674A (zh) * 2017-08-08 2017-12-26 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN108022302A (zh) * 2017-12-01 2018-05-11 深圳市天界幻境科技有限公司 一种Inside-Out空间定位的AR立体显示装置
CN109242980A (zh) * 2018-09-05 2019-01-18 国家电网公司 一种基于增强现实技术的隐蔽管道可视化系统和方法
CN109727318A (zh) * 2019-01-10 2019-05-07 广州视革科技有限公司 在ar设备中实现传送门效果并呈现vr全景视频画面的方法
CN111710019A (zh) * 2019-03-18 2020-09-25 苹果公司 虚拟纸张
CN112312110A (zh) * 2019-07-29 2021-02-02 史克威尔·艾尼克斯有限公司 非暂态计算机可读介质、图像处理装置及图像处理方法
CN113168725A (zh) * 2018-10-21 2021-07-23 甲骨文国际公司 使用语音命令和定义的视角优化虚拟数据视图
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US10147388B2 (en) * 2015-04-29 2018-12-04 Rovi Guides, Inc. Systems and methods for enhancing viewing experiences of users
US10003778B2 (en) 2015-04-29 2018-06-19 Rovi Guides, Inc. Systems and methods for augmenting a viewing environment of users
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
JP7116410B2 (ja) * 2017-03-31 2022-08-10 株式会社バンダイナムコエンターテインメント プログラム及び画像生成システム
US10444506B2 (en) 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
KR20240051315A (ko) * 2017-06-20 2024-04-19 포토니카, 아이엔씨. 착용식 개선 현실 시각화
EP3422148B1 (en) * 2017-06-29 2021-03-10 Nokia Technologies Oy An apparatus and associated methods for display of virtual reality content
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
KR102559011B1 (ko) * 2017-12-06 2023-07-24 주식회사 케이티 가상 현실 체험 서비스를 제공하는 방법, 단말 및 서버
BR112020010819A2 (pt) 2017-12-18 2020-11-10 Dolby International Ab método e sistema para tratar transições locais entre posições de escuta em um ambiente de realidade virtual
CN111602105B (zh) 2018-01-22 2023-09-01 苹果公司 用于呈现合成现实伴随内容的方法和设备
US10861238B2 (en) 2018-05-14 2020-12-08 Microsoft Technology Licensing, Llc Experiential representation of data in mixed reality
JP6917340B2 (ja) * 2018-05-17 2021-08-11 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
EP3576417B1 (en) * 2018-05-28 2021-05-26 Honda Research Institute Europe GmbH Method and system for reproducing visual and/or audio content synchronously by a group of devices
US11587292B2 (en) * 2018-07-30 2023-02-21 Disney Enterprises, Inc. Triggered virtual reality and augmented reality events in video streams
US10916220B2 (en) * 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
KR102620702B1 (ko) 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
KR102620363B1 (ko) 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
WO2020152585A1 (en) * 2019-01-21 2020-07-30 Insightness Ag Transparent smartphone
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
CN109862286B (zh) * 2019-03-28 2021-08-17 深圳创维－Rgb电子有限公司 图像显示方法、装置、设备和计算机存储介质
US11361519B1 (en) * 2021-03-29 2022-06-14 Niantic, Inc. Interactable augmented and virtual reality experience
EP4381369A1 (en) * 2021-09-24 2024-06-12 Apple Inc. Portal view for content items
US12073010B2 (en) 2022-07-01 2024-08-27 State Farm Mutual Automobile Insurance Company VR environment for accident reconstruction
US11790776B1 (en) 2022-07-01 2023-10-17 State Farm Mutual Automobile Insurance Company Generating virtual reality (VR) alerts for challenging streets
US20240054690A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. User Responsive Augmented Reality Enhancement of Moving Images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120108332A1 (en) * 2009-05-08 2012-05-03 Sony Computer Entertainment Europe Limited Entertainment Device, System, and Method
US20120113142A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality interface for video
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102693125A (zh) * 2011-01-13 2012-09-26 株式会社泛泰 用于提供窗口形式的增强现实的设备和方法
CN103189827A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
CN103847640A (zh) * 2012-12-05 2014-06-11 现代自动车株式会社 提供增强现实的方法和设备
CN103959344A (zh) * 2011-12-20 2014-07-30 英特尔公司 跨越多个设备的增强现实表示
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8037416B2 (en) * 2008-08-06 2011-10-11 International Business Machines Corporation Presenting and filtering objects in a virtual world
US20120182313A1 (en) * 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120108332A1 (en) * 2009-05-08 2012-05-03 Sony Computer Entertainment Europe Limited Entertainment Device, System, and Method
US20120113142A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality interface for video
CN103189827A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102693125A (zh) * 2011-01-13 2012-09-26 株式会社泛泰 用于提供窗口形式的增强现实的设备和方法
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实系统及方法
CN103959344A (zh) * 2011-12-20 2014-07-30 英特尔公司 跨越多个设备的增强现实表示
CN103847640A (zh) * 2012-12-05 2014-06-11 现代自动车株式会社 提供增强现实的方法和设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515674A (zh) * 2017-08-08 2017-12-26 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法
CN108022302B (zh) * 2017-12-01 2021-06-29 深圳市天界幻境科技有限公司 一种Inside-Out空间定位的AR立体显示装置
CN108022302A (zh) * 2017-12-01 2018-05-11 深圳市天界幻境科技有限公司 一种Inside-Out空间定位的AR立体显示装置
CN109242980A (zh) * 2018-09-05 2019-01-18 国家电网公司 一种基于增强现实技术的隐蔽管道可视化系统和方法
CN113168725A (zh) * 2018-10-21 2021-07-23 甲骨文国际公司 使用语音命令和定义的视角优化虚拟数据视图
CN109727318A (zh) * 2019-01-10 2019-05-07 广州视革科技有限公司 在ar设备中实现传送门效果并呈现vr全景视频画面的方法
CN111710019A (zh) * 2019-03-18 2020-09-25 苹果公司 虚拟纸张
US11748966B2 (en) 2019-03-18 2023-09-05 Apple Inc. Virtual paper
CN111710019B (zh) * 2019-03-18 2023-09-08 苹果公司 虚拟纸张
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN112312110A (zh) * 2019-07-29 2021-02-02 史克威尔·艾尼克斯有限公司 非暂态计算机可读介质、图像处理装置及图像处理方法
CN112312110B (zh) * 2019-07-29 2024-07-23 史克威尔·艾尼克斯有限公司 非暂态计算机可读介质、图像处理装置及图像处理方法
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备

Also Published As

Publication number Publication date
JP2018503165A (ja) 2018-02-01
WO2016089655A1 (en) 2016-06-09
KR20170092632A (ko) 2017-08-11
US20160163063A1 (en) 2016-06-09
EP3227862A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
CN107004303A (zh) 混合现实可视化和方法
US11752431B2 (en) Systems and methods for rendering a virtual content object in an augmented reality environment
CN113711165B (zh) 将虚拟环境与情境物理现实相混合
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
Gervautz et al. Anywhere interfaces using handheld augmented reality
CN110709897B (zh) 用于插入到图像中的图像内容的阴影生成
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
CN109643014A (zh) 头戴式显示器追踪
CN108700936A (zh) 用于虚拟现实的直通相机用户界面元素
CN108227916A (zh) 用于确定沉浸式内容中的兴趣点的方法和设备
CN112313605A (zh) 增强现实环境中对象的放置和操纵
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
US11659150B2 (en) Augmented virtuality self view
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
Hoberman et al. Immersive training games for smartphone-based head mounted displays
BR112019009494A2 (pt) dispositivo de computação para suportar uma aplicação de realidade aumentada, método de suporte a uma aplicação de realidade aumentada e meio de armazenamento legível por computador
CN109725956A (zh) 一种场景渲染的方法以及相关装置
JP5350427B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质
KR101983233B1 (ko) 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법
CN112967404A (zh) 控制虚拟对象移动的方法、装置、电子设备及存储介质
CN109949396A (zh) 一种渲染方法、装置、设备和介质
Ericsson et al. Interaction and rendering techniques for handheld phantograms
CN105446672B (zh) 一种信息处理方法和电子设备
US20230191259A1 (en) System and Method for Using Room-Scale Virtual Sets to Design Video Games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801

WD01 Invention patent application deemed withdrawn after publication