CN108073555A - 用于从电子文档生成虚拟现实环境的方法和系统 - Google Patents

用于从电子文档生成虚拟现实环境的方法和系统 Download PDF

Info

Publication number
CN108073555A
CN108073555A CN201710841752.4A CN201710841752A CN108073555A CN 108073555 A CN108073555 A CN 108073555A CN 201710841752 A CN201710841752 A CN 201710841752A CN 108073555 A CN108073555 A CN 108073555A
Authority
CN
China
Prior art keywords
image
text
virtual reality
document
original candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710841752.4A
Other languages
English (en)
Other versions
CN108073555B (zh
Inventor
张惟德
B·金
L·A·沃雷尔
A·阿玛尼尤科斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN108073555A publication Critical patent/CN108073555A/zh
Application granted granted Critical
Publication of CN108073555B publication Critical patent/CN108073555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开总体上涉及用于从电子文档生成虚拟现实环境的方法和系统。具体地，公开了用于通过将从电子文档提取的图像和文本内容映射到虚拟现实模块来从电子文档生成虚拟现实环境的系统和方法。计算系统执行分析电子文档以标识在电子文档内出现的文档元素的过程。解析文档元素以标识具有适合于虚拟现实的最小图像特性的候选图像。将候选图像中的一个或多个插入到虚拟现实模块中。将与候选图像相关的文本元素也插入到虚拟现实模块中。在由虚拟现实查看者设备执行虚拟现实模块时，将来自电子文档的文本和图像元素在虚拟现实环境中呈现给查看者以进行非线性的探索和阅读。

Description

用于从电子文档生成虚拟现实环境的方法和系统
技术领域
本公开总体上涉及计算机实现的方法和系统，并且更具体地涉及用于从电子文档生成虚拟现实环境的方法和系统。
背景技术
PDF文档、文字处理文档、网页和其他电子文档通常呈现线性阅读体验。这些类型的文档可以被认为是“二维”、“平坦”或以其他方式“线性”的，因为它们意图被依次阅读和查看。因此，线性电子文档没有被优化用于与虚拟现实(VR)技术一起使用，VR技术构成了以更具吸引力和身临其境的方式体验内容的全新范例。由于VR内容获得了快速的消费者吸引力和采用率，所以现在出现了一个直接的问题，即传统上呈现的线性电子文档中的内容如何可以转换为VR内容，以提供更加引人注目的体验，而不仅仅是经由传统媒体(即经由在网页上或者在文字处理程序或PDF阅读器的图形用户界面中阅读文本和查看图像)来查看电子文档。
发明内容
本文中公开的系统和方法涉及用于从诸如PDF文档和文字处理文档等传统线性电子文档来生成虚拟现实环境的技术。在计算系统中执行的虚拟现实映射模块分析电子文档以标识在电子文档内出现的文档元素。文档元素包括例如文档中的图像和文本元素。虚拟现实映射模块还解析文档元素以标识包括指示图像适合于虚拟现实的最小图像特性的候选图像。最小图像特性的示例是最小视场特性。虚拟现实映射模块还解析文档元素以标识位于候选图像附近的文本元素。在电子文档中，图像附近的文本指示该图像的描述文本。在一些实施例中，虚拟现实映射模块基于文本元素与候选图像的接近度来选择要添加到虚拟现实环境的文本元素。在另外的实施例中，虚拟现实映射模块基于N元语法序列的同时出现来选择要添加到虚拟现实环境的文本元素。
在本文中描述的附加技术中，计算系统从文本元素生成N元语法文本序列。N元语法文本序列指示序列是否出现在电子文档的给定部分内的概率。经常出现的N元语法序列指示描述电子文档中的内容的潜在主题。经常出现的N元语法序列被包括在在线搜索查询中以标识具有适合于虚拟现实的最小图像特性的附加图像。虚拟现实映射模块使用利用本文中描述的技术从文档内在线地找到的图像集合来向用户呈现沉浸式且基本无缝的虚拟现实环境。
提及这些说明性方面和特征并非为了限制或限定本发明，而是提供示例以帮助理解本申请中公开的发明构思。在审查整个申请之后，本发明的其他方面、优点和特征将变得显而易见。
附图说明
当参考附图阅读以下详细描述时，本公开的这些和其他特征、方面和优点将被更好地理解，在附图中：
图1是描绘根据本文中公开的某些实施例的将电子文档的内容映射到虚拟现实环境的计算环境的示例的框图；
图2是示出根据本文中公开的某些实施例的用于将电子文档的内容映射到虚拟现实环境的说明性方法的流程图；
图3是示出根据本文中公开的某些实施例的用于经由N元语法序列来标识内容主题并且使用内容主题来从在线来源中标识潜在的虚拟现实图像的方法的流程图；
图4是描述根据本文中公开的某些实施例的N元语法序列的列表的示例的表格；
图5是描述根据本文中公开的某些实施例的电子文档中的同时出现的N元语法句子的列表的示例的表格；
图6是使用本文中公开的某些实施例的技术生成的虚拟现实环境的第一视图；
图7是使用本文中公开的某些实施例的技术生成的虚拟现实环境的第二视图；
图8是使用本文中公开的某些实施例的技术生成的虚拟现实环境的第三视图；
图9是使用本文中公开的某些实施例的技术生成的虚拟现实环境的第四视图；
图10是根据本文中公开的某些实施例的其中用户使用传送门户在场景之间导航的虚拟现实环境的第一视图；以及
图11是根据本文中公开的某些实施例的其中用户在场景之间导航的虚拟现实环境的第二视图。
具体实施方式
提供了用于将线性电子文档变换成虚拟现实模块的系统和方法，虚拟现实模块在使用虚拟现实设备被执行时呈现包括从电子文档中提取的图像和文本内容的沉浸式且探索性的虚拟现实环境。在一个示例中，使用本文中公开的技术，文档作者能够从便携式文档格式(PDF)文档生成沉浸式虚拟现实模块。在所公开的实施例中，计算系统执行虚拟现实映射模块，虚拟现实映射模块处理电子文档以将来自电子文档的图像和文本内容映射到虚拟现实模块。在执行该过程时，计算系统首先标识电子文档中的文档元素。文档元素的示例包括文档元数据以及嵌入文档中的标识文档中的图像和文本的标签。虚拟现实映射模块解析文档元素以标识电子文档中具有适合于虚拟现实的图像特性的图像。例如，具有最小视场值的图像指示可以适合于虚拟现实的图像。然后，虚拟现实映射模块将所标识的图像中的至少一个插入到虚拟现实模块中。虚拟现实映射模块还可以在虚拟现实模块中插入附加图像，并且将不同的图像拼接在一起以产生沉浸式全景图像。一旦被执行，虚拟现实模块在沉浸式虚拟现实环境中将插入的图像呈现给用户。
有时，电子文档可以不包括具有适合于虚拟现实的最小图像特性的图像。例如，电子文档可以包括呈黑色和白色的图像，具有有限的视场，或者电子文档根本不包括任何图像。在本文中的实施例中，虚拟现实映射模块还执行用于通过在线搜索来标识包括用于VR的最小图像特性的相关图像的过程。为了实现这一点，虚拟现实映射模块解析电子文档中的文本元素以从电子文档生成N元语法文本片段序列。N元语法文本片段序列指示在文档的部分内出现某些文本序列的概率。使用N元语法文本序列中的一个或多个，虚拟现实映射模块向一个或多个在线图像数据库启动搜索查询。虚拟现实映射模块下载在搜索结果中找到的外部图像(即在文档的外部)，并且标识具有用于虚拟现实的最小特性的外部图像。然后，虚拟现实映射模块将外部图像中的至少一个插入到虚拟现实模块中。用于插入的外部图像的选择通过经由被呈现给用户的用户界面的引导过程或者经由虚拟现实映射模块自动执行。
在另外的实施例中，虚拟现实映射模块还标识出现在所提取的图像附近的文档文本，并且在虚拟现实模块中的相应的插入图像附近的位置处将文档文本插入虚拟现实模块中。文本被添加作为图像之上的注释层，使得当用户在虚拟现实环境中导航到定义的位置时，为图像提供叙述上下文的相应文本显示为弹出图层。
因此，本文中公开的实施例使得文档作者能够在虚拟现实中为用户创建交互式体验。不仅限于文档内容的静态和线性阅读，本文中的技术使得用户能够进入虚拟现实环境中以在探索沉浸式虚拟现实世界的同时阅读电子文档的文本。虚拟现实世界包括直接来自电子文档的内容和从在线来源下载的附加内容，使得用户以非线性和探索性的方式体验内容。
给出这些说明性示例以向读者介绍本文中讨论的一般主题，而非意图限制所公开的概念的范围。以下部分参考附图来描述各种附加方面和示例，在附图中，相同的数字表示相同的元素。
现在参考附图，图1是其中可以实践本公开的一个或多个实施例的环境100的图。环境100包括经由网络103连接到创意装置110的作者设备101。作者设备的用户经由网络103来使用由创意装置110支持的各种产品、应用或服务。例如，作者设备101执行计算机可读代码以向作者设备101提供内容创建工具102。内容创建工具102向作者提供用于与创意装置110交互的用户界面。创意装置110执行一个或多个软件模块以实现本文中公开的实施例的特征——从作为输入提供给创意装置110的电子文档135生成虚拟现实模块140。经由内容创建工具102，作者将相应的媒体内容(例如，电子文档135)提供给创意装置110，并且在一些实施例中，定制来自电子文档135的图像和文本到虚拟现实模块140的映射。
作者设备101对应于各种用户。用户的示例包括但不限于使用创意工具来生成、编辑、跟踪或管理创意内容的创意专业人员或业余爱好者、使用营销工具来生成、编辑、跟踪或管理在线内容或者管理在线营销过程的的营销专业人员、最终用户、管理员、使用文档工具来创建、编辑、跟踪或管理文档的用户、广告客户、发布商、开发人员、内容所有者、内容管理员、内容创作者、内容查看者、内容消费者、设计师、编辑者、这些用户的任何组合、或者使用数字工具来创建、编辑、跟踪或管理数字体验的任何其他用户。作者设备101的示例包括但不限于个人计算机(PC)、平板计算机、台式计算机、处理单元、这些设备的任何组合、或者具有一个或多个处理器的任何其他合适的设备。
如上所述，作者操作作者设备101中的内容创建工具102，其通过数据网络103连接到创意装置110并且与创意装置110接口。数据网络103的示例包括但不限于互联网、局域网(LAN)、无线区域网、有线局域网、广域网等。
创意装置110包括在通信上耦合到通信接口114和数据存储单元120的处理器112。通信接口114包括适于建立到数据网络103的有线或无线数据连接的任何设备或设备组。通信接口114的非限制性示例包括以太网网络适配器、调制解调器等。创意装置110经由通信接口114传输消息作为电子信号或光信号。例如，创意装置110经由通信接口114从作者设备101接收输入并且向作者设备101提供输出。处理器112执行计算机可执行程序代码/或访问存储在数据存储单元120中的信息。处理器112包括例如微处理器、专用集成电路(“ASIC”)、状态机或其他处理设备。处理器112包括一个处理设备或多于一个处理设备。这样的处理器包括或可以与存储指令的计算机可读介质通信，指令在由处理器112执行时引起处理器执行本文中描述的操作。
数据存储单元120包括任何合适的非暂态计算机可读介质。计算机可读介质包括能够向处理器提供计算机可读指令或其他程序代码的任何电子、光学、磁性或其他存储设备。计算机可读介质的非限制性示例包括磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、光学存储器、磁带或其他磁存储装置、或者计算机处理器可以从其读取指令的任何其他介质。指令包括由编译器和/或解释器根据用任何合适的计算机编程语言编写的代码生成的处理器特定指令，任何合适的计算机编程语言包括例如C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript。
数据存储单元120还存储可以由作者/创意专业人员使用以执行本文中的操作的媒体内容项129。媒体内容项129包括例如图像文件130、文本文件132、视频文件133和电子文档文件135。电子文档文件135包括向用户提供线性阅读体验的任何传统文档。电子文档135的示例包括文字处理文档、PDF文档等。
创意装置110执行程序代码以配置处理器112执行本文中描述的操作。例如，程序代码包括虚拟现实映射引擎138，虚拟现实映射引擎138包括一个或多个子模块，诸如文档元素分析引擎130、文档对象模型(DOM)解析引擎134和N元语法提取引擎136。在VR映射引擎138(以及VR映射引擎138的相应子模块)的执行之后，创意装置从电子文档135和由作者选择的其他媒体内容项129生成虚拟现实模块140。
虚拟现实模块140包括由虚拟现实查看者设备106可执行以向用户显示虚拟现实环境的一组打包的计算机指令。例如，通过数据网络103连接到创意装置110和作者设备101的虚拟现实查看者设备106通过数据网络103获取虚拟现实设备模块140。虚拟现实查看者设备106包括例如耳机，当用户佩戴耳机时，耳机向每个眼睛呈现单独的显示。在一些方面，虚拟现实查看者设备106执行能够阅读和执行被呈现在不同的虚拟现实模块(例如，虚拟现实模块140)中的不同虚拟现实环境的查看者应用108。
通过本文中的实施例，虚拟现实模块140执行程序代码以便以沉浸式方式来显示包括电子文档135的文本和图像内容的部分的虚拟现实环境。例如，在电子文档135中发现的180度全景图像经由虚拟现实模块140呈现为全景图像，当用户操纵虚拟现实查看者设备106时，用户经由头部移动来导航全景图像。在一些实施例中，VR映射引擎138还标识从在线服务109找到的外部图像。例如，VR映射引擎138解析来自电子文档135的文本元素，以启动在线服务109之间对在线图像数据库的在线搜索查询(例如，来自互联网搜索引擎的图像服务)。以电子文档135包括180度全景图像为例，VR映射引擎138启动搜索查询以标识描绘环境的后半部分的相应的180度全景图像。通过图像处理技术，VR映射引擎138然后将两个180度全景图像拼接在一起以产生被包括在虚拟现实模块140中的沉浸式360度全景。在虚拟现实模块140的执行之后，虚拟现实查看者设备106向用户呈现完整的360度图像。在一些实施例中，VR映射引擎138可以确定多个图像格式在电子文档135内和/或经由外部源可用，并且可以将所有这样的选项插入到虚拟现实模块140中。在这些情况下，虚拟现实模块140可以根据虚拟现实查看者设备106或用于查看虚拟现实模块140的任何其他查看者的查看能力来选择用于在虚拟现实环境中呈现的图像格式(例如，360度全景或180度全景)。
本领域技术人员将理解，为了说明的目的，VR映射引擎138以及子模块、包括文档元素分析引擎130、DOM解析引擎134和N元语法提取引擎136被示出为数据存储单元120中的可执行计算机模块(数据存储单元120是创意装置110的部分或由创意装置110可访问)。在其他实施例中，VR映射模块120和相应的子模块也可以被包括在作者设备101中包括的数据存储设备中。
图2是描绘用于从电子文档生成虚拟现实模块的示例过程200的流程图，虚拟现实模块包括从电子文档中提取的图像和文本，以从提供来自文档的内容作为非线性体验。过程200被实现为由图1中列出的部件中的一个或多个或者在任何合适的计算或通信环境中执行的软件算法。例如，过程200的步骤可以以存储在计算机可读介质(即，数据存储单元120)中的程序代码(即VR映射引擎114和相应的子模块)来实施，程序代码由创意装置110的处理器执行。
过程200包括分析电子文档以标识出现在电子文档中的文档元素，如框210所示。操作作者设备101的作者在由内容创建工具102呈现的用户界面中选择输入以标识电子文档135作为到VR映射模块软件138的输入。创意装置110执行由VR映射模块138中的计算机代码指示的软件处理，并且启动文档元素分析模块130。
电子文档中的文档元素包括构成电子文档的各个部件。例如，文档元素的标识包括页面、题目、部分、标题、图像元素、段落、文本片段和其他部件的标识。一些电子文档可以包括提供文档元素的标识的嵌入式标签或元数据。例如，对于PDF文档，原始PDF作者能够使用嵌入式可扩展元数据平台(XMP)标签来生成PDF。另一示例，HTML文档包括标识文档元素的HTML标签。在一些实施例中，文档元素分析模块130通过标识电子文档中存在的文档标签/元数据(例如，XMP标签/HTML标签或其他格式的嵌入式标签/元数据)来分析文档元素。在PDF文档的情况下，文档元素分析模块启动pdfMakeAccessible模块以标识PDF元素。在其他情况下，电子文档可以是不包括任何标签或元数据的静态文档。在这样的实施例中，文档元素分析模块130执行图像分析和处理技术(例如，光学字符识别(OCR))，从电子文档自动地标识和提取文本和图像元素。
通过分析文档元素，文档元素分析模块130按照阅读顺序标识文档元素。例如，在多列文档中，文本呈现为每个页面的两个或更多个列。多列文档中的正确的阅读顺序包括从页面的第一列向下阅读文档的句子和段落，然后按照这个顺序从第二列向下，依此类推。通过按照阅读顺序标识文档元素，标识文档元素的所标识的文本元素，使得阅读顺序被保留(即，在多列文档中，对于每个页面，文本元素被标识为从第一列向下的文本，然后从第二列继续向下)。
在一些实施例中，文档元素分析模块130分析电子文档以标识文档元素并且输出包括文档元素的文档对象模型(DOM)数据结构。
过程200还包括解析文档元素以标识包括最小图像特性的原始候选图像，如框220所示。如上所述，文档元素包括文本元素(例如，段落、文本片段运行等)和图像元素。图像元素标识电子文档中存在的图像。原始候选图像是在电子文档中存在的示出指示适合于虚拟现实的图像的某些特性的图像。最小图像特性的一个示例是视场值的阈值最小值。例如，文档元素分析模块130可以标识电子文档中的多个图像，一些图像具有比其他图像更大的视场。视场值为180度或更大的图像指示适合于虚拟现实的全景图像。视场的最小阈值值是可编程的，并且VR映射模块138可以根据内容作者的需要而配置有不同的视场值。其他图像特性包括图像尺寸、颜色映射、图像显著性和其他图像特性。
为了标识原始候选图像，VR映射模块138执行DOM解析模块134以解析由文档元素分析模块130标识的文档元素。存在多个实施例，其中DOM解析模块134能够根据电子文档135的格式和结构来标识图像元素。
在一个实施例中，电子文档135包括嵌入式或相关联的元数据/标签(即作为文档的部分被嵌入、或者作为链接到文档的单独文件被提供的元数据/标签)。图像的元数据/标签指示图像特性，诸如视场、景深等。在一些方面，文档元素可以包括标识文档内的VR准备好的图像的元数据标签(即指示给定的图像包括用于虚拟现实的最小图像特性)。DOM解析模块134检查元数据以检测图像是否包括最小图像特性。
在另一实施例中，电子文档135不包括用于指示图像中的任何图像是否为VR准备好的任何元数据/标签。在本实施例中，DOM解析模块134执行图像分类处理，图像分类处理通过图像处理技术来分析电子文档中的每个图像以确定每个图像的图像特性。例如，DOM解析模块134标识每个图像的视场、颜色、景深和其他特性，并且然后根据用于VR的图像特性的强度来对候选图像进行分类。例如，DOM解析模块134通过减少视场值的顺序以及文档是否是彩色来对候选图像进行分类。通过图像分析技术，DOM解析模块134标识适用于虚拟现实的潜在的候选图像(即包括最小图像特性)。
过程200还包括用于标识用于插入到虚拟现实模块中的原始候选图像(即，在电子文档135内找到的满足最小图像特性的图像)中的至少一个的步骤，如框230所示。例如，经由自动处理，VR映射模块138从来自文档的多个原始候选图像中选择具有最高视场值的候选图像。在其他实施例中，VR映射模块138经由被呈现在作者设备101上的在内容创建工具102上的用户界面来启用用于图像选择的引导过程。在这样的实施例中，内容创建工具102从创意装置110接收被标识为满足由于VR的最小图像特性的多个图像。作者经由被提供给用户界面的输入来选择候选图像中的一个或多个用于插入到虚拟现实模块中。
过程200还包括用于将原始候选图像中的至少一个插入到虚拟现实模块中的步骤，如框240所示。虚拟现实模块140包括处于用于虚拟现实查看者设备106的计算机可读格式的打包程序代码。通过将图像映射到适合于虚拟现实查看者设备106的格式，VR映射模块138将原始候选图像(即，如上所述在框230中标识的图像)插入到虚拟现实模块140中。在由虚拟现实查看者设备106执行虚拟现实模块140之后，插入的图像由虚拟现实查看者设备的用户/佩戴者可查看。下面，图6-11描绘基于从电子文档插入的图像的虚拟现实环境的各种场景的示例。
在一些实施例中，标识多个候选图像用于插入到虚拟现实模块140中。例如，电子文档135可以包括被选择用于插入到虚拟现实模块140中的多个全景图像。第一图像包括真实世界环境的180度全景照片。第二图像包括完成真实世界环境的整个360度全景摄影表现的其他180度全景照片。电子文件中的第三图像包括真实世界环境的第二区域(例如，第一和第二照片可以描绘在受欢迎的旅游景点之外的真实世界环境，第三照片揭示旅游景点的内部)。VR映射模块138通过将第一照片和第二照片拼接在一起(经由图像处理技术)以生成用于虚拟现实模块140的360度全景视图来将每个标识的图像插入到虚拟现实模块140中。此外，VR映射模块138将第三照片插入到虚拟现实模块140中，作为虚拟现实世界的单独区域。
在一些实施例中，VR映射模块138利用电子文档135的典型结构来引导图像和其他内容作为附加VR区域到虚拟现实模块140中的放置。在一个实施例中，稍后的图像和内容被分类为在电子文档135的叙述结构中在时间上稍后出现，并且因此被放置在超出在参与VR体验时显示的立即VR区域的VR区域中。当从文档中提取随后的VR潜在图像和内容时，创建附加VR区域，使得用户能够通过由电子文档135描述的叙述顺序来进行导航。在替代实施例中，使用N元语法分析来进行文档的阈值映射以确定后续VR区域是不同的和叙述上不同的主题，将被如上所述处理，还是前面的主题的详细探索。如果VR映射模块138确定正在进行详细的探索(通过N元语法分析来发现词和句子相似性)，则可以将新的VR区域聚集在正在被探索的主VR区域周围。还设想了组织和向用户呈现VR区域的其他方法。
在由虚拟现实查看者设备106执行虚拟现实模块140之后，查看者被呈现第一和第二照片中所示的真实世界环境的360度全景视图。查看者进一步操纵照片，以使得查看者能够通过从一个区域移动到另一区域(即，通过在虚拟现实环境中呈现第三照片，从旅游行动的外部移动到旅游景点的内部)来与虚拟现实世界交互)。通过呈现被插入到虚拟现实模块140中的两个不同的图像来从一个区域移动到另一区域的示例在图10和11中示出，并且在下面进一步讨论。
在框250中，过程200还包括从文档元素中标识文本元素相对于电子文档的图像元素的位置。电子文档135可以包括在电子文档内在图像附近的文本。页面上的图像附近的文本比在更远的地方的文本更容易描述图像。例如，图像标题环绕描述图像的电子文档内的图像。文本元素的位置可以通过标准图像处理和光学字符识别技术来标识。例如，用于句子片段的(x，y，w，h)边界框用于确定到图像中心的线性距离。选择位于图像的阈值接近度内的文本元素作为虚拟现实模块140的文本注释。阈值接近度值是由作者设备101可配置的可编程值。
在框260中，过程200还包括在被插入到虚拟现实模块中的原始候选图像上插入文本元素中的一个或多个作为注释层。通过将文本元素作为注释层插入，在由虚拟现实查看者设备106执行虚拟现实模块140之后，插入的文本层被示出为弹出窗口或其他界面，同时用户正在虚拟现实环境中探索和交互。图7-8描绘当用户导航包括从电子文档135提取和映射的图像和文本元素的虚拟现实环境时出现在虚拟现实界面上的文本弹出注释的示例。
在用作图像的标题或描述性框的单个文本注释的情况下，将单个文本注释作为注释对象插入虚拟现实图像的中心。在多个候选注解的情况下，经由N元语法分析和主题标识方法对多个候选注释进行排序。例如，在自动化过程中，通过从文档元素计算N元语法文本序列并且标识在被插入到虚拟现实模块140中的图像元素的阈值接近度内出现的顶部N元语法序列，也可以由VR映射模块138自动且智能地选择被选择用于注释的文本元素。下面参考图3和图5进一步讨论用于从N元语法标识来进行主题标识的技术。此外，作者设备101的用户可以通过如下进一步描述的引导过程来手动地选择和放置注释。
在电子文档135经由引导过程被映射到虚拟现实模块140的实施例中，内容创建工具102在作者设备101的显示器上呈现用户界面，用于选择和插入所标识的文本和图像元素。一旦VR映射模块138分析电子文档并且解析文本和图像元素以标识原始候选图像(如以上经由步骤210-220所讨论的)，内容创建工具102的用户界面向作者设备101的操作者呈现潜在图像元素的列表，此外，在标识电子文档中的文本元素和上述文本元素的位置之后，VR映射模块138将文档文本的列表呈现给用户界面，其按照与被选择用于插入到虚拟现实模块140的图像的接近度来被排序。内容创建工具102从用户接收指示要作为注释层插入到虚拟现实模块140中的文本元素的输入。
在一些情况下，电子文档135不包括具有适合于虚拟现实的最小图像特性的图像。例如，电子文档135可以包括视场值小于可编程阈值值的黑白图像。在这些情况下，VR映射模块138启动从与适合于虚拟现实的电子文档的内容相关联的在线来源来标识附加图像的过程。
图3描绘了用于从在线来源标识外部候选图像(即外部的，因为它们在电子文档135外部，而不是电子文档135的部分)的过程300。由VR映射模块138的N元语法提取模块136部分解析由文档元素分析模块130标识的文档元素，并且从文档元素生成多个N元语法文本序列。N元语法是来自给定文本序列的“N”个项目的连续序列。N元语法文本序列使用N元语法提取方法从文档元素来生成。在本文中的实施例中，N元语法跨越电子文档135的文本来计算。此外，对于在停止词过滤和词干处理之后找到的所有单词序列，给定w1、w2、...、wi，计算N元语法概率以标识适合于启动在线图像搜索的电子文档135的最佳主题项目。
例如，在N元语法模型中，观察句子w1、…、wm的概率P(w1,…,wm)通过下式来近似：
N元语法提取模块136从N元语法频率计数来计算条件概率：
N元语法提取模块136将上述等式应用于在文档元素中标识的文本元素以生成多个N元语法文本序列。N元语法文本序列还指示在文档的某一部分内出现文本的概率。图4描绘了用于N＝1(一元语法)、N＝2(二元语法)和N＝3(三元语法)的多个N元语法文本序列的示例。例如，N元语法序列410指示N元语法序列“spy station”在电子文档135内出现73次，并且对于电子文档135的任何给定部分具有2.24％的出现机会。类似地，N元语法序列420指示N元语法序列“Field Station Berlin”在电子文档135内出现71次，并且在电子文档135的任何给定部分具有4.8％的出现机会。因此，N元语法文本序列指示文本序列在文档中出现时的相对重要性，以使得VR映射模块138能够通过智能和自动过程来标识电子文档135的主题。例如，根据出现概率的顺序被排序的N元语法文本序列指示主题的可能顺序。在图4所示的示例中，“Berlin”、“Teufelsberg”、“spy station”、“Field station”、“FieldStation Berlin”是电子文档135中经常出现的文本序列，并且指示电子文档135的可能的主题候选。
回到图3，过程300还包括选择用于在线搜索查询的多个N元语法文本序列中的至少一个，以标识包括最小图像特性的附加图像，如框320所示。RV映射模块138选择例如前X个单字、二进制和三元组作为描绘电子文档的内容的潜在主题，X是可编程的数字。在另外的实施例中，N元语法序列按照出现概率的顺序被呈现给内容创建工具102的用户界面，并且作者设备101的操作者能够通过指导过程来选择N元语法序列中的一个或多个。
VR映射模块138将所选择的N元语法文本序列作为在线搜索查询传输到一个或多个在线服务109(即用于检索图像的图像服务，诸如搜索引擎)。VR映射模块138另外使用以下正则表达式来连结上下文搜索项：
N元语法X(VR|360|Panorama)
其中“N元语法X”是指N元语法序列。添加附加的上下文搜索项以增加从具有适合于虚拟现实的最小图像特性的在线图像搜索中检索图像的可能性。VR映射模块138使用前X个N元语法(包括一元语法、二元语法和三元语法)的所有可能排列来重复搜索。
在线图像搜索向虚拟现实模块140返回潜在的外部候选图像的列表。通过以上关于图2中的框220所描述的处理，虚拟现实模块140从包括适合于虚拟现实的最小图像特性的外部候选图像中标识一个或多个候选图像。由于图像搜索是以最高排序的N元语法开始的，其具有与描述电子文档135的内容的主题相对应的高可能性，所以VR映射模块138能够智能地且自动地标识与电子文件的内容相关的附加图像。
在一些实施例中，候选图像的列表被呈现给内容创建工具102。作者设备101的操作者能够手动地细化用于插入到虚拟现实模块140中的附加候选图像的选择。
过程300还包括将附加候选图像中的至少一个插入到虚拟现实模块中，如框330所示。RV映射模块138经由以上关于240描述的过程来将所选择的附加候选图像(即，从在线搜索查询中选择的图像)插入到虚拟现实模块140。
VR映射模块138可以通过以上关于框220-230和320描述的方法的组合来标识用于插入到虚拟现实模块140中的候选图像。例如，VR映射模块138首先标识具有在电子文档135中找到(即从文档元素的分析中标识)的最小图像特性的潜在的原始候选图像。在选择和插入原始候选图像之后，VR映射模块138启动电子文档135的文本元素的N元语法文本分析，并且启动以上在框320中描述的在线搜索查询。这可以从在线来源标识附加的候选图像，以补充已经从电子文档135中提取并且被映射到虚拟现实模块140的原始图像。VR映射模块138在相对于原始候选图像的位置将附加的候选图像插入到虚拟现实模块140中。例如，假定VR映射模块138标识包括最小图像特性的电子文档内的第一图像。第一照片是真实世界环境的第一部分的照片。还假定VR映射模块138还从在线图像搜索中标识揭示真实世界环境的第二部分的外部候选图像，以完成真实世界环境的360度全景图像。然后，VR映射模块138通过将两个图像拼接在一起来将两个图像映射到虚拟现实模块140。
除了使用N元语法文本序列来启动与文档内容相关的附加图像的在线搜索查询之外，N元语法文本序列可以由VR映射模块138使用以从文档元素中标识文本片段以在注释层中用作文本对象，以补充上上关于图2中的框250-260所述的过程。图5描绘了标识的示例，使用N元语法序列，文本片段可以用作虚拟现实模块140中的文本注释层。
VR映射模块138标识前X个N元语法序列，并且标识电子文档135内包括前X个N元语法序列中的两个或更多个的句子(X是可编程值)。例如，在图5中，VR映射模块138选择前四个N元语法序列：“Berlin Teufelsberg”、“Station Berlin”、“Field Station”和“Spystation”，并且标识电子文档中包括这些序列中的两个或更多个的句子(本文中称为“同时出现的N元语法句子”)。VR映射模块138还标识这些同时出现的N元语法句子出现在电子文档中的行号和位置。
因此，本文中描述的N元语法提取过程用于采样电子文档内容文本以找到候选注释句子。VR映射模块138使用同时出现的N元语法句子作为虚拟现实模块140中的注释层。同时出现的N元语法句子被自动插入到虚拟现实模块140中的虚拟现实图像场景中，或者由用户通过引导过程来选择和定位。例如，在自动化过程中，VR映射模块138根据原始文本与原始电子文档图像的相对接近度，在虚拟现实图像中的相应位置插入同时出现的N元语法句子作为注释层。
在另外的实施例中，VR映射模块138添加在电子文档135内找到并且从在线服务109标识并且与电子文档135中的内容相关的附加内容作为附加注释层。在电子文档135中找到的附加内容包括例如由电子文档的作者提供的其他形式的文本(例如，记事贴、用户定义的元数据、编辑评论)。在电子文档135中发现的附加内容可以作为注释层被添加到被选择用于插入到虚拟现实模块140中的图像中的一个或多个。
从在线服务109标识的附加内容包括例如关于电子文档135的主题的权威性评论(例如，由域名专家撰写的学术PDF内容)、关于电子文档135的主题的社交媒体帖子和评论、以及与主题相关的分析、统计来源或可视化。电子文档中的主题涉及例如如上所述的前X个N元语法文本序列。使用与以上关于框320所讨论的类似的过程，VR映射模块138启动在线搜索引擎、社交媒体平台和其他外部源中的搜索查询，以标识与电子文档135的主题有关的附加内容源，用于插入到虚拟现实模块140中。
图6-9描绘了通过本文中描述的技术生成的虚拟现实环境的不同视图的示例，其示出了当用户操纵虚拟现实视图时的各种注释层。图6-9所示的虚拟现实环境的视图从提供关于Teufelsberg的信息的PDF文档来生成，Teufelsberg是保存前NSA监听站的德国的一个旅游景点。图6-9中的每个视图是当用户操纵和导航虚拟现实环境时，从虚拟现实查看者设备106的用户的视点看的截图。
图6从查看Teufelsberg的场景的用户的角度描绘了虚拟现实环境中的一个视点。在虚拟现实查看者设备106中执行并且呈现图6中的视图的虚拟现实模块140还包括通过以上在图2和3中描述的过程的文本注释层。注释指示符910a、910c是描绘文本注释(即从电子文档135提取并且被映射到虚拟现实模块140的文本注释)的位置的视觉指示符。注释指示符910b是描绘社交媒体注释(例如，被发现为来自在线来源109的社交媒体评论的文本)的位置的视觉指示符。经由注释指示符910a-c，系统向用户描绘要发现或阅读的剩余文本注释的数目。
图7描绘了当用户围绕虚拟现实环境导航时的虚拟现实环境的第二视点，将虚拟现实视图(例如，通过移动虚拟现实查看者设备106)定位在来自图6的注释指示符910a上。当用户将视图集中在文本注释层910a上时，执行的虚拟现实模块140开始将插入的文本注释层1010呈现为弹出窗口。
图8描绘了当用户将视图集中在注释层1010上时的虚拟现实环境的第三视点。注释层弹出窗口扩展为文本注释层1110，其包括通过以上关于图2和3讨论的过程从电子文档135提取的文本句子。
图9描绘了当用户导航并且将视图集中在社交媒体注释1210上时的虚拟现实环境的第四视点。在将视图集中在社会媒体注释1210上之后，执行的虚拟现实模块140呈现经由上述过程从社交媒体在线来源109提取的社交媒体文本评论1220。
因此，使用本文中描述的技术，用户能够以非线性探索方式探索线性呈现的电子文档的内容。为了探索所生成的虚拟现实环境，虚拟现实查看者应用108被配置为处理用户输入，诸如用户的注视或虚拟触摸的方向。例如，虚拟现实模块140在执行时使得能够在触摸和注视启用的可滚动文本区域中查看整个页面注释框文本。可以检测用户的眼睛注视，以使页面前进以进行关闭阅读和关闭文本区域(例如，图8中的在文本注释层1110中示出的文本区域)。此外，虚拟现实查看者应用108解释用户的滑动手势以导航虚拟现实环境，从而使得用户能够经由手动滑动和眼睛注视来导航电子文档的内容。
为了在页面或场景之间移动(例如，在电子文档的不同页面中发现的不同VR图像，或者从内部和外部/在线来源发现的不同图像之间)，虚拟现实查看者应用108在虚拟现实环境中呈现传送门户。传送门户是向用户指示用户能够通过与门户进行交互来导航到不同的场景/图像的到用户的视觉指示符。图10和图11描绘了虚拟现实环境中的不同场景，其中用户经由传送门户从环境的第一部分导航到环境的第二部分。
具体地，图10描绘了Teufelsberg的视图，其中用户遇到了传送门户1310、由红门所示的虚拟现实环境中的指示符。查看者应用108处理用户输入(例如，眼睛注视和手势)来解释用户是否试图与传送门户1310交互。通过眼睛注视或手势，用户启用传送门户1310，而虚拟现实环境的下一场景从虚拟现实模块140被加载到查看者应用108。图11从用户的角度描绘了当用户从图10所示的一个虚拟现实场景导航到另一虚拟现实场景时的下一场景的图像。
本文中阐述了很多具体细节以提供对所要求保护的主题的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践所要求保护的主题。在其他情况下，普通技术人员将知道的方法、装置或系统没有被详细描述，以免模糊所要求保护的主题。

Claims (20)

1.一种用于通过从电子文档向虚拟现实模块映射图像和文本内容来从所述电子文档生成所述虚拟现实模块的方法，所述方法包括：
分析电子文档以标识在所述电子文档中出现的文档元素；
解析所述文档元素以标识所述电子文档中包括最小图像特性的原始候选图像，其中所述最小图像特性至少包括高于最小阈值的视场值；以及
将所述原始候选图像中的至少一个原始候选图像插入到所述虚拟现实模块中，其中在由虚拟现实设备执行所述虚拟现实模块之后，所述原始候选图像中的所述至少一个原始候选图像在虚拟现实环境中被呈现给用户。
2.根据权利要求1所述的方法，还包括：
从所述文档元素生成多个N元语法文本序列，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
选择所述多个N元语法文本序列中的至少一个N元语法文本序列用于在线搜索查询以标识包括所述最小图像特性的附加图像，所述附加图像从一个或多个在线来源被标识；以及
在相对于所述原始候选图像中的所述至少一个原始候选图像的位置将所述附加候选图像中的至少一个附加候选图像插入到所述虚拟现实模块中。
3.根据权利要求1所述的方法，其中
分析所述电子文档生成用于所述文档的文档对象模型，所述文档对象模型按照阅读顺序呈现所述文档元素。
4.根据权利要求1所述的方法，还包括：
从所述文档元素标识文本元素和图像元素的相对位置；
对于被选择用于插入到所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像，选择所述文本元素中被定位在所述原始候选图像中的所述至少一个原始候选图像的阈值接近度内的一个或多个文本元素；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述文本元素中被定位在给定图像元素的所述阈值接近度内的所述一个或多个文本元素作为注释层。
5.根据权利要求1所述的方法，还包括：
从所述文档元素生成多个N元语法文本序列，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
从所述多个N元语法文本序列中选择一个或多个同时出现的N元语法序列用于插入到所述虚拟现实模块中作为注释层；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所选择的同时出现的N元语法序列作为注释层。
6.根据权利要求1所述的方法，其中用于标识所述原始候选图像中的所述至少一个原始候选图像的步骤包括：
在由作者控制的用户界面上呈现所述原始候选图像；以及
从所述作者接收从所述原始候选图像标识所述候选图像中的所述至少一个候选图像的用户输入。
7.根据权利要求1所述的方法，还包括：
分析所述电子文档以标识附加注释层集合，所述附加注释层集合包括记事贴、用户定义的元数据或编辑评论中的一项或多项；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述附加注释层集合。
8.一种计算系统，包括：
处理器；以及
在通信上被耦合到所述处理器的存储器，其中所述处理器被配置为执行被包括在所述存储器中的指令以执行操作，所述操作包括：
分析电子文档以标识在所述电子文档中出现的文档元素；
解析所述文档元素以标识所述电子文档中包括最小图像特性的原始候选图像，其中所述最小图像特性至少包括高于最小阈值的视场值；以及
将所述原始候选图像中的至少一个原始候选图像插入到所述虚拟现实模块中，其中在由虚拟现实设备执行所述虚拟现实模块之后，所述原始候选图像中的所述至少一个原始候选图像在虚拟现实环境中被呈现给用户。
9.根据权利要求8所述的计算系统，其中所述处理器被配置为执行被包括在所述存储器中的指令以执行操作，所述操作还包括：
从所述文档元素生成多个N元语法文本序列，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
选择所述多个N元语法文本序列中的至少一个N元语法文本序列用于在线搜索查询以标识包括所述最小图像特性的附加图像，所述附加图像从一个或多个在线来源被标识；以及
在相对于所述原始候选图像中的所述至少一个原始候选图像的位置将所述附加候选图像中的至少一个附加候选图像插入到所述虚拟现实模块中。
10.根据权利要求8所述的计算系统，其中分析所述电子文档生成用于所述文档的文档对象模型，所述文档对象模型按照阅读顺序呈现所述文档元素。
11.根据权利要求8所述的计算系统，其中所述处理器被配置为执行被包括在所述存储器中的指令以执行操作，所述操作还包括：
从所述文档元素标识文本元素和图像元素的相对位置；
对于被选择用于插入到所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像，选择所述文本元素中被定位在所述原始候选图像中的所述至少一个原始候选图像的阈值接近度内的一个或多个文本元素；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述文本元素中被定位在给定图像元素的所述阈值接近度内的所述一个或多个文本元素作为注释层。
12.根据权利要求8所述的计算系统，其中所述处理器被配置为执行被包括在所述存储器中的指令以执行操作，所述操作还包括：
从所述文档元素生成多个N元语法文本序列，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
从所述多个N元语法文本序列选择一个或多个同时出现的N元语法序列用于插入到所述虚拟现实模块中作为注释层；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所选择的同时出现的N元语法序列作为注释层。
13.根据权利要求8所述的计算系统，其中标识所述原始候选图像中的所述至少一个原始候选图像包括：
在由作者控制的用户界面上呈现所述原始候选图像；以及
从所述作者接收从所述原始候选图像标识所述候选图像中的所述至少一个候选图像的用户输入。
14.根据权利要求8所述的计算系统，其中所述处理器被配置为执行被包括在所述存储器中的指令以执行操作，所述操作还包括：
分析所述电子文档以标识附加注释层集合，所述附加注释层集合包括记事贴、用户定义的元数据或编辑评论中的一项或多项；以及
在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述附加注释层集合。
15.一种非暂态计算机可读介质，体现由计算系统可执行的程序代码，其中所述程序代码可执行以执行操作，所述操作包括：
用于分析电子文档以标识在所述电子文档中出现的文档元素的步骤；
用于解析所述文档元素以标识所述电子文档中包括最小图像特性的原始候选图像的步骤，其中所述最小图像特性至少包括高于最小阈值的视场值；以及
用于将所述原始候选图像中的至少一个原始候选图像插入到所述虚拟现实模块中的步骤，其中在由虚拟现实设备执行所述虚拟现实模块之后，所述原始候选图像中的所述至少一个原始候选图像在虚拟现实环境中被呈现给用户。
16.根据权利要求15所述的非暂态计算机可读介质，其中所述程序代码可执行以执行操作，所述操作还包括：
用于从所述文档元素生成多个N元语法文本序列的步骤，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
用于选择所述多个N元语法文本序列中的至少一个N元语法文本序列用于在线搜索查询以标识包括所述最小图像特性的附加图像的步骤，所述附加图像从一个或多个在线来源被标识；以及
用于在相对于所述原始候选图像中的所述至少一个原始候选图像的位置将所述附加候选图像中的至少一个附加候选图像插入到所述虚拟现实模块中的步骤。
17.根据权利要求15所述的非暂态计算机可读介质，其中分析所述电子文档生成用于所述文档的文档对象模型，所述文档对象模型按照阅读顺序呈现所述文档元素。
18.根据权利要求15所述的非暂态计算机可读介质，其中所述程序代码可执行以执行操作，所述操作还包括：
用于从所述文档元素标识文本元素和图像元素的相对位置的步骤；
对于被选择用于插入到所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像，用于选择所述文本元素中被定位在所述原始候选图像中的所述至少一个原始候选图像的阈值接近度内的一个或多个文本元素的步骤；以及
用于在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述文本元素中被定位在给定图像元素的所述阈值接近度内的所述一个或多个文本元素作为注释层的步骤。
19.根据权利要求15所述的非暂态计算机可读介质，其中所述程序代码可执行以执行操作，所述操作还包括：
用于从所述文档元素生成多个N元语法文本序列的步骤，所述N元语法文本序列指示所述文本在所述电子文档的部分内出现的概率；
用于从所述多个N元语法文本序列选择一个或多个同时出现的N元语法序列用于插入到所述虚拟现实模块中作为注释层的步骤；以及
用于在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所选择的同时出现的N元语法序列作为注释层的步骤。
20.根据权利要求15所述的非暂态计算机可读介质，其中所述程序代码可执行以执行操作，所述操作还包括：
用于分析所述电子文档以标识附加注释层集合的步骤，所述附加注释层集合包括记事贴、用户定义的元数据或编辑评论中的一项或多项；以及
用于在所述虚拟现实模块中的所述原始候选图像中的所述至少一个原始候选图像上插入所述附加注释层集合的步骤。
CN201710841752.4A 2016-11-17 2017-09-18 用于从电子文档生成虚拟现实环境的方法和系统 Active CN108073555B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/354,042 US10068380B2 (en) 2016-11-17 2016-11-17 Methods and systems for generating virtual reality environments from electronic documents
US15/354,042 2016-11-17

Publications (2)

Publication Number Publication Date
CN108073555A true CN108073555A (zh) 2018-05-25
CN108073555B CN108073555B (zh) 2023-10-31

Family

ID=60159282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710841752.4A Active CN108073555B (zh) 2016-11-17 2017-09-18 用于从电子文档生成虚拟现实环境的方法和系统

Country Status (5)

Country Link
US (1) US10068380B2 (zh)
CN (1) CN108073555B (zh)
AU (1) AU2017225018B2 (zh)
DE (1) DE102017008430A1 (zh)
GB (1) GB2556174B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275430B2 (en) * 2015-06-29 2019-04-30 Microsoft Technology Licensing, Llc Multimodal sharing of content between documents
EP3285216A1 (en) * 2016-08-19 2018-02-21 Nokia Technologies Oy Association of comments to points of interest in virtual reality
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
CN107766303A (zh) * 2017-10-23 2018-03-06 百度在线网络技术（北京）有限公司 向用户提供3d阅读场景
US11003470B1 (en) * 2018-03-05 2021-05-11 Parallels International Gmbh Implementing sticky notes associated with remotely executed applications
US11049608B2 (en) 2018-07-03 2021-06-29 H&R Accounts, Inc. 3D augmented reality document interaction
US10885689B2 (en) * 2018-07-06 2021-01-05 General Electric Company System and method for augmented reality overlay
EP3716014B1 (de) * 2019-03-26 2023-09-13 Siemens Healthcare GmbH Übertragen eines zustands zwischen vr-umgebungen
US11562051B2 (en) 2019-04-25 2023-01-24 Motorola Mobility Llc Varying computing device behavior for different authenticators
US11082402B2 (en) 2019-04-25 2021-08-03 Motorola Mobility Llc Controlling computing device virtual private network usage with a wearable device
US11093659B2 (en) * 2019-04-25 2021-08-17 Motorola Mobility Llc Controlling content visibility on a computing device based on wearable device proximity
US11455411B2 (en) 2019-04-25 2022-09-27 Motorola Mobility Llc Controlling content visibility on a computing device based on computing device location
US11829723B2 (en) 2019-10-17 2023-11-28 Microsoft Technology Licensing, Llc System for predicting document reuse
US11755842B2 (en) * 2020-01-23 2023-09-12 The United States Of America, As Represented By The Secretary Of The Navy Natural language processing for descriptive language analysis including n-gram analysis of narrative information
US11513664B2 (en) * 2021-01-26 2022-11-29 Microsoft Technology Licensing, Llc Collaborative content recommendation platform
WO2022164547A1 (en) * 2021-01-26 2022-08-04 Microsoft Technology Licensing, Llc Collaborative content recommendation platform
WO2023060434A1 (zh) * 2021-10-12 2023-04-20 中国科学院深圳先进技术研究院 一种基于文本的图像编辑方法和电子设备
CN114898683A (zh) * 2022-05-18 2022-08-12 咪咕数字传媒有限公司 沉浸式阅读实现方法、系统、终端设备及存储介质
CN116704079B (zh) * 2023-08-03 2023-09-29 腾讯科技（深圳）有限公司 图像生成方法、装置、设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
JPH11238143A (ja) * 1998-02-19 1999-08-31 Mr System Kenkyusho:Kk 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体
US20050179617A1 (en) * 2003-09-30 2005-08-18 Canon Kabushiki Kaisha Mixed reality space image generation method and mixed reality system
US20070050341A1 (en) * 2005-08-23 2007-03-01 Hull Jonathan J Triggering applications for distributed action execution and use of mixed media recognition as a control input
US7305385B1 (en) * 2004-09-10 2007-12-04 Aol Llc N-gram based text searching
US20110058187A1 (en) * 2009-09-10 2011-03-10 Bentley Systems, Incorporated Augmented reality dynamic plots
CN102112987A (zh) * 2008-05-30 2011-06-29 微软公司 大规模图像注释的统计方法
CN103853797A (zh) * 2012-12-07 2014-06-11 中兴通讯股份有限公司 一种基于n元图片索引结构的图片检索方法与系统
US20140289607A1 (en) * 2013-03-21 2014-09-25 Korea Institute Of Science And Technology Apparatus and method providing augmented reality contents based on web information structure
US20150051899A1 (en) * 2013-08-13 2015-02-19 International Business Machines Corporation Correcting n-gram probabilities by page view information
US20150187139A1 (en) * 2013-12-26 2015-07-02 Electronics And Telecommunications Research Institute Apparatus and method of providing augmented reality
US20160041949A1 (en) * 2014-08-06 2016-02-11 International Business Machines Corporation Dynamic highlighting of repetitions in electronic documents
US20160049010A1 (en) * 2013-06-05 2016-02-18 Top Image Systems Ltd. Document information retrieval for augmented reality display
CN105630175A (zh) * 2016-02-16 2016-06-01 广东小天才科技有限公司 一种虚拟现实设备及虚拟现实图像生成方法
KR20160075315A (ko) * 2014-12-19 2016-06-29 양영모 가상 현실 이미지를 생성하는 디스플레이 시스템
US20160189334A1 (en) * 2014-12-29 2016-06-30 Nbcuniversal Media, Llc Apparatus and method for generating virtual reality content
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
CN105959665A (zh) * 2016-05-05 2016-09-21 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120284276A1 (en) * 2011-05-02 2012-11-08 Barry Fernando Access to Annotated Digital File Via a Network
US10222953B2 (en) * 2014-04-30 2019-03-05 Disney Enterprises, Inc. Systems and methods for editing virtual content of a virtual space
KR20160073750A (ko) * 2014-12-17 2016-06-27 한국전자통신연구원 텍스트 기반 공연 사전 시각화 장치 및 방법
WO2017120660A1 (en) * 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
JPH11238143A (ja) * 1998-02-19 1999-08-31 Mr System Kenkyusho:Kk 画像処理方法、仮想現実感の提示方法およびそのプログラムの記憶媒体
US20050179617A1 (en) * 2003-09-30 2005-08-18 Canon Kabushiki Kaisha Mixed reality space image generation method and mixed reality system
US7305385B1 (en) * 2004-09-10 2007-12-04 Aol Llc N-gram based text searching
US20070050341A1 (en) * 2005-08-23 2007-03-01 Hull Jonathan J Triggering applications for distributed action execution and use of mixed media recognition as a control input
CN102112987A (zh) * 2008-05-30 2011-06-29 微软公司 大规模图像注释的统计方法
US20110058187A1 (en) * 2009-09-10 2011-03-10 Bentley Systems, Incorporated Augmented reality dynamic plots
CN103853797A (zh) * 2012-12-07 2014-06-11 中兴通讯股份有限公司 一种基于n元图片索引结构的图片检索方法与系统
US20140289607A1 (en) * 2013-03-21 2014-09-25 Korea Institute Of Science And Technology Apparatus and method providing augmented reality contents based on web information structure
US20160049010A1 (en) * 2013-06-05 2016-02-18 Top Image Systems Ltd. Document information retrieval for augmented reality display
US20150051899A1 (en) * 2013-08-13 2015-02-19 International Business Machines Corporation Correcting n-gram probabilities by page view information
CN105814519A (zh) * 2013-12-12 2016-07-27 触摸式有限公司 将图像或标签输入到电子设备的系统和方法
US20150187139A1 (en) * 2013-12-26 2015-07-02 Electronics And Telecommunications Research Institute Apparatus and method of providing augmented reality
US20160041949A1 (en) * 2014-08-06 2016-02-11 International Business Machines Corporation Dynamic highlighting of repetitions in electronic documents
KR20160075315A (ko) * 2014-12-19 2016-06-29 양영모 가상 현실 이미지를 생성하는 디스플레이 시스템
US20160189334A1 (en) * 2014-12-29 2016-06-30 Nbcuniversal Media, Llc Apparatus and method for generating virtual reality content
US20160328883A1 (en) * 2015-05-05 2016-11-10 PTC, Inc. Augmented reality system
CN105630175A (zh) * 2016-02-16 2016-06-01 广东小天才科技有限公司 一种虚拟现实设备及虚拟现实图像生成方法
CN105959665A (zh) * 2016-05-05 2016-09-21 清华大学深圳研究生院 一种针对于虚拟现实设备的全景3d视频生成方法

Also Published As

Publication number Publication date
GB201715003D0 (en) 2017-11-01
US10068380B2 (en) 2018-09-04
US20180137681A1 (en) 2018-05-17
GB2556174A (en) 2018-05-23
AU2017225018A1 (en) 2018-05-31
DE102017008430A1 (de) 2018-06-07
AU2017225018B2 (en) 2021-06-24
GB2556174B (en) 2020-01-29
CN108073555B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108073555A (zh) 用于从电子文档生成虚拟现实环境的方法和系统
US11922712B2 (en) Technologies for content analysis
US20210042662A1 (en) Interactive Information Capture and Retrieval with User-Defined and/or Machine Intelligence Augmented Prompts and Prompt Processing
Xie et al. A semantic-based method for visualizing large image collections
CN108334627B (zh) 新媒体内容的搜索方法、装置和计算机设备
US20130129231A1 (en) System and Method for Labeling a Collection of Images
CN110914872A (zh) 用认知洞察力导航视频场景
US9552346B2 (en) Producing visualizations of elements in works of literature
CN110377789A (zh) 用于将文本概要与内容媒体关联的系统和方法
US20190034455A1 (en) Dynamic Glyph-Based Search
US20190227634A1 (en) Contextual gesture-based image searching
Zang et al. Multimodal icon annotation for mobile applications
RU2698405C2 (ru) Способ поиска в базе данных
Madan et al. Parsing and summarizing infographics with synthetically trained icon detection
Ishihara et al. Analyzing visual layout for a non-visual presentation-document interface
KR20230051995A (ko) 실감형 확장현실 콘텐츠 관리 플랫폼
Kolthoff et al. GUI2WiRe: rapid wireframing with a mined and large-scale GUI repository using natural language requirements
US20190303452A1 (en) Deep search embedding of inferred document characteristics
Moholdt et al. Detecting Out-of-Context Image-Caption Pair in News: A Counter-Intuitive Method
JP2020534590A (ja) 視覚的入力の処理
Pein et al. Using CBIR and semantics in 3D-model retrieval
US11574467B2 (en) Document augmented auto complete
US10922476B1 (en) Resource-efficient generation of visual layout information associated with network-accessible documents
US20240185544A1 (en) Computer-implemented method of providing at least one machine learning model, in particular for intelligent augmented reality applications
Banian Content-Aware AI-Driven Design Assistance Frameworks for Graphic Design Layouts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant