CN109690632B - 用于实现用户与出版物之间的计算机模拟现实交互的系统和方法 - Google Patents

用于实现用户与出版物之间的计算机模拟现实交互的系统和方法 Download PDF

Info

Publication number
CN109690632B
CN109690632B CN201780048662.8A CN201780048662A CN109690632B CN 109690632 B CN109690632 B CN 109690632B CN 201780048662 A CN201780048662 A CN 201780048662A CN 109690632 B CN109690632 B CN 109690632B
Authority
CN
China
Prior art keywords
user
publication
media content
augmented reality
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048662.8A
Other languages
English (en)
Other versions
CN109690632A (zh
Inventor
J·米歇尔·海恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Mud Block LLC
Original Assignee
Big Mud Block LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Mud Block LLC filed Critical Big Mud Block LLC
Publication of CN109690632A publication Critical patent/CN109690632A/zh
Application granted granted Critical
Publication of CN109690632B publication Critical patent/CN109690632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0291—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for reading, e.g. e-books
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/13—Type of disclosure document
    • G06V2201/131—Book

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

通过以下方式用于增强一个或多个出版物的方法、系统和媒体：接收由用户捕获的实况视频，所述实况视频包括出版物的视频，所述出版物包括受版权保护的内容；识别所述实况视频中的至少一个第一触发，识别与所述至少一个第一触发相关联并且与所述受版权保护的内容有关的一个或多个第一三维交互媒体，并向所述用户呈现所述第一三维交互媒体；以及识别所述第一三维交互媒体中的至少一个第二触发，识别与所述至少一个第二触发相关联并且与所述受版权保护的内容有关的一个或多个第二三维交互媒体，并向所述用户呈现所述第二三维交互媒体以逐步深化和丰富与所述出版物的所述受版权保护的内容的互动。

Description

用于实现用户与出版物之间的计算机模拟现实交互的系统和 方法
相关申请的交叉引用
本申请要求2016年6月3日提交的美国临时申请序列号62/345,320和2017年2月28日提交的美国申请序列号15/445,806的权益，前述每个申请的全部内容通过引用并入于此。
版权声明
本专利文件公开内容的一部分包括受版权保护的材料。版权所有人不反对任何人如同其出现在专利和商标局专利文件或记录中一样地拓制专利文件或专利公开内容，但在其他方面保留所有版权权利。
背景技术
增强现实(“AR”)技术提供物理真实世界环境的实时直接或间接视图，其元素通过诸如图形、视频、声音或GPS数据等计算机生成的感观输入来增强(或补充)。
另一方面，虚拟现实(“VR”)技术利用软件来生成逼真的图像、声音和其他感觉，其通过使用专用显示屏或投影仪和其他设备使用户能够与该空间和其中描绘的任何物体进行交互，来复制真实环境(或创建虚构设置)，并模拟用户在该环境中的物理存在。
发明内容
传统物理出版物(publication)不能使用户或读者体验人物或故事交互(除了用户或读者的想象之外)。传统物理出版物也无法使用户或读者从第一人称视角(例如，从主角或对手的角度)体验人物或故事互动。因此，传统物理出版物不会增强用户或读者对出版物中的人物或故事的认知感以及有效或受影响的同理心。
尽管AR技术已经在书籍阅读体验的背景下使用，但是这样传统的AR书籍没有利用AR作为VR书籍交互体验的桥梁，这些传统的AR书籍也没有在AR与VR之间动态地转换以向供用户或读者提供更多身临其境的书籍互动体验。
因此，需要用于实现计算机模拟现实交互的更稳健和可扩展的解决方案，并且在特定实施方式中，需要用于实现用户与物理出版物之间的计算机模拟现实交互的方法、系统和计算机软件，以逐步深化和丰富与出版物的受版权保护的内容的互动。
本文描述的包括“Quantum Storey”书籍的技术是对电子书的重大改进，电子书是印刷书籍的演变。Quantum Storey书籍允许用户虚拟地进入书籍的虚拟模拟，主观地交换他们的感知和社交，叠加取自书籍的书写文本和2D图像的感知体验，并将其应用到360°2D和3D动画虚拟世界。这允许用户通过完全沉浸体验新的视角，并且能够实现第一人称，一种既有利于也不利于辅助构建同理心的体验。另外，本文描述的技术使得用户能够换位成其他人物在体验中认识到从其他角度在该情境下感觉如何。这些直接和内心的体验以及获取和存储这些独特和应用式学习的过程使得对该情境有更深刻的感知、感觉、想法和直觉，导致对另一个人的情境更强烈的情感和同理反应。
例如，阅读关于被欺负的年轻人或欺凌行为的接收端的传统书籍的儿童只能通过词语阅读而知该人感觉如何并且试图通过静态插图来直观地进行理解。本文描述的技术允许儿童仍然阅读书面文字，但是还可以通过短片剪辑或动画作为观看的外人来观看该经历。与弹出上下文或AR上下文相同，但儿童可以通过点击无生命的物体或屏幕与主角进行交互，以获得人物的一些互动，而观看者的最终结果与你尝试通过听取朋友讲述关于他们刚刚经历情况的故事来了解情况的方式相同，只是你自己没有真正处于那个位置，所以你可以了解该情况第一手的感受如何，因为该情况与你相关。
相应地，在一个方面，本文公开了增强出版物的计算机实现的方法，包括：接收由用户捕获的实况视频，其包括出版物的视频，所述出版物包括受版权保护的内容；识别所述实况视频中的至少一个第一触发；识别与所述至少一个第一触发相关联并且与所述受版权保护的内容有关的一个或多个第一三维交互媒体；经由第一视觉输出设备向所述用户呈现所述第一三维交互媒体；识别所述第一三维交互媒体中的至少一个第二触发；识别与所述至少一个第二触发相关联并且与所述受版权保护的内容有关的一个或多个第二三维交互媒体；以及经由所述第一视觉输出设备或第二视觉输出设备向所述用户呈现所述第二三维交互媒体；由此所述用户与所述出版物的所述受版权保护的内容的交互逐步得到深化和丰富。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括选自以下的一个或多个：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在一些实施方式中，所述至少一个第一触发包括与所述出版物相关联的文本、图像、QR码或条形码。在其他实施方式中，所述至少一个第一触发包括与所述出版物相关联的三维物体。在一些实施方式中，所述第一三维交互媒体包括360度视频。在其他实施方式中，所述第一三维交互媒体包括增强现实显示器。在又一实施方式中，所述第一三维交互媒体包括多媒体游戏。在一些实施方式中，所述第一视觉输出设备是包括相机和显示屏的移动设备。在一些实施方式中，所述至少一个第二触发包括所述用户与所述第一三维交互媒体的交互。在进一步实施方式中，所述至少一个第二触发包括交互持续时间。在一些实施方式中，所述第二三维交互媒体包括虚拟现实环境、360度视频或多媒体游戏。在特定实施方式中，所述第二三维交互媒体包括虚拟现实环境。在进一步实施方式中，所述第二视觉输出设备是虚拟现实耳机。在一些实施方式中，所述方法还包括确定所述用户的视野，所述视野包括所述出版物的至少一部分；修改所述一个或多个三维交互媒体内容的取向(orientation)以与所述用户的所述视野对准；以及利用视觉输出设备向所述用户呈现所述一个或多个三维交互媒体内容，所述一个或多个三维交互媒体内容的所述取向已被修改以与所述用户的所述视野对准，使得所述一个或多个三维交互媒体内容被呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图(virtual overlay)。在一些实施方式中，所述实况视频包括多个触发。在进一步实施方式中，识别与所述多个第一触发相关联的一个或多个第一三维交互媒体包括识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体包括多个触发。在进一步实施方式中，识别与所述多个第二触发相关联的一个或多个第二三维交互媒体包括识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体和所述第二三维交互媒体通过包括与所述受版权保护的内容相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果、言语音频或其组合来与所述受版权保护的内容有关。
在另一方面，本文公开了计算机实现的系统，包括：数字处理设备，所述数字处理设备包括：至少一个处理器、存储器、显示器、相机、被配置用于执行可执行指令的操作系统，以及包括可由所述数字处理设备执行以创建用于增强出版物的应用的指令的计算机程序，所述应用包括：第一软件模块，其接收由用户经由所述相机捕获的实况视频，所述实况视频包括出版物的视频，所述出版物包括受版权保护的内容；第二软件模块，其识别所述实况视频中的至少一个第一触发，识别与所述至少一个第一触发相关联并且与所述受版权保护的内容相关的一个或多个第一三维交互媒体，并且经由所述显示器向所述用户呈现所述第一三维互动媒体；以及第三软件模块，其识别所述第一三维交互媒体中的至少一个第二触发，识别与所述至少一个第二触发相关联并且与所述受版权保护的内容有关的一个或多个第二三维交互媒体，并且经由所述显示器向所述用户呈现所述第二三维交互媒体；由此所述用户与所述出版物的所述受版权保护的内容的互动逐步得到深化和丰富。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括选自以下的一个或多个：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在一些实施方式中，所述至少一个第一触发包括与所述出版物相关联的文本、图像、QR码或条形码。在其他实施方式中，所述至少一个第一触发包括与所述出版物相关联的三维物体。在一些实施方式中，所述第一三维交互媒体包括360度视频。在其他实施方式中，所述第一三维交互媒体包括增强现实显示器。在又一实施方式中，所述第一三维交互媒体包括多媒体游戏。在一些实施方式中，所述至少一个第二触发包括所述用户与所述第一三维交互媒体的交互。在进一步实施方式中，所述至少一个第二触发包括交互持续时间。在一些实施方式中，所述第二三维交互媒体包括虚拟现实环境、360度视频或多媒体游戏。在特定实施方式中，所述第二三维交互媒体包括虚拟现实环境。在一些实施方式中，所述应用还包括：第四软件模块，其确定所述用户的视野，该视野包括所述出版物的至少一部分，修改所述一个或多个三维互动媒体内容的取向以与所述用户的所述视野对准，并且经由所述显示器向所述用户呈现所述一个或多个三维交互媒体内容，所述一个或多个三维交互媒体内容的所述方向已被修改以与所述用户的所述视野对准，使得所述一个或多个三维交互媒体内容被呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述实况视频包括多个触发。在进一步实施方式中，识别与所述多个第一触发相关联的一个或多个第一三维交互媒体的所述软件模块识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体包括多个触发。在进一步实施方式中，识别与所述多个第二触发相关联的一个或多个第二三维交互媒体的所述软件模块识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体和所述第二三维交互媒体通过包括与所述受版权保护的内容相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果、言语音频或其组合来与所述受版权保护的内容有关。
在另一方面，本文公开了用计算机程序编码的非暂时性计算机可读存储介质，其包括可由处理器执行以创建用于增强出版物的应用的指令，所述应用包括：第一软件模块，其接收由用户经由移动设备的所述相机捕获的实况视频，所述实况视频包括出版物的视频，所述出版物包括受版权保护的内容；第二软件模块，其识别所述实况视频中的至少一个第一触发，识别与所述至少一个第一触发相关联并且与所述受版权保护的内容有关的一个或多个第一三维交互媒体，并且经由所述移动设备的所述显示器向所述用户呈现所述第一三维互动媒体；以及第三软件模块，其识别所述第一三维交互媒体中的至少一个第二触发，识别与所述至少一个第二触发相关联并且与所述受版权保护的内容有关的一个或多个第二三维交互媒体，并且经由所述移动设备的所述显示器向所述用户呈现所述第二三维交互媒体；由此所述用户与所述出版物的所述受版权保护的内容的交互逐步得到深化和丰富。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括选自以下的一个或多个：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在一些实施方式中，所述至少一个第一触发包括与所述出版物相关联的文本、图像、QR码或条形码。在其他实施方式中，所述至少一个第一触发包括与所述出版物相关联的三维物体。在一些实施方式中，所述第一三维交互媒体包括360度视频。在其他实施方式中，所述第一三维交互媒体包括增强现实显示器。在又一实施方式中，所述第一三维交互媒体包括多媒体游戏。在一些实施方式中，所述至少一个第二触发包括所述用户与所述第一三维交互媒体的交互。在进一步实施方式中，所述至少一个第二触发包括交互持续时间。在一些实施方式中，所述第二三维交互媒体包括虚拟现实环境、360度视频或多媒体游戏。在特定实施方式中，所述第二三维交互媒体包括虚拟现实环境。在一些实施方式中，所述应用还包括：第四软件模块，其确定所述用户的视野，该视野包括所述出版物的至少一部分，修改所述一个或多个三维互动媒体内容的取向以与所述用户的所述视野对准，并且经由所述显示器向所述用户呈现所述一个或多个三维交互媒体内容，所述一个或多个三维交互媒体内容的所述取向已被修改以与所述用户的所述视野对准，使得所述一个或多个三维交互媒体内容被呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述实况视频包括多个触发。在进一步实施方式中，识别与所述多个第一触发相关联的一个或多个第一三维交互媒体的所述软件模块识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体包括多个触发。在进一步实施方式中，识别与所述多个第二触发相关联的一个或多个第二三维交互媒体的所述软件模块识别与预定的触发组合相关联的一个或多个媒体。在一些实施方式中，所述第一三维交互媒体和所述第二三维交互媒体通过包括与所述受版权保护的内容相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果、言语音频或其组合来与所述受版权保护的内容有关。
在另一方面，本文公开了增强出版物的方法，包括：通过用户的计算设备接收包括出版物的视频的实况视频；识别所述实况视频中的至少一个触发；识别与所述至少一个触发相关联的一个或多个媒体内容；通过所述计算设备确定用户的视野，所述视野包括所述出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；以及利用视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括选自以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在一些实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上的图形、在所述出版物的所述至少一部分上的关键词或键码、所述出版物的封面图像、所述出版物的封面上的标题、所述出版物的所述封面上的作者姓名、与所述出版物相关联的位于所述出版物附近的填充玩偶(stuffedcharacter)、与所述出版物相关联的位于所述出版物附近的3D打印人物，以及与所述出版物相关联的位于所述出版物附近的3D打印物体。在一些实施方式中，所述实况视频包括至少2个触发、至少3个触发、至少4个触发、至少5个触发、至少6个触发、至少7个触发、至少8个触发、至少9个触发或者至少10个触发。在进一步实施方式中，识别与所述至少一个触发相关联的一个或多个媒体内容包括识别与预定的触发组合相关联的一个或多个媒体内容。在又进一步实施方式中，所述触发组合包括每个触发的标识和所述标识的序列。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形和3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述出版物相关联的一个或多个人物的图形表示、与所述出版物相关联的非虚构地理位置、与所述出版物相关联的虚构地理位置、与所述出版物相关联的房间、与所述出版物相关联的建筑物、所述出版物中描述的场景，以及所述出版物中描述的一个或多个项目。在又进一步实施方式中，从与所述出版物相关联的人物的角度呈现所述3D静止图形、所述3D动画图形或所述3D交互式动画图形中的每一个。在一些实施方式中，呈现所述一个或多个媒体内容包括：利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述出版物封面上方的虚拟覆盖图、呈现为所述出版物封面之上的虚拟覆盖图、呈现为所述出版物旁边的虚拟覆盖图、呈现为所述出版物页面上方的虚拟覆盖图、呈现为所述出版物页面之上的虚拟覆盖图、呈现为所述出版物表面前方的虚拟覆盖图、呈现为所述出版物装订前方的虚拟覆盖图、呈现为所述出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述出版物一部分之上的2D图形之上的虚拟覆盖图。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备与所述用户的所述计算设备通信地耦合。在一些实施方式中，所述视觉输出设备包括第二相机，所述第二相机在所述第一相机捕获所述出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。在一些实施方式中，识别所述实况视频中的至少一个触发在所述用户的所述计算设备处或者在通信地耦合到所述用户的所述计算设备的服务器处执行。在一些实施方式中，识别与所述至少一个触发相关联的所述一个或多个媒体内容在所述用户的所述计算设备处或在通信地耦合到所述用户的所述计算设备的服务器处执行。在一些实施方式中，修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准在所述用户的所述计算设备处或在通信地耦合到所述用户的所述计算设备的服务器处执行。在一些实施方式中，所述计算设备包括移动电话或平板计算机。
在另一方面，本文公开了计算机实现的系统，包括：计算设备，所述计算设备包括：至少一个处理器，被配置用于执行可执行指令的操作系统，存储器，相机以及包括指令的计算机程序，所述指令可由所述至少一个处理器执行以创建应用，所述应用包括：从所述相机接收包括出版物视频的实况视频的软件模块；识别所述实况视频中的至少一个触发的软件模块；识别与所述至少一个触发相关联的一个或多个媒体内容的软件模块；确定用户的视野的软件模块，所述视野包括所述出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准的软件模块；以及经由视觉输出设备向所述用户呈现所述一个或多个媒体内容的软件模块，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在一些实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上的图形、在所述出版物的所述至少一部分上的关键词或键码、所述出版物的封面图像、所述出版物的封面上的标题、所述出版物的所述封面上的作者姓名、与所述出版物相关联的位于所述出版物附近的填充玩偶、与所述出版物相关联的位于所述出版物附近的3D打印人物，以及与所述出版物相关联的位于所述出版物附近的3D打印物体。在一些实施方式中，所述实况视频包括至少2个触发、至少3个触发、至少4个触发、至少5个触发、至少6个触发、至少7个触发、至少8个触发、至少9个触发或者至少10个触发。在进一步实施方式中，识别与所述至少一个触发相关联的一个或多个媒体内容的所述软件模块识别与预定的触发组合相关联的一个或多个媒体内容。在又进一步实施方式中，所述触发组合包括每个触发的标识和所述标识的序列。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形和3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述出版物相关联的一个或多个人物的图形表示、与所述出版物相关联的非虚构地理位置、与所述出版物相关联的虚构地理位置、与所述出版物相关联的房间、与所述出版物相关联的建筑物、所述出版物中描述的场景，以及所述出版物中描述的一个或多个项目。在又进一步实施方式中，从与所述出版物相关联的人物的角度呈现所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个。在一些实施方式中，呈现所述一个或多个媒体内容包括：利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已经被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述出版物封面上方的虚拟覆盖图、呈现为所述出版物封面之上的虚拟覆盖图、呈现为所述出版物旁边的虚拟覆盖图、呈现为所述出版物页面上方的虚拟覆盖图、呈现为所述出版物页面之上的虚拟覆盖图、呈现为所述出版物表面前方的虚拟覆盖图、呈现为所述出版物装订前方的虚拟覆盖图、呈现为所述出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述出版物一部分之上的2D图形之上的虚拟覆盖图。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备与所述用户的所述计算设备通信地耦合。在一些实施方式中，所述视觉输出设备包括第二相机，所述第二相机在所述第一相机捕获所述出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。在一些实施方式中，计算设备包括移动电话或平板计算机。
在另一方面，本文公开了用计算机程序编码的非暂时性计算机可读存储介质，其包括可由处理器执行以创建应用的指令，所述应用包括：经由与用户的计算设备相关联的相机接收包括出版物视频的实况视频的软件模块；识别所述实况视频中的至少一个触发的软件模块；识别与所述至少一个触发相关联的一个或多个媒体内容的软件模块；确定用户的视野的软件模块，所述视野包括所述出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准的软件模块；以及经由视觉输出设备向所述用户呈现所述一个或多个媒体内容的软件模块，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述出版物是印刷出版物。在其他实施方式中，所述出版物是电子书。在各种实施方式中，所述出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。在各种实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上的图形、在所述出版物的所述至少一部分上的关键词或键码、所述出版物的封面图像、所述出版物的封面上的标题、所述出版物的所述封面上的作者姓名、与所述出版物相关联的位于所述出版物附近的填充玩偶、与所述出版物相关联的位于所述出版物附近的3D打印人物，以及与所述出版物相关联的位于所述出版物附近的3D打印物体。在一些实施方式中，所述实况视频包括至少2个触发、至少3个触发、至少4个触发、至少5个触发、至少6个触发、至少7个触发、至少8个触发、至少9个触发或者至少10个触发。在进一步实施方式中，识别与所述至少一个触发相关联的一个或多个媒体内容的所述软件模块识别与预定的触发组合相关联的一个或多个媒体内容。在又进一步实施方式中，所述触发组合包括每个触发的标识和所述标识的序列。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形和3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述出版物相关联的一个或多个人物的图形表示、与所述出版物相关联的非虚构地理位置、与所述出版物相关联的虚构地理位置、与所述出版物相关联的房间、与所述出版物相关联的建筑物、所述出版物中描述的场景，以及所述出版物中描述的一个或多个项目。在又进一步实施方式中，从与所述出版物相关联的人物的角度呈现所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个。在一些实施方式中，呈现所述一个或多个媒体内容包括：利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已经被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述出版物封面上方的虚拟覆盖图、呈现为所述出版物封面之上的虚拟覆盖图、呈现为所述出版物旁边的虚拟覆盖图、呈现为所述出版物页面上方的虚拟覆盖图、呈现为所述出版物页面之上的虚拟覆盖图、呈现为所述出版物表面前方的虚拟覆盖图、呈现为所述出版物装订前方的虚拟覆盖图、呈现为所述出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述出版物一部分之上的2D图形之上的虚拟覆盖图。在各种实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备与所述用户的所述计算设备通信地耦合。在一些实施方式中，所述视觉输出设备包括第二相机，所述第二相机在所述第一相机捕获所述出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。在一些实施方式中，计算设备包括移动电话或平板计算机。
在另一方面，本文公开了方法，包括：利用第一相机捕获印刷出版物至少一部分的一个或多个图像；利用计算系统分析所述印刷出版物的所述至少一部分的所述捕获的一个或多个图像，以确定所述捕获的一个或多个图像是否包含一个或多个触发；基于确定所述捕获的一个或多个图像包含所述一个或多个触发中的至少一个触发，利用所述计算系统识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；利用所述计算机系统确定用户的视野，所述视野包括所述印刷出版物的至少一部分；利用所述计算机系统修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；并且利用视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述印刷出版物的所述至少一部分有关的虚拟覆盖图。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备包括所述第一相机。在一些实施方式中,所述第一相机在所述视觉输出设备外部，而通信地耦合至所述视觉输出设备。在一些实施方式中，所述视觉输出设备包括第二相机，所述第二相机在所述第一相机捕获所述印刷出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。一些种实施方式中，所述印刷出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报。在一些实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上打印的图形、在所述出版物的所述至少一部分上打印的关键词或键码、所述印刷出版物的封面图像、所述印刷出版物的封面上打印的标题、所述印刷出版物的所述封面上打印的作者姓名、与所述印刷出版物相关联的位于所述印刷出版物附近的填充玩偶、与所述印刷出版物相关联的位于所述印刷出版物附近的3D打印人物，以及与印刷所述出版物相关联的位于所述印刷出版物附近的3D打印物体。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述印刷出版物相关联的一个或多个人物的图形表示、与所述印刷出版物相关联的非虚构地理位置、与所述印刷出版物相关联的虚构地理位置、与所述印刷出版物相关联的房间、与所述印刷出版物相关联的建筑物、所述印刷出版物中描述的场景，所述印刷出版物中描述场景所启发的场景，所述印刷出版物中描述的一个或多个项目，或者所述印刷出版物中描述的一个或多个项目所启发的一个或多个项目。在一些实施方式中，呈现所述一个或多个媒体内容包括：利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述印刷出版物封面上方的虚拟覆盖图、呈现为所述印刷出版物封面之上的虚拟覆盖图、呈现为所述印刷出版物旁边的虚拟覆盖图、呈现为所述印刷出版物页面上方的虚拟覆盖图、呈现为所述印刷出版物页面之上的虚拟覆盖图、呈现为所述印刷出版物表面前方的虚拟覆盖图、呈现为所述印刷出版物装订前方的虚拟覆盖图、呈现为所述印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述印刷出版物一部分之上的2D图形之上的虚拟覆盖图。在一些实施方式中，所述计算系统包括服务器计算机、云计算系统或所述视觉输出设备的计算系统中的至少一个。
在另一方面，本文公开了装置，包括：第一相机；显示设备；至少一个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当被所述至少一个处理器执行时使得所述装置进行以下的一组指令：利用所述第一相机捕获印刷出版物的至少一部分的一个或多个图像；分析所述印刷出版物的所述至少一部分的所述捕获的一个或多个图像，以确定所述捕获的一个或多个图像是否包含一个或多个触发；基于确定所述捕获的一个或多个图像包含至少一个触发，识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，所述视野包括所述印刷出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；并且利用所述显示设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述印刷出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，装置包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机。在一些实施方式中，还包括：第二相机；其中当被所述一个或多个处理器执行时，所述组指令还使得所述装置：使用所述第二相机在所述第一相机捕获所述印刷出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像；其中确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，确定用户的视野。一些种实施方式中，所述印刷出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报。在一些实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上打印的图形、在所述出版物的所述至少一部分上打印的关键词或键码、所述印刷出版物的封面图像、所述印刷出版物的封面上打印的标题、所述印刷出版物的所述封面上打印的作者姓名、与所述印刷出版物相关联的位于所述印刷出版物附近的填充玩偶、与所述印刷出版物相关联的位于所述印刷出版物附近的3D打印人物，以及与印刷所述出版物相关联的位于所述印刷出版物附近的3D打印物体。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在一些实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述印刷出版物相关联的一个或多个人物的图形表示、与所述印刷出版物相关联的非虚构地理位置、与所述印刷出版物相关联的虚构地理位置、与所述印刷出版物相关联的房间、与所述印刷出版物相关联的建筑物、所述印刷出版物中描述的场景，所述印刷出版物中描述场景所启发的场景，所述印刷出版物中描述的一个或多个项目，或者所述印刷出版物中描述的一个或多个项目所启发的一个或多个项目。在一些实施方式中，呈现所述一个或多个媒体内容包括利用所述显示设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述出版物封面上方的虚拟覆盖图、呈现为所述出版物封面之上的虚拟覆盖图、呈现为所述出版物旁边的虚拟覆盖图、呈现为所述出版物页面上方的虚拟覆盖图、呈现为所述出版物页面之上的虚拟覆盖图、呈现为所述出版物表面前方的虚拟覆盖图、呈现为所述出版物装订前方的虚拟覆盖图、呈现为所述出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述出版物一部分之上的2D图形之上的虚拟覆盖图。
在另一方面，本文公开了系统，包括：图像捕获设备，其包括：第一相机；至少一个第一处理器；以及第一非暂时性计算机可读介质，所述第一非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第一处理器执行时使得所述图像捕获设备进行以下的第一组指令：使用所述第一相机捕获印刷出版物的至少一部分的一个或多个图像；并将所述捕获的一个或多个图像发送到计算系统；所述计算系统，包括：至少一个第二处理器；和第二非暂时性计算机可读介质，所述第二非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第二处理器执行时使得所述计算系统进行以下的第二组指令：从所述图像捕获设备接收所述捕获的一个或多个图像；分析所述印刷出版物的所述至少一部分的所述捕获的一个或多个图像，以确定所述捕获的一个或多个图像是否包含一个或多个触发；基于确定所述捕获的一个或多个图像包含至少一个触发，识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，所述视野包括所述印刷出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；并且将其取向已被修改以与所述用户的所述视野对准的所述一个或多个媒体内容发送到视觉输出设备；以及视觉输出设备，其包括：显示设备；至少一个第三处理器；和第三非暂时性计算机可读介质，所述第三非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第三处理器执行时使得所述视觉输出设备进行以下的第三组指令：接收其取向已被修改以与所述用户的所述视野对准的所述一个或多个媒体内容；以及利用所述显示设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述印刷出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备包括所述图像捕捉设备。在一些实施方式中，所述视觉输出设备包括第二相机，所述第二相机在所述第一相机捕获所述印刷出版物的所述至少一部分的所述一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。一些种实施方式中，所述印刷出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报。在一些实施方式中，所述至少一个触发各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上打印的图形、在所述出版物的所述至少一部分上打印的关键词或键码、所述印刷出版物的封面图像、所述印刷出版物的封面上打印的标题、所述印刷出版物的所述封面上打印的作者姓名、与所述印刷出版物相关联的位于所述印刷出版物附近的填充玩偶、与所述印刷出版物相关联的位于所述印刷出版物附近的3D打印人物，以及与印刷所述出版物相关联的位于所述印刷出版物附近的3D打印物体。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述印刷出版物相关联的一个或多个人物的图形表示、与所述印刷出版物相关联的非虚构地理位置、与所述印刷出版物相关联的虚构地理位置、与所述印刷出版物相关联的房间、与所述印刷出版物相关联的建筑物、所述印刷出版物中描述的场景，所述印刷出版物中描述场景所启发的场景，所述印刷出版物中描述的一个或多个项目，或者所述印刷出版物中描述的一个或多个项目所启发的一个或多个项目。在一些实施方式中，呈现所述一个或多个媒体内容包括利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述印刷出版物封面上方的虚拟覆盖图、呈现为所述印刷出版物封面之上的虚拟覆盖图、呈现为所述印刷出版物旁边的虚拟覆盖图、呈现为所述印刷出版物页面上方的虚拟覆盖图、呈现为所述印刷出版物页面之上的虚拟覆盖图、呈现为所述印刷出版物表面前方的虚拟覆盖图、呈现为所述印刷出版物装订前方的虚拟覆盖图、呈现为所述印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述印刷出版物一部分之上的2D图形之上的虚拟覆盖图。在一些实施方式中，所述计算系统包括服务器计算机、云计算系统或所述视觉输出设备的计算系统中的至少一个。
在另一方面，本文公开了方法，包括：在视觉输出设备和与打印出版物相关联的一个或多个非视觉触发中的至少一个触发之间建立通信；响应于在所述视觉输出设备与所述至少一个触发之间建立通信，利用计算系统识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；利用所述计算机系统确定用户的视野，所述视野包括所述印刷出版物的至少一部分；利用所述计算机系统修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；并且利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述印刷出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，在所述视觉输出设备与所述至少一个触发之间建立通信包括：利用所述计算系统确定所述视觉输出设备是否在与所述印刷出版物相关联的所述一个或多个非视觉触发的通信范围内；并且基于确定所述视觉输出设备在所述一个或多个非视觉触发中的所述至少一个触发的通信范围内，建立所述视觉输出设备与所述至少一个触发之间的通信。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。在一些实施方式中，所述视觉输出设备包括相机，所述相机在用户看向所述出版物的所述至少一部分时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。一些种实施方式中，所述印刷出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报。在一些实施方式中，所述至少一个触发中的每一个包括RFID标签、BLE标签、NFC标签或RTLS标签中的一个。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在进一步实施方式中，所述3D静止图形、所述3D动画图形或所述3D交互动画图形中的每一个包括以下中的至少一个：与所述印刷出版物相关联的一个或多个人物的图形表示、与所述印刷出版物相关联的非虚构地理位置、与所述印刷出版物相关联的虚构地理位置、与所述印刷出版物相关联的房间、与所述印刷出版物相关联的建筑物、所述印刷出版物中描述的场景，所述印刷出版物中描述场景所启发的场景，所述印刷出版物中描述的一个或多个项目，或者所述印刷出版物中描述的一个或多个项目所启发的一个或多个项目。在一些实施方式中，呈现所述一个或多个媒体内容包括利用所述视觉输出设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容是以下中的至少一个：呈现为所述印刷出版物封面上方的虚拟覆盖图、呈现为所述印刷出版物封面之上的虚拟覆盖图、呈现为所述印刷出版物旁边的虚拟覆盖图、呈现为所述印刷出版物页面上方的虚拟覆盖图、呈现为所述印刷出版物页面之上的虚拟覆盖图、呈现为所述印刷出版物表面前方的虚拟覆盖图、呈现为所述印刷出版物装订前方的虚拟覆盖图、呈现为所述印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为所述印刷出版物一部分之上的2D图形之上的虚拟覆盖图。在一些实施方式中，所述计算系统包括服务器计算机、云计算系统或所述视觉输出设备的计算系统中的至少一个。
在另一方面，本文公开了装置，包括：无线通信设备；显示设备；至少一个处理器；非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个处理器执行时使得所述装置进行以下的一组指令：利用所述无线通信设备建立所述视觉输出设备和与印刷出版物相关联的一个或多个非视觉触发中的至少一个触发之间的通信；响应于在所述视觉输出设备与所述至少一个触发之间建立通信，识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，所述视野包括所述印刷出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对齐；并且利用所述显示设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容被呈现为与所述印刷出版物的所述至少一部分相关的虚拟覆盖图。在一些实施方式中，装置包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机。在一些实施方式中，所述装置还包括第二相机，所述第二相机在所述第一相机捕获所述出版物的所述至少一部分的一个或多个图像时捕获所述用户眼睛的一个或多个图像，其中利用所述计算机系统确定用户的视野包括基于对所述用户眼睛的所述捕获的一个或多个图像的分析，利用所述计算机系统确定用户的视野。一些种实施方式中，所述印刷出版物包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报。在一些实施方式中，所述至少一个触发中的每一个包括RFID标签、BLE标签、NFC标签或RTLS标签中的一个。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。
在另一方面，本文公开了系统，包括：无线通信设备，其包括：收发器；至少一个第一处理器；以及第一非暂时性计算机可读介质，所述第一非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第一处理器执行时使得所述图像捕获设备进行以下的第一组指令：建立视觉输出设备和与印刷出版物相关联的一个或多个非视觉触发中的至少一个触发之间的通信；计算系统，其包括：至少一个第二处理器；以及第二非暂时性计算机可读介质，所述第二非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第二处理器执行时使得所述计算系统进行以下的第二组指令：响应于建立所述视觉输出设备与所述至少一个触发之间的通信，识别与所述至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，所述视野包括所述印刷出版物的至少一部分；修改所述一个或多个媒体内容的取向以与所述用户的所述视野对准；并且将其取向已被修改以与所述用户的所述视野对准的所述一个或多个媒体内容发送至所述视觉输出设备；以及视觉输出设备，其包括：显示设备；至少一个第三处理器；和第三非暂时性计算机可读介质，所述第三非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第三处理器执行时使得所述视觉输出设备进行以下的第三组指令：接收其取向已被修改以与所述用户的所述视野对准的所述一个或多个媒体内容；以及利用所述显示设备向所述用户呈现所述一个或多个媒体内容，所述一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得所述一个或多个媒体内容呈现为与所述印刷出版物的所述至少一部分相关的虚拟覆盖图。
在另一方面，本文公开了方法，包括：利用视觉输出设备向用户呈现一个或多个媒体内容，使得所述一个或多个媒体内容被呈现为与实体物体的至少一部分相关的虚拟覆盖图；利用计算系统确定应该如何向所述用户呈现所述一个或多个媒体内容；基于确定将所述一个或多个媒体内容呈现为虚拟现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为虚拟现实呈现，利用所述计算系统将所述一个或多个媒体内容的所述呈现转换为虚拟现实呈现，并利用所述视觉输出设备向所述用户呈现一个或多个第二媒体内容，所述一个或多个第二媒体内容包括虚拟现实内容；以及基于确定将所述一个或多个媒体内容呈现为混合现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为混合现实呈现，利用所述计算系统将所述一个或多个媒体内容的所述呈现转换为混合现实呈现，并利用所述视觉输出设备向所述用户呈现一个或多个第三媒体内容，所述一个或多个第三媒体内容包括混合现实内容。在一些实施方式中，所述视觉输出设备包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。一些种实施方式中，所述实体物体包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根、海报、圣诞树灯泡、圣诞树装饰品、光明节大烛台、墓碑、与用户相关联的感伤工件或装饰品，或与用户相关联的另一个人相关联的感伤工件或装饰品。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在一些实施方式中，所述方法还包括以下中的至少一个：响应于来自媒体内容的呈现的刺激，利用一个或多个传感器检测所述用户的一个或多个身体特性；或者，利用所述计算系统接收用户输入，该用户输入指示应该如何呈现所述媒体内容的选择；其中利用所述计算系统确定应如何向所述用户呈现所述一个或多个媒体内容是基于分析所述用户的所述检测的一个或多个身体特性或所述接收的用户输入中的至少一个。在一些实施方式中，所述方法还包括：基于确定将所述一个或多个媒体内容呈现为增强现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为增强现实呈现，利用所述计算系统将所述一个或多个媒体内容呈现转换为增强现实呈现，并且利用所述视觉输出设备向所述用户呈现一个或多个第四媒体内容，所述一个或多个第四媒体内容包括增强现实内容。
在另一方面，本文公开了装置，包括：显示设备；至少一个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当被所述至少一个处理器执行时使得所述装置进行以下的一组指令：利用所述显示设备向用户呈现一个或多个媒体内容，使得所述一个或多个媒体内容被呈现为与实体物体的至少一部分相关的虚拟覆盖图；确定应该如何向所述用户呈现所述一个或多个媒体内容；基于确定将所述一个或多个媒体内容呈现为虚拟现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为虚拟现实呈现，将所述一个或多个媒体内容的所述呈现转换为虚拟现实呈现，并利用所述显示设备向所述用户呈现一个或多个第二媒体内容，所述一个或多个第二媒体内容包括虚拟现实内容；以及基于确定将所述一个或多个媒体内容呈现为混合现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为混合现实呈现，将所述一个或多个媒体内容的所述呈现转换为混合现实呈现，并利用所述视觉输出设备向所述用户呈现一个或多个第三媒体内容，所述一个或多个第三媒体内容包括混合现实内容。在一些实施方式中，装置包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机。在一些实施方式中，所述实体物体包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根、海报、圣诞树灯泡、圣诞树装饰品、光明节大烛台、墓碑、与用户相关联的感伤工件或装饰品，或与用户有关联的另一个人相关联的感伤工件或装饰品。在一些实施方式中，所述一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在一些实施方式中，所述装置还包括以下中的至少一个：一个或多个传感器；或一个或多个用户输入设备；其中当被所述一个或多个处理器执行时，所述组指令还使得所述装置执行以下中的至少一个：响应于来自媒体内容的呈现的刺激，利用所述一个或多个传感器检测所述用户的一个或多个身体特性；或者，从所述一个或多个用户输入设备接收用户输入，所述用户输入指示应该如何呈现所述媒体内容的选择；其中确定应如何向所述用户呈现所述一个或多个媒体内容是基于分析所述用户的所述检测的一个或多个身体特性或所述接收的用户输入中的至少一个。在进一步实施方式中，当由所述一个或多个处理器执行时，所述组指令还使得所述装置：基于确定将所述一个或多个媒体内容呈现为增强现实呈现，并且基于确定所述一个或多个媒体内容尚未被呈现为增强现实呈现，将所述一个或多个媒体内容的所述呈现转换为增强现实呈现，并且利用所述显示设备向所述用户呈现一个或多个第四媒体内容，所述一个或多个第四媒体内容包括增强现实内容。
在另一方面，本文公开了系统，包括：视觉输出设备，其包括：显示设备；至少一个第一处理器；以及第一非暂时性计算机可读介质，所述第一非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第一处理器执行时使得所述视觉输出设备进行以下的第一组指令：利用所述显示设备向用户呈现一个或多个媒体内容，使得所述一个或多个媒体内容呈现为与实体物体的至少一部分相关的虚拟覆盖图；计算系统，其包括：至少一个第二处理器；以及第二非暂时性计算机可读介质，所述第二非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当由所述至少一个第二处理器执行时使得所述计算系统进行以下的第二组指令：确定所述一个或多个媒体内容应如何呈现给所述用户；基于确定将所述一个或多个媒体内容呈现为虚拟现实呈现，且基于确定所述一个或多个媒体内容尚未呈现为虚拟现实呈现，将所述一个或多个媒体内容的所述呈现转换给虚拟现实；以及基于确定将所述一个或多个媒体内容呈现为混合现实呈现，并基于确定所述一个或多个媒体内容尚未呈现为混合现实呈现，将所述一个或多个媒体内容的所述呈现转换为混合现实呈现；其中当由所述至少一个第一处理器执行时，所述第一组指令还使得所述视觉输出设备：基于确定将所述一个或多个媒体内容呈现为虚拟现实呈现，且基于确定所述一个或多个媒体内容尚未呈现为虚拟现实呈现，利用所述显示设备向所述用户呈现一个或多个第二媒体内容，所述一个或多个第二媒体内容包括虚拟现实内容；以及基于确定将所述一个或多个媒体内容呈现为混合现实呈现，且基于确定所述一个或多个媒体内容尚未呈现为混合现实呈现，利用所述显示设备向所述用户呈现一个或多个第三媒体内容，所述一个或多个第三媒体内容包括混合现实内容。
在另一方面，本文公开了方法，包括：利用计算系统确定多个媒体内容中的一个或多个第一媒体内容或一个或多个实体物体的一个或多个捕获图像中的至少一个应如何呈现给用户；基于确定将所述一个或多个第一媒体内容呈现为虚拟现实呈现，并且基于确定所述一个或多个第一媒体内容尚未被呈现为虚拟现实呈现，利用所述计算系统经由第一API控制素材集成(asset integration)和控制系统以使得所述素材集成和控制系统修改所述第一媒体内容从而生成一个或多个第二媒体内容，所述一个或多个第二媒体内容包括虚拟现实内容，并且利用所述计算系统经由第二API发送所述一个或多个第二媒体内容至多个视觉输出设备的第一视觉输出设备，所述多个视觉输出设备向用户呈现所述一个或多个第二媒体内容；基于确定将所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像呈现为增强现实呈现，并且基于确定所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像尚未被呈现为增强现实呈现，利用所述计算系统经由所述第一API控制所述素材集成和控制系统以使得所述素材集成和控制系统通过将所述一个或多个媒体内容修改为与所述一个或多个实体物体的所述一个或多个捕获图像相关的虚拟覆盖图来生成一个或多个第三媒体内容，所述一个或多个第三媒体内容包括增强现实内容，并且利用所述计算系统经由所述第二API将所述一个或多个第三媒体内容发送给将所述一个或多个第三媒体内容呈现给所述用户的所述第一视觉输出设备；以及基于确定将所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像呈现为组合虚拟现实和增强现实的元素的混合现实呈现，并且基于确定所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像尚未被呈现为混合现实呈现，利用所述计算系统经由所述第一API控制所述素材集成和控制系统以使得所述素材集成和控制系统基于所述一个或多个媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像来生成一个或多个第四媒体内容，所述一个或多个第四媒体内容包括混合现实内容，并且利用所述计算系统经由所述第二API将所述一个或多个第四媒体内容发送给将所述一个或多个第四媒体内容呈现给所述用户的所述第一视觉输出设备。在一些实施方式中，所述方法还包括：利用所述计算系统跟踪经由所述第一API的所述素材集成和控制系统、经由所述第二API的所述第一视觉输出设备、经由第三API的素材制作系统、经由第四API的制作管理系统中的至少一个中的每一个中的所述多个媒体内容中的每一个的实时状态；利用所述计算系统分发所述多个媒体内容中的至少一个第五媒体内容，所述至少一个第五媒体内容的状态指示其准备好从所述素材制作系统集成到所述素材集成和控制系统；利用所述计算系统分发所述多个媒体内容中的至少一个第六媒体内容，所述至少一个第六媒体内容的状态指示其准备好从所述素材集成和控制系统分发到所述第一视觉输出设备；利用所述计算系统将所述至少一个第六媒体内容与所述多个视觉输出设备中的一个或多个第二视觉输出设备同步，所述一个或多个第二视觉输出设备与所述第一视觉输出设备分离；以及响应于接收对所述至少一个第六媒体内容的更新，利用所述计算系统将对所述至少一个第六媒体内容的更新发送至所述第一视觉输出设备中的每一个以及所述一个或多个第二视觉输出设备中的每一个。在一些实施方式中，所述方法还包括：利用所述计算系统经由第三API从素材制作系统接收所述一个或多个第一媒体内容；以及利用所述计算系统从图像捕获设备接收所述一个或多个实体物体的所述一个或多个捕获图像。在进一步实施方式中，所述方法还包括：利用所述计算系统确定所述一个或多个第一媒体内容准备好分发给所述第一视觉输出设备；利用所述计算系统经由第四API发送一个或多个第一消息到制作管理系统，其中所述一个或多个第一消息使得所述制作管理系统改变所述一个或多个第一媒体内容的状态以指示所述一个或多个第一媒体内容准备好分发给所述第一视觉输出设备；以及利用所述计算系统经由所述第三API发送一个或多个第二消息至所述素材制作系统，其中所述一个或多个第二消息使得所述素材制作系统经由所述第三API将所述一个或多个第一媒体内容发送给所述计算系统。在更进一步实施方式中，所述方法还包括：利用所述计算系统确定一个或多个第二媒体内容尚未准备好分发给所述第一视觉输出设备；利用所述计算系统经由第四API发送一个或多个第三消息到制作管理系统，其中所述一个或多个第三消息使得所述制作管理系统改变所述一个或多个第二媒体内容的状态以指示所述一个或多个第二媒体内容尚未准备好分发给所述第一视觉输出设备；以及利用所述计算系统经由所述第三API发送一个或多个第四消息至素材制作系统，其中所述一个或多个第四消息使得所述素材制作系统发送一个或多个第五消息至一个或多个开发人员以继续就所述一个或多个媒体内容开展工作。在一些实施方式中，所述计算系统包括服务器计算机、云计算系统或所述视觉输出设备的计算系统中的至少一个。在一些实施方式中，所述多个视觉输出设备各自包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，以及适合作为AR系统一部分的智能手机。
在另一方面，本文公开了计算系统，包括：至少一个处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括当被所述至少一个处理器执行时使得所述计算系统进行以下的一组指令：确定多个媒体内容中的一个或多个第一媒体内容或一个或多个实体物体的一个或多个捕获图像中的至少一个应如何呈现给用户；基于确定将所述一个或多个第一媒体内容呈现为虚拟现实呈现，并且基于确定所述一个或多个第一媒体内容尚未被呈现为虚拟现实呈现，经由第一API控制素材集成和控制系统以使得所述素材集成和控制系统修改所述第一媒体内容从而生成一个或多个第二媒体内容，所述一个或多个第二媒体内容包括虚拟现实内容，并且经由第二API发送所述一个或多个第二媒体内容至多个视觉输出设备的第一视觉输出设备，所述多个视觉输出设备的第一视觉输出设备向所述用户呈现所述一个或多个第二媒体内容；基于确定将所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像呈现为增强现实呈现，并且基于确定所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像尚未被呈现为增强现实呈现，经由所述第一API控制所述素材集成和控制系统以使得所述素材集成和控制系统通过将所述一个或多个媒体内容修改为与所述一个或多个实体物体的所述一个或多个捕获图像相关的虚拟覆盖图来生成一个或多个第三媒体内容，所述一个或多个第三媒体内容包括增强现实内容，并且经由所述第二API将所述一个或多个第三媒体内容发送给将所述一个或多个第三媒体内容呈现给所述用户的所述第一视觉输出设备；以及基于确定将所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像呈现为组合虚拟现实和增强现实的元素的混合现实呈现，并且基于确定所述一个或多个第一媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像尚未被呈现为混合现实呈现，经由所述第一API控制所述素材集成和控制系统以使得所述素材集成和控制系统基于所述一个或多个媒体内容和所述一个或多个实体物体的所述一个或多个捕获图像来生成一个或多个第四媒体内容，所述一个或多个第四媒体内容包括混合现实内容，并且经由所述第二API将所述一个或多个第四媒体内容发送给将所述一个或多个第四媒体内容呈现给所述用户的所述第一视觉输出设备。
附图简要说明
图1是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的系统的示意图。
图2是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的方法的流程图。
图3是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的另一系统的示意图。
图4是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的另一方法的流程图。
图5A-图5D是图示根据各种实施方式的用于在用户和实体物体之间实现计算机模拟现实交互的方法的流程图。
图6是图示用于根据各种实施方式的实现计算机模拟现实平台的系统的示意图，该计算机模拟现实平台能够从虚拟现实、增强现实或混合现实中的一种转换到虚拟现实、增强现实或混合现实中的另一种。
图7A-图7F是图示用于根据各种实施方式的实现计算机模拟现实平台的方法的流程图，该计算机模拟现实平台能够从虚拟现实、增强现实或混合现实中的一种转换到虚拟现实、增强现实或混合现实中的另一种。
图8是图示根据各种实施方式的示例性计算机或系统硬件架构的框图。
图9是图示可以根据各种实施方式使用的联网计算机系统的框图。
图10-图25图示了示例性电子书。
图26-图30图示了示例性AR体验。
图31图示了第一示例性VR体验。
图32-图36图示了第二示例性VR体验。
具体实施方式
某些定义
除非另有定义，本文所使用的所有技术术语具有与本发明所属领域的普通技术人员通常所理解的相同含义。如本说明书和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另有明确指示。本文中对“或”的任何提及旨在涵盖“和/或”，除非另有说明。
如本文所使用的，“触发”包括用于识别和/或激活AR、VR或MxR媒体内容的图像、帧标记(例如，QR码)、文本、实体三维物体等。
如本文所使用的，“非可视触发”包括用于识别和/或激活AR、VR或MxR媒体内容的近场通信(NFC)标签、射频识别数据(RFID)模式2或6标签，在智能手机上活跃的基于位置的服务(LBS)等等。
各种实施方式提供了用于实现计算机模拟现实交互的工具和技术，并且在特定实施方式中，用于在用户与实体出版物之间实现计算机模拟现实交互的方法、系统和计算机软件。
计算机模拟现实用户体验(“UX”)
在各种实施方式中，第一相机可以捕获印刷出版物的至少一部分的一个或多个图像，并且计算系统可以分析所捕获的一个或多个图像以确定所捕获的一个或多个图像是否包含一个或多个触发。基于确定所捕获的一个或多个图像包含一个或多个触发中的至少一个触发，计算系统可以识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容。计算系统可以确定用户的视野(例如，通过使用与用户正在观看的内容相关的相机捕获用户的眼睛)，视野包括印刷出版物的至少一部分。如果需要，计算系统可以随后修改一个或多个媒体内容的取向以与用户的视野对准(即，如果计算系统确定一个或多个媒体内容的取向尚未与用户的视野对准等等)。继而，可以利用视觉输出设备向用户呈现一个或多个媒体内容(在一些情况下，其取向已被修改以与用户的视野对准)，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分有关的虚拟覆盖图。
或者，可以使用非视觉触发而不是使用视觉触发。在这样的情况下，可以在视觉输出设备和与印刷出版物相关联的一个或多个非视觉触发中的至少一个触发之间建立无线通信。响应于在视觉输出设备与至少一个触发之间建立通信，计算系统可以识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容。计算系统可以确定用户的视野(例如，通过使用与用户正在观看的内容相关的相机捕获用户的眼睛)，视野包括印刷出版物的至少一部分。如果需要，计算系统可以随后修改一个或多个媒体内容的取向以与用户的视野对准(即，如果计算系统确定一个或多个媒体内容的取向尚未与用户的视野对准等等)。继而，可以利用视觉输出设备向用户呈现一个或多个媒体内容(在一些情况下，其取向已被修改以与用户的视野对准)，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分有关的虚拟覆盖图。
在一些实施方式中，所述印刷出版物可能包括，但不限于，以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。根据一些实施方式，至少一个触发可以各自包括，但不限于，以下之一：在出版物的至少一部分上提供的快速响应(“QR”)码、在出版物的至少一部分上提供的条形码、在贴在出版物的至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，或与印刷出版物相关联的位于印刷出版物附近的3D打印物体和/或诸如此类。在一些情况下，至少一个非可视触发可以各自包括，但不限于，以下之一：射频识别(“RFID”)标签、蓝牙低能量(“BLE”)标签、近场通信(“NFC”)标签，或实时定位系统(“RTLS”)标签和/或诸如此类。
在一些情况下，一个或多个媒体内容包括以下中的至少一个：三维(“3D”)静止图形、3D动画图形或3D交互动画图形，和/或诸如此类，其中每一个包括，但不限于，以下之一：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景，印刷出版物中描述场景所启发的场景，印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在一些实施方式中，视觉输出设备可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。根据一些实施方式，呈现一个或多个媒体内容可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的二维(“2D”)图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。
在一些实施方式中，上述计算系统可以包括计算机视觉(在一些情况下，具有对象识别功能)。这里，“计算机视觉”可以是指识别物体和触发的图像捕获技术，并且响应于检测到触发(其可以是基于视觉的触发，基于非视觉的触发，视觉触发和非视觉触发的任何组合，和/或诸如此类)启动内容的AR呈现。在一些情况下，计算机视觉技术可以进一步包括使用AR作为VR的桥梁，反之亦然，其中，在一些情况下，计算机视觉系统可以动态地或选择性地在AR和VR之间转换，这取决于将增强对于用户或读者的交互体验(并且可以基于检测和识别用户对AR和/或VR呈现中的某些刺激的响应)的因素。在本文中，“增强现实”或“AR”可以是指或者在实际物体和设置的实际视图上，或者在实际物体和设置的图像上的模拟构造的虚拟覆盖图，而“虚拟现实”或“VR”可以是指封闭的感知环境，其中模拟用户观察到的所有内容，并且“混合现实”或“MxR”可以是指AR和VR的组合(例如，在其中模拟AR元素的VR呈现嵌入在呈现中等等)。以下结合各种非限制性实施方式详细描述了计算机视觉的这些和其他实现。
与印刷出版物相关联的人物、故事元素、设置、场景和/或诸如此类的虚拟覆盖图向用户或读者提供(除了用户或读者的想象之外的)与出版物相关联的人物、设置和/或故事的虚拟交互。在一些情况下，这样的交互包括用户与出版物的故事中的虚拟人物一起玩的交互游戏。一些实施方式还将允许用户或读者经由AR、VR和/或混合现实(即，AR和VR的组合)从主角或对手的视角体验故事，从而增强用户或读者对出版物中的人物或故事的认知感以及有效或受影响的同理心。此外，AR与VR之间的动态或选择性的转换为用户或读者提供了与出版物中的故事和/或人物更加身临其境的交互体验。
计算机模拟现实平台
计算机模拟现实平台是用于MxR媒体内容应用的可缩放且可重复使用的框架和终端用户应用，其具有AR和2D前端启动至沉浸式VR的功能。计算机模拟现实平台提供端到端制作过程和实现简化且经济高效的制作过程的媒体内容应用框架，该制作过程从媒体内容呈现的第一次设计至发布和分析均受到跟踪和管理。在一些情况下，该框架是一种完全自定义的客户端/服务器技术，提供用于创建、分发和管理发布到专有应用框架中的每个媒体内容素材或应用(本文中也称为“素材”、“媒体内容”、“应用”等等)。该平台包括但不限于用户界面(“UI”)和/或用户体验(“UX”)的图形表示，基于架构和服务器的功能(例如，用于托管内容)，用于托管和支持应用的开发和实时版本的技术要求和内容管理解决方案(“CMS”)。该平台旨在普遍适用于任何基于MxR的平台以及包括但不限于重新利用素材用于情景电视的开发项目。
预制作计划和调度：
跟踪素材制作(production of assets)的传统方法(例如， Docs、电子邮件应用、消息传递应用等)具有不连贯的缺点，并且通常在通信方面是单向的。该平台创建了一体化跟踪和管理解决方案，取代了这些跟踪素材制作的传统方式，同时通过素材制作系统和软件提供直接连接和启动性能，素材制作系统和软件包括但不限于/> 和/或诸如此类。使用软件作为服务(“SaaS”)模型，已经建立了自定义制作过程，在一些情况下使用预制作计划和调度工具(例如，Autodesk Shotgun等等)。已经创建了用于每个制作阶段的自定义界面，以准确跟踪设计、开发、艺术家任务、媒体内容结构和任务、动画、音频，以及用于跟踪应用的发布版本和测试版本中错误的错误管理系统，并且这些是在冗余备份的128位(或更好)加密的在线数据库中跟踪的。
使用专有跟踪和制作模板，该平台可以管理内部和外部艺术家、开发人员、作家等(本文中统称为“开发人员”)以用最小数额的制作费用，指数式地扩展书籍制作，同时保持严格的质量控制水平。
在一些实施方式中，可以在台式计算机、膝上型计算机、移动设备、平板平台和/或诸如此类中的一个或多个上运行的平台(例如，Quantum BridgeTM等等)的内部工具集可能经由自定义工作流程(例如，Quantum TransportTM和/或诸如此类)连接所有内部软件和开发工具，自定义工作流程可以用诸如Python、JavaScript和C#和/或诸如此类等语言编写。当数字素材将其状态从预制作阶段更改为素材集成或素材分发时，当素材已被标记为准备好集成或准备好分发时等，来回发送消息，自定义工作流程应用编程接口(“API”)可以为开发管线的每个不同部分或组件提供相互通信的能力。
根据一些实施方式，可以使用制作跟踪、计划和任务系统来开发适合开发人员的特定预制作和制作样式的自定义工作流程，同时随着制作的进展支持改进和修改。制作跟踪、计划和任务系统可以跟踪艺术家的时间，跟踪创建新数字故事所需的每项素材的交付，创建相关任务(其中一个任务在另一个任务完成时开始，一个任务在另一个任务进展到某个阶段时开始等)，并跟踪以上所有的版本。制作跟踪、计划和任务系统还可以在服务器或计算系统上播种开发、测试和制作数据库，以便交付素材。使用内置API和/或平台工具集，当素材被标记为批准时，可以通过自定义脚本(例如，Quantum TriggerTM脚本等等)来同步生成或同步文件，该自定义脚本将制作管理系统上的数据推送和转换成素材制作系统(例如，Unity 3D等)的素材包，用于在素材制作系统的框架中查看和审查。
从规划时间表，到每个素材(例如，模型、声音、动画等)的成本计算，平台将能够使用调度工具(例如，在制作管理系统等等中)以及平台工具集中的自定义工具准确地调度和管理时间/成本。利用这些，平台可以随着过程从概念进展到完成，再到分发和交付，跟踪和预测新素材。这对于已发布的每个素材都很重要，其中创建它们的时间表可能不断需要修订，并且可能需要更改完成每个阶段所需的劳动力或开发人员。
素材制作：
通常，3D或2D中的制作采用更加手动的分配和迭代过程，其在从构建素材到查看在应用内更新的最新内容之间创建许多单点故障。在一些情况下，一些制作方法对于正在部署的多层解决方案而言不具有可扩展性。
使用具有任务、审查和批准功能的工具(例如，制作管理系统工具、平台工具集、用于素材创建的行业标准软件和/或诸如此类)，平台能够以更加简化的方式构建、跟踪和部署素材。在制作过程中创建的每个素材可以经由元数据、脚本和/或诸如此类经由在平台工具集中创建的代码进行连接，以实现准确的跟踪，以及对终端用户设备的更容易的数字分发和更新。该平台可以直接为艺术家和其他开发人员下达任务，并且可以使用自定义脚本将批准的素材版本直接从制作工具套件推送到开发测试区域，以供在基于VR的应用、基于AR的应用，或基于MxR的应用，或这些应用程序的组合等等中进行审核。
素材集成和控制：
平台中的自定义工具可以绑定来自预制作的最早阶段的数据。使用基于数据的方法可以跟踪经过测试并随后推出的素材构建中的每个素材。这不仅有助于质量控制，还有助于解决在更多基于手动的开发工作流程中非常典型的成本超支、时间延迟和内容错误。使用多平台素材制作系统，可以获得定制性强的外观和素材(在2D和3D实现两者中)。多平台功能允许在一个代码库内进行开发，通过微小的调整，可以将框架推送到多个不同的呈现平台中的任何一个。计算机视觉技术和相应的系统可用于允许素材集成系统利用移动设备上的相机识别和跟踪现实世界的物体和图像，以用于基于增强现实的体验(或基于混合现实的体验)。图像可以托管在应用(或app)中，或者从计算机视觉开发网站动态地提供。
素材集成和控制：
服务器(例如，解析服务器等)可以允许以数字方式存储和递送大量数据到框架，并且可以直接绑定到素材集成系统以及其他开发平台。服务器可以在水平和垂直方向上高度可扩展，并且可以在当前可用的网络服务解决方案(例如，Web服务等等)上无缝地运行。其他益处可以包括但不限于用户登录和帐户创建、自定义数据库模式、用于更容易的上层帐户的oAuth2连接、存储儿童在线隐私保护法(COPPA)合规信息、推送通知框架和服务器，和/或诸如此类。
素材集成系统可以直接结合在(一个或多个)服务器中托管的数据，又可以在网络服务解决方案上运行。服务器数据可以在制作管理系统与服务器之间同步，并挂钩到素材制作系统和素材集成系统等中创建的素材。这允许跟踪从预制作一直到交付至平台的发布的素材和版本。服务器可以跟踪设备、素材和用户，并可以创建自定义分析，该自定义分析将在素材可用的每个平台上驱动更好的用户保留和框架货币化。
交付平台：
使用素材集成系统以及通过(一个或多个)服务器动态地交付素材或媒体内容，多个平台能够以比手动交付方法低得多的成本提供快速支持。可以使用各种交付平台，包括但不限于Google CardboardTM、Samsung GearGoogle DaydreamTM、MicrosoftHoloLensTM、Oculus RiftTM、HTC ViveTM、Sony PlayStation/>和/或诸如此类。
同步：
在服务器和前端客户端两者中使用专有工具，服务器控制用户体验的所有方面。服务器与制作管理系统同步，维护有关素材、更新、用户、设备等等的最新近信息，并对与应用、素材等相关的任何事物和所有内容进行即时分析，既可用于测试，也可用于发布。
用户、COPPA合规性跟踪、应用流程和结构等可以通过服务器通过自定义接口管理到数据中。服务器利用与客户端设备通信的各种工具(例如，Node.js、ReST、自定义API等)，客户端设备可以位于世界的任何地方。它们依赖于无状态、客户端-服务器、可缓存的通信协议，能够动态地扩展到数百万用户。
利用多版本并发控制(“MVCC”)方法进行数据库管理允许平台在几分钟内更新客户端应用中的数据。更改故事点或流程、移除或添加素材等等都很简单，并且可立即供所有客户端设备使用。
在素材应用中的用户、安装、地理位置、在用户体验中花费的时间和/或诸如此类，直到特定位置(例如，虚拟位置等)中花费时间的颗粒度水平可以通过服务器进行跟踪和馈送，以进行自定义分析，自定义分析可以用于跟踪保留、事件的用户漏斗以及大量自定义报告，这些报告允许使用真实客户数据持续完善和打磨过程以提供用户体验。
以下详细描述进一步详细说明了一些示例性实施方式，以使本领域技术人员能够实践这样的实施方式。提供所描述的实施例用于说明性目的，而不意图限制本发明的范围。
在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对所描述的实施方式的透彻理解。然而，对于本领域技术人员容易理解的是，可以在没有这些具体细节中的一些的情况下实践本发明的其他实施方式。在其他情况下，某些结构和设备以框图形式示出。本文描述了若干实施方式，并且虽然各种特征归于不同的实施方式，但是应当理解，关于一个实施方式描述的特征也可以与其他实施方式合并。然而，出于同样的原因，任何所描述的实施方式的单个特征或特征都不应被认为是本发明的每个实施方式必不可少的，因为本发明的其他实施方式可以省略这样的特征。
各种实施方式提供的工具包括但不限于方法、系统和/或软件产品。仅作为示例，方法可以包括一个或多个程序，任何或所有程序由计算机系统执行。相应地，实施方式可以提供配置有指令的计算机系统，以根据各种其他实施方式提供的方法执行一个或多个程序。类似地，计算机程序可以包括一组指令，该组指令可由计算机系统(和/或其中的处理器)执行以进行这样的操作。在许多情况下，这样的软件程序在物理的、有形的和/或非暂时性的计算机可读介质上编码(例如，仅举几个例子，光学介质、磁介质和/或诸如此类)。
本文描述的各种实施方式虽然体现(在一些情况下)软件产品、计算机执行的方法和/或计算机系统，但代表了对现有技术领域的有形的具体改进，包括但不限于增强现实技术、虚拟现实技术、混合现实技术、交互式游戏技术和/或诸如此类。在其他方面，某些实施方式可以改进计算机或网络系统本身(例如，用于执行下面描述的功能的计算设备或系统、用户设备等等)的功能，例如，通过利用计算机系统确定用户的视野，该视野包括印刷出版物的至少一部分；利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准；并利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分相关的虚拟覆盖图，从而通过生成媒体内容的虚拟投影来改善用户的增强或虚拟现实界面的功能，该媒体内容的虚拟投影通过以无缝方式在增强现实、混合现实和虚拟现实中的两个之间转换(其需要模拟和修改媒体内容以保持适当的视角，特别是当用户正在移动并改变他或她的视野时)，并且基于转换以AR、混合现实或VR和/或诸如此类来呈现媒体内容而看起来更逼真。特别地，在各种实施方式中存在任何抽象概念的程度上，那些概念可以如本文所述通过涉及特定新颖功能(例如，步骤或操作)的设备、软件、系统和方法来实现，特定新颖功能诸如利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准；并利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分相关的虚拟覆盖图，或者支持以无缝方式增强现实、混合现实和虚拟现实中的两个之间转换(其需要模拟和修改媒体内容以保持适当的视角，特别是当用户正在移动并改变他或她的视野时)，并且基于转换以AR、混合现实或VR和/或诸如此类(仅举几个例子，其延伸超过仅仅是传统的计算机处理操作)，来呈现媒体内容。这些功能可以在实现计算机系统之外产生有形结果，包括，仅仅作为示例，生成与用户看似真实的实体出版物相关的媒体内容的3D虚拟投影的能力，在增强现实、混合现实和虚拟现实之中两者之间无缝切换从而为用户提供可由客户和/或服务提供商观察或测量的沉浸式交互环境和/或诸如此类的能力。
在一个方面，方法可以包括利用第一相机捕获印刷出版物的至少一部分的一个或多个图像；利用计算系统分析印刷出版物的至少一部分的所捕获的一个或多个图像，以确定所捕获的一个或多个图像是否包含一个或多个触发；并且，基于确定所捕获的一个或多个图像包含一个或多个触发中的至少一个触发，利用计算系统识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容。该方法还可以包括利用计算机系统确定用户的视野，该视野包括印刷出版物的至少一部分并且利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准。该方法还可以包括利用视觉输出设备向所述用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与所述用户的所述视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。
在一些实施方式中，视觉输出设备可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，视觉输出设备可以包括第一相机。或者，第一相机可以在视觉输出设备外部，而通信地耦合至视觉输出设备。
根据一些实施方式，视觉输出设备可以包括第二相机，该第二相机在第一相机捕获印刷出版物的至少一部分的一个或多个图像时捕获用户眼睛的一个或多个图像，并且利用计算机系统确定用户的视野可以包括基于对用户眼睛的所捕获的一个或多个图像的分析，利用计算机系统确定用户的视野。
在一些情况下，印刷出版物可能包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。根据一些实施方式，至少一个触发可以各自包括以下之一：在所述出版物的所述至少一部分上提供的QR码、在所述出版物的所述至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在所述出版物的所述至少一部分上打印的图形、在所述出版物的所述至少一部分上打印的关键词或键码、所述印刷出版物的封面图像、所述印刷出版物的封面上打印的标题、所述印刷出版物的所述封面上打印的作者姓名、与所述印刷出版物相关联的位于所述印刷出版物附近的填充玩偶、与所述印刷出版物相关联的位于所述印刷出版物附近的3D打印人物，以及与印刷所述出版物相关联的位于所述印刷出版物附近的3D打印物体，和/或诸如此类。
在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形，和/或诸如此类。3D静止图形、3D动画图形或3D交互动画图形中的每一个可以包括以下中的至少一个：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景、印刷出版物中描述场景所启发的场景、印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在一些实施方式中，呈现一个或多个媒体内容可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。在一些情况下，计算系统可包括服务器计算机、云计算系统，或视觉输出设备的计算系统，和/或诸如此类中的至少一个。
在另一方面，装置可以包括第一相机、显示设备、至少一个处理器和非暂时性计算机可读介质。非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个处理器执行时使得该装置进行以下的一组指令：利用第一相机捕获印刷出版物至少一部分的一个或多个图像；分析印刷出版物的至少一部分的所捕获的一个或多个图像，以确定所捕获的一个或多个图像是否包含一个或多个触发；基于确定所捕获的一个或多个图像包含至少一个触发，识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，所述视野包括印刷出版物的至少一部分；修改一个或多个媒体内容的取向以与用户的视野对准；并且利用显示设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分有关的虚拟覆盖图。
在一些实施方式中，装置可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。
在一些情况下，该设备可以进一步包括第二相机。当由一个或多个处理器执行时，该组指令可以进一步使得该装置：当第一相机捕获印刷出版物的至少一部分的一个或多个图像时，利用第二相机捕获用户眼睛的一个或多个图像。确定用户的视野可以包括基于对用户眼睛的所捕获的一个或多个图像的分析来确定用户的视野。
根据一些实施方式，印刷出版物可能包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下，至少一个触发可以各自包括以下之一：在出版物的至少一部分上提供的QR码、在出版物的至少一部分上提供的条形码、在贴在出版物的至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，以及与印刷出版物相关联的位于印刷出版物附近的3D打印物体，和/或诸如此类。
仅作为示例，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形，和/或诸如此类。3D静止图形、3D动画图形或3D交互动画图形中的每一个可以包括以下中的至少一个：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景，印刷出版物中描述场景所启发的场景，印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在一些实施方式中，呈现一个或多个媒体内容可以包括利用显示设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。
在又一方面，系统可以包括图像捕获设备、计算系统和视觉输出设备。图像捕获设备可以包括第一相机，至少一个第一处理器和第一非暂时性计算机可读介质。第一非暂时性计算机可读介质可以具有存储在其上的包括第一指令集的计算机软件，当由至少一个第一处理器执行时，该第一指令集使得图像捕获设备：利用第一相机捕获印刷出版物的至少一部分的一个或多个图像，并将所捕获的一个或多个图像发送到计算系统。
计算系统可以包括至少一个第二处理器和第二非暂时性计算机可读介质。第二非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第二处理器执行时使得该计算系统进行以下的第二组指令：接收来自图像捕获设备的所捕获的一个或多个图像；分析印刷出版物的至少一部分的所捕获的一个或多个图像，以确定所捕获的一个或多个图像是否包含一个或多个触发；基于确定所捕获的一个或多个图像包含至少一个触发，识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，该视野包括印刷出版物的至少一部分；修改一个或多个媒体内容的取向以与用户的视野对准；并且发送一个或多个媒体内容至视觉输出设备，该一个或多个媒体内容的取向已被修改以与用户的视野对准。
视觉输出设备可以包括显示设备、至少一个第三处理器和第三非暂时性计算机可读介质。第三非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第三处理器执行时使得该视觉输出设备进行以下的第三组指令：从计算系统接收其取向已被修改以与用户的视野对准的一个或多个媒体内容；并利用显示设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。
在一些实施方式中，视觉输出设备可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，视觉输出设备可以包括图像捕捉设备。
根据一些实施方式，视觉输出设备可以包括第二相机，该第二相机在第一相机捕获印刷出版物的至少一部分的一个或多个图像时捕获用户眼睛的一个或多个图像，并且利用计算机系统确定用户的视野可以包括基于对用户眼睛的所捕获的一个或多个图像的分析，利用计算机系统确定用户的视野。
在一些情况下，印刷出版物可能包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。根据一些实施方式，至少一个触发可以各自包括以下之一：在出版物的至少一部分上提供的QR码、在出版物的至少一部分上提供的条形码、在贴在出版物的至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，以及与印刷出版物相关联的位于印刷出版物附近的3D打印物体，和/或诸如此类。
在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形，和/或诸如此类。3D静止图形、3D动画图形或3D交互动画图形中的每一个可以包括以下中的至少一个：与所述印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景、印刷出版物中描述场景所启发的场景、印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在一些实施方式中，呈现一个或多个媒体内容可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。在一些情况下，计算系统可包括服务器计算机、云计算系统或视觉输出设备，和/或诸如此类中的至少一个。
在又一方面，一种方法可以包括在视觉输出设备和与印刷出版物相关联的一个或多个非视觉触发中的至少一个触发之间建立通信，并且响应于在视觉输出设备与至少一个触发之间建立通信，利用计算系统识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容。该方法还可以包括利用计算机系统确定用户的视野，该视野包括印刷出版物的至少一部分并且利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准。该方法还可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。
根据一些实施方式，在视觉输出设备与至少一个触发之间建立通信可以包括：利用计算系统确定视觉输出设备是否在与印刷出版物相关联的一个或多个非视觉触发的通信范围内；并且基于确定视觉输出设备在一个或多个非视觉触发的至少一个触发的通信范围内，建立视觉输出设备与至少一个触发之间的通信。
在一些实施方式中，视觉输出设备可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，所述视觉输出设备可以包括相机，该相机在用户看向出版物的至少一部分时捕获用户眼睛的一个或多个图像，其中利用计算机系统确定用户的视野包括基于对用户眼睛的所捕获的一个或多个图像的分析，利用计算机系统确定用户的视野。
仅作为示例，在一些情况下，印刷出版物可以包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下，至少一个触发可以各自包括RFID标签、BLE标签、NFC标签或RTLS标签中的一个。
在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形，和/或诸如此类。3D静止图形、3D动画图形或3D交互动画图形中的每一个可以包括以下中的至少一个：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景、印刷出版物中描述场景所启发的场景、印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在一些实施方式中，呈现一个或多个媒体内容可以包括：用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。在一些情况下，计算系统可包括服务器计算机、云计算系统或视觉输出设备的计算系统，和/或诸如此类中的至少一个。
在另一方面，装置可以包括无线通信设备、显示设备、至少一个处理器和非暂时性计算机可读介质。非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个处理器执行时使得该装置进行以下的一组指令：利用无线通信设备在视觉输出设备和与打印出版物相关联的一个或多个非视觉触发的至少一个触发之间建立通信；响应于在视觉输出设备与至少一个触发之间建立通信，识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，该视野包括印刷出版物的至少一部分；修改一个或多个媒体内容的取向以与用户的视野对准；并且利用显示设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的去向已被修改以与用户的视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分有关的虚拟覆盖图。
在一些实施方式中，装置可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，装置还可以包括第二相机，该第二相机在第一相机捕获出版物的至少一部分的一个或多个图像时捕获用户眼睛的一个或多个图像，并且利用计算机系统确定用户的视野包括基于对用户眼睛的所捕获的一个或多个图像的分析，利用计算机系统确定用户的视野。
仅作为示例，在一些情况下，印刷出版物可以包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下，至少一个触发可以各自包括RFID标签、BLE标签、NFC标签或RTLS标签中的一个。
在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形，或3D交互动画图形，和/或诸如此类。
在又一方面，系统可以包括无线通信设备、计算系统和视觉输出设备。无线通信设备可以包括收发器、至少一个第一处理器和第一非暂时性计算机可读介质。第一非暂时性计算机可读介质可以具有存储在其上的包括第一指令集的计算机软件，当由至少一个第一处理器执行时，该第一指令集使得图像捕获设备：建立视觉输出设备和与印刷出版物相关联的一个或多个非视觉触发中的至少一个触发之间的通信。
计算系统可以包括至少一个第二处理器和第二非暂时性计算机可读介质。第二非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第二处理器执行时使得该计算系统进行以下的第二组指令：响应于建立视觉输出设备与至少一个触发之间的通信，识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容；确定用户的视野，该视野包括印刷出版物的至少一部分；修改一个或多个媒体内容的取向以与用户的视野对准；并且发送一个或多个媒体内容至视觉输出设备，该一个或多个媒体内容的取向已被修改以与用户的视野对准。
视觉输出设备可以包括显示设备、至少一个第三处理器和第三非暂时性计算机可读介质。第三非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第三处理器执行时使得该视觉输出设备进行以下的第三组指令：从计算系统接收其取向已被修改以与用户的视野对准的一个或多个媒体内容；并利用显示设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。
在另一方面，方法可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，使得一个或多个媒体内容呈现为与实体物体的至少一部分相关的虚拟叠加图；并利用计算系统确定一个或多个媒体内容应如何呈现给用户。该方法还可以包括：基于确定将一个或多个媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为虚拟现实呈现，利用计算系统将一个或多个媒体内容呈现转换为虚拟现实呈现，并且利用视觉输出设备向用户呈现一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容。在一些实施方式中，该方法还包括：基于确定将一个或多个媒体内容呈现为混合现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为混合现实呈现，利用计算系统将一个或多个媒体内容呈现转换为混合现实呈现，并且利用视觉输出设备向用户呈现一个或多个第三媒体内容，该一个或多个第三媒体内容包括混合现实内容。
在一些实施方式中，视觉输出设备可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，实体物体可以包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根、海报、圣诞树灯泡、圣诞树装饰品、光明节大烛台、墓碑、与用户相关联的感伤工件或装饰品，或与用户有关联的另一个人相关联的感伤工件或装饰品。在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形，或3D交互动画图形，和/或诸如此类。
根据一些实施方式，方法可以还包括以下中的至少一个：利用一个或多个传感器，响应于来自媒体内容的呈现的刺激检测用户的一个或多个身体特性或利用计算系统来接收指示应如何呈现媒体内容的选择的用户输入。在这样的实施方式中，利用计算系统确定应该如何向用户呈现一个或多个媒体内容可以基于用户的所检测的一个或多个身体特性或所接收的用户输入中的至少一个。在一些实施方式中，该方法还可以包括：基于确定将一个或多个媒体内容呈现为增强现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为增强现实呈现，利用计算系统将一个或多个媒体内容呈现转换为增强现实呈现，并且利用视觉输出设备向用户呈现一个或多个第四媒体内容，该一个或多个第四媒体内容包括增强现实内容。
在又一方面，装置可以包括：显示设备；至少一个处理器；以及非暂时性计算机可读介质，该非暂时性计算机可读介质具有存储在其上的计算机软件，该计算机软件包括当被至少一个处理器执行时导致装置进行以下的一组指令：利用显示设备向用户呈现一个或多个媒体内容，使得一个或多个媒体内容被呈现为与实体物体的至少一部分相关的虚拟覆盖图；确定应该如何向用户呈现一个或多个媒体内容；基于确定将一个或多个媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为虚拟现实呈现，将一个或多个媒体内容的呈现转换为虚拟现实呈现，并利用显示设备向用户呈现一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容；以及基于确定将一个或多个媒体内容呈现为混合现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为混合现实呈现，利用计算系统将一个或多个媒体内容呈现转换为混合现实呈现，并利用视觉输出设备向用户呈现一个或多个第三媒体内容，该一个或多个第三媒体内容包括混合现实内容。
在一些实施方式中，装置可以包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些情况下，实体物体可以包括以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根、海报、圣诞树灯泡、圣诞树装饰品、光明节大烛台、墓碑、与用户相关联的感伤工件或装饰品，或与用户有关联的另一个人相关联的感伤工件或装饰品。在一些情况中，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形，或3D交互动画图形，和/或诸如此类。
根据一些实施方式，该装置还可以包括一个或多个传感器或一个或多个用户输入设备中的至少一个。当由一个或多个处理器执行时，该组指令进一步使得该装置执行以下中的至少一个：响应于来自媒体内容的呈现的刺激，利用一个或多个传感器检测用户的一个或多个身体特性；或者从所述一个或多个用户输入设备接收指示应该如何呈现媒体内容的选择的用户输入。在这样的实施方式中，确定应该如何向用户呈现一个或多个媒体内容可以基于用户的所检测的一个或多个身体特性或所接收的用户输入中的至少一个。
在一些情况下，当由一个或多个处理器执行时该组指令还使得装置：基于确定将一个或多个媒体内容呈现为增强现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为增强现实呈现，将一个或多个媒体内容呈现转换为增强现实呈现，并且利用显示设备向用户呈现一个或多个第四媒体内容，该一个或多个第四媒体内容包括增强现实内容。
在又一方面，系统可以包括视觉输出设备和计算系统。视觉输出设备可以包括显示设备、至少一个第一处理器和第一非暂时性计算机可读介质。第一非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第一处理器执行时使得该视觉输出设备进行以下的第一组指令：利用显示设备向用户呈现一个或多个媒体内容，使得一个或多个媒体内容呈现为与实体物体的至少一部分相关的虚拟重叠。
计算系统可以包括至少一个第二处理器和第二非暂时性计算机可读介质。第二非暂时性计算机可读介质可以具有存储在其上的计算机软件，该计算机软件包括当由至少一个第二处理器执行时使得该计算系统进行以下的第二组指令：修改一个或多个媒体内容的取向以与用户的视野对准；以及确定一个或多个媒体内容应如何呈现给用户；基于确定将一个或多个媒体内容呈现为虚拟现实呈现，且基于确定一个或多个媒体内容尚未呈现为虚拟现实呈现，将一个或多个媒体内容转换给虚拟现实呈现；以及基于确定将一个或多个媒体内容呈现为混合现实呈现，且基于确定一个或多个媒体内容尚未呈现为混合现实呈现，将一个或多个媒体内容转换给混合现实呈现。
当由至少一个第一处理器执行时,第一组指令还可以使得该视觉输出设备：基于确定将一个或多个媒体内容呈现为虚拟现实呈现，且基于确定一个或多个媒体内容尚未呈现为虚拟现实呈现，利用显示设备向用户呈现一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容；以及基于确定将一个或多个媒体内容呈现为混合现实呈现，且基于确定一个或多个媒体内容尚未呈现为混合现实呈现，利用显示设备向用户呈现一个或多个第三媒体内容，该一个或多个第三媒体内容包括混合现实内容。
在另一方面，方法可以包括利用计算系统确定现多个媒体内容中的一个或多个第一媒体内容或者一个或多个实体物体中的一个或多个捕获图像中的至少一个应该如何呈现给用户。方法还可以包括：基于确定将一个或多个第一媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个第一媒体内容尚未被呈现为虚拟现实呈现，利用计算系统经由第一API控制素材集成和控制系统以使得素材集成和控制系统修改第一媒体内容从而生成一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容，以及利用计算系统经由第二API发送一个或多个第二媒体内容到多个视觉输出设备的第一视觉输出设备，该多个视觉输出设备的第一视觉输出设备向用户呈现一个或多个第二媒体内容。
该方法还可以包括基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为增强现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为增强现实呈现，利用计算系统经由第一API控制素材集成和控制系统以使得素材集成和控制系统通过将一个或多个第一媒体内容修改为与一个或多个实体物体的一个或多个捕获图像相关的虚拟覆盖图来生成一个或多个第三媒体内容，该一个或多个第三媒体内容包括增强现实内容，并且利用计算系统经由第二API将一个或多个第三媒体内容发送给将一个或多个第三媒体内容呈现给用户的第一视觉输出设备。该方法还可以包括基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为组合虚拟现实和增强现实的元素的混合现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为混合现实呈现，利用计算系统经由第一API控制素材集成和控制系统以使得素材集成和控制系统基于一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像来生成一个或多个第四媒体内容，该一个或多个第四媒体内容包括混合现实内容，以及利用计算系统经由第二API将一个或多个第四媒体内容发送给将一个或多个第四媒体内容呈现给用户的第一视觉输出设备。
在一些实施方式中，该方法还可以包括利用计算系统跟踪经由第一API的素材集成和控制系统、经由第二API的第一视觉输出设备、经由第三API的素材制作系统、经由第四API的制作管理系统中的至少一个中的每一个中的多个媒体内容中的每一个的实时状态。在一些情况下，该方法还可以包括利用计算系统分发多个媒体内容中的至少一个第五媒体内容，该至少一个第五媒体内容的状态指示其准备好从素材制作系统集成到素材集成和控制系统，以及利用计算系统分发多个媒体内容中的至少一个第六媒体内容，该至少一个第六媒体内容的状态指示其准备好从素材集成和控制系统分发到第一视觉输出设备。在一些情况下，该方法还可以包括利用计算系统将至少一个第六媒体内容与多个视觉输出设备中的一个或多个第二视觉输出设备同步，该一个或多个第二视觉输出设备与第一视觉输出设备分离，并且响应于接收对至少一个第六媒体内容的更新，利用计算系统将对至少一个第六媒体内容的更新发送给第一视觉输出设备中的每一个和一个或多个第二视觉输出设备中的每一个。
根据一些实施方式，该方法还可以包括：利用计算系统经由第三API从素材制作系统接收一个或多个第一媒体内容；以及利用计算系统从图像捕获设备接收所述一个或多个实体物体的一个或多个捕获图像。在一些实施方式中，该方法还可以包括：利用计算系统确定一个或多个第一媒体内容准备好分配给第一视觉输出设备；利用计算系统经由第四API发送一个或多个第一消息到制作管理系统，其中一个或多个第一消息使的制作管理系统改变一个或多个第一媒体内容的状态以指示一个或多个第一媒体内容准备好分配给第一视觉输出设备；以及利用计算系统经由第三API发送一个或多个第二消息至素材制作系统，其中一个或多个第二消息使得素材制作系统经由第三API将一个或多个第一媒体内容发送给计算系统。
在一些情况下，该方法还可以包括：利用计算系统确定一个或多个第二媒体内容尚未准备好分配给第一视觉输出设备；利用计算系统经由第四API发送一个或多个第三消息到制作管理系统，其中一个或多个第一消息使的制作管理系统改变一个或多个第二媒体内容的状态以指示一个或多个第二媒体内容尚未准备好分配给第一视觉输出设备；以及利用计算系统经由第三API发送一个或多个第四消息至素材制作系统，其中一个或多个第四消息使得素材制作系统发送一个或多个第五消息至一个或多个开发人员以继续就一个或多个媒体内容开展工作。
在一些情况下，计算系统可包括服务器计算机、云计算系统，或视觉输出设备的计算系统，和/或诸如此类中的至少一个。根据一些实施方式，多个视觉输出设备可以各自包括以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。
在又一方面，计算系统可以包括：至少一个处理器；以及非暂时性计算机可读介质，该非暂时性计算机可读介质具有存储在其上的计算机软件，该计算机软件包括当被至少一个处理器执行时使得计算系统进行以下的一组指令：确定多个媒体内容中的一个或多个第一媒体内容或一个或多个实体物体的一个或多个捕获图像中的至少一个应如何呈现给用户；基于确定将一个或多个第一媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个第一媒体内容尚未被呈现为虚拟现实呈现，经由第一API控制素材集成和控制系统以使得素材集成和控制系统修改第一媒体内容从而生成一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容，并且经由第二API发送一个或多个第二媒体内容到多个视觉输出设备的第一视觉输出设备，该多个视觉输出设备向用户呈现所述一个或多个第二媒体内容；基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为增强现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为增强现实呈现，经由第一API控制素材集成和控制系统以使得素材集成和控制系统通过将一个或多个第一媒体内容修改为与一个或多个实体物体的一个或多个捕获图像相关的虚拟覆盖图来生成一个或多个第三媒体内容，该一个或多个第三媒体内容包括增强现实内容，并且利用计算系统经由第二API将一个或多个第三媒体内容发送给将一个或多个第三媒体内容呈现给用户的第一视觉输出设备；以及基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为组合虚拟现实和增强现实的元素的混合现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为混合现实呈现，经由第一API控制素材集成和控制系统以使得素材集成和控制系统基于一个或多个第一媒体内容和与一个或多个实体物体的一个或多个捕获图像来生成一个或多个第四媒体内容，该一个或多个第四媒体内容包括混合现实内容，并且经由第二API将一个或多个第四媒体内容发送给将一个或多个第四媒体内容呈现给用户的第一视觉输出设备。
在不脱离本发明的范围的情况下，可以对所讨论的实施方式进行各种修改和添加。例如，虽然上述实施方式涉及特定特征，但是本发明的范围还包括具有不同特征组合的实施方式和不包括所有上述特征的实施方式。
具体示例性实施方式
现在我们转到如附图所图示的实施方式。图1-图9图示了用于实现计算机模拟现实交互的方法、系统和装置的一些特征，并且如上所涉及，在特定实施方式中，用于在用户与实体出版物之间实现计算机模拟现实交互的方法、系统和计算机软件。图1-图5涉及用于实现的计算机模拟现实用户体验的方法、系统和装置，而图6和图7涉及用于实现的计算机模拟现实平台的方法、系统和装置，并且图8和图9涉及用于实现计算机模拟现实用户体验和计算机模拟现实平台的硬件系统。图1-图9所图示的方法、系统和装置涉及包括各种组件和步骤的不同实施方式的示例，这些组件和步骤可以被认为是替代或者可以在各种实施方式中彼此结合使用。图1-图9中所示的所图示方法、系统和装置的描述出于说明目的提供，不应被认为限制不同实施方式的范围。
计算机模拟现实UX
参考附图，图1是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的系统100的示意图。
在图1的非限制性实施方式中，系统100可以包括一个或多个用户设备105(本文中也称为“视觉输出设备”等等)。尽管图1中示出了用户设备105的特定实施方式(例如，平板计算机、智能电话和虚拟现实或增强现实耳机)，但是各种实施方式不限于此，并且每个用户设备105可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些实施方式中，系统100还可以包括与一个或多个用户设备105分离或远离，并且可以通过有线连接(例如，如图1中由一个或多个用户设备105与网络115之间的实线所示)或通过无线连接(例如，如图1中由一个或多个用户设备105与网络115之间的闪电符号所示)经由网络115访问的计算系统110(包括但不限于，服务器计算机、云计算系统，和/或诸如此类)。在一些情况下，网络115可以包括但不限于局域网(“LAN”)，其包括但不限于光纤网络、以太网网络、令牌环网络和/或诸如此类；广域网(“WAN”)；无线广域网(“WWAN”)；虚拟网络，诸如虚拟专用网络(“VPN”)；因特网；内联网；外联网；公共交换电话网(“PSTN”)；红外线网络；无线网络，其包括但不限于在任何IEEE 802.11协议套件、本领域已知的蓝牙TM协议和/或任何其他无线协议下操作的网络；和/或这些和/或其他网络的任何组合。在特定实施方式中，网络可以包括服务提供商的接入网络(例如，因特网服务提供商(“ISP”))。在另一实施方式中，网络可以包括服务提供商的核心网络和/或因特网。
根据一些实施方式，系统100可以进一步包括印刷出版物125。尽管图1中示出了印刷出版物125的特定实施方式(例如，书籍)，但是各种实施方式不限于此并且印刷出版物125可以包括但不限于以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些实施方式中，一个或多个触发130可以提供在印刷出版物的至少一部分上，并且每个触发130可以包括但不限于以下之一：在出版物的至少一部分上提供的QR码、在出版物的至少一部分上提供的条形码、在贴在出版物的至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，以及与印刷出版物相关联的位于印刷出版物附近的3D打印物体。根据一些实施方式，用户设备105还可以包括但不限于第一相机135(如沿着用户设备105的前视图的箭头AA的方向所示的用户设备105的侧视图所示)、第二相机140，以及显示设备或显示屏145，和/或诸如此类。
在操作中，用户设备105的第一相机135可以捕获印刷出版物125的至少一部分(例如，封面、整个出版物、封底、印刷出版物的页面、印刷出版物的装订、任何这些的一部分和/或诸如此类)的一个或多个图像。用户设备105和/或计算系统110可以分析印刷出版物的至少一部分的所捕获的一个或多个图像，以确定所捕获的一个或多个图像是否包含一个或多个触发130(如上所述)。根据一些实施方式，用户设备105或计算系统110可以将印刷出版物125的至少一部分的所捕获的一个或多个图像上的点映射作为分析的一部分，以确定所捕获的一个或多个图像是否包含一个或多个触发130。
基于确定所捕获的一个或多个图像包含一个或多个触发中的至少一个触发，用户设备105和/或计算系统110可以识别与至少一个触发相关联的多个媒体内容160中的一个或多个媒体内容。用户设备105和/或计算系统110可以随后确定用户的视野(例如，通过使用第二相机140捕获用户眼睛的图像)，该视野至少包括印刷出版物的至少一部分，并且如果必要，修改一个或多个媒体内容的取向以与用户的视野对准(即，基于确定一个或多个媒体内容的取向尚未与用户的视野对准等等)。用户设备105和/或计算系统110可以继而在用户设备105的显示设备145上显示一个或多个媒体内容(其方向可能已被修改以与用户的视野对准)，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。在图1的非限制性实施方式中，一个或多个媒体内容160包括处于投掷物体(例如，雪球等等)的行为中的人物，并且人物呈现为在出版印刷物封面图像的顶部上的虚拟覆盖图。尽管一个或多个媒体内容160被描绘为显示在图1中的平板计算机105的显示设备上，但是各种实施方式不限于此，并且一个或多个媒体内容160可以显示在如上所述的任何用户设备105的显示设备上(VR耳机、AR耳机、一副AR眼镜、平板、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或适合作为AR系统一部分的智能手机，和/或诸如此类)。
在一些情况下，系统100还可以包括一个或多个数据库120，其存储关于与(在多个印刷出版物中的)每个印刷出版物125相关联的一个或多个触发130的信息、关于与(在多个印刷出版物中的)每个印刷出版物125相关联的一个或多个媒体内容160的信息、一个或多个媒体内容160本身、用于视觉输出设备或用户设备105的显示设备中的每一个的格式化信息，和/或诸如此类中的至少一个。
根据一些实施方式，如上所述的一个或多个用户设备105的功能可以由下载并安装在一个或多个用户设备105上的软件应用(“app”)提供，并且软件app提供功能，用于捕获印刷出版物的至少一部分的图像，分析触发的图像，识别与触发相关联的媒体内容，确定用户的视野，修改(如果必要)媒体内容的取向以与用户的视野对准，并且将媒体内容作为与印刷出版物的至少一部分(在一些情况下，的图像)相关的的虚拟覆盖图呈现给用户。
在一些实施方式中，触发可以包括两个或更多个印刷出版物的特定布置。例如，将两本书放在彼此相邻的特定系列的书中可以用作生成包括来自两本书的、呈现为与两本书相关的虚拟覆盖图的人物的媒体内容的触发，其中人物呈现为彼此交互(例如，第一人物向第二人物发起打雪仗大战，其中每个人物可以呈现为在两本书中的一本之上的覆盖图等等)。在另一示例中，将三本或更多本书以相对于彼此的第一序列或顺序放置在一系列书籍中可以用作一组媒体内容的触发(一组媒体内容可以包括该系列书籍中的人物之间的第一组交互)，而将三本或更多本书以相对于彼此的第二序列或顺序放置可以作为另一组媒体内容的触发(另一组媒体内容可以包括该系列书籍中的人物之间的第二组交互)。在一些情况下，不是人物，而是以特定顺序的印刷出版物的布置可能导致触发呈现可能引导用户获得实际或虚拟奖品等等的地图、线索或其他内容(例如，作为用于该系列书籍、电影、电视剧、游戏、玩具和/或诸如此类的营销活动的一部分)。在一些情况下，将所有一系列书籍以特定配置和/或顺序放置在一起可以作为生成虚拟位置或场所的触发(例如，呈现与书籍系列等等相关联的城镇、城镇中心、城市、市中心、建筑物、房间等的虚拟表示)。以上描述的这些虚拟投影(本文中也称为“组合效果”)可以是3D虚拟投影，或者当用户设备在印刷出版物周围移动或相对于印刷出版物移动时可能改变的2D切片(例如，从一个角度看可能允许用户看到虚拟投影的一侧，而从另一个角度看，可能允许用户看到同一虚拟投影的另一侧等等)。
可替代地或另外地，用户设备105的地理定位功能可以用作媒体内容的每个呈现的附加触发。例如，如果用户位于与印刷出版物的故事的设置之一相关联的位置并且实现如上所述的应用，则与可能以其他方式触发的媒体内容相比，所得到的媒体内容可以针对该位置专门定制。
可替代地或另外地，用户设备105的天气跟踪功能可以用作附加触发(其还可以与地理定位功能相结合)以触发特定媒体内容的呈现。例如，如果用户设备(通过其天气跟踪app或因特网和/或关于用户设备的地理位置的信息)确定当用户正在使用如以上描述的app时在用户设备的位置处正在下雪，响应于与印刷出版物相关联的触发而呈现给用户的所得媒体内容可以包括与印刷出版物相关联的人物，其参加与故事一致的打雪仗或其他雪上运动。如果用户设备以其他方式确定在用户正在使用如上所述的app时在用户设备的位置处是晴天，响应于与印刷出版物相关联的触发而呈现给用户的所得媒体内容可以包括字与印刷出版物相关联的人物，其参加与故事一致的打水仗或其他夏季活动。等等。
根据一些实施方式，呈现为虚拟覆盖图的媒体内容可以包括与用户交互的人物，如在对话或游戏，和/或诸如此类中。例如，投影的虚拟人物与用户之间这样的虚拟对话可以与印刷出版物的故事相关联的对话或主题相一致。在交互游戏的情况下，虚拟人物可以参加与用户打雪仗或打水仗，并且用户敲击或以其他方式输入用户设备上的输入(例如，触摸特定按钮或屏幕的部分)可以导致虚拟雪球或水球飞向虚拟人物，等等。
尽管关于印刷出版物描述了上述实施方式，但是在一些情况下，可以使用从计算设备读取的电子书或书籍来代替印刷出版物。在这样的情况下，如上所述的单独的用户设备可以捕获电子书封面或页面的图像以确定图像是否包含触发，并且其他过程能够以其他方式是相同或相似的。如上所述，电子书阅读器或计算设备可以在同一屏幕上显示两个或更多个印刷出版物的封面，而不是将两个或更多个印刷出版物放在一起以触发如上所述的组合效果。在一些情况下，app还可以用作电子书阅读器，并且可以允许在显示屏上布置多个出版物以触发组合效果。在替代情况下，不是使用单独的用户设备来捕获电子书的图像，该app可以允许阅读电子书，同时提供用于在不使用相机的情况下触发上述过程的选项(可能改为使用屏幕捕获技术来捕获显示电子出版物等等的屏幕图像，或者简单地识别正在屏幕上显示的触发)。在一些情况下，可以标记触发以供用户通过点击触发来激活，从而导致触发的媒体内容的呈现。根据一些实施方式，3D投影或全息设备等等可以与电子书阅读器/用户设备结合使用以在设备的屏幕上方呈现3D投影(这可以允许用户佩戴相应的3D/全息眼镜以观看投影或可以允许媒体内容的无眼镜3D全息投影)。
在一些实施方式中，印刷出版物中的图形可以用作触发。例如，地图插图可能触发地图所示位置(或位置之一)的3D投影。在一些情况下，山谷地图可以触发鸟类向下俯冲进入山谷中的3D动画等等。空间区域的2D地图可能触发相同空间区域的3D平移。等等。书中场景的2D插图可能触发同一场景的3D动画。在这些3D投影中，用户可以通过移动显示设备来改变视角以查看3D投影的不同角度。
所描述的这些交互和媒体内容仅是与本发明的实施方式一致的非限制性示例，并且可以实现其他交互和媒体内容(只要与本文描述或暗示的实施方式一致)。
图2是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的方法200的流程图。
尽管出于说明的目的以特定顺序描绘和/或描述了技术和程序，但是应当理解，可以在各种实施方式的范围内重新排序和/或省略某些程序。此外，尽管图2所图示的方法可以通过或使用图1的系统100(或其组件)实现(以及在某些情况下，就与图1的系统100(或其组件)相关在以下描述)，但是这样的方法也可以使用任何合适的硬件(或软件)实现来实现。类似地，虽然图1的系统100(或其组件)可以根据图2所图示的方法操作(例如，通过执行计算机可读介质上包含的指令)，但是图1的系统100也可以根据其他操作模式操作和/或执行其他合适的程序。
参考图2，根据一些实施方式，方法200可以包括在框205处利用第一相机捕获印刷出版物(例如，图1的印刷出版物125等等)的至少一部分的一个或多个图像。在框210处，方法200可以包括利用计算系统(其可以对应于图1的用户设备105或计算系统110等登)来分析印刷出版物的至少一部分的所捕获的一个或多个图像，以确定所捕获的一个或多个图像是否包含一个或多个触发(例如，图1的一个或多个触发130等等)。在一些实施方式中，印刷出版物可以包括，但不限于，以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下，至少一个触发可以各自包括，而不限于，以下之一：在出版物的至少一部分上提供的QR码、在出版物的至少一部分上提供的条形码、在贴在出版物的至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，或与印刷出版物相关联的位于印刷出版物附近的3D打印物体和/或诸如此类。在一些情况下，第一相机可以是用户设备的一部分或可以体现在用户设备中。或者，第一相机可以在用户设备外部，而通信地耦合至用户设备。
方法200还可以包括基于确定所捕获的一个或多个图像包含一个或多个触发中的至少一个触发，利用计算系统识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容(框215)。在一些情况下，一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形，和/或诸如此类，其中的每一个包括以下之一：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景，印刷出版物中描述场景所启发的场景，印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在框220，方法200可以包括利用计算机系统确定用户的视野，视野包括出版物的至少一部分。在一些实施方式中，确定用户的视野可以包括当第一相机捕获印刷出版物的至少一部分的一个或多个图像时，利用第二相机(其可以对应于图1的用户设备105的第二相机140等等)捕获用户眼睛的一个或多个图像(可选框225)，以及基于对所捕获的用户眼睛的一个或多个图像(例如，相对于通过第一相机的印刷出版物的至少一部分的所捕获的一个或多个图像)，利用计算机系统确定用户的视野(可选框230)。
方法200还可以包括，在框235处，如果必要，利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准(即，如果确定一个或多个媒体内容的取向尚未与用户的视野对准)。在框240处，方法200可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。这里，视觉输出设备可以对应于以上描述的用户设备，并且可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。根据一些实施方式，呈现一个或多个媒体内容可以包括：用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。
图3是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的另一系统300的示意图。
在图3的非限制性实施方式中，系统300可以包括一个或多个用户设备305(本文中也称为“视觉输出设备”等等)。虽然图3中示出了用户设备305的具体实施方式(例如，平板计算机、智能电话以及虚拟现实或增强现实耳机)，各种实施方式不受限制，并且每个用户设备305可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。在一些实施方式中，系统300还可以包括与一个或多个用户设备305分离或远离，并且可以通过有线连接(例如，如图3中由一个或多个用户设备305与网络315之间的实线所示)或通过无线连接(例如，如图3中由一个或多个用户设备305与网络315之间的闪电符号所示)经由网络315访问的计算系统310(包括但不限于，服务器计算机、云计算系统和/或诸如此类)。在一些情况下，网络315可以包括但不限于LAN，包括但不限于光纤网络、以太网网络、令牌环TM网络和/或诸如此类；WAN；WWAN；虚拟网络，诸如VPN；因特网；内联网；外联网；PSTN；红外线网络；无线网络，包括但不限于在任何IEEE 802.11协议套件、本领域已知的蓝牙TM协议和/或任何其他无线协议下操作的网络；和/或这些和/或其他网络的任何组合。在特定实施方式中，网络可以包括服务提供商的接入网络(例如，ISP)。在另一实施方式中，网络可以包括服务提供商的核心网络和/或因特网。
根据一些实施方式，系统300还可以包括印刷出版物325。尽管图3中示出了印刷出版物325的特定实施方式(例如，书籍)，但是各种实施方式不限于此，并且印刷出版物325可以包括但不限于以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些实施方式中，一个或多个触发330可以提供在印刷出版物的至少一部分上，并且可以各自包括非可视触发，其包括但不限于RFID标签、BLE标签、NFC标签，或RTLS标签，和/或诸如此类。根据一些实施方式，用户设备305还可以包括但不限于与一个或多个触发330无线通信的收发器335(例如，如图3中由收发器335与一个或多个触发330之间的闪电符号所示)、相机340、显示设备或显示屏345、一个或多个处理器350、存储器355和/或诸如此类。
在操作中，用户设备305(或可能收发器335)可以确定用户设备305是否在与印刷出版物相关联的至少一个非视觉触发330的通信范围内。基于确定用户设备在至少一个非视觉触发330的通信范围内，可以在收发器335和与打印出版物相关联的至少一个非视觉触发330之间建立无线通信。
响应于在用户设备305与至少一个非可视触发330之间建立通信，用户设备305和/或计算系统310可以识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容360。用户设备305(的处理器350)和/或计算系统310可以随后确定用户的视野(例如，通过使用相机340捕获用户的眼睛的图像)，该视野至少包括印刷出版物的至少一部分，并且如果必要，修改一个或多个媒体内容的取向以与用户的视野对准(即，基于确定一个或多个媒体内容的取向尚未与用户的视野对准等等)。用户设备305和/或计算系统310可以继而在用户设备305的显示设备345上显示一个或多个媒体内容(其方向可能已被修改以与用户的视野对准)，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。在图3的非限制性实施方式中，一个或多个媒体内容360包括处于投掷物体(例如，雪球等等)的行为中的人物，并且人物呈现为在出版印刷物封面图像的顶部上的虚拟覆盖图。尽管一个或多个媒体内容360被描绘为显示在图3中的平板计算机305的显示设备上，但是各种实施方式不限于此，并且一个或多个媒体内容360可以显示在如上所述的任何用户设备305的显示设备上(VR耳机、AR耳机、一副AR眼镜、平板、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或适合作为AR系统一部分的智能手机，和/或诸如此类)。
在一些情况下，系统300还可以包括一个或多个数据库320，其存储关于与(在多个印刷出版物中的)每个印刷出版物325相关联的一个或多个触发330的信息、关于与(在多个印刷出版物中的)每个印刷出版物325相关联的一个或多个媒体内容360的信息、一个或多个媒体内容360本身、用于视觉输出设备或用户设备305的显示设备中的每一个的格式化信息，和/或诸如此类中的至少一个。
根据一些实施方式，如上所述的一个或多个用户设备305的功能可以由下载并安装在一个或多个用户设备305上的app提供，并且软件app提供功能用于：建立用户设备(收发器335)与非可视触发之间的通信，识别与非可视触发相关联的媒体内容，确定用户的视野，修改(如果必要)媒体内容的取向以与用户的视野对准，并将媒体内容作为与印刷出版物的至少一部分(在一些情况下，的图像)相关的虚拟覆盖图呈现给用户。
在一些实施方式中，触发可以包括两个或更多个印刷出版物的特定布置。例如，将两本书放在彼此相邻的特定系列的书中，其中在收发器和与每本书先关联的每个触发之间依次建立无线通信，可以用作生成包括来自两本书的、呈现为与两本书相关的虚拟覆盖图的人物的媒体内容的触发，其中人物呈现为彼此交互(例如，第一人物向第二人物发起打雪仗大战，其中每个人物可以呈现为在两本书中的一本之上的覆盖图等等)。在另一示例中，将三本或更多本书以相对于彼此的第一序列或顺序放置在一系列书籍中，其中在收发器和与每本书先关联的每个触发之间依次建立无线通信，可以用作一组媒体内容的触发(一组媒体内容可以包括该系列书籍中的人物之间的第一组交互)，而将三本或更多本书以相对于彼此的第二序列或顺序放置可以作为另一组媒体内容的触发(另一组媒体内容可以包括该系列书籍中的人物之间的第二组交互)。在一些情况下，不是人物，而是以特定顺序的印刷出版物的布置可能导致触发呈现可能引导用户获得实际或虚拟奖品等等的地图、线索或其他内容(例如，作为用于该系列书籍、电影、电视剧、游戏、玩具和/或诸如此类的营销活动的一部分)。在一些情况下，将所有一系列书籍以特定配置和/或顺序放置在一起，其中在收发器和与每本书先关联的每个触发之间依次或同时建立无线通信，可以作为生成虚拟位置或场所的触发(例如，呈现与书籍系列等等相关联的城镇、城镇中心、城市、市中心、建筑物、房间等的虚拟表示)。以上描述的这些虚拟投影(本文中也称为“组合效果”)可以是3D虚拟投影，或者当用户设备在印刷出版物周围移动或相对于印刷出版物移动时可能改变的2D切片(例如，从一个角度看可能允许用户看到虚拟投影的一侧，而从另一个角度看，可能允许用户看到同一虚拟投影的另一侧等等)。
可替代地或另外地，用户设备305的地理定位功能可以用作媒体内容的每个呈现的附加触发。例如，如果用户位于与印刷出版物的故事的设置之一相关联的位置并且实现如上所述的应用，则与可能以其他方式触发的媒体内容相比，所得到的媒体内容可以针对该位置专门定制。
可替代地或另外地，用户设备305的天气跟踪功能可以用作附加触发(其还可以与地理定位功能相结合)以触发特定媒体内容的呈现。例如，如果用户设备(通过其天气跟踪app或因特网和/或关于用户设备的地理位置的信息)确定当用户正在使用如以上描述的app时在用户设备的位置处正在下雪，响应于与印刷出版物相关联的触发而呈现给用户的所得媒体内容可以包括与印刷出版物相关联的人物，其参加与故事一致的打雪仗或其他雪上运动。如果用户设备以其他方式确定在用户正在使用如上所述的app时在用户设备的位置处是晴天，响应于与印刷出版物相关联的触发而呈现给用户的所得媒体内容可以包括字与印刷出版物相关联的人物，其参加与故事一致的打水仗或其他夏季活动。等等。
根据一些实施方式，呈现为虚拟覆盖图的媒体内容可以包括与用户交互的人物，如在对话或游戏，和/或诸如此类中。例如，投影的虚拟人物与用户之间这样的虚拟对话可以与印刷出版物的故事相关联的对话或主题相一致。在交互游戏的情况下，虚拟人物可以参加与用户打雪仗或打水仗，并且用户敲击或以其他方式输入用户设备上的输入(例如，触摸特定按钮或屏幕的部分)可以导致虚拟雪球或水球飞向虚拟人物，等等。
尽管关于印刷出版物描述了上述实施方式，但是在一些情况下，可以使用从计算设备读取的电子书或书籍来代替印刷出版物。在这样的情况下，如上所述的单独用户设备可以建立与电子书读者或计算设备的无线通信，并且其他过程能够以其他方式是相同或相似的。换而言之，电子书阅读器或计算设备可以在同一屏幕上显示两个或更多个印刷出版物的封面，而不是将两个或更多个印刷出版物放在一起以触发如上所述的组合效果，并且电子书阅读器或计算设备可以具有可以激活或用作非视觉触发的收发器。在一些情况下，app还可以用作电子书阅读器，并且可以允许在显示屏上安排多个出版物，同时使得电子书阅读器或计算设备使用其收发器作为与出版物相关联的非视觉触发以触发组合效果。在替代情况下，不是使用单独的用户设备来捕获电子书的图像，该app可以允许阅读电子书，同时提供用于在不使用外部收发器等等的情况下触发上述过程的选项(而不是使得激发或视觉触发时间与上述非视觉触发一起发生)。在一些情况下，可以标记视觉触发以供用户通过点击触发来激活，从而导致触发的媒体内容的呈现。根据一些实施方式，3D投影或全息设备等等可以与电子书阅读器/用户设备结合使用以在设备的屏幕上方呈现3D投影(这可以允许用户佩戴相应的3D/全息眼镜以观看投影或可以允许媒体内容的无眼镜3D全息投影)。
在一些实施方式中，利用电子书阅读器，伴随的音频朗读可以与阅读电子书阅读器的用户结合使用，并且一些触发可以包括音频触发，包括但不限于与文本相关联的音频关键词、作为音轨下方的隐藏轨迹的次声音关键词、可听音调、可听曲调、次可听音调、次可听曲音调等。例如，在音轨描述出版物中的特定场景之后，当投影和播放场景的3D动画等等时，音轨可能会暂停。
所描述的这些交互和媒体内容仅是与本发明的实施方式一致的非限制性示例，并且可以实现其他交互和媒体内容(只要与本文描述或暗示的实施方式一致)。
图3的系统300否则可能与图1的系统100类似(如果不相同)，并且系统100的组件的描述可以类似地应用于系统300的对应组件。
图4是图示根据各种实施方式的用于在用户与实体出版物之间实现计算机模拟现实交互的另一方法400的流程图。
尽管出于说明的目的以特定顺序描绘和/或描述了技术和程序，但是应当理解，可以在各种实施方式的范围内重新排序和/或省略某些程序。此外，尽管图4所图示的方法可以通过或使用图3的系统300(或其组件)实现(以及在某些情况下，就与图3的系统300(或其组件)相关在以下描述)，但是这样的方法也可以使用任何合适的硬件(或软件)实现来实现。类似地，虽然图3的系统300(或其组件)可以根据图4所图示的方法操作(例如，通过执行计算机可读介质上包含的指令)，但是图3的系统300也可以根据其他操作模式操作和/或执行其他合适的程序。
参考图4，根据一些实施方式，方法400可以包括在框405处，在视觉输出设备(其可以对应于图3的用户设备305等等)和与印刷出版物(例如，图3的印刷出版物325等等)相关联的一个或多个非视觉触发(其可以对应于图3的一个或多个触发330等等)中的至少一个触发之间建立通信。在一些实施方式中，在视觉输出设备与至少一个触发之间建立通信包括：利用计算系统确定视觉输出设备是否在与印刷出版物相关联的一个或多个非视觉触发的通信范围内(可选框410)；并且基于确定视觉输出设备在一个或多个非视觉触发的至少一个触发的通信范围内，建立视觉输出设备与至少一个触发之间的通信(可选框415)。在一些实施方式中，所述印刷出版物可以包括，但不限于，以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下,至少一个触发可以各自包括，但不限于，RFID标签、BLE标签、NFC标签或RTLS标签，和/或诸如此类中的一个。
方法400还可以包括，响应于在视觉输出设备与至少一个触发之间建立通信，利用计算系统识别与至少一个触发相关联的多个媒体内容中的一个或多个媒体内容(框420)。在一些情况下，一个或多个媒体内容可以包括以下中的至少一个：3D静止图形、3D动画图形，或3D交互动画图形，和/或诸如此类，其中的每一个包括以下之一：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景，印刷出版物中描述场景所启发的场景，印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
在框425处，方法400可以包括利用计算机系统确定用户的视野，视野包括印刷出版物的至少一部分。在一些实施方式中，确定用户的视野可以包括当用户看向印刷出版物的至少一部分时，利用相机(其可以对应于图3的用户设备305的相机340等等)捕获用户眼睛的一个或多个图像(可选框430)，以及基于对所捕获的用户眼睛的一个或多个图像(例如，相对于用户看向刷出版物的至少一部分的方向)，利用计算机系统确定用户的视野(可选框435)。
方法400还可以包括，在框440处，如果必要，利用计算机系统修改一个或多个媒体内容的取向以与用户的视野对准(即，如果确定一个或多个媒体内容的取向尚未与用户的视野对准)。在框445处，方法400可以包括利用视觉输出设备向用户呈现一个或多个媒体内容，该一个或多个媒体内容的取向已被修改以与用户的视野对准，使得一个或多个媒体内容被呈现为与印刷出版物的至少一部分相关的虚拟覆盖图。这里，视觉输出设备可以对应于以上描述的用户设备，并且可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。根据一些实施方式，呈现一个或多个媒体内容可以包括利用视觉输出设备且向用户呈现一个或多个媒体内容，一个或多个媒体内容的取向已经被修改以与用户的视野对准，使得一个或多个媒体内容是以下中的至少一个：呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。
图4的方法400否则可能与图2的系统200类似(如果不相同)，并且系统200的组件的描述可以类似地应用于方法400的对应组件。
图5A-图5D(统称为“图5”)是图示根据各种实施方式的用于在用户和实体物体之间实现计算机模拟现实交互的方法的流程图。在图5中，方法500中的过程随着表示为“A”的圆形标记从图5A继续到图5B，随着表示为“B”的圆形标记从图5A继续到图5C，随着表示为“C”的圆形标记从图5A继续到图5D，并随着表示为“D”的圆形标记从图5B-图5D中的每一个返回到图5A。
尽管出于说明的目的以特定顺序描绘和/或描述了技术和程序，但是应当理解，可以在各种实施方式的范围内重新排序和/或省略某些程序。此外，尽管图5所图示的方法可以通过或使用图1的系统100(或其组件)或用图3的系统300(或其组件)实现(以及在某些情况下，就与图1的系统100(或其组件)或用图3的系统300(或其组件)相关在以下描述)，但是这样的方法也可以使用任何合适的硬件(或软件)实现来实现。类似地，虽然图1的系统100(或其组件)或用图3的系统300(或其组件)可以根据图3所图示的方法操作(例如，通过执行计算机可读介质上包含的指令)，但是图1的系统100或用图3的系统300也可以根据其他操作模式操作和/或执行其他合适的程序。
参考图5A，方法500可以包括，在框505处，利用显示设备向用户呈现一个或多个媒体内容，使得一个或多个媒体内容呈现为与实体物体的至少一部分相关的虚拟覆盖图。在一些实施方式中，实体物体可以包括印刷出版物，并且在框505处的过程可以对应于图2的方法200的框240处的过程(并且可以遵循方法200的框205-框235处的过程)，或者可以对应于图4的方法400的框445处的过程(并且可以遵循方法400的框405-框440处的过程)。一般而言，实体物体不需要是印刷出版物，并且可以包括但不限于以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根、海报、圣诞树灯泡、圣诞树装饰品、光明节大烛台、墓碑、与用户相关联的感伤工件或装饰品，或与用户有关联的另一个人相关联的感伤工件或装饰品，和/或诸如此类。视觉输出设备可以包括，但不限于，以下之一：VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。一个或多个媒体内容可以包括，但不限于，以下中的至少一个：3D静止图形、3D动画图形，或3D交互动画图形，和/或诸如此类。
在可选框510处，方法500可以包括响应于来自媒体内容的呈现的刺激，利用一个或多个传感器检测用户的一个或多个身体特性。在一些情况下，一个或多个传感器可以包括但不限于一个或多个相机、一个或多个心率监视器、一个或多个健身跟踪器、一个或多个麦克风，和/或诸如此类中的至少一个。一个或多个身体特性可以包括但不限于微笑、大笑、惊呼、喊叫、朝向媒体内容中的虚拟物体移动、远离媒体内容中的虚拟物体、尝试与媒体内容中的虚拟物体交互和/或诸如此类中的至少一个。可替代地或另外地，方法500在可选框515处可以包括利用计算系统接收指示应如何呈现媒体内容的选择的用户输入。例如，用户输入可以包括但不限于语音输入、触觉输入、尝试的触觉输入、手势、选项的眼球运动选择、眨眼和/或诸如此类中的至少一个。
方法500还可以包括，在框520处，利用计算系统确定一个或多个媒体内容应该如何呈现给用户，这在一些情况下可以基于对用户的所检测的一个或多个身体特性或所接收的用户输入的分析中的至少一个。该过程可以继续到以下之一：随着标记“A”到图5B中的框525处的的过程(用于虚拟现实呈现)、随着标记“B”到图5C中的框535处的过程(用于混合现实呈现)，或者随着标记“C”到图5D中的框545处的过程(用于增强现实呈现)。
参考图5B，方法500可以包括：基于确定将一个或多个媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为虚拟现实呈现，利用计算系统将一个或多个媒体内容呈现转换为虚拟现实呈现(框525)，以及利用视觉输出设备向用户呈现一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容(框530)。过程可以返回图5A中的可选框510处的过程。
转到图5C，方法500还包括：基于确定将一个或多个媒体内容呈现为混合现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为混合现实呈现，利用计算系统将一个或多个媒体内容呈现转换为混合现实呈现(框535)，以及利用视觉输出设备向用户呈现一个或多个第三媒体内容，该一个或多个第三媒体内容包括混合现实内容(框540)。这里，“混合现实”是指增强现实和虚拟现实的组合。例如,激发的增强现实呈现可以在虚拟现实呈现中生成并嵌入其中。过程可以返回图5A中的可选框510处的过程。
转到图5D，方法500还包括：基于确定将一个或多个媒体内容呈现为增强现实呈现，并且基于确定一个或多个媒体内容尚未被呈现为增强现实呈现，利用计算系统将一个或多个媒体内容呈现转换为增强现实呈现(框545)，以及利用视觉输出设备向用户呈现一个或多个第四媒体内容，该一个或多个第四媒体内容包括增强现实内容(框550)。过程可以返回图5A中的可选框510处的过程。
在方法500的实施方式中，最初触发增强现实，并且随后充当对一个或混合现实或虚拟现实的桥梁。计算系统(在一些情况下是如上所述的计算机视觉系统)在增强现实、混合现实或虚拟现实中的两个之间动态地或选择性地转换，以便为用户提供沉浸式交互体验。
在一些实施方式中，虚拟现实呈现可以包括嵌入在虚拟现实呈现内的模拟现实区段。在这样的情况下，用户将无法区分实体现实、增强现实和虚拟现实。例如，用户可以进入他或她的实体或实际卧室，其中触发可以使系统生成媒体的增强现实呈现，其可以覆盖卧室的图像。进一步的触发或选择可能导致生成卧室的虚拟模拟，其可以准确地再现卧室的精确(或接近精确)复制品(基于用户眼睛相对于在卧室里的点的位置和移动利用用户的适当视角)。继而将增强现实呈现转换到虚拟现实呈现，其中模拟的卧室被无缝地呈现，使得用户不知道实体卧室的图像已经转换到卧室的模拟再现。在虚拟空间中，模拟的卧室能够以与触发增强现实呈现的实体物体或印刷出版物的故事一致的任何合适方式变形或操纵。例如，故事可能包括主角的卧室变成城堡或变成太空船或幻想景观和/或诸如此类的场景。在这样的情况下，用户的模拟卧室(用户非常熟悉)将在适当触发的情况下变成城堡，或太空船，或幻想景观，和/或诸如此类。以这种方式，从实体或实际现实到增强现实，到虚拟现实的无缝切换将使用户更充分地沉浸在故事中。一次在增强现实、混合现实或虚拟现实中的两个之间进一步转换将促进沉浸过程，因此可能增强用户对故事的的认知和有效或受影响的同理心。以类似的方式，真实人物的图像可以变成故事中的人物(并且可以被完全改变，或者可以被部分地改变，使得真实人物的某些特性可以在虚拟领域中变形之后保留)。
在一些实施方式中，在呈现中使用镜子的情况下，用户可能将自己视为主角或对手。在这样的情况下，真实镜子可以完全再现为模拟镜子，其中用户的变形呈现可以在模拟镜子的模拟反射中呈现。或者，可以部分地再现真实镜子(其余为实际镜子的图像)，使得镜子的一部分包括用户的变形呈现的模拟反射。通过这种方式，从实体或实际现实到增强现实再到虚拟现实的无缝切换将使用户更充分地沉浸在故事中，并可能提供第一人称视角，增强用户对于故事中的人物的认知感和有效或受影响的同理心。继而，呈现可以模拟故事中的场景，其中用户扮演故事中人物中的一个。
根据一些实施方式，用户可以经由从实体或实际现实到增强现实再到虚拟现实(或这样的无缝切换或转换的任何组合)的无缝切换沉浸、传输或传送到故事中，以占据故事中人物的角色。例如，在《小红帽》的故事中，用户可能会发现自己以这种方式被传输或传送，以扮演在去看望奶奶并遇到狼时的小红帽的角色。可替代地或另外地，用户可能发现自己以上述方式被传输或传送，以扮演在遇到狼并且在遭遇期间其所发生情况时的祖母的角色。可替代地或另外地，用户可能发现自己以上述方式被传输或传送以在狼扮演奶奶的角色并且当狼遇到小红帽时，扮演狼的角色。在另一组示例中，例如，在《三只小猪》的故事中，用户可能发现自己以上述方式被传输或传送，以便当小猪建造它的房子(用稻草、棍棒或砖块制成)时扮演小猪之一(或依次每个小猪)的角色，和/或可能发现自己以上述方式被传输或传送，以便在狼的呼气、吸气和吹倒稻草和树枝房子并尝试对砖房也如此做的过程中扮演狼的角色。在诸如Harry 系列书籍之类的更复杂或涉及更深的故事中，用户可能发现他或她自己以上述方式被传输或传送以在书中扮演人物的角色，包括但不仅限于Harry />Ron Weasley、Hermione Granger、Lord Voldemort、Albus Dumbledore、Severus Snape和/或诸如此类。可以与作者J.K.Rowling合作创建扩展的故事情节或场景，允许用户体验具有一些次要人物的背景故事或侧面故事场景，以进一步让用户沉浸在Potter世界中。可以为基于电视的故事、基于视频流服务的原创故事(例如，/>原创系列、/>原创系列等)、其他基于电影的故事(例如，Inception、/>Cinematic Universe系列、Star />系列、Star />系列等)、漫画书或漫画故事(例如，/>漫画系列、/>漫画系列、Image漫画系列等)、其他小说中的故事、视频游戏故事(例如，Star/>系列游戏、Call of />系列游戏、Final Fantasy系列游戏、Mario />系列游戏、/>系列游戏、/>系列游戏、/>等)和/或诸如此类创建类似的用户体验。系统可以将源故事中的现有故事和场景调整为3D沉浸式虚拟/增强/混合现实环境和场景，或者可以基于这些原始的源故事(可能与原始创建者或得到许可的实体合作)创建新场景和故事(其继而调整成3D沉浸式虚拟/增强/混合现实环境和场景等)。在这些不同的用户体验中，用户可以了解体验人物在故事中遇到的某些磨炼和苦难，并且学习可能从不同的角度看待事物是什么感觉。总而言之，上述切换技术使得用户在某种意义上成为特定的人物，从而增强了用户对故事中人物的认同感和有效或受影响的同理心。
在一些实施方式中，可以在计算机模拟现实平台内执行或实现各种用户体验设置和内容的聚合、管理和检索(该系统在下面参考图6和图7详细描述)，其中设置，内容和切换/转换实现信息能够以库的形式存储在平台可访问的数据库中。
在一些情况下，可以定制用户体验以解决用户的心理状况，为用户实施暴露治疗，或者执行认知行为调节和/或诸如此类。在一些情况下，系统和平台可用于解决或甚至治愈可能困扰用户的某些恐惧症(例如，害怕蜘蛛、害怕开放空间、恐惧高度等)，以帮助用户应对特定设置或在其中茁壮成长(特别是如果用户在这样的设置中犹豫或恐惧；例如，在用户中引起创伤后应激障碍的事件或插曲，用户对在人群面前说话的一般/特定恐惧，用户由于过去的伤害等原因导致的对人或家庭/学校环境警惕性)等等。
计算机模拟现实平台
图6是图示用于根据各种实施方式的实现计算机模拟现实平台的系统600的示意图，该计算机模拟现实平台能够从虚拟现实、增强现实和混合现实中的一种转换到虚拟现实、增强现实和混合现实中的另一种。在图6中，系统600可以包括计算系统605，其可以包括但不限于服务器计算机、云计算系统或视觉输出设备的计算系统和/或诸如此类中的至少一个。在一些情况下，计算系统605可以对应于图1的系统100的计算系统110或图3的系统300的计算系统310等。系统600还可以包括素材集成和控制系统610(如上详细描述的)，其可以经由网络615(可以对应于图1的系统100的网络115或图3的系统300的网络315等等)与计算系统605通信地耦合。系统600还可以包括一个或多个视觉输出设备620，其可以各自包括但不限于VR耳机、AR耳机、一副AR眼镜、平板计算机、一副仿生隐形眼镜、适合作为VR耳机一部分的智能手机，或者适合作为AR系统一部分的智能手机，和/或诸如此类。一个或多个视觉输出设备620可以经由网络615与计算系统605通信地耦合。
系统600还可以包括素材制作系统625和制作管理系统630(两者都如上面详细描述的)，每个系统可以经由网络615与计算系统605通信地耦合。在一些情况下，系统600还可以包括可以经由网络615访问的数据库635。在一些情况下，数据库635可以对应于图1的系统100的数据库120或图3的系统300的数据库320等等。
根据一些方面，素材集成和控制系统610、一个或多个视觉输出设备620、素材制作系统625和制作管理系统630中的每一个可以分别经由第一API 640a、第二API 640b、第三API 640c和第四API 640d(统称为“API 640”)(经由网络615)与计算系统605通信地耦合。用于实现从VR、AR或MxR中的一个到VR，AR或MxR中的另一个的转换的计算系统605、素材集成和控制系统610、一个或多个视觉输出设备620，素材制作系统625和制作管理系统630中的每一个(统称为“计算机模拟现实平台”)之间的交互将参考下面图7A-图7F详细描述。
我们现在转到图7A-图7F(统称为“图7”)，其是图示了根据各种实施方式的用于实现计算机模拟现实平台的方法700的流程图，该平台能够从VR、AR或MxR中的一个转换到VR、AR或MxR中的另一个。在图7中，方法700中的过程随着表示为“A”的圆形标记从图7A继续到图7B，随着表示为“B”的圆形标记从图7A继续到图5C，随着表示为“C”的圆形标记从图7A继续到图7D，随着表示为“D”的圆形标记从图7A继续到图7E，随着表示为“E”的圆形标记从图7E返回到图7A，并随着表示为“F”的圆形标记从图7B-图7D中的每一个返回到图7F。
尽管出于说明的目的以特定顺序描绘和/或描述了技术和程序，但是应当理解，可以在各种实施方式的范围内重新排序和/或省略某些程序。此外，尽管图7所图示的方法可以通过或使用图6的系统600(或其组件)实现(以及在某些情况下，就与图6的系统600(或其组件)相关在以下描述)，但是这样的方法也可以使用任何合适的硬件(或软件)实现来实现。类似地，虽然图6的系统600(或其组件)可以根据图7所图示的方法操作(例如，通过执行计算机可读介质上包含的指令)，但是图6的系统600也可以根据其他操作模式操作和/或执行其他合适的程序。
参考图7A，方法700可以包括，在框705处，利用计算系统确定多个媒体内容中的一个或多个第一媒体内容(其可以包括VR/AR/MxR素材、VR/AR/MxR内容和/或诸如此类)已准备好分发给多个视觉输出设备。如果是，则过程继续到框710。如果不是，则过程进行到图7E中的框765。
在框710处，基于确定一个或多个第一媒体内容准备好分发，方法700可以包括经由第一API利用计算系统发送一个或多个第一消息到制作管理系统。一个或多个第一消息使得制作管理系统改变一个或多个第一媒体内容的状态以指示一个或多个第一媒体内容准备好分发给多个视觉输出设备。方法700在框715处可以包括经由第二API利用计算系统发送一个或多个第二消息到素材制作系统。一个或多个第二消息使得素材制作系统经由第二API将一个或多个第一媒体内容发送到计算系统。
方法700还可以包括利用计算系统经由第二API从素材制作系统接收一个或多个第一媒体内容(框720)，以及利用计算系统从图像捕获设备接收一个或多个实体物体的一个或多个捕获图像(该图像捕获装置可以对应于图1的系统100的第一相机135等等)(框725)。在框730处，方法700可以包括利用计算系统确定多个媒体内容中的一个或多个第一媒体内容或者一个或多个实体物体中的一个或多个捕获图像中的至少一个应该如何呈现给用户。该过程可以继续到以下之一：随着标记“A”到图7B中的框735处的的过程(用于虚拟现实呈现)、随着标记“B”到图5C中的框745处的过程(用于混合现实呈现)，或者随着标记“C”到图5D中的框755处的过程(用于增强现实呈现)。
转到图7B，方法700可以包括：基于确定将一个或多个第一媒体内容呈现为虚拟现实呈现，并且基于确定一个或多个第一媒体内容尚未被呈现为虚拟现实呈现，利用计算系统经由第三API控制素材集成和控制系统以使得素材集成和控制系统修改第一媒体内容从而生成一个或多个第二媒体内容，该一个或多个第二媒体内容包括虚拟现实内容(框735)，以及利用计算系统经由第四API发送一个或多个第二媒体内容到多个视觉输出设备的第一视觉输出设备，该多个视觉输出设备的第一视觉输出设备向用户呈现一个或多个第二媒体内容(框740)。过程可以继续到图7F中的可选框775处的过程。
参考图7C，方法700可以包括基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为增强现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为增强现实呈现，利用计算系统经由第三API控制素材集成和控制系统以使得素材集成和控制系统通过将一个或多个第一媒体内容修改为与一个或多个实体物体的一个或多个捕获图像相关的虚拟覆盖图来生成一个或多个第三媒体内容，该一个或多个第三媒体内容包括增强现实内容(框745)，以及利用计算系统经由第四API将一个或多个第三媒体内容发送给将一个或多个第三媒体内容呈现给用户的第一视觉输出设备(框750)。过程可以继续到图7F中的可选框775处的过程。
在图7D中，方法700可以包括基于确定将一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像呈现为组合虚拟现实和增强现实的元素的混合现实呈现，并且基于确定一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像尚未被呈现为混合现实呈现，利用计算系统经由第三API控制素材集成和控制系统以使得素材集成和控制系统基于一个或多个第一媒体内容和一个或多个实体物体的一个或多个捕获图像来生成一个或多个第四媒体内容，该一个或多个第四媒体内容包括混合现实内容(框755)，以及利用计算系统经由第二API将一个或多个第四媒体内容发送给将一个或多个第四媒体内容呈现给用户的第一视觉输出设备(框760)。过程可以继续到图7F中的可选框775处的过程。
回到图7A中的框705，基于确定一个或多个第一媒体内容尚未准备好分发，方法700可以随着标记“D”进行到图7E中的框765。在框765处，方法700可以包括经由第一API利用计算系统发送一个或多个第三消息到制作管理系统。一个或多个第三消息使得制作管理系统改变一个或多个第一媒体内容的状态以指示一个或多个第一媒体内容尚未准备好分发给多个视觉输出设备。在框770处，方法700可以包括经由第四API利用计算系统发送一个或多个第四消息到素材制作系统，其中一个或多个第四消息使得素材制作系统向一个或多个开发人员发送一个或多个第五消息以继续处理一个或多个第一媒体内容。该过程可以随着标记“E”返回到图7A中的框705处的过程。
参考图7F中的可选框775，其随着各自来自图7B、图7C和图7D中的框740、750和760中的每一个的标记“F”，方法700还可以包括利用计算系统跟踪经由第一API的制作管理系统、经由第二API的素材制作系统、经由第三API的素材集成和控制系统，以及经由第四API的多个可视输出设备中每一个中的至少一个中的每一个中的多个媒体内容中的每一个的实时状态。系统700还可以包括利用计算系统分发多个媒体内容中的至少一个第五媒体内容，该至少一个第五媒体内容的状态指示其准备好从素材制作系统集成到素材集成和控制系统(可选框780)；利用计算系统分发多个媒体内容中的至少一个第六媒体内容，该至少一个第六媒体内容的状态指示其准备好从素材集成和控制系统分发到第一视觉输出设备(可选框785)；利用计算系统将至少一个第六媒体内容与多个视觉输出设备中的一个或多个第二视觉输出设备同步，该一个或多个第二视觉输出设备与第一视觉输出设备分离(可选框790)；以及响应于接收对至少一个第六媒体内容的更新，利用计算系统将对至少一个第六媒体内容的更新发送给第一视觉输出设备中的每一个和一个或多个第二视觉输出设备中的每一个(可选框795)。
系统600否则与图1和图3的系统100和300类似，如果不相同的话，并且方法700与图2、图4和图5的方法200、400和500类似，如果不相同的话，以及类似组件或过程的描述适用于系统600的组件和方法700的过程。
示例性系统和硬件实现
图8是图示根据各种实施方式的示例性计算机或系统硬件架构的框图。图8提供了计算机系统800的一个实施方式的示意图示，该计算机系统800可以执行如本文所述的各种其他实施方式提供的方法，和/或如上所述，可以执行计算机或硬件系统(即，计算系统110或310和/或诸如此类)或任何其他设备(例如，用户设备105或305等)的功能。应当注意，图8仅意味着提供各种组件的概括说明，其中每个组件中的一个或多个(或没有任何)可以适当地使用。因此，图8广泛地说明了如何能够以相对分离或相对更集成的方式实现各个系统元件。
计算机或硬件系统800——其可以代表以上关于图1和图3描述的计算机或硬件系统(即，计算系统110或310，和/或诸如此类)或任何其他设备(例如，用户设备105或305等)的实施方式——示出为包括可以经由总线805电耦合(或者可以适当地以其他方式通信)的硬件元件。硬件元件可以包括一个或多个处理器810，其包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如数字信号处理芯片、图形加速处理器和/或诸如此类)；一个或多个输入设备815，其可以包括但不限于鼠标、键盘和/或诸如此类；以及一个或多个输出设备820，其可以包括但不限于显示设备、打印机和/或诸如此类。
计算机或硬件系统800还可以包括一个或多个存储设备825(和/或与之通信)，该一个或多个存储设备825可以包括但不限于本地和/或网络可访问存储，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储设备，其可以是可编程的、闪存可更新和/或诸如此类。这样的存储设备可以被配置用于实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构和/或诸如此类。
计算机或硬件系统800还可以包括通信子系统830，其可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组(诸如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、WWAN设备、蜂窝通信设施等)和/或诸如此类。通信子系统830可以允许与网络(例如下面描述的网络，仅举一个例子)，与其他计算机或硬件系统，和/或与本文描述的任何其他设备交换数据。在许多实施方式中，计算机或硬件系统800还将包括工作存储器835，其可包括如上所述的RAM或ROM设备。
计算机或硬件系统800还可以包括示出为当前位于工作存储器835内的软件元件，工作存储器835包括操作系统840、设备驱动程序、可执行库和/或诸如一个或多个应用程序845等其他代码，应用程序845可以包括由各种实施方式(包括但不限于，管理程序、VM等等)提供的计算机程序，和/或可以被设计为实现方法和/或配置系统，该方法和系统由如本文所述的其他实施方式提供。仅作为示例，关于以上讨论的(一个或多个)方法描述的一个或多个过程可以实现为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；继而，在一个方面，这样的代码和/或指令可用于配置和/或调整通用计算机(或其他设备)以根据所描述的方法执行一个或多个操作。
一组这些指令和/或代码可以被编码和/或存储在非暂时性计算机可读存储介质上，诸如上述存储设备825。在一些情况下，存储介质可以并入计算机系统内，诸如系统800。在其他实施方式中，存储介质可以与计算机系统(即，诸如光盘等可移动介质)分离，和/或提供在安装包中，使得存储介质可用于编程、配置和/或调整其上存储有指令/代码的通用计算机。这些指令可以采用可执行代码的形式，该可执行代码可由计算机或硬件系统800执行和/或可以采用源和/或可安装代码的形式，该可安装代码在编译和/或安装在计算机或硬件系统800上时(例如，使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)继而采用可执行代码的形式。
对于本领域技术人员将容易理解的是，可以根据具体要求进行实质性变化。例如，也可以使用定制硬件(诸如可编程逻辑控制器、现场可编程门阵列、专用集成电路等)，和/或可以在硬件、软件(包括诸如小程序等可移植软件)或两者中实现特定元件。此外，可以采用与诸如网络输入/输出设备等其他计算设备的连接。
如上所提及，在一个方面，一些实施方式可以采用计算机或硬件系统(诸如计算机或硬件系统800)来执行根据本发明的各种实施方式的方法。根据一组实施方式，响应于执行包含在工作存储器835中的一个或多个指令的一个或多个序列(该一个多个指令可以并入操作系统840和/或诸如应用程序845等其他代码中)的处理器810，计算机或硬件系统800执行这样的方法的一些或全部程序。这样的指令可以从诸如(一个或多个)存储设备825中的一个或多个等另一计算机可读介质读入工作存储器835。仅作为示例，执行包含在工作存储器835中的指令序列可以使得(一个或多个)处理器810执行本文描述的方法的一个或多个程序。
如本文所使用，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机或硬件系统800实现的实施方式中，各种计算机可读介质可以涉及向(一个或多个)处理器810提供指令/代码以用于执行和/或可以用于存储和/或携带这样的指令/代码(例如，作为信号)。在许多实现中，计算机可读介质是非暂时性的物理和/或有形存储介质。在一些实施方式中，计算机可读介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等等。非易失性介质包括例如光盘和/或磁盘，诸如(一个或多个)存储设备825。易失性介质包括但不限于动态存储器，诸如工作存储器835。在一些替代实施方式中，计算机可读介质可以采用传输介质的形式，其包括但不限于同轴电缆、铜线和光纤，包括包含总线805的导线，以及通信子系统830的各种组件(和/或通信子系统830通过其提供与其他设备通信的介质)。在替代组实施方式中，传输介质也可以采用波的形式(包括但不限于无线电波、声波和/或光波，诸如在无线电波和红外数据通信期间生成的那些)。
物理和/或有形计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质，穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒，下文所述的载波或者计算机可以从其读取指令和/或代码的任何其他介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送到(一个或多个)处理器810以供执行。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并将指令作为信号通过传输介质发送，以由计算机或硬件系统800接收和/或执行。可以是电磁信号、声信号、光信号和/或诸如此类形式的这些信号都是根据本发明的各种实施方式的可以在其上编码指令的载波的示例。
通信子系统830(和/或其组件)通常将接收信号，继而总线805可以将信号(和/或由信号携带的数据、指令等)携带到(一个或多个)处理器805从其检索并执行指令的工作存储器835。由工作存储器835接收的指令可以可选地在由(一个或多个)处理器810执行之前或之后存储在存储设备825上。
如上所指出，一组实施方式包括用于实现计算机模拟现实交互的方法和系统，并且在特定实施方式中，包括用于实现用户与实体出版物之间的计算机模拟现实交互的方法、系统和计算机软件。图9图示了可以根据一组实施方式使用的系统900的示意图。系统900可以包括一个或多个用户计算机或用户设备905。用户计算机或用户设备905可以是通用个人计算机(仅作为示例，包括运行任何适当操作系统的台式计算机、平板计算机、膝上型计算机、手持计算机等等，其中若干可从诸如Apple、Microsoft Corp.等等的供应商处获得)、云计算设备、(一个或多个)服务器和/或运行多种市售UNIXTM或类UNIX操作系统中的任何一种的(一个或多个)工作站计算机。用户计算机或用户设备905还可以具有各种应用中的任何一种，包括被配置用于执行由各种实施方式(例如，如上所述)提供的方法的一个或多个应用，以及一个或多个办公应用、数据库客户端，和/或服务器应用，和/或网络浏览器应用。或者，用户计算机或用户设备905可以是能够经由网络(例如，下面描述的(一个或多个)网络910)通信，和/或显示和导航网页或其他类型的电子文档的任何其他电子设备，诸如瘦客户端计算机、支持因特网的移动电话和/或个人数字助理。尽管示出的示例性系统900具有四个用户计算机或用户设备905，但是可以支持任何数目的用户计算机或用户设备。
某些实施方式在网络环境中操作，该网络环境可以包括(一个或多个)网络910。(一个或多个)网络910可以是本领域技术人员熟悉的任何类型的网络，其可以使用多种市售(和/或免费或专有)协议，包括但不限于TCP/IP、SNATM、IPXTM、AppleTalkTM等等中的任何一种来支持数据通信。仅作为示例，(一个或多个)网络910(类似于图1的网络115或图3的网络315等等)可以各自包括LAN，包括但不限于光纤网络、以太网网络、令牌环TM网络和/或诸如此类；WAN；WWAN；虚拟网络，诸如VPN；因特网；内联网；外联网；PSTN；红外线网络；无线网络，包括但不限于在任何IEEE 802.11协议套件、本领域已知的蓝牙TM协议和/或任何其他无线协议下操作的网络；和/或这些和/或其他网络的任何组合。在特定实施方式中，网络可以包括服务提供商的接入网络(例如，ISP)。在另一实施方式中，网络可以包括服务提供商的核心网络和/或因特网。
实施方式还可以包括一个或多个服务器计算机915。每个服务器计算机915可以配置有操作系统，包括但不限于以上讨论的那些中的任一个，以及任何商业(或免费)提供的服务器操作系统。每个服务器915还可以运行一个或多个应用，其可以被配置成向一个或多个客户端905和/或其他服务器915提供服务。
仅作为示例，如上所述，服务器915之一可以是数据服务器、web服务器、(一个或多个)云计算设备等等。数据服务器可以包括网络服务器(或与之通信)，仅作为示例，该网络服务器可以用于处理来自用户计算机905的网页或其他电子文档的请求。网络服务器也可以运行多种服务器应用，包括HTTP服务器、FTP服务器、CGI服务器、数据库服务器、Java服务器等等。在本发明的一些实施方式中，网络服务器可以被配置用于提供可以在一个或多个用户计算机905上的网络浏览器内操作的网络页面，以执行本发明的方法。
在一些实施方式中，服务器计算机915可以包括一个或多个应用服务器，其可以配置有在客户端计算机905和/或其他服务器915中的一个或多个上运行的客户端可访问的一个或多个应用。仅作为示例，(一个或多个)服务器915可以是响应于用户计算机905和/或包括但不限于网络应用(其在一些情况下可以被配置用于执行由各种实施方式提供的方法)的其他服务器915，能够执行程序或脚本的一个或多个通用计算机。仅作为示例，网络应用可以实现为以任何合适的编程语言(诸如JavaTM、C、C#TM或C++)，和/或任何脚本语言(诸如Perl、Python或TCL)，以及任何编程和/或脚本语言的组合编写的一个或多个脚本或程序。(一个或多个)应用服务器还可以包括数据库服务器，包括但不限于从OracleTM、MicrosoftTM、SybaseTM、IBMTM等等商业获得、可以处理来自在用户计算机或用户设备905和/或另一服务器915上运行的客户端(包括，取决于配置，专用数据库客户端、API客户端、网页浏览器等)的请求的那些。在一些实施方式中，应用服务器可以执行用于实现计算机模拟现实交互的过程中的一个或多个，以及在特定实施方式中，用于实现用户与实体出版物之间的计算机模拟现实交互的方法、系统和计算机软件等等，如以上详细描述的。由应用服务器提供的数据可以被格式化为一个或多个网页(例如，包括HTML、JavaScript等)和/或可以经由网络服务器被转发到用户计算机905(例如，如上所述)。类似地，网络服务器可以从用户计算机905接收网页请求和/或输入数据以及/或者将网页请求和/或输入数据转发到应用服务器。在一些情况下，网页服务器可以与应用服务器集成。
根据进一步的实施方式，一个或多个服务器915可以用作文件服务器和/或可以包括实现各种公开的方法所必需的一个或多个文件(例如，应用代码、数据文件等)，一个或多个文件通过在用户计算机905和/或另一服务器915上运行的应用程序并入。或者，如本领域技术人员将理解的，文件服务器可包括所有必需的文件，允许用户计算机或用户设备905和/或服务器915远程调用这样的应用。
应当注意，关于本文中的各种服务器(例如，应用服务器、数据库服务器、网络服务器、文件服务器等)描述的功能可以由单个服务器和/或多个专用服务器执行，取决于特定于实现的需求和参数。
在某些实施方式中，系统可以包括一个或多个数据库920a和920b(统称为“数据库920”)。每个数据库920的位置是自由决定的：仅作为示例，数据库920a可以驻留在服务器915a(和/或用户计算机或用户设备905)本地的(和/或驻留的)存储介质上。或者，数据库920b可以远离任何或所有计算机905、915，只要它可以与这些中的一个或多个进行通信(例如，经由网络910)。在一组特定实施方式中，数据库920可以驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。(同样地，用于执行归属于计算机905、915的功能的任何必要文件可以适当地本地存储在相应计算机上和/或远程存储。)在一组实施方式中，数据库920可以是关系数据库，诸如Oracle数据库，适用于响应SQL格式的命令而存储、更新和检索数据。例如，如上所述，数据库可以由数据库服务器控制和/或维护。
根据一些实施方式，系统900还可以包括印刷出版物925(其可以分别对应于图1和图3的印刷出版物125或325)。在一些实施方式中，印刷出版物925可以包括，但不限于，以下之一：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、场地或活动票根，或海报，和/或诸如此类。在一些情况下，印刷出版物925可以包括在印刷出版物925的至少一部分之上的一个或多个触发930。在一些情况下，一个或多个触发可以各自包括，但不限于，以下之一：在出版物的至少一部分上提供的QR码、在出版物的至少一部分上提供的条形码、在贴在所述出版物的所述至少一部分上的贴纸上提供的图形代码、在出版物的至少一部分上打印的图形、在出版物的至少一部分上打印的关键词或键码、印刷出版物的封面图像、印刷出版物的封面上打印的标题、印刷出版物的封面上打印的作者姓名、与印刷出版物相关联的位于印刷出版物附近的填充玩偶、与印刷出版物相关联的位于印刷出版物附近的3D打印人物，或与印刷出版物相关联的位于印刷出版物附近的3D打印物体和/或诸如此类。或者，一个或多个触发可以各自包括，但不限于，RFID标签、BLE标签、NFC标签或RTLS标签和/或诸如此类中的一个。用户设备905可以包括一个或多个触发检测器935，其可以各自包括但不限于相机、无线收发器和/或诸如此类中的一个。无线收发器可以包括RFID扫描器、BLE接口、NFC接口、RTLS接口和/或诸如此类中的一个。系统900还可以包括平台或计算机模拟现实平台940，其能够从VR、AR或MxR中的一个转换到VR、AR或MxR中的另一个，并且将关于图6和图7进行详细描述。
在操作中，响应于一个或多个触发检测器935的至少一个触发检测器935检测一个或多个触发930的至少一个触发930，用户设备905或服务器915可以识别与至少一个触发930相关联的一个或多个媒体内容。在一些实施方式中，一个或多个媒体内容包括以下中的至少一个：3D静止图形、3D动画图形或3D交互动画图形。在一些情况下，3D静止图形、3D动画图形或3D交互动画图形中的每一个包括以下中的至少一个：与印刷出版物相关联的一个或多个人物的图形表示、与印刷出版物相关联的非虚构地理位置、与印刷出版物相关联的虚构地理位置、与印刷出版物相关联的房间、与印刷出版物相关联的建筑物、印刷出版物中描述的场景，印刷出版物中描述场景所启发的场景，所印刷出版物中描述的一个或多个项目，或者印刷出版物中描述的一个或多个项目所启发的一个或多个项目，和/或诸如此类。
用户设备905可以确定用户的视野(例如，通过分别使用诸如图1和图3的相机140或相机340等的相机)。视野可以包括印刷出版物的至少一部分。用户设备905或服务器930可以，如果必要，修改一个或多个媒体内容的取向已与用户的视野对准，并且可以在用户设备905的显示设备上显示其取向已被修改以与用户的视野对准的一个或多个媒体内容，在一些情况，使得一个或多个媒体内容呈现为与印刷出版物的至少一部分相关的视觉涂改图(例如，呈现为印刷出版物封面上方的虚拟覆盖图、呈现为印刷出版物封面之上的虚拟覆盖图、呈现为印刷出版物旁边的虚拟覆盖图、呈现为印刷出版物页面上方的虚拟覆盖图、呈现为印刷出版物页面之上的虚拟覆盖图、呈现为印刷出版物表面前方的虚拟覆盖图、呈现为印刷出版物装订前方的虚拟覆盖图、呈现为印刷出版物一部分之上的2D图形上方的虚拟覆盖图，或呈现为印刷出版物一部分之上的2D图形之上的虚拟覆盖图，和/或诸如此类。)
数字处理设备
在一些实施方式中，本文描述的平台、系统、介质和方法包括数字处理设备或者其使用。在进一步实施方式中，数字处理设备包括实施设备功能的一个或多个硬件中央处理单元(CPU)或通用图形处理单元(GPGPU)。在更进一步实施方式中，数字处理设备还包括配置用于执行可执行指令的操作系统。在一些实施方式中，数字处理设备可选地连接至计算机网络。在进一步实施方式中，数字处理设备可选地连接至因特网，使得其访问万维网。在进一步实施方式中，数字处理设备可选地连接至云计算基础架构。在其他实施方式中，数字处理设备可选地连接至内联网。在其他实施方式中，数字处理设备可选地连接至数据存储设备。
根据本文的描述，举非限制性示例而言，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、亚笔记本计算机、上网本计算机、上网平板计算机、机顶计算机、媒体流送设备、手持式计算机、因特网器具、移动智能电话、平板计算机、个人数字助理、电子游戏控制台以及载具。本领域技术人员将会认识到，许多智能电话都适合在本文描述的系统中使用。本领域技术人员还将会认识到，具有可选的计算机网络连接性的挑选出的电视机、视频播放器和数字音乐播放器适合在本文描述的系统中使用。合适的平板计算机包括本领域技术人员所知的具有本、板和可转换配置的计算机。
在一些实施方式中，数字处理设备包括被配置用于执行可执行指令的操作系统。操作系统例如是管理设备硬件并为应用的执行提供服务的软件，包括程序和数据。本领域技术人员将会认识到，举非限制性示例而言，合适的服务器操作系统包括FreeBSD、OpenBSD、Linux、/> Mac OS X/> Windows和/> 本领域技术人员将会认识到，举非限制性示例而言，合适的个人计算机操作系统包括/> Mac OS/> 和类UNIX操作系统，诸如/>在一些实施方式中，操作系统是通过云计算提供的。本领域技术人员还将会认识到，举非限制性示例而言，合适的移动智能电话操作系统包括/> OS、/> Research In />BlackBerry/> Windows />OS、/> Windows />OS、/>以及/> 本领域技术人员还将会认识到合适的媒体流送设备操作系统包括，举非限制性示例而言，Apple /> Google />Google />Amazon />以及 本领域技术人员还将会认识到合适的视频游戏控制台操作系统包括，举非限制性示例而言，/> Xbox/>Microsoft Xbox One、/> 以及/>
在一些实施方式中，所述设备包括存储设备和/或存储器设备。所述存储设备和/或存储器设备是用于暂时地或永久地存储数据或程序的一个或多个物理装置。在一些实施方式中，所述设备是易失性存储器，且需要电力来维持存储的信息。在一些实施方式中，所述设备是非易失性存储器，且当数字处理设备未被供电时保留存储的信息。在进一步实施方式中，非易失性存储器包括闪速存储器。在一些实施方式中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施方式中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施方式中，非易失性存储器包括相变随机存取存储器(PRAM)。在其他实施方式中，所述设备是存储设备，举非限制性示例而言，包括CD-ROM、DVD、闪速存储器设备、磁盘驱动器、磁带驱动器、光盘驱动器以及基于云计算的存储。在进一步实施方式中，所述存储设备和/或存储器设备是诸如本文所公开的那些设备等设备的组合。
在一些实施方式中，数字处理设备包括用以向用户发送视觉信息的显示器。在一些实施方式中，显示器是液晶显示器(LCD)。在进一步实施方式中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施方式中，显示器是有机发光二极管(OLED)显示器。在各个进一步实施方式中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施方式中，显示器是等离子显示器。在其他实施方式中，显示器是视频投影仪。在另外其他实施方式中，显示器是与数字处理设备通信的头戴式显示器，诸如VR耳机。在进一步实施方式中，合适的VR耳机包括，举非限制性示例而言，HTC Vive、Oculus Rift、Samsung Gear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、AvegantGlyph、Freefly VR耳机等。在进一步实施方式中，显示器是诸如本文所公开的那些设备等设备的组合。
在一些实施方式中，数字处理设备包括用以接收来自用户的信息的输入设备。在一些实施方式中，输入设备是键盘。在一些实施方式中，输入设备是指点设备，举非限制性示例而言，包括鼠标、轨迹球、跟踪板、操纵杆、游戏控制器或触控笔。在一些实施方式中，输入设备是触摸屏或多点触摸屏。在其他实施方式中，输入设备是用以捕捉语音或其他声音输入的麦克风。在其他实施方式中，输入设备是用以捕捉运动或视觉输入的摄像机或其他传感器。在进一步实施方式中，输入设备是Kinect、Leap Motion等等。在进一步实施方式中，输入设备是诸如本文所公开的那些设备等设备的组合。
非暂时性计算机可读存储介质
在一些实施方式中，本文公开的平台、系统、介质或方法包括编码有程序的一个或多个非暂时性计算机可读存储介质，所述程序包括可以由可选地联网的数字处理设备的操作系统执行的指令。在进一步实施方式中，计算机可读存储介质是数字处理设备的有形组件。在进一步实施方式中，计算机可读存储介质可选地是可从数字处理设备移除的。在一些实施方式中，计算机可读存储介质举非限制性示例而言，包括CD-ROM、DVD、闪速存储器设备、固态存储器、磁盘驱动器、磁带存储器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令永久地、基本上永久地、半永久地或非暂时性地编码在介质上。
计算机程序
在一些实施方式中，本文公开的平台、系统、介质和方法包括至少一个计算机程序或其使用。计算机程序包括可在数字处理设备的CPU中执行的、被编写用以执行特定任务的指令序列。计算机可读指令可以实现为程序模块，诸如函数、对象、应用编程接口(API)、数据结构等等，所述程序模块执行特定任务或实现特定抽象数据类型。根据本文提供的公开内容，本领域技术人员将会认识到能够以各种语言的各个版本来编写计算机程序。
计算机可读指令的功能在各个环境中可以如期望地组合或分配。在一些实施方式中，计算机程序包括一个指令序列。在一些实施方式中，计算机程序包括多个指令序列。在一些实施方式中，计算机程序是从一个位置提供的。在其他实施方式中，计算机程序是从多个位置提供的。在各个实施方式中，计算机程序包括一个或多个软件模块。在各个实施方式中，计算机程序部分地或全部地包括一个或多个网络应用、一个或多个移动应用、一个或多个独立应用、一个或多个网络浏览器插件、扩展、加载项或附加项，或者它们的组合。
网络应用
在一些实施方式中，计算机程序包括网络应用。根据本文提供的公开内容，本领域技术人员将会认识到，在各个实施方式中，网络应用利用一个或多个软件框架以及一个或多个数据库系统。在一些实施方式中，网络应用创建于诸如.NET或Ruby onRails(RoR)等软件框架之上。在一些实施方式中，网络应用利用一个或多个数据库系统，举非限制性示例而言，包括关系型数据库系统、非关系型数据库系统、面向对象数据库系统、关联数据库系统和XML数据库系统。在进一步实施方式中，合适的关系型数据库系统举非限制性示例而言，包括/> SQL Server、mySQLTM和/>本领域技术人员还将会认识到，在各个实施方式中，网络应用是以一种或多种语言的一个或多个版本编写的。网络应用能够以一种或多种标记语言、表示定义语言、客户端脚本语言、服务器端编码语言、数据库查询语言或其组合来编写。在一些实施方式中，网络应用在一定程度上以标记语言编写，所述标记语言诸如为超文本标记语言(HTML)、可扩展超文本标记语言(XHTML)或可扩展标记语言(XML)。在一些实施方式中，网络应用在一定程度上以表示定义语言编写，所述表示定义语言诸如为层叠样式表(CSS)。在一些实施方式中，网络应用在一定程度上以客户端脚本语言编写，所述客户端脚本语言诸如为异步Javascript和XML(AJAX)、/>动作脚本、Javascript或/>在一些实施方式中，网络应用在一定程度上以服务器端编码语言编写，所述服务器端编码语言诸如为动态服务器页面(ASP)、/>Perl、JavaTM、Java服务器页面(JSP)、超文本预处理器(PHP)、PythonTM、Ruby、Tcl、Smalltalk、/>或Groovy。在一些实施方式中，网络应用在一定程度上以数据库查询语言编写，所述数据库查询语言诸如为结构化查询语言(SQL)。在一些实施方式中，网络应用集成了企业服务器产品，诸如/> Lotus />在一些实施方式中，网络应用包括媒体播放器元件。在各个进一步实施方式中，媒体播放器元件利用许多合适的多媒体技术中的一个或多个多媒体技术，所述多媒体技术举非限制性示例而言，包括 HTML 5、/> JavaTM和/>
移动应用
在一些实施方式中，计算机程序包括提供给移动数字处理设备的移动应用。在一些实施方式中，在制造移动数字处理设备的时候将移动应用提供给该移动数字处理设备。在其他实施方式中，移动应用经由本文所描述的计算机网络提供给移动数字处理设备。
鉴于本文所提供的公开内容，移动应用是使用本领域已知的硬件、语言和开发环境，通过本领域技术人员已知的技术创建的。本领域技术人员将认识到移动应用是以多种语言编写的。举非限制性示例而言，合适的编程语言包括C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML以及具有或不具有CSS的XHTML/HTML或者其组合。
合适的移动应用开发环境可从若干来源中获得。举非限制性示例而言，市售的开发环境包括AirplaySDK、alcheMo、Celsius、Bedrock、Flash Lite、.NETCompact Framework、Rhomobile以及WorkLight移动平台。其他开发环境是可免费获得的，举非限制性示例而言，其包括Lazarus、MobiFlex、MoSync以及Phonegap。另外，移动设备制造商发布软件开发工具包，举非限制性示例而言，所述软件开发工具包包括iPhone和iPad(iOS)SDK、AndroidTMSDK、/>SDK、BREW SDK、/>OS SDK、Symbian SDK、webOS SDK以及/> Mobile SDK。
本领域技术人员将认识到，若干商业论坛可用于移动应用的发布，举非限制性示例而言，所述商业论坛包括应用商店、/> Play、Chrome WebStore、应用世界、针对Palm设备的应用商店、针对webOS的应用目录、针对移动的市场、针对/>设备的Ovi商店，/> Apps以及/>DSi商店。
独立应用
在一些实施方式中，计算机程序包括独立应用，所述独立应用是作为独立的计算机过程而运行的程序，而非现有过程的附加项(例如不是插件)而运行的程序。本领域技术人员将认识到，经常编译独立应用。编译器是将以编程语言编写的源代码转换成诸如汇编语言或机器码等二进制目标码的(一种或多种)计算机程序。举非限制性示例而言，合适的编译编程语言包括C、C++、Objective-C、COBOL、Delphi、Eiffel、JavaTM、Lisp、PythonTM、Visual Basic以及VB.NET或其组合。至少部分地经常执行编译以创建可执行程序。在一些实施方式中，计算机程序包括一个或多个可执行的经编译的应用。
网络浏览器插件
在一些实施方式中，计算机程序包括网络浏览器插件(例如，扩展等)。在计算中，插件是向较大的软件应用添加具体功能的一个或多个软件组件。软件应用的制造者支持插件，以使得第三方开发人员能够创建使应用扩展的能力、能够支持轻易地添加新的特征并且能够减小应用的大小。插件在得到支持时能够实现对软件应用的功能的定制。例如，在网络浏览器中普遍使用插件来播放视频、产生互动、扫描病毒以及显示特定的文件类型。本领域技术人员将熟悉若干网络浏览器插件，包括 播放器，/> 和/>
鉴于本文所提供的公开内容，本领域技术人员将认识到一些插件构架是可用的，其使得能够以各种编程语言来开发插件，举非限制性示例而言，所述编程语言包括C++、Delphi、JavaTM、PHP、PythonTM以及VB.NET或其组合。
网络浏览器(也称为因特网浏览器)是被设计用于与联网的数字处理设备一起使用的软件应用，用于在万维网上检索、呈现和遍历信息资源。举非限制性示例而言，合适的网络浏览器包括 Internet /> Chrome、/> Opera /> 以及KDE Konqueror。在一些实施方式中，网络浏览器是移动网络浏览器。移动网络浏览器(也称为微浏览器、迷你浏览器以及无线浏览器)被设计用于在移动数字处理设备上使用，举非限制性示例而言，所述移动数字处理设备包括手持式计算机、平板计算机、上网本计算机、亚笔记本电脑、智能电话、音乐播放器、个人数字助理(PDA)和手持式电子游戏系统。举非限制性示例而言，合适的移动网络浏览器包括/> 浏览器、RIM />浏览器、/> Blazer、/> 浏览器、针对移动的/> Internet />Mobile、/> BasicWeb、/>浏览器、Opera /> Mobile以及/> PSPTM浏览器。
软件模块
在一些实施方式中，本文公开的平台、系统、介质和方法包括软件模块、服务器模块和/或数据库模块，或者对其的使用。鉴于本文提供的公开内容，软件模块是使用本领域已知的机器、软件和语言通过本领域技术人员已知的技术来创建的。本文公开的软件模块以多种方式实现。在各个实施方式中，软件模块包括一个文件、一段代码、一个编程对象、一个编程结构或其组合。在进一步的各个实施方式中，软件模块包括多个文件、多段代码、多个编程对象、多个编程结构或其组合。在各个实施方式中，所述一个或多个软件模块举非限制性示例而言，包括网络应用、移动应用和独立应用。在一些实施方式中，软件模块是在一个计算机程序或应用中。在其他实施方式中，软件模块是在不止一个计算机程序或应用中。在一些实施方式中，软件模块托管在一个机器上。在其他实施方式中，软件模块托管在不止一个机器上。在进一步实施方式中，软件模块托管在云计算平台上。在一些实施方式中，软件模块托管在位于一个位置的一个或多个机器上。在其他实施方式中，软件模块托管在位于不止一个位置的一个或多个机器上。
数据库
在一些实施方式中，本文所描述的平台、系统、介质和方法包括一个或多个数据库或其使用。鉴于本文所提供的公开内容，本领域技术人员将认识到许多数据库适合于存储和检索知识地图、学习目标、学习活动或者学习者表现信息。在各个实施方式中，合适的数据库举非限制性示例而言，包括关系型数据库、非关系型数据库、面向对象数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。进一步非限制性示例包括SQL、PostgreSQL、MySQL、Oracle、DB2以及Sybase。在一些实施方式中，数据库是基于因特网的。在进一步实施方式中，数据库是基于网络的。在更进一步实施方式中，数据库是基于云计算的。在其他实施方式中，数据库是基于一个或多个本地计算机存储设备的。
实施例
以下说明性实施例是本文描述的软件应用、系统和方法的实施方式的代表，并不意味着以任何方式进行限制。
实施例1——具有启动AR和VR用户体验的触发的实体书籍
在特定实施方式中，用户获得以电子书形式面向年轻读者的题为“清晨噩梦”的出版物。如图10-图25中所描绘，该出版物展示了一个令人难忘的在冬季搭乘校车的故事。该出版物中呈现的故事包括有关克服恐惧和建立自信的信息，并强调应对技能和冲突解决技巧。故事以第一人称呈现。
参考图19，该出版物包括QR码，当由用户的移动计算设备扫描时，该QR码提供对下载的访问并安装如本文所述的应用。该应用也可经由本领域已知的app商店获得。一旦安装，该应用允许用户通过移动计算设备的相机查看他们的周围环境，该移动计算设备的相机的输出显示在设备的屏幕上。
参考图26，用户安装应用并激活应用图标以启动应用。用户继而利用在设备上运行应用，经由移动计算设备的显示屏上的相机的输出，来查看他们的周围环境。因此，应用程序可以获得用户周围环境的实时视频馈送。继续参考图26，当经由运行应用的设备查看电子书的打印件(或电子书本身的屏幕显示)时，该出版物的封面图片被识别为触发。在这种情况下，封面图片的图像被上载到数据库并与媒体内容相关联。
参考图27，应用使用所识别的触发来查询数据库并识别与触发相关联的媒体内容。在这种情况下识别的媒体内容是3D动画的交互式媒体元素。媒体内容作为覆盖在出版物封面上的AR内容在设备的屏幕上呈现给用户。继续参考图26，AR内容包括来自出版物故事的人物，其参与与故事的情节和主题相关的活动。在这种情况下，来自公共汽车的孩子通过投掷雪球来对抗用户。
在一些情况下，用户可以经由移动计算设备的输入元件与媒体内容交互，诸如触摸屏、多点触摸屏、按钮、触控笔、轨迹球等等。在特定实施方式中，用户可以通过触摸AR覆盖图中的人物将雪球扔向媒体内容中的人物。
参考图28，应用连续监控用户的视野以确定出版物及其中的任何触发是否在视野中并且确定用户相对于出版物和所识别的触发的视角。继续参考图28，当用户的视图相对于出版物和所识别的触发旋转时，媒体内容的取向被修改以与用户的视野对准并且AR媒体内容中的人物变为面对用户。
参考图31，第一增强交互体验的完成触发第二增强交互体验，其是VR体验。指示用户将他们的移动设备放入VR耳机中以查看第二增强交互体验。继续参考图31，识别触发并用于进一步识别第二媒体内容。在这种情况下，描绘3D交互场景的VR媒体内容与故事相关联并且以故事的第一人称视角呈现。
图32-图36再次展示了替代第二增强型互动体验，VR媒体内容描绘了与故事相关并从故事的主角的第一人称视角呈现的场景。在这种情况下，白雪皑皑的场景图示了故事中参加与故事相关的活动的多个人物。当用户的视图在空间中旋转时，媒体内容的取向被修改以提供3D和360度VR场景。
具体参考图34，VR媒体内容是交互式的。通过使用在VR环境中标记在用户视野中心的焦点，用户能够使用凝视放置和持续时间与环境和人物交互。在这种情况下，再次与故事中的人物打雪仗。
虽然已经就示例性实施方式描述了某些特征和方面，但是本领域技术人员将认识到可以进行多种修改。例如，可以使用硬件组件、软件组件和/或其任何组合来实现本文描述的方法和过程。此外，虽然为了便于描述可以关于特定结构和/或功能组件描述本文描述的各种方法和过程，但是由各种实施方式提供的方法不限于任何特定的结构和/或功能架构，而是可以在任何合适的硬件、固件和/或软件配置上实现。类似地，虽然某些功能归于某些系统组件，但除非上下文另有指示，否则，该功能可以分布在根据若干实施方式的各种其他系统组件之间。
此外，尽管为了便于描述以特定顺序描述了本文描述的方法和过程的程序，但是除非上下文另有指示，否则可以根据各种实施方式重新排序、添加和/或省略各种程序。此外，关于一种方法或过程描述的程序可以包含在其他描述的方法或过程中；同样地，根据特定结构架构和/或关于一个系统描述的系统组件可以组织在替代结构架构中和/或结合在其他描述的系统中。因此，虽然为了便于描述并且为了示出那些实施方式的示例性方面而描述了具有或不具有某些特征的各种实施方式，但是本文关于特定实施方式描述的各种组件和/或特征可以被替换、添加和/或从其他描述的实施方式中减去，除非上下文另有指示。因此，尽管以上描述了若干示例性实施方式，将理解的是，本发明旨在覆盖所附权利要求书范围内的所有修改和等同物。

Claims (33)

1.一种增强出版物的计算机实现的方法，包括：
a)接收由用户捕获的实况相机馈送视频，所述实况相机馈送视频包括多个触发和具有多个组件的出版物的视频；
b)通过分析所述实况相机馈送视频，自动地识别所述实况相机馈送视频中的至少一个第一触发，所述至少一个第一触发被用来提供一个或多个增强现实显示媒体；
c)识别与所述至少一个第一触发相关联并且与所述出版物有关的所述一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体包括所述出版物的所述多个组件中一个或多个；
d)经由第一视觉输出设备向所述用户呈现一个或多个增强现实显示媒体；
e)在所述一个或多个增强现实显示媒体中识别包含交互的方向和持续时间的至少一个数字第二触发，所述至少一个数字第二触发通过与用户视野内的一个或多个增强现实显示器的一部分中的所述出版物的所述多个组件的用户交互而参加，所述数字第二触发的参加导致与所述出版物有关的一个或多个虚拟现实环境的识别；以及
f)终止一个或多个增强现实显示媒体的呈现，并且经由所述第一视觉输出设备或第二视觉输出设备向所述用户无缝地呈现所述一个或多个虚拟现实环境，使得所述用户不知道所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境之间的转换。
2.根据权利要求1所述的方法，其中所述出版物是印刷出版物。
3.根据权利要求1所述的方法，其中所述出版物是电子书。
4.根据权利要求1所述的方法，其中所述出版物包括选自以下的一个或多个：科幻小说、非科幻小说、儿童书籍、报纸、杂志、漫画书、连环画、图画小说、百科全书、字典、地图、日历、贺卡、书签、活动票根和海报。
5.根据权利要求1所述的方法，其中所述至少一个第一触发包括所述出版物内包含的文本、图像、QR码或条形码。
6.根据权利要求1所述的方法，其中所述至少一个第一触发包括与所述出版物相关联的三维物体。
7.根据权利要求1所述的方法，其中所述一个或多个增强现实显示媒体包括360度视频，所述360度视频从包括在所述出版物中的故事中的人物的第一人称视角呈现所述故事的一个或多个场景。
8.根据权利要求1所述的方法，其中所述一个或多个增强现实显示媒体包括与所述出版物中包含的一个或多个虚拟人物一起玩的多媒体游戏。
9.根据权利要求1所述的方法，其中所述第一视觉输出设备是包括相机和显示器的支持增强现实的设备。
10.根据权利要求1所述的方法，其中所述至少一个数字第二触发包括交互的方向和持续时间。
11.根据权利要求1所述的方法，其中所述第二视觉输出设备是支持虚拟现实的耳机。
12.根据权利要求1所述的方法，还包括：
a)确定所述用户的视野，所述视野包括所述出版物的至少一部分；
b)修改所述一个或多个增强现实显示媒体，使得所述出版物的取向与所述用户的视野对齐，以及所述出版物的所述多个组件面对用户；以及
c)利用所述第一视觉输出设备或所述第二视觉输出设备向所述用户呈现所述一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体的所述取向已被修改以与所述用户的所述视野对准，使得所述一个或多个增强现实显示媒体被呈现为与所述出版物的至少所述部分相关的虚拟覆盖图。
13.根据权利要求1所述的方法，其中所述实况相机馈送视频包括多个触发。
14.根据权利要求13所述的方法，其中识别与所述多个触发相关联的所述一个或多个增强现实显示媒体包括识别与所述多个触发的预定组合相关联的一个或多个媒体。
15.根据权利要求1所述的方法，其中所述一个或多个增强现实显示媒体包括多个第二触发，所述第二触发包括所述至少一个数字第二触发。
16.根据权利要求15所述的方法，其中识别与所述多个第二触发相关联的所述一个或多个增强现实环境包括识别与所述多个第二触发的预定组合相关联的一个或多个增强现实环境。
17.根据权利要求1所述的方法，其中所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境通过包括与所述出版物相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果或言语音频来与所述出版物有关。
18.根据权利要求1所述的方法，其中所述一个或多个增强现实显示媒体是360度显示器，以及所述一个或多个虚拟现实环境是360度场景。
19.根据权利要求1所述的方法，进一步包括基于所述用户的视角调整所述出版物的所述多个组件在所述一个或多个增强现实显示媒体中的取向，其中所述一个或多个增强现实显示媒体是动画的，以及其中所述一个或多个增强现实显示媒体中的所述出版物的多个组件是动画的。
20.根据权利要求1所述的方法，其中所述至少一个数字第二触发包括所述第一视觉输出设备的地理定位功能，以及
其中一个或多个虚拟现实环境的呈现是针对与第一视觉输出设备的地理位置相对应的地理位置而定制的。
21.根据权利要求1所述的方法，进一步包括：
由包括在所述第一视觉输出设备中的传感器检测用户的手势；
分析所述手势以确定应该如何向所述用户呈现所述一个或多个增强现实显示媒体的指示；以及
基于所述指示修改所述一个或多个增强现实显示媒体的呈现。
22.根据权利要求1所述的方法，进一步包括：
由包括在所述第一视觉输出设备中的传感器检测从所述用户接收的语音输入；
分析所述语音输入以确定应该如何向所述用户呈现所述一个或多个增强现实显示媒体的指示；以及
基于所述指示修改所述一个或多个增强现实显示媒体的呈现。
23.一种计算机实现的系统，包括：数字处理设备，所述数字处理设备包括：至少一个处理器、存储器、显示器、相机、被配置用于执行可执行指令的操作系统以及计算机程序，该计算机程序包括可由所述数字处理设备执行以创建用于增强出版物的应用的指令，所述应用包括：
a)第一软件模块，其接收由用户经由所述相机捕获的实况相机馈送视频，所述实况相机馈送视频包括多个触发以及出版物的视频，所述出版物包括多个组件；
b)第二软件模块，其通过分析所述实况相机馈送视频，自动地识别所述实况相机馈送视频中的至少一个第一触发，所述至少一个第一触发被用来提供一个或多个增强现实显示媒体，识别与所述至少一个第一触发相关联并且与所述出版物有关的一个或多个增强现实显示媒体，并且经由所述显示器向所述用户呈现所述一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体包括所述出版物的所述多个组件中的一个或多个；以及
c)第三软件模块，其在所述一个或多个增强现实显示媒体中识别包括交互的方向和持续时间的至少一个数字第二触发，所述至少一个数字第二触发通过与用户视野内的一个或多个增强现实显示媒体的一部分中的所述出版物的所述多个组件的用户交互来参与，所述数字第二触发的参与导致识别与出版物有关的一个或多个虚拟现实环境，终止一个或多个增强现实显示媒体的呈现，以及经由第一视觉输出设备或第二视觉输出设备向所述用户无缝地呈现所述一个或多个虚拟现实环境，使得所述用户不知道所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境之间的转换。
24.根据权利要求23所述的计算机实现的系统，其中所述应用还包括：第四软件模块，其确定所述用户的视野，所述视野包括所述出版物的至少一部分，修改所述一个或多个增强虚拟现实媒体的取向，使得所述出版物的取向与所述用户的所述视野对准，以及所述出版物的所述多个组件面对所述用户，并且经由所述显示器向所述用户呈现所述一个或多个增强虚拟现实媒体，所述一个或多个增强虚拟现实媒体的所述取向已被修改以与所述用户的所述视野对准，使得所述一个或多个增强虚拟现实媒体被呈现为与所述出版物的所述至少一部分相关的虚拟覆盖图。
25.根据权利要求23所述的计算机实现的系统，其中所述一个或多个增强虚拟现实媒体和所述一个或多个虚拟现实环境通过包括与所述出版物相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果或言语音频来与所述出版物有关。
26.根据权利要求23所述的计算机实现的系统，其中所述一个或多个增强现实显示媒体是360度显示器，以及所述一个或多个虚拟现实环境是360度场景。
27.根据权利要求23所述的计算机实现的系统，其中所述第二软件模块还基于所述用户的视角来调整所述出版物的多个组件在所述一个或多个增强现实显示媒体中的取向，其中所述一个或多个增强现实显示媒体是动画的，并且其中所述一个或多个增强现实显示媒体中的所述出版物的多个组件是动画的。
28.一种用计算机程序编码的非暂时性计算机可读存储介质，其包括可由处理器执行以创建用于增强出版物的应用的指令，所述应用包括：
a)第一软件模块，其接收由用户经由相机捕获的实况相机馈送视频，所述实况相机馈送视频包括多个触发以及具有多个组件的出版物的视频；
b)第二软件模块，其通过分析所述实况相机馈送视频自动地识别所述实况相机馈送视频中的至少一个第一触发，所述至少一个第一触发被用来提供一个或多个增强现实显示媒体，识别与所述至少一个第一触发相关联并且与所述出版物有关的一个或多个增强现实显示媒体，并且经由显示器向所述用户呈现所述一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体包括所述出版物的所述多个组件中的一个或多个；以及
c)第三软件模块，其在所述一个或多个增强现实显示媒体中识别包括交互的方向和持续时间的至少一个数字第二触发，所述至少一个数字第二触发通过与用户视野内的一个或多个增强现实显示媒体的一部分中的所述出版物的所述多个组件的用户交互来参与，所述数字第二触发的参与导致识别与所述出版物有关的一个或多个虚拟现实环境，终止一个或多个增强现实显示媒体的呈现，以及经由第一视觉输出设备或第二视觉输出设备向所述用户无缝地呈现所述一个或多个虚拟现实环境，使得所述用户不知道所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境之间的转换。
29.根据权利要求28所述的非暂时性计算机可读存储介质，其中所述应用还包括：第四软件模块，其确定所述用户的视野，所述视野包括所述出版物的至少一部分，修改所述一个或多个增强现实显示媒体的取向，使得所述出版物的取向与所述用户的所述视野对准，以及所述出版物的所述多个组件面对所述用户，并且经由显示器向所述用户呈现所述一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体的所述取向已被修改以与所述用户的所述视野对准，使得所述一个或多个增强现实显示媒体被呈现为与所述出版物的至少所述部分相关的虚拟覆盖图。
30.根据权利要求28所述的非暂时性计算机可读存储介质，其中所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境通过包括与所述出版物相关的文本、一个或多个图形、一个或多个人物、故事情节、主题、一个或多个交互、音乐、一个或多个声音效果或言语音频来与所述出版物有关。
31.根据权利要求28所述的非暂时性计算机可读存储介质，其中所述一个或多个增强现实显示媒体是360度显示器，以及所述一个或多个虚拟现实环境是360度场景。
32.根据权利要求28所述的非暂时性计算机可读存储介质，其中所述第二软件模块还基于所述用户的视角调整所述出版物的所述多个组件在所述一个或多个增强现实显示媒体中的取向，其中所述一个或多个增强现实显示媒体是动画的，以及其中所述一个或多个增强现实显示媒体中的所述出版物的多个组件是动画的。
33.一种增强出版物的计算机实现的方法，包括:
a)接收由用户捕获的实况相机馈送视频，所述实况视频包括多个触发和具有多个组件的出版物的视频；
b)通过分析所述实况相机馈送视频，自动地识别所述实况相机馈送视频中的至少一个第一触发，所述至少一个第一触发被用来提供一个或多个增强现实显示媒体；
c)识别与所述至少一个第一触发相关联并且与所述出版物有关的一个或多个增强现实显示媒体，所述一个或多个增强现实显示媒体包括所述出版物的所述多个组件中一个或多个；
d)经由第一视觉输出设备向所述用户呈现一个或多个增强现实显示媒体；
e)在所述一个或多个增强现实显示媒体中识别包含交互的方向和持续时间的至少一个第二触发，所述至少一个数字第二触发通过与用户视野内的一个或多个增强现实显示器的一部分中的出版物的多个组件的用户交互而参加，所述数字第二触发的参加导致与所述出版物有关的的一个或多个虚拟现实环境的识别；以及
f)连续监视所述用户的视野，以确定所述至少一个数字第二触发是否在所述用户的视野内，以及确定所述用户相对于至少一个数字第二触发器的视角；以及
g)终止一个或多个增强现实显示媒体的呈现，以及经由所述第一视觉输出设备或第二视觉输出设备向所述用户无缝地呈现所述一个或多个虚拟现实环境，使得所述用户不知道所述一个或多个增强现实显示媒体和所述一个或多个虚拟现实环境之间的转换。
CN201780048662.8A 2016-06-03 2017-06-02 用于实现用户与出版物之间的计算机模拟现实交互的系统和方法 Active CN109690632B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662345320P 2016-06-03 2016-06-03
US62/345,320 2016-06-03
US15/445,806 US10748339B2 (en) 2016-06-03 2017-02-28 System and method for implementing computer-simulated reality interactions between users and publications
US15/445,806 2017-02-28
PCT/US2017/035620 WO2017210522A1 (en) 2016-06-03 2017-06-02 System and method for implementing computer-simulated reality interactions between users and publications

Publications (2)

Publication Number Publication Date
CN109690632A CN109690632A (zh) 2019-04-26
CN109690632B true CN109690632B (zh) 2023-10-27

Family

ID=60477985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048662.8A Active CN109690632B (zh) 2016-06-03 2017-06-02 用于实现用户与出版物之间的计算机模拟现实交互的系统和方法

Country Status (7)

Country Link
US (7) US10748339B2 (zh)
JP (1) JP7021201B2 (zh)
KR (1) KR102339332B1 (zh)
CN (1) CN109690632B (zh)
AU (1) AU2017274518B2 (zh)
CA (1) CA3026337A1 (zh)
WO (1) WO2017210522A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919507B (zh) 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
WO2018175620A1 (en) 2017-03-22 2018-09-27 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
US11392237B2 (en) * 2017-04-18 2022-07-19 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
CN116456097A (zh) * 2017-04-28 2023-07-18 苹果公司 视频流水线
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
US10430658B2 (en) * 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
CN111344775A (zh) * 2017-10-06 2020-06-26 S·拉德 增强现实系统和套件
US10565452B2 (en) * 2017-10-06 2020-02-18 Steve Rad Virtual reality system and kit
WO2019125303A1 (en) * 2017-12-19 2019-06-27 Robert Chua Production House Co. Ltd. An interactive printed publication
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
US10580215B2 (en) * 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
KR102154530B1 (ko) * 2018-06-06 2020-09-21 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10812486B2 (en) 2018-12-05 2020-10-20 Bank Of America Corporation Utilizing smart data tags to track and control secure enterprise data
WO2020181086A1 (en) * 2019-03-06 2020-09-10 Rad Steve Augmented and virtual reality system and kit
US11770569B2 (en) * 2019-04-05 2023-09-26 Q'ligent Corporation Providing risk based subscriber enhancements
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
CN110458928A (zh) * 2019-08-12 2019-11-15 苏州悠优互娱文化传媒有限公司 基于unity3d的AR动画生成方法、装置、介质
CN110874596B (zh) * 2019-11-06 2023-02-28 中国石油大学(北京) 一种仪表智能识别预警方法及系统
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
CN112288840B (zh) * 2020-10-26 2021-08-24 北京优锘科技有限公司 一种三维渲染引擎结合JavaScript脚本引擎实现运行的方法
US11558472B2 (en) * 2021-03-01 2023-01-17 Daniel Goddard Augmented reality positioning and matching system
WO2023129380A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Enhanced reading with ar glasses
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
EP4224289A1 (en) * 2022-02-08 2023-08-09 Nokia Technologies Oy Mediated reality
WO2023205393A1 (en) * 2022-04-22 2023-10-26 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
KR102572990B1 (ko) 2022-10-18 2023-08-31 소라피리협동조합 에듀테인먼트 콘텐츠 제공 플랫폼 시스템

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1582458A (en) 1925-01-08 1926-04-27 Frank D Fortney Book
US2197152A (en) 1936-06-08 1940-04-16 F N Burt Company Inc Box
US2918997A (en) 1958-02-11 1959-12-29 Henry L Kotkins Luggage construction
JPS57924B2 (zh) 1974-05-30 1982-01-08
USD268098S (en) 1979-04-24 1983-03-01 Garrod & Lofthouse Limited Container for a cassette box or the like
USD271161S (en) 1981-02-27 1983-11-01 Compton Edward M Video cassette book cover storage receptacle package
JPS5891927U (ja) 1981-12-16 1983-06-22 池田物産株式会社 カバン
USD294124S (en) 1985-05-23 1988-02-09 Ex-Cell Home Fashions, Inc. Display box
JPS63197524U (zh) 1987-06-08 1988-12-20
JPH04207868A (ja) 1990-11-30 1992-07-29 Sony Corp 電子機器のバッテリー
USD354520S (en) 1992-06-11 1995-01-17 Paper House Limited Display stand
US5248037A (en) 1992-08-03 1993-09-28 Largely Literary Designs, Inc. Display box simulating a book
USD369829S (en) 1994-08-31 1996-05-14 Tomy Company, Ltd. Picture-displaying binder case
USD472420S1 (en) 1996-02-22 2003-04-01 Nexpak Corporation Video cassette storage container
USD385781S (en) 1996-10-02 1997-11-04 DML Associates, Inc. Display box for a doll and book
US20030059758A1 (en) * 2000-02-23 2003-03-27 Brett Cohen Enhanced reading system and method
JP2003044387A (ja) 2001-05-18 2003-02-14 Sharp Corp データサーバ装置、データ配信プログラム、データ配信プログラムを記録したコンピュータ読み取り可能な記録媒体およびクライアント装置
US7269632B2 (en) * 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
JP3086669U (ja) 2001-12-13 2002-06-28 株式会社アカマツ バッグ
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP3093914U (ja) 2002-11-07 2003-05-23 百合子 小池 持ち手交換式かばん
US8028233B1 (en) * 2003-05-02 2011-09-27 Yahoo! Inc. Interactive graphical interface including a streaming media component and method and system of producing the same
USD495746S1 (en) 2003-09-26 2004-09-07 Officemate International Corporation Clipboard storage box
US20160267720A1 (en) 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20050242771A1 (en) 2004-04-30 2005-11-03 Blum Ronald D Method and apparatus for recharging eyeglasses
US20060113203A1 (en) 2004-11-30 2006-06-01 Charles Daley Computer bag
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN2909320Y (zh) 2006-05-15 2007-06-06 普立尔科技股份有限公司 相机皮套
US20070201201A1 (en) 2006-07-12 2007-08-30 Daley Charles A Iii Bag computer
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US7973786B2 (en) 2007-01-16 2011-07-05 Motorola Solutions, Inc. System and method for managing interaction in a virtual environment
USD566395S1 (en) 2007-05-07 2008-04-15 Target Brands, Inc. Container
US20090009938A1 (en) 2007-07-05 2009-01-08 Daley Iii Charles A Bag computer, front mount, top/bottom holder
US20090026749A1 (en) 2007-07-27 2009-01-29 Sandvik Innovations, Llc Interactive book having electronic circuits triggered by levels of illumination
USD624816S1 (en) 2008-04-02 2010-10-05 Philip Morris Usa Inc. Packaging container
US20110107239A1 (en) * 2008-05-01 2011-05-05 Uri Adoni Device, system and method of interactive game
US7900757B2 (en) 2008-05-28 2011-03-08 Aviva Warter Sisitsky Carrying bag having a detachable bottom portion
USD654113S1 (en) 2008-08-27 2012-02-14 Americhip, Inc. Multi-spread video book
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8457387B2 (en) * 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
JP2011077960A (ja) 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
US20110181497A1 (en) * 2010-01-26 2011-07-28 Roni Raviv Object related augmented reality play system
USD642743S1 (en) 2010-04-14 2011-08-02 Zena Shteysel Cosmetic holder
US8657138B2 (en) 2010-06-24 2014-02-25 Sussex Im, Inc. Container having a pre-curved lid
US20110315589A1 (en) 2010-06-29 2011-12-29 Targus Group International, Inc. Carrying cases having adjustable compartments for use with portable electronic devices and related methods
JP3164825U (ja) 2010-10-06 2010-12-16 株式会社エニックス 眼鏡ケース付きの物入れバッグ
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
BR112014010230A8 (pt) * 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
US9536251B2 (en) 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9101197B2 (en) 2011-12-23 2015-08-11 Tedolph Consolidated Industries Convertible camera kit bag
USD688420S1 (en) 2012-01-09 2013-08-20 Chao Ling Chemical Industry Co., Ltd. Cosmetic case
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
CN104245067B (zh) 2012-02-06 2017-05-10 索尼电脑娱乐欧洲有限公司 用于增强现实的书对象
US9928651B2 (en) * 2012-02-21 2018-03-27 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
US10672018B2 (en) 2012-03-07 2020-06-02 Visa International Service Association Systems and methods to process offers via mobile devices
US8818464B2 (en) 2012-03-21 2014-08-26 Google Inc. Device case with added functionality
GB2500416B8 (en) 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
GB2501921B (en) 2012-05-11 2017-05-03 Sony Computer Entertainment Europe Ltd Augmented reality system
US9035955B2 (en) * 2012-05-16 2015-05-19 Microsoft Technology Licensing, Llc Synchronizing virtual actor's performances to a speaker's voice
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130339228A1 (en) 2012-06-18 2013-12-19 Brian Mark Shuster Transfer of virtual objects between applications
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
CA2879523A1 (en) * 2012-07-19 2014-01-09 Gaurav VATS User-controlled 3d simulation for providing realistic and enhanced digital object viewing and interaction experience
USD691653S1 (en) 2012-09-06 2013-10-15 Rodrigo Benadon Book
US20140078174A1 (en) 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
JP2016502694A (ja) * 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト
WO2014093989A1 (en) 2012-12-14 2014-06-19 Hamra Andrew Latch and carry detachable messenger bag and shoulder strap assembly for personal electronic devices
JP2014127987A (ja) 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
KR102056175B1 (ko) 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
US9415621B2 (en) 2013-02-19 2016-08-16 Little Magic Books, Llc Interactive book with integrated electronic device
US9628783B2 (en) * 2013-03-15 2017-04-18 University Of Southern California Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
USD692949S1 (en) 2013-03-15 2013-11-05 Ellis N. Shamoon Clipboard storage container
KR20140119291A (ko) * 2013-03-28 2014-10-10 최명진 미러월드 마케팅 플랫폼 기반 증강현실 장바구니 시스템
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20140367004A1 (en) 2013-06-17 2014-12-18 Emiko Miki Cell Phone Carrying Case
KR101536115B1 (ko) * 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
EP3042340A4 (en) 2013-09-02 2017-04-26 Suresh T. Thankavel Ar-book
USD701865S1 (en) 2013-09-03 2014-04-01 Scanavo Manufacturing HK Ltd. Storage case
US9652895B2 (en) 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
WO2015138266A1 (en) 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
USD741193S1 (en) 2014-08-20 2015-10-20 Suit Supply B.V. Package for garments
KR102230076B1 (ko) 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US20160203645A1 (en) 2015-01-09 2016-07-14 Marjorie Knepp System and method for delivering augmented reality to printed books
USD780844S1 (en) 2015-02-09 2017-03-07 Westside Solutions Sàrl Book with multimedia screen
US9646400B2 (en) * 2015-02-12 2017-05-09 At&T Intellectual Property I, L.P. Virtual doorbell augmentations for communications between augmented reality and virtual reality environments
TWI540522B (zh) * 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
CN204617351U (zh) 2015-04-13 2015-09-09 内蒙古科技大学 一种适用于笔记本电脑的多功能电脑箱
US20160378296A1 (en) 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
USD803315S1 (en) 2016-12-13 2017-11-21 Ipevo Corp. Book page holder
WO2018175620A1 (en) 2017-03-22 2018-09-27 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
USD820080S1 (en) 2017-04-25 2018-06-12 Kinesio Ip Llc Box
USD882392S1 (en) 2017-11-13 2020-04-28 A Big Chunk Of Mud Llc Virtual reality enhanced book and packaging
USD850006S1 (en) 2017-11-27 2019-05-28 Mary Kay Inc. Cosmetic compact
US11420493B2 (en) 2019-10-25 2022-08-23 Caterpillar Inc. Space frame front lower suspension connection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The MagicBook: a transitional AR interface;Mark Billinghurst等;《Computers & Graphics》;20011231;正文第1-4节、以及其中所有图表 *

Also Published As

Publication number Publication date
US11017607B2 (en) 2021-05-25
CN109690632A (zh) 2019-04-26
AU2017274518B2 (en) 2021-12-09
AU2017274518A1 (en) 2019-01-24
US20210233322A1 (en) 2021-07-29
KR102339332B1 (ko) 2021-12-13
WO2017210522A1 (en) 2017-12-07
US20230260225A1 (en) 2023-08-17
US20210272374A1 (en) 2021-09-02
US20210264676A1 (en) 2021-08-26
US20200334914A1 (en) 2020-10-22
US11004268B2 (en) 2021-05-11
JP7021201B2 (ja) 2022-02-16
CA3026337A1 (en) 2017-12-07
JP2019521460A (ja) 2019-07-25
US11663787B2 (en) 2023-05-30
US11481984B2 (en) 2022-10-25
US10748339B2 (en) 2020-08-18
US20180336735A1 (en) 2018-11-22
US20170352187A1 (en) 2017-12-07
KR20190033511A (ko) 2019-03-29
US11481986B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
CN109690632B (zh) 用于实现用户与出版物之间的计算机模拟现实交互的系统和方法
US10902034B2 (en) Method for populating a map with a plurality of avatars through the use of a mobile technology platform
Pavlik Journalism in the age of virtual reality: How experiential media are transforming news
US10403050B1 (en) Multi-user virtual and augmented reality tracking systems
Dingli et al. The new digital natives
Atkinson Beyond the screen: Emerging cinema and engaging audiences
US20230092103A1 (en) Content linking for artificial reality environments
CN106663219A (zh) 处理与机器人的对话的方法和系统
Jackson The glitch aesthetic
US20230057073A1 (en) Augmented Reality Platform for Fan Engagement
KR102021700B1 (ko) 사물인터넷 기반 환자 맞춤형 의사소통장애 재활 방법
US20230086248A1 (en) Visual navigation elements for artificial reality environments
Seide et al. Virtual cinematic heritage for the lost Singaporean film Pontianak (1957)
Seligmann Creating a mobile VR interactive tour guide
US20240013488A1 (en) Groups and Social In Artificial Reality
US20240104870A1 (en) AR Interactions and Experiences
Pearson Designing by Decoding: Exposing Environments Mediated by “Cultural Software”
Ooi Mobile augmented reality for smart pet
Burnett Designing digital and physical interactions for the Digital Public Space
Vieira Creation of dynamic virtual tours in multimedia spaces
AKINSHIPE THE DESIGN AND IMPLEMENTATION OF A VIRTUAL TOUR APPLICATION FOR MOUNTAIN TOP UNIVERSITY VISITORS
Howse Illusion SDK: An Augmented Reality Engine for Flash 11
Fujimoto et al. Deep Learning Based Estimation of Exercise Effects from Workout Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40001455

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant