CN109804638B - 移动装置的双模式增强现实界面 - Google Patents

移动装置的双模式增强现实界面 Download PDF

Info

Publication number
CN109804638B
CN109804638B CN201680090009.3A CN201680090009A CN109804638B CN 109804638 B CN109804638 B CN 109804638B CN 201680090009 A CN201680090009 A CN 201680090009A CN 109804638 B CN109804638 B CN 109804638B
Authority
CN
China
Prior art keywords
mobile device
mode
motion
augmented reality
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090009.3A
Other languages
English (en)
Other versions
CN109804638A (zh
Inventor
陈一凡
普拉米塔·米特拉
盖瑞·史蒂文·斯特鲁莫洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Motor Co
Original Assignee
Ford Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Motor Co filed Critical Ford Motor Co
Publication of CN109804638A publication Critical patent/CN109804638A/zh
Application granted granted Critical
Publication of CN109804638B publication Critical patent/CN109804638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/3833—Hand-held transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

本文公开了移动装置的双模式增强现实界面。移动装置的双模式增强现实界面包括第一模式，所述第一模式响应于检测到存在所述移动装置的第一运动而经由所述移动装置的用户接口来呈现。所述双模式增强现实界面还包括第二模式，所述第二模式响应于检测到不存在所述第一运动而经由所述用户接口来呈现。所述第二模式不同于所述第一模式。所述第一模式可以是浏览模式，并且所述第二模式可以是学习模式。所述第一运动可以是摇拍运动。

Description

移动装置的双模式增强现实界面
技术领域
本公开总体涉及增强现实界面，并且更具体地涉及移动装置的双模式增强现实界面。
背景技术
移动装置的常规增强现实界面被配置为向移动装置的用户呈现经由移动装置的相机捕获的修改和/或增强的视频。修改和/或增强的视频在移动装置上实时呈现，并且通常包括与包括在捕获的视频内的感兴趣的对象有关和/或相关联的信息。例如，移动装置的增强现实界面可以呈现车辆的增强的视频，其中增强的视频包括分层放置在由移动装置的相机捕获的车辆视频上的关于车辆的特征(例如，前灯、侧视镜、车轮等)的信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)。
发明内容
本文公开了移动装置的双模式增强现实界面。在一些公开的示例中，移动装置的双模式增强现实界面包括第一模式，其响应于检测到存在所述移动装置的第一运动而经由所述移动装置的用户接口来呈现。在一些公开的示例中，双模式增强现实界面包括第二模式，其响应于检测到不存在所述第一运动而经由所述用户接口来呈现。在一些公开的示例中，所述第二模式不同于所述第一模式。
在一些示例中，公开了一种用于呈现移动装置的双模式增强现实界面的方法。在一些公开的示例中，所述方法包括：响应于检测到存在所述移动装置的第一运动，经由所述移动装置的用户接口呈现所述双模式增强现实界面的第一模式。在一些公开的示例中，所述方法包括：响应于检测到不存在所述第一运动，经由所述用户接口呈现所述双模式增强现实界面的第二模式。在一些公开的示例中，所述第二模式不同于所述第一模式。
在一些示例中，公开了包括指令的有形机器可读存储介质。在一些公开的示例中，所述指令在被执行时致使处理器：响应于检测到存在所述移动装置的第一运动，经由所述移动装置的用户接口呈现所述移动装置的双模式增强现实界面的第一模式。在一些公开的示例中，所述指令在被执行时致使所述处理器：响应于检测到不存在所述第一运动，经由所述用户接口呈现所述双模式增强现实界面的第二模式。在一些公开的示例中，所述第二模式不同于所述第一模式。
附图说明
图1示出在示例性使用环境中示出的根据本公开的教义构造的示例性移动装置，其中移动装置正在呈现在移动装置上执行的示例性双模式增强现实界面的示例性浏览模式。
图2示出示例性使用环境中的图1的示例性移动装置，其中移动装置正在呈现在移动装置上执行的示例性双模式增强现实界面的示例性学习模式。
图3是图1和图2的示例性移动装置的框图。
图4是表示可以在图1至图3的示例性移动装置处执行以操作和/或呈现图1至图3的示例性双模式增强现实界面的示例性方法的流程图。
图5是表示可以在图1至图3的示例性移动装置处执行以对移动装置的运动进行分类的第一示例性方法的流程图。
图6是表示可以在图1至图3的示例性移动装置处执行以对移动装置的运动进行分类的第二示例性方法的流程图。
图7是表示可以在图1和图3的示例性移动装置处执行以呈现移动装置的示例性双模式增强现实界面的示例性浏览模式的示例性方法的流程图。
图8是表示可以在图2和图3的示例性移动装置处执行以呈现移动装置的示例性双模式增强现实界面的示例性学习模式的示例性方法的流程图。
图9是能够执行指令以实现图4至图8的方法和图1至图3的示例性移动装置的示例性双模式增强现实界面的示例性处理器平台。
某些示例在以上标识的附图中示出并在下文进行详细描述。在描述这些示例时，使用相似或相同的附图标记来标识相同或类似的元素。附图未必按比例绘制，并且为了清楚和/或简明起见，附图的某些特征和某些视图可能以夸大的比例示出或示意性地示出。
具体实施方式
移动装置的常规增强现实界面被配置为向移动装置的用户呈现经由移动装置的相机捕获的实时视频，其中捕获的视频被修改和/或增强以包括分层放置在捕获的视频上的信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)。叠盖的信息通常与包括在捕获的视频内的特征和/或感兴趣的对象有关和/或相关联。虽然结合此类常规的增强现实界面向用户呈现实时视频在用户进行搜索、浏览和/或以其他方式努力定位位于增强现实界面的使用环境内的一个或多个特征和/或对象时是有用的，但是一旦用户停止搜索和/或浏览并且反而开始消耗和/或了解所定位的一个或多个特征和/或对象，此类实时视频的呈现就不是特别合适或有用。
例如，由于对增强现实应用程序和/或执行增强现实应用程序的移动装置的约束条件进行处理，因此叠盖的信息可能与实时视频不同步。此外，由于叠盖的信息以重叠、阻挡和/或以其他方式干扰包括在捕获的视频中的特征和/或感兴趣的对象中的一者或多者的方式进行定位，因此对于用户而言，叠盖的信息即使在与实时视频同步时也可能是难以理解的。常规的增强现实界面的此类缺点提供了不良的用户体验。
与以单一模式限制性地操作和/或执行的常规增强现实界面不同，本文公开的移动装置的示例性双模式增强现实界面有利地响应于检测到存在移动装置的遥拍运动而操作和/或执行第一模式(例如，浏览模式)，并且响应于检测到不存在移动装置的遥拍运动而操作和/或执行第二模式(例如，学习模式)。在一些公开的示例中，所述双模式增强现实界面的所述第二模式在呈现时有利地包括优化的布局，所述优化的布局包括由所述移动装置的相机捕获的图像的配置版本，并且还包括配置的相关联的信息，所述相关联的信息对应于在所述图像中检测到的标记或特征。在一些公开的示例中，所述图像的所述配置版本包括相对于捕获的所述图像内的感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者。在一些公开的示例中，所述配置的相关联的信息叠盖所述图像的所述配置版本而不阻挡其中包含的所述感兴趣的对象。因此，所公开的双模式增强现实界面改进了单模常规增强现实界面带来的缺点，其在所有情况下向用户呈现修改的和/或增强的实时视频。
如本文所使用的，与移动装置相关的术语“遥拍运动”通常是指移动装置沿着与移动装置相关联的x-y-z坐标系的x轴或y轴中的任一者的运动和/或移动、和/或移动装置围绕与移动装置相关联的x-y-z坐标系的z轴的旋转，如下文结合图1通常所示和所述的。如本文所使用的，与移动装置相关的术语“变焦运动”通常是指移动装置沿着与移动装置相关联的x-y-z坐标系的z轴的运动和/或移动，如下文结合图2通常所示和所述的。如本文所使用的，与移动装置相关的术语“稳定性”通常是指不存在移动装置的运动和/或移动。在一些情况下，移动装置的稳定性可以通过同时不存在移动装置的遥拍运动和变焦运动来指示。如本文所使用的，术语“浏览模式”是指下文结合图1和图3描述的双模式增强现实界面的示例性第一模式，所述第一模式是响应于检测到存在移动装置的遥拍运动而呈现的。如本文所使用的，术语“学习模式”是指下文结合图2和图3描述的双模式增强现实界面的示例性第二模式，所述第二模式是响应于检测到不存在移动装置的遥拍运动而呈现的。
图1示出在示例性使用环境100中示出的根据本公开的教义构造的示例性移动装置102，其中移动装置102正在呈现在移动装置102上执行的示例性双模式增强现实界面的示例性浏览模式(例如，第一模式)。示例性使用环境100包括移动装置102和示例性感兴趣的对象104。
图1的移动装置102包括用于捕获感兴趣的对象104的图像和/或视频的示例性相机(未示出)以及用于呈现捕获的图像和/或视频的示例性显示器106。在图1的所示的示例中，移动装置102是平板电脑，并且显示器106是触摸屏显示器。移动装置可以可替代地实现为智能电话、膝上型计算机和/或具有用于捕获图像和/或视频的相机以及用于呈现捕获的图像和/或视频的显示器的任何其他类型的手持式计算装置。移动装置102在使用环境100内的定位和移动由携带和/或握持移动装置102的最终用户控制，如图1中大致所示。
图1的感兴趣的对象104包括第一示例性特征108、第二示例性特征110和第三示例性特征112。在图1的所示的示例中，感兴趣的对象104是车辆，第一示例性特征108是车辆的前灯，第二示例性特征110是车辆的侧视镜，并且第三示例性特征112是车辆的车轮。尽管示例性感兴趣的对象104在图1中示出为具有第一特征108、第二特征110和第三特征112的车辆，但是感兴趣的对象104可以可替代地是任何类型的对象和/或可以包含任何数量的(例如，1个、2个、10个、50个等)特征。
在图1的所示的示例中，感兴趣的对象104还包括第一示例性标记114和第二示例性标记116。第一示例性标记114安装在第一示例性特征108上和/或耦接到第一示例性特征108，并且第二示例性标记116安装在第二示例性特征110上和/或耦接到第二示例性特征110。在图1的所示的示例中，第一标记114和第二标记116被实现为快速响应(quickresponse,QR)码，其对于第一标记114和第二标记116分别安装和/或耦接到的第一特征108和第二特征110中对应的特征是唯一的。例如，第一标记114可以是包含指示和/或关于感兴趣的对象104(例如，车辆)的第一特征108(例如，前灯)的信息的QR码。在其他示例中，第一标记114和第二标记116可以可替代地实现为单个点、图案化的图像和/或能够经由相机捕获并且包含指示和/或关于感兴趣的对象104的特征(例如，第一特征108和第二特征110)的信息的任何其他标记结构。
在图1的所示的示例中，感兴趣的对象104还包括示例性特征形状118，所述示例性特征形状118对于第三示例性特征112是唯一的。例如，特征形状118可以是圆形形状和/或椭圆形形状的，所述形状对应于感兴趣的对象104(例如，车辆)的第三特征112(例如，车轮)。
移动装置102执行包括浏览模式(例如，第一模式)的双模式增强现实界面。当双模式增强现实界面在浏览模式(如图1所示)下执行时，移动装置102的显示器106呈现由移动装置102的相机捕获的感兴趣的对象104的视频(例如，实时视频)。如本文进一步描述的，双模式增强现实界面修改和/或增强经由显示器106呈现的感兴趣的对象104的视频，以包括第一示例性指示符128、第二示例性指示符130和第三示例性指示符132和/或对应于第一标记114和第二标记116、特征形状118、和/或感兴趣的对象104的第一特征108、第二特征110和第三特征112的相关联的信息。
响应于检测到存在移动装置102的一个或多个遥拍运动(例如，一个或多个平移移动)，移动装置102以浏览模式(如图1所示)执行双模式增强现实界面。例如，最终用户可以沿着与移动装置102相关联的坐标系的第一轴线(例如，x轴)向右(如图1的第一示例性箭头120所指示的)或向左(如图1的第二示例性箭头122所指示的)平移移动装置102。作为另一示例，最终用户可以另外和/或可替代地沿着坐标系的第二轴线(例如，y轴)向上(如图1的第三示例性箭头124所指示的)或向下(如图1的第四示例性箭头126所指示的)平移移动装置102。作为另一示例，最终用户可以另外和/或可替代地围绕坐标系的第三轴线(例如，z轴)顺时针(如图1的第五示例性箭头128所指示的)或逆时针(如图1的第六示例性箭头130所指示的)平移移动装置102。如本文进一步描述的，移动装置102检测到存在一个或多个此类遥拍运动。响应于检测到存在一个或多个此类遥拍运动，移动装置102致使双模式增强现实界面在浏览模式(例如，双模式增强现实界面的第一模式)下执行。
图2示出示例性使用环境200中的图1的示例性移动装置102，其中移动装置102正在呈现在移动装置102上执行的示例性双模式增强现实界面的示例性学习模式(例如，第二模式)。当双模式增强现实界面在学习模式(如图2所示)下执行时，移动装置102的显示器106呈现由移动装置102的相机捕获的感兴趣的对象104的图像(例如，高分辨率图像)。如本文进一步描述的，双模式增强现实界面修改和/或增强经由显示器106呈现的感兴趣的对象104的图像，以在显示器106内优化和/或配置感兴趣的对象104的大小和/或位置，并且/或者相对于显示器106上呈现的感兴趣的对象104的大小和/或位置来优化和/或配置第四示例性指示符202、第五示例性指示符204和第六示例性指示符206和/或对应于第一标记114和第二标记116、特征形状118、和/或感兴趣的对象104的第一特征108、第二特征110和第三特征112的相关联的信息的布局和/或定位。
例如，移动装置102可以定位第四指示符202、第五指示符204和第六指示符206和/或对应于显示器106上呈现的感兴趣的对象104的第一特征108、第二特征110和第三特征112的相关联的信息，使得第四指示符202、第五指示符204和第六指示符206和/或相关联的信息不会重叠、阻挡和/或以其他方式干扰显示器106上呈现的感兴趣的对象104。移动装置102可以附加地和/或可替代地定位第四指示符202和/或对应于显示器106上呈现的感兴趣的对象104的第一特征108的与第四指示符202相关联的信息，使得第四指示符202和/或相关联的信息不会重叠、阻挡和/或以其他方式干扰第五指示符204或第六指示符206和/或对应于显示器106上呈现的感兴趣的对象104的第二特征110和/或第三特征112的与第五指示符204或第六指示符206相关联的信息。
在图2的所示的示例中，第四指示符202、第五指示符204和/或第六指示符206中的一者或多者可以被实现为可选择的链接，所述链接在被选定时致使显示器106和/或移动装置102呈现关于感兴趣的对象104的第一特征108、第二特征110或第三特征112中的对应的特征的信息。例如，第四指示符202可以被实现为可选择的链接，所述链接在被选定时致使移动装置102的显示器106呈现关于感兴趣的对象104(例如，车辆)的第一特征108(例如，前灯)的视频文件。作为另一示例，第五指示符204可以被实现为可选择的链接，所述链接在被选定时致使移动装置102呈现关于感兴趣的对象104(例如，车辆)的第二特征110(例如，侧视镜)的音频文件。
响应于检测到不存在移动装置102的一个或多个遥拍运动，移动装置102以学习模式(如图2所示)执行双模式增强现实界面，如上文结合图1所描述的。例如，最终用户可以稳固地握持移动装置102而不沿着对应于图1的第一箭头120、第二箭头122、第三箭头124，第四箭头126、第五箭头128和第六箭头130的方向中的一者或多者平移和/或移动移动装置102。如本文进一步描述的，移动装置102检测到不存在一个或多个遥拍运动，并且/或者检测到移动装置102的稳定性。响应于检测到不存在一个或多个此类遥拍运动和/或检测到此类稳定性，移动装置102致使双模式增强现实界面在学习模式(例如，双模式增强现实界面的第二模式)下执行。
响应于检测到存在移动装置102的一个或多个变焦运动(例如，一个或多个变焦移动)且同时检测到不存在上文所述的移动装置102的一个或多个遥拍运动，移动装置102可以另外和/或可替代地以学习模式(如图2所示)执行双模式增强现实界面。例如，最终用户可以使得移动装置102沿着与移动装置102相关联的坐标系的第三轴线(例如，z轴)朝向(如图2的第七示例性箭头208所指示的)或背离(如图2的第八示例性箭头210所指示的)感兴趣的对象104而进行变焦。如本文进一步描述的，移动装置102检测到一个或多个此类变焦运动。响应于(单独或与检测到不存在上文所述的移动装置102的一个或多个遥拍运动相结合地)检测到一个或多个此类变焦运动，移动装置102致使双模式增强现实界面在学习模式下执行。
当双模式增强现实界面在学习模式(如图2所示)下执行时，移动装置102的显示器106可进一步呈现一个或多个可选择的图标、按钮和/或链接，所述可选择的图标、按钮和/或链接在被选定时致使移动装置102执行与可选择的图标、按钮和/或链接相关联的一个或多个对应的操作和/或功能。例如，移动装置102的显示器106可以进一步呈现第一示例性可选择的图标212，所述可选择的图标212在被选定时致使移动装置102将双模式增强现实界面锁定为在学习模式下执行和/或将双模式增强现实界面从在学习模式下执行解锁。选定第一可选择的图标212导致：移动装置102的双模式增强现实界面即使在移动装置102检测到存在一个或多个遥拍运动时也在学习模式下执行，所述遥拍运动否则会导致移动装置102致使双模式增强现实界面在浏览模式下执行。作为另一示例，移动装置102的显示器106可以进一步呈现第二示例性可选择的图标214，所述可选择的图标214在被选定时致使移动装置102将关于学习模式会话的信息和/或数据存储到移动装置102的本地存储器，并且/或者将关于学习模式会话的信息和/或数据发射到被配置为存储信息和/或数据的一个或多个远程服务器(例如，云服务器)。
图3是图1和图2的示例性移动装置102的框图。在图3的所示的示例中，移动装置102包括示例性加速度计302、示例性陀螺仪304、示例性计步器306、示例性存储器308、示例性相机310、示例性运动分类器312、示例性模式管理器314、示例性标记标识符316、示例性特征标识符318、示例性布局管理器320、示例性媒体播放器322、示例性用户接口324和示例性网络接口326。然而，根据本公开的教义，移动装置102的其他示例性实现方式可以包括更少或附加的结构。图1至图3的移动装置102的加速度计302、陀螺仪304、计步器306、存储器308、相机310、运动分类器312、模式管理器314、标记标识符316、特征标识符318、布局管理器320、媒体播放器322、用户接口324和/或网络接口326可以具有任何一个或多个大小、形状和或配置，所述任何一个或多个大小、形状和或配置实现了和/或有利于向一个或多个最终用户执行和/或呈现移动装置102上的双模式增强现实界面。
图3的示例性加速度计302感测、测量和/或检测移动装置102的速度(例如，一个或多个加速度)的变化。由加速度计302感测、测量和/或检测的速度值的不同变化对应于移动装置102的不同加速度。因此，通过感测、测量和/或检测速度值的变化，加速度计302使得可以计算移动装置102的速度值。速度值可以用于确定存在和/或不存在移动装置102的一个或多个运动(例如，上文结合图1和图2描述的存在和/或不存在一个或多个遥拍运动和/或一个或多个变焦运动)。在一些示例中，可以基于加速度计302检测到的加速度值来计算速度值。例如，可以通过求加速度计302随时间推移检测到的加速度值的积分来计算和/或确定速度值。在一些示例中，加速度计302被实现为三轴加速度计(例如，3轴加速度计)，使得加速度计302感测、测量和/或检测与移动装置102相关联的坐标系的三个轴线(例如，如图1和图2所示的与移动装置102相关联的x-y-z坐标系的三个轴线)中的每一个轴线的加速度数据。由加速度计302感测、测量和/或检测的加速度数据和/或信息可以是任何类型、形式和/或格式的，并且可以存储在计算机可读存储介质(诸如下文描述的示例性存储器308)中。
图3的示例性陀螺仪304感测、测量和/或检测移动装置102的角速度(例如，旋转速率)。由陀螺仪304感测、测量和/或检测的不同角速度值对应于移动装置102的不同旋转移动。因此，通过感测、测量和/或检测角速度值，陀螺仪304检测与存在和/或不存在移动装置102的一个或多个运动(例如，上文结合图1和图2描述的存在和/或不存在一个或多个遥拍运动和/或一个或多个变焦运动)相关联的旋转速率值。在一些示例中，陀螺仪304被实现为三轴陀螺仪(例如，3轴陀螺仪)，使得陀螺仪304感测、测量和/或检测与移动装置102相关联的坐标系的三个轴线(例如，如图1和图2所示的与移动装置102相关联的x-y-z坐标系的三个轴线)中的每一个轴线的速率或旋转数据。由陀螺仪304感测、测量和/或检测的旋转速率数据和/或信息可以是任何类型、形式和/或格式的，并且可以存储在计算机可读存储介质(诸如下文描述的示例性存储器308)中。
图3的示例性计步器306感测、测量和/或检测移动装置102的运动，所述运动对应于携带移动装置102的最终用户所进行的步行和/或所迈出的步伐。因此，通过感测、测量和/或检测携带移动装置102的最终用户所进行的步行和/或所迈出的步伐，计步器306检测与存在和/或不存在移动装置102的一个或多个运动(例如，上文结合图1和图2描述的存在和/或不存在一个或多个遥拍运动和/或一个或多个变焦运动)相关联的步数数据(例如，所迈出的步伐的数量)。例如，计步器在一段时间内感测、测量和/或检测到的步数数据不存在变化可以指示：携带移动装置102的用户是静止的和/或未行走的，和/或所述用户正处于将移动装置102聚焦在感兴趣的对象104或感兴趣的对象104的特定特征(例如，上文所述的图1的第一特征108、第二特征110或第三特征112中的任何一者)上的过程中。由计步器306感测、测量和/或检测的步数数据和/或信息可以是任何类型、形式和/或格式的，并且可以存储在计算机可读存储介质(诸如下文描述的示例性存储器308)中。
图3的示例性存储器308可以由任何一个或多个类型和/或任何数量的存储装置实现，诸如存储驱动器、快闪存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、高速缓存和/或将信息存储任何持续时间(例如，在延长的时间段内、永久地、在简短的情况下、用于临时缓冲和/或用于信息的高速缓存)的任何其他存储介质。存储在存储器308中的信息可以任何文件和/或数据结构格式、组织方案和/或布置结构来进行存储。在一些示例中，存储器308存储：由加速度计302感测、测量和/或检测的加速度数据；由陀螺仪304感测、测量和/或检测的旋转速率数据；和/或由计步器306感测、测量和/或检测的步数数据。存储器308可由图3的运动分类器312、模式管理器314、标记标识符316、特征标识符318、布局管理器320、媒体播放器322、用户接口324和网络接口326访问，并且/或者可更具体地由图1和图2的移动装置102访问。
在图3的所示的示例中，存储器308包括示例性双模式增强现实应用程序328。图3的双模式增强现实应用程序328包括：计算机可读指令，所述指令在执行时致使移动装置102经由移动装置102的显示器106(和/或更具体地经由下文描述的移动装置102的示例性用户接口324)呈现双模式增强现实界面。双模式增强现实应用程序328提供双模式增强现实界面，其包括对应于上文结合图1描述的浏览模式的第一模式以及对应于上文结合图2描述的学习模式的第二模式。
在图3的所示的示例中，存储器308包括示例性标记库330。标记库330将标记的识别信息与同标记和/或标记对应的特征相关联的信息和/或数据关联和/或链接起来。例如，标记库330可以将特定于图1和图2的第一标记114的QR码与同第一标记114和/或第一标记108对应的第一特征108(例如，车辆的前灯)相关联的信息和/或数据关联和/或链接起来。标记库330可以进一步将特定于图1和图2的第二标记116的QR码与同第二标记116和/或第二标记110对应的第二特征110(例如，车辆的侧视镜)相关联的信息和/或数据关联和/或链接起来。相关联的信息和/或数据可以包括与标记和/或标记对应的特征相关联的文本、图形、音频文件和/或视频文件(和/或到文本、图形、音频文件和/或视频文件的链接)中的一者或多者。
图3的标记库330可以被实现为表、列表、矩阵和/或任何其他结构化数据格式，并且可以包括任何数量的因子和/或字段。标记库330可由下文描述的示例性标记标识符316访问。在一些示例中，标记库330可以存储在远程服务器和/或云服务器处，而不是存储在移动装置102的存储器308内。在此类示例中，移动装置102的标记标识符316可以经由下文描述的移动装置102的示例性网络接口326访问标记库330。
在图3的所示的示例中，存储器308包括示例性特征库332。特征库332将特征的识别信息(例如，特征形状)与同特征形状和/或特征形状对应的特征相关联的信息和/或数据关联和/或链接起来。例如，特征库332可以将图1和图2的特征形状118与同特征形状118对应的第三特征112(例如，车辆的车轮)相关联的信息和/或数据关联和/或链接起来。相关联的信息和/或数据可以包括与特征形状和/或特征形状对应的特征相关联的文本、图形、音频文件和/或视频文件(和/或到文本、图形、音频文件和/或视频文件的链接)中的一者或多者。
图3的特征库332可以被实现为表、列表、矩阵和/或任何其他结构化数据格式，并且可以包括任何数量的因子和/或字段。特征库332可由下文描述的示例性特征标识符318访问。在一些示例中，特征库332可以存储在远程服务器和/或云服务器处，而不是存储在移动装置102的存储器308内。在此类示例中，移动装置102的特征标识符318可以经由下文描述的移动装置102的示例性网络接口326访问特征库332。在一些示例中，特征库332可以链接到标记库330、与标记库330相关和/或以其他方式相关联。例如，特征库332和标记库330可以实现为关系数据库内的链接表。
在图3的所示的示例中，存储器308包括示例性模板库334。模板库334包括一个或多个布局和/或风格模板(例如，图形设计模板)，所述布局和/或风格模板中的每一个可以包括一个或多个文本和/或图形布置结构。图3的模板库334可以被实现为多个文件、表、列表、矩阵和/或任何其他结构化数据格式，并且可以包括任何数量的模板、因子和/或字段。模板库334可由下文描述的示例性布局管理器320访问。在一些示例中，模板库338可以存储在远程服务器和/或云服务器处，而不是存储在移动装置102的存储器308内。在此类示例中，移动装置102的布局管理器320可以经由下文描述的移动装置102的示例性网络接口326访问模板库334。在一些示例中，模板库334可以链接到标记库330和/或特征库332、与标记库330和/或特征库332相关和/或以其他方式相关联。例如，模板库334、特征库332和标记库330可以实现为关系数据库内的链接表。
图3的示例性相机310捕获图像和视频，包括例如上文描述的图1和图2的示例性感兴趣的对象104的图像和视频。相机310可以包括互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)图像传感器和相关联的图像和/或视频处理电路，如常规地在诸如平板电脑和智能电话的移动装置中实现的那样。经由相机310捕获的图像和/或视频可以经由下文描述的移动装置102的示例性用户接口324呈现。在一些示例中，可以实时呈现由相机310捕获的视频。在一些示例中，由相机310捕获的图像和/或视频可以存储在移动装置102的存储器308内。在其他示例中，由相机310捕获的图像和/或视频可以另外和/或可替代地存储在远程服务器和/或云服务器处。在此类其他示例中，由相机310捕获的图像和/或视频可以经由下文描述的移动装置102的示例性网络接口326发射到远程服务器和/或云服务器。
图3的示例性运动分类器312确定存在和/或不存在移动装置102的一个或多个类型的一个或多个运动和/或一个或多个移动并且/或者对其进行分类。例如，运动分类器312可以基于根据移动装置102的加速度计302检测到的加速度值计算的速度值，基于移动装置102的陀螺仪304检测到的旋转速率值和/或旋转速率值的变化，和/或基于移动装置102的计步器306检测到的步数数据和/或步数数据的变化来确定存在和/或不存在移动装置102的遥拍运动、变焦运动或稳定性。
在一些示例中，运动分类器312根据加速度计302检测到的加速度值计算速度值。例如，运动分类器312可以通过求移动装置102的加速度计302随时间推移检测到的加速度值的积分来计算和/或确定与移动装置102的移动相关联的速度值。在此类示例中，运动分类器312可以基于由运动分类器312计算的从移动装置102的加速度计302检测到的加速度值和/或加速度值的变化导出的速度值，基于移动装置102的陀螺仪304检测到的旋转速率值和/或旋转速率值的变化，和/或基于移动装置102的计步器306检测到的步数数据和/或步数数据的变化来确定存在和/或不存在移动装置102的遥拍运动、变焦运动或稳定性。
在一些示例中，图3的运动分类器312通过根据加速度计302检测到的加速度值计算速度值，并且通过将速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据与同移动装置102的遥拍运动、变焦运动和/或稳定性相关联的一个或多个阈值进行比较来确定存在和/或不存在移动装置102的一个或多个类型的一个或多个运动和/或一个或多个移动并且/或者对其进行分类。例如，运动分类器312可以将从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据与一个或多个遥拍运动阈值进行比较。在一些示例中，一个或多个遥拍运动阈值可以特定于与以下相关联的数据：移动装置102在对应于图1和图2所示的坐标系的x轴的第一方向(例如，如图1的第一示例性箭头120和第二示例性箭头122所指示的)上的运动；移动装置102在对应于图1和图2所示的坐标系的y轴的第二方向(例如，如图1的第三示例性箭头124和第四示例性箭头126所指示的)上的运动；和/或移动装置102围绕图1和图2所示的坐标系的z轴(例如，如图1的第五示例性箭头128和第六示例性箭头130所指示的)的旋转移动。如果从加速度计302导出的速度值、从陀螺仪304获得的速率旋转值和/或从计步器306获得的步数数据指示满足(例如，超过)一个或多个遥拍运动阈值的移动装置102的运动的等级和/或程度，则运动分类器312将移动装置102的运动分类为存在遥拍运动。如果从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据反而指示不满足(例如，不超过)任何一个或多个遥拍运动阈值的移动装置102的运动的等级和/或程度，则运动分类器312将移动装置102的运动分类为不存在移动装置102的遥拍运动。
作为另一示例，运动分类器312可以将从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据与一个或多个变焦运动阈值进行比较。在一些示例中，一个或多个变焦运动阈值可以特定于与以下相关联的数据：移动装置102在对应于图1和图2所示的坐标系的z轴的第三方向(例如，如图2的第七示例性箭头208和第八示例性箭头210所指示的)上的运动。如果从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据指示满足(例如，超过)任何一个或多个变焦运动阈值的移动装置102的运动的等级和/或程度，则运动分类器312将移动装置102的运动分类为存在变焦运动。如果从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据反而指示不满足(例如，不超过)任何一个或多个变焦运动阈值的移动装置102的运动的等级和/或程度，则运动分类器312将移动装置102的运动分类为不存在移动装置102的变焦运动。
在一些示例中，当从加速度计302导出的速度值、从陀螺仪304获得的旋转速率值和/或从计步器306获得的步数数据指示不满足(例如，不超过)任何一个或多个遥拍运动阈值的移动装置102的运动的等级和/或程度时，运动分类器312将移动装置102的运动分类为存在移动装置102的稳定性。
作为另一示例，运动分类器312通过根据加速度计302检测到的加速度值计算速度值，并且通过比较计算的速度值来确定此类值的哪个方面占支配地位，以对移动装置102的运动进行分类。例如，如果运动分类器312确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值大于与移动装置102的z轴相关联的一个或多个速度值，则运动分类器312确定一或多个此类速度值指示移动装置102的遥拍运动。如果运动分类器312反而确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值不大于与移动装置102的z轴相关联的一个或多个速度值，则运动分类器312确定与移动装置102的z轴相关联的一个或多个旋转速率值是否大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值。如果运动分类器312确定与移动装置102的z轴相关联的一个或多个旋转速率值大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值，则运动分类器312确定一或多个此类旋转速率值指示移动装置102的遥拍运动。如果运动分类器312反而确定与移动装置102的z轴相关联的一个或多个旋转速率值不大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值，则运动分类器312确定与移动装置102的x轴、y轴和/或z轴相关联的旋转速率值是否满足(例如，超过)一个或多个旋转速率阈值。如果运动分类器312确定与移动装置102的x轴、y轴和/或z轴中的任何一者相关联的一个或多个旋转速率值满足任何一个或多个旋转速率阈值，则运动分类器312确定一个或多个此类旋转速率值指示移动装置102的遥拍运动。如果运动分类器312反而确定与移动装置102的x轴、y轴和z轴相关联的一个或多个旋转速率值无法满足任何一个或多个旋转速率阈值，则运动分类器312确定一个或多个速度值和一个或多个旋转速率值指示移动装置102的变焦运动。
结合先前的示例，运动分类器312可以另外通过比较从计步器306获得的数据和/或值来对移动装置102的运动进行分类。例如，如果运动分类器312确定从计步器306获得的步数数据正在改变(例如，增加)，则运动分类器312确定此类数据和/或值指示携带移动装置102的用户正在行走。运动分类器312可以将此类确定与对应于移动装置102的第一模式(例如，浏览模式)的分类相关联。
图3的示例性模式管理器314确定要经由移动装置102的示例性用户接口324执行和/或呈现双模式增强现实界面的第一模式(例如，如上所述的图1的浏览模式)或第二模式(例如，如上所述的图2的学习模式)中的哪一种模式。模式管理器314基于由运动分类器312确定的运动分类来确定要执行和/或呈现第一模式或第二模式中的哪一种模式。
例如，如果运动分类器312将移动装置102的运动分类为存在遥拍运动，则模式管理器314确定要执行和/或呈现第一模式(例如，如上所述的图1的浏览模式)。响应于做出此类确定，模式管理器314启动、执行和/或以其他方式致使经由移动装置102的示例性用户接口324呈现双模式增强现实界面的第一模式。如果运动分类器312反而将移动装置102的运动分类为不存在遥拍运动，则模式管理器314确定要执行和/或呈现第二模式(例如，如上所述的图2的学习模式)。响应于做出此类确定，模式管理器314启动、执行和/或以其他方式致使经由移动装置102的示例性用户接口324呈现双模式增强现实界面的第二模式。在一些示例中，如果运动分类器312将移动装置102的运动分类为存在变焦运动，则只要运动分类器还尚未将移动装置的运动分类为存在遥拍运动，模式管理器314就可以确定要执行和/或呈现第二模式(例如，如上所述的图1的学习模式)。响应于做出此类确定，模式管理器314启动、执行和/或以其他方式致使经由移动装置102的示例性用户接口324呈现双模式增强现实界面的第二模式(例如，如上所述的图2的学习模式)。
图3的模式管理器314因此管理和/或控制从在移动装置102上呈现第一模式(例如，浏览模式)向在移动装置102上呈现第二模式(例如，学习模式)的转换，并且反之亦然。模式管理器314使此类转换基于由运动分类器312确定的运动分类。例如，如果模式管理器314已经致使第一模式呈现在移动装置102上并且随后从运动分类器312接收到对应于不存在遥拍运动的指示，则模式管理器314致使第二模式取代第一模式来进行呈现。类似地，如果模式管理器314已经致使第二模式呈现在移动装置102上并且随后从运动分类器312接收到对应于存在遥拍运动的指示，则模式管理器314致使第一模式取代第二模式来进行呈现。如上所述，运动分类器312响应于由移动装置102的加速度计302、陀螺仪304和/或计步器306提供和/或从其获得的运动数据(例如，加速度数据、速度数据、旋转速率数据和/或步数数据)来确定此类运动分类。
图3的示例性标记标识符316识别了由移动装置102的相机310捕获的图像和视频中的标记，并且进一步识别了与标记相关联的数据和/或信息(例如，文本、图形、音频文件、视频文件等)。例如，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的图像或视频内识别对应于图1和图2的感兴趣的对象104的第一标记108的第一QR码。标记标识符316可以实现已知形式的计算机视觉和/或图像处理以执行前述识别。标记标识符316可以通过访问上文描述的标记库330来另外识别与识别的第一QR码和/或识别的第一标记108相关联的信息。作为另一示例，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的图像或视频内识别对应于图1和图2的感兴趣的对象104的第二标记110的第二QR码。标记标识符316可以通过访问上文描述的标记库330来另外识别与识别的第二QR码和/或识别的第二标记110相关联的信息。标记标识符316将对应于识别的标记和/或与识别的标记相关联的识别的信息的数据传送到下面描述的移动装置102的示例性布局管理器320。
图3的示例性特征标识符318识别了由移动装置102的相机310捕获的图像和视频中的特征，并且进一步识别了与特征相关联的数据和/或信息(例如，文本、图形、音频文件、视频文件等)。例如，特征标识符318可以在移动装置102的相机310捕获的感兴趣的对象104的图像或视频内识别对应于图1和图2的感兴趣的对象104的第三特征112的特征形状118。特征标识符318可以实现已知形式的计算机视觉和/或图像处理以执行前述识别。特征标识符318可以通过访问上文描述的特征库332来另外识别与识别的特征形状118和/或识别的第三特征112相关联的信息。特征标识符318将对应于识别的特征和/或与识别的特征相关联的识别的信息的数据传送到下面描述的移动装置102的示例性布局管理器320。
图3的示例性布局管理器320结合双模式增强现实界面的第一模式(例如，浏览模式)和第二模式(例如，学习模式)生成和/或控制要经由移动装置102的示例性用户接口324显示和/或呈现的数据和/或信息的布局、布置结构和/或组织。布局管理器320基于移动装置102的示例性模式管理器314确定的双模式增强现实界面的特定模式(例如，第一模式或第二模式)、并且进一步基于由移动装置102的标记标识符316和/或特征标识符318传送到布局管理器320的数据来生成要显示和/或呈现的数据和/或信息的布局、布置结构和/或组织。
例如，如果模式管理器314确定要呈现双模式增强现实界面的第一模式(例如，浏览模式)，则布局管理器320生成一种布局，所述布局包括叠盖有信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)的视频(例如，实时视频)，所述视频对应于由移动装置102的相机310捕获的视频，并且所述信息对应于由标记标识符316和/或特征标识符318传送到布局管理器320的数据。在一些示例中，叠盖的信息可以包括表示由标记标识符316和/或特征标识符318传送到布局管理器320的数据的指示符。例如，叠盖的信息可以包括如上文结合图1的浏览模式所描述的第一指示符128、第二指示符130和第三指示符132。
在模式管理器314已经确定要呈现双模式增强现实界面的第一模式(例如，浏览模式)的情况下，布局管理器320不优化相对于可包括在由移动装置102的相机310捕获的视频内的任何感兴趣的对象(例如，图1的感兴趣的对象104)的叠盖的信息的布置结构和/或组织。因此，当结合双模式增强现实界面的第一模式经由移动装置102的示例性用户接口324(例如，经由如图1所示的移动装置102的显示器106)呈现由布局管理器320生成的布局时，叠盖的信息可以重叠、阻挡和/或以其他方式干扰感兴趣的对象。
作为另一示例，如果模式管理器314确定要呈现双模式增强现实界面的第二模式(例如，学习模式)，则布局管理器320可以生成一种优化的布局，所述优化的布局包括叠盖有信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)的图像，所述图像由移动装置102的相机310捕获，并且所述信息对应于由标记标识符316和/或特征标识符318传送到布局管理器320的数据。例如，叠盖的信息可以包括如上文结合图2的学习模式所描述的第四指示符202、第五指示符204和第六指示符206。
在模式管理器314已经确定要呈现双模式增强现实界面的第二模式(例如，学习模式)的情况下，布局管理器320优化相对于可包括在由移动装置102的相机310捕获的图像内的任何感兴趣的对象(例如，图1的感兴趣的对象104)的叠盖的信息的布置结构和/或组织。例如，布局管理器320可以在图像内对感兴趣的对象进行移位、重新设置大小和/或以其他方式重新定位，并且可以进一步布置和/或定位相对于感兴趣的对象的叠盖的信息，使得当结合双模式增强现实界面的第二模式经由移动装置102的示例性用户接口324(例如，经由如图2所示的移动装置102的显示器106)呈现由布局管理器320生成的优化的布局时，叠盖的信息不会重叠、阻挡和/或以其他方式干扰感兴趣的对象。在一些示例中，布局管理器320可以通过利用从上文描述的模板库334获取的一个或多个布局和/或风格模板(例如，图形设计模板)来优化叠盖的信息的布置结构和/或组织。
由图3的布局管理器320生成的布局和/或优化的布局被传送到移动装置102的示例性用户接口324以供用户接口324进行呈现。在一些示例中，由布局管理器320生成的布局和/或优化的布局可以存储在移动装置102的示例性存储器308中。在一些示例中，由布局管理器320生成的布局和/或优化的布局可以被发射到可以存储布局和/或优化的布局的外部装置(例如，远程服务器或云服务器)。
图3的示例媒体播放器322经由下文描述的移动装置102的示例性用户接口324呈现和/或播放多媒体数据和/或文件。例如，媒体播放器322可以呈现和/或播放对应于第四指示符202和/或对应于图2的第一特征108的视频文件。媒体播放器322可以另外和/或可替代地呈现和/或播放对应于第五指示符204和/或对应于图2的第二特征110的音频文件。在一些示例中，媒体播放器322可以是Windows
Figure BDA0002023890300000221
播放器或
Figure BDA0002023890300000222
播放器。有待由媒体播放器322播放的日期和/或文件可以存储在移动装置102的存储器308内，或者可以可替代地存储在可由移动装置102经由下文描述的移动装置102的示例性网络接口326访问的远程服务器和/或云服务器处。
图3的示例性用户接口324有利于移动装置102与最终用户之间的交互和/或通信，包括向最终用户呈现双模式增强现实界面的第一模式(例如，浏览模式)和第二模式(例如，学习模式)。用户接口324包括一个或多个输入装置336，用户可以经由所述输入装置336向移动装置102输入信息、数据和/或命令。例如，用户接口324可以包括按钮、传声器和/或触摸屏(例如，图1和图2的移动装置102的显示器106)，其使得用户能够向移动装置102传达信息、数据和/或命令。
图3的用户接口324还包括一个或多个输出装置338，移动装置102经由所述输出装置向最终用户呈现视觉和/或可听的形式的信息和/或数据。例如，用户接口324可以包括发光二极管、触摸屏(例如，图1和图2的移动装置102的显示器106)、和/或用于呈现视觉信息的液晶显示器、和/或用于呈现可听信息的扬声器。可以经由用户接口324的一个或多个输出装置338呈现上文描述的双模式增强现实界面的第一模式(例如，浏览模式)和第二模式(例如，学习模式)。经由用户接口324呈现和/或接收的数据和/或信息可以是任何类型、形式和/或格式的，并且可以存储在计算机可读存储介质(诸如上文描述的示例性存储器308)中。
图3的示例性网络接口326有利于移动装置102与一个或多个外部装置(例如像，远程服务器和/或云服务器)之间的交互和/或通信。网络接口326包括示例性发射器340，移动装置102可以经由所述示例性发射器340向一个或多个外部装置发射信息、数据和/或命令。在一些示例中，发射器340可以发射对应于存储在移动装置102的存储器308中、由移动装置102的相机310捕获、和/或经由移动装置102的用户接口324呈现的一个或多个图像和/或视频的数据。在一些示例中，发射器340可以发射对应于由移动装置102的标记标识符316识别的一个或多个标记(例如，与图1和图2的第一标记114相关联的QR码)的数据。在一些示例中，发射器340可以发射对应于由移动装置102的特征标识符316识别的一个或多个特征(例如，与图1和图2的第三特征112相关联的特征形状)的数据。在一些示例中，发射器340可以发射对应于存储在移动装置102的存储器308中、由移动装置的布局管理器320生成、和/或经由移动装置102的用户接口324呈现的一个或多个布局和/或优化的布局。
图3的网络接口326还包括示例性接收器342，移动装置102可以经由所述示例性接收器342从一个或多个外部装置接收信息、数据和/或命令。在一些示例中，接收器342可以接收对应于与由移动装置102的标记标识符316识别的一个或多个标记相关联的信息(例如，文本、图形、音频文件、视频文件等)的数据。在一些示例中，接收器342可以接收对应于与由移动装置102的特征标识符316识别的一个或多个特征相关联的信息(例如，文本、图形、音频文件、视频文件等)的数据。经由网络界面326发射和/或接收的数据和/或信息可以是任何类型、形式和/或格式的，并且可以存储在计算机可读存储介质(诸如上文描述的示例性存储器308)中。
尽管在图1至图3中示出了实现示例性移动装置102的示例性双模式增强现实界面的示例性方式，但是在图1至图3中示出的元件、过程和/或装置中的一者或多者可以组合、划分、重新布置、省略、消除和/或以任何其他方式实现。此外，图3的示例性加速度计302、示例性陀螺仪304、示例性计步器306、示例性存储器308、示例性相机310、示例性运动分类器312、示例性模式管理器314、示例性标记标识符316、示例性特征标识符318、示例性布局管理器320、示例性媒体播放器322、示例性用户接口324、示例性网络接口326、示例性双模式增强现实应用程序328、示例性标记库330、示例性特征库332、一个或多个示例性输入装置336、一个或多个示例性输出装置338、示例性发射器340和/或示例性接收器342可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，示例性加速度计302、示例性陀螺仪304、示例性计步器306、示例性存储器308、示例性相机310、示例性运动分类器312、示例性模式管理器314、示例性标记标识符316、示例性特征标识符318、示例性布局管理器320、示例性媒体播放器322、示例性用户接口324、示例性网络接口326、示例性双模式增强现实应用程序328、示例性标记库330、示例性特征库332、一个或多个示例性输入装置336、一个或多个示例性输出装置338、示例性发射器340和/或示例性接收器342中的任一者可以通过一个或多个模拟或数字电路、逻辑电路、可编程处理器、专用集成电路(application specific integrated circuit，ASIC)、可编程逻辑器件(programmablelogic device，PLD)和/或现场可编程逻辑器件(field programmable logic device，FPLD)来实现。当阅读涵盖纯粹的软件和/或固件实现方式的本专利的设备或系统权利要求中的任一者时，示例性加速度计302、示例性陀螺仪304、示例性计步器306、示例性存储器308、示例性相机310、示例性运动分类器312、示例性模式管理器314、示例性标记标识符316、示例性特征标识符318、示例性布局管理器320、示例性媒体播放器322、示例性用户接口324、示例性网络接口326、示例性双模式增强现实应用程序328、示例性标记库330、示例性特征库332、一个或多个示例性输入装置336、一个或多个示例性输出装置338、示例性发射器340和/或示例性接收器342中的至少一者由此清楚地限定为包括存储软件和/或固件的有形计算机可读存储装置或存储盘(诸如存储器、数字通用光盘(DVD)、光盘(CD)、蓝光光盘等)。此外，图1至图3的示例性移动装置102除了或替代图1至图3中示出的那些元件、过程和/或装置可以包括一个或多个元件、过程和/或装置，并且/或者可以包括任何或全部示出的元件、过程和装置中的多于一者。
在图4至图8中示出了表示用于操作和/或执行图1至图3的示例性移动装置102的示例性双模式增强现实界面的示例性方法的流程图。在这些示例中，可以使用机器可读指令来实现方法，所述机器可读指令包括供处理器执行的一个或多个程序，所述处理器诸如下文结合图9论述的示例性处理器平台900中示出的图9的示例性处理器902。一个或多个程序可以体现在存储在有形计算机可读存储介质(诸如只读光盘驱动器(CD-ROM)、软盘、硬盘驱动器、数字通用光盘(DVD)、蓝光光盘、或与处理器902相关联的存储器)上的软件中，但是全部一个或多个程序和/或其部分可以可替代地由除处理器902之外的装置执行和/或体现在固件或专用硬件中。此外，尽管参考图4至图8中示出的流程图描述了一个或多个示例性程序，但是可以可替代地使用用于操作和/或执行图1至图3的示例性移动装置102的示例性双模式增强现实界面的许多其他方法。例如，可以改变方框的执行顺序并且/或者可以改变、消除或组合所描述的一些方框。
如上所述，图4至图8的示例性方法可以使用存储在有形计算机可读存储介质(诸如硬盘驱动器、快闪存储器、只读存储器(ROM)、光盘(CD)、数字通用光盘(DVD)、高速缓存、随机存取存储器(RAM)和/或将信息存储任何持续时间(例如，在延长的时间段内、永久地、在简短的情况下、用于临时缓冲和/或用于信息的高速缓存)的任何其他存储装置或存储盘)上的编码指令(例如，计算机和/或机器可读指令)来实现。如本文所使用的，术语“有形计算机可读存储介质”被明确地限定为包括任何类型的计算机可读存储装置和/或存储盘并且排除传播信号并且排除传输介质。如本文所用，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外地或可替代地，图4至图8的示例性方法可以使用存储在非暂态计算机和/或机器可读介质(诸如硬盘驱动器、快闪存储器、只读存储器、光盘、数字通用光盘、高速缓存、随机存取存储器和/或将信息存储任何持续时间(例如，在延长的时间段内、永久地、在简短的情况下、用于临时缓冲和/或用于信息的高速缓存)的任何其他存储装置或存储盘)上的编码指令(例如，计算机和/或机器可读指令)来实现。如本文所使用的，术语“非暂态计算机可读介质”被明确地限定为包括任何类型的计算机可读存储装置和/或存储盘并且排除传播信号并且排除传输介质。如本文所使用，当短语“至少”被用作权利要求前言中的过渡术语时，它以与术语“包括”是开放式的相同的方式而是开放式的。
图4是可以在图1至图3的示例性移动装置102处执行以操作和/或呈现图1至图3的示例性双模式增强现实界面的示例性方法400的流程图。示例性方法400在图3的移动装置102的示例性加速度计302、示例性陀螺仪304和/或示例性计步器306中的一者或多者感测、测量和/或检测图1至图3的移动装置102的运动(方框402)时开始。例如，加速度计302可以感测、测量和/或检测与移动装置102相关联的加速度值和/或加速度值的变化，陀螺仪304可以感测、测量和/或检测与移动装置102相关联的旋转速率值和/或旋转速率值的变化，并且计步器可以感测、测量和/或检测与移动装置102相关联的步数数据和/或步数数据的变化。在方框402之后，图4的示例性方法400的控制前进至方框404。
基于在方框402处由加速度计302、陀螺仪304和/或计步器306检测到的运动，图3的移动装置102的示例性运动分类器312对图1至图3的移动装置102的运动进行分类(方框404)。例如，运动分类器312可以基于移动装置102的加速度计302检测到的加速度值和/或加速度值的变化，基于由运动分类器312计算的从移动装置102的加速度计302检测到的加速度值和/或加速度值的变化导出的速度值和/或速度值的变化，基于移动装置102的陀螺仪304检测到的旋转速率值和/或旋转速率值的变化，和/或基于移动装置102的计步器306检测到的步数数据和/或步数数据的变化来确定存在和/或不存在移动装置102的遥拍运动、变焦运动或稳定性。下文结合图5更详细地描述了可用于实现方框404的第一示例性方法。下文结合图6更详细地描述了可用于实现方框404的第二示例性方法。在方框404之后，图4的示例性方法400的控制前进至方框406。
基于在方框404处由运动分类器312确定的分类，图3的移动装置102的示例性模式管理器314确定分类是指示图1至图3的移动装置102的双模式增强现实界面的第一模式(例如，浏览模式)还是第二模式(例如，学习模式)(方框406)。例如，模式管理器314可以确定对应于存在遥拍运动的分类指示移动装置102的双模式增强现实界面的第一模式(例如，浏览模式)。如果模式管理器314在方框406处确定由运动分类器312确定的分类指示第一模式(例如，浏览模式)，则示例性方法400的控制前进至方框408。如果模式管理器314在方框406处反而确定由运动分类器312做出的分类指示第二模式(例如，学习模式)，则示例性方法400的控制前进至方框412。
在方框408处，图3的移动装置102的示例性模式管理器314启动和/或执行图1和图3的移动装置102的双模式增强现实界面的第一模式(例如，浏览模式)(方框408)。在方框408之后，图4的示例性方法400的控制前进至方框410。
在方框410处，图3的移动装置102的示例性用户接口324呈现图1和图3的移动装置102的双模式增强现实界面的第一模式(例如，浏览模式)(方框410)。例如，用户接口324可以经由用户接口324(诸如移动装置102的示例性触摸屏显示器106，如图1所示)的输出装置338呈现双模式增强现实界面的第一模式(例如，浏览模式)。下文结合图7更详细地描述了可用于实现方框410的示例性方法。在方框410之后，图4的示例性方法400的控制前进至方框416。
在方框412处，图3的移动装置102的示例性模式管理器314启动和/或执行图2和图3的移动装置102的双模式增强现实界面的第二模式(例如，学习模式)(方框412)。在方框412之后，图4的示例性方法400的控制前进至方框414。
在方框414处，图3的移动装置102的示例性用户接口324呈现图2和图3的移动装置102的双模式增强现实界面的第二模式(例如，学习模式)(方框414)。例如，用户接口324可以经由用户接口324(诸如移动装置102的示例性触摸屏显示器106，如图2所示)的输出装置338呈现双模式增强现实界面的第二模式(例如，学习模式)。下文结合图8更详细地描述了可用于实现方框414的示例性方法。在方框414之后，图4的示例性方法400的控制前进至方框416。
在方框416处，图3的移动装置102的示例性模式管理器314确定图1至图3的移动装置102的双模式增强现实界面的启动的会话(例如，启动的浏览模式和/或启动的学习模式)是否应当停止(方框416)。例如，模式管理器314可以经由图3的移动装置102的用户接口324接收指示应当停止双模式增强现实界面的启动的会话(例如，应当停止和/或终止双模式增强现实界面的执行和/或操作)的一个或多个命令、指令和/或的信号。如果模式管理器314在方框416处确定不应当停止双模式增强现实界面的启动的会话，则示例性方法400的控制返回到方框402。如果模式管理器314在方框416处反而确定应当停止双模式增强现实界面的启动的会话，则示例性方法400结束。
图5是表示可以在图1至图3的示例性移动装置102处执行以对移动装置102的运动进行分类的第一示例性方法404A的流程图。图5的方框502、504、506、508、510、512、514和516的示例性操作可以用于实现图4的方框404。
示例性方法404A在图3的示例性运动分类器312根据图3的示例性标记标识符316和/或图3的示例性特征标识符318确定是否已经在由图3的相机310捕获的视频或图像中识别出至少一个标记或特征(方框502)时开始。下文结合图7的示例性方法的方框702、704、706、708和710更详细地描述用于实现方框502以确定是否已识别出至少一个标记或特征的示例性过程。如果运动分类器312在方框502处确定已识别出至少一个标记或特征，则示例性方法404A前进至方框504。如果运动分类器312在方框502处反而确定未识别出任何标记或特征，则示例性方法404A的控制前进至方框516。
在方框504处，图3的示例性运动分类器312确定从图3的移动装置102的计步器306获得的步数数据是否已在值上有所增加(方框504)。如果运动分类器312在方框504处确定从计步器306获得的步数数据未在值上有所增加，则示例性方法404A的控制前进至方框506。如果运动分类器312在方框504处反而确定从计步器306获得的步数数据已在值上有所增加，则示例性方法404A的控制前进至方框516。
在方框506处，图3的示例性运动分类器312基于从图3的示例性加速度计302获得的加速度值计算速度值(方框506)。例如，运动分类器312可以通过求移动装置102的加速度计302随时间推移检测到的加速度值的积分来计算和/或确定与移动装置102的移动相关联的速度值。在方框506之后，示例性方法404A的控制前进至方框508。
在方框508处，图3的示例性运动分类器312确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值是否大于与移动装置102的z轴相关联的一个或多个速度值(方框508)。如果运动分类器312在方框508处确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值不大于与移动装置102的z轴相关联的一个或多个速度值，则示例性方法404A的控制前进至方框510。如果运动分类器312在方框508处反而确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值大于与移动装置102的z轴相关联的一个或多个速度值，则示例性方法404A的控制前进至方框516。
在方框510处，图3的示例性运动分类器312确定与移动装置102的z轴相关联的一个或多个旋转速率值是否大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值(方框510)。如果运动分类器312在方框510处确定与移动装置102的z轴相关联的一个或多个旋转速率值不大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值，则示例性方法404A的控制前进至方框512。如果运动分类器312在方框510处反而确定与移动装置102的z轴相关联的一个或多个旋转速率值大于与移动装置102的x轴和y轴相关联的一个或多个旋转速率值，则示例性方法404A的控制前进至方框516。
在方框512处，图3的示例性运动分类器312确定与移动装置102的x轴、y轴和/或z轴中的任一者相关联的一个或多个旋转速率值是否超过一个或多个旋转速率阈值(方框512)。如果运动分类器312在方框512处确定与移动装置102的x轴、y轴和z轴相关联的旋转速率值不超过一个或多个旋转速率阈值，则示例性方法404A的控制前进至方框514。如果运动分类器312在方框512处反而确定与移动装置102的x轴、y轴和/或z轴中的任一者相关联的一个或多个旋转速率值超过一个或多个旋转速率阈值，则示例性方法404A的控制前进至方框516。
在方框514处，图3的示例性运动分类器312将移动装置102的运动分类为存在变焦运动(方框514)。在方框514处，图3的运动分类器可以另外和/或可替代地将移动装置102的运动分类为不存在遥拍运动。在方框514之后，示例性方法404A结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
在方框516处，图3的示例性运动分类器312将移动装置102的运动分类为存在遥拍运动(方框516)。在方框516之后，示例性方法404A结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
图6是表示可以在图1至图3的示例性移动装置102处执行以对移动装置102的运动进行分类的第二示例性方法404B的流程图。图6的方框602、604、606、608、610、612、614、616和618的示例性操作可以用于实现图4的方框404。
示例性方法404B在图3的示例性运动分类器312根据图3的示例性标记标识符316和/或图3的示例性特征标识符318确定是否已经在由图3的相机310捕获的视频或图像中识别出至少一个标记或特征(方框602)时开始。下文结合图7的示例性方法的方框702、704、706、708和710更详细地描述用于实现方框602以确定是否已识别出至少一个标记或特征的示例性过程。如果运动分类器312在方框602处确定已识别出至少一个标记或特征，则示例性方法404B的控制前进至方框604。如果运动分类器312在方框602处确定没有识别出标记或特征，则控制示例性方法404B前进至方框618。
在方框604处，图3的示例性运动分类器312确定从图3的移动装置102的计步器306获得的步数数据是否已在值上有所增加(方框604)。如果运动分类器312在方框604处确定从计步器306获得的步数数据未在值上有所增加，则示例性方法404B的控制前进至方框606。如果运动分类器312在方框604处反而确定从计步器306获得的步数数据已在值上有所增加，则示例性方法404B的控制前进至方框618。
在方框606处，图3的示例性运动分类器312基于从图3的示例性加速度计302获得的加速度值计算速度值(方框606)。例如，运动分类器312可以通过求移动装置102的加速度计302随时间推移检测到的加速度值的积分来计算和/或确定与移动装置102的移动相关联的速度值。在方框606之后，示例性方法404B的控制前进至方框608。
在方框608处，图3的示例性运动分类器312确定与移动装置102的x轴或y轴中的任一者相关联的一个或多个速度值是否超过一个或多个速度阈值(方框608)。如果运动分类器312在方框604处确定与移动装置102的x轴和y轴相关联的一或多个速度值不超过一个或多个加速度阈值，则示例性方法404B的控制前进至方框610。如果运动分类器312在方框608处反而确定与移动装置102的x轴或y轴中的任一者相关联的一或多个速度值超过一个或多个加速度阈值，则示例性方法404B的控制前进至方框618。
在方框610处，图3的示例性运动分类器312确定与移动装置102的x轴、y轴和/或z轴中的任一者相关联的一个或多个旋转速率值是否超过一个或多个旋转速率阈值(方框610)。如果运动分类器312在方框512处确定与移动装置102的x轴、y轴和z轴相关联的旋转速率值不超过一个或多个旋转速率阈值，则示例性方法404B的控制前进至方框612。如果运动分类器312在方框610处反而确定与移动装置102的x轴、y轴和/或z轴中的任一者相关联的一个或多个旋转速率值超过一个或多个旋转速率阈值，则示例性方法404B的控制前进至方框618。
在方框612处，图3的示例性运动分类器312确定与移动装置102的z轴相关联的一个或多个速度值是否超过一个或多个速度阈值(方框612)。如果运动分类器312在方框612处确定与移动装置102的z轴相关联的一个或多个速度值超过一个或多个速度阈值，则示例性方法404B的控制前进至方框614。如果运动分类器312在方框612处反而确定与移动装置102的z轴相关联的一或多个速度值不超过一个或多个速度阈值，则示例性方法404B的控制前进至方框616。
在方框614处，图3的示例性运动分类器312将移动装置102的运动分类为存在变焦运动(方框614)。在方框614处，图3的运动分类器可以另外和/或可替代地将移动装置102的运动分类为不存在遥拍运动。在方框614之后，示例性方法404B结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
在方框616处，图3的示例性运动分类器312将移动装置102的运动分类为存在稳定性(方框616)。存在移动装置102的稳定性对应于不存在移动装置102的遥拍运动和不存在移动装置102的变焦运动(方框616)。在方框616之后，示例性方法404B结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
在方框618处，图3的示例性运动分类器312将移动装置102的运动分类为存在遥拍运动(方框618)。在方框618之后，示例性方法404B结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
图7是表示可以在图1和图3的示例性移动装置102处执行以呈现移动装置102的示例性双模式增强现实界面的示例性浏览模式(例如，第一模式)的示例性方法410的流程图。图7的方框702、704、706、708、710、712、714和716的示例性操作可以用于实现图4的方框410。
示例性方法410在图3的示例性相机310捕获视频(方框702)时开始。例如，相机310可以捕获包括图1的示例性感兴趣的对象104的视频。在方框702之后，示例性方法410的控制前进至方框704。
在方框704处，图3的示例性标记标识符316确定在方框702处由相机310捕获的视频是否包括任何一个或多个标记(方框704)。例如，标记标识符316可以确定由相机310捕获的视频包括图1的感兴趣的对象104的第一示例性标记114和/或第二示例性标记116。如果标记标识符316在方框704处确定由相机310捕获的视频包括一个或多个标记，则示例性方法410的控制前进至方框706。如果标记标识符316在方框704处反而确定由相机310捕获的视频不包括任何一个或多个标记，则示例性方法410的控制前进至方框708。
在方框706处，图3的示例性标记标识符316识别了视频中包括的一个或多个标记，并且还识别了与识别的一个或多个标记相关联的任何信息(方框706)。例如，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的视频内识别对应于图1的感兴趣的对象104的第一标记108的第一QR码。标记标识符316可以通过访问标记库330来另外识别与识别的第一QR码和/或识别的第一标记108相关联的信息。作为另一示例，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的视频内识别对应于图1的感兴趣的对象104的第二标记110的第二QR码。标记标识符316可以通过访问标记库330来另外识别与识别的第二QR码和/或识别的第二标记110相关联的信息。在方框706之后，示例性方法410的控制前进至方框708。
在方框708处，图3的示例性特征标识符318确定在方框702处由相机310捕获的视频是否包括任何一个或多个特征。例如，特征标识符318可以确定由相机310捕获的视频包括图1的感兴趣的对象104的示例性特征形状118。如果特征标识符318在方框708处确定由相机310捕获的视频包括一个或多个特征，则示例性方法410的控制前进至方框710。如果特征标识符318在方框708处反而确定由相机310捕获的视频不包括任何一个或多个特征，则示例性方法410的控制前进至方框712。
在方框710处，图3的示例性特征标识符318识别了视频中包括的一个或多个特征，并且还识别了与识别的一个或多个特征相关联的任何信息(方框710)。例如，特征标识符318可以在移动装置102的相机310捕获的感兴趣的对象104的视频内识别对应于图1的感兴趣的对象104的第三特征112的特征形状118。特征标识符318可以通过访问特征库332来另外识别与识别的特征形状118和/或识别的第三特征112相关联的信息。在方框710之后，示例性方法410的控制前进至方框712。
在方框712处，图3的示例性布局管理器320确定是否已在方框706处由图3的标记标识符316或在方框710处由图3的特征标识符318识别出至少一个标记或特征(方框712)。如果布局管理器320在方框712处确定尚未识别出任何一个或多个标记和任何一个或多个特征，则示例性程序410的控制返回到方框702。如果布局管理器320在方框712处反而确定已识别出至少一个标记或特征，则示例性程序410的控制前进至方框714。
在方框714处，示例性布局管理器320生成一种布局，所述布局包括在方框702处由图3的相机310捕获的视频，所述视频叠盖有在方框706处由图3的标记标识符316标识的相关联的标记信息以及在方框710处由图3的特征标识符318标识的相关联的特征信息。例如，布局管理器320可以生成一种布局，所述布局包括叠盖有信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)的视频(例如，实时视频)，所述视频对应于由移动装置102的相机310捕获的视频，并且所述信息对应于由标记标识符316和/或特征标识符318传送到布局管理器320的数据。在一些示例中，叠盖的信息可以包括表示由标记标识符316和/或特征标识符318传送到布局管理器320的数据的指示符。例如，叠盖的信息可以包括如上文结合图1的浏览模式所描述的第一指示符128、第二指示符130和第三指示符132。在方框714之后，示例性方法410的控制前进至方框716。
在方框716处，图3的示例性用户接口324呈现了由图3的布局管理器320在方框714处生成的布局(方框716)。例如，用户接口324可以经由用户接口324(诸如图1的移动装置102的示例性触摸屏显示器106)的输出装置338呈现由布局管理器320生成的布局。在方框716之后，示例性方法410结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
图8是表示可以在图2和图3的示例性移动装置102处执行以呈现移动装置102的示例性双模式增强现实界面的示例性学习模式(例如，第二模式)的示例性方法414的流程图。图8的方框802、804、806、808、810、812、814和816的示例性操作可以用于实现图4的方框414。
示例性方法414在图3的示例性相机310捕获图像(方框802)时开始。例如，相机310可以捕获包括图1的示例性感兴趣的对象104的图像。在方框802之后，示例性方法414的控制前进至方框804。
在方框804处，图3的示例性标记标识符316确定在方框802处由相机310捕获的图像是否包括任何一个或多个标记(方框804)。例如，标记标识符316可以确定由相机310捕获的图像包括图1的感兴趣的对象104的第一示例性标记114和/或第二示例性标记116。如果标记标识符316在方框804处确定由相机310捕获的图像包括一个或多个标记，则示例性方法414的控制前进至方框806。如果标记标识符316在方框804处反而确定由相机310捕获的图像不包括任何一个或多个标记，则示例性方法414的控制前进至方框808。
在方框806处，图3的示例性标记标识符316识别了图像中包括的一个或多个标记，并且还识别了与识别的一个或多个标记相关联的任何信息(方框806)。例如，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的图像内识别对应于图2的感兴趣的对象104的第一标记108的第一QR码。标记标识符316可以通过访问标记库330来另外识别与识别的第一QR码和/或识别的第一标记108相关联的信息。作为另一示例，标记标识符316可以在移动装置102的相机310捕获的感兴趣的对象104的图像内识别对应于图2的感兴趣的对象104的第二标记110的第二QR码。标记标识符316可以通过访问标记库330来另外识别与识别的第二QR码和/或识别的第二标记110相关联的信息。在方框806之后，示例性方法414的控制前进至方框808。
在方框808处，图3的示例性特征标识符318确定在方框802处由相机310捕获的图像是否包括任何一个或多个特征。例如，特征标识符318可以确定由相机310捕获的图像包括图1的感兴趣的对象104的示例性特征形状118。如果特征标识符318在方框808处确定由相机310捕获的图像包括一个或多个特征，则示例性方法414的控制前进至方框810。如果特征标识符318在方框808处反而确定由相机310捕获的图像不包括任何一个或多个特征，则示例性方法414的控制前进至方框812。
在方框810处，图3的示例性特征标识符318识别了图像中包括的一个或多个特征，并且还识别了与识别的一个或多个特征相关联的任何信息(方框810)。例如，特征标识符318可以在移动装置102的相机310捕获的感兴趣的对象104的图像内识别对应于图2的感兴趣的对象104的第三特征112的特征形状118。特征标识符318可以通过访问特征库332来另外识别与识别的特征形状118和/或识别的第三特征112相关联的信息。在方框810之后，示例性方法414的控制前进至方框812。
在方框812处，图3的示例性布局管理器320确定是否已在方框806处由图3的标记标识符316或在方框810处由图3的特征标识符318识别出至少一个标记或特征(方框812)。如果布局管理器320在方框812处确定尚未识别出任何一个或多个标记和任何一个或多个特征，则示例性程序414的控制返回到方框802。如果布局管理器320在方框812处反而确定已识别出至少一个标记或特征，则示例性程序414的控制前进至方框814。
在方框814处，示例性布局管理器320生成一种优化的布局，所述优化的布局包括在方框802处由图3的相机310捕获的图像的配置版本，所述图像的配置版本叠盖有在方框806处由图3的标记标识符316标识的相关联的标记信息的配置版本以及在方框810处由图3的特征标识符318标识的相关联的特征信息的配置版本。例如，布局管理器320可以生成一种优化的布局，所述优化的布局包括叠盖有信息(例如，文本、图形、到音频文件的链接、到视频文件的链接等)的图像，所述图像由移动装置102的相机310捕获，并且所述信息对应于由标记标识符316和/或特征标识符318传送到布局管理器320的数据。例如，叠盖的信息可以包括如上文结合图2的学习模式所描述的第四指示符202、第五指示符204和第六指示符206。布局管理器320优化相对于可包括在由移动装置102的相机310捕获的图像内的任何感兴趣的对象(例如，图1的感兴趣的对象104)的叠盖的信息的布置结构和/或组织。例如，布局管理器320可以在图像内对感兴趣的对象进行移位、重新设置大小和/或以其他方式重新定位，并且可以进一步布置和/或定位相对于感兴趣的对象的叠盖的信息，使得当结合双模式增强现实界面的第二模式经由移动装置102的示例性用户接口324(例如，经由如图2所示的移动装置102的显示器106)呈现由布局管理器320生成的优化的布局时，叠盖的信息不会重叠、阻挡和/或以其他方式干扰感兴趣的对象。在一些示例中，布局管理器320可以通过利用从模板库334获取的一个或多个布局和/或风格模板(例如，图形设计模板)来优化叠盖的信息的布置结构和/或组织。在方框814之后，示例性方法414的控制前进至方框816。
在方框816处，图3的示例性用户接口324呈现了由图3的布局管理器320在方框814处生成的优化的布局(方框816)。例如，用户接口324可以经由用户接口324(诸如图2的移动装置102的示例性触摸屏显示器106)的输出装置338呈现由布局管理器320生成的优化的布局。在方框816之后，示例性方法414结束并且控制返回到调用函数或过程(诸如图4的示例性方法400)。
图9是能够执行指令以实现图4至图8的方法和图1至图3的示例性移动装置102的示例性双模式增强现实界面的示例性处理器平台900。所示的示例的处理器平台900包括处理器902。所示的示例的处理器902是硬件。例如，处理器902可以由来自任何期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器实现。所示的示例的处理器902包括图3的本地存储器904(例如，高速缓存)，并且还包括示例性运动分类器312、示例性模式管理器314、示例性标记标识符316、示例性特征标识符318、示例性布局管理器320和示例性媒体播放器322。
所示的示例的处理器902经由总线908与一个或多个示例性运动传感器906通信。示例性运动传感器906包括图3的示例性加速度计302、示例性陀螺仪304和示例性计步器306。所示的示例的处理器902还与图3的示例性相机310通信。
所示的示例的处理器902还经由总线908与包括易失性存储器910和非易失性存储器912的主存储器通信。易失性存储器910可以由同步动态随机存取存储器(SynchronousDynamic Random Access Memory，SDRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、存储器总线式动态随机存取存储器(RAMBUS Dynamic Random AccessMemory，RDRAM)和/或任何其他类型的随机存取存储器装置实现。非易失性存储器912可以由快闪存储器和/或任何其他期望类型的存储器装置实现。对易失性存储器910和非易失性存储器912的访问由存储器控制器控制。
所示的示例的处理器902还与用于存储软件和/或数据的一个或多个海量存储装置914通信。此类海量存储装置914的示例包括软盘驱动器、硬盘驱动器盘、光盘驱动器、蓝光光盘驱动器、独立磁盘冗余阵列(RAID)系统和数字通用光盘(DVD)驱动器。在所示的示例中，海量存储装置914包括图3的示例性存储器308。
所示的示例的处理器平台900还包括用户接口电路916。用户接口电路916可以由任何类型的接口标准实现，诸如以太网接口、通用串行总线(USB)和/或快捷外设互连标准(PCI express)接口。在所示的示例中，一个或多个输入装置336连接到用户接口电路916。一个或多个输入装置336允许用户将数据和命令输入到处理器902中。一个或多个输入装置336可以由例如音频传感器、相机(静物或视频)、键盘、按钮、鼠标、触摸屏、跟踪板、轨迹球、等位点、语音识别系统、传声器和/或液晶显示器来实现。一个或多个输出装置338还连接到所示的示例的用户接口电路916。一个或多个输出装置338可以例如由发光二极管、有机发光二极管、液晶显示器、触摸屏和/或扬声器来实现。因此，所示的示例的用户接口电路916可以包括图形驱动器，诸如图形驱动器芯片和/或处理器。在所示的示例中，一个或多个输入装置336、一个或多个输出装置338和用户接口电路916共同形成图3的示例性用户接口324。
所示的示例的处理器平台900还包括网络接口电路918。网络接口电路918可以由任何类型的接口标准实现，诸如以太网接口、通用串行总线(USB)和/或快捷外设互连标准(PCI express)接口。在所示的示例中，网络接口电路918包括图3的示例性发射器340和示例性接收器342，以有利于经由网络920(例如，蜂窝网络、无线局域网(wireless localarea network，WLAN)等)与外部机器(例如，远程服务器)交换数据和/或信号。
用于实现图4至图8的方法的编码指令922可以存储在本地存储器904中、存储在易失性存储器910中、存储在非易失性存储器912中、存储在海量存储装置914中、和/或存储在可移除有形计算机可读存储介质(诸如CD或DVD)上。
从前述内容应当了解，所公开的双模式增强现实界面提供了优于在单一模式下限制性地操作和/或执行的常规增强现实界面的优点。本文公开的移动装置的示例性双模式增强现实界面有利地响应于检测到存在移动装置的遥拍运动而操作和/或执行第一模式(例如，浏览模式)，并且响应于检测到不存在移动装置的遥拍运动而操作和/或执行第二模式(例如，学习模式)。在一些公开的示例中，所述双模式增强现实界面的所述第二模式在呈现时有利地包括优化的布局，所述优化的布局包括由所述移动装置的相机捕获的图像的配置版本，并且还包括配置的相关联的信息，所述相关联的信息对应于在所述图像中检测到的标记或特征。在一些公开的示例中，所述图像的所述配置版本包括相对于捕获的所述图像内的感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者。在一些公开的示例中，所述配置的相关联的信息叠盖所述图像的所述配置版本而不阻挡其中包含的所述感兴趣的对象。因此，所公开的双模式增强现实界面改进了单模常规增强现实界面带来的缺点，其在所有情况下向用户呈现修改的和/或增强的实时视频。
在一些示例中，公开了一种用于呈现移动装置的双模式增强现实界面的方法。在一些公开的示例中，所述方法包括：响应于检测到存在所述移动装置的第一运动，经由所述移动装置的用户接口呈现所述双模式增强现实界面的第一模式。在一些公开的示例中，所述方法包括：响应于检测到不存在所述第一运动，经由所述用户接口呈现所述双模式增强现实界面的第二模式。在一些公开的示例中，所述第二模式不同于所述第一模式。在一些公开的示例中，所述第一模式是浏览模式，并且所述第二模式是学习模式。在一些公开的示例中，所述第一运动是遥拍运动。
在所述方法的一些公开的示例中，所述方法包括：响应于在不存在所述第一运动的同时检测到存在所述移动装置的第二运动，经由所述用户接口呈现所述第二模式。在一些公开的示例中，所述第二运动不同于所述第一运动。在一些公开的示例中，所述第二运动是变焦运动。在一些公开的示例中，不存在所述第一运动连同不存在所述第二运动指示所述移动装置的稳定性。
在所述方法的一些公开的示例中，所述检测到存在所述第一运动或所述检测到不存在所述第一运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
在所述方法的一些公开的示例中，所述第一模式的所述呈现包括呈现布局。在一些公开的示例中，所述布局包括：视频，所述视频由所述移动装置的相机捕获。在一些公开的示例中，所述布局还包括：相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述视频。
在所述方法的一些公开的示例中，所述第二模式的所述呈现包括呈现优化的布局。在一些公开的示例中，所述优化的布局包括由所述移动装置的相机捕获的图像的配置版本。在一些公开的示例中，所述图像包括感兴趣的对象。在一些公开的示例中，所述图像的所述配置版本包括相对于如由所述相机捕获的所述图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者。在一些公开的示例中，所述优化的布局包括：相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述图像中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述图像的所述配置版本而不阻挡所述感兴趣的对象。
在一些示例中，公开了一种移动装置的双模式增强现实界面。在一些公开的示例中，双模式增强现实界面包括第一模式，其响应于检测到存在所述移动装置的第一运动而经由所述移动装置的用户接口来呈现。在一些公开的示例中，双模式增强现实界面包括第二模式，其响应于检测到不存在所述第一运动而经由所述用户接口来呈现。在一些公开的示例中，所述第二模式不同于所述第一模式。在一些公开的示例中，所述第一模式是浏览模式，并且所述第二模式是学习模式。在一些公开的示例中，所述第一运动是遥拍运动。
在所述双模式增强现实界面的一些公开的示例中，所述双模式增强现实界面的所述第二模式是响应于在不存在所述第一运动的同时检测到存在所述移动装置的第二运动而经由所述用户接口呈现的。在一些公开的示例中，所述第二运动不同于所述第一运动。在一些公开的示例中，所述第二运动是变焦运动。在一些公开的示例中，不存在所述第一运动连同不存在所述第二运动指示所述移动装置的稳定性。
在所述双模式增强现实界面的一些公开的示例中，所述检测到存在所述第一运动或所述检测到不存在所述第一运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
在所述双模式增强现实界面的一些公开的示例中，所述双模式增强现实界面的所述第一模式在呈现时包括布局。在一些公开的示例中，所述布局包括：视频，所述视频由所述移动装置的相机捕获。在一些公开的示例中，所述布局还包括：相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述视频。
在所述双模式增强现实界面的一些公开的示例中，所述双模式增强现实界面的所述第二模式在呈现时包括优化的布局。在一些公开的示例中，所述优化的布局包括由所述移动装置的相机捕获的图像的配置版本。在一些公开的示例中，所述图像包括感兴趣的对象。在一些公开的示例中，所述图像的所述配置版本包括相对于如由所述相机捕获的所述图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者。在一些公开的示例中，所述优化的布局包括：相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述图像中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述图像的所述配置版本而不阻挡所述感兴趣的对象。
在一些示例中，公开了包括指令的有形机器可读存储介质。在一些公开的示例中，所述指令在被执行时致使处理器：响应于检测到存在所述移动装置的第一运动，经由所述移动装置的用户接口呈现所述移动装置的双模式增强现实界面的第一模式。在一些公开的示例中，所述指令在被执行时致使所述处理器：响应于检测到不存在所述第一运动，经由所述用户接口呈现所述双模式增强现实界面的第二模式。在一些公开的示例中，所述第二模式不同于所述第一模式。在一些公开的示例中，所述第一模式是浏览模式，并且所述第二模式是学习模式。在一些公开的示例中，所述第一运动是遥拍运动。
在所述有形机器可读存储介质的一些公开的示例中，所述指令在被执行进一步致使所述处理器：响应于在不存在所述第一运动的同时检测到存在所述移动装置的第二运动，经由所述用户接口呈现所述双模式增强现实界面的所述第二模式。在一些公开的示例中，所述第二运动不同于所述第一运动。在一些公开的示例中，所述第二运动是变焦运动。在一些公开的示例中，不存在所述第一运动连同不存在所述第二运动指示所述移动装置的稳定性。
在所述有形机器可读存储介质的一些公开的示例中，所述检测到存在所述第一运动或所述检测到不存在所述第一运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
在所述有形机器可读存储介质的一些公开的示例中，所述双模式增强现实界面的所述第一模式在呈现时包括布局。在一些公开的示例中，所述布局包括：视频，所述视频由所述移动装置的相机捕获。在一些公开的示例中，所述布局还包括：相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述视频。
在所述有形机器可读存储介质的一些公开的示例中，所述双模式增强现实界面的所述第二模式在呈现时包括优化的布局。在一些公开的示例中，所述优化的布局包括由所述移动装置的相机捕获的图像的配置版本。在一些公开的示例中，所述图像包括感兴趣的对象。在一些公开的示例中，所述图像的所述配置版本包括相对于如由所述相机捕获的所述图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者。在一些公开的示例中，所述优化的布局包括：相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述图像中检测到的标记或特征。在一些公开的示例中，所述相关联的信息叠盖所述图像的所述配置版本而不阻挡所述感兴趣的对象。
虽然本文已经公开了某些示例性方法、设备和制品，但是本专利的覆盖范围不限于此。相反，本专利涵盖了实际上落入本专利的权利要求的范围内的所有方法、设备和制品。

Claims (22)

1.一种用于呈现移动装置的双模式增强现实界面的方法，其包括：
响应于检测到存在移动装置的摇拍运动，经由所述移动装置的用户接口呈现双模式增强现实AR界面的第一AR模式，所述第一AR模式包括由感兴趣的对象的视频形成的基于视频的叠盖，所述视频由所述移动装置的相机捕获；以及
响应于检测到不存在所述摇拍运动，经由所述用户接口呈现所述双模式增强现实AR界面的第二AR模式，所述第二AR模式不同于所述第一AR模式并且代替所述第一AR模式呈现，所述第二AR模式包括由所述感兴趣的对象的静态图像形成的基于图像的叠盖，所述静态图像由所述相机捕获，
其中检测到不存在所述摇拍运动包括：
确定与所述移动装置的运动相关联的x轴速度、y轴速度以及z轴速度；
确定与所述移动装置的运动相关联的x轴旋转速率、y轴旋转速率以及z轴旋转速率；
确定所述z轴速度大于所述x轴速度并且大于所述y轴速度；
确定所述z轴旋转速率不大于所述x轴旋转速率并且不大于所述y轴旋转速率；以及
确定所述x轴旋转速率、所述y轴旋转速率以及所述z轴旋转速率分别不超过旋转速率阈值。
2.如权利要求1所述的方法，其中所述第一AR模式是与所述感兴趣的对象相关联的浏览模式，并且所述第二AR模式是与所述感兴趣的对象相关联的学习模式。
3.如权利要求1所述的方法，其还包括：响应于在不存在所述摇拍运动的同时检测到存在所述移动装置的变焦运动，经由所述用户接口呈现所述双模式增强现实AR界面的所述第二AR模式。
4.如权利要求1所述的方法，其中检测到不存在所述摇拍运动包括：
确定所述x轴速度和所述y轴速度分别不超过第一速度阈值；以及
确定所述z轴速度超过第二速度阈值。
5.如权利要求3所述的方法，其中不存在所述摇拍运动连同不存在所述变焦运动指示所述移动装置的稳定性。
6.如权利要求1所述的方法，其中所述检测到存在所述摇拍运动或所述检测到不存在所述摇拍运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
7.如权利要求1所述的方法，其中呈现所述双模式增强现实AR界面的所述第一AR模式包括呈现布局，所述布局包括：
由所述移动装置的相机捕获的所述视频；以及
相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征，所述相关联的信息叠盖所述视频以形成所述基于视频的叠盖。
8.如权利要求1所述的方法，其中呈现所述双模式增强现实AR界面的所述第二AR模式包括呈现优化的布局，所述优化的布局包括：
由所述移动装置的所述相机捕获的所述静态图像的配置版本所述静态图像的所述配置版本包括相对于如由所述相机捕获的所述静态图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者；以及
相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述静态图像中检测到的标记或特征，所述相关联的信息叠盖所述静态图像的所述配置版本而不阻挡所述感兴趣的对象以形成所述基于图像的叠盖。
9.一种移动装置的双模式增强现实AR界面，所述双模式增强现实AR界面包括：
第一AR模式，所述第一AR模式响应于检测到存在所述移动装置的摇拍运动而经由所述移动装置的用户接口来呈现，所述第一AR模式包括由感兴趣的对象的视频形成的基于视频的叠盖，所述视频由所述移动装置的相机捕获；以及
第二AR模式，所述第二AR模式响应于检测到不存在所述摇拍运动而经由所述用户接口来呈现，所述第二AR模式不同于所述第一AR模式并且代替所述第一AR模式呈现，所述第二AR模式包括由所述感兴趣的对象的静态图像形成的基于图像的叠盖，所述静态图像由所述相机捕获，
其中所述移动装置被配置为通过以下方式检测到不存在所述摇拍运动：
确定与所述移动装置的运动相关联的x轴速度、y轴速度以及z轴速度；
确定与所述移动装置的运动相关联的x轴旋转速率、y轴旋转速率以及z轴旋转速率；
确定所述z轴速度大于所述x轴速度并且大于所述y轴速度；
确定所述z轴旋转速率不大于所述x轴旋转速率并且不大于所述y轴旋转速率；以及
确定所述x轴旋转速率、所述y轴旋转速率以及所述z轴旋转速率分别不超过旋转速率阈值。
10.如权利要求9所述的双模式增强现实AR界面，其中所述第一AR模式是与所述感兴趣的对象相关联的浏览模式，并且所述第二AR模式是与所述感兴趣的对象相关联的学习模式。
11.如权利要求9所述的双模式增强现实AR界面，其中所述第二AR模式是响应于在不存在所述摇拍运动的同时检测到存在所述移动装置的变焦运动而经由所述用户接口呈现的。
12.如权利要求9所述的双模式增强现实AR界面，其中所述移动装置被配置为通过以下方式检测到不存在所述摇拍运动：
确定所述x轴速度和所述y轴速度分别不超过第一速度阈值；以及
确定所述z轴速度超过第二速度阈值。
13.如权利要求9所述的双模式增强现实AR界面，其中所述检测到存在所述摇拍运动或所述检测到不存在所述摇拍运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
14.如权利要求9所述的双模式增强现实AR界面，其中所述双模式增强现实AR界面的所述第一AR模式在呈现时将包括布局，所述布局包括：
由所述移动装置的相机捕获的所述视频；以及
相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征，所述相关联的信息叠盖所述视频以形成所述基于视频的叠盖。
15.如权利要求9所述的双模式增强现实AR界面，其中所述双模式增强现实AR界面的所述第二AR模式在呈现时包括优化的布局，所述优化的布局包括：
由所述移动装置的所述相机捕获的所述静态图像的配置版本，所述静态图像的所述配置版本包括相对于如由所述相机捕获的所述静态图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者；以及
相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述静态图像中检测到的标记或特征，所述相关联的信息叠盖所述静态图像的所述配置版本而不阻挡所述感兴趣的对象以形成所述基于图像的叠盖。
16.一种有形机器可读存储介质，其包括指令，所述指令在被执行时致使处理器至少：
响应于检测到存在移动装置的摇拍运动，经由所述移动装置的用户接口呈现所述移动装置的双模式增强现实AR界面的第一AR模式，所述第一AR模式包括由感兴趣的对象的视频形成的基于视频的叠盖，所述视频由所述移动装置的相机捕获；以及
响应于检测到不存在所述摇拍运动，经由所述用户接口呈现所述双模式增强现实AR界面的第二AR模式，所述第二AR模式不同于所述第一AR模式并且代替所述第一AR模式呈现，所述第二AR模式包括由所述感兴趣的对象的静态图像形成的基于图像的叠盖，所述静态图像由所述相机捕获，
其中检测到不存在所述摇拍运动包括：
确定与所述移动装置的运动相关联的x轴速度、y轴速度以及z轴速度；
确定与所述移动装置的运动相关联的x轴旋转速率、y轴旋转速率以及z轴旋转速率；
确定所述z轴速度大于所述x轴速度并且大于所述y轴速度；
确定所述z轴旋转速率不大于所述x轴旋转速率并且不大于所述y轴旋转速率；以及
确定所述x轴旋转速率、所述y轴旋转速率以及所述z轴旋转速率分别不超过旋转速率阈值。
17.如权利要求16所述的有形机器可读存储介质，其中所述第一AR模式是与所述感兴趣的对象相关联的浏览模式，并且所述第二AR模式是与所述感兴趣的对象相关联的学习模式。
18.如权利要求16所述的有形机器可读存储介质，其中所述指令在被执行时进一步致使所述处理器：响应于在不存在所述摇拍运动的同时检测到存在所述移动装置的变焦运动，经由所述用户接口呈现所述第二AR模式。
19.如权利要求16所述的有形机器可读存储介质，其中检测到不存在所述摇拍运动包括：
确定所述x轴速度和所述y轴速度分别不超过第一速度阈值；以及
确定所述z轴速度超过第二速度阈值。
20.如权利要求16所述的有形机器可读存储介质，其中所述检测到存在所述摇拍运动或所述检测到不存在所述摇拍运动是基于从所述移动装置的加速度计、所述移动装置的陀螺仪或所述移动装置的计步器中的至少一者获得的数据。
21.如权利要求16所述的有形机器可读存储介质，其中所述双模式增强现实AR界面的所述第一AR模式在呈现时包括布局，所述布局包括：
由所述移动装置的相机捕获的所述视频；以及
相关联的信息，所述相关联的信息对应于在所述视频中检测到的标记或特征，所述相关联的信息叠盖所述视频以形成所述基于视频的叠盖。
22.如权利要求16所述的有形机器可读存储介质，其中所述双模式增强现实AR界面的所述第二AR模式在呈现时包括优化的布局，所述优化的布局包括：
由所述移动装置的所述相机捕获的所述静态图像的配置版本，所述静态图像的所述配置版本包括相对于如由所述相机捕获的所述静态图像内的所述感兴趣的对象的大小或位置而修改的所述感兴趣的对象的修改大小或修改位置中的至少一者；以及
相关联的信息，所述相关联的信息对应于在由所述相机捕获的所述静态图像中检测到的标记或特征，所述相关联的信息叠盖所述静态图像的所述配置版本而不阻挡所述感兴趣的对象以形成所述基于图像的叠盖。
CN201680090009.3A 2016-10-13 2016-10-13 移动装置的双模式增强现实界面 Active CN109804638B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/056770 WO2018071019A1 (en) 2016-10-13 2016-10-13 Dual-mode augmented reality interfaces for mobile devices

Publications (2)

Publication Number Publication Date
CN109804638A CN109804638A (zh) 2019-05-24
CN109804638B true CN109804638B (zh) 2022-04-12

Family

ID=61905904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090009.3A Active CN109804638B (zh) 2016-10-13 2016-10-13 移动装置的双模式增强现实界面

Country Status (4)

Country Link
US (1) US11119585B2 (zh)
CN (1) CN109804638B (zh)
DE (1) DE112016007223T5 (zh)
WO (1) WO2018071019A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410320B2 (en) * 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
WO2018071019A1 (en) 2016-10-13 2018-04-19 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
US11232307B2 (en) * 2018-11-28 2022-01-25 Carl LaMont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
EP4072148A1 (en) * 2021-04-07 2022-10-12 Idomoo Ltd A system and method to adapting video size
US11513036B1 (en) * 2021-05-13 2022-11-29 Ford Global Technologies, Llc Systems and methods for underbody inspection of a moving vehicle with a smartphone
US20230343038A1 (en) * 2022-04-25 2023-10-26 Lemon Inc. Method and system for creating augmented reality filters on mobile devices
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100860A (zh) * 2014-05-16 2015-11-25 三星电子株式会社 内容输出设备、移动设备及其控制方法
CN105739849A (zh) * 2014-12-24 2016-07-06 索尼公司 用于通过用户界面呈现信息的方法和系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103834B1 (en) * 1997-06-25 2006-09-05 Samsung Electronics Co., Ltd. Method and apparatus for a home network auto-tree builder
US8046030B2 (en) * 2005-07-29 2011-10-25 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for operating mobile devices responsive to user input through movement thereof
US20070268246A1 (en) * 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
US8082122B2 (en) * 2006-12-12 2011-12-20 Samsung Electronics Co., Ltd. Mobile device having a motion detector
EP2379330B1 (en) * 2009-01-20 2014-03-12 Hewlett-Packard Development Company, L.P. Fluid ejector structure
US7873849B2 (en) 2009-09-02 2011-01-18 Apple Inc. Motion sensor data processing using various power management modes
US8581844B2 (en) * 2010-06-23 2013-11-12 Google Inc. Switching between a first operational mode and a second operational mode using a natural motion gesture
US8405383B2 (en) * 2011-03-14 2013-03-26 General Electric Company Three-phase selectable energy meter
US10455089B2 (en) * 2011-03-22 2019-10-22 Fmr Llc Augmented reality system for product selection
US20170352188A1 (en) * 2011-03-24 2017-12-07 Pantomime Corporation Support Based 3D Navigation
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US20130036377A1 (en) * 2011-08-05 2013-02-07 Nokia Corporation Controlling responsiveness to user inputs
KR20220032059A (ko) 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9385324B2 (en) 2012-05-07 2016-07-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
GB2506203B (en) 2012-09-25 2016-12-14 Jaguar Land Rover Ltd Method of interacting with a simulated object
WO2014119098A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
KR101761190B1 (ko) * 2013-02-22 2017-07-25 삼성전자 주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
US9550419B2 (en) 2014-01-21 2017-01-24 Honda Motor Co., Ltd. System and method for providing an augmented reality vehicle interface
DE102014005983A1 (de) 2014-04-24 2014-09-25 Daimler Ag Verfahren zur Anzeige von Kraftfahrzeuginformationen
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
KR102127356B1 (ko) * 2014-07-31 2020-06-26 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
US10106172B2 (en) 2014-08-18 2018-10-23 Ford Global Technologies, Llc Shared vehicle system
US9978095B2 (en) 2014-08-30 2018-05-22 Digimarc Corporation Methods and arrangements including data migration among computing platforms, E.G. through use of steganographic screen encoding
US9733790B2 (en) * 2014-10-30 2017-08-15 Disney Enterprises, Inc. Haptic interface for population of a three-dimensional virtual environment
WO2018071019A1 (en) 2016-10-13 2018-04-19 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100860A (zh) * 2014-05-16 2015-11-25 三星电子株式会社 内容输出设备、移动设备及其控制方法
CN105739849A (zh) * 2014-12-24 2016-07-06 索尼公司 用于通过用户界面呈现信息的方法和系统

Also Published As

Publication number Publication date
WO2018071019A1 (en) 2018-04-19
CN109804638A (zh) 2019-05-24
US11119585B2 (en) 2021-09-14
DE112016007223T5 (de) 2019-07-04
US20190235644A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN109804638B (zh) 移动装置的双模式增强现实界面
KR102606785B1 (ko) 동시 로컬화 및 매핑을 위한 시스템 및 방법
TWI462035B (zh) 物件偵測後設資料
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
CN102906671B (zh) 手势输入装置及手势输入方法
KR101247991B1 (ko) 사용자 인터페이스 제어를 위한 카메라 제스처들
US20160171739A1 (en) Augmentation of stop-motion content
EP2353072A2 (en) Motion adaptive user interface service
CN107111740A (zh) 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN105009034A (zh) 信息处理设备、信息处理方法和程序
WO2021169420A1 (zh) 基于多个图像帧的视觉定位
US11782572B2 (en) Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US9214043B2 (en) Gesture based map annotation
WO2013031135A1 (en) Information processing apparatus, information processing method, and program
CN103677259A (zh) 用于引导控制器的方法、多媒体装置及其目标跟踪装置
CN109445620B (zh) 一种交互笔自动识别方法
CN103608761A (zh) 输入设备、输入方法以及记录介质
CN104252228B (zh) 显示装置及控制显示装置的方法
EP3818465A1 (en) System and method for augmented reality overlay
US20170344123A1 (en) Recognition of Pickup and Glance Gestures on Mobile Devices
CN104281258B (zh) 使用图像捕获设备调整透明显示器
US10719147B2 (en) Display apparatus and control method thereof
US20150154775A1 (en) Display control method, information processor, and computer program product
US9950270B2 (en) Electronic device and method for controlling toy using the same
Karatas et al. Toward detection of unsafe driving with inertial head-mounted sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant