CN110199240A - 用于可穿戴显示器的基于上下文的内容导航 - Google Patents

用于可穿戴显示器的基于上下文的内容导航 Download PDF

Info

Publication number
CN110199240A
CN110199240A CN201780084354.0A CN201780084354A CN110199240A CN 110199240 A CN110199240 A CN 110199240A CN 201780084354 A CN201780084354 A CN 201780084354A CN 110199240 A CN110199240 A CN 110199240A
Authority
CN
China
Prior art keywords
content
digital label
context
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780084354.0A
Other languages
English (en)
Other versions
CN110199240B (zh
Inventor
S.S.贾瓦尔
C.I.帕金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ryowell Co Ltd
Original Assignee
Ryowell Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ryowell Co Ltd filed Critical Ryowell Co Ltd
Publication of CN110199240A publication Critical patent/CN110199240A/zh
Application granted granted Critical
Publication of CN110199240B publication Critical patent/CN110199240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

系统和方法基于所辨识的上下文提供用于内容导航。可穿戴设备被启动并加载来自内容储存库的内容。加载的内容包括一个或多个数字标签。可穿戴设备被配置为提供用于显示与数字标签相关联的内容。确定用于可穿戴设备的上下文，并且可以基于所确定的上下文将数字标签呈现给用户以供选择，数字标签与一条内容或内容的一部分相关联。可以接收命令以选择数字标签或执行与数字标签相关联的动作。与所选择的数字标签相关联的一条内容或内容的一部分被提供用于显示。可以呈现第二数字标签以及一条内容或内容的一部分的显示，以使得能够进一步通过内容导航。

Description

用于可穿戴显示器的基于上下文的内容导航
背景技术
在工业设置中，用户可能需要提供维护或执行与复杂装置相关联的其他职责，并且被要求查阅大量技术文档，这些文档通常经由活页夹、平板电脑或笔记本电脑提供给用户。然而，存在着与牵涉必须以这种方式导航和查找所期望信息的一套方法相关联的固有的低效率。通过手动导航或通过基于触摸的系统来查找所需内容可能是对时间的无效使用，并且要求用户停止并重新启动任务才能这样进行。
发明内容
提供本内容是为了以简化的形式介绍精选的概念，这些概念将在下面的具体实施方式中进一步描述。本内容不旨在辨识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
在高级别，本发明的实施例一般涉及通过免手动(hands-free)操作促进对可穿戴设备上的电子内容的访问和使用。在其中用户需要基于给定情况的上下文(context)而容易地访问多个文档或甚至多个文档的多个具体部分的情况下，本文描述的方法和系统使用户能够容易且有效地导航到内容的具体视图或内容的某些部分。在各种实施例中，利用与内容相关联的数字标签的集合来通过内容导航。例如，基于各种上下文，可以准备内容集，使得用户可以容易地配对所需数据并仅通过用于给定任务的相关文档导航。因此，本文提供了一种上下文感知的命令驱动导航系统，以供用户导航到文档的各个部分；上下文与用户可以访问具体内容的地方相关联，并且基于该上下文，可以检索具体文档或文档的某些部分并将其呈现给用户。在各种实施例中，提供了一种内容导航系统。内容导航系统通常包括带有显示器的可穿戴计算设备、包括内容的内容储存库、位置传感器和/或发送器以及可以通过网络可操作地连接的外部计算设备。该内容可以包括至少一个相关联的数字标签，该数字标签还与上下文相关联。在各种实施例中，可穿戴设备可以用一些内容来初始化和加载(即，本地存储)，该内容包括数字标签。数字标签在概念上可以相比于数字书签，允许计算设备在单个步骤中前进到内容的标记部分。内容的标记部分可以由驱动用计算设备的观看的任何数量的因素来定义，诸如特定的一条内容、页码、缩放级别或页面上的坐标等等。随后，基于位置、方向或其他因素确定可穿戴设备的上下文，并将其存储在可穿戴设备处以帮助驱动内容导航。一旦确定了可穿戴设备的上下文，就可以经由显示器向用户呈现可通过命令(例如，语音命令)选择的数字标签。基于所确定的上下文将与内容相关联的数字标签呈现给用户。这样，上下文仅允许将某些数字标签呈现给用户，从而允许用户基于所呈现的数字标签来通过内容导航。以这种方式，一个数字标签的选择驱动了另一条内容或内容的另一部分及其他相关联数字标签的呈现。此外，用户可以将他们自己的数字标签和注释添加到内容或内容的某些部分。使用后，带有潜在新添加信息的本地存储文档被同步回网络上的网络服务器或内容储存库。后续用户随后能够利用先前用户的数字标签，或者在替代实施例中，可以基于他们在所确定的上下文中的先前使用向后续用户建议数字标签。
本发明的附加的目的、优点和新颖特征将部分地在下面的描述中阐述，并且部分地对于本领域技术人员在研究以下内容时将变得显而易见，或者可以通过本发明的实践来学习。
附图说明
参考附图中所示的实施例更详细地解释了上面提到的本发明的特征，其中相同的附图标记表示相同的元件，其中图1-6示出了本发明的一个实施例，并且其中：
图1提供了示出根据本公开的一些实施方式的内容导航系统的示例性操作环境的示意图；
图2提供了示出根据本公开的一些实施方式的示例性内容导航系统的示意图；
图3A-3C提供了屏幕显示，其示出了根据本公开的一些实施方式的用于内容导航的一系列示例用户界面呈现；
图4提供了对根据本公开的一些实施方式的用于内容导航的方法进行描绘的说明性处理流程；
图5提供了对根据本公开的一些实施方式的用于内容导航和标记的方法进行描绘的说明性过程流程；
图6提供了其中可以采用本公开的一些实施方式的示例性计算设备的框图。
具体实施方式
通过使用可穿戴设备轻松且有效地访问和导航相关内容的能力是特定场景中，例如，在其中用户需要快速导航潜在大量的内容，并同时保持与技术的交互，同时并行参与其他任务的工业应用中，用户工作流和操作的重要方面。
利用根据本公开的实施例的可穿戴设备(诸如，例如包含显示器的头戴式计算设备)，用户可以使用显示器作为观看者，来查看和导航大量的文档或其他内容。根据本公开的一些实施例，显示器充当在较大虚拟空间上的窗口，允许用户导航到具体文档内的指定页面，实现各种放大级别的页面放大和缩小，以及利用免手动移动在页面上纵向或垂直地平移以到达较大虚拟空间内的固定文档的所期望XY坐标。
根据本公开的一些实施例，可以通过结合语音命令使用的数字标签的使用来增强上述导航。例如，通过语音命令(即自然语言交互)，用户可以直接导航到具体文档(或文件)、文档内的页面、页面上的XY坐标以及缩放级别，其中变量的任何组合可以嵌入为相关联数字标签内的元数据。以这种方式，用户可以通过结合语音可访问性的数字标签的有效使用来导航内容和该内容的具体视图。
在本公开的一些实施例中，可以利用位置和方向信息来进一步驱动内容导航。例如，如前所述的数字标签可以与具体地点和/或方向相关联从而为用户提供上下文。使用所确定的上下文的信息，可穿戴设备可以自动呈现用户用来导航内容的数字标签集或子集。以这种方式，数字标签可以与内容以及位置和方位相关联。
这样，本发明的实施例涉及使用可穿戴设备(例如头戴式计算设备)基于上下文确定来访问和导航内容。以这种方式，本公开的方面涉及促进与各种内容和用户界面的免手动交互的设备、方法及系统。
图1描绘了根据本公开的各个实施例的用于内容导航系统的操作环境100的方面。除了其他组件之外，操作环境100可以包含可穿戴设备120、内容储存库(repository)130、位置传感器或接入点140、用户设备150和一个或多个服务器160。这些组件可以被配置为经由网络110彼此可操作通信。可穿戴设备120包含任何计算设备，更具体地，包含任何头戴式计算设备(例如，安装的平板电脑、显示系统、智能眼镜、全息设备)。可穿戴设备120可包含显示组件122，例如可通过视觉、听觉和/或其他触觉提示来呈现信息的显示器(例如，显示器、屏幕、灯、发光二极管(LED)、图形用户界面(GUI)等)。显示组件可以例如向用户呈现增强现实(AR)视图，其是由计算机生成的感觉输入所增补的物理现实世界环境的实时直接或间接视图。在一些实施例中，可穿戴设备120可以具有成像或光学输入组件124。网络110还可以经由网络连接到一个或多个本地或远程服务器160或计算系统162。
图2描绘了根据本公开的各个实施例的结合可穿戴设备(例如，图1的120)使用的内容导航系统200的方面。内容导航系统200可以包含构成内容导航堆栈204的多个引擎或模块，包含但不限于：导航初始化引擎205、上下文确定引擎210、内容检索引擎220、导航引擎240和用户界面230。如图所示，内容导航系统200包括内容储存库250，内容储存库250也可以是与任何引擎或模块可操作通信的多个内容储存库。内容储存库可以是本地或远程存储设备或数据库，其被配置为包含或托管多个内容255，例如文档文件或视频文件或两者。应当理解，在一些实施例中，内容还可以包括数字馈送或流内容。内容导航系统200可以从用户(例如，经由用户界面)获得输入，或者替代地，经由接口(例如，图1的用户设备108)从另一外部系统或引擎获得输入。
初始化引擎205通常负责促进用户界面、运动处理系统、声音处理系统、存储、设备输入/输出和它们各自的子组件之间的通信。初始化引擎205可以响应于从可穿戴设备I/O系统280接收的信号来初始化可穿戴设备260。例如，可以按下物理输入元件(诸如按钮、开关等)来信令通知交互模式应开始运行。设备I/O系统可以具有多个模块和引擎以用于接收和处理输入，诸如命令。这样，设备I/O系统可以允许可穿戴设备260与系统交互。设备I/O系统模块和引擎可以包含但不限于手持机(handset)引擎281、连接性模块282、图像捕获模块283、运动捕获模块284、音频输入/输出模块、位置检测模块286和显示器287。与设备I/O系统可操作通信的可以是一个或多个处理系统270，包含但不限于运动处理系统272和声音处理系统274，其可以处理由可穿戴设备260以任何方式接收的运动和声音。作为初始化序列的一部分，来自内容储存库的一条或多条内容255(例如，文档文件、视频文件)可以加载到可穿戴设备上并存储在设备库292中。可以经由任何已知的数据推送或抽取(pull)技术将内容加载到可穿戴设备260上。在一些实施例中，基于与用户配置文件294相关联的某些用户数据将内容加载到设备上。设备库292和用户配置文件294可以是本地设备存储290的一部分。此外，在其他实施例中，加载到可穿戴设备260上(例如，到本地设备存储290上)的内容随后可以与用户配置文件294相关联。以这种方式，例如，如果同一用户初始化该设备，则与特定可穿戴设备和/或用户配置文件相关联的、先前加载或使用的内容将与可穿戴设备260一起重新加载或重新初始化。应当理解，只要可穿戴设备260连接到网络265，则可穿戴设备与内容储存库250及任何其他本地或远程服务器或计算系统252可操作通信，例如，当可穿戴设备在使用中时，远程操作者可以将内容推送到可穿戴设备260以用于用户。替代地，在一些实施例中，操作可穿戴设备260的用户可以通过手持机I/O系统280与任何其他本地或远程服务器或计算系统252连接，例如，可穿戴设备260的用户可以经由流内容与操作者连接。
一旦可穿戴设备260被初始化，上下文确定引擎210就可以确定设备和/或用户或两者的上下文。设备的上下文可以基于任何数量的上下文标识符，包含位置信息和方向信息(即，三维空间中的方位r,θ,)。
可以通过任何数量的位置指示符来确定关于可穿戴设备和/或用户的上下文，该位置指示符包含但不限于：条形码、快速响应(QR)码、蓝牙信标、视觉机器识别、视觉对象识别、全局定位系统(GPS)、射频标识(RFID)、近场通信(NFC)、WiFi或任何其他已知的基于无线电的标识符、基于视觉的标识符或基于惯性的标识符，诸如合并到设备中的加速度计或陀螺仪。利用上述技术中的任何一种的位置指示符(即，作为传感器/发送器的图1的140)可以在一些实施例中与可穿戴设备260配对并且经由上下文确定引擎210，确定可穿戴设备260和/或初始化会话的任何给定实例中的用户的上下文。应当理解，可穿戴设备上的内部传感器可以直接与上述的任何位置指示符进行可操作通信，或者替代地，用户可以具有另外的设备或扫描仪来扫描条形码或QR码，识别信标，感测可以激活位置指示符和可穿戴设备(例如，通过图2的位置检测模块286)并连接它们的RFID标签等(即图1中的150)。在根据本公开的一些实施例中，上下文还可以基于用户角色(例如，从用户配置文件294导出)或时间(例如，一天中的时间)。
内容检索引擎220可以基于所确定的上下文检索相关内容以供显示给用户(例如，经由图1的显示器122)。在各种实施例中，内容储存库250和设备库292中的内容可以与一个或多个数字标签相关联，该数字标签可以作为元数据嵌入文档内；换句话说，上下文被编码成数字标签并与一条或多条内容或一条内容的一个或多个部分相关联。每个数字标签还可以与可以由上下文确定引擎210针对可穿戴设备260所确定的一个或多个上下文相关联。因此，数字标签可以与一条内容和一个或多个上下文相关联。在操作中，在可穿戴设备260初始化并加载有标记的一条或多条内容之后，内容检索引擎220可以基于所确定的上下文经由用户界面230呈现一条或多条相关的或建议的内容。以这种方式，内容检索引擎220可以过滤最初加载到设备上的内容。在一些实施例中，如果可穿戴设备260连接到网络265，则可以访问存储在内容储存库250中的内容。
一旦基于上下文的内容被呈现给用户，导航引擎240就可以从用户接收命令(例如，语音命令)，以执行与呈现在可穿戴设备的显示器上并可供用户使用的特定数字标签相对应的动作。例如，在一个方面，特定数字标签可以允许用户打开与其相关联的文档。在另一个实施例中，特定数字标签可以允许用户导航到文档内的具体页面、到文档内页面上的具体缩放级别、到文档内页面上的具体XY坐标，或者任何前述的组合。这样，文档可以至少具有与其相关联的第二数字标签以驱动通过文档的导航。应理解，给定的一条内容(或该示例中的文档)可具有与其相关联的任何数量的数字标签。通过可穿戴设备260接收的命令使用户能够经由导航引擎240导航进和导航出具体文档以及文档内的任何特定区域。例如，基于所接收的命令，经由用户界面230向用户呈现内容的任何部分，而不必通过一个或多个文件树来导航。在操作中，用户界面230和导航引擎240可以协力工作以通过内容导航，并通过接收选择数字标签的命令并呈现与该数字标签相关联的内容或内容的一部分来向用户呈现期望的内容。
现在参见图3A，描绘了屏幕显示，其示出了向用户示出用于内容导航的呈现雷达的示例用户界面300a。上下文确定引擎(例如，图2的210)可以确定在可穿戴设备的视图(例如，图1的显示器122)内存在多个上下文，在这种情况下，呈现第一上下文310a和第二上下文320a。第一仪表板指示符302a和第二仪表板指示符304a经由用户界面(例如，图2的230)呈现给用户，指示内容可用于通过显示器查看的物理单元A和B中的每一个以及可用于由用户选择。可以从用户接收命令以键入任一物理单元的内容集合。
现在参见图3B，描绘了屏幕显示，其示出了基于所确定的上下文提供至少一个文档310b、320b与物理单元B相关联的指示的示例性用户界面300b。因此，至少一个文档310b、320b可用于由用户经由所接收的命令进行选择。尽管指出了语音命令，但是可以预期，可以用指示选择的任何已知的方法来选择每个文档(或其他内容)。此外，尽管在图中示出了多个文档，但是应当理解，区块(tile)指示符310b和320b可以表示可以在可穿戴设备上运行的任何数量的内容(例如，视频、流)或应用程序。在AR用户界面上下文中，用户界面上的表示或指示符可以是到应用程序或其他内容的深层链接，并且用户在显示器中看到表示可以在本地或在分布式系统中访问的内容或打包内容的元数据。在一些实施例中，区块(例如，310b、320b)可以表示可以由用户通过利用所确定的上下文的命令(例如，语音命令)来激活的应用程序。以这种方式，本文使用的上下文可以在可由可穿戴设备的用户呈现和利用的内容和应用程序之间共享。
现在参见图3C，描绘了屏幕显示，其示出了显示内容302c的一部分的示例性用户界面300c。基于可穿戴设备接收的界面300b中的命令选择，用户可以导航到内容的第一部分350c。在一些实施例中，与文档302c相关联的一个或多个数字标签310c、320c也可以经由显示器呈现给用户，并且在接收到来自用户的命令时，内容导航系统使用户能够导航到与数字标签相关联的内容的任何部分。在一些替代实施例中，嵌入在文档中的数字标签对于用户是不可见的。在该实例下，用户可以使用语音命令以某种逻辑或预定顺序从第一部分的相关联数字标签移动到第二部分的相关联数字标签。此外，应当理解，用户还可以在不使用数字标签的情况下手动通过任何内容导航，例如，导航到没有相关联数字标签的文档的下一页。应当理解，所接收的命令还可以允许用户导航进和导航出屏幕显示300a-300c。
继续屏幕显示300c，在与系统和一条内容交互的任何点处，用户可以将一个或多个数字标签340c或一个或多个注释330c添加到该条内容。例如，注释可以是写入的符号、声音字节、视频字节或可以添加到文档或内容的任何其他类型的注释。在一些实施例中，注释本身可以与数字标签相关联，并且类似地呈现给用户，例如与数字标签310c、320c一起呈现给用户。在添加时，添加的数字标签或添加的注释可以与该条内容相关联、与可穿戴设备相关联、与用户配置文件相关联，或与前述的任何组合相关联并且存储在本地设备存储器中。在一些实施例中，可以在内容上同时显示注释和数字标签；并且在某些实例下，注释可能仅在一条内容的某些视图中可见，即某些页面、某些缩放级别、页面上的某些XY坐标。在其他实施例中，可以经由在可穿戴设备上从用户接收的命令来示出和隐藏注释。当可穿戴设备重新连接到网络时，这些添加和关联可以同步到服务器或其他外部计算系统(例如，图2的252)和/或内容储存库(例如，图2的250)。以这种方式，数字标签和/或注释可以在经认证的用户、设备和组织之间共享。此外，可以随时间建立与不同上下文和不同条内容相关联的数字标签。
在一些实施例中，可穿戴设备可以记录所辨识的用户查看和/或访问一条内容或某些内容的具体部分，用户可能已经经由一个或多个数字标签查看和/或访问了内容或内容的一部分，或者可能已经在不使用数字标签的情况下导航到了那里。可穿戴设备可以将访问和/或查看作为元数据与内容、用户配置文件、可穿戴设备所处的上下文或前述的任何相关联地存储在设备上。查看和/或访问还可以与内容储存库中的内容相关联地存储，或者存储在一个或多个服务器或外部计算系统上。因此，内容导航系统可以追踪随时间访问和/或查看了哪几条内容或内容的哪些部分，并监视用户和设备的历史、他们已经确定的上下文以及在该确定的上下文中访问了哪些内容。这样，内容导航系统有可能基于其他用户已经访问的所确定的上下文向用户建议一个或多个数字标签。在一些实施例中，阈值可以由系统管理员设置，使得在特定上下文中对后续用户的数字标签的建议不会发生，直到满足设置的阈值，可以针对不同的上下文(例如，位置)或针对不同的用户角色(例如，仅由系统针对某些但不是所有用户角色记录追踪)设置不同的阈值。在一些实施例中，在访问和/或查看不具有相关联数字标签的内容的具体部分的时间足以满足给定上下文的阈值的情况下，内容导航系统可以自动地将数字标签添加到内容的该部分并将数字标签与给定的上下文相关联。内容导航系统可以在一条内容的任何粒度级别上利用阈值和自动数字标记；即，内容导航可以考虑文档、具体页面、具体缩放级别、页面上的具体坐标或前述的任何组合。
已经描述了本公开的各个方面，下面描述了使用可穿戴设备基于上下文导航内容的示例性方法。根据图1-3c参考图4，图4是示出用于使能内容导航的方法400的流程图。方法400的每个框和本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合来执行的计算处理。例如，各种功能可以由执行存储在存储器中的指令的处理器执行。该方法还可以体现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用程序、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供，这里仅举几个例子。
在框410处，可穿戴设备可以例如由内容导航系统(例如，图2的内容导航系统200)的I/O系统启动。一旦初始化，就可以将一条或多条内容(例如文档文件、视频文件)加载到可穿戴设备的本地存储器中。每条内容包含一个或多个相关联的数字标签。
在框420处，可以确定可穿戴设备的上下文。在一个方面，可以通过使用位置指示符(例如，蓝牙信标)、方向指示符(例如，陀螺仪)或前述的组合来确定上下文。
在框430处，经由可穿戴设备上的显示器向用户提供内容可用于选择的一个或多个指示。指示表示通过至少一个数字标签与所确定的上下文相关联的、存储在可穿戴设备库中的内容。
在框440处，内容导航系统接收用以执行与特定指示符相对应的动作的命令，例如，选择特定的一条内容。在框450处，经由显示器向用户提供内容。
根据图1-3c参考图5，图5是示出用于使能内容导航的方法500的流程图。在框510处，初始化头戴式计算设备。在初始化时，头戴式计算设备的用户或远程位置处的管理员和/或自动服务器可以将一个或多个数字内容文件加载到头戴式计算设备的存储器中，从而为该头戴式计算设备创建可用内容的库以供利用。一个或多个数字内容文件中的每一个包括至少一个数字标签，包含与地理编码的上下文相关联的至少一个数字标签。
在框520处，确定用于头戴式计算设备确定的上下文。所确定的上下文可以基于位置、方向、用户角色、时间或前述的任何组合。应该认识到，头戴式计算设备可以基于任何上述确定因素的改变来连续地确定上下文。例如，头戴式计算设备的位置或方向的改变将使内容导航系统重新确定设备的上下文。在一些实施例中，一旦与设备初始化同时或在设备初始化之后确定了上下文，并仅在设备接收到可以重新确定上下文的命令或指示之后才可以改变上下文。在一些实施例中，可以确定一个以上的上下文。
在框530处，经由头戴式计算设备上的显示器向用户提供内容可用于选择的一个或多个指示。显示器上的指示可以是可以基于所确定的上下文选择与某些内容相关联的潜在数字标签的一个或多个表示或指示。在一些实施例中，一个或多个指示表示可选择的数字标签本身。在其他实施例中，指示表示可选择的数字标签集可能是可用的并且与一个或多个所确定的上下文相关联。例如，在指定的位置和方向，用户可以在AR显示器内查看可以驱动两个单独的上下文的两个物理单元，可以向用户提供每个物理单元与用户可以选择的至少一个数字标签或数字标签集相关联的指示。
在框540处，头戴式计算设备接收语音命令以选择数字标签；替代地，头戴式计算设备可以接收用以执行与数字标签相对应的动作的命令。在一些实施例中，用户可以选择经由显示器呈现的任何数字标签，在其他实施例中，用户可以看到存在其他数字标签的指示，但是仅可以选择所显示的数字标签的子集中的一个。
在框550处，提供内容的第一部分以用于向用户显示，内容的第一部分与所选择的数字标签相关联。在第一部分视图内，可以向用户呈现其他相关联数字标签，以在内容导航系统内进一步导航。以这种方式，数字标签本身可以彼此相关并连接，当选择第一数字标签并且呈现与第一数字标签相关联的内容或内容的一部分时，与内容或内容的一部分一起呈现的可以是其他可选数字标签可用的一个或多个指示。在一些实施例中，一个数字标签的选择将驱动后续数字标签及其选择的可用性的呈现。
在框560处，头戴式计算设备接收用于选择第二数字标签的语音命令。在框570处，提供内容的第二部分以用于显示给用户，内容的第二部分与所选择的第二数字标签相关联。在第二部分视图内，可以将其他相关联数字标签呈现给用户以在内容导航系统内进一步导航。
在框580处，头戴式计算设备接收命令或命令集以导航到内容的第三部分。该命令或命令集允许头戴式计算设备的用户通过数字内容自由地或以特别(ad hoc)方式导航。在框590处，提供内容的第三部分以用于显示给用户。如果内容的第三部分具有任何相关联数字标签，则也可以提供那些数字标签的指示以用于显示给用户。
在框560处，头戴式计算设备接收用于选择第二数字标签的语音命令。在块570，提供第二部分内容以显示给用户，第二部分内容与所选择的第二数字标签相关联。在第二部分视图内，可以将其他相关联的数字标签呈现给用户以在内容导航系统内进一步导航。
在框580处，头戴式计算设备接收命令或命令集以导航到内容的第三部分。该命令或命令集允许头戴式计算设备的用户自由地或以特别方式导航数字内容。在框590，提供第三部分内容以供显示给用户。如果内容的第三部分具有任何相关联的数字标签，则可以提供那些数字标签的指示以用于显示给用户。
在框5100处，接收将数字标签添加到内容的第三部分的命令或命令组。在框5110处，将新的数字标签添加到内容的第三部分，并且与内容的第三部分和所确定的上下文两者相关联。此外，数字标签还可以与用户配置文件相关联。
在框5120处，将带有数字标签的内容同步到设备库。当头戴式计算设备连接到网络时，带有添加的数字标签的内容可以同步回内容储存库。
已经描述了本发明的实施例，下面描述其中可以实现本发明的实施例的示例操作环境，以用于提供本发明的各个方面的一般背景。参考图6，示出了用于实现本发明的实施例的说明性操作环境，并且通常将其指定为计算设备600。计算设备600仅仅是合适的计算环境的一个示例，并且不旨在对本发明的使用范围或功能提出任何限制。也不应将计算设备600解释为具有与所示组件中的任何一个或组合有关的任何依赖性或要求。
本发明的实施例可以在计算机代码或机器可用指令的一般背景中描述，包含计算机可执行指令(诸如程序模块)，由计算机或诸如智能电话或其他手持设备之类的其他机器执行。通常，程序模块或引擎(包含例程、程序、对象、组件、数据结构等)是指执行特定任务或实现特定抽象数据类型的代码。本发明的实施例可以在各种系统配置中实践，包含手持设备、消费者电子产品、通用计算机、更专用计算设备等。本发明的实施例还可以在分布式计算环境中实施，其中任务是由通过通信网络链接的远程处理设备执行。
参考图6，计算设备600包含直接或间接耦合以下设备的总线610：存储器612、一个或多个处理器614、一个或多个呈现组件616、输入/输出端口618、输入/输出组件620和示例性电源622。总线610表示可以是一个或多个总线的总线(诸如地址总线、数据总线或其组合)。尽管为了清楚起见，图6的各个框都以清楚描绘的线示出，实际上，这样的描绘不是那么清楚并且这些线可能重叠。例如，可以将诸如显示设备之类的呈现组件也视为I/O组件。此外，处理器通常具有缓存形式的存储器。认识到这是本领域的本质，并且重申图6的示意图仅说明可结合本公开的一个或多个实施例使用的示例计算设备。在诸如“工作站”、“服务器”、“笔记本电脑”、“手持设备”等类别之间不进行区分，因为所有这些都预期在图6的范围内并且参考“计算设备”。
计算设备600通常包含各种计算机可读介质。计算机可读介质可以是可由计算设备600访问的任何可用介质，并且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。
计算机存储介质包含以用于诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的存储的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包含但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或可用于存储所期望信息并可由计算设备600访问的任何其他介质。计算机存储介质本身排除信号。
通信介质典型地以诸如载波之类的已调制数据信号或其他传输机制来体现计算机可读指令、数据结构、程序模块或其他数据，并且包含任何信息传递介质。术语“已调制数据信号”表示以这样的方式设置或改变信号的一个或多个特征以对信号中的信息进行编码的信号。作为示例而非限制，通信介质包含诸如有线网络或直接有线连接之类的有线介质，以及诸如声学、RF、红外和其他无线介质之类的无线介质。上述任何的组合也应包含在计算机可读介质的范围内。
存储器612包含易失性和/或非易失性存储器形式的计算机存储介质。如图所示，存储器612包含指令624，当由(一个或多个)处理器614执行时被配置为使计算设备执行本文描述的任何操作(参考上面讨论的附图)，或者实现本文描述的任何程序模块。存储器可以是可移除的、不可移除的或其组合。说明性硬件设备包含固态存储器、硬盘驱动器、光盘驱动器等。计算设备600包含从诸如存储器612或I/O组件620之类的各种实体读取数据的一个或多个处理器。(一个或多个)呈现组件616向用户或其他设备呈现数据指示。说明性呈现组件包含显示设备、扬声器、打印组件、振动组件等。
I/O端口618允许计算设备600在逻辑上耦合到包含I/O组件620的其他设备，某些组件可以内置。示例性组件包含麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。
在不脱离本发明的范围的情况下，可以对本发明的所示实施例进行许多变化。这些修改在本发明的范围内。已经关于特定实施例描述了本文呈现的实施例，这些实施例在所有方面都旨在是说明性的而不是限制性的。替代实施例和修改对于本领域普通技术人员来说是显而易见的，但不脱离本发明的范围。
从上述内容可以看出，本发明很好地适用于实现上文所述的所有目标和目的，以及带有明显的且结构固有的其他优点。应当理解，某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下采用。这是预期的并且在本发明的范围内。
在前面的详细描述中，参考了形成其一部分的附图，其中相同的附图标记始终表示相同的部分，并且其中通过图示的方式示出了可以实践的实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以进行结构或逻辑上的改变。因此，前面的详细描述不应被视为具有限制意义，并且实施例的范围由所附权利要求及其等同物限定。
已经使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将它们工作的实质传达给本领域其他技术人员。然而，对于本领域技术人员显而易见的是，可以仅利用某些所描述方面来实践替代实施例。出于解释的目的，阐述了具体的数量、材料和配置，以用于提供对说明性实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有具体细节的情况下实践替代实施例。在其他情况下，已经省略或简化了周知的特征，以免模糊说明性实施例。
已经以对理解说明性实施例最有帮助的方式将各种操作描述为多个分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是，这些操作不需要按照呈现的顺序执行。此外，作为单独操作的操作的描述不应被解释为要求操作必须独立地和/或由单独的实体执行。作为单独模块的实体和/或模块的描述同样不应被解释为要求模块是单独的和/或执行单独的操作。在各种实施例中，所示和/或描述的操作、实体、数据和/或模块可以合并、分成更多子部分和/或省略。
短语“在一个实施例中”或“在实施例中”被重复使用。该短语通常不是指同一个实施例；但是，它可以是同一个实施例。除非上下文另有规定，否则术语“包括”、“具有”和“包含”是同义词。短语“A/B”意指“A或B”。短语“A和/或B”意指“(A)、(B)或(A和B)”。短语“A、B和C中的至少一个”意指“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A，B和C)”。

Claims (20)

1.一种用于可穿戴设备上的电子文档导航的计算机实现的方法，包括：初始化所述可穿戴设备，其中，所述设备被配置为提供用于显示与至少一个数字标签相关联的内容；确定用于可穿戴设备的上下文；基于所确定的上下文提供至少一个数字标签可用于由经认证的用户选择的指示；接收命令以执行与从至少一个可用数字标签选择的数字标签相对应的动作；并且提供用于显示与所选择的数字标签相关联的内容的至少第一部分。
2.如权利要求1所述的方法，其中，所述数字标签与以下中的至少一个相关联：具体文档、文档内的页面、文档内页面上的xy坐标以及缩放级别。
3.如权利要求1所述的方法，其中，所述上下文是当前时间、经认证的用户角色、位置和设备方向中的至少一个。
4.如权利要求1所述的方法，其中，所接收的命令是语音命令。
5.如权利要求1所述的计算机存储介质，其中所述上下文由扫描条形码、扫描快速响应(QR)码、识别的蓝牙信标、感测的RFID标签或任何其他位置指示符中的至少一个来确定。
6.如权利要求1所述的方法，还包括：导航到内容的第二部分；并将新的数字标签与内容的所述第二部分相关联。
7.如权利要求6所述的方法，还包括：基于所接收的命令将注释添加到内容的所述第二部分；并且与所述数字标签同时显示所述注释。
8.如权利要求6所述的方法，其中与内容的所述第二部分相关联的所述新的数字标签与所存储的内容同步。
9.如权利要求8所述的方法，其中，所存储的内容被配置为能够在所辨识的用户之间共享，使得所述新的数字标签能够由后续经认证的用户访问。
10.如权利要求1所述的方法，还包括：将至少内容的第一部分被提供用于显示的指示记录为与所存储的内容相关联的元数据。
11.如权利要求6所述的方法，其中，所述可穿戴设备还被配置为基于与所确定的上下文相对应的第二确定的上下文来对应于所述新的数字标签。
12.至少一种计算机存储介质，其上具有指令，所述指令在由计算系统的至少一个处理器执行时，使得所述计算系统：初始化头戴式计算设备，其中所述头戴式计算设备与包括所存储的内容的内容存储系统可操作通信，所存储的内容包含至少第一数字标签；基于接收的传感器数据确定用于头戴式计算设备的上下文；在所述头戴式计算设备的显示器上提供用于选择的至少所述第一数字标签以用于显示给用户，其中所述第一数字标签对应于所存储的内容的特定部分，并且所述第一数字标签被提供用于基于所确定的内容进行显示；接收命令以选择所述第一数字标签；并且基于所接收的命令，提供用于显示所存储内容的所述特定部分以用于显示给用户。
13.如权利要求12所述的计算机存储介质，其中，所存储的内容是多个电子文档、特定电子文档以及特定电子文档的特定页面中的一个，并且其中所存储的内容的特定部分分别是多个电子文档中的特定电子文档、特定电子文档的特定页面以及特定电子文档的特定页面的特定部分中的一个。
14.如权利要求13所述的计算机存储介质，其中，所述数字标签分别对应于多个电子文档中的特定电子文档、特定电子文档的特定页面以及与特定电子文档的特定页面的特定部分相对应的xy坐标和/或缩放级别中的一个。
15.如权利要求12所述的计算机存储介质，其中，所述上下文是所述头戴式计算设备的位置、所述头戴式计算设备的方向、所述用户的角色、当前时间和所述头戴式计算设备的基本方位中的至少一个。
16.如权利要求12所述的计算机存储介质，其中所述指令还使所述计算系统：至少部分地基于额外接收的输入数据来确定第二头戴式计算设备的第二上下文；并且基于所确定的第二上下文，在头戴式计算设备的显示器上提供多个数字标签用于显示。
17.一种计算机化系统，包括：至少一个处理器；存储计算机可用指令的至少一个计算机存储介质，所述指令在由所述至少一个处理器执行时，使所述至少一个处理器：初始化头戴式计算设备，其中头戴式计算设备其上含有存储的内容，其中存储在头戴式计算设备上的多个数字标签每个对应于所存储的内容的一部分；基于接收的传感器数据确定用于头戴式计算设备的上下文；在头戴式计算设备的显示器上提供用于显示能够用于选择的至少第一数字标签，其中所述第一数字标签对应于所存储的内容的第一部分，所述第一数字标签被提供用于基于所确定的上下文进行显示；接收用以提供用于显示与所述第一数字标签相对应的所存储的内容的所述第一部分的命令；并且响应于所接收的命令，提供用于显示所存储的内容的所述第一部分。
18.如权利要求17所述的计算机化系统，其中至少第二数字标签也能够用于选择，所述第二数字标签对应于所存储的内容的第二部分，并且所述第二数字标签被提供用于基于所确定的上下文进行显示，并且其中所述计算机可用指令还使所述至少一个处理器：接收用以提供用于显示与所述第二数字标签相对应的所存储的内容的所述第二部分的第二命令，所存储的内容的所述第二部分对应于所述第二数字标签；并且响应于所接收的第二命令，提供用于显示所存储的内容的所述第二部分。
19.如权利要求17所述的计算机化系统，还包括：接收用以导航到所存储的内容的第三部分的命令；并且将第三数字标签与所存储的内容的所述第三部分相关联，使得所述第三数字标签对应于所存储的内容的所述第三部分。
20.如权利要求19所述的计算机化系统，还包括：使新的数字标签与所存储的内容同步。
CN201780084354.0A 2016-12-23 2017-12-15 用于可穿戴显示器的基于上下文的内容导航 Active CN110199240B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/390,389 US11099716B2 (en) 2016-12-23 2016-12-23 Context based content navigation for wearable display
US15/390,389 2016-12-23
PCT/US2017/066656 WO2018118680A1 (en) 2016-12-23 2017-12-15 Context based content navigation for wearable display

Publications (2)

Publication Number Publication Date
CN110199240A true CN110199240A (zh) 2019-09-03
CN110199240B CN110199240B (zh) 2024-02-02

Family

ID=62627875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084354.0A Active CN110199240B (zh) 2016-12-23 2017-12-15 用于可穿戴显示器的基于上下文的内容导航

Country Status (4)

Country Link
US (1) US11099716B2 (zh)
EP (1) EP3559777B1 (zh)
CN (1) CN110199240B (zh)
WO (1) WO2018118680A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US20190370544A1 (en) * 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication
KR102433368B1 (ko) * 2018-07-12 2022-08-17 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
EP4064109B1 (en) * 2019-05-06 2023-11-29 Google LLC Secure communication in mobile digital pages
US20220091707A1 (en) 2020-09-21 2022-03-24 MBTE Holdings Sweden AB Providing enhanced functionality in an interactive electronic technical manual
US11929068B2 (en) 2021-02-18 2024-03-12 MBTE Holdings Sweden AB Providing enhanced functionality in an interactive electronic technical manual
JP2024515424A (ja) * 2021-02-26 2024-04-10 北京字跳▲網▼絡技▲術▼有限公司 情報処理、情報インタラクション、ラベルチェック、情報表示方法及び装置
US11947906B2 (en) 2021-05-19 2024-04-02 MBTE Holdings Sweden AB Providing enhanced functionality in an interactive electronic technical manual

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026529A1 (en) * 2000-08-29 2002-02-28 Yasuo Sugahara Automatic display method and apparatus for update information, and medium storing program for the method
US20040044958A1 (en) * 2002-08-27 2004-03-04 Wolf John P. Systems and methods for inserting a metadata tag in a document
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
US20060282784A1 (en) * 2005-06-14 2006-12-14 Microsoft Corporation Providing smart user interfaces based on document open and/or edit context
US20090144321A1 (en) * 2007-12-03 2009-06-04 Yahoo! Inc. Associating metadata with media objects using time
US20100241663A1 (en) * 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
JP2011170418A (ja) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd 画像イメージを検索するタグデータの生成方法
US20110271224A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Pinning of tabs in tab groups
US20120290964A1 (en) * 2010-11-09 2012-11-15 Chia-Ying Lee Method for creating bookmark and electronic reading device using the same
US20130054576A1 (en) * 2011-08-23 2013-02-28 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
CN103198093A (zh) * 2012-01-05 2013-07-10 国际商业机器公司 用于定制标签云的方法和系统
US20140098132A1 (en) * 2012-10-05 2014-04-10 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US8706685B1 (en) * 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
CN103870512A (zh) * 2012-12-18 2014-06-18 腾讯科技（深圳）有限公司 一种生成用户兴趣标签的方法及装置
CN104123294A (zh) * 2013-04-25 2014-10-29 腾讯科技（深圳）有限公司 添加书签的方法及装置
US8922481B1 (en) * 2012-03-16 2014-12-30 Google Inc. Content annotation
US8947322B1 (en) * 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US20160261590A1 (en) * 2015-03-03 2016-09-08 Kobo Incorporated Method and system of shelving digital content items for multi-user shared e-book accessing

Family Cites Families (311)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE465014C (sv) 1987-09-02 1996-08-04 Kompositprodukter Sk Fm Ab Hörselskydd
US5046192A (en) 1989-09-26 1991-09-10 Ryder International Corporation Headset sun visor
US5185807A (en) 1991-05-08 1993-02-09 David Clark Company Incorporated Headset with multi-position stirrup assemblies
DE69434843T2 (de) 1993-08-12 2007-02-15 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungssystem
US6061064A (en) 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5815126A (en) 1993-10-22 1998-09-29 Kopin Corporation Monocular portable communication and display system
US5806079A (en) * 1993-11-19 1998-09-08 Smartpatents, Inc. System, method, and computer program product for using intelligent notes to organize, link, and manipulate disparate data objects
US6587700B1 (en) 1994-06-23 2003-07-01 At&T Wireless Services, Inc. Personal communicator with flip element display
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5694562A (en) 1995-01-17 1997-12-02 Fisher; Thomas A. Closely integrated key icons in a graphical interface
US5767820A (en) 1995-05-09 1998-06-16 Virtual Research Systems Head-mounted visual display apparatus
US7453451B1 (en) 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
US5796374A (en) 1996-03-08 1998-08-18 Virtual Vision, Inc. Support for a head mounted display system
DE19625351C1 (de) 1996-06-25 1997-11-20 Lemfoerder Metallwaren Ag Verfahren zur Herstellung eines reibungsarmen Kugelgelenkes, sowie reibungsarmes Kugelgelenk
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5796404A (en) 1996-07-01 1998-08-18 Sun Microsystems, Inc. Computer system having alphanumeric keyboard access to objects in graphical user interface
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6222583B1 (en) 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6600480B2 (en) 1998-12-31 2003-07-29 Anthony James Francis Natoli Virtual reality keyboard system and method
US6388657B1 (en) 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
US6114978A (en) 1998-01-14 2000-09-05 Lucent Technologies Inc. Method and apparatus for assignment of shortcut key combinations in a computer software application
US6911969B1 (en) 1998-05-01 2005-06-28 Honeywell International Inc. Handheld computer apparatus
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
DE19839461C1 (de) 1998-08-29 1999-11-04 Flm Gmbh Foto Licht Und Mestec Stativkopf
US6867752B1 (en) 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6489976B1 (en) 1998-12-15 2002-12-03 International Business Machines Corporation System and method for displaying pop-up symbols for indicating accelerator keys for implementing computer software options
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6434250B1 (en) 1999-03-05 2002-08-13 Parker I. Tsuhako Stereo headset with angled speakers
US7124425B1 (en) 1999-03-08 2006-10-17 Immersion Entertainment, L.L.C. Audio/video system and method utilizing a head mounted apparatus with noise attenuation
AU3761200A (en) 1999-03-17 2000-10-04 Colorado Microdisplay, Inc. Headset boom for image display module
US6496842B1 (en) 1999-05-28 2002-12-17 Survol Interactive Technologies Navigating heirarchically organized information
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
EP1285330B1 (en) 2000-05-11 2006-08-30 Nes Stewart Irvine Zeroclick
AU2000242834A1 (en) 2000-05-16 2001-11-26 Swisscom Mobile Ag Method and terminal for inputting instructions
JP2002032212A (ja) 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US8065620B2 (en) 2001-01-31 2011-11-22 Computer Associates Think, Inc. System and method for defining and presenting a composite web page
FI20010958A0 (fi) 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6882974B2 (en) 2002-02-15 2005-04-19 Sap Aktiengesellschaft Voice-control for a user interface
US7246063B2 (en) 2002-02-15 2007-07-17 Sap Aktiengesellschaft Adapting a user interface for voice control
AR035939A1 (es) 2002-03-04 2004-07-28 Rolla Jose Maria Mejoras en auriculares plegables
KR100833229B1 (ko) 2002-03-16 2008-05-28 삼성전자주식회사 다층구조 포커싱 방법 및 그 장치
US6941521B2 (en) 2002-03-29 2005-09-06 Intel Corporation Method for dynamically generating a user interface from XML-based documents
US7353464B1 (en) 2002-04-01 2008-04-01 Microsoft Corporation Hierarchical data navigation tool populated by a web service
TW594658B (en) 2002-07-01 2004-06-21 Leadtek Research Inc Helmet-mounted display
WO2004015543A2 (en) 2002-08-09 2004-02-19 Recare, Inc. Method and system for context-sensitive recognition of human input
US7243309B2 (en) 2002-12-03 2007-07-10 Intel Corporation Interface accelerator
JP3843951B2 (ja) 2003-02-13 2006-11-08 株式会社ニコン 画像表示装置
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
ITMI20030121A1 (it) 2003-01-27 2004-07-28 Giuseppe Donato Sistema modulare di sorveglianza per il monitoraggio di ambienti critici.
US7290220B2 (en) 2003-04-03 2007-10-30 International Business Machines Corporation Method and apparatus for non-sequential access of form fields
US6708339B1 (en) 2003-04-22 2004-03-23 James Smith, Jr. Sport helmet face guard
EP1472944B1 (en) 2003-05-02 2009-06-17 Jose Maria Rolla Ear protector for helmet and helmet including said ear protector
US8046705B2 (en) 2003-05-08 2011-10-25 Hillcrest Laboratories, Inc. Systems and methods for resolution consistent semantic zooming
JP2004363718A (ja) 2003-06-02 2004-12-24 Sanyo Electric Co Ltd アンテナ装置
US20050015730A1 (en) 2003-07-14 2005-01-20 Srimanth Gunturi Systems, methods and computer program products for identifying tab order sequence of graphically represented elements
US7389236B2 (en) 2003-09-29 2008-06-17 Sap Aktiengesellschaft Navigation and data entry for open interaction elements
US7389235B2 (en) 2003-09-30 2008-06-17 Motorola, Inc. Method and system for unified speech and graphic user interfaces
WO2005051036A2 (en) 2003-11-13 2005-06-02 Logitech Europe S.A. Behind-the-head mounted personal audio set
US7190330B2 (en) 2004-01-07 2007-03-13 Icuiti Corporation Virtual display headset
US7315988B2 (en) 2004-02-02 2008-01-01 International Business Machines Corporation System and method for using short captions to map user interfaces
US9116890B2 (en) * 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
WO2005098698A1 (ja) 2004-04-08 2005-10-20 Justsystems Corporation 文書処理装置
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
US20060074980A1 (en) 2004-09-29 2006-04-06 Sarkar Pte. Ltd. System for semantically disambiguating text information
US7519923B2 (en) 2004-10-20 2009-04-14 International Business Machines Corporation Method for generating a tree view of elements in a graphical user interface (GUI)
US8788271B2 (en) 2004-12-22 2014-07-22 Sap Aktiengesellschaft Controlling user interfaces with contextual voice commands
US7134094B2 (en) 2005-01-14 2006-11-07 Microsoft Corporation Automatic assigning of shortcut keys
CN101156104A (zh) 2005-02-11 2008-04-02 奥克利有限公司 具有可拆卸的可调电子模块的眼镜
JP4572737B2 (ja) 2005-05-10 2010-11-04 株式会社島津製作所 ヘッドマウントディスプレイ
US20060256090A1 (en) 2005-05-12 2006-11-16 Apple Computer, Inc. Mechanical overlay
CN1293446C (zh) 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7661074B2 (en) 2005-07-01 2010-02-09 Microsoft Corporation Keyboard accelerator
US20070052672A1 (en) 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
US7933900B2 (en) 2005-10-23 2011-04-26 Google Inc. Search over structured data
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
JP4957177B2 (ja) 2006-01-20 2012-06-20 株式会社デンソー 表示装置
US7773767B2 (en) 2006-02-06 2010-08-10 Vocollect, Inc. Headset terminal with rear stability strap
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8334841B2 (en) 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US20070220108A1 (en) 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US7928926B2 (en) 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7613292B2 (en) 2006-09-29 2009-11-03 Sony Ericsson Mobile Communications Ab Adjustable earpiece
US9471333B2 (en) 2006-11-03 2016-10-18 Conceptual Speech, Llc Contextual speech-recognition user-interface driven system and method
US20170017464A1 (en) 2006-11-03 2017-01-19 Philippe Roy Layered contextual configuration management system and method and minimized input speech recognition user interface interactions experience
US8051105B1 (en) 2007-01-10 2011-11-01 The Mathworks, Inc. Directing searches on tree data structures
WO2008088691A2 (en) 2007-01-12 2008-07-24 Kopin Corporation Head mounted monocular display device
US7849397B1 (en) 2007-04-12 2010-12-07 Intuit Inc. System and method for providing electronic data entry forms with trainable data field sequencing
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US7722358B2 (en) 2007-06-15 2010-05-25 Microsoft Corporation Electrical connection between devices
US7962344B2 (en) 2007-06-29 2011-06-14 Microsoft Corporation Depicting a speech user interface via graphical elements
JP2009033308A (ja) 2007-07-25 2009-02-12 Nikon Corp ヘッドマウントディスプレイ
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
CN201114708Y (zh) 2007-08-16 2008-09-10 光宝科技股份有限公司 耳挂式耳机及其立体声耳机装置
FR2921991B1 (fr) 2007-10-09 2011-05-06 Skf Aerospace France Rotule legere d'articulation et procede de fabrication d'une telle rotule
US20090100732A1 (en) 2007-10-19 2009-04-23 Concept Workshop Worldwide, Llc Magnetic display device
US8072393B2 (en) 2007-11-15 2011-12-06 Symbol Technologies, Inc. User interface for a head mounted display
WO2009063968A1 (ja) 2007-11-16 2009-05-22 Nikon Corporation 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US9268580B2 (en) 2007-12-12 2016-02-23 International Business Machines Corporation Overlaying help, training, documentation, or translation over an existing application
US20090182562A1 (en) 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
IL189251A0 (en) 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US8726164B2 (en) * 2008-05-30 2014-05-13 Microsoft Corporation Mark-up extensions for semantically more relevant thumbnails of content
US8645831B2 (en) 2008-07-03 2014-02-04 Cyberlink Corp. Translating user input in a user interface
US8321226B2 (en) 2008-08-08 2012-11-27 Hewlett-Packard Development Company, L.P. Generating speech-enabled user interfaces
US8478111B2 (en) 2008-10-03 2013-07-02 3M Innovative Properties Company Systems and methods for optimizing a scene
AU2009298416B8 (en) 2008-10-03 2013-08-29 3M Innovative Properties Company Systems and methods for evaluating robustness
US8432400B1 (en) 2008-12-02 2013-04-30 Adobe Systems Incorporated Transitional animation for generating tree maps
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20100315329A1 (en) 2009-06-12 2010-12-16 Southwest Research Institute Wearable workspace
US8773330B2 (en) 2009-06-25 2014-07-08 The Boeing Company Method and apparatus for a virtual mission control station
US20130169514A1 (en) 2009-06-25 2013-07-04 The Boeing Company Method and apparatus for a virtual mission control station
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2011038486A1 (en) 2009-10-02 2011-04-07 Willborn Investments Incorporated Multiposition visor adaptor system
US9292084B2 (en) 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
US20110090135A1 (en) 2009-10-21 2011-04-21 Symbol Technologies, Inc. Interchangeable display device for a head-mounted display system
US20110096036A1 (en) 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
CN102812417B (zh) 2010-02-02 2016-03-02 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
CN201674632U (zh) 2010-05-14 2010-12-15 中名(东莞)电子有限公司 三维活动耳机带
US20120002046A1 (en) 2010-06-30 2012-01-05 Raytheon Company Flip-Up Hands-Free Display Mount
US9916006B2 (en) 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US9977496B2 (en) 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8667421B2 (en) 2010-08-03 2014-03-04 Aaron Grunberger Method and system for revisiting prior navigated pages and prior edits
US9111498B2 (en) 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8619005B2 (en) 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
WO2012040086A1 (en) 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
JP5801545B2 (ja) 2010-10-15 2015-10-28 キヤノン株式会社 情報処理装置、その情報処理方法及びプログラム
US8994610B2 (en) 2010-11-08 2015-03-31 Symbol Technologies, Inc. User configurable headset
KR20120063982A (ko) 2010-12-08 2012-06-18 한국전자통신연구원 시각장애 사용자를 위한 인터페이스 장치 및 방법
US9436381B2 (en) 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US9081550B2 (en) 2011-02-18 2015-07-14 Nuance Communications, Inc. Adding speech capabilities to existing computer applications with complex graphical user interfaces
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US20130007672A1 (en) 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US8631371B2 (en) 2011-06-29 2014-01-14 International Business Machines Corporation Method, system and program storage device for modeling the capacitance associated with a diffusion region of a silicon-on-insulator device
US20130021269A1 (en) 2011-07-20 2013-01-24 Google Inc. Dynamic Control of an Active Input Region of a User Interface
WO2013014709A1 (ja) 2011-07-27 2013-01-31 三菱電機株式会社 ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
US9168176B2 (en) 2011-08-24 2015-10-27 Donald Scott Peebles Combination ear and eye protection system and related method
US20140361988A1 (en) 2011-09-19 2014-12-11 Eyesight Mobile Technologies Ltd. Touch Free Interface for Augmented Reality Systems
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9377852B1 (en) 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US20130117105A1 (en) 2011-09-30 2013-05-09 Matthew G. Dyor Analyzing and distributing browsing futures in a gesture based user interface
US20130117111A1 (en) 2011-09-30 2013-05-09 Matthew G. Dyor Commercialization opportunities for informational searching in a gesture-based user interface
US9135914B1 (en) 2011-09-30 2015-09-15 Google Inc. Layered mobile application user interfaces
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8848940B2 (en) 2011-10-06 2014-09-30 Symbol Technologies, Inc. Modular headset computer
US8977205B2 (en) 2011-10-06 2015-03-10 Symbol Technologies, Inc. Head-mounted computer with peripheral expansion port
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8866852B2 (en) 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US10025381B2 (en) 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9705605B2 (en) 2012-02-09 2017-07-11 N2 Imaging Systems, LLC Intrapersonal data communication system
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US9075249B2 (en) 2012-03-07 2015-07-07 Google Inc. Eyeglass frame with input and output functionality
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20130246920A1 (en) 2012-03-19 2013-09-19 Research In Motion Limited Method of enabling voice input for a visually based interface
US10229222B2 (en) 2012-03-26 2019-03-12 Greyheller, Llc Dynamically optimized content display
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9417660B2 (en) 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
JP5942586B2 (ja) 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9378028B2 (en) 2012-05-31 2016-06-28 Kopin Corporation Headset computer (HSC) with docking station and dual personality
US9583032B2 (en) 2012-06-05 2017-02-28 Microsoft Technology Licensing, Llc Navigating content using a physical object
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US20140002357A1 (en) 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US8917238B2 (en) 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
JP5358725B1 (ja) 2012-07-02 2013-12-04 株式会社アライヘルメット マイクロフォンの保持装置及びオープンフェースヘルメット
TWI498771B (zh) 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9602760B2 (en) 2012-07-25 2017-03-21 Dell Products, Lp Modular display monitor
US20140035819A1 (en) 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
KR101321157B1 (ko) 2012-08-07 2013-10-23 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
WO2014024009A1 (en) 2012-08-10 2014-02-13 Nokia Corporation Spatial audio user interface apparatus
US8868426B2 (en) 2012-08-23 2014-10-21 Freedom Scientific, Inc. Screen reader with focus-based speech verbosity
US20140092018A1 (en) 2012-09-28 2014-04-03 Ralf Wolfgang Geithner Non-mouse cursor control including modified keyboard input
KR20140052294A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
US10146316B2 (en) 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
US9658695B2 (en) 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9298970B2 (en) 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
JP6420769B2 (ja) 2013-01-04 2018-11-07 コピン コーポレーション 二分岐音声認識
US9134793B2 (en) 2013-01-04 2015-09-15 Kopin Corporation Headset computer with head tracking input used for inertial control
US9164588B1 (en) 2013-02-05 2015-10-20 Google Inc. Wearable computing device with gesture recognition
US20140218269A1 (en) 2013-02-07 2014-08-07 Google Inc., Modular frame construction for head mountable display
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9395816B2 (en) 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140253605A1 (en) 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
CN104969148B (zh) 2013-03-14 2018-05-29 英特尔公司 基于深度的用户界面手势控制
US9239661B2 (en) 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
US20140282118A1 (en) 2013-03-15 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Graphical user interface displaying multi-branched browsing history tree for web navigation
US9779517B2 (en) 2013-03-15 2017-10-03 Upskill, Inc. Method and system for representing and interacting with augmented reality content
US20140289641A1 (en) 2013-03-20 2014-09-25 Jerome Eymard Whitcroft Adaptive User Interface
KR102081930B1 (ko) 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
EP2983064B1 (en) 2013-04-02 2019-11-27 Sony Corporation Information processing apparatus, information processing method, and program
US9615067B1 (en) 2013-04-24 2017-04-04 Rockwell Collins, Inc. Head mounted digital viewing system
WO2014186682A1 (en) 2013-05-17 2014-11-20 Gentex Corporation Mount arm for a helmet mounted display
CN105229720B (zh) 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
US9678637B1 (en) * 2013-06-11 2017-06-13 Audible, Inc. Providing context-based portions of content
WO2014201213A1 (en) 2013-06-12 2014-12-18 Oakley, Inc. Modular heads-up display system
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR20150020918A (ko) 2013-08-19 2015-02-27 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
WO2015030099A1 (ja) 2013-08-30 2015-03-05 ブラザー工業株式会社 画像表示装置及びヘッドマウントディスプレイ
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
KR102083596B1 (ko) 2013-09-05 2020-03-02 엘지전자 주식회사 디스플레이장치 및 디스플레이장치의 동작방법
JP6209906B2 (ja) 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
WO2015065478A1 (en) 2013-11-01 2015-05-07 Intel Corporation Gaze-assisted touchscreen inputs
US20150138089A1 (en) 2013-11-15 2015-05-21 TabiTop, LLC Input devices and methods
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9690854B2 (en) 2013-11-27 2017-06-27 Nuance Communications, Inc. Voice-enabled dialog interaction with web pages
US9229235B2 (en) 2013-12-01 2016-01-05 Apx Labs, Inc. Systems and methods for unlocking a wearable device
US9285872B1 (en) 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US9690763B1 (en) 2013-12-17 2017-06-27 Bryant Christopher Lee Display of webpage elements on a connected computer
JP6260255B2 (ja) 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
WO2015108854A1 (en) 2014-01-14 2015-07-23 Artisent, Llc Pivot-arm assembly for a helmet mounted headset
US20150199106A1 (en) 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
WO2015116972A1 (en) 2014-01-31 2015-08-06 Kopin Corporation Head-tracking based technique for moving on-screen objects on head mounted displays (hmd)
EP3090531B1 (en) 2014-02-03 2019-04-10 Kopin Corporation Smart bluetooth headset for speech command
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9836192B2 (en) 2014-02-25 2017-12-05 Evan Glenn Katsuranis Identifying and displaying overlay markers for voice command user interface
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9477888B1 (en) 2014-03-27 2016-10-25 Amazon Technologies, Inc. Providing computer-based instructions without displays
WO2015154093A2 (en) 2014-04-05 2015-10-08 Wearable Intelligence Systems and methods for digital workflow and communication
US10332314B2 (en) 2014-05-07 2019-06-25 Commscope Technologies Llc Hands-free asset identification, location and management system
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
JP6233208B2 (ja) 2014-06-30 2017-11-22 ブラザー工業株式会社 ヘッドマウントディスプレイ
KR102209512B1 (ko) 2014-06-30 2021-01-29 엘지전자 주식회사 글래스 타입 단말기
WO2016036862A1 (en) 2014-09-02 2016-03-10 Tobii Ab Gaze based text input systems and methods
JP2016054351A (ja) 2014-09-02 2016-04-14 株式会社Ｊｖｃケンウッド ヘッドマウントディスプレイ
WO2016039440A1 (ja) 2014-09-12 2016-03-17 ブラザー工業株式会社 ヘッドマウントディスプレイ、画像表示ユニットおよび装着具
US9547365B2 (en) 2014-09-15 2017-01-17 Google Inc. Managing information display
US10691299B2 (en) 2014-09-25 2020-06-23 Oracle International Corporation Display of hierarchical datasets using high-water mark scrolling
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
CN104407478B (zh) 2014-10-20 2018-02-09 深圳市亿思达科技集团有限公司 液晶镜片和智能眼镜
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US20180276896A1 (en) * 2014-11-07 2018-09-27 Pcms Holdings, Inc. System and method for augmented reality annotations
US10248192B2 (en) 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10255101B2 (en) 2014-12-11 2019-04-09 Sap Se Device emulator
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US20160179855A1 (en) * 2014-12-23 2016-06-23 Yahoo! Inc. Ubiquitous content access and management
US10255249B1 (en) * 2014-12-23 2019-04-09 Amazon Technologies, Inc. Previewing electronic book content within third-party websites
JP6380091B2 (ja) 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9674178B2 (en) 2015-02-05 2017-06-06 Ca, Inc. Secure user input mode using randomized mapping between ordered sets of symbols
US9697296B2 (en) * 2015-03-03 2017-07-04 Apollo Education Group, Inc. System generated context-based tagging of content items
US9715111B2 (en) 2015-03-27 2017-07-25 Ca, Inc. Secure user input mode for electronic devices using randomized locations of selection indicia
JP6115585B2 (ja) 2015-03-31 2017-04-19 ブラザー工業株式会社 ヘッドマウントディスプレイ及び画像表示装置
JP6534292B2 (ja) 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP6439935B2 (ja) 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
US9442575B1 (en) 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US20160342782A1 (en) 2015-05-18 2016-11-24 Daqri, Llc Biometric authentication in a head mounted device
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10416835B2 (en) 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
CN105228089B (zh) 2015-09-30 2019-11-05 成都信汇聚源科技有限公司 一种可穿戴设备多传感器适配及实时数据采集方法
US20170092002A1 (en) 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US9679497B2 (en) 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
KR102400900B1 (ko) 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
WO2017082457A1 (ko) 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
KR20170067058A (ko) 2015-12-07 2017-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20170067260A (ko) 2015-12-08 2017-06-16 삼성전자주식회사 웹 페이지 운용 방법 및 이를 지원하는 전자 장치
KR102524641B1 (ko) 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10275023B2 (en) 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
KR20170129509A (ko) 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US11599709B2 (en) 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
US10223426B2 (en) * 2016-05-25 2019-03-05 Bank Of America Corporation System for providing contextualized search results of help topics
US20170351778A1 (en) * 2016-06-02 2017-12-07 vFLYER INC. Methods and systems for managing bookmarks
US10089000B2 (en) 2016-06-03 2018-10-02 Microsoft Technology Licensing, Llc Auto targeting assistance for input devices
CN105848040A (zh) 2016-06-08 2016-08-10 安徽理工大学 一种智能头戴式防噪音耳机
US10489978B2 (en) 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
US9922254B1 (en) 2016-09-13 2018-03-20 Chi Fai Ho Apparatus and method to determine a distance of a visual object using a label
US10725720B2 (en) 2016-09-26 2020-07-28 Microsoft Technology Licensing, Llc Navigation in augmented reality via a transient user interface control
US10089159B2 (en) 2016-11-03 2018-10-02 Microsoft Technology Licensing, Llc Processing non-spatial input by multiple program elements of a computer program executed on a computer
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
US10540064B1 (en) 2016-12-21 2020-01-21 Juniper Networks, Inc. Framework for creating hierarchical navigation trees using user interface plugins
US10140773B2 (en) 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
CN108509824B (zh) 2017-02-24 2020-08-18 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
US10621271B2 (en) 2017-05-25 2020-04-14 Microsoft Technology Licensing, Llc Reordering a multi-level layout using a hierarchical tree
US20180373325A1 (en) 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026529A1 (en) * 2000-08-29 2002-02-28 Yasuo Sugahara Automatic display method and apparatus for update information, and medium storing program for the method
US20040044958A1 (en) * 2002-08-27 2004-03-04 Wolf John P. Systems and methods for inserting a metadata tag in a document
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
US20060282784A1 (en) * 2005-06-14 2006-12-14 Microsoft Corporation Providing smart user interfaces based on document open and/or edit context
US20090144321A1 (en) * 2007-12-03 2009-06-04 Yahoo! Inc. Associating metadata with media objects using time
US20100241663A1 (en) * 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
US8706685B1 (en) * 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
JP2011170418A (ja) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd 画像イメージを検索するタグデータの生成方法
US20110271224A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Pinning of tabs in tab groups
US20120290964A1 (en) * 2010-11-09 2012-11-15 Chia-Ying Lee Method for creating bookmark and electronic reading device using the same
US20130054576A1 (en) * 2011-08-23 2013-02-28 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
CN103198093A (zh) * 2012-01-05 2013-07-10 国际商业机器公司 用于定制标签云的方法和系统
US8922481B1 (en) * 2012-03-16 2014-12-30 Google Inc. Content annotation
US8947322B1 (en) * 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US20140098132A1 (en) * 2012-10-05 2014-04-10 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
CN103870512A (zh) * 2012-12-18 2014-06-18 腾讯科技（深圳）有限公司 一种生成用户兴趣标签的方法及装置
CN104123294A (zh) * 2013-04-25 2014-10-29 腾讯科技（深圳）有限公司 添加书签的方法及装置
US20160261590A1 (en) * 2015-03-03 2016-09-08 Kobo Incorporated Method and system of shelving digital content items for multi-user shared e-book accessing

Also Published As

Publication number Publication date
WO2018118680A1 (en) 2018-06-28
EP3559777A1 (en) 2019-10-30
US11099716B2 (en) 2021-08-24
EP3559777A4 (en) 2020-08-05
EP3559777B1 (en) 2023-10-04
US20180181264A1 (en) 2018-06-28
CN110199240B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110199240A (zh) 用于可穿戴显示器的基于上下文的内容导航
US10936872B2 (en) Hands-free contextually aware object interaction for wearable display
US11163935B2 (en) Intelligent navigation via a transient user interface control
US11182609B2 (en) Method and apparatus for recognition and matching of objects depicted in images
CA2825113C (en) Information supply device
US10725720B2 (en) Navigation in augmented reality via a transient user interface control
US9583032B2 (en) Navigating content using a physical object
CN102364464B (zh) 对象实例版本化
Sang et al. Interaction design for mobile visual search
CN103620605A (zh) 将搜索历史组织成合集
US20060173803A1 (en) Method and system for associating specific files with different applications
EP3179386A1 (en) Method of tracking locations of stored items
JP2006146912A (ja) コンピュータ環境携帯装置
US11636663B2 (en) Localizing relevant objects in multi-object images
US20130132900A1 (en) Apparatus and method for associating and displaying icons in relation to a frequency of icon selection
CN105264523A (zh) 通过模式识别的简化合作搜索
WO2008102947A1 (en) Method and apparatus for managing files and information storage medium storing the files
CN112020712A (zh) 视觉搜索的数字补充关联和检索
CN107111476A (zh) 无限搜索结果页面
KR100866379B1 (ko) 모바일 환경에서의 객체 기반 온라인 포스트잇 서비스시스템 및 방법
KR20180071886A (ko) 컨텐트를 분류하는 방법 및 전자 장치
JP2023075390A (ja) 陳列書籍等の関連情報表示プログラムおよび装置
JP2006182551A (ja) 文書管理システムおよび文書管理方法およびプログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant