CN109478124A - 增强现实装置及其操作 - Google Patents

增强现实装置及其操作 Download PDF

Info

Publication number
CN109478124A
CN109478124A CN201780043883.6A CN201780043883A CN109478124A CN 109478124 A CN109478124 A CN 109478124A CN 201780043883 A CN201780043883 A CN 201780043883A CN 109478124 A CN109478124 A CN 109478124A
Authority
CN
China
Prior art keywords
information
user
service
content
dining room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780043883.6A
Other languages
English (en)
Other versions
CN109478124B (zh
Inventor
金志姬
朴成浩
西蒙·吉比斯
安东尼·利奥
阿诺·雷尼维尔
罗璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109478124A publication Critical patent/CN109478124A/zh
Application granted granted Critical
Publication of CN109478124B publication Critical patent/CN109478124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

装置可包括配置成拍摄包括对象的图像的实时图像数据的相机和联接至相机的处理器。处理器可配置成使用计算机视觉技术基于与对象相关的情境信息来识别实时图像数据中被选择的部分的内容，并基于识别内容生成视觉信息。装置还可包括联接至处理器的接口电路。接口电路可配置成呈现实时图像数据，并将视觉信息与实时图像数据重叠。

Description

增强现实装置及其操作
技术领域
本发明的实施方式总体涉及增强现实(AR)，并且更具体地，涉及基于情境信息利用AR技术提供增强型用户体验的装置。
背景技术
AR表示由数字数据修饰的现实世界环境。例如，AR技术可将计算机生成的图像(CGI)混合至用户的可观察视野中，这可通过以下装置实现：1)抬头显示器，其允许CGI被投影至部分透明的显示表面上，诸如用户佩戴的眼镜或护目镜；和/或2)传统显示表面，诸如平板电脑或智能电话屏幕，其示出与CGI结合的实时相机信号。
发明内容
技术问题
AR正在迅速成为主流。AR可被部署在包括娱乐、教育、健康和工业生产的多种领域中。尽管如此，许多人不愿意获取和/或佩戴额外的新硬件。此外，AR解决方案的应用通常需要针对环境、情境和用户定制的引人入胜的内容。因此，为了向消费者提供AR解决方案，就对于包括新类型的交互模型和增强型连接服务的解决方案的需求而言，仍然存在巨大的挑战。
附图说明
图1是示出了支持增强型AR体验的示例性系统的框图。
图2是示出了支持增强AR体验的装置的示例性结构的框图。
图3是可在图2的装置处呈现的示例性图形用户接口(GUI)。
图4是提供增强AR体验的应用的示例性GUI，其中，GUI可在图2的装置处呈现。
图5是示出了支持图4的应用的功能的系统的示例性部件的框图。
图6是示出了基于情境信息提供增强的示例方法的流程图。
图7是示出了项目协调的示例性方法的流程图。
图8是示出了项目增强的示例性方法的流程图。
图9是示出了检索用于增强的附加信息的示例性方法的流程图。
图10至图11共同示出了图3的应用的示例使用。
图12是由图3的应用呈现的增强的示例性GUI。
图13至图14共同示出了用于获取个人信息的示例性GUI。
图15和图16(A)至图16(C)共同示出了与图3的应用相关的服务的示例。
最佳实施方式
实施方式可包括装置。该装置可包括相机、处理器和接口电路。相机可配置成拍摄包括对象的图像的实时图像。使用该实时图像数据。联接至相机的处理器可配置成识别实时图像中被选择的部分的内容并基于所识别的内容生成视觉信息。联接至处理器的接口电路可配置成将视觉信息与实时图像重叠。
实施方式可包括图像处理的方法。该方法可包括在装置的接口处呈现由联接至装置的相机拍摄的实时图像数据。该方法可包括通过装置的处理器并使用计算机视觉技术识别实时图像数据中被选择的部分的内容，并基于所识别的内容通过处理器生成视觉信息。该方法可包括将视觉信息与实时图像数据重叠。
计算机可读存储介质，其上存储有程序代码。程序代码可被处理器运行以执行方法。该方法可包括在装置的接口处呈现由联接至装置的相机拍摄的实时图像数据。该方法可包括通过装置的处理器并使用计算机视觉技术识别实时图像数据中被选择的部分的内容，并基于所识别的内容通过处理器生成视觉信息。该方法可包括将视觉信息与实时图像数据重叠。
提供该发明内容部分仅为了介绍某些概念而非为了标识所要求保护的主题的任何关键特征或必要特征。从附图和下文详细的描述，本发明的许多其它特征和实施方式将显而易见。
具体实施方式
虽然本公开以限定新颖特征的权利要求作结，但相信通过结合附图考虑说明书将更好地理解本文中描述的各种特征。出于说明的目的而提供在本公开中描述的一个或多个过程、一个或多个机器、一个或多个制造及其任何变型。所描述的任何具体结构和功能细节不应被解释为限制，而是仅作为权利要求的基础并作为教导本领域技术人员以各种方式采用在实际上任何适当详细的结构中描述的特征的代表性基础。此外，本公开中使用的措辞和短语不旨在进行限制，而是旨在提供对所描述的特征的可理解的描述。
本公开涉及AR，并且更具体地，涉及基于情境信息提供虚拟内容层以增强用户对现实世界对象的可观察视野的装置。根据本文中所公开的发明性布置，提供了一种能够基于与装置相关的情境信息(例如，地理位置)来支持可视化以增强用户体验的装置。通过装置提供的可视化可基于来自利用情境信息的服务的数据进行构造。下文将参照附图对这些发明性布置的其它方面进行更详细的描述。
本文中描述的发明性布置可实施为由数据处理系统执行的方法或过程。在另一方面，发明性布置可实施为诸如具有处理器的数据处理系统的设备。在运行程序代码/指令时，处理器可执行本文中描述的一个或多个操作。在又一方面，发明性布置可实施为存储程序代码/指令的非暂时性计算机可读存储介质，在运行这些程序代码/指令时使得处理器和/或系统执行和/或开始方法或过程。
图1是示出了支持增强型AR体验的示例性系统100的图。如图所示，系统100可包括装置110和一个或多个服务120。出于描述的目的，装置110与用户130相关联，并基于来自一个或多个服务的数据为用户130呈现增强型AR体验。在一个实施方式中，一个或多个服务120不驻存在装置110中，而是可通过网络140与装置110通信链接。可能需要认证和验证过程来在装置110与一个或多个服务120之间建立通信链路。装置110和一个或多个服务120可实施为数据处理系统，其运行诸如操作系统和一个或多个其它计算机程序和/或操作的合适软件。装置110可实施为各种电子装置中的任何一种。装置110的示例性实施方式可包括但不限于通信装置、移动电话、平板电脑、智能便携装置或智能可穿戴装置等。在一个实施方式中，一个或多个服务120可在分布式环境中被植入多个数据处理系统中。在另一实施方式中，一个或多个服务120可集成至一个数据处理系统中。在又一个实施方式中，一个或多个服务120可实施为在装置110上操作的一个或多个应用。
网络140为用于在系统100内的各种装置和数据处理系统之间提供通信链路的媒介。网络140可包括连接件，例如有线通信链路、无线通信链路或光纤电缆。网络140可实施为或包括诸如WAN、LAN、无线网络、移动网络、虚拟专用网络(VPN)、互联网、公共交换电话网络(PSTN)等各种不同通信技术中的任何一种。应理解，装置110和一个或多个服务120可经由无线连接、有线连接和/或无线连接和有线连接的组合联接至网络140或与网络140链接。
装置110和一个或多个服务120可被分组/关联在一起以实现更高效的增强。关联/分组可在装置110的制造的同时或装置110的制造前后或者在诸如用户130的用户可用(例如，销售给用户)之后和之前确定。一旦装置110通电，装置110便可加入网络140并能够通过网络140与一个或多个服务120建立通信链路，而无需额外的设置或配置过程。在装置110的操作期间，关联/分组可通过添加、编辑和/或移除服务来进一步配置。应理解，装置110可被手动配置成与一个或多个服务120关联/分组。装置110和一个或多个服务120还可基于情境信息而被关联/分组。如在下文更详细描述的，这种关联/分组允许装置110以更自然和有效的方式利用从相关的服务接收的数据来提供基于情境的增强型AR。
图2是示出了诸如图1中所示的装置110的数据处理系统的示例性结构200的框图。如图所示，结构200包括至少一个处理器，例如经由系统总线215或其它合适的电路联接至存储器元件210的中央处理单元(CPU)205。结构200可将程序代码存储在存储器元件210内。处理器205可运行经由系统总线215从存储器元件210访问的程序代码。存储器元件210可包括一个或多个物理存储器装置，例如本地存储器220以及一个或多个大容量储存装置225。本地存储器220表示通常在程序代码的实际运行期间使用的随机存取存储器(RAM)或一个或多个其它非永久性存储器装置。大容量储存装置225可实施为硬盘驱动器(HDD)、固态驱动器(SSD)或其它永久性数据储存装置。结构200也可包括一个或多个缓存存储器(未示出)，一个或多个缓存存储器提供至少一些程序代码的临时存储以减少在运行期间必须从大容量储存装置225检索程序代码的次数。
结构200可包括一个或多个输入/输出(I/O)装置。I/O装置可直接或通过中间的I/O控制器联接至结构200。例如，I/O装置可包括接口电路235、一个或多个相机240或其它图像输入电路、一个或多个麦克风245或一个或多个其它音频输入转换器、一个或多个扬声器250或一个或多个其它音频输出转换器以及一个或多个附加传感器255。在一方面，接口电路235可以是可检测用户触摸和/或手写笔接触的触敏屏幕。一个或多个示例性传感器255可包括但不限于全球定位系统(GPS)接收器、加速计、陀螺仪、射频识别(RFID)读取器、诸如环境光传感器或其它光学电子装置的光传感器、生物传感器(诸如，指纹读取器、虹膜扫描仪等)。光传感器可实施为一个或多个相机240或者实施为单独且独立的传感器。在一个实施方式中，一个或多个相机240可具有面向装置110的前方的至少一个相机和面向装置110的后方的至少一个相机。
I/O装置还可包括通信电路260，通信电路260包括但不限于网络适配器和/或无线网络适配器。通信电路260还可联接至结构200，以使结构200能够通过中间的私有网络或公共网络联接至其它系统、计算机系统、远程打印机和/或远程储存装置。调制解调器、电缆调制解调器和以太网卡为可与结构200一起使用的不同类型的通信电路260的示例。诸如远程收发器(例如，移动收发器)和短程收发器(例如，蓝牙兼容收发器、802.11x兼容收发器等)的无线射频设备也可以是实施方式中可包含的通信电路260的示例。在一些情况下，一个或多个I/O装置可在如使用触敏屏幕作为显示装置的情况下进行组合。
结构200可包括电源，电源包括但不限于旨在插入至插座或其它电连接器的电力供应、通过无线充电(例如，电磁感应)接收能量的电力供应、电池、或者电池及也可配置成为电池充电的电源二者。为了便于说明，图2中未示出电源。
如图2中所示，存储器元件210可存储操作系统270和一个或多个应用275。例如，与一个或多个服务120交互或者实现一个或多个服务120的一个或多个应用可被存储在存储器元件210内。在一方面，以可运行程序代码的形式实施的操作系统270和一个或多个应用275被结构200运行，即被处理器205运行。因而，操作系统270和一个或多个应用275可被认为是结构200的集成部分。操作系统270、一个或多个应用275以及由结构200在其上使用、生成和/或操作的任何数据项是在被用作使用结构200实施的系统的一部分时赋予功能的功能性数据结构。
结构200可用于实现包括处理器和存储器并能够执行本公开中描述的操作的各种系统和/或装置中的任何系统和/或装置。例如，结构200可用于实现诸如装置110和一个或多个服务120的各种不同装置中的任何装置。在一些情况下，使用结构200实现的具体装置可包括比所示出的部件更少的部件或比所示出的部件更多的部件。此外，所包括的具体操作系统和/或一个或多个具体应用可以变化。在一个示例性实施中，结构200可被用于实施装置110。在那种情况下，一个或多个应用275在运行时可实现本文中所描述的AR操作，诸如拍摄实时图像、基于情境信息识别实时图像中被选择的部分的内容、基于所识别的内容生成视觉信息、将视觉信息叠加在实时图像上等。
如本公开中所描述的，措辞“情境信息”可表示与诸如装置110、相关对象和/或用户130的参考的点相关联、相关或有关的环境、情形、情况、背景和/或条件情况。情境信息可通过装置110的I/O装置进行感测。例如，诸如由一个或多个相机240拍摄的图像和/或视频的可视数据、由麦克风245采集的音频数据、照明条件、背景噪声、无线电信号和由一个或多个传感器255检测和/或生成的其它传感器数据(位置、运动、生物量、气味或香味数据等)。情境信息可以是由装置110的应用生成或从外部源和/或远程源检索到的数据。例如，事件数据和活动数据可来自日历应用或社交网络，天气数据来自天气应用或在线天气服务，联系人数据来自电话应用或电子邮件应用或者来自用户130的云存储，时间数据来自时钟应用或时间服务器等。情境信息可以是用户130的个人数据，这些个人数据包括但不限于活动历史数据、偏好数据、习惯等。情境信息可源自与用户130类似或与用户130有共性的一类人的众包数据(Crowd-Sourced Data)、人口统计数据、宗教实践、文化背景等。
在一个实施方式中，装置110可通过调用一个或多个AR应用来提供增强型虚拟内容层。在一个实施方式中，每个AR应用被单独操作，并可通过显式交互或根据情境信息来调用或激活。在另一实施方式中，装置110配置成支持通用AR应用，并且具有更具体的能力和/或功能的每个单独AR应用可基于差异性的情境信息来调用或激活。例如，AR应用A和AR应用B二者均能够将图像转换成机器编码的文本信息。AR应用A能够提供关注用餐体验的信息，而AR应用B能够提供与出版业相关的信息。在一个实施方式中，装置110可基于情境信息确定其位置。如果确定装置110在餐厅处或在餐厅附近，则可调用AR应用A。如果确定装置110在图书馆处或在图书馆附近，则可调用AR应用B。
在一个实施方式中，一个或多个AR应用可与传统应用集成。例如，相机App可在诸如“自动”、“美颜”、“夜晚”和“运动”等模式的顶部上包括AR应用A和AR应用B作为附加AR模式，附加AR模式可通过用户交互或基于情境信息激活。这种附加AR模式提供增强型相机功能和体验。在一方面，这种附加AR模式中的一个作为相机功能的内置特征是餐厅体验模式，其在相机App内提供增强型餐厅体验。
在一方面，当装置110的相机App在装置110的前端上主动运行时，可在明确选择时触发餐厅体验模式。在另一方面，餐厅体验模式可响应于情境信息而无需用户交互(例如，当装置110被锁定时，或者当相机App被动地运行时)而被触发。图3示出了在图2的装置110上的锁定屏幕用户接口(UI)处与餐厅体验模式相关的通知的示例性显示。当装置110在用户登录之前被锁定时，已确定装置110位于餐厅处或位于餐厅附近。这种确定可推动通知310被显示在锁定屏幕UI处，以提示用户130“Menu ExplorAr(菜单Ar探索器)”的可用性和特征，即提示用户启用虚拟菜单和移动支付选项的餐厅体验模式。
在一个实施方式中，餐厅体验变成可在装置110上单独且独立地启动或激活的独立式应用，类似于诸如相机App或电话App的应用。用户130可通过与装置110的各种交互启动餐厅体验应用502或者将餐厅体验应用502从后台移至前端，其中，各种交互启动包括但不限于语音输入和/或姿势输入。餐厅体验应用502也可基于情境信息来触发。当确定装置110位于餐厅处或位于餐厅附近时，可显示与图3中所示的通知类似的通知，以通知独立式餐厅体验应用502的可用性和特征。响应于与通知310的交互，餐厅体验应用502可如图4中所示地被激活。
在一个实施方式中，餐厅体验应用502可与图1中所示的一个或多个服务120相关联。可基于情境信息来进行与这种一个或多个服务的关联。例如，当确定装置110处于服务尚未获得操作许可证的位置处时，先前关联的服务可被解除关联。餐厅体验应用502的UI可呈现来自相关服务的数据。图4示出了示例性餐厅体验应用“Restaurant Menu ExplorAr(餐厅菜单Ar探索器)”的UI 400。UI 400包括指示410，指示410突出显示相关移动支付服务Samsung PayTM(三星支付)的可用性，以在确定用户130处于餐厅Olive GardenTM处或处于Olive GardenTM附近且当前时间为该地区或文化的通常午餐或晚餐时间时提供“OliverGarden”礼品卡上的余额信息。UI 400还可呈现“Restaurant Menu ExplorAr”的徽标420，这也用作控制机制。响应于徽标420的激活或选择，UI 400可如图10中所示地变为实时相机视图1100。
图5是示出了支持餐厅体验应用502的系统500的示例性部件的框图。系统500可以是图2的一个或多个应用275的示例性实施，在图2中结构200用于实现图1的装置110。在一种布置中，系统500包括餐厅体验应用502以及一个或多个服务模块510。模块可实现本文中所描述的过程和特征，并且在分布式计算环境中可由诸如装置110和/或电子电路的数据处理系统单独或共同地运行。模块可通过硬件、存储在非暂时性计算机可读存储介质上的计算机可读程序指令或其组合来实现。例如，一个或多个模块可包括由硬件系统中的处理器(例如，处理器205)运行的多个指令或一系列指令。又例如，一个或多个模块可由多个处理器或数据处理系统运行。
在一方面，餐厅体验应用502包括UI 504、内容识别器506和增强模块508。餐厅体验应用502可支持打开的相机视图功能，该相机视图功能允许使用装置110的一个或多个相机240拍摄实时视图。一旦启动，餐厅体验应用502可经由UI 504呈现实时相机视图。在一方面，作为接口235的触敏屏幕可用于实现UI 504。应理解，本文中所描述的发明性布置不旨在受限于触敏屏幕，因为也可使用其它接口类型(例如，非触摸图形用户接口)。UI 504可配置成检测用户交互，并将检测到的交互转换成可被内容识别器506理解的命令，其中，用户交互诸如：姿势输入，姿势输入包括直接触摸及其它(例如，悬停触摸)；利用工具(例如，手写笔)的输入。例如，UI 504可显示由一个或多个相机240拍摄的餐厅菜单的实时图像，并且检测根据用户在UI504处绘制圆圈而选择的实时图像的一部分。UI 504还可配置成检测由用户交互而引起的各种压力级，并且转换所检测到的反映各种压力级的交互。
在一种布置中，内容识别器506在接收到来自UI 504的内容选择命令、来自麦克风245的输入语音和/或来自一个或多个传感器255的信息时执行内容识别，其中，内容识别包括文本识别。例如，内容识别器506配置成从由UI 504提供的实时图像中被选择的部分识别诸如菜肴名称的文本。在一种布置中，内容识别器506可在经由通信电路260从联接至装置110的其它数据处理系统或其它服务接收到信息时执行内容识别。例如，需要被识别的内容可被未配备内容识别功能的另一装置拍摄并共享。
在一个实施方式中，使用计算机视觉技术实现内容识别。计算机视觉技术是研究如何从2D数字图像或2D数字视频重建、解释和理解3D场景的跨学科技术。计算机视觉与机器学习(模式识别)和图像处理(图像压缩、恢复、增强等)领域重叠。计算机视觉的最终目标是使用计算机软件和硬件在不同级别上模拟、复制和超越人类视觉。例如，低级计算机视觉涉及用于特征提取(边缘、角落、光流等)的处理图像。中级计算机视觉涉及使用从低级视觉获得的特征进行对象识别、运动分析和3D重建。高级计算机视觉涉及对中级视觉提供的进化信息进行解释，并指导应执行何种中低级视觉任务。解释可包括对诸如活动、意图和行为的场景的概念性描述。计算机视觉技术的示例应用包括机器人、医学、安全、运输、工业自动化、图像/视频数据库和人机接口。
在一个实施方式中，内容识别器506需要来自一个或多个服务模块510的信息以提高内容识别准确度和/或性能速度。例如，在接收到内容选择时，内容识别器506可配置成从菜单app/服务514接收实物菜单的数字表示，以帮助识别作为数字表示中提供的菜品名称的内容选择。
在一个实施方式中，所识别的内容变成还可被系统500的其它部件处理或可与被系统500的其它部件一起处理的数字数据。例如，所识别的内容可与一个或多个服务模块510通信以获取附加信息。在一种布置中，所识别的菜品名称可被传递至增强模块508、营养app/服务516和/或支付app/服务518。例如，内容识别器506可配置成将所识别的菜品的名称共享到用于检索该菜品的营养细分的营养app/服务516。
增强模块508可生成增强信息，该增强信息是从一个或多个服务模块510接收的附加信息、从内容识别器506接收的识别内容和/或来自I/O装置(例如，一个或多个相机240、麦克风245、一个或多个传感器255等)的情境信息的图形视觉表示。例如，增强模块508可配置成呈现映射到所识别的菜品名称的菜肴图片。增强模块508可遵循预定义的规则、工业实践、由用户130配置的限定为系统默认配置的UI布局或呈现样式模板、由第三方提供的向导和/或基于学习到的模式或用户历史的用户130的偏好来构建附加信息的图形元素。UI 504还可配置成通过提供虚拟内容层来显示增强信息，从而支持将增强信息叠加在实时相机视图上。
一个或多个服务模块510可包括图1的一个或多个服务120。一个或多个服务模块510可通过直接或经由图1的网络140从餐厅体验应用502接收数据/向餐厅体验应用502提供数据来与餐厅体验应用502交互。在一个实施方式中，餐厅体验应用502可使情境信息被输入至一个或多个服务模块510。
在一方面，系统500实现可静态地或动态地添加或合并附加服务模块的插件结构。本文中将更详细地描述可由服务模块512至服务模块518执行的具体操作。由于一个或多个服务模块510可被实施为可运行的程序代码，因此本文中所描述的由服务模块510中的一个或多个发起的各种操作可被运行各个服务模块510的一个或多个的程序代码的一个处理器或多个处理器运行。
在一种布置中，一个或多个服务模块510可包括位置/兴趣点(POI)app/服务512、菜单app/服务514、营养app/服务516和支付app/服务518。在一个实施方式中，餐厅体验应用502可使传感器数据和/或基于传感器数据确定的情境信息被传递至一个或多个服务模块510。在一个实施方式中，服务模块510配置成与I/O装置交互并控制I/O装置，其中，I/O装置包括用于传感器数据采集的一个或多个传感器255。本文中的传感器数据包括由图2中所示的各种I/O装置拍摄的数据，而不限于仅由一个或多个传感器255检测或采集的数据。一个或多个服务模块510处理接收的传感器数据和/或从内容识别器506共享的被识别内容，并向餐厅体验应用502返回附加信息，诸如餐厅数据、物理餐厅菜单的数字表示、识别的菜单菜品的营养信息以及与所订购的菜单菜品有关的支付信息。这种附加信息可通过增强模块508被可视化，以制定待经由UI 504显示的增强信息。
在一个实施方式中，位置/POI app/服务512配置成接收传感器数据以进一步合成传感器数据的一个或多个特定项以导出情境信息。例如，位置/POI app/服务512可利用地理坐标来确定位置、POI、商家等。位置/POI app/服务512可查询存储在装置110上的数据库以从地理坐标映射至餐厅。位置/POI app/服务512也可查询不在装置110本地的服务以获得这样的信息。情境信息可被传送至餐厅体验应用502或一个或多个服务模块510的其它模块。
一个或多个服务120可在其之间交换数据，或者通过一个服务提供的附加信息可经由餐厅体验应用502作为输入被传递至另一服务。
在一个实施方式中，菜单app/服务514配置成基于从装置110的I/O装置、位置/POIapp/服务512和/或餐厅体验应用502接收的传感器数据和/或情境信息提供数字表示。示例性操作可包括基于从位置/POI app/服务512共享的信息联系餐厅以检索餐厅的数字菜单。菜单app/服务514可联系用于数字菜单的第三方服务(例如，OpenMenuTM(开放式菜单)、餐厅评论服务等)，并且第三方的联系信息可被系统预定义或由用户130输入。菜单app/服务514配置成与内容识别器506共享数字菜单以进一步确定由用户130识别的特定菜品。在一个实施方式中，菜单app/服务514接收菜单信息并根据所接收的菜单信息构建数字菜单作为菜单项目的完整列表。菜单app/服务514也可以以内容识别器506期望或请求的样式或格式来制定数字菜单。
在一个实施方式中，营养app/服务516配置成基于从内容识别器506接收的被识别的菜单菜品提供一系列营养信息，诸如卡路里、脂肪、碳水化合物、蛋白质、胆固醇等的百分比。一个实施方式中，营养app/服务516可基于个人信息提供用户130定制的附加数据。图13和图14示出了由用户130输入的个人信息的示例。
在一个实施方式中，支付app/服务518配置成实现对用户130订购项目的支付处理。可从内容识别器506接收对订购项目的识别。与支付处理相关的数据(包括但不限于会员、奖励、折扣和/或促销等)可从支付app/服务518发送至增强模块508以呈现给用户130。在一个实施方式中，支付app/服务518可配置成从菜单app/服务514接收数字菜单以确定所订购项目的价格。在一个实施方式中，支付app/服务518可配置成基于从位置/POI app/服务512共享的信息来联系餐厅以接收用户130的账单。
图10示出了餐厅体验应用502的示例性使用。用户130将其实施系统500的装置定位在餐厅的打印菜单1002上。餐厅体验应用502被激活。打印菜单1002的实时视图在其装置的显示接口处呈现为可视化内容1100。图11示出了与可视化内容1100的示例性交互。图12示出了实施系统500的装置110的示例性显示1200，在该示例性显示1200中，可视化内容1100与增强信息1210的层重叠。
图6是示出了基于情境信息提供增强的示例方法600的流程图。方法600可由诸如图1的具有图2的结构200的装置110的数据处理系统来实现。方法600可从框605中开始，在框605中选择装置110所支持的UI 504的部分或区域以进行内容识别。在一个实施方式中，UI 504包括由装置110拍摄的包括对象图像的实时图像数据。在一方面，运行餐厅体验应用502的装置110确定将对示出在图11中的整个可视化内容1100执行内容识别。在一方面，UI504检测指示可视化内容1100的一个或多个部分被选择用于内容识别的交互，并可响应于该交互而触发内容识别。当装置110接收与选择视图相关的信息时，方法600可从框605中开始，在框605中由另一装置执行该选择。例如，用户A可能在餐厅看实物菜单。然而，用户A的装置不能运行内容识别或提供增强信息。用户A可将其选择的实物菜单视图发送给用户B，用户B的装置实施结构500。用户B可经由消息、电子邮件、呼叫或视频呼叫与用户A共享增强信息。
在图示中，用户130可与可视化内容1100进行交互以选择一部分。这种交互可经由各种输入方式来实现。例如，如图11中所示，用户130可使用手指或手写笔在接口电路235上圈出可视化内容1100的一部分以识别选择视图1104。又例如，用户130可使用多根手指或输入器件标识可视化内容1100的区域的边界，从而形成选择视图1104。可采用预定义的形状来形成其大小相对于手指或输入器件的位置而被确定的选择。再例如，选择可基于其它方式进行确定(例如，当用户放大、点击并保持特定单词或短语时，或者追踪用户130的目光焦点以估计可视化内容1104的用户感兴趣的部分等)。
在一个实施方式中，在视觉上将选择视图1104与可视化内容1100的未选择视图区分开。例如，可突出显示选择视图1104，和/或突出显示被选择的部分周围的轮廓等。视觉区别可通过应用不同的视觉样式来实现，不同的视觉样式包括但不限于颜色、文本外观、阴影或形状效果等。
在框610中，可触发内容识别以识别包括在选择视图1104内的内容。所包括的内容可包括文本内容或其组合。在一个实施方式中，可实施计算机视觉技术以执行内容识别。例如，对于文本内容，利用光学字符识别(OCR)将文本内容转换成机器编码的文本。在一个实施方式中，可在执行OCR之前提示用户130进行语言选择。在另一实施方式中，餐厅体验应用502可按照语言选择的预定义顺序或默认顺序来执行OCR，直至用户130确认或接受OCR输出。在又一实施方式中，餐厅体验应用502可基于与打印菜单1002相关的情境信息确定使用官方语言或本地方言。例如，相关情境信息可包括拍摄对象的地理位置，其中，地理位置数据是由联接至装置110的I/O装置感测到的或从一个或多个其它源检索到的。如果地理位置被确定为在美国境内，则可使用英语来执行OCR，而当地理位置被确定为在加拿大魁北克省(Quebec)内时，可使用法语。
在一个实施方式中，选择视图1104可使用诸如像素转换、图像二值化等方法进行预处理以更适合于OCR，从而提高OCR结果的准确性。
在另一实施方式中，可在不确定选择视图1104的情况下触发内容识别。例如，可针对在实时视图中采集的整个可视化内容1100不断地执行内容识别。
在一个实施方式中，可采用方位追踪来确定装置110相对于用于增强型内容识别的打印菜单1002的位置和取向。相机方位可使用通过检测的追踪或通过匹配的追踪来计算，其中，输入图像使用检测技术而非使用先前的方位信息与参考匹配。相机方位还可使用逐帧追踪或递归追踪来计算，其中，使用其先前的方位信息。这些方法有助于使两个连续图像之间的相机位移最小化。在一个实施方式中，为了推断装置110的行进轨迹，作为视觉方法的补充技术，可使用由装置110的一个或多个传感器255(例如，惯性测量单元、加速度计、陀螺仪等)拍摄的数据来确定一个或多个相机240的加速度和旋转速度。例如，方位追踪可向内容识别器506提供更好的对准图像，以通过调整因装置110的倾斜或旋转而导致的图像失真来促进内容识别(诸如OCR)。
在一个实施方式中，在OCR对短语进行后处理期间，可通过受应用特定词典约束的输出来增加OCR准确度，其中，应用特定词典包括食物项、菜肴名称和饮食选项。在另一实施方式中，可通过考虑餐厅行业标准的表述来微调OCR以实现更好的性能。
在框615中，确定与选择视图1104相关的位置，并可基于该位置检索与选择视图1104相关的数字表示。示出在图5中的位置/POI app/服务512可实施成执行相关位置的确定。在一个实施方式中，在确定选择视图1104时，餐厅体验应用502进一步确定与选择视图1104相关的餐厅。可基于诸如地理位置的情境信息来确定相关性。例如，装置110可基于GPS接收器感测到的地理坐标信息来获取相应的地址。装置110可基于保存在装置上的数据库或通过第三方服务来识别在该地址处的餐厅商户。可基于无线电数据确定相关性。例如，餐厅可在前台/接待区域处提供包含RFID标签的海报。装置110可经由联接的RFID读取器检测RFID标签以识别用户130所在的餐厅。又例如，餐厅可基于装置110可获得的接入点(例如，Wi-Fi接入点的网络名称)的识别来确定。在一个实施方式中，当一个以上的餐厅位于该地址处或位于该地址附近时，可向用户130呈现这些餐厅的列表，以使用户130可识别出哪个餐厅为用户130将进入的餐厅。在一个实施方式中，当在该地址处有多个餐厅时，装置110可基于用户130的宗教来缩小相关性确定。例如，当用户130是穆斯林时，供应清真食物的餐厅A优先于餐厅B而被确定，而当用户130是犹太人时，供应犹太洁食的餐厅B优先于餐厅A而被确定。
装置110可以可选地对情境信息进行分类。例如，装置110可在指示声级的标度上对音频数据进行分类。装置110还可对音频数据的类型进行分类。音频的示例性类型可包括但不限于音乐、用户的声音等。装置110还可识别用户语音中所使用的语言。餐厅可基于音频数据确定。例如，当供应印度菜的餐厅A与供应中国食物的餐厅B紧紧相邻时，餐厅A可在装置110检测到普通话在音频数据中占主导地位时被确定。餐厅也可基于情境信息的相关性来确定。例如，针对上述两个餐厅情景，当装置110发现用户130输入的日历事件表明用户130将在餐厅A与同事进行午餐会议并且装置110也确定当前时间为中午时，则可识别出餐厅A。
在一个实施方式中，用户130可在与餐厅所在位置不同的位置处使用具有餐厅实物菜单的装置110来点餐。当餐厅体验应用502无法确定装置110所在位置处或装置110所在位置附近的餐厅商户时，可基于诸如用户130之前的餐厅访问的用户历史数据来确定餐厅。用户历史数据可存储在装置110上或者可从基于云的服务中检索。针对这种情况，餐厅的确定还可将当前时间与日历事件数据相关联。例如，如果用户130在午餐时间主要访问餐厅A而在晚餐时经常访问餐厅B并且当前时间为下午1点(1PM)，则餐厅A可被识别为与打印菜单1002相关的餐厅。又例如，如果用户130在其日历中标识出的事件为在下午1:30(1:30PM)邀请用户130的朋友一起吃印度菜，当餐厅B供应印度菜而餐厅A供应地中海食物时，则可标识出餐厅B。在一种布置中，可通过在装置110的地理位置的范围限制内搜索餐厅来确定一个或多个餐厅。
在一个实施方式中，餐厅体验应用502可基于所确定的餐厅检索与选择视图1104相关的数字表示。数字表示可以是实物菜单的数字版本。在一个实施方式中，数字表示可具有与打印菜单1002完全不同的视觉呈现。在一个实施方式中，当不止一个餐厅被确定成与选择视图1104相关时，可针对每个餐厅对数字菜单进行检索。图5中所示的菜单app/服务514可被实施成执行该步骤。
在一个实施方式中，可利用情境信息来进一步缩小可被检索的数字表示。例如，特许经营店或连锁店(franchise or chain)的一些店铺可提供本地化的菜单项目。如在本公开中所定义的，“特许经营店或连锁店”是具有超过一个分店(branch)的诸如商户或其它机构的合法实体(无论是营利性的还是非营利性的)。“分店”是与用户或公众成员进行贸易或交易的特许经营店或连锁店的实体场地。每个分店都以共同或相同的品牌名称运营。特许经营店或连锁店的示例包括具有多个分店的餐厅、具有多个分店的便利店、具有多个分店的零售店等。如果情境信息表示在中国北京的肯德基炸鸡(Kentucky Fried ChickenTM，KFC)餐厅，则餐厅体验应用502可检索当地版本的菜单，该菜单包括在美国KFC的菜单上不存在的诸如鸡蛋和蔬菜汤、香辣鸡腿堡、鲜虾鸡肉堡项目。
在框620中，可基于选择视图1104与数字表示的相关性来识别选择视图1104。餐厅体验应用502可执行项目调整(Item Reconciliation)以将机器编码的文本映射至在数字表示中列出的相应项目。
图7是示出了示例性项目调整过程的流程图。在框705中，通过将文本框拆分成各个行并清除无用字符和冗余空白来清理选择视图1104的在框610中识别的初始识别内容。清理过程有助于所识别的内容与相应的数字内容进行更好的匹配。在框710中，执行匹配算法以将清理后的内容与来自数字表示的项匹配。在一个实施方式中，框710通过计算清理后的内容与数字表示之间的Levenshtein距离(用于测量两个句子之间的差异的字符串度量)找出菜单项目的最接近匹配。如果在框715中找出最接近的匹配，则在框720中返回所匹配的菜单项目作为选择视图1104的最终识别内容。如果未找出最接近的匹配，则基于规则确定菜单项目。在一个实施方式中，规则可确定成返回数字菜单的第一菜单项目、具有最高价格的菜单项目、最受欢迎的菜单项目或与用户130的个人数据匹配的菜单项目。
在一个实施方式中，可在框610之前执行框615以通过利用特定于所识别的餐厅的数字菜单的词典对内容识别的输出进行约束来提高OCR准确度。
在一个实施方式中，在项目调整之后，选择视图1104可被识别为识别内容1108(例如，特定的菜单项目)。在框625中，针对识别内容1108，餐厅体验应用502可基于识别内容1108提供增强。在一种布置中，可获得和/或创建附加信息以生成增强信息，增强信息是附加信息的视觉表示。可视化内容1100可与增强信息重叠。附加信息可来自与以下内容相关的服务：对识别内容1108的成分、营养标示进行识别；处理与识别内容1108相关的支付交易；提供识别内容1108的照片或视频等。
在一个实施方式中，一个或多个相关服务可包括在装置110上操作或者可经由网络140远程访问的一个或多个指定应用。在另一实施方式中，附加信息从诸如在线评论、点评、社交网络等众包数据获取。
在一个实施方式中，可执行项目增强以创建图12中所示的增强信息1210。图8是示出了项目增强过程的细节的流程图。在框802中，可检索识别内容1108的信息，诸如所识别的所选菜单项目的一个或多个图形图像。在框804中，可检索附加信息。附加信息将在下文进行更详细的描述。在框810中，可检索规则、由用户130预定义或确定的呈现样式模板、由第三方提供的向导和/或用户130的学习偏好，从而制定增强信息1210的图形元素并将增强信息1210与诸如支付app/服务等其它服务集成。例如，了解到用户130最关心卡路里摄入量，这种信息可以一直被突出显示并显示在顶部处。在一个实施方式中，规则和/或呈现样式模板可特定于附加信息的类别或类型。例如，营养细分可呈现为项目列表，而菜单项目的图像放置在中心处。在框820中，基于以上检索到的信息或数据中的至少一个来创建用于选择视图1104的增强信息1210。
在框830中，可基于方位追踪、情境信息、用户130的一个或多个物理需求或其组合中的至少一个来调整增强信息1210。在一个实施方式中，方位追踪可用于将增强信息1210固定至打印菜单1002以提高无缝增强。方位追踪在时间图像序列中提供相机方位估计，如果装置110的运动改变其取向或相对于打印菜单1002的位置，则增强信息1210还可被调整成始终与识别内容1108对齐。
在一种布置中，增强信息1210的视觉特性可适应于情境信息。例如，当情境信息指示暗环境时，可增加亮度的级别和/或增强信息的比例，或者调整增强信息的色调以使增强信息1210在可视化内容1100上更加可见。可视化特性也可通过颜色和/或形状进行调整以指示增强信息的性质(例如，陈述或警告、通用或个性化等)。
在一种布置中，增强信息1210可适应于用户130的一个或多个物理需求。可检索一个或多个物理需求作为个人信息的一部分。个人信息可包括与食物或饮食无关的信息，例如身体制约条件、生活方式、习惯、教育和/或工作经历等。例如，可增加增强信息1210的对比度以提高视力能力弱的用户的内容可见性。
在一个实施方式中，如果没有检测到交互，则可在预定量的时间之后将增强信息1210从装置110的UI移除。在一方面，装置110可呈现增强信息1210并在第一预定量的时间之后开始淡化该增强信息1210，并且增强信息1210最终在第二预定量的时间之后完全从装置110的UI消失。可在进行视图选择的同时继续循环和操作方法600。
图9是示出了基于识别内容1108检索附加信息的示例方法900的流程图。在框905中，餐厅体验应用502确定与识别内容1108相关的一个或多个应用和/或一个或多个服务。如果应用和/或服务可为识别内容1108所用并能够基于识别内容1108提供更多信息，则该应用和/或服务与识别内容1108相关。如果应用或服务驻存在装置110上或者虽然远程驻存但可经由网络140被装置110访问，则该应用或服务是可用的。这种应用和/或服务的信息可在运行时或在餐厅体验应用502的安装期间经由用户输入进行配置和/或更新。这种信息也可被预先配置为餐厅体验应用502的默认设置。
可用的一个或多个应用和/或一个或多个服务可被排名以供选择或呈现。可利用情境信息来对可用的一个或多个应用和/或一个或多个服务进行排名。例如，餐厅体验应用502可识别两个可用的支付服务——支付服务A和支付服务B。基于装置110的位置，支付服务A可排名在支付服务B之上，因为前者在该位置处具有占优势的市场占有率。用户之前的交易或用户偏好也可帮助对可用的一个或多个应用和/或一个或多个服务进行排名。例如，注意到用户130在过去数天内一直使用支付服务A来支付餐厅订单，餐厅体验应用502可将支付服务A呈现于支付服务B之上。
在框910中，可检索用户130的个人信息。如图9和图10中所示，个人信息可通过提示用户进一步输入而获得。可从其它来源(例如，从用户的社交网络配置文件、从用户的在线发布等)检索个人信息。在一种布置中，步骤910可以是可选的。在另一种布置中，步骤905可在步骤910之后发生。
在一个实施方式中，可基于用户130的身份来检索个人信息。装置110可利用各种技术来确定用户130的身份，其中，各种技术包括但不限于面部识别、语音识别、UI交互模式识别等。在一个实施方式中，如果装置110不能确定身份，则可提示用户130输入。
在一个实施方式中，只要餐厅体验应用502处于活跃状态，个人信息便可只检索一次而不需每次检索，并且个人信息可用于所有识别内容。在一个实施方式中，个人信息可仅在确定识别内容1108时进行检索。例如，每次识别到菜单项目时可能都需要检索个人信息。当从装置110的远程资源检索个人信息时，对于存储约束和网络等待时间而言，这种不同的实践可变得更有意义。在又一个实施方式中，可基于识别内容1108来检索个人信息。例如，当识别内容为酒的选择时，可根本不必检索乳制品的偏好。
在一个实施方式中，当确定个人信息与识别内容1108之间存在冲突时，可使用个人信息来提供替代性菜品的推荐。例如，个人信息指示用户130对鸡蛋过敏，并且识别内容1108是含有鸡蛋成分的“意式鸡排(Chicken Parmigiana)”。餐厅体验应用502可推荐被认为与“意式鸡排”类似的替代性菜品。替代性菜肴可以是另一种鸡肉菜肴或者仍然是“意式鸡排”，但该“意式鸡排”的肉没有使用鸡蛋涂裹。数字表示可表明这种替代性选项的可用性。
在框915中，可从在框905中确定的可用的一个或多个应用和/或一个或多个服务中检索基于识别内容1108的附加信息。例如，附加信息可包括“意式鸡排”(图15中所示的识别内容)的营养分析，其中，营养分析从营养服务中检索。又例如，附加信息可包括用于处理“意式鸡排”的订单的支付服务选项。在一个实施方式中，用户130特定的附加信息可基于在框910中检索的个人信息来检索。例如，当用户130具有不摄入乳制品的实践时，附加信息还可包括与“意式鸡排”有关的警告消息。可在进行内容识别的同时继续循环和操作方法900。
在图12中，示例性增强信息1210呈现在装置110的接口电路235上。基于选择视图1104，可视化内容1100与增强信息1210的层重叠。增强信息1210可仅在选择视图1104之上或在选择视图1104附近与可视化内容1100部分地或完整地重叠。增强信息1210的视觉效果可采用各种形式。例如，增强信息1210可保持提供透视效果的透明的级别，或者增强信息1210可形成不透明层，使得可视化内容1100的内容被云层覆盖。
在一个示例中，当识别内容1108为菜单项目“意式鸡排”时，增强信息1210可包括该菜品的图形图像1202以及描述卡路里、脂肪、碳水化合物、蛋白质、胆固醇等的百分比的一系列营养信息1204。可从相关的营养应用或服务中检索营养信息1204。已发现，增强信息1210影响用户对食物摄取的选择并帮助用户保持更健康的饮食。
在一个实施方式中，增强信息1210还可包括与识别内容1108的营养信息1204对应的通知和/或警告信息(例如，通知1206)。通知1206可提供常规警示，这种常规警示识别一些人可能敏感或不耐受的成分(可能会导致过敏发作)和/或可能与宗教信仰发生冲突的成分。通知1206还可被个性化定制以解决用户130的特定健康状况、个人偏好和/或因用户130的宗教或精神信仰而形成的饮食习惯。
图12还示出了个人通知1208，个人通知1208可基于用户130特定的饮食偏好和/或食物过敏数据来警告用户130潜在风险、确认饮食偏好和/或提供实现营养平衡的推荐。例如，用户130的饮食类型是“白肉-素食(Pollo-Vegetarian)”，并且个人通知1208表明所选菜单项目已被验证符合其饮食类型。如果所选菜单项目不满足用户130的要求，则个人通知1208可改变视觉效果(例如，不同的字体颜色、阴影效果等)以表示冲突。
在一个实施方式中，营养信息1204还可呈现用户130特定的信息。例如，用户130限制了其每日的钠摄入水平。如果所选菜单项目包含更高量的钠，则营养信息1204可突出显示钠水平以表示警告。
在一个实施方式中，常规通知可基于用户130的个人偏好和过敏数据而被过滤，从而排除不适用于用户130的信息。例如，在已知用户130对任何坚果都不过敏的情况下，当菜肴包含坚果时，通知1206可以根本不包括关于坚果的信息。在一个实施方式中，当通知1206中仍包括所有常规信息时，可在视觉上区分用户130特定的数据，例如突出显示用户130特定的数据。
图13示出了允许用户130输入其饮食偏好的示例性UI 1300。在一个实施方式中，用户130的饮食偏好可从另一应用或其它来源检索。为改善用户体验，UI 1300将图形图像与文本描述配对，以使得即使用户130难以理解用于文本描述的语言，用户130仍可设法在图形图像之后输入适当的信息。
图14示出了允许用户130提供其食物过敏信息的示例性UI 1400。食物过敏信息可按食物的类别或食物的类型进行编辑。用户130可输入未落入任何列出的类别或类型范围中的过敏原。在一个实施方式中，如果用户130表明其不知晓任何过敏症，则食物的类别或类型的选择可失效。
图13和图14中所示的UI可以是餐厅体验应用502或者独立式应用的部件。本领域普通技术人员将理解，各种UI布局和交互可实施成接收用户输入数据。
已发现，个性化定制的增强信息有助于防止意外摄入可对特定个体导致健康威胁的食物项。本公开中将对更多细节进行描述。
回到图12，在一个实施方式中，增强信息1210实现基于识别内容1108的菜单项目订购处理。例如，用户130可点击“点餐”按钮1220来订购所识别的菜单项目——意式鸡排，而不是要求服务人员来订购该菜肴。在一个实施方式中，该订单可直接与餐厅食物订购系统进行通信。在一个实施方式中，可通过在装置110与服务人员使用的订购装置之间建立通信而将该订单传递至订购装置，并且服务人员将该订单与餐位标识进行关联。在另一实施方式中，该订单可被传递至相关的支付处理应用或服务。例如，用户130在所选取的餐厅外部下单并使用相关的支付服务或应用远程地完成支付。在又一实施方式中，用户130在等待就座时初始化订单。没有餐位识别，订单处于待命状态。一旦用户130就座，则可利用餐位的标识立即处理该订单。本领域普通技术人员将理解，可利用各种UI来允许用户130与用于订购过程的增强信息1210交互。
在另一实施方式中，可部署其它类型的图像识别技术来识别选择视图1104的非文本内容。例如，餐厅体验应用502可将图画菜单内容识别为开胃菜、配菜、正菜或甜点的特定类型，并提供相关的增强信息。
在一个实施方式中，餐厅体验应用502可与驻存在装置110上或基于云的其它应用和/或服务通信、与其一起运作和/或与其集成，以利用增强信息提供增强型服务。这种应用和/或服务可被餐厅体验应用502启动/调用/激活，或者由餐厅体验应用502从后台移至前端。
在一个实施方式中，餐厅体验应用502可与用户130已经注册的健康类型服务或应用相关联。健康类型服务或应用可以是健康应用，健身应用或其组合。在一个实施方式中，餐厅体验应用502可从健康程序1502导入用户配置文件数据，用户配置文件数据包括但不限于个人饮食偏好和食物过敏数据。导入的用户配置文件数据可被用于创建个人通知1208。餐厅体验应用502可将一些或所有附加信息导出至健康程序1502，以使其执行对饮食摄入的记录、监测和分析。例如，健康程序1502可基于由餐厅体验应用502提供的营养信息1204来产生营养平衡分数。在一个实施方式中，餐厅体验应用502也可使情境信息与健康程序1502共享。例如，出于记录的目的，可将当前时间发送至健康程序1502。图15示出了健康程序1502的示例性UI 1500。在图15中，下午6:50被记录为消费食物的时间，并且进一步确定为晚餐。基于这类信息，图15示出了包括当天的每餐卡路里分解的附加分析。记录的用户130的营养摄入细节可进一步用于用户130的健康效益。例如，如果每日总共摄入的胆固醇超过特定值，则示例性UI 1500对此可警告用户130，并且对用户130未来的菜单选择提出建议以减少胆固醇摄入。在一个实施方式中，UI 1500可成为增强信息1210的一部分。
在一个实施方式中，餐厅体验应用502可与用户130已经注册并且餐厅参与的支付类型服务或应用相关联。支付类型服务或应用可以是移动支付系统、数字钱包应用或其组合。在一个实施方式中，餐厅体验应用502可导入存储在支付app/服务518中的各种支付和折扣方法并从各种方法中进行选择，各种支付和折扣方法诸如信用卡、餐厅礼品卡和/或餐厅优惠券。可从支付系统1610对餐厅订单执行支付。
在一个实施方式中，餐厅体验应用502可将附加信息中的一些(例如，仅与订购项目相关的信息)或所有导出至用于支付过程的支付系统1610。例如，餐厅体验应用502可将“Olive Garden”作为所识别的餐厅提供给支付系统1610。如图16(A)中所示，支付系统1610可提示用户130专用于“Olive Garden”的奖励卡或会员卡。图16(B)示出了支付系统1610可推荐用于支付处理的美国银行(Bank of AmericaTM，BOA)visa卡。当用户130可具有利用支付系统1610注册的多个信用卡/借记卡时，推荐使用BOA visa卡，因为当BOA visa卡用于支付在“Olive Garden”处的消费时，它提供最大折扣、最佳优惠和/或现金返还奖励。图16(C)示出了装置110上的礼品卡信息1630的另一示例性显示。例如，支付系统1610可检索余额为正的“Olive Garden”注册礼品卡，并制定待作为礼品卡信息1630呈现的记录。支付系统1610可具有其自己的用于注册这些卡的过程，并基于餐厅体验应用502提供的识别餐厅来搜索它们。支付系统1610还可搜索在其系统中注册或存储的卡之外的信息。在一个实施方式中，餐厅体验应用502可基于所识别的餐厅搜索或推荐这种卡信息，并将其传递给用于进一步处理的支付系统1610。
在一个实施方式中，餐厅体验应用502也可使情境信息与支付系统1610共享。例如，餐厅体验应用502基于从装置110检索到的日历数据或从第三方服务检索到的数据而识别的事件数据可被发送至支付系统1610以激活特定事件的优惠券或促销。再例如，作为在某些菜肴上具有偏好的某一餐厅的频繁用餐者的用户130的信息可从餐厅体验应用502发送至用于从该餐厅接收定期的定制更新和促销信息的支付系统1610。
餐厅体验应用502可经由其自己的UI显示其它应用和/或服务的输出，或者可将用户130引导至这种应用和/或服务的UI。
如在本公开内描述的，措辞“姿势”表示身体或身体的一部分的预定运动。姿势可以是检测到的手、手臂或用户的整个身体以预定方式的运动。姿势可使用一个或多个相机240进行检测。姿势也可使用接口电路235进行检测，其中，运动的模式和/或顺序、接触点的数量、接触或不接触的持续时间或其组合均可被检测为姿势。
本文中使用的术语仅出于描述特定实施方式的目的，而非旨在进行限制。尽管如此，现将介绍应用于整个文档的若干描述。
如本文中所描述的，除非上下文另有明确说明，否则单数形式“一(a)”、“一(an)”和“该(the)”旨在也包括复数形式。
如本文中所描述的，措辞“另一”表示至少第二个或更多个。
如本文中所描述的，措辞“至少一个”、“一个或多个”和“和/或”是开放式表述，除非另有明确说明，否则这些措辞在操作中既是连接词又是分隔词。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中的每个表示单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、或A、B和C一起。
如本文中所描述的，措辞“计算机可读存储介质”表示包含或存储程序代码的存储介质，该程序代码被指令运行系统、设备或装置使用或与指令运行系统、设备或装置结合使用。如本文中所定义的，“计算机可读存储介质”本身并非暂时性传播信号。计算机可读存储介质可以是但不限于电子储存装置、磁储存装置、光储存装置、电磁储存装置、半导体储存装置或前述项的任何合适的组合。如本文中所描述的，存储器元件是计算机可读存储介质的示例。计算机可读存储介质的更具体示例的非详尽列表可包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、机械编码装置以及前述项的任何合适的组合，其中，机械编码装置诸如记录有指令的穿孔卡或槽中的凸起结构。
如本文中所描述的，除非另有说明，否则措辞“联接”表示在没有任何中间元件的情况下直接连接，或者在有一个或多个中间元件的情况下间接连接。两个元件可经由通信信道、路径、网络或系统机械地、电气地联接或通信地链接。
如本文中所描述的，除非上下文另有说明，否则措辞“可运行操作”或“操作”是由数据处理系统(例如，装置110)或数据处理系统内的处理器执行的任务。可运行操作的示例包括但不限于“处理”、“计算”、“运算”、“确定”、“显示”、“比较”等。在这方面，操作表示数据处理系统(例如，计算机系统)或类似的电子计算装置的动作和/或过程，其操纵表示为计算机系统的寄存器和/或存储器内的物理(电子)量的数据，并将该数据转换成类似地表示为计算机系统存储器和/或寄存器或其它此类信息存储、传输或显示装置内的物理量的其它数据。
如本文中所描述的，措辞“包括”、“包括有”、“包含”和/或“包含有”表示所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合的存在或添加。
如本文中所描述的，取决于上下文，措辞“如果”表示“当……时”或“在......时”或“响应于”或“应对…”。因此，取决于上下文，短语“如果确定”或“如果检测到[所陈述的条件或事件]”可以被理解为表示“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”或“应对[所陈述的条件或事件]”。
如本文中所描述的，措辞“一个实施方式”、“实施方式”或类似语言表示结合该实施方式描述的具体特征、结构或特性被包括在本公开中描述的至少一个实施方式中。因此，短语“在一个实施方式中”、“在实施方式中”和类似语言在本公开全文中的出现可以但并非必须全部表示相同的实施方式。
如本文中所描述的，措辞“输出”表示存储在物理存储器元件(例如，装置)中、写入显示器或其它外围输出装置、发送至或传输至另一系统、导出等。
如本文中所描述的，措辞“多个”表示两个或多于两个。
如本文中所描述的，措辞“处理器”表示配置成执行包含在程序代码中的指令的至少一个硬件电路。硬件电路可以是集成电路。处理器的示例包括但不限于中央处理单元(CPU)、阵列处理器、矢量处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、应用专用集成电路(ASIC)、可编程逻辑电路和控制器。
如本文中所描述的，措辞“程序代码”、“软件”、“应用”、“程序指令”和“可运行代码”表示指令集的任何表现形式(以任何语言、代码或符号的形式)，其中，指令集旨在使得数据处理系统直接执行特定功能或在以下项中的任一项或所有项之后执行特定功能：a)转换成另一语言、代码或符号；b)以不同的材料形式复制。程序代码的示例可包括但不限于子例程、函数、过程、对象方法、对象实施、可运行应用、小应用程序、小服务程序、源代码、对象代码、共享库/动态加载库和/或设计成用于在计算机系统上运行的其它指令序列。
如本文中所描述的，措辞“应对…”表示容易响应于或反应于动作或事件。因此，如果第二动作“应对…”第一动作执行，则在第一动作的发生与第二动作的发生之间存在因果关系。措辞“应对…”表示因果关系。
如本文中所描述的，措辞“用户”表示人类。
本文中可使用措辞第一、第二等来描述各种元件。这些元件不应受这些措辞的限制，原因在于除非另有说明或者上下文中另有明确指示，否则这些措辞仅用于将一个元件与另一元件区分开。
计算机可读存储介质(或媒介)可在其上包括计算机可读程序指令，这些计算机可读程序指令用于使处理器执行本发明的各方面。本文中描述的计算机可读程序指令可从计算机可读存储介质下载至相应的计算/处理装置或者可经由网络(例如，互联网、LAN、WAN和/或无线网络)下载至外部计算装置或外部储存装置。网络可包括铜传输电缆、光传输光纤、无线传输、路由、防火墙、交换机、网关计算机和/或包括边缘服务器的边缘装置。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理装置内的计算机可读存储介质中。
用于执行本文中描述的发明性布置的过程、方法、特征和/或操作的计算机可读程序指令可以是汇编指令、指令集结构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言(包括面向对象的编程语言和/或过程编程语言)的任意组合编写的源代码或目标代码。当由装置110读取和运行时，计算机可读程序指令使装置110执行运行本文中描述的过程和特征的操作。计算机可读程序指令可完全在装置110上运行、作为独立软件包部分在装置110上运行、部分在装置110上而部分在远程装置上运行或者完全在远程装置或服务器上运行。在后一种情况下，远程装置可经由任何类型的网络(包括LAN或WAN)连接至装置110，或者可(例如，使用互联网服务提供商经由互联网)连接至外部装置。在一些情况下，包括例如处理器、可编程逻辑电路、FPGA或PLA的电子电路可通过利用计算机可读程序指令的状态信息来运行计算机可读程序指令以对电子电路进行个性化定制，从而执行本文中描述的发明性布置的各方面。
本文中参照方法、设备(系统)和计算机可读存储介质的流程图和/或框图对发明性布置的某些方面进行描述。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令(例如，程序代码)实施。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以产生机械动作，从而使得经由计算机的处理器或其它可编程数据处理设备运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的器件。这些计算机可读程序指令还可存储在计算机可读存储介质中，该计算机可读存储介质可指导计算机、可编程数据处理设备和/或其它装置以特定方式起作用，以使得其中存储有指令的计算机可读存储介质具有包括实施流程图和/或框图的一个框或多个框中指定的操作的各方面的指令的成品。
计算机可读程序指令还可被加载至计算机、其它可编程数据处理设备或其它装置上，以使得待在计算机、其它可编程设备或其它装置上执行的一系列操作产生计算机实施过程，从而在计算机、其它可编程设备或其它装置上运行的指令实现流程图和/或框图的一个框或多个框中指定的功能/动作。
附图中的流程图和框图示出了根据发明性布置的各方面的系统、方法和计算机可读存储介质可能实现的结构、功能和操作。在这方面，流程图或框图中的每个块可表示包括用于实现指定操作的一个或多个可运行指令的模块、字段或部分指令。在一些替代实施方式中，框中所示的操作可以不按图中所示的顺序发生。例如，连续示出的两个框可大致同时运行，或者这些框有时可取决于所涉及的功能以相反的顺序运行。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可通过基于专用硬件的系统进行实施，专用硬件的系统执行特定功能或动作或者执行专用硬件和计算机指令的组合。
出于图示简单和清楚的目的，图中所示的元件不一定按比例绘制。例如，为了清楚，一些元件的尺寸可相对于其它元件被夸大。此外，在认为合适的情况下，在附图中重复的附图标记表示相应的、类似的或相同的特征。
可在所附权利要求中找到的所有器件或步骤加功能元件的相应结构、材料、动作和等同旨在包括用于结合具体要求保护的其它要求保护的元件执行该功能的任何结构、材料或动作。
本文中提供的发明性布置的描述是出于说明的目的，而非旨在详举或受限于所公开的形式和示例。本申请中的描述均不应理解为暗示任何特定元件、步骤或功能是必须被包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。此外，没有一项权利要求旨在援引35U.S.C.§112(f)，除非在确切的词语“用于……的器件”的“用于……的器件”之后跟有分词。任何其它措辞(包括但不限于“机制”、“模块”、“装置”、“单元”、“部件”、“元件”、“构件”、“设备”、“机器”、“系统”、“处理器”或“控制器”)在权利要求中的使用被申请人理解为表示相关领域的技术人员已知的结构，而并非旨在援引35U.S.C.§112(f)。
选择本文中使用的术语来解释发明性布置的原理、实际应用或在市场中所能找到的技术之上的技术改进，和/或使本领域的其它普通技术人员能够理解本文中所公开的实施方式。在不背离所描述的发明性布置的范围和精神的情况下，修改和变化对于本领域普通技术人员可以是显而易见的。因此，在指示这些特征和实施的范围时，应参照所附权利要求而非参照前述公开内容。

Claims (15)

1.装置，包括：
相机，所述相机配置成拍摄实时图像数据，所述实时图像数据包括对象的图像；
处理器，所述处理器联接至所述相机并配置成：
使用计算机视觉技术，基于与所述对象相关的情境信息识别所述实时图像数据中被选择的部分的内容；以及
基于识别出的内容生成视觉信息；以及
接口电路，所述接口电路联接至所述处理器并配置成：
呈现所述实时图像数据；以及
将所述视觉信息与所述实时图像数据重叠。
2.根据权利要求1所述的装置，其中，所述处理器还配置成：
基于所述情境信息检索与所述对象相关的数字表示；以及
通过将所述被选择的部分与所述数字表示相关联来识别所述被选择的部分的内容。
3.根据权利要求1所述的装置，其中，所述处理器还配置成：
确定与所述识别出的内容相关的第一服务；
从所述第一服务检索与所述识别出的内容相关的附加信息；以及
基于所述附加信息生成所述视觉信息。
4.根据权利要求1所述的装置，其中，所述处理器还配置成：
检索所述装置的用户的个人信息；以及
基于所述个人信息生成所述视觉信息。
5.根据权利要求1所述的装置，其中，所述处理器还配置成：
检测与所述视觉信息的交互；
响应于所述交互激活第二服务；以及
呈现所述第二服务的用户接口。
6.根据权利要求1所述的装置，其中，所述情境信息包括所述对象的地理位置、时间、众包数据或其组合中的至少一个。
7.用于图像处理的方法，包括：
通过装置呈现由联接至所述装置的相机拍摄的实时图像数据，其中，所述实时图像数据包括对象的图像；
通过所述装置并通过使用计算机视觉技术，基于与所述对象相关的情境信息，识别所述实时图像数据中被选择的部分的内容；
通过所述装置基于识别出的内容生成视觉信息；以及
通过所述装置将所述视觉信息与所述实时图像数据重叠。
8.根据权利要求7所述的方法，还包括：
基于所述情境信息检索与所述对象相关的数字表示；以及
通过将所述被选择的部分与所述数字表示相关联来识别所述被选择的部分的内容。
9.根据权利要求7所述的方法，还包括：
确定与所述识别出的内容相关的第一服务；
从所述第一服务检索与所述识别出的内容相关的附加信息；以及
基于所述附加信息生成所述视觉信息。
10.根据权利要求7所述的方法，还包括：
检索所述装置的用户的个人信息；以及
基于所述个人信息生成所述视觉信息。
11.根据权利要求7所述的方法，还包括：
检测与所述视觉信息的交互；
响应于所述交互激活第二服务；以及
呈现所述第二服务的用户接口。
12.根据权利要求7所述的方法，其中，所述情境信息包括所述对象的地理位置、时间、众包数据或其组合中的至少一个。
13.根据权利要求7所述的方法，其中，所述对象包括餐馆菜单、书刊页面、票和海报。
14.根据权利要求7所述的方法，其中，所述视觉信息基于规则、呈现样式模板、由第三方提供的向导、学习到的所述装置的用户的偏好或其组合中的至少一个来制定。
15.计算机可读存储介质，所述计算机可读存储介质包括计算机可读程序指令，当所述计算机可读程序指令被处理器运行时，使得所述处理器执行权利要求8至14中任一项所述的方法。
CN201780043883.6A 2016-07-15 2017-07-14 增强现实装置及增强现实方法 Active CN109478124B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662362751P 2016-07-15 2016-07-15
US62/362,751 2016-07-15
US201762448325P 2017-01-19 2017-01-19
US201762448339P 2017-01-19 2017-01-19
US62/448,339 2017-01-19
US62/448,325 2017-01-19
US201762472497P 2017-03-16 2017-03-16
US62/472,497 2017-03-16
US15/590,920 US10943398B2 (en) 2016-07-15 2017-05-09 Augmented reality device and operation thereof
US15/590,920 2017-05-09
PCT/KR2017/007567 WO2018012924A1 (en) 2016-07-15 2017-07-14 Augmented reality device and operation thereof

Publications (2)

Publication Number Publication Date
CN109478124A true CN109478124A (zh) 2019-03-15
CN109478124B CN109478124B (zh) 2022-04-29

Family

ID=60940735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043883.6A Active CN109478124B (zh) 2016-07-15 2017-07-14 增强现实装置及增强现实方法

Country Status (4)

Country Link
US (1) US10943398B2 (zh)
EP (1) EP3479588B1 (zh)
CN (1) CN109478124B (zh)
WO (1) WO2018012924A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134315A (zh) * 2019-04-04 2019-08-16 浙江口碑网络技术有限公司 一种菜品营养信息的输出方法及装置
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
US20220319124A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Auto-filling virtual content

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
WO2020072915A1 (en) * 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
US10665030B1 (en) * 2019-01-14 2020-05-26 Adobe Inc. Visualizing natural language through 3D scenes in augmented reality
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US20220276769A1 (en) * 2019-07-29 2022-09-01 Susumu OKUZAWA Meal Planning Menu Proposal System
US11733667B2 (en) 2019-11-18 2023-08-22 Rockwell Automation Technologies, Inc. Remote support via visualizations of instructional procedures
US11263570B2 (en) * 2019-11-18 2022-03-01 Rockwell Automation Technologies, Inc. Generating visualizations for instructional procedures
US11455300B2 (en) 2019-11-18 2022-09-27 Rockwell Automation Technologies, Inc. Interactive industrial automation remote assistance system for components
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
WO2023187866A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 商品検索装置、商品検索方法、及び、記録媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222367A1 (en) * 2012-02-21 2013-08-29 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
CN103733177A (zh) * 2011-05-27 2014-04-16 A9.Com公司 增强实时视图
US20150213058A1 (en) * 2014-01-24 2015-07-30 Amol Ashok Ambardekar Adaptable image search with computer vision assistance
US20150317836A1 (en) * 2014-05-05 2015-11-05 Here Global B.V. Method and apparatus for contextual query based on visual elements and user input in augmented reality at a device
US20160019618A1 (en) * 2013-05-13 2016-01-21 A9.Com, Inc Augmented reality recommendations
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
US20160063692A1 (en) * 2014-09-03 2016-03-03 Sri International Automated Food Recognition and Nutritional Estimation With a Personal Mobile Electronic Device
US20160203641A1 (en) * 2015-01-14 2016-07-14 International Business Machines Corporation Augmented reality device display of image recognition analysis matches

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030208409A1 (en) 2001-04-30 2003-11-06 Mault James R. Method and apparatus for diet control
US20040143503A1 (en) 2002-07-23 2004-07-22 Suthar Yogin P. Restaurant automation system
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
CA2621191C (en) * 2005-08-29 2012-12-18 Evryx Technologies, Inc. Interactivity via mobile image recognition
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20080147730A1 (en) 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
CA2678109C (en) 2007-01-15 2020-05-26 Deka Products Limited Partnership Device and method for food management
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US20100003647A1 (en) 2008-07-04 2010-01-07 Wendell Brown System and Method for Automated Meal Recommendations
US8439683B2 (en) 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
EP2745236A1 (en) 2011-08-18 2014-06-25 Layar B.V. Computer-vision based augmented reality system
US9082035B2 (en) * 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
KR101851239B1 (ko) 2011-11-08 2018-04-23 삼성전자 주식회사 휴대단말기의 이미지 표현장치 및 방법
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP6264014B2 (ja) * 2013-12-17 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US10432841B2 (en) 2014-07-23 2019-10-01 OrCam Technologies, Ltd. Wearable apparatus and method for selectively categorizing information derived from images
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10733446B2 (en) * 2016-01-06 2020-08-04 Orcam Technologies Ltd. Wearable apparatus and methods for causing a paired device to execute selected functions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733177A (zh) * 2011-05-27 2014-04-16 A9.Com公司 增强实时视图
US20130222367A1 (en) * 2012-02-21 2013-08-29 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
CN103530495A (zh) * 2012-06-29 2014-01-22 迪士尼企业公司 增强现实仿真连续体
US20160019618A1 (en) * 2013-05-13 2016-01-21 A9.Com, Inc Augmented reality recommendations
US20150213058A1 (en) * 2014-01-24 2015-07-30 Amol Ashok Ambardekar Adaptable image search with computer vision assistance
US20150317836A1 (en) * 2014-05-05 2015-11-05 Here Global B.V. Method and apparatus for contextual query based on visual elements and user input in augmented reality at a device
CN105279750A (zh) * 2014-07-09 2016-01-27 雷震 一种基于ir-uwb和图像矩的装备展示导览系统
US20160063692A1 (en) * 2014-09-03 2016-03-03 Sri International Automated Food Recognition and Nutritional Estimation With a Personal Mobile Electronic Device
US20160203641A1 (en) * 2015-01-14 2016-07-14 International Business Machines Corporation Augmented reality device display of image recognition analysis matches

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134315A (zh) * 2019-04-04 2019-08-16 浙江口碑网络技术有限公司 一种菜品营养信息的输出方法及装置
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
US20220319124A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Auto-filling virtual content

Also Published As

Publication number Publication date
EP3479588A4 (en) 2019-05-08
WO2018012924A1 (en) 2018-01-18
CN109478124B (zh) 2022-04-29
US20180018825A1 (en) 2018-01-18
EP3479588A1 (en) 2019-05-08
EP3479588B1 (en) 2021-11-03
US10943398B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
CN109478124A (zh) 增强现实装置及其操作
US11024070B2 (en) Device and method of managing user information based on image
US9870633B2 (en) Automated highlighting of identified text
CN105404629B (zh) 确定地图界面的方法和装置
US9535945B2 (en) Intent based search results associated with a modular search object framework
CN107003827B (zh) 由包括可切换镜子的设备执行的图像显示方法和设备
CN110083303A (zh) 信息处理设备、信息处理方法与计算机可读介质
US20160093081A1 (en) Image display method performed by device including switchable mirror and the device
US9830388B2 (en) Modular search object framework
CN110168478A (zh) 表面识别镜头
CN108432190A (zh) 应答消息推荐方法及其设备
CN107710197A (zh) 在通信网络上共享图像和图像相册
CN109313536A (zh) 基于意图动态生成的任务图标的虚拟键盘
CN108156825A (zh) 跨文化问候卡系统
CN108664829A (zh) 用于提供与图像中对象有关的信息的设备
KR102102571B1 (ko) 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법
CN105022776B (zh) 与模块化搜索对象框架相关联的增强搜索结果
TWI680400B (zh) 基於影像管理使用者資訊的裝置與方法
CN109154936A (zh) 数据库搜索优化器和主题过滤器
CN110268437A (zh) 定制的上下文媒体内容项生成
CN107864681A (zh) 利用图像的社交网络服务系统及方法
Gartner et al. Recent research developments in modern cartography in Europe
US20240112408A1 (en) User-customized location based content presentation
US20150365390A1 (en) Method of creating preference image identification code, method of diagnosing preference image identification code, and method of providing information using preference image identification code
CN113168354B (zh) 用于从一个或多个计算机应用中选择并提供可用动作给用户的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant