CN116097210A - 智能透镜/增强眼镜中的迭代存储器映射操作 - Google Patents

智能透镜/增强眼镜中的迭代存储器映射操作 Download PDF

Info

Publication number
CN116097210A
CN116097210A CN202180056368.8A CN202180056368A CN116097210A CN 116097210 A CN116097210 A CN 116097210A CN 202180056368 A CN202180056368 A CN 202180056368A CN 116097210 A CN116097210 A CN 116097210A
Authority
CN
China
Prior art keywords
user
attention
augmented reality
reality device
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056368.8A
Other languages
English (en)
Inventor
S·克瓦特拉
J·福克斯
S·拉克什特
J·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN116097210A publication Critical patent/CN116097210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/13—Digital output to plotter ; Cooperation and interconnection of the plotter with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Toxicology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了用于存储器映射的方法、计算机系统和计算机程序产品。本发明可以包括识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备。本发明可包括基于至少一个生物特征参数来定义至少一个用户注意模式。本发明可以包括基于至少一个注意模式来预测用户的注意力。本发明可以包括：基于用户的注意力下降到特定点以下，记录来自增强现实设备的数据。本发明可以包括存储所记录的数据。

Description

智能透镜/增强眼镜中的迭代存储器映射操作
背景技术
本发明总体上涉及计算领域，并且更具体地涉及基于视觉的技术。
智能接触透镜(smart contact lens)可具有捕捉用户周围环境的视频片段的能力。例如，基于特定眼睛事件，智能接触透镜可开始捕捉和存储视频片段。同时，用户可能对用户自己的周围环境分心和/或注意力不集中(例如，紧张、心不在焉，等等)。这可能意味着，即使用户已经看到了周围环境，他或她也可能不记得特定事件(例如，可能不记得他或她已经看到和/或目击的事物，包括但不限于在诸如介绍之类的重点聚焦的时刻期间、异常事件发生的时刻期间、他或她被中断的时刻期间、和/或在在线通信中或在阅读后太长而记不住的媒体屏幕上显示文本的时刻期间)。
发明内容
本发明实施例公开了一种存储器映射的方法、计算机系统和计算机程序产品。本发明可以包括识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备。本发明可包括基于至少一个生物特征参数来定义至少一个用户注意模式。本发明可以包括基于至少一个注意模式来预测用户的注意力。本发明可以包括：基于用户的注意力下降到特定点以下，记录来自增强现实设备的数据。本发明可以包括存储所记录的数据。
从第一方面来看，本发明提供了一种用于存储器映射的方法，该方法包括：识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；基于所述至少一个生物特征参数来定义至少一个用户注意模式；基于所述至少一个注意模式来预测用户的注意力；基于所述用户的注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及存储所记录的数据。
优选地，本发明提供了一种方法，其中，所述增强现实设备从由以下各项组成的组中选择：智能接触透镜、一副智能眼镜、以及头戴式显示器。
优选地，本发明提供一种方法，其中基于至少一个注意模式预测用户的注意力还包括：部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测用户的注意模式。
优选地，本发明提供一种方法，还包括：使用具有长短期记忆(LSTM)递归神经网络(RNN)模型主成分分析(PCA)来基于所述至少一个生物特征参数确定用户周围环境的上下文。
优选地，本发明提供一种方法，其中基于至少一个注意模式预测用户的注意力还包括：确定用户注意力不集中；以及接合(engage)附近用户的所述增强现实设备。
优选地，本发明提供了一种方法，其中基于用户的注意力下降到特定点以下，记录来自增强现实设备的数据还包括：计算用户的注意力与用户的基线简档的偏差。
优选地，本发明提供一种方法，其中存储记录数据还包括：将记录数据存储在连接的数据库中；以及重新训练长短期记忆(LSTM)递归神经网络(RNN)模型。
从第二方面来看，本发明提供了一种用于存储器映射的计算机系统，包括：一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储介质，以及存储在所述一个或多个有形存储介质中的至少一个上的用于由所述一个或多个处理器中的至少一个经由所述一个或多个存储器中的至少一个执行的程序指令，其中，所述计算机系统能够执行一种方法，所述方法包括：识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；基于所述至少一个生物特征参数来定义至少一个用户注意模式；基于所述至少一个注意模式来预测用户的注意力；基于所述用户的注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及存储所记录的数据。
优选地，本发明提供一种计算机系统，其中，所述增强现实设备选自由智能接触透镜、一副智能眼镜和头戴式显示器组成的组。
优选地，本发明提供一种计算机系统，其中基于至少一个注意模式预测用户的注意力还包括：部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测用户的注意模式。
优选地，本发明提供一种计算机系统，其还包括：使用具有长短期记忆(LSTM)递归神经网络(RNN)模型的主成分分析(PCA)来基于所述至少一个生物特征参数确定用户周围环境的上下文。
优选地，本发明提供一种计算机系统，其中基于至少一个注意模式预测用户的注意力还包括：确定用户注意力不集中；以及接合附近用户的所述增强现实设备。
优选地，本发明提供了一种计算机系统，其中，其中基于用户的注意力降低到特定点以下，记录来自增强现实设备的数据还包括：计算用户的注意力与用户的基线简档的偏差。
优选地，本发明提供一种计算机系统，其中存储记录数据还包括：将记录数据存储在连接的数据库中；以及重新训练长短期记忆(LSTM)递归神经网络(RNN)模型。
从另一方面来看，本发明提供了一种用于存储器映射的计算机程序产品，包括：一个或多个非暂态计算机可读存储介质以及存储在所述一个或多个有形存储介质中的至少一个有形存储介质上的程序指令，所述程序指令可由处理器执行以使所述处理器执行一种方法，所述方法包括：识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；基于所述至少一个生物特征参数来定义至少一个用户注意模式；基于所述至少一个注意模式来预测用户的注意力；基于所述用户的注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及存储所记录的数据。
优选地，本发明提供了一种计算机程序产品，其中，所述增强现实设备选自由智能接触透镜、一副智能眼镜和头戴式显示器组成的组。
优选地，本发明提供一种计算机程序产品，其中基于至少一个注意模式预测用户的注意力还包括：部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测用户的注意模式。
优选地，本发明提供一种计算机程序产品，进一步包括：使用具有长短期记忆(LSTM)递归神经网络(RNN)模型的主成分分析(PCA)来基于所述至少一个生物特征参数确定用户周围环境的上下文。
优选地，本发明提供一种计算机程序产品，其中基于至少一个注意模式预测用户的注意力还包括：确定用户注意力不集中；以及接合附近用户的所述增强现实设备。
优选地，本发明提供了一种计算机程序产品，其中基于用户的注意力降低到特定点以下，记录来自增强现实设备的数据还包括：计算用户的注意力与用户的基线简档的偏差。
优选地，本发明提供了一种用于存储器映射的方法，所述方法包括：预测用户的注意力不集中；识别附近用户；以及基于所预测的所述用户的注意力不集中，记录由所述附近用户的增强现实设备观察到的多个数据。
优选地，本发明提供一种方法，其中预测所述用户的注意力不集中进一步包括：部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测所述用户的注意模式，其中主成分分析(PCA)与所述长短期记忆(LSTM)递归神经网络(RNN)模型一起被部署，以基于至少一个生物特征参数确定所述用户的周围环境的上下文。
优选地，本发明提供了一种用于由增强现实设备触发记录的方法，所述方法包括：通过机器学习算法，基于预测所述增强现实设备的用户注意力不集中来确定所述增强现实设备应当开始记录，其中所预测的所述增强现实设备的用户的注意力不集中是基于眼睛事件。
优选地，本发明提供一种方法，其中增强现实设备是智能接触透镜。
优选地，本发明提供一种方法，其中机器学习算法是具有主成分分析(PCA)的长短期记忆(LSTM)递归神经网络(RNN)模型。
附图说明
从以下将结合附图阅读的对本发明的示例性实施例的详细描述中，本发明的这些和其他目的、特征和优点将变得显而易见。附图的各种特征不是按比例的，因为这些图示是为了便于本领域技术人员结合详细描述来理解本发明。在附图中：
图1示出了根据至少一个实施例的联网计算机环境；
图2是示出根据至少一个实施例的用于存储器映射的过程的操作流程图；
图3是根据至少一个实施例的图1中所描绘的计算机和服务器的内部和外部组件的框图；
图4是根据本公开的实施例包括图1中描绘的计算机系统的说明性云计算环境的框图；
图5是根据本公开的实施例的图4的说明性云计算环境的功能层的框图。
具体实施方式
在本文中公开了所要求保护的结构和方法的详细实施例；然而，应当理解的是，所公开的实施例仅仅是对所要求保护的结构和方法的说明，它们可以以不同的形式来实施。然而，本发明可以以许多不同的形式体现并且不应被解释为局限于在本文中阐述的示例性实施例。相反，提供这些示例性实施方式是为了使本公开全面且完整，并且将本发明的范围充分传达给本领域技术人员。在描述中，可省略众所周知的特征和技术的细节以避免不必要地使所呈现的实施例模糊。
本发明可以是任何可能的技术细节集成度的系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。
计算机可读存储介质可为可保留和存储供指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。
本文中所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码，这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程程序设计语言(诸如“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的或多个框中指定的功能/动作的装置。
也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的或多个方框中规定的功能/动作的方面的指令的制造品。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的或多个方框中规定的功能/动作。
附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。
以下描述的示例性实施例提供一种用于存储器映射的系统、方法和程序产品。照此，本实施例具有以下能力：通过记录和存储由增强现实设备(例如，智能接触透镜、一副智能眼镜、或头戴式显示器)收集的视觉数据并且连续地修剪所收集的数据以确定可以被认为对用户有价值的信息，来改进增强现实设备的技术领域。更具体地，本发明可以包括识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备。本发明可包括基于至少一个生物特征参数来定义至少一个用户注意模式。本发明可以包括基于至少一个注意模式来预测用户的注意力。本发明可以包括：基于用户的注意力下降到特定点以下，记录来自增强现实设备的数据。本发明可以包括存储所记录的数据。
如前所述，智能接触透镜可具有捕捉用户周围环境的视频片段的能力。例如，基于特定眼睛事件(例如，向上看、向下看、向左看、向右看、转动眼睛、以特定顺序眨眼、闭眼、睁大眼睛、以及其他眼睛事件)，智能接触透镜可以开始捕捉并存储视频片段。同时，用户可能对用户自己的周围环境分心和/或注意力不集中(例如，紧张、心不在焉，等等)。这可能意味着，即使用户已经看到了周围环境，他或她也可能不记得特定事件(例如，可能不记得他或她已经看到和/或目击的事物，包括但不限于在诸如介绍之类的重点聚焦的时刻期间、异常事件发生的时刻期间、他或她被中断的时刻期间、和/或在在线通信中或在阅读后太长而记不住的媒体屏幕上显示文本的时刻期间)。
因此，尤其有利的是，通过提供可以检测到用户的短期记忆能力和/或健忘模式的手段，来解决此类记忆受限的场景，并且因此，智能接触透镜和/或增强型眼镜可以自动捕捉描绘用户周围环境的视频。
根据至少一个实施例，智能存储管理机制可以被嵌入在智能透镜(即，智能接触透镜)、一副智能眼镜(即，增强眼镜、增强现实眼镜)、头戴式显示器、和/或另一增强现实小工具中。智能存储管理机制可以采用可配置的学习工具来教导选择性地和动态地存储、标记和/或索引口头、文本和/或视觉数据(包括与用户的捕获的片段相关联的任何属性)的级别，这可以用于将来的引用。
根据至少一个实施例，智能存储管理机制可包括使用迭代训练来连续修剪选择性特征，迭代训练可考虑用户偏好(例如，程序中配置的偏好)以及用户学习的行为，以确定可能对用户而言被认为是有价值的信息等级和可能期望用于稍后使用和/或参考的信息等级。
根据至少一个实施例，智能存储管理机制可以针对单个用户以及用户分组来触发设备的记录能力，并且可以使用机器学习来学习何时触发设备进行记录。
根据至少一个实施例，智能存储管理机制可有助于保留时间事件，包括但不限于基于地理邻近度和用户忘记位置的事件、一天中的某个时间(例如，当用户过度疲劳时)和/或在有大量活动需要用户注意的场景中。
参照图1，描述了根据一个实施方式的示例性联网计算机环境100。联网计算机环境100可以包括具有处理器104的计算机102和能够运行软件程序108的数据存储设备106和存储器映射程序110a。联网计算机环境100还可以包括服务器112，其能够运行可以与数据库114和通信网络116交互的存储器映射程序110b。联网计算机环境100可以包括多个计算机102和服务器112，仅示出其中之一。通信网络116可包括不同类型的通信网络，诸如广域网(WAN)、局域网(LAN)、电信网络、无线网络、公共交换网络和/或卫星网络。增强现实(AR)设备118和物联网(IoT)设备120被描绘为所示为的它们自己的独立实体，但可以被集成到计算机网络环境的另一部分中。应当理解，图1仅提供一个实现方式的图示并且不暗示关于其中可以实现不同实施例的环境的任何限制。可以基于设计和实现要求对所描绘的环境做出许多修改。
客户端计算机102可以经由通信网络116与服务器计算机112通信。通信网络116可以包括连接，例如有线、无线通信链路、或光纤电缆。如将参考图3讨论的，服务器计算机112可以分别包括内部组件902a和外部组件904a，并且客户端计算机102可以分别包括内部组件902b和外部组件904b。服务器计算机112还可在云计算服务模型(诸如软件即服务(SaaS)、平台即服务(PaaS)或基础设施即服务(IaaS))中操作。服务器112还可以位于云计算部署模型中，诸如私有云、社区云、公共云或混合云。客户端计算机102可以是例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机、或能够运行程序、访问网络和访问数据库114的任何类型的计算设备。根据本实施例的不同实现，存储器映射程序110a、110b可以与数据库114交互，该数据库114可以被嵌入在不同存储设备中，诸如但不限于计算机/移动设备102、联网服务器112或云存储服务。
根据本实施例，使用客户端计算机102或服务器计算机112的用户可以使用存储器映射程序110a、110b(分别)来记录和存储由增强现实设备(例如，智能接触透镜、一副智能眼镜、或头戴式显示器)收集的视觉数据并且连续地修剪所收集的数据以确定可以被认为对于用户有价值的信息。下面参照图2更详细地解释存储器映射方法。
现在参考图2，描述了示出根据至少一个实施例的由存储器映射程序110a和110b使用的示例性存储器映射过程200的操作流程图。
在202，增强现实(AR)设备连接到至少一个移动和/或物联网(IoT)设备。智能接触透镜、一副智能眼镜、和/或包括嵌入式摄像机的另一增强现实(AR)设备可以使用通信网络(例如，通信网络116)连接至至少一个移动和/或物联网(IoT)设备，使得可以确定用户的预测的注意力水平和在稍后日期记得用户周围环境的能力并且可以进行记录。
IoT可以是具有嵌入式传感器的相互关联的计算设备、机械和数字机器的系统，其可在互联网上传输数据而不需要人与人或人与计算机交互。连接的IoT设备可嵌入到移动设备、工业设备、和/或环境传感器等中，包括但不限于手表、汽车、恒温器、语音助理等。
AR设备可以通过
Figure BDA0004113338110000081
(蓝牙和所有基于蓝牙的商标和徽标是Bluetooth-SIG，Inc.和/或其附属公司的商标或注册商标)、WiFi、无线电和/或其他通信方法连接到物联网设备，这些通信方法可以在AR设备和物联网设备之间传输数据(例如信号、视频流)。
在204，定义用户的注意模式。可以创建知识语料库(例如，云数据库和/或数据库114)来存储用户注意模式(例如，用户的生物特征参数、朝向用户周围环境的注意力和记得特定情景的能力之间的所识别的相关性)。
存储器映射程序110a、110b可部署长短期存储器(LSTM)递归神经网络(RNN)，其可用于经由自动编码器预测用户的注意模式。LSTM-RNN模型可考虑多变量时间序列数据(例如，以时间顺序索引的一系列数据点，其可已在连续、等距间隔或时间点处被考虑)。时间序列数据可以是关于用户和由用户执行的活动(如果有的话)的时间序列数据。时间序列数据可以从连接的增强现实(AR)设备(例如，智能接触透镜、一副智能眼镜、头戴式显示器和/或另一增强现实小工具)收集。
例如，时间序列数据可能包括用户注视特定方向和/或在特定方向行走或驾驶。时间序列数据可以包括分类特征变量(例如，凝视或行走，以及许多其他事物)。这些分类特征变量可通过编码(例如，使用标签编码或独热编码，其中分类特征变量可转换成可由机器学习算法，以及其他编码方法使用的数字形式)转换成数字特征向量。可将数值特征向量馈送到LSTM-RNN架构中。
数字特征向量可使LSTM-RNN模型能够学习用户的可能活动(如果有的话)，并与自动编码器一起执行关注检测(例如，用于递归神经网络的编码器-解码器架构可用于序列到序列预测问题)。注意检测可以是解决编码器-解码器架构对长数据序列的限制并可使用关于序列到序列预测问题的LSTM-RNN模型的技能的深度学习模型中的机制和/或层。
自动编码器可以是可将图像作为输入(例如，来自连接的相机和/或视频馈送，包括连接到增强现实设备的那些图像)、将图像压缩成潜在空间表示以及从潜在空间表示重构输出图像的无监督学习技术。自动编码器可以包括瓶颈，该瓶颈可以包含数据的输入表示(例如，数据x可以具有f(x))的输入表示)。自动编码器中的解码器随后可使用瓶颈中的编码来产生输入数据的重构(例如，输入数据x的重构为r＝g(f(x))))。自动编码器可以学习输入数据(例如，视频数据)中的任何规律性。
历史参数可以由用户的不同设备(例如，增强现实设备和/或IoT设备)收集，并且可以在此被考虑以预测用户的注意模式。历史参数可以包括所收集的关于用户的注意力水平和用户记得情景的能力的数据，包括用户的回忆是否是在用户处于不良认知状态(例如，悲伤、压力和/或健康问题等)时进行的。历史参数可由连接的IoT设备收集，如先前参照以上步骤202所描述的，并且可被存储在知识语料库(例如，云数据库和/或数据库114)中。
主成分分析(PCA)也可与LSTM-RNN模型一起使用以基于实时生物特征参数(例如，经由连接的IoT可穿戴设备捕获)、用户的生物特征参数的变化率、用户周围的上下文需要、任何书面文本(例如，电话号码、牌照号码、写在名片上的信息、营业时间、地址和/或街道名称)、和/或当某人陈述他/她的姓名时的介绍，连同可由AR装置俘获的其他实例。PCA可以是用于通过构建主分量来减少数据集的维度的维度减少方法。PCA图可以基于相似性将聚类描绘在一起。
当参数的数量非常复杂且LSTM-RNN模型摄取多个输入时，PCA可用于理解输入变量之间的关系和/或执行维度减少(例如，减少将与算法一起使用的输入特征或特征向量的数量)。
在206处，预测用户的当前注意力。当预测用户在什么认知状态下可能忽视或可能无法记得与用户的周围环境有关的某些细节时，可考虑用于特征分析和修剪的具有PCA的LSTM-RNN模型(如上文相对于以上步骤204所描述)。
用户的认知启发法(例如，用于处理信息的用户的方法，包括合理地、逻辑地、故意地、口头地、毫不费力地、情绪地和/或直观地考虑问题等)可以用于识别用户的“正常行为(norm)”和用户行为中的异常，“增量”(例如，基于某些单词的使用、响亮的声音、和/或剧烈的加速度计变化)可以用于识别在给定时间的用户的注意力。
根据至少一个实施例，可以在相对标度上测量用户的注意力(例如，其中较低的测量注意力具有更接近0的注意力得分，较高的测量注意力得分更接近100)。当用户的注意力下降到预定义阈值以下和/或从用户的行为偏离增量(例如，下降到相对尺度上的某一点以下，例如计算的50％)时，用户的增强现实(AR)设备可开始记录。
例如，可以创建用户的基线简档(例如，使用先前关于以上步骤204描述的学习机制)，并且可以识别与用户的基线简档的偏差，其中存储器映射程序110a、110b进一步将用户识别为注意力集中或注意力不集中。
特定眼睛事件(例如，向上看、向下看、向左看、向右看、转动眼睛、以特定顺序眨眼、闭眼、睁眼、以及其他眼睛事件)还可以触发智能接触透镜开始捕捉并存储视频片段。通过直接将信息投影到用户的视网膜上，增强现实(AR)设备(例如，用户的智能接触透镜、一副智能眼镜、和/或其他增强现实(AR)设备)可以能够捕捉基于手势的眼睛移动以发起视频片段的捕捉和存储。
当用户试图从过多的过去事件(例如，E1、E2、…、En)中回忆某个情况和/或事件时，还可以利用特征修剪(例如，用于减少机器学习算法中的复杂性的迭代事件修剪)。用户可经历回忆事件(例如，Em)的困难，但可能能够记得其他事件。PCA分析和其他特征帧修剪机制可用于建立用户的上下文，包括通过开发用户的修剪策略(例如，识别用户在回忆过去的事件时经历困难的实例)。迭代事件修剪可通过保存由用户的智能接触透镜、一副智能眼镜和/或其他增强现实(AR)装置捕获的数据(例如，照片和/或视频数据等)来帮助建立用户的基线简档并识别用户与基线简档的偏离，这些数据可能与用户先前不记得的事件有关。
在208，存储器映射程序110a、110b确定是否应当开始在增强现实(AR)设备上记录。例如，基于特定眼睛事件(例如，向上看、向下看、向左看、向右看、转动眼睛、以特定顺序眨眼、闭眼、睁大眼睛、以及其他眼睛事件)和/或用户的生物特征参数，智能接触透镜可以开始捕捉并存储视频片段。
存储器模型可以与辅助处理器和/或图形处理单元(GPU)并置，该辅助处理器和/或图形处理单元(GPU)根据用户的变化试探法运行PCA分析(如先前相对于以上步骤204和206所描述的)。
例如，可以发现用户分心和注意力不集中，并且基于历史数据(例如，包括在先前类似情况中的用户的注意力水平)，存储器映射程序110a、110b可以确定用户将不记得用户已经看到什么的细节，以及应当开始在增强现实(AR)设备上记录。基于该确定，用户的不同设备(包括任何连接的增强现实(AR)设备和/或IoT设备)可继续跟踪用户的注意力水平并且还可捕捉用户的周围环境。
此外，根据本发明的至少一个实施例，如果连接到存储器映射程序110a、110b的用户的计算生态系统(例如，从智能接触透镜和/或IoT传感器等馈送数据的用户的移动设备、可穿戴设备的组合)，基于该事件与用户不记得的过去事件的相似性，识别用户不是注意力集中的或可能不记得该事件，并且同时用户的聚焦方向从目标周围环境分心，则存储器映射程序110a、110b可以与至少一个其他用户(即，附近用户)的配对智能隐形眼镜和/或增强现实设备(例如，增强眼镜、增强现实眼镜等)交互，以捕捉用户的周围环境。
存储器映射程序110a、110b能够立即识别并连接到附近用户(例如，也使用存储器映射程序110a、110b的版本的附近用户)的增强现实设备。由附近用户的增强现实设备捕获的任何数据可被保存在连接到用户的存储器映射程序110a、110b的数据库中。
例如，两个朋友正在一起旅行。如果一个朋友不高兴并且不太专注(例如，不集中于区域中的著名站点)，则存储器映射程序110a、110b将识别这一点，并且将接合另一朋友的智能接触透镜和/或增强现实设备的(多个)传感器来代表另一朋友捕获周围环境。
如果在这里确定记录应该开始，则存储器映射程序110a、110b前进到下面的步骤210。
如果在这里确定不应该开始记录，则存储器映射程序110a、110b结束。
在210处，记录开始。可以在时间T发起内容记录事件。在那时，智能接触透镜和/或其他增强现实设备(例如，增强眼镜、增强现实眼镜、头戴式显示器等)可基于步骤208处在增强现实(AR)设备上的记录应开始的以上确定来自动记录用户周围环境的视频。
例如，在用户过度兴奋或害怕、以及可能消耗用户的反应和/或想法的其他情绪的实例中，视频可由智能接触透镜和/或其他增强现实(AR)设备上的存储器映射程序110a、110b自动捕捉。用户的情绪可由存储器映射程序110a、110b基于所连接的IoT设备来确定，IoT设备包括但不限于可捕捉用户的生物测定数据(即，生物特征参数)等的可穿戴设备。
在212，存储所记录的数据并且重新训练机器学习模型。训练周期可以被接合。
在212，存储所记录的数据并且重新训练机器学习模型。训练时段可以由存储器映射程序110a、110b接合，并且在时间序列事件(例如，一系列事件E(E1，E2，…，En)的时间T)期间收集的所有数据可以被记录并存储在云数据库(例如，数据库114)中。
机器学习模型的重新训练可以如先前关于以上步骤204所描述的。
可以理解的是，图2仅提供一个实施例的说明并且不暗示关于可以如何实施不同实施例的任何限制。可以基于设计和实现要求对所描绘的实施例进行许多修改。
图3是根据本发明的说明性实施例的图1中描绘的计算机的内部和外部组件的框图900。应当理解，图3仅提供一个实现方式的图示并且不暗示关于其中可以实现不同实施例的环境的任何限制。可以基于设计和实现要求对所描绘的环境做出许多修改。
数据处理系统902、904表示能够执行机器可读程序指令的任何电子设备。数据处理系统902、904可以表示智能电话、计算机系统、PDA或其他电子设备。数据处理系统902、904可表示的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、网络PC、小型计算机系统和包括以上系统或设备中的任一个的分布式云计算环境。
用户客户端计算机102和网络服务器112可以包括图3中示出的相应组的内部组件902a,b和外部组件904a,b。每组内部组件902a,b包括在一条或多条总线912上的一个或多个处理器906、一个或多个计算机可读RAM 908和一个或多个计算机可读ROM 910，以及一个或多个操作系统914和一个或多个计算机可读有形存储设备916。客户端计算机102中的一个或多个操作系统914、软件程序108和存储器映射程序110a以及网络服务器112中的存储器映射程序110b可以存储在一个或多个计算机可读有形存储设备916上，以供一个或多个处理器906经由一个或多个RAM 908(其通常包括高速缓存存储器)执行。在图3中示出的实施方式中，每个计算机可读有形存储设备916是内部硬盘驱动器的磁盘存储设备。可替代地，每个计算机可读有形存储设备916是半导体存储设备，诸如ROM 910、EPROM、闪存或可存储计算机程序和数字信息的任何其他计算机可读有形存储设备。
每组内部组件902a,b还包括R/W驱动器或接口918，用于从诸如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备的一个或多个便携式计算机可读有形存储设备920读取和向其写入。软件程序(诸如软件程序108和存储器映射程序110a和110b)可存储在一个或多个相应的便携式计算机可读有形存储设备920上，通过相应的R/W驱动器或接口918读取并加载到相应的硬盘驱动器916中。
每组内部组件902a,b还可以包括网络适配器(或交换机端口卡)或接口922，如TCP/IP适配器卡、无线wi-fi接口卡、或3G或4G无线接口卡或其他有线或无线通信链路。客户端计算机102中的软件程序108和存储器映射程序110a以及网络服务器计算机112中的存储器映射程序110b可以经由网络(例如，互联网、局域网或其他广域网)和相应的网络适配器或接口922从外部计算机(例如，服务器)下载。从网络适配器(或交换机端口适配器)或接口922，将客户机计算机102中的软件程序108和存储器映射程序110a以及网络服务器计算机112中的存储器映射程序110b加载到相应的硬盘驱动器916中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
每组外部组件904a,b可以包括计算机显示监视器924、键盘926和计算机鼠标928。外部组件904a,b还可包括触摸屏、虚拟键盘、触摸板、指点设备和其他人机接口设备。每组内部组件902a,b还包括连接到计算机显示监视器924、键盘926和计算机鼠标928的设备驱动器930。设备驱动器930、R/W驱动器或接口918和网络适配器或接口922包括硬件和软件(存储在存储设备916和/或ROM 910中)。
提前理解的是，虽然本公开包括关于云计算的详细描述，但是本文所引用的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知的或以后开发的任何其他类型的计算环境来实现。
云计算是一种服务交付模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)的共享池的便捷、按需网络访问，其能够以最小的管理努力或与服务的提供商的交互快速地供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
特性如下：
按需自助服务：云消费者可以根据需要自动提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者的人类交互。
广泛的网络接入：能力可通过网络获得并且通过标准机制接入，该标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上型计算机和PDA)的使用。
资源池：提供者的计算资源被池化以使用多租户模型来服务于多个消费者，其中不同的物理和虚拟资源根据需要动态地指派和重新指派。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。
快速弹性：能够快速和弹性地提供能力，在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。
测量的服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某个抽象级别处利用计量能力来自动控制和优化资源使用。可以监视、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。
服务模型如下：
软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。可通过诸如web浏览器(例如，基于web的电子邮件)之类的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。
平台即服务(PaaS)：提供给消费者的能力是将消费者创建的或获取的使用由提供商支持的编程语言和工具创建的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。
基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，而是具有对操作系统、存储、所部署的应用的控制以及对所选联网组件(例如，主机防火墙)的可能受限的控制。
部署模型如下：
私有云：云基础架构仅为组织运作。它可以由组织或第三方管理，并且可以存在于场所内或场所外。
社区云：云基础架构被若干组织共享并支持共享了关注(例如，任务、安全要求、策略、和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于场所内或场所外。
公共云：使云基础架构对公众或大型行业组可用，并且由出售云服务的组织拥有。
混合云：云基础架构是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如，云突发以用于云之间的负载平衡)绑定在一起。
云计算环境是面向服务的，集中于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。
现在参考图4，描述了说明性云计算环境1000。如图所示，云计算环境1000包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点100，本地计算设备诸如例如个人数字助理(PDA)或蜂窝电话1000A、台式计算机1000B、膝上型计算机1000C和/或汽车计算机系统1000N。节点100可彼此通信。它们可以物理地或虚拟地分组(未示出)在一个或多个网络中，诸如如上所述的私有云、社区云、公共云或混合云、或其组合。这允许云计算环境1000提供基础设施、平台和/或软件作为云消费者不需要为其维护本地计算设备上的资源的服务。应当理解，图4中所示的计算设备1000A-N的类型旨在仅是说明性的，并且计算节点100和云计算环境1000可以通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备通信。
现在参考图5，示出了由云计算环境1000提供的一组功能抽象层1100。应提前理解，图5中所示的组件、层和功能仅旨在是说明性的，并且本发明的实施例不限于此。如所描述，提供以下层和对应功能：
硬件和软件层1102包括硬件和软件组件。硬件组件的示例包括：大型机1104；基于RISC(精简指令集计算机)架构的服务器1106；服务器1108；刀片式服务器1110；存储设备1112；以及网络和联网组件1114。在一些实施例中，软件组件包括网络应用服务器软件1116和数据库软件1118。
虚拟化层1120提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器1122；虚拟存储1124；虚拟网络1126，包括虚拟专用网络；虚拟应用和操作系统1128；以及虚拟客户端1130。
在一个示例中，管理层1132可以提供以下描述的功能。资源供应1134提供计算资源和用于在云计算环境内执行任务的其他资源的动态采购。计量和定价1136在云计算环境内利用资源时提供成本跟踪，并为这些资源的消费开账单或发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户1138为消费者和系统管理员提供对云计算环境的访问。服务水平管理1140提供云计算资源分配和管理，使得满足所需的服务水平。服务水平协议(SLA)规划和履行1142为云计算资源提供预安排和采购，根据该SLA预期该云计算资源的未来要求。
工作负载层1144提供可以利用云计算环境的功能的示例。可以从该层提供的工作负荷和功能的示例包括：地图和导航1146；软件开发和生命周期管理1148；虚拟教室教育传递1150；数据分析处理1152；事务处理1154；以及存储器映射1156。存储器映射程序110a、110b提供用于记录和存储由增强现实设备(例如，智能接触透镜、一副智能眼镜)收集的视觉数据并且连续地修剪所收集的数据以确定可被视为对用户有价值的信息的方式。
已经出于说明的目的呈现了本发明的各种实施方式的描述，但并不旨在是详尽的或者限于所公开的实施方式。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。这里使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。

Claims (25)

1.一种用于存储器映射的方法，所述方法包括：
识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；
基于所述至少一个生物特征参数来定义至少一个用户注意模式；
基于所述至少一个注意模式来预测用户的注意力；
基于所述用户的所述注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及
存储所记录的数据。
2.根据权利要求1所述的方法，其中，所述增强现实设备从由以下各项组成的组中选择：
智能接触透镜、智能眼镜、以及头戴式显示器。
3.根据权利要求1所述的方法，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测所述用户的注意模式。
4.根据权利要求3所述的方法，进一步包括：
使用具有所述长短期记忆(LSTM)递归神经网络(RNN)模型的主成分分析(PCA)基于所述至少一个生物特征参数确定所述用户的周围环境的上下文。
5.根据权利要求1所述的方法，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
确定所述用户注意力不集中；以及
接合附近用户的所述增强现实设备。
6.根据权利要求1所述的方法，其中，基于所述用户的所述注意力降低到所述特定点以下，记录来自所述增强现实设备的数据进一步包括：
计算所述用户的所述注意力与所述用户的基线简档的偏差。
7.根据权利要求1所述的方法，其中，存储所记录的数据进一步包括：
将所记录的数据存储在连接的数据库中；以及
重新训练长短期记忆(LSTM)递归神经网络(RNN)模型。
8.一种用于存储器映射的计算机系统，包括：
一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储介质、以及存储在所述一个或多个有形存储介质中的至少一个上的用于由所述一个或多个处理器中的至少一个经由所述一个或多个存储器中的至少一个执行的程序指令，其中所述计算机系统能够执行包括以下步骤的方法：
识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；
基于所述至少一个生物特征参数来定义至少一个用户注意模式；
基于所述至少一个注意模式来预测用户的注意力；
基于所述用户的所述注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及
存储所记录的数据。
9.根据权利要求8所述的计算机系统，其中，所述增强现实设备从由以下各项组成的组中选择：
智能接触透镜、智能眼镜、以及头戴式显示器。
10.根据权利要求8所述的计算机系统，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测所述用户的注意模式。
11.根据权利要求10所述的计算机系统，进一步包括：
使用具有所述长短期记忆(LSTM)递归神经网络(RNN)模型的主成分分析(PCA)基于所述至少一个生物特征参数确定所述用户的周围环境的上下文。
12.根据权利要求8所述的计算机系统，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
确定所述用户注意力不集中；以及
接合附近用户的所述增强现实设备。
13.根据权利要求8所述的计算机系统，其中，基于所述用户的所述注意力降低到所述特定点以下，记录来自所述增强现实设备的数据进一步包括：
计算所述用户的所述注意力与所述用户的基线简档的偏差。
14.根据权利要求8所述的计算机系统，其中，存储所记录的数据进一步包括：
将所记录的数据存储在连接的数据库中；以及
重新训练长短期记忆(LSTM)递归神经网络(RNN)模型。
15.一种用于存储器映射的计算机程序产品，包括：
一个或多个非暂时性计算机可读存储介质以及存储在所述一个或多个有形存储介质中的至少一个上的程序指令，所述程序指令可由处理器执行以使所述处理器执行一种方法，所述方法包括：
识别增强现实设备和观察至少一个生物特征参数的至少一个物联网(IoT)设备；
基于所述至少一个生物特征参数来定义至少一个用户注意模式；
基于所述至少一个注意模式来预测用户的注意力；
基于所述用户的所述注意力降低到特定点以下，记录来自所述增强现实设备的数据；以及
存储所记录的数据。
16.根据权利要求15所述的计算机程序产品，其中，所述增强现实设备从由以下各项组成的组中选择：
智能接触透镜、智能眼镜、以及头戴式显示器。
17.根据权利要求15所述的计算机程序产品，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测所述用户的注意模式。
18.根据权利要求17所述的计算机程序产品，进一步包括：
使用具有所述长短期记忆(LSTM)递归神经网络(RNN)模型的主成分分析(PCA)基于所述至少一个生物特征参数确定所述用户的周围环境的上下文。
19.根据权利要求15所述的计算机程序产品，其中，基于所述至少一个注意模式预测所述用户的所述注意力进一步包括：
确定所述用户注意力不集中；以及
接合附近用户的所述增强现实设备。
20.根据权利要求15所述的计算机程序产品，其中，基于所述用户的所述注意力降低到所述特定点以下，记录来自所述增强现实设备的数据进一步包括：
计算所述用户的所述注意力与所述用户的基线简档的偏差。
21.一种用于存储器映射的方法，所述方法包括：
预测用户的注意力不集中；
识别附近用户；以及
基于所预测的所述用户的注意力不集中来记录由所述附近用户的增强现实设备观察到的多个数据。
22.根据权利要求21所述的方法，其中，预测所述用户的所述注意力不集中进一步包括：
部署长短期记忆(LSTM)递归神经网络(RNN)模型以经由自动编码器预测所述用户的注意模式，其中主成分分析(PCA)与所述长短期记忆(LSTM)递归神经网络(RNN)模型一起部署，以基于至少一个生物特征参数确定所述用户的周围环境的上下文。
23.一种用于由增强现实设备触发记录的方法，所述方法包括：
通过机器学习算法，基于预测所述增强现实设备的用户的注意力不集中，确定所述增强现实设备应当开始记录，其中，所预测的所述增强现实设备的所述用户的注意力不集中是基于眼睛事件。
24.根据权利要求23所述的方法，其中，所述增强现实设备是智能接触透镜。
25.根据权利要求23所述的方法，其中，所述机器学习算法是具有主成分分析(PCA)的长短期记忆(LSTM)递归神经网络(RNN)模型。
CN202180056368.8A 2020-09-03 2021-08-24 智能透镜/增强眼镜中的迭代存储器映射操作 Pending CN116097210A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/948,110 2020-09-03
US16/948,110 US11620855B2 (en) 2020-09-03 2020-09-03 Iterative memory mapping operations in smart lens/augmented glasses
PCT/IB2021/057737 WO2022049450A1 (en) 2020-09-03 2021-08-24 Iterative memory mapping operations in smart lens/augmented glasses

Publications (1)

Publication Number Publication Date
CN116097210A true CN116097210A (zh) 2023-05-09

Family

ID=80356913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056368.8A Pending CN116097210A (zh) 2020-09-03 2021-08-24 智能透镜/增强眼镜中的迭代存储器映射操作

Country Status (6)

Country Link
US (1) US11620855B2 (zh)
JP (1) JP2023547023A (zh)
CN (1) CN116097210A (zh)
DE (1) DE112021003923T5 (zh)
GB (1) GB2612250A (zh)
WO (1) WO2022049450A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
US11929169B2 (en) * 2022-02-09 2024-03-12 Kyndryl, Inc. Personalized sensory feedback

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076343B2 (en) 2004-04-06 2015-07-07 International Business Machines Corporation Self-service system for education
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US20140022402A1 (en) 2012-07-23 2014-01-23 Nokia Corporation Method and apparatus for automatic capture of multimedia information
US9177257B2 (en) 2012-08-30 2015-11-03 International Business Machines Corporation Non-transitory article of manufacture and system for providing a prompt to user for real-time cognitive assistance
US20140098226A1 (en) 2012-10-08 2014-04-10 Google Inc. Image capture component on active contact lens
US9325930B2 (en) 2012-11-15 2016-04-26 International Business Machines Corporation Collectively aggregating digital recordings
WO2014178212A1 (ja) 2013-05-02 2014-11-06 ソニー株式会社 コンタクトレンズおよび記憶媒体
WO2015054562A1 (en) 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
JP2017526078A (ja) 2014-05-09 2017-09-07 グーグル インコーポレイテッド 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法
CN105404943A (zh) * 2015-12-08 2016-03-16 南京邮电大学 一种面向移动社交环境的用户行为预测方法
US9703374B1 (en) 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US10455287B2 (en) 2016-02-02 2019-10-22 International Business Machines Corporation Content delivery system, method, and recording medium
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
AU2016201929A1 (en) 2016-03-29 2017-10-19 Canon Kabushiki Kaisha System and method for modifying display of augmented reality content
US10154191B2 (en) 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10367841B2 (en) * 2016-12-16 2019-07-30 Patternex, Inc. Method and system for learning representations for log data in cybersecurity
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US20190188450A1 (en) * 2017-11-06 2019-06-20 Magical Technologies, Llc Systems, Methods and Apparatuses for Deployment of Virtual Objects Based on Content Segment Consumed in a Target Environment
US10963045B2 (en) 2018-04-25 2021-03-30 International Business Machines Corporation Smart contact lens system with cognitive analysis and aid
US10902383B2 (en) 2018-05-30 2021-01-26 Adp, Llc Vision AR: SmartHR overlay
US10916245B2 (en) 2018-08-21 2021-02-09 International Business Machines Corporation Intelligent hearing aid
US20200074647A1 (en) * 2018-08-30 2020-03-05 Electronics And Telecommunications Research Institute Smart glasses and method of selectively tracking target of visual cognition
US10873782B2 (en) * 2018-10-02 2020-12-22 Adobe Inc. Generating user embedding representations that capture a history of changes to user trait data
CN110175242B (zh) * 2019-05-31 2024-05-17 嗷呜世界(深圳)网络科技有限公司 基于知识图谱的人机交互联想方法、装置及介质
US11225266B2 (en) * 2019-08-20 2022-01-18 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving visual scanning behavior associated with controlling a vehicle
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses

Also Published As

Publication number Publication date
US20220068507A1 (en) 2022-03-03
DE112021003923T5 (de) 2023-07-13
US11620855B2 (en) 2023-04-04
WO2022049450A1 (en) 2022-03-10
JP2023547023A (ja) 2023-11-09
GB2612250A (en) 2023-04-26
GB202301813D0 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
US11201844B2 (en) Methods and systems for managing multiple topic electronic communications
US11074913B2 (en) Understanding user sentiment using implicit user feedback in adaptive dialog systems
US10185753B1 (en) Mining procedure dialogs from source content
US10915928B2 (en) Product solution responsive to problem identification
US11082498B2 (en) Methods and systems for managing multi-channel computing environments to optimize user efficiency
CN116097210A (zh) 智能透镜/增强眼镜中的迭代存储器映射操作
US11763409B2 (en) Determine passenger drop-off location based on influencing factors
US10735463B2 (en) Validating commands for hacking and spoofing prevention in an Internet of Things (IoT) computing environment
WO2022017004A1 (en) Voice response systems based on personalized vocabulary and user profiling –personalized linguistics ai engines
US11222041B2 (en) Blockchain-based central repository and analytical platform for communications in the internet of things
US11151750B2 (en) Displaying a virtual eye on a wearable device
US11164575B2 (en) Methods and systems for managing voice response systems to optimize responses
US10938830B2 (en) Authorizing and nullifying commands issued to virtual assistants in an internet of things (IoT) computing environment based on hierarchal user access levels
US20200250706A1 (en) Intelligent advertisement identification and interaction in an internet of things computing environment
US11921808B2 (en) Auto-evolving of online posting based on analyzed discussion thread
US20220414368A1 (en) Emotional response evaluation for presented images
US20230087133A1 (en) User assistance through demonstration
US20220084504A1 (en) Artificial intelligence voice response system for speech impaired users
US20180239422A1 (en) Tracking eye movements with a smart device
US11886319B2 (en) Methods and systems for managing as-a-service systems in the event of connectivity issues
US11798532B2 (en) Contextual justification for a virtual assistant response
US11099406B2 (en) Delivering augmented reality via embedded contact lens
US20240171700A1 (en) Computer controlled contact-lens-based video recording using machine learning
US20230409553A1 (en) Human-in-the-loop conflict resolution in a collaborative data labeling platform
WO2022206760A1 (en) Personalized alert generation based on information dissemination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination