CN110084088A - 用于分析图像和提供反馈的可佩戴设备和方法 - Google Patents

用于分析图像和提供反馈的可佩戴设备和方法 Download PDF

Info

Publication number
CN110084088A
CN110084088A CN201811598574.8A CN201811598574A CN110084088A CN 110084088 A CN110084088 A CN 110084088A CN 201811598574 A CN201811598574 A CN 201811598574A CN 110084088 A CN110084088 A CN 110084088A
Authority
CN
China
Prior art keywords
people
information
image
wearable device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811598574.8A
Other languages
English (en)
Inventor
Y.韦克斯勒
A.沙舒阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acorntech Ltd
Orcam Technologies Ltd
Original Assignee
Acorntech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acorntech Ltd filed Critical Acorntech Ltd
Publication of CN110084088A publication Critical patent/CN110084088A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G01S5/0027—Transmission from mobile station to base station of actual mobile position, i.e. position determined on mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于基于检测到的人选择动作的系统和方法。在一个实施方式中，可佩戴装置可以包括可佩戴图像传感器和至少一个处理设备，该可佩戴图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。该至少一个处理设备可以被编程为：分析多个图像中的至少一个以检测人；分析多个图像中的至少一个以识别检测到的人的属性；基于所识别的属性为检测到的人选择至少一个类别；基于至少一个类别选择至少一个动作；以及使至少一个所选择的动作被执行。

Description

用于分析图像和提供反馈的可佩戴设备和方法
本申请是申请日为2017年10月25日、申请号为201780029328.8、发明名称为“用于分析图像和提供反馈的可佩戴设备和方法”的发明专利申请的分案申请。
相关应用的交叉引用
本申请要求2016年10月26日提交的美国临时专利申请第62/413,103 号、2016年11月7日提交的美国临时申请第62/418,296号、2016年11月7 日提交的美国临时申请第62/418,300号、2016年12月29日提交的美国临时申请第62/439,899号和2017年8月16日提交的美国临时申请第62/546,141 号的优先权的利益。所有前述申请通过引用整体并入本文。
技术领域
本公开一般涉及用于捕获并处理来自用户的环境的图像，以及使用从捕获的图像中得到的信息的设备和方法。更具体地，本公开涉及用于基于检测到的人选择设备动作的设备和方法。
背景技术
现今，技术进步使得可佩戴设备可以自动捕获图像并存储与捕获的图像相关联的信息。在典型地被称为“生活日志”的运用(exercise)中，某些设备已经被用来数字地记录一个人的生活中的各方面和个人经历。有些个体把他们的生活记录下来，这样他们就可以从过去的活动(例如社交事件、旅行) 中检索时刻。生活日志在其他领域(例如，商业、健身和医疗保健，以及社会研究)也可能有显著的好处。生活日志设备虽然对跟踪日常活动很有用，但还可以利用基于对捕获的图像数据的分析的反馈和其他高级功能增强在其环境中的交互的能力来对生活日志设备进行改进。
即使用户可以用他们的智能电话捕获图像，并且一些智能电话应用可以处理捕获的图像，鉴于其大小和设计，智能电话可能不是充当生活日志装置的最佳平台。生活日志装置应该小而轻，这样它们可以被容易地佩戴。而且，随着包括可佩戴装置的图像捕获设备的改进，可以提供附加功能来帮助用户在环境中或环境周围导航、识别他们遇到的人和物体、并向用户提供关于他们的环境和活动的反馈。因此，需要用于自动捕获并处理图像以向装置的用户提供有用信息的装置和方法，以及用于处理和利用由装置收集的信息的系统和方法。
发明内容
根据本公开的实施例提供了用于自动捕获并处理来自用户的环境的图像的设备和方法，以及用于处理与从用户的环境中捕获的图像相关的信息的系统和方法。
在一个实施例中，一种用于基于存在于可佩戴装置的用户的环境中的人使动作被执行的可佩戴装置可以包括：可佩戴图像传感器和至少一个处理设备，该可佩戴图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。该至少一个处理设备可以被编程为：分析多个图像中的至少一个图像以检测人；分析多个图像中的至少一个图像以识别检测到的人的属性；以及基于所识别的属性为检测到的人选择至少一个类别。该至少一个处理设备可以进一步被编程为：基于至少一个类别选择至少一个动作，并且使得至少一个选择的动作被执行。
在一个实施例中，提供了一种用于基于存在于可佩戴装置的用户的环境中的人使动作被执行的方法。该方法包括：从可佩戴装置的用户的环境中接收由可佩戴装置的图像传感器捕获的多个图像；分析多个图像中的至少一个图像以检测人；分析多个图像中的至少一个图像以识别检测到的人的属性；基于所识别的属性为检测到的人选择至少一个类别；基于至少一个类别选择至少一个动作；以及使至少一个选择的动作被执行。
在一个实施例中，一种用于基于人是否物理存在于可佩戴装置的用户的环境中使动作被执行的可佩戴装置可以包括：可佩戴图像传感器和至少一个处理设备，该可佩戴图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。该至少一个处理设备可以被编程为：分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否物理存在于用户的环境中。该至少一个处理设备还可以被编程为：基于检测到的人是否物理存在于用户的环境中来选择至少一个动作，以及使得所选择的至少一个动作被执行。
在一个实施例中，一种用于基于在可佩戴装置的用户的环境中人是否在设备的显示器上可见使动作被执行的可佩戴装置可以包括：可佩戴图像传感器和至少一个处理设备，该可佩戴图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。该至少一个处理设备可以被编程为：分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否在设备的显示器上可见。该至少一个处理设备还可以被编程为：基于检测到的人是否在设备的显示器上可见来选择至少一个动作，以及使得至少一个动作被执行。
在一个实施例中，一种用于基于人是否物理存在于可佩戴装置的用户的环境中使动作被执行的可佩戴装置可以包括：可佩戴图像传感器和至少一个处理设备，该可佩戴图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。该至少一个处理设备可以被编程为：分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否物理存在于用户的环境中或者检测到的人的图形表示是否出现在用户的环境中。该至少一个处理设备还可以被编程为：在确定检测到的人物理存在于用户的环境中之后选择第一动作，在确定检测到的人的图形表示出现在用户的环境中之后选择不同于第一动作的第二动作，以及使得第一动作或第二动作被执行。
在一个实施例中，一种用于基于人是否物理存在于可佩戴装置的用户的环境中使动作被执行的方法可以包括：从可佩戴装置的图像传感器接收用户的环境的多个图像，分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否物理存在于用户的环境中。该方法还可以包括：基于检测到的人是否物理存在于用户的环境中来选择至少一个动作，并且使得所选择的至少一个动作被执行。
在一个实施例中，一种用于基于在可佩戴装置的用户的环境中人是否在设备的显示器上可见使动作被执行的方法可以包括：从可佩戴装置的图像传感器接收用户的环境的多个图像，分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否为在设备的显示器上可见。该方法还可以包括：基于检测到的人是否为在设备的显示器上可见来选择至少一个动作，并且使得至少一个动作被执行。
在一个实施例中，一种用于基于人是否物理存在于可佩戴装置的用户的环境中使动作被执行的方法可以：从可佩戴装置的图像传感器接收用户的环境的多个图像，分析多个图像中的至少一个图像以检测人，以及分析多个图像中的至少一个图像以确定检测到的人是否物理存在于用户的环境中或者检测到的人的图形表示是否出现在用户的环境中。该方法还可以包括：在确定检测到的人物理存在于用户的环境中之后选择第一动作，在确定检测到的人的图形表示出现在用户的环境中之后选择不同于第一动作的第二动作，以及使得第一动作或第二动作被执行。
在一个实施例中，一种用于基于由可佩戴装置收集的数据来更新简档信息的系统可以包括：存储多个简档的数据库，以及至少一个处理设备。该至少一个处理设备可以被编程为：获得与在由被包括在可佩戴装置中的可佩戴图像传感器捕获的一个或多个图像中检测到的人相关联的识别信息，以及从可佩戴装置获得与检测到的人相关联的辅助信息。该至少一个处理设备还可以被编程为：基于识别信息在数据库中识别与检测到的人相关联的简档，以及基于辅助信息更新所识别的简档。
在一个实施例中，提供了一种用于基于由可佩戴装置收集的数据来更新简档信息的方法。该方法可以包括：获得与在由被包括在可佩戴装置中的可佩戴图像传感器捕获的一个或多个图像中检测到的人相关联的识别信息，以及从可佩戴装置获得与检测到的人相关联的辅助信息。该方法还可以包括：基于识别信息在存储多个简档的数据库中识别与检测到的人相关联的简档，以及基于辅助信息更新所识别的简档。
在一个实施例中，提供了一种用于向可佩戴装置的用户提供信息的系统。该系统包括至少一个处理设备，该至少一个处理设备被编程为：识别由被包括在可佩戴装置中的可佩戴图像传感器捕获的至少一个图像中所表示的人，获得与在至少一个捕获图像中所表示的人相关联的信息，以及获得表示用户和人之间的关系程度的至少一个亲密度(affinity)测量。该至少一个处理设备还被编程为：基于至少一个亲密度测量确定要向可佩戴装置的用户公开的信息级别，以及基于与人相关联的信息和基于信息级别向可佩戴装置的用户提供信息。
在一个实施例中，提供了一种用于向可佩戴装置的用户提供信息的方法。该方法包括：识别由被包括在可佩戴装置中的可佩戴图像传感器捕获的至少一个图像中所表示的人，获得与至少一个捕获图像中所表示的人相关联的信息，以及获得表示用户和人之间的关系程度的至少一个亲密度测量。该方法还包括：基于至少一个亲密度测量确定要向可佩戴装置的用户公开的信息级别，以及基于与人相关联的信息和信息级别向可佩戴装置的用户提供信息。
在一个实施例中，提供了一种用于注册口头合同的可佩戴装置。该可佩戴装置包括至少一个图像传感器和至少一个音频传感器，该至少一个图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像，该至少一个音频传感器被配置为从可佩戴装置的用户的环境中捕获音频数据。该可佩戴装置还包括至少一个处理设备，该至少一个处理设备被编程为：分析多个图像以检测可佩戴装置的用户环境中的人，获得与检测到的人相关联的识别信息，分析音频数据的至少一部分以识别与口头合同相关联并且由可佩戴装置的用户或检测到的人说出的一个或多个词，以及获得用户的至少一个简档。该至少一个处理设备还被编程为：基于用户的至少一个简档来认证用户的身份，以及基于用户的身份的认证来注册口头合同和与检测到的人相关联的识别信息。
在另一实施例中，提供了一种用于注册口头合同的方法。该方法包括：分析由至少一个图像传感器从可佩戴装置的用户的环境中捕获的多个图像以检测可佩戴装置的用户的环境中的人，获得与检测到的人相关联的识别信息，以及分析由至少一个音频传感器从可佩戴装置的用户的环境中捕获的音频数据的至少一部分以识别与口头合同相关联并由可佩戴装置的用户或检测到的人说出的一个或多个词。该方法还包括：获得用户的至少一个简档，基于用户的至少一个简档来认证用户的身份，以及基于用户身份的认证来注册口头合同和与检测到的人相关联的身份信息。
在一个实施例中，公开了一种用于向可佩戴装置的用户提供信息的可佩戴装置。该装置可以包括至少一个图像传感器、至少一个通信设备和至少一个处理设备，该至少一个图像传感器被配置为从可佩戴装置的用户的环境中捕获多个图像。处理设备可以被编程为：分析多个图像中的至少一个图像以检测可佩戴装置的用户的环境中的物体，确定从用户到物体的估计的物理距离的测量，以及基于该测量并使用至少一个通信设备发送与检测到的物体相关的信息。
在一个实施例中，一种方法向可佩戴装置的用户提供信息。该方法可以由至少一个图像传感器、至少一个通信设备和至少一个处理设备来执行。该方法可以包括：经由至少一个图像传感器从可佩戴装置的用户的环境中捕获多个图像，经由至少一个处理设备分析多个图像中的至少一个图像以检测可佩戴装置的用户的环境中的物体，确定从用户到物体的估计的物理距离的测量，以及基于该测量并使用至少一个通信设备发送与检测到的物体相关的信息。
在一个实施例中，公开了一种用于基于由可佩戴装置捕获的图像提供推荐的系统。该系统可以包括可佩戴图像传感器和至少一个处理设备。处理设备可以被编程为：分析由被包括在可佩戴装置中的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像，基于至少一个捕获图像的分析结果获得信息，基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐，以及向用户和至少一个其他人中的至少一个提供至少一个联系人推荐。
在一个实施例中，一种方法基于由可佩戴装置捕获的图像提供推荐。该方法可以由可佩戴图像传感器和至少一个处理设备来执行。该方法可以包括：分析由被包括在可佩戴装置中的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像，基于对至少一个捕获图像的分析结果获得信息，基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐，以及向用户和至少一个其他人中的至少一个提供至少一个联系人推荐。
在一个实施例中，公开了一种可佩戴装置。该装置可以包括：至少一个图像传感器，被配置为从可佩戴装置的用户的环境中捕获多个图像；以及至少一个投影仪，被配置为发射光图案，该光图案被配置为向可佩戴装置的用户视觉上地指示至少一个图像传感器的有效(active)视场。
在一个实施例中，一种方法向可佩戴装置的用户提供视觉反馈。该方法可以包括：经由被包括在可佩戴装置中的至少一个图像传感器从可佩戴装置的用户的环境中捕获多个图像，至少基于出现在多个图像中的至少一个图像中的视觉触发来激活被包括在可佩戴装置中的至少一个投影仪，以及经由至少一个投影仪发射光图案，该光图案被配置为向可佩戴装置的用户视觉上地指示至少一个图像传感器的有效视场。
与其他公开的实施例一致，非瞬时性计算机可读存储介质可以存储程序指令，该程序指令由至少一个处理器执行并执行本文描述的任何方法。
前面的一般描述和下面的详细描述仅仅是示例性的和解释性的，而不是对权利要求的限制。
附图说明
并入本公开并构成本公开的一部分的附图示出了各种公开的实施例。在附图中：
图1A是根据公开的实施例的佩戴可佩戴装置的用户的示例的示意图。
图1B是根据公开的实施例的佩戴可佩戴装置的用户的示例的示意图。
图1C是根据公开的实施例的佩戴可佩戴装置的用户的示例的示意图。
图1D是根据公开的实施例的佩戴可佩戴装置的用户的示例的示意图。
图2是与公开的实施例一致的示例系统的示意图。
图3A是图1A所示的可佩戴装置的示例的示意图。
图3B是图3A所示的可佩戴装置的示例的分解图。
图4A是从第一视点看图1B所示的可佩戴装置的示例的示意图。
图4B是从第二视点看图1B所示的可佩戴装置的示例的示意图。
图5A是示出根据第一实施例的可佩戴装置的组件的示例的框图。
图5B是示出根据第二实施例的可佩戴装置的组件的示例的框图。
图5C是示出根据第三实施例的可佩戴装置的组件的示例的框图。
图6示出了与本公开一致的包含软件模块的存储器的示例性实施例。
图7是包括可定向图像捕获单元的可佩戴装置的实施例的示意图。
图8是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图9是与本公开的实施例一致的佩戴可佩戴装置的用户的示意图。
图10是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图11是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图12是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图13是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图14是与本公开一致的可固定到衣物上的可佩戴装置的实施例的示意图。
图15是包括电源的可佩戴装置电力单元的实施例的示意图。
图16是包括保护电路的可佩戴装置的示例性实施例的示意图。
图17示出了与本公开一致的包含软件模块的存储器的示例性实施例，该软件模块用于基于检测到的人来选择动作。
图18A是与本公开的实施例一致的由可佩戴装置捕获的示例图像的示意图。
图18B是与本公开的实施例一致的由可佩戴装置捕获的另一示例图像的示意图。
图19是与本公开一致的用于基于检测到的人选择动作的示例方法的流程图。
图20示出了与本公开一致的包含软件模块的存储器的示例性实施例，该软件模块用于基于检测到的人来选择动作。
图21A是与本公开的实施例一致的由可佩戴装置捕获的示例图像的示意图。
图21B是与本公开的实施例一致的由可佩戴装置捕获的另一示例图像的示意图。
图22A是与本公开一致的用于基于检测到的人的物理存在来引起动作执行的示例方法的流程图。
图22B是与本公开一致的用于基于检测到的人是否在显示器上可见而引起动作执行的示例方法的流程图。
图22C是与本公开一致的用于基于检测到的人的物理存在来引起动作执行的另一示例方法的流程图。
图23示出了与本公开一致的包含软件模块的存储器的示例性实施例，该软件模块用于基于由可佩戴装置收集的数据来更新简档信息。
图24是与本公开的实施例一致的存储在数据库中的简档的示意图。
图25是与本公开一致的用于基于由可佩戴装置收集的数据来更新简档信息的示例方法的流程图。
图26示出了与本公开一致的包含软件模块的存储器的示例性实施例。
图27示出了包括用于捕获并处理图像的可佩戴装置的示例环境。
图28A是示出用于识别人和与所述人相关联的信息的示例性方法的流程图。
图28B是示出用于确定与所识别的人相关并提供给用户的信息的详细级别的示例性方法的流程图。
图29示出了与本公开一致的包含软件模块的存储器的示例性实施例。
图30示出了包括用于捕获并处理图像和音频数据的可佩戴装置的示例环境。
图31A是示出用于分析由可佩戴设备捕获的图像和音频数据的示例性方法的流程图。
图31B是示出用于基于对捕获的图像和音频数据的分析来注册口头合同的示例性方法的流程图。
图31C是示出用于注册与口头合同的见证人相关的信息的示例性方法的流程图。
图32示出了与本公开一致的包含软件模块的存储器的示例性实施例。
图33A是根据公开的实施例的佩戴可佩戴装置并捕获人的图像的用户的示例的示意图。
图33B是根据公开的实施例的更新社交网络简档的示例的示意图。
图33C是根据公开的实施例的佩戴可佩戴装置并捕获物体的图像的用户的示例的示意图。
图33D是根据公开的实施例的更新社交网络简档的示例的示意图。
图34是用于向可佩戴装置的用户提供信息的方法的示例的流程图。
图35示出了与本公开一致的包含软件模块的存储器的示例性实施例。
图36A是根据公开的实施例的佩戴可佩戴装置的用户捕获人的图像的示例的示意图。
图36B是根据公开的实施例的联系人推荐的示例的示意图。
图36C是根据公开的实施例的佩戴可佩戴装置的用户捕获人的图像的示例的示意图。
图36D是根据公开的实施例的联系人推荐的示例的示意图。
图37是用于基于捕获的图像向可佩戴装置的用户提供联系人推荐的方法的示例的流程图。
图38A是包括光投影仪的装置的示意图。
图38B是与本公开一致的包括光投影仪的可固定到衣物上的可佩戴装置的示意图。
图39是图38A所示的光投影仪可以向用户提供的视觉反馈的类型的一个示例的示意图。
图40A-图40H是可以由图38A的光投影仪和/或由图38B的光投影仪生成的各种图案的示例。
图41是用于向可佩戴装置的用户提供视觉反馈的方法的示例的流程图。
具体实施方式
下面的详细描述涉及附图。在可能的情况下，在附图和以下描述中使用相同的附图标记来指代相同或相似的部件。虽然本文描述了几个说明性实施例，但是修改、改写和其他实施方式也是可能的。例如，可以对附图中示出的组件进行替换、添加或修改，并且可以通过对公开的方法替换、重新排序、移除或添加步骤来修改本文描述的说明性方法。因此，以下详细描述不限于公开的实施例和示例。相反，适当的范围由所附权利要求限定。
图1A示出了与公开的实施例一致的佩戴物理连接(或集成)到眼镜130 的装置110的用户100。眼镜130可以是处方眼镜、放大镜、非处方眼镜、安全眼镜、太阳眼镜等。另外，在一些实施例中，眼镜130可以包括框架部分和耳朵部分、鼻子部分等，以及一个镜片或没有镜片。因此，在一些实施例中，眼镜130可以主要用于支撑装置110和/或增强现实显示设备或其他光学显示设备。在一些实施例中，装置110可以包括用于捕获用户100的视场的实时图像数据的图像传感器(图1A中未示出)。术语“图像数据”包括从近红外、红外、可见和紫外光谱中的光信号中检索的任何形式的数据。图像数据可以包括视频剪辑和/或照片。
在一些实施例中，装置110可以无线地或经由电线与计算设备120通信。在一些实施例中，计算设备120可以包括例如智能电话、或平板电脑、或专用处理单元，其可以是便携式的(例如，可以在用户100的口袋中携带)。尽管在图1A中示为外部设备，但是在一些实施例中，计算设备120可以被提供为可佩戴装置110或眼镜130的一部分，无论是集成到其中还是安装在其上。在一些实施例中，计算设备120可以被包括在增强现实显示设备或光学头戴式显示器中，其被整体地提供或安装到眼镜130。在其他实施例中，计算设备120可以被提供为用户100的另一可佩戴或便携式装置的一部分，包括腕带、多功能手表、按钮、夹子等。并且在其他实施例中，计算设备120 可以被提供为另一系统的一部分，诸如车载汽车计算或导航系统。本领域技术人员可以理解，不同类型的计算设备和设备的布置可以实施公开的实施例的功能。因此，在其他实施方式中，计算设备120可以包括个人计算机(PersonalComputer，PC)、膝上型计算机、互联网服务器等。
图1B示出了与公开的实施例一致的佩戴物理连接到项链140的装置110 的用户100。装置110的这种配置可能适合于有时或一直不戴眼镜的用户。在该实施例中，用户100可以容易地佩戴装置110和将其取下。
图1C示出了与公开的实施例一致的佩戴物理连接到皮带150的装置110 的用户100。装置110的这种配置可以被设计成皮带扣。可替换地，装置110 可以包括夹子，以用于附接到诸如皮带150、或背心、口袋、衣领、帽子或衣物的其他部分的各种衣物。
图1D示出了与公开的实施例一致的佩戴物理连接到腕带160的装置 110的用户100。尽管根据该实施例，装置110的瞄准方向可能不匹配用户 100的视场，但是装置110可以包括基于指示用户100正朝腕带160的方向看的用户100的被跟踪的眼睛运动来识别与手相关的触发的能力。腕带160 还可以包括加速度计、陀螺仪或用于确定用户100的手的运动或方位以识别与手相关的触发的其他传感器。
图2是与公开的实施例一致的示例性系统200的示意图，该系统包括由用户100佩戴的可佩戴装置110，以及能够经由网络240与装置110通信的可选计算设备120和/或服务器250。在一些实施例中，装置110可以至少部分地基于与手相关的触发的识别来捕获和分析图像数据，识别存在于图像数据中的与手相关的触发，以及执行动作和/或向用户100提供反馈。在一些实施例中，可选计算设备120和/或服务器250可以提供附加功能来增强用户100与其环境的交互，如下面更详细描述的。
根据公开的实施例，装置110可以包括图像传感器系统220，用于捕获用户100的视场的实时图像数据。在一些实施例中，装置110还可以包括处理单元210，用于控制和执行装置110的公开功能，诸如控制图像数据的捕获、分析图像数据以及基于图像数据中识别的与手相关的触发执行动作和/ 或输出反馈。根据公开的实施例，与手相关的触发可以包括由用户100执行的手势，该手势涉及用户100的手的一部分。此外，与一些实施例一致，与手相关的触发可以包括与手腕相关的触发。另外，在一些实施例中，装置110 可以包括反馈输出单元230，用于向用户100产生信息输出。
如上所述，装置110可以包括用于捕获图像数据的图像传感器220。术语“图像传感器”是指能够检测近红外、红外、可见和紫外光谱中的光信号并将其转换成电信号的设备。电信号可用于基于检测到的信号而形成图像或视频流(即图像数据)。术语“图像数据”包括从近红外、红外、可见和紫外光谱的光信号中检索的任何形式的数据。图像传感器的示例可以包括半导体电荷耦合器件(charge-coupled device，CCD)、互补金属氧化物半导体(complementary metal–oxide–semiconductor，CMOS)或N型金属氧化物半导体(N-typemetal-oxide-semiconductor，NMOS，Live MOS)中的有源像素传感器。在一些情况下，图像传感器220可以是被包括在装置110中的相机的一部分。
根据公开的实施例，装置110还可以包括处理器210，用于控制图像传感器220捕获图像数据和用于分析图像数据。如下面参考图5A进一步详细讨论的，处理器210可以包括“处理设备”，用于根据提供期望功能的存储的或可访问的软件指令、对图像数据和其他数据的一个或多个输入执行逻辑操作。在一些实施例中，处理器210还可以控制反馈输出单元230向用户100 提供反馈，包括基于分析的图像数据和存储的软件指令的信息。如本文使用的术语，“处理设备”可以访问存储可执行指令的存储器，或者在一些实施例中，“处理设备”本身可以包括可执行指令(例如，存储在被包括在处理设备中的存储器中)。
在一些实施例中，提供给用户100的信息或反馈信息可以包括时间信息。时间信息可以包括与一天中的当前时间相关的任何信息，并且如下面进一步描述的，可以以任何感官感知的方式呈现。在一些实施例中，时间信息可以包括预配置格式(例如，2:30pm或14:30)的当前时间。时间信息可以包括用户的当前时区中的时间(例如，基于用户100的确定位置)，以及时区的指示和/或另一期望位置中的一天中的时间。在一些实施例中，时间信息可以包括相对于一天中的一个或多个预定时间的小时数或分钟数。例如，在一些实施例中，时间信息可以包括直到特定小时(例如，直到6:00pm)或某个其他预定时间还剩余三小时十五分钟的指示。时间信息还可以包括自特定活动开始以来经过的持续时间，诸如会议开始或慢跑开始或任何其他活动。在一些实施例中，可以基于分析的图像数据来确定活动。在其他实施例中，时间信息还可以包括与当前时间和一个或多个其他例程、周期或安排的事件相关的附加信息。如下面进一步详细讨论的，例如，时间信息可以包括直到下一个安排的事件的剩余分钟数的指示，这可以从日历功能或从计算设备120 或服务器250检索的其他信息中确定。
反馈输出单元230可以包括用于向用户100提供信息输出的一个或多个反馈系统。在公开的实施例中，听觉或视觉反馈可以经由任何类型的连接的听觉或视觉系统或两者来提供。根据公开的实施例的信息反馈可以包括对用户100的听觉反馈(例如，使用BluetoothTM或其他有线或无线连接的扬声器，或骨传导耳机)。一些实施例的反馈输出单元230可以附加地或可替换地向用户100产生信息的可见输出，例如，作为投影到眼镜130的镜片上的增强现实显示的一部分，或者经由与装置110通信的单独的抬头显示器来提供，诸如作为计算设备120的一部分提供的显示器260，其可以包括车载汽车抬头显示器、增强现实设备、虚拟现实设备、智能电话、PC、桌子等。
术语“计算设备”是指包括处理单元并具有计算能力的设备。计算设备 120的一些示例包括PC、膝上型计算机、平板电脑或其他计算系统，诸如汽车的车载计算系统，例如，每个计算设备被配置为通过网络240直接与装置 110或服务器250通信。计算设备120的另一示例包括具有显示器260的智能电话。在一些实施例中，计算设备120可以是特别为装置110配置的计算系统，并且可以被提供为装置110的整体或者系在装置110上。装置110还可以经由任何已知的无线标准(例如，Wi-Fi、等)，以及近场电容耦合和其他短程无线技术，或者经由有线连接，通过网络240连接到计算设备120。在计算设备120是智能电话的实施例中，计算设备120可以具有安装在其中的专用应用。例如，用户100可以在显示器260上查看来源于装置110或由装置110触发的数据(例如，图像、视频剪辑、提取的信息、反馈信息等)。此外，用户100可以选择部分数据以用于存储在服务器250中。
网络240可以是共享的、公共的或私人的网络，可以包括广域或局域，并且可以通过有线和/或无线通信网络的任何适当组合来实施。网络240还可以包括内联网或互联网。在一些实施例中，例如，网络240可以包括短程或近场无线通信系统，用于使能装置110和计算设备120之间的通信，装置110 和计算设备120被彼此非常接近地提供，诸如在用户的身上或附近。装置110 可以例如，使用无线模块(例如，Wi-Fi、蜂窝)自主地建立到网络240的连接。在一些实施例中，装置110可以在连接到外部电源时使用无线模块，以延长电池寿命。此外，装置110和服务器250之间的通信可以通过任何合适的通信信道来实现，诸如，例如电话网络、外联网、内联网、互联网、卫星通信、离线通信、无线通信、转发器通信、局域网(local area network， LAN)、广域网(wide area network，WAN)和虚拟专用网(virtualprivate network，VPN)。
如图2所示，装置110可以经由网络240向/从服务器250传递或接收数据。在公开的实施例中，从服务器250和/或计算设备120接收的数据可以包括基于所分析的图像数据的多种不同类型的信息，包括与商业产品或个人身份、所识别的地标相关的信息，以及能够存储在服务器250中或由服务器250 访问的任何其他信息。在一些实施例中，可以经由计算设备120接收和传递数据。根据公开的实施例，服务器250和/或计算设备120可以从不同数据源 (例如，用户特定数据库或用户的社交网络账户或其他账户、互联网和其他被管理或可访问的数据库)检索信息，并且向装置110提供与所分析的图像数据和所识别的触发相关的信息。在一些实施例中，可以分析从不同数据源检索的与日历相关的信息，以提供某时间信息或基于时间的上下文，用于基于分析的图像数据来提供某信息。
图3A中更详细地示出了根据一些实施例(如结合图1A所讨论的)与眼镜130结合的可佩戴装置110的示例。在一些实施例中，装置110可以与使能够容易地将装置110拆卸并重新附接到眼镜130的结构(图3A中未示出)相关联。在一些实施例中，当装置110附接到眼镜130时，图像传感器 220获得设置瞄准方向，而不需要定向校准。图像传感器220的设置的瞄准方向可以基本上与用户100的视场一致。例如，与图像传感器220相关联的相机可以在稍微面向下的位置中以预定角度安装在装置110内(例如，离地平线5-15度)。因此，图像传感器220的设置的瞄准方向可以基本上匹配用户100的视场。
图3B是关于图3A所讨论的实施例的组件的分解图。将装置110附接到眼镜130可以以以下方式进行。最初，在支撑件310的侧面，可以使用螺钉320将支撑件310安装在眼镜130上。然后，装置110可以被夹在支撑件 310上，使得它与用户100的视场对准。术语“支撑件”包括使能够将包括相机的设备拆卸并重新附接到一副眼镜或另一物体(例如，头盔)上的任何设备或结构。支撑件310可由塑料(例如，聚碳酸酯)、金属(例如，铝)、或塑料和金属的组合(例如，碳纤维石墨)制成。使用螺钉、螺栓、卡扣或本领域中使用的任何紧固装置，将支撑件310可以安装在任何种类的眼镜(例如，眼镜、太阳眼镜、3D眼镜、安全眼镜等)上。
在一些实施例中，支撑件310可包括用于脱离和重新接合装置110的快速释放机构。例如，支撑件310和装置110可包括磁性元件。作为替代示例，支撑件310可包括公闩(male latch)构件，装置110可包括母槽(female receptacle)。在其他实施例中，支撑件310可以是一副眼镜的主体(integral part)部分，或者可以由验光师单独销售和安装。例如，支撑件310可以被配置为安装在靠近框架前部但在铰链之前的眼镜130的臂上。可替换地，支撑件310可以被配置为安装在眼镜130的鼻梁(bridge)。
在一些实施例中，装置110可以被提供为具有或不具有镜片的眼镜框 130的一部分。此外，在一些实施例中，装置110可以被配置为提供投影到眼镜130的镜片上的增强现实显示(如果提供的话)，或者可替换地，可以包括例如根据公开的实施例的用于投影时间信息的显示。装置110可以包括附加显示器，或者可替换地，可以与单独提供的显示系统通信，该显示系统可以附接到或不附接到眼镜130。
在一些实施例中，装置110可以以除了可佩戴眼镜之外的形式实施，例如，如上文针对图1B-图1D所述。图4A是从第一视点看的装置110的附加实施例的示例的示意图。图4A中所示的视点是从装置110的前面看的。装置110包括图像传感器220、夹子(未示出)、功能按钮(未示出)和用于将装置110附接到例如如图1B所示的项链140的吊环410。当装置110挂在项链140上时，图像传感器220的瞄准方向可能不完全与用户100的视场一致，但是瞄准方向仍然与用户100的视场相关。
图4B是从第二视点看的装置110的第二实施例的示例的示意图。图4B 中所示的视点是从装置110的侧面方位看的。除了吊环410，如图4B所示，装置110还可以包括夹子420。如图1C所示，用户100可以使用夹子420 将装置110附接到衬衫或皮带150上。夹子420可以提供用于将装置110从不同的衣物上脱离和重新接合的容易的机构。在其他实施例中，装置110可以包括用于与汽车安装架或通用支架的公闩连接的母槽。
在一些实施例中，装置110包括用于使用户100能够向装置110提供输入的功能按钮430。功能按钮430可以接受不同类型的触觉输入(例如，轻拍、点击、双击、长按、从右向左滑动、从左向右滑动)。在一些实施例中，每种类型的输入可以与不同的动作相关联。例如，轻拍可以与拍摄图片的功能相关联，而从右向左滑动可以与记录视频的功能相关联。
上面针对图3A、图3B、图4A和图4B讨论的示例实施例不是限制性的。在一些实施例中，装置110可以以用于执行公开的方法的任何合适的配置来实施。例如，返回参考图2，公开的实施例可以根据包括图像传感器220和处理器单元210以执行图像分析并用于与反馈单元230通信的任何配置来实施装置110。
图5A是示出根据示例实施例的装置110的组件的框图。如图5A所示，并且如上类似地描述地，装置110包括图像传感器220、存储器550、处理器210、反馈输出单元230、无线收发器530和移动电源520。在其他实施例中，装置110还可以包括按钮、其他传感器(诸如麦克风)和惯性测量设备 (例如，加速度计、陀螺仪、磁力计、温度传感器、颜色传感器、光传感器等)。装置110还可以包括具有用于与外部电源或外部设备(未示出)连接的合适接口的数据端口570和电力连接510。
图5A所示的处理器210可以包括任何合适的处理设备。术语“处理设备”包括具有对输入或多个输入执行逻辑操作的电路的任何物理设备。例如，处理设备可以包括一个或多个集成电路、微芯片、微控制器、微处理器、中央处理单元(central processing unit，CPU)的全部或部分、图形处理单元 (graphics processing unit，GPU)、数字信号处理器(digital signal processor， DSP)、现场可编程门阵列(field-programmable gatearray，FPGA)或适于执行指令或执行逻辑操作的其他电路。由处理设备执行的指令可以例如被预加载到与处理设备集成或嵌入到处理设备中的存储器中，或者可以存储在单独的存储器(例如，存储器550)中。存储器550可以包括随机存取存储器 (Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、硬盘、光盘、磁介质、闪存，其他永久、固定或易失性存储器，或者能够存储指令的任何其他机构。
尽管在图5A所示的实施例中装置110包括一个处理设备(例如，处理器210)，但是装置110可以包括多于一个的处理设备。每个处理设备可以具有相似的构造，或者处理设备可以具有彼此电连接或断开的不同构造。例如，处理设备可以是单独的电路或者集成在单个电路中。当使用多于一个处理设备时，处理设备可以被配置为独立地或协作地操作。处理设备可以电、磁、光、声、机械或通过允许它们交互其他方式耦合。
在一些实施例中，处理器210可以处理从用户100的环境中捕获的多个图像，以确定与捕获后续图像相关的不同参数。例如，处理器210可以基于从捕获的图像数据得到的信息来确定以下各项中的至少一个的值：图像分辨率、压缩比、裁剪参数、帧速率、焦点、曝光时间、孔径大小和光敏度。所确定的值可用于捕获至少一个后续图像。此外，处理器210可以检测用户的环境中包括至少一个与手相关的触发的图像，并经由反馈输出单元230执行动作和/或向用户提供信息的输出。
在另一实施例中，处理器210可以改变图像传感器220的瞄准方向。例如，当装置110与夹子420附接时，图像传感器220的瞄准方向可能不与用户100的视场一致。处理器210可以从分析的图像数据中识别某些情况，并调节图像传感器220的瞄准方向以捕获相关的图像数据。例如，在一个实施例中，由于图像传感器220向下倾斜，处理器210可以检测到与另一个体的交互，并感测到该个体没有被完全在视野内。响应于此，处理器210可以调节图像传感器220的瞄准方向以捕获该个体的图像数据。还考虑了处理器 210可能认识到需要调节图像传感器220的瞄准方向的其他情形。
在一些实施例中，处理器210可以将数据通信传达到反馈输出单元230，反馈输出单元230可以包括被配置为向用户100提供信息的任何设备。反馈输出单元230可以作为装置110的一部分(如图所示)被提供，或者可以被设置在装置110外部并通信地耦合到该装置110。反馈输出单元230可以被配置为基于从处理器210接收的信号输出视觉或非视觉反馈，诸如当处理器 210识别出所分析的图像数据中的与手相关的触发时。
术语“反馈”是指响应于处理环境中的至少一个图像而提供的任何输出或信息。在一些实施例中，如上类似地描述地，反馈可以包括时间信息、检测到的文本或数字、货币的价值、品牌产品、个人身份、地标身份或其他环境情况或条件的可听或可见指示，包括十字路口的街道名称或交通灯的颜色等，以及与其中的每一个相关联的其他信息。例如，在一些实施例中，反馈可以包括关于完成交易仍然需要的货币量的附加信息、关于所识别的人的信息、检测到的地标的历史信息或入场时间和费用等，等等。在一些实施例中，反馈可以包括可听音调、触觉响应和/或由用户100先前记录的信息。反馈输出单元230可以包括用于输出声音和触觉反馈的适当组件。例如，反馈输出单元230可以包括音频耳机、助听器型设备、扬声器、骨传导耳机、提供触觉提示的接口、振动触觉刺激器等。在一些实施例中，处理器210可以经由无线收发器530、有线连接或一些其他通信接口与外部反馈输出单元230通信传达信号。在一些实施例中，反馈输出单元230还可以包括用于向用户100 视觉上地显示信息的任何合适的显示设备。
如图5A所示，装置110包括存储器550。存储器550可以包括处理器 210可访问以执行公开的方法的一个或多个指令集，其包括用于识别图像数据中的与手相关的触发的指令。在一些实施例中，存储器550可以存储从用户100的环境中捕获的图像数据(例如，图像、视频)。此外，存储器550 可以存储用户100特定的信息，诸如已知的个体的图像表示、喜爱的产品、个人物品以及日历或约会信息等。在一些实施例中，例如，处理器210可以基于存储器550中的可用存储空间来确定存储哪种类型的图像数据。在另一实施例中，处理器210可以从存储在存储器550中的图像数据中提取信息。
如图5A进一步所示，装置110包括移动电源520。术语“移动电源”包括能够提供电能的任何设备，其可以很容易地用手携带(例如，移动电源 520的重量可以小于一磅)。电源的移动性使得用户100能够在各种情况下使用装置110。在一些实施例中，移动电源520可包括一个或多个电池(例如镍镉电池、镍金属氢化物电池和锂离子电池)或任何其他类型的电源。在其他实施例中，移动电源520可以是可充电的，并且包含在容纳装置110的外壳内。在其他实施例中，移动电源520可以包括一个或多个用于将环境能量转换成电能的能量收集设备(例如，便携式太阳能电力单元、人体振动单元等)。
移动电源520可以为一个或多个无线收发器(例如，图5A中的无线收发器530)供电。术语“无线收发器”是指被配置为通过使用射频、红外频率、磁场或电场在空中接口上交换传输的任何设备。无线收发器530可以使用任何已知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙智能、802.15.4或ZigBee)。在一些实施例中，无线收发器530可以从装置 110向计算设备120和/或服务器250发送数据(例如，原始图像数据、处理后的图像数据、提取的信息)。无线收发器530还可以从计算设备120和/或服务器250接收数据。在其他实施例中，无线收发器530可以向外部反馈输出单元230发送数据和指令。
图5B是示出根据另一示例实施例的装置110的组件的框图。在一些实施例中，装置110包括第一图像传感器220a、第二图像传感器220b、存储器550、第一处理器210a、第二处理器210b、反馈输出单元230、无线收发器530、移动电源520和电力连接器510。在图5B所示的布置中，每个图像传感器可以以不同的图像分辨率提供图像，或者面向不同的方向。可替换地，每个图像传感器可以与不同的相机(例如，广角相机、窄角相机、IR相机等) 相关联。在一些实施例中，装置110可以基于各种因素选择使用哪个图像传感器。例如，处理器210a可以基于存储器550中的可用存储空间来确定以一定分辨率捕获后续图像。
装置110可以以第一处理模式和第二处理模式操作，使得第一处理模式比第二处理模式消耗更少的电力。例如，在第一处理模式中，装置110可以捕获图像并处理捕获的图像，以基于例如识别与手相关的触发来做出实时决定。在第二处理模式中，装置110可以从存储器550中存储的图像中提取信息，并从存储器550中删除图像。在一些实施例中，移动电源520可以提供超过15小时的第一处理模式下处理以及大约3小时的第二处理模式下处理。因此，不同的处理模式可以允许移动电源520产生足够的电力以用于给装置 110供电达各种时间段(例如，多于两个小时、多于四个小时、多于十个小时等)。
在一些实施例中，当由移动电源520供电时，装置110可以使用处于第一处理模式的第一处理器210a，并且当由可经由电力连接器510连接的外部电源580供电时，使用处于第二处理模式的第二处理器210b。在其他实施例中，装置110可以基于预定义的条件来确定使用哪些处理器或哪些处理模式。即使当装置110没有由外部电源580供电时，装置110也可以以第二处理模式操作。例如，如果存储器550中用于存储新图像数据的可用存储空间低于预定阈值，则当装置110没有由外部电源580供电时，装置110可以确定它应该以第二处理模式操作。
尽管在图5B中描绘了一个无线收发器，但是装置110可以包括多于一个无线收发器(例如，两个无线收发器)。在具有多于一个无线收发器的布置中，每个无线收发器可以使用不同的标准来发送和/或接收数据。在一些实施例中，第一无线收发器可以使用蜂窝标准(例如，LTE或GSM)与服务器250或计算设备120进行通信，第二无线收发器可以使用短程标准(例如， Wi-Fi或)与服务器250或计算设备120通信。在一些实施例中，当可佩戴装置由被包括在该可佩戴装置中的移动电源供电时，装置110可以使用第一无线收发器，并且当可佩戴装置由外部电源供电时，装置110可以使用第二无线收发器。
图5C是示出根据包括计算设备120的另一示例实施例的装置110的组件的框图。在该实施例中，装置110包括图像传感器220、存储器550a、第一处理器210、反馈输出单元230、无线收发器530a、移动电源520和电力连接器510。如图5C中进一步所示，计算设备120包括处理器540、反馈输出单元545、存储器550b、无线收发器530b和显示器260。计算设备120 的一个示例是其中安装有专用应用的智能电话或平板电脑。在其他实施例中，计算设备120可以包括任何配置，诸如车载汽车计算系统、PC、膝上型计算机以及与公开的实施例一致的任何其他系统。在该示例中，用户100可以响应于显示器260上的与手相关的触发的识别来查看反馈输出。另外，用户100可以查看显示器260上的其他数据(例如，图像、视频剪辑、物体信息、日程信息、提取的信息等)。另外，用户100可以经由计算设备120与服务器250通信。
在一些实施例中，处理器210和处理器540被配置为从捕获的图像数据中提取信息。术语“提取信息”包括可以通过其通过对本领域普通技术人员已知的任何手段在捕获的数据中识别与物体、个体、位置、事件等相关联的信息的任何过程。在一些实施例中，装置110可以使用提取的信息向反馈输出单元230或向计算设备120发送反馈或其他实时指示。在一些实施例中，处理器210可以在图像数据中识别站在用户100前面的个体，并且向计算设备120发送该个体的名称和用户100遇见该个体的最后时间。在另一实施例中，处理器210可以在图像数据中识别一个或多个可见触发，包括与手相关的触发，并且确定该触发是否与除了可佩戴装置的用户之外的人相关联，以选择性地确定是否执行与该触发相关联的动作。一个这样的动作可以是经由作为装置110的一部分提供(或与装置110通信)的反馈输出单元230或者经由作为计算设备120的一部分提供的反馈单元545向用户100提供反馈。例如，反馈输出单元545可以与显示器260通信，以使显示器260可见地输出信息。在一些实施例中，处理器210可以在图像数据中识别与手相关的触发，并向计算设备120发送该触发的指示。处理器540然后可以处理接收到的触发信息，并基于与手相关的触发经由反馈输出单元545或显示器260提供输出。在其他实施例中，处理器540可以基于从装置110接收的图像数据来确定与手相关的触发并类似于上述内容地提供适当反馈。在一些实施例中，处理器540可以基于所识别的与手相关的触发向装置110提供指令或其他信息，诸如环境信息。
在一些实施例中，处理器210可以识别所分析的图像中的其他环境信息，诸如站在用户100前面的个体，并且发送与所分析的信息相关的计算设备 120信息，诸如个体的名称和用户100遇见该个体的最后时间。在不同的实施例中，处理器540可以从捕获的图像数据中提取统计信息并将该统计信息转发给服务器250。例如，可以由处理器540确定关于用户购买的物品类型或用户光顾特定商家的频率等的某些信息。基于该信息，服务器250可以向计算设备120发送与用户偏好相关联的优惠券和折扣。
当装置110连接或无线连接到计算设备120时，装置110可以发送存储在存储器550a中的图像数据的至少一部分以存储在存储器550b中。在一些实施例中，在计算设备120确认传递部分图像数据成功之后，处理器540可以删除该部分的图像数据。术语“删除”意味着图像被标记为“已删除”，并且可以代替它存储其他图像数据，但是不一定意味着图像数据被物理地从存储器中移除。
受益于本公开的本领域技术人员将会理解，可以对公开的实施例进行许多变化和/或修改。并非所有组件对于装置110的操作都是必不可少的。任何组件可以位于任何适当的装置中，并且这些组件可以被重新布置成各种配置，同时提供公开的实施例的功能。例如，在一些实施例中，装置110可以包括相机、处理器和用于向另一设备发送数据的无线收发器。因此，前述配置是示例，并且不管上面讨论的配置如何，装置110都可以捕获、存储和/或处理图像。
此外，前面和下面的描述涉及存储和/或处理图像或图像数据。在本文公开的实施例中，所存储和/或处理的图像或图像数据可以包括由图像传感器 220捕获的一个或多个图像的表示。如本文所使用的术语，图像(或图像数据)的“表示”可以包括整个图像或图像的一部分。图像(或图像数据)的表示可以具有与图像(或图像数据)相同的分辨率或更低的分辨率，和/或图像(或图像数据)的表示可以在某些方面改动(例如，被压缩、具有更低的分辨率、具有改动的一种或多种颜色等)。
例如，装置110可以捕获图像并存储压缩为.JPG文件的图像的表示。作为另一示例，装置110可以捕获彩色图像，但存储该彩色图像的黑白表示。作为又一示例，装置110可以捕获图像并存储该图像的不同表示(例如，该图像的一部分)。例如，装置110可以存储图像的一部分，该存储图像的一部分包括出现在图像中的人的面部，但基本上不包括该人周围的环境。类似地，装置110可以例如存储图像的一部分，该图像的一部分包括出现在图像中的产品，但基本上不包括该产品周围的环境。作为又一示例，装置110可以以降低的分辨率(即，以具有比捕获图像的分辨率更低的值的分辨率)存储图像的表示。存储图像的表示可以允许装置110节省存储器550中的存储空间。此外，处理图像的表示可以允许装置110改善处理效率和/或帮助维护电池寿命。
除上述内容之外，在一些实施例中，装置110或计算设备120中的任何一个可以经由处理器210或540进一步处理捕获的图像数据，以提供识别捕获的图像数据中的物体和/或姿态和/或其他信息的附加功能。在一些实施例中，可以基于所识别的物体、姿态或其他信息来采取动作。在一些实施例中，处理器210或540可以在图像数据中识别一个或多个可见触发，包括与手相关的触发，并确定该触发是否与除了用户以外的人相关联，以确定是否执行与该触发相关联的动作。
本公开的一些实施例可以包括一种能够固定到用户的衣物上的装置。这种装置可以包括可通过连接器连接的两个部分。捕获单元可以被设计成佩戴在用户的衣物的外面，并且可以包括用于捕获用户环境的图像的图像传感器。捕获单元可连接到电力单元，该电力单元可以被配置为容纳电源和处理设备。捕获单元可以是包括相机或用于捕获图像的其他设备的小型设备。捕获单元可以被设计成不显眼和不引人注目的，并且可以被配置为与被用户衣物隐藏的电力单元通信。电力单元可以包括系统的更庞大的方面，诸如收发器天线、至少一个电池、处理设备等。在一些实施例中，捕获单元和电力单元之间的通信可以由连接器中包括的数据电缆提供，而在其他实施例中，捕获单元和电力单元之间的通信可以被无线地实现。一些实施例可以允许改变捕获单元的图像传感器的方位，例如，以更好地捕获感兴趣的图像。
图6示出了与本公开一致的包含软件模块的存储器的示例性实施例。被包括在存储器550中的是方位识别模块601、方位调节模块602和运动跟踪模块603。模块601、602、603可以包含软件指令，用于由可佩戴装置包括的至少一个处理设备(例如，处理器210)执行。方位识别模块601、方位调节模块602和运动跟踪模块603可以协作以为并入无线装置110中的捕获单元提供方位调节。
图7示出了包括方位调节单元705的示例性捕获单元710。方位调节单元705可以被配置为允许调节图像传感器220。如图7所示，方位调节单元 705可以包括眼球型调节机构。在替代实施例中，方位调节单元705可包括万向节(gimbal)、可调节杆(stalk)、可旋转安装件以及用于调节图像传感器220的方位的任何其他合适的单元。
图像传感器220可以被配置为可以以这样一种使得图像传感器220的瞄准方向基本上与用户100的视场一致的方式与用户100的头部一起移动。例如，如上所述，与图像传感器220相关联的相机可以根据捕获单元710的预期位置，在稍微面朝上或朝下的位置中以预定角度安装在捕获单元710内。因此，图像传感器220的设置瞄准方向可以匹配用户100的视场。在一些实施例中，处理器210可以使用从图像传感器220提供的图像数据来改变图像传感器220的方位。例如，处理器210可以识别用户正在读书，并确定图像传感器220的瞄准方向偏离文本。也就是说，因为每行文本开头的词没有完全在视野中，处理器210可以确定图像传感器220在错误的方向上倾斜。响应于此，处理器210可以调节图像传感器220的瞄准方向。
方位识别模块601可以被配置为识别捕获单元710的图像传感器220的方位。图像传感器220的方位可以例如通过以下来识别：通过分析由捕获单元710的图像传感器220捕获的图像、通过捕获单元710内的倾斜或姿态感测设备，以及通过测量方位调节单元705相对于捕获单元710的其余部分的相对方向。
方位调节模块602可以被配置为调节捕获单元710的图像传感器220的方位。如上所述，图像传感器220可以安装在被配置用于移动的方位调节单元705上。方位调节单元705可以被配置用于响应于来自方位调节模块602 的命令的旋转和/或横向移动。在一些实施例中，方位调节单元705可以经由马达、电磁体、永磁体和/或它们任何合适的组合来调节图像传感器220的方位。
在一些实施例中，可以提供监视模块603用于连续监视。这种连续监视可以包括跟踪被包括在由图像传感器捕获的一个或多个图像中的物体的至少一部分的移动。例如，在一个实施例中，只要物体基本上保持在图像传感器220的视场内，装置110可以跟踪该物体。在另外的实施例中，监视模块 603可以接合方位调节模块602，以命令方位调节单元705连续地将图像传感器220朝向感兴趣的物体定向。例如，在一个实施例中，监视模块603可以使图像传感器220调节方位，以确保某指定物体(例如，特定人的面部) 保持在图像传感器220的视场内，即使该指定物体四处移动。在另一实施例中，监视模块603可以连续监视被包括在由图像传感器捕获的一个或多个图像中的感兴趣区域。例如，用户可能被某项任务占用，例如在膝上型电脑上打字，同时图像传感器220保持定向在特定方向上，并连续监视来自一系列图像的每个图像的一部分，以检测触发或其他事件。例如，在用户的注意力被占用的情况下，图像传感器210可以朝向一件实验室装备定向，并且监视模块603可以被配置为监视实验室装备上的状态灯的状态变化。
在与本公开一致的一些实施例中，捕获单元710可以包括多个图像传感器220。多个图像传感器220可以每个被配置为捕获不同的图像数据。例如，当提供多个图像传感器220时，图像传感器220可以捕获具有不同分辨率的图像，可以捕获更宽或更窄的视场，以及可以具有不同级别的放大率。图像传感器220可以设置有变化的镜片以允许这些不同的配置。在一些实施例中，多个图像传感器220可以包括具有不同方位的图像传感器220。因此，多个图像传感器220中的每一个可以指向不同的方向以捕获不同的图像。在一些实施例中，图像传感器220的视场可以重叠。多个图像传感器220中每个可以被配置为例如通过与图像调节单元705配对来进行方位调节。在一些实施例中，监视模块603或与存储器550相关联的另一模块可以被配置为单独调节多个图像传感器220的方位，以及根据需要打开或关闭多个图像传感器 220中的每一个。在一些实施例中，监视由图像传感器220捕获的物体或人可以包括跟踪跨多个图像传感器220的视场的物体的移动。
与本公开的实施例一致可以包括被配置为连接可佩戴装置的捕获单元和电力单元的连接器。与本公开一致的捕获单元可以包括至少一个图像传感器，该图像传感器被配置为捕获用户环境的图像。与本公开一致的电力单元可以被配置为容纳电源和/或至少一个处理设备。与本公开一致的连接器可以被配置为连接捕获单元和电力单元，并且可以被配置为将装置固定到衣物上，使得捕获单元位于衣物的外表面上方，并且电力单元位于衣物的内表面下方。参考图8-图14进一步详细讨论了与本公开一致的捕获单元、连接器和电力单元的示例性实施例。
图8是与本公开一致的可固定到衣物上的可佩戴装置110的实施例的示意图。如图8所示，捕获单元710和电力单元720可以通过连接器730连接，使得捕获单元710位于衣物750的一侧，而电力单元720位于衣物750的相反侧。在一些实施例中，捕获单元710可以位于衣物750的外表面上方，并且电力单元720可以位于衣物750的内表面下方。电力单元720可以被配置为贴着用户的皮肤放置。
捕获单元710可以包括图像传感器220和方位调节单元705(如图7所示)。电力单元720可以包括移动电源520和处理器210。电力单元720还可以包括先前讨论的元件的任何组合，这些元件可以是可佩戴装置110的一部分，包括但不限于无线收发器530、反馈输出单元230、存储器550和数据端口570。
连接器730可以包括夹子715或其被设计成将捕获单元710和电力单元 720用夹子夹到或附接到衣物750的其他机械连接，如图8所示。如图所示，夹子715在其周边可以连接到捕获单元710和电力单元720中的每一个，并且可以缠绕在衣物750的边缘周围，以将捕获单元710和电力单元720固定在适当的位置。连接器730还可以包括电力电缆760和数据电缆770。电力电缆760能够将电力从移动电源520传送到捕获单元710的图像传感器220。电力电缆760还可以被配置为向捕获单元710的任何其他元件(例如，方位调节单元705)提供电力。数据电缆770能够将捕获的图像数据从捕获单元 710中的图像传感器220传送到电力单元720中的处理器800。数据电缆770 还能够在捕获单元710和处理器800之间传送附加数据，例如，用于方位调节单元705的控制指令。
图9是与本公开的实施例一致的佩戴可佩戴装置110的用户100的示意图。如图9所示，捕获单元710位于用户100的衣物750的外表面上。捕获单元710经由连接器730连接到电力单元720(在该图示中未示出)，该连接器730缠绕衣物750的边缘。
在一些实施例中，连接器730可以包括柔性印刷电路板(printed circuit board，PCB)。图10示出了其中连接器730包括柔性印刷电路板765的示例性实施例。柔性印刷电路板765可以包括捕获单元710和电力单元720之间的数据连接和电力连接。因此，在一些实施例中，柔性印刷电路板765可用于替换电力电缆760和数据电缆770。在替代实施例中，除了电力电缆760 和数据电缆770中的至少一个之外，还可以包括柔性印刷电路板765。在本文讨论的各种实施例中，柔性印刷电路板765可以替代电力电缆760和数据电缆770，或者除了电力电缆760和数据电缆770之外还包括柔性印刷电路板765。
图11是与本公开一致的可固定到衣物上的可佩戴装置的另一实施例的示意图。如图11所示，连接器730可以相对于捕获单元710和电力单元720 位于中心。连接器730的中心位置可以有助于穿过衣物750中的孔(诸如，例如现有衣物750中的纽扣孔或者被设计成容纳可佩戴装置110的衣物750 中的特殊孔)将装置110固定到衣物750上。
图12是可固定到衣物上的可佩戴装置110的又一实施例的示意图。如图12所示，连接器730可包括第一磁体731和第二磁体732。第一磁体731 和第二磁体732可以将捕获单元710固定到电力单元720，其中衣物位于第一磁体731和第二磁体732之间。在包括第一磁体731和第二磁体732的实施例中，还可以包括电力电缆760和数据电缆770。在这些实施例中，电力电缆760和数据电缆770可以具有任何长度，并且可以在捕获单元710和电力单元720之间提供灵活的电力和数据连接。除了电力电缆760和/或数据电缆770之外或代替电力电缆760和/或数据电缆770，包括第一磁体731和第二磁体732的实施例还可以包括柔性PCB 765连接。在一些实施例中，第一磁体731或第二磁体732可以由包括金属材料的物体代替。
图13是可固定到衣物上的可佩戴装置110的又一实施例的示意图。图13示出了其中电力和数据可以在捕获单元710和电力单元720之间无线传递的实施例。如图13所示，第一磁体731和第二磁体732可以作为连接器730 提供，以将捕获单元710和电力单元720固定到衣物750上。电力和/或数据可以经由任何合适的无线技术(例如，磁和/或电容耦合、近场通信技术、射频传递以及任何其他适合于在短距离上传递数据和/或电力的无线技术)在捕获单元710和电力单元720之间传递。
图14示出了可固定到用户的衣物750上的可佩戴装置110的又一实施例。如图14所示，连接器730可包括设计用于接触式接合的特征。例如，捕获单元710可以包括具有中空中心的环733，该中空中心的直径略大于位于电力单元720上的盘形突起734。当与衣物750的织物按压在一起时，盘形突起734可以紧密接合在环733内，将捕获单元710固定到电力单元720。图14示出了不包括捕获单元710和电力单元720之间的任何电缆或其他物理连接的实施例。在该实施例中，捕获单元710和电力单元720可以无线地传递电力和数据。在替代实施例中，捕获单元710和电力单元720可以经由电缆760、数据电缆770和柔性印刷电路板765中的至少一个传递电力和数据。
图15示出了与本文描述的实施例一致的电力单元720的另一方面。电力单元720可以被配置为直接贴着用户的皮肤定位。为了便于这种定位，电力单元720还可以包括涂覆有生物相容性材料740的至少一个表面。生物相容性材料740可以包括当长时间贴着皮肤佩戴时不会与使用者皮肤发生负面反应的材料。这种材料可以包括例如硅树脂、PTFE、聚酰亚胺胶带、聚酰亚胺、钛、镍钛诺、铂等。同样如图15所示，可以将电力单元720的大小设置为使得电力单元的内部体积基本上由移动电源520填充。也就是说，在一些实施例中，电力单元720的内部体积可以使得体积不容纳除移动电源 520之外的任何附加组件。在一些实施例中，移动电源520可以利用其接近用户皮肤的皮肤的优势。例如，移动电源520可以使用珀尔帖(Peltier)效应来产生电力和/或对电源充电。
在进一步的实施例中，可固定到衣物上的装置还可包括与容纳在电力单元720中的电源520相关联的保护电路。图16示出了包括保护电路775的示例性实施例。如图16所示，保护电路775可以相对于电力单元720被远程定位。在替代实施例中，保护电路775也可以位于捕获单元710中、柔性印刷电路板765上或电力单元720中。
保护电路775可以被配置为保护捕获单元710的图像传感器220和/或其他元件免受移动电源520产生的潜在危险电流和/或电压的影响。保护电路 775可以包括无源组件，诸如电容器、电阻器、二极管、电感器等，以向捕获单元710的元件提供保护。在一些实施例中，保护电路775还可以包括有源组件，诸如晶体管，以向捕获单元710的元件提供保护。例如，在一些实施例中，保护电路775可以包括用作保险丝的一个或多个电阻器。每个保险丝可以包括当流过保险丝的电流超过预定限制(例如，500毫安、900毫安、 1安培、1.1安培、2安培、2.1安培、3安培等)时会熔化(从而阻碍图像捕获单元710的电路和电力单元720的电路之间的连接)的线或条。先前描述的任一或所有实施例可以包括保护电路775。
在一些实施例中，可佩戴装置可以经由任何已知的无线标准(例如，蜂窝、Wi-Fi、等)，或者经由近场电容耦合、其他短程无线技术，或者经由有线连接在一个或多个网络上向计算设备(例如，智能电话、平板电脑、手表、计算机等)发送数据。类似地，可佩戴装置可以经由任何已知的无线标准(例如，蜂窝、Wi-Fi、等)，或者经由近场电容耦合、其他短程无线技术，或者经由有线连接在一个或多个网络上从计算设备接收数据。发送到可佩戴装置和/或由无线装置接收的数据可以包括图像、图像的部分、与出现在所分析的图像中或与所分析的音频相关联的信息相关的标识、或者表示图像和/或音频数据的任何其他数据。例如，可以分析图像，并且可以将与图像中发生的活动相关的标识发送到计算设备(例如，“配对的设备”)。在本文描述的实施例中，可佩戴装置可以本地地(在可佩戴装置的板上)和/或远程地(经由计算设备)处理图像和/或音频。此外，在这里描述的实施例中，可佩戴装置可以将与图像和/或音频的分析相关的数据发送到计算设备，以用于进一步分析、显示和/或发送到另一设备(例如，配对的设备)。此外，配对的设备可以执行一个或多个应用(apps)来处理、显示和/ 或分析从可佩戴装置接收的数据(例如，标识、文本、图像、音频等)。
一些公开的实施例可以涉及用于确定至少一个关键词的系统、设备、方法和软件产品。例如，可以基于由装置110收集的数据来确定至少一个关键词。可以基于该至少一个关键词来确定至少一个搜索查询。该至少一个搜索查询可以被发送到搜索引擎。
在一些实施例中，可以基于由图像传感器220捕获的至少一个或多个图像来确定至少一个关键词。在一些情况下，该至少一个关键词可以从存储在存储器中的关键词池中选择。在一些情况下，可以对由图像传感器220捕获的至少一个图像执行光学字符识别(optical character recognition，OCR)，并且可以基于OCR结果来确定至少一个关键词。在一些情况下，可以分析由图像传感器220捕获的至少一个图像以识别：人、物体、位置、场景等。此外，可以基于所识别的人、物体、位置、场景等来确定至少一个关键词。例如，至少一个关键词可以包括：人名、物体名、地名、日期、运动队名、电影名、书名等。
在一些实施例中，可以基于用户的行为来确定至少一个关键词。可以基于对由图像传感器220捕获的一个或多个图像的分析来确定用户的行为。在一些实施例中，可以基于用户和/或其他人的活动来确定至少一个关键词。可以分析由图像传感器220捕获的一个或多个图像，以识别出现在由图像传感器220捕获的一个或多个图像中的用户和/或其他人的活动。在一些实施例中，可以基于由装置110捕获的至少一个或多个音频片段来确定至少一个关键词。在一些实施例中，可以至少基于与用户相关联的GPS信息来确定至少一个关键词。在一些实施例中，可以至少基于当前时间和/或日期来确定至少一个关键词。
在一些实施例中，可以基于至少一个关键词来确定至少一个搜索查询。在一些情况下，至少一个搜索查询可以包括至少一个关键词。在一些情况下，至少一个搜索查询可以包括至少一个关键词和由用户提供的附加关键词。在一些情况下，至少一个搜索查询可以包括至少一个关键词和一个或多个图像，诸如由图像传感器220捕获的图像。在一些情况下，至少一个搜索查询可以包括至少一个关键词和一个或多个音频片段，诸如由装置110捕获的音频片段。
在一些实施例中，至少一个搜索查询可以被发送到搜索引擎。在一些实施例中，可以将搜索引擎响应于至少一个搜索查询而提供的搜索结果提供给用户。在一些实施例中，至少一个搜索查询可用于访问数据库。
例如，在一个实施例中，关键词可以包括一种食物的名称，诸如藜麦，或者食物产品的品牌名称；并且搜索将输出与期望的消费量相关的信息、关于营养概况的事实等。在另一示例中，在一个实施例中，关键词可以包括餐馆的名称，并且搜索将输出与餐馆相关的信息，诸如菜单、营业时间、评论等。对标牌图像使用OCR、使用GPS信息等可以获得餐馆的名称。在另一示例中，在一个实施例中，关键词可以包括人的名称，并且搜索将提供来自该人的社交网络简档的信息。对附着到人的衬衫上的名称标签的图像使用 OCR、使用面部识别算法等可以获得人的名称。在另一示例中，在一个实施例中，关键词可以包括书的名称，并且搜索将输出与书相关的信息，诸如评论、销售统计、关于书的作者的信息等。在另一示例中，在一个实施例中，关键词可以包括电影的名称，并且搜索将输出与电影相关的信息，诸如评论、票房统计、关于电影演员的信息、放映时间等。在另一示例中，在一个实施例中，关键词可以包括运动队的名称，并且搜索将输出与运动队相关的信息，诸如统计、最新结果、未来日程、关于运动队运动员的信息等。例如，可以使用音频识别算法获得运动队的名称。
基于检测到的人选择动作
在一些实施例中，可佩戴装置110可以执行各种动作，诸如在捕获的图像中识别人、上传人的图像(例如，上传到一个或多个社交网络、上传到一个或多个云存储文件夹等)、标记人的图像、发送人的图像(例如，经由电子邮件、文本消息等)、更新甘特图(Gnattchart)或日历、向一个或多个配对(matchmaking)服务发送信息、更新一个或多个社交网络简档、提供一个或多个统计等等。可佩戴装置110可以基于检测到的人的一个或多个属性来选择要执行的一个或多个动作，诸如年龄、性别、体重、身高、与设备佩戴者的关系(例如，社交、家庭、商业等)。在这样做时，与本公开一致的实施例可以解决从可佩戴装置的佩戴者的环境中提取与佩戴者相关的信息并且然后确定如何以对佩戴者有用的方式和/或根据用户偏好使用该信息的技术问题。例如，佩戴者可能希望跟踪与与他们相关的某些人或与佩戴者在工作中相关联的人的相遇，但是对于佩戴者想要存储的关于不同人的信息的种类，佩戴者可能有不同的偏好。本公开的实施例可以通过用于对从佩戴者环境的图像中提取或确定的信息进行分类并执行与所提取的信息相关的适当动作的技术来解决这个问题。
图17示出了与本公开一致的包含软件模块的存储器1700的示例性实施例。存储器1700可以代替存储器550或与存储器550相组合而被包括在装置110中。在一些实施例中，存储器1700的软件模块可以与存储器550的一个或多个软件模块组合成一个或多个存储器。存储器1700可以存储比图 17所示的模块更多或更少的模块。
如图17所示，存储器1700中包括用于执行人检测模块1701、属性识别模块1702、分类模块1703和动作模块1704的软件指令。模块1701、1702、 1703和1704可以包含用于由被包括在可佩戴装置(例如，可佩戴装置110) 中的至少一个处理设备(例如，处理器210)执行的软件指令。在一些实施例中，人检测模块1701、属性识别模块1702、分类模块1703和动作模块1704 可以协作以执行图19的方法1900(或其变体)。
人检测模块1701可以被配置为分析从可佩戴装置捕获的一个或多个图像，以检测图像内的至少一个人。例如，人检测模块1701可以被配置为识别包括至少一个人的捕获数据的子集。在一些实施例中，人检测模块1701 可以被配置为接收多个图像并识别多个图像中包括至少一个人的一个或多个图像。例如，模块1701可以接收佩戴着可佩戴装置110的用户周围的环境的多个图像，并且识别多个图像中的哪一个图像包括至少一个人。
在一些实施例中，这种分析可以通过采用被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行。在其他实施例中，可以使用被设计成基于由至少一个人产生的热来检测至少一个人的存在的热特征算法(thermal signature algorithm)来识别至少一个人。在这样的实施例中，可佩戴装置110可以捕获单独的或者与视觉图像组合的热图像，以用于通过热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别至少一个人的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别至少一个人的其他方法，这些方法与本公开一致。在一些示例中，可以使用面部检测算法、使用训练成检测图像中的面部和/或人的神经网络等来检测至少一个人。在一些示例中，可以使用面部识别算法、使用训练成识别图像中的人的神经网络等来识别至少一个人。
属性识别模块1702可以被配置为接收检测到的人的一个或多个图像，并且进一步分析该一个或多个图像以确定与识别出的人相关联的一个或多个属性(例如，年龄、性别、体重、身高、与可佩戴装置的佩戴者的关系)。在一些实施例中，属性识别模块1702可以为每个检测到的人确定多于一个的属性。
在一些实施例中，可以基于对检测到的人的一个或多个图像的分析来确定检测到的人的至少一个属性。例如，一个或多个算法可以分析检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以估计或确定信息，诸如检测到的人的年龄、性别、体重、身高等。例如，可以使用训练成从图像中识别人的属性的神经网络。
在一些实施例中，属性识别模块1702可以确定检测到的人的身份(例如，通过面部识别)，然后访问一个或多个数据库(例如，本地地存储在可佩戴装置110的存储器中和/或可通过网络远程访问的，例如，诸如通过访问服务器250)以检索检测到的人的至少一个属性。例如，在将检测到的人识别为特定个体(例如，基于面部识别确定与已知的人的图像的匹配)之后，属性识别模块1702可以访问数据库以检索关于检测到的人的信息，诸如检测到的人的年龄、家庭成员等。
分类模块1703可以被配置为使用相关联的属性来分类所识别的人。例如，分类模块1703可以将检测到的人分类为成人、青少年、儿童、佩戴者的兄弟、佩戴者的岳母、高(例如，高于中位数)的人、矮(例如，低于中位数)的人、男性、女性等。
在一些实施例中，基于特定个体的属性，分类模块1703可以将检测到的人与一个或多个相关类别相关联。例如，如果人的属性指示他或她超过预定身高(例如，六英尺或更高)，则分类模块1703可以将检测到的人与“高”的类别相关联。类似地，如果人的属性指示他或她小于预定年龄(例如，18 岁)，则分类模块1703可以将检测到的人与“儿童”的类别相关联。分类模块1703还可以将多于一个类别与检测到的人相关联。例如，具有15岁的年龄属性的检测到的人可以与“儿童”的类别和“青少年”的类别都相关联。
在一些实施例中，分类模块1703可以被配置为接收检测到的人的一个或多个图像，并且进一步分析该一个或多个图像以对识别出的人进行分类。在一些示例中，可以使用图像分类器将检测到的人分类到多个预定义类别之一，该图像分类器基于人的图像将类别分配给人。图像分类器可以是在一组示例上训练的机器学习算法的结果，其中示例可以包括人的图像以及针对该人的期望类别。在一些示例中，可以使用神经网络，该神经网络被训练成基于人的图像将一个或多个类别分配给人。
在一些实施例中，分类模块1703可以被配置为接收一个或多个图像并分析该一个或多个图像以检测选择类别的人。在一些示例中，可以使用配置为检测女性、男性、儿童、老年人、商人等的检测器来分析一个或多个图像。例如，检测器可以包括分类器，该分类器将图像和/或图像的一部分分类为包含和不包含与所选择的类别匹配的人的图像和/或图像的一部分。分类器可以是使用训练示例训练的机器学习算法的结果，其中训练示例可以包括图像和期望的答案。例如，检测器可以包括神经网络，该神经网络被训练成检测与图像中所选择的类别相匹配的人。
动作模块1704可以被配置为基于类别选择一个或多个动作。例如，当检测到的人被分类为佩戴者的商务联系人时，动作模块1704可以识别检测到的人。作为进一步的示例，例如，当检测到的人被分类为佩戴者的朋友或家人时，动作模块1704可以上传和标记图像(例如，到云存储服务、社交网络等)。在另一示例中，当检测到的人被分类为佩戴者的同事或重要的其他人时，动作模块1704可以更新时间线、日历、甘特图等。在又一示例中，动作模块1704可以提供与潜在约会匹配相关的信息，例如，当检测到的人被分类在与佩戴者的约会偏好(例如，性别、身高、发色等)匹配的一个或多个类别中时。
作为执行诸如上述那些一个或多个动作的替代，或执行诸如上述那些一个或多个动作的同时，动作模块1704可以基于类别来更新一个或多个统计。在一些实施例中，统计可以在地理区域和/或时间帧上累积。
在一些实施例中，动作模块1704可以通过将信息(例如，一个或多个指令和/或一个或多个指令的参数)提供给与可佩戴装置配对的设备(例如，智能电话)和/或通过在网络上将信息(例如，一个或多个指令和/或一个或多个指令的参数)提供给远程服务器(例如，服务器250)来执行所选择的一个或多个动作。例如，动作模块1704可以向配对的设备发送一个或多个指令，以更新显示在配对的设备的屏幕上的日历，以指示用户在特定日期与同事开了会。
模块1701-1704可以以软件、硬件、固件、任何这些的混合等来实施。例如，如果模块以软件实施，则它们可以存储在例如存储器550中。然而，在一些实施例中，模块1701-1704中的任何一个或多个模块可以例如存储在处理器540中和/或位于服务器250上，其可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块1701-1704的指令。在一些实施例中，模块1701-1704的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块 1701-1704可以被配置为彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备来执行与每个模块相关联的功能。
图18A是由诸如可佩戴装置110的可佩戴装置捕获的示例图像1800的图示。在图18A的示例中，图像1800包含人1810。在图18A的示例中，可佩戴装置110可以将人1810分类为装置110的佩戴者的兄弟。可以使用上面结合图17讨论的任何一种或多种技术来确定类别。基于该类别，可佩戴装置110可以采取一个或多个动作。例如，装置110可以将人1810识别为“兄弟”和/或通过名称“Ted”来识别人1810，可以上传和标记人1810的图像(例如，到与佩戴者相关联的社交网络账户)，可以更新与佩戴者相关联的社交网络账户以指示佩戴者与人1810在一起，等等。
图18B是由诸如可佩戴装置110的可佩戴装置捕获的另一示例图像1850 的图示。在图18B的示例中，图像1850包含人1860。在图18B的示例中，可佩戴装置110可以将人1860分类为儿童(例如，基于人1860的确定年龄)。基于该类别，装置110可以采取一个或多个动作。例如，如图18B所示，可佩戴装置110可以基于人1860作为儿童的类别和/或基于附近没有诸如成人的其他人来发送安伯警报(amber alert)。可替换地或同时地，如图18B所示，可佩戴装置110可以向数据库发送更新，该数据库提供与失踪人员相关的信息。这种更新可以验证人1860是否在失踪人员数据库中，如果是，则向数据库发送图像1850的捕获的时间和/或位置。在一些示例中，可佩戴装置110 可以基于人的类别而放弃某些动作，例如在图18B中，该装置可以基于人 1860作为儿童的类别而放弃将人1860的图像上传到社交网络或公共相册。
图18A和图18B是正在由可佩戴装置110检测和分类的人的示例。如本领域普通技术人员将理解的，随着用户周围的环境改变，可佩戴装置110 可以捕获在各个位置的用户的全天的图像。例如，当用户去餐馆吃晚饭、上下班通勤、参加社交活动等时，可以捕获图像。以这种方式，可佩戴装置110 可以被配置为贯穿用户的活动监视用户100周围的环境，以贯穿用户佩戴可佩戴装置110的时间识别对一个或多个人的暴露，然后确定检测到的人的属性，将类别基于所确定的属性，并且基于类别来采取适当的动作。
图19示出了用于基于检测到的人选择动作的示例方法1900的流程图。方法1900可以由至少一个处理设备(例如，可佩戴装置110的处理器210) 和由被配置为从可佩戴装置的用户的环境中捕获多个图像的可佩戴图像传感器(例如，可佩戴装置110的图像传感器220)来实施。
在步骤1910，处理设备可以分析多个图像中的至少一个图像来检测人。例如，接收的图像数据可以通过由人检测模块1701执行的软件步骤来处理。在一些实施例中，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较，以确定在该一个或多个区域中是否包括人。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出是否在该一个或多个区域中检测到人。此外，处理设备可以执行一个或多个算法来检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征。
在一些实施例中，检测可以是二进制的。在这样的实施例中，如果检测到人，比较和/或分类器可以输出真(true)，如果没有检测到人，则输出假 (false)。在其他实施例中，检测可以是基于阈值的。在这样的实施例中，比较和/或分类器可以输出一个或多个区域包括人的百分比或其他置信度的测量。例如，比较可以输出一个或多个区域包括人的可能性(例如，58％的可能性)。作为进一步的示例，分类器可以输出一个或多个区域包括人的分数(score)(例如，10分之8的分数)。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等)将输出转换成二进制检测。
在步骤1920，处理设备可以分析多个图像中的至少一个图像以识别检测到的人的属性。例如，接收的图像数据可以通过由属性识别模块1702执行的软件步骤来处理。类似于步骤1910，处理设备可以将该至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较以确定属性。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出属性。例如，如前所述，一个或多个算法可以分析检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以估计或确定诸如检测到的人的年龄、性别、体重、身高等的信息。在一些实施例中，如前所述，属性识别模块1702可以确定检测到的人的身份(例如，通过面部识别)，然后访问一个或多个数据库(例如，本地存储在可佩戴装置110的存储器中和/或可通过网络远程访问，例如，诸如通过访问服务器250)，以检索检测到的人的至少一个属性。
在一些实施例中，置信度分数等可以与属性相关联。例如，比较可以输出具有64％置信度分数的属性。作为进一步的示例，分类器可以输出具有置信度分数4(满分10)的属性。在这样的实施例中，比较和/或分类器可以输出多个属性，并且处理设备可以选择具有最高置信度分数的属性作为关联属性。
作为一个示例，分析多个图像中的至少一个图像以识别检测到的人的属性可以包括分析多个图像中的至少一个图像以估计检测到的人的年龄。作为第二示例，分析多个图像中的至少一个图像以识别检测到的人的属性可以包括分析多个图像中的至少一个图像以估计检测到的人的身高。在第三示例中，分析多个图像中的至少一个图像以识别检测到的人的属性可以包括分析多个图像中的至少一个图像以估计检测到的人的体重。作为第四示例，分析多个图像中的至少一个图像以识别检测到的人的属性可以包括分析多个图像中的至少一个图像以估计检测到的人的性别。
在一些实施例中，分析多个图像中的至少一个图像以识别检测到的人的属性可以包括分析多个图像中的至少一个图像以确定检测到的人的身份。例如，检测到的人的身份可以包括检测到的人的名称、职称、电话号码或其他标识。在一些实施例中，处理设备可以将至少一个图像的一个或多个区域与已知图案的数据库进行比较，以识别检测到的人。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出检测到的人的身份。在一些实施例中，置信度分数等可以与身份相关联。例如，分类器可以输出具有置信度分数(例如，43％置信度分数) 的身份。作为进一步的示例，比较可以输出具有置信度分数(例如，10分之 9的置信度分数)的身份。在这样的实施例中，比较和/或分类器可以输出多个身份，并且处理设备可以选择具有最高置信度分数的身份作为相关联的身份。
基于检测到的人的身份，处理设备可以确定用户和检测到的人之间关系的类型，如图18A的示例中所示。例如，关系可以包括关系的类别(诸如家庭、朋友、社交、商业等)、特定的关系(诸如兄弟、表亲、同事、客户等) 等。在一些实施例中，处理设备可以确定多种类型的关系(例如，检测到的人是家庭成员，并且更具体地，是佩戴者的兄弟)。
在步骤1930，处理设备可以基于所识别的属性为检测到的人选择至少一个类别。选择至少一个类别可以通过由分类模块1704执行的软件步骤来促进。在一些实施例中，至少一个类别可以从多个属性类别中选择。例如，处理设备可以基于检测到的人的估计的年龄将检测到的人分类为至少一个类别(诸如成人、儿童、青少年、老年人等)。在第二示例中，处理设备可以基于检测到的人的估计的身高将检测到的人分类为至少一个类别(诸如高、中、矮等)。作为第三示例，处理设备可以基于检测到的人的估计的体重将检测到的人分类为至少一个类别(诸如重、中、瘦等)。在第四示例中，处理设备可以基于检测到的人的估计的性别将检测到的人分类为至少一个类别(诸如男性、女性等)。
在处理设备已经确定了检测到的人的身份并且确定了用户和检测到的人之间的关系的类型的实施例中，处理设备可以基于用户和检测到的人之间的关系的类型将检测到的人分类为至少一个类别(诸如家庭、朋友、社交、商业、兄弟姐妹、同事等)。
在一些实施例中，至少一个类别可以包括统计类别。例如，处理设备可以保留关于在可佩戴装置捕获的图像中检测到的人的年龄、身高、体重和/ 或性别的统计的集合。因此，统计类别可以基于统计的集合，例如，中值、模式、平均值、十分位数、四分位数、五分位数等。在一些实施例中，统计类别可以与地理区域相关联和/或与时间段相关联。例如，中值可以仅针对与北美相关联的部分集合进行测量。作为进一步的示例，四分位数可以仅针对与前一周相关联的部分集合进行测量。
在一些实施例中，方法1900可以跳过步骤1910和1920，并且步骤1930 可以例如使用分类模块1704来检测匹配图像中所选择的类别的人。
在步骤1940，处理设备可以基于至少一个类别选择至少一个动作。对至少一个动作的选择可以经由动作模块1704来促进。例如，该至少一个动作可以包括识别人、上传图像和标记图像中的至少一个、更新日志和更新时间线或甘特图中的至少一个、提供与潜在约会匹配相关的信息、更新社交图谱和社交网络简档中的至少一个等等。至少一个动作可以基于至少一个类别。例如，如果检测到的人被分类为同事或客户，则处理设备可以选择更新时间线或甘特图(或其他日历或任务列表)。作为进一步的示例，如果检测到的人被分类在匹配用户的约会简档的一个或多个类别中，则处理设备可以提供与潜在约会匹配相关的信息。在另一示例中，如果检测到的人被分类为朋友，则处理设备可以更新社交图谱和/或社交网络简档。
在一些实施例中，至少一个动作可以从与至少一个类别相关联的多个替代动作中选择。例如，朋友类别可以与上传图像和标记图像中的至少一个和 /或更新社交图谱和社交网络简档中的至少一个相关联。在这样的示例中，当检测到的人被分类为朋友时，处理设备可以选择上传图像和标记图像中的至少一个和/或更新社交图谱和社交网络简档中的至少一个。在另一示例中，同事类别可以与更新日志和更新时间线或甘特图中的至少一个和/或提供与潜在约会匹配相关的信息相关联。在这样的示例中，当检测到的人被分类为同事时，处理设备可以选择更新日志和更新时间线或甘特图中的至少一个和/ 或提供与潜在约会匹配相关的信息。
在具有多个类别的实施例中，处理设备可以使用第二类别从与第一类别相关联的多个替代动作中选择至少一个动作。因此，在朋友类别与上传图像和标记图像中的至少一个和/或提供与潜在约会匹配相关的信息相关联的示例中，当检测到的人的性别与用户的约会简档中的优选性别匹配时，处理设备可以选择提供与潜在约会匹配相关的信息。
在至少一个类别包括统计类别的实施例中，至少一个动作可以包括更新与统计类别相关的信息。例如，更新与统计类别相关的信息包括更新与统计类别相关联的唯一人员的计数。因此，处理设备可以跟踪由可佩戴装置检测到的朋友、同事、男性、女性、矮的人、高的人、重的人、瘦的人等的总数。如上所述，该计数可以与地理区域相关联和/或与时间段相关联。
在步骤1950，处理设备可以使至少一个选择的动作被执行。在一些实施例中，使至少一个选择的动作被执行可以包括向与可佩戴装置配对的设备发送信息。与可佩戴装置配对的设备可以包括智能电话、平板电脑、膝上型计算机等。因此，处理设备可以使用有线连接(诸如通用串行总线(universal serial bus，USB)等)、直接无线连接(例如等)和/或间接无线连接(诸如WiFi、4G等)向配对的设备发送信息。
所发送的信息可以包括多个图像中的至少一个图像、至少一个图像的一个或多个区域(例如，用于检测人和/或识别属性的一个或多个区域)、多个图像中检测到的人的一个或多个属性、用于检测到的人的一个或多个类别、一个或多个身份或检测到的人等。此外，所发送的信息可以允许配对的设备执行一个或多个所选择的动作。例如，处理设备可以向配对的设备发送信息，使得配对的设备可以识别人、上传图像、标记图像、更新日志、更新时间线或甘特图、提供与潜在约会匹配相关的信息、更新社交图谱和社交网络简档中的至少一个等。
方法1900还可以包括附加步骤。例如，处理设备可以分析多个图像中的至少一个图像以检测第二人。对第二人的检测可以如在步骤1910中对第一人的检测一样来执行。此外，方法1900还可以包括分析多个图像中的至少一个图像来识别第二人的属性，并且基于所识别的第二人的属性为第二人选择至少一个类别。
在一些实施例中，关于第二人的一个或多个步骤可以在关于第一人的步骤1910至1950之后执行。在其他实施例中，关于第二人的一个或多个步骤可以穿插有步骤1910至1950。例如，处理设备可以在检测到第一人之后但在识别第一人的属性和/或为第一人选择至少一个类别之前检测第二人。作为进一步的示例，处理设备可以在识别第一人的属性的同时识别第二人的属性，和/或可以在为第一人选择至少一个类别的同时为第二人选择至少一个类别。
在一些实施例中，方法1900可以基于为第二人选择的至少一个类别来选择至少一个动作。例如，如果第一被检测到的人被分类为儿童，而第二被检测到的人被分类为成人，则处理设备可以使用失踪人员数据库、警察报告的数据库等来验证第一被检测到的人是否被报告为被第二被检测到的人诱拐或绑架。作为进一步的示例，如果第一被检测到的人被分类为同事，而第二被检测到的人被分类为客户，则处理设备可以用与被识别的同事和被识别的客户的会议的日志来更新时间线或甘特图(或日历或任务列表)。
在一些实施例中，方法1900可以检测和分类出现在一个或多个图像中的多个人，例如以类似于上述内容的方式。在一些示例中，步骤1940可以基于多个人的类别来选择至少一个动作。例如，对至少一个动作的选择可以基于一组人的类别的分布。例如，可以计算一组人的类别分布的熵，并且可以基于所计算的熵来选择至少一个动作。
基于检测到的人的物理存在来执行动作
如上所述，在一些实施例中，本公开的可佩戴装置110可以执行各种动作。一些动作可以与装置的物理位置相关联，诸如发送与可佩戴装置的物理位置相关联的信息、基于与可佩戴装置的物理位置相关联的信息更新数据库和社交网络简档中的至少一个、至少部分地基于与可佩戴装置的物理位置相关联的信息确定一个或多个统计等。其他动作可以与时间和日期(例如，捕获一个或多个图像的时间和日期)相关联，诸如发送与时间和日期中的至少一个相关联的信息、基于与时间和日期中的至少一个相关联的信息更新数据库或社交网络、至少部分地基于与时间和日期中的至少一个相关联的信息识别一个或多个统计等。
在一些实施例中，可佩戴装置110可以基于检测到的人是物理存在于可佩戴装置的用户环境中还是在可佩戴装置的用户环境中的设备的显示器上可见来确定要采取的一个或多个动作。在这样做时，与本公开一致的实施例可以解决当佩戴者与其他人交互但不与图像或屏幕交互时从可佩戴装置的佩戴者的环境中提取和使用信息的技术问题。例如，佩戴者可能希望跟踪与某些人的相遇，但不跟踪与在相框中和/或在电视屏幕、平板电脑屏幕、智能电话屏幕等上的人的任何图像的相遇。可替换地，与跟踪与其他人的物理相遇相分离地，佩戴者可能希望跟踪与图像的相遇。本公开的实施例可以通过用于基于佩戴者的环境的图像评估他人的物理存在和基于该评估执行适当动作的技术来解决这个问题。
图20示出了与本公开一致的包含软件模块的存储器2000的示例性实施例。存储器200可以代替存储器550或与存储器550组合被包括在装置110 中。在一些实施例中，存储器2000的软件模块可以与存储器550的一个或多个软件模块组合成一个或多个存储器。存储器2000可以存储比图20所示的模块更多或更少的模块。
如图20所示，存储器2000中包括用于执行人检测模块2001、物理存在识别模块2002和动作模块2003的软件指令。模块2001、2002和2003可以包含用于由被包括在可佩戴装置(例如，可佩戴装置110)中的至少一个处理设备(例如，处理器210)执行的软件指令。在一些实施例中，人检测模块2001、物理存在识别模块2002和动作模块2003可以协作以执行图22A 的方法2200、图22B的方法2230和/或图22C的方法2260(或其变体或组合)。
人检测模块2001可以被配置为分析从可佩戴装置捕获的一个或多个图像，以检测图像中的至少一个人。例如，人检测模块2001可以被配置为识别包括至少一个人的捕获数据的子集。在一些实施例中，人检测模块2001 可以被配置为接收多个图像并识别多个图像中包括至少一个人的一个或多个图像。例如，模块2001可以接收佩戴着可佩戴装置110的用户周围的环境的多个图像，并且识别多个图像中的哪一个图像包括至少一个人(如果有的话)。
在一些实施例中，这种分析可以通过采用被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行。在其他实施例中，可以使用热特征算法来识别至少一个人，该算法被设计成基于由至少一个人生成的热来检测至少一个人的存在。在这样的实施例中，可佩戴装置110可以单独地或者与视觉图像组合地捕获热图像，以用于由热特征算法处理。在这样的实施例中，模块2001(或未示出的另一模块)可以将热图像与视觉图像对准，使得在热图像上检测到的至少一个人然后可以在相应的视觉图像上被识别。在可佩戴设备110在降低的照明情况下操作的实施方式中，对至少一个人的热识别可以是期望的。
在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的一个或多个。在一些示例中，可以使用面部检测算法、使用训练成在图像中检测面部和/或人的神经网络等来检测至少一个人。用于识别至少一个人的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的用于识别至少一个人的其他方法。
物理存在识别模块2002可以被配置为接收检测到的人的一个或多个图像，并且进一步分析该一个或多个图像，以确定检测到的人是物理存在还是在设备的显示器上可见。例如，模块2002可以接收一个或多个图像，其中人检测模块2001已经确定包括至少一个人，并且可以识别至少一个人中的一个或多个人是否物理存在和/或是否在设备的显示器上可见。
在一些实施例中，可以基于对检测到的人的一个或多个图像的分析来确定检测到的人的物理存在和/或在屏幕上的可见性。例如，一个或多个算法可以分析和/或比较检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以确定检测到的人是物理存在于一个或多个图像中还是在一个或多个图像中的显示器上可见。例如，如果检测到的人物理存在，则显示器上的可见性可以使在一个或多个图像中检测到的人的一个或多个比例不同于一个或多个预期比例。在一些示例中，如果检测到的人物理存在，则显示器上的可见性可能使在一个或多个图像中检测到的人的像素化和/或其他像差超过这种像差的一个或多个期望值。
在一些实施例中，可基于对邻近或围绕检测到的人和/或在检测到的人的背景中的区域的分析来确定检测到的人的物理存在和/或在屏幕上的可见性。这种分析可以包括确定检测到的人是否被边框或其他表面(诸如显示屏的边缘)邻接(bordered)。在这种情况下，分析可以包括确定检测到的人的某些特征或部分(例如，臂、腿、手、脚等)不会继续超过由可佩戴装置捕获的一个或多个图像中描绘和检测到的表面或边缘，诸如例如，当显示屏上仅显示人的面部、但显示器上不存在该人的身体时。这种分析可以进一步或可替换地包括将检测到的人的特征或部分与一个或多个捕获图像的其他区域进行比较，以确定检测到的人在捕获图像中是否不完整地可见。在一些示例中，这种分析可以指示检测到的人正在与已知为可佩戴装置的佩戴者的环境的物品(例如，先前在佩戴者的环境中识别、并且现在与检测到的人相关联的物品)交互。例如，佩戴者可能已经拿起了特定的物品(例如，一杯咖啡)，并且在放下该物品(例如，放在桌子上)或者将物品交给另一个人之前将物品持在手中。对检测到的人手中的(或检测到的人附近的)物品的识别可有助于或构成对检测到的人物理存在于佩戴者环境中的确定。这种确定可以进一步考虑自佩戴者或检测到的人在他或她的环境中拿着物品、与物品交互或另外与物品相遇以来已经过去的时间量。例如，如果佩戴者在与检测到的人相关联地识别物品之前或之后的预定的时间段内(例如，在5秒内、10秒内、 30秒内、45秒内、1分钟内等)持有物品，则物理存在识别模块2002可以确定检测到的人实际上处于佩戴者的环境中。
在一些实施例中，可以基于对检测到的人的一个或多个3D图像的分析来确定检测到的人的物理存在和/或在屏幕上的可见性。例如，屏幕上可见的人可以对应于3D图像中的平坦表面，而物理存在的人可以对应于具有对于物理的人体和/或面部来说典型的凸曲线和/或凹曲线的表面。
在一些实施例中，物理存在识别模块2002可以被配置为接收一个或多个图像，并使用检测器分析一个或多个图像，该检测器被配置为检测物理存在的人，而不检测屏幕上和/或照片中可见的人。例如，检测器可以包括使用分类器，该分类器将图像和/或图像区域分类为描绘物理存在的人。分类器可以是在训练示例上训练的机器学习算法的结果，其中训练示例可以包括图像和期望结果的标签。例如，分类器可以包括神经网络，该神经网络被训练成检测物理存在于图像中的人。
在一些实施例中，物理存在识别模块2002可以被配置为接收一个或多个图像，并使用检测器分析一个或多个图像，该检测器被配置为检测屏幕上和/或照片中可见的人，而不检测物理存在的人。例如，检测器可以包括使用分类器，该分类器将图像和/或图像区域分类为描绘屏幕上和/或照片中可见的人。分类器可以是在训练示例上训练的机器学习算法的结果，其中训练示例可以包括图像和期望结果的标签。例如，分类器可以包括神经网络，该神经网络被训练成在图像中检测在屏幕上和/或照片中可见的人。
在一些实施例中，可以基于对描绘检测到的人的一个或多个图像的分析来确定检测到的人的物理存在和/或在屏幕上的可见性。例如，可以将包含检测到的人的图像的区域与不包含检测到的人的图像的区域进行比较，并且可以基于比较结果进行确定。例如，可以在包含检测到的人的图像的区域和不包含检测到的人的图像的区域中检测阴影，可以比较阴影的属性(诸如阴影的角度)，并且可以基于比较结果进行确定，例如，当且仅当角度匹配时确定检测到的人物理存在。例如，可以从包含检测到的人的图像的区域和不包含检测到的人的图像的区域收集关于颜色和/或边缘的统计，可以比较统计，并且可以基于比较结果进行确定。
在一些实施例中，关于检测到的人是否物理存在的确定可以基于评分或加权方法，其中考虑某些线索(例如，倾向于建立或不建立物理存在的指示) 来确定检测到的人是否物理存在或者是否在显示屏上的图像中被描绘。这样，权重或分数可以被分配给从图像分析确定的一个或多个线索，并且物理存在识别模块2002可以使用一个或多个线索的累积权重值或分数值来做出确定(例如，超过预定阈值的累积权重值或分数值可以导致对检测到的人是或不是与佩戴者物理存在的确定)。考虑对任何一个或多个线索加权和/或评分的任何组合，并且与公开的实施例一致。
附加地或组合地，某些规则或预定规则组合可有助于通过物理存在识别模块2002的这种确定。例如，如果检测到的人的手和/或脚在一个或多个捕获的图像中可见，并且检测到的人的背景的至少一部分包括已知处于可佩戴装置的佩戴者的环境中的物品，则物理存在识别模块2002可以推断检测到的人物理存在于佩戴者的环境中。相反，如果检测到的人的手和/或脚在一个或多个捕获的图像中不可见，并且检测到的人的背景的至少一部分与可佩戴装置的佩戴者的环境没有已知的共性(例如，没有已知处于佩戴者的环境中的物品)，则物理存在识别模块2002可以推断检测到的人没有物理存在于佩戴者的环境中，而是在显示器上或照片中可见。在一些实施例中，这些示例线索中的任何一个可以单独地(例如，检测到的人的手和/或脚是可见的或不是可见的)构成足够的确定，以得出关于物理存在或缺乏物理存在的结论。
用于确定检测到的人是物理存在还是在显示器上可见的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的、用于识别至少一个人的其他方法。在一些示例中，可以使用算法、使用训练成检测图像中的物理存在的神经网络等来确定物理存在。
动作模块2003可以被配置为基于检测到的人是否物理存在于用户的环境中和/或基于检测到的人是否为在设备的显示器上可见来选择一个或多个动作。例如，动作模块2003可以在检测到的人物理存在时基于与可佩戴装置的物理位置相关联的信息来更新数据库和社交网络简档中的至少一个。在这样的示例中，可以用指示佩戴者在物理位置与检测到的人交互的新状态来更新佩戴者的社交网络简档。作为进一步的示例，动作模块2003可以在检测到的人在显示器上可见时基于与时间和日期(例如，捕获一个或多个图像的时间或日期)中的至少一个相关联的信息来更新数据库或社交网络。在这样的示例中，可以用指示佩戴者在该时间和/或日期观看了特定电视节目、电影或其他检测到的人的来源的新状态来更新佩戴者的社交网络简档。
对执行如上述那些的一个或多个动作来说可替换地或同时地，动作模块2003可以至少部分地基于检测到的人是物理存在于用户环境中还是在设备的显示器上可见来识别、确定和/或更新一个或多个统计。可替换地或同时地，一个或多个统计可以至少部分地基于与时间和日期中的至少一个相关联和/ 或与可佩戴装置的物理位置相关联的信息。因此，在一些实施例中，统计可以在物理位置和/或时间帧上累积。
在一些实施例中，动作模块2003可以通过向与可佩戴装置配对的设备 (例如，智能电话)提供信息(例如，一个或多个指令)和/或通过经网络向远程服务器(例如，服务器250)提供信息(例如，一个或多个指令)来使得所选择的一个或多个动作被执行。例如，动作模块1704可以向配对的设备发送一个或多个指令，以更新显示在配对的设备的屏幕上的社交网络简档，以指示用户与检测到的人交互、观看特定电视节目等。
模块2001、2002和2003可以以软件、硬件、固件、这些的任意组合等来实施。例如，如果模块以软件实施，它们可以存储在例如存储器550中。然而，在一些实施例中，模块2001、2002和2003中的任何一个或多个可以例如存储在处理器540中和/或位于服务器250上，服务器250可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块2001、2002 和2003的指令。在一些实施例中，模块2001、2002和2003的各方面可以包括软件、硬件或固件指令(或其组合)，这些指令可由一个或多个处理器单独或与彼此的各种组合来执行。例如，模块2001、2002和2003可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以各自每个专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备以执行与每个模块相关联的功能。
图21A是由可佩戴装置(诸如可佩戴装置110)捕获的示例图像2100 的图示。在图21A的示例中，图像2100包含人2110。在图21A的示例中，可佩戴装置110可以确定人2110物理存在于装置110的佩戴者的环境中。可以使用上面结合图20讨论的技术者任何一种或多种来进行该确定。基于该确定，可佩戴装置110可以采取一个或多个动作。例如，装置110可以更新与佩戴者相关联的社交网络账户，以指示佩戴者与人2110在一起等。在这样的示例中，装置110可以在更新中包括装置110的物理位置(例如，以指示佩戴者与人2110一起在华盛顿特区K街西北的星巴克)。
图21B是由可佩戴装置(诸如可佩戴装置110)捕获的另一示例图像2150 的图示。在图21B的示例中，图像2150包含人2160。在图21B的示例中，可佩戴装置110可以确定人2160在装置110的佩戴者的环境中的设备的显示器上可见。可以使用上面结合图20讨论的技术中的任何一种或多种来进行该确定。例如，如图21B所示，人2160可以在电视的显示器上可见。在其他示例中，人2160可以在平板电脑的显示器、膝上型电脑的显示器、智能电话的显示器等上可见。在图21B的示例中，可佩戴装置110可以确定人 2160在照片中可见。
基于该确定，可佩戴装置110可以采取一个或多个动作。例如，装置110 可以更新与佩戴者相关联的社交网络账户，以指示佩戴者正在观看人2110 (或包括人211的电视节目或电影)等。在这样的示例中，装置110可以在更新中包括时间和日期中的至少一个(例如，以指示佩戴者在10月16日星期一晚上9:05正在观看卡萨布兰卡(Casablanca))。
图21A和图21B是由可佩戴装置110检测并确定为物理存在或在显示器上可见的人的示例。如本领域普通技术人员将理解的，随着用户周围的环境改变，可佩戴装置110可以捕获在各个位置的用户的全天的图像。例如，当用户去咖啡店会见朋友、上下班通勤、在用户家中的客厅休息等时，可以捕获图像。以这种方式，可佩戴装置110可以被配置为贯穿用户的活动监视用户100周围的环境，以贯穿在用户佩戴可佩戴装置110的时间识别对一个或多个人的暴露，然后确定检测到的人是物理存在还是在显示器上可见，并基于该确定采取适当的动作。
图22A示出了用于基于检测到的人的物理存在来使得动作执行的示例方法2200的流程图。方法2200可以由至少一个处理设备(例如，可佩戴装置110的处理器210)和由被配置为从可佩戴装置的用户的环境中捕获多个图像的可佩戴图像传感器(例如，可佩戴装置110的图像传感器220)来实施。
在步骤2205，处理设备可以分析多个图像中的至少一个图像以检测人。例如，接收的图像数据可以通过由人检测模块2001执行的软件步骤来处理。在一些实施例中，处理设备可以将至少一个图像的一个或多个区域与已知图案的数据库进行比较和/或确定在一个或多个区域中是否包括人。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出是否在一个或多个区域中检测到人。此外，处理设备可以执行一个或多个算法来检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征。
在一些实施例中，检测可以是二进制的。在这样的实施例中，如果检测到人，则比较和/或分类器可以输出真，如果没有检测到人，则输出假。在其他实施例中，检测可以是基于阈值的。在这样的实施例中，比较和/或分类器可以输出一个或多个区域包括人的百分比或置信度的其他测量。例如，比较可以输出一个或多个区域包括人的可能性(例如，58％的可能性)。作为进一步的示例，分类器可以输出一个或多个区域包括人的分数(例如，10分之8的分数)。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等)将输出转换成二进制检测。
在步骤2210，处理设备可以分析多个图像中的至少一个图像，以确定检测到的人是否物理存在于用户的环境中。例如，接收的图像数据可以通过执行上述技术中的任何一种或多种的物理存在识别模块2002执行的软件步骤来处理。类似于步骤2205，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较以做出确定。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出该确定。因此，在一些实施例中，分析可以包括在多个图像中的至少一个图像中选择位于距检测到的人阈值距离内的一个或多个区域，以及分析所选择的一个或多个区域。附加地或可替换地，分析多个图像中的至少一个图像以确定人是否物理存在于用户的环境中可以包括分析人是否为在可佩戴装置的用户的环境中的设备的显示器上可见。
在一些实施例中，置信度分数等可以与确定相关联。例如，比较可以输出具有置信度分数(例如，64％置信度分数)的确定。作为进一步的示例，分类器可以输出具有置信度分数(例如，10分之4的分数)的确定。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等) 来完成确定。可替换地或同时地，比较和/或分类器可以输出与检测到的人物理存在于用户环境中的确定相关联的第一置信度分数等，以及与检测到的人在可佩戴装置的用户环境中的设备的显示器上可见的确定相关联的第二置信度分数等。在这样的实施例中，处理设备可以选择具有最高置信度分数的确定。
在步骤2215，处理设备可以基于检测到的人是否物理存在于用户的环境中来选择至少一个动作。对至少一个动作的选择可以通过经由模块2003来促进。例如，至少一个动作可以包括发送与可佩戴装置的物理位置相关联的信息，基于与可佩戴装置的物理位置相关联的信息更新数据库和社交网络简档中的至少一个；至少部分地基于与可佩戴装置的物理位置相关联的信息来确定一个或多个统计；等等。作为示例，当检测到的人物理存在于用户的环境中时，处理设备可以利用用户和检测到的人之间的交互的记录来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括可佩戴装置的物理位置。可替换地或同时地，更新可以包括交互的时间和/或日期。在至少一个动作包括确定一个或多个统计的实施例中，处理设备可以更新与可佩戴装置的物理位置相关联和/或与交互的时间和/或日期相关联的人的计数。
在步骤2220，处理设备可以使至少一个选择的动作被执行。在一些实施例中，使至少一个选择的动作被执行可以包括向与可佩戴装置配对的设备发送信息。与可佩戴装置配对的设备可以包括智能电话、平板电脑、膝上型计算机等。因此，处理设备可以使用有线连接(诸如通用串行总线(USB)等)、直接无线连接(诸如等)和/或间接无线连接(诸如WiFi、4G等) 向配对的设备发送信息。
所发送的信息可以包括多个图像中的至少一个图像、至少一个图像的一个或多个区域(例如，用于检测人和/或识别属性的一个或多个区域)、对多个图像中检测到的人是否物理存在或在显示器上可见的一个或多个确定、可佩戴装置的物理位置、图像的捕获的时间和/或日期等。此外，所发送的信息可以允许配对的设备执行一个或多个选择的动作。例如，处理设备可以基于与可佩戴装置的物理位置相关联的信息来更新数据库和社交网络简档中的至少一个；至少部分地基于与可佩戴装置的物理位置相关联的信息来确定一个或多个统计；等等。
方法2200还可以包括附加步骤。例如，处理设备可以分析多个图像中的至少一个图像以检测第二人。对第二人的检测可以如在步骤2205中对第一人的检测那样来执行。此外，方法2200还可以包括分析多个图像中的至少一个图像以确定第二人是否在设备的显示器上可见。
在一些实施例中，可以在关于第一人的步骤2205至2220之后执行关于第二人的一个或多个步骤。在其他实施例中，关于第二人的一个或多个步骤可以穿插有步骤2205至2220。例如，处理设备可以在检测到第一人之后但在确定第一人是否物理存在之前检测第二人。作为进一步的示例，处理设备可以在确定第一人是否物理存在的同时，确定第二人是否在设备的显示器上可见。
在一些实施例中，方法2200可以包括进一步基于第二人是否为在设备的显示器上可见来选择至少一个动作。例如，如果第一被检测到的人被确定为物理存在，并且第二被检测到的人被确定在显示器上可见，则处理设备可以更新数据库和/或社交网络简档，并且将第一被检测到的人包括在更新中，以及从更新中省略第二被检测到的人，等等。作为进一步的示例，处理设备可以基于第一被检测到的人物理存在的确定来更新第一统计，以及基于第二被检测到的人在显示器上可见的确定来更新第二统计。在另一示例中，基于第一被检测到的人物理存在且第二被检测到的人在显示器上可见的确定，处理设备可以利用关于佩戴者和第一被检测到的人与第二人的交互的信息来更新数据库和/或社交网络简档，例如，指示佩戴者和第一被检测到的人正处于与第二被检测到的人的视频会议中。
图22B示出了用于基于检测到的人是否在设备的显示器上可见来使得动作执行的示例方法2230的流程图。方法2230可以由至少一个处理设备(例如，可佩戴装置110的处理器210)和由被配置为从可佩戴装置的用户的环境中捕获多个图像的可佩戴图像传感器(例如，可佩戴装置110的图像传感器220)来实施。
在步骤2235，处理设备可以分析多个图像中的至少一个图像以检测人。例如，接收的图像数据可以通过由人检测模块2001执行的软件步骤来处理。在一些实施例中，处理设备可以将至少一个图像的一个或多个区域与已知图案的数据库进行比较，和/或确定在一个或多个区域中是否包括人。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出是否在一个或多个区域中检测到人。此外，处理设备可以执行一个或多个算法来检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征。
在一些实施例中，检测可以是二进制的。在这样的实施例中，如果检测到人，则比较和/或分类器可以输出真，如果没有检测到人，则输出假。在其他实施例中，检测可以是基于阈值的。在这样的实施例中，比较和/或分类器可以输出一个或多个区域包括人的的百分比或其他置信度的测量。例如，比较可以输出一个或多个区域包括人的可能性(例如，58％的可能性)。作为进一步的示例，分类器可以输出一个或多个区域包括人的分数(例如，10分之8的分数)。在这样的实施例中，处理设备可以使用阈值(例如，至少 55％、至少10分之7等)将输出转换成二进制检测。
在步骤2240，处理设备可以分析多个图像中的至少一个图像，以确定检测到的人是否在设备的显示器上可见。例如，接收的图像数据可以通过执行上述技术中的任何一种或多种的物理存在识别模块2002执行的软件步骤来处理。类似于步骤2235，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较以做出确定。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出该确定。因此，在一些实施例中，分析可以包括在多个图像中的至少一个图像中选择位于距检测到的人阈值距离内的一个或多个区域，以及分析所选择的一个或多个区域。附加地或可替换地，分析多个图像中的至少一个图像以确定检测到的人是否在设备的显示器上可见可以包括分析检测到的人是否物理存在于可佩戴装置的用户的环境中。
在一些实施例中，置信度分数等可以与确定相关联。例如，比较可以输出具有置信度分数(例如，64％置信度分数)的确定。作为进一步的示例，分类器可以输出具有置信度分数(例如，10分之4的分数)的确定。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等) 来完成确定。可替换地或同时地，比较和/或分类器可以输出与检测到的人在设备的显示器上可见的确定相关联的第一置信度分数等，以及与检测到的人物理存在于可佩戴装置的用户的环境中的确定相关联的第二置信度分数等。在这样的实施例中，处理设备可以选择具有最高置信度分数的确定。
在步骤2245，处理设备可以基于检测到的人是否在设备的显示器上可见来选择至少一个动作。对至少一个动作的选择可以经由动作模块2003来促进。例如，至少一个动作可以包括发送与时间和日期(例如，捕获多个图像中的至少一个图像的时间和日期)中的至少一个相关联的信息，基于与时间和日期(例如，捕获多个图像中的至少一个的时间和日期)中的至少一个相关联的信息更新数据库或社交网络；至少部分地基于与时间和日期中的至少一个相关联的信息(例如，捕获多个图像中的至少一个的时间和日期)来识别一个或多个统计；等等。作为示例，当检测到的人在设备的显示器上可见时，处理设备可以用其中检测到的人出现的电视节目、电影或其他媒体来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括捕获具有检测到的人的至少一个图像的时间和/或日期。可替换地或同时地，更新可以包括与可佩戴装置相关联的物理位置。在其中至少一个动作包括识别一个或多个统计的实施例中，处理设备可以更新与捕获具有检测到的人的至少一个图像的时间和/或日期相关联和/或与可佩戴装置的物理位置相关联的显示器(或电视节目或电影等)的计数。
在步骤2250，处理设备可以使至少一个选择的动作被执行。在一些实施例中，使至少一个选择的动作被执行可以包括向与可佩戴装置配对的设备发送信息。与可佩戴装置配对的设备可以包括智能电话、平板电脑、膝上型计算机等。因此，处理设备可以使用有线连接(例如通用串行总线(USB)等)、直接无线连接(例如等)和/或间接无线连接(例如WiFi、4G等) 向配对的设备发送信息。
所发送的信息可以包括多个图像中的至少一个图像、至少一个图像的一个或多个区域(例如，用于检测人和/或识别属性的一个或多个区域)、多个图像中检测到的人是在显示器上可见还是物理存在的一个或多个确定、可佩戴装置的物理位置、图像的捕获的时间和/或日期等。此外，所发送的信息可以允许配对的设备执行一个或多个选择的动作。例如，处理设备可以基于与时间和/或日期相关联的信息来更新数据库和社交网络简档中的至少一个；至少部分地基于与时间和/或日期相关联的信息来识别一个或多个统计；等等。
方法2230还可以包括附加步骤。例如，处理设备可以分析多个图像中的至少一个图像，以确定检测到的人在显示设备上可见并且正在参加视频会议，以及进一步基于检测到的人在显示设备上可见并且正在参加视频会议的确定来选择至少一个动作。在这样的示例中，处理设备可以用其中检测到的人出现的视频会议的记录来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括视频会议的时间和/或日期。
作为附加的示例，处理设备可以分析多个图像中的至少一个图像，以确定检测到的人被包括在视频图像和静止图像中的至少一个中，并且进一步基于检测到的人被包括在视频图像和静止图像中的至少一个中的确定来选择至少一个动作。例如，如果检测到的人被包括在视频图像中，则处理设备然后可以分析多个图像中的至少一个图像，以确定检测到的人在显示设备上是可见的并且正在参加视频会议。可替换地或同时地，处理设备可以用检测到的人出现在其中的电视节目、电影或其他媒体来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括捕获具有检测到的人的至少一个图像的时间和/或日期。在其他实施例中，如果检测到的人被包括在静止图像中，则处理设备可以用检测到的人出现在其中的图像的记录来更新数据库和/或社交网络简档。可替换地，处理设备可以不采取动作。
在另一示例中，处理设备可以分析多个图像中的至少一个图像以检测第二人。第二人的检测可以如在步骤2235中第一人的检测一样执行。此外，方法2230还可以包括分析多个图像中的至少一个图像以确定第二人是否物理存在于用户的环境中。
在一些实施例中，可以在关于第一人的步骤2235至2250之后执行关于第二人的一个或多个步骤。在其他实施例中，关于第二人的一个或多个步骤可以穿插有步骤2235至2250。例如，处理设备可以在检测到第一人之后但在确定第一人是否为在设备的显示器上可见之前检测第二人。作为进一步的示例，处理设备可以在确定第一人是否为在设备的显示器上可见的同时，确定第二人是否物理存在于用户的环境中。
在一些实施例中，方法2230可以包括进一步基于第二人是否物理存在于用户的环境中来选择至少一个动作。例如，如果第一被检测到的人被确定为在显示器上可见，并且第二被检测到的人被确定为物理存在，则处理设备可以更新数据库和/或社交网络简档，并且在更新中包括第二被检测到的人以及从更新中省略第一被检测到的人，等等。作为进一步的示例，处理设备可以基于第一被检测到的人在显示器上可见的确定来更新第一统计，以及基于第二被检测到的人物理存在的确定来更新第二统计。
图22C示出了用于基于检测到的人的物理存在使得动作执行的示例方法2260的流程图。方法2260可以由至少一个处理设备(例如，可佩戴装置 110的处理器210)和由被配置为从可佩戴装置的用户的环境中捕获多个图像的可佩戴图像传感器(例如，可佩戴装置110的图像传感器220)来实施。
在步骤2265，处理设备可以分析多个图像中的至少一个图像以检测人。例如，接收的图像数据可以通过由人检测模块2001执行的软件步骤来处理。在一些实施例中，处理设备可以将至少一个图像的一个或多个区域与已知图案的数据库进行比较，和/或确定在一个或多个区域中是否包括人。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出是否在一个或多个区域中检测到人。此外，处理设备可以执行一个或多个算法来检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征。
在一些实施例中，检测可以是二进制的。在这样的实施例中，如果检测到人，则比较和/或分类器可以输出真，如果没有检测到人，则输出假。在其他实施例中，检测可以是基于阈值的。在这样的实施例中，比较和/或分类器可以输出一个或多个区域包括人的百分比或置信度的其他测量。例如，比较可以输出一个或多个区域包括人的可能性(例如，58％的可能性)。作为进一步的示例，分类器可以输出一个或多个区域包括人的分数(例如，10分之8的分数)。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等)将输出转换成二进制检测。
在步骤2270，处理设备可以分析多个图像中的至少一个图像，以确定检测到的人是否物理存在于用户的环境中或者检测到的人的图形表示是否出现在用户的环境中。例如，接收的图像数据可以通过执行上述技术中的任何一种或多种的物理存在识别模块2002执行的软件步骤来处理。类似于步骤 2265，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较以做出确定。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出该确定。因此，在一些实施例中，分析可以包括在多个图像中的至少一个图像中选择位于距检测到的人阈值距离内的一个或多个区域，以及分析所选择的一个或多个区域。
在一些实施例中，置信度分数等可以与确定相关联。例如，比较可以输出具有置信度分数(例如，64％的置信度分数)的确定。作为进一步的示例，分类器可以输出具有置信度分数(例如，10分之4的分数)的确定。在这样的实施例中，处理设备可以使用阈值(例如，至少55％、至少10分之7等) 来完成确定。可替换地或同时地，比较和/或分类器可以输出与检测到的人物理存在于用户环境中的确定相关联的第一置信度分数等，以及与检测到的人的图形表示出现在用户环境中的确定相关联的第二置信度分数等。在这样的实施例中，处理设备可以选择具有最高置信度分数的确定。
在步骤2275，处理设备可以在确定检测到的人物理存在于用户的环境中之后选择第一动作。对第一动作的选择可以经由动作模块2003来促进。例如，第一动作可以包括发送与可佩戴装置的物理位置相关联的信息，基于与可佩戴装置的物理位置相关联的信息更新数据库和社交网络简档中的至少一个；至少部分地基于与可佩戴装置的物理位置相关联的信息来确定一个或多个统计；等等。作为示例，当检测到的人物理存在于用户的环境中时，处理设备可以利用用户和检测到的人之间的交互的记录来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括可佩戴装置的物理位置。可替换地或同时地，更新可以包括交互的时间和/或日期。在其中第一动作包括确定一个或多个统计的实施例中，处理设备可以更新与可佩戴装置的物理位置相关联和/或与交互的时间和/或日期相关联的人的计数。
在步骤2280，在确定检测到的人的图形表示出现在用户的环境中之后，处理设备可以选择不同于第一动作的第二动作。对第二动作的选择可以经由动作模块2003来促进。例如，第二动作可以包括发送与时间和日期(例如，捕获多个图像中的至少一个图像的时间和日期)中的至少一个相关联的信息，基于与时间和日期(例如，捕获多个图像中的至少一个图像的时间和日期)中的至少一个相关联的信息更新数据库或社交网络；至少部分地基于与时间和日期中的至少一个相关联的信息(例如，捕获多个图像中的至少一个图像的时间和日期)来识别一个或多个统计；等等。作为示例，当检测到的人的图形表示出现在用户的环境中时，处理设备可以用图形表示出现在其中的电视节目、电影或其他媒体来更新数据库和/或社交网络简档。在这样的示例中，更新可以包括捕获具有检测到的人的至少一个图像的时间和/或日期。可替换地或同时地，更新可以包括与可佩戴装置相关联的物理位置。在其中第二动作包括识别一个或多个统计的实施例中，处理设备可以更新与捕获具有检测到的人的至少一个图像的时间和/或日期相关联和/或与可佩戴装置的物理位置相关联的显示器(或电视节目或电影等)的计数。
此外，第一动作和/或第二动作可以包括不采取动作。因此，如果检测到的人物理存在于用户的环境中和/或如果检测到的人的图形表示出现在用户的环境中，则可佩戴装置110可以不采取动作。因此，当检测到的人物理存在于用户的环境中和/或如果检测到的人的图形表示出现在用户的环境中时，可佩戴装置可以仅更新数据库和社交网络简档中的至少一个，确定或识别一个或多个统计等。
在步骤2285，处理设备可以使第一动作或第二动作被执行。在一些实施例中，使第一动作或第二动作被执行可以包括向与可佩戴装置配对的设备发送信息。与可佩戴装置配对的设备可以包括智能电话、平板电脑、膝上型计算机等。因此，处理设备可以使用有线连接(诸如通用串行总线(USB)等)、直接无线连接(诸如等)和/或间接无线连接(诸如WiFi、4G等) 向配对的设备发送信息。
所发送的信息可以包括多个图像中的至少一个图像、至少一个图像的一个或多个区域(例如，用于检测人和/或识别属性的一个或多个区域)、多个图像中检测到的人是在显示器上可见还是物理存在的一个或多个确定、可佩戴装置的物理位置、图像的捕获的时间和/或日期等。此外，所发送的信息可以允许配对的设备执行一个或多个选择的动作。例如，处理设备可以基于与时间和/或日期相关联的信息来更新数据库和社交网络简档中的至少一个；至少部分地基于与时间和/或日期相关联的信息来识别一个或多个统计；等等。
方法2260还可以包括附加步骤。例如，方法2230和/或方法2200的附加步骤的任何一个可以被包括在方法2260中。
更新被多个可佩戴装置查看的人的简档信息
在一些实施例中，多个人可以使用多个可佩戴装置，诸如可佩戴装置 110，并且可以使用来自多个可佩戴装置中的一个或多个可佩戴装置的信息来更新与特定的人相关联的简档。在其中基于来自多个可佩戴装置的信息更新简档的一些实施例中，简档可以被认为是联合简档，因为简档可以反映从多个可佩戴装置收集和/或更新的信息。
在某些方面，简档可以在服务器和/或在共享存储装置和/或在共享数据库上存储和更新，来自一个或多个可佩戴装置的信息被发送到该服务器和/ 或共享存储装置和/或共享数据库。在这样做时，与本公开一致的实施例可以解决从多个可佩戴装置提取、整理和索引信息以及保持信息更新使得信息保持有用而不陈旧、过时和/或不准确的技术问题。此外，从多个可佩戴装置收集和利用数据可以有助于特定的人的简档的被认可的准确性。例如，对简档的更新可以更频繁，因此更有可能是准确和完整的。此外，简档的改善的准确性和完整性可以向与简档相关联的人提供递送或相关的新闻、广告等。本公开的实施例可以通过用于管理从多个可佩戴设备的图像中提取或确定的信息以及将提取或确定的信息适当地索引和存储在简档的数据库中的技术来解决这个问题。
尽管本文结合与特定的人相关的简档进行了讨论，但是公开的系统和方法同样可以应用于更新和/或管理与物体或地点相关的简档。
图23示出了与本公开一致的包含软件模块的存储器2300的示例性实施例。存储器2300可以代替存储器550或与存储器550组合被包括在装置110 中。在一些实施例中，存储器2300的一个或多个软件模块可以存储在远程服务器中，例如，服务器250。存储器2300可以存储比图23中所示的模块更多或更少的模块。
如图23所示，存储器2300中包括用于执行人检测模块2301、识别信息模块2302、辅助信息模块2303和简档模块2304的软件指令。模块2301、 2302、2303和2304可以包含用于由远程服务器(例如，服务器250)中包括的至少一个处理设备(例如，一个或多个进程)执行的软件指令。在一些实施例中，人检测模块2301、识别信息模块2302、辅助信息模块2303和简档模块2304可以协作以执行图25的方法2500(或其变体)。
人检测模块2301可以被配置为分析从可佩戴装置捕获的一个或多个图像，以检测图像中的至少一个人。例如，人检测模块2301可以被配置为识别包括至少一个人的捕获数据的子集。在一些实施例中，人检测模块2301 可以被配置为接收多个图像并识别多个图像中包括至少一个人的一个或多个图像。例如，模块2301可以接收佩戴着可佩戴装置110的用户周围的环境的多个图像，并且识别多个图像中的哪一个图像包括至少一个人。
在一些实施例中，这种分析可以通过采用被设计成检测面部特征(例如，嘴、眼睛等)面部轮廓、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行。在其他实施例中，可以使用被设计成基于由至少一个人生成的热来检测至少一个人的存在的热特征算法来识别至少一个人。在这样的实施例中，可佩戴装置110可以单独地或者与视觉图像组合地捕获热图像，以用于由热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别至少一个人的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的、用于识别至少一个人的其他方法。在一些示例中，可以使用面部检测算法、使用训练成在图像中检测面部和/或人的神经网络等来检测至少一个人。
识别信息模块2302可以被配置为获得与检测到的人相关联的识别信息。例如，识别信息可以包括检测到的人的名称、生日或其他真实生活指示，和 /或可以包括检测到的人的识别号、用户名或其他人工(可选地匿名)指示。在一些实施例中，识别信息可以包括多个指示。
在一些实施例中，可以基于对检测到的人的一个或多个图像的分析来获得检测到的人的识别信息。例如，一个或多个算法可以分析检测到的面部特征(例如，嘴、眼睛等)，面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以确定与检测到的人相关联的一个或多个指示。在另一示例中，识别信息模块2302可以通过面部识别获得识别信息。识别信息模块2302然后可以访问被包括在例如远程服务器250中的数据库和/或可通过网络访问的数据库，以便搜索和检索与检测到的人相关的信息。
在一些实施例中，识别信息模块2302可以对由可佩戴图像传感器捕获的检测到的人的至少一个图像的至少一部分应用至少一个散列(hashing)函数，以获得检测到的人的散列值。因此，获得识别信息可以包括获得与检测到的人相关联的散列值，和基于获得的散列值访问多个散列值以确定与检测到的人相关联的散列值的存在。然后，在一些实施例中，多个散列值可以存储在查找数据库中，该查找数据库可以与简档数据库分离或形成简档数据库的一部分。
在一些示例中，检测到的人的至少一个图像的至少一部分可以包括检测到的人的面部的至少一个图像。通过对检测到的人的面部(或至少一个图像的任何其他部分)进行散列，识别信息模块2302可以允许在数据库中索引和查找检测到的人，而不损害检测到的人的匿名性。因此，在这样的实施例中，即使检测到的人的散列值例如在穿越计算机网络时被拦截，检测到的人的身份也可以对拦截方保持隐藏。
在一些示例中，至少一个散列函数可以包括例如使用人识别算法和/或面部识别算法获得人的标识(诸如唯一标识、几乎唯一的标识、名称、登录名、来自社交网络的用户名等)，以及评估关于唯一标识的散列函数。这种散列函数的示例可以包括密码散列函数、完美散列函数、非线性表查找散列函数等。在一些示例中，至少一个散列函数可以包括将检测到的人(或检测到的人的面部)的图像投影到n维空间以获得n维向量，量化n维向量，以及使用所得到的量化的n维向量作为散列值和/或评估量化的n维向量上的散列函数。在一些情况下，投影函数可以是在训练示例上训练机器学习降维算法的结果，其中训练示例可以包括具有期望的n维向量和/或指示到n维空间中的其他数据点的期望距离和/或接近度的人和/或面部的图像。
辅助信息模块2303可以被配置为获得与检测到的人相关联的辅助信息。例如，辅助信息模块2303可以获得位置信息、一个或多个图像中的至少一个图像的捕获时间、与可佩戴图像传感器的用户相关联的信息(例如，与用户相关联的识别信息、用户的一个或多个图像等)。
可替换地或同时地，可以从对检测到的人的一个或多个图像的分析中获得辅助信息。例如，辅助信息模块2303可以分析检测到的面部特征、面部轮廓、身体位置等中的一个或多个，以确定检测到的人的情绪状态和/或检测到的人的面部表情。在另一示例中，辅助信息模块2303可以分析一个或多个图像以确定与可佩戴图像传感器到检测到的人的距离相关联的信息(例如，距离的测量、距离的方向等)。在一些实施例中，辅助信息可以从对其他检测到的人的一个或多个图像的分析中获得。因此，辅助信息可以包括与出现在具有检测到的人的一个或多个图像中的第二人相关的信息。例如，辅助信息模块2303可以分析检测到的面部特征、面部轮廓、身体位置等中的一个或多个，以获得与至少一个其他人相关联的信息。在某些方面，可以在同一图像中检测到检测到的人和至少一个其他检测到的人。
可替换地或同时地，可以从对可佩戴装置的输入获得辅助信息。例如，辅助信息模块2303可以从可佩戴装置(或从到可佩戴装置中的用户输入) 接收音频主题和视频主题中的至少一个。类似地，可以从到可佩戴装置中的用户输入获得检测到的人的情绪状态、检测到的人的面部表情和/或与至少一个其他人相关联的信息。
此外，辅助信息可以直接包括图像的至少一部分。例如，辅助信息中可以包括检测到的人的一个或多个图像的图像的至少一部分。可替换地或同时地，辅助信息中可以包括其他检测到的人的一个或多个图像的图像的至少一部分。
在一些实施例中，辅助信息模块2303可以被配置为接收检测到的人的一个或多个图像，并且进一步分析一个或多个图像以获得与和所识别的人相关联的检测到的人相关联的至少一个属性(例如，年龄、性别、体重、身高、面部表情、情绪状态等)。
在一些实施例中，可以基于对检测到的人的一个或多个图像的进一步分析来确定检测到的人的至少一个属性。例如，一个或多个算法可以分析检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以估计或确定诸如检测到的人的年龄、性别、体重、身高、面部表情、情绪状态等信息。
在一些实施例中，辅助信息模块2303可以确定检测到的人的身份(例如，通过面部识别)或者从识别信息模块2302接收识别信息，然后访问一个或多个数据库(例如，本地存储在可佩戴装置110的存储器中和/或可通过网络远程访问，例如，诸如通过访问服务器250)以检索检测到的人的至少一个属性。例如，在将检测到的人识别为特定个体(例如，基于面部识别确定与已知的人的图像的匹配)之后，辅助信息模块2303可以访问数据库以检索关于检测到的人的信息，诸如检测到的人的年龄、性别、家庭成员、朋友等。
在一些实施例中，辅助信息可以包括与同检测到的人相关联的至少一个物品相关的信息。例如，辅助信息模块2303可以分析一个或多个图像的一个或多个区域以识别至少一个物品。在一些实施例中，区域可以包括在检测到的人的特定距离内的区域。在一些实施例中，至少一个物品可以包括出现在具有检测到的人的一个或多个图像中的产品。例如，辅助信息模块2303 可以将一个或多个区域的至少一部分与已知图案和/或图像进行比较以识别产品。可替换地或同时地，辅助信息模块2303可以在一个或多个区域上使用一个或多个分类器来识别产品。
在一些实施例中，辅助信息可以包括与由检测到的人执行的动作相关的信息。例如，使用对已知图案和/或图像的一个或多个比较和/或使用一个或多个分类器，辅助信息模块2303可以识别由检测到的人正在执行的动作。在这样的示例中，如果检测到的人的面部表情匹配已知的欢呼的人的图像和 /或图案，和/或被训练成识别欢呼的人的一个或多个分类器识别为欢呼的图像，则辅助信息模块2303可以将检测到的人识别为欢呼。
简档模块2304可以被配置为基于识别信息在存储多个简档的数据库中识别与检测到的人相关联的简档，并且基于辅助信息更新所识别的简档。例如，简档模块2304可以使用识别信息的至少一部分来识别简档。简档可以被包括在由识别信息索引的数据库中。因此，在一些实施例中，简档模块2304 可以使用由识别信息模块2302确定的指示，以及查询指示的索引以识别与检测到的人相关联的简档。可替换地或同时地，简档模块2304可以直接针对简档查询识别信息(例如，通过针对检测到的人的一个或多个图像的至少一部分在简档中执行对图像的模糊搜索)，以识别与检测到的人相关联的简档。可替换地或同时地，简档模块2304可以使用散列值(诸如由识别信息模块2302计算的散列值)来选择简档。
在一些实施例中，简档模块2304可以通过将辅助信息的至少一部分添加到简档来更新简档。附加地或可替换地，简档模块2304可以通过将识别信息的至少一部分添加到简档来更新简档。例如，简档模块2304可以在简档中存储检测到的人的一个或多个图像的至少一部分和/或其他检测到的人的一个或多个图像的至少一部分。在另一示例中，简档模块2304可以在简档中存储检测到的人的情绪状态、检测到的人的面部表情、与至少一个其他人相关联的信息、位置信息、一个或多个图像中的至少一个图像的捕获时间、与可佩戴图像传感器的用户相关联的信息、或辅助信息(和/或识别信息)的其他部分。
可替换地或附加地，简档模块2304可以基于辅助信息(和/或识别信息) 更新简档。例如，与可佩戴图像传感器的用户相关联的信息可用于更新存储在简档内的检测到的人的社交连接(social connection)网络。作为进一步的示例，检测到的人的情绪状态和/或检测到的人的面部表情可用于更新存储在简档内的检测到的人的情绪时间线。
在一些实施例中，简档模块2304还可以基于所识别的简档来提供信息。例如，简档模块2304可以将信息提供给与可佩戴装置配对的设备(例如，智能电话或平板电脑)，和/或可以通过网络将信息提供给远程服务器(例如，服务器250)。例如，简档模块2304可以将信息从所识别的简档发送到配对的设备，以向可佩戴装置的用户警告检测到的人的名称。在另一示例中，简档模块2304可以发送检测到的人的所确定的情绪状态，以警告用户检测到的人感到悲伤并且可能希望安慰。
模块2301、2302、2303和2304可以以软件、硬件、固件、这些的任意组合等来实施。例如，如果模块以软件实施，则它们可以存储在例如存储器 550中。然而，在一些实施例中，模块2301、2302、2303和2304中的任何一个或多个可以例如存储在处理器540中和/或位于服务器250上，服务器 250可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块2301、2302、2303和2304的指令。在一些实施例中，模块2301、2302、 2303和2304的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块2301、2302、 2303和2304可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如，IR、图像传感器等)和/ 或专用应用处理设备来执行与每个模块相关联的功能。
图24是与人相关联的示例简档2400的图示。在一些实施例中，存储在简档2400中的信息中的至少一些可以包括或基于由一个或多个可佩戴装置 (诸如，可佩戴装置110)收集的信息。
如本领域普通技术人员将理解的，随着用户周围的环境改变，可佩戴装置110可以捕获在各个位置的用户的全天的图像。以这种方式，可佩戴装置110可以被配置为捕获与用户和/或各种检测到的人相关的信息。公开的实施例可以使用捕获的信息来构建与用户和/或检测到的人相关联的简档，以及在一个或多个数据库内索引那些简档。
在图24的示例中，简档2400包括位置信息2401。例如，位置信息2401 可以包括由一个或多个可佩戴装置检测到人的位置的指示。例如，位置信息 2401可以包括在以下各处检测到人的指示：在邮政编码20001中；在纽约大道西北的星巴克处；在特定GPS坐标处；在街道地址处；在特定国家、城市、州和/或县中；在特定地标处；等等。
如图24中进一步所示，简档2400可以包括与捕获人的一个或多个图像相关的时间和/或距离2402。例如，简档2400可以包括诸如在特定日期和/ 或时间成像的人的信息，诸如在11月9日星期二下午4:30；在2018年万圣节21:16；等等。此外，作为其他示例，这种信息可以包括根据捕获的图像确定的人与人之间或人与物体之间的距离。
简档2400还可以包括人的情绪状态2403和/或面部表情2404。例如，情绪状态可以包括根据对一个或多个图像的分析确定的反映观察到的情绪状态(例如，快乐、悲伤等)的信息和/或图像。在一些实施例中，这样的信息可以与观察到情绪状态的日期和/或时间相关联。类似地，面部表情可以包括根据对一个或多个图像的分析确定的反映观察到的面部表情(例如微笑、皱眉等)的信息和/或图像。在一些实施例中，这样的信息可以与观察到面部表情的日期和/或时间相关联。
如图24中进一步所示，简档2400可以包括与人相关联的音频主题和/ 或视频主题2405。在一些实施例中，音频主题可能已经通过分析由可佩戴装置包括的麦克风记录的音频数据来确定。类似地，在一些实施例中，视频主题可能已经通过分析由可佩戴装置包括的图像传感器捕获的视频数据来确定。
此外，简档2400可以包括关于附近物品2406的信息。这种信息可以通过分析由可佩戴装置捕获的一个或多个图像来确定。如以上参考辅助信息模块2303所解释的，附近物品可以包括图像中包括的人和/或可佩戴装置的用户的近处的产品。
在一些实施例中，简档2400可以包括人口统计信息2407。例如，在简档2400中可以包括年龄、身高、体重、性别、社会经济地位等的估计。
虽然简档2400包括前述示例性信息，但是简档2400可以包括与特定的人、物体或位置相关地收集的任何信息。在一些实施例中，存储在简档2400 中的至少一些信息包括和/或基于由一个或多个可佩戴装置收集的信息。这种收集的信息可以包括图像、视频和音频的任何组合，和/或从对图像、视频和音频的任何组合的分析中得到的任何信息。
在一些实施例中，简档2400可以存储在服务器中、在共享存储设备中、在分布式数据库中、在区块链中等。
图25示出了用于基于由可佩戴装置收集的数据更新简档信息的示例方法2500的流程图。方法2500可以通过至少一个处理设备(例如，服务器250 的一个或多个处理器)从一个或多个可佩戴图像传感器(例如，可佩戴装置 110的图像传感器220)接收信息来实施，该可佩戴图像传感器被配置为从 (多个)可佩戴装置的(多个)用户的环境中捕获多个图像。
在步骤2510，处理设备可以获得与在由被包括在可佩戴装置中的可佩戴图像传感器捕获的一个或多个图像中检测到的人相关联的识别信息。例如，接收的图像数据可以通过人检测模块2301和/或识别信息模块2302执行的软件步骤来处理。在一些实施例中，检测可以包括将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较，以确定在一个或多个区域中是否包括人。可替换地或同时地，检测可以包括将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出是否在一个或多个区域中检测到人。此外，检测可以包括使用一个或多个算法来检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征。在一些实施例中，检测可以由单独的处理设备执行。例如，检测可以由可佩戴装置110的处理器210执行，并且获得与检测到的人相关联的识别信息可以由服务器250的一个或多个处理器执行。在一些实施例中，可以在单个设备中，例如由可佩戴装置110的处理器210、由服务器250等，执行检测人以及获得与检测到的人相关联的识别信息。
在一些实施例中，识别信息可以包括检测到的人的名称、生日或其他真实生活指示，和/或可以包括检测到的人的识别号、用户名或其他人工(可选地匿名)指示。在一些实施例中，识别信息可以包括多个指示。在一些实施例中，识别信息可以包括散列值，诸如由识别信息模块2302计算的散列值。
在一些实施例中，可以基于对检测到的人的一个或多个图像的分析来获得检测到的人的识别信息。类似于检测，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较，以获得识别信息。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出识别信息。例如，如前所述，一个或多个算法可以提取检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个作为识别信息。
在一些实施例中，如上所述，获得识别信息可以包括使用一个或多个图像的一个或多个提取特征来搜索查找数据库以获得识别信息，该查找数据库可以与简档数据库分离或形成简档数据库的一部分。在这样的实施例中，获得识别信息可以包括获得与检测到的人相关联的散列值，以及访问多个散列值以基于获得的散列值来确定与检测到的人相关联的散列值的存在。因此，查找数据库可以包括多个散列值和/或由多个散列值索引。在一个示例中，检测到的人的至少一个图像的至少一部分可以包括检测到的人的面部的至少一个图像。
在步骤2520，处理设备可以例如从可佩戴装置获得与检测到的人相关联的辅助信息。例如，接收的图像数据可以通过辅助信息模块2303执行的软件步骤来处理，以产生辅助信息。在另一示例中，步骤2520可以包括接收由辅助信息模块2303产生的辅助信息。
在一些实施例中，辅助信息可以包括位置信息、一个或多个图像中的至少一个图像的捕获时间、以及与可佩戴图像传感器的用户相关联的信息(例如，与用户、一个或多个图像或用户相关联的识别信息等)中的至少一个。可替换地或同时地，辅助信息可以从对检测到的人的一个或多个图像的分析中获得。例如，辅助信息可以包括检测到的人的情绪状态和检测到的人的面部表情中的至少一个。在另一示例中，辅助信息可以包括与可佩戴图像传感器到检测到的人的距离相关联的信息(例如，距离的测量、距离的定性标签，诸如“远”或“近”等)。
在一些实施例中，辅助信息可以从对其他检测到的人的一个或多个图像的分析中获得。例如，辅助信息可以包括与在一个或多个图像中检测到的至少一个其他人相关联的信息和/或与出现在具有检测到的人的一个或多个图像中的第二人相关联的信息(例如，与至少一个其他人和/或第二人相关联的识别信息、至少一个其他人和/或第二人的一个或多个图像等)。在一些示例中，可以在同一图像中检测所检测到的人和至少一个其他检测到的人。
可替换地或同时地，辅助信息可以从对可佩戴装置的输入中获得。例如，处理设备可以从可佩戴装置(或从到可佩戴装置中的用户输入)接收音频主题和视频主题中的至少一个。类似地，检测到的人的情绪状态、检测到的人的面部表情、与至少一个其他人相关联的信息和/或与第二人相关联的信息可以从到可佩戴装置中的用户输入中获得。
此外，辅助信息可以直接包括图像的至少一部分。例如，在辅助信息中可以包括检测到的人的一个或多个图像的图像的至少一部分。可替换地或同时地，在辅助信息中可以包括至少一个其他人和/或第二人的一个或多个图像的图像的至少一部分。
在一些实施例中，获得辅助信息可以包括接收检测到的人的一个或多个图像，并且进一步分析该一个或多个图像以获得与检测到的人相关联的至少一个属性(例如，年龄、性别、体重、身高、面部表情、情绪状态等)。在一些实施例中，该分析可以由单独的处理设备执行。例如，分析可以由可佩戴装置110的处理器210执行，并且输出可以由服务器250的一个或多个处理器来接收(并且因此作为辅助信息而获得)。
在一些实施例中，分析可以包括应用一个或多个算法来分析检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以估计或确定诸如检测到的人的年龄、性别、体重、身高、面部表情、情绪状态等的信息。在一些实施例中，检测到的人被识别(例如，通过面部识别)，并且包括至少一个属性的辅助信息可以从一个或多个数据库(例如，本地存储在可佩戴装置110的存储器中和/或可通过网络远程访问，例如，诸如通过访问服务器250)获得。
在一些实施例中，获得辅助信息可以包括接收检测到的人的一个或多个图像，并且进一步分析该一个或多个图像以识别与检测到的人相关联的至少一个物品。例如，分析可以包括对一个或多个图像的一个或多个区域的分析以识别至少一个物品。这些区域可以例如包括在检测到的人的特定距离内的区域。在一些实施例中，分析还可以包括将至少一个物品识别为产品。例如，分析可以包括将一个或多个区域的至少一部分与已知图案和/或图像进行比较以识别产品。可替换地或同时地，一个或多个分类器可用在一个或多个区域上以识别产品。在一些实施例中，这些分析可以由单独的处理设备执行。例如，识别至少一个物品的分析和/或将至少一个物品识别为产品的分析可以由可佩戴装置110的处理器210执行，并且输出可以由服务器250的一个或多个处理器来接收(并且因此作为辅助信息而获得)。
在一些实施例中，辅助信息可以包括与由检测到的人执行的动作相关的信息。例如，获得辅助信息可以包括使用对已知图案和/或图像的一个或多个比较和/或使用一个或多个分类器来识别检测到的人正在执行的动作。在一些实施例中，该分析可以由单独的处理设备执行。例如，分析可以由可佩戴装置110的处理器210执行，并且输出可以由服务器250的一个或多个处理器来接收(并且因此作为辅助信息而获得)。
在一些实施例中，辅助信息可以包括与检测到的人相关联的至少一个属性。类似于步骤2510，处理设备可以将至少一个图像的一个或多个区域与已知图案和/或图像的数据库进行比较，以确定至少一个属性。可替换地或同时地，处理设备可以将一个或多个分类器应用于一个或多个区域，并且一个或多个分类器可以输出属性。例如，如前所述，一个或多个算法可以分析检测到的面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征中的一个或多个，以估计或确定诸如检测到的人的年龄、性别、体重、身高、面部表情、情绪状态等信息。在一些实施例中，该分析可以由单独的处理设备执行。例如，分析可以由可佩戴装置110的处理器210 执行，并且输出可以由服务器250的一个或多个处理器来接收(并且因此作为辅助信息而获得)。
在步骤2530，处理设备可以基于识别信息在数据库中识别与检测到的人相关联的简档。识别简档可以通过由简档模块2304执行的软件步骤来促进。例如，处理设备可以使用包括被在识别信息中的指示来识别简档，并且查询指示的索引来识别与检测到的人相关联的简档。可替换地或同时地，处理设备可以直接针对简档查询识别信息(例如，通过针对被包括在所获得的识别信息中的一个或多个名称和/或部分名称在简档中执行对名称的模糊搜索)，以识别与检测到的人相关联的简档。
在步骤2540，处理设备可以基于辅助信息更新所识别的简档。例如，处理设备可以通过将辅助信息的至少一部分添加到简档来更新简档。附加地或可替换地，处理设备可以通过将识别信息的至少一部分添加到简档来更新简档。例如，处理设备可以在简档中存储与检测到的人相关联的一个或多个名称的至少一部分。在另一示例中，处理设备可以在简档中存储检测到的人的情绪状态、检测到的人的面部表情、与第二人相关联的信息、位置信息、一个或多个图像中的至少一个图像的捕获时间、与可佩戴图像传感器的用户相关联的信息、或辅助信息(和/或识别信息)的其他部分。
可替换地或附加地，处理设备可以基于辅助信息(和/或识别信息)更新简档。例如，与至少一个其他检测到的人相关联的信息可用于更新存储在简档内的检测到的人的社交联系(social connection)的网络。作为进一步的示例，与至少一个其他检测到的人相关联的信息可用于更新存储在简档内的社交交互、商业交互等的日历。
在一些实施例中，处理设备可以基于所识别的简档来提供信息。例如，处理设备可以向设备(例如，服务器、计算机、智能电话、平板电脑等)提供信息，或者可以将信息发送到地址(例如，电子邮件地址)或网络地址。在一些实施例中，被提供了信息的设备可以与可佩戴装置配对。与可佩戴装置配对的设备可以包括智能电话、平板电脑、膝上型计算机等。因此，处理设备可以使用有线连接(诸如通用串行总线(USB)等)、直接无线连接(诸如等)和/或间接无线连接(诸如WiFi、4G等)向设备发送信息。
在一些实施例中，所发送的信息可以包括识别信息的至少一部分、辅助信息的至少一部分、简档的至少一部分等。
方法2500还可以包括附加步骤。例如，处理设备可以从第二可佩戴装置获得与检测到的人相关联的附加辅助信息，该附加辅助信息基于由第二可佩戴图像传感器捕获的第二组一个或多个图像。可以类似于在步骤2520中对辅助信息的获得来执行对与检测到的人相关联的附加辅助信息的获得。此外，方法2500还可以包括基于附加辅助信息更新检测到的人的简档。可以类似于步骤2540中对简档的更新来执行基于附加辅助信息对简档的更新。
确定提供给用户的信息细节的级别
在一些实施例中，可佩戴装置110可以收集与在可佩戴装置110的用户的环境中检测到的至少一个人相关的信息。然后，可佩戴装置101可以确定向用户提供关于检测到的人的信息的细节的级别(例如，多少)。一些现有的可佩戴设备系统可能会遇到如何处理由可佩戴设备收集的信息并使用该信息向用户提供有用反馈的技术问题。例如，某些现有系统可以在用户环境中捕获包括人的图像，但是考虑到关于个体的公共可用数据的数量不断增加以及大多数可用数据对用户来说不感兴趣的可能性，未能提供与用户有关的信息(例如，用户认为有用或感兴趣的信息)。另一方面，当前公开的一些实施例可以通过分配对所识别的人和用户之间的关系的程度的亲密度测量来确定向用户提供什么信息和/或什么级别的信息以解决这个问题。
例如，在一个实施例中，亲密度测量可以基于可佩戴装置110的用户和捕获图像中的检测到的人之间的社交网络中的关系。作为进一步的示例，在一个实施例中，用户可以不接收与同用户没有社交关系的陌生人相关的任何信息，但是可以接收共同社交群体中的人的名称和友好关系，以及二级联系 (second degree connection)的名称和共同朋友。以这种方式，鉴于由可佩戴设备获得的大量数据以及公共可用的数据，当前公开的实施例可以解决与解析出对用户有用的信息相关的技术问题。
图26是示出与公开的实施例一致的存储多个模块的存储器550的示例的图。这些模块可以由至少一个处理设备执行，以执行本文公开的各种方法和过程。存储器550可以存储比图26所示的模块更多或更少的模块。
如图26所示，存储器550可以存储软件指令以执行数据捕获模块2601、人识别模块2602、动作执行模块2603、数据库访问模块2604，并且还可以包括(多个)数据库2605。数据捕获模块2601可以包括用于从可佩戴装置 110接收数据的软件指令。人识别模块2602可以包括用于分析由可佩戴装置 110获得的数据的软件指令以识别包括至少一个人和与该至少一个人相关联的信息的捕获数据的子集。动作执行模块2603可以包括软件指令，以基于与在获得的数据中识别的至少一个人相关联的信息使得动作发生。数据库访问模块2604可以包括可执行以与(多个)数据库2605交互、存储和/或检索信息的软件指令。
数据捕获模块2601可以包括用于从诸如可佩戴相机系统的可佩戴装置接收数据的软件指令。从可佩戴相机系统接收的数据可以包括由例如与可佩戴相机系统相关联的图像传感器或麦克风捕获的音频和图像数据。图像数据可以包括原始图像，并且可以包括已经处理的图像数据。例如，可以以具有或者不具有嵌入的元数据的静止图像和视频数据的形式提供原始图像。在一些实施例中，图像数据和音频数据可以在由数据捕获模块2601捕获之前被预处理。预处理可以包括例如降噪、伪像去除、压缩和其他图像预处理技术。
人识别模块2602可以被配置为分析由数据捕获模块2601捕获的数据，以检测或识别包括至少一个人的捕获数据的子集。在一些实施例中，模块 2602可以被配置为接收多个图像，以及识别包括至少一个人的多个图像中的一个或多个图像。例如，模块2602可以接收佩戴着可佩戴设备110的用户周围的环境的多个图像，并且识别多个图像中的哪一个图像包括至少一个人。
在一些实施例中，这种分析可以通过采用被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行。在其他实施例中，可以使用被设计成基于由至少一个人生成的热来检测至少一个人的存在的热特征算法来识别至少一个人。在这样的实施例中，可佩戴设备110可以单独地或者与视觉图像组合地捕获热图像，用于通过热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别至少一个人的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的用于识别至少一个人的其他方法。在一些示例中，可以使用面部检测算法、使用训练成在图像中检测面部和/或人的神经网络等来检测至少一个人。在一些示例中，可以使用面部识别算法、使用训练成在图像中识别人的神经网络等来识别至少一个人。
人识别模块2602还可以被配置为确定或获得与图像中识别的至少一个人相关联的信息。与该至少一个人相关联的信息可以包括该至少一个人的名称、昵称、社会保险号码、账号或任何其他标识。一旦获得了至少一个人的识别信息，人识别模块2602就可以获得或确定表示可佩戴设备110的用户和所识别的至少一个人之间的关系程度的至少一个亲密度测量。
亲密度测量可以以任何合适的方式表示。例如，亲密度测量可以是在诸如0-1或1-100的给定范围上分配的数值，较大的数字表示用户和至少一个人之间的更高或更亲密的关系程度，而较小的数字表示用户和至少一个人之间的更低或更疏远的关系程度(反之亦然，较小的数字指示更高的程度)。在其他实施例中，亲密度测量可以是从有限数量的级别中选择的级别，例如，每个级别表示捕获用户已经与至少一个人相关联的年数的范围。例如，用户已经认识达15年的童年朋友可以是亲密度1，该亲密度1被分配给用户认识达15年或更长时间的人。在这个示例中，两个月的朋友可以被分配亲密度3，该亲密度3被分配给用户认识不到一年的人。
在一些实施例中，亲密度测量可以基于指示关系程度的类别。例如，一些亲密度类别可能包括家人、朋友、熟人、同事、陌生人等。在其他实施例中，亲密度测量可以捕获用户对至少一个人的情绪和/或社交亲密度。例如，亲密的朋友和家人(例如，童年朋友和兄弟姐妹)可以被分配相似的亲密度测量，而更疏远的朋友和家人(例如，同事和远房表亲)可以被分配不同的亲密度测量。实际上，亲密度测量可以以任何合适的方式分配，不限于本文的示例，取决于具体实施方式的考虑。
在一些实施例中，亲密度测量可以基于社交网络。在一些示例中，社交网络中两个人之间的距离可以计算为连接两个人所需的社交网络联系的最小数量，并且亲密度测量可以基于该距离。例如，令连接这两个人所需的社交网络联系的数量为N，则亲密度测量可以计算为1/N、针对一些常数A和S的exp(-(N-A)/S)、针对一些单调递减函数f的f(N)等。在一些示例中，两个人的亲密度测量可以基于两个人在社交网络中具有的共享联系的数量来计算。例如，令两个人在社交网络中拥有的共享联系的数量为M，亲密度测量可以计算为M、log(M)、针对一些常数A和S的exp((M-A)/S)、针对一些单调递增函数f的f(M)等。例如，令两个人在社交网络中具有的共享联系的数量为M，并且令第一人和第二人在社交网络中具有的联系的数量为M1和 M2。相应地，亲密度测量可以被计算为M/sqrt(M1*M2)，对于在M中单调递增并且在M1和M2中单调递减的一些函数f可以计算为f(M,M1,M2)，等等。在一些示例中，两个人的亲密度测量可以基于两个人在社交网络中进行的交互(例如，对话)的数量和/或长度来计算。例如，令两个人在社交网络中进行交互的总长度为M，亲密度测量可以计算为M、log(M)、针对一些常数A和S的exp((M-A)/S)、针对一些单调递增函数f的f(M)等。
动作执行模块2603可以被配置为响应于对包括至少一个人的一个或多个图像的认证来执行特定动作。例如，动作执行模块2603可以基于至少一个亲密度测量来确定要向可佩戴装置的用户公开的信息级别。在某些实施例中，信息级别可以是信息的数额(amount)、数量(quantity)、程度、类型和 /或质量。例如，较高的信息级别可以向用户提供比较低的信息级别(例如，仅名称)更多量的信息(例如，名称、运动兴趣和职称)。在其他实施例中，如果亲密度测量指示用户和至少一个人之间的非家族联系，则信息级别可以提供配对信息。
动作执行模块2603还可以被配置为基于与在捕获的图像中识别的至少一个人相关联的信息和所确定的信息级别来向可佩戴装置的用户提供信息。提供给用户的信息可以包括，例如，人的名称、职称、性别、兴趣、爱好、政治面貌、工作相关信息(例如，用户和至少一个人过去是否一起工作过)、休闲相关信息(例如，用户和至少一个人过去是否一起运动过、用户和至少一个人是否被预测为成功匹配、至少一个人是否单身等)、配对信息(例如，用户和至少一个人是否已经约会过)、或者关于可佩戴设备110可用的至少一个人的任何其他信息。
取决于具体实施的考虑，数据库2605可以被配置为存储用于模块 2601-2604的任何类型的信息。例如，在动作执行模块2603被配置为向可佩戴装置110的用户提供关于所识别的至少一个人的信息的实施例中，数据库2605可以存储关于用户的社交、家庭或其他联系人的先前收集的信息。此外，数据库2605可以存储与捕获的图像相关联的元数据。在一些实施例中，数据库2605可以存储多个捕获的图像中包括至少一个人的一个或多个图像。实际上，数据库2605可以被配置为存储与模块2601-2604的功能相关联的任何信息。
模块2601-2604可以以软件、硬件、固件、任何这些的混合等来实施。例如，如果模块以软件实施，则它们可以存储在存储器550中，如图26所示。然而，在一些实施例中，模块2601-2604中的任何一个或多个以及与数据库2605相关联的数据可以例如存储在处理器540中和/或位于服务器250 上，服务器250可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块2601-2604的指令。在一些实施例中，模块2601-2604的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块2601-2604可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备以执行与每个模块相关联的功能。
图27示出了包括用于捕获并处理图像的可佩戴装置110的示例环境。在所描绘的实施例中，用户100可以在他或她的脖子上佩戴可佩戴装置110。然而，在其他实施例中，可佩戴装置110可以被不同地定位在任何合适的位置，以使能用户环境的图像的捕获，诸如上面详细解释的位置。用户100可以在任何位置并且参与在用户日常活动期间遇到的任何交互。例如，用户100 可以在便利店、杂货店、体育活动、社交活动、工作相关活动、电影院、音乐会等。可佩戴装置110可以捕获描绘当用户100参与他/她所选择的活动时用户所暴露的环境的多个图像。例如，在示出的实施例中，可佩戴装置110 可以捕获包括与用户100交互的第一人2702和/或第二人2704的图像。此外，例如，当用户100转弯时，可佩戴装置110还可以捕获位于距正在与人2702 和2704进行对话的区域一定距离处的一个或多个另外的人2706。这样，图像可以显示用户100暴露于人2702、2704和2706。描绘用户100对特定人2702、2704和2706的暴露的图像可以被包括在日志中或者以其他方式保存在数据库2605中。
图27示出了用户100暴露于站立时的人2702、2704和2706。然而，如本领域普通技术人员将理解的，随着用户周围的环境改变，可佩戴装置110 可以捕获在各个位置的用户的全天的图像。例如，当用户用户去餐馆吃饭、上下班通勤、参加社交活动等时，可以捕获图像。以这种方式，可佩戴装置 110可以被配置为贯穿用户的活动监视用户100周围的环境，以贯穿用户佩戴可佩戴装置110的时间识别对一个或多个人的暴露。
在一些实施例中，分配给所识别的人2702、2704和/或2706的一个或多个亲密度测量可以取决于用户100与给定的所识别的人的交互类型。例如，在所示出的实施例中，用户100在相对于人2702和2704站在对话位置时握着人2702的手。因而，用户100和人2704可能先前已经见过，而用户100 和人2702可能刚刚见过面。基于这种交互，可以将比人2702更高的亲密度测量分配给人2704。再例如，虽然可以在图像中捕获人2706，但是用户100 在离人2706的一段距离处，因此指示缺少当前交互。因而，可以将比人2702 和2704更低的亲密度测量分配给人2706。
此外，在一些实施例中，分配给所识别的(多个)人的(多个)亲密度测量可以整体或部分地基于用户100和所识别的(多个)人之间的物理距离。例如，在示出的实施例中，用户100可以在离人2702的距离2708处。距离 2708可以例如通过使用3D和/或距离成像等分析所捕获的(多个)人的特征的大小和/或位置来确定。例如，令两个人之间的物理距离为L，亲密度测量可以计算为1/L、针对一些常数A和S的exp(-(L-A)/S)、针对一些单调递减函数f的f(L)等。此外，在一些实施例中，可佩戴设备110可被编程为通过分析捕获的图像来确定距离2708或例如用户100和人2702之间的交互。例如，可佩戴设备110可以识别出人2702的胸部处于可佩戴设备110中相机的捕获的直线上，这继而可以指示用户100和人2702之间的相对位置。
图28A示出了与本公开的实施例一致的用于识别暴露于至少一个人的示例性方法2800的流程图。方法2800可以例如由与可佩戴装置110集成和 /或关联的处理设备来执行。在这样的实施例中，可佩戴装置110可以包括可佩戴图像传感器，例如图像传感器220，其被配置为从用户的环境中捕获多个图像。仅出于示例性目的，本文针对与存储器550协作以执行模块 2601-2604的处理设备210描述了用于识别暴露给至少一个人的方法2800。
根据方法2800，在块2802处，处理器210可以接收由可佩戴图像传感器捕获的图像数据。数据捕获模块2601的软件指令可以促进块2802。数据捕获模块2601可以被配置为执行指令以从可佩戴图像传感器接收图像数据，并且还可以被配置为执行指令以控制可佩戴图像传感器。控制可佩戴图像传感器可以包括发出命令来记录图像和/或视频，并且还可以包括发出命令来控制图像传感器的观看方位或方向。
接收到的图像数据可以经由通过人识别模块2602执行的软件步骤来处理。例如，在块2804处，人识别模块2602可以从多个捕获的图像中识别包括至少一个人的一个或多个图像。例如，至少一个人可以是人2702，并且模块2602可以分析多个图像以识别捕获图像的子集，该子集包括大小、形状或以其他方式类似于人的特征。此外，在块2806处，可以处理一个或多个识别的图像，以识别在标记为包括(多个)人的图像中描绘的(多个)特定人。在另一示例中，在块2804和/或2806处，人识别模块2602可以识别出现在多个捕获图像中的至少一个人的唯一实例。
在块2808处，人识别模块2602可以进一步分析包括至少一个人的捕获图像的子集，以确定与至少一个人相关联的信息。与至少一个人相关联的信息可以包括名称、昵称、爱好、兴趣、喜好、嫌恶、经常访问的地方、性取向、性别、政治面貌、国籍、参加的体育活动、或者关于给定的人的任何其他标识或信息。此外，关于至少一个人的信息可以来源于任何期望的位置。例如，信息可以经由数据库访问模块2604来源于存储在(多个)数据库2605 中的先前来源的信息。再例如，信息可以来源于一个或多个社交媒体账户。在这样的实施例中，可佩戴设备110可以经由网络浏览器和/或通过用户100 的私人账户来溯源(source)公开可用的信息。在其他实施例中，信息可以来源于用户100和至少一个识别的人之间的电子邮件、文本、语音邮件或电话通信的记录。事实上，取决于具体实施的考虑，信息可以来源于任何合适的位置，不限于这里描述的位置。
在块2810处，人识别模块2602可以确定或获得表示用户100和至少一个识别的人之间的关系的程度的至少一个亲密度测量。该至少一种亲密度测量可以采取上述任何形式。此外，该至少一个亲密度测量可以基于指示用户 100和识别的至少一个人之间的关系的程度的一个或多个因素。例如，在一些实施例中，亲密度测量可以基于社交图谱、社交网络、用户100和至少一个人之间的交互类型、用户100和至少一个人之间的物理距离或任何其他合适的因素。在一个实施例中，亲密度测量可以捕获在社交网络中用户100和至少一个人之间的关系(例如，社交媒体网站上的联系人列表)，以确保向用户100提供适当级别的信息。例如，在一个实施例中，低亲密度测量可以确保用户100不会接收到与陌生人相关的任何信息，而高亲密度测量可以确保用户100会接收到共同组群中的人的名称和隶属关系，或者二级联系的名称和共同朋友。在一些实施例中，适当的亲密度测量可以确保对于作为一级联系的检测到的人，可以提供甚至更多的信息，诸如最后一次会见的时间、最后一封电子邮件等。
在图28A所示的实施例中，在块2812处，包括与至少一个人和/或亲密度测量相关联的信息的数据被发送到外部设备。外部设备可以是智能电话、平板电脑、智能手表、膝上型计算机、服务器或被配置为处理所发送的数据的任何其他合适的设备。为此，外部设备和可佩戴装置110可以包括适当的组件，以使能可佩戴装置110和外部设备之间的数据传递。例如，在一个实施例中，可佩戴装置可以包括发送器，该发送器被配置为使能够与位于外部设备中的接收器进行无线配对。在这样的实施例中，可佩戴装置和外部设备可以可逆地或不可逆地配对，以使能能够两个设备之间的排他性数据传递。该配对可以由可佩戴装置和外部设备的用户建立，或者可以在可佩戴装置和外部设备距离彼此在给定距离内(例如，在使得发送器和接收器能够交换数据的范围内)时自动执行。
然而，在其他实施例中，可以从方法2800中省略在块2812处向外部设备传递数据，并且可以由可佩戴装置110例如，在动作执行模块2603中或者使用块2824、2826和2828执行数据的进一步处理。然而，在示例性示出的实施例中，在方法2820的块2822处，由外部设备接收与至少一个人相关联的信息和亲密度测量。在块2824处，方法2820包括确定要向可佩戴装置 110的用户100公开的信息级别。
在一些实施例中，如上所述，可以从多个备选信息级别中选择信息级别。例如，第一信息级别可以用于亲密的社交联系，而第二信息级别可以用于更疏远的联系。更具体地，针对图27，第一信息级别可以被分配给用户100 已经认识的人2704，而第二信息级别可以被分配给用户100刚刚遇见的人 2702。在一个实施例中，对第一信息级别的选择可使得共享信息包括人2704 的名称，而对第二信息级别的选择可使得提供的信息不包括人2702的名称。
方法2820还包括在块2826处访问反映针对至少一个人的确定的信息级别的存储数据，并在块2828处根据分配的(多个)信息级别向用户100提供信息。例如，在一个实施例中，给定的信息级别可以对应于潜在的浪漫匹配(romantic match)，并且提供给用户100的信息可以是与至少一个人是否是浪漫匹配相关的信息。在这样的实施例中，提供给用户的关于至少一个人的信息可以包括例如名称、年龄、性别、上学的(多个)学校、互相的朋友、共同的兴趣、饮食偏好、头发颜色、眼睛颜色、体重、身高等。在这样的实施例中，另一信息级别可以对应于不是潜在的浪漫匹配的人，例如，因为至少一个人的性别不匹配用户100的性别偏好，用户100和至少一个人之间的年龄差距太大，至少一个人是家庭成员，等等。
在一些实施例中，至少一个人可以包括一个或多个人。例如，在一些实施例中，可以将单独的(多个)亲密度测量和/或(多个)信息级别分配给在捕获的图像中识别的不同的人。更具体地，在一个实施例中，可以向在捕获的图像中识别的第一人分配表示用户100和第一人之间的关系程度的第一亲密度测量。还可以在捕获的图像中识别第二人，并且可以将第二亲密度测量分配给第二人。提供给用户的信息级别的确定可以基于第一亲密度测量和第二亲密度测量两者。
确定口头合同
在一些实施例中，可佩戴装置110可以收集与可佩戴装置110的用户和在可佩戴装置110的用户的环境中检测到的至少一个人之间的交互相关的信息。例如，在一些实施例中，可佩戴装置110可以识别用户和在用户环境中检测到的另一人何时签订(enter into)口头合同。
一些现有的可佩戴设备系统可能会遇到如何处理由可佩戴装置110收集的大量信息以及如何使用该信息向用户提供有用的反馈和/或服务的技术问题。当前公开的一些实施例可以通过收集视觉和音频信息、并使用收集到的信息来确定为用户存储收集到的信息的哪些帧来解决这个问题。例如，在一些实施例中，当视频和/或音频信息包括与口头合同相关联的特征时，可佩戴装置110可以存储收集到的信息。
此外，当检测到口头合同时，当前公开的实施例可以解决认证可佩戴装置110的用户和/或口头合同的另一方的身份的问题。例如，当使用关于口头合同的自动收集的信息时，对于可佩戴装置110的用户和/或合同的另一方来说，可能期望注册或记录合同的存在。然而，考虑到身份欺诈的可能性，可能期望只记录一方或双方都经过认证的合同。当前公开的实施例可以通过使用数字签名或对合同一方或多方身份的其他电子验证来解决这个问题。
图29是示出与公开的实施例一致的存储多个模块的存储器550的示例的图。这些模块可以由至少一个处理设备执行，以执行本文公开的各种方法和过程。存储器550可以存储比图29所示更多或更少的模块。
如图29所示，存储器550可以存储软件指令以执行数据捕获模块2901、人识别模块2902、合同识别模块2903、动作执行模块2904、数据库访问模块2905，并且还可以包括(多个)数据库2906。数据捕获模块2901可以包括用于从可佩戴装置110接收数据的软件指令。人识别模块2902可以包括用于分析由可佩戴装置110获得的数据的软件指令以识别包括至少一个人和与该至少一个人相关联的信息的捕获数据的子集。合同识别模块2903可以包括用于分析由可佩戴装置110捕获的(多个)图像和/或音频数据以识别口头合同的存在的软件指令。动作执行模块2904可以包括软件指令，以基于已经识别口头合同的信息来导致动作的发生。数据库访问模块2905可以包括可执行以与(多个)数据库2906交互、存储和/或检索信息的软件指令。
数据捕获模块2901可以包括用于从可佩戴装置(诸如可佩戴相机系统和/或可佩戴音频系统)接收数据的软件指令。从可佩戴相机系统接收的数据可以包括由例如与可佩戴相机系统相关联的图像传感器或麦克风捕获的音频和图像数据。图像数据可以包括原始图像，并且可以包括已经处理的图像数据。例如，可以以具有或者不具有嵌入的元数据的静止图像和视频数据的形式提供原始图像。在一些实施例中，图像数据和音频数据可以在由数据捕获模块2901捕获之前被预处理。预处理可以包括例如降噪、伪像去除、压缩和其他图像预处理技术。
人识别模块2902可以被配置为分析由数据捕获模块2901捕获的数据，以检测或识别包括至少一个人的捕获数据的子集。在一些实施例中，模块 2902可以被配置为接收多个图像，以及识别多个图像中包括至少一个人的一个或多个图像。例如，模块2902可以接收佩戴着可佩戴设备110的用户周围的环境的多个图像，并且例如使用上述的人检测模块1701、使用人检测模块2001、使用人检测模块2301等来识别多个图像中的哪一个图像包括至少一个人。
在一些实施例中，可以通过采用被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行这种分析。在其他实施例中，可以使用被设计成基于由至少一个人生成的热来检测至少一个人的存在的热特征算法来识别至少一个人。在这样的实施例中，可佩戴设备110可以单独地或者与视觉图像组合地捕获热图像，以用于由热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别至少一个人的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的用于识别至少一个人的其他方法。
人识别模块2902还可以被配置为确定或获得与(多个)图像中识别的至少一个人相关联的信息。与至少一个人相关联的信息可以包括至少一个人的名称、昵称、社会保险号码、账号或任何其他标识。至少一个检测到的人的识别信息可以来源于任何合适的位置，诸如数据库2906中预先存储的信息。在一些实施例中，可以通过将人的(多个)捕获图像与可经由互联网访问的与给定身份相关联的一个或多个图像进行匹配，然后将该身份分配给在(多个)图像中检测到的至少一个人来获得识别信息。在一些实施例中，可以使用识别信息模块2302、使用人识别模块2602等来获得识别信息。
在一些实施例中，人识别模块2902还可以获得(多个)图像中的至少一个人的一个或多个简档。基于至少一个人的一个或多个简档，人识别模块 2902可以认证至少一个人的身份。例如，在一个实施例中，人识别模块2902 可以访问至少一个人的数字签名以认证至少一个人。在其他实施例中，人识别模块2902可以基于至少一个人的身体部分(例如，手)的一个或多个运动来认证至少一个人的身份，该运动可以是至少一个人的签名运动。在另一示例中，人识别模块2902可以基于人的面部图像并使用面部识别算法来认证至少一个人的身份。在又一示例中，人识别模块2902可以使用由可佩戴装置110捕获的生物测量读数，并且通过将生物测量读数和与人相关联的生物测量签名(例如，使用数据库访问模块2905从数据库2906检索的生物测量签名)进行比较来认证至少一个人的身份。
合同识别模块2903可以被配置为分析由人识别模块2902识别的多个图像，以确定图像是否反映了与口头合同的形成相关联的动作。此外，合同识别模块2903可以被配置为分析所收集的音频数据的至少一部分，以识别与口头合同的形成相关联的一个或多个声音(例如，词语)。在一些实施例中，所识别的声音可以链接到可佩戴装置110的用户和/或所收集的(多个)图像中的检测到的人。此外，在一些实施例中，合同识别模块2903可以利用在分析的图像中识别的动作和在音频数据中识别的声音的组合来确定可佩戴装置110的用户和检测到的人之间已经发生口头合同。
例如，在一个实施例中，所收集的图像可以显示在可佩戴装置110的用户和另一个检测到的人之间发生握手。对音频数据的分析可以显示与口头合同相关联的一个或多个词语被说出。例如，音频数据可以检测诸如“我同意”、“是的”、“你达成了协议”、“就这么定了”、“我们都准备好了”、“我同意合同”、“我可以接受那些条款”、“我们同意”之类的词语，或者任何其他表示口头合同的形成的词语。指示口头合同的一个或多个词语可以通过合同识别模块2903单独使用，或者与在捕获的图像中与口头合同相关联的一个或多个识别的动作组合使用，以确定口头合同被同意。
类似地，在一些实施例中，可以分析所收集的图像和/或音频数据以确定没有发生口头合同。在这样的实施例中，对所收集的图像的分析可以显示没有采取指示口头合同的动作(例如，没有发生握手)。此外，对音频数据的分析可以包括一个或多个指示缺乏口头合同的词语，例如“我不同意”、“不”、“你没有达成协议”、“这还没定”、“没有合同”、“我们将必须在这方面继续努力”等。指示缺乏口头合同的一个或多个词语可以单独使用或者与收集的图像结合使用，以确定合同可能没有发生。
动作执行模块2904可以被配置为响应于包括至少一个人的一个或多个图像的标识和/或指示口头合同的一个或多个声音的标识来执行特定动作。例如，动作执行模块2904可以被配置为当口头合同已经被合同识别模块2903 识别时认证可佩戴装置110的用户、在收集的图像中识别的至少一个人、和 /或用户和至少一个人之间的口头合同的见证人的身份。例如，在一个实施例中，动作执行模块2904可以获得可佩戴装置110的用户的至少一个简档，并且基于至少一个简档来认证用户的身份。至少一个简档可以是适合于将用户和/或检测到的人链接到给定身份的身份的任何表示。例如，在一个实施例中，认证用户的身份可以包括分析一个或多个捕获的图像，例如，以识别对于用户唯一的用户面部的图像中的特征。在另一实施例中，用户的认证可以通过分析捕获的图像来执行，以识别用户的身体部分(例如，手)的运动和 /或与用户相关联的自我运动。在一些实施例中，用户的认证可以使用由可佩戴装置110捕获的生物测量读数，并且通过将生物测量读数和与用户相关联的生物测量签名进行比较。
在一些示例中，认证用户的身份可以包括从由数据捕获模块2901捕获的图像中识别用户的身体部分(例如，手、头等)的运动，分析图像中身体部分的运动以确定运动的分布(例如，基于位置、相对位置、方向、相对方向、速度、方向速度、加速度和/或减速度、方向加速度和/或减速度等)，并将该分布与用户的已知的过去分布进行比较。例如，运动的分布可以包括位置、相对位置、方向、相对方向、速度、方向速度、加速度和/或减速度、方向加速度和/或减速度等的直方图。在另一示例中，运动的分布可以包括位置、相对位置、方向、相对方向、速度、方向速度、加速度和/或减速度、方向加速度和/或减速度等的统计特性(诸如均值、方差、熵等)。类似地，认证至少一个人的身份可以包括从由数据捕获模块2901捕获的图像中识别至少一个人的身体部分(例如，手、头等)的运动，分析图像中身体部分的运动以确定运动的分布(例如，基于位置、相对位置、方向、相对方向、速度、方向速度、加速度和/或减速度、方向加速度和/或减速度等，如上面详细描述的)，以及将该分布与至少一个人的已知的过去分布进行比较。
在一些实施例中，动作模块2904可以认证在所收集的图像中识别的至少一个人的身份(其可以是口头合同的一方、见证人等)，可以包括和与至少一个人相关联的设备(例如，和至少一个人佩戴的可佩戴设备)通信，以及从与至少一个人相关联的设备中获得至少一个人的识别信息和/或身份证明。
动作执行模块2904还可以被配置为基于对用户、检测到的人和/或口头合同的见证人的认证来注册口头合同和与检测到的人相关联的识别信息。例如，在一个实施例中，口头合同可以在用户认证时注册。然而，在其他实施例中，当识别出用户和检测到的人两者的身份时，可以注册口头合同。此外，在一些实施例中，当用户、检测到的人和见证人的身份被认证时，可以注册口头合同。
取决于具体实施方式的考虑，口头合同的注册可以采取各种合适的形式。例如，在一个实施例中，注册口头合同和检测到的人的识别信息可以包括，例如，在(多个)数据库2906中存储与口头合同相关联的音频数据的至少一部分以及与检测到的人相关联的识别信息的至少一部分。所存储的音频数据部分可以包括反映合同条款的音频数据、一方所作的要约(offer)、另一方所作的接受以及对合同给予的任何考虑。所存储的识别信息部分可以是适于识别人的任何部分，诸如社会保险号码、全名、昵称等。
在一些实施例中，对口头合同和检测到的人的识别信息的注册可以包括使用至少一个通信设备发送与口头合同相关联的音频数据的至少一部分和与检测到的人相关联的识别信息的至少一部分。例如，在一些实施例中，可佩戴装置110可以包括通信设备，诸如一个或多个无线收发器，如上面结合图5A-图5C所讨论的，该无线收发器可以通过网络240向例如计算设备120 和/或服务器250发送信息。在一些实施例中，所注册的口头合同和识别信息可以经由网络240从通信设备发送到长期存储位置，诸如基于云的存储设施 (例如，服务器250)。在一些实施例中，可佩戴装置110可以将信息发送到配对的设备(例如，计算设备120)，然后配对的设备继而可以经由网络240 将信息发送到另一目的地(例如，服务器250)。
在一些实施例中，口头合同和检测到的人的识别信息的注册可以包括，基于与口头合同相关联的音频数据的至少一部分和/或与检测到的人相关联的识别信息的至少一部分，在公共数据库和/或区块链上发布信息。发布的信息可以包括与口头合同相关联的音频数据的至少一部分、与检测到的人相关联的识别信息的至少一部分、与口头合同相关联的任何其他信息(诸如时间、地点、见证人、协议的上下文、资金转移和/或承诺等)、任何上述内容的加密版本、任何上述内容的数字签名版本、有或没有签名数据的任何上述内容的数字签名，等等。发布的信息还可以包括与合同相关的任何其他信息。
在一些实施例中，对口头合同和/或识别信息的注册可以包括对与口头合同相关联的音频数据的至少一部分和/或与检测到的人相关联的识别信息的至少一部分进行数字签名。数字签名可以指用于验证被签名数据的真实性和 /或完整性的任何技术。例如，数字签名可以包括对音频数据或识别信息应用用户、检测到的人或见证人的验证的或先前认证的数字签名。数字签名可以包括例如由验证其客户身份的公司分配给用户、检测到的人或见证人的标记。例如，该公司先前可能已经基于对政府签发的文件(诸如驾照、护照等) 的审查验证了其客户的身份。
除了口头合同和识别信息之外，其他数据还可以由动作执行模块2904 注册。例如，至少一个时钟可以被配置为提供与音频数据相关联的时间信息，例如通过在音频数据被生成和/或收集时用日期和/或时间对其进行时间戳 (timestamp)。当口头合同被注册时，时间信息可以与音频数据一起注册。在其他实施例中，可以围绕口头合同的形成注册关于时间、位置、条件等的附加细节。例如，至少一个定位设备可以被配置为生成与口头合同相关联的位置信息。定位设备可以是，例如，被配置为跟踪用户相对于用户环境的位置(例如，当合同建立时，用户正坐着或站着)的与可佩戴装置(例如，用户的智能电话)配对的设备中的加速度计，被配置为获得可佩戴装置和/或与可佩戴装置配对的设备的位置的全球定位设备，等等。
在一些实施例中，动作执行模块2904可以认识到，口头合同包括第一实体(诸如用户、至少一个人、第三方等)向第二实体(诸如用户、至少一个人、第三方等)转移资金、以及使资金从第一实体的账户转移到第二实体的账户的义务和/或期望。在一些示例中，动作执行模块2904还可以，例如以可听输出、以电子邮件、以视觉方式等等向第一实体和/或第二实体通知资金的转移。在一些示例中，在转移资金之前，动作执行模块2904可以例如使用用户界面、可听用户交互机器人、图形用户界面、电子邮件等来请求第一实体明确许可。
在一些实施例中，动作执行模块2904可以向涉及口头合同的各方(诸如用户、至少一个人、见证人、第三方等)提供与口头合同相关的信息。例如，所提供的信息可以包括对确认和/或批准口头合同的请求、口头合同细节的概要、口头合同的各方和/或口头合同的见证人的识别信息、与口头合同相关联的时间和/或地点、对执行与口头合同相关的行动(诸如一方有义务在口头合同中采取的动作)的提醒(例如以日历事件、弹出消息、电子邮件等的形式)。
取决于具体实施方式的考虑，数据库2906可以被配置为存储模块 2901-2905的任何类型的使用信息。例如，在动作执行模块2904被配置为获得关于所识别的至少一个人到可佩戴装置110的用户的识别信息的实施例中，数据库2906可以存储关于用户身份的先前收集的信息。此外，数据库2906可以存储与捕获的图像和/或音频数据相关联的元数据。在一些实施例中，数据库2906可以存储多个捕获图像中包括至少一个人的一个或多个图像。数据库2906还可以存储指示口头合同形成的一些或全部捕获的音频数据。在其他实施例中，数据库2906可以被配置为存储用户、检测到的人和/ 或合同见证人的简档，以供在认证口头合同的各方和/或口头合同的见证人的身份时参考。例如，数据库2906可以存储一个或多个数字签名。实际上，数据库2906可以被配置为存储与模块2901-2905的功能相关联的任何信息。
模块2901-2905可以以软件、硬件、固件、任何这些的混合等来实施。例如，如果模块以软件实施，则它们可以存储在存储器550中。然而，在一些实施例中，模块2901-2905中的任何一个或多个以及与数据库2906相关联的数据可以例如存储在处理器540中和/或位于服务器250上，服务器250 可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块2901-2905的指令。在一些实施例中，模块2901-2905的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块2901-2905可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如， IR、图像传感器、音频传感器等)和/或专用应用处理设备以执行与每个模块相关联的功能。
图30示出了包括用于捕获并处理图像和音频数据的可佩戴装置110的示例环境。在所描绘的实施例中，用户100可以在他或她的脖子上佩戴可佩戴装置110。然而，在其他实施例中，可佩戴装置110可以被不同地定位在任何合适的位置，以使能用户环境的图像的捕获，诸如上面详细解释的位置。用户100可以在任何位置并且参与在用户日常活动期间遇到的任何交互。例如，用户100可以在便利店、杂货店、体育活动、社交活动、工作相关活动、办公室、移动剧场、音乐会等。可佩戴装置110可以捕获描绘当用户100参与他/她所选择的活动时用户所暴露的环境的多个图像。可佩戴装置110还可以经由反映用户周围环境中出现的声音的至少一个音频传感器(例如，麦克风)来捕获音频数据。例如，在示出的实施例中，可佩戴装置110可以捕获包括与用户100交互的第一人3002和/或第二人3004的图像。这样，图像可以显示用户100暴露于人3002和3004。描绘用户100对特定的人3002和3004的暴露的图像可以被包括在日志中或者以其他方式保存在数据库2906 中。可佩戴装置110还可以捕获用户100说出的音频声音3006和/或第一人 3002说出的音频声音3008。
可佩戴装置110还可以捕获反映用户100、第一人3002和/或第二人3004 说出的一个或多个词语的音频数据。这样，音频数据的至少一部分可以通过检测指示合同形成的一个或多个词语来反映用户100和第一人3002之间已经发生了口头合同。例如，在第一时间戳处的音频数据的至少一部分可以反映第一人3002做出了要约。第二较晚时间戳处的音频数据的另一部分可以指示用户100接受了要约。最后，音频数据的另一部分可以指示交换了考虑以支持要约和接受。
此外，在一些实施例中，可佩戴装置110可以捕获显示在用户100和第一人3002之间发生握手的图像。这可以单独使用，也可以与指示出现口头合同的音频数据结合使用，以确定是否注册口头合同。另外，可佩戴装置110 可以捕获第二人3004说出的一个或多个词语，第二人3004是用户100和第一人3002之间的口头合同的见证人。例如，见证人3004可以说指示该见证人3004相信合同已经形成的一个或多个词语，诸如“祝贺”、“我很高兴你们能够达成协议”、“你同意真好”、“我很高兴你们决定一起工作”或者指示见证人3004相信合同已经发生的任何其他词语。
图30示出了用户100站立时暴露于人3002和3004。然而，如本领域普通技术人员将理解的，随着用户在各个位置中用户周围的环境改变，可佩戴装置110可以捕获在各个位置的用户的全天的图像。例如，可以当用户用户去餐馆吃饭、上下班通勤、参加社交活动、参加工作会议等时捕获图像。以这种方式，可佩戴装置110可以被配置为贯穿用户活动监视用户100周围的环境，以贯穿在用户佩戴可佩戴装置110的时间识别对一个或多个人的暴露，并且捕获与用户的日常活动相关联的音频数据。
在一些实施例中，可佩戴装置110可被编程为从至少一个图像传感器和至少一个音频传感器选择性地收集数据，以减少与监视口头合同形成无关的所收集的数据量。例如，在一个实施例中，至少一个图像传感器可以被激活以收集数据，并且可以处理所收集的图像以确定图像是否包括至少一个人。当在图像中识别出至少一个人时，可以触发至少一个音频传感器来收集数据以捕获用户100和至少一个人之间发生的任何对话。以这种方式，可以选择性地控制(多个)图像和音频传感器，以解决与记录和存储大量数据相关联的技术问题，可以由可佩戴装置110在贯穿由用户100使用的过程中获得该大量数据。
图31A示出了与本公开的实施例一致的用于接收并分析图像和/或音频数据的示例性方法3100的流程图。方法3100可以例如由与可佩戴装置110 集成和/或关联的处理设备来实施。在这样的实施例中，可佩戴装置110可以包括被配置为从用户的环境中捕获多个图像的可佩戴图像传感器(例如，图像传感器220)。可佩戴装置110还可以包括被配置为从用户的环境中捕获多个声音(例如，一个或多个词语)的可佩戴音频传感器。在一些其他示例中，整个方法3100或方法3100的部分可以由可佩戴装置110外部的设备执行，诸如与可佩戴装置110配对的设备(诸如智能电话、平板电脑等)、与可佩戴装置110通信的服务器(诸如服务器250)等。仅出于示例性目的，本文针对与存储器550协作以执行模块2901-2905的处理设备210来描述用于图像和/或音频数据的方法3100。
根据方法3100，处理器210可以在块3102处接收由可佩戴图像传感器捕获的图像数据。数据捕获模块2901的软件指令可以促进块3102。数据捕获模块2901可以被配置为执行指令以从可佩戴图像传感器接收图像数据，并且还可以被配置为执行指令以控制可佩戴图像传感器。控制可佩戴图像传感器可以包括发出命令来记录图像和/或视频，并且还可以包括发出命令来控制图像传感器的观看方位或方向。
接收到的图像数据可以经由通过人识别模块2902执行的软件步骤来处理。例如，在块3104处，人识别模块2902可以从多个捕获的图像中识别包括至少一个人的一个或多个图像。例如，至少一个人可以是人3002，并且模块2902可以分析多个图像以识别捕获图像的子集，该子集包括大小、形状或以其他方式类似于人的特征。此外，在块3106处，可以处理一个或多个识别的图像，以识别在标记为包括人的(多个)图像中所描绘的特定的(多个)人。在另一示例中，在块3104和/或3106处，人识别模块2902可以识别出现在多个捕获图像中的至少一个人的唯一实例。
在块3108处，合同识别模块2903还可以分析包括至少一个人的捕获图像的子集，以识别与口头合同相关联的一个或多个动作。例如，合同识别模块2903可以识别诸如握手、上下点头、微笑或与合同条款的要约或接受相关联的任何其他物理运动线索的动作。
在块3110处，处理器210可以接收由可佩戴图像传感器捕获的音频数据。数据捕获模块2901的软件指令可以促进块3110。数据捕获模块2901 可以被配置为执行指令以从可佩戴图像传感器接收音频数据，并且还可以被配置为执行指令以控制可佩戴图像传感器。控制可佩戴图像传感器可以包括发出命令来记录音频数据，并且还可以包括发出命令来控制音频传感器的收集音量或频率。接收的音频数据可以经由通过合同识别模块2903执行的软件步骤来处理。例如，在块3112处，合同识别模块2903可以识别音频数据的至少一部分，该音频数据包括与口头合同的形成相关联的至少一个声音。
例如，合同识别模块2903可以分析捕获的音频数据，以识别包括与口头合同的形成相关联的一个或多个词语的一个或多个部分，如上面详细讨论的。此外，在其他实施例中，音频数据中所识别的一个或多个声音可以是与支持形成口头合同的结论的某些动作相关联的声音。例如，某些声音简档或频率分量可以与用户100和人3002的握手和/或在与人3002握手期间用户 100的手的上下移动相关联。为此，在一些实施例中，可佩戴装置110可以位于其他未示出的位置(诸如靠近用户的手)，以更好地捕获这样的音频数据。
图31B示出了与本公开的实施例一致的用于认证所识别的口头合同的一方或多方的身份的示例性方法3120的流程图。方法3120可以例如由与可佩戴装置110集成和/或相关联的处理设备来实施。在一些其他示例中，整个方法3120或方法3120的部分可以由可佩戴装置110外部的设备执行，诸如与可佩戴装置110配对的设备(诸如智能电话、平板电脑等)、与可佩戴装置110通信的服务器(诸如服务器250)等。在块3122处，动作执行模块 2904可以获得可佩戴装置110的用户100的至少一个简档。例如，如上所述，动作执行模块2904可以访问存储在数据库2906中的用户100的数字签名。在块3124处，动作执行模块2904可以基于所访问的至少一个简档来认证用户的身份。例如，在一个实施例中，用户100的身份可以通过分析捕获的图像以识别用户的至少一只手的运动来认证。在其他实施例中，可以通过识别与用户100相关联的自我运动来认证用户100。
在所示实施例中，方法3120还包括在块3126处获得检测到的人的至少一个简档。例如，检测到的人的数字签名可以位于数据库2906中。基于检测到的人的至少一个简档，动作执行模块2904可以在块3128处认证检测到的人的身份。可以以与上述用户100的认证类似的方式认证检测到的人的身份。然而，尽管方法3120的实施例示出了用户100和检测到的人的认证，但是在其他实施例中，在注册口头合同之前，可以仅认证合同各方中的一方。例如，用户100的身份可能是已知的，使得在合同注册之前仅认证检测到的人。在其他实施例中，例如，可以在注册合同之前仅认证用户100的身份，以减少或消除佩戴着可佩戴装置110的个人不是用户100的可能性。
在块3130处，如果满足一个或多个注册条件，则例如使用如上详细描述的动作执行模块2904来注册检测到的人的口头合同和/或识别信息。注册条件可以是注册的任何合适的先决条件。例如，注册条件可以包括用户100 的认证、合同另一方的认证、检测到的见证人的存在、检测到的见证人的认证等。此外，注册可以以任何合适的方式进行。例如，注册可以包括将证明合同的(多个)图像和音频数据存储到数据库2906，向一方或多方发送口头合同的确认等。
图31C示出了与本公开的实施例一致的用于识别和/或认证所识别的口头合同的一个或多个见证人的身份的示例性方法3140的流程图。方法3140 可以例如由与可佩戴装置110集成和/或相关联的处理设备来实施。在一些其他示例中，整个方法3140或方法3140的部分可以由可佩戴装置110外部的设备执行，诸如与可佩戴装置110配对的识别(诸如智能电话、平板电脑等)、与可佩戴装置110通信的服务器(诸如服务器250)等。在块3142处，动作执行模块2904可以接收由可佩戴图像传感器捕获的图像数据。数据捕获模块2901的软件指令可以促进块3142。例如，数据捕获模块2901可以被配置为执行指令以从可佩戴图像传感器接收图像数据。
在块3144处，接收的图像数据可以经由通过人识别模块2902执行的软件步骤来处理。例如，在块3144处，人识别模块2902可以从多个捕获的图像中识别包括至少一个见证人的一个或多个图像。例如，至少一个见证人可以是人3004，并且模块2902可以分析多个图像以识别捕获图像的子集，该子集包括大小、形状或以其他方式类似于除人3002和用户100之外的人的特征。此外，在块3146处，一个或多个识别的图像可以被处理以识别作为见证人并且在标记为包括(多个)人的图像中被描绘的特定的(多个)人。
关于至少一个见证人的识别信息可以来源于任何期望的位置。例如，信息可以经由数据库访问模块2905来源于存储在(多个)数据库2906中的先前来源的信息。再例如，信息可以来源于一个或多个社交媒体账户。在这样的实施例中，可佩戴设备110可以经由网络浏览器和/或通过用户100的私人账户来溯源公开可用的信息。在其他实施例中，信息可以来源于用户100和至少一个识别的见证人之间的电子邮件、文本、语音邮件或电话通信的记录。事实上，取决于具体实施方式的考虑，信息可以来源于任何合适的位置，不限于这里描述的位置。一旦定位，识别信息的至少一部分可以在块3148处注册。例如，见证人的认证可以与口头合同的注册一起注册，以指示合同得到验证。
基于物理距离发送信息
在一些实施例中，可佩戴装置110可以收集与在可佩戴装置110的用户的环境中检测到的至少一个人或物体相关的信息。然后，可佩戴装置110可以基于从可佩戴装置的用户到至少一个人或物体的估计物理距离来发送与至少一个人或物体相关的信息。一些现有的可佩戴设备系统可能会遇到如何处理由可佩戴设备收集的信息并使用该信息向用户提供有用反馈的技术问题。例如，某些现有系统可以捕获包括用户环境中的人或物体的图像，但是考虑到收集的数据量和大多数数据对用户来说不感兴趣的可能性，未能提供与用户相关的信息(例如，用户认为有用或感兴趣的信息)。另一方面，当前公开的一些实施例可以通过基于用户到特定的人或物体的估计物理距离向用户提供信息来解决这个问题。这样的实施例可以利用估计的物理距离来确定人或物体是否有可能与用户相关和/或对用户来说感兴趣，然后在此基础上向用户提供信息。
如上所述，系统200可以包括由用户100佩戴的可佩戴装置110，以及能够经由网络240与可佩戴装置110通信的可选计算设备120和/或服务器 250。与本公开一致，可佩戴装置110可以分析图像数据以检测和识别物体或人，可以确定从用户到所识别的物体或人的距离或估计距离，并且如下面更详细描述的可以发送信息来例如更新社交媒体账户。可佩戴装置110还可以向计算设备120发送信息，该计算设备120可以是例如其中安装有专用应用的智能电话或平板电脑。包括例如多个用户可调特征社交媒体设置的图形用户界面(GUI)可以被包括在计算设备120的显示器260上，以可见地向操作用户输出信息。
图32示出了本公开一致的包含与软件模块的存储器的示例性实施例。具体地，如图所示，存储器3200可以包括检测模块3202、距离模块3204、发送模块3206、数据库访问模块3208和数据库3210。模块3202、3204、3206 和3208可以包含用于由可佩戴装置(例如，可佩戴装置110)所包括的至少一个处理设备(例如，处理器210)执行的软件指令。检测模块3202、距离模块3204和发送模块3206、数据库访问模块3208和数据库3210可以协作以检测物体，确定到物体的距离以及发送与检测到的物体相关的信息。在一些实施例中，如上所述，存储器3200可以被包括在例如存储器550中。此外，在其他实施例中，存储器3200的组件可以分布在不止一个位置上(例如，存储在与例如网络240通信的服务器250中)。
在一些实施例中，检测模块3202可以检测可佩戴装置的用户的环境中的人或物体。如图26所示并如上所述，检测模块3202可以以类似于数据捕获模块2601和人识别模块2602的方式操作。例如，检测模块3202可以包括用于从诸如可佩戴相机系统的可佩戴装置110接收数据的软件指令，并且可以包括用于分析由可佩戴装置110获得的数据以识别与至少一个人相关联的人或物体的软件指令。从可佩戴相机系统接收的数据可以包括由例如与可佩戴相机系统相关联和/或与音频主题有关的图像传感器或麦克风捕获的音频和图像数据。由麦克风捕获的音频数据可以识别与人相关联的音频主题。图像数据可以包括原始图像，并且可以包括已经处理的图像数据。例如，可以以具有或不具有嵌入的元数据的静止图像和视频数据的形式提供原始图像。在一些实施例中，图像数据和音频数据可以在被检测模块3202接收之前被预处理。预处理可以包括例如降噪、伪像去除、压缩和其他图像预处理技术。
在一些实施例中，检测模块3202可以检测或识别包括至少一个人或物体的捕获数据的子集或部分。在一些实施例中，检测模块3202可以被配置为接收包括至少一个人或物体的多个图像。例如，检测模块3202可以接收佩戴着可佩戴设备110的用户周围环境的多个图像，并且可以识别多个图像中的哪一个图像包括至少一个人或物体。
在一些实施例中，可以通过执行被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、诸如面部姿态或表情的副语言指示、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行检测分析。在其他实施例中，可以使用被设计成基于由至少一个人生成的热来检测至少一个人的存在的热特征算法来识别至少一个人。在这样的实施例中，可佩戴设备110可以单独地或者与视觉图像组合地捕获热图像，以用于由热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的至少一个或多个。用于识别至少一个人或至少一个物体的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的用于识别至少一个人或物体的其他方法。
在一些实施例中，可以使用面部检测算法、使用被训练成检测图像中的面部和/或人的神经网络等来检测至少一个人。在一些示例中，可以使用面部识别算法、使用被训练成识别图像中的人的神经网络等来识别至少一个人。在其他示例中，可以使用物体检测算法、使用被训练成检测图像中的物体和 /或关联特征的神经网络等来检测至少一个物体。在一些示例中，可以使用物体识别算法、使用被训练成识别图像中的物体的神经网络等来识别至少一个物体。
检测模块3202还可以被配置为确定或获得与(多个)图像中所识别的至少一个人或物体相关联的信息。与至少一个人相关联的信息可以包括至少一个人的名称、昵称、社会保险号码、账号或任何其他标识。与至少一个物体相关联的信息可以包括物体的长度、宽度、深度、GPS位置、物体的品牌、物体的价值或花费、物体的占用、或至少一个物体的任何其他标识或特征指示。
在一些实施例中，距离模块3204可以确定距可佩戴装置110的用户的检测到的人或物体估计物理距离的测量。在一些示例中，可以使用深度成像 (诸如：立体成像、主动立体成像、LIDAR成像等)来估计距检测到的人和/或物体的距离。立体成像可以包括使用空间分离的多个相机来形成来自不同方向的图像。然后可以从图像的差异中提取深度信息，以确定估计物理距离的测量。在一些实施例中，主动立体成像可以包括测量距人和/或物体的点的特定距离的一系列脉冲技术，并且可以包括例如激光脉冲或激光线扫描、雷达和超声波。
在其他实施例中，可以根据来自距离模块3204的软件指令采用LIDAR 技术，以确定对距人或物体的估计物理距离的测量。LIDAR一般涉及用于通过用激光照亮目标人或物体并检测光的反射来测量到目标人或物体的距离的系统和过程。例如，可以被包括在可佩戴装置110中的脉冲激光设备可以发射入射到人或物体表面上的光，并且可以在接收器处检测从人或物体的表面反射的脉冲光。计时器可以测量从光自激光设备发射到反射抵达接收器所经过的时间。基于经过时间的测量和光的速度，处理器210能够计算距目标人或物体的距离。
在一些实施例中，可佩戴装置110的距离模块3204的LIDAR系统中的接收器可以配备有诸如雪崩光电二极管(avalanche photodiode，APD)的传感器以检测特定波长的反射光脉冲。LIDAR系统还可以包括扫描机构，使得入射激光可以扫描目标人或物体上的多个点，并且可以生成包括物体距离或深度信息的3-D点云。机械LIDAR系统在本领域中是众所周知的，并且包括机械扫描机构以在多个覆盖点获得距离信息，并且可以被结合为可佩戴装置110的一部分。
在其他实施例中，可佩戴装置110可包括机械可旋转LIDAR系统，该系统可包括上部扫描机构和固定下部部件，以根据来自距离模块3204的软件指令确定距离。上部扫描机构可以包括预定数量的激光检测器对，并且可以以固定频率旋转以确定距人或物体的估计距离。来自距离模块3204的软件指令可以改变多个激光检测器对的操作，以及可以改变旋转频率以便捕获额外的数据并提供额外的距离测量。
在其他实施例中，距离模块3204可以基于捕获图像中的人和/或物体的像素大小、捕获图像中的位置，和/或基于人和/或物体的物理大小的估计来估计距检测到的人和/或物体的距离。例如，如果在捕获的图像中人和/或物体的像素大小被确定为大或覆盖大的像素区域，则可以估计距人和/或物体的短距离。相反，如果在捕获的图像中人和/或物体的像素大小被确定为小或覆盖小的像素区域，则可以估计距人和/或物体的远距离。类似地，如果捕获图像中的人和/或物体的位置被确定为在前景中，则可以估计距人和/或物体的短距离。相反，如果捕获图像中的人和/或物体的位置被确定为在背景中，则可以估计距人和/或物体的远距离。实际上，取决于具体实施方式的考虑，距离测量可以以与人和/或物体相关的任何合适的方式来估计，不限于这里的示例。
在一些实施例中，发送模块3206可以根据所确定的距离测量来发送与检测到的人和/或物体相关的信息。例如，信息可以从可佩戴装置110通信传送或发送到配对的设备(诸如计算设备120)，或者外部服务器(诸如服务器 250)。在一些实施例中，可佩戴装置110可以包括通信设备，诸如一个或多个无线收发器，如上面结合图5A-图5C所讨论的，该无线收发器可以跨网络240向例如计算设备120和/或服务器250发送信息
在一些实施例中，发送模块3206可以至少基于由距离模块3204估计的所确定的距离来确定是否发送信息。例如，发送模块3206可以确定是否根据预定距离阈值发送信息。例如，如果确定距人或物体的估计距离超过特定的预定距离估计(例如，大于1米、大于5米、大于10米等)，则信息可能不会发送到用户。可替换地，例如，如果确定距人或物体的估计距离在特定的预定距离估计内(例如，小于5米、小于2米、小于1米等)，则信息可以被发送到用户。
由发送模块3206发送的信息可以包括从图像中提取的任何有意义的数据，并且可以包括例如人的标识、名称、职称、性别、兴趣、爱好、政治面貌(例如，用户和至少一个人过去是否一起工作过)、休闲相关信息(例如，用户和至少一个人过去是否一起运动过、用户和至少一个人是否被预测为成功匹配、至少一个人是否单身等)、配对信息(例如，用户和至少一个人过去是否约会过)、或者关于可佩戴设备110可用的至少一个人的任何其他信息。由发送模块3206发送的信息还可以包括，例如，与检测到的物体相关的任何有意义的数据，诸如物体的描述、物体的价值、物体的品牌名称以及可佩戴设备110可用的关于至少一个物体的任何其他信息。在一些示例中，由发送模块3206发送的信息可以包括描绘至少一个人和/或物体的图像。例如，由检测模块3202识别为描绘至少一个人和/或物体的图像数据的部分可以由发送模块3206发送。在一些示例中，由发送模块3206发送的信息可以包括与通过分析图像识别的至少一个人和/或物体相关的属性。
在一些实施例中，检测模块3202可以检测多个人和/或物体，距离模块 3204可以确定距可佩戴装置110的用户的检测到的人和/或物体的估计物理距离的测量，并且发送模块3206可以至少基于由距离模块3204估计的距离来确定是否发送信息。例如，发送模块3206可以基于具有最小估计物理距离(例如，两倍估计物理距离、三倍估计物理距离等)的人和/或物体来确定阈值，发送与和小于所确定阈值的估计物理距离相对应的人和/或物体相关的信息，并拒绝发送与和大于所确定阈值的估计物理距离相对应的人和/或物体相关的信息。在另一示例中，发送模块3206可以例如使用聚类(clustering) 算法对由距离模块3204估计的距离进行聚类，并且利用与和不同聚类相对应的人和/或物体相关的信息来执行不同的动作，例如，这些动作可以包括发送与和一个聚类相对应的人和/或物体相关的信息，向可佩戴装置110的佩戴者提供关于和第二聚类相对应的人和/或物体的可听输出，存储与和第三聚类相对应的人和/或物体相关的信息，忽略与和第四聚类相对应的人和/或物体相关的信息，等等。
在一些实施例中，数据库访问模块3208可以与数据库3210协作以检索多个捕获的图像或任何类型的信息。取决于具体实施方式的考虑，数据库 3210可以被配置为存储模块3202-3208使用的任何类型的信息。例如，在动作执行数据库访问模块3208被配置为向可佩戴装置110的用户提供关于所识别的至少一个人或物体的信息的实施例中，数据库3210可以存储关于用户的社交、家庭或其他联系人的先前收集的信息。此外，数据库3210可以存储与捕获的图像相关联的元数据。在一些实施例中，数据库3210可以存储多个捕获图像中包括至少一个人或物体的一个或多个图像。在一些实施例中，数据库3210可以存储可以与可佩戴装置110捕获的一个或多个图像进行比较已知的人、地点或物体的图像。实际上，数据库3210可以被配置为存储与模块3202-3208的功能相关联的任何信息。
模块3202-3208可以以软件、硬件、固件、这些的任意组合等来实施。例如，如果模块以软件实现，则它们可以存储在存储器550中，如图32所示。然而，在一些实施例中，模块3202-3208中的任何一个或多个以及与数据库3210相关联的数据可以例如存储在处理器540中和/或位于服务器250 上，服务器250可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块3202-3208的指令。在一些实施例中，模块3202-3208的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块3202-3208可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例与一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备，以执行与每个模块相关联的功能。
图33A是根据公开的实施例的佩戴可佩戴装置并捕获人3222的图像的用户的示例的示意图3300。用户100可以佩戴与本公开一致实施例的可佩戴装置110(如图9所示)。捕获单元710可以位于用户100的衣物750的外表面上。捕获单元710还可以经由连接器730连接到电力单元720(在该图示中未示出)，连接器730缠绕衣物750的边缘。可佩戴装置110可以不同地定位在任何合适的位置，以使能用户环境的图像的捕获，诸如上面详细解释的位置。用户100可以在任何位置并且参与在用户日常活动期间遇到的任何交互。例如，用户100可以在便利店、杂货店、体育活动、社交活动、工作相关活动、电影院、音乐会等。可佩戴装置110可以捕获描绘当用户100参与他/她所选择的活动时用户所暴露的环境的多个图像。例如，在所示实施例中，可佩戴装置110可以捕获包括人3222的图像。
可以分析捕获的图像以估计以下各项中的至少一项：人3222的年龄、人3222的身高、人3222的体重、人3222的性别等。例如，分析可以确定人3222的性别是男性。在其他实施例中，可以分析图像以识别以下各项中的至少一项：与人相关联的动作、与人相关联的产品、人的面部表情、人的情绪状态和/或其他副语言指示。例如，如图33A所示，分析可以确定人3222 正在微笑并且处于快乐的情绪状态。如上文关于检测模块3202所讨论的，可以根据任何数字处理技术来分析捕获的图像，以识别人3222，并使用上文关于距离模块3204所讨论的任何机构来测量从用户到人3222的估计物理距离。
在一些实施例中，捕获单元710可以捕获人3222的图像，并且可以估计到人3222的距离D。可以根据来自距离模块3204的指令来估计距检测到的人3222的距离D，以实现深度成像中的至少一个，诸如：立体成像、主动立体成像、LIDAR成像等等。例如，在一个实施例中，可佩戴装置110 可以包括至少一个LIDAR传感器。如上所述，可佩戴装置110可以配备有诸如雪崩光电二极管(APD)的LIDAR传感器以检测特定波长的反射光脉冲。LIDAR系统还可以包括扫描机构，使得入射激光可以扫描目标人上的多个点，并且可以生成包括物体距离或深度信息的3-D云，以提供距人3222 的距离D的估计。
在一些示例中，可以基于捕获的图像中的人3222的像素大小、捕获的图像中的人3222的位置，并且可能基于对人3222的物理大小(身高和体重) 的估计来估计距检测到的人3222的距离D。例如，如果在捕获的图像中人的像素大小被确定为大或者覆盖大的像素区域，则可以估计距人的短距离。相反，如果在捕获的图像中人的像素大小被确定为小或覆盖小的像素区域，则可以估计距人的远距离。
在一些实施例中，可以至少部分地基于估计距离D来确定对人的亲密度测量。例如，可以基于距离D来估计用户100喜欢或不喜欢人3222的程度。当用户100喜欢人3222时，距离D可以小，而当用户100不喜欢人3222 时，距离D可以大。也可以基于亲密度测量来更新社交图谱(未示出)。以上结合图26-图28B提供了关于亲密度测量的附加细节。
图33B是根据公开的实施例的更新社交网络简档的示例的示意图。社交网络简档3310可以显示为个性化社交媒体页面的一部分，并链接到用户的社交媒体账户。在一些情况下，社交网络简档3310可以包括用户100的名称3320，并且还可以包括更新期间作为社交网络简档3110的一部分的人 3222的捕获图像。如图33B所示，用户3320“Mike Smith”被链接到他的社交网络简档3310，并且社交网络简档3310可以包括诸如“新闻提要”、“消息”、“商业”、“快捷方式”、“事件”、“群组”、“保存”和“页面”功能的特征，以定制和控制社交网络简档3310。用户3320可以发布文本、照片和视频内容，以及共享表示用户3320当前情绪状态的任何表情符号或其他副语言指示。
在一些实施例中，社交网络简档3310可以包括向其他用户通知或警告用户3320在人3222的陪伴中。例如，如图33B所示，通知可以包括“Mike Smith与Joe Johnson在一起”的文本发布3380，并且可以包括人3222的图片发布或“Joe Johnson”的图像。当确定用户100在距人3222的预定阈值距离D内时，可以触发该更新。更新的发布可以保持直到确定用户100不再在距人3222的预定阈值距离D内。该确定可以基于在所选择的时间段内对人3222的多个图像的图像分析来做出。更新可仅包括社交网络简档3310的文本和图片改变中的一个或这两者。另外，显示在社交网络简档3310内的人3222的大小可以基于从用户100到人3222的距离D的减小或增加而增加或减小。例如，所显示的人3222的大小可以与距离D、log(D)、针对一些常数A和B的exp((D-A)/B)、针对一些单调递增的函数f的f(D)，等等成比例。更新还可以包括直接发送给包括用户100的社交网络在内的朋友的附加提醒或通知，并且提醒或通知也可以作为用户100的社交网络中的朋友能够订阅和/或关注的可共享馈送的一部分来分发。相互的朋友和不直接属于用户100 的社交网络的朋友也能够基于用户100设置的可调节社交媒体设置来接收警报或通知。
图33C是根据公开的实施例的佩戴可佩戴装置并捕获用户环境中的物体的图像的用户的示例的示意图3330。在一些实施例中，可以获得从可佩戴装置的用户的环境中捕获的多个图像。可以分析多个图像以检测物体。帐篷 3332可以被包括在多个捕获的图像中。
捕获单元710可以捕获物体或帐篷3332的图像，并且可以估计距帐篷 3332的距离D。可以使用深度成像(诸如：立体成像、主动立体成像、LIDAR 成像等)来估计距检测到的帐篷3332的距离D。例如，在一个实施例中，可佩戴装置110可以包括至少一个LIDAR传感器。如上所述，可佩戴装置 110可以配备有诸如雪崩光电二极管(APD)的LIDAR传感器以检测特定波长的反射光脉冲。LIDAR系统还可以包括扫描机构，使得入射激光可以扫描目标物体上的多个点，并且可以生成包括物体距离或深度信息的3-D点云，以提供距物体3332的距离D的估计。在一些示例中，可以基于捕获图像中帐篷3332的像素大小、帐篷3332在捕获图像中的位置，并且可能基于帐篷3332的物理大小(长度、宽度和深度)的估计来估计距检测到的帐篷 3332的距离D。帐篷3332的接近度测量可以至少部分地基于估计距离D。例如，可以基于距离D来确定用户100接近或远离帐篷3332的程度。此外，与距离D测量相关联的信息可以存储在存储器中和/或发送到外部设备。
在一些实施例中，捕获的音频数据可由麦克风捕获并被分析以识别与帐篷3332相关联的音频主题。例如，捕获到的音频数据可以包括来自自然的声音，诸如湍急的河流急流或者在帐篷3332附近确定的其他声音，并且可以指示帐篷3332和/或相关联的宿营地的位置。与本公开一致，还可以分析所捕获的照明数据(诸如强度或亮度)以确定日期、日出、日落等时间。
图33D是根据公开的实施例的更新社交网络简档的示例的示意图。社交网络简档3340可以显示为个性化社交媒体页面的一部分，并链接到用户的社交媒体账户。在一些情况下，社交网络简档3340可以包括用户100的名称3344，并且还可以包括在更新期间作为社交网络简档3340的一部分的帐篷3332的图像。如图33D所示，用户3344“Mike Smith”链接到他的社交网络简档3340，并且社交网络简档3340可以包括诸如“新闻提要”、“消息”、“商业”、“快捷方式”、“事件”、“群组”、“保存”和“页面”功能的特征，以定制和控制社交网络简档3340。用户3344可以与物体或帐篷3332的检测相关联地发布文本、照片和视频内容，以及共享表示用户3344当前情绪状态的任何表情符号或其他副语言指示。
在一些实施例中，社交网络简档3340更新可以包括向其他用户通知或警告用户3344位于帐篷3332的位置。例如，如图33D所示，通知可以包括“Mike Smith在当地营地”的文本发布3390，并且可以包括帐篷3332的图片发布。当确定用户3344在距帐篷3332的预定阈值距离D内时，可以触发该更新。更新的发布可以保持直到确定用户3344不再在距帐篷3332的预定阈值距离D内。该确定可以基于帐篷3332在一段时间内的多个图像的图像的分析来做出。更新可以仅包括社交网络简档3340的文本和图片改变中的一个或这两者。另外，社交网络简档3340内显示的帐篷3332的大小可以基于从用户100到帐篷3332的距离D的减小或增加而增加或减小。例如，所显示的帐篷3332的大小可以与距离D、log(D)、针对一些常数A和B的 exp((D-A)/B)、针对一些单调递增函数f的f(D)等成比例。在其他实施例中，可以分析图像以估计以下各项中的至少一个：诸如帐篷3332的物体的位置、物体的GPS位置、物体的品牌、物体的价值或花费、物体的占用状态或其他特征指示。
图34是用于向可佩戴装置的用户提供信息的方法3400的示例的流程图。方法3400的步骤可以由服务器250的一个或多个处理器和/或存储器550 以及存储器模块3200执行。
在步骤3402，检测模块3202可以检测可佩戴装置的用户的环境中的人或物体。检测模块3202可以以类似于数据捕获模块2601和人识别模块2602 的方式操作，如图26所示。检测模块3202可以包括用于从诸如可佩戴相机系统的可佩戴装置110接收数据的软件指令，并且可以包括用于分析由可佩戴装置110获得的数据以识别与至少一个人相关联的人或物体的软件指令。物体可以包括例如人3222或帐篷3332。在一些实施例中，检测模块3202可以检测或识别包括人3222或物体3332的捕获数据的子集或部分。在一些实施例中，检测模块3202可以被配置为接收包括人3222或物体3332的多个图像。例如，检测模块3202可以接收佩戴着可佩戴设备110的用户周围环境的多个图像，并且可以识别多个图像中的哪一个图像包括人3222或物体3332。
在一些实施例中，可以通过执行被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、诸如面部姿态或表情的副语言指示、身体形状、或人3222 的任何其他合适的识别特征的面部识别算法来执行检测分析。可以分析多个图像以估计人3222的年龄、人3222的身高、人3222的体重、人3222的性别、与人3222相关联的动作、与人3222相关联的产品、以及与帐篷3332 和与帐篷3332相关联的人3222相关联的动作。分析可以包括提取有意义的数据，并且可以采用数字处理技术来识别在数字图像中捕获的人或物体。
在步骤3404，距离模块3204可以确定从用户到检测到的人和/或物体的估计物理距离的测量。例如，可佩戴装置110可以包括至少一个LIDAR传感器。如上所述，可佩戴装置110可以配备有诸如雪崩光电二极管(APD) 的LIDAR传感器以检测特定波长的反射光脉冲。LIDAR系统还可以包括扫描机构，使得入射激光可以扫描目标人上的多个点，并且可以生成包括物体距离或深度信息的3-D点云，以提供距人3222或帐篷3332的距离D的估计。在其他示例中，可以基于捕获的图像中的人3222或帐篷3332的像素大小、捕获的图像中的位置，并且可能基于人3222或帐篷3332的物理大小的估计来估计距检测到的人和/或物体的距离。在一些实施例中，多个图像可以描绘可佩戴装置的用户的环境中的第二物体，并且可以确定用于基于发送的第二距离测量。第二测量可以包括从用户到第二物体的估计物理距离。
在步骤3406，发送模块3206可以基于所确定的物理距离测量来发送与检测到的人和/或物体相关的信息。如所讨论的，在一些实施例中，发送模块 3206可以根据预定距离阈值确定是否发送信息(例如，当所确定的距离测量在预定距离阈值内时)。信息可以经由通信设备(例如，无线收发器530)从可佩戴装置110通信传送或发送到配对的设备(诸如计算设备120)或者外部服务器(诸如服务器250)。在一些实施例中，发送模块3206可以基于与捕获图像中识别的至少一个人或物体相关联的信息，向可佩戴装置110的用户提供信息。
在一些实施例中，可以发送与检测到的物体相关的信息以更新社交图谱和社交网络简档中的至少一个。当确定用户100在距人或物体的预定阈值距离内时，可以触发该更新。更新可以保持在适当的位置，直到确定用户100 在所选择的的时间段内不再处于距人或物体的预定阈值距离内，直到另一通知到达，等等。更新可以包括文本和/或图片发布的通知，并且可以基于与检测到的人或物体相关的信息。
在一些实施例中，方法3400的步骤3406可以由基于所确定的物理距离测量、用与检测到的人和/或物体相关的信息执行其他动作的其他步骤代替。例如，当与检测到的人和/或物体相对应的所确定的物理距离测量小于所选择的阈值时，方法3400可以提供关于检测到的人和/或物体的可听信息。在另一示例中，可以在与检测到的人和/或物体相对应的确定的物理距离测量上确定提供给用户的细节的级别(例如，作为可听和/或可见输出)，例如，如上文结合图26-图28B所述。
提供社交媒体推荐
在一些实施例中，可佩戴装置110可以分析由被包括在可佩戴装置中的可佩戴图像传感器捕获的一个或多个图像，基于对一个或多个捕获图像的分析获得信息，并且基于获得的信息为至少一个新的社交网络联系人生成一个或多个联系人推荐。在一些实施例中，一个或多个联系人推荐可以包括新的社交网络联系人推荐，并且至少一个新的社交网络联系人可以是一个或多个社交网络的成员。
一些现有的可佩戴设备系统可能会遇到如何处理由可佩戴设备收集的信息并使用该信息向用户提供有用反馈的技术挑战。当前公开的一些实施例可以通过基于由可佩戴设备捕获的图像数据向用户提供社交媒体推荐来解决这个问题。因此，推荐可以是有针对性的，因为它们可以基于与可佩戴设备的用户遇到的人和/或物体相关的信息。
例如，在一个实施例中，可佩戴装置(例如，可佩戴装置110)可以分析图像以用于基于在用户环境中捕获的图像来提供社交媒体推荐。该分析可以包括提取有意义的数据，并且可以采用数字处理技术以获得在数字图像中捕获的信息，该信息可能与提供社交媒体推荐相关。在一些实施例中，所获得的信息可以包括存在于用户环境中的至少一个人的身份信息。可以基于与所识别的人的交互和与所识别的人的交互的长度来做出用户的至少一个联系人推荐。用户的至少一个联系人推荐还可以包括社交网络中的新联系人。在其他实施例中，所获得的信息可以包括与可佩戴装置的用户的环境中存在的活动或物体相关的信息。例如，活动可以包括读书，并且物体可以包括作者写的书。所获得的信息还可以包括与该书的作者相关的信息。
如上所述，系统200可以包括由用户100佩戴的可佩戴装置110，以及能够经由网络240与可佩戴装置110通信的可选计算设备120和/或服务器 250。与本公开一致，装置110可以分析图像数据以获得在数字图像中捕获的信息，并且可以提供社交媒体推荐，如下文更详细描述的。装置110还可以向计算设备120发送信息，该计算设备120可以是例如其中安装有专用应用的智能电话或平板电脑。包括多个用户可调特征社交媒体设置的图形用户界面(GUI)可以被包括在计算设备120的显示器260上，以可见地向操作用户输出社交媒体推荐。附加地或可替换地，服务器250可以接收基于可佩戴装置110捕获的图像数据的信息，服务器250可以分析接收的信息以提供社交媒体推荐，如下文更详细描述的，并且将信息发送到与可佩戴装置110 的用户相关联的计算设备120，该计算设备120可以是例如其中安装有专用应用的智能电话或平板电脑。
图35示出了与本公开一致的包含软件模块的存储器的示例性实施例。特别地，如图所示，存储器3500可以包括分析模块3502、信息模块3504、推荐模块3506、数据库访问模块3508和数据库3510。模块3502、3504、3506 和3508可以包含用于由可佩戴装置(例如，可佩戴装置110)所包括的至少一个处理设备(例如，处理器210)执行的软件指令。分析模块3502、信息模块3504、推荐模块3506、数据库访问模块3508和数据库3510可以协作以分析捕获的图像，基于分析获得信息，并生成和提供联系人推荐。可以为可佩戴装置的用户生成联系人推荐。在一些实施例中，可以为可佩戴装置的用户和其他人生成联系人推荐。此外，联系人推荐可以用于新的社交网络联系人。在一些实施例中，如上所述，存储器3500可以被包括在例如存储器 550中。此外，在其他实施例中，存储器3500的组件可以分布在不止一个位置上(例如，存储在与例如网络240通信的服务器250中)。
在一些实施例中，分析模块3502可以分析由可佩戴装置中所包括的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像。分析模块3502可以以类似于检测模块3202的方式操作，如图32所示并如上所述。分析模块3502可以包括用于从诸如可佩戴相机系统的可佩戴装置110接收数据的软件指令，并且可以包括用于分析可佩戴装置110获得的数据以识别与至少一个人相关联的人、活动或物体的软件指令。从可佩戴相机系统接收的数据可以包括由例如与可佩戴相机系统相关联和/或与音频主题有关的图像传感器或麦克风捕获的音频和图像数据。由麦克风捕获的音频数据可以识别与人相关联的音频主题。图像数据可以包括原始图像，并且可以包括已经处理的图像数据。例如，可以以具有或者不具有嵌入的元数据的静止图像和视频数据的形式提供原始图像。在一些实施例中，图像数据和音频数据可以在被分析模块3502捕获之前被预处理。预处理可以包括例如降噪、伪像去除、压缩和其他图像预处理技术。
在一些实施例中，分析模块3502可以检测或识别包括至少一个人、活动或物体的捕获数据的子集或部分。在一些实施例中，分析模块3502可以被配置为接收包括至少一个人或物体的多个图像。例如，分析模块3502可以接收佩戴着可佩戴设备110的用户周围环境的多个图像，并且可以识别多个图像中的哪一个图像包括至少一个人或物体。
在一些实施例中，可以通过执行被设计成检测面部特征(例如，嘴、眼睛等)、面部轮廓、诸如面部姿态或表情的副语言指示、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行分析。在其他实施例中，可以使用被设计成基于由至少一个人生成的热来检测至少一个人的存在的热特征算法来识别至少一个人。在这样的实施例中，可佩戴设备110可以单独地或者与视觉图像组合地捕获热图像，以用于由热特征算法处理。在可佩戴设备110在降低的照明情况下操作的实施方式中，至少一个人的热识别可以是期望的。在一些实施例中，可以通过应用一种或多种分类技术来识别至少一个人。例如，可以使用至少一种图像分类技术来分类图像的至少一个特征，诸如用户的特定活动(诸如读书)。在一些实施例中，图像分类技术可以包括图像增强、边缘检测、图像分析和数据提取中的至少一个或多个。
在一些示例中，可以使用面部检测算法、使用被训练成检测图像中的面部和/或人的神经网络等来检测至少一个人。在一些示例中，可以使用面部识别算法、使用被训练成识别图像中的人的神经网络等来识别至少一个人。在其他示例中，可以使用物体检测算法、使用被训练成检测图像中的物体和/ 或关联特征的神经网络等来检测至少一个物体。在一些示例中，可以使用物体识别算法、使用被训练成识别图像中的物体的神经网络等来识别至少一个物体。用于识别至少一个人或至少一个物体(诸如书)的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到保持与本公开一致的用于识别至少一个人或物体的其他方法。
信息模块3504然后可以基于对至少一个捕获图像的分析结果获得信息。例如，信息模块3504还可以被配置为确定或获得与(多个)图像中识别的至少一个人或物体相关联的信息。信息模块3504可以例如访问本地数据库 (例如，数据库3510)和/或一个或多个远程数据库(例如，经由服务器250 可用的)以基于分析来搜索信息。可以为至少一个人获得的信息可以包括至少一个人的名称、昵称、社会保险号码、账号或任何其他标识。为至少一个物体获得的信息可以包括物体的长度、宽度、深度、GPS位置、物体的品牌、物体的价值或花费、物体的占用、或至少一个物体的任何其他标识或特征指示。在一些实施例中，信息模块3504可以获得或确定人与物体相关的至少一个活动，诸如读书的人，并且基于活动或与活动相关的信息(例如，正在读的书的作者)搜索本地或远程数据库。
推荐模块3506然后可以基于所获得的信息为用户生成至少一个联系人推荐。在一些实施例中，推荐模块3506可以基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐。例如，至少一个联系人推荐可以包括针对用户和/或针对用户以外的人的新社交网络联系人的推荐。在一些实施例中，新社交网络联系人以及用户和/或用户以外的人可以是一个或多个共同社交网络的成员。
推荐模块3506可以促进所获得的信息和相应推荐的发送。例如，信息可以从可佩戴装置110通信传送或发送到配对的设备(诸如计算设备120)，到与可佩戴装置110的用户和/或用户以外的人相关联的设备，到外部服务器 (诸如服务器250)，等等。
在一些实施例中，推荐模块3506可以基于与捕获的图像中识别的至少一个人或物体相关联的信息，向可佩戴装置110的用户提供社交媒体推荐。至少一个其他人也可以接收社交媒体推荐。
至少一个联系人推荐可以包括，例如，人的名称、职称、性别、兴趣、爱好、政治面貌(例如，用户和至少一个人过去是否一起工作过)、休闲相关信息(例如，用户和至少一个人过去是否一起运动过、用户和至少一个人是否被预测为成功匹配、至少一个人是否单身等)、配对信息(例如，用户和至少一个人过去是否约会过)等中的任何一个或多个。至少一个联系人推荐还可以包括例如与检测到的物体或活动相关的任何有意义的数据，诸如物体的描述、物体的价值、物体的品牌名称等中的一个或多个。
在一些实施例中，例如由上述步骤2810计算的，推荐模块3506还可以基于用户和社交网络中的至少一个人之间的亲密度，为用户生成至少一个联系人推荐。
在一些实施例中，数据库访问模块3508可以与数据库3510协作以检索多个捕获的图像或任何类型的信息。取决于具体实施方式的考虑，数据库 3510可以被配置为存储模块3502-3508使用的任何类型的信息。例如，在数据库访问模块3508被配置为提供关于检测到的人的信息的实施例中，数据库3510可以存储关于检测到的人的社交、家庭或其他联系人的先前收集的信息。此外，数据库3510可以存储与捕获的图像相关联的元数据。在一些实施例中，数据库3510可以存储多个捕获图像中包括至少一个人或物体的一个或多个图像。在一些实施例中，数据库3510可以存储社交图谱，诸如社交网络的社交图谱。实际上，数据库3510可以被配置为存储与模块 3502-3510的功能相关联的任何信息。
模块3502-3508可以以软件、硬件、固件、任何这些的混合等来实施。例如，如果模块以软件实施，则它们可以存储在存储器550中，如图35所示。然而，在一些实施例中，模块3502-3508中的任何一个或多个以及与数据库3510相关联的数据可以例如存储在处理器540中和/或位于服务器250 上，服务器250可以包括一个或多个处理设备。服务器250的处理设备可以被配置为执行模块3502-3508的指令。在一些实施例中，模块3502-3508的各方面可以包括可由一个或多个处理器单独或以彼此的各种组合执行的软件、硬件或固件指令(或其组合)。例如，模块3502-3508可以被配置为与彼此交互和/或与服务器250和/或可佩戴相机系统的其他模块交互，以执行与公开的实施例一致的功能。在一些实施例中，任何公开的模块可以每个包括专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备以执行与每个模块相关联的功能。
图36A是根据公开的实施例的佩戴可佩戴装置并捕获人的图像的用户的示例3600的示意图。用户100可以佩戴与本公开的实施例一致的可佩戴装置110(如图9所示)。捕获单元710可以位于用户100的衣物750的外表面上。捕获单元710还可以经由连接器730连接到电力单元720(在该图示中未示出)，连接器730缠绕衣物750的边缘。
如图所示，捕获单元710可以捕获包括人3622的图像，并且处理器可以确定人3622的身份以用于提供社交媒体推荐的。此外，捕获单元710还可以捕获书3626，并且处理器可以确定书3626的作者。
可佩戴装置110可以不同地定位在任何合适的位置，以使能用户环境的图像的捕获，诸如上面详细解释的位置。用户100可以在任何位置并且参与在用户日常活动期间遇到的任何交互。例如，用户100可以在便利店、杂货店、体育活动、社交活动、工作相关活动、电影院、音乐会等。可佩戴装置 110可以捕获描绘当用户100参与他/她所选择的活动时用户所暴露的环境的多个图像。例如，在所示实施例中，可佩戴装置110可以捕获包括人3622 的图像。
可以根据来自信息模块3504的软件指令来分析捕获的图像以获得信息。例如，可以分析图像3630以获得信息，该信息包括人3622的年龄、人3622 的身高、人3622的体重、人3622的性别、适于面部识别分析的人3622的面部特征等。例如，分析可以确定名为“Veronica”的人3622的性别是女性。在其他实施例中，可以分析图像以识别以下各项中的至少一项：与人相关联的动作或活动、与人相关联的产品、人的面部表情、人的情绪状态和/或其他副语言指示。例如，分析可以确定“Veronica”正在读书。信息模块3504可以从图像3630获得信息，该信息可以包括与可佩戴装置的用户环境中存在的活动相关的信息、与可佩戴装置的环境中存在的物体相关的信息、以及可佩戴装置的用户环境中存在的人3622的身份信息。例如，信息模块3504可以获得包括与“Veronica”正在读的书的作者相关的信息的信息。
图36B是根据公开的实施例的生成联系人推荐3610的示例的示意图。例如，在一些实施例中，针对可佩戴装置的用户的新联系人推荐可以基于从使用可佩戴装置捕获的图像数据中获得的信息。例如，可以识别出现在捕获的图像数据中的人和物体，并且可以基于他们的身份来做出社交媒体推荐。在一些实施例中，可佩戴装置110可以跨网络240向计算设备120和/或服务器250发送包括社交媒体推荐的信息，并且推荐模块3506可以基于与捕获图像中识别的至少一个人、活动或物体相关联的信息向可佩戴装置110的用户提供社交媒体推荐。
如图36B所示，可以向可佩戴图像设备110的用户提供GUI，该GUI 显示在捕获的图像中被识别为“Veronica”的人3622的简档图像3630的联系人推荐。联系人推荐3610可以基于获得的信息做出。例如，所获得的信息可以指示“Veronica”正在读的书是由用户已经读过的作者写的。联系人推荐可以根据在提供推荐3610之前获得的信息从数据库3510中获得用户作者信息。如图36B所示，用户可以选择按钮3624将“Veronica”作为朋友添加到他的社交网络。用户还可以选择GUI中显示的“评论”、“信息”和“好友(duddies)”以查看与“Veronica”相关的评论、导致联系人推荐3610的所获得的信息、以及在决定将“Veronica”添加到他的社交网络之前“Veronica”在她的网络中所拥有的好友或其他联系人。在一些示例中，系统可以访问数据库3510中用户最喜欢的作者的列表，可以确定“Veronica”正在读的书的作者是否在列表中，并且可以基于所述确定来决定是否提供联系人推荐 3610，例如，如果作者在列表中，则提供联系人推荐3610，如果作者不在列表中，则不提供联系人推荐3610或者求转向其他决定规则。在一些示例中，系统可以例如使用上述的距离模块3204来测量距“Veronica”的距离，并且可以基于所测量的距离来决定是否提供联系人推荐3610，例如当所测量的距离大于所选择的距离时拒绝联系人推荐3610。在一些示例中，系统可以例如使用上述的物理存在识别模块2002和/或步骤2210来确定人是否物理存在，并且可以基于人是否存在来决定是否提供联系人推荐3610。在一些示例中，系统可以例如使用上述的物理存在识别模块2002和/或步骤2240来确定人是否在显示器上可见，并且可以基于人是否在显示器上可见来决定是否提供联系人推荐3610。在一些示例中，系统可以例如使用上述物理存在识别模块 2002来确定人是否为在照片中可见，并且可以基于人是否在照片中可见来决定是否提供联系人推荐3610。
图36C是根据公开的实施例的用户佩戴可佩戴装置110并在用户环境中捕获人3520的图像的示例3634的示意图。用户100可以佩戴与本公开的实施例(如图9所示)一致的可佩戴装置110，并且在上面结合图36A进行了讨论。
如图36C所示，捕获单元710可以捕获包括人3520的图像，并且处理器可以确定人3520的身份以用于提供社交媒体推荐。如图36C所示，“Sally Cooper”3520的图像被捕获，并且来自她的图像的信息可以以图36D中讨论的社交媒体推荐的形式被收集。
图36D是根据公开的实施例的生成联系人推荐3640的示例的示意图。在一些实施例中，可以基于与至少一个其他人的交互级别或长度来做出联系人推荐。例如，可以做出社交媒体推荐，并且该社交媒体推荐还可以基于与所识别的人的交互类型、交互的长度等。如图36D所示，用户与人3520的交互可以产生社交媒体推荐。如图36D所示，可以提供添加新联系人“Sally Cooper”的推荐。
如图所示，可以在GUI中显示具有基于建议文本3646的邀请朋友按钮 3644的邀请朋友窗口3642，例如“Mike Smith建议以下朋友”。可以向除了用户或捕获图像中的人之外的人提出该建议。例如，不是直接向人3520提供社交媒体推荐，而是向另一个人(例如，可佩戴装置的用户的联系人，例如Mike Smith)提供添加“Sally Cooper”的社交媒体建议。
在一些实施例中，可以获得基于由一个或多个可佩戴装置捕获的第二多个图像的第二信息。例如，第二信息可以包括与和人3520相关联的拉伸、锻炼或瑜伽姿势相关联的信息。生成至少一个推荐也可以基于第二信息。例如，因为人3520喜欢锻炼，所以可以根据数据库3510中存储的信息向也喜欢锻炼的可佩戴装置的用户的朋友做出社交推荐。在一些示例中，多个可佩戴装置可以与多个用户相关联，以生成多个社交媒体内容推荐。在其他实施例中，生成至少一个推荐也可以基于出现在多个图像中的人的身份。在一些示例中，多个可佩戴装置可以与多个用户相关联，可以分析基于由两个或更多个可佩戴装置捕获的图像数据的信息(例如，通过分析上述简档2400)，并且生成至少一个推荐也可以基于分析结果。
图37是根据公开的实施例的用于基于捕获的图像提供推荐的方法3700 的示例的流程图。方法3700的步骤可以由服务器250的一个或多个处理器和/或存储器550或存储器模块3500执行。
在步骤3702，分析模块3702可以分析由可佩戴图像传感器捕获的至少一个图像。例如，如前所述，分析模块3702可以分析至少一个图像以检测人、物体和/或活动。可以通过执行被设计成检测面部特征(例如，嘴、眼睛等)面部轮廓、诸如面部姿态或表情的副语言指示、身体形状、或任何其他合适的人的识别特征的面部识别算法来执行对包括在至少一个图像中的人的分析。
在步骤3704，信息模块3504可以基于捕获图像的分析结果获得信息。例如，根据来自信息模块3504的软件指令所获得的信息可以包括在至少一个图像中检测到的人的年龄、身高、体重、性别等。在一些实施例中，所获得的信息可以包括与可佩戴装置的用户的环境中存在的活动或物体相关的信息。例如，物体可以包括作者写的书，并且所获得的信息可以包括与作者相关的信息(例如，存储在数据库3510中)。在一些示例中，所获得的信息还可以包括存在于可佩戴装置110的用户的环境中的至少一个其他人的身份信息。
在步骤3706，推荐模块3706可以生成可佩戴装置110的用户和/或除用户之外的人的至少一个联系人推荐。另一个人可以是用户已知的人或用户的新社交网络联系人。如前所述，至少一个联系人推荐可以包括对新社交网络联系人的推荐(例如，作为用户和/或至少一个其他人也可以是其成员的社交网络成员的人)。
在步骤3708，推荐模块可以向用户和/或其他人提供联系人推荐。例如，推荐模块3506可以基于与捕获的图像中识别的至少一个人或物体相关联的信息，向可佩戴装置110的用户提供社交媒体推荐。在一些实施例中，用户的至少一个联系人推荐可以基于与所识别的人的交互和交互的长度。联系人推荐可以包括用户窗口中对用户添加新朋友的推荐，如图36B所示，和/或可以基于捕获图像中检测到的用户的身份。可替换地，如图36D所示，联系人推荐可以基于捕获图像中的用户的身份，并可以提供给另一个人或用户。该推荐可以包括用户和所识别的人在被认为值得所识别的人友谊的人处的共同朋友。在一些实施例中，用户的联系人推荐可以包括社交网络中的新联系人。用户的联系人推荐还可以包括社交网络中的现有联系人。联系人推荐可以被提供给用户和至少一个其他人中的一个或这两者。
提供视场的视觉反馈
在一些实施例中，可佩戴装置(例如，可佩戴装置110)可以包括被配置为一起移动的至少一个图像传感器和至少一个投影仪，并且该投影仪可以被配置为发射显示至少一个图像传感器的视场边界的光图案。
在一些示例中，至少一个投影仪可以由诸如处理单元210的处理单元控制。处理单元可以激活(active)和/或去激活(deactive)至少一个投影仪。在一些示例中，可以至少部分地基于出现在使用至少一个图像传感器捕获的图像中的视觉触发来激活和/或去激活至少一个投影仪。在一些示例中，至少部分地基于与使用至少一个图像传感器捕获的图像相关联的视觉上下文，可以激活和/或去激活至少一个投影仪。
在一些实施例中，可佩戴装置(例如，可佩戴装置110)可以获得从可佩戴装置的用户的环境中捕获的多个图像。可以分析多个图像以识别视觉触发。至少一个投影仪可以被配置为例如基于视觉触发的识别来投影光图案。在一些示例中，光图案可以指示图像传感器的视场。在一些示例中，光图案可以包括两条平行线；例如，两条平行线显示图像传感器视场的两条边界。在一些示例中，光图案可以包括两条垂直线；例如，显示图像传感器视场的两个边界的两条垂直线。在一些示例中，光图案可以包括矩形图案中的线或虚线；例如，显示图像传感器视场边界的矩形图案。
如前所述，可以激活和/或去激活至少一个光投影仪的视觉触发可以包括手势。在一些示例中，视觉触发可以包括出现在多个图像中的文本文档。在一些示例中，第一视觉触发可以出现在多个图像中的至少第一个图像中，以激活至少一个投影仪。例如，在被激活达所选择的的持续时间之后、在识别出第二视觉触发之后等等，至少一个投影仪也可以被去激活。第二触发可以出现在多个图像中的至少第二图像中。
图38A提供了可佩戴装置110的示意图，包括装配有图像传感器系统 220的眼镜130，眼镜130可以包括光投影仪3802，诸如上述的光投影仪。如所讨论的，光投影仪3802可以向可佩戴装置110的用户提供与可佩戴装置上提供的一个或多个图像传感器相关联的视场的反馈。以这种方式，可以通过视觉指导向用户通知装置的一个或多个图像传感器瞄准的位置、那些传感器“看到”了什么、和/或处理设备可以通过处理由(多个)图像传感器捕获的图像有效分析的文本或物体的什么区域。
例如，在一些实施例中，配备有光投影仪3802的可佩戴装置(例如，可佩戴装置110)可以通过向用户提供对被包括在可佩戴装置中的一个或多个图像传感器的视场的指示，来帮助视觉上受损的可佩戴装置的用户。这种信息可以帮助用户通过使用手势向可佩戴装置提供输入，手势可以作为用于使可佩戴装置采取某些动作的触发。
尽管图38A将光投影仪3802描绘为在图像传感器系统220周围，但是光投影仪3802可以以适当的方式或位置布置在可佩戴装置110上。例如，光投影仪3802可以位于图像传感器系统220的上方、下方或旁边。在一些实施例中，光投影仪3802可以附接到可佩戴装置110的侧表面(例如，位于除了包括图像传感器系统220的表面之外的表面上)或者被包括在附接到可佩戴装置110的组件中。可以考虑光投影仪3802的任何适当的位置和定位。
在一些实施例中，光投影仪3802和图像传感器系统220可以被配置为例如通过连接和/或安装到如图38A所示的眼镜130而与用户的头部一起移动。
尽管图38A所示的示例示出了装置110，其包括装配有图像传感器系统 220的眼镜130，但是在其他实施例中，光投影仪(诸如光投影仪3802)可以被包括在图1-图16所示的可佩戴装置110的任何变型中，以及在图38B 所示的示例中。
图38B示出了与公开的实施例一致的可以固定到衣物上的可佩戴装置的示例。具体地，图38B提供了可佩戴装置3800的示意图，包括装配有图像传感器系统220的捕获单元3804。捕获单元3804可以位于用户100的衣物750的外表面上。捕获单元3804可以经由连接器连接到电力单元720(在该图示中未示出)，该连接器可以缠绕在衣物750的边缘上。捕获单元3804 还可以包括光投影仪，诸如上述的光投影仪3802。与本公开一致，光投影仪3802可以生成光并将光投影到用户的环境中的表面、物体、文本等上。尽管图38B将光投影仪3802描绘为在图像传感器系统220周围，但是光投影仪 3802可以以适当的方式或位置布置在可佩戴装置3800上，如以上结合图38A 所讨论的。
光投影仪3802可以被配置为包括能够生成光并将光投射到用户的环境中的表面、物体、文本等上的任何一个或多个组件。在一些实施例中，光投影仪3802可以包括发光二极管(LED)。在一些实施例中，光投影仪3802 可以包括LED阵列。LED阵列可以以任何合适的布置定位，诸如在与系统 220相关联的图像传感器的孔径周围。在一些情况下，光投影仪3802可以包括一个或多个光路改变结构。例如，光投影仪3802可以包括一个或多个镜片以将来自光源的光沿着期望的光路引导到用户的环境中的表面或物体上等。光投影仪3802还可以包括一个或多个光罩或护罩，以帮助选择性地仅照亮用户环境中的表面或物体的一部分(例如，通过阻挡光或以其他方式减少或限制从光投影仪3802的一个或多个光源发射的光场)。
除了LED之外，光投影仪3802还可以包括一个或多个固态激光器。这种激光器(和/或LED)可用于照亮相对于用户环境中的表面或物体的固定区域。然而，在其他实施例中，激光器和/或LED可以被配置为扫描用户环境中的表面或物体的至少一部分。例如，这种扫描光源可以在特定图案上扫描，使得图案的部分在不同时间被照亮。扫描可以与将扫描图案上的光强度作为时间的函数进行比较的照明简档相关联。在相对低的扫描速率(例如，30Hz或更低)下，用户可以感觉到图案的扫描。在较高的扫描速率(例如， 30Hz或更高、60Hz或更高、甚至更高)下，图案的扫描可能更难以辨别。对于某些光源和扫描速率，扫描的光图案对用户来说可能是被连续照亮的图案。
图39提供了图38A中的光投影仪3802可以向可佩戴装置110的用户提供的一种视觉反馈的一个示例的示意图。例如，光投影仪3802可以生成照亮用户环境中的一个或多个表面或物体的光投影图案3902。如图39所示，光投影图案3902用光入射图案3904照亮包括多行文本3908的课本3906。如图所示，光入射图案3904包括大致以矩形轮廓图案布置的一系列虚线。光投影仪3802可以向用户提供视觉反馈，以指示可佩戴装置110(包括与可佩戴装置110相关联的一个或多个图像传感器和/或一个或多个处理设备)能够从与光入射图案3904界定的区域至少部分重叠的视场捕获和/或处理图像。在一些情况下，图像捕获区域可以基本上与由光入射图案3904界定的区域相同。以这种方式，用户可以更好地理解装置“看到”什么，并且因此可以更好地理解装置是否将能够提供与用户的环境内的物体相关的信息等。如果光入射图案3904不与用户感兴趣的区域对准，则用户可以重新定位他或她的头部并面向方向，直到光入射图案3904围绕或覆盖用户的环境中感兴趣的区域(例如，文本、钞票、物体部分、人等)。
在一些实施例中，如上所述，可佩戴装置110可以固定到衣物上，诸如如图38B所示。在这样的实施例中，可佩戴装置110和光投影仪3802可以以与图39所示基本相似的方式操作，以投影照亮用户环境中的一个或多个表面或物体的光投影图案。
此外，光入射图案3904不限于图39所示的虚线轮廓图案。相反，可以采用用于向用户提供视觉反馈的任何合适的照明图案。图40A-图40H提供了可以由光投影仪3802生成的各种图案的几个示例。例如，光入射图案3904 可以具有圆形或椭圆形轮廓图案(图40A)、矩形/方形轮廓图案(图40B)、虚线图案(图40C)、一个或多个照亮的点(图40D)、矩形/方形实心照明图案(图40E)、圆形或椭圆形实心照明图案(图40F)、两条平行水平线(图 40G)、两条平行垂直线(图40H)或任何其他合适的图案。
光入射图案3904还可以包括一种或多种颜色。在一些实施例中，图案 3904可以由白光、红光、绿光、蓝光、或任何其他颜色或颜色组合来创建。
也可能存在各种方式来启动通过光投影仪3802的照明。在一些情况下，光投影仪3802可以响应于用户输入而被照亮。例如，用户可以手动激活开关、按钮等，以改变光投影仪3802的照明状态(例如，从关闭到打开或者从打开到关闭)。在一些情况下，用户可以通过语音命令控制光投影仪3802 的操作。除了照明状态的改变之外，用户还可以控制光投影仪的其他操作特性。例如，用户可以控制与光投影仪生成的光相关联的亮度级别，可以改变光入射图案3904的一个或多个部分的颜色，或者可以控制光投影仪3802的任何其他操作特性。如上所述，光投影仪3802的操作可以自动发生。例如，可以响应于检测到的触发(例如，用户的手势，包括定点、手波或任何其他手势)、响应于检测到的物体类型(例如，文本、钞票等)、响应于在用户手中检测到的物体、或任何其他类型的触发，由至少一个处理设备来激活、去激活、变暗光投影仪3802等。在另一示例中，可以响应于确定感兴趣的文本和/或物体部分由图像传感器捕获(例如，如通过分析使用图像传感器捕获的图像所确定的)，由至少一个处理设备来激活、去激活、变暗光投影仪3802 等。也可以基于物体保持在用户视场中的时间量来控制光投影仪3802。例如，如果物体在用户的视场中停留超过1秒、2秒(或任何其他合适的时间阈值)，则至少一个处理设备可以确定用户想要关于该物体的信息，并且可以相对于该物体采取一个或多个动作，包括用入射光图案3904照亮该物体的至少一部分。如图5A中所讨论的，装置110还可以包括麦克风，麦克风可以启动通过光投影仪3802的照明。例如，处理设备可以基于在麦克风处捕获的语音命令来改变光投影仪3802的照明状态、光图案的颜色或光图案的形状。
可以通过调节组件和/或以各种方式来实现光入射图案3904与和可佩戴装置110相关联的一个或多个图像传感器的有效视场的对准。例如，在一些实施例中，可以响应于处理器对由与装置110相关联的图像捕获设备(例如，相机)捕获的一个或多个图像的分析，由至少一个处理器生成对用户的提示 (例如，通过可听信号或语音指令)。这种对准过程可以通过处理器发生，该处理器使光投影仪打开并分析由与装置110相关联的相机捕获的至少一个图像，以检测在由捕获的图像表示的表面或物体上的光入射图案3904的存在。如果光入射图案完整地存在于捕获的图像中，则可能不需要对准。然而，如果只有一部分入射图案出现在捕获的图像中，则处理器可以指示用户(例如，语音命令、可听信号、可见指导等)操纵一个或多个对准控制(定位螺钉、旋钮等)，直到入射图案充分存在于一个或多个随后捕获的图像中。这种对准过程也可以是全自动的。也就是说，处理器可以自动控制一个或多个调节器以将光入射图案3904与(多个)图像捕获设备的视场对准，而不是指示用户操纵一个或多个调节器以将光入射图案3904与(多个)图像捕获设备的视场对准。这种调节器可以包括例如用于调节定位螺钉、花键或螺纹杆(例如，螺钉驱动单元)、压电步进器、或任何其他类型的机电调节设备的微型马达。
图41是与公开的实施例一致的用于向可佩戴装置(诸如可佩戴装置110 或可佩戴装置3800)的用户提供视觉反馈的方法4100的示例的流程图。方法4100的一些步骤可以由至少一个处理器执行，该处理器可以执行存储在例如存储器550中的软件指令。
在步骤4102，可佩戴装置可以经由被包括在可佩戴装置中的图像传感器系统220，从可佩戴装置的用户的环境中捕获多个图像。例如，眼镜130可以装配有图像传感器系统220，如图38A所示。可替换地，如图38B所示，捕获单元3804可以装配有图像传感器系统220。捕获单元3804可以位于例如用户100的衣物750的外表面上，并因而可以被定位成使得图像传感器系统220可以从用户100的环境中捕获图像。
在步骤4104，至少一个处理器可以基于出现在多个图像中的视觉触发来激活被包括在可佩戴装置中的投影仪。在一些实施例中，激活可以响应于用户输入而发生。用户输入可以包括语音命令或与可佩戴装置的可按压按钮或其他输入设备相关联的输入。在一些实施例中，激活可以基于出现在多个图像中的至少一个图像中的至少一个视觉触发，或者基于物体保持存在于至少一个图像传感器的有效视场中的至少一段时间量。在一些实施例中，激活可以基于确定在步骤3802中捕获的图像仅包括感兴趣文本和/或物体的部分视图。例如，可以基于在图像边缘处检测到字母的部分视图，确定在步骤3802 中捕获的图像仅包括文本的部分视图。在另一示例中，可以基于通过使用 OCR算法分析图像而获得的文本信息的自然语言处理，确定在步骤3802中捕获的图像仅包括文本的部分视图。在第三示例中，可以通过用分类器和/ 或神经网络分析图像来确定在步骤3802中捕获的图像仅包括物体的部分视图，分类器和/或神经网络被训练成识别和/或检测物体的部分视图。
在步骤4106，光投影仪3802可以发射光图案以向可佩戴装置的用户视觉上地指示图像传感器的有效视场。例如，光图案可以包括圆形或椭圆形轮廓图案、矩形轮廓图案、方形轮廓图案、虚线图案、一个或多个照亮的点、矩形实心照明图案、方形实心照明图案、圆形实心照明图案、椭圆形实心照明图案、两条平行水平线或两条平行垂直线。在一些实施例中，光图案可以与至少一个图像传感器的有效视场的一个或多个边界重合。在一些实施例中，光图案也可以包括在至少一个图像传感器的有效视场中，或者光图案可以基本上与至少一个图像传感器的有效视场重叠。
前面的描述是出于说明的目的而提出的。这不是穷尽的，并且不限于公开的精确形式或实施例。考虑到公开的实施例的说明书和实践，各种修改和适应对于本领域技术人员来说将是显而易见的。另外，尽管公开的实施例的各方面被描述为存储在存储器中，但是本领域的技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储设备，例如硬盘或CD ROM、或者其他形式的RAM或ROM、USB介质、DVD、蓝光、超高清蓝光、或者其他光驱介质。
基于书面描述和公开方法的计算机程序是有经验的开发人员所能掌握的。可以使用本领域技术人员已知的任何技术来创建，或者可以结合现有软件来设计各种程序或程序模块。例如，可以以或者借由.Net框架、.Net紧凑框架(和相关语言，诸如Visual Basic、C等)、Java、C++、面向对象的C、 HTML、HTML/AJAX组合、XML或内含Java小程序的HTML来设计各种程序段或程序模块。
此外，尽管这里已经描述了说明性实施例，但是本领域技术人员将会基于本公开理解具有等效的元件、修改、省略、组合(例如，各种实施例的各方面的组合)、修改和/或变更的任何和所有实施例的范围。权利要求中的限制将基于权利要求中所采用的语言被广义地解释，而不限于本说明书中或在本申请的实施过程中所描述的示例。这些示例应被解释为非排他性的。此外，可以以任何方式修改公开的方法的步骤，包括通过重新排序步骤和/或插入或删除步骤。因此，本说明书和示例被认为仅是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围表示。

Claims (19)

1.一种用于基于由可佩戴装置捕获的图像提供推荐的系统，所述系统包括：
至少一个处理设备，被编程为：
分析由被包括在可佩戴装置中的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像；
基于至少一个捕获的图像的分析的结果获得信息；
基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐；以及
将所述至少一个联系人推荐提供给用户和至少一个其他人中的至少一个。
2.根据权利要求1所述的系统，其中，所述至少一个处理设备还被编程为基于对由第二可佩戴装置捕获的至少一个图像的分析来获得附加信息，并且其中，生成所述至少一个推荐还基于所获得的附加信息。
3.根据权利要求1所述的系统，其中，所获得的信息包括与存在于可佩戴装置的用户的环境中的活动相关的信息。
4.根据权利要求1所述的系统，其中，所获得的信息包括与存在于可佩戴装置的用户的环境中的物体相关的信息。
5.根据权利要求4所述的系统，其中，所述物体包括作者写的书，并且所获得的信息包括与所述作者相关的信息。
6.根据权利要求1所述的系统，其中，所获得的信息包括存在于可佩戴装置的用户的环境中的至少一个人的身份信息。
7.根据权利要求6所述的系统，其中，所述至少一个其他人包括存在于可佩戴装置的用户的环境中的至少一个人中的至少一个。
8.根据权利要求1所述的系统，其中，所述至少一个联系人推荐基于与所识别的人的交互和所述交互的长度。
9.根据权利要求2所述的系统，其中，多个可佩戴装置与多个用户相关联。
10.一种用于基于由可佩戴装置捕获的图像提供推荐的方法，所述方法包括：
经由至少一个处理设备，分析由被包括在可佩戴装置中的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像；
基于对所述至少一个捕获的图像的分析的结果获得信息；
基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐；以及
将所述至少一个联系人推荐提供给用户和至少一个其他人中的至少一个。
11.根据权利要求10所述的方法，还包括：
基于对由第二可佩戴装置捕获的至少一个图像的分析来获得附加信息，并且其中，生成所述至少一个推荐还基于所获得的附加信息。
12.根据权利要求10所述的方法，其中，所获得的信息包括与存在于可佩戴装置的用户的环境中的活动相关的信息。
13.根据权利要求10所述的系统，其中，所获得的信息包括与存在于可佩戴装置的用户的环境中的物体相关的信息。
14.根据权利要求13所述的方法，其中，所述物体包括作者写的书，并且所获得的信息包括与所述作者相关的信息。
15.根据权利要求10所述的方法，其中，所获得的信息包括存在于可佩戴装置的用户的环境中的至少一个人的身份信息。
16.根据权利要求15所述的方法，其中，所述至少一个其他人包括存在于可佩戴装置的用户的环境中的至少一个人中的至少一个。
17.根据权利要求10所述的方法，其中，所述至少一个联系人推荐基于与所识别的人的交互和所述交互的长度。
18.根据权利要求11所述的方法，其中，多个可佩戴装置与多个用户相关联。
19.一种存储指令的非瞬时性计算机可读介质，所述指令在由至少一个处理设备执行时，使所述至少一个处理设备执行包括以下步骤的操作：
分析由被包括在可佩戴装置中的可佩戴图像传感器从可佩戴装置的用户的环境中捕获的至少一个图像；
基于对所述至少一个捕获的图像的分析的结果获得信息；
基于所获得的信息为至少一个新的社交网络联系人生成至少一个联系人推荐；以及
将所述至少一个联系人推荐提供给用户和至少一个其他人中的至少一个。
CN201811598574.8A 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法 Pending CN110084088A (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662413103P 2016-10-26 2016-10-26
US62/413,103 2016-10-26
US201662418300P 2016-11-07 2016-11-07
US201662418296P 2016-11-07 2016-11-07
US62/418,296 2016-11-07
US62/418,300 2016-11-07
US201662439899P 2016-12-29 2016-12-29
US62/439,899 2016-12-29
US201762546141P 2017-08-16 2017-08-16
US62/546,141 2017-08-16
CN201780029328.8A CN109154979A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780029328.8A Division CN109154979A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法

Publications (1)

Publication Number Publication Date
CN110084088A true CN110084088A (zh) 2019-08-02

Family

ID=60702845

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201811598573.3A Pending CN110084087A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201811598606.4A Pending CN110084089A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201780029328.8A Pending CN109154979A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201811598591.1A Pending CN110084712A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201811598574.8A Pending CN110084088A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201811598573.3A Pending CN110084087A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201811598606.4A Pending CN110084089A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201780029328.8A Pending CN109154979A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法
CN201811598591.1A Pending CN110084712A (zh) 2016-10-26 2017-10-25 用于分析图像和提供反馈的可佩戴设备和方法

Country Status (5)

Country Link
US (9) US10397438B2 (zh)
EP (1) EP3532987A2 (zh)
KR (1) KR20190075988A (zh)
CN (5) CN110084087A (zh)
WO (1) WO2018078440A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681496B2 (en) 2020-06-11 2023-06-20 Omron Corporation Communication support device, communication support method, and computer-readable storage medium including program

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386139B2 (en) * 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
JP6300705B2 (ja) * 2014-11-19 2018-03-28 キヤノン株式会社 装置連携による認証管理方法、情報処理装置、ウェアラブルデバイス、コンピュータプログラム
DE102016201373A1 (de) * 2016-01-29 2017-08-03 Robert Bosch Gmbh Verfahren zu einer Erkennung von Objekten, insbesondere von dreidimensionalen Objekten
CA3045246A1 (en) * 2016-11-29 2018-06-07 P&P Ultra G Ltd. Preventing unauthorized use of devices
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
US11188977B2 (en) 2017-03-08 2021-11-30 Stichting Ip-Oversight Method for creating commodity assets from unrefined commodity reserves utilizing blockchain and distributed ledger technology
US10599877B2 (en) * 2017-04-13 2020-03-24 At&T Intellectual Property I, L.P. Protecting content on a display device from a field-of-view of a person or device
US10187870B1 (en) 2017-07-21 2019-01-22 Qualcomm Incorporated Systems and methods for intelligent routing of notifications of incoming voice communication requests
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
US10776610B2 (en) * 2017-09-15 2020-09-15 Ruth Ellen Cashion LLC System for monitoring facial presentation of users
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
US10853643B2 (en) * 2017-10-27 2020-12-01 Rakuten, Inc. Image extraction device, image extraction method, and image extraction program
CN110019994A (zh) 2017-11-13 2019-07-16 阿里巴巴集团控股有限公司 数据加密、解密及查询方法、数据加密解密及查询装置
US10891685B2 (en) 2017-11-17 2021-01-12 Ebay Inc. Efficient rendering of 3D models using model placement metadata
US10819684B2 (en) * 2017-11-24 2020-10-27 International Business Machines Corporation Cognitive blockchain for internet of things
FR3074594B1 (fr) * 2017-12-05 2021-01-29 Bull Sas Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
US10373391B1 (en) * 2018-04-23 2019-08-06 AbdurRahman Bin Shahzad Bhatti Augmented reality system for fitness
US10795446B2 (en) * 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
US20190347635A1 (en) * 2018-05-10 2019-11-14 Adobe Inc. Configuring a physical environment based on electronically detected interactions
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
US10111040B1 (en) * 2018-06-29 2018-10-23 Getac Technology Corporation Information-capturing device
US11500477B2 (en) * 2018-07-02 2022-11-15 Google Llc Systems and methods for interacting and interfacing with an artificial intelligence system
US10664825B2 (en) * 2018-07-25 2020-05-26 Sony Interactive Entertainment Inc. Systems and methods to use image data to perform authentication
CN109117778B (zh) * 2018-08-06 2021-05-11 百度在线网络技术（北京）有限公司 信息处理方法、装置、服务器及存储介质
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US10943137B2 (en) * 2018-09-12 2021-03-09 Computime Ltd. Biometric data capturing and analysis
US11170899B2 (en) 2018-09-12 2021-11-09 Computime Ltd. Biometric data capturing and analysis using a hybrid sensing systems
CN109407839B (zh) * 2018-10-18 2020-06-30 京东方科技集团股份有限公司 图像调整方法、装置、电子设备和计算机可读存储介质
US10825070B2 (en) * 2018-10-22 2020-11-03 International Business Machines Corporation Problem identification using biometric and social data
US10972777B2 (en) * 2018-10-24 2021-04-06 At&T Intellectual Property I, L.P. Method and apparatus for authenticating media based on tokens
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
WO2020121056A2 (en) * 2018-12-13 2020-06-18 Orcam Technologies Ltd. Wearable apparatus and methods
US11029741B2 (en) * 2018-12-28 2021-06-08 Baidu Usa Llc Deactivating a display of a smart display device based on a vision-based mechanism
TWI768175B (zh) * 2019-01-10 2022-06-21 陳筱涵 具收音場景切換功能的助聽系統
AU2020215766A1 (en) * 2019-02-01 2021-09-02 Transitions Optical, Ltd. Method, system, and computer program product for generating a customized photochromic optical article recommendation
CN109873756B (zh) * 2019-03-08 2020-04-03 百度在线网络技术（北京）有限公司 用于发送信息的方法和装置
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
US11914638B2 (en) 2019-04-09 2024-02-27 Hewlett-Packard Development Company, L.P. Image selection from a database
CN110031827B (zh) * 2019-04-15 2023-02-07 吉林大学 一种基于超声波测距原理的手势识别方法
WO2020211923A1 (en) * 2019-04-15 2020-10-22 Telefonaktiebolaget Lm Ericsson (Publ) Mobile communications device and application server
CN110109933B (zh) * 2019-04-28 2024-01-19 平安科技（深圳）有限公司 信息维护方法、配置管理数据库系统及存储介质
US10636102B1 (en) 2019-05-31 2020-04-28 block.one Bidding on a post in a social media platform
US11295134B2 (en) * 2019-07-02 2022-04-05 Truist Bank User scanning and one-way augmented reality viewing system
US11909238B1 (en) 2019-07-23 2024-02-20 BlueOwl, LLC Environment-integrated smart ring charger
US11551644B1 (en) 2019-07-23 2023-01-10 BlueOwl, LLC Electronic ink display for smart ring
US11637511B2 (en) 2019-07-23 2023-04-25 BlueOwl, LLC Harvesting energy for a smart ring via piezoelectric charging
US11853030B2 (en) 2019-07-23 2023-12-26 BlueOwl, LLC Soft smart ring and method of manufacture
US11537203B2 (en) 2019-07-23 2022-12-27 BlueOwl, LLC Projection system for smart ring visual output
US11949673B1 (en) 2019-07-23 2024-04-02 BlueOwl, LLC Gesture authentication using a smart ring
US11594128B2 (en) 2019-07-23 2023-02-28 BlueOwl, LLC Non-visual outputs for a smart ring
US11479258B1 (en) 2019-07-23 2022-10-25 BlueOwl, LLC Smart ring system for monitoring UVB exposure levels and using machine learning technique to predict high risk driving behavior
US11074432B2 (en) * 2019-08-22 2021-07-27 Nice Ltd. Systems and methods for retrieving and presenting information using augmented reality
KR20210057525A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 디스플레이의 속성을 변경하기 위한 전자 장치 및 전자 장치에서의 동작 방법
CN111178128B (zh) * 2019-11-22 2024-03-19 北京迈格威科技有限公司 图像识别方法、装置、计算机设备和存储介质
US11328565B2 (en) * 2019-11-26 2022-05-10 Ncr Corporation Asset tracking and notification processing
US11010125B1 (en) * 2019-12-19 2021-05-18 Dell Products L.P. Reducing audio-based distractions in an information handling system
TWI737138B (zh) * 2020-01-22 2021-08-21 明基電通股份有限公司 投影機推薦方法及投影機推薦系統
US11951997B2 (en) * 2020-02-06 2024-04-09 Micron Technology, Inc. Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
WO2021159369A1 (zh) * 2020-02-13 2021-08-19 深圳市汇顶科技股份有限公司 一种用于降噪的助听方法、装置、芯片、耳机及存储介质
US11386804B2 (en) * 2020-05-13 2022-07-12 International Business Machines Corporation Intelligent social interaction recognition and conveyance using computer generated prediction modeling
DE102020114974A1 (de) 2020-06-05 2021-12-09 Bernhard Polten Vorrichtung und Verfahren zur Überwachung eines Abstandes von einem Messpunkt zu zumindest einer Person
US11290851B2 (en) * 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11774553B2 (en) * 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
US11784961B2 (en) * 2020-10-30 2023-10-10 Honda Research Institute Europe Gmbh Social interaction opportunity detection method and system
CN112380987B (zh) * 2020-11-13 2021-12-17 圣凯诺服饰有限公司 有效学习时长统计系统
CN112525107B (zh) * 2020-11-24 2022-09-09 浙江知象光电科技有限公司 一种基于事件相机的结构光三维测量方法
WO2022131396A1 (ko) * 2020-12-16 2022-06-23 주식회사 모빌린트 운전석을 포함한 차량의 실내 장치를 자동으로 조절하기 위한 방법 및 이를 위한 장치
KR102232646B1 (ko) * 2020-12-16 2021-03-30 주식회사 모빌린트 운전석을 포함한 차량의 실내 장치를 자동으로 조절하기 위한 방법 및 이를 위한 장치
CN112883845B (zh) * 2021-02-02 2022-06-07 贵州电网有限责任公司 一种基于激光LiDAR点云的杆塔类型自动识别方法
KR102316723B1 (ko) * 2021-02-08 2021-10-25 주식회사 더대박컴퍼니 인공지능을 이용한 신체 맞춤형 코디 시스템
US11757893B2 (en) * 2021-03-11 2023-09-12 Bank Of America Corporation System and method for authorizing entity users based on augmented reality and LiDAR technology
WO2022212328A1 (en) * 2021-04-01 2022-10-06 Universal City Studios Llc Interactive wearable devices and facial coverings
US11695868B2 (en) 2021-04-21 2023-07-04 Zoom Video Communications, Inc. System and method for video-assisted presence detection in telephony communications
US11967149B2 (en) 2021-06-09 2024-04-23 International Business Machines Corporation Increasing capabilities of wearable devices using big data and video feed analysis
EP4167196A1 (en) * 2021-10-15 2023-04-19 Fusion Lab Technologies SARL Method for notifying a blind or visually impaired user of the presence of object and/or obstacle
WO2023119526A1 (ja) * 2021-12-22 2023-06-29 マクセル株式会社 ウェアラブルデバイスおよび行動評価システム
WO2023145216A1 (ja) * 2022-01-26 2023-08-03 国立大学法人大阪大学 ウェアラブルモニタリングデバイス
TWI825793B (zh) * 2022-06-20 2023-12-11 國立臺北科技大學 執法用穿戴裝置
CN116929437B (zh) * 2023-09-15 2023-12-08 深圳和润达科技有限公司 应用于电芯化成分容系统的传感器信息识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251201A1 (en) * 2012-03-22 2013-09-26 Samsung Electronics Co., Ltd. System and method for recommending buddies in social network
US20140052567A1 (en) * 2012-08-17 2014-02-20 Ebay Inc. Recommendations based on wearable sensors
US20140328521A1 (en) * 2013-05-03 2014-11-06 Patrick Colangelo Social interaction using facial recognition
US20160027063A1 (en) * 2014-07-23 2016-01-28 OrCam Technologies, Ltd. Targeted advertisements based on analysis of image information from a wearable camera
US9405964B1 (en) * 2013-09-09 2016-08-02 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on image content analysis
US20160232625A1 (en) * 2014-02-28 2016-08-11 Christine E. Akutagawa Device for implementing body fluid analysis and social networking event planning

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589905A (en) * 1995-01-24 1996-12-31 Eastman Kodak Company Camera with illumination source
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP4838499B2 (ja) * 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP2009017193A (ja) * 2007-07-04 2009-01-22 Nec Corp 送信機および送信方法
KR101513616B1 (ko) * 2007-07-31 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 영상정보 관리방법
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
US20090117879A1 (en) * 2007-11-01 2009-05-07 Qualcomm Incorporated Mobile commerce system for creation of enforceable oral agreements
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
WO2010008685A2 (en) * 2008-05-28 2010-01-21 Aptima, Inc. Systems and methods for analyzing entity profiles
JP2010087907A (ja) * 2008-09-30 2010-04-15 Canon Inc 映像合成表示装置、映像表示システム及び映像表示方法
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
EP2390851B1 (en) * 2010-05-27 2013-02-20 Nxp B.V. Presence Detection System and Method
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
US8863956B2 (en) * 2011-01-19 2014-10-21 Ray G. Brooks Packaging system for protection of IC wafers during fabrication, transport and storage
US20120212593A1 (en) * 2011-02-17 2012-08-23 Orcam Technologies Ltd. User wearable visual assistance system
EP2691936A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
WO2013033195A2 (en) * 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
US20140361988A1 (en) * 2011-09-19 2014-12-11 Eyesight Mobile Technologies Ltd. Touch Free Interface for Augmented Reality Systems
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
US20130110666A1 (en) * 2011-10-28 2013-05-02 Adidas Ag Interactive retail system
JP6110866B2 (ja) * 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system
US9894116B2 (en) * 2012-04-12 2018-02-13 Intel Corporation Techniques for augmented social networking
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140020423A1 (en) * 2012-07-19 2014-01-23 General Electric Company Mechanisms for attaching a dispenser to a refrigerator door
US10110805B2 (en) * 2012-12-06 2018-10-23 Sandisk Technologies Llc Head mountable camera system
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US8957988B2 (en) * 2013-01-23 2015-02-17 Orcam Technologies Ltd. Apparatus for processing images to prolong battery life
EP2956814A1 (en) * 2013-02-14 2015-12-23 Seiko Epson Corporation Head mounted display and control method for head mounted display
US9355368B2 (en) * 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US9223837B2 (en) * 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
US9240990B1 (en) * 2013-05-31 2016-01-19 David Ruma Acknowledgment authentication system and method
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10694106B2 (en) * 2013-06-14 2020-06-23 Qualcomm Incorporated Computer vision application processing
US10037082B2 (en) * 2013-09-17 2018-07-31 Paypal, Inc. Physical interaction dependent transactions
CN103490990B (zh) * 2013-09-30 2017-01-04 宇龙计算机通信科技(深圳)有限公司 一种通过穿戴式智能设备进行数据分享的方法及系统
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
EP3077902A4 (en) * 2013-12-04 2017-11-15 Intel Corporation Wearable map and image display
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20160048019A1 (en) * 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
CN104850213B (zh) * 2014-02-13 2020-03-20 索尼公司 可穿戴电子设备和用于可穿戴电子设备的信息处理方法
US9946324B2 (en) * 2014-04-16 2018-04-17 Facebook, Inc. Location based facial recognition on online social networks
US20150302252A1 (en) * 2014-04-16 2015-10-22 Lucas A. Herrera Authentication method using multi-factor eye gaze
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
JP6314712B2 (ja) * 2014-07-11 2018-04-25 オムロン株式会社 部屋情報推定装置、部屋情報推定方法、および空気調和装置
US11269891B2 (en) * 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
CA2901454C (en) * 2014-08-25 2023-01-17 Accenture Global Services Limited System architecture for customer genome construction and analysis
US9366883B2 (en) * 2014-11-13 2016-06-14 International Business Machines Corporation Using google glass to project a red overlay that enhances night vision
KR20170120145A (ko) * 2015-02-25 2017-10-30 임머숀 코퍼레이션 상황 감응식 햅틱 통지 프레임워크들을 제공하기 위한 시스템들 및 방법들
US20160254000A1 (en) * 2015-02-27 2016-09-01 Kevin Thomas Thalanany Automated Digital Agreement Attestation & Electronic Signature Execution via Speech-Recognition
US9495694B1 (en) * 2016-02-29 2016-11-15 International Business Machines Corporation Product recommendations based on analysis of social experiences
CN105183758A (zh) * 2015-07-22 2015-12-23 深圳市万姓宗祠网络科技股份有限公司 一种连续记录视频、影像的内容识别方法
US9613241B2 (en) * 2015-07-22 2017-04-04 Motorola Mobility Llc Wirelessly identifying participant characteristics
US10002429B2 (en) * 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
US9836845B2 (en) * 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US11115698B2 (en) * 2015-08-31 2021-09-07 Orcam Technologies Ltd. Systems and methods for providing recommendations based on a level of light
US9578221B1 (en) * 2016-01-05 2017-02-21 International Business Machines Corporation Camera field of view visualizer
CN205644372U (zh) * 2016-04-20 2016-10-12 李科 可替换模组的智能穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251201A1 (en) * 2012-03-22 2013-09-26 Samsung Electronics Co., Ltd. System and method for recommending buddies in social network
US20140052567A1 (en) * 2012-08-17 2014-02-20 Ebay Inc. Recommendations based on wearable sensors
US20140328521A1 (en) * 2013-05-03 2014-11-06 Patrick Colangelo Social interaction using facial recognition
US9405964B1 (en) * 2013-09-09 2016-08-02 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on image content analysis
US20160232625A1 (en) * 2014-02-28 2016-08-11 Christine E. Akutagawa Device for implementing body fluid analysis and social networking event planning
US20160027063A1 (en) * 2014-07-23 2016-01-28 OrCam Technologies, Ltd. Targeted advertisements based on analysis of image information from a wearable camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681496B2 (en) 2020-06-11 2023-06-20 Omron Corporation Communication support device, communication support method, and computer-readable storage medium including program

Also Published As

Publication number Publication date
US10375266B2 (en) 2019-08-06
US10313552B2 (en) 2019-06-04
CN110084089A (zh) 2019-08-02
US20180115797A1 (en) 2018-04-26
WO2018078440A2 (en) 2018-05-03
US20180114063A1 (en) 2018-04-26
CN110084087A (zh) 2019-08-02
US10397438B2 (en) 2019-08-27
EP3532987A2 (en) 2019-09-04
US20180114331A1 (en) 2018-04-26
KR20190075988A (ko) 2019-07-01
US20180114330A1 (en) 2018-04-26
US10405024B2 (en) 2019-09-03
US20180115696A1 (en) 2018-04-26
US10291949B2 (en) 2019-05-14
US20180114329A1 (en) 2018-04-26
WO2018078440A3 (en) 2018-06-07
US10257558B2 (en) 2019-04-09
US20190379925A1 (en) 2019-12-12
US10484568B2 (en) 2019-11-19
US20180114338A1 (en) 2018-04-26
CN109154979A (zh) 2019-01-04
CN110084712A (zh) 2019-08-02
US10057621B2 (en) 2018-08-21
US10887486B2 (en) 2021-01-05
US20180114333A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN110084088A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
KR102354428B1 (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
US10169654B2 (en) Crowd-sourced vision-based information collection
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190802

WD01 Invention patent application deemed withdrawn after publication