CN110246569A - 可穿戴装置和从先前会话检索并显示关键词的方法及介质 - Google Patents

可穿戴装置和从先前会话检索并显示关键词的方法及介质 Download PDF

Info

Publication number
CN110246569A
CN110246569A CN201910484918.0A CN201910484918A CN110246569A CN 110246569 A CN110246569 A CN 110246569A CN 201910484918 A CN201910484918 A CN 201910484918A CN 110246569 A CN110246569 A CN 110246569A
Authority
CN
China
Prior art keywords
image
face
user
keyword
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910484918.0A
Other languages
English (en)
Inventor
Y.韦克斯勒
A.沙舒阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acorntech Ltd
Orcam Technologies Ltd
Original Assignee
Acorntech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acorntech Ltd filed Critical Acorntech Ltd
Publication of CN110246569A publication Critical patent/CN110246569A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9532—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本公开提供可穿戴装置和方法及介质。可穿戴装置可以包括：可穿戴图像传感器；处理器，被编程为：从可穿戴图像传感器接收可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像；接收在时间窗口的至少一部分期间在图像传感器附近捕获的声音数据；处理声音数据以识别至少一个关键词；将关键词和面部图像之间的关联储存在存储器中；从可穿戴图像传感器接收该个体在不同于时间窗口期间的时间的第二交互期间的另一个面部图像；使用图像处理来确定第一交互中的个体是第二交互中的个体；访问存储器以从第一交互定位至少一个关键词；在第二交互期间，使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。

Description

可穿戴装置和从先前会话检索并显示关键词的方法及介质
本申请是申请日为2018年4月23日、申请号为201880003444.7(国际申请号为PCT/IB2018/000474)、发明名称为“用于分析图像的可穿戴装置和方法”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2017年4月23日提交的美国临时专利申请第62/488,789号、于2017年4月23日提交的美国临时专利申请第62/488,791号、以及于2017年5月8日提交的美国临时专利申请第62/503,034号的优先权权益。所有前述申请均通过引用整体并入本文。
技术领域
本公开总体上涉及用于从用户的环境捕获并处理图像并使用从捕获的图像导出的信息的设备和方法。更具体地，本公开涉及可穿戴装置和从先前会话检索并显示关键词的方法及介质。
背景技术
如今技术进步使得可穿戴设备能够自动捕获图像并储存与捕获的图像相关联的信息。某些设备已经被用来在通常称为“生活记录(lifelogging)”的练习中数字地记录一个人生活中的方面和个人经历。一些个体记录他们的生活，因此他们可以从过去的活动(例如社交事件、旅行等)中找回瞬间。生活记录在其它领域(例如，商业、健身和医疗保健以及社交研究)也可以具有显著的益处。生活记录设备对于跟踪日常活动是有用的同时，可以基于对捕获的图像数据的分析而通过增强人在其环境中与反馈交互的能力和其它高级功能上得到改进。
尽管用户可以用他们的智能手机捕获图像，并且一些智能手机应用可以处理捕获的图像，但智能手机鉴于其尺寸和设计可能不是用作生活记录装置的最佳平台。生活记录装置应该小且轻，因此它们可以易于穿戴并且不需要来自用户的密集注意和操作。此外，随着包含可穿戴装置的图像捕获设备的改进，可以提供附加功能以帮助用户在环境中和环境周围导航，识别他们遇到的人和物体，并向用户提供关于他们的周围环境和活动的反馈。因此，需要一种用于自动捕获并处理图像以向装置的用户提供有用信息的装置和方法、以及用于处理和利用由装置收集的信息的系统和方法。
发明内容
与本公开一致的实施例提供了用于从用户的环境自动捕获并处理图像的设备和方法，以及用于处理与从用户的环境捕获的图像有关的信息的系统和方法。
在一个实施例中，一种用于捕获并处理图像的可穿戴装置可以包括可穿戴图像传感器以及至少一个处理设备，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理设备可以被编程为：分析多个图像以识别多个人；分析多个图像以确定用户与多个人中的每个人之间的亲和度(affinity)级别；获得多个人中的每个人的图像表示；以及基于亲和度级别，生成包括图像表示的可视化。
在一个实施例中，一种可穿戴装置可以包括可穿戴图像传感器以及至少一个处理设备，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理设备可以被编程为：从该可穿戴图像传感器接收用户与之交互的个体的多个面部图像；将至少一个链接属性与多个面部图像中的每个面部图像相关联地储存，至少一个链接属性包含环境特性、地理位置、关联词、社交互联或时间指示符中的至少一个；以及使可视表示被显示。该可视表示可以包含多个面部图像，并且多个面部图像可以基于至少一个链接属性来布置。
在一个实施例中，一种在采用可与移动通信设备配对的可穿戴图像传感器的系统中使用的非暂时性计算机可读介质，该计算机可读介质包含指令。该指令在由至少一个处理器执行时可以使至少一个处理器执行步骤，包括：由用户穿戴的可穿戴图像传感器接收用户与之交互的个体的多个面部图像；以与多个面部图像中的每个面部图像相关联的方式，储存至少一个链接属性，至少一个链接属性包含环境特性、地理位置、关联词、社交互联或时间指示符中的至少一个；以及在面部云中显示多个面部图像。多个面部图像可以基于至少一个链接属性来布置。
在一个实施例中，非暂时性计算机可读介质含有指令。该指令在由至少一个处理器执行时可以使至少一个处理器执行步骤，包括：从由用户穿戴的可穿戴图像传感器接收用户已经与之交互的个体的多个面部图像；接收从声音文件解析的词语的列表，声音文件在与在穿戴者附近存在多个个体的检测相关联的时间段期间被捕获；在存储器中将解析的词语的列表与对应的个体相关联；以及在显示器的屏幕上呈现其词语列表含有重叠的常用词的个体的多个面部图像的子集。
在一个实施例中，一种非暂时性计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器进行步骤。步骤可以包括：接收用户与之交互的多个个体的面部图像；接收对于多个面部图像中的每个面部图像的至少一个链接属性；在存储器中将多个面部图像中的每个面部图像与对于多个面部图像中的对应一个面部图像接收的至少一个链接属性相关联；以及对于选择的链接属性，在显示器的屏幕上呈现共享所选择的链接属性的多个面部图像的集合。
在一个实施例中，一种非暂时性计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器进行步骤。步骤可以包括：从由用户穿戴的可穿戴图像传感器接收在时间窗口中捕获的至少一个图像；接收在时间窗口期间在该图像传感器附近捕获的声音文件；处理声音文件以识别声音文件中的至少一个词语；将词语与物体图像之间的关联储存在存储器中；在远离时间窗口的时间，接收至少一个关键词的搜索输入；访问存储器以定位至少一个关键词和至少一个物体图像之间的关联；以及使得物体图像在用户的移动通信设备上显示，该移动通信设备与该可穿戴图像传感器分开。
在一个实施例中，一种非暂时性计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器进行步骤。步骤可以包括：从由用户穿戴的可穿戴图像传感器接收用户在第一日历日期与之交互的个体的第一多个面部图像；与第一多个个体中的每个个体相关联地，储存第一日历日期的指示符；从由用户穿戴的可穿戴图像传感器接收用户在第二日历日期与之交互的个体的第二多个面部图像；与第二多个个体中的每个个体相关联地，储存第二日历日期的指示符；接收用户的第一输入请求，用于调回在第一日历日期的交互；响应于第一输入，向用户显示第一多个个体中的至少一些个体的图像；接收用户的第二输入请求，用于调回在第二日历日期的交互；以及响应于第二输入，向用户显示第二多个个体中的至少一些个体的图像。
在一个实施例中，一种用于捕获并处理图像的可穿戴装置可以包括可穿戴图像传感器以及至少一个处理设备，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理设备可以被编程为：分析多个图像以检测至少一个人；选择与检测到的人相关联的至少一个记录；分析多个图像以识别与检测到的人相关联的上下文信息；以及基于上下文信息来更新至少一个记录。
在一个实施例中，一种用于捕获并处理图像的可穿戴装置可以包括可穿戴图像传感器以及至少一个处理设备，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理设备可以被编程为：分析多个图像以检测至少一个人；基于检测到的人来确定上下文类别；分析多个图像以识别可视上下文指示符；以及将可视上下文指示符与所确定的上下文类别相关联。
在一个实施例中，一种可穿戴装置可以包括可穿戴图像传感器和至少一个处理器，该可穿戴图像传感器被配置为从用户的环境捕获多个图像。至少一个处理器可以被编程为：从多个图像中的至少一个图像确定由用户指示的两个不同物体的存在；执行对两个不同物体的查找，以判明两个不同物体的身份；执行对关于两个不同物体的描述性信息的查找；比较关于两个不同物体的描述性信息；以及使得以允许用户判明两个不同物体之间的差异的方式，显示关于两个不同物体的比较的信息。
在一个实施例中，一种方法可以包含由处理器接收由可穿戴图像传感器从用户的环境捕获的多个图像；以及从多个图像中的至少一个图像确定由用户指示的两个不同物体的存在；执行对两个不同物体的查找，以判明两个不同物体的身份；执行对关于两个不同物体的描述性信息的查找；比较关于两个不同物体的描述性信息；以及使得以允许用户判明两个不同物体之间的差异的方式，显示关于两个不同物体的比较的信息。
在一个实施例中，一种可穿戴装置可以包括可穿戴图像传感器和至少一个处理器。至少一个处理器可以被编程为：从该可穿戴图像传感器接收该可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像；接收在时间窗口的至少一部分期间在该图像传感器附近捕获的声音数据；处理声音数据以识别至少一个关键词；将关键词和面部图像之间的关联储存在存储器中；从该可穿戴图像传感器接收该个体在不同于时间窗口期间的时间的第二交互期间的另一个面部图像；使用图像处理来确定第一交互中的个体是第二交互中的个体；访问存储器以从第一交互定位至少一个关键词；以及在第二交互期间，使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。
在一个实施例中，一种在采用可与移动通信设备配对的可穿戴图像传感器的系统中使用的非暂时性计算机可读介质。该计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器进行步骤。该步骤可以包括：从由用户穿戴的可穿戴图像传感器接收用户在时间窗口期间的第一交互中与之交互的个体的面部图像；接收在时间窗口期间在该图像传感器附近捕获的声音数据；处理声音数据以识别声音数据中的至少一个关键词；将关键词和面部图像之间的关联储存在存储器中；从由用户穿戴的该可穿戴图像传感器接收该个体在不同于时间窗口期间的时间的第二交互期间的另一个面部图像；使用图像处理来确定第一交互中的个体是第二交互中的个体；访问存储器以从第一交互定位至少一个关键词；以及在第二交互期间，在对用户可见的显示器上呈现至少一个关键词，从而向用户提醒第一交互的主题。在一个实施例中，一种用于从先前会话中检索并显示关键词的方法可以由与可穿戴图像传感器配对的移动通信设备的至少一个处理器来实现。该方法可以包括：从该可穿戴装置的可穿戴图像传感器接收该可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像；接收在时间窗口的至少一部分期间在该图像传感器附近捕获的声音数据；处理声音数据以识别至少一个关键词；将关键词和面部图像之间的关联储存在存储器中；从该可穿戴图像传感器接收该个体在不同于时间窗口期间的时间的第二交互期间的另一个面部图像；使用图像处理来确定第一交互中的个体是第二交互中的个体；访问存储器以从第一交互定位至少一个关键词；以及在第二交互期间，使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。
在一个实施例中，一种可穿戴装置可以包括可穿戴图像传感器以及至少一个处理器，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理器可以被编程为：从该可穿戴图像传感器接收至少一个图像；对至少一个图像执行图像处理，以在至少一个图像中识别该可穿戴装置的用户的环境条件；确定环境条件是被预先确定为对与移动通信设备相关联的动作的触发，该移动通信设备与该可穿戴装置无线配对；以及根据环境条件使该移动通信设备触发动作，并且从而使动作经由该移动通信设备而发生
在一个实施例中，一种非暂时性计算机可读介质可以含有可以由至少一个处理器执行的指令。该指令可以使至少一个处理器执行步骤，包含：从由用户穿戴的可穿戴图像传感器接收至少一个图像；对至少一个图像执行图像处理，以在至少一个图像中识别该可穿戴装置的用户的环境条件；确定环境条件被预先确定为对与移动通信设备相关联的动作的触发，该移动通信设备与该可穿戴装置无线配对；以及根据环境条件使该移动通信设备触发动作，并且从而使动作经由该移动通信设备而发生。
在一个实施例中，一种可穿戴装置可以包括可穿戴音频输入设备以及至少一个处理器，该可穿戴音频输入设备被配置为从可穿戴装置的用户的环境捕获音频数据。至少一个处理器可以被编程为：从该可穿戴音频输入设备接收音频数据；对音频数据执行音频处理，以在音频数据中识别该可穿戴装置的用户的环境条件；确定环境条件被预先确定为对与移动通信设备相关联的动作的触发，该移动通信设备与该可穿戴装置无线配对；以及根据环境条件使该移动通信设备触发动作，并且从而使动作经由该移动通信设备而发生。
在一个实施例中，一种可穿戴装置可以包含可穿戴音频输入设备、可穿戴图像传感器以及至少一个处理器，该可穿戴音频输入设备被配置为从可穿戴装置的用户的环境捕获音频数据，可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。至少一个处理器可以被编程为：从该可穿戴音频输入设备接收音频数据；从该可穿戴图像传感器接收至少一个图像；对音频数据执行音频处理并对至少一个图像执行图像处理，以识别该可穿戴装置的用户的环境条件；确定环境条件被预先确定为对与移动通信设备相关联的动作的触发，该移动通信设备与该可穿戴装置无线配对并且具有操作状态；以及根据环境条件使该移动通信设备触发动作，并且从而使动作经由该移动通信设备而发生。
在一个实施例中，一种可穿戴装置可以包括可穿戴图像传感器以及至少一个处理器，该可穿戴图像传感器被配置为捕获多个图像。该至少一个处理器可以被编程为：从与该可穿戴装置无线配对的移动通信设备接收提供该可穿戴装置的位置信息的命令；响应于命令，分析描绘该可穿戴装置的环境的至少一个图像，以确定该可穿戴装置的位置；以及使得关于该可穿戴装置的位置的信息被发送到该移动通信设备。
在一个实施例中，一种非暂时性计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器执行步骤。步骤可以包含：在可穿戴装置和移动通信设备之间建立无线配对；在该可穿戴装置放错位置的情况下，接收用于对该可穿戴装置进行探测(pinging)的用户输入；响应于用户输入，从该移动通信设备无线地向该可穿戴装置发送探测命令(ping)，其中探测命令包含使该可穿戴装置捕获该可穿戴装置的周围环境的至少一个图像的指令；分析至少一个图像以确定该可穿戴装置的位置；以及基于该可穿戴装置的位置，使得位置信息被发送到该移动通信设备。
在一个实施例中，一种用于对可穿戴装置定位的方法可以包含：从与该可穿戴装置无线配对的移动通信设备接收提供该可穿戴装置的位置信息的命令；响应于命令，分析描绘该可穿戴装置的环境的至少一个图像，以确定该可穿戴装置的位置；以及使得关于该可穿戴装置的位置的信息被发送到该移动通信设备。
在一个实施例中，一种可穿戴装置可以包含可穿戴图像传感器以及至少一个处理器，该可穿戴图像传感器被配置为捕获多个图像。至少一个处理器可以被编程为：分析由该可穿戴图像传感器捕获的至少一个图像；基于对至少一个图像的分析，确定与该可穿戴图像传感器有关的安置问题；响应于安置问题，确定用于解决安置问题的校正信息；以及使得校正信息被提供给该可穿戴装置的用户。
在一个实施例中，一种在采用可与移动通信设备配对的可穿戴图像传感器的系统中使用的非暂时性计算机可读介质，该非暂时性计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器执行步骤。步骤可以包含：从该可穿戴图像传感器接收多个图像；对至少一些图像执行图像处理；基于图像处理，确定对高质图像捕获的阻碍；响应于所确定的阻碍，确定用于解决安置问题的校正信息；以及在可配对的移动通信设备的显示器上呈现校正信息。
在一个实施例中，一种用于校正可穿戴图像传感器的安置的方法可以包含：分析由该可穿戴图像传感器捕获的至少一个图像；基于对至少一个图像的分析，确定与该可穿戴图像传感器有关的安置问题；响应于安置问题，确定用于解决安置问题的校正信息；以及使得校正信息被提供给该可穿戴装置的用户。
在一个实施例中，一种可穿戴装置可以包含可穿戴图像传感器以及至少一个处理器，该可穿戴图像传感器被配置为捕获多个图像。至少一个处理器可以被编程为：分析由该可穿戴图像传感器捕获的至少一个图像；基于对至少一个图像的分析，确定与该可穿戴图像传感器有关的安置问题；响应于安置问题，确定用于解决安置问题的校正信息，其中校正信息包括被配置为使至少一个处理器自动解决安置问题的可执行指令；以及执行校正信息以自动解决安置问题。
在一个实施例中，可穿戴装置可以包含可穿戴图像传感器以及至少一个处理器，该处理器被编程为：从该可穿戴图像传感器接收该可穿戴装置的用户正在与之交互的个体的面部图像；接收在该交互期间捕获的声音数据；处理声音数据的至少一部分以确定该个体的说出的名字；将说出的名字转换为文本；以将与说出的名字相关联的文本与面部图像相关联的方式，将该文本储存在存储器中；在与该个体的随后的相遇之后，从该可穿戴图像传感器接收该个体的随后的面部图像；基于随后的面部图像来执行对该个体的身份的查找；从存储器接收该个体的说出的名字的文本；以及使得在与该可穿戴装置配对的设备上显示该个体的名字的文本。
在一个实施例中，一种在采用可与移动通信设备配对的可穿戴图像传感器的系统中使用的非暂时性计算机可读介质，该计算机可读介质可以含有指令，该指令在由至少一个处理器执行时使至少一个处理器执行步骤。步骤可以包含：从由用户穿戴的可穿戴图像传感器接收用户正在与之交互的个体的面部图像；接收在该交互期间捕获的声音文件；处理声音文件的至少一部分以确定该个体的说出的名字；将说出的名字转换为文本；以将与说出的名字相关联的文本与面部图像相关联的方式，将该文本储存在存储器中；在与该个体的随后的相遇时，从该可穿戴图像传感器接收该个体的随后的面部图像；基于随后的面部图像来执行对该个体的身份的查找；从存储器调回该个体的说出的名字的文本；以及在用户的移动通信设备上以文本显示该个体的名字。
在一个实施例中，一种可穿戴装置可以包含可穿戴图像传感器、存储器单元以及至少一个处理设备，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像，该存储器单元被配置为储存多个任务，该多个任务包括至少第一任务和第二任务，该至少一个处理设备被编程为：分析多个图像以获得与多个任务中的至少一些任务有关的信息；基于所获得的信息，向第一任务分配比第二任务更高的优先级；以及基于所分配的优先级向用户提供反馈。
在一个实施例中，一种用于捕获并处理图像的方法可以包括：从可穿戴图像传感器接收来自可穿戴装置的用户的环境的多个图像；分析多个图像以获得与多个任务中的至少一些任务相关的信息，多个任务包括至少第一任务和第二任务；基于所获得的信息，向第一任务分配比第二任务更高的优先级；以及基于所分配的优先级向用户提供反馈。
在一个实施例中，一种可穿戴装置可以分析群组动态。可穿戴装置可以包含可穿戴图像传感器，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。可穿戴装置还可以包含至少一个处理设备，该处理设备被配置为对多个图像执行第一分析以检测至少两个人，对多个图像执行第二分析以确定与至少两个检测到的人有关的关联信息，以及基于所确定的关联信息来更新社交表示。
在一个实施例中，一种方法可以分析群组动态。该方法包含使用可穿戴图像传感器获得从可穿戴装置的用户的环境捕获的多个图像，使用该可穿戴装置的至少一个处理器对多个图像执行第一分析以检测至少两个人，使用至少一个处理器对多个图像执行第二分析以确定与至少两个检测到的人有关的关联信息，以及基于所确定的关联信息来更新社交表示。
与其它所公开的实施例一致，一种非暂时性计算机可读存储介质可以储存程序指令，该程序指令由至少一个处理设备执行并且可以执行本文中所描述的任何方法。
前述的总体描述和下面的详细描述仅是示例性和说明性的，并不是对权利要求的限制。
附图说明
并入本公开中并构成本公开的一部分的附图图示了各种所公开的实施例。在附图中：
图1A是根据所公开的实施例的穿戴着穿戴装置的用户的示例的示意图。
图1B是根据所公开的实施例的穿戴着穿戴装置的用户的示例的示意图。
图1C是根据所公开的实施例的穿戴着穿戴装置的用户的示例的示意图。
图1D是根据所公开的实施例的穿戴着穿戴装置的用户的示例的示意图。
图2是与所公开的实施例一致的示例系统的示意图。
图3A是图1A中所示的可穿戴装置的示例的示意图。
图3B是图3A中所示的可穿戴装置的示例的分解图。
图4A是从第一视点的图1B中所示的可穿戴装置的示例的示意图。
图4B是从第二视点的图1B中所示的可穿戴装置的示例的示意图。
图5A是图示根据第一实施例的可穿戴装置的部件的示例的框图。
图5B是图示根据第二实施例的可穿戴装置的部件的示例的框图。
图5C是图示根据第三实施例的可穿戴装置的部件的示例的框图。
图6图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图7是包含可定向图像捕获单元的可穿戴装置的实施例的示意图。
图8是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图9是与本公开的实施例一致的穿戴着可穿戴装置的用户的示意图。
图10是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图11是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图12是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图13是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图14是与本公开一致的可固定到一件衣服上的可穿戴装置的实施例的示意图。
图15是包含电源的可穿戴装置电力单元的实施例的示意图。
图16是包含保护电路的可穿戴装置的示例性实施例的示意图。
图17图示了与本公开一致的存储器的示例性实施例，该存储器含有用于生成面部云的软件模块。
图18A图示了与本公开一致的具有由大小指示的突出级别(prominence level)的面部云的示例。
图18B图示了与本公开一致的具有由形状指示的突出级别的面部云的示例。
图18C图示了与本公开一致的包含链接词的面部云的示例。
图18D图示了与本公开一致的包含多个链接词的面部云的示例。
图18E图示了与本公开一致的包含链接地理位置的面部云的示例。
图18F图示了与本公开一致的包含链接环境特性的面部云的示例。
图18G图示了与本公开一致的使用时间指示符组织的面部云的示例。
图18H图示了与本公开一致的引起面部云重新布置的、对焦点个体的指定的示例。
图19A是与本公开一致的方法的示例性实施例的流程图，该方法用于生成多个人的图像表示的可视化。
图19B是与本公开一致的方法的示例性实施例的流程图，该方法用于生成可视表示，该可视表示包含基于至少一个链接属性来布置的多个面部图像。
图19C是与本公开一致的方法的示例性实施例的流程图，该方法用于生成个体的多个面部图像的子集，所述个体具有带有重叠的常用词的词语列表。
图20图示了与本公开一致的存储器的示例性实施例，该存储器包含用于索引并搜索人和物体的软件模块。
图21A图示了与本公开一致的数据库的示例，该数据库用于将面部图像索引到链接属性。
图21B图示了与本公开一致的数据库的示例，该数据库用于将声音文件索引到提取的词语和物体图像。
图21C图示了与本公开一致的数据库的示例，该数据库用于将面部图像索引到日历日期。
图22A是与本公开一致的方法的示例性实施例的流程图，该方法用于将面部图像索引到链接属性。
图22B是与本公开一致的方法的示例性实施例的流程图，该方法用于将声音文件中的词语索引到物体图像。
图22C是与本公开一致的方法的示例性实施例的流程图，该方法用于将面部图像索引到日历日期。
图22D是与本公开一致的方法的示例性实施例的流程图，该方法用于将面部图像索引到从图像提取的上下文信息。
图22E是与本公开一致的方法的示例性实施例的流程图，该方法用于将从图像中提取的可视上下文指示符索引到与人相关联的上下文类别。
图23图示了与本公开一致的存储器的示例性实施例，该存储器包含用于自动物体比较的软件模块。
图24A图示了与本公开一致的对进行对两个不同物体的查找的触发的示例。
图24B图示了与本公开一致的对进行对两个不同物体的查找的触发的另一个示例。
图24C图示了与本公开一致的用户界面的示例，该用户界面用于进行对两个不同物体的查找。
图25是与本公开一致的方法的示例性实施例的流程图，该方法用于自动物体比较。
图26图示了与本公开一致的存储器的示例性实施例，该存储器包含用于从先前会话中检索并显示关键词的软件模块。
图27A图示了与本公开一致的数据库的示例，该数据库用于将关键词索引到交互频率。
图27B示出了与本公开一致的数据库的另一个示例，该数据库用于将关键词索引到个体的重要性级别。
图28是与本公开一致的方法的示例性实施例的流程图，该方法用于从先前会话中检索并显示关键词。
图29图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图30A和30B是与本公开一致的由可穿戴装置检测到的示例性环境的图示。
图31A是根据所公开的实施例的用于检测可穿戴装置的用户的环境中的触发的方法的流程图。
图31B是根据所公开的实施例的用于检测可穿戴装置的用户的环境中的触发的方法的流程图。
图31C是根据所公开的实施例的用于检测可穿戴装置的用户的环境中的触发的方法的流程图。
图32图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图33A、33B和33C是与本公开一致的可穿戴装置的示例性应用的图示。
图34是根据所公开实施例的用于向可穿戴装置的用户提供位置信息的方法的流程图。
图35图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图36A、36B和36C是与本公开一致的图像传感器遮挡的示例性实施例的图示。
图37是根据所公开的实施例的用于检测和校正对可穿戴装置的图像传感器的阻挡的方法的流程图。
图38图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图39A和39B是根据所公开的实施例的使用可穿戴装置进行名字标记的方法的流程图。
图40示出了根据所公开的实施例的示例用户界面。
图41图示了与本公开一致的含有软件模块的存储器的示例性实施例。
图42是根据所公开的实施例的用于对任务进行优先级排序的方法的流程图。
图43A和43B示出了根据所公开的实施例的示例捕获图像。
图43C示出了根据所公开的实施例的示例用户界面。
图44是与本公开一致的含有软件模块的存储器的示例性实施例。
图45A是用于基于物理距离来确定关联信息的示意图。
图45B是用于基于联合活动来确定关联信息的示意图。
图45C是用于基于共享特性来确定关联信息的示意图。
图45D是用于基于对动作的反应来确定关联信息的示意图。
图46是基于群组动态来更新社交表示的示意图。
图47是示出用于对群组动态进行分析的示例性过程的流程图。
具体实施方式
以下的详细描述参考附图。只要可能，在附图和以下的描述中使用相同的参考标号来指代相同或相似的部分。虽然本文描述了数个说明性实施例，但是修改、改编和其它实现方式是可能的。例如，可以对附图中图示的部件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文所描述的说明性方法进行修改。因此，以下的详细描述并不限于所公开的实施例和示例。代替地，适当的范围由所附权利要求限定。
图1A图示了与所公开的实施例一致的穿戴着装置110的用户100，该装置110物理连接(或集成)到眼镜130。眼镜130可以是处方眼镜、放大镜、非处方眼镜、安全眼镜、太阳镜等。此外，在一些实施例中，眼镜130可以包含框架和耳机、鼻梁等的部件，并且包含一个镜片或不包含镜片。因此，在一些实施例中，眼镜130可以主要用于支撑装置110和/或增强现实显示设备或其它光学显示设备。在一些实施例中，装置110可以包含图像传感器(图1A中未示出)，该图像传感器用于捕获用户100的视场的实时图像数据。术语“图像数据”包含从近-红外、红外、可见和紫外光谱中的光学信号中得到的任何形式的数据。图像数据可以包含视频剪辑(clip)和/或照片。在一些实施例中，装置110的图像传感器(未示出)可以具有与用户100的视场基本相似(例如，至少50％重叠、至少70％重叠、至少90％重叠等)的视场。
在一些实施例中，磁体或其它设备可以嵌入眼镜130内(例如在眼镜的把手内)，使得不需要特定的设备或安装来将装置110附接到眼镜130。然后可以在用户的不同眼镜之间移动同一装置。
在一些实施例中，装置110可以无线地或经由有线与计算设备120通信。在一些实施例中，计算设备120可以包含例如智能手机、平板电脑或专用处理单元，该计算设备120可以是便携式的(例如，可以携带在用户100的口袋中)。尽管在图1A中示出为外部设备，但是在一些实施例中，计算设备120可以作为可穿戴装置110或眼镜130的一部分提供，无论是与其集成还是安装在其上。在一些实施例中，计算设备120可以包含在增强现实显示设备或光学头戴式显示器中，该增强现实显示设备或光学头戴式显示器是集成到眼镜130或安装到眼镜130而被提供。在其它实施例中，例如，当计算设备120是智能手机时，计算设备120可以包含显示设备，该显示设备可以用作增强现实显示设备或其它光学显示设备。在其它实施例中，计算设备120可以被提供为包含腕带、多功能手表、按钮、夹子等的用户100的另一个可穿戴或便携式装置的一部分。在其它实施例中，计算设备120可以被提供为诸如车载汽车计算或导航系统之类的另一个系统的一部分。本领域技术人员可以理解，不同类型的计算设备和设备的布置可以实现所公开实施例的功能。因此，在其它实现方式中，计算设备120可以包含个人计算机(PC)、膝上型计算机、因特网服务器等。
图1B图示了与所公开的实施例一致的穿戴着装置110的用户100，该装置110物理连接到项链140。装置110的这种配置可以适用于在部分时间或全部时间不戴眼镜的用户。在此实施例中，用户100可以容易地穿戴装置110并将其取下。
图1C图示了与所公开的实施例一致的穿戴着装置110的用户100，该装置110物理连接到腰带150。装置110的这种配置可以设计为腰带搭扣。替代地，装置110可以包含夹子，该夹子用于附接到各种衣物，诸如腰带150、背心、口袋、衣领、帽子或帽子或衣物的其它部分。
图1D图示了与所公开的实施例一致的穿戴着装置110的用户100，该装置110物理连接到腕带160。尽管根据该实施例的装置110的瞄准方向可能与用户100的视场不匹配，但是装置110可以包含基于所跟踪的用户100的眼睛移动来识别手相关的触发(hand-relatedtrigger)的能力，所跟踪的眼睛移动指示用户100正向腕带160的方向观看。腕带160还可以包含加速度计、陀螺仪或其它传感器，以用于确定用户100的手的移动或定向(orientation)以识别手相关的触发。
图2是与所公开的实施例一致的示例性系统200的示意图，该示例性系统200包含由用户100穿戴的可穿戴装置110以及能够经由网络240与装置110通信的可选的计算设备120和/或服务器250。在一些实施例中，装置110可以捕获和分析图像数据，识别图像数据中存在的手相关的触发，并至少部分地基于手相关的触发的识别来进行动作和/或向用户100提供反馈。在一些实施例中，可选的计算设备120和/或服务器250可以提供附加功能，以增强用户100与他或她的环境的交互，如下面更详细描述的。
根据所公开的实施例，装置110可以包含图像传感器系统220，该图像传感器系统220用于捕获用户100的视场的实时图像数据。在一些实施例中，装置110还可以包含处理单元210，该处理单元210用于控制和执行装置110的所公开的功能，诸如：控制图像数据的捕获、分析图像数据、以及基于在图像数据中识别的手相关的触发来进行动作和/或输出反馈。根据所公开的实施例，手相关的触发可以包含由用户100进行的、涉及用户100的手的一部分的手势。此外，与一些实施例一致，手相关的触发可以包含手腕相关的触发。此外，在一些实施例中，装置110可以包含反馈输出单元230，该反馈输出单元230用于向用户100产生信息的输出。
如上所述，装置110可以包含图像传感器220，该图像传感器220用于捕获图像数据。术语“图像传感器”指代能够检测近红外、红外、可见和紫外光谱中的光学信号并将其转换成电信号的设备。可以基于检测到的信号使用电信号来形成图像或视频流(即图像数据)。术语“图像数据”包含从近红外、红外、可见和紫外光谱中的光学信号中得到的任何形式的数据。图像传感器的示例可以包含半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)中的有源像素传感器。在一些情况下，图像传感器220可以是包含在装置110中的相机的一部分。
根据所公开的实施例，装置110还可以包含处理器210，该处理器210用于控制图像传感器220以捕获图像数据并用于分析图像数据。如下面参考图5A进一步详细讨论的，处理器210可以包含“处理设备”，该“处理设备”用于根据储存的或可访问的提供了期望功能的软件指令，对图像数据和其它数据的一个或多个输入进行逻辑操作。在一些实施例中，处理器210还可以控制反馈输出单元230向用户100提供反馈，该反馈包含基于分析的图像数据和储存的软件指令的信息。如本文使用的术语，“处理设备”可以访问储存了可执行指令的存储器，或者在一些实施例中，“处理设备”本身可以包含可执行指令(例如，储存在包含于处理设备的存储器中)。
在一些实施例中，提供给用户100的信息或反馈信息可以包含时间信息。时间信息可以包含与当前的日时间(time of day)相关的任何信息，并且如下面进一步描述的，可以以任何感官感知方式呈现。在一些实施例中，时间信息可以包含以预先配置的格式(例如，下午2:30或14:30)的当前的日时间。时间信息可以包含用户当前时区(例如，基于所确定的用户100的位置)的时间、以及时区的指示和/或另一个期望位置的日时间。在一些实施例中，时间信息可以包含相对于一个或多个预定的日时间的小时数或分钟数。例如，在一些实施例中，时间信息可以包含以下指示：直到特定小时(例如，直到下午6:00)或一些其它预定时间前还剩余三小时十五分钟。时间信息还可以包含自特定活动的开始(诸如会议的开始、或慢跑或任何其它活动的开始)起经过的持续时间。在一些实施例中，可以基于分析的图像数据来确定活动。在其它实施例中，时间信息还可以包含附加信息，该附加信息与当前时间和一个或多个其它例程、周期性或排定(scheduled)事件有关。例如，时间信息可以包含直到下一个排定事件前还剩余的分钟数的指示，其可以从日历功能或从计算设备120或服务器250检索的其它信息确定，如下面进一步详细讨论的。
反馈输出单元230可以包含一个或多个反馈系统，该反馈系统用于向用户100提供信息的输出。在所公开的实施例中，可以经由任何类型的已连接的可听或可视系统或两者，来提供可听或可视反馈。根据所公开的实施例的信息的反馈可以包含向用户100的可听反馈(例如，使用蓝牙TM或其它有线或无线连接的扬声器、或骨传导耳机)。一些实施例的反馈输出单元230可以附加地或可替代地向用户100产生可见的信息输出，例如，该可见的信息输出作为投射到眼镜130的镜片上的增强现实显示的一部分，或者经由与装置110通信的单独平视显示器(诸如作为计算设备120的一部分提供的显示器260)而被提供，该计算设备120可以包含车载汽车平视显示器、增强现实设备、虚拟现实设备、智能手机、PC、平板电脑等。
术语“计算设备”指代包含处理单元并具有计算能力的设备。计算设备120的一些示例包含PC、膝上型计算机、平板电脑或诸如汽车的车载计算系统之类的其它计算系统，例如其每个被配置为通过网络240直接与装置110或服务器250通信。计算设备120的另一个示例包含具有显示器260的智能手机。在一些实施例中，计算设备120可以是特别为装置110配置的计算系统，并且可以集成到装置110或与其连接而被提供。装置110还可以经由任何已知的无线标准(例如，Wi-Fi、等)和近场电容耦合以及其它短距离无线技术，或经由有线连接，来通过网络240连接到计算设备120。在计算设备120是智能手机的实施例中，计算设备120可以具有安装在其中的专用应用。例如，用户100可以在显示器260上查看源自装置110或由装置110触发的数据(例如，图像、视频剪辑、提取的信息、反馈信息等)。另外，用户100可以选择部分数据以储存在服务器250中。
网络240可以是共享、公共或私用网络，可以涵盖广域或局域，并且可以通过有线和/或无线通信网络的任何合适组合来实现。网络240可以进一步包括内联网或因特网。在一些实施例中，网络240可以包含短距离或近场无线通信系统，该短距离或近场无线通信系统用于使彼此紧密接近(诸如例如在用户身体上或附近)而提供的装置110和计算设备120之间能够通信。装置110可以自主地建立到网络240的连接，例如，使用无线模块(例如，Wi-Fi、蜂窝)。在一些实施例中，装置110可以在被连接到外部电源时使用无线模块，以延长电池寿命。此外，装置110和服务器250之间的通信可以通过任何合适的通信信道完成，诸如例如电话网络、外联网、内联网、因特网、卫星通信、离线通信、无线通信、转发器通信、局域网(LAN)、广域网(WAN)和虚拟私人网络(VPN)。
如图2所示，装置110可以经由网络240向服务器250传送数据或从服务器250接收数据。在所公开的实施例中，从服务器250和/或计算设备120接收的数据可以包含基于分析的图像数据的许多不同类型的信息，包含与商业产品、或人的身份、识别的地标有关的信息、以及能够储存在服务器250中或由服务器250访问的任何其它信息。在一些实施例中，可以经由计算设备120接收和传送数据。根据所公开的实施例，服务器250和/或计算设备120可以从不同数据源(例如，用户特定数据库或用户的社交网络帐户或其它帐户、因特网和其它管理的或可访问的数据库)检索信息，并且向装置110提供与分析的图像数据和识别的触发有关的信息。在一些实施例中，可以分析从不同数据源检索的日历相关信息以提供某些时间信息或基于时间的上下文，以用于基于分析的图像数据来提供某些信息。
在图3A中更详细地示出了根据一些实施例(如结合图1A所讨论的)的与眼镜130合并的可穿戴装置110的示例。在一些实施例中，装置110可以与结构(图3A中未示出)相关联，该结构使得装置110能够容易地分离和重新附接到眼镜130。在一些实施例中，当装置110附接到眼镜130时，图像传感器220获取被设置的瞄准方向而无需方向校准。图像传感器220的被设置的瞄准方向可以与用户100的视场基本上一致。例如，与图像传感器220相关联的相机可以以面向略微朝下的位置以预定角度(例如，距地平线5-15度)安装在装置110内。因此，图像传感器220的被设置的瞄准方向可以基本上匹配用户100的视场。
图3B是关于图3A讨论的实施例的部件的分解图。将装置110附接到眼镜130可以以下面的方式进行。初始，可以在支撑件310的侧面使用螺钉320将支撑件310安装在眼镜130上。然后，可以将装置110夹在支撑件310上，使得它与用户100的视场相对齐。术语“支撑件”包括能够使包含相机的设备分离和重新附接到一副眼镜或另一物体(例如，头盔)的任何设备或结构。支撑件310可以由塑料(例如，聚碳酸酯)、金属(例如，铝)、或塑料和金属(例如，碳纤维石墨)的组合制成。可以使用螺钉、螺栓、按扣或本领域中使用的任何紧固构件将支撑件310安装在任何类型的眼镜(例如，眼镜、太阳镜、3D眼镜、安全眼镜等)上。
在一些实施例中，支撑件310可以包含用于使装置110脱离和重新接合的快速释放机构。例如，支撑件310和装置110可以包含磁性元件。作为替代示例，支撑件310可以包含凸形闩锁构件，并且装置110可以包括凹形插座。在其它实施例中，支撑件310可以是一副眼镜的组成部分，或者由验光师分开出售和安装。例如，支撑件310可以被配置为安装在眼镜130的臂上，该支撑件310在框架前部附近但在铰链之前。替代地，支撑件310可以被配置为安装在眼镜130的梁上。如上面参照图1A所述，在一些实施例中，眼镜130可以具有嵌入其中的磁体，例如在把手内，使得装置110可以立即附接到眼镜130或从眼镜130分离而无需其它结构或安装，并且使得当分离装置110时，没有结构留在眼镜130上。
在一些实施例中，装置110可以作为眼镜框架130的一部分提供，该眼镜框架130具有或不具有镜片。此外，在一些实施例中，装置110可以被配置为提供投射到眼镜130的镜片(如果提供的话)上的增强现实显示，或者替代地，例如根据所公开的实施例装置110可以包含用于投影信息的显示器。装置110可以包含附加的显示器，或者替代地，可以与分开地提供的显示系统通信，该分开地提供的显示系统可以或可以不附接到眼镜130。
在一些实施例中，装置110可以以可穿戴眼镜之外的形式实现，例如，如上面参考图1B-1D所描述的。图4A是从第一视点看到的装置110的附加实施例的示例的示意图。图4A中所示的视点是从装置110的前部。装置110包含图像传感器220、夹子(未示出)、功能按钮(未示出)和用于将装置110附接到例如如图1B所示的项链140的悬挂环410。当装置110挂在项链140上时，图像传感器220的瞄准方向可能与用户100的视场不完全一致，但瞄准方向仍将与用户100的视场相关。
图4B是从第二视点看到的装置110的第二实施例的示例的示意图。图4B中所示的视点是从装置110的侧向。除了悬挂环410之外，如图4B所示，装置110可以进一步包含夹子420。用户100可以使用夹子420将装置110附接到衬衫或腰带150，如图1C所示。夹子420可以提供用于使装置110与不同件衣服脱离和重新接合的简单机构。在其它实施例中，装置110可以包含用于与汽车安装架或通用支架的凸形锁闩连接的凹形插座。
在一些实施例中，装置110包含功能按钮430，以该功能按钮430用于使用户100能够向装置110提供输入。功能按钮430可以接受不同类型的触觉输入(例如，轻敲、点击、双击、长按、从右到左滑动，从左到右滑动)。在一些实施例中，每种类型的输入可以与不同的动作相关联。例如，轻敲可以与拍摄照片的功能相关联，而从右到左滑动可以与记录视频的功能相关联。
以上关于图3A、3B、4A和4B讨论的示例实施例不是限制性的。在一些实施例中，装置110可以以用于进行所公开的方法的任何合适的配置来实现。例如，返回参考图2，所公开的实施例可以根据包含图像传感器220和处理器单元210的任何配置来实现装置110，该处理单元210用于进行图像分析并用于与反馈单元230通信。
图5A是图示根据示例实施例的装置110的部件的框图。如图5A所示，并且如上面类似地讨论的，装置110包含图像传感器220、存储器550、处理器210、反馈输出单元230、无线收发器530和移动电源520。在其它实施例中，装置110还可以包含按钮、诸如麦克风的其它传感器、和/或惯性测量设备(诸如加速计、陀螺仪、磁力计)、温度传感器、颜色传感器、光传感器等。装置110可以进一步包含数据端口570和电力连接510，该电力连接510具有用于与外部电源或外部设备(未示出)连接的合适接口。
图5A中描绘的处理器210可以包含任何合适的处理设备。术语“处理设备”包含具有对一个或多个输入进行逻辑操作的电路的任何物理设备。例如，处理设备可以包含一个或多个集成电路、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、或适用于执行指令或进行逻辑操作的其它电路。由处理设备执行的指令可以例如被预加载到与处理设备集成或嵌入到处理设备中的存储器中，或者可以被储存在分开的存储器(例如，存储器550)中。存储器550可以包含随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪速存储器、其它永久、固定或易失性存储器、或能够储存指令的任何其它机构。
尽管在图5A所示的实施例中，装置110包含一个处理设备(例如，处理器210)，但是装置110可以包含多于一个处理设备。每个处理设备可以具有相似的构造，或者处理设备可以具有彼此电连接或断开的不同构造。例如，处理设备可以是分开的电路或集成在单个电路中。当使用多于一个处理设备时，处理设备可以被配置为独立地或协作地操作。处理设备可以通过电、磁、光学、声学、机械或允许它们交互的其它构件耦接。
在一些实施例中，处理器210可以处理从用户100的环境捕获的多个图像，以确定与捕获随后的图像有关的不同的参数。例如，处理器210可以基于从捕获的图像数据导出的信息来确定以下中的至少一个的值：图像分辨率、压缩比、裁剪参数、帧速率、焦点、曝光时间、光圈大小和光敏度。附加地或可替代地，可以从图像传感器220接收值中的一个或多个。所确定或接收的值可以在捕获至少一个随后的图像时使用。此外，处理器210可以在用户的环境中检测包含至少一个手相关的触发的图像并且进行动作和/或经由反馈输出单元230向用户提供信息的输出。
在另一个实施例中，处理器210可以改变图像传感器220的瞄准方向。例如，当装置110与夹子420附接时，图像传感器220的瞄准方向可能与用户100的视场不一致。处理器210可以从分析的图像数据识别某些情况并调节图像传感器220的瞄准方向以捕获相关的图像数据。例如，在一个实施例中，处理器210可以检测与另一个个体的交互并且因为图像传感器220向下倾斜而感测到该个体未完全在视野中。响应于此，处理器210可以调节图像传感器220的瞄准方向以捕获该个体的图像数据。还预期到处理器210可以识别需要调节图像传感器220的瞄准方向的其它场景。
在一些实施例中，处理器210可以将数据传送到反馈输出单元230，反馈输出单元230可以包含被配置为向用户100提供信息的任何设备。反馈输出单元230可以被提供为装置110的一部分(如图所示)，或者可以被提供在装置110外部并通信地耦接到装置110。反馈输出单元230可以被配置为诸如当处理器210在分析的图像数据中识别手相关的触发时，基于从处理器210接收的信号来输出可视或不可视反馈。
术语“反馈”指代响应于处理环境中的至少一个图像而提供的任何输出或信息。在一些实施例中，类似如上所述，反馈可以包含以下的可听或可视指示：时间信息、检测到的文本或数字、货币价值、品牌产品、食品或饮料类型、人的身份、地标或其它环境状况或条件的标识(包括交叉路口的街道名称或交通灯等的颜色等)、机器或设备、以及与这些中的每个相关的其它信息。例如，在一些实施例中，反馈可以包含关于完成交易仍然需要的货币量的附加信息、关于所识别的人的信息、检测到的地标等的历史信息或入场时间和入场费等。在一些实施例中，反馈可以包含可听音调、触觉响应和/或由用户100先前记录的信息。反馈输出单元230可以包括用于输出声学和触觉反馈的适当部件。例如，反馈输出单元230可以包括音频耳机、助听器类型设备、扬声器、骨传导耳机、提供触觉提示的接口、触觉振动模拟器等。在一些实施例中，处理器210可以经由无线收发器530、有线连接或一些其它通信接口来与外部反馈输出单元230通信信号。在一些实施例中，反馈输出单元230还可以包含用于向用户100可视地显示信息的任何合适的显示设备。
如图5A所示，装置110包含存储器550。存储器550可以储存处理器210可访问的指令的一个或多个集合以进行所公开的方法，包含用于在图像数据中识别手相关的触发的指令。在一些实施例中，存储器550可以储存从用户100的环境捕获的图像数据(例如，图像、视频)。另外，存储器550可以储存特定于用户100的信息，诸如已知个体的图像表示、喜欢的产品、个人物品、以及日历或约会信息等。在一些实施例中，处理器210可以例如基于存储器550中的可用储存空间来确定要储存哪种类型的图像数据。在另一个实施例中，处理器210可以从储存在存储器550中的图像数据中提取信息。
如图5A中进一步所示，装置110包含移动电源520。术语“移动电源”包括能够提供电力的任何设备，其可以容易地用手携带(例如，移动电源520可以重量小于1磅)。电源的移动性使用户100能够在各种情况下使用装置110。在一些实施例中，移动电源520可以包含一个或多个电池(例如，镍镉电池、镍金属氢化物电池和锂离子电池)或任何其它类型的电源。在其它实施例中，移动电源520可以是可再充电的并且包含在容纳装置110的壳体内。在其它实施例中，移动电源520可以包含一个或多个能量收集设备(例如，便携式太阳能单元、人体振动单元等)，用于将周围能量转换成电能。
移动电源520可以为一个或多个无线收发器(例如，图5A中的无线收发器530)供电。术语“无线收发器”指代被配置为通过使用射频、红外频率、磁场或电场通过空中接口交换传输的任何设备。无线收发器530可以使用任何已知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙智能、802.15.4或ZigBee)。在一些实施例中，无线收发器530可以将数据(例如，原始图像数据、处理的图像数据、提取的信息)从装置110发送到计算设备120和/或服务器250。无线收发器530还可以从计算设备120和/或服务器250接收数据。在其它实施例中，无线收发器530可以将数据和指令发送到外部反馈输出单元230。
图5B是图示根据另一个示例实施例的装置110的部件的框图。在一些实施例中，装置110包含第一图像传感器220a、第二图像传感器220b、存储器550、第一处理器210a、第二处理器210b、反馈输出单元230、无线收发器530、移动电源520和电力连接510。在图5B所示的布置中，每个图像传感器可以提供不同参数的图像，诸如图像分辨率或面向不同的方向。替代地，每个图像传感器可以与不同类型的相机(例如，广角相机、窄角相机、IR相机等)相关联。在一些实施例中，装置110可以基于各种因素来选择将使用哪个图像传感器。例如，处理器210a可以基于存储器550中的可用储存空间来确定以某一分辨率捕获随后的图像。
装置110可以在第一处理模式和第二处理模式下操作，使得第一处理模式可以比第二处理模式消耗更少的电力。例如，在第一处理模式下，装置110可以捕获图像并处理捕获的图像，以例如基于识别的手相关的触发来做出实时决定。在第二处理模式下，装置110可以从存储器550中储存的图像中提取信息并从存储器550中删除图像。在一些实施例中，移动电源520可以在第一处理模式下提供多于十五小时的处理，在第二处理模式下提供大约三小时的处理。因此，不同的处理模式可以允许移动电源520产生足够的电力以用于为装置110供电达不同的时间段(例如，多于两小时、多于四小时、多于十小时等)。
在一些实施例中，装置110可以在由移动电源520供电时在第一处理模式下使用第一处理器210a，并且在由可经由电力连接510连接的外部电源580供电时在第二处理模式下使用第二处理器210b。在其它实施例中，装置110可以基于预定条件来确定使用哪个处理器或哪个处理模式。即使装置110未由外部电源580供电时，装置110也可以在第二处理模式下操作。例如，当装置110未由外部电源580供电时，如果存储器550中的用于储存新的图像数据的可用储存空间低于预定阈值，则装置110可以确定它应该在第二处理模式下操作。因此，当存储器550具有不超过预定阈值的空闲空间时，即使装置110未由外部电源580供电，装置110也可以从在存储器550中储存的图像中提取信息并从存储器550中删除图像。
尽管图5B中描绘了一个无线收发器，但装置110可以包含多于一个无线收发器(例如，两个无线收发器)。在具有多于一个无线收发器的布置中，每个无线收发器可以使用不同的标准来发送和/或接收数据。在一些实施例中，第一无线收发器可以使用蜂窝标准(例如，LTE或GSM)与服务器250或计算设备120通信，并且第二无线收发器可以使用短距离标准(例如，Wi-Fi或)与服务器250或计算设备120通信。在一些实施例中，当可穿戴装置由包含在可穿戴装置中移动电源供电时装置110可以使用第一无线收发器，并且当可穿戴装置由外部电源供电时装置110可以使用第二无线收发器。
图5C是图示根据包含计算设备120的另一个示例实施例的装置110的部件的框图。在此实施例中，装置110包含图像传感器220、存储器550a、第一处理器210、反馈输出单元230、无线收发器530a、移动电源520和电源连接器510。如图5C中进一步所示，计算设备120包含处理器540、反馈输出单元545、存储器550b、无线收发器530b和显示器260。计算设备120的一个示例是其中安装有专用应用的智能手机或平板电脑。在其它实施例中，计算设备120可以包含任何配置，诸如车载汽车计算系统、PC、膝上型计算机、以及与所公开的实施例一致的任何其它系统。在此示例中，用户100可以响应于手相关的触发的识别而在显示器260上查看反馈输出。此外，用户100可以在显示器260上查看其它数据(例如，图像、视频剪辑、物体信息、排程信息、提取的信息等)。另外，用户100可以经由计算设备120与服务器250通信。
在一些实施例中，处理器210和处理器540被配置为从捕获的图像数据中提取信息。术语“提取信息”包含通过本领域普通技术人员已知的任何手段在捕获的图像数据中识别与物体、个体、位置、事件等相关联的信息的任何过程。在一些实施例中，装置110可以使用提取的信息来将反馈或其它实时指示发送到反馈输出单元230或计算设备120。在一些实施例中，处理器210可以在图像数据中识别站在用户100前面的个体，并且向计算设备120发送该个体的名字以及用户100遇见该个体最后的时间。在另一个实施例中，处理器210可以在图像数据中识别一个或多个可见触发(该可见触发包含手相关的触发)，并确定该触发是否与不同于可穿戴装置的用户的人相关联，以选择性地确定是否进行与该触发相关联的动作。一个这样的动作可以是经由反馈输出单元230或经由反馈单元545来向用户100提供反馈，该反馈输出单元230被提供为装置110的一部分(或与装置110通信)，该反馈单元545被提供为计算设备120的一部分。例如，反馈输出单元545可以与显示器260通信以使显示器260可视地输出信息。在一些实施例中，处理器210可以在图像数据中识别手相关的触发，并且向计算设备120发送该触发的指示。然后，处理器540可以处理所接收的触发信息，并基于手相关的触发经由反馈输出单元545或显示器260提供输出。在其它实施例中，处理器540可以基于从装置110接收的图像数据来确定手相关的触发并提供类似于上述的合适反馈。在一些实施例中，处理器540可以基于识别的手相关的触发向装置110提供指令或其它信息，诸如环境信息。
在一些实施例中，处理器210可以在分析的图像中识别其它环境信息(诸如站在用户100前面的个体)，并且向计算设备120发送与分析的信息有关的信息，诸如该个体的名字和用户100遇见该个体最后的时间。在不同的实施例中，处理器540可以从捕获的图像数据中提取统计信息并将统计信息转发到服务器250。例如，可以由处理器540确定关于用户购买的物品的类型或用户光顾特定商家的频率等的某些信息。基于此信息，服务器250可以向计算设备120发送与用户的偏好相关联的优惠券和折扣。
当装置110连接或无线连接到计算设备120时，装置110可以发送储存在存储器550a中的图像数据的至少一部分以储存在存储器550b中。在一些实施例中，在计算设备120确认传送图像数据的该部分成功之后，处理器210可以删除图像数据的该部分。术语“删除”意味着图像被标记为“已删除”并且可以储存其它图像数据代替它，但不一定意味着图像数据被物理地从存储器中移除。
如受益于本公开的本领域技术人员将理解的，可以对所公开的实施例做出许多变化和/或修改。并非所有部件对于装置110的操作都是必要的。在提供所公开的实施例的功能时，任何部件可以位于任何适当的装置中并且部件可以被重新布置成各种配置。例如，在一些实施例中，装置110可以包含相机、处理器和无线收发器，该无线收发器用于将数据发送到另一个设备。因此，前述配置是示例，并且无论上面讨论的配置如何，装置110都可以捕获、储存和/或处理图像。
此外，前面和后面的描述指代储存和/或处理图像或图像数据。在本文公开的实施例中，储存和/或处理的图像或图像数据可以包括由图像传感器220捕获的一个或多个图像的表示。如本文使用的术语，图像(或图像数据)的“表示”可以包含整个图像或图像的一部分。图像(或图像数据)的表示可以具有与图像(或图像数据)相同的分辨率或更低的分辨率，和/或图像(或图像数据)的表示可以在某些方面被更改(例如，被压缩、具有更低的分辨率、具有一种或多种被更改的颜色等)。
例如，装置110可以捕获图像并储存例如被压缩为JPG文件的图像的表示。作为另一个示例，装置110可以捕获彩色图像，但储存彩色图像的黑白表示。作为又一个示例，装置110可以捕获图像并储存图像的不同表示(例如，图像的一部分)。例如，装置110可以储存图像的一部分，图像的该部分包含出现在图像中的人的面部，但是基本上不包含该人周围的环境。类似地，例如，装置110可以储存图像的一部分，图像的该部分包含出现在图像中的产品，但是基本上不包含该产品周围的环境。作为又一示例，装置110可以以降低的分辨率(即，以比捕获的图像的分辨率值更低的值的分辨率)储存图像的表示。储存图像的表示可以允许装置110节省存储器550中的储存空间。此外，处理图像的表示可以允许装置110改进处理效率和/或帮助保持电池寿命。
除了上述之外，在一些实施例中，装置110或计算设备120中的任何一个，经由处理器210或540，可以进一步处理所捕获的图像数据来提供附加的功能，以在所捕获的图像数据中识别物体和/或手势和/或其它信息。在一些实施例中，可以基于所识别的物体、手势或其它信息来采取动作。在一些实施例中，处理器210或540可以在图像数据中识别一个或多个可见触发(该可见触发包含手相关的触发)，并确定该触发是否与不同于用户的人相关联，以确定是否进行与该触发相关联的操作。
本公开的一些实施例可以包含可固定到用户的衣物上的装置。这种装置可以包含两个部分，该两个部分可由连接器连接。捕获单元可以被设计为穿戴在用户衣服的外部，并且可以包含用于捕获用户环境的图像的图像传感器。捕获单元可以连接到或可连接到电力单元，该电力单元可以配置为收容电源和处理设备。捕获单元可以是包含相机和其它用于捕获图像的设备的小设备。捕获单元可以被设计为不显眼且不引人注目的，并且可以被配置为与由用户的衣服隐藏的电力单元通信。电力单元可以包含系统的庞大方面，诸如收发器天线、至少一个电池、处理设备等。在一些实施例中，可以由包含在连接器中的数据电缆提供捕获单元和电力单元之间的通信，而在其它实施例中，可以无线地实现捕获单元和电力单元之间的通信。一些实施例可以允许更改捕获单元的图像传感器的定向，例如以更好地捕获感兴趣的图像。
图6图示了与本公开一致的含有软件模块的存储器的示例性实施例。在存储器550中包含定向识别模块601、定向调节模块602和监视模块603。模块601、602、603可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。定向识别模块601、定向调节模块602和监视模块603可以协作以为并入到无线装置110中的捕获单元提供定向调节。
图7图示了包含定向调节单元705的示例性捕获单元710。定向调节单元705可以被配置为允许图像传感器220的调节。如图7所示，定向调节单元705可以包含眼球型调节机构。在替代实施例中，定向调节单元705可以包含万向节、可调节杆、可枢转支架以及用于调节图像传感器220的定向的任何其它合适单元。
图像传感器220可以被配置为可以图像传感器220的瞄准方向与用户100的视场基本上一致的方式，随用户100的头部移动。例如，如上所述，取决于捕获单元710的预期位置，与图像传感器220相关联的相机可以以面向略微朝上或朝下的位置以预定角度安装在捕获单元710内。因此，图像传感器220的被设置的瞄准方向可以匹配用户100的视场。在一些实施例中，处理器210可以使用从图像传感器220提供的图像数据来改变图像传感器220的定向。例如，处理器210可以识别用户正在阅读书籍并确定图像传感器220的瞄准方向偏离文本。换言之，因为每行文本的开头的文字未完全在视野中，所以处理器210可以确定图像传感器220在错误的方向上倾斜。响应于此，处理器210可以调节图像传感器220的瞄准方向。
定向识别模块601可以被配置为识别捕获单元710的图像传感器220的定向。可以通过以下方式识别图像传感器220的定向，例如：通过分析由捕获单元710的图像传感器220捕获的图像，通过捕获单元710内的倾斜或姿态感测设备，以及通过测量定向调节单元705相对于捕获单元710的剩余部分的相对方向。
定向调节模块602可以被配置为调节捕获单元710的图像传感器220的定向。如上所述，图像传感器220可以安装在被配置用于移动的定向调节单元705上。定向调节单元705可以被配置用于响应于来自定向调节模块602的命令而进行旋转和/或横向移动。在一些实施例中，定向调节单元705可以经由马达、电磁铁、永磁体和/或其任何合适的组合来调节图像传感器220的定向。
在一些实施例中，可以提供监视模块603用于持续监视。这种持续监视可以包含跟踪包含在由图像传感器捕获的一个或多个图像中的物体的至少一部分的移动。例如，在一个实施例中，装置110可以跟踪物体，只要该物体基本上保持在图像传感器220的视场内。在另外的实施例中，监视模块603可以接合定向调节模块602以指令定向调节单元705使图像传感器220持续地朝感兴趣的物体定向。例如，在一个实施例中，即使当某个指定物体到处移动时，监视模块603可以使图像传感器220调节定向，以确保该指定物体(例如，特定人的面部)保持在图像传感器220的视场内。在另一个实施例中，监视模块603可以持续监视包含在由图像传感器捕获的一个或多个图像中的感兴趣区域。例如，用户可能被某个任务占用(例如，在膝上型计算机上打字)，而图像传感器220保持以特定方向定向并且持续地监视来自一系列图像的每个图像的一部分以检测触发或其它事件。例如，在用户的注意力在其它方面被占用时，图像传感器210可以朝一件实验室装备定向，并且监视模块603可以被配置为监视实验室装备上的状态灯的状态变化。
在与本公开一致的一些实施例中，捕获单元710可以包含多个图像传感器220。多个图像传感器220可以各自被配置为捕获不同的图像数据。例如，当提供多个图像传感器220时，图像传感器220可以捕获具有不同分辨率的图像，可以捕获更宽或更窄的视场，并且可以具有不同的放大率。图像传感器220可以配备有不同的透镜以允许这些不同的配置。在一些实施例中，多个图像传感器220的可以包含具有不同定向的图像传感器220。因此，多个图像传感器220中的每个可以指向不同的方向以捕获不同的图像。在一些实施例中，图像传感器220的视场可以重叠。多个图像传感器220可以各自被配置用于定向调节，例如，通过与图像调节单元705配对。在一些实施例中，监视模块603或与存储器550相关联的另一个模块可以被配置为单独地调节多个图像传感器220的定向以及如有需要打开或关闭多个图像传感器220中的每个。在一些实施例中，监视由图像传感器220所捕获的物体或人可以包含跟踪物体跨多个图像传感器220的视场的移动。
与本公开一致的实施例可以包含连接器，该连接器被配置为连接可穿戴装置的捕获单元和电力单元。与本公开一致的捕获单元可以包含至少一个图像传感器，该图像传感器被配置为捕获用户的环境的图像。与本公开一致的电力单元可以被配置为收容电源和/或至少一个处理设备。与本公开一致的连接器可以被配置为连接捕获单元和电力单元，并且可以被配置为将装置固定到一件衣服上，使得捕获单元被安置在该件衣服的外表面之上并且电力单元被安置在该件衣服的内表面之下。关于图8-14进一步详细地讨论了与本公开一致的捕获单元、连接器和电力单元的示例性实施例。
图8是与本公开一致的可固定到一件衣服上的可穿戴装置110的实施例的示意图。如图8所示，捕获单元710和电力单元720可以通过连接器730连接，使得捕获单元710安置在一件衣服750的一侧，而电力单元720安置在该件衣服750的相对侧。在一些实施例中，捕获单元710可以安置在该件衣服750的外表面之上，而电力单元720可以位于该件衣服750的内表面之下。电力单元720可以被配置为抵靠用户的皮肤放置。
捕获单元710可以包含图像传感器220和定向调节单元705(如图7所示)。电力单元720可以包含移动电源520和处理器210。电力单元720可以进一步包含先前讨论的可以是可穿戴装置110的一部分的元件的任何组合，所述部件包含但不限于无线收发器530、反馈输出单元230、存储器550和数据端口570。
连接器730可以包含夹子715或其它机械连接，其被设计为将捕获单元710和电力单元720夹持或附接到一件衣服750，如图8所示。如图所示，夹子715可以在其周边处连接到捕获单元710和电力单元720中的每个，并且可以环绕该件衣服750的边缘以将捕获单元710和电力单元720固定在适当位置。连接器730可以进一步包含电力电缆760和数据电缆770。电力电缆760可以能够将电力从移动电源520传送到捕获单元710的图像传感器220。电力电缆760还可以被配置为向捕获单元710的任何其它元件(例如定向调节单元705)提供电力。数据电缆770可以能够将捕获的图像数据从捕获单元710中的图像传感器220传送到电力单元720中的处理器800。数据电缆770可以进一步能够在捕获单元710和处理器800之间传送附加数据，例如用于定向调节单元705的控制指令。
图9是与本公开的实施例一致的穿戴着可穿戴装置110的用户100的示意图。如图9所示，捕获单元710位于用户100的衣服750的外表面上。捕获单元710经由连接器730连接到电力单元720(在此图中不可见)，该连接器730环绕衣服750的边缘。
在一些实施例中，连接器730可以包含柔性印刷电路板(PCB)。图10示出了连接器730包含柔性印刷电路板765的示例性实施例。柔性印刷电路板765可以包含捕获单元710和电力单元720之间的数据连接和电力连接。因此，在一些实施例中，柔性印刷电路板765可以用于替换电力电缆760和数据电缆770。在替代实施例中，除了电力电缆760和数据电缆770中的至少一个之外，还可以包含柔性印刷电路板765。在本文讨论的各种实施例中，柔性印刷电路板765可以替代电力电缆760和数据电缆770，或者除了电力电缆760和数据电缆770之外还可以包含柔性印刷电路板765。
图11是与本公开一致的可固定到一件衣服上的可穿戴装置的另一个实施例的示意图。如图11所示，连接器730可以相对于捕获单元710和电力单元720位于居中。连接器730的中心位置可以便于通过衣服750中的孔将装置110固定到衣服750上，诸如，该孔例如是一件现有的衣服750中的纽扣孔或设计用于容纳可穿戴装置110的衣物750中的特殊孔。
图12是可固定到一件衣服上的可穿戴装置110的又一个实施例的示意图。如图12所示，连接器730可以包含第一磁体731和第二磁体732。第一磁体731和第二磁体732可以将捕获单元710固定到电力单元720，其中该件衣服安置在第一磁体731和第二磁体732之间。在包含第一磁体731和第二磁体732的实施例中，也可以包含电力电缆760和数据电缆770。在这些实施例中，电力电缆760和数据电缆770可以具有任何长度，并且可以在捕获单元710和电力单元720之间提供灵活的电力和数据连接。除了电力电缆760和/或数据电缆770之外或代替电力电缆760和/或数据电缆770，包含第一磁体731和第二磁体732的实施例可以进一步包含柔性PCB 765连接。在一些实施例中，第一磁体731或第二磁体732可以由包含金属材料的物体代替。
图13是可固定到一件衣服上的可穿戴装置110的又一个实施例的示意图。图13图示了可以在捕获单元710和电力单元720之间无线传送电力和数据的实施例。如图13所示，第一磁体731和第二磁体732可以被提供为连接器730，以将捕获单元710和电力单元720固定到一件衣服750。可以经由任何合适的无线技术在捕获单元710和电力单元720之间传送电力和/或数据，该无线技术例如磁场和/或电容耦合、近场通信技术、射频传送以及适用于短距离传送数据和/或电力的任何其它无线技术。
图14图示了可固定到用户的一件衣服750的可穿戴装置110的又一个实施例。如图14所示，连接器730可以包含设计用于接触配合的特征。例如，捕获单元710可以包含具有中空中心的环733，该环具有略大于位于电力单元720上的盘形突起734的直径。当与它们之间的一件衣服750的织物按压在一起时，盘形突起734可以紧密地配合在环733内，将捕获单元710固定到电力单元720。图14图示了在捕获单元710和电力单元720之间不包含任何电缆或其它物理连接的实施例。在此实施例中，捕获单元710和电力单元720可以无线地传送电力和数据。在替代实施例中，捕获单元710和电源单元720可以经由电缆760、数据电缆770和柔性印刷电路板765中的至少一个来传送电力和数据。
图15图示了与本文描述的实施例一致的电力单元720的另一个方面。电力单元720可以被配置为直接抵靠用户的皮肤安置。为了便于这样的安置，电力单元720可以进一步包含涂覆有生物相容性材料740的至少一个表面。生物相容性材料740可以包含在长时间段抵靠皮肤穿戴时不会与用户的皮肤起消极反应的材料。这样的材料可以包含例如硅树脂、PTFE、聚酰亚胺、聚酰亚胺、钛、镍钛合金、铂等等。同样如图15所示，可以设置电力单元720的大小使得电力单元的内部容积基本上由移动电源520填充。换言之，在一些实施例中，电力单元720的内部容积可以使得该容积不容纳除移动电源520之外的任何附加部件。在一些实施例中，移动电源520可以利用其紧密接近用户皮肤的优势。例如，移动电源520可以使用珀耳帖效应(Peltier effect)来产生电力和/或为电源充电。
在进一步的实施例中，可固定到一件衣服的装置可以进一步包含与收容在电力单元720中的电源520相关联的保护电路。图16图示了包含保护电路775的示例性实施例。如图16所示，保护电路775可以相对于电力单元720远程定位。在替代实施例中，保护电路775还可以位于捕获单元710中、柔性印刷电路板765上或电力单元720中。
保护电路775可以被配置为保护捕获单元710的图像传感器220和/或其它元件免受由移动电源520产生的潜在危险电流和/或电压的影响。保护电路775可以包含无源部件，诸如电容器、电阻器、二极管、电感器等，以向捕获单元710的元件提供保护。在一些实施例中，保护电路775还可以包含有源部件，诸如晶体管，以向捕获单元710的元件提供保护。例如，在一些实施例中，保护电路775可以包括用作保险丝的一个或多个电阻器。每个保险丝可以包括线或条带，该线或条带在流过保险丝的电流超过预定的限制(例如，500毫安、900毫安、1安培、1.1安培、2安培、2.1安培、3安培等)时熔化(从而阻碍图像捕获单元710的电路和电力单元720的电路之间的连接)。任何或所有前述实施例可以包含保护电路775。
在一些实施例中，可穿戴装置可以经由任何已知的无线标准(例如，蜂窝、Wi-Fi、等)或经由近场电容耦合、其它短距离无线技术或经由有线连接，通过一个或多个网络将数据发送到计算设备(例如，智能手机、平板电脑、手表、计算机等)。类似地，可穿戴装置可以经由任何已知的无线标准(例如，蜂窝、Wi-Fi、等)或经由近场电容耦合、其它短距离无线技术或经由有线连接，通过一个或多个网络从计算设备接收数据。发送到可穿戴装置和/或由无线装置接收的数据可以包含图像、图像的部分、与在分析的图像中出现的信息有关的或与分析的音频相关联的标识符、或表示图像数据和/或音频数据的任何其它数据。例如，可以分析图像，并且可以将与图像中发生的活动有关的标识符发送到计算设备(例如，“配对设备”)。在本文描述的实施例中，可穿戴装置可以在本地(在可穿戴装置上)和/或远程(经由计算设备)处理图像和/或音频。此外，在本文描述的实施例中，可穿戴装置可以将与图像和/或音频的分析有关的数据发送到计算设备以用于进一步分析、显示和/或发送到另一个设备(例如，配对的设备)。此外，配对的设备可以执行一个或多个应用(app)以处理、显示和/或分析从可穿戴装置接收的数据(例如，标识符、文本、图像、音频等)。
一些公开的实施例可以涉及用于确定至少一个关键词的系统、设备、方法和软件产品。例如，可以基于由装置110收集的数据来确定至少一个关键词。可以基于至少一个关键词来确定至少一个搜索查询。可以将至少一个搜索查询发送到搜索引擎。
在一些实施例中，可以基于由图像传感器220捕获的至少一个或多个图像来确定至少一个关键词。在一些情况下，可以从储存在存储器中的关键词池中选择至少一个关键词。在一些情况下，可以对由图像传感器220捕获的至少一个图像进行光学字符识别(OCR)，并且可以基于OCR结果来确定至少一个关键词。在一些情况下，可以分析由图像传感器220捕获的至少一个图像以识别：人、物体、位置、场景等等。此外，可以基于所识别的人、物体、位置、场景等来确定至少一个关键词。例如，至少一个关键词可以包括：人的名字、物体的名称、地点的名称、日期、运动队的名称、电影的名称、书籍的名称等等。
在一些实施例中，可以基于用户的行为来确定至少一个关键词。可以基于对由图像传感器220捕获的一个或多个图像的分析来确定用户的行为。在一些实施例中，可以基于用户和/或其它人的活动来确定至少一个关键词。可以分析由图像传感器220捕获的一个或多个图像以识别出现在由图像传感器220捕获的一个或多个图像中的用户和/或其它人的活动。在一些实施例中，可以基于由装置110捕获的至少一个或多个音频片段来确定至少一个关键词。在一些实施例中，可以至少基于与用户相关联的GPS信息来确定至少一个关键词。在一些实施例中，可以至少基于当前时间和/或日期来确定至少一个关键词。
在一些实施例中，可以基于至少一个关键词来确定至少一个搜索查询。在一些情况下，至少一个搜索查询可以包括至少一个关键词。在一些情况下，至少一个搜索查询可以包括该至少一个关键词和由用户提供的附加关键词。在一些情况下，至少一个搜索查询可以包括至少一个关键词和一个或多个图像，诸如由图像传感器220捕获的图像。在一些情况下，至少一个搜索查询可以包括至少一个关键词和一个或多个音频片段，诸如由装置110捕获的音频片段。
在一些实施例中，可以将至少一个搜索查询发送到搜索引擎。在一些实施例中，可以向用户提供由搜索引擎响应于至少一个搜索查询而提供的搜索结果。在一些实施例中，至少一个搜索查询可以用于访问数据库。
例如，在一个实施例中，关键词可以包含一种食物的名称(诸如藜麦)或食品的商标名称；并且该搜索将输出与期望的消耗量、关于营养简介的事实等有关的信息。在另一个示例中，在一个实施例中，关键词可以包含饭店的名称，并且该搜索将输出与该饭店有关的信息，诸如菜单、营业时间、评论等。可以在招牌图像上使用OCR、使用GPS信息等等来获得该饭店的名称。在另一示例中，在一个实施例中，关键词可以包含人的名字，并且该搜索将提供来自该人的社交网络简介的信息。可以在附接到该人的衬衫的姓名标签的图像上使用OCR、使用面部识别算法等等来获得该人的名字。在另一个示例中，在一个实施例中，关键词可以包含书籍的名称，并且该搜索将输出与该书籍有关的信息，诸如评论、销售统计、关于该书籍的作者的信息等等。在另一个示例中，在一个实施例中，关键词可以包含电影的名称，并且该搜索将输出与该电影有关的信息，诸如评论、票房统计、关于该电影的演员表的信息、节目时间等等。在另一个示例中，在一个实施例中，关键词可以包含运动队的名称，并且该搜索将输出与该运动队有关的信息，诸如统计、最新结果、未来排程、关于运动队的运动员的信息等等。例如，可以使用音频识别算法来获得运动队的名称。
生成并显示面部云
如本文所使用的，“面部云(face cloud)”指代人脸的多个可视表示的任何布置，其中该布置至少部分地通过一个或多个参数确定而不是随机地确定。例如，如下面所解释的，链接属性可以被用于在面部云中布置多个可视表示。
在一些实施例中，本公开的可穿戴装置可以生成包括面部云的定制用户界面。可以在包含于可穿戴装置中或与可穿戴装置相关联的显示设备上显示面部云。面部云可以通过提供总结用户的交互的可视界面来改进用户体验。因此，本公开的实施例提供了改进的显示界面，特别是对于可穿戴设备。
本公开的一些实施例，并非使用传统的用户界面方法来显示人的通用列表，而是使用以可视且易于感知的方式向用户显示有限的信息集合的特定方式。用于总结用户的交互的现有界面是重度基于文本且难以操纵的。因此，本公开的实施例提供了改进的显示界面，该改进的显示界面被可视地组织并且允许用户容易地操纵。
图17图示了与本公开一致的含有软件模块的存储器的示例性实施例。在存储器1700中包含人识别模块1701、亲和度(affinity)分析模块1702、图像表示模块1703和可视化模块1704。模块1701、1702、1703、1704可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，存储器1700可以包括驻留在移动通信设备(例如，智能电话)上的非暂时性计算机可读介质，该移动通信设备被配置为与捕获单元710的可穿戴图像传感器220无线配对。
人识别模块1701、亲和度分析模块1702、图像表示模块1703和可视化模块1704可以协作以生成面部云并将其呈现给无线装置110的用户，以及可以协作以允许与无线装置110的用户进行交互。存储器1700可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和监视模块603可以与图17的人识别模块1701、亲和度分析模块1702、图像表示模块1703和可视化模块1704一前一后地操作或同时地操作。
人识别模块1701可以被配置为从可穿戴装置110的用户的环境接收由捕获单元710的图像传感器220捕获的多个图像，并分析多个图像以识别多个人。如本文所讨论的，所接收的图像或面部图像可以在大小、形状和内容方面变化。例如，在一些实施例中，包含更宽场景(例如，多个个体、或个体及他或她的周围环境)的图像可以被裁剪或以其它方式被截断为面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。在其它实施例中，所接收的图像可以包含这样的更宽的场景(例如，多个个体、或个体及他或她的周围环境)。在其它实施例中，所接收的图像可以包含面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。
人识别模块1701可以使用任何已知技术来识别所接收图像中的人。例如，人识别模块1701可以对当前所接收的面部图像进行图像处理，并且确定所接收的面部图像对应于已识别的个体的面部，该已识别的个体的面部图像已经先前储存在存储器中。因此，人识别模块1701可以进行逐像素匹配。在其它实施例中，人识别模块1701可以执行更复杂的技术。例如，人识别模块1701可以使用一个或多个分类器(或级联分类器)来导出包含在多个图像中的人的身份。附加地或可替代地，人识别模块1701可以使用神经网络来识别包含在多个图像中的人的一个或多个可能的标识。替代地，人识别模块1701可以使用神经网络来从图像的一个或多个中导出多个特征(例如，特征集)，并且然后将导出的特征(或特征集)映射到一个或多个可能的标识上。可以使用简单相关或使用更复杂的技术(诸如另一个神经网络)来进行映射。
在上述任何实施例中，可能的匹配(likely match)可以具有相关联的概率，该概率例如从神经网络输出；基于匹配像素、特征等的百分比来计算等。因此，人识别模块1701可以通过选择最高概率匹配，从多个可能的匹配中选择人的标识。
在上述任何实施例中，多个图像中的一个或多个图像可以包含多于一个人或不包含人。因此，人识别模块1701可以使用边界框架构——诸如你只看一次(You Only LookOnce，YOLO)或单次检测器(Single-Shot Detector，SSD)——来识别其中包含人的边界框。例如，如果人识别模块1701使用边界框架构并且未接收到被分类为人的边界框或接收到都具有低于阈值(例如，小于50％、小于40％、小于25％、小于10％、小于5％等)的人分类的边界框，则人识别模块1701可以因为该图像不包含人而丢弃多个图像中的该图像。类似地，如果人识别模块1701使用边界框架构并且接收到被分类为人的多个边界框或接收到具有高于阈值(例如，大于50％、大于40％、大于25％、大于10％、大于5％等)的人分类的多个边界框，则人识别模块1701可以对由多个边界框限定的图像的部分进行识别。
在上述任何实施例中，人识别模块1701可以使用当前所接收的面部图像替换先前储存的面部图像，以在面部云或其它可视化(例如，由可视化模块1704生成)中使用。因此，人识别模块1701可以确保储存的面部图像是最新的。在这样的实施例中，仅在当前所接收的面部图像的一个或多个质量度量(measure)超过先前储存的面部图像的一个或多个质量度量时，人识别模块1701才可以更新储存的面部图像。例如，在一些实施例中，仅在当前所接收的面部图像的分辨率、清晰度、峰值信噪比(PSNR)、结构相似性(SSIM)、可视信息保真度(VIF)等高于先前储存的面部图像的相同(或相似)度量时，人识别模块1701才可以更新储存的面部图像。在另一个示例中，仅在当前所接收的面部图像的噪声等低于先前储存的面部图像的相同(或相似)度量时，人识别模块1701才可以更新储存的面部图像。
在上述任何实施例中，人识别模块1701可以接收多个面部图像，该多个面部图像包含相同个体的多个面部图像。在这样的实施例中，人识别模块1701可以对相同个体的多个图像进行图像处理以确定相同个体的多个图像的存在，并选择该个体的单个图像以供使用(例如，用于在由可视化模块1704确定的面部云中呈现)。
亲和度分析模块1702可以被配置为分析多个图像以确定用户和多个人中的每个人之间的亲和度级别。例如，亲和度分析模块1702可以分析由人识别模块1701接收的多个图像。亲和度分析模块1702可以基于可穿戴装置110的用户和由人识别模块1701识别的个体之间的关系来计算亲和度级别。例如，亲和度分析模块1702可以确定用户和所识别的人是否是亲属(例如，兄弟姐妹、父母、祖父母、堂兄弟姐妹等)、朋友、同事等。在这样的实施例中，亲和度分析模块1702可以使用来自用户的一个或多个社交媒体账户(例如，Facebook、Instagram、Twitter等)的信息来帮助确定该关系。
附加地或可替代地，亲和度分析模块1702可以根据捕获到面部图像的时间或频率来确定亲和度级别。因此，亲和度分析模块1702可以基于用户和所识别的人之间的交互的数目来确定亲和度级别。例如，亲和度分析模块1702可以确定在最近一天、最近一周、最近一个月等期间用户与所识别的人进行了多少次交互。因此，亲和度分析模块1702可以使用关于用户的历史信息(例如，先前图像、视频、音频等)来确定交互的数目。附加地或可替代地，亲和度分析模块1702可以使用所识别的人出现在其中的图像的捕获时间和/或捕获地点来确定亲和度级别。例如，出现在家中捕获的图像中的人可以被确定为具有比出现在酒吧或俱乐部中捕获的图像中的人更高的亲和度级别。在另一示例中，出现在晚餐期间捕获的图像中的人可以被确定为具有比出现在工作日期间捕获的图像中的人更高的亲和度级别。附加地或可替代地，用户可以例如通过将已知人分组为诸如“朋友”、“熟人”等的群组，来指示与所识别的人的亲和度级别。
在一些实施例中，亲和度分析模块1702可以在没有人识别模块1701的情况下操作。例如，亲和度分析模块1702可以从捕获单元710的可穿戴图像传感器220接收可穿戴装置110的用户与之交互的个体的多个面部图像，并可以将至少一个链接属性与多个图像中的每个相关联地储存。在这样的示例中，至少一个链接属性可以包含环境特性、地理位置、关联词、社交互联或时间指示符中的至少一个。
环境特性可以包含背景特性和面部图像附近的物体中的至少一个。例如，环境特性可以包含背景的亮度，使得链接属性可以包含“室内”或“室外”。在另一个示例中，环境特性可以包含物体，诸如咖啡杯，使得链接属性包含“咖啡”。后者的示例在图18F中描绘，如下所述。
地理位置可以包含事件、物理空间和GPS坐标中的至少一个。例如，地理位置可以包含“工作休息室(work retreat)”或“音乐会”。在另一个示例中，地理位置可以包含“咖啡店”或“邻居的房子”。图18E中描述了这种情况的一个示例，如下所述。
关联词可以包含从与面部图像相关联的声音文件导出的词语和先前与面部图像的个体相关联的词语中的至少一个。可穿戴装置110的麦克风可以捕获声音文件和声音文件的时间戳，使得该声音文件的时间戳可以与从可穿戴装置110接收的图像的时间戳同步。在一个示例中，亲和度分析模块1702可以接收从声音文件解析的词语的列表，该声音文件是在与检测到穿戴者附近存在多个个体相关联的时间段期间捕获的，并且亲和度分析模块1702可以在存储器中将解析的词语的列表与对应的个体相关联。可以在有或没有扬声器分离、识别、验证的情况下，使用任何音频分析技术——诸如有限词汇识别(limitedvocabulary recognition)、大词汇识别(large vocabulary recognition)等——来解析词语。在一些实施例中，可以根据基于用户的语音以及可选地与用户亲密的人(诸如用户的配偶)的语音而训练一个或多个引擎，来增强语音分析操作。因此，亲和度分析模块1702可以转录声音文件以便从中解析词语，并且然后将解析的词语与对应的面部图像相关联地储存。
附加地或可替代地，亲和度分析模块1702可以在存储器中关联与每个解析的词语相关联的使用频率指示。例如，使用频率指示可以包含与词语列表中的每个词语相关联的直方图。因此，词语列表可以包含从会话中提取的关键词。在这样的实施例中，亲和度分析模块1702可以从直方图中(或在确定直方图之前)消除常用词，诸如冠词(“the”、“a”、“an”等)、介词(“of”、“from”、“to”等)等。
社交互联可以包含在面部图像的视场附近检测到的个体和以其它方式识别的个体中的至少一个。例如，可以将在其它所识别的个体(例如，匹配存储器中的一个或多个已知个体)的附近检测到的个体确定为与其它所识别的个体具有社交互联。附加地或可替代地，如上所述，亲和度分析模块1702可以使用社交媒体信息来确定社交互联。例如，可以基于所识别的个体和用户之间的联系级别来确定个体具有社交互联。
时间指示符可以包含与面部图像相关联的日期戳和时间戳中的至少一个。例如，具有相同(或接近，例如，在15分钟内、在一小时内、在一天内、在一周内等)的时间戳和/或日期戳的面部图像可以被链接在一起。
这些实施例可以与来自人识别模块1701的对应标识组合。例如，亲和度分析模块1702可以将至少一个链接属性与由人识别模块1701识别的多个面部图像中的每个相关联地储存。亲和度分析模块1702还可以与多个面部图像中的每个相关联地储存来自人识别模块1701的对应标识。
在上述任何实施例中，链接属性可以以直方图形(histographic)方式与每个个体相关联。例如，每个个体(例如，由人识别模块1701识别)可以具有包含一个或多个链接属性的相关联的直方图。直方图可以基于每个链接属性指示个体和用户(和/或其它个体)之间的联系级别。附加地或可替代地，亲和度分析模块1702可以使用直方图，以基于直方图中的每个链接属性来确定个体和用户(和/或其它个体)之间的联系级别。例如，亲和度分析模块1702可以使用包含在直方图中的一个或多个词语频率，来将具有带有相同词语(或相似词语，诸如同义词)的直方图的个体相链接，该相同词语语(或相似词语，诸如同义词)具有相同或相似频率(例如，每天1个词语以内、每天5个词语以内等)。
图像表示模块1703可以被配置为获得多个人中的每个人的图像表示。例如，图像表示模块1703可以从存储器获得图像表示，该存储器储存由标识索引的多个图像表示。因此，图像表示模块1703可以基于来自人识别模块1701的标识来获得图像。
在亲和度分析模块1702计算或获得从声音文件解析的词语的列表的实施例中，图像表示模块1703可以选择特定的解析的词语并基于该选择来选择面部图像的子集以用于显示。例如，图像表示模块1703可以选择特定的解析的词语，基于已储存的个体和解析的词语之间的关联来获得个体列表，并获得该列表的个体的图像表示。在每个个体具有相关联的直方图的实施例中，图像表示模块1703可以选择特定的解析的词语，基于已储存的与个体相关联的直方图来获得个体列表，并获得该列表的个体的图像表示。
在一些实施例中，该选择可以作为来自用户的输入的结果、基于用户的当前环境中的上下文、基于当前会话中使用的词语、或者基于可穿戴图像传感器的最新近的视场中的物体而发生。例如，用户可以输入图像表示模块1703所使用的所选择的词语，以获得个体列表和对应的图像表示。在另一个示例中，可穿戴装置110的用户的环境中的上下文可以包含位置(诸如工作地(work)、商店、咖啡店等)、一个或多个识别的个体、一个或多个词语(例如，印在环境中的标志上)等。因此，可以选择位置的描述、识别的(一个或多个)个体和用户之间的关系、环境中的词语等作为所选择的词语。在又一示例中，可以选择当前会话中使用的词语(例如，由可穿戴装置110的麦克风记录的词语)作为所选择的词语。图像表示模块1703可以被配置为选择在当前会话中最频繁使用的词语，但是也可以消除常用词(诸如冠词、介词等)和/或专有名词。在另一个示例中，可以选择由可穿戴装置110识别的物体(诸如“咖啡”、“蛋糕”、“文件”等)，作为所选择的词语。
可视化模块1704可以被配置为基于亲和度级别(例如，由亲和度分析模块1702确定)来生成包含图像表示(例如，由图像表示模块1703获得)的可视化。附加地或可替代地，可视化模块1704可以使可视表示被显示，该可视表示包含多个面部图像，并且该多个面部图像基于至少一个链接属性来布置。在一些实施例中，可视表示可以包括面部云，使得可视化模块1704被配置为在面部云中显示多个面部图像，多个面部图像基于至少一个链接属性来布置。
在链接属性以直方图形方式与每个个体相关联的实施例中，在显示期间，可以基于直方图形强度来布置面部图像。例如，具有较强直方图强度的面部图像可以布置成彼此接近、更靠近焦点等。附加地或可替代地，在显示期间，具有较大直方图形强度的个体的面部图像可以比具有较小直方图形强度的个体的面部图像更大地、更突出地和/或具有不同的形状地显示。
附加地或可替代地，多个人中的人的至少一个图像表示的可视化中的突出级别可以取决于与该人相关联的亲和度级别。例如，可以由大小、形状和颜色中的至少一个在可视化中指示突出级别。
附加地或可替代地，面部图像的大小、形状和/或颜色可以指示与个体一起度过的时间，和/或指示作为面部云的焦点的链接属性的直方图形强度。例如，如果与面部图像相关联的个体出现在由可穿戴装置110捕获的更多图像中，与可穿戴装置110的用户具有更多交互，或者另外地与和另一个面部图像相关联的另一个个体相比而言已与可穿戴装置110的用户度过了更多时间，则可视化模块1704可以增加面部图像的大小。类似地，如果与一个面部图像相关联的个体出现在由可穿戴装置110捕获的更多图像中，与可穿戴装置110的用户具有更多交互，或者另外地与和另一个面部图像相关联的另一个个体相比已与可穿戴装置110的用户度过了更多时间，则可视化模块1704可以选择该面部图像的不同的颜色或形状。在另一个示例中，例如，如果与相关联于另一个面部图像的另一个个体的另一个直方图相比，与一面部图像相关联的个体的直方图具有更高的频率或链接属性的其它度量，则可视化模块1704可以增加该面部图像的大小。类似地，如果与相关联于另一个面部图像的另一个个体的另一个直方图相比，与一个面部图像相关联的个体的直方图具有更高的频率或链接属性的其它度量，则可视化模块1704可以选择该面部图像的不同的颜色或形状。
例如，每个面部图像的链接属性可以包含重要性级别。因此，在大小被调节的实施例中，可以根据重要性级别以不同的大小显示面部图像。例如，用户更经常地和/或更长时间段见面的人可以被确定为更重要并且因此被显示为更大。
附加地或可替代地，链接属性可以包含未识别的个体。例如，可以基于相关联的个体和一个或多个未识别的个体之间的联系级别来调节面部图像。可以使用多个度量来确定联系级别，例如，基于在所接收的图像中相关联的个体和一个或多个未识别的个体之间的接近度，基于作为相同会话中的一个或多个会话中的参与者，基于使用社交媒体信息确定的联系，或其任何组合。
附加地或可替代地，可以通过图像分析以确定上下文，来生成链接属性。例如，如上所述，位置(诸如工作地、咖啡店等)、一个或多个识别的个体、一个或多个词语(例如，印在环境中的标志上)等，使得链接属性包括位置、识别的个体和用户之间的关系、环境中的一个或多个词语等。
附加地或可替代地，可以至少部分地通过参考用户的日历来确定链接属性。例如，可视化模块1704可以通过将所接收到的图像的时间戳映射到储存在日历中的一个或多个事件来选择位置、一个或多个识别的个体、一个或多个词语等。
附加地或可替代地，链接属性可以是用户定义的。例如，如上所述，用户可以选择环境特性、地理位置、关联词、社交互联、时间指示符或任何其它链接属性。
在使用链接属性的任何实施例中，对于给定的面部云，可视化模块1704可以显示至少一个链接属性的指示，该链接属性用作组织面部云的基础。在下面描述的图18C和18D中描绘了这种指示的示例。在这样的实施例中，可以通过到面部云的焦点位置的邻近度，在显示器上指示对链接属性的更大共性。
在使用词语列表的任何实施例中，如上面关于亲和度分析模块1703所述，可视化模块1704可以在显示器的屏幕(例如，可穿戴装置110的显示器的屏幕或与可穿戴装置110无线配对的移动通信设备的显示器的屏幕)上呈现其词语列表含有重叠的常用词的个体的多个面部图像的子集。
附加地或可替代地，可以基于储存的规则集合来显示多个面部图像的集合。例如，所储存的规则集合可以包含最新近的持续时间(使得在面部云中仅显示最新近的多个面部图像)、最常见的持续时间(使得在面部云中仅显示在由可穿戴设备110捕获的最大数目的图像中出现的面部图像)、以及最长的持续时间(使得在面部云中仅显示在由可穿戴设备110捕获的图像中达最长时间的面部图像)中的至少一个。
在包含面部云的任何实施例中，面部云的显示可以包含仅显示存在于聚焦区域中的面部云的一部分。例如，可视化模块1704可以通过根据一个或多个链接属性组织和/或布置面部图像来生成面部云，并且然后基于焦点和从焦点延伸的范围来选择面部云的一部分用于显示。例如，该范围可以包括圆形、椭圆形、正方形、菱形、矩形、平行四边形或任何其它形状，无论是规则的还是不规则的。
在这样的实施例中，可以基于检测到的变量动态地选择聚焦区域。例如，检测到的变量可以包含在特定地理区域中存在移动通信设备，使得聚焦区域包含先前与该特定地理区域相关联的个体的图像。附加地或可替代地，检测到的变量可以包含在已知个体附近存在移动通信设备，使得聚焦区域包含先前与该已知个体相关联的个体的图像。附加地或可替代地，检测到的变量可以包含从声音文件(例如，由可穿戴装置110的麦克风记录的)导出的至少一个词语，使得聚焦区域包含先前与该至少一个词语相关联的个体的图像。
在上述任何实施例中，使可视表示被显示可以包含将用于生成该可视化的信息发送到与可穿戴装置无线配对的移动通信设备。例如，可视化模块1704可以经由计算机网络——诸如WiFi网络、蜂窝网络(诸如3G、4G、LTE等)或任何其它射频或其它无线网络——来发送面部云或者任何其它生成的可视化。
在上述任何实施例中，面部云可以以二维显示或显示为虚拟3D表示。例如，3D表示可以包括在二维屏幕(例如，可穿戴装置110的屏幕或与可穿戴装置110无线配对的移动通信设备的屏幕)上显示的3D图像，或者可以包括例如使用一个或多个激光器形成的全息投影。
在一些实施例中，面部云的形式可以包含以群集(cluster)形式布置的一系列均匀大小和形状的面部图像。附加地或可替代地，面部云的形式可以包含多个面部图像在群集中的布置，使得至少一个面部图像具有与在群集中的其它面部图像不同的大小、形状或颜色指标，如上所述。例如，面部云的形式可以包含多个面部图像在群集中的布置，多个面部图像中的面部图像的突出级别取决于用户和面部图像中描绘的人之间的亲和度级别。附加地或可替代地，显示面部云可以包含在面部云中布置面部图像，使得共享至少一个公共链接属性的面部图像被显示或定向为彼此相邻。
可视化模块1704还可以被配置为使得能够与生成的面部云或其它可视化进行交互。例如，可视化模块1704可以被配置为使用户能够选择特定面部图像作为面部云的焦点。在这样的示例中，可视化模块1704可以允许用户点击、轻敲或以其它方式来选择特定面部图像。在这样的实施例中，可视化模块1704可以接收焦点个体的指定，使得该输入在维持该焦点个体的同时，引起面部云的重新布置。
附加地或可替代地，可视化模块1704可以被配置为使得在触摸在触摸屏上显示的面部图像时，出现附加信息。例如，附加信息可以包含所选择的面部图像的名称、联系信息和链接属性信息中的至少一个。在一些实施例中，所呈现的信息的范围可以取决于按压的持续时间和/或施加的压力水平。例如，如果按压短(例如，小于0.5秒)和/或轻(例如，小于50帕斯卡)，则可视化模块1704可以显示与所触摸的面部图像相关联的名字，但是如果按压长(例如，大于0.5秒)和/或用力(例如，大于50帕斯卡)，则可以显示名字、联系信息和链接属性。
附加地或可替代地，可视化模块1704可以使用户能够选择至少一个链接属性，基于所选择的至少一个链接属性来发生云中的面部的布置。例如，可视化模块1704可以生成具有链接属性的列表的单独界面，使得用户可以点击、轻敲或以其它方式选择期望的链接属性。在另一示例中，可视化模块1704可以生成与所生成的面部云或其它可视化相邻的链接属性的列表，使得用户可以点击、轻敲或以其它方式选择期望的链接属性。
因此，可以通过从挑选列表中选择属性来发生输入。替代地，可以通过对声音捕获的声音处理发生输入，例如，该声音捕获经由可穿戴装置110的麦克风捕获。
在上述任何实施例中，可以初始基于至少第一公共属性来布置面部云，并且响应于该输入，可以基于第二公共属性来重新布置面部云。这种重新布置的一个示例如图18H所示，如下所述。
在上述任何实施例中，面部云可以以运动地显示。例如，面部云可以显示为流，并且可以随着图像来去而移动或改变，诸如在人们在各个方向上移动的街道上。附加地或可替代地，面部云可以基于可穿戴设备110的用户的位置和/或在捕获单元710的图像传感器220的视场中可见的人而动态地改变。
在模块1701、1702、1703和1704在移动通信设备上运行的实施例中，可视化模块1704可以被配置为响应于经由移动通信设备接收的输入来重新布置面部云。例如，可视化模块1704可以接收输入，该输入包含从移动通信设备中的加速度计接收的反映移动通信设备的摇动的信号，并且可视化模块1704相应地重新布置面部云。
图18A图示了与本公开一致的具有由大小指示的突出级别的面部云的示例。例如，如图18A所示，多个面部图像(例如，图像1801a、1801b、1801c、1801d、1801e和1801f)显示在群集中。尽管面部图像被描绘为在形状(图18A的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18A的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。尽管未在图18A中描绘，但是面部图像和面部云的焦点之间的距离或面部图像之间的距离和/或连接线(未示出)的粗度可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18B图示了与本公开一致的具有由形状指示的突出级别的面部云的示例。例如，如图18B所示，多个面部图像(例如，图像1803a、1803b、1803c、1803d、1803e和1803f)显示在群集中。此外，在图18B的示例中，包围面部图像的形状变化。例如，形状可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。尽管未在图18B中描绘，但是面部图像和面部云的焦点之间的距离或面部图像之间的距离和/或连接线(未示出)的粗度可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18C图示了与本公开一致的包含链接词的面部云的示例。例如，如图18C所示，多个面部图像(例如，图像1805a、1805b、1805c、1805d、1805e和1805f)聚集在链接词(例如，“生日”)的指示1807周围。尽管面部图像被描绘为在形状(图18C的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18C的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。如在图18C中进一步描绘的，面部图像和指示1807之间的距离(或面部图像之间的距离和/或连接线的粗度)基于链接属性的直方图形强度而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18D图示了与本公开一致的包含多个链接词(例如，“邻居”和“同事”)的面部云的示例。例如，如图18D所示，多个面部图像(例如，图像1809a、1809b、1809c、1809d、1809e和1809f)聚集在链接词的指示1811a和1811b周围。尽管面部图像被描绘为在形状(图18D的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18D的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。如在图18D中进一步描绘的，面部图像和指示1811a以及1811b之间的距离(或面部图像之间的距离和/或连接线的粗度)基于对应的链接属性的直方图形强度而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18E图示了与本公开一致的包含链接地理位置的面部云的示例。例如，如图18E所示，多个面部图像(例如，图像1813a、1813b、1813c、1813d、1813e和1813f)聚集在地理位置1815(例如，房间、特定人的家等)周围。尽管面部图像被描绘为在形状(图18E的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18E的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。如在图18E中进一步描绘的，面部图像和地理位置1815之间的距离(或面部图像之间的距离和/或连接线的粗度)基于对应的链接属性的直方图形强度而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18F图示了与本公开一致的包含链接概念或环境特性的面部云的示例。例如，如图18F所示，多个面部图像(例如，图像1817a、1817b、1817c、1817d、1817e和1817f)聚集在物体1819(例如，咖啡杯)周围。尽管面部图像被描绘为在形状(图18F的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18F的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。如在图18F中进一步描绘的，面部图像和物体1819之间的距离(或面部图像之间的距离和/或连接线的粗度)基于对应的链接属性的直方图形强度而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18G图示了与本公开一致的使用时间指示符而被组织的面部云的示例。例如，如图18G所示，使用时间(和上下文)指示符1823a、1823b、1823c、1823d和1823e，对多个面部图像(例如，图像1821a、1821b、1821c、1821d和1821e)进行排序。尽管面部图像被描绘为在形状(图18G的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
尽管在图18G中描绘为具有均匀的大小，但是在一些实施例中，面部图像的大小(以及包围面部图像的形状)可以变化。例如，大小可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。此外，尽管未在图18G中描绘，但是面部图像和面部云的时间线之间的距离可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。
图18H图示了与本公开一致的引起面部云的重新布置的、焦点个体的指定的示例。如图18H的示例中所示，多个面部图像(例如，图像1825a、1825b、1825c、1825d、1825e和1825f)显示在群集中。尽管面部图像被描绘为在形状(图18H的示例中的圆圈)内，但是可以在没有形状的情况下显示面部图像。
在图18H的示例中，面部图像的大小(以及包围面部图像的形状)变化。例如，大小可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。此外，尽管未在图18A中描绘，但是面部图像和面部云的焦点之间的距离可以基于突出级别(例如，基于亲和度级别)、重要性级别、链接属性的直方图形强度等而变化，如上面关于存储器1700的可视化模块1704所描述的。
如图18H中进一步描绘的，面部图像1825c可以充当面部云中的默认或初始焦点个体。因此，其它面部图像的大小和/或到面部图像1825c的距离可以取决于与面部图像1825c相关联的个体和与其它面部图像相关联的其它个体之间的互联级别。基于来自用户的输入(例如，经由点击、轻敲等)，可以选择面部图像1825e作为焦点个体。因此，在维持与面部图像1825e相关联的焦点个体的同时，可以重新布置面部云。在图18H的示例中，其它面部图像的大小、放置和距离可以根据所选择的焦点个体而移位，例如，以示出与面部图像1825e相关联的个体和与其它面部图像相关联的其它个体之间的互联级别。尽管未在图18H中描绘，但是该选择还可以导致从先前的面部云移除一个或多个面部图像或者将一个或多个面部图像添加到新的面部云。这些变化中的任何一个可以被动画化，使得图18H中描绘的变换是流畅的而不是突然的。
实际上，在上述任何实施例中，生成的面部云可以被动画化，使得它包括电影或视频。例如，面部云可以包括视频，使得存在于第一帧中的多个面部图像中的至少一个不存在于随后第二帧中。附加地或可替代地，面部云可以包括视频，使得在第一帧中不存在的至少一个面部图像存在于随后第二帧中。在一个实现方式中，面部云可以包括在用户的位置中存在的个体的多个面部图像，并且可以包括视频，使得多个面部图像随着用户在该位置中到处移动而在面部云内移动。附加地或可替代地，随着个体离开该位置以及进入该位置、或者随着用户移动使得个体超出用户的阈值距离并且其它个体在阈值距离内，面部图像可以改变。
图19A是用于生成多个人的图像表示的可视化的方法1900的流程图。方法1900可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法1900可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法1900的步骤可以由可穿戴装置110进行。在其它实施例中，方法1900的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤1901处，处理器可以分析多个图像以识别多个人。例如，处理器可以使用上面关于图17的人识别模块1701所描述的任何分析技术。
在步骤1903处，处理器可以分析多个图像以确定用户和多个人中的每个人之间的亲和度级别。例如，处理器可以如上面关于图17的亲和度分析模块1702所描述的计算亲和度级别。
在步骤1905处，处理器可以获得多个人中的每个人的图像表示。例如，处理器可以从数据库获得图像表示，如上面关于图17的图像表示模块1703所解释的。
在步骤1907处，处理器可以基于亲和度级别生成包括图像表示的可视化。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在一些实施例中，方法1900可以包含附加步骤。例如，方法1900可以包含将包含图像表示的可视化发送到与可穿戴装置无线配对的移动通信设备。如上面关于图17的可视化模块1704所解释的，处理器可以经由一个或多个计算机网络和/或射频发送可视化。
此外，以上关于图17的可视化模块1704描述的任何交互可以在方法1900中实现。例如，响应于来自用户的输入，可以更新和/或动画化生成的可视化。
图19B是方法1910的流程图，该方法1910用于生成可视表示，该可视表示包含基于至少一个链接属性来布置的多个面部图像。图19B的方法1910可以表示用于生成面部云的方法1900的替代方案。方法1910可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法1910可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法1910的步骤可以由可穿戴装置110进行。在其它实施例中，方法1910的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤1911处，处理器可以从可穿戴图像传感器接收用户之与交互的个体的多个面部图像。例如，处理器可以从捕获单元710的图像传感器220接收图像。
在一些实施例中，接收多个面部图像可以包含接收相同个体的多个面部图像。在这样的实施例中，处理器可以进一步对相同个体的多个图像进行图像处理，确定相同个体的多个图像的存在，并选择个体的单个图像以用于在步骤1915的面部云中呈现。例如，处理器可以使用上面关于图17的人识别模块1701所描述的任何分析技术。
在一些实施例中，处理器可以对当前所接收的面部图像进行图像处理，并且确定所接收的面部图像对应于已识别的个体的面部，该已识别的个体具有先前储存在存储器中的面部图像。在这样的实施例中，处理器可以用当前所接收的面部图像替换先前储存的面部图像，以在步骤1915的面部云中使用。例如，处理器可以如上面关于图17的人识别模块1701所描述的进行替换。
在步骤1913处，处理器可以将至少一个链接属性与多个面部图像中的每个相关联地储存。至少一个链接属性可以包含环境特性、地理位置、关联词、社交互联或时间指示符中的至少一个。可以如上面关于图17的亲和度分析模块1702所描述的确定至少一个链接属性。
在步骤1915处，处理器可以使可视表示被显示，该可视表示包含多个面部图像，和/或处理器可以在面部云中显示多个面部图像。可以基于至少一个链接属性来布置多个面部图像。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在一些实施例中，使可视表示被显示可以包含将用于生成可视化的信息发送到与可穿戴装置无线配对的移动通信设备。例如，如上面关于图17的可视化模块1704所解释的，处理器可以经由一个或多个计算机网络和/或射频发送该可视化。
在一些实施例中，该显示可以包含在面部云中布置面部图像，使得共享至少一个公共链接属性的面部图像被定向或定位为彼此相邻。例如，图18D是被组织为与共享公共链接词的其它面部图像相邻的面部图像的示例。
在一些实施例中，方法1910可以包含附加步骤。例如，方法1910可以包括使用户能够选择特定面部图像作为面部云的焦点。附加地或可替代地，方法1910可以包含使用户能够选择至少一个链接属性，使得面部云的布置基于所选择的至少一个链接属性而发生。因此，以上关于图17的可视化模块1704描述的任何交互可以在方法1910中实现。
在一些实施例中，方法1910可以由移动通信设备执行。在这样的实施例中，处理器可以响应于经由移动通信设备接收的输入来重新布置面部云。附加地或可替代地，可以初始基于至少第一公共属性来布置面部云，并且响应于该输入，可以基于第二公共属性来重新布置面部云。
图19C是方法1920的流程图，该方法1920用于生成个体的多个面部图像的子集，该个体具有带有重叠的常用词的词语列表。图19C的方法1920可以表示用于生成面部云的方法1900或方法1910的替代方案。方法1920可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法1920可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法1920的步骤可以由可穿戴装置110进行。在其它实施例中，方法1920的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤1921处，处理器可以从由用户穿戴的可穿戴图像传感器接收用户与之交互的个体的多个面部图像。例如，处理器可以从捕获单元710的图像传感器220接收图像。
在步骤1923处，处理器可以接收从声音文件解析的词语的列表，该声音文件在与穿戴者附近存在多个个体的检测相关联的时间段期间捕获。例如，处理器可以使用上面关于图17的亲和度分析模块1702所描述的任何分析技术。
在步骤1925处，处理器可以在存储器中将解析的词语的列表与对应的个体相关联。在一些实施例中，处理器可以进一步在存储器中关联与每个解析的词语相关联的使用频率指示。可以如上面关于图17的亲和度分析模块1702所描述的确定解析的词语。
在步骤1927处，处理器可以在显示器的屏幕上呈现其词语列表含有重叠的常用词的个体的多个面部图像的子集。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在一些实施例中，方法1920可以包含附加步骤。例如，方法1920可以包含选择特定的解析的词语，并基于该选择来选择面部图像的子集用于显示。在这样的实施例中，该选择可以作为来自用户的输入的结果、基于用户的当前环境中的上下文、基于当前会话中使用的词语或者基于可穿戴图像传感器的最新近的视场中的物体而发生。因此，以上关于图17的可视化模块1704描述的任何交互可以在方法1920中实现。
此外，任何生成的可视化或面部云都可以被动画化。例如，当所识别的人移动靠近用户或者用户移动靠近该人时，所选择的面部图像可以看起来更靠近其上显示有该可视化的屏幕。在这样的示例中，当所识别的人移动离开用户或在步行时经过他们、或者用户移动离开或经过该人时，该面部图像可以消失和/或看起来离开屏幕。因此，所生成的可视化或面部云可以表示用户周围的所识别的人的动态或实时的可视化。
索引并搜索人和物体
在一些实施例中，本公开的可穿戴装置可以以特定方式索引人和物体的图像以帮助搜索。数据库可以将由可穿戴装置捕获的面部图像与关键词相关联，该关键词来自声音文件、日历日期和/或来自由可穿戴装置捕获的图像的上下文信息。因此，通过根据本公开的特定规则构建和索引数据库，可以比传统系统更迅速和精确地搜索面部图像。
另外，本公开的实施例并非使用传统的用户界面方法来显示搜索结果，而是使用以可视且易于感知的方式向用户显示有限的信息集合的特定方式。用于显示搜索结果的现有界面是重度基于文本且难以操纵的。因此，本公开的实施例提供了改进的显示界面，该改进的显示界面被可视地组织并且允许用户容易地操纵。
图20图示了与本公开一致的含有软件模块的存储器2000的示例性实施例。在存储器2000中包含面部图像模块2001、链接属性模块2002、关联模块2003和显示模块2004。模块2001、2002、2003、2004可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，存储器2000可以包括驻留在移动通信设备(例如，智能电话)上的非暂时性计算机可读介质，该移动通信设备被配置为与捕获单元710的可穿戴图像传感器220无线配对。
面部图像模块2001、链接属性模块2002、关联模块2003和显示模块2004可以协作以生成具有来自无线装置110的经索引的图像和/或声音的数据库，以及合作以允许对数据库的搜索以及对由此得到的结果的特定显示。存储器2000可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和监视模块603可以与图20的面部图像模块2001、链接属性模块2002、关联模块2003和显示模块2004一前一后地操作或同时地操作。
面部图像模块2001可以被配置为接收由捕获单元710的图像传感器220捕获的图像。例如，图像可以来自可穿戴装置的用户的环境。
在一些实施例中，图像可以包含物体图像。物体图像可以包括面部图像或者是面部图像。
附加地或可替代地，面部图像模块2001可以接收可穿戴装置的用户与之交互的多个个体的面部图像。例如，面部图像模块2001可以丢弃由图像传感器220捕获的在图像中不包含至少一个人的至少一部分和/或在图像中不包含至少一个面部的至少一部分的图像，而保留包含至少一个人的至少一部分和/或至少一个面部的至少一部分的图像。例如，面部图像模块2001可以应用图像分析来确定人、面部和/或其一部分是否存在于图像中。
面部图像模块2001可以使用任何已知技术，来检测所接收的图像中的人和/或面部。例如，面部图像模块2001可以对当前所接收的图像进行图像处理，并且确定所接收的图像对应于已经先前储存在存储器中的人或面部的图像。因此，面部图像模块2001可以进行逐像素匹配。在其它实施例中，面部图像模块2001可以执行更复杂的技术。例如，面部图像模块2001可以使用一个或多个分类器(或级联分类器)来检测包含在图像中的人或面部。附加地或可替代地，面部图像模块2001可以使用神经网络来检测包含在图像中的人或面部。或者，面部图像模块2001可以使用神经网络来从图像导出多个特征(例如，特征集)，并且然后将导出的特征(或特征集)映射到与人或面部的检测相关联的特征上。可以使用简单相关或使用更复杂的技术(诸如另一个神经网络)来进行映射。
在上述任何实施例中，检测可以具有相关联的概率或置信级别，该概率或置信级别例如从神经网络输出；基于匹配像素、特征等的百分比而计算等。因此，在一些实施例中，仅当该检测具有高于阈值的相关联概率时，面部图像模块2001才可以最终确定人或面部的检测。替代地，如果检测是不确定的，例如高于第一阈值但低于第二更高阈的值，则面部图像模块2001可以应用进一步的检测技术。在这样的实施例中，面部图像模块2001可以应用分类器，并且如果分类器产生具有不确定概率的检测，则可以应用一个或多个附加分类器和/或神经网络以产生一个或多个附加检测概率。基于附加检测概率，例如如果它们超过第二阈值，则面部图像模块2001可以最终确定该检测。任何未最终确定的检测都可以被丢弃。
在上述任何实施例中，图像可以包含多于一个人和/或多于一个面部，或者可以不包含人和/或不包含面部。因此，面部图像模块2001可以使用边界框架构(诸如你只看一次(YOLO)或单次检测器(SSD))来识别其中包含人的边界框。例如，如果人识别模块2001使用边界框架构并且未接收到被分类为人和/或面部的边界框或接收到都具有低于阈值(例如，小于50％、小于40％、小于25％、小于10％、小于5％等)的人和/或面部分类的边界框，则面部图像模块2001可以因为该图像不包含人和/或面部而丢弃该图像。类似地，如果面部图像模块2001使用边界框架构并且接收到被分类为人和/或面部的多个边界框或接收到具有高于阈值(例如，大于50％、大于40％、大于25％、大于10％、大于5％等)的人和/或面部分类的多个边界框，则面部图像模块2001可以因为由多个边界框限定的图像的部分包含人和/或面部而检测由多个边界框限定的图像的部分。
在一些实施例中，图像可以包括用户在第一日历日期与之交互的个体的第一多个面部图像和用户在第二日历日期与之交互的个体的第二多个面部图像。例如，图像传感器220可以对生成图像加时间戳，使得面部图像模块2001接收与每个所接收的图像相关联的日历日期。替代地，面部图像模块2001可以在接收每个图像时生成相关联的日历日期并将其附到每个图像。
附加地或可替代地，面部图像模块2001可以从可穿戴装置的图像传感器接收在时间窗口中捕获的至少一个图像。例如，如上所述，图像传感器220或面部图像模块2001可以使用相关联的日期对图像加戳。因此，时间窗口可以包括在一个日历日期和另一个日历日期之间的一天或多天，无论是对该一个日历日期和/或该另一个日历日期的包容性(inclusive)地计数，还是对这两个日历日期的排外性(exclusive)地计数。
另外，图像传感器220或面部图像模块2001可以使用相关联的时间对图像加戳。因此，时间窗口可以包括在开始时间和结束时间之间的一段时间。开始时间和结束时间可以包括在相同日历日期的时间，或者可以包括在不同日历日期的时间。
除了接收时间窗口期间的图像之外，面部图像模块2001还可以接收在该时间窗口期间捕获的声音文件。声音文件也可以已在捕获单元710的图像传感器220的附近(例如，在5米内、10米内、20米内等)捕获。在一些实施例中，可以从不同于可穿戴图像传感器的移动通信设备接收声音文件。例如，与可穿戴装置的用户相同的用户相关联的移动通信设备可以在捕获单元710的图像传感器220的附近记录声音文件。
附加地或可替代地，面部图像模块2001可以接收与面部图像相关联的声音数据。例如，声音数据可以从存储器中检索，在该存储器中与面部图像相关联地储存着声音数据。附加地或可替代地，声音文件可以已经在捕获单元710的图像传感器220的附近(例如，在5米内、10米内、20米内等)和/或在面部图像正在被捕获的近期(例如，5秒、10秒、30秒、1分钟、5分钟等)被记录。
在上面讨论的任何实施例中，所接收的图像或面部图像可以在大小、形状和内容方面变化。例如，在一些实施例中，包含更宽场景(例如，多个个体、或个体及他或她的周围环境)的图像可以被裁剪或以其它方式被截断为面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。在其它实施例中，所接收的图像可以包含这样的更宽的场景(例如，多个个体、或个体及他或她的周围环境)。在其它实施例中，所接收的图像可以包含面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。
链接属性模块2002可以被配置为接收多个面部图像中的每个图像的至少一个链接属性。例如，链接属性模块2002可以分析由面部图像模块2001接收的至少一个图像以确定至少一个链接属性。
至少一个链接属性可以包含出现在一个或多个图像中的人的身份。在另一个示例中，至少一个链接属性可以包含位置。位置可以包含事件、物理空间和GPS坐标中的至少一个。例如，位置可以包含“工作休息室”或“音乐会”。在另一个示例中，地理位置可以包含“咖啡店”或“邻居的房子”。在上述任何实施例中，链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别位置。
在另一个示例中，至少一个链接属性可以包含职业。例如，该位置可以包含“承包商”、“教师”等。链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别职业。例如，链接属性模块2002可以通过对图像内的制服、位置、与职业相关联的一个或多个工具等进行分类来识别职业。
在另一个示例中，至少一个链接属性可以包含工作场所。例如，工作场所可以包含“大学”、“123A街道”等。链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别工作场所。例如，链接属性模块2002可以通过对图像内的建筑、位置、与工作场所相关联的一个或多个项目等进行分类来识别工作场所。
在另一个示例中，至少一个链接属性可以包含家庭关系。例如，家庭关系可以包含“直系”、“旁系”、“第一代”、“第二代”、“父母”、“兄弟姐妹”等。在又一个示例中，至少一个链接属性可以包含社交关系。例如，社交关系可以包含“亲密朋友”、“朋友”、“熟人”等。
链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别家庭关系或社交关系。例如，链接属性模块2002可以通过识别图像内的一个或多个人来识别家庭关系或社交关系。也可以使用用户的身份来确定家庭关系或社交关系。
附加地或可替代地，至少一个链接属性可以基于用户输入。例如，用户可以输入包括至少一个链接属性的一个或多个词语。在一些实施例中，链接属性模块2002可以向用户呈现链接属性的挑选列表。
在面部图像模块2001还接收声音文件的实施例中，链接属性模块2002可以处理声音文件以识别声音文件中的至少一个词语。例如，可以在有或没有扬声器分离、识别、验证的情况下，使用任何音频分析技术——诸如有限词汇识别、大词汇识别等——来解析至少一个词语。在一些实施例中，链接属性模块2002可以转录声音文件以便从中解析至少一个词语。
附加地或可替代地，链接模块2002可以基于与声音文件中的每个词语相关联的使用频率来提取至少一个词语。例如，链接属性模块2002可以从解析的至少一个词语中消除停用词或其它常用词，诸如冠词(“the”、“a”、“an”等)、介词(“of”、“from”、“to”等)等。
除了接收至少一个链接属性之外或替代地，链接属性2002还可以分析多个图像以识别与检测到的人(例如，由面部图像模块2001检测)相关联的上下文信息。例如，上下文信息可以至少部分地基于与检测到的人一起出现在多个图像中的第二人。因此，链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别第二人。
附加地或可替代地，上下文信息可以至少部分地基于检测到的人正穿着的制服。因此，链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别制服。
附加地或可替代地，上下文信息可以至少部分地基于检测到的人出现的房间。因此，链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)来识别房间。
除了接收至少一个链接属性之外或替代地，链接属性2002还可以分析多个图像以识别可视上下文指示符。因此，链接属性模块2002可以使用图像分析(例如如上面关于面部图像模块2001所描述的)以识别可视上下文指示符。
关联模块2003可以被配置为在存储器中将多个面部图像中的每个与对于多个面部图像中的对应一个接收的至少一个链接属性相关联。可以使用图像分析和/或用户输入来确定至少一个链接属性，如上面关于链接属性模块2002所解释的。
在一些实施例中，关联模块2003可以储存与每个个体的面部图像相关联的链接属性的出现(occurrence)的度量。例如，出现的度量可以包括链接属性在图像中出现的次数。可以在若干图像上和/或在一段时间内对次数求平均，以便获得出现的度量。附加地或可替代地，出现的度量可以包括链接属性的强度的度量，例如，基于图像内的大小、图像内的突出等。
在链接属性模块2002处理声音文件以识别声音文件中的至少一个词语的实施例中，关联模块2003可以将词语和物体图像之间的关联储存在存储器中。类似地，在链接属性模块2002处理与面部图像相关联的声音数据以提取关键词的实施例中，关联模块2003可以将关键词与记录日期相关联地储存在存储器中。
在面部图像模块2001接收用户在第一日历日期与之交互的个体的第一多个面部图像和用户在第二日历日期与之交互的第二多个面部图像的实施例中，关联模块2003可以与第一多个个体中的每个相关联地储存第一日历日期的指示符，并且与第二多个个体中的每个个体相关联地储存第二日历日期的指示符。例如，可以储存指示符，使得指示符在分别搜索第一多个个体或第二多个个体中的个体时是可检索的。附加地或可替代地，可以索引指示符，使得当分别搜索第一日历日期或第二日历日期时，可以检索个体的第一多个面部图像或个体的第二多个面部图像。
在链接属性模块2002识别与检测到的人相关联的上下文信息的实施例中，关联模块2003可以选择与检测到的人相关联的至少一个记录，并基于上下文信息更新至少一个记录。例如，所识别的上下文信息可以储存在记录中，使得当搜索该检测到的人时可检索该上下文信息。附加地或可替代地，可以索引所识别的上下文信息，使得当搜索该上下文信息时可检索该检测到的人。
在链接属性模块2002识别可视上下文指示符的实施例中，关联模块2003可以基于检测到的人确定上下文类别，并将可视上下文指示符与所确定的上下文类别相关联。例如，上下文类别可以是与工作有关的类别、社交类别或家庭类别。附加地或可替代地，关联模块2003可以基于在房间中识别的一个或多个人来确定房间或位置的上下文。
属性模块2002可以储存具有所确定的上下文类别的可视上下文指示符，使得当搜索该上下文类别时可检索该指示符。附加地或可替代地，可以索引可视上下文指示符，使得当搜索该可视上下文指示符时可检索该上下文类别。
显示模块2004可以被配置为，对于所选择的链接属性，在显示器的屏幕上呈现共享所选择的链接属性的多个面部图像的集合。例如，多个面部图像的集合可以以上面关于可视化模块1704描述的任何方式布置。因此，可以将多个面部图像的集合显示为面部云。
在一些实施例中，在呈现期间，相比于具有较少的公共链接属性出现数目的个体的面部图像，具有较高的公共链接属性出现数目的面部图像可以被显示的更加突出。例如，如上面关于图18A所描绘的，更加突出可以以所呈现的面部图像的大小来反映。附加地或可替代地，更加突出可以以到显示器上的焦点位置的接近度来反映，如上面参考图18C-18F所描绘的。
在链接属性模块2002向用户呈现链接属性的挑选列表的实施例中，显示模块2004可以响应于从挑选列表的选择而更改面部图像在显示器上的呈现。例如，显示模块2004可以将面部图像添加到显示器和/或将面部图像从显示器移除。在具有较高的公共链接属性出现数目的面部图像可以被显示的更加突出的实施例中，显示模块2004可以基于该选择来修改面部图像的突出。
在链接属性模块2002处理声音文件以识别声音文件中的至少一个词语的实施例中，显示模块2004可以在远离该时间窗口的时间接收至少一个关键词的搜索输入。例如，显示模块2004可以生成文本框以接收搜索输入。附加地或可替代地，显示模块2004可以生成关键词的列表并向用户显示该关键词的列表，使得用户可以通过从列表中选择一个或多个关键词来输入搜索。
在这样的实施例中，显示模块2004可以访问存储器以定位至少一个关键词和至少一个物体图像之间的关联，并且使得该物体图像在用户的移动通信设备上显示，该用户的移动通信设备与可穿戴图像传感器分开。因此，显示模块2004可以允许快速和有效地搜索从可穿戴装置获得的图像。另外，显示模块2004可以允许在与可穿戴图像传感器分开的移动通信设备上显示结果，该移动通信设备包括用于提供搜索结果的部件的非通用和非传统的组合。有效的搜索和部件的独特组合可以改进用户的体验。
在这样的实施例中，使得该显示可以包含显示各自与关键词相关联的多个面部图像。例如，如上所述，多个面部图像的集合可以以上面关于可视化模块1704描述的任何方式布置。因此，可以将多个面部图像的集合显示为面部云。
在面部图像模块2001接收用户在第一日历日期与之交互的个体的第一多个面部图像和用户在第二日历日期与之交互的个体的第二多个面部图像的实施例中，显示模块2004可以接收用户的第一输入请求，以用于调回在第一日历日期的交互。例如，显示模块2004可以向用户显示日历，并且第一输入可以是用户与对应于第一日历日期的屏幕区域的相应触摸交互的结果。响应于第一输入，显示模块2004可以向用户显示第一多个个体中的至少一些的图像。
附加地或可替代地，显示模块2004可以接收用户的第二输入请求，以用于调回在第二日历日期的交互。类似于第一输入，显示模块2004可以向用户显示日历，并且第二输入可以是用户与对应于第二日历日期的屏幕区域的相应触摸交互的结果。响应于第二输入，显示模块2004可以向用户显示第二多个个体中的至少一些的图像。
第一多个个体中的至少一些的图像的显示和/或第二多个个体中的至少一些的图像的显示可以以上面关于可视化模块1704描述的任何方式布置。因此，可以将多个面部图像的集合显示为面部云。
在上述任何实施例中，显示模块2004可以附加地或可替代地向用户呈现与第一日历日期和第二日历日期的交互相关联的关键词。例如，可以已经通过链接属性模块2002从声音文件(或与面部图像相关联的声音数据)中提取了关键词。另外，关键词可以已经基于从中提取到关键词的声音被记录的日历日期，而与第一日历日期和第二日历日期相关联了。
附加地或可替代地，显示模块2004可以接收用户的搜索输入，该搜索输入包含关键词中的至少一个。例如，如上所述，显示模块2004可以生成文本框以接收搜索输入。附加地或可替代地，显示模块2004可以生成关键词的列表并向用户显示关键词的列表，使得用户可以通过从列表中选择一个或多个关键词来输入搜索。在这样的实施例中，第一多个个体中的至少一些和第二多个个体中的至少一些可以与关键词中的至少一个相关联。
在上述任何实施例中，显示可以在与可穿戴图像传感器无线配对的移动通信设备上发生。例如，显示模块2004可以生成上述任何用户界面，并将生成的界面发送到移动通信设备。
显示模块2004还可以被配置为使得能够与上述任何显示器进行交互。例如，显示模块2004可以被配置为使用户能够选择特定面部图像作为面部云的焦点。在这样的示例中，显示模块2004可以允许用户点击、轻敲或以其它方式选择特定面部图像。在这样的实施例中，显示模块2004可以接收焦点个体的指定，使得该输入在维持该焦点个体的同时，引起面部云的重新布置。
图21A图示了与本公开一致的数据库2100的示例，该数据库2100用于将面部图像索引到链接属性。如图21A所示，多个面部图像(例如，图像2101a、2101b、2101c和2101d)储存在数据库中。
面部图像被索引到一个或多个链接属性以用于快速检索。在图21A的示例中，面部图像2101a、2101b、2101c和2101d分别由第一链接属性2103a、2103b、2103c和2103d连同第二链接属性2107a、2107b、2107c和2107d索引。尽管第一链接属性被描绘为位置并且第二链接属性被描绘为社交关系，但是链接属性可以附加地或可替代地包括职业、工作场所、家庭关系或另一个链接属性。
如图21A的示例中进一步描绘的，第一链接属性2103a、2103b、2103c和2103d可以被索引到对应的出现2105a、2105b、2105c和2105d，并且第二链接属性2107a、2107b、2107c和2107d可以被索引到对应的出现2109a、2109b、2109c和2109d。例如，出现2105a、2105b、2105c和2105d可以包括分别在对应的面部图像2101a、2101b、2101c和2101d中描绘的人分别在对应的位置2103a、2103b、2103c和2103d处时被可穿戴装置在图像中捕获的次数。出现可以包括捕获到该人的图像的总数或者在捕获到一个或多个图像期间与可穿戴装置的用户的交互的总数。因此，在图21A中，与面部图像2101a相关联的人要么在咖啡店处时在一个图像中被捕获，要么在咖啡店处与用户的一次交互期间在图像中被捕获；与面部图像2101b相关联的人要么在咖啡店处在两个图像中被捕获，要么在咖啡店处在与用户的两次交互期间在图像中被捕获；与面部图像2101c相关联的人要么在健身房处在四个图像中被捕获，要么在健身房处在与用户的四次交互期间在图像中被捕获；并且与面部图像2101d相关联的人要么在公园处在一个图像中被捕获，要么在公园处在与用户的一次交互期间在图像中被捕获。
在另一个示例中，出现2109a、2109b、2109c和2109d可以包括分别在对应的面部图像2101a、2101b、2101c和2101d中描绘的人在特定时间段期间被可穿戴装置在图像中捕获的次数。出现可以包括捕获到人的图像的总数或者在捕获到一个或多个图像期间与可穿戴装置的用户的交互的总数。因此，在图21A中，与面部图像2101a相关联的人要么在本周在两个图像中被捕获，要么在本周与用户的两次交互期间在图像中被捕获；与面部图像2101b相关联的人要么在本周在三个图像中被捕获，要么在本周在与用户的三次交互期间在图像中被捕获；与面部图像2101c相关联的人要么在本周在五个图像中被捕获，要么在本周在与用户的五次交互期间在图像中被捕获；并且与面部图像2101d相关联的人要么在本周在一个图像中被捕获，要么在本周在与用户的一次交互期间在图像中被捕获。尽管使用一周作为时间段，但是可以使用其它时间段，诸如一天、两周、一个月、六个月、一年等。
图21B图示了与本公开一致的数据库2120的示例，该数据库用于将声音文件索引到提取的词语和物体图像。如图21B所示，多个声音文件(例如，文件2121a、2121b和2121c)储存在数据库中。声音文件可以已经在时间窗口期间在可穿戴图像传感器附近被捕获。声音文件可以已经由可穿戴装置的麦克风或者由不同于可穿戴图像传感器的移动通信设备捕获了。附加地或可替代地，一个或多个词语(例如，词语2123a、2123b和2123c)可以储存在数据库中。可以从多个声音文件中提取一个或多个词语，如上面关于链接属性模块2002所解释的。
如图21B中进一步描绘的，数据库可以储存多个物体图像(例如，图像2125a、2125b和2125c)。物体图像可以已经由可穿戴图像传感器在时间窗口期间捕获。尽管在图21B中描绘为无生命物体的图像，但是数据库可以包含包含面部图像或是面部图像的物体图像。词语2123a、2123b和2123c可以分别用于索引图像2125a、2125b和2125c，以用于快速检索。
图21C图示了与本公开一致的数据库2140的示例，该数据库用于将面部图像索引到日历日期。如图21C所示，多个日历日期(例如，日期2141a和2141b)储存在数据库中并用于索引多个面部图像(例如，图像2145a、2145b、2145c、2145d和2145e)，以用于快速检索。
尽管未在图21C中描绘，但是数据库2140可以进一步储存来自与面部图像相关联的声音数据的关键词。储存的关键词可以由储存的日期索引，和/或可以被用于索引储存的面部图像。
应当理解，在图21A-21C中无论图像或声音文件被描绘在何处，它们可以指代指向图像或声音文件或另一个储存单元的指针，或指向描述图像或声音文件的元数据。
图22A是用于将面部图像索引到链接属性的方法2200的流程图。方法2200可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2200可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2200的步骤可以由可穿戴装置110进行。在其它实施例中，方法2200的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2201，处理器可以接收用户与之交互的多个个体的面部图像。例如，处理器可以从由用户穿戴的图像传感器(例如，捕获单元710的图像传感器220)接收面部图像。
在步骤2203处，处理器可以为多个面部图像中的每个确定或接收至少一个链接属性。例如，处理器可以使用图像分析来确定至少一个链接属性和/或接收作为来自用户的输入的至少一个链接属性，如上面关于图20的链接属性模块2002所描述的。该至少一个链接属性可以包含位置、职业、工作场所、家庭关系和社交关系中的至少一个。
在步骤2205处，处理器可以在存储器中将多个面部图像中的每个与对于多个面部图像中的对应一个接收的至少一个链接属性相关联。例如，处理器可以储存由至少一个链接属性索引的面部图像，如图21A的示例中所示。
在一些实施例中，处理器可以进一步储存与每个个体的面部图像相关联的链接属性的出现的度量。例如，处理器可以储存由出现索引的面部图像和/或至少一个链接属性，如图21A的示例中所示。
在步骤2207处，处理器可以对于所选择的链接属性，在显示器的屏幕上呈现共享所选择的链接属性的多个面部图像的集合。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在还储存了该出现的实施例中，在呈现期间，相比于具有较少的公共链接属性出现数目的个体的面部图像，具有较高的公共链接属性出现数目的面部图像可以被显示的更加突出。例如，如上面关于图18A所描绘的，可以在所呈现的面部图像的大小中反映出该更加突出。附加地或可替代地，该更加突出可以反映在显示器上的焦点位置附近，如上面参考图18C-18F所描绘的。
在一些实施例中，方法2200可以包含附加步骤。例如，方法2200可以包含向用户呈现链接属性的挑选列表，并且响应于从挑选列表的选择而在显示器上更改面部图像的呈现，如上面关于图20的显示模块2004所解释的。
此外，以上关于图17的可视化模块1704描述的任何交互可以在方法2200中实现。例如，可以响应于来自用户的输入来更新和/或动画化多个面部图像的集合。
图22B是用于将声音文件中的词语索引到物体图像的方法2210的流程图。方法2210可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2210可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2210的步骤可以由可穿戴装置110进行。在其它实施例中，方法2210的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤2211处，处理器可以从由用户穿戴的可穿戴图像传感器接收在时间窗口中捕获的至少一个图像。例如，处理器可以从捕获单元710的图像传感器220接收图像。图像可以包括物体图像。在一些实施例中，物体图像可以包含面部图像或者是面部图像。
在步骤2213处，处理器可以接收在时间窗口期间在图像传感器附近捕获的声音文件。例如，包含可穿戴图像传感器的可穿戴装置的麦克风可以捕获声音文件。附加地或可替代地，不同于可穿戴图像传感器的移动通信设备可以捕获声音文件并将文件发送到处理器。
在步骤2215处，处理器可以处理声音文件以识别声音文件中的至少一个词语。例如，处理器可以如上面关于链接属性模块2002所描述的处理该文件。
在步骤2217处，处理器可以将词语和物体图像之间的关联储存在存储器中。例如，处理器可以储存由至少一个词索引的物体图像，如图21B的示例中所示。
在步骤2219处，处理器可以在远离该时间窗口的时间接收至少一个关键词的搜索输入。如本文所使用的，“远离”可以指代比该时间窗口晚至少阈值时间量的任何时间，该阈值时间量诸如至少1分钟、5分钟、15分钟、1小时、1天、1周等。如上面关于显示模块2004所解释的，处理器可以生成文本框(例如，用于在可穿戴装置上或在移动通信设备上显示)以接收搜索输入，和/或可以生成关键词的列表并向用户显示关键词的列表(例如，经由可穿戴装置或在移动通信设备上)，使得用户可以通过从列表中选择一个或多个关键词来输入搜索。
在步骤2221处，处理器可以访问存储器以定位至少一个关键词和至少一个物体图像之间的关联。例如，处理器可以搜索索引关键词，以获得储存在数据库中并且索引到至少一个关键词的至少一个物体图像。
在步骤2223处，处理器可以使该物体图像在用户的移动通信设备上显示，用户的移动设备与可穿戴图像传感器分开。例如，处理器可以将物体图像发送到移动通信设备以用于显示。
在一些实施例中，该显示可以在与可穿戴图像传感器无线配对的移动通信设备上发生。例如，移动通信设备可以经由诸如的射频或经由诸如因特网的计算机网络来与可穿戴传感器配对。
在一些实施例中，使得该显示可以包含显示各自与关键词相关联的多个面部图像。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
此外，以上关于图17的可视化模块1704描述的任何交互可以在方法2220中实现。例如，可以响应于来自用户的输入来更新和/或动画化物体图像(或多个面部图像)。
图22C是用于将面部图像索引到日历日期的方法2230的流程图。方法2230可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2230可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2230的步骤可以由可穿戴装置110进行。在其它实施例中，方法2230的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2231处，处理器可以从由用户穿戴的可穿戴图像传感器接收用户在第一日历日期与之交互的个体的第一多个面部图像。例如，处理器可以从捕获单元710的图像传感器220接收第一多个面部图像。
在步骤2233处，处理器可以与第一多个个体中的每个相关联地储存第一日历日期的指示符。例如，如上面关于图20所解释的，图像传感器220或面部图像模块2001可以使用第一日历日期对多个图像加戳。
在步骤2235处，处理器可以从由用户穿戴的可穿戴图像传感器接收用户在第二日历日期与之交互的个体的第二多个面部图像。例如，处理器可以从捕获单元710的图像传感器220接收第二多个面部图像。
在步骤2237处，处理器可以与第二多个个体中的每个相关联地储存第二日历日期的指示符。例如，如上面关于图20所解释的，图像传感器220或面部图像模块2001可以使用第二日历日期对多个图像加戳。应当理解，日期包含日、月、年或者其子集，例如年和月、或仅年、星期中的日等。
在一些实施例中，处理器可以进一步接收与面部图像相关联的声音数据。例如，包含可穿戴图像传感器的可穿戴装置的麦克风可以捕获声音数据。附加地或可替代地，不同于可穿戴图像传感器的移动通信设备可以捕获声音数据并将数据发送到处理器。
在处理器接收声音数据的实施例中，处理器可以进一步从声音数据中提取关键词。例如，处理器可以如上面关于链接属性模块2002所描述的处理文件。
在处理器提取关键词的实施例中，处理器可以进一步将关键词与记录日期相关联地储存在存储器中。例如，如上面关于图20所解释的，面部图像模块2001可以使用记录日期对声音数据加戳，该记录日期可以是第一日历日期或第二日历日期。
在步骤2239处，处理器可以接收用户的第一输入请求，以用于调回在第一日历日期的交互。例如，处理器可以生成文本框(例如，用于在可穿戴装置上或在不同于可穿戴图像传感器的移动通信设备上显示)以接收输入，和/或可以向用户显示日历(例如，经由可穿戴装置或在移动通信设备上)，使得第一输入是用户与对应于第一日历日期的屏幕区域的相应触摸交互的结果。
在步骤2241处，处理器可以响应于第一输入，向用户显示第二多个个体中的至少一些的图像。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在处理器储存关键词的实施例中，处理器可以进一步向用户呈现与在第一日历日期的交互相关联的关键词。例如，处理器可以在列表或图形中呈现关键词，诸如词语云。
在步骤2243处，处理器可以接收用户的第二输入请求，以用于调回在第二日历日期的交互。例如，处理器可以生成文本框(例如，用于在可穿戴装置上或在不同于可穿戴图像传感器的移动通信设备上显示)以接收输入，和/或可以向用户显示日历(例如，经由可穿戴装置或在移动通信设备上)，使得第二输入是用户与对应于第二日历日期的屏幕区域的相应触摸交互的结果。
在步骤2245处，处理器可以响应于第二输入，向用户显示第一多个个体中的至少一些的图像。例如，处理器可以生成面部云，如上面关于图17的可视化模块1704所解释的。生成的面部云的示例还描绘在图18A-18H中，如上所述。
在处理器储存关键词的实施例中，处理器可以进一步向用户呈现与在第二日历日期的交互相关联的关键词。例如，处理器可以在列表或图形中呈现关键词，诸如词语云。
此外，以上关于图17的可视化模块1704描述的任何交互可以在方法2230中实现。例如，可以响应于来自用户的输入来更新和/或动画化物体图像(或多个面部图像)。
在一些实施例中，方法2230可以包含附加步骤。例如，在处理器储存关键词的实施例中，方法2230可以包含接收用户的搜索输入，该搜索输入包含关键词中的至少一个。如上所述，处理器可以生成文本框(例如，用于在可穿戴装置上或在移动通信设备上显示)以接收搜索输入，和/或可以生成关键词的列表并向用户显示关键词的列表(例如，经由可穿戴装置或在移动通信设备上)，使得用户可以通过从列表中选择一个或多个关键词来输入搜索。在这样的实施例中，在步骤2241中显示的第一多个个体中的至少一些和/或在步骤2245中显示的第二多个个体中的至少一些可以与关键词中的至少一个相关联。
图22D是用于将面部图像索引到从图像提取的上下文信息的方法2250的流程图。方法2250可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2250可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2250的步骤可以由可穿戴装置110进行。在其它实施例中，方法2250的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2251处，处理器可以分析多个图像以检测至少一个人。例如，处理器可以从可穿戴图像传感器(例如，捕获单元710的图像传感器220)接收多个图像，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。处理器可以使用图像分析来检测至少一个人，例如，如上面关于面部图像模块2001所描述的。
在步骤2253处，处理器可以选择与检测到的人相关联的至少一个记录。例如，处理器可以使用图像分析来识别检测到的至少一个人，例如，如上面关于人识别模块1701所描述的。可以基于该识别来选择至少一个记录。
在步骤2255处，处理器可以分析多个图像以识别与检测到的人相关联的上下文信息。处理器可以使用图像分析来识别上下文信息，例如，如上面关于链接属性模块2002所描述的。
上下文信息可以至少部分地基于与检测到的人一起出现在多个图像中的第二人。例如，处理器可以使用图像分析来识别第二人，例如，如上面关于人识别模块1701所描述的。上下文信息可以包括在检测到的人和第二人之间所确定的关系，诸如“家人”、“朋友”、“父子”等。附加地或可替代地，上下文信息可以包括检测到的人针对第二人的所确定的情绪和/或第二人针对检测到的人的所确定的情绪。作为示例，如果检测到的人对第二人翻转她的眼睛，则上下文信息可以包括“恼怒”，如果第二人对检测到的人皱眉和/或叫喊，则上下文信息可以包括“生气”，等等。
附加地或可替代地，上下文信息可以至少部分地基于检测到的人正穿着的制服。例如，如果检测到的人穿着警察制服，则上下文信息可以包括“警察”、“警官”等。在另一个示例中，如果检测到的人穿着飞行员制服，则上下文信息可以包括“飞行员”等。
附加地或可替代地，上下文信息可以至少部分地基于检测到的人出现的房间。例如，如果检测到的人在健身房中，则上下文信息可以包括“健身房”、“锻炼”等。在另一个示例中，如果检测到的人在办公室中，则上下文信息可以包括“办公室”、“同事”等。
可以组合上述任何示例。例如，如果检测到的人出现的房间是会谈室并且第二人被识别为老板，则上下文信息可以包括“会谈会议”、“重要会议”等。在另一个示例中，如果检测到的人出现的房间是警察局并且制服是警察制服，则上下文信息可以包括“犯罪报告”等。在又一个示例中，如果制服是商务套装，并且第二人被识别为CEO，则上下文信息可以包括“商务会议”、“客户会议”、“董事会议”等。
在步骤2257处，处理器可以基于上下文信息来更新至少一个记录。例如，处理器可以将上下文信息与至少一个记录相关联地储存和/或可以通过上下文信息来索引至少一个记录。
图22E是用于将从图像提取的可视上下文指示符索引到与人相关联的上下文类别的方法2260的流程图。方法2260可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2260可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2260的步骤可以由可穿戴装置110进行。在其它实施例中，方法2260的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2261处，处理器可以分析多个图像以检测至少一个人。例如，处理器可以从可穿戴图像传感器(例如，捕获单元710的图像传感器220)接收多个图像，该可穿戴图像传感器被配置为从可穿戴装置的用户的环境捕获多个图像。处理器可以使用图像分析来检测至少一个人，例如，如上面关于面部图像模块2001所描述的。
在步骤2263处，处理器可以基于检测到的人来确定上下文类别。例如，处理器可以使用图像分析来识别检测到的至少一个人，例如，如上面关于人识别模块1701所描述的。可以基于该识别来选择上下文类别。
上下文类别可能与工作有关。例如，上下文类别可以包括诸如“会议”、“会谈”等的事件；诸如“同事”、“老板”等的人；诸如“办公室”、“休息室”等的位置等。
附加地或可替代地，上下文类别可以是社交类别。例如，上下文类别可以包括诸如“咖啡”、“午餐”等的事件；诸如“亲密朋友”、“熟人”等的人；诸如“咖啡店”、“地铁”等的位置等。
附加地或可替代地，上下文类别可以是家庭类别。例如，上下文类别可以包括诸如“晚餐”、“家庭度假”等的事件；诸如“父母”、“兄弟姐妹”等的人；诸如“家”、“奶奶的房子”等位置等。
附加地或可替代地，上下文类别可以基于房间或位置的上下文，该房间或位置基于房间中识别的一个或多个人。例如，可以识别房间为卧室使得选择家庭类别，可以识别位置为办公楼使得选择与工作有关的类别等。
在步骤2265处，处理器可以分析多个图像以识别可视上下文指示符。处理器可以使用图像分析来识别可视上下文指示符，例如，如上面关于面部图像模块2001所描述的。
可视上下文指示符可以包括与上下文类别相关联的物体、人或手势。例如，订书机、老板或打字都可以与工作有关的上下文类别相关联。在另一个示例中，体育比赛或活动的门票、朋友或笑都可以与社交类别相关联。在又一个示例中，玩具、兄弟姐妹或拥抱都可以与家庭类别相关联。
在步骤2267，处理器可以将可视上下文指示符与所确定的上下文类别相关联。例如，处理器可以将可视上下文指示符与所确定的上下文类别相关联地储存。附加地或可替代地，处理器可以通过所确定的上下文类别来索引可视上下文指示符，和/或可以通过可视上下文指示符来索引所确定的上下文类别。
自动物体比较
在一些实施例中，本公开的可穿戴装置可以提供自动物体比较。例如，装置可以自动识别两个物体，查找与两个物体的身份有关的信息，并显示该比较，使得用户可以判明两个物体之间的差异。与手动、主观形式的比较相比，可穿戴装置通过进行查找可以提供更快和更精确的比较。
另外，本公开的实施例并非使用传统的用户界面，而是使用特定的触发来自动进行比较。传统界面通常是基于文本的而不是基于触发的，并且因此难以用于快速和自动比较。因此，本公开的实施例通过提供用户更容易的操纵来提供对可穿戴装置的改进的用户体验。
图23图示了与本公开一致的含有软件模块的存储器2300的示例性实施例。在存储器2300中包含物体图像模块2301、查找模块2302、比较模块2303和显示模块2304。模块2301、2302、2303、2304可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，存储器2300可以包括驻留在移动通信设备(例如，智能电话)上的非暂时性计算机可读介质，该移动通信设备被配置为与捕获单元710的可穿戴图像传感器220无线配对。
物体图像模块2301、查找模块2302、比较模块2303和显示模块2304可以协作以进行自动物体比较，以及协作以允许这种比较的特定显示。存储器2300可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和监视模块603可以与图23的物体图像模块2301、查找模块2302、比较模块2303和显示模块2304一前一后地操作或同时地操作。
物体图像模块2301可以被配置为从多个图像中的至少一个中确定由用户指示的两个不同物体的存在。例如，图像可以来自可穿戴图像传感器(例如，捕获单元710的图像传感器220)，该可穿戴图像传感器被配置为从用户的环境捕获图像。
在一些实施例中，物体图像模块2301可以丢弃由图像传感器220捕获的不包含至少两个不同的物体的图像，而保留包含至少两个不同物体的图像。例如，物体图像模块2301可以应用图像分析来确定图像中存在的物体。
物体图像模块2301可以使用任何已知技术来检测接收到的图像中的物体。例如，物体图像模块2301可以对当前所接收的图像进行图像处理，并且确定所接收的图像对应于已经先前储存在存储器中的物体的图像。因此，物体图像模块2301可以进行逐像素匹配。在其它实施例中，物体图像模块2301可以执行更复杂的技术。例如，物体图像模块2301可以使用一个或多个分类器(或级联分类器)来检测包含在图像中的物体。附加地或可替代地，物体图像模块2301可以使用神经网络来检测包含在图像中的物体。或者，物体图像模块2301可以使用神经网络来从图像导出多个特征(例如，特征集)，并且然后将导出的特征(或特征集)映射到与物体的检测相关联的特征上。可以使用简单相关或使用更复杂的技术(诸如另一个神经网络)来进行映射。
在任何实施例中，检测可以具有相关联的概率，该概率例如从神经网络输出；基于匹配像素、特征等的百分比而计算等。因此，仅当检测具有高于阈值的相关联概率时，物体图像模块2301才可以最终确定物体的检测。替代地，如果检测是不确定的，例如高于第一阈值但低于第二更高阈的值，则物体图像模块2301可以应用进一步的检测技术。在这样的实施例中，物体图像模块2301可以应用分类器，并且如果分类器产生具有不确定概率的检测，则可以应用一个或多个附加分类器和/或神经网络以产生一个或多个附加检测概率。基于附加检测概率，例如如果它们超过第二阈值，则物体图像模块2301可以最终确定该检测。任何未最终确定的检测都可以被丢弃。
在任何实施例中，图像可以包括至少两个不同的物体。因此，物体图像模块2301可以使用边界框架构(诸如你只看一次(YOLO)或单次检测器(SSD))来识别包含物体的边界框。例如，如果物体图像模块2301使用边界框架构并且未接收到被分类为物体的边界框或接收到都具有低于阈值(例如，小于50％、小于40％、小于25％、小于10％、小于5％等)的物体分类的边界框，则物体图像模块2301可以因为该图像不包含物体而丢弃该图像。类似地，如果物体图像模块2301使用边界框架构并且接收多个边界框，使得图像中仅存在单个物体或者图像中的所有物体被分类为相同物体，则物体图像模块2301可以因为该图像未包含至少两个不同的物体而丢弃该图像。另一方面，如果物体图像模块2301使用边界框架构并且接收到被分类为物体但并非全部是相同物体的多个边界框、或接收到具有高于阈值(例如，大于50％、大于40％、大于25％、大于10％、大于5％等)的物体分类但并非全部是相同物体的多个边界框，则物体图像模块2301可以因为由多个边界框限定的图像的部分包含不同的物体而检测由多个边界框限定的图像的部分。
在所讨论的任何实施例中，所接收的图像可以在大小、形状和内容方面变化。例如，在一些实施例中，包含更宽场景(例如，多个个体、或个体及他或她的周围环境)的图像可以被裁剪或以其它方式被截断为面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。在其它实施例中，所接收的图像可以包含这样的更宽的场景(例如，多个个体、或个体及他或她的周围环境)。在其它实施例中，所接收的图像可以包含面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。还可以截断图像以包含含有无生命物体(诸如产品)的部分。
查找模块2302可以被配置为进行两个不同物体的查找以判明两个不同物体的身份。例如，查找模块2302可以使用包含每个物体的图像或使用包含物体的图像的一个或多个部分(例如，在裁剪该图像以仅包含与每个物体相关联的边界框之后剩余的部分)来进行图像搜索。裁剪后的部分可以包含边界框和裁剪之间的缓冲区。
附加地或可替代地，可以使用来自物体图像模块2301的分类器、神经网络或任何其它技术或其组合产生的识别，来进行该查找。例如，除了使用包含物体的图像(或其一部分)之外或代替于使用包含物体的图像(或其一部分)，查找模块2302可以使用标识物体的一个或多个文本串来进行该查找。
查找模块2302可以针对两个不同物体中的每个分开地进行查找。替代地，查找模块2302可以针对两个不同物体中的每个并行地进行查找。如本文所使用的，“并行”指代多线程、并行计算或用于并行执行任务的任何其它已知技术，即使底层架构(例如传统处理器)仍然需要在执行期间在线程之间切换。
在一些实施例中，两个不同的物体可以保持在用户的至少一只手中。因此，可以基于两个不同物体在用户手中的存在，来触发对两个不同物体的查找以判明两个不同物体的身份，如下面描述的图24A所示。附加地或可替代地，可以基于用户正指向两个不同物体，来触发进行两个不同物体的查找以判明两个不同物体的身份，如下面描述的图24B所示。
在上面描述的具有触发的任何实施例中，查找模块2302和/或图像模块2301可以使用图像分析来检测触发。因此，可以使用一个或多个分类器和/或神经网络来识别用户的手(或其它身体部位)并从中确定手势。例如，当用户的手被识别并被分类为握持两个不同的物体，当用户的手(或手指)被识别并被分类为指向两个不同的物体等时，图像分析可以生成触发。
除了基于手势的触发之外或替代地，可以基于接收来自用户的输入，来触发进行两个不同物体的查找以判明两个不同物体的身份。例如，来自用户的输入可以包含手势、语音命令和/或按下按钮。可以从可穿戴装置和/或从与用户相关联的移动通信设备接收输入。在输入与基于手势的触发组合的实施例中，输入可以用于确认用户期望进行自动物体比较。例如，查找模块2302和/或图像模块2301可以检测触发，并且然后发送命令(到可穿戴装置和/或与用户相关联的移动通信设备)以提示用户进行确认。
在一些实施例中，进行两个不同物体的查找以判明两个不同物体的身份可以包含对每个不同物体的至少一个图像进行因特网搜索。例如，如上所述，查找模块2302可以进行因特网图像搜索和/或因特网文本搜索。
查找模块2302可以进一步被配置为进行关于两个不同物体的描述性信息的查找。例如，查找模块2302可以使用包含每个物体的图像或使用包含物体的图像的一个或多个部分(例如，在裁剪该图像以仅包含与每个物体相关联的边界框之后剩余的部分)来进行图像搜索。裁剪后的部分可以包含边界框和裁剪之间的缓冲区。
附加地或可替代地，从上述第一查找产生的身份可以用于进行描述性信息的查找。例如，除了使用包含物体的图像(或其一部分)之外或代替于使用包含物体的图像(或其一部分)，查找模块2302可以使用包含该身份的一个或多个文本串来进行描述性信息的查找。
查找模块2302可以分开地进行如上所述的身份的查找和描述性信息的查找。替代地，查找模块2302可以同时执行上述查找。例如，图像搜索和/或对来自物体图像模块2301的分类器、神经网络或其任何组合的使用可以产生两个不同物体的身份以及关于其的描述性信息。附加地或可替代地，标识物体的一个或多个文本串可以用于进行两个不同物体的身份以及关于其的描述性信息的查找。
在一些实施例中，进行关于两个不同物体的描述性信息的查找可以包含对产品评论进行因特网搜索。例如，如上所述，查找模块2302可以使用不同物体的身份，来进行一个或多个基于因特网的源的文本搜索，该基于因特网的源被识别为对产品评论进行索引或以其它方式包含产品评论。被识别为对产品评论进行索引或以其它方式包含产品评论的基于因特网的源可以包含：在线商店(诸如等)、社交网络(诸如等)、评论网站(例如消费者报告TM、等)等。
附加地或可替代地，进行关于两个不同物体的描述性信息的查找可以包含在一个或多个社交网络中进行因特网搜索。例如，如上所述，查找模块2302可以使用不同物体的身份，来进行一个或多个社交网络的文本搜索。
附加地或可替代地，进行关于两个不同物体的描述性信息的查找可以包含对在两个不同物体中的至少一个上识别的文本进行因特网搜索。例如，查找模块2302可以使用在物体上识别(例如，使用光学字符识别)的文本，来进行一个或多个基于因特网的源的文本搜索。可以在图像模块2301分类期间和/或在上述身份查找期间，已经识别了物体上的文本。
附加地或可替代地，进行关于两个不同物体的描述性信息的查找可以包含对在两个不同物体中的至少一个上识别的饮食信息进行因特网搜索。例如，查找模块2302可以使用在物体上识别(例如，使用光学字符识别)的饮食信息和/或在上述身份查找期间获得的饮食信息，来进行一个或多个基于因特网的源的文本搜索。
附加地或可替代地，进行关于两个不同物体的描述性信息的查找可以包含进行因特网搜索以确定两个不同物体中的至少一个的价格。例如，如上所述，查找模块2302可以使用不同物体的身份，来进行一个或多个基于因特网的源的文本搜索，该基于因特网的源被识别为商店或以其它方式包含价格。被识别为商店的基于因特网的源可以包含等，并且被识别为以其它方式包含价格的基于因特网的源可以包含购物、Price.com等。
比较属性2303可以被配置为比较关于两个不同物体的描述性信息。通过查找模块2302获得的任何描述性信息(诸如产品评级和/或评论、社交网络提及、搜索引擎结果、饮食信息、价格等)可以用于比较。在一些实施例中，比较关于两个不同物体的描述性信息包含：隔离公共属性并收集关于两个不同物体中的每个的至少一个公共属性的信息。
显示模块2304可以被配置为使得以允许用户判明两个不同物体之间的差异的方式，对关于两个不同物体的比较的信息进行显示。例如，用户界面可以包含每个物体在屏幕上的非重叠的图像(例如，在屏幕的相对侧上)。用户界面可以进一步包含在空间上接近对应的物体的查找出的身份和/或查找出的描述性信息。查找出的身份和/或查找出的描述性信息可以可视地和/或文本地描绘。
在上述任何实施例中，使得对关于两个不同物体的比较的信息进行显示可以包含将关于两个不同物体的比较的信息发送到移动通信设备。例如，移动通信设备可以经由诸如的射频或经由诸如因特网的计算机网络来与可穿戴传感器配对。
图24A图示了与本公开一致的触发的示例，该触发用于进行两个不同物体的查找。如图24A所示，用户2400可以在一只手中握持第一物体2401而在另一只手中握持第二物体2403，以便触发自动物体比较。尽管描绘为使用单独的手，但是用户2400可以在相同的手中握持两个不同的物体(例如，物体2401和物体2403)。
图24B图示了与本公开一致的触发的另一个示例，该触发用于进行两个不同物体的查找。如图24B所示，用户2430可以指向第一物体2431并指向第二物体2433，以便触发自动物体比较。尽管描绘为用她的手指向，但是用户2400可以使用她的手的任何部位(诸如一个或多个手指，包含拇指)指向。此外，尽管描绘为用单独的手指向，但是用户2400可以使用相同的手指向，例如，首先指向物体2431并且然后在阈值时间段(诸如1秒、5秒、10秒等)内指向物体2433。
图24C图示了与本公开一致的用户界面2460的示例，该用户界面2460用于进行两个不同物体的查找。界面2460可以显示在可穿戴装置上和/或与用户相关联的移动通信设备上。在图24C的示例中，界面2460的用户可以将任何储存的物体图像(诸如图像2465、2467、2469、2471、2473和2475)拖放(例如，使用鼠标、手指等)在输入2461上，以将拖动的图像识别作为第一物体。另外，界面2460的用户可以将任何储存的物体图像(诸如图像2465、2467、2469、2471、2473和2475)拖放(例如，使用鼠标、手指等)在输入2463上，以将拖动的图像识别作为第二物体。然后可以基于拖动的图像进行自动物体比较。尽管被描绘为独立过程，但是可以使用来自用户的使用用户界面(例如，图24C中描绘的界面2460)获得的输入，来确认用户的基于检测到的触发来进行自动物体比较的期望(例如，如图24A和24B所示)。
在图24A-24C中描绘的任何示例中，作为触发的手势的状态、和/或输入的使用可以取决于由用户所选择的设置。例如，用户可以选择一个或多个触发作为用于自动物体比较的触发，使得其它触发不起作用。在这样的示例中，用户可以选择选项，使得指向物体触发比较，而握持物体不触发比较，反之亦然。
附加地或可替代地，用户可以设置一选项，以在基于一个或多个触发来进行自动物体比较之前需要确认。例如，在基于指向物体和/或基于握持物体来进行自动物体比较之前，用户可以需要确认。在另一个示例中，在基于指向物体来进行自动物体比较之前而不是在基于握持物体来进行自动物体比较之前，用户可以需要确认，反之亦然。
图25是用于自动物体比较的方法2500的流程图。方法2500可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2500可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2500的步骤可以由可穿戴装置110进行。在其它实施例中，方法2500的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2501处，处理器可以从多个图像中的至少一个图像中确定由用户指示的两个不同物体的存在。例如，可以由处理器从可穿戴图像传感器(例如，捕获单元710的图像传感器220)接收图像，该可穿戴图像传感器被配置为从用户的环境捕获图像。处理器可以使用图像分析来确定两个不同物体的存在，如上面关于图23的物体图像模块2301所描述的。
在步骤2503处，处理器可以进行两个不同物体的查找以判明两个不同物体的身份。例如，处理器可以响应于一个或多个触发和/或用户输入而进行查找，如上面关于图23的查找模块2302所描述的。
在步骤2505处，处理器可以进行关于两个不同物体的描述性信息的查找。例如，处理器可以进行一个或多个因特网搜索，如上面关于图23的查找模块2302所描述的。因此，描述性信息可以包含与两个不同物体相关联的产品评论、与两个不同物体相关联的社交网络活动、在两个不同物体中的至少一个上识别的文本、在两个不同物体中的至少一个上识别的饮食信息、两个不同物体中的至少一个的价格或其任何组合。
在一些实施例中，步骤2503和2505可以作为对每个产品的一次搜索一起进行。在其它实施例中，步骤2503和2505可以同时地、顺序地或以任何其它方式进行。
在步骤2507处，处理器可以比较关于两个不同物体的描述性信息。例如，处理器可以隔离公共属性并收集关于两个不同物体中的每个的至少一个公共属性的信息。在一个示例中，两个不同物体的品牌可以被隔离作为公共属性，而两个不同物体的价格可以被识别为不同。在另一个示例中，关于两个不同物体的饮食信息的卡路里计数或其它部分可以被隔离作为公共属性，而关于两个不同物体的饮食信息的其它部分可以被识别为不同。在另一个示例中，与两个不同物体相关联的产品评论可以被隔离作为公共属性，而两个物体的价格和/或在两个不同物体中的至少一个上识别的文本可以被识别为不同。在另一个示例中，与两个不同物体相关联的产品评论可以被隔离作为公共属性，而与两个不同物体相关联的价格和/或社交网络活动可以被识别为不同。上面给定的示例都不是互相排斥的。
在步骤2509处，处理器可以使得以允许用户判明两个不同物体之间的差异的方式，对关于两个不同物体的比较的信息进行显示。例如，如上面关于图23的显示模块2304所解释的，用户界面可以包含每个物体在屏幕上的非重叠的图像(例如，在屏幕的相对侧上)，并且可以包含在空间上接近对应物体的被可视地和/或文本地描绘出的查找出的身份和/或查找出的描述性信息。
在一个示例中，如果每个物体的品牌的徽标和/或品牌名称的文本不同，则可以在对应的物体附近显示每个物体的品牌的徽标和/或品牌名称的文本，并且如果相同，则在中心附近显示。在另一个示例中，如果每个物体的饮食信息的卡路里计数或其它部分不同，则可以在对应的物体附近显示每个物体的饮食信息的卡路里计数或其它部分，并且如果相同，则在中心附近。饮食信息可以文本地和/或可视地(例如，作为诸如条形图或饼形图的图形)示出。在另一个示例中，如果每个物体的产品评论不同，则可以在对应的物体附近显示每个物体的产品评论，并且如果相同，则在中心附近显示。产品评论可以文本地(例如，具有评级和/或摘录)和/或可视地(例如，星级数、条形图等)示出。可以将产品评论整理成总体评级和/或评论，和/或可以选择有代表性的评级和/或评论。在另一个示例中，如果每个物体的社交网络活动不同，则可以在对应的物体附近显示每个物体的社交网络活动，并且如果相同则在中心附近显示。社交网络活动可以文本地(例如，作为来自帖子的摘录和/或关于点赞、转推等的数字)和/或可视地(例如，点赞、转推等的条形图)显示。上面给定的示例都不是互相排斥的。在上面的讨论中，术语“相同”可以指代绝对同一性或到达相似度，例如数值中多达5％、10％、20％等的不同。
从先前的会话中检索并显示关键词
在一些实施例中，本公开的可穿戴装置可以提供从可穿戴装置的用户的先前会话中检索并显示关键词。例如，装置可以从在时间窗口内记录的音频中自动提取关键词，并将关键词索引到在时间窗口内捕获的面部图像。因此，通过根据本公开的特定规则构建和索引数据库，可以比在传统系统中更迅速和精确地检索与用户和已知个体之间的交互有关的关键词，并且可以使用规则自动检索而不是使用主观判断手动检索。
图26图示了与本公开一致的含有软件模块的存储器2600的示例性实施例。在存储器2600中包含图像处理模块2601、声音处理模块2602、存储器访问模块2603和显示模块2604。模块2601、2602、2603、2604可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，存储器2600可以包括驻留在移动通信设备(例如，智能电话)上的非暂时性计算机可读介质，该移动通信设备被配置为与捕获单元710的可穿戴图像传感器220无线配对。
图像处理模块2601、声音处理模块2602、存储器访问模块2603和显示模块2604可以协作以从先前的会话中检索并显示关键词。存储器2600可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和监视模块603可以与图26的图像处理模块2601、声音处理模块2602、存储器访问模块2603和显示模块2604一前一后地操作或同时地操作。
图像处理模块2601可以被配置为从可穿戴图像传感器接收可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像。例如，图像处理模块2601可以从可穿戴装置110接收由捕获单元710的图像传感器220捕获的图像。如本文所讨论的，所接收的图像或面部图像可以在大小、形状和内容方面变化。例如，在一些实施例中，包含更宽场景(例如，多个个体、或个体及他或她的周围环境)的图像可以被裁剪或以其它方式被截断为面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。在其它实施例中，所接收的图像可以包含这样的更宽的场景(例如，多个个体、或个体及他或她的周围环境)。在其它实施例中，所接收的图像可以包含面部、面部的一部分、人的头部特写(例如，头部和肩部)或包含该人的面部的人体的一部分。
图像处理模块2601可以进一步从可穿戴图像传感器接收该个体在不同该时间窗口期间的时间的第二交互期间的另一个面部图像。图像处理模块2601可以使用图像处理来确定第二交互中的个体是第一交互中的个体。例如，人识别模块1701可以对另一个所接收的面部图像进行图像处理，并且确定另一个所接收的面部图像对应于从第一交互接收的面部图像中的个体的面部。因此，图像处理模块2601可以进行逐像素匹配。在其它实施例中，图像处理模块2601可以执行更复杂的技术。例如，图像处理模块2601可以使用一个或多个分类器(或级联分类器)来导出包含在所接收的面部图像中的人的身份。附加地或可替代地，图像处理模块2601可以使用神经网络来识别包含在所接收的面部图像中的人的一个或多个可能的标识。替代地，图像处理模块2601可以使用神经网络来从所接收的面部图像中导出多个特征(例如，特征集)，并且然后将导出的特征(或特征集)映射到一个或多个可能的标识上。可以使用简单相关或使用更复杂的技术(诸如另一个神经网络)来进行映射。应当理解，术语“标识”不一定涉及人的真实身份，并且还可以涉及将捕获到的人的图像与由装置先前捕获的人相关联。此外，特定个体的标识可以包含例如正式名字、昵称等。
在上述任何实施例中，可能的匹配可以具有相关联的概率，该概率例如从神经网络输出；基于匹配像素、特征等的百分比而计算等。因此，图像处理模块2601可以通过选择最高概率匹配，从多个可能的匹配中选择人的标识。
在上述任何实施例中，所接收的面部图像中的一个或多个可以包含多于一个人。因此，图像处理模块2601可以使用边界框架构(诸如你只看一次(YOLO)或单次检测器(SSD))来识别其中包含人(或其一部分)的边界框。例如，如果图像处理模块2601使用边界框架构并且接收到被分类为人的多个边界框或接收到具有高于阈值(例如，大于50％、大于40％、大于25％、大于10％、大于5％等)的人分类的多个边界框，则图像处理模块2601可以对由多个边界框限定的图像的部分进行识别。
声音处理模块2602可以被配置为接收在时间窗口的至少一部分期间在图像传感器附近捕获的声音数据。例如，声音文件可以已经在捕获单元710的图像传感器220的附近(例如，在5米内、10米内、20米内等)和/或在面部图像被捕获时的近期(例如，5秒、10秒、30秒、1分钟、5分钟等)被捕获。
声音处理模块2602可以进一步被配置为处理声音数据以识别至少一个关键词。例如，可以在有或没有扬声器分离、识别、验证的情况下，使用任何音频分析技术——诸如有限词汇识别、大词汇识别等——来解析至少一个关键词。在一些实施例中，声音处理模块2602可以转录声音数据以便从中解析至少一个关键词。
附加地或可替代地，声音处理模块2602可以基于与声音数据中的每个词语相关联的使用频率来提取至少一个关键词。例如，声音处理模块2602可以从解析的至少一个关键词中消除常用词或停用词，诸如冠词(“the”“、a”“、an”等)、介词(“of”、“from”、“to”等)等。
在一些实施例中，处理声音数据以识别至少一个关键词可以包含访问远程服务器。例如，声音处理模块2602可以访问远程服务器以获得常用词的列表、包含在声音数据中的词语的唯一性排序或其任何组合，以帮助提取至少一个关键词。替代地，声音处理模块2602可以将声音数据发送到远程服务器以提取至少一个关键词，并且因此可以从远程服务器接收至少一个关键词。
存储器访问模块2603可以被配置为将关键词和面部图像之间的关联储存在存储器中。例如，存储器访问模块2603可以与面部图像(和/或包含在面部图像中的个体的身份)一起地储存关键词，使得当搜索该面部图像(或个体的身份)时该关键词是可检索的。在一些实施例中，存储器访问模块2603可以将关联储存在数据库中。数据库可以是关系数据库，其中身份当作索引。附加地或可替代地，可以索引面部图像(和/或包含在面部图像中的个体的身份)，使得当搜索该关键词时该面部图像是可检索的。
在一些实施例中，将关键词和面部图像之间的关联储存在存储器中可以包含将关联储存在远程服务器中。例如，存储器可以包含在可通过一个或多个网络访问的远程服务器中。
存储器访问模块2603可以进一步被配置为访问存储器以从第一交互中定位至少一个关键词。例如，存储器访问模块2602可以通过第一交互中的个体的身份进行搜索，以检索至少一个关键词。因此，存储器访问模块2602可以生成包含该身份的查询，以运行针对身份的索引，从而检索对应的至少一个关键词。
在一些实施例中，存储器访问模块2603可以进一步被配置为根据用户和个体之间的关系、关键词、位置、同义词或主题来搜索已储存的关键词。例如，多个关键词可以在存储器中与相同身份(或面部图像)相关联。为了选择关键词以用于显示，存储器访问模块2603可以使用用户和个体之间的关系、包含在多个关键词中的关键词、第一交互或第二交互的位置、多个关键词中的一个或多个关键词的同义词、或第一交互或第二交互的主题。
显示模块2604可以被配置为在第二交互期间使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。显示器可以包含在可穿戴装置上。替代地，显示器可以包含在与可穿戴装置配对的移动通信设备中。例如，移动通信设备可以经由诸如的射频或经由诸如因特网的计算机网络来与可穿戴传感器配对。
图27A图示了与本公开一致的数据库2700的示例，该数据库2700用于将关键词索引到交互频率。如图27A所示，多个关键词(例如，词语2701a、2701b和2701c)储存在数据库中。在一些实施例中，数据库可以相关于特定用户。在其它实施例中，数据库可以储存多个用户的数据。
尽管未在图27A中描绘，但是可以将词语索引到面部图像和/或从面部图像提取的个体的身份以便快速检索。如图27A中进一步描绘的，词语2701a、2701b和2701c分别由交互频率级别2703a、2703b和2703c进一步索引。交互频率级别可以包括用户和对应个体之间的交互的数目。在一些实施例中，交互频率可以是每时间单位或者跨时间被标准化，例如，在一天、一周、一个月等中被平均。
如图27A所示，为每个个体储存的关键词的数目可以与交互频率级别成比例(无论是线性地、二次地等)。例如，如果用户和个体之间的交互被识别为频繁的，则可以储存更多关键词(或者甚至是完整会话)。替代地，可以根据交互频率级别来减少关键词的数目。例如，可以为用户与之每天见面的人储存更少的关键词。关键词数目的减少可以导致对声音数据的更严格的解析。例如，声音处理模块2602在储存词语之前可能需要词语的较高唯一性(例如，唯一性排序所必须超过的较高的阈值)和/或在储存词语之前可能需要词语的较高频率(例如，词语在声音数据中出现的次数)。
图27B示出了与本公开一致的数据库2750的示例，该数据库2750用于将关键词索引到在个体的上下文内的重要性级别。如图27B所示，多个关键词(例如，词语2751a、2751b和2751c)储存在数据库中。
尽管未在图27B中描绘，但是可以将词语索引到面部图像和/或从面部图像提取的个体的身份以便快速检索。如图27A中进一步描绘额，词语2751a、2751b和2751c分别由重要性级别2753a、2753b和2753c进一步索引。重要性级别可以包括在对应个体的上下文内的重要性的数值表示，该数值表示基于职衔、与用户的职业关系、与用户的社交关系、一个或多个社交网络上的提及和/或关注者的数目、或者其任何组合。
如图27B所示，为每个个体储存的关键词的数目可以与重要性级别成比例(无论是线性地、二次地等)。例如，如果对应的个体特别重要(例如家庭成员、CEO、名人等)，则可以储存更多关键词(或甚至完整会话，如图27B所示)。关键词数目的增加可以导致对声音数据的更宽松的解析。例如，声音处理模块2602在储存词语之前可能需要词语的较低唯一性(例如，唯一性排序所必须超过的较低的阈值)和/或在储存词语之前可能需要词语的较低频率(例如，词语在声音数据中出现的次数)。
图28是用于从先前会话中检索并显示关键词的方法2800的流程图。方法2800可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法2800可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法2800的步骤可以由可穿戴装置110进行。在其它实施例中，方法2800的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑、耳机等)进行。
在步骤2801处，处理器可以从可穿戴图像传感器接收可穿戴装置的用户在一时间窗口期间的第一交互中与之交互的个体的面部图像。例如，图像可以来自捕获单元710的图像传感器220。处理器可以使用图像分析来确定个体的身份，如上面关于图26的图像处理模块2601所描述的。
在步骤2803处，处理器可以接收在该时间窗口的至少一部分期间在图像传感器附近捕获的声音数据。例如，包含可穿戴图像传感器的可穿戴装置的麦克风可以已经捕获了声音数据。在这样的示例中，声音数据可以从包含可穿戴图像传感器的壳体内的声音传感器获得。附加地或可替代地，不同于可穿戴图像传感器的移动通信设备可以已经捕获了声音数据。
在步骤2805处，处理器可以处理声音数据以识别至少一个关键词。例如，处理器可以使用如上关于图26的声音处理模块2602所描述的声音处理技术。
在步骤2807处，处理器可以将关键词和面部图像之间的关联储存在存储器中。例如，处理器可以通过面部图像或包含在面部图像中的个体的身份来对关键词进行索引，如上面关于图26的存储器访问模块2603所描述的。
在一些实施例中，可以储存声音数据的至少一部分，该部分根据交互频率级别来确定。例如，如上面关于图27A的示例所解释的，如果交互频率级别低于特定阈值(例如，仅对于用户的不常见的交互)，则可以储存该部分。替代地，如果交互频率级别高于特定阈值(例如，仅对于用户的频繁交互)，则可以储存该部分。
在一些实施例中，储存声音数据的至少一部分，该部分根据个体的重要性级别来确定。例如，如上面关于图27B的示例所解释的，如果重要性级别高于特定阈值(例如，仅对于被识别为特别重要的个体)，则可以储存该部分。
在一些实施例中，可以储存进一步的信息，诸如重要性级别、频率等。
在步骤2809处，处理器可以从可穿戴图像传感器接收该个体在与该时间窗口期间不同的时间的第二交互期间的另一个面部图像。在步骤2811处，处理器可以使用图像处理来确定第一交互中的个体是第二交互中的个体。例如，图像可以来自捕获单元710的图像传感器220。使用的图像分析可以如上关于图26的图像处理模块2601所述。
在步骤2813处，处理器可以访问存储器以从第一交互中定位至少一个关键词。例如，处理器可以运行包含该个体的身份的、针对身份的索引的查询，以检索至少一个关键词，如上面关于图26的存储器访问模块2603所描述的。
在步骤2815处，处理器可以在第二交互期间使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。如关于图26的显示模块2604所解释的，显示器可以包含在可穿戴装置上或者在与可穿戴装置配对的移动通信设备中。
方法2800可以进一步包含附加步骤。例如，方法2800可以包含根据用户和个体之间的关系、关键词、位置、同义词或主题来搜索已储存的关键词，如上面关于存储器访问模块2603所解释的。例如，多个关键词可以在存储器中与相同身份(或面部图像)相关联，使得处理器可以使用用户和个体之间的关系、关键词、位置、同义词或主题中的至少一个来选择要显示的关键词。
在一个示例中，处理器可以根据频率来选择多个关键词中的至少一个关键词，使得具有最高频率的词语被选择。在另一个示例中，如果用户和个体之间的关系是社交的，则处理器可以选择多个关键词中的与笑声相关联的至少一个关键词(诸如来自玩笑的关键词)，但是如果用户和个体之间的关系是职业的，则可以选择多个关键词中的与工作任务相关联的至少一个关键词(诸如来自会议或来自分配的关键词)。在另一个示例中，处理器可以选择多个关键词中的与由用户输入、由用户说出或由个体说出(例如，在第二交互期间)的关键词相关联的至少一个关键词。因此，处理器可以基于由用户和/或个体当前说出的词语来选择要显示多个关键词中的哪个。在另一个示例中，处理器可以选择多个关键词中的与第一交互和/或第二交互的位置相关联的至少一个关键词。因此，处理器可以基于当前交互的位置上下文来选择要显示多个关键词中的哪个。在另一个示例中，处理器可以通过消除被确定为同义词的关键词来选择多个关键词中的至少一个关键词。替代地或附加地，处理器可以选择多个关键词中的与由用户输入、由用户说出或由个体说出(例如，在第二交互期间)的关键词是同义词的至少一个关键词。在另一个示例中，处理器可以选择多个关键词中的与第二交互的主题相关联的至少一个关键词。处理器可以基于在第二交互期间说出的词语、在第二交互期间用户和/或个体的面部表情和/或手势、第二交互的上下文(诸如第二交互的位置)等来确定该主题。上面给定的示例都不与任何其它示例互相排斥。
受环境条件控制的可穿戴装置
在一些实施例中，可穿戴装置110可以收集与可穿戴装置110的用户的环境有关的信息。用户可以配置他的环境的某些特性以触发可穿戴装置110与和用户相关联的移动通信设备进行通信以执行动作。因此，可穿戴装置110可以能够在没有提示的情况下为用户执行动作。例如，如果用户进入会议室，则装置110可以基于收集到的指示用户在会议室中的图像和/或音频数据，来使用户的移动设备静音，从而消除用户手动将他的移动设备设置为静音的需要。在另一个实施例中，装置110可以包含学习机制，使得如果用户在进入会议室时通常会使移动通信设备静音，则装置110可以在无需用户将进入会议室编程为用于使移动通信设备静音的触发的情况下，启动使移动通信设备静音的动作。
当前，可穿戴设备或装置可以允许用户控制一个或多个移动设备。但是，当前技术并不在没有用户提示的情况下执行一个或多个动作。具体地，当前技术不能够分析图像数据以得到指示用户的一个或多个环境条件的直接和间接提示，并且基于这些条件启动动作。
如上所述，在一些实施例中，装置110或计算设备120中的任何一个，经由处理器210或540，可以进一步处理至少所捕获的图像数据来提供附加的功能，以在所捕获的图像数据中识别环境条件和/或其它信息。在一些实施例中，装置110可以处理经由麦克风接收的音频数据以识别环境条件。在一些实施例中，可以基于环境条件采取动作，例如控制设备。例如，如果装置识别穿戴者正在开会，则装置可能允许与相机配对的电话切换到振动模式，以使得在会议期间的电话呼叫不会引起干扰。基于环境条件的其它触发和动作是可能的。
如本文所使用的，环境条件可以指代用户环境的任何物理特性。例如，环境条件可以是以下中的任何一个或多个：环境中存在的物体、基于存在的物体类型的环境分类、或者用户参与的活动。环境条件可以例如是：环境中的另一个人正在说话、或者用户正在查看可以包含或可以不包含音频的视频呈现。在一些实施方案中，环境条件包含外界条件(ambient condition)。外界条件可以是例如照明级别或温度。示例性环境条件可以包含可穿戴装置的用户进入会议室。在另一个实施例中，环境条件可以包含可穿戴装置的用户离开会议室。
在一些实施例中，可穿戴装置110可以通过处理由图像传感器220捕获的图像，来收集关于一个或多个环境条件的信息。例如，图像传感器220可以收集直接信息(例如用户在含有桌子和椅子的房间中)，并且可以收集间接信息。间接信息可以例如是用户在寒冷的房间中，其是通过分析含有一个或多个人的图像以确定一个或多个人是否正在给出关于房间温度的可视线索(例如瑟瑟发抖)推断来的。
在一些实施例中，可穿戴装置110的用户可以将环境条件配置为与动作相关联的触发。因此，当装置110检测到作为触发的一个或多个环境条件时，装置110可以与和用户相关联的移动通信设备进行通信以执行与该触发相关联的动作。在一些实施例中，用户可以在他的移动通信设备上接收文本或另一个通知，该文本或另一个通知指示装置110执行了与该触发相关联的动作。在一些实施例中，每当由图像传感器220检测到某一环境条件时，用户可以执行未与触发相关联地储存的动作。如果用户执行阈值次数的此相同动作，则装置110可以在检测到该环境条件时自动执行该动作，并执行引起移动通信设备提示用户储存该环境条件和动作的指令，使得装置110在每次检测到该环境条件时执行该动作。
图29图示了与本公开一致的含有软件模块的存储器2900的示例性实施例。在存储器2900中包含图像处理模块2901、音频处理模块2905、触发模块2902、动作模块2903和动作数据库2904。模块2901、2902、2903、2905可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。图像处理模块2901、音频处理模块2905、触发模块2902和动作模块2903可以协作以处理来自图像传感器(例如图像传感器220)的图像，识别存在于用户的环境中的一个或多个触发，并基于一个或多个触发来执行动作。存储器2900可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和运动跟踪模块603可以与图29的图像分析模块2901、音频处理模块2905、触发模块2902和动作模块2903一前一后地操作或同时地操作。
图像处理模块2901可以被配置为从一个或多个图像识别至少一个环境条件。在一些实施例中，可以通过应用一种或多种图像分类技术来识别至少一个环境条件。例如，可以使用至少一种图像分类技术来对图像的至少一个特征进行分类。在一些实施例中，图像分类技术可以包含图像增强、边缘检测、图像分析和数据提取中的一种或多种。用于识别至少一个环境条件的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别与本公开保持一致的至少一个环境条件的其它方法。在一些示例中，可以使用物体检测算法、使用经训练以检测物体和/或图像中的物体的神经网络、使用机器学习系统、使用模式识别系统等来检测至少一个环境条件。
在一些示例中，可以使用面部识别算法、使用被训练来检测面部和/或图像中的人的神经网络等，来在用户的环境中识别至少一个人。在其它的实施例中，可穿戴装置110可以单独地或与可视图像组合地，来捕获热图像，以用于由热特征(signature)算法进行处理。在可穿戴装置110在减少的照明情况下操作的实现方式中，对至少一个人或物体进行热识别是可期望的。
例如，可以通过分析一个或多个图像来识别环境条件。环境条件可以是用户环境的任何物理特性。环境条件可以例如包含：诸如指示会谈室的会谈桌的家具、显示时间的时钟、一个或多个人等。在一些实施例中，可以通过识别图像中的文本并分析该文本来识别环境条件。例如，识别悬挂在房间外并且写着“会议室”的标志的文本，并将其与预定文本进行比较可以提供将环境条件识别作为会议。在一些实施例中，环境条件可以包含外界条件，诸如光级别和温度。例如，图像处理器可以识别看起来很冷的人，因此将低温指示为外界条件。图像处理模块2901可以附加地识别在用户的环境中的其它物体(例如书籍、报纸、计算机屏幕等)，并且将该物体与诸如阅读或查看呈现的某一任务相关联。图像处理模块2901还可以具有并入的机器分析算法，使得每次可以使用图像处理模块2901时可以更新已知环境条件的库。
在一些实施例中，音频处理模块2905可以被配置为从经由装置110的麦克风接收的音频输入识别至少一个环境条件。在一些实施例中，可以通过应用一种或多种音频分类技术来识别至少一个环境条件。例如，至少一种音频分类技术可以用于对装置110的穿戴者或不同于装置110的穿戴者的人的语音进行分类。在一些实施例中，音频分类技术可以包含音频增强、自然语言处理、语音识别和数据提取中的一个或多个。例如，识别与情况(例如会议)有关的特定词语可以在识别环境条件和采取相关联的动作中是有用的。用于识别至少一个环境条件的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别与本公开保持一致的至少一个环境条件的其它方法。音频处理模块2905还可以具有并入的机器分析算法，使得每次可以使用音频处理模块2905时可以更新已知环境条件的库。
此外，在一些实施例中，装置110可以基于将一个或多个图像与音频数据组合地分析来识别至少一个环境条件。例如，在这样的实施例中，图像处理模块2901和/或音频处理模块2905可以结合工作以识别至少一个环境条件。作为示例，图像处理模块2901可以识别在用户环境中的会谈桌以及一个或多个人。此外，音频处理模块2905可以检测指示人正在用户附近说话的音频数据。在此示例中，基于对音频数据和图像数据的分析，环境条件可以是用户正在开会。
触发模块2902可以被配置为将由图像处理模块2901识别的图像中的一个或多个环境条件识别为与将由处理器210执行的特定动作相关联。在一些实施例中，除了图像数据之外，触发模块2902还可以被配置为将由音频处理模块2905识别的音频数据中的一个或多个环境条件识别为与将由处理器210执行的特定动作相关联。触发可以由用户预先配置和/或定义并储存在触发数据库2904中。例如，用户可以经由移动通信设备上的移动应用来配置触发。触发模块2902还可以包括学习能力，使得学习的行为被用作触发。例如，如果用户总是在特定位置使他的电话静音，则该位置将被用作为用户静音电话的触发。在一些实施例中，例如，如果图像处理模块2901识别视场中的一个或多个物体，并且每次检测到该组一个或多个物体时用户执行动作，则处理器210可以储存该一个或多个物体和动作，作为在触发数据库2904中的触发-动作。在一些实施例中，触发-动作在被储存在触发数据库2904中之前所执行的次数是预先配置的数值。在其它实施例中，用户可以修改该值。
触发数据库2904可以储存触发和动作之间的关联。在一些实施例中，触发可以是单个环境条件。例如，图像处理模块2901可以使用上述面部识别或图像处理技术来识别在用户的环境中出汗的人。出汗的人的存在可以是与经由恒温器来降低该人和用户占用的房间内的温度的动作相关联的触发。在另一个示例中，图像处理模块2901可以在用户的环境中识别具有运动画面的照亮的屏幕(即电视)。正在广播的电视可以是处理器210执行命令以调暗或关闭一个或多个外界光源的触发。
在一些实施例中，触发可以是环境条件的组合。例如，图像处理模块可以识别房间中的若干物体，例如椅子、会谈桌以及一个或多个人。环境中的这些物体的存在、或者例如在空间的入口处的包含指示会议室的文本的标志可以指示用户在会议室中，这触发处理器210来使用户的移动通信设备静音。在另一示例中，指示用户在会议室中的图像数据和指示另一个人正在说话的音频数据的组合可以触发处理器210来使用户的移动通信设备静音。在另一个示例中，触发可以是用户环境中的外界照明低于预定阈值并且在用户的前面存在书籍，这指示用户正在进行在低光下阅读书籍。低外界光和阅读文本的活动的组合可以是处理器210增加外界照明级别的触发。
动作模块2903可以接收与所识别的触发相关联的动作并且与一个或多个设备和/或部件通信以执行动作。例如，处理器210可以确定环境条件被预先确定为对与和可穿戴装置无线配对的移动通信设备相关联的动作的触发，并且使该移动通信设备根据该环境条件触发该动作，并从而使该动作经由该移动通信设备发生。在其它的实施例中，动作可以与一个或多个设备相关联，例如智能家居系统和/或其部件、安全系统、以及用户的一个或多个个人计算设备(例如，膝上型计算机、台式计算机、平板电脑、附加移动通信设备、其它可穿戴设备等)。例如，动作模块2903可以直接与智能家居系统或智能安全系统通信，或者可以与和用户相关联的智能设备通信，该系统可以通过该智能设备更改一个或多个环境条件。
如上所述，触发可以与一个或多个动作相关联，使得当触发模块2902识别环境中的一个或多个触发时，装置110执行一个或多个预定动作。触发-动作关联可以在装置110上预先配置，或者可以由用户例如经由移动应用来定制。装置110可以通过经由任何已知的无线标准(例如，wifi、等)以及近场电容耦合和其它短距离无线技术或者经由有线连接来与设备通信，来执行一个或多个动作。
在一个示例中，触发可以与使用户的移动通信设备静音的动作相关联。在这种情况下，动作模块2903可以无线地向移动通信设备发送指令以将声音设置改变为静音。在另一个示例中，触发可以与将装置110的用户附近的灯调暗或加强相关联。处理器210可以向移动设备发送指令，以与灯和/或照明系统通信以改变光级别。在另一个实施例中，处理器210可以无线地直接向灯和/或照明系统发送指令，以改变光级别。
在一些实施例中，用户可以经由移动通信设备上的移动应用，来配置动作的参数。在另一个实施例中，动作参数可以在装置110上预先配置。例如，参数可以包含外界光的亮度级别、移动设备的具体音量(例如，分贝级别)、屏幕的亮度、照明级别或温度。在一个示例中，用户可以配置触发，使得如果图像处理模块2901检测到用户前面的屏幕在高亮度级别，则处理器210将指令传送到用户的移动通信设备，以将屏幕调暗到用户首选的亮度级别。在另一个实施例中，可以预先配置相同的触发和动作，使得屏幕亮度被调节到降低眼睛疲劳的级别。
另外，在一些实施例中，处理器可以被编程为覆盖(override)与移动通信设备相关联的动作。在一些实施例中，可以根据上下文，覆盖与移动通信设备相关联的动作。上下文级别可以包含个体的重要性级别。其它示例性上下文可以是电子邮件或其它通信是否指示“紧急”状态、推送到移动通信设备的本地紧急警报、和/或标记为重要的日历事件。在一个示例中，用户可以在他的移动通信设备上设置紧急/重要联系人列表，使得当从这些联系人之一接收到传入通信时，即使用户在会议室中的存在的环境条件触发了处理器210使用户的移动通信设备静音，该通信设备也响铃。在另一个示例中，用户可以将覆盖的上下文配置为所接收的通信的类型，例如，电话呼叫、电子邮件、SMS消息、视频呼叫、通知等。用户可以将电话呼叫配置为覆盖某一触发/动作，而将诸如文字消息和电子邮件的其它通信配置为遵守已配置的动作。
在一些实施例中，处理器可以被编程为当用户离开与触发相关联的环境时，恢复移动通信设备设置。例如，使移动通信设备设置为以某一音量响铃的用户可以进入会议室，这可以触发处理器使用户的移动通信设备静音。当用户离开会议室时，处理器可以与用户的移动通信设备通信，以将该设备设置为以与该设备在进入会议室之前的设置一致的某一音量响铃。
模块2901-2903和2905可以以软件、硬件、固件、任何这些的混合等来实现。例如，如果模块以软件实现，则它们可以储存在例如存储器550中。然而，在一些实施例中，模块2901-2903和2905中的任何一个或多个可以例如储存在处理器540中和/或位于服务器250上，服务器250可以包含一个或多个处理设备。服务器250的处理设备可以被配置为执行模块2901-2903的指令。在一些实施例中，模块2901-2903和2905的方面可以包含可由一个或多个处理器单独地或与彼此各种组合地执行的软件、硬件或固件指令(或其组合)。例如，模块2901-2903和2905可以被配置为与彼此交互和/或与服务器250的其它模块交互和/或与可穿戴相机系统交互，以进行与所公开的实施例一致的功能。在一些实施例中，任何所公开的模块可以各自包含专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备，以进行与各自模块相关联的功能。
图30A一个示例性场景，其中系统可以识别诸如用户3000进入会议室3001的环境条件。用户3000可以穿戴着装置(例如可穿戴装置110)进入会议室3001。会议室3001中的一个或多个物体，例如会谈桌3002、屏幕3003、时钟3004和灯3005可以由图像处理模块2901识别。此外，图像处理模块2901可以识别会议室3001中的一个或多个外界条件，诸如照明级别。这些物体和/或外界条件中的每个可以是被分类为对与用户的移动通信设备相关联的动作的触发的环境条件。
例如，环境条件可以是由于会谈桌3002和椅子3006的存在而将用户进入的房间识别为会议室。将会议室识别为环境条件可以是对处理器210将指令发送到用户的移动通信设备以执行与移动通信设备相关联的动作的触发。例如，与移动通信设备相关联的动作可以包含使能振动模式。在另一个示例中，与移动通信设备相关联的动作可以包含停用声音和降低移动通信设备的声音级别中的至少一个。在附加的示例中，与移动通信设备相关联的动作可以是通过文本消息或电子邮件向移动通信设备从其接收到呼叫或电子邮件的联系人发送自动响应。
在另一个示例中，触发可以基于音频数据和图像数据两者。例如，当用户进入会谈室时，处理器210可以使移动通信设备被设置为振动模式。如果音频处理模块2905附加地接收到音频数据，该音频数据指示单个人正在会谈室中说话(例如，进行呈现)，则处理器210可以进一步使移动电话被设置为静音模式。
类似地，在另一个示例中，当用户离开会议室3001时，图像处理模块2901可以分析一个或多个图像，以确定会谈桌3002和呈现屏幕3003不再存在于用户环境中，因此环境条件不再有效。因此，处理器210可以将指令传送到移动通信设备，以执行当用户离开会议室时被触发的、与移动通信设备相关联的一个或多个动作。例如，与移动通信设备相关联的动作可以包含中断振动模式或检索在用户进入会议之前采用的模式。在另一个示例中，与移动通信设备相关联的动作可以包含激活声音和增加移动通信设备的声音级别中的至少一个。在另一个示例中，如果用户的设备在进入会议室之前被设置为静音并且进入会议室的触发启动了该设备将音量设置为静音，则在离开会议室时，该设备可以保持静音，与该设备在进入会议室之前的设置一致。
在另一个实施例中，装置110可以检测到正在屏幕3003上共享呈现，并且与设备或智能照明系统通信以调暗在会议室中的灯3005或者调暗最靠近屏幕3003的灯。此外，当该呈现结束并且屏幕3003变暗时，装置110可以与设备和/或智能照明系统通信，以将会议室3001中的照明级别增加为默认外界级别。在另一个示例中，在单独地由音频处理模块2905识别来自一个或多个扬声器的声音时或与检测到的从屏幕3003发射的光组合地，可以触发调暗灯和/或使用户的设备静音的动作。在另一个示例中，由图像传感器220检测到低外界照明和指示人正说话的音频数据的组合可以触发处理器210降低移动通信设备的音量级别或使移动通信设备静音。
图30B是另一示例性场景，其中图像处理模块2901可以识别由图像传感器220接收的至少一个图像中的一个或多个环境条件，诸如计算机3007、恒温器3008和另一个人3009。处理器210可以被编程为在至少一个图像中识别图像中描绘的人过热，并且该触发使移动通信设备向恒温器发送信号以降低温度。例如，图像处理模块2901可以经由面部识别软件或先前描述的其它方法检测到人3009正在出汗并且因此太热。人出汗的环境条件可以是对处理器210向移动通信设备发送指令以与恒温器3008通信从而降低装置穿戴者3010和人3009的环境温度的触发。其它图像特征可以指示人3009太热，例如，如果人3009正在自己扇风或者如果他脱掉他的外套。恒温器3008所设置的温度可以是预先配置的，或者可以经由移动应用由用户手动设置。
类似地，系统还可以在至少一个图像中检测到人3009太冷。处理器210可以被编程为在至少一个图像中识别图像中描绘的人冷，并且该触发使移动通信设备向恒温器发送信号以增加温度。例如，人3009可能在颤抖或者可能穿戴围巾、夹克和/或手套，提示处理器210与用户的移动通信设备通信以经由恒温器3008升高环境温度。附加地或可替代地，音频分析可以指示人3009打喷嚏次数超过阈值(例如两次或更多次)，因此指示人3009冷。装置将恒温器3008调节到的温度可以是预先配置的，或者可以经由移动应用由穿戴者3010预先设置。在另一个实施例中，处理器210可以经由无线网络直接与恒温器3008通信。
在另一示例中，来自音频处理模块2905的音频数据可以指示人3009正在说话。另一个人正在说话的环境条件可以是对装置110使移动通信设备静音的触发。当人3009完成说话时，装置110可以将移动通信设备恢复到来自在检测到触发之前其先前的设置。在另一个示例中，装置110可以分析音频数据和图像数据两者，以确定例如存在另一个人并且会话或会议正在进行，并且因此装置110可以使移动通信设备静音。在另一个示例中，房间中或房间附近的标志可以指示它是会议室或会谈室，并且装置110可以使用光学字符识别来确定文本。该文本可以单独使用或与其它可视和/或音频提示结合使用，以确定会议正在进行。
在另一个示例中，处理器可以被编程为识别用户参与期望更高或更低光级别的活动，并且该触发使移动通信设备向照明系统发送信号以增加或减少光量。图像处理模块2901可以检测装置穿戴者3010正在观看的计算机屏幕3007的外界照明的级别和亮度，作为环境条件。这种环境条件的组合可以触发动作，该动作向移动通信设备发送指令以增加或减少以下中的任一个或两者：增加或减少外界照明级别(例如灯3011)、或将屏幕增加或减少到降低眼睛疲劳的最佳亮度。期望较低光级别的其它活动可以是用户正在观看电视或电影，或者用户可能处理光敏材料的某些实验室活动。在一些实施例中，处理器210可以识别最靠近发光物体(诸如电视屏幕)的光源，并向移动通信设备发送指令以增加或减少仅该光源的光级别。光源的数量和由于存在触发而被调节的光的级别可以由用户配置或者可以是预先配置的。
在又一个示例中，处理器可以被编程为识别阅读正在发生并且外界光不足，并且该触发使移动通信设备向照明系统发送信号以增加光量。图像处理模块2901可以将用户前面的未照亮的书籍或文本识别为环境条件。此环境条件可以触发处理器210向移动通信设备发送指令以增加光级别。在一些实施例中，处理器210可以直接执行指令以经由智能家居或智能照明系统修改光级别。
图31A是根据所公开实施例的方法3100的流程图，该方法3100用于识别由图像传感器220接收的至少一个图像中的触发并执行与用户的移动通信设备相关联的动作。方法3100可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法3100可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法3100的步骤可以由可穿戴装置110进行。在其它实施例中，方法3100的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤3101处，处理器可以从可穿戴图像传感器(例如传感器220)接收至少一个图像。
在步骤3102处，处理器可以对该至少一个图像进行图像处理以识别可穿戴装置的用户的环境条件。例如，如参考图29所述，图像处理模块2901可以从图像传感器220接收图像数据，并且识别一个或多个环境条件，诸如该至少一个图像中的物体、人和/或外界条件。如前所述，处理器210可以使用图像分类技术来识别在至少一个图像中存在的一个或多个环境条件。在一些实施例中，可以基于一个或多个随后捕获的图像之间的差异来确定环境条件。例如，一个图像可以捕获会谈桌和椅子(与会议室的环境条件相关联的物体)，并且随后的图像可以不含有那些物体，这指示用户的环境条件是离开会议室。
在步骤3103处，处理器可以确定环境条件是否是对与移动通信设备相关联的动作的触发，该移动通信设备与可穿戴装置无线配对。如先前参考图29所述，触发数据库2904可以储存作为触发的一个或多个环境条件、相关联的动作以及相关联的动作的参数。触发模块2902可以访问触发数据库2904以检索与由图像处理模块2901在步骤3102处识别的环境条件相关联的触发数据。
在步骤3104处，处理器可以使移动通信设备触发该动作经由移动通信设备而发生。如前所述，动作模块2903可以使处理器经由有线或无线连接向与用户相关联的移动通信设备发送指令。指令可以使移动通信设备对其自身执行动作，或者可以使移动通信设备进一步向另一个设备和/或系统发送指令以执行动作。例如，移动通信设备可以储存被配置为控制其它设备和/或系统的一个或多个应用。在另一个示例中，处理器210可以被配置为在无需首先向移动通信设备发送指令的情况下，直接与另一个设备或系统通信。例如，处理器210可以与智能家居系统、安全系统或个人计算设备中的一个或多个无线通信。
图31B是根据公开的实施例的方法3110的流程图，该方法3110用于基于音频数据来识别触发并执行与用户的移动通信设备相关联的动作。方法3110可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法3110可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法3110的步骤可以由可穿戴装置110进行。在其它实施例中，方法3110的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤3111处，处理器可以从可穿戴音频输入设备接收音频数据。
在步骤3112处，处理器可以对该音频数据进行音频处理以识别可穿戴装置的用户的环境条件。例如，如参考图29所述，音频处理模块2905可以从诸如麦克风的音频输入设备接收音频数据，并且识别一个或多个环境条件，诸如另一个人或其它人正在说话、音乐或视听呈现。如前所述，处理器210可以使用音频分类技术来识别在音频数据中存在的一个或多个环境条件。
在步骤3113处，处理器可以确定环境条件是否是对与移动通信设备相关联的动作的触发，该移动通信设备与可穿戴装置无线配对。如先前参考图29所述，触发数据库2904可以储存作为触发的一个或多个环境条件、相关联的动作以及相关联的动作的参数。触发模块2902可以访问触发数据库2904以检索与由音频处理模块2905在步骤3112处识别的环境条件相关联的触发数据。在一些实施例中，触发可以与由图像数据和音频数据两者识别的环境条件相关联。
在步骤3114处，处理器可以使移动通信设备触发该动作经由移动通信设备而发生。如前所述，动作模块2903可以使处理器经由有线或无线连接向与用户相关联的移动通信设备发送指令。指令可以使移动通信设备对其自身执行动作，或者可以使移动通信设备进一步向另一个设备和/或系统发送指令以执行动作。例如，移动通信设备可以储存被配置为控制其它设备和/或系统的一个或多个应用。在另一个示例中，处理器210可以被配置为在无需首先向移动通信设备发送指令的情况下，直接与另一个设备或系统通信。例如，处理器210可以与智能家居系统、安全系统或个人计算设备中的一个或多个无线通信。
图31C是根据公开的实施例的方法3120的流程图，该方法3120用于基于音频数据和图像数据的组合来识别触发并执行与用户的移动通信设备相关联的动作。方法3120可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法3120可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法3120的步骤可以由可穿戴装置110进行。在其它实施例中，方法3120的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤3121a处，处理器可以从可穿戴音频输入设备接收音频数据。在步骤3121b处，处理器可以从可穿戴图像传感器(例如图像传感器220)接收图像数据。步骤3121a和3121b可以同时地或一前一后地发生。
在步骤3122处，处理器可以对音频数据进行音频处理以及对图像数据进行图像处理以识别可穿戴装置的用户的环境条件。例如，如参考图29所述，音频处理模块2905可以从诸如麦克风的音频输入设备接收音频数据，并且识别一个或多个环境条件，诸如另一个人或其它人正在说话、音乐或视听呈现。同时地或一前一后地，图像处理模块2901可以从图像传感器220接收图像数据，并识别用户环境中的一个或多个物体和/或人。如前所述，处理器210可以基于音频数据和图像数据，使用音频和/或图像分类技术来识别在环境中存在的一个或多个环境条件。
在步骤3123处，处理器可以确定环境条件是否是对与移动通信设备相关联的动作的触发，该移动通信设备与可穿戴装置无线配对。如先前参考图29所述，触发数据库2904可以储存作为触发的一个或多个环境条件、相关联的动作以及相关联的动作的参数。触发模块2902可以访问触发数据库2904以检索与由图像处理模块2901和音频处理模块2905在步骤3122处确定的、从图像数据和音频数据识别的环境条件相关联的触发数据。在一些实施例中，触发可以与由音频数据、图像数据或音频数据和图像数据两者的组合识别的环境条件相关联。
在步骤3124处，处理器可以使移动通信设备触发该动作经由移动通信设备而发生。如前所述，动作模块2903可以使处理器经由有线或无线连接向与用户相关联的移动通信设备发送指令。指令可以使移动通信设备对其自身执行动作，或者可以使移动通信设备进一步向另一个设备和/或系统发送指令以执行动作。例如，移动通信设备可以储存被配置为控制其它设备和/或系统的一个或多个应用。在另一个示例中，处理器210可以被配置为在无需首先向移动通信设备发送指令的情况下，直接与另一个设备或系统通信。例如，处理器210可以与智能家居系统、安全系统或个人计算设备中的一个或多个无线通信。
远程地识别可穿戴装置的位置
在一些实施例中，可穿戴装置110可以与相关联于用户的移动通信设备配对。如果用户将可穿戴装置110放错位置，则用户可以在移动通信设备上启动应用以对装置110定位。例如，图像传感器220可以收集与装置110的环境有关的信息，并且可以将图像数据和/或位置数据发送到与可穿戴装置110配对的移动通信设备。可穿戴装置110可以使用其环境的图像数据来经由移动通信设备向用户提供音频和/或语音指引，以帮助用户对装置110定位。例如，如果装置110在一件家具(例如沙发)下面，则装置110可以接收描绘低光环境的图像数据和/或可以捕获具有视场的被遮挡部分的图像，装置110可以处理图像数据以识别其位置，并且可以经由移动通信设备向用户提示音频指令，诸如“设备在沙发下”。在一些实施例中，如果装置110的位置不能从图像数据确定，即图像传感器220处于暗的空间并且不能收集图像数据，则装置110可以向移动通信设备发送指示其位置的GPS坐标。
当设备放错位置时，用户可以经由第二设备使用移动应用来对放错位置的设备定位。例如，用户可以基于GPS坐标或与第二设备的接近度来对放错位置的设备定位。然而，当前设备不能参照其环境中的其它物体来识别它们的确切位置。因为放错位置的设备不知道其环境中的其它物体和/或人，所以设备无法得到足够的信息以便提供精确的指引以使用户能够找到它。
如上所述，在一些实施例中，装置110或计算设备120中的任何一个经由处理器210或540可以处理捕获的图像数据以提供识别其环境中的物体的附加功能。装置110可以经由任何已知的无线标准(例如，WiFi、等)以及近场电容耦合和其它短距离无线技术来与相关联于用户的移动通信设备配对。移动通信设备可以是智能电话、膝上型计算机、平板电脑或能够经由无线网络进行通信的其它设备。装置110可以被配置为例如经由反馈输出单元230使用无线收发器530、音频扬声器、触觉震动模拟器或显示器中的一个或多个来提供输出。
在一些实施例中，装置110可以从与可穿戴装置110无线配对的移动通信设备接收提供可穿戴装置的位置信息的命令。例如，可穿戴装置110的用户可以经由安装在移动通信设备上的移动应用，来执行使装置110发送位置信息的命令。响应于从移动通信设备无线接收的命令，装置110可以处理由图像传感器220收集的图像数据，并且可以确定装置110的位置。
在一些实施例中，装置110可以包含运动传感器，例如加速计或陀螺仪。运动传感器可以收集关于装置的移动的信息。例如，如果装置110在用户的口袋中，则图像传感器220可以不收集任何图像数据。然而，运动传感器可以收集指示人步态模式的数据。在此示例中，可以提示移动通信设备向用户报警：装置110在口袋中或在用户携带的包中。
装置110可以发送从移动通信设备的位置导引到装置110的位置的位置信息和/或指引。在一些实施例中，移动通信设备被配置为基于关于可穿戴装置的位置的信息，来提供可穿戴装置的位置的可听描述。在一些实施例中，可听描述包含指定可穿戴装置的位置的说出的词语。例如，经由扬声器或可视显示器，移动通信设备可以向用户输出用于找到装置110的指令或指引。在一些实施例中，说出的词语包含可穿戴装置位于一件家具下面的说明。例如，移动通信设备可以输出音频：“设备在某些家具下面”或“设备在沙发下面”。在其它实施例中，说出的词语包含可穿戴装置位于包中或容器中的说明。在另一个实施例中，说出的词语可以包含可穿戴装置位于移动通信设备的用户的口袋中的说明。在又一个实施例中，说出的词语可以包含可穿戴装置位于相对于移动通信设备的用户的方向上的说明。
在其它实施例中，移动通信设备被配置为基于关于可穿戴装置的位置的信息，来提供可穿戴装置的位置的文本输出。在一些实施例中，文本可以包含可穿戴装置位于一件家具下面的说明。在其它实施例中，文本可以包含可穿戴装置位于包中或容器中的说明。在另一个实施例中，文本可以包含可穿戴装置位于移动通信设备的用户的口袋中的说明。在又一个实施例中，文本可以说明可穿戴装置位于相对于移动通信设备的用户的方向上。
在另一个实施例中，对装置110定位可以包含在可穿戴装置和移动通信设备之间建立无线配对。移动通信设备可以被配置用于在可穿戴装置放错位置的情况下接收用户输入，该用户输入用于例如经由移动通信设备的应用和/或I/O设备对可穿戴装置进行探测(pinging)。响应于用户输入，对放错位置的装置定位可以包含从移动通信设备无线地向可穿戴装置发送探测命令(ping)。探测命令可以包含用于使可穿戴装置捕获可穿戴装置的周围环境的至少一个图像的指令。装置110可以分析至少一个图像以确定可穿戴装置的位置，并使位置信息被发送到移动通信设备。
在另一个实施例中，装置110可以被配置为除了图像信息之外还使用音频信息。例如，装置110可以经由麦克风检测火车的声音。装置110可以使用该音频信息来代替图像信息，或者除了图像信息之外还使用该音频信息，来向移动通信设备传送指令：装置110可能在火车站。在另一个示例中，装置110可以在包中，这限制了图像传感器220可以捕获的数据。在此示例中，装置110可以使用音频数据来通过使用语音识别来确定例如用户与装置在相同的房间中。
图32图示了与本公开一致的含有软件模块的存储器3200的示例性实施例。在存储器3200中包含图像处理模块3201、音频处理模块3204、装置位置模块3202和指引模块3203。模块3201、3202、3203、3204可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，图像处理模块3201、音频处理模块3204、装置位置模块3202和指引模块3203中的任何一个或多个可以由与可穿戴装置无线配对的移动通信设备执行。图像处理模块3201、音频处理模块3204、装置位置模块3202和指引模块3203可以协作以处理来自图像传感器(例如，图像传感器220)的一个或多个图像以及位置数据(例如，装置110的GPS坐标)，以生成一组指令以帮助用户对装置110定位。存储器3200可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和运动跟踪模块603可以与图32的图像分析模块3201、音频处理模块3204、装置位置模块3202和指引模块3203一前一后地操作或同时地操作。
图像处理模块3201可以被配置为识别从图像传感器220接收的一个或多个图像中的一个或多个物体。在一些实施例中，可以通过应用一种或多种图像分类技术来识别物体或人。例如，可以使用至少一种图像分类技术来对图像的至少一个特征进行分类。在一些实施例中，图像分类技术可以包含图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别一个或多个物体的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别与本公开保持一致的物体的其它方法。在一些示例中，可以使用物体检测算法、使用经训练以检测物体和/或图像中的物体的神经网络、使用机器学习系统、使用模式识别系统等来检测一个或多个物体。
在一些示例中，可以使用面部识别算法、使用经训练以检测面部和/或图像中的人的神经网络等，来在用户的环境中识别至少一个人。在其它的实施例中，可穿戴装置110可以单独地或与可视图像组合地捕获热图像，以用于由热特征算法进行处理。在可穿戴装置110在减少的照明情况下操作的实现方式中，对至少一个人或物体进行热识别是可期望的。
在一些实施例中，音频处理模块3204可以被配置为基于经由装置110的麦克风接收的音频输入来识别位置信息。在一些实施例中，可以通过应用一种或多种音频分类技术来识别位置信息。例如，可以使用至少一种音频分类技术来对不同于穿戴者的人的语音、交通噪声、铁路噪声、人噪声等进行分类。在一些实施例中，音频分类技术可以包含音频增强、自然语言处理、语音识别和数据提取中的一个或多个。用于识别至少一个环境条件的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到与本公开保持一致的用于识别至少一个环境条件的其它方法。音频处理模块3204还可以具有并入的机器分析算法，使得每次可以使用音频处理模块3204时可以更新已知环境条件的库。
例如，音频处理模块3204可以识别数个声音，该声音指示装置在具有多个人的房间中。在此示例中，图像处理模块3201可以识别一个或多个椅子和/或会谈桌，其指示该装置在会谈室中。装置110可以使用来自音频数据和图像数据的信息，来使移动通信设备经由音频或文本向用户报警：装置110在会谈室中。
装置位置模块3202可以被配置为接收由图像处理模块3201和音频处理模块3204确定的图像数据和/或音频数据。在一些实施例中，装置位置模块3202可以从一个或多个装置部件(例如，GPS单元)或从与装置110的用户相关联的移动通信设备接收位置数据。装置位置模块3202可以基于由图像处理模块3201和/或音频处理模块3204收集的图像信息，来确定指示装置110的位置的位置信息。例如，在装置110的环境中检测到的物体可以指示其位置。装置110可以使用上述机器学习或其它处理来将一个或多个物体的集合识别为与特定房间相关联。在一些实施例中，装置位置模块3202还可以从装置110的运动传感器接收运动数据，并基于运动数据、图像数据和/或音频数据的组合来确定装置位置的位置。
例如，在从用户接收到对装置110定位的命令时，移动通信设备可以与装置110通信或向装置110发送“探测命令(ping)”。装置位置模块3202可以与移动通信设备连接，并且可以发送其位置数据(例如GPS坐标或与移动通信设备的接近度)。位置数据可以包括例如GPS坐标、距移动通信设备的估计距离、和/或距参考点(诸如地板)的高度。在一些实施例中，装置位置模块3202可以通过与移动通信设备的GPS坐标相比较地而分析装置110的GPS坐标，来确定从装置110到移动通信设备的距离。
在其它实施例中，如果装置110未紧邻用户(例如，该装置不在相同建筑物内)，则装置位置模块3202可以访问服务器上的地图并提供从移动通信设备的GPS位置到装置110的GPS位置的指引。在此示例中，移动通信设备可以提供逐向的(turn-by-turn)音频指引，显示指示路线的地图，或者可以将指引和路线图发送到GPS单元、包含GPS单元的智能车辆和/或由用户指定的另一个设备中的一个或多个。
指引模块3203可以从图像处理模块3201、音频处理模块3205和装置位置模块3202接收数据，确定将用户指引到装置110的指令的集合，并输出这些指引。该集合可以是或可以不是指引的最佳集合。取决于装置110距用户的距离，移动通信设备要么可以提供到位置的指引，要么可以显示和/或提供指示装置110的位置的音频。例如，如果装置110距离移动通信设备超过500英尺远，则指引模块3203可以输出到装置110位置的逐向指引的列表。在另一个示例中，如果装置110距离移动通信设备几英尺(例如一英尺或两英尺)远，则装置110可以向移动通信设备发送指令以输出指示装置110的位置的音频。
在一个示例中，如果图像传感器220在桌子上，则它可以捕获桌面和诸如沙发和扶手椅的其它家具。在此示例中，装置位置模块3202可以确定装置110的位置，例如，装置110在起居室的桌子上，并且指引模块3203可以生成并发送指令以用于使移动通信设备提供音频输出“设备在起居室的桌子上”。在其它的实施例中，指引模块3203可以生成指示装置110的位置的图像和/或图标。在另一个实施例中，在用户靠近放错位置的装置110时，指引模块3203可以向用户的移动通信设备发送指令以向用户报警。
在一些实施例中，由指引模块3203确定的位置信息可以被配置为使移动通信设备提供表示可穿戴装置的位置的图像。在一些实施例中，移动通信设备的用户被描绘在至少一个图像中，并且该信息包含用户相对于可穿戴装置的位置。移动通信设备可以被配置为基于关于可穿戴装置的位置的信息，来可听地输出用户相对于可穿戴装置的位置。
在一些实施例中，图像传感器220的壳体可以被设计成使得图像传感器220不面朝下，使得它总是可以收集其环境的图像。例如，图像传感器220可以具有弯曲的壳体，使得如果传感器面朝下落在桌子上，它仍然可以收集一些图像信息。在另一个示例中，如果图像处理模块3201不能从图像的初始集合提取足够的数据来对装置110定位，则装置110可以被配置为改变图像传感器220的捕获角度或另一参数(例如，缩放或亮度)以捕获更多图像。在一些实施例中，装置110可以使用来自一个或多个图像处理算法的反馈，来确定要捕获的视场的区域，或确定参数(例如捕获角度)要更改的量。
模块3201-3204可以以软件、硬件、固件、任何这些的混合等来实现。例如，如果模块以软件实现，则它们可以储存在例如存储器550中。然而，在一些实施例中，模块3201-3204中的任何一个或多个可以例如储存在处理器540中和/或位于服务器250上，服务器250可以包含一个或多个处理设备。服务器250的处理设备可以被配置为执行模块3201-3204的指令。在一些实施例中，模块3201-3204的方面可以包含可由一个或多个处理器单独地或与彼此各种组合地执行的软件、硬件或固件指令(或其组合)。例如，模块3201-3204可以被配置为与彼此交互和/或与服务器250的其它模块交互和/或与可穿戴相机系统交互和/或与移动通信设备交互，以进行与所公开的实施例一致的功能。在一些实施例中，任何所公开的模块可以各自包含专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备，以进行与各自模块相关联的功能。
图33A是用户3301正试图对已落在沙发3302下方的装置110定位示例性场景。为了启动装置定位，用户3301可以在移动通信设备(未示出)上打开移动应用并输入指示他不能对装置110定位的信息。在从移动通信设备接收到通信或“探测命令”之后，装置110可以执行使图像传感器220收集装置的环境的一个或多个图像的指令。图像处理模块3201可以处理图像数据以识别所收集的一个或多个图像中的一个或多个物体。物体可以包含沙发3302的边缘、地板、用户3301的脚等。指引模块3203可以分析这些图像以确定装置110在地板上、在一件家具下面并且在用户3301的右边。在另一个示例中，由音频处理模块3205分析的音频数据可以指示用户的脚步声和/或声音。这样的音频数据可以使处理器210能够确定用户3301在装置110附近并且可以使处理器210能够确定用户3301距装置110的方向和距离。
指引模块3203可以向移动通信设备发送指令和/或位置信息。例如，指引模块3203可以无线发送由图像传感器220收集的一个或多个图像以及使移动通信设备显示一个或多个图像的指令，使得用户还可以基于在图像中看到的物体尝试并找到设备。另外，指引模块3203可以发送指令以用于使移动通信设备输出说出的音频，例如“设备在你右边的家具下面”。
图33B是用户3301正试图对在桌子3304上的公文包3303内的装置110定位的示例性场景。为了启动装置定位，用户3301可以在移动通信设备(未示出)上打开移动应用并输入指示他不能对装置110定位的信息。在从移动通信设备接收到通信或“探测命令”之后，装置110可以执行使图像传感器220收集装置的环境的一个或多个图像的指令。图像处理模块3201可以处理图像数据以识别所收集的一个或多个图像中的一个或多个物体。物体可以包含公文包3303的边缘、桌椅3305的一部分和用户3301的一部分。音频信息可以包含用户的声音。例如，音频处理模块3204可以基于用户声音的音量来确定用户3301与装置110有多接近。指引模块3203可以分析这些图像以确定装置110在桌子上在容器(例如，公文包3303)内并且在升高的表面上。指引模块3203可以基于检测到的物体来确定装置110在表面上。例如，如果图像传感器220收集椅子的顶部和用户的中间部分的图像，则指引模块3203可以确定装置110在桌子上或其它升高的表面上。
指引模块3203可以向移动通信设备发送指令和/或位置信息。例如，指引模块3203可以无线发送由图像传感器220收集的一个或多个图像以及使移动通信设备显示一个或多个图像的指令。另外，指引模块3203可以发送指令以用于使移动通信设备输出说出的音频，例如“设备在你左边的桌子上的容器中”。在一些实施例中，移动通信设备可以显示指示装置110和用户3301的相对位置和接近度的图标。
图33C是用户3301正试图对在用户的口袋3306内的装置110定位的示例性场景。为了启动装置定位，用户3301可以在移动通信设备(未示出)上打开移动应用并输入指示他不能对装置110定位的信息。在从移动通信设备接收到通信或“探测命令”之后，装置110可以执行使图像传感器220收集装置的环境的一个或多个图像的指令。然而，在用户的口袋3306中，图像传感器220可能无法收集图像，因为图像传感器220可能被织物阻挡。图像处理模块3201可以与指引模块3203通信，以指示装置110在容器(例如口袋)内并且不能提供图像数据。在此示例中，指引模块3203可以从装置位置模块3202接收位置信息，诸如与移动通信设备的接近度。如果装置110的位置靠近移动通信设备的位置(例如到移动通信设备的位置为一英寸)，则指引模块3203可以指示移动通信设备显示或输出音频，该音频向用户指示装置110在口袋中。在另一个实施例中，指引模块3203可以执行使装置110发出声音以便可听地将用户导引到装置的指令。
在一些实施例中，装置110可以包含运动传感器。例如，如果用户3301正在步行并且不能定位位于其口袋3306中的装置110，则运动传感器可以收集指示步态模式的运动数据。装置位置模块3202可以将运动数据与图像数据和/或音频数据组合地使用，以确定装置110在用户的口袋3306中。在一些实施例中，装置110可以是步态识别算法，以确定由运动传感器检测到的步态模式是否与用户的步态模式匹配。
图34是用于对装置定位并在移动通信设备上显示位置信息的方法3400的流程图。方法3400可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法3400可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法3400的步骤可以由可穿戴装置110进行。在其它实施例中，方法3400的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤3401处，处理器可以从与可穿戴装置无线配对的移动通信设备接收提供可穿戴装置的位置信息的命令。在一些实施例中，处理器可以在可穿戴装置和移动通信设备之间建立无线配对。如果装置放错位置，则处理器可以接收用户输入以用于探测该可穿戴装置。响应于用户输入，处理器可以从移动通信设备无线地向可穿戴装置发送探测命令，该探测命令包含用于使可穿戴装置捕获可穿戴装置的周围环境的至少一个图像的指令。
在步骤3402处，处理器可以响应于该命令，分析描绘可穿戴装置的环境的至少一个图像，以确定可穿戴装置的位置。例如，指引模块3203可以从图像处理模块3201接收图像信息，并基于图像信息来识别装置110的位置。在其它实施例中，指引模块3203可以附加地从装置位置模块3202接收位置数据，并且可以将位置数据与图像信息协同地使用以确定装置的位置。
在步骤3402处，在一些实施例中，处理器还可以将音频信息与图像信息组合地分析以确定可穿戴装置的位置。例如，指引模块3203可以从图像处理模块3201接收图像信息并从音频处理模块3204接收音频信息，并且基于图像和音频信息的组合来识别装置110的位置。在其它实施例中，指引模块3203可以附加地从装置位置模块3202接收位置数据，并且可以将位置数据与图像信息和/或音频信息协同地使用以确定装置的位置。普通技术人员将认识到，在一些实施例中，处理器可以分析图像数据和/或音频数据的任何组合以确定可穿戴装置的位置。
在步骤3403，处理器可以使关于可穿戴装置的位置的信息被发送到移动通信设备。如前所述，关于装置110的位置的信息可以包含GPS坐标、由图像传感器220收集的图像、和/或指引、装置110相对于用户的位置。处理器可以附加地发送可执行指令，以使移动通信设备显示和/或可听地输出关于装置110的位置的信息。
提供反馈以调节视场的可穿戴装置
在一些实施例中，可穿戴装置110可以收集与可穿戴装置110的用户的环境有关的信息。此外，在一些情况下，装置110的图像传感器220可以以其被遮挡而不能捕获完整的视场的这种方式被安置(position)。在其它实例中，图像传感器220可以以其不能捕获完整的视场和/或不能捕获含有关于用户的环境的信息的视场部分的这种方式被定向(orient)。在一些实施例中，装置110可以被配置为检测图像传感器220的遮挡或不良定向，并将通知或校正信息传送给用户。例如，装置110可以建议用户重新安置或重新定向图像传感器220。
目前，可穿戴设备或装置可以包含图像感测部件。然而，可能需要用户确保图像感测部件没有遮挡和/或能够检测所需的视场。在一些情况下，图像感测部件可能在用户不知情的情况下被遮挡，从而使得图像感测部件不能捕获可用于提供有意义反馈的图像。
如上所述，在一些实施例中，装置110或计算设备120中的任何一个经由处理器210或540可以进一步处理捕获的图像数据并确定图像传感器220的全部或部分视场被遮挡。在一些实施例中，装置110可以分析由可穿戴图像传感器捕获的至少一个图像，以确定与可穿戴图像传感器220有关的安置问题。响应于安置问题的确定，装置110可以确定用于解决安置问题的校正信息并且使校正信息被提供给装置110的用户。
当图像传感器220被完全或部分阻挡并因此不能收集图像数据时，可能出现安置问题。在一些实施例中，安置问题可以包含对可穿戴图像传感器220的遮挡和/或对高质图像捕获的阻碍。在其它实施例中，安置问题可以包含装置110的用户对可穿戴图像传感器220的遮挡。例如，装置110可以由用户以这样的方式穿戴，即图像传感器220被用户或一件用户的衣服阻挡。在另一个示例中，图像传感器220可以安置在薄纱或半透明的一件衣服(例如亚麻围巾)的后面。安置问题可能是由围巾引起的对图像质量的阻碍。在其它实施例中，安置问题可以包含可穿戴图像传感器220的定向。例如，如果图像传感器220安装在眼镜(例如眼镜130)上，则用户可以移除眼镜并将它们放置在他的头顶上，使得图像传感器220朝天空或天花板定向。在此示例中，图像传感器220可能无法捕获与用户相关的图像信息，即关于用户环境的信息。
响应于检测到图像传感器220的安置问题，装置110可以向用户提供校正信息。在一些实施例中，校正信息可以包含移动该可穿戴装置的推荐。例如，如果图像传感器220被用户的围巾阻挡，则校正信息可以是将装置110穿戴在用户身体上的不同位置。在一些实施例中，校正信息可以包含移除或重新安置该遮挡的推荐。在以上示例中，校正信息可以包含使用户移除和/或重新安置围巾的推荐。在安置问题与图像传感器220的定向有关的实施例中，校正信息可以包含改变可穿戴图像传感器220的定向的推荐。
在一些实施例中，将校正信息提供给与可穿戴装置无线配对的移动通信设备。在一些实施例中，校正信息作为文本输出提供。例如，校正信息可以被配置为使移动通信设备将校正信息输出为文本。例如，校正信息可以经由移动应用而显示在移动通信设备的屏幕上。在另一个实施例中，校正信息被配置为使移动通信设备经由移动通信设备的扬声器可听地输出校正信息。
在一些实施例中，校正信息可以包含调节可穿戴装置的通用推荐。例如，校正信息可以使用户的移动通信设备经由文本和/或音频消息向用户报警：图像传感器不能收集足够的图像数据。示例性消息可以是例如“图像传感器被阻挡了。请调节设备。”
在另一个实施例中，校正信息可以包含可执行指令，该可执行指令被配置为使至少一个处理器自动解决安置问题。例如，安置问题可以是图像传感器220的定向。校正信息可以包含指令，使得处理器调节该装置内的图像传感器的定向和/或角度，使得传感器可以捕获视场的更大部分。
图35图示了与本公开一致的含有软件模块的存储器3500的示例性实施例。在存储器550中包含图像处理模块3501、安置模块3502和校正模块3503。模块3501、3502、3503可以含有用于由包含在可穿戴装置中的至少一个处理设备(例如处理器210)执行的软件指令。图像处理模块3501、安置模块3502和校正模块3503可以协作以处理来自图像传感器(例如，图像传感器220)的图像，识别安置问题，基于安置问题来确定校正信息，并向用户输出校正信息。存储器3500可以与图6的存储器550分开和/或集成，如上所述。类似地，图6的定向识别模块601、定向调节模块602和运动跟踪模块603可以与图35的图像处理模块3501、安置模块3502和校正模块3503一前一后地操作或同时地操作。
图像处理模块3501可以被配置为从一个或多个图像识别一个或多个物体和/或照明级别。在一些实施例中，可以通过应用一种或多种图像分类技术来识别一个或多个图像中的物体。例如，可以使用至少一种图像分类技术来对图像的至少一个特征进行分类。在一些实施例中，图像分类技术可以包含图像增强、边缘检测、图像分析和数据提取中的一个或多个。用于识别图像中的至少一个物体的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别与本公开保持一致的至少一个安置问题的其它方法。在一些示例中，可以使用物体检测算法、使用经训练以检测物体和/或图像中的物体的神经网络、使用机器学习系统、使用模式识别系统等来检测至少一个物体。在一些实施例中，图像处理模块3501可以识别用户的环境的照明级别。
安置模块3502可以被配置为从图像处理模块3501接收图像数据并识别安置问题。安置问题可以是图像传感器220的阻挡或图像传感器220的定向，使得图像传感器220不能捕获用户的环境的相关图像信息。例如，图像处理模块3501可以分析一个或多个捕获的图像以确定图像传感器220未从视场的一部分收集图像数据，并且安置模块3502可以将数据的缺少与图像传感器220的部分阻挡相关联。在此示例中，安置模块3502可以确定图像传感器220的哪一侧被阻挡，例如，相对于用户，物体正阻挡传感器的左侧部分。在另一个示例中，图像处理模块3501可以未接收任何图像数据，这指示图像传感器220被完全阻挡。在另一个实施例中，如果安置问题是图像传感器220的定向，则图像处理模块3501可以识别平坦表面，例如，用户所在房间的天花板或天空。在此示例中，安置模块3502可以基于来自图像处理模块3501的信息来确定：安置问题是图像传感器被朝上定向。安置模块3502还可以具有并入的机器分析算法，使得每次可以使用图像处理模块3501和安置模块3502时可以更新已知阻挡和/或定向的库。
校正模块3503可以从安置模块3502接收安置问题信息并且确定校正信息，该校正信息包含使用户解决安置问题的推荐。推荐可以包含移动、重新安置和/或重新定向图像传感器220的指令。在其它实施例中，推荐可以是用户重新安置他自己和/或一件衣服。校正模块3503可以被配置为将校正信息作为文本和/或音频指令发送到与装置110无线配对的移动通信设备。装置110可以通过经由任何已知的无线标准(例如，wifi、等)以及近场电容耦合和其它短距离无线技术或者经由有线连接来与设备通信，来发送校正信息。
在一些实施例中，校正模块3503可以接收指示由图像传感器220的定向引起的安置问题的数据。校正模块3503可以与一个或多个定向模块通信以自动修改图像传感器的定向以校正由安置模块3502识别的安置问题。
模块3501-3503可以以软件、硬件、固件、任何这些的混合等来实现。例如，如果模块以软件实现，则它们可以储存在例如存储器550中。然而，在一些实施例中，模块3501-3503中的任何一个或多个可以例如储存在处理器540中和/或位于服务器250上，服务器250可以包含一个或多个处理设备。服务器250的处理设备可以被配置为执行模块3501-3503的指令。在一些实施例中，模块3501-3503的方面可以包含可由一个或多个处理器单独地或与彼此各种组合地执行的软件、硬件或固件指令(或其组合)。例如，模块3501-3503可以被配置为与彼此交互和/或与服务器250的其它模块交互和/或与可穿戴相机系统交互，以进行与所公开的实施例一致的功能。在一些实施例中，任何所公开的模块可以各自包含专用传感器(例如，IR、图像传感器等)和/或专用应用处理设备，以进行与各自模块相关联的功能。
图36A是示例性场景，其中系统可以识别装置110的图像传感器被用户3602的夹克3601部分地阻挡的安置问题。装置110可以由用户3602穿戴在腰带3603上。腰带3603可以与腰带150相同或相似。如果用户3602正穿着夹克3601，则装置110可能被部分地遮挡。由图像传感器220捕获的图像可能缺少对应于视场被遮挡部分的数据。安置模块3502可以从图像处理模块3501接收该图像信息，并且确定安置问题是图像传感器的左侧(对应于用户的左侧)被遮挡。校正模块3503可以确定指令，诸如例如“衣服正阻挡着设备。请重新安置设备或衣服。”。“这些指令可以无线地发送到用户的移动通信设备，并显示在移动通信设备的屏幕上和/或从用户的移动通信设备的扬声器可听地输出。
图36B是示例性场景，其中系统可以识别装置110的图像传感器被用户3604部分地阻挡的安置问题。装置110可以由用户3604穿戴在项链3605上。项链3605可以与项链140相同或相似。在穿戴该设备时，用户3604可以例如通过交叉她的手臂来阻挡装置110。图像处理模块3501可以分析由图像传感器220捕获的一个或多个图像，以确定视场的下部被阻挡。图像处理模块3501可以使用如前所述的一种或多种技术来表征用户环境中的物体，包含引起该遮挡的物体。图像处理模块3501可以分析阻挡的几何形状和/或曲率，以确定阻挡是由人体部位(例如，手臂)引起的。安置模块3502可以接收此信息并确定视场的下部被用户的手臂阻挡。
在此示例中，由校正模块3503确定的校正信息可以是推荐用户3604移动她的手臂。在一些实施例中，例如，如果校正信息被输出到移动她的手臂的用户3604，并且然后用户3604假定在稍后的时间在使得她的手臂再次阻挡传感器的位置，则校正模块3503可以分析该序列的阻挡并建议用户3604移动装置110以避免随后的遮挡。如前所述，校正模块3503可以将校正指令发送到用户的移动通信设备，并在移动通信设备的屏幕上显示指令。
图36C是示例性场景，其中系统可以识别装置110的图像传感器被定向使得图像传感器220不能收集相关图像信息的安置问题。装置110可以由用户3606穿戴在手表3607上。在穿戴手表时，用户3606可以进行诸如在键盘上打字或书写的活动，这使得装置110向上定向。图像处理模块3501可以分析由图像传感器220捕获的一个或多个图像，并识别例如用户3606的下巴和/或用户3606所处的房间的天花板。图像处理模块3501可以使用一个或多个如前所述的技术，以表征用户3606的环境中的物体。安置模块3502可以接收此信息(例如，用户3606的下巴的标识)，并确定装置110朝上定向。
在此示例中，由校正模块3503确定的校正信息可以是推荐用户3606移动他的手臂或移动装置110，使得由图像传感器220捕获的视场与用户3606看到的视场一致。在一些示例中，这样的校正信息可以建议：用户移除该装置(即，不再将其作为手表穿戴)，并且安置该装置使得在图像传感器220的视场可以监视特定区域(例如，显示器)的同时，用户可以继续活动(例如，打字)。如前所述，校正模块3503可以将校正指令发送到用户的移动通信设备，并在移动通信设备的屏幕上显示指令。
图37是根据公开的实施例的用于确定与可穿戴图像传感器有关的安置问题并基于安置问题来向用户提供校正信息的方法3700的流程图。方法3700可以由通用计算机或根据本公开的实施例构建的专用计算机实现。例如，方法3700可以由处理器210、210a、210b和540中的至少一个执行。在一些实施例中，方法3700的步骤可以由可穿戴装置110进行。在其它实施例中，方法3700的步骤可以由可穿戴装置110和一个或多个外部设备(例如，包含在外部服务器中的处理器，该外部服务器通过网络从可穿戴装置110接收数据；和/或包含在外部设备中的处理器，该外部设备诸如膝上型计算机、智能手表、智能手机、平板电脑或耳机等)进行。
在步骤3701处，处理器可以分析来自可穿戴图像传感器(例如传感器220)的至少一个图像。例如，图像传感器220可以捕获用户的环境的一个或多个图像。图像处理模块3501可以分析一个或多个图像以识别一个或多个物体、照明级别和/或捕获的视场。在一些实施例中，处理器210可从可穿戴图像传感器接收多个图像，并对图像中的至少一些进行图像处理。
在步骤3702处，处理器可以基于对至少一个图像的分析来确定安置问题。在一些实施例中，处理器210可以基于图像处理，来确定对高质图像捕获的阻碍。如前所述，安置模块3502可以从图像处理模块3501接收图像信息，并将图像信息与安置问题相关联，该安置问题诸如图像传感器220的阻挡、阻碍或低效定向。
在步骤3703处，处理器可以确定用于解决安置问题的校正信息。在一些实施例中，处理器可以响应于所确定的阻碍而确定用于解决安置问题的校正信息。例如，校正模块3503可以从安置模块3502接收指示安置问题的信息，并确定校正信息以解决安置问题。如前所述，校正信息可以包含移动或重新安置装置110以解决安置问题的推荐。
在一些实施例中，校正模块3503可以从定位模块3202接收指示安置问题的信息，但是安置信息可以不指示安置问题的原因。如果安置模块3502未确定具体原因，则校正模块3503可提供一般消息。例如，如果图像传感器未收集包含可提取数据的任何图像，例如，如果传感器被完全阻挡，则安置模块3502可能无法确定阻挡的原因。在此示例中，校正模块3503可以使移动通信设备输出通用消息，诸如“图像传感器被阻挡”。
在步骤3704处，处理器可以使校正信息被提供给可穿戴装置的用户。提供校正信息可以包含将校正信息发送到与装置110无线配对的移动通信设备。校正信息可以包含用于使用户解决安置问题的文本的、可视的和/或音频指令。处理器可以进一步使指令被发送到移动通信设备，以显示文本指令或使用文本到语音软件来输出音频指令。在一些实施例中，处理器可以在可配对移动通信设备的显示器上呈现校正信息。
在一些实施例中，方法3700可以包含可选的步骤3705。由安置模块3502识别的安置问题可能不需要用户重新安置或重新定向图像传感器220。如果安置问题可以由装置110本身解决，则在步骤3705处，处理器可以使装置110和/或图像传感器220自动校正安置问题。例如，自动校正安置问题可以包含修改传感器的角度、传感器的灵敏度或捕获的图像的分辨率中的一个或多个。
在一个示例中，用户可以将装置穿戴在一件衣服上，该件衣服相对于用户的身体以微小角度定向。安置模块3502可以基于图像数据来确定图像传感器220未从与用户相同的角度捕获完整视场。在此示例中，处理器可以通过自动旋转图像传感器220，使得传感器与用户的视线平行地背对着用户，来解决安置问题。
用于名字标记(tagging)的可穿戴装置
在一些实施例中，所公开的装置和方法可以通过采用自然语言处理从会话中提取可以与面部图像相关联的名字，来便于捕获的面部图像与名字的关联。为了确保准确性，可以在储存名字之前查询用户以用于确认。所公开的装置和方法还可以在随后的相遇后，基于随后的面部图像来查找身份。
如图38所示，结合上面讨论的其它模块，可以将面部图像与名字的关联划分为例如四个模块，包含面部图像关联模块3802、身份查找模块3804、声音处理模块3806以及显示模块3808。在一些实施例中，模块3802、3804、3806和3808可以储存在装置110和/或120的存储器单元550中，或者模块3802、3804、3806和3808(或其中的部分)可以远离装置110储存(例如，经由例如无线收发器530储存在装置110可访问的服务器中)。
面部图像关联模块3802可以储存可由处理器210执行的指令，可以处理与将基于说出的名字而生成的文本与面部图像相关联有关的各种任务。这样的任务可能依赖于来自与装置110相关联的各种传感器和感测系统的输入，如上所述。
面部图像关联模块3802可以从可穿戴图像传感器(诸如图像传感器220)接收可穿戴装置的用户正在与之交互的个体的面部图像。面部图像可以是任何合适的静止或运动成像格式，并且面部图像中描绘的个体可以包括人。在实施例中，图像中描绘的个体可以包括人的表示，人的渲染的、动画化的或图示的描绘，或者可以出现在可穿戴图像传感器的输出中的任何其它可视主题。
面部图像关联模块3802可以以将与个体相关联的文本与面部图像相关联的方式，将与个体相关联的文本存储在存储器(例如，存储器单元550)中。可以采用用于将文本与面部图像相关联的任何形式的数据结构、文件系统或算法。该文本可以包括在与该个体交互期间捕获的音频。例如，文本可以包括在与该个体的会话中和/或与该个体有关的会话中捕获到的、该个体的说出的名字。在一些实施例中，面部图像关联模块3802可以从声音处理模块3806接收文本(下面进一步讨论)。虽然下面的描述集中于与个体名字有关的文本，但是文本可以包括与个体相关联的任何条信息，例如，标题、共同兴趣、与一个或多个其它个体的关系等。
在一些实施例中，在储存与该个体相关联的文本之前，面部图像关联模块3802可以提示用户确认该个体的推定名字。例如，面部图像关联模块3802可以引起向用户显示该个体的推定名字。该显示可以至少部分地由显示模块3808(下面进一步详细描述)实施。在一些实施例中，在储存与该个体相关联的文本之前，面部图像关联模块3802可以使用户能够更改文本。可以采用任何已知的更改文本的方法。例如，图像关联模块3802可以提示显示模块3808显示光标以使得能够编辑该文本的字符。附加地或可替代地，图像关联模块3802可以提示显示模块3808显示对该文本的建议的替换候选。
在一些实施例中，面部关联模块3802可以将与个体相关联的文本与一图像相关联地储存，该图像不同于在与该个体交互期间音频被捕获之时或在音频被捕获之时的附近由可穿戴图像传感器接收的图像。也就是说，面部关联模块3802可以通过将文本与先前捕获的面部图像相关联地储存，以将文本与面部图像相关联的方式储存与说出的名字相关联的文本。
在一些实施例中，面部关联模块3802可以从不同于捕获的音频的源接收文本，并将文本与个体的面部图像相关联。例如，面部关联模块3802可以被编程为基于对图像中的文本的分析来确定名字。面部关联模块3802可以基于出现在图像中的名字标签、身份证等来确定名字。用于分析文本的任何合适的处理可以用于这样的分析，诸如已知的光学字符识别(OCR)技术。
身份查找模块3804可以储存可由处理器210执行的指令，并且可以处理与查找个体的身份有关的各种任务。例如，身份查找模块3804可以从可穿戴图像传感器接收个体的面部图像。接收的面部图像可以是随后的面部图像。也就是说，可以基于与该个体在图像关联模块3802对其已以将文本与面部图像相关联的方式储存了与个体相关联的文本的相遇之后的相遇，来接收面部图像。
身份查找模块3804可以基于面部图像(诸如随后的面部图像)来进行个体身份的查找。可以基于任何已知的图像匹配或面部识别处理或合适技术的任何组合来进行查找。响应于进行查找，身份查找模块3804可以从存储器(例如，装置110和/或120的存储器单元550)接收该个体的说出的名字的文本。
声音处理模块3806可以储存可由处理器210执行的指令，并且可以处理与音频信息的接收和管理有关的各种任务。声音处理模块3806可以接收在与个体交互期间捕获的声音数据。声音处理模块3806可以从包含可穿戴图像传感器的壳体中的声音传感器(诸如装置120的声音传感器)获得声音数据。附加地或可替代地，在一些实施例中，可以从包含在与装置110通信的计算设备120内的声音传感器获得声音数据，如上所述。在这样的实施例中，可以从移动通信设备(诸如智能手机或平板电脑)获得声音数据。
声音处理模块3806可以处理所接收的声音数据的至少一部分以确定该个体的说出的名字。处理可以包含将捕获的声音数据转换为适当的格式以用于储存或进一步处理。在一些实施例中，声音处理模块3806可以使用任何已知的语音到文本处理或技术，来将说出的名字转换为文本。声音处理模块3806还可以访问名字数据库并将名字与接收到的声音数据的至少一部分进行比较。更具体地，可以将从声音数据解析的词语与数据库中的名字进行比较。名字数据库可以储存在装置110和/或120的存储器单元550中，并且附加地或可替代地可以包含在可通过一个或多个网络访问的远程服务器中。声音处理模块3806可以处理声音数据的一部分，以至少部分地通过访问远程服务器来确定该个体的说出的名字。
显示模块3808可以储存可由处理器210执行的指令，并且可以处理与显示与个体有关的身份信息有关的各种任务。例如，显示模块3808可以使得在与装置110相关联的显示器上以文本显示该个体的名字。在一些实施例中，显示模块3808可以使得在集成到装置110中的显示器上显示文本。可以使用本领域中已知的并且适合纳入到装置110中的任何显示技术。在一些实施例中，显示模块3808可以使得在液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器等中的一个或多个上显示文本。附加地或可替代地，显示模块3808可以使得在与可穿戴装置配对、联网或以其它方式通信的设备(例如，计算设备120)上显示该个体的名字，该设备诸如移动通信设备。
图39A是流程图3900的示例，流程图3900表示通过采用自然语言处理以从会话中提取名字，来将捕获的面部图像与名字相关联的示例处理。在步骤3902处，可穿戴装置的至少一个处理设备(例如，处理器210)可以从可穿戴图像传感器接收可穿戴装置的用户正在与之交互的个体的面部图像。在一些实施例中，可以由面部图像关联模块3802接收面部图像，如上所述。
在步骤3904处，至少一个处理设备可以接收在交互期间捕获的声音数据。可以从包含可穿戴图像传感器的壳体中的声音传感器获得声音数据。例如，如上所述，可以由声音处理模块3806接收声音数据。如上面进一步描述的，可以从包含在移动通信设备内的声音传感器获得声音数据。
在步骤3906处，至少一个处理设备可以处理声音数据的至少一部分，以确定该个体的说出的名字。如上所述，该处理可以由声音处理模块3806进行。如上面进一步描述的，在步骤3906处理声音数据的至少一部分可以包含访问名字数据库并将从声音数据解析的词语与数据库中的名字进行比较，其中该数据库可以包含在远程服务器中。
在步骤3908处，至少一个处理设备可以将说出的名字转换为文本。可以由声音处理模块3806进行该转换，如上所述。
在步骤3910处，至少一个处理设备可以以将与说出的名字相关联的文本与面部图像相关联的方式，将与说出的名字相关联的文本储存在存储器中。可以由面部图像关联模块3802进行该储存，如上所述。在一些实施例中，在步骤3910处的储存可以包含将文本与先前捕获的面部图像相关联地储存。
在步骤3912处，至少一个处理设备可以从可穿戴图像传感器接收该个体的随后的面部图像。可以由身份查找模块3804进行接收随后的面部图像，如上所述。例如，可以在与该个体的随后的相遇之后，在步骤3912处接收随后的面部图像。
在步骤3914处，至少一个处理设备可以基于随后的面部图像来进行个体身份的查找。可以通过识别查找模块3804来进行该查找，如上所述。
在步骤3916处，至少一个处理设备可以从存储器接收该个体的说出的名字的文本。可以由身份查找模块3804接收说出的名字的文本，如上所述。
在步骤3918处，至少一个处理设备可以使得在与可穿戴装置配对的移动通信设备上以文本显示该个体的名字。可以由显示模块3808进行个体的名字的显示，如上所述。
在一些实施例中，至少一个处理设备可能在将捕获的面部图像与名字相关联时遇到模糊性或不确定性。例如，环境噪声可能导致偶然的语音到文本不准确，或者说出的名字可能受到多于一种拼写的影响。为了解决这样的问题，图39B是流程图3900的附加步骤的示例，该示例表示用于在将名字与面部图像相关联地储存之前和/或作为将名字与面部图像相关联地储存的一部分，来确认名字的文本的准确性的示例处理。
在步骤3909a处，至少一个处理设备可以使得向用户显示该个体的推定名字。可以由面部图像关联模块3802进行步骤3909a，如上所述。步骤3909a可以在步骤3908将说出的名字转换为文本之后开始，但是可以在步骤3910将文本与面部图像相关联地储存之前发生。在步骤3909a处，至少一个处理设备可以提示用户确认所显示的该个体的推定名字。
图40描绘了在设备4006上显示的界面4002的示例，可以与步骤3909a一致地配置该界面4002。该界面可以显示在诸如装置110或计算设备120的设备上，如上面关于显示模块3808所描述的。如图40所示，界面4002可以包含推定名字4008“John Smith”。界面4002还可以包含消息4010，其提示用户确认推定名字4008。
返回图39B，在步骤3909b处，至少一个处理设备可以接收与推定名字的准确性有关的用户输入。可以由面部图像关联模块3802进行步骤3909a，如上所述。可以使用任何确认手段，诸如触摸屏输入、物理按钮、由图像传感器或加速度计接收的手势等。在图40的示例中，界面4002描绘了界面元素4012和4014，其分别表示确认和拒绝推定名字4008。确认或拒绝推定名字的其它配置对于本领域技术人员来说是显而易见的。例如，在一些实施例中，可以省略界面元素4014，并且可以使用户能够通过选择推定名字4008本身来编辑推定名字4008。如果在步骤3909b处接收的输入指示推定名字是准确的(步骤3909c；是)，则流程图3900可以继续进行到3910，如上所述。然而，如果在步骤3909b处接收的输入指示推定名字是不准确的(步骤3909c；否)，则流程图3900可以继续进行到步骤3909d。
在步骤3909d处，至少一个处理设备可以接收更改说出的名字的文本的用户输入，从而使用户能够在步骤3910处储存之前更改文本。可以由面部图像关联模块3802进行步骤3909a，如上所述。返回图40的示例，可以与步骤3909d一致地配置界面4004。界面4004可以被配置为提供允许用户修改说出的名字的文本的功能。例如，由于名字“John”和“Jon”可以发音相同，用户可能希望校正拼写以准确地反映个体的名字。界面4006可以包含文本框4018和光标4020，以便于这样的修正。界面4006还可以包含消息4016，该消息4016提示用户修正在文本框4018中示出的名字。在修正名字之后，用户可以选择界面4022进行确认，并且流程图3900可以继续进行到步骤3910，如上所述。
在一些实施例中，由于先前可能不知道用户是第一次遇见个体、还是已经储存了该个体的名字，所以在步骤3902处接收到个体的面部图像之后，流程图3900可以继续进行到步骤3914，并且至少一个处理设备可以查找个体的身份。如果基于查找识别出了个体，则流程图3900可以继续进行到步骤3916，否则流程图3900可以继续进行到步骤3904。
在一些实施例中，如果在步骤3914处基于查找识别出了个体，则至少一个处理设备可以接收类似于在步骤3909b处接收的输入的输入。该输入可以表示对所识别的个体的身份的确认或拒绝，和/或可以允许用户编辑在查找中识别的个体的名字的现有文本。此外，无论是自动地还是响应于从用户接收的输入，至少一个处理设备可以将所接收的面部图像与在步骤3914处查找到的个体的身份(例如，名字)相关联。
用于对任务进行优先级排序(prioritize)的可穿戴装置
在一些实施例中，所公开的装置和方法可以基于从捕获的图像识别的信息，来便于对任务进行优先级排序。例如，可以向用户提供反馈，以向用户报警任务优先级的变化。
如图41所示，结合上面讨论的其它模块，例如可以将任务的优先级排序划分为三个模块，包含：图像分析模块4102、任务优先级排序模块4104和反馈模块4106。在一些实施例中，模块4102、4104和4106可以储存在装置110和/或120的存储器单元550中，或者模块4102、4104和4106(或其中的部分)可以远离装置110储存(例如，储存在装置110经由例如无线收发器530可访问的服务器中)。此外，存储器550可以被配置为储存多个任务。
如本文所述，任务可以包含任何过程或目标，该过程或目标可以由与装置110相关联的用户完成，或为了与装置110相关联的用户完成。任务可以包含个人任务，诸如约会、日程项目、家务、购物清单、锻炼目标、健康和保健任务等。附加地或可替代地，任务可以包含满足与用户的就业相关联的要求所涉及的任务。任务可以储存在被配置为储存多个任务的存储器单元(例如，装置110和/或120的存储器单元550)中，和/或任务可以远离装置110储存(例如，储存在装置110可经由例如无线收发器530来访问的服务器中)。
图像分析模块4102可以储存可由处理器210执行的指令，可以处理与获得与多个任务有关的信息有关的各种操作。这样的操作可能依赖于来自与装置110相关联的各种传感器和感测系统的输入，如上所述。例如，图像分析模块4102可以从可穿戴图像传感器(诸如图像传感器220)接收图像。可穿戴图像传感器可以被配置为从可穿戴装置的用户的环境捕获多个图像。图像可以是任何合适的静止或运动成像格式，并且图像中描绘的(一个或多个)主题可以包括可以被解释为影响优先级的任何事物。在一个实施例中，图像中描绘的(一个或多个)主题可以包括人或物体的表示，人或物体的渲染的、动画化的或图示的描绘，或者可以出现在可穿戴图像传感器的输出中的任何其它可视主题。
在一些实施例中，图像分析模块4102可以附加地或可替代地从不同于多个图像的源接收信息。例如，声音数据可以由图像分析模块4102和/或装置110的另一个模块捕获和分析。图像分析模块4102可以从包含可穿戴图像传感器的壳体中的声音传感器(诸如装置110的声音传感器)获得声音数据。附加地或可替代地，在一些实施例中，可以从包含在与装置110通信的计算设备120内的声音传感器获得声音数据，如上所述。在这样的实施例中，可以从移动通信设备(诸如智能手机或平板电脑)获得声音数据。分析可以包含将捕获的声音数据转换为适当的格式以用于储存或进一步处理。在一些实施例中，声音处理模块3806可以使用任何已知的语音到文本处理或技术来将声音转换为文本。
图像分析模块4102可以分析多个图像以获得与多个任务中的至少一些有关的信息。信息可以是供装置110使用的任何适当格式。可以由任何适当的方法或算法来进行分析。例如，可以进行与已知图像的比较，可以从图像的一个或多个内识别已知特质，可以进行光学字符识别，来从图像中提取文本等。
与多个任务中的至少一些有关的信息可以包括可以与完成多个任务中的一个或多个任务的估计时间有关的信息。在一些实施例中，图像分析模块4102可以在一个或多个图像中识别指示完成任务的预期时间的物体。例如，图像分析模块4102可以确定该一个或多个图像指示用户正在排队等候、在交通中行驶或在人群中步行。可以由图像分析模块4102确定与这样的条件相关联的物体(诸如其它人、车辆等)的存在。
在一些实施例中，与多个任务中的至少一些任务有关的信息可以包括与多个任务中的一个或多个任务相关联的人有关的信息。例如，图像分析模块4102可以确定人的身份、人的位置、人参与的活动、人是新出现的还是缺席的等。作为另一个示例，在一些实施例中，与多个任务中的至少一些任务有关的信息可以包括人的身体、精神和/或情绪状态，诸如急性医学问题、估计的幸福级别、耐心级别、压力级别、愤怒级别等。这样的状态可以从人的任何适当的可检测特质来确定，诸如通过分析身体或面部特征、姿势、(一个或多个)移动、手势等。
在一些实施例中，图像分析模块4102可以分析多个图像以获得与位置有关的信息，该位置与多个任务中的一个或多个任务相关联。例如，图像分析模块4102可以识别与一个或多个道路、城市、州、其它地理区域相关联的文本或其它识别信息。在一些实施例中，图像分析模块4102可以识别已知与特定位置或区域相关联的一个或多个符号、地标、建筑物、组织、企业等。图像分析模块4102可以分析多个图像以获得与危险情况(诸如烟雾、火灾、潮汐等)有关的信息。
图像分析模块4102可以将获得的信息储存在任何适当的存储器(诸如装置110和/或120的存储器单元550)中，或者远离装置110储存(例如，储存在装置110可经由例如无线收发器530来访问的服务器中)。可以采用用于储存信息的任何形式的数据结构、文件系统或算法。
任务优先级排序模块4104可以储存可由处理器210执行的指令，并且可以处理与创建任务有关或者与改变或分配任务优先级有关的各种操作。例如，任务优先级排序模块4104可以从图像分析模块4102接收与多个任务中的至少一个有关的信息。任务优先级排序模块4104可以基于所接收的信息对任务进行优先级排序。例如，任务优先级排序模块4104可以至少部分地基于由图像分析模块4102获得的信息，向第一任务分配比第二任务更高的优先级。
例如，可以通过一个或多个因素(诸如重要性、紧急性、持续时间等)对任务进行排序。任务优先级排序模块4104可以基于所获得的信息，基于用户与另一个人或物体之间的角色或关系，来对任务进行优先级排序。例如，任务优先级排序模块4104可以基于用户是服务提供者并且另一个人是顾客(反之亦然)的确定，来对任务进行优先级排序。
任务优先级排序模块4104可以基于所获得的信息，来分配或修改与多个任务中的一个或多个任务相关联的分数(诸如数字分数)。例如，任务优先级排序模块4104可以确定与多个任务中的一个或多个任务的完成度相关联的至少一个分数，并将该分数应用于相关任务。几乎完成的任务可以优先于未几乎完成的任务，反之亦然。向第一任务分配比第二任务更高的优先级可以至少部分地基于使目标函数最大化。例如，优先级排序模块4104可以分配优先级，以使可以在特定时间量或在特定位置处完成的任务的数目最大化。在一些实施例中，优先级排序模块4104可以分配优先级，以使与完成任务相关联的成本、风险和/或其它因素最小化或最大化。
反馈模块4106可以储存可由处理器210执行的指令，并且可以基于所分配的优先级来处理与向用户提供反馈有关的各种操作。反馈模块4106可以以用户可感知的任何适当方式提供反馈，例如经由文本、图形显示、音频、触觉反馈等。
在一些实施例中，反馈模块4106可以经由与装置110相关联的显示器提供反馈。在一些实施例中，反馈模块4106可以使得在集成到装置110的显示器上显示文本、图形或其它信息。可以使用本领域中已知的并且适合纳入到装置110中的任何显示技术。在一些实施例中，反馈模块4106可以使得在液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器等中的一个或多个上显示信息。附加地或可替代地，反馈模块4106可以在与可穿戴装置配对、联网或以其它方式通信的设备(例如，计算设备120)上显示，该设备诸如是移动通信设备。
图42是表示用于对任务进行优先级排序的示例处理的流程图4200的示例。
在步骤4202处，可穿戴装置的至少一个处理设备(例如，处理器210)可以分析多个图像以获得与多个任务中的至少一些任务有关的信息。如前所述，可穿戴装置可以包含被配置为储存多个任务的存储器单元(例如，存储器550)。在一些实施例中，多个任务可以包括至少第一任务和第二任务。存储器单元可以储存关于任务的各种信息，包含任务的指示符或描述，并且存储器单元可以进一步包含与任务有关或与任务相关的任何其它信息(例如，名称、位置、截止日期、目标等)。
图43A描绘了可以在步骤4202处由至少一个处理设备分析的图像4300的示例。在一些实施例中，图像可以由图像分析模块4102分析，如上所述。例如，图像4300描绘了药房4302。至少一个处理设备可以在步骤4202处分析图像，以识别例如“药房”标志4304的文本或药房符号4306(例如，与位置有关的信息，该位置与多个任务中的一个或多个任务相关联)。至少一个处理设备还可以识别诸如车辆4308和/或停车位4310的存在或数目的信息(例如，与完成多个任务中的一个或多个任务的估计时间有关的信息)。
在步骤4202处获得的信息可以包括与多个任务中的一个或多个任务相关联的人有关的信息。例如，图43B描绘了可以在步骤4202处由至少一个处理设备分析的图像4340的另一个示例。图4340描绘了两个人4341和4342。至少一个处理设备可以基于任何特质或其它信息，来识别人4341和/或人4342，该特质或其它信息可以基于对图像4340的分析来确定，该分析诸如面部分析、对姓名标签4350或其它文本信息(诸如人4341的服装上显示的文本4348)的OCR等。
在步骤4202处，至少一个处理设备可以确定人或物体之间的关系信息。例如，至少一个处理设备可以基于图像4340中示出的任何特质，来确定用户是服务提供者并且人3431和/或人3432是顾客，反之亦然。
在一些实施例中，至少一个处理设备可以确定图像中人的身体、精神或情绪状态。例如，至少一个处理设备可以识别特质，诸如伤口、眉毛4344和4346的相对位置，以指示人4341的估计耐心级别高于人4342的估计耐心级别或者人4342的估计压力级别高于人4341的压力级别。
返回参考图42，在步骤4204处，至少一个处理设备可以基于所获得的信息来对任务进行优先级排序。例如，在步骤4204处，至少一个处理设备可以向第一任务分配比第二任务更高的优先级。如上所述，可以由优先级排序模块4104来进行优先级排序。
例如，返回参考图43A，基于步骤4202处图像4300包含药房4302的确定，至少一个处理设备可以向与药房相关联的任务(诸如取处方药(pick up prescription))分配比与药房无关的任务更高的优先级。
在步骤4204处，至少一个处理设备可以考虑任务的完成度。例如，在存在指示图像4300包含药房4302的信息时，至少一个处理设备可以基于自处方在药房处被放下起经过的时间量，来优先取处方药的任务。
在步骤4204处，至少一个处理设备可以至少部分地基于使目标函数最大化，来分配优先级。例如，基于与车辆4308和/或空置停车位4310的数目有关的信息，至少一个处理设备可以确定预期在药房4302处执行任务所花费的估计时间量。至少一个处理设备可以例如基于该估计的时间量，优先与药房4302有关的任务(例如，以使执行该任务所花费的时间最小化)。然而，如果用户会见迟到，则可以降低从药房取处方药的优先级。
返回参考图43B，至少一个处理设备可以基于在步骤4202确定的人或物体之间的关系信息来分配优先级。例如，至少一个处理设备可以基于图像中人的身体、精神或情绪状态来对任务进行优先级排序。例如，人4341和人4342可以都是顾客，而用户是服务提供者。基于人4341的估计耐心级别高于4342、和/或人4342的估计压力级别高于人4341的估计压力级别，至少一个处理设备可以相比于向人4341提供服务的任务而优先向人4342提供服务的任务。
在步骤4206处，至少一个处理设备可以基于所分配的优先级向用户提供反馈。如上所述，提供反馈可以由反馈模块4106进行。
图43C描绘了示例界面4360和4361。在一个实施例中，界面4360和/或4361可以由反馈模块4106生成。可以基于续开处方的任务相比于一个或多个其它任务的优先级的增加来生成界面4360，例如响应于对图43A的图像4300的分析和基于图43A的图像4300的优先级排序。界面4360可以包含标识任务的消息4362。在一些实施例中，界面4360可以包含界面元素4364和4366。如图43C所示，诸如4364和4366的界面元素可以提供允许用户操纵任务状态和/或优先级的选项。在图43C的示例中，界面元素4364可以提供标记任务完成的功能。界面元素4366可以提供“稍后提醒我”功能。例如，界面元素4366的选择可以降低任务的优先级，实际上为该任务分配比另一个任务更低的优先级。
可以基于图43B的图像4340，基于任务的优先级的变化来生成界面4361。例如，基于在步骤4204处向人4342提供服务的任务高于向人4341提供服务的任务的优先级的分配，界面4361可以显示指示优先级的分配的消息4368。界面4360还可以包含界面元素4370。如图43C所示，界面元素4370可以提供确认消息4368的选项。
用于分析群组动态的可穿戴装置
在一些实施例中，装置110可以捕获和分析图像以确定装置110的用户100的环境中的检测到的人的群组动态。例如，装置110可以分析图像以检测两个或更多个人并分析图像以确定与检测到的人有关的关联信息。关联信息可以包括基于个体的身份、特性或社交系统的与两个或更多个人之间的关系有关的信息。特性可以涉及诸如年龄、性别、婚姻状况、就业状况的内在特性，或与人的周围环境、人可能参与的活动、环境中个体的情绪状态或与第三方的关系有关的外在特性。可以将第一检测到的个体的信息与第二检测到的个体的信息进行比较，以确定关联信息。可以分析关联信息，以产生对群组动态的理解。表示关联信息的数据可以被发送到计算设备(例如，智能手机、平板电脑、手表、计算机等)和/或服务器，以用于分析和/或报告给用户。关联信息还可以用于更新社交表示。社交表示可以采用图形表示的形式，该图形表示示出关联信息随时间的变化。社交表示更新还可以包含通过用户100的智能手机应用在与用户100相关联的社交网络上显示捕获的图像。
图44图示了与本公开一致的含有软件模块的存储器4400的示例性实施例。在存储器4400中包含监视模块4410、图像处理模块4420、关联模块4430和数据库4440。模块4410、4420、4430可以含有用于由包含在装置110中的至少一个处理设备(例如处理器210)执行的软件指令。在一些实施例中，存储器4400可以包括驻留在移动通信设备(例如，智能电话)上的非暂时性计算机可读介质，该移动通信设备被配置为与捕获单元710的可穿戴图像传感器220无线配对。
监视模块4410可以提供持续的、周期性的或按需的监视。例如，监视可以包含跟踪包含在由图像传感器220捕获的一个或多个图像中的至少一个检测到的人的移动。例如，在一个实施例中，装置110可以跟踪人，只要该物体基本上保持在图像传感器220的视场内。在附加的实施例中，监视模块4410可以持续地使图像传感器220朝着检测到的人定向。例如，在一个实施例中，监视模块4410可以使图像传感器220调节定向，以确保检测到的人保持在图像传感器220的视场内。在另一个实施例中，监视模块4410可以持续监视包含在由图像传感器捕获的一个或多个图像中的感兴趣区域。例如，用户可能被某个任务占用(例如，在大房间发表演讲)，而图像传感器220保持以预定的感兴趣的人(诸如贵宾或事件的主持人)的特定方向定向，并且持续监视来自一系列图像的每个图像的一部分以检测触发或其它事件。例如，图像传感器220可以朝着感兴趣的人定向，并且监视模块4410可以被配置为监视该人对演讲的反应，而用户的注意力贯注在放置在讲台上的一张纸上或房间的不同区域。监视模块4410可以与图44的图像处理模块4420和关联模块4430一前一后地操作或同时地操作。
图像处理模块4420可以被配置为从一个或多个图像识别至少两个检测到的人。在一些实施例中，可以通过一种或多种图像处理技术来识别至少两个检测到的人。例如，可以使用至少一种图像处理技术来识别图像的至少一个特征。在一些实施例中，图像处理技术可以包含图像增强、边缘检测、图像分析和数据提取中的一种或多种。用于识别至少一种特征的方法的具体示例仅是示例性的，并且本领域普通技术人员将认识到用于识别与本公开保持一致的至少一种特征的其它方法。在一些示例中，可以使用物体检测算法、使用经训练以检测物体和/或图像中的物体的神经网络、使用机器学习系统、使用模式识别系统等来检测至少一个特征。
在一些示例中，可以使用面部识别算法、使用经训练以检测面部和/或图像中的人的神经网络等，来在用户的周围环境中识别至少一个人。例如，可以通过对于检测到的人的特性而分析一个或多个图像，以识别检测到的人。个体的特性可以是检测到的人的任何身体特性，包含眼睛颜色、头发颜色、脸型、纹身、穿孔等。该特性可以用于将检测到的人识别为用户100已经先前遇到过的人，并将当前交互与储存在数据库4440中的交互相关。图像处理模块4420还可以基于先前未遇到过，来将检测到的人检测为未可识别的，并且可以生成检测到的人的简介，该简介要用由图像处理模块4420收集的信息填充。图像处理模块4420可以附加地识别在用户100周围环境中的其它物体(例如，书籍、姓名标签、活动的标记等)，并且用要用于确定群组动态的信息填充带有检测到的人的数据的简介。
关联模块4430可以被配置为基于由图像处理模块4410识别的两个或更多个检测到的人的特征，来识别关联信息。用于分析关联信息的参数可以由用户100配置和/或定义，并储存在数据库4440中。例如，用户100可以经由移动通信设备上的移动应用，将关联模块4430配置为确定信息的类别。例如，用户100可以计划参加专业事件，并且将图像处理模块4420配置为基于从姓名标签识别的信息来识别和储存每个检测到的人的就业信息。关联模块4430可以被配置为比较两个或更多个检测到的人的信息以确定关联信息。例如，图像处理模块4420可以与数据库4440通信，以基于检测到的人的在线简介或社交网络来识别检测到的人。然后，关联模块4430可以查询该简介以获取与两个检测到的人中的每个有关的数据。关联模块4430可以比较所获取的数据以确定两个检测到的人的关联信息。例如，关联模块4430可以确定两个检测到的人处于相同的专业行业、为相同组织工作等。
监视模块4410、图像处理模块4420和关联模块4430可以被配置为经由网络240向数据库4440传送数据或从数据库4440接收数据。在所公开的实施例中，从数据库4440接收的数据可以包含基于先前分析的图像数据的许多不同类型的信息、已储存的表示数据、与人有关的信息、识别的地标以及能够储存在数据库4440中或由数据库4440访问的任何其它信息。在一些实施例中，可以经由计算设备120接收和传送数据。根据所公开的实施例，数据库4440和/或计算设备120可以从不同数据源(例如，用户特定数据库、用户的社交网络帐户或其它帐户、因特网和其它受管理或可访问的数据库)检索信息，并且向装置110提供与分析的图像数据有关的信息。在一些实施例中，可以分析从不同数据源检索的日历相关信息，以提供某些时间信息或基于时间的上下文，以用于基于分析的图像数据来提供某些信息。
图45A-45D图示了用于确定关联信息的示例性捕获图像。例如，在图45A中，关联信息可以基于群组中两个或更多个人之间的物理距离。装置110可以被配置为测量个体之间的距离。持续监测个体之间的距离还可以用于检测身体语言的变化。例如，处理器210可以捕获两个检测到的人的多个图像。对多个图像的分析可以得到多个检测到的个体中的两个个体之间的测量的平均距离。距离4510a比距离4510b具有更小的幅度。处理器210可以确定由较小距离4510a分开的人是相关联的，而由距离4510b(其可以大于预定阈值)分开的人不是相关联的。基于物理距离的关联信息还可以包含两个或更多个人已经先前遇到过、是同事或有家庭关系的确定。关联信息还可以提供关于群组动态的信息，该信息包含关于人与其它人有多频繁地紧密接近或者检测到的人有多好社交的信息。例如，装置110可以确定人4520频繁地在人4530的紧密物理距离内。装置110可以确定人4530和第三方之间的距离4510b以与人4520和该第三方之间的距离近似相同的速率和近似相同的相对时间而发生改变。基于此关联信息，处理器210可以确定人4520和人4530一起参加事件(作为专业合作伙伴、约会等)。
用于分析群组动态的基于物理距离的关联信息还可以基于两个检测到的人之间的物理距离的变化。装置110可以确定人4520和4530之间的距离4510a和距离4510c。距离4510c的变化可以与储存在数据库中的身体语言指示符相关联。例如，装置110可以检测到距离4510a是恒定的，而距离4510c是增加的。这可以与已储存的指示人4520正倾斜远离人4530的身体语言相关联。该倾斜远离可以向处理器210建议：人4520正在经历情形不适。替代地，距离4510c减少随后增加可以涉及人4520和4530之间的拥抱。
如图45B所示，关联信息还可以基于至少两个检测到的人参与的联合活动。装置110可以基于所涉及的活动的标记来检测活动。可以通过将检测到的活动的标记与储存在数据库中的示例性标记进行比较，来分析由装置110捕获的多个图像。例如，装置110可以捕获表示两个或更多个人参与的活动的多个图像，诸如运动、旅行、看电影等。图45B图示了参与足球比赛的多个人，如由穿戴着装置110的用户100所观察到的。多个图像可以基于包含形状、大小、图案和颜色的球的特性，来确定标记4540是足球。基于此信息，处理器210可以确定两个或更多个检测到的人在参与足球比赛。装置110还可以基于检测到的人正在效力的队伍来确定关联信息，并识别检测到的人的队友。例如，装置110可以基于球频繁地在两个或更多个检测到的人之间传递的确定，来确定两个或更多个检测到的人为相同的队伍效力。该确定还可以基于第一组人频繁地在第一方向上踢球、而第二组人频繁地在与第一方向相反的第二方向上踢球的确定。
如图45C所示，关联信息可以基于两个检测到的人的共享特性。共享特性可以包含检测到的内在特征，例如头发颜色、面部结构、身高等。共享特性可以提供与群组动态有关的信息。例如，装置110可以捕获多个图像。处理器210可以分析捕获的图像，并检测到捕获的图像中的两个或更多个人共享诸如头发颜色或独特鼻子形状的特性。根据此信息，处理器210可以确定检测到的人是亲戚。处理器210可以基于对捕获图像的分析，来检测到多个检测到的人中的两个共享内在特性。
共享特性还可以包含情形特性。检测到的情形特性可以涉及与给定环境相关联的特性。例如，装置110可以捕获多个图像。处理器210可以分析捕获的图像，并检测到捕获的图像中的两个或更多个人共享情形特性，诸如共同的一件衣服、类似的配件或类似的行为(例如，同时笑、响应于刺激而变得激动等)。
共享特性可以用于分析群组动态。例如，处理器210可以确定当检测到特定共享特性时，应用特定群组动态。此确定可以基于用于分析群组动态的一组规则。例如，装置110可以捕获政治集会的多个图像。处理器210可以检测到具有共享特性的两个或更多个个体，该共享特性诸如在集会上具有政治派别的人所穿戴的类似胸针或衬衫。共享特性还可以包含对集会呐喊的面部反应。处理器110还可以检测第二群组动态的共享特性。两个或更多个检测到的人可以响应于集会呐喊而变得激动。这可以向处理器210指示：共享该特性的成员可以是集会的抗议者。
如图45C所示，用户100的装置110可以捕获两个或更多个人的多个图像。在检测到人4560a、4560b和4560c时，处理器210可以分析图像以识别共享特性。处理器210可以确定面部特征4580a、4580b和4580c之间的相似性。相似的面部特征可以包含有独特的鼻子形状或眼睛颜色。处理器210还可以确定人4560a、4560b和4560c都共享相似的头发颜色。其它共享特性可以包含由每个检测到的人4560a、4560b和4560c手持的相同的购物袋4570a、4570b和4570c。基于这些共享特性，处理器210可以确定检测到的人4560a、4560b和4560c是一起购物的家庭成员。处理器210还可以检测其它共享特性，包含同时离开商店、沿相似方向步行并保持在彼此的预定距离内。共享特性可以提供关于群组动态的信息，诸如参与购物的家庭成员。
关联信息还可以基于两个人中的一个人对两个人中的另一个人的动作的反应。例如，装置110的用户100可以参与与至少一个其它人的会话或活动。装置210可以捕获表示检测到的人对用户100的动作的不同反应的多个图像。反应可以包含：检测到的人离开群组、描绘情绪的面部反应、或身体语言指示符(诸如，为了拥抱而倾斜)。
如图45D所示，装置110的用户100可以参与与群组的会话。装置110可以捕获多个图像4590a、4590b和4590c，其图示了群组的成员对用户100的动作的不同反应。图像4590a示出了检测到的人对用户100的动作具有积极反应。处理器210可以基于对示出了所有检测到的人都在微笑的图像的分析，来检测积极反应。替代地，对图像4590b的分析可以示出检测到的人中的一些对用户100具有积极反应。再替代地，对图像4590c的分析可以示出所有检测到的人对用户100的动作具有消极反应。此分析可以用于理解群组动态，特别是响应于另一个人的群组动态。群组动态可以指示一个人有多受喜爱、一群人对传达给该群组的概念有多响应、或该群组的一般情绪。
图46图示了基于所确定的关联信息来更新社交表示4600。可以分析由装置110捕获的图像4590a，以确定包含对用户100的动作的积极反应的关联信息。在一个实施例中，对社交表示4600的更新包含对与用户100相关联的社交网络的状况更新。可以基于由处理器210检测到的群组动态，来建议标题4610。可以分析图像4590a，以确定检测到的人正在微笑并因此具有对用户100的积极反应。因此，更新后的社交表示可以体现所确定的关联信息，以说明群组动态。更新后的社交表示还可以包含扩展用户100的在线社交网络。例如，表示关联信息的数据可以被发送到外部计算设备以用于分析。该分析可以导致识别检测到的人的在线社交网络账户(例如，Facebook、Twitter、LinkedIn等)，并向用户110发送请求以与检测到的人联系。
图47图示了与所公开的实施例一致的示出用于分析与用户100有关的群组动态的示例性处理4700的流程图。装置110可以实现过程4700的一个或多个步骤以确定群组动态信息，例如，如图45A-45D所示。
如图47所示，在步骤4710处，装置110可以从用户100的环境捕获多个图像。例如，捕获单元710可以匹配用户100的视场，并且捕获单元710的图像传感器220可以捕获用户100的视场中的一个或多个检测到的人的图像。即使当用户100的注意力贯注远离于检测到的人时，图像传感器220也可以捕获检测到的人的图像。例如，监视模块4410可以相对于检测到的人和用户100的环境持续地监视检测到的人中的一个。用户100的环境可以包含用户100已经进入的房间或用户100正在行驶的路径。环境还可以包含图像传感器220在其指向的方向上的最大视场。
在步骤4720处，处理设备(例如，处理器210)可以对多个图像进行第一分析，以从用户的环境中检测至少两个人。装置110可以使用包含物体识别、模式识别或边缘检测的各种图像处理技术中的任何一种来检测人。一旦在环境中检测到人，就可以通过将捕获的图像与储存在数据库4440中的图像进行比较来识别该人。基于该比较，处理器210可以基于所识别的人与用户100的先前储存的相遇，来使用图像处理模块4420识别该人。例如，用户100可以在具有多个人的房间中。装置110可以捕获房间的多个图像并使用图像处理技术，来检测房间中的一个或多个人。然后，处理器210可以使用面部识别技术，来基于与检测到的人的已储存图像的面部匹配来确定用户100已经先前遇到过该检测到的人。
在步骤4730处，处理器210可以对多个图像进行第二分析，以确定与至少两个检测到的人有关的关联信息。关联信息可以基于关于通过面部识别而被识别的两个或更多个检测到的人的特性信息，或者基于储存在数据库上的档案数据。特性信息还可以基于关于检测到的人的环境的信息。此外，图像处理技术可以用于检测环境信息。例如，物体识别可以用于识别检测到的人的预定接近度内的物体。可以通过将检测到的物体与数据库4440中的代表性物体的已储存图像进行比较，来捕获和分析图像的一部分中的物体。第一检测到的个体的特性信息可以与第二检测到的个体的特性信息互相关，以检测第一检测到的人和第二检测到的人之间的相似性或差异性。可以使用两个或更多个检测到的人的特性信息之间的相似性和差异性，来确定关联信息。关联信息还可以基于从社交网络、或者一个或多个目录(诸如网页上的列表)获得的信息。例如，处理器210可以查询第一检测到的人和第二检测到的人的社交网络，并确定两者都被列为“参加”由第三检测到的人主办的事件。从检测到的人的社交网络获得的其它信息可以包含：关系状况、就业状况、雇主的姓名、政治派别、作为家庭成员的其它人的列表、以及档案数据。因此，关于检测到的人的信息可以基于检测到的人的在线存在，并且可以用于确定关联信息。
在步骤4740处，处理器210可以基于所确定的关联信息来更新社交表示。社交表示可以包含向用户的用于对事件进行生活记录的社交网络账户提供更新，或更新关于检测到的人的已储存数据。社交表示还可以包含储存在数据库4440中的关于检测到的人的信息。该信息可以包含一个或多个检测到的人的简介，并且可以被更新以包含来自与用户100的相遇的关联信息。例如，用户100可以参加社交事件。装置110可以检测到两个或更多个人距彼此保持着大于预定阈值的物理距离。处理器210可以确定先前储存的关联数据包含所检测到的人曾一起定期参与事件的信息，诸如一起看电影和用餐。处理器210可以使用新的关联信息来更新两个检测到的人中的每个的社交表示，该新的关联信息指示两个人之间的关系可能变得紧张。更新后的社交表示还可以是关联信息随时间的变化的图形表示。来自第一事件的关联信息可以与来自第二事件的关联信息聚合，以提供复合关联信息用于分析。
装置110还可以经由任何已知的无线标准(例如，蜂窝、Wi-Fi、等)或经由有线连接，通过一个或多个网络将数据发送到计算设备(例如，智能手机、平板电脑、手表、计算机等)。由装置110发送的数据可以包含图像、图像的部分、与出现在分析的图像中的信息有关的标识符、关联信息或群组动态信息。例如，可以分析图像，并且可以识别与图像中发生的活动有关的群组动态。然后可以将图像发送到计算设备(例如，“配对设备”)。在本文描述的实施例中，装置110可以在本地(在可穿戴装置上)和/或远程(经由计算设备)分析图像。此外，配对设备可以执行一个或多个应用(app)以处理、显示和/或分析从装置110接收的数据(例如，标识符、文本、图像等)。
出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明和实践，修改和改编对于本领域技术人员来说是显而易见的。另外，尽管所公开的实施例的方面被描述为储存在存储器中，但本领域的技术人员将理解，这些方面也可以储存在其它类型的计算机可读介质上，诸如辅助储存设备，例如，硬盘或CD ROM、或其它形式的RAM或ROM、USB介质、DVD、蓝光、超HD蓝光、或其它光驱动介质。
基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序段或程序模块可以以或通过.NET Framework、.NET CompactFramework(以及相关的语言，诸如Visual Basic，C等)、JAVA、C++、Objective-C、HTML、HTML/AJAX组合、XML或者包含Java小程序的HTML来设计。
此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有等同的要素、修改、省略、组合(例如，遍及各个实施例的方面的)、改编和/或改变的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本申请的审查期间所描述的示例。示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包含通过重新排序步骤和/或插入或删除步骤。因此，说明书和示例旨在被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。

Claims (20)

1.一种可穿戴装置，所述可穿戴装置包括：
可穿戴图像传感器；以及
至少一个处理器，被编程为：
从该可穿戴图像传感器接收该可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像；
接收在所述时间窗口的至少一部分期间在该图像传感器附近捕获的声音数据；
处理所述声音数据以识别至少一个关键词；
将关键词和面部图像之间的关联储存在存储器中；
从该可穿戴图像传感器接收该个体在不同于所述时间窗口期间的时间的第二交互期间的另一个面部图像；
使用图像处理来确定第一交互中的个体是第二交互中的个体；
访问所述存储器以从第一交互定位至少一个关键词；以及
在第二交互期间，使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。
2.根据权利要求1所述的可穿戴装置，其中处理所述声音数据以识别至少一个关键词包括访问远程服务器。
3.根据权利要求1所述的可穿戴装置，其中所述显示器被包含在与该可穿戴装置配对的移动通信设备中。
4.根据权利要求1所述的可穿戴装置，其中将关键词和面部图像之间的关联储存在存储器中包括将所述关联储存在远程服务器中。
5.根据权利要求1所述的可穿戴装置，其中所述存储器被包含在可通过一个或多个网络访问的远程服务器中。
6.根据权利要求1所述的可穿戴装置，其中所述声音数据从包含该可穿戴图像传感器的壳体内的声音传感器获得。
7.根据权利要求1所述的可穿戴装置，其中所述声音数据从被包含在移动通信设备内的声音传感器获得。
8.根据权利要求1所述的可穿戴装置，其中所述声音数据的至少一部分被储存，该部分根据交互频率级别来确定。
9.根据权利要求1所述的可穿戴装置，其中所述声音数据的至少一部分被储存，该部分根据该个体的重要性级别来确定。
10.根据权利要求1所述的可穿戴装置，其中所述至少一个处理器被进一步编程为根据用户和该个体之间的关系、关键词、位置、同义词或主题来搜索已储存的关键词。
11.一种在采用可与移动通信设备配对的可穿戴图像传感器的系统中使用的非暂时性计算机可读介质，所述计算机可读介质含有指令，所述指令在由至少一个处理器执行时使所述至少一个处理器执行步骤，所述步骤包括：
从由用户穿戴的可穿戴图像传感器接收用户在时间窗口期间的第一交互中与之交互的个体的面部图像；
接收在所述时间窗口期间在该图像传感器附近捕获的声音数据；
处理所述声音数据以识别所述声音数据中的至少一个关键词；
将关键词和面部图像之间的关联储存在存储器中；
从由用户穿戴的该可穿戴图像传感器接收该个体在不同于所述时间窗口期间的时间的第二交互期间的另一个面部图像；
使用图像处理来确定第一交互中的个体是第二交互中的个体；
访问所述存储器以从第一交互定位至少一个关键词；以及
在第二交互期间，在对用户可见的显示器上呈现所述至少一个关键词，从而向用户提醒第一交互的主题。
12.根据权利要求11所述的非暂时性计算机可读介质，其中所述声音数据从包含该可穿戴图像传感器的壳体中的声音传感器获得。
13.根据权利要求11所述的非暂时性计算机可读介质，其中所述声音数据从移动通信设备内的声音传感器获得。
14.根据权利要求11所述的非暂时性计算机可读介质，其中所述显示器被包含在与该可穿戴装置配对的移动通信设备中。
15.一种用于从先前会话检索并显示关键词的方法，所述方法由可穿戴装置的至少一个处理器实现，并且包括：
从该可穿戴装置的可穿戴图像传感器接收该可穿戴装置的用户在时间窗口期间的第一交互中与之交互的个体的面部图像；
接收在所述时间窗口的至少一部分期间在该图像传感器附近捕获的声音数据；
处理所述声音数据以识别至少一个关键词；
将关键词和面部图像之间的关联储存在存储器中；
从该可穿戴图像传感器接收该个体在不同于所述时间窗口期间的时间的第二交互期间的另一个面部图像；
使用图像处理来确定第一交互中的个体是第二交互中的个体；
访问所述存储器以从第一交互定位至少一个关键词；以及
在第二交互期间，使得在对用户可见的显示器上显示至少一个关键词，从而向用户提醒第一交互的主题。
16.根据权利要求15所述的方法，其中处理所述声音数据以识别至少一个关键词包括访问远程服务器。
17.根据权利要求15所述的方法，其中将关键词和面部图像之间的关联储存在存储器中包括将所述关联储存在远程服务器中。
18.一种用于从先前会话检索并显示关键词的方法，所述方法由与可穿戴图像传感器配对的移动通信设备的至少一个处理器实现，并且包括：
从由用户穿戴的可穿戴图像传感器接收用户在时间窗口期间的第一交互中与之交互的个体的面部图像；
接收在所述时间窗口期间在该图像传感器附近捕获的声音数据；
处理所述声音数据以识别所述声音数据中的至少一个关键词；
将关键词和面部图像之间的关联储存在存储器中；
从由用户穿戴的该可穿戴图像传感器接收该个体在不同于所述时间窗口期间的时间的第二交互期间的另一个面部图像；
使用图像处理来确定第一交互中的个体是第二交互中的个体；
访问所述存储器以从第一交互定位至少一个关键词；以及
在第二交互期间，在对用户可见的显示器上呈现所述至少一个关键词，从而向用户提醒第一交互的主题。
19.根据权利要求18所述的方法，其中处理所述声音数据以识别至少一个关键词包括访问远程服务器。
20.根据权利要求18所述的方法，其中将关键词和面部图像之间的关联储存在存储器中包括将所述关联储存在远程服务器中。
CN201910484918.0A 2017-04-23 2018-04-23 可穿戴装置和从先前会话检索并显示关键词的方法及介质 Pending CN110246569A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762488789P 2017-04-23 2017-04-23
US201762488791P 2017-04-23 2017-04-23
US62/488,791 2017-04-23
US62/488,789 2017-04-23
US201762503034P 2017-05-08 2017-05-08
US62/503,034 2017-05-08
CN201880003444.7A CN109690686A (zh) 2017-04-23 2018-04-23 用于分析图像的可穿戴装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880003444.7A Division CN109690686A (zh) 2017-04-23 2018-04-23 用于分析图像的可穿戴装置和方法

Publications (1)

Publication Number Publication Date
CN110246569A true CN110246569A (zh) 2019-09-17

Family

ID=62186498

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910484966.XA Pending CN110265121A (zh) 2017-04-23 2018-04-23 可穿戴装置和对可穿戴装置定位的方法及介质
CN201910484987.1A Pending CN110289082A (zh) 2017-04-23 2018-04-23 可穿戴装置和方法
CN201910484918.0A Pending CN110246569A (zh) 2017-04-23 2018-04-23 可穿戴装置和从先前会话检索并显示关键词的方法及介质
CN201880003444.7A Pending CN109690686A (zh) 2017-04-23 2018-04-23 用于分析图像的可穿戴装置和方法
CN201910484898.7A Pending CN110232968A (zh) 2017-04-23 2018-04-23 可穿戴装置和校正可穿戴图像传感器的安置的方法及介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910484966.XA Pending CN110265121A (zh) 2017-04-23 2018-04-23 可穿戴装置和对可穿戴装置定位的方法及介质
CN201910484987.1A Pending CN110289082A (zh) 2017-04-23 2018-04-23 可穿戴装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201880003444.7A Pending CN109690686A (zh) 2017-04-23 2018-04-23 用于分析图像的可穿戴装置和方法
CN201910484898.7A Pending CN110232968A (zh) 2017-04-23 2018-04-23 可穿戴装置和校正可穿戴图像传感器的安置的方法及介质

Country Status (5)

Country Link
US (7) US20200053262A1 (zh)
EP (1) EP3616210A1 (zh)
KR (3) KR102354428B1 (zh)
CN (5) CN110265121A (zh)
WO (1) WO2018215827A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524518A (zh) * 2020-04-01 2020-08-11 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
US11159585B2 (en) 2018-03-14 2021-10-26 At&T Intellectual Property I, L.P. Content delivery and consumption with affinity-based remixing
US11086126B1 (en) 2018-05-14 2021-08-10 Facebook Technologies, Llc Distributed artificial reality system with a removable display
EP3915124A2 (en) * 2018-12-13 2021-12-01 Orcam Technologies Ltd. Wearable apparatus and methods
US11928181B2 (en) 2018-12-27 2024-03-12 Nec Corporation Information processing apparatus, information processing method, and program
US11144750B2 (en) * 2019-02-28 2021-10-12 Family Concepts Ii, Llc Association training related to human faces
EP3956854A1 (en) * 2019-04-15 2022-02-23 Telefonaktiebolaget Lm Ericsson (Publ) Mobile communications device and application server
US11748679B2 (en) * 2019-05-10 2023-09-05 Accenture Global Solutions Limited Extended reality based immersive project workspace creation
CN110177209B (zh) * 2019-05-31 2022-02-22 努比亚技术有限公司 一种视频参数调控方法、设备及计算机可读存储介质
US20210142692A1 (en) * 2019-06-06 2021-05-13 National Taiwan Normal University Method and system for skill learning
US10921887B2 (en) * 2019-06-14 2021-02-16 International Business Machines Corporation Cognitive state aware accelerated activity completion and amelioration
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
CN113544692A (zh) * 2019-10-10 2021-10-22 谷歌有限责任公司 用于面部认证的摄像头同步和图像标记
CN111127734B (zh) * 2019-12-31 2022-01-14 中国银行股份有限公司 银行柜台网点排队管理系统、装置及方法
WO2021136962A1 (en) * 2020-01-03 2021-07-08 Orcam Technologies Ltd. Hearing aid systems and methods
US11176375B2 (en) * 2020-03-10 2021-11-16 Sony Corporation Smart glasses lost object assistance
US11546690B2 (en) * 2020-04-27 2023-01-03 Orcam Technologies Ltd. Processing audio and video
US20210358152A1 (en) * 2020-05-12 2021-11-18 Corsight .Al Monitoring distances between people
KR20220105893A (ko) * 2021-01-21 2022-07-28 삼성전자주식회사 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법
US20220318847A1 (en) * 2021-04-01 2022-10-06 Tlcd, Llc Enterprise content delivery platform and architecture
US11431557B1 (en) * 2021-04-13 2022-08-30 Dell Products L.P. System for enterprise event analysis
US11606246B2 (en) 2021-04-28 2023-03-14 Dell Products L.P. System for enterprise alert timeline of a system and service
CN113283617A (zh) * 2021-05-21 2021-08-20 东华大学 一种服装重构方法及其服务器系统
KR102287401B1 (ko) * 2021-05-28 2021-08-09 주식회사 폴라리스쓰리디 3d 공간 지도를 2d 평면도로 변환하기 위한 방법 및 장치
CN113782038A (zh) * 2021-09-13 2021-12-10 北京声智科技有限公司 一种语音识别方法、装置、电子设备及存储介质
KR20230073875A (ko) * 2021-11-19 2023-05-26 삼성전자주식회사 이미지를 적응적으로 디스플레이하는 전자 장치 및 그 동작 방법
US11962455B2 (en) 2021-11-29 2024-04-16 T-Mobile Usa, Inc. Prioritizing multiple issues associated with a wireless telecommunication network
CN114202756A (zh) * 2021-12-13 2022-03-18 广东魅视科技股份有限公司 一种跨网段传输数据的方法、装置及可读介质
KR20240016815A (ko) * 2022-07-29 2024-02-06 주식회사 마블러스 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050258943A1 (en) * 2004-05-21 2005-11-24 Mian Zahid F System and method for monitoring an area
US20110043643A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method for transmitting image and image pickup apparatus applying the same
CN102782704A (zh) * 2010-03-01 2012-11-14 微软公司 基于脸部图像分析的排名
CN104205127A (zh) * 2012-03-30 2014-12-10 英特尔公司 基于识别的安全性
US20150139508A1 (en) * 2013-11-20 2015-05-21 Cywee Group Limited Method and apparatus for storing and retrieving personal contact information
CN104717366A (zh) * 2015-03-31 2015-06-17 小米科技有限责任公司 联系人头像的推荐方法及装置
US20150310539A1 (en) * 2014-04-23 2015-10-29 Sony Corporation In-store object highlighting by a real world user interface
JP2016071471A (ja) * 2014-09-29 2016-05-09 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
CN105913039A (zh) * 2016-04-26 2016-08-31 北京光年无限科技有限公司 基于视觉和语音的对话数据交互处理方法及装置
CN106254617A (zh) * 2016-09-29 2016-12-21 努比亚技术有限公司 一种移动终端及控制方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050256720A1 (en) 2004-05-12 2005-11-17 Iorio Laura M Voice-activated audio/visual locator with voice recognition
US10909474B2 (en) * 2005-07-22 2021-02-02 Proximity Grid, Inc. Triggering an automatic creation of an event stamp
US9706345B2 (en) * 2008-01-04 2017-07-11 Excalibur Ip, Llc Interest mapping system
US9953459B2 (en) 2008-11-05 2018-04-24 Hover Inc. Computer vision database platform for a three-dimensional mapping system
US20100273452A1 (en) 2009-04-26 2010-10-28 Qualcomm Incorporated Apparatus and Methods For Locating Tracking and/or Recovering a Wireless Communication Device
EP2390851B1 (en) 2010-05-27 2013-02-20 Nxp B.V. Presence Detection System and Method
JP5241782B2 (ja) * 2010-07-30 2013-07-17 株式会社日立製作所 カメラ異常検出装置を有する監視カメラシステム
US8814754B2 (en) * 2010-11-01 2014-08-26 Nike, Inc. Wearable device having athletic functionality
TWI426775B (zh) * 2010-12-17 2014-02-11 Ind Tech Res Inst 攝影機再校正系統及其方法
CN102737255A (zh) * 2011-03-30 2012-10-17 索尼公司 目标检测设备和方法
US9449343B2 (en) * 2012-10-05 2016-09-20 Sap Se Augmented-reality shopping using a networked mobile device
US20140152777A1 (en) * 2012-12-01 2014-06-05 Csr Techology Inc. Camera having additional functionality based on connectivity with a host device
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US9584705B2 (en) * 2013-03-14 2017-02-28 Google Inc. Wearable camera systems
US9195880B1 (en) * 2013-03-29 2015-11-24 Google Inc. Interactive viewer for image stacks
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US9055210B2 (en) * 2013-06-19 2015-06-09 Blackberry Limited Device for detecting a camera obstruction
KR101873127B1 (ko) * 2013-09-30 2018-06-29 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
KR101876284B1 (ko) * 2013-12-04 2018-08-09 인텔 코포레이션 웨어러블 맵 및 이미지 디스플레이
US10248856B2 (en) * 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10194074B2 (en) * 2014-01-17 2019-01-29 Sony Corporation Imaging system, warning generation device and method, imaging device and method, and program
EP2899609B1 (en) * 2014-01-24 2019-04-17 Sony Corporation System and method for name recollection
WO2015127395A1 (en) * 2014-02-21 2015-08-27 Wendell Brown Coupling a request to a personal message
US9171434B2 (en) * 2014-03-12 2015-10-27 Google Inc. Selectively redirecting notifications to a wearable computing device
KR101534282B1 (ko) * 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
US9349068B2 (en) * 2014-06-05 2016-05-24 Honeywell International Inc. Detecting camera conditions to initiate camera maintenance
US10841476B2 (en) * 2014-07-23 2020-11-17 Orcam Technologies Ltd. Wearable unit for selectively withholding actions based on recognized gestures
WO2016018044A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of controlling the same
EP2981063B1 (en) * 2014-07-31 2020-03-04 Samsung Electronics Co., Ltd Method of modifying image including photographing restricted element, and device for performing the method
US20160042637A1 (en) * 2014-08-11 2016-02-11 Clandestine Development, Llc Drone Safety Alert Monitoring System and Method
CN104410601A (zh) * 2014-08-28 2015-03-11 中国联合网络通信集团有限公司 访问控制方法、系统及可穿戴设备
WO2016036747A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Wearable electronic device
CN104239510B (zh) * 2014-09-15 2018-01-23 联想(北京)有限公司 一种信息处理方法、装置和电子设备
WO2016047902A1 (ko) * 2014-09-23 2016-03-31 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2016088922A1 (ko) * 2014-12-05 2016-06-09 엘지전자 주식회사 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
KR20160108983A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 웨어러블 전자 장치의 분실 방지 방법 및 장치
US10473942B2 (en) * 2015-06-05 2019-11-12 Marc Lemchen Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system
US9800778B2 (en) * 2015-07-21 2017-10-24 Qualcomm Incorporated Camera orientation notification system
US10382804B2 (en) * 2015-08-31 2019-08-13 Orcam Technologies Ltd. Systems and methods for identifying exposure to a recognizable item
CN105491289B (zh) * 2015-12-08 2019-10-01 小米科技有限责任公司 防止拍照遮挡的方法及装置
CN105809695A (zh) * 2016-03-11 2016-07-27 深圳还是威健康科技有限公司 一种基于可穿戴设备的终端寻找方法及装置
KR102258047B1 (ko) * 2016-06-03 2021-05-27 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
CN106357974B (zh) * 2016-08-26 2019-06-07 深圳市沃特沃德股份有限公司 记录宠物位置的方法和装置
US9949068B2 (en) * 2016-09-19 2018-04-17 Qualcomm Incorporated Method and apparatus for to determine the location of a wearable device
US10277714B2 (en) * 2017-05-10 2019-04-30 Facebook, Inc. Predicting household demographics based on image data
US11010596B2 (en) * 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050258943A1 (en) * 2004-05-21 2005-11-24 Mian Zahid F System and method for monitoring an area
US20110043643A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method for transmitting image and image pickup apparatus applying the same
CN102782704A (zh) * 2010-03-01 2012-11-14 微软公司 基于脸部图像分析的排名
CN104205127A (zh) * 2012-03-30 2014-12-10 英特尔公司 基于识别的安全性
US20150139508A1 (en) * 2013-11-20 2015-05-21 Cywee Group Limited Method and apparatus for storing and retrieving personal contact information
US20150310539A1 (en) * 2014-04-23 2015-10-29 Sony Corporation In-store object highlighting by a real world user interface
JP2016071471A (ja) * 2014-09-29 2016-05-09 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
CN104717366A (zh) * 2015-03-31 2015-06-17 小米科技有限责任公司 联系人头像的推荐方法及装置
CN105913039A (zh) * 2016-04-26 2016-08-31 北京光年无限科技有限公司 基于视觉和语音的对话数据交互处理方法及装置
CN106254617A (zh) * 2016-09-29 2016-12-21 努比亚技术有限公司 一种移动终端及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524518A (zh) * 2020-04-01 2020-08-11 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备

Also Published As

Publication number Publication date
US11503196B2 (en) 2022-11-15
CN110265121A (zh) 2019-09-20
EP3616210A1 (en) 2020-03-04
KR20200026798A (ko) 2020-03-11
US11039053B2 (en) 2021-06-15
US20200050861A1 (en) 2020-02-13
WO2018215827A1 (en) 2018-11-29
KR20210046085A (ko) 2021-04-27
CN110289082A (zh) 2019-09-27
US10939028B2 (en) 2021-03-02
CN109690686A (zh) 2019-04-26
US20200051271A1 (en) 2020-02-13
KR20210047373A (ko) 2021-04-29
US20200050863A1 (en) 2020-02-13
US11503197B2 (en) 2022-11-15
US20210266437A1 (en) 2021-08-26
US20200117902A1 (en) 2020-04-16
US20200050862A1 (en) 2020-02-13
CN110232968A (zh) 2019-09-13
US20200053262A1 (en) 2020-02-13
KR102354428B1 (ko) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110246569A (zh) 可穿戴装置和从先前会话检索并显示关键词的方法及介质
US10595072B2 (en) Systems and methods for recognizing faces using non-facial information
US10554870B2 (en) Wearable apparatus and methods for processing image data
CN109154979A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
US20200004291A1 (en) Wearable apparatus and methods for processing audio signals
WO2022130011A1 (en) Wearable apparatus and methods
EP3792914A2 (en) Wearable apparatus and methods for processing audio signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190917