CN105026900A

CN105026900A - 用于个人背景环境的分光计

Info

Publication number: CN105026900A
Application number: CN201480013353.3A
Authority: CN
Inventors: 爱德华·哈里森·蒂格; 阿许温·史汪明纳桑
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-03-12
Filing date: 2014-03-06
Publication date: 2015-11-04
Anticipated expiration: 2034-03-06
Also published as: CN105026900B; WO2014164176A1; EP2972147A1; US20140278238A1; US9910828B2; JP2016511612A

Abstract

本发明描述一种执行背景环境推断的方法。所述方法包含在集成于便携式装置中的分光计传感器处收集环境光、特性化所述收集到的光以获得光学信息、比较所述光学信息与经预定以匹配一或多个背景环境的光学数据、基于所述比较来推断特定背景环境的至少一个特性，以及确定所述便携式装置在所述特定背景环境中的概率。

Description

用于个人背景环境的分光计

技术领域

本申请案是有关于使用分光计的方法，且更特定而言是有关于使用分光计确定个人背景环境的方法。

背景技术

智能手机和其它移动装置的用户常常想要了解智能手机和其它移动装置的背景环境或周围情况。举例来说，用户可能想要确定其位置、确定直接环境是否包含自然或人造光，或确定特定装置(例如，TV、无线电或微波)是否在附近。另外，智能手机应用能够利用背景环境信息以将额外服务或增强服务提供给用户。智能手机操作系统本身能够使用背景环境信息来更好地管理系统资源。举例来说，如果装置周围的环境相对静态，那么一些操作可延迟，从而节省珍贵的电池电力。

移动装置通过传感器(例如，ALS(环境光传感器)和摄像机收集光学信息，所述传感器可包含RGB(红绿蓝)传感器。ALS传感器感测周围光级并且通常调整显示器(例如，屏幕)的亮度。因此，ALS传感器不为用户提供关于用户的周围环境的太多信息。另一方面，摄像机捕捉光信息以产生图像，但是使用大量电力。因此，使摄像机始终运行以确定用户的环境目前并不实用。

因此，对于用以确定用户背景环境的简单且低功率传感器的需要存在。

发明内容

为了解决此项技术中的这一需要，将分光计包含在便携式装置(例如，移动装置，例如智能手机)中。分光计可使用光信息推断用户的背景环境。分光计不收集图像，但是特性化光的频谱。通过确定光的特性，分光计能够以比常规摄像机低得多的电力消耗提供关于用户的位置和周围环境的有价值信息。

揭示一种执行背景环境推断的方法，其包含：在集成于便携式装置中的分光计传感器处收集环境光；特性化所述收集到的光以获得光学信息；比较所述光学信息与经预定以匹配一或多个背景环境的光学数据；基于所述比较来推断特定背景环境的至少一个特性；以及确定所述便携式装置在所述特定背景环境中的概率。在其它实施例中，所述方法包含训练机器学习系统。所述训练包含将分光计传感器定位在特定背景环境中、选取所述特定背景环境中的频率的一或多个所要范围、从所述分光计传感器接收光学数据以及将所述光学数据联系到所述特定背景环境。。然后可将收集到的光学信息提交给所述机器学习系统以用于比较。

与分光计的传统用途相比，本发明中的分光计并不收集物理对象的光学光谱以确定(例如)所述对象的身份或组成。所述分光计改为用以从用户的周围环境收集环境光以及确定用户的环境的条件。这样，所述分光计能够从环境导出个人的背景环境并且检测个人的周围环境的显著变化。从所述分光计获得的数据可供用户使用且可与从其它传感器获得的数据组合以提供用户的背景环境的较完整概念。

附图说明

图1为分光计传感器的图。

图2为便携式装置的示意框图。

图3为根据本发明的一实施例的用于执行背景环境推断的系统的图。

图4为适合于实施图3中的一或多个组件的计算机系统的框图。

图5为根据本发明的一实施例的执行背景环境推断的方法的流程图。

具体实施方式

本发明提供用以确定具有带分光计的便携式装置(例如，移动计算装置)的用户目前是否位于给定背景环境内的系统和方法。“背景环境(context)”意谓用户的周围环境和环境，包含(但不限于)时间、位置、社会环境、速度、方向或其组合。举例来说，本发明方法能够帮助确定用户是否在地铁上、在人群中和/或在某一餐厅吃午餐。所述方法通过分析收集到的环境光来提取周围环境的信息。本文中所使用的术语“环境光(ambientlight)”意谓用户的周围环境中的光，无论是由自然或机械源产生。环境光包含电磁波频谱上的所有波长，包含无线电、微波、红外线、可见光以及紫外线。

图1说明分光计传感器100的实例实施例。分光计传感器100包含从环境收集环境光的透镜110、为频率选择性滤光器130提供频率的所要范围的频率选择器120、使某一范围内的频率通过且滤去那个范围外的频率的频率选择性滤光器130以及检测所要频率的光的检测器140。透镜110可为广角透镜，使得由分光计传感器100接收的光信息的量增加。如所说明，滤光器130为棱镜，但是应理解，滤光器130可为任何合适的波长选择性元件，包含(但不限于)带通滤光器、色散光栅元件、线性可变滤光器、色轮、可调滤光器或任何其它合适类型的一维(1-D)或二维(2-D)光学滤光器。

在操作中，环境光通过透镜110和选择器120且进入滤光器130，在滤光器中，环境光分裂成其分量波长。所述波长反射到检测器140上，检测器拾取个别波长。分光计传感器100能够获取环境的光学信息，所述光学信息能够接着被收集、传输并处理。

分光计传感器100被集成到便携式装置(例如，手持式装置，例如PDA、MP3播放器、PMP播放器以及移动电话、表状装置、笔状装置等)中，因此形成具有光谱感测和信息传输/接收能力的装置。分光计传感器100经具体化为便携式装置，使得其可在任何位置中使用、从一个地方运输到另一个地方且放置在任何需要处。

由分光计传感器100收集的环境光可由嵌入便携式装置中的微处理器处理或传输到单独服务器以供进一步分析。便携式装置还可用以从用于处理由分光计传感器100获得的光学信息的单独服务器下载数据或程序。

图2为根据一特定实施例的便携式装置200的示意框图。便携式装置200可容纳第一传感器210、第二传感器220、处理器230、存储器240以及显示器250。在一个特定实施中，第一传感器210包含分光计传感器。虽然图2中仅示出两个传感器，但是应了解，在不偏离本发明的情况下，在其它实施中可利用额外或更少的传感器。在一些实例中，便携式装置200可包含执行各种参数(例如，装置位置、加速度、旋转、速度等)的连续实施感测的多个传感器。便携式装置200还可包含用以接受操作者输入且提供输出数据的装置和电路系统，包含与显示器250集成的触摸屏260、一或多个按钮270、一或多个小键盘280和/或音频装置290(例如，扬声器和/或麦克风)。

通过网络耦合到便携式装置200的服务器可经配置以从第一传感器210和第二传感器220接收信息。所述服务器还可经配置以执行执行背景环境推断的计算且允许便携式装置200正常地执行功能。

用户背景环境可通过接收由耦合到便携式装置200的传感器或多个传感器输出的信息来确定。在一个实例中，从一个传感器接收的信息可足以确定便携式装置200目前在特定背景环境内。在另一实例中，可能需要多个传感器。在这个实施例中，从所述分光计传感器获得的所述光学信息只是用以确定用户背景环境的一段信息。

图3示出示例性通信系统300，通过所述通信系统，便携式装置302(例如，便携式装置200)根据本文中所描述的方法与服务器308通信。系统300包含经由网络304与服务器308通信的便携式装置302。服务器308操作以将服务提供给便携式装置302。服务器308包含处理器320和存储器322。经预定以匹配一或多个背景环境的光学数据和本文中所描述的方法步骤中的一或多个方法步骤可存储在存储器322中。此外，处理器320可充当用于执行存储在存储器322中的所述一或多个方法步骤的装置。

图4为适合于实施本发明的实施例的系统400的框图，所述系统包含便携式装置200及302和服务器308。系统400(例如，手机(cell phone)、移动电话、智能手机、个人计算机和/或网络服务器的部分)包含用于传达信息的总线402或其它通信机构，其互连子系统和组件，包含以下各者中的一或多个：处理组件404(例如，处理器、微控制器、数字信号处理器(DSP)等)、系统存储器组件406(例如，RAM)、静态存储组件408(例如，ROM)、网络接口组件412、显示组件414(或替代地，到外部显示器的接口)、输入组件416(例如，小键盘或键盘)以及光标控制组件418(例如，鼠标垫)。

根据本发明的实施例，系统400通过执行系统存储器组件406中所含的一或多个指令的一或多个序列的处理器404来执行特定操作。这些指令可从另一计算机可读媒体(例如静态存储组件408)读取到系统存储器组件406中。这些指令可包含用以收集并特性化环境光以及确定关于特定背景环境的概率的指令。在其它实施例中，硬线式电路系统可替代或组合用于实施本发明的一或多个实施例的软件指令而使用。

逻辑可编码在非暂时性计算机可读媒体中，非暂时性计算机可读媒体可指参加将指令提供给处理器404以供执行的任何媒体。这个媒体可采用许多形式，包含(但不限于)非易失性媒体、易失性媒体以及传输媒体。在各种实施中，易失性媒体包含动态存储器(例如，系统存储器组件406)，且传输媒体包含同轴电缆、铜线以及光纤，包含包括总线402的线。存储器可用以存储经预定以匹配特定背景环境的光学数据。在一个实例中，传输媒体可采用声波或光波(例如，在无线电波和红外线数据通信期间所产生的声波或光波)的形式。计算机可读媒体的一些普通形式包含(例如)RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或匣、载波或计算机适合于进行读取的任何其它媒体。

在本发明的各种实施例中，用以实践本发明的指令序列的执行可由系统400来执行。在各种其它实施例中，通过通信链路420(例如，图3的网络304、LAN、WLAN、PTSN或各种其它有线或无线网络)耦合的多个系统400可执行用以彼此配合以实践本发明的指令序列。系统400可通过通信链路420和通信接口412传输以及接收消息、数据、信息以及指令，包含一或多个程序(即，应用代码)。接收的程序代码可在接收时由处理器404执行和/或存储在磁盘驱动器组件410或某一其它非易失性存储组件中以供执行。

现在参看图5，现将描述根据一实施例的执行背景环境推断的方法500。在初始步骤505中，在集成于便携式装置中的分光计传感器处收集环境光。可选择要收集的频率的所要范围。举例来说，所述分光计传感器能够调节到能够接收肉眼不可见的波长(例如，无线电波和微波)确定无线电、电视或微波是否在用户附近。所述分光计传感器还能够调节到红外线波长以识别其它人类在所述区域中的存在。

在步骤510处，特性化所述收集到的光以获得光学信息。所述分光计传感器通过(例如)确定所述收集到的环境光的强度、图案以及频率来特性化所述光。不同环境或背景环境产生不同的光频率、强度以及图案。使用这个原理，人们能够使用分光计传感器分析来自未知环境的环境光并且比较所得光学信息与从已知环境获得的光学数据。

在步骤515处，比较所述获得的光学信息与经预定以匹配一或多个背景环境的光学数据。对应于不同特定情形或背景环境类别(例如，在特定房间中、靠近特定人员、当日时间、天气等)的若干预定光谱可用以执行与获得的光谱的比较，因此确定用户是否处于相同情形中。可辨识不同的光谱图案，例如对应于以下各者的图案：天气条件的变化(例如，日光变化)、人员进入或离开所述区域、例如人追踪(例如，在建筑物和医院中)或物品追踪(例如，家中或博物馆中的高价值物品)的动态事件的检测或涉及图案辨识的其它应用。

在一个实施例中，为了检测人员或物品，存储基于针对那个特定人员或物品的接收到的光谱内容的预定图案。接着，每当这个图案由所述系统辨识为存储于数据库中的人员或物品时，可将所述人员或物品存在的通知发送到用户。此外，物品或人员的移动也能够通过添加例如光谱变化的有多快或光谱是否从一个类型变到另一类型的其它特性来检测。所述信息也能够通过比较所述分光计传感器在特定空间中获得的光谱来采集。

另外，当区域的环境光的任何或特定变化发生时，分光计传感器可通过环境光的光谱的变化来检测所述变化。光谱中的所述变化可能由所述区域内所发现的环境光的变化(例如，那个区域中所发现的与天气或当日时间相关联的日光变化、穿过窗进入所述区域中或例如灯的人造光的开/关状态的变化)导致。而且，静态或移动物品和人员的存在也可能影响区域的部分的环境光光谱。这些不同变化可用以辨识所述区域内的不同情形且根据所述变化来执行动作。区域中的光谱的变化可能由来自所述区域外的光的变化(例如，阳光、来自另一空间的人造光的闪光等)、故意进行的变化(某人将闪光灯瞄准分光计)或(例如)人员进入房间或人员在房间中走动导致。

在步骤520处，从所述比较推断特定背景环境的至少一个特性。举例来说，所述至少一个特性可包含位置、当日时间、社会环境等。

在步骤525，确定所述便携式装置在所述特定背景环境中的概率。尽管仅来自所述分光计传感器的光学信息可足以确定这个概率，但是可使用更多传感器而以所述便携式装置在所述特定背景环境内的增加的概率做出确定。在一些实施例中，所述分光计传感器进一步连接到适合于估计所述概率的处理单元。

基于由所述分光计传感器输出的所述信息，可确定或指派与所述用户在所述特定背景环境内的确定相关联的第一概率。所述概率可为数值(例如，0与1之间的值范围中的0.2)或可为定性描述(例如，“低”或“高”)。在一些实施例中，进行所述概率是否超过或越过某一阈值的确定。所述阈值可与所述便携式装置在所述特定背景环境内的确定性等级相关联。如果所述概率超过所述阈值，那么可确定所述便携式装置在所述特定背景环境内。

如果所述概率未超过所述阈值，那么可从其它传感器(例如，所述便携式装置上的传感器)采集其它背景环境信息。其它传感器可包含局部传感器(即，共同位于所述便携式装置内)，例如用以确定移动的运动传感器、用以确定声音的音频传感器、用以测量大气压力的大气压传感器、用以确定地球磁场的方向的地磁传感器、用以测量心率或血压的生物传感器、用以检测触摸或指纹的触摸传感器、用以感测用户体验到的重力和任何其它线性力的方向的加速度计、用以测量科里奥利效应、热变化以及旋转的陀螺仪、用以确定温度的温度传感器以及用以确定湿度的湿度传感器。所述其它传感器还可包含非局部传感器，即，未共同位于所述便携式装置上的传感器，例如用以确定日历约会或电子消息的传感器。基于由所述其它传感器输出的信息，可计算与所述用户在特定背景环境内的所述确定相关联的第二概率。

在某些实施例中，所述第一概率和所述第二概率经组合以确定组合概率。举例来说，确定所述组合概率可包含将所述第一概率与所述第二概率相加。也可确定所述第一概率与所述第二概率的加权组合。

如果所述组合概率超过第二阈值，那么所述用户可以较高的确定性等级经确定在所述特定背景环境内。可使用更多传感器，直到所述组合概率超过预定阈值且所述用户可以预定的高确定性等级经确定在所述特定背景环境内。一旦所述概率经确定，所述概率即可输出到或提供给所述用户。

作为一特定实例，确定装置在一给定背景环境(例如，所述装置的环境和位置，例如在用户的口袋中、在用户的手中、在背包内、在用户的臀部处、在臂上、在会议室中、在移动的车辆中等)内可允许便携式装置上的设置被修改。所述设置可包含功率、用户接口、语音邮件、电子邮件、文字、Wi-Fi扫描或其组合。在一些实施例中，修改所述设置包含减少电力或存储器使用、使通知推迟或其组合。所述设置通常在所述便携式装置在特定背景环境内的概率越过阈值的情况下被修改，且可通知所述用户。

存在本文中所描述的概率可用以输出背景环境类别或形成背景环境声明的广泛多种方式。举例来说，如果所述便携式装置在第一特定背景环境中的概率紧密地匹配所述便携式装置在第二特定背景环境中的概率，那么能够输出“未知决策”。如果所述便携式装置在一个特定背景环境中的概率超过所有其它概率，那么能够输出背景环境类别。

所述便携式装置可经配置而以针对所述特定背景环境定制的方式执行。便携式装置(例如，移动电话)(其确定便携式装置的特定背景环境为人很多的会议室)可拒绝或忽略(例如)来电。在另一实例中，当便携式装置在用户的口袋中时，用户可能无法从全球定位系统(GPS)模块或Wi-Fi扫描的操作获益。如果便携式装置确定所述便携式装置可能在用户的口袋中，那么所述装置可停用GPS天线/模块和Wi-Fi扫描以节省电力。在又一实例中，如果便携式装置确定用户在卧室中睡觉，那么电子邮件和语音邮件通知可被推迟，直到早晨为止。确定便携式装置在特定背景环境内可允许便携式装置在特定背景环境可能不合适的时候停用消耗电力的传感器。便携式装置也可能在检测到特定背景环境的适合性之后启用传感器和特征。

在一个实施例中，训练机器学习系统(例如，系统400)。机器学习涉及使计算机能够从数据学习的算法或技术。机器学习包含用测试数据训练计算机算法的过程。所述算法是用已知输入进行训练且通过一或多个统计方法来学习这些图案。所述算法可接着基于其在训练期间已见过的输入将新输入适当地分类。所述算法必须能够在已对学习数据集训练之后对新的未见过的实例准确地执行。

在本发明中，训练包含将分光计传感器定位在特定背景环境中、选取所述特定背景环境中的频率的一或多个所要范围、从所述分光计传感器接收光学数据以及将所述光学数据联系到所述特定背景环境。举例来说，可连续地收集冬季中下午3:30的来自起居室的环境光历时一周。此为提供给所述算法的已知输入。一旦所述系统经训练以辨识这一特定背景环境，提供新输入。收集环境光，特性化所述收集到的光以获得光学信息，并且将所述光学信息提交给所述机器学习系统。所述系统确定新的光学信息与用以训练所述系统的特定背景环境的光学信息之间的匹配有多好。接着能够确定所述便携式装置在所述特定背景环境中的概率，并且在一些情况下，将所述概率提供给用户。这个概率可与根据其它传感器的输入确定的概率组合。

本发明提供简单、低成本且低功率的分光计在便携式装置上的使用以用于背景环境感知应用。本文中所描述的方法允许以比常规摄像机低得多的电力消耗使用背景环境的光信息。这是因为并不要求光的空间分辨率，且因此传感器能够用摄像机通常所需要的像素的一小部分制成。而且，扫描所需的时间比摄像机所需的时间更宽松，因为时间延迟转变成传统摄像机中的模糊。

如所属领域的技术人员至此将了解并且取决于即将到来的特定应用，在不脱离本发明的精神和范畴的情况下，可对本发明的装置的材料、设备、配置以及使用方法做出许多修改、替换以及变化。根据这一情况，本发明的范畴不应限于本文中所说明且描述的特定实施例的范畴(因为所述特定实施例仅以其某些实例来说明)，而是应与下文所附加的权利要求书和其功能等效物的范畴完全相当。

Claims

1.一种执行背景环境推断的方法，其包括：

在集成于便携式装置中的分光计传感器处收集环境光；

特性化所述收集到的光以获得光学信息；

比较所述光学信息与经预定以匹配一或多个背景环境的光学数据；

基于所述比较来推断特定背景环境的至少一个特性；以及

确定所述便携式装置在所述特定背景环境中的概率。

2.根据权利要求1所述的方法，其中收集环境光进一步包括选择要收集的频率的所要范围。

3.根据权利要求1所述的方法，其进一步包括收集其它背景环境数据。

4.根据权利要求3所述的方法，其中所述其它背景环境数据包括从其它传感器收集的数据。

5.根据权利要求4所述的方法，其中所述其它传感器包括局部和/或非局部传感器。

6.根据权利要求3所述的方法，其进一步包括组合所述其它背景环境数据与所述光学信息。

7.根据权利要求1所述的方法，其进一步包括输出所述概率。

8.根据权利要求1所述的方法，其进一步包括输出背景环境类别。

9.根据权利要求1所述的方法，其中所述特定背景环境包括时间、位置、社会环境、速度、方向或其组合。

10.根据权利要求1所述的方法，其进一步包括基于所述概率修改所述便携式装置上的设置。

11.根据权利要求10所述的方法，其中在所述概率越过阈值的情况下修改所述设置。

12.根据权利要求10所述的方法，其中所述设置包括功率、用户接口、语音邮件、电子邮件、文字、Wi-Fi扫描或其组合。

13.根据权利要求12所述的方法，其中修改所述设置包括减少电力或存储器使用、使通知推迟或其组合。

14.根据权利要求10所述的方法，其进一步包括通知所述用户所述设置将被修改。

15.一种包括多个机器可读指令的非暂时性机器可读媒体，所述多个机器可读指令在由一或多个处理器执行时适合于使所述一或多个处理器执行包括以下各者的方法：

在集成于便携式装置中的分光计传感器处收集环境光；

特性化收集到的光以获得光学信息；

基于所述比较来推断特定背景环境的至少一个特性；以及

确定所述便携式装置在所述特定背景环境中的概率。

16.一种执行背景环境推断的方法，其包括：

训练机器学习系统，所述训练包括：

将分光计传感器定位在特定背景环境中；

选取所述特定背景环境中的频率的一或多个所要范围；

从所述分光计传感器接收光学数据；以及

将所述光学数据联系到所述特定背景环境；

在集成于便携式装置中的分光计传感器处收集环境光；

特性化所述收集到的光以获得光学信息；以及

将所述光学信息提交给所述机器学习系统。

17.根据权利要求16所述的方法，其进一步包括确定所述便携式装置在所述特定背景环境中的概率。

18.根据权利要求17所述的方法，其进一步包括基于所述概率修改所述便携式装置上的设置。

19.根据权利要求16所述的方法，其进一步包括收集其它背景环境数据并且将所述数据与所述光学信息组合。

20.根据权利要求16所述的方法，其进一步包括输出所述概率。

21.一种移动装置，其包括：

分光计传感器；

存储器装置，其存储经预定以匹配一或多个背景环境的光学数据；以及

一或多个处理器，所述一或多个处理器与所述存储器装置通信且可操作以：

选取频率的所要范围以收集光学信息；

在所述分光计传感器处收集环境光；

特性化所述收集到的光以获得所述光学信息；

比较所述光学信息与所述光学数据；

基于所述比较来推断特定背景环境的至少一个特性；以及

确定所述移动装置在所述特定背景环境中的概率。

22.根据权利要求21所述的移动装置，其中所述一或多个处理器进一步可操作以输出背景环境类别。

23.根据权利要求21所述的移动装置，其中所述一或多个处理器进一步可操作以输出所述概率。

24.根据权利要求21所述的移动装置，其中所述一或多个处理器进一步可操作以收集其它背景环境数据并且将所述数据与所述光学信息组合。

25.一种用于执行背景环境推断的系统，其包括：

用于在集成于便携式装置中的分光计传感器处收集环境光的装置；

用于特性化所述收集到的光以获得光学信息的装置；

用于比较所述光学信息与经预定以匹配一或多个背景环境的光学数据的装置；

用于基于所述比较来推断特定背景环境的至少一个特性的装置；以及

用于确定所述便携式装置在所述特定背景环境中的概率的装置。

26.根据权利要求25所述的系统，其进一步包括用于输出背景环境类别或所述概率的装置。

27.根据权利要求25所述的系统，其进一步包括用于收集其它背景环境数据并且将所述数据与所述光学信息组合的装置。