CN110263611B - 上下文感知定位、映射和跟踪 - Google Patents

Abstract

本申请涉及上下文感知定位、映射和跟踪。示范性方法、设备以及系统推断用户或装置的上下文。根据所述推断的上下文配置计算机视觉参数。根据所述配置的计算机视觉参数执行计算机视觉任务。所述计算机视觉任务可以通过以下各者中的至少一者：所述装置的环境的视觉映射、所述装置或对象在所述装置的所述环境内的视觉定位，或所述装置在所述装置的所述环境内的视觉跟踪。

Description

上下文感知定位、映射和跟踪

分案申请的相关信息

本申请是国际申请号为PCT/US2014/023162、申请日为2014年3月11日、发明名称为“上下文感知定位、映射和跟踪”的PCT申请进入中国国家阶段后申请号为201480013564.7的中国发明专利申请的分案申请。

技术领域

本文披露的主题一般涉及映射、定位和跟踪。

背景技术

计算机视觉系统一般包含获取、处理、分析以及理解图像以及一般来说来自现实世界的高维数据以产生数字或符号信息(例如决策形式)的方法。计算机视觉中的一个已知问题为确定图像数据是否含有特定对象、特征或活动。尽管人类可能能够快速解决上述问题，但计算机视觉系统领域仍为针对任意境遇中的任意对象的一般情形的发展中理解。

稳定计算机视觉算法对扩增实境使用情形高度有益。可能存在多种算法和参数来实现具体任务。许多计算机视觉算法取决于参数或特征的选择并且取决于具体情况的特定调整。没有一组通用参数或算法可以对全部情况起作用并且难以不使用额外信息就推断出这些参数“在运行中”。

因此，需要改善的计算机视觉技术。

发明内容

本文所披露的实施例可能涉及执行计算机视觉任务的方法。所述方法可包含推断用户或装置的上下文，并且根据推断的上下文配置计算机视觉任务。所述方法可进一步包含执行包含以下各者中的至少一者的计算机视觉任务：视觉映射装置的环境、在装置的环境内视觉定位装置或对象，或在装置的环境内视觉跟踪装置。

本文所披露的实施例可涉及具有执行一种方法的指令的机器可读非暂时性存储媒体，所述方法包含计算机视觉任务。所述方法可进一步包含推断用户或装置的上下文，并且根据推断的上下文配置计算机视觉任务。所述方法可进一步包含执行包含以下各者中的至少一者的计算机视觉任务：视觉映射装置的环境、在装置的环境内视觉定位装置或对象，或在装置的环境内视觉跟踪装置。

本文所披露的实施例也可以涉及一种设备，其包含用于执行计算机视觉任务的装置。所述设备进一步包含推断用户或装置的上下文，并且根据推断的上下文配置计算机视觉任务。所述设备可进一步包含执行包含以下各者中的至少一者的计算机视觉任务：视觉映射装置的环境、在装置的环境内视觉定位装置或对象，或在装置的环境内视觉跟踪装置。

本文所披露的实施例可进一步涉及一种数据处理系统，其包含处理器和可配置以存储用以执行计算机视觉任务的指令的存储装置。数据处理系统经进一步配置以推断用户或装置的上下文，根据推断的上下文配置计算机视觉任务以及执行计算机视觉任务。计算机视觉任务针对以下各者中的至少一者进一步配置：视觉映射所述装置的环境、在所述装置的所述环境内视觉定位所述装置或对象，或在所述装置的所述环境内视觉跟踪所述装置。

其它特征和优势将从附图及具体实施方式中显而易知。

附图说明

图1是在一个实施例中可实践本发明的方面的系统的框图；

图2是说明在一个实施例中包含传感器和示范性处理模块的系统的子区段的框图；以及

图3说明用于定位、映射和跟踪的方法的一个实施例的流程图。

具体实施方式

本文中所用的词语“示范性”或“实例”意思是“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

图1为说明可在其中实践本文中描述的实施例的示范性数据处理系统的框图。所述系统可为装置(例如装置100)，其可包含一或多个处理器101、存储器105、I/O控制器125以及网络接口110。装置100还可包含耦合到一或多个总线或信号线的若干装置传感器，所述总线或信号线进一步耦合到处理器101。应了解，装置100还可包含显示器120、用户接口(例如键盘、触摸屏或类似装置)、电源装置121(例如电池)，以及通常与电子装置有关的其它组件。在一些实施例中，装置可为移动或非移动装置。网络接口110还可耦合到若干无线子系统115(例如蓝牙166、WiFi 111、蜂窝161或其它网络)以经由无线链路将数据流发射到无线网络/从无线网络接收数据流，或可为用于直接连接到网络(例如因特网、以太网或其它无线系统)的有线接口。因此，装置可为：移动装置、无线装置、蜂窝电话、个人数字助理、移动计算机、可穿戴式装置(例如头戴式显示器、虚拟现实眼镜等)、机器人导航系统、平板计算机、个人计算机、膝上型计算机，或具有处理能力的任何类型的装置。

装置(例如装置100)可包含传感器，例如时钟130、环境光传感器(ALS)135、加速计140、陀螺仪145、磁力计150、温度传感器151、气压传感器155、红色-绿色-蓝色(RGB)颜色传感器152、紫外线(UV)传感器153、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、蓝牙166、WiFi 111、蜂窝161、接近度传感器167和/或全球定位传感器(GPS)160。在一些实施例中，麦克风165、相机170和/或无线子系统115用作传感器以分析装置的环境。在一些实施例中，多个相机集成或接入到装置。举例来说，移动装置可具有至少一前部和后部安装的相机。在另一个实例中，机器人导航系统可具有多个不同相机来捕获机器人的多个视点。在一些实施例中，其它传感器也可以具有多个副本或版本。

存储器105可耦合到处理器101以存储指令供处理器101执行。在一些实施例中，存储器105为非暂时的。存储器105还可存储一或多个模型或模块以实施下文描述的实施例。存储器105还可存储来自集成或外部传感器的数据。此外，存储器105可存储应用程序接口(API)用于接入模块171(例如应用数据模块、上下文模块、定位模块、映射模块以及跟踪模块)。存储器105还可存储描述预定义特征调度信息的配置文件、训练数据样本、传感器数据样本，或关于类别或特征的功率简档。虽然模块171说明为与装置100中的其它元件分离，但模块171可完全或部分由图1中说明的其它元件实施，例如在处理器101和/或存储器105中，或在装置100的另一处理器和/或存储器中，或在装置100的一或多个其它元件中。关于模块171的实施的额外细节在下文描述。

应了解，本文中描述为将在下文中描述的系统和方法的实施例可以通过装置和/或装置的其它电路和/或其它装置的处理器101执行指令(例如如存储于存储器105或其它元件中)来实施。具体来说，装置的包含(但不限于)处理器101的电路可在程序、工艺路线或指令的执行控制下操作，来执行根据本发明的实施例的的方法或工艺。举例来说，此程序可在固件或软件中实施(例如存储在存储器105和/或其它位置中)且可由处理器来实施，例如处理器101和/或装置的其它电路。另外，应了解，术语处理器、微处理器、电路、控制器等是指能够执行逻辑、命令、指令、软件、固件、功能性等的任何类型的逻辑或电路。

此外，应了解，本文描述的一些或所有功能、引擎或模块可由装置本身执行，且/或本文描述的一些或所有功能、引擎或模块可由通过I/O控制器125或网络接口110(无线方式或有线方式)连接到装置的另一系统执行。因此，一些和/或所有功能可由另一系统执行，且结果或中间计算可传递回到装置。在一些实施例中，此另一装置可包括经配置以实时或近实时处理信息的服务器。在一些实施例中，另一装置经配置以例如基于装置的已知配置预先确定结果。此外，图1中说明的元件的一或多者可从装置100省略。举例来说，传感器130-165中的一或多者可在一些实施例中省略。

装置(例如装置100)可使用一或多个传感器或应用数据来搜集环境信息并且推断与装置有关的上下文。在一个实施例中，上下文感知定位、映射和跟踪(CALMT)可确定以下各者中的一或多者：仅举几例，基于特征施加哪一个图像、对象或环境的适合模型或图示、既定定位、映射和跟踪任务的优化实施、最佳参数设定、高效传感器抽样策略以及何时开始映射、定位或跟踪。

如本文所用的上下文和背景信息可为可用于表征装置(例如装置100)的境遇或装置的用户的境遇任何信息。在一些实施例中，上下文可包含以下各者中的一或多者：如下文更详细描述位置、运动、活动和环境。

图2是说明在一个实施例中包含传感器205和示范性处理模块171的装置100的子区段的框图。模块171可例如作为装置100的子组件直接实施在硬件或固件中，其中专门处理器或实施方案共享中央处理单元(例如处理器101)。或者，模块可实施在由处理器执行的软件中，或利用软件与硬件的组合实施。软件模块可驻留在存储器(例如存储器105)或此项技术中已知的其它形式的存储媒体中。本文所述的模块可代表用于进行计算机视觉任务的方面的功能性方法，所述任务可在多种替代实施方式中实施。尽管定位模块215、映射模块210、跟踪模块220、上下文模块225以及应用数据模块230分别在图2中说明，但这些模块中的一或多者的功能组合或可以与上文所述的方式不同的方式分布。举例来说，上下文模块225和跟踪模块220或定位模块或映射模块可在一些实施例中组合。类似地，上下文模块和应用数据模块可在一些实施例中组合。在一些实施例中，如本文所述的CALMT作为模块实施并且上述模块(例如跟踪、映射、定位、分类器、上下文和应用数据)为CALMT系统或模块的子模块或组件。模块的其它组合也可能使用任何模块171。

传感器205可包括以下各者中的任何一或多者：时钟130、环境光传感器(ALS)135、加速计140、陀螺仪145、磁力计150、温度传感器151、麦克风165、气压传感器155、相机170、红色-绿色-蓝色(RGB)颜色传感器152、紫外线(UV)传感器153、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、蓝牙166、WiFi 111、蜂窝161、接近度传感器167和/或全球定位传感器(GPS)160或其它传感器。

在一个实施例中，定位、跟踪和映射模块可执行如下文更详细描述的定位、跟踪和映射任务中的一或多者。在一个实施例中，定位、跟踪和映射模块可接收或请求来自上下文模块225的上下文确定。上下文模块225可从传感器205和应用数据模块230请求和接收传感器数据。在其它实施例中，定位、跟踪和映射模块可经配置以不借助上下文模块225来执行上下文确定，并且定位、跟踪和映射模块可从传感器205和应用数据模块230直接请求和接收数据。

图3说明在一个实施例中用于上下文感知定位、映射和跟踪的方法的流程图。在方框305处，CALMT可推断用户或装置的上下文。在其它实施例中，CALMT可从配置文件接收上下文或直接从上下文模块接收上下文。上下文确定的细节在下文中更详细地论述。

在方框310处，CALMT可根据推断的上下文配置计算机视觉任务。举例来说，计算机视觉任务可为多个定位、映射和跟踪中的一或多者。推断的上下文可来自一或多个传感器流(例如传感器205)或应用(例如应用数据模块230)。举例来说，视装置或用户的环境(例如位置、环境、活动或运动)而定，CALMT可指的是匹配优化参数以应用特定定位、映射和跟踪实施方式。

在方框315处，CALMT可执行计算机视觉任务。举例来说，CALMT可根据优化简档或配置(例如根据上下文配置的计算机视觉参数)执行定位、映射和跟踪中的一或多者。

在一个实施例中，上下文涉及装置或用户的位置、运动、活动和环境。CALMT可获得关于装置和用户操作的情况以及基于规则，或智能刺激的信息，可据此反应。在确定上下文中，CALMT或上下文模块可关于装置和/或用户的当前境遇作出特定假设或推断。在一些实施例中，装置可不具有相关用户(例如机器人导航)并且上下文可主要与无关于任何用户的装置的环境和周围事物相关。

在一些实施例中，上下文可通过上下文引擎或模块确定。上下文引擎或模块可为来自CALMT的独立引擎或模块，或上下文引擎或模块可集成到CALMT中。

在一些实施例中，当装置为移动装置(例如智能电话、导航、可穿戴计算机或其它电子携带型装置)时，CALMT可使用用户通常如何与其移动装置相互作用(例如活动上下文)来确定上下文。举例来说，如果移动装置中的加速计表面上记录随机读数，那么上下文引擎或CALMT在确定加速计耦合到移动装置时可推断用户摆弄移动装置。

CALMT可从一或多个装置传感器(例如传感器205)读取原始传感器数据。举例来说，时钟130、环境光传感器(ALS)135、加速计140、陀螺仪145、磁力计150、温度传感器151、麦克风165、气压传感器155、相机170、红色-绿色-蓝色(RGB)颜色传感器152、紫外线(UV)传感器153、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、蓝牙166、WiFi 111、蜂窝161、接近度传感器167和/或全球定位传感器(GPS)160。装置可使用传感器来推断装置的上下文(即位置、运动、活动和环境)。举例来说，CALMT可使用传感器来检测适用于确定上下文的环境内的对象和特征。

在一些实施例中，除了原始传感器数据之外CALMT可读取或处理软传感器数据和应用数据(例如应用数据模块230)，或者CALMT可读取或处理软传感器数据和应用数据(例如应用数据模块230)代替原始传感器数据。应用数据可包含来自一或多个行动或装置应用的数据，例如：仅举几例，日历、地理标记、社交媒体数据(例如脸谱网(facebook)、推特(twitter)、商务化人际关系网(linkedin)等)、电池、当日时间。举例来说，基于与社交网络朋友的紧密靠近或“登记”位置可用于确定装置位置或推动力。

在一些实施例中，来自一或多个传感器或应用的利用数据，CALMT可推断装置或用户的上下文。举例来说，CALMT可读取蓝牙数据来确定高密度的附近装置为广播蓝牙信号并且因此移动装置可能处于城市环境中，例如大型购物广场、办公室空间、农贸市场或存在大量紧密靠近的其它人的其它环境(例如位置)

在一些实施例中，位置上下文可包含：仅举几例，家、办公室、走廊、商场、购物区域、餐馆、室内以及户外。

在一些实施例中，运动上下文可包含：仅举几例，静止、行走、奔跑、坐、站立、驾驶汽车、骑自行车、乘火车、乘飞机以及摆弄装置。

在一些实施例中，活动上下文可包含：仅举几例，观看电视、玩耍、阅读、书写、与人见面、观看屏幕、做报告、进食、购物、烹饪、开会、单独工作、参与谈话、锻炼、打电话、收听音乐以及睡觉。

在一些实施例中，环境上下文可包含：仅举几例，阳光充足、白天、夜间、多云、下雨以及下雪。如本文所用，如果装置在用户个体上/附近，那么环境上下文涉及具体装置(例如执行CALMT或与CALMT集成的装置)或用户的环境。

在一个实施例中，上下文可进一步分类成位置、运动、活动和环境的子类。举例来说，位置上下文可包含室内上下文、户外上下文、整齐上下文、杂乱上下文。此外，运动上下文可包含激发或未激发上下文。如本文所用，上下文可为两种或两种以上兼容上下文(例如室内、整齐和激发，或许多组合)。

在一些实施例中，CALMT可使用GPS(例如GPS 160)确定可见卫星数目和相应接收到的信号强度(RSSI)。举例来说，基于卫星接收和RSSI，CALMT可推断装置在室内还是在户外。举例来说，无/弱卫星接收和低RSSI可推断装置在室内。

在一些实施例中，CALMT可使用地理标记(例如来自应用数据模块230或CALMT可存取的应用数据)来确定上下文。CALMT可使用地理标记来发现多种位置特定信息。举例来说，对于既定位置(例如从GPS确定的纬度和经度坐标)，基于位置的信息、统计、景观/建筑特征或其它来源为可用的。此外，存在特定位置的大量地理标记信息可推断存在环境的动态程度。举例来说，在一个实施例中，旅游区和大型购物广场可具有大量地理标记信息。

在一些实施例中，CALMT可使用WiFi(例如WiFi 111)来确定上下文。举例来说，可见存取点和其相应RSSI的数目可指示装置在室内还是在户外。此外，基于WiFi的定位可用于推断建筑中的房间(例如会议室、办公室、会客室、家等)。在一些实施例中，推断的位置可与映射比较以进一步确定具有相关语言意义的更精确位置(例如会客室对比办公室)。另外，WiFi接点的量/可用性可指示环境的动态程度。举例来说，办公室或大型购物广场可具有大于平均数目的WiFi接点并且为动态环境。

在一些实施例中，CALMT可使用麦克风(例如麦克风165)来检测装置或用户的环境内的音频方向或音频水平。在一些实施例中，CALMT可执行对象声音检测来确定语音环境(即存在或不存在语音)、音频集群(可能具有预修标签)以及使用这一信息推断用户和装置境遇。举例来说，基于处理麦克风传感器数据或音频样本，CALMT可确定装置或用户在室内还是在户外，并且用户是在会客、打电话、进行电话会议还是单独工作(仅举几例)。此外，CALMT可使用音频环境中的改变来识别环境的动态程度。举例来说，测量音频信号中的混响(即延迟扩展)有助于确定声音是否被内表面反射(即室内)。在一个实施例中，举例来说，响亮的声级可确定装置在热闹区域(即动态环境)，而安静的声级可推断静态环境。在一些实施例中，如果装置具有多个麦克风，那么可定位声音来获得音频方向性并且这一信息可进一步用于理解与用户接近的环境的哪一区域发生改变。

在一些实施例中，CALMT可使用蓝牙(例如蓝牙166)扫描来指示附近装置(例如移动设备、计算机、配件等)。举例来说，在一些实施例中，高蓝牙装置数或广播密度可推断用户周围的环境中有较多装置。在一些实施例中，所测量的值的改变(例如环境中的蓝牙装置数目提高或降低)可推断环境为动态的。

在一些实施例中，CALMT可使用蜂窝信号强度(例如RSSI)来提供装置在室内还是在户外的指示。举例来说，较低信号强度可推断装置在室内。

在一些实施例中，CALMT可使用加速计(例如加速计140)来确定装置是在坐、站立、行走、奔跑、驾驶、飞行的用户身上，或者装置静置(即静止)。举例来说，在一些实施例中，如果装置处于驾驶状态，那么其更可能在户外。在一些实施例中，加速计也可以用于推断装置的位置。举例来说，CALMT可确定装置是在用户的衬衫口袋、裤子口袋、手中、皮套还是相对于用户的其它位置中。

在一些实施例中，CALMT可使用环境光传感器(例如ALS 135)、UV传感器和RGB传感器来确定与室内或户外相符的光强度值。举例来说，户外观测的光强度值通常比室内观测的光强度值的范围大许多。此外，在一些实施例中，如果ALS输出极高读数，那么装置在户外的可信度非常高。在一些实施例中，CALMT可使用一或多个集成到装置的前部和/或背部中的ALS并且使用平均或组合读数来确定上下文。

在一些实施例中，CALMT可使用一或多个相机(例如相机170或RGB传感器)来推断上下文。举例来说，通过计算对相机(例如前部和/或背部相机)中的全部像素取平均值的红、绿和蓝强度，可评定光的颜色。在一些实施例中，光的颜色可向CALMT指示光是日光还是内部(例如荧光)光。此外，图像数据可经进一步加工以推断草、天空等的存在来检测在户外。在一些实施例中，CALMT也可以使用图像数据来推断天花板和例如桌子、椅子、计算机的对象的存在，以确定装置和用户在室内。

在一些实施例中，CALMT可使用装置的时钟(例如时钟130)来推断上下文。举例来说，如果装置为通常由用户携带的移动装置，那么在一天的特定时间，用户更可能在室内(例如深夜或清晨)。

在一些实施例中，CALMT可使用温度传感器(例如温度传感器151或气压传感器155)或其它来源以确定环境天气。举例来说，如果装置为通常由用户携带的移动装置，那么特定天气(例如雪、雨或极冷或极热)可指示装置和用户在室内的可能性大于正常值。在其它实施例中，CALMT可查询远程服务器(例如互联网查询或行动应用)来确定上下文所使用的最新天气信息。

在一些实施例中，CALMT可使用一或多个传感器(例如加速计和GPS)来确定装置的“激发”状态。举例来说，快速或极端移动和运动(即奔跑)，装置的用户可能处于加强状态(例如匆忙)，并且CALMT可进一步推断跟踪的性能应提高。

在一些实施例中，CALMT可使用一或多个传感器(例如麦克风、蓝牙和GPS)来确定装置的“杂乱”状态。举例来说，CALMT可基于上文所述的动态上下文确定装置处于具有多个邻近对象的多特征环境中。此外，在一些实施例中，CALMT可确定装置处于购物位置时的杂乱环境，例如从WiFi、GPS、地理标记或其它位置确定与当前位置的地图组合确定在商场或仓库内。在其它实施例中，CALMT可查询远程服务器(例如互联网查询或行动应用)来确定额外位置信息，用于确定当前位置是否可能杂乱。

在一些实施例中，CALMT可使用一种地理标记、GPS和其它技术来推导关于位置的信息，从而确定装置的“受限”状态。举例来说，在博物馆或私人建筑中，一般计算机视觉和具体映射可能基于拥有者希望保持保密性或限制特定技术而受限。

在一些实施例中，上述上下文检测方法和技术并非确定如本文所述的上下文的所有详尽可能方式，并且仅打算是待确定装置或用户的何种上下文的几个实例。

在一些实施例中，在一个实施例中，CALMT可基于计算机视觉的配置(例如上下文参数或计算机视觉任务参数)，基于映射、定位或跟踪的算法或任务来建立上下文。举例来说，配置可包含以下各者中的一或多者：控制计算机视觉算法或任务的性能的多个参数、CV算法或任务使用的图像特征、外观或运动的先验模型等。

在一些实施例中，CALMT可使用适当上下文配置来提高定位、映射和跟踪的性能或效率。在一些实施例中，计算机视觉参数的选择可取决于上下文。在一些实施例中，上下文也可以帮助确定特定参数的值。此外，在一些实施例中，特定参数可能更适于视觉映射、视觉定位和/或视觉跟踪，或任何其它组合。举例来说，不需要定位或视觉里程计来建立和维持适于复杂3D重构的非常详细的场景地图，但可维持可用于定位的非常稀疏的点设定；并且这些特性可以通过适当参数来控制。

在一个实施例中，CALMT确定上下文并且记录或更新CALMT可接入的上下文旗标、描述或记录，使得CALMT可获得处理或执行计算机视觉的任一点处的上下文。在一些实施例中，CALMT可建立和维持一般配置或具有最佳配置的参数文件以用于多种类型的上下文中的计算机视觉任务。举例来说，配置文件可含有全部上下文和全部可能参数/配置，并且上下文和参数可能连接或相关使得可以针对任何上下文确定适当配置。在一些实施例中，计算机视觉参数可使相应计算机视觉任务使用一或多个如下文更详细描述的优化或限制。

在一些实施例中，代替用一或多种与上下文类型有关的不同配置读取相应配置或参数档案，可以通过上下文模块配置定位、映射和跟踪模块。或者，在一些实施例中，定位、映射和跟踪可更新或根据读数自身配置或接收上下文确定(例如从上下文模块)。举例来说，上下文引擎可确定室内位置上下文并且配置映射以使用曼哈顿世界假设(Manhattanworld assumption)。

在一些实施例中，上下文可如本文中所述以不同方式使用映射、定位和跟踪中的例示性实施来提高计算机视觉任务的精确度和稳定性。

如本文所用，计算机视觉任务可包括映射、定位和跟踪中的一或多者。如本文所用，映射(例如视觉映射)涉及从视频或图像输入建立场景/世界的几何和光度图示。定位(即视觉定位)可能与确定地图或场景内对象或装置的相对定位有关。如本文所用，跟踪(例如视觉跟踪)可能与确定地图或场景内装置的相对定位改变有关。

在一个实施例中，CALMT可通过基于上下文(例如上文较详细描述的位置、环境、运动和活动上下文)对地图环境强加限制来优化映射和3D视觉建模。

举例来说，装置上进行的CALMT或上下文引擎可基于传感器数据(例如传感器205)或加速计应用数据(例如从日历、社交网络、地理标记等)确定装置或用户在室内(即位置上下文)。在此实例中，可提供室内位置上下文作为视觉映射系统的输入并且CALMT或映射系统可在开始映射任务之前使用这一知识载入适当先验模型。

在其它实施例中，通过用户/装置处于室内或户外环境的知识，此类信息可用于建立针对映射任务的先验模型。举例来说，大部分室内环境含有墙垂直于地板、立面为直角的规则等的结构，并且这一类型的信息可用于建立先验模型。或者，在一些实施例中，如果在装置上进行的上下文引擎(例如上下文模块225)确定用户在户外，那么先验模型可适当修改以表示户外立面。在映射任务中利用此类先验模型和环境优化可导致更快处理；更精确结果，高效汇聚成环境的3D模型并且帮助低功率地图建筑。在上下文特定映射上下文中利用此类环境信息或模型可产生比假设模型或环境更准确的结果并且最终校正假设中的任何错误。

在替代实施例中，关于位置类型的知识可通过帮助选择待用于映射的适当算法来提高映射方法。举例来说，如果CALMT具有具有最少(即少于基线)纹理的区的先验知识，那么映射系统(例如映射模块210)可决定使用“基于边缘”的映射算法。或者，如果环境已知具有更多(即大于基线的高量)纹理(例如博物馆中的油画)，那么映射系统可使用这一信息来使用“基于点”的映射算法。此外，如果CALMT使用诸如WiFi定位的算法具有合理地精确室内定位，那么此可为映射算法的辅助程序，与关于建筑地图的可用信息一起用于提高系统的精确度。

在一些实施例中，可能获得用户建筑映射系统的反馈。在一些实施例中，此类关于用户和装置上下文的信息可用于表明可能方向，例如用户需要点其装置来获得改良的环境地图的情况。举例来说，CALMT可读取或确定上下文并且在装置的显示器120上更新用户界面。在一些实施例中，用户接口可含有方向性指示器或元件(例如箭头、线或其它视觉/音频指示器以促使或指导用户将相机视图移动到不同角度或特定方向)。

在一些实施例中，用户接口可基于上下文确定更新。举例来说，基于确定装置的向东方向中的动态上下文以及在装置的向西方向中检测的静态上下文的确定，可提供指导用户在向西方向瞄准相机视图的箭头。在其它实例中，相较于整齐区域可能需要或避免杂乱区域，并且可在装置显示器上提供方向指示器来帮助用户将相机瞄准规定方向。在一个实施例中，CALMT可使用指南针、GPS、加速计和麦克风来跟踪相机视图以及相应相机视图中捕获的场景或地图的上下文。

在一个实施例中，当开始视觉映射、定位或跟踪时，可确定CALMT。举例来说，当确定动态上下文(例如通过上下文引擎或模块225)时，CALMT可延迟视觉映射、定位或跟踪。在一些实施例中，因为对于许多计算机视觉实施来说动态场景本身比静态场景更难，所以CALMT可使用上下文来确定当前上下文是否为动态上下文并且延迟提供或处理计算机视觉直到场景变成静态。举例来说，喧闹的大型购物广场可能由于人关于地图或场景移动而不断地改变。不具有足够固定点来形成和维持精确参考物，尝试执行计算机视觉可能导致废弃处理功率和用户失望。因此，当CALMT确定场景或地图为动态时，可推迟执行计算机视觉。在一些实施方案中,可向用户展现装置的消息并且可提供尝试计算机视觉的选项，但是有在动态场景中性能差的可能性。

在一些实施例中，当确定动态上下文时，CALMT也可以从用于计算机视觉的相机选项选择任何数目的相机(例如前置、后置相机或一或多个额外相机)。举例来说，含有场景内的对象(例如人、汽车等)移动的动态场景可能使一些相机视点无效。在一些实施例中，基于动态上下文确定，CALMT可切换到替代视图以捕获用于视觉定位和跟踪的地板和屋顶信息。在一些实施例中，CALMT通过用装置的相机确定动态上下文方向和坐标来进一步确定使用哪个相机，从而使用来自静态视图的静态场景执行计算机视觉。

在一些实施例中，关键帧(即参考图像)选择为环境和定位的视觉映射的重要问题。在一个实施例中，映射参数可基于杂乱上下文的确定。在一些实施例中，杂乱环境为尤其适用于计算机视觉的可能多特征环境。举例来说，大型购物广场中的仓库内可能具有可适用于计算机视觉用户的对象(例如产品的扩增实境图示)。基于杂乱上下文中移动装置的位置，关键帧形成速率可能增加以获得增加的计算机视觉精确度(例如使用视觉映射装置地图或场景)。此外，映射和定位系统也可以基于场景中杂乱量来选择不同算法/方法。在一些实施例中，例如系统可基于杂乱量使用基于线、边缘和矩形的特征或基于点的特征。

在一些实施例中，整齐环境可特征稀疏，因为开放空间的优势和缺乏场景内的可检测对象。因此，在一些实施例中，CALMT可因此优化映射和定位算法以使用线特征、消失点和矩形。在一些实施例中，由于场景内缺乏对象，因此映射和定位算法可能降低关键帧速率以节省功率或节约来源。

在一些实施例中，与视觉映射一起使用CALMT，CALMT可确定移动装置在具有映射限制的位置。举例来说，博物馆可能不允许在博物馆中时有视觉映射。在一些实施例中，当确定移动电话的环境(例如上下文)为对映射和跟踪具有限制的博物馆时，CALMT可停用视觉映射。

在一个实施例中，许多映射、定位和跟踪参数可基于室内位置上下文的确定。举例来说，基于根据用户上下文知道装置在室内，可适当选择映射、定位和跟踪参数。在一些实施例中，举例来说，此类算法或任务可利用针对办公室位置的曼哈顿世界假设、环境中的对象和对象类型的先验知识(例如办公室位置可含有计算机、膝上型计算机、监视器、文件柜、传真机等，而家环境可含有例如搅拌机、微波炉、电视、游戏控制台、沙发、床等对象)、有界内部场景尺寸或根据地板、墙面和屋顶表面建模地图。

在一些实施例中，有界内部场景尺寸通过地图结构的背景界限优化视觉的映射。在一些实施例中，指定有界内部场景尺寸可用于将模型或映射限制于比没有已知关于尺寸的知识更快速计算和更新的尺寸。举例来说，在室内时更可能是7到10英尺的屋顶和墙面。在一些实施例中，举例来说，对于户外上下文，地图上的边界可能潜在地无限制。

在一些实施例中，室内环境具有与坐标系对准的规则矩形并且这一信息可用作映射算法的先验模型。在一些实施例中，类似于上文使用有界内部限制，对准的矩形坐标系将视觉映射优化成对准的矩形坐标系，因此映射系统不必在确定大部分精确背景之前尝试或测试其它坐标系。在一些实施例中，通过首先确定室内上下文(例如从上下文模块接收上下文或读取传感器/应用数据以确定上下文)，CALMT可用最有效用于室内场景的坐标系执行视觉映射、定位和跟踪。

在一些实施例中，计算机视觉参数也可以规定使用待用于计算机视觉(例如视觉映射)的预定室内对象和室内结构。举例来说，常见室内对象(例如门、旋钮、桌子、杯子、计算机等)可用于更高效地评估来自捕获的图像的相机视图的姿势和位置。在一些实施例中，常见室内结构为墙面、屋顶、门、窗等。在一些实施例中，计算机视觉中的一个问题为恢复场景的结构以及评估相机视点的姿势和位置。在一些实施例中，来自运动的结构(SFM)算法尝试将场景的结构表示为一组3D点。然而，基于点的表示对稳定计算机视觉通常是不足的，因为基于3D点的表示本身可能不提供任何语义信息。在一些实施例中，通过配置计算机视觉以更容易地辨识常见室内对象和结构，室内对象和全部场景或地图更可能精确建模。举例来说，通过预期场景中的一或多种预定室内对象或结构，计算机视觉可搜索与对象或结构有关的特性。在一些实施例中，当检测到预定对象或结构时，对象的语义信息可用于建模相机视图与对象，以及对象与周围场景之间的相互作用。

在一些实施例中，室内上下文可有益于定位任务。举例来说，如果已知室内位置的类型，那么CALMT可确定位置是否更可能含有高含量或低含量的纹理。此类信息可用于选择定位方法并且不管使用“基于点”、“基于线”、“基于边缘”或“基于矩形”的方案。

在另一实施例中，如果位置已知为结构(例如结构场景)，那么此类信息可用于从最适用于定位任务的多个相机中选择一或多个相机。举例来说，如果已知屋顶含有重复信息，那么向上指向(朝向屋顶)的相机可能不会提供许多有用信息并且这一相机可关闭。

在一个实施例中，许多计算机视觉参数可基于户外上下文的确定。举例来说，基于户外确定，计算机视觉参数可配置视觉以使用以下各者中的一或多者：全景模型或跟踪器、动态世界建模、预定户外结构特征、远端特征，或来自面向地面的相机的图像。

在一些实施例中，对于含有远端(即远处)特征的户外场景，通过预期远端特征优化计算机视觉可有益于方位确定和跟踪。CALMT可使用地平线特征用于航向确定并且地平线可帮助校准传感器-相机对准。

在一些实施例中，户外环境通常缺乏人造结构特征，例如室内对象、突出长方体形状或突出线。在一些实施例中，CALMT可优化计算机视觉以优先化3D点或特征而非尝试基于室内对象、长方体形状或突出线搜索或处理场景。

在一些实施例中，户外场景含有远端(即远处)特征。在一些实施例中，通过预期远端特征优化计算机视觉可有益于方位确定和跟踪。举例来说，CALMT可使用地平线特征用于航向确定并且地平线可帮助校准传感器-相机对准。

在一些实施例中，户外上下文相关的计算机视觉参数也可以绕过或停用来自向天空朝上指向的相机的数据收集。此外，在一些实施例中，在城市中时，映射可能在高于地面若干英尺的地方(由于动态对象)或当相机指向地面时最有效。在一些实施例中，CALMT可使用相对于重力的位置和观察方向来基于一或多个相机视图/传感器确定视图中的场景对于映射是否可行。

可将本文中的教示并入到多种设备(例如装置)内(例如实施于多种设备内或由多种设备执行)。举例来说，本文中教示的一或多个方面可以并入到电话(例如蜂窝电话)、个人数据助理(“PDA”)、平板计算机、移动计算机、膝上型计算机、娱乐装置(例如音乐或视频装置)、耳机(例如头戴式耳机、听筒等)、医疗装置(例如生物计量传感器、心率监视器、计步器、EKG装置等)、用户I/O装置、计算机、服务器、销售点装置、娱乐装置、机顶盒或任何其它适合装置中。这些装置可具有不同功率和数据要求且可导致针对每一特征或特征集合产生的不同功率简档。

在一些方面，无线装置可以包括用于通信系统的接入装置(例如Wi-Fi接入点)。举例来说，此接入装置可经由有线或无线通信链路通过收发器140(例如，例如因特网或蜂窝网络的广域网)提供到另一网络的连接性。因此，接入装置可使另一装置(例如Wi-Fi站)能够接入另一网络或某一其它功能性。另外，应了解，所述装置中的一者或两者可为便携式，或在一些情况下，相对非便携式。

所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。

所属领域的技术人员将进一步了解，可将结合本文所披露的实施例而描述的各种说明性逻辑区块、模块、引擎、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清晰说明此硬件与软件的互换性，上文已大致就其功能性而描述了各种说明性组件、区块、模块、引擎、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用以及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性，但所述实施决策不应被解释为导致偏离本发明的范围。

可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所披露的实施例而描述的各种说明性逻辑区块、模块和电路。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此配置。

可直接以硬件、以由处理器执行的软件模块或以上述两者的组合实施结合本文所披露的实施例而描述的方法或算法的步骤。软件模块可驻留于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除式磁盘、CD-ROM，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，以使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器集成。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于使用者终端中。在替代例中，处理器及存储媒体可作为离散组件驻留于用户终端中。

在一或多个示范性实施例(例如CALMT)中，所述的功能或模块可在硬件(例如硬件162)、软件(例如软件165)、固件(例如固件163)或其任何组合中实施。如果在软件中实施为计算机程序产品，那么功能或模块可作为一或多个指令或代码存储在非暂时性计算机可读媒体上或通过非暂时性计算机可读媒体传输。计算机可读媒体包含计算机存储媒体与包含促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。以实例方式(且并非限制)，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于载送或存储呈指令或数据结构的形式的所要程序码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在非暂时计算机可读媒体的范围内。

提供所披露的实施例的先验描述以使得任何所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施例的各种修改，且在不脱离本发明的精神或范围的情况下，本文所界定的一般原理可应用于其它实施例。因此，本发明不打算限于本文中所展示的实施例，而应符合与本文中所披露的原理和新颖特征一致的最广范围。

Claims (55)

1.一种用于执行计算机视觉任务的机器实施方法，所述方法包括：

推断用户或装置的上下文，其中所述上下文包括以下各者中的一或多者：运动、活动、环境或位置，其中对上下文的所述推断进一步包括读取传感器数据以推断所述用户或所述装置的所述上下文，其中所述传感器数据包括来自加速计装置传感器和/或陀螺仪装置传感器的数据；

根据所述推断的上下文配置计算机视觉任务，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

执行所述计算机视觉任务，其中所述计算机视觉任务包括以下各者中的至少一者：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置的环境的基于计算机视觉的映射，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置或对象在所述装置的所述环境内的基于计算机视觉的定位，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置在所述装置的所述环境内的基于计算机视觉的跟踪。

2.根据权利要求1所述的机器实施方法，其中所述传感器数据进一步包括来自以下各者中的一或多者的数据：蓝牙传感器、麦克风、相机、全球定位传感器GPS、WiFi、接近度传感器、温度传感器、气压(即压力)传感器、环境光传感器ALS、红色-绿色-蓝色RGB颜色传感器、紫外线UV传感器、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、磁力计，或以上各者的任意组合。

3.根据权利要求1所述的机器实施方法，其中所述推断上下文包括读取应用数据以推断所述用户或所述装置的所述上下文，其中所述应用数据来自以下各者中的一或多者：日历、地理标记、社交媒体数据、电池、当日时间，或以上任意组合。

4.根据权利要求1所述的机器实施方法，其中所述配置所述计算机视觉任务包含以下各者中的一或多者：

选择与所述任务有关的算法的参数；

选择先验模型作为与所述任务有关的所述算法的输入；

基于环境常数选择解决问题的方法，或以上任意组合。

5.根据权利要求4所述的机器实施方法，其中所述配置所述计算机视觉任务包含以下各者中的一或多者：

使用基于边缘的方法；

使用基于点的方法；

使用基于矩形的方法；或

以上任意组合。

6.根据权利要求1所述的机器实施方法，其中所述上下文为室内上下文，并且所述计算机视觉任务使用与所述室内上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：对准矩形坐标系、有界内部场景尺寸、预定对象、室内结构特征，或以上任意组合。

7.根据权利要求1所述的机器实施方法，其中所述上下文为户外上下文，并且所述计算机视觉任务使用与所述户外上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：动态世界建模、预定户外结构特征、远端特征、全景模型或跟踪器、来自面向地面的相机的图像，或以上任意组合。

8.根据权利要求1所述的机器实施方法，其中所述上下文被进一步确定为杂乱上下文，并且所述计算机视觉的任务使用与所述杂乱上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：特征点计算、增加关键帧速率，或以上任意组合。

9.根据权利要求1所述的机器实施方法，其中所述上下文被进一步确定为整齐上下文，并且所述计算机视觉任务使用与所述整齐上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务：

降低关键帧速率，

使用以下各者的一或多个特征：线、消失点、矩形，或

以上任意组合。

10.根据权利要求1所述的机器实施方法，其中当所述上下文被进一步确定为激发上下文时，所述计算机视觉任务增加跟踪特征的数目，且其中当所述上下文为未激发上下文时，所述计算机视觉任务降低跟踪特征的所述数目。

11.根据权利要求1所述的机器实施方法，其中所述上下文被进一步确定为动态上下文，并且

(i)所述方法进一步包括延迟视觉映射、定位或跟踪；或

(ii)基于定位、映射或跟踪的所述计算机视觉任务使用与所述动态上下文有关的信息以修改与以下各者中的一或多者一起使用的基于定位、映射或跟踪的所述计算机视觉任务配置：

将执行所述计算机视觉任务延迟到确定所述上下文为静态为止，

选择多个相机传感器中的一者来捕获动态环境的静态部分并且使用所述选择的相机传感器执行所述计算机视觉任务，或

以上任意组合。

12.根据权利要求1所述的机器实施方法，其中所述上下文为以下各者中的两者或两者以上的组合：位置上下文、环境上下文、活动上下文、运动上下文，或以上任意组合。

13.根据权利要求1所述的机器实施方法，其进一步包括∶

基于所述推断的上下文提供所建议的相机方向或视点用于所述计算机视觉任务的定位、映射、跟踪，或以上任意组合。

14.一种含有可执行程序指令的机器可读非暂时性存储媒体，所述可执行程序指令使数据处理装置执行用于执行计算机视觉任务的方法，所述方法包括：

推断用户或装置的上下文，其中所述上下文包括以下各者中的一或多者：运动、活动、环境、位置，其中对上下文的所述推断进一步包括读取传感器数据以推断所述用户或所述装置的所述上下文，其中所述传感器数据包括来自加速计装置传感器和/或陀螺仪装置传感器的数据；

根据所述推断的上下文配置计算机视觉任务，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

执行所述计算机视觉任务，其中所述计算机视觉任务包括以下各者中的至少一者：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置的环境的基于计算机视觉的映射，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置或对象在所述装置的所述环境内的基于计算机视觉的定位，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置在所述装置的所述环境内的基于计算机视觉的跟踪。

15.根据权利要求14所述的媒体，其中所述传感器数据进一步包括来自以下各者中的一或多者的数据：蓝牙传感器、麦克风、相机、全球定位传感器GPS、WiFi、接近度传感器、温度传感器、气压(即压力)传感器、环境光传感器ALS、红色-绿色-蓝色RGB颜色传感器、紫外线UV传感器、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、磁力计，或以上任意组合。

16.根据权利要求14所述的媒体，其中所述推断上下文包括读取应用数据以推断所述用户或所述装置的所述上下文，其中所述应用数据来自以下各者中的一或多者：日历、地理标记、社交媒体数据、电池、当日时间，或以上任意组合。

17.根据权利要求14所述的媒体，其中所述上下文包括以下各者中的一或多者：运动、活动、环境、位置，或以上任意组合。

18.根据权利要求14所述的媒体，其中所述配置所述计算机视觉任务包含以下各者中的一或多者：

选择与所述任务有关的算法的参数；

选择先验模型作为与所述任务有关的所述算法的输入；

基于环境常数选择解决问题的方法，或

以上任意组合。

19.根据权利要求18所述的媒体，其中所述配置所述计算机视觉任务包含以下各者中的一或多者：

使用基于边缘的方法；

使用基于点的方法；

使用基于矩形的方法；或

以上任意组合。

20.根据权利要求14所述的媒体，其中所述上下文为室内上下文，并且所述计算机视觉任务使用与所述室内上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：对准矩形坐标系、有界内部场景尺寸、预定对象、室内结构特征，或以上任意组合。

21.根据权利要求14所述的媒体，其中所述上下文为户外上下文，并且所述计算机视觉任务使用与所述户外上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：动态世界建模、预定户外结构特征、远端特征、全景模型或跟踪器、来自面向地面的相机的图像，或以上任意组合。

22.根据权利要求14所述的媒体，其中所述上下文被进一步确定为杂乱上下文，并且所述计算机视觉任务使用与所述杂乱上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：特征点计算、增加关键帧速率，或以上任意组合。

23.根据权利要求14所述的媒体，其中所述上下文被进一步确定为整齐上下文，并且所述计算机视觉任务使用与所述整齐上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：

降低关键帧速率，

使用以下各者的一或多个特征：线、消失点、矩形，或

以上任意组合。

24.根据权利要求14所述的媒体，其中当所述上下文被进一步确定为激发上下文时，所述计算机视觉任务增加跟踪特征的数目，且其中当所述上下文为未激发上下文时，所述计算机视觉任务降低跟踪特征的所述数目。

25.根据权利要求14所述的媒体，其中所述上下文被进一步确定为动态上下文，并且

(i)所述方法进一步包括延迟视觉映射、定位或跟踪；或

(ii)基于定位、映射或跟踪的所述计算机视觉任务使用与所述动态上下文有关的信息以修改与以下各者中的一或多者一起使用的基于定位、映射或跟踪的所述计算机视觉任务配置：

将执行计算机视觉任务延迟到确定所述上下文为静态为止，

选择多个相机传感器中的一者来捕获动态环境的静态部分并且使用所述选择的相机传感器执行所述计算机视觉任务，或以上任意组合。

26.根据权利要求14所述的媒体，其中所述上下文为以下各者中的两者或两者以上的组合：位置上下文、环境上下文、活动上下文、运动上下文，或以上任意组合。

27.根据权利要求14所述的媒体，其进一步包括∶

基于所述推断的上下文提供所建议的相机方向或视点用于所述计算机视觉任务。

28.一种用于执行计算机视觉任务的系统，所述系统包括：

处理器；以及

耦合到所述处理器并且可配置用于存储指令的存储装置，所述指令在由所述处理器执行时使所述处理器：

推断用户或装置的上下文，其中所述上下文包括以下各者中的一或多者：运动、活动、环境、位置，其中对上下文的所述推断进一步包括读取传感器数据以推断所述用户或所述装置的所述上下文，其中所述传感器数据包括来自加速计装置传感器和/或陀螺仪装置传感器的数据；

根据所述推断的上下文配置计算机视觉任务，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

执行所述计算机视觉任务，其中所述计算机视觉任务经配置以：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，基于计算机视觉的映射所述装置的环境，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，在所述装置的所述环境内基于计算机视觉的定位所述装置或对象，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，在所述装置的所述环境内基于计算机视觉的跟踪所述装置。

29.根据权利要求28所述的系统，其中所述传感器数据进一步包括来自以下各者中的一或多者的数据：蓝牙传感器、麦克风、相机、全球定位传感器GPS、WiFi、接近度传感器、温度传感器、气压(即压力)传感器、环境光传感器ALS、红色-绿色-蓝色RGB颜色传感器、紫外线UV传感器、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、磁力计，或以上任意组合。

30.根据权利要求28所述的系统，其中所述推断上下文包括读取应用数据以推断所述用户或所述装置的所述上下文，其中所述应用数据来自以下各者中的一或多者：日历、地理标记、社交媒体数据、电池、当日时间，或以上任意组合。

31.根据权利要求28所述的系统，其中所述配置所述计算机视觉任务包含配置所述处理器用以进行如下操作的指令中的一或多者：

选择与所述任务有关的算法的参数；

选择先验模型作为与所述任务有关的所述算法的输入；

基于环境常数选择解决问题的方法；或

以上任意组合。

32.根据权利要求31所述的系统，其中所述配置所述计算机视觉任务包含配置所述处理器用以进行如下操作的指令中的一或多者：

使用基于边缘的方法；

使用基于点的方法；

使用基于矩形的方法；或

以上任意组合。

33.根据权利要求28所述的系统，其中所述上下文为室内上下文，并且所述计算机视觉任务使用与所述室内上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：对准矩形坐标系、有界内部场景尺寸、预定对象、室内结构特征，或以上任意组合。

34.根据权利要求28所述的系统，其中所述上下文为户外上下文，并且所述计算机视觉任务使用与所述户外上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：动态世界建模、预定户外结构特征、远端特征、全景模型或跟踪器、来自面向地面的相机的图像，或以上任意组合。

35.根据权利要求28所述的系统，其中所述上下文被进一步确定为杂乱上下文，并且所述计算机视觉任务使用与所述杂乱上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：特征点计算、增加关键帧速率，或以上任意组合。

36.根据权利要求28所述的系统，其中所述上下文被进一步确定为整齐上下文，并且所述计算机视觉任务使用与所述整齐上下文有关的信息以修改与用以进行如下操作的指令中的一或多者一起使用的所述计算机视觉任务配置：

降低关键帧速率，

使用以下各者的一或多个特征：线、消失点、矩形，或

以上任意组合。

37.根据权利要求28所述的系统，其中当所述上下文被进一步确定为激发上下文时，所述计算机视觉任务增加跟踪特征的数目，且其中当所述上下文为未激发上下文时，所述计算机视觉任务降低跟踪特征的所述数目。

38.根据权利要求28所述的系统，其中所述上下文被进一步确定为动态上下文，并且

(i)所述系统进一步包括当所述动态上下文被确定时，用以延迟视觉映射、定位或跟踪的一或多个指令；或

(ii)基于定位、映射或跟踪的所述计算机视觉任务使用与所述动态上下文有关的信息以修改与用以进行如下操作的指令中的一或多者一起使用的基于定位、映射或跟踪的所述计算机视觉任务配置：

将执行所述计算机视觉任务延迟到确定所述上下文为静态为止，

选择多个相机传感器中的一者来捕获动态环境的静态部分并且使用所述选择的相机传感器执行所述计算机视觉任务，或以上任意组合。

39.根据权利要求28所述的系统，其中所述上下文为以下各者中的两者或两者以上的组合：位置上下文、环境上下文、活动上下文、运动上下文，或以上任意组合。

40.根据权利要求28所述的系统，其进一步包括用以进行如下操作的指令：

基于所述推断的上下文提供所建议的相机方向或视点用于所述计算机视觉任务。

41.一种用于执行计算机视觉任务的设备，所述设备包括：

用于推断用户或装置的上下文的装置，其中所述上下文包括以下各者中的一或多者：运动、活动、环境、位置，其中所述用于对上下文的推断的装置进一步包括用于读取传感器数据以推断所述用户或所述装置的所述上下文的装置，其中所述传感器数据包括来自加速计装置传感器和/或陀螺仪装置传感器的数据；

用于根据所述推断的上下文配置计算机视觉任务的装置，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

用于执行所述计算机视觉任务的装置，其中所述计算机视觉任务包括以下各者中的至少一者：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置的环境的基于计算机视觉的映射，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置或对象在所述装置的所述环境内的基于计算机视觉的定位，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置在所述装置的所述环境内的基于计算机视觉的跟踪。

42.根据权利要求41所述的设备，其中所述传感器数据进一步包括来自以下各者中的一或多者的数据：蓝牙传感器、麦克风、相机、全球定位传感器GPS、WiFi、接近度传感器、温度传感器、气压(即压力)传感器、环境光传感器ALS、红色-绿色-蓝色RGB颜色传感器、紫外线UV传感器、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、指南针、磁力计，或以上任意组合。

43.根据权利要求41所述的设备，其中所述用于推断上下文的装置包括用于读取应用数据以推断所述用户或所述装置的所述上下文的装置，其中所述应用数据来自以下各者中的一或多者：日历、地理标记、社交媒体数据、电池、当日时间，或以上任意组合。

44.根据权利要求41所述的设备，其中所述用于配置所述计算机视觉任务的装置包含以下各者中的一或多者：

用于选择与所述任务有关的算法的参数的装置；

用于选择先验模型作为与所述任务有关的所述算法的输入的装置；

用于基于环境常数选择解决问题的方法的装置，或以上任意组合。

45.根据权利要求44所述的设备，其中所述用于配置所述计算机视觉任务的装置还包含以下各者中的一或多者：

用于使用基于边缘的方法的装置；

用于使用基于点的方法的装置；

用于使用基于矩形的方法的装置；或

以上任意组合。

46.根据权利要求41所述的设备，其中所述上下文为室内上下文，并且所述计算机视觉任务使用与所述室内上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：对准矩形坐标系、有界内部场景尺寸、预定对象、室内结构特征，或以上任意组合。

47.根据权利要求41所述的设备，其中所述上下文为户外上下文，并且所述计算机视觉任务使用与所述户外上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：动态世界建模、预定户外结构特征、远端特征、全景模型或跟踪器、来自面向地面的相机的图像，或以上任意组合。

48.根据权利要求41所述的设备，其中所述上下文被进一步确定为杂乱上下文，并且所述计算机视觉任务使用与所述杂乱上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：特征点计算、提高关键帧速率，或以上任意组合。

49.根据权利要求41所述的设备，其中所述上下文被进一步确定为整齐上下文，并且所述计算机视觉任务使用与所述整齐上下文有关的信息以修改与以下各者中的一或多者一起使用的所述计算机视觉任务配置：

用于降低关键帧速率的装置，

用于使用以下各者的一或多个特征的装置：线、消失点、矩形，或

以上任意组合。

50.根据权利要求41所述的设备，其中当所述上下文被进一步确定为激发上下文时，所述计算机视觉任务增加跟踪特征的数目，且其中当所述上下文为未激发上下文时，所述计算机视觉任务降低跟踪特征的所述数目。

51.根据权利要求41所述的设备，其中所述上下文为动态上下文，并且

(i)所述设备进一步包括用于当所述动态上下文被确定时，延迟视觉映射、定位或跟踪的装置；或

(ii)基于定位、映射或跟踪的所述计算机视觉任务使用与所述动态上下文有关的信息以修改与以下各者中的一或多者一起使用的基于定位、映射或跟踪的所述计算机视觉任务配置：

用于将执行所述计算机视觉任务延迟到确定所述上下文为静态为止的装置，

用于选择多个相机传感器中的一者来捕获动态环境的静态部分并且使用所述选择的相机传感器执行所述计算机视觉任务的装置，或以上任意组合。

52.根据权利要求41所述的设备，其中所述上下文为以下各者中的两者或两者以上的组合：位置上下文、环境上下文、活动上下文、运动上下文，或以上任意组合。

53.根据权利要求41所述的设备，其进一步包括：

用于基于所述推断的上下文提供所建议的相机方向或视点用于所述计算机视觉任务的装置。

54.一种用于执行计算机视觉任务的机器执行的方法，所述方法包括：

推断用户或装置的上下文，所述推断上下文包括读取传感器数据以推断所述用户或所述装置的所述上下文，其中所述传感器数据包括来自以下各者中的一或多者的数据：蓝牙传感器、麦克风、相机、全球定位传感器GPS、WiFi、接近度传感器、温度传感器、气压(即压力)传感器、环境光传感器ALS、红色-绿色-蓝色RGB颜色传感器、紫外线UV传感器、UV-A传感器、UV-B传感器、指纹传感器、触摸传感器、加速计、陀螺仪、指南针、磁力计，或以上各者的任意组合；

根据所述推断的上下文配置计算机视觉任务，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

执行所述计算机视觉任务，其中所述计算机视觉任务包括以下各者中的至少一者：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置的环境的基于计算机视觉的映射，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置或对象在所述装置的所述环境内的基于计算机视觉的定位，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置在所述装置的所述环境内的基于计算机视觉的跟踪。

55.一种用于执行计算机视觉任务的机器执行的方法，所述方法包括：

推断用户或装置的上下文，其中所述推断上下文包括读取应用数据以推断所述用户或所述装置的所述上下文，其中所述应用数据来自以下各者中的一或多者：日历、地理标记、社交媒体数据、电池、当日时间，

其中所述推断上下文进一步包括读取传感器数据以推断所述用户或所述装置的所述上下文，其中所述传感器数据包括来自加速计装置传感器和/或陀螺仪装置传感器的数据；

根据所述推断的上下文配置计算机视觉任务，其中所述配置所述计算机视觉任务包括基于所述推断的上下文调节在所述计算机视觉任务中使用的图像特征的数目和类型；以及

执行所述计算机视觉任务，其中所述计算机视觉任务包括以下各者中的至少一者：

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置的环境的基于计算机视觉的映射，

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置或对象在所述装置的所述环境内的基于计算机视觉的定位，或

利用基于所述推断的上下文调节的图像特征的所述数目和类型，对所述装置在所述装置的所述环境内的基于计算机视觉的跟踪。