CN106663197B - 用于环境简档生成的方法和装置 - Google Patents

Abstract

提供了一种用于生成环境简档的方法。用于生成环境简档的方法包括：通过借助至少一个记录设备捕获环境来生成环境的图像，基于图像来检测环境中对象的改变，以及基于对象的改变来生成环境简档。

Description

用于环境简档生成的方法和装置

技术领域

与示例性实施例一致的方法和装置涉及用于基于利用诸如点云相机的记录设备对环境的感测来生成环境简档的方法和装置。

背景技术

下面的背景论述包括可有用于理解本发明的信息。并不承认此处提供的任何信息是现有技术或与当前请求保护的发明相关，或者具体或隐式引用的任何公开物是现有技术。

大多数常规推荐系统依赖用户的数字生活来识别用户的选择并生成简档。基于这样生成的简档，可以向用户呈现合适的推荐。描述前述原理的现有技术文档中的一些是美国公开第20120232977号和美国公开第20120233003号。

美国公开第20120232977号描述了识别用户的金融行为及用户的收藏并且基于此辅助用户。金融行为数据可基于信用、借记和其他活期存款账户的购买/交易来确定。其还进行实时的视频流分析以从视频中发现对象并且通过选择/推荐产品和企业来辅助用户。

美国公开第20120233003号描述了在经由移动设备进行购买以用于电子商务活动时通过对产品/物品进行实时视频分析来辅助用户。

除了基于用户的数字生活生成简档之外，还可以基于真实生活环境并且更具体地基于在环境中感测的对象和活动来创建简档。除了生成推荐之外，这样生成的简档还可有利地用于例如在家庭自动化系统、安保系统等中生成警告。为了生成这样的简档，可能必须依赖各种电子设备，包括例如图像捕获设备、声音捕获设备等。描述基于对环境的感测生成简档的文档中的一些为美国专利第8081158号、美国公开第20080167913号、美国公开第20040037469号、美国公开第20030088832号和美国专利第8068879号。

美国专利第8081158号描述了利用相机来捕获图像并且基于图像特性来递送屏幕内容。该想法主要是识别用户的年龄及性别并且相应地递送屏幕内容(例如，广告、程序等)。

美国公开第20080167913号描述了在计算机系统的部件的指定接近度内检测物理对象，其中计算机系统将用于所述物理对象的接入对象识别符呈递给内容门户。该发明基于对象的物理特性促进递送内容(例如，广告、游戏、多媒体片段等)。对象可以为任何东西(例如，瓶子、玻璃制品、手指、帽子等)并且应当在台式计算机系统的部件的指定接近度内。该想法是识别产品(或其分类)并且呈现相关内容以显示在台式计算机系统上。

美国公开第20040037469号描述了利用传感器设备进行对象检测并且然后基于检测到的对象控制显示设备。该发明涉及用于对信息显示设备(例如，广告载体)的面向对象的控制的设备。所讨论的对象主要是人，但是也可以为其他对象，诸如车辆。

美国公开第20030088832号描述了用于显示广告信息的系统和方法，其中系统能够感测在显示器的直接环境中的个人的存在并获得其特性。这种想法识别用户的特性(比如，用户的移动、性别、年龄和种族)并利用该信息以将材料呈现在显示单元上。

美国专利第8068879号描述了个人通信设备上的传感器，其监测设备周围的环境。基于对该监测的分析，将适当的视觉消息显示在设备的外显示屏上。视觉消息针对设备周围的人，而不是针对设备的用户。

从上面的文档可以观察到，图像捕获设备和对捕获的图像的分析在该领域中起关键作用。前述文件主要利用诸如RGB相机的图像捕获设备进行对象检测/识别，并且因此不能够确定深度参数。然而，将会领会，包括深度参数(或者换言之，基于存在于环境中的对象的形状)的简档的生成提供更好质量的简档。尽管在处理期间能够对抗这样的限制，但是归因于对过度的图像处理技术的要求，其导致成本效率低，从而使得简档生成系统不高效。

除了上述之外，已经发现，当处理从RGB相机获得的低分辨率图像用于简档生成时，生成的简档的质量不令人满意。尽管能够通过利用高分辨率相机来对抗这样的限制，但是其导致成本效率低。

即便简档生成系统利用具体设计成捕获高分辨率图像的捕获设备，由于捕获设备要求预定的照明或者充足开明的环境来检测任何对象或活体或在环境中发生的任何移动，所以与环境的照明水平相关的问题还仍然在获得期望的结果方面扮演令人扫兴的角色。

发明内容

技术问题

因此，仍然存在提供用于基于对环境中对象的感测、环境中发生的改变、环境中发生的活动和环境中发生的交互来生成环境的简档的改进的方法和系统的需要。

问题的解决方案

示例性实施例的一个方面涉及用于通过检测在通过利用具有点云相机的记录设备生成的图像中的对象的改变来生成对象周围的环境的简档的用于生成环境简档的方法及其环境简档生成装置。

根据示例性实施例的一个方面，提供了一种用于生成环境简档的方法，所述方法包括：通过借助至少一个记录设备捕获环境来生成环境的图像；基于图像检测环境中对象的改变；以及基于对象的改变来生成环境的环境简档。

至少一个记录设备可包括RGB相机、热相机、深度相机和点云相机中的一者。

所述方法可进一步包括基于环境简档为与环境相关的用户生成推荐。

生成可包括基于检测到对象的改变的时间和对象的改变的类型来生成环境简档。

所述方法可进一步包括利用音频传感器来分析环境的音频信号，其中检测包括基于音频信号检测对象的改变。

生成可包括基于图像与用户之间的相关性生成环境简档。

对象的改变可包括对于对象的添加、删除、替换、修改、位置的改变中的一者。

所述方法可进一步包括基于对象的改变输出用于用户的推荐、通知和警告中的至少一者。

检测可包括测量对象的改变的频率，并且生成可包括基于对象的改变的频率生成环境简档。

所述方法可进一步包括基于对象的改变确定用户对对象的使用模式，其中生成包括基于用户的使用模式来生成环境简档。

根据示例性实施例的另一方面，提供了一种用于生成环境简档的装置，所述装置包括：图像生成器，配置为通过捕获环境来生成环境的图像；检测器，配置为基于图像来检测环境中对象的改变；以及简档生成器，配置为基于对象的改变来生成环境简档。

图像生成器可包括RGB相机、热相机、深度相机和点云相机中的至少一者。

简档生成器可基于环境简档为与环境相关的用户生成推荐。

简档生成器可基于检测到对象的改变的时间和对象的改变的类型来生成环境简档。

所述装置可进一步包括配置为分析环境的音频信号的音频传感器，其中检测器基于音频信号检测对象的改变。

简档生成器可基于图像与用户之间的相关性生成环境简档。

对象的改变可包括对于对象的添加、删除、替换、修改、位置的改变中的至少一者。

简档生成器可基于对象的改变输出用于用户的推荐、通知和警告中的至少一者。

简档生成器可基于对象的改变的频率生成环境简档。

简档生成器可基于用户对对象的使用模式来生成环境简档，用户对对象的使用模式基于对象的改变来确定。

根据示例性实施例的另一方面，提供了一种用于生成环境简档的方法，所述方法包括：利用至少一个记录设备捕获表示环境的参数；基于参数检测环境中的至少一个对象；以及基于对象来生成指示环境的特性的环境简档。

参数可包括对象的点云数据。

检测可包括：基于点云数据提取对象的3D外观；以及从对象数据库检索匹配3D外观的对象信息。

对象可包括与环境相关的人。

生成可包括将所述参数与先前与从环境检测到的旧参数进行比较；基于比较的结果检测环境的改变；以及基于改变分析环境的特性。

环境的特性可包括与环境相关的人的行为模式。所述方法可进一步包括基于环境简档输出用于控制环境中存在的至少一个设备的控制信号。

附图说明

图1是示意根据示例性实施例的用于生成环境简档的方法的流程图；

图2是示意根据示例性实施例的生成环境简档的方法的流程图；

图3是根据示例性实施例的用于生成环境简档的装置的框图；

图4是根据另一示例性实施例的用于生成环境简档的装置的框图；

图5是根据再另一示例性实施例的用于生成环境简档的装置的框图；

图6示意了根据示例性实施例的包括三个对象和用于感测环境中的至少一个参数的记录设备的环境；

图7示意了根据实施例的基于背景减除检测改变的构思；

图8是示意根据示例性实施例的用于基于环境简档提供推荐的方法的流程图；

图9是示意根据另一示例性实施例的用于基于环境简档提供推荐的方法的流程图；

图10是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图；

图11是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图；

图12是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图；

图13是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图；以及

图14是示意根据示例性实施例的用于基于环境简档触发警告的方法的流程图。

具体实施方式

出于促进对示例性实施例的原理的理解的目的，现在将对附图进行参考并且将使用特定言语来描述附图。然而，将要理解，不打算借此限制本公开的范围，本领域技术人员通常将想到在示意的系统中的这样的变更和进一步的修改以及本文示意的示例性实施例的原理的这样的进一步应用。

本领域技术人员将理解，前面的概要描述和下面的详细描述是示例性和解释性的实施例，而不打算对实施例进行限制。贯穿本公开，采用这样的习惯：在附图中，相同标号表示相同部件。

贯穿本公开对“示例性实施例”、“另一示例性实施例”或类似言语的提及意思是联系示例性实施例描述的特定特征、结构或特性包括在至少一个示例性实施例中。因此，贯穿本说明书中出现的措辞“在示例性实施例中”、“在另一示例性实施例中”和类似言语可以但不一定全部涉及相同示例性实施例。

术语“包括”、“包含”或其任何其他变体意图覆盖非排他性包含，以使得包括步骤列表的过程或方法不仅包含这些步骤，还可包含未明确列出的或者这样的过程或方法固有的其他步骤。类似地，如果没有更多限制，则接在“包括”之后的一个或多个设备或子系统或元件或者结构不排除其他设备或其他子系统或其他元件或其他结构或附加设备或附加子系统或附加元件或者附加结构的存在。

除非另有限定，否则本文使用的所有技术和科学术语具有与本发明所属技术领域中普通技术人员通常理解相同的意义。本文提供的系统、方法和示例仅是示例性的，而不打算进行限制。

将领会，来自点云相机的输出包括深度相关信息并且因此这样生成的简档将具有比仅基于2D数据生成的简档更高的质量。除了上述之外，由于点云相机固有地提供深度相关信息，因此不需要执行用于从2D数据获得深度信息所涉及的图像处理技术。因此，能够预见处理时间大大减少，处理电路的复杂性降低，所有这些都可有助于降低成本。

还已经观察到，如果来自点云相机的输出被用于对象识别处理，则相比于使用来自RGB相机的输出，其会产生更好的结果。此外，已经观察到，如果来自点云相机的输出被用于对象识别处理，则特别是在照明水平低(例如弱光条件或夜间条件)时，相比于来自RGB相机的输出，其会产生更好的结果。

贯穿本公开，术语“对象”可涵盖包括人的活体和非活体事物。

在示例性实施例中，可从包括点云相机和RGB相机、热图像传感器和音频传感器中的至少一者的一个或多个记录设备接收环境中的参数。例如，环境中的参数可通过使用下列组合来获得：(a)点云相机和RGB相机，(b)点云相机和热图像传感器，(c)点云相机和音频传感器，(d)点云相机、热图像传感器和音频传感器，(e)点云相机、RGB相机和音频传感器。当照明水平低(例如弱光条件或夜间条件)时，与单单使用点云相机相比，使用热图像传感器提供对这样生成的简档质量的附加增强。

下面将参考附图详细描述各种示例性实施例。

图1是示意了根据示例性实施例的用于生成环境简档的方法的流程图。在操作102中，根据示例性实施例生成环境简档的设备接收关于环境的至少一个参数。可通过图像捕获设备捕获参数。例如，由点云相机捕获的点云数据可为参数。参数可在连续的基础上或周期性地捕获。一般地，参数可与环境中存在的一个或多个对象关联。对象可为环境中存在的包括人的活体或非活体事物。

在操作104中，检查在参数中是否发生过任何改变(104)。为了检测改变，将当前接收到的参数的值与参数的基准值比较。在这样的基准值不可用的情况下，可通过将参数的当前值与参数的过去值比较来检测参数的改变。可替换地，可使用参数的其他适当值用于比较和检测参数的改变的目的。可通过从过去的图像帧减除接收的图像帧来进行检测。

参数的改变的发生可归因于任何原因。例如，原因可包括但不限于环境中发生的自然现象(其对对象具有影响)或活体执行的动作的结果。由活体执行的动作可涉及一个或多个其他活体或一个或多个活体事物。

可在操作106中评估已经检测到改变的参数。然而，对于进一步的评估可不考虑某些类型的改变。例如，可限定就改变的程度来说的最小阈值，并且可过滤掉低于最小阈值限的改变。可注意到，可针对被监测的参数中的所有或一些来设置最小阈值。作为另一示例，可在时间段的基础上过滤掉改变。具体来说，可以限定一时间段，并且可考虑仅在该时间段期间发生的一些改变以用于进一步评估。同样，可针对被监测的参数中的所有或一些来设置该时间段。

在操作106中，可评估已经经历改变的参数并且可在评估的基础上生成环境的简档。可通过查阅存储推断集合的存储设备来生成环境简档，所述推断集合与已经经历改变的参数对应。然而，不需要每个改变都具有对应的环境简档。简档可反映多个参数，其中多个参数中的每一个都以广泛状态存在。

另外，可利用自学习方法来生成环境简档。自学习方法可最初依赖包含在存储设备中的数据，之后可逐渐增加或减少简档的数量。还可以修改形成环境简档的一部分的标准。

图2是根据示例性实施例的更加详细地示意了图1的方法的流程图。

在操作102中，从点云相机接收一个或多个参数。

在操作202中，可从记录设备接收一个或多个附加参数。记录设备可包括但不限于RGB相机、热传感器或音频传感器。

在操作204中，可检测接收到的参数的改变。可在操作106中生成针对环境的简档时考虑参数的改变。

在操作206中，可确定改变发生的频率。

在操作208中，可在环境中在一时间段内观察特定类型的改变并且可基于重复发生的改变确定模式统计量。可存储模式统计量供进一步使用，例如用于简档生成。

在操作212中，可使用接收到的参数查询对象数据库模块。

在操作210中，识别与记录的参数或改变的参数对应的对象。一个参数可以与多个对象关联。在这种情况下，可检测参数的改变，并且可从与改变了的参数关联的多个对象识别或然(probable)对象。

在操作106中，评估改变了的参数并且基于评估生成环境简档。

在操作214中，基于检测到的改变确定环境的主题。主题可从在存储设备中可用的主题列表中确定。

环境简档可涉及很多应用。例如，其可用于向用户发送推荐(216)，用于向用户发送通知(218)或用于向用户发送警告(220)。

图3是根据示例性实施例的用于生成环境简档的装置的框图。

装置300可包括：接收单元302，用于从至少一个记录设备(例如点云相机)接收环境中的至少一个参数；改变检测单元304，用于检测参数的改变；以及简档构造模块306，用于生成环境简档。接收单元302、改变检测单元304和简档构造模块306可以以硬件或软件的形式实现或实现为嵌入式部件。

图4是根据另一示例性实施例的用于生成环境简档的装置的框图。

装置400可包括接收单元302、改变检测单元304、简档构造模块306、分析模块402、对象识别模块404、对象数据库406、推荐生成单元408、通知生成单元410和警告生成单元412。

除了从诸如点云相机的记录设备接收一个或多个参数之外，接收单元302还可从其他记录设备(例如，RGB相机、热传感器或音频传感器)接收一个或多个附加参数。改变检测单元304可检测从这些其他记录设备接收的附加参数的改变。简档构造模块306可将在附加参数中检测到的改变考虑在内以生成针对环境的简档。简档构造模块306可基于检测到的改变确定环境的主题。主题可从在存储设备中可用的主题列表中选择。

分析模块402可确定参数改变发生的频率。分析模块402可进一步基于重复发生的改变确定模式统计量并且将模式统计量存储在存储设备中供进一步使用，例如用于环境简档生成。

如果没有识别出参数与对象之间的关联性，则对象识别模块404可识别与记录的参数或改变的参数对应的或然对象。为了这样做，对象识别模块404可使用至少一个捕获的参数来在对象数据库406中执行搜索。

推荐生成单元408可生成并提供推荐给用户。通知生成单元410可生成并提供通知给用户。警告生成单元412可生成并提供警告给用户。

图5是根据再另一示例性实施例的用于生成环境简档的装置的框图。装置500可包括能够被执行以使得装置500执行本公开中示例性实施例中的一个或多个的一组指令。装置500可操作为单机设备或可例如使用网络连接到其他计算设备或外围设备。

装置500可实现为各种设备或结合到各种设备中，所述各种设备诸如个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动设备、掌上计算机、膝上计算机、台式计算机、电视机或能够执行使得机器执行本公开中的示例性实施例的一个或多个的一组指令(顺序的或其它形式的)的任何其他机器。另外，尽管在图5中示意了单个装置500，但是装置可包括单独或共同执行一组或多组指令以根据示例性实施例执行一个或多个功能的系统或子系统的任意集合。

装置500可包括处理器502(例如中央处理单元(CPU))、图形处理单元(GPU)或这两者。处理器502可为多种系统中的部件。处理器502可为一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、其组合或用于分析和处理数据的其他现在已知或以后开发的设备。处理器502可实现为软件程序，诸如手动生成的(即，编程的)代码。

术语“模块”可解释为包括多个可执行模块。如本文所描述的，模块可包括能够由处理器(诸如处理器502)执行的软件、硬件或其某种组合。软件模块可包括能够由处理器502或其他处理器执行的存储在存储器(诸如存储器504或另外的存储器设备)中的指令。硬件模块可包括能够被执行、引导或以其他方式控制以用于由处理器502执行的各种设备、部件、电路、门、电路板等。

装置500可包括存储器504，存储器504可连接到总线508。存储器504可为主存储器、静态存储器或动态存储器。存储器504可包括各种类型的易失性和非易失性存储介质。例如，存储器504可包括但不限于随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可擦除只读存储器、闪存存储器、磁带或盘、光学介质等。存储器504可包括用于处理器502的高速缓存或随机存取存储器或者可以与处理器502分离，诸如系统存储器。存储器504可为外部存储设备或用于存储数据的数据库。例如，存储器504可包括硬盘驱动器、致密盘(“CD”)、数字视频盘(“DVD”)、存储卡、存储棒、软盘、通用串行总线(“USB”)存储设备或进行操作以存储数据的任何其他设备。存储器504可操作为存储能够被处理器502执行的指令。根据示例性实施例的功能、动作或任务可由执行存储在存储器504中的指令的经编程的处理器502来执行。所述功能、动作或任务不依赖于特定类型的指令集、存储介质、处理器或处理策略，并且可由单独或组合操作的软件、硬件、集成电路、固件、微码等来执行。同样，处理策略包括多处理、多任务、并行处理等。

显示单元510包括但不限于液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器、阴极射线管(CRT)、投影仪、打印机或用于输出确定的信息的其他现在已知或以后开发的显示设备。显示器510可充当使用户看到处理器502的功能的接口，或具体地用作与存储在存储器504中的或在驱动单元516中的软件的接口。装置500可不包括显示单元510。

用户输入设备512可允许用户与装置500的部件中的任一个交互。用户输入设备512可借助数字键区、键盘、诸如鼠标或控制杆的光标控制设备、触摸屏显示器、遥控器或进行操作以与装置500交互的任何其他设备。

驱动单元516可包括计算机可读介质522，在计算机可读介质522中可存储一组或多组指令524，例如软件。另外，指令524可体现所描述的示例性实施例的算法中的一个或多个。例如，指令524在被装置500执行期间可完全地或至少部分地驻存在存储器504内或处理器502内。存储器504和处理器502还可包括在上面论述的计算机可读介质。

示例性实施例设想到了包括指令524或响应于传播的信号接收并执行指令524的计算机可读介质，以使得连接到网络526的设备能够通过网络526传送语音、视频、音频、图像或任何其他数据。另外，可经由通信通过总线508或通过网络526传输或接收指令524。通信接口520可为处理器502的一部分或者可为单独的部件。通信接口520可以以软件或硬件来实现。通信接口520可以与网络526、外部介质、显示器510或计算系统500中的任何其他部件或其组合连接。

术语“计算机可读介质”可包括单个介质或多个介质，诸如集中式或分布式数据库和关联的高速缓存以及存储一组或多组指令的服务器。术语“计算机可读介质”还可包括能够存储、编码或承载用于由处理器执行或使得计算机系统执行所公开的方法或操作中的任意一个或多个的一组指令的任意介质。“计算机可读介质”可为非暂态且有形的。

计算机可读介质可包括诸如存储卡的固态存储器或容纳一个或多个非易失性只读存储器的其他封装。另外，计算机可读介质可为随机存取存储器或其他易失性可再写入存储器。此外，计算机可读介质可包括磁光介质或光学介质(诸如盘或带或其他存储设备)以捕获载波信号，诸如通过传输介质传送的信号。电子邮件的数字文件附件或其他自包含的信息档案或档案的集合可视作为有形存储介质的分布介质。因此，设想到本公开包括计算机可读介质或分布介质和其他等价物以及数据或指令可存储在其中的接继介质中的任一个或多个。

装置500可借助专用硬件实现方式(诸如专用集成电路、可编程逻辑阵列和其他硬件设备)来实现。

示例性实施例的应用可涉及多种电子和计算机系统。一些示例性实施例可使用两个或更多个特定的互连硬件模块或设备。相关的控制和数据信号可在模块之间并通过模块传送，或作为专用集成电路的部分传送。因此，示例性实施例可涵盖软件、固件和硬件实现方式。

下面将通过不同场景详细描述示例性实施例。

正在日益增加地使用推荐系统来在生活中辅助用户，但是大多数推荐系统和算法仍然依赖用户的数字生活来识别用户的选择并相应地生成简档。然而，更合意的是简档反映其在其中生活的真实环境。图6示意了根据示例性实施例的包括三个对象和用于感测环境中的至少一个参数的记录设备的环境。在示例性实施例中，点云相机可用作记录设备以捕获用户的生活环境及真实的生活事实。点云相机可结合在TV中或连接到计算设备。如在图6中示意的，三个对象存在于用户的环境中。本领域普通技术人员将理解，环境可被修改以包括任何其他可替换对象。其他记录设备可以与点云相机结合或连接以监测环境的参数。这种方法具有许多优点；例如，由于捕获的场景固定，所以需要处理的数据较少。此外，通过仅仅分析场景中的动态对象，可以进一步提高速度和准确性。借助其他传感器(诸如一般的相机(或可替换地称为RGB相机)、热传感器(例如红外传感器)、音频传感器等)的帮助而非只用点云相机，可以更准确和迅速地分析环境。

在示例性实施例中，可使用点云相机分析包括用户及其行为的环境。被监测并用于生成简档的参数可包括但不限于下列各项：

1、房间中的对象：房间中对象的种类，例如，电子物品、古董物品、家具、装饰物品等；

2、观看TV的人数：这提供可能的用户计数；

3、房间中发生的改变的频率：房间中事物被添加/改变得有多频繁；

4、房间中对象的属性，例如廉价/昂贵、现代/古董、实用/装饰、颜色丰富/晦暗等；

5、房间和对象的颜色；

6、在观看TV时的照明条件等。

一旦创建了简档，就可以向用户提供推荐，所述推荐不仅针对数字内容还针对真实世界物品，诸如衣物、电子物品等。另外，可使用多个用户的简档来提供跨用户的推荐。可在实时的基础上、在时间延迟的基础上或在批模式的基础上生成简档。时间延迟的基础可涉及捕获参数的时间与生成简档的时间之间的时间差。在批模式中，可使用多个参数来生成环境简档。在批模式的示例性实施例中，可仅处理在预定时间段期间捕获的参数来生成环境简档。另外，可以对要用于生成环境简档的参数的数量施加限制。

示例性实施例假设：

(1)用户对其使用最多的对象感兴趣，

(2)每当对象被使用时，其状态被改变。

这样，为了识别用户感兴趣的对象，需要识别随着时间推移改变其状态的对象。参考图6，对于固定环境可通过使用静态点云相机来容易地检测状态的改变。如在前面提及的，诸如RGB相机、热传感器、音频传感器等的附加传感器可用于检测各种种类的改变。例如，RGB相机和热传感器中的每一个都可提供与例如位置或物理性质(例如颜色)的改变有关的信息。传感器可在一时间段内连续地监测环境并且通过将当前的捕获的帧与先前的帧比较来找到改变的对象。这种方法为检测用户感兴趣的对象产生更好的准确性和性能。用户的简档可基于用户的对象使用行为和时间信息来生成。

可通过点云相机以及可选地通过一个或多个附加设备(诸如RGB相机、热传感器等)来捕获图像并且可对它们进行处理并识别在一时间段内在场景中被改变的对象。基于时间，对环境改变模式进行记录，该环境改变模式进一步用于准备环境简档。该简档进一步用于在数字/真实世界中预测和辅助用户。

在示例性实施例中，环境简档生成系统300可包括：

1、图像捕获模块

2、图像分析模块

3、对象识别模块

4、对象数据库模块

5、音频捕获及分析模块

6、简档生成模块

7、基于简档的推荐模块

下面是对模块的详细描述：

1、图像捕获模块：该模块负责从环境捕获图像。可通过使用点云相机来进行图像捕获。除了点云相机之外，还可以额外地使用诸如RGB相机或热相机的其他设备。可连续地(如同视频流)捕获环境，或者可仅当在场景帧中识别出显著改变时才捕获环境。可通过点云相机、RGB相机和热图像传感器中的一个或多个检测该改变。可基于历史、时间和其他参数来自动调整改变检测阈值。一旦捕获到点云图像，就可以将其他设备(RGB相机及热传感器)的内容和相关信息一起进行存储。

2、图像分析模块：该模块负责分析捕获的信息。在示例性实施例中，捕获的信息可包含可选地带有RGB数据和IR数据的点云信息。该模块借助不同的图像处理技术使用点云信息并可选地使用IR数据或RGB数据来识别在图像帧中发生的改变。最基本的技术之一可为背景减除，其中使用先前图像作为参考并且减去下一帧缓冲以识别改变的区域。该技术可用于所有三种类型的传感器，即点云相机、RGB相机和热传感器。一旦识别出所述区域，就可以通过其他模块进一步处理图像以用于对象检测。

3、对象识别模块：该模块可从图像分析模块得到帧信息并且识别在其中存在的对象。对于检测人，热图像可被用作线索。如果在热图像中存在的温度不匹配人体的温度，则可将人计数设置为零。如果某区域显示匹配人体温度的温度，则可能需要使用点云数据和RGB数据进一步分析以找到存在的人。为了检测人的存在，并不强制要求热传感器。在没有热传感器的情况下，单单来自点云相机的数据可用于人检测。

类似地，可基于对象的3D形状来识别对象。例如，可使用点云数据来识别立方或球形表面。一旦对象被识别为具有立方表面，则RGB数据就可以与被识别的立方表面一起用作查询以在立方对象数据库中执行搜索。温度数据也可以与形状数据一起使用。例如，温度数据和表面数据可融合在一起来形成唯一的设备签名。

4、对象数据库模块：该模块可包含可能存在于特定环境(例如用户的起居室)中的一般对象的信息。数据库可包括对象的2D图像和3D点云数据、温度签名中的一个或多个。稍后可使用该信息来识别场景中可得到的对象。

5、音频捕获及分析模块：该模块可连续地监测在环境中检测到的音频信号并对它们进行分析以识别音频信号的类型，例如噪声、音乐、话音等。如果其原来是音乐的话，则可对其进行进一步分析以识别音乐的属性或流派，例如轻音乐、摇滚、爵士、古典等。该信息可以与其他模块组合以改进简档。在没有音频信息的情况下，该模块可依赖于从点云相机或其他附加设备接收的信息。

6、简档生成模块：该模块可基于在一时间段内在场景中识别的对象来生成环境简档。可使用对象属性(例如名称、颜色、类型、地点、时间)来生成简档。例如，可通过分析在一时间段内用户衣物的图像来识别用户的衣物购买模式。可使用该模式来推荐在该特定月份中的衣物。

类似地，如果在场景中识别出不同种类的电子配件(诸如移动设备、膝上设备和平板)，则可以确定用户对技术十分感兴趣，并且可以生成对相关产品的推荐。

简档可反映许多其他信息，诸如睡眠模式、衣物/设备的颜色模式、光的颜色和模式、对象摆放、在房间中的对象编排等。

7、基于简档的推荐模块：该模块可基于生成的简档为用户提供推荐。此处，当用户的简档相似时，可使用跨用户的推荐来基于一个用户的简档向另一用户推荐新事物。例如，如果用户的简档基于在其房间中检测到的吉他图片和吉他声音反映其对吉他感兴趣，则如果在与用户的简档相似的其他用户的简档中检测到吉他音乐事件，则可向用户推荐该吉他音乐事件。

由于对象是真实的(不是数字对象)，所以由示例性实施例提供的推荐将给用户的数字世界及真实世界添加价值。

这样，示例性实施例的一个优点是其提供了基于与真实世界相关的输入的在线/离线推荐系统。在示例性实施例中，可以以高效方式识别用户对各种对象的密切度和与各种对象的交互模式。可以在虚拟世界和真实世界两者中利用该信息。例如，如果基于在场景中存在昂贵物品而确定用户的生活方式为奢侈的话，则可向其推荐高级物品或数字内容。这样，用户可得到针对虚拟世界和真实世界两者的推荐。

在示例性实施例中，环境简档聚焦于环境简档而非聚焦于个人用户，可提供多用户推荐。例如，如果环境涉及多个用户，则环境简档可包括多个用户并且基于该简档生成的推荐可以与多个用户相关。另一方面，如果环境仅涉及一个用户，则可仅向该用户生成推荐。

当分析环境时，最重要的是监测两件事物：改变(物理移动及状态改变)的对象和改变的时间。环境简档可基于该观察来生成。例如，假设将在晚上使用吉他并且在中午使用微波炉。在不知道是否有一个用户做出这些动作的情况下，根据示例性实施例的装置可生成简档和在晚上使用吉他及在白天使用微波炉的推荐。另一方面，如果通过利用用户标识、面部识别或任何其他技术识别出两个动作都由相同用户做出，可生成推荐以向该用户建议在任意时间使用吉他或微波炉。

从点云相机输出的数据可用于不是创建环境简档的其他目的。例如，点云相机可用于姿态检测。同样地，热传感器可用于人存在检测以及用于环境简档生成。这样，包括该设备的系统可配置为执行除了环境简档生成之外的功能。

由于分析真实世界对象相当具有挑战性，所以可基于点云相机数据来对对象进行分类。特别地，当提到检测活体时，可使用低分辨率热传感器基于活体对象的温度来对活体对象进行分类。这些技术在检测低光或黑暗环境中的移动时非常有用。同样，与使用诸如面部/身体识别的其他图像处理技术相比，使用热相机识别人会容易得多。例如，具有低分辨率的点云数据和低分辨率热传感器的温度数据的组合可用于识别人。

在示例性实施例中，可连续地监测对象以识别在时间域中被修改的对象。这意味着在一时间段内面临某种改变的对象是感兴趣的对象。所述改变可为从位置改变到状态改变范围中的任何改变。例如，当用户将手持式设备从一个地方移动到另一个地方(物理改变)时、当用户打开微波炉的门(状态改变)时或当数字照片帧改变其内容(状态改变)时可发生这样的改变。所有这些改变可被监测并且经由连续监测来容易地检测。一旦检测到改变，就可以从图像帧识别出发生这样的改变的区域并且可使用点云数据提取改变的3D对象结构。

可在数据库中检查该提取的3D结构以找到相应的对象的属性，诸如性质、类型、名称和品牌等。一旦可得到关于改变的对象的细节或知识，就可以基于随着时间推移被记录的对象的改变确定其使用模式。对象的属性和使用模式可用于创建环境简档，环境简档可进一步用作推荐系统的输入。

图7示意了基于背景减除检测改变的构思。

来自各种硬件传感器(例如RGB相机、点云相机、热相机和麦克风)的数据可用作输入以通过将其与先前状态比较来找到环境状态的改变。在检测到一些大的改变之后可触发对象识别过程。检测可通过逐帧的比较或通过利用某种概率模型以分析对象改变行为来进行。一旦检测到改变，则改变的对象被从帧中提取出并且被进一步分析。参考图7，可以观察到在帧1和帧2之间没有改变，但是在帧2和帧3之间存在改变。通过应用背景减除，产生了被分析的帧3。利用被分析的帧和对象数据库，可识别改变了的对象。

如在前面提及的，对象的改变可以以各种形式发生。其可为对象的物理移动或状态改变。例如，当人穿着不同的衣物时可发生状态改变。通过利用颜色、温度和点云属性，可容易地识别对象及其改变。

在示例性实施例中，当对象频繁地改变它们的状态时可识别用户感兴趣的对象。通过连续地监测用户的服装，可识别衣物的类型(一般或聚会穿着)并且可预测用户什么时候将有聚会。

基于对象的类型及其改变，可针对用户生成简档。例如，简档可指示用户的禀性，例如聚会爱好者。基于该简档可以进行从自动警告(对于可能的未来事件)到产品推荐(与用户的喜好类似的新产品)范围中的许多事情。

图8是示意了根据示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作802中，接收捕获的图像。

在操作804中，分析接收的图像。可以以如在图7中示意的方式来执行图像分析。

在操作806中，确定对象的类别。

在操作808中，一旦确定了对象的类别，就在对象数据库中针对特定对象执行搜索。

在操作810中，识别可推荐内容。

在操作812中，将推荐提供给用户。

例如，如果检测到存在儿童或与儿童相关的对象(诸如玩具、学步车等)，则可以基于检测到的对象生成环境简档，并且然后可以基于生成的环境简档向用户提供对儿童相关电视频道和类似内容的推荐。

图9是示意了根据另一示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作902中，接收捕获的图像。

在操作904中，分析所述图像。可以以如在图7中示意的方式来执行图像分析。

在操作906中，可接收来自热传感器的数据。

在操作908中，利用来自热传感器的数据连同图像分析的输出检测用户的存在。

在操作910中，如果检测到用户的存在，则执行人体态识别。

在操作912中，人体态识别的结果被用于确定用户是清醒着还是在睡觉。

在操作914中，在用户睡着的情况下，可对TV进行控制，例如关闭。

如上所述，可基于生成的环境简档提供对于设备的控制信号作为推荐。可通过在一时间段内利用热传感器、点云相机和RGB相机中的一个或多个检测人的存在或不存在来实现这种应用。更具体地，可以在一时间段内学习用户的3D身体体态并且可以确定用户是否在睡觉。

图10是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作1002中，接收捕获的图像。

在操作1004中，分析所述图像。可以以如在图7中示意的方式来执行图像分析。

在操作1006中，基于分析的图像执行姿势识别。

在操作1008中，基于识别的姿势，通过查阅数据库来识别活动。

在操作1010中，基于识别的活动生成简档。

在操作1012中，取回适合于简档的推荐并且将其提供给用户。

基于对用户的身体体态、食物习惯和锻炼习惯的连续监测，环境简档可反映用户的卡路里/营养简档。这样，基于环境简档可给用户提供周期性的健康推荐和针对性的广告。

图11是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作1102中，接收捕获的图像。

在操作1104中，分析所述图像。

在操作1106中，基于分析的图像执行人识别。

在操作1108中，查询数据库并且检索与由被识别的人执行的活动有关的信息。

在操作1110中，针对所述活动对人进行监测。

在操作1112中，报告由所述人执行的活动。

示例性实施例可构建专用于用户的环境简档。如果用户每天都在家，则用户很有可能是主妇、退休专家或病人。相应地，基于特定于所述用户构建的简档，可监测存在的小时数、干完的工作的类型等。

图12是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作1202中，接收捕获的图像。

在操作1204中，分析所述图像。

在操作1206中，基于分析的图像识别对象。

在操作1208中，查询数据库并且检索与相同类别的对象有关的信息。

在操作1210中，基于所述信息生成简档。

在操作1212中，可向用户提供类似产品的信息。

基于检测到的对象，可向用户提供关于切合于对象的产品的推荐或广告。例如，如果微波炉放置在房间中，则可向用户显示与微波炉有关的特殊餐具和其他特定器具的广告。

图13是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作1310中，接收捕获的图像。

在操作1320中，分析所述图像。

在操作1330中，基于分析的图像，以场景或主题的形式生成环境简档。

在操作1340中，查询数据库并且检索与所述场景或主题有关的信息，例如应当被通知关于所述场景或主题的事件的其他用户的联系人信息。

在操作1350中，基于检索到的信息，可向与环境简档相关的人提供通知。

在操作1360中，可基于环境简档提供切合于所述场景的产品的推荐或信息。

在示例性实施例中，可基于生成的环境简档预测房间的主题并且可向用户提供实时通知。如果所述主题被识别为聚会或庆祝气氛，则可向列在环境简档中的用户的同伴提供实时通知。当用户正在进行指定任务(例如钢琴练习时)也可以发送这样的通知。

图14是示意了根据示例性实施例的用于基于环境简档触发警告的方法的流程图。

在操作1402中，接收捕获的图像。

在操作1404中，分析所述图像。

在操作1406中，基于分析的图像识别一个或多个对象。

在操作1408中，向数据库查询关于对象的信息。

在操作1410中，如果在特定环境中缺少对象，则可触发警报。

当在一时间段内监测和分析点云数据之后，可在环境中检测缺少的对象并且可触发实时警告。例如，锁柜、保险箱等可被指定为“重要对象”。在对象识别阶段之后，可将识别出的对象与在对象数据库中列出的“重要对象”进行比较。如果重要对象中的一个或多个未存在于房间中或已经被拆除或损坏，则不管状态改变的程度，都可触发警报作为实时通知。换言之，当对象被强行地或轻柔地带出房间时，可基于生成的环境简档以警报的形式向用户提供实时通知。

参考图8-14示意的情形不应当被解读为限制示例性实施例，并且本公开还可延伸到覆盖其他可预见的情形。

就示例性实施例在上面描述了益处、其他优点和对问题的解决方案。然而，可使得任何益处、优点或解决方案发生或变得更加明显的益处、优点、对问题的解决方案以及任何(一个或多个)部件不被解读为是任意或所有权利要求的关键、要求或必要的特征或部件。

尽管已经使用了特定言语来描述本公开，但是并不打算进行归因于特定言语的任何限制。如本领域人员所明了的，可对方法进行各种工作方式的修改以便实现本文教导的发明构思。

附图和前面的描述给出了示例性实施例。本领域技术人员将理解所描述的元件中的一个或多个也可组合成单个功能元件。可替换地，某些元件可被分成多个功能元件。可以将来自一个示例性实施例的元件添加到另一示例性实施例。例如，可以改变本文描述的过程的顺序并且所述顺序不限于本文描述的方式。此外，任何流程图中的动作不必按照示出的顺序来实现；也未必需要执行所有动作。另外，不依赖于其他动作的那些动作可以与其他动作并行执行。本公开的范围绝不被示例性实施例限制。不管有没有在说明书中明确地给出，诸如结构、尺寸和材料的使用上的差异的许多变化都是可能的。本公开的范围至少与由随附的权利要求给出的一样宽。

Claims (15)

1.一种用于生成环境简档的方法，所述方法包括：

通过借助至少一个记录设备捕获环境来生成所述环境的图像；

基于所述图像检测所述环境中对象的改变；

基于对象改变频率从对象中识别感兴趣对象；

基于感兴趣对象的属性来生成指示用户的兴趣的环境简档；

基于环境简档提供关于与用户的兴趣匹配的事件或产品中的至少一个的推荐，

其中，基于对象改变频率从对象中识别感兴趣对象包括：当对象频繁地改变其状态时，将该对象识别为用户感兴趣的对象。

2.根据权利要求1所述的方法，其中所述至少一个记录设备包括RGB相机、热相机、深度相机和点云相机中的至少一者。

3.根据权利要求1所述的方法，还包括：

基于所述环境简档为与所述环境相关的用户生成推荐。

4.根据权利要求1的方法，其中，所述生成包括：

基于检测到所述对象的改变的时间和所述对象的改变的类型来生成所述环境简档。

5.根据权利要求1所述的方法，还包括：

利用音频传感器来分析所述环境的音频信号，其中所述检测包括基于所述音频信号检测所述对象的改变。

6.根据权利要求1所述的方法，其中所述生成包括基于所述图像与用户之间的相关性生成所述环境简档。

7.根据权利要求1所述的方法，其中所述对象的改变包括对于对象的添加、删除、替换、修改、位置的改变中的至少一者。

8.根据权利要求1所述的方法，还包括：

识别环境中的特定对象的改变；以及

当识别出所述特定对象的缺失或损坏时，输出警报作为实时通知。

9.根据权利要求1所述的方法，其中所述检测包括测量所述对象的改变的频率，并且

其中所述生成包括基于所述对象的改变的频率生成所述环境简档。

10.根据权利要求1所述的方法，还包括：

基于所述对象的改变确定用户对所述对象的使用模式，

其中所述生成包括基于所述用户的使用模式生成环境简档。

11.一种用于生成环境简档的装置，所述装置包括：

图像生成器，配置成通过捕获环境来生成所述环境的图像；

检测器，配置为基于所述图像检测所述环境中对象的改变，基于对象改变频率从对象中识别感兴趣对象；以及

简档生成器，配置为基于所述感兴趣对象的属性来生成指示用户的兴趣的环境简档，并且基于环境简档提供关于与用户的兴趣匹配的事件或产品中的至少一个的推荐，

其中，所述检测器还被配置为：当对象频繁地改变其状态时，将该对象识别为用户感兴趣的对象。

12.根据权利要求11所述的装置，其中所述图像生成器包括RGB相机、热相机、深度相机和点云相机中的至少一者。

13.根据权利要求11所述的装置，其中所述简档生成器基于所述环境简档为与所述环境相关的用户生成推荐。

14.一种用于生成环境简档的方法，所述方法包括：

利用至少一个记录设备来捕获表示环境的参数；

基于所述参数来检测所述环境中的对象和对象的改变；

基于对象改变频率从对象中识别感兴趣对象；

基于所述感兴趣对象的属性来生成指示用户的兴趣的环境简档；以及

基于环境简档提供关于与用户的兴趣匹配的事件或产品中的至少一个的推荐，

其中，基于对象改变频率从对象中识别感兴趣对象包括：当对象频繁地改变其状态时，将该对象识别为用户感兴趣的对象。

15.根据权利要求14所述的方法，

其中所述参数包括所述对象的点云数据。

Images