CN104217205B - 一种识别用户活动类型的方法及系统 - Google Patents

Abstract

本发明公开了一种识别用户活动类型的方法及系统，方法包括采集用户所在位置的图像；提取图像中的用户所在环境的特征数据及用户的特征数据；利用活动类型相关的图像识别模型或图像库结合特征数据，识别得到用户的活动类型。通过上述方式，本发明能够识别较复杂的用户活动类型，并根据用户活动类型提供服务。

Description

一种识别用户活动类型的方法及系统

技术领域

本发明涉及一种识别用户活动类型的方法及系统。

背景技术

目前，可通过监控摄像头对人进行持续拍摄，获得多张图像，并对获得的图像进行二维分解，得到代表身体不同部位的移动轨迹，再通过轨迹间的相似性进行分析，从而得到人正在进行的活动。但上述得出的活动均为人的简单的肢体活动，例如：走、跑等，具有明显局限性。

发明内容

本发明实施例主要解决的技术问题是提供一种识别用户活动类型的方法及系统，能够识别较复杂的用户的活动类型，并根据用户活动类型提供服务。

第一方面，提供一种识别用户活动类型的方法，包括：采集用户所在位置的图像；提取图像中的用户所在环境的特征数据及用户的特征数据；利用活动类型相关的图像识别模型结合特征数据或图像库结合特征数据，识别得到用户的活动类型。

结合第一方面实现方式，在第一方面的第一种可能实现方式中，提取图像中的用户所在环境及用户在内的特征数据的步骤包括：

利用图像物体识别方法从图像中提取用户所在环境及用户在内的特征数据；利用活动类型相关的图像识别模型或数据库结合特征数据，识别得到用户的活动类型的步骤包括：利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对特征数据进行匹配，从而得到用户的活动类型。

结合第一方面实现方式，在第一方面的第二种可能实现方式中，特征数据为哈希特征值；提取图像中的用户所在环境及用户在内的特征数据的步骤包括：利用图像哈希特征提取方法提取图像的哈希特征值；利用活动类型相关的图像识别模型或数据库结合特征数据，识别得到用户的活动类型的步骤包括：根据匹配算法在图像库中查找与哈希特征值相匹配的图像；查找与哈希特征值相匹配的图像的标注，其中，标注用于指示与哈希特征值相匹配的图像中所包含的内容；根据标注识别用户的活动类型。

结合第一方面的第二种可能实现，在第一方面的第三种可能实现方式中，若与哈希特征值相匹配的图像不具有标注时，利用图像物体识别方法从与哈希特征值相匹配的图像中提取的特征数据，以及利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与哈希特征值相匹配的图像的特征数据进行匹配，从而得到用户的活动类型。

结合第一方面实现方式，在第一方面的第四种可能实现方式中，方法还包括：在利用活动类型相关的图像识别模型或图像库结合特征数据，识别得到用户的活动类型的步骤之前，还包括：采集用户所在环境或者用户自身的辅助信息；利用活动类型相关的图像识别模型或图像库结合特征数据，识别得到用户的活动类型的步骤包括：利用活动类型相关的图像识别模型或图像库结合辅助信息对特征数据进行匹配，从而得到用户的活动类型。

结合第一方面的第四种可能实现，在第一方面的第五种可能实现方式中，辅助信息包括位置信息、加速度信息、光线强度信息以及声音信息。

第二方面提供一种识别用户活动类型的系统，包括：第一采集模块，用于采集用户所在位置的图像；提取模块，用于提取图像中的用户所在环境及用户在内的特征数据；识别模块，用于利用活动类型相关的图像识别模型或图像库结合特征数据，识别得到用户的活动类型。

结合第二方面实现方式，在第二方面的第一种可能实现方式中，提取模块包括第一子提取单元；第一子提取单元用于利用图像物体识别方法从图像中提取用户所在环境及用户在内的特征数据；识别模块包括第一子识别单元；第一子识别单元用于利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对特征数据进行匹配，从而得到用户的活动类型。

结合第二方面实现方式，在第二方面的第二种可能实现方式中，特征数据为哈希特征值；提取模块包括第二子提取单元；第二子提取单元用于利用图像哈希特征提取方法提取图像的哈希特征值；识别模块包括匹配单元、查找单元以及第二子识别单元；匹配单元用于根据匹配算法在图像库中查找与哈希特征值相匹配的图像；查找单元用于查找与哈希特征值相匹配的图像的标注，其中，标注用于指示与哈希特征值相匹配的图像中所包含的内容；第二子识别单元用于根据标注识别用户的活动类型。

结合第二方面的第二种可能实现，在第二方面的第三种可能实现方式中，识别模块还包括第三子提取单元以及第三子识别单元；

第三子提取单元用于在查找单元没有找到与哈希特征值相匹配的图像的标注时，利用图像物体识别方法从与哈希特征值相匹配的图像中提取用户所在环境及用户在内的特征数据；第三子识别单元，用于利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与哈希特征值相匹配的图像的特征数据进行匹配，从而得到用户的活动类型。

结合第二方面实现方式，在第二方面的第四种可能实现方式中，第二采集模块，用于采集用户所在环境或者用户自身的辅助信息；识别模块具体用于利用活动类型相关的图像识别模型或图像库结合辅助信息对特征数据进行匹配，从而得到用户的活动类型。

结合第二方面的第四种可能实现方式，在第二方面的第五种可能实现方式中，辅助信息包括位置信息、加速度信息、光线强度信息以及声音信息。

本发明实施例的有益效果是：通过采集用户所在位置及用户在内的图像，提取图像中的用户所在环境及用户在内的特征数据，以及利用活动类型相关的图像识别模型或图像库结合特征数据，能够识别较复杂的用户的活动类型，并能够基于用户的活动类型提供相应的服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明识别用户活动类型的系统实施例的结构示意图；

图2是本发明识别用户活动类型的方法第一实施例的流程图；

图3是本发明识别用户活动类型的方法第二实施例的流程图。

具体实施例

请参阅图1，图1是本发明识别用户活动类型的系统实施例的结构示意图。如图所示，所述系统30包括第一采集模块301、提取模块302和识别模块303。

第一采集模块301采集用户所在位置的图像。提取模块302提取图像中的用户所在环境及用户在内的特征数据。识别模块303利用活动类型相关的图像识别模型或图像库结合特征数据，得到用户的活动类型。

值得说明的是：采集模块301、提取模块302和识别模块303可设置在同一个设备，也可设置在不同设备中。若采集模块301、提取模块302和识别模块303设置在不同设备时，本发明实施例还包括发送模块（未图示），例如：系统30设置有采集设备（未图示）和服务器（未图示），采集模块301和发送模块设置于采集设备，提取模块302和识别模块303设置于服务器，发送模块将采集模块301采集到的图像发送服务器，当然，提取模块302也可设置于采集设备，则发送模块将提取模块302提取得到的特征数据发送到服务器。

可选的，提取模块302包括第一子提取单元3021，识别模块包括第一子识别单元3031。第一子提取单元用于利用图像物体识别方法从采集模块301采集到的图像中提取用户所在环境及用户在内的特征数据。特征数据包括物理特征、结构特征和结构特征特征，例如：图像中包括人、树、动物、环境光线、位置等等。第一子识别单元3031利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对特征数据进行匹配，从而得到用户的活动类型。活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则是以特征数据为基本元素，根据特征数据的组合判断用户的活动类型。相对于，人的肢体活动，本发明实施例可识更复杂的活动类型，比如：人在打游戏、人在打架等等。

可选的，提取模块302包括第二子提取单元3022。识别模块303包括匹配单元3032、查找单元3033、第二子识别单元3034、第三子提取单元3035以及第三子识别单元3036。

第二子提取单元3022用于利用图像哈希特征提取方法提取采集模块301采集到的图像的哈希特征值。匹配单元3032根据匹配算法在图像库中查找与哈希特征值相匹配的图像。查找单元3033查找与哈希特征值相匹配的图像的标注，其中，标注用于指示与哈希特征值相匹配的图像中所包含的内容。第二子识别单元3034根据标注识别用户的活动类型。若查找单元3033没有找到与哈希特征值相匹配的图像的标注时，第三提取单元利用图像物体识别方法从与哈希特征值相匹配的图像中提取用户所在环境及用户在内的特征数据。第三子识别单元3036利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与哈希特征值相匹配的图像的特征数据进行匹配，从而得到用户的活动类型。其中，还可将第三子识别单元3036识别得到的用户的活动类型作为标注，记录到图像库中，并与所述相匹配的图像建立映射关系。

系统30还包括第二采集模块304。第二采集模块304采集用户所在环境或者来自于用户的辅助信息。在本发明实施例中，辅助信息包括位置信息、加速度信息、光线强度信息以及声音信息。识别模块303具体用于利用活动类型相关的图像识别模型或图像库结合辅助信息对特征数据进行匹配，进而识别得到用户的活动类型。结合辅助信息来识别用户的活动类型，能够提高识别的准确度。

进一步的，系统30还可包括扩展模块（未图示）。扩展模块根据用户的活动类型执行扩展程序，例如：通过对用户的活动类型的分析，得出用户的生活习惯。

在本发明实施例中，采集模块301采集用户所在位置及用户在内的图像，提取模块301提取图像中的用户所在环境及用户在内的特征数据，识别模块303利用活动类型相关的图像识别模型或图像库结合特征数据，能够识别较复杂的用户的活动类型，并基的于用户的活动类型提供相应的服务。

请参阅图2，图2是本发明识别用户活动类型的方法第一实施例的流程图。如图所示，所述方法包括：

步骤S101：采集用户所在位置的图像；

图像中的内容包括用户所在周边环境及用户自身。对于开启采集用户所在位置的图像的条件可预先设定，并在满足预先设定条件的前提下，自动采集用户所在位置的图像。

步骤S102：提取图像中的用户所在环境的特征数据及用户的特征数据；

在本发明实施例中，特征数据可为哈希特征值，哈希特征值是根据图像哈希特征提取方法从图像中提取出来的；特征数据又可为根据图像物体识别方法从图像提取的特征信息，例如：图像中包括人、树、动物、环境光线、位置等等。

步骤S103：利用活动类型相关的图像识别模型或图像库结合特征数据，识别得到用户的活动类型；

活动类型相关的图像识别模型是指预先通过学习得到的用于判断用户活动类型的规则，例如：活动类型相关的图像识别模型1包含特征数据为:篮球、人、篮球架，则活动类型相关的图像识别模型1得出用户在篮球场的活动类型。相比于，人的肢体活动，本发明实施例中，得得到的用户的活动类型更为复杂。

若特征数据可为哈希特征值时，可根据匹配算法在图像库中查找与该哈希特征值相匹配的图像，并根据该图像识别用户的活动类型。而根据匹配算法在图像库中查找与该哈希特征值相匹配的图像具体为：根据图像哈希特征提取方法预先为图像库中每一幅图像建立好哈希特征值，在步骤S103中可直接将提取到的哈希特征值与图像库中存储的哈希特征值进行匹配，从而找到相配的哈希特征值，进而通过相配的哈希特征值找到相匹配的图像。值得说明的是：这里所说的匹配是指提取得的哈希特征值与在图像库中找到的相匹配的图像的哈希特征值的差异不超过预定义值。

进一步的，还可基于用户的活动类型的提供相应的服务，例如：通过分析用户每天活动类型进得到用户习惯。

在本发明实施例中，通过采集用户所在位置及用户在内的图像，提取图像中的用户所在环境及用户在内的特征数据，以及利用活动类型相关的图像识别模型或图像库结合特征数据，能够识别较复杂的用户的活动类型，并能够基于用户的活动类型提供相应的服务。

请参阅图3，图3是本发明识别用户活动类型的方法第二实施例的流程图。如图所示，所述方包括：

步骤S201：采集用户所在位置的图像

图像中的内容包括用户所在周边环境及用户自身。对于开启采集用户所在位置的图像的条件可预先设定，并在满足预先设定条件的前提下，自动采集用户所在位置的图像。

步骤S202：利用图像哈希特征提取方法提取图像的哈希特征值；

哈希特征值是指以数字的形式记录图像的内容，不同图像，哈希特征值不同，相当于图像纹理特征。在本发明实施方式中，哈希特征值是一组二进制代码，不同图像，代表哈希特征值的二进制代码不同，但二进制代码的长度是相同的。图像哈希特征提取方法可以是基于数据独立的方法，例如：LSH(Location Sensitive Hash,位置敏感哈希函数)、SIKH（Shift Invariant kernel hashing，平移不变的内核哈希）等等，或者，图像哈希特征提取方法可以基于数据相关的方法，例如：MLH（Minimal loss hashing，损失最小散列)、Semantic hashing（语义哈希）、Spectral hashing（光谱散列）等等。

步骤S203：根据匹配算法在图像库中查找与哈希特征值相匹配的图像；

其中，可预先通过图像哈希特征提取方法提取图像库中的图像的哈希特征值，并建立哈希特征值与图像映射关系。则步骤S203具体为：将提取的哈希特征值与图像库中哈希特征值进行匹配，从而获得相匹配的哈希特征值，进而获得相匹配的图像。当然，也可不预先为图像库中的图像提取哈希特征值，在进行匹配时，才提取相关图像的哈希特征值。

需要说明的是：这里所述匹配是指，哈希特征值之间的海明距离最小，其中，海明距离越小，哈希特征值之间越相匹配，两图像间越相似，海明距离是指两个等长的代表哈希特征值的二进制代码间对应比特取值不同的比特数，例如：10101和00110从第一位开始依次有第一位、第四、第五位不同，则海明距离为3。

步骤S204：查找与哈希特征值相匹配的图像的标注，其中，标注用于指示与哈希特征值相匹配的图像中所包含的内容，若找到标注，则进入步骤S205，否则进入步骤S206；

标注预先在图像库中建立好的，并与图像库中图像建立一一映射关系，标注用于指示图像中包含的内容，通过标注可直接了解图像的内容，或者，标注直接指示活动类型。

步骤S205:根据标注识别用户的活动类型;

步骤S206：利用图像物体识别方法从与哈希特征值相匹配的图像中提取的特征数据；

特征数据包括物理特征、结构特征和结构特征，例如：图像中包括人、树、动物、环境光线、位置等等。

步骤S207：利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与哈希特征值相匹配的图像的特征数据进行匹配，从而得到用户的活动类型；

活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则是基于特征数据，例如：活动类型相关的图像识别模型1包含特征数据为:篮球、人、篮球架，则活动类型相关的图像识别模型1得出用户在篮球场的活动类型。

进一步的，还可将获得的用户的活动类型作为所述与哈希特征值相匹配的图像的标注，记录在图像库中，以及根据用户的活动类型提供相应的服务。

在本发明另一种实现中，也可利用图像物体识别方法，结合活动类型相关的图像识别模型识别用户的活动类型，则本发明实施例中可不包括步骤S205～S207，并且

步骤S203具体为：利用图像物体识别方法从图像中提取用户所在环境及用户在内的特征数据；

特征数据包括物理特征、结构特征和结构特征，例如：图像中包括人、树、动物、环境光线、位置等等。

步骤S204：利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与哈希特征值相匹配的图像的特征数据进行匹配，从而得到用户的活动类型；

活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则是基于特征数据，根据特征数据的组合来判断用户的活动类型，例如：活动类型相关的图像识别模型1包含特征数据为:篮球、人、篮球架，则活动类型相关的图像识别模型1得出用户在篮球场的活动类型。相比于，人的肢体活动，本发明实施例中，得到的用户的活动类型更为复杂。

在本发明实施例中，通过采集用户所在位置及用户在内的图像，提取图像中的用户所在环境及用户在内的特征数据，以及利用活动类型相关的图像识别模型或图像库结合特征数据，能够识别较复杂的用户的活动类型，并且能够基于用户的活动类型提供相应的服务。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种识别用户活动类型的方法，其特征在于，包括：

采集用户所在位置的图像；

提取所述图像中的所述用户所在环境的特征数据以及所述用户的特征数据；

利用活动类型相关的图像识别模型结合所述特征数据或图像库结合所述特征数据，识别得到用户的活动类型；

所述特征数据为哈希特征值；

所述提取所述图像中的用户所在环境及用户在内的特征数据的步骤包括：

利用图像哈希特征提取方法提取所述图像的哈希特征值；

所述利用活动类型相关的图像识别模型或数据库结合所述特征数据，识别得到用户的活动类型的步骤包括：

根据匹配算法在图像库中查找与所述哈希特征值相匹配的图像；

查找与所述哈希特征值相匹配的图像的标注，其中，所述标注用于指示与所述哈希特征值相匹配的图像中所包含的内容，通过所述标注可直接了解所述图像的内容，或者，所述标注直接指示所述活动类型；

根据所述标注识别所述用户的活动类型。

2.根据权利要求1所述的方法，其特征在于，

所述提取所述图像中的用户所在环境及用户在内的特征数据的步骤包括：

利用图像物体识别方法从所述图像中提取所述用户所在环境及用户在内的特征数据；

所述利用活动类型相关的图像识别模型或数据库结合所述特征数据，识别得到用户的活动类型的步骤包括：

利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对所述特征数据进行匹配，从而得到所述用户的活动类型。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

若与所述哈希特征值相匹配的图像不具有所述标注时，利用图像物体识别方法从与所述哈希特征值相匹配的图像中提取的特征数据，以及利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与所述哈希特征值相匹配的图像的特征数据进行匹配，从而得到所述用户的活动类型。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述利用活动类型相关的图像识别模型或图像库结合所述特征数据，识别得到用户的活动类型的步骤之前，还包括：

采集用户所在环境或者用户自身的辅助信息；

所述利用活动类型相关的图像识别模型或图像库结合所述特征数据，识别得到用户的活动类型的步骤包括：

所述利用活动类型相关的图像识别模型或图像库结合辅助信息对所述特征数据进行匹配，从而得到用户的活动类型。

5.根据权利要求4所述的方法，其特征在于，

所述辅助信息包括位置信息、加速度信息、光线强度信息或者声音信息。

6.一种识别用户活动类型的系统，其特征在于，包括：

第一采集模块，用于采集用户所在位置的图像；

提取模块，用于提取所述图像中的用户所在环境及用户在内的特征数据；

识别模块，用于利用活动类型相关的图像识别模型或图像库结合所述特征数据，识别得到用户的活动类型；

所述特征数据为哈希特征值；

所述提取模块包括第二子提取单元；

所述第二子提取单元用于利用图像哈希特征提取方法提取所述图像的哈希特征值；

所述识别模块包括匹配单元、查找单元以及第二子识别单元；

所述匹配单元用于根据匹配算法在图像库中查找与所述哈希特征值相匹配的图像；

所述查找单元用于查找所述与所述哈希特征值相匹配的图像的标注，其中，所述标注用于指示与所述哈希特征值相匹配的图像中所包含的内容，通过所述标注可直接了解所述图像的内容，或者，所述标注直接指示所述活动类型；

所述第二子识别单元用于根据所述标注识别所述用户的活动类型。

7.根据权利要求6所述的系统，其特征在于，

所述提取模块包括第一子提取单元；

所述第一子提取单元用于利用图像物体识别方法从所述图像中提取所述用户所在环境及用户在内的特征数据；

所述识别模块包括第一子识别单元；

所述第一子识别单元用于利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对所述特征数据进行匹配，从而得到所述用户的活动类型。

8.根据权利要求6所述的系统，其特征在于，

所述识别模块还包括第三子提取单元以及第三子识别单元；

所述第三子提取单元用于在所述查找单元没有找到与所述哈希特征值相匹配的图像的标注时，利用图像物体识别方法从与所述哈希特征值相匹配的图像中提取所述用户所在环境及用户在内的特征数据；

所述第三子识别单元，用于利用活动类型规则模型方法或者活动类型机器学习方法预先学习到的规则对与所述哈希特征值相匹配的图像的特征数据进行匹配，从而得到所述用户的活动类型。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括：

第二采集模块，用于采集用户所在环境或者用户自身的辅助信息；

所述识别模块具体用于利用活动类型相关的图像识别模型或图像库结合辅助信息对所述特征数据进行匹配，从而得到用户的活动类型。

10.根据权利要求9所述的系统，其特征在于，

所述辅助信息包括位置信息、加速度信息、光线强度信息以及声音信息。