CN112989084A - 一种基于特征值的社会行为分析方法 - Google Patents
一种基于特征值的社会行为分析方法 Download PDFInfo
- Publication number
- CN112989084A CN112989084A CN202011558319.8A CN202011558319A CN112989084A CN 112989084 A CN112989084 A CN 112989084A CN 202011558319 A CN202011558319 A CN 202011558319A CN 112989084 A CN112989084 A CN 112989084A
- Authority
- CN
- China
- Prior art keywords
- time
- personnel
- social behavior
- same
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 60
- 230000011273 social behavior Effects 0.000 title claims abstract description 35
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000379 polymerizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明新型公开了一种基于特征值的社会行为分析方法，包括以下步骤：S1:人脸特征值结构化数据标签化；S2:人脸特征结构化数据社会行为分析；S3:分析数据处理。本发明新型利用平时空闲的计算资源实时构建标签(将同一个人的图片打上标签进行分类)，在需要进行社会行为分析时无需进行任何比对,计算结果实时返回(秒级返回)，提高了系统社会行为分析功能的可用性。
Description
技术领域
本发明新型涉及大数据分析技术领域，具体为一种基于特征值的社会行为 分析方法。
背景技术
随着近些年AI生物特征认别技术的发展，人脸、人体识别算法准确度的提 升，机器识别的准确度已经超过人眼认别的准确度，在越来越多的领域得到了 广泛的应用，如门禁系统和智能手机上的面部解锁及支付等。较成熟的应用中 已经积累十亿、百亿、千亿级的人脸特征值数据，基于海量面部识别的数据已 经探索出越来越多的应用场景。目前主流的面部识别系统都提供了社会行为分 析功能，即便如此，在某些需要深度挖掘社会行为中，在数据较多时，通常这 些分析不是实时的，需要等待数十分钟，期间消耗大量的IO资源和计算资源。 而且通常如果多任务并发执行，会造成任务排队等待或拥堵。
发明内容
本发明新型的目的在于提供一种基于特征值的社会行为分析方法，以解决 上述背景技术中提出的问题。
为实现上述目的，本发明新型提供如下技术方案：一种基于特征值的社会 行为分析方法，包括以下步骤：
S1:人脸特征值结构化数据标签化：先将采集的实时人脸图片特征值进行聚 类分析增加人员ID标签；
S11:采集人脸分析特征，接入服务采集人脸卡口实时人脸图片，对图片用 算法库进行推理分析，得到相关结构化信息如：时间、地点(摄像头ID)、特 征值、年龄、性别等特征；
S12:信息推送，接入服务将推理分析到的人脸结构化信推送到消息服务中；
S13:对比档案，分析聚类归档服务去消息服务上消费这些人脸结构化信息。
S14:新增人员ID，分析聚类归档服务分析处理这些结构化信息，在结构化 信息中增加人员ID标签，分析归档过程如下：
1、将已知的人员档案库加载到内存中。
2、实时采集的结构化特征值跟已知的人员档案特征值进行特征距离计算， 找出是否在已知的人员档案中。
3、如找到是已知的人员档案，将实时采集的结构化信息中增加相应的人员 ID标签，更新到数据库中。
4、如没找到将该结构化信息新建一个人员档案，分配唯一的ID标签添加 到已知人员档案库中,采集的结构化信息中增加这次新增的人员ID标签更到数 据库中
S2:人脸特征结构化数据社会行为分析:基于上一步有人员ID标签的人脸 特征结构化数据社会行为(同行、伴随、空碰撞、徘徊等)分析,具体步骤如下：
S21:图片推理结构化，先对要进行要同行分析的图片用算法库进行推理结 构化，得到对应的特征值；
S22:数据对比，用该结构化后的特征值，跟去已知的人员档案库的特征值 进行距离计算，看看该人是否在已知的人员档案库中，如不存在，说明该人员 从来没有被摄像头采集过，同行分析结束。如找到进入下一步；
S23:数据库数据查询，找到特征值对应的人员ID后，用同行分析查询SQL 去数据库中查询对应的同步记录；
S24:编写同行分析数据库，编写同行分析SQL,查询的SQL数据库；
S25:数据整理，执行S24得到了同时出现了的其它人员记录，由于摄像头 对同一个人，在几秒内可能采集到了多次，需要再对数据做去重。去重原则为： 被同一个摄像头，在同行N分钟内采集到的记录，只算一次同行。
S26:形成完整的同行记录列表，数据经过去重复处理后，得到了一个完整 的同行记录列表；
S3:分析数据处理:其它社会行为分析像伴随、空碰撞、徘徊等，只需要根 据业务应用及场景定义，编写不同的SQL语句，对查询出来的记录做一些简单 的分析数据处理即可。
优选的，所述S2中编写同行分析SQL步骤为：人员被摄像机抓拍到一张 图片，对应该摄像机前后T(一般为3)秒左右出现算一次同行。假设人脸图片 特征值结构化信息保存在“人脸特征记录表”中。先在“人脸特征记录表”查 询出来该人员经过所有摄像头的记录，计算出每条记录前T秒对应时间 begin_time，后T秒对应的时间end_time，根据摄像头ID，begin_time，end_time 这3个条件，再一次在“人脸特征记录表”查询在同一个摄像头，在begin_time 到end_time时间范围内采集到的其它人员记录。
优选的，所述S2中查询的SQL数据库命令如下：
优选的，所述S2中完整的同行记录列表包含：抓拍时间(时间)、摄像头 ID(地点)、同行人员ID(人物)。再对人员ID值相同的进行累加聚合，得 到了完整的同行记录：同行人员ID(人物)、同行次数、同行记录(抓拍时间 (时间)、摄像头ID(地点))。
本发明的有益效果：
1.本发明新型利用平时空闲的计算资源实时构建标签(将同一个人的图片 打上标签进行分类)，在需要进行社会行为分析时无需进行任何比对,计算结果 实时返回(秒级返回)，提高了系统社会行为分析功能的可用性；
2.本发明新型通过利用平时空闲的部分计算资源提前给所有采集用到的图 片特征值数据打上人员ID的标签。在同行分析时先确定要分析的图片特征人员 ID，再基于标签化的人员ID编写SQL语句即可实现实时查询出结果。
3.本发明新型同时还在用户需要使用社会分析功能时，绕过了实际使用时 需要进行海量特征数据查询及算法聚类的过程，直接通过标签化的ID进行查 询，从而快速得到结果。实际使用过程中，即使在数十亿数据(查询的SQL字 段构建索引)中进行同行人员查询，也只需要不到5秒得出结果。
附图说明
图1为本发明新型一种基于特征值的社会行为分析方法整体流程图；
图2为本发明新型一种基于特征值的社会行为分析方法特征值标签化流程 图；
图3为本发明新型一种基于特征值的社会行为分析方法人脸特征记录表结 构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明的实施例，本领域普通技术人员所获得的所有其他 实施例，都属于本发明的保护范围。
请参阅图1-3，本发明新型提供一种技术方案：一种基于特征值的社会行 为分析方法，包括以下步骤：
S1:人脸特征值结构化数据标签化：先将采集的实时人脸图片特征值进行聚 类分析增加人员ID标签，具体步骤如下：
S11:采集人脸分析特征，接入服务采集人脸卡口实时人脸图片，对图片用 算法库进行推理分析，得到相关结构化信息如：时间、地点(摄像头ID)、特 征值、年龄、性别等特征；
S12:信息推送，接入服务将推理分析到的人脸结构化信推送到消息服务中；
S13:对比档案，分析聚类归档服务去消息服务上消费这些人脸结构化信息。
S14:新增人员ID，分析聚类归档服务分析处理这些结构化信息，在结构化 信息中增加人员ID标签，分析归档过程如下：
1、将已知的人员档案库加载到内存中。
2、实时采集的结构化特征值跟已知的人员档案特征值进行特征距离计算， 找出是否在已知的人员档案中。
3、如找到是已知的人员档案，将实时采集的结构化信息中增加相应的人员 ID标签，更新到数据库中，数据库对应的表结构如图二。
4、如没找到将该结构化信息新建一个人员档案，分配唯一的ID标签添加 到已知人员档案库中,采集的结构化信息中增加这次新增的人员ID标签更到数 据库中
S2:人脸特征结构化数据社会行为分析:基于上一步有人员ID标签的人脸 特征结构化数据社会行为(同行、伴随、空碰撞、徘徊等)分析,具体步骤如下：
S21:图片推理结构化，先对要进行要同行分析的图片用算法库进行推理结 构化，得到对应的特征值；
S22:数据对比，用该结构化后的特征值，跟去已知的人员档案库的特征值 进行距离计算，看看该人是否在已知的人员档案库中，如不存在，说明该人员 从来没有被摄像头采集过，同行分析结束。如找到进入下一步；
S23:数据库数据查询，找到特征值对应的人员ID后，用同行分析查询SQL 去数据库中查询对应的同步记录。
S24:编写同行分析数据库，编写同行分析SQL,编写同行分析SQL步骤为： 人员被摄像机抓拍到一张图片，对应该摄像机前后T(一般为3)秒左右出现算 一次同行。假设人脸图片特征值结构化信息保存在“人脸特征记录表”中。先 在“人脸特征记录表”查询出来该人员经过所有摄像头的记录，计算出每条记 录前T秒对应时间begin_time，后T秒对应的时间end_time，根据摄像头ID， begin_time，end_time这3个条件，再一次在“人脸特征记录表”查询在同一 个摄像头，在begin_time到end_time时间范围内采集到的其它人员记录。查 询的SQL数据库命令如下：
S25:数据整理，执行S24得到了同时出现了的其它人员记录，由于摄像头 对同一个人，在几秒内可能采集到了多次，需要再对数据做去重。去重原则为： 被同一个摄像头，在同行N分钟内采集到的记录，只算一次同行。
S26:形成完整的同行记录列表，数据经过去重复处理后，得到了一个完整 的同行记录列表：包含这些信息：抓拍时间(时间)、摄像头ID(地点)、同 行人员ID(人物)。再对人员ID值相同的进行累加聚合，得到了完整的同行 记录：同行人员ID(人物)、同行次数、同行记录(抓拍时间(时间)、摄像 头ID(地点))。
S3:分析数据处理:其它社会行为分析像伴随、空碰撞、徘徊等，只需要根 据业务应用及场景定义，编写不同的SQL语句，对查询出来的记录做一些简单 的分析数据处理即可。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现 本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非 限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落 在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权 利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施 方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见， 本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经 适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种基于特征值的社会行为分析方法，包括以下步骤：
S1:人脸特征值结构化数据标签化：先将采集的实时人脸图片特征值进行聚类分析增加人员ID标签；
S2:人脸特征结构化数据社会行为分析:基于上一步有人员ID标签的人脸特征结构化数据社会行为(同行、伴随、时空碰撞、徘徊等)分析；
S3:分析数据处理:对查询出来的其它社会行为记录做一些简单的分析数据处理即可。
2.根据权利要求1所述的一种基于特征值的社会行为分析方法，其特征在于：S1:人脸特征值结构化数据标签化包括以下步骤：
S11:采集人脸分析特征，接入服务采集人脸卡口实时人脸图片，对图片用算法库进行推理分析，得到相关结构化信息如：时间、地点(摄像头ID)、特征值、年龄、性别等特征；
S12:信息推送，接入服务将推理分析到的人脸结构化信推送到消息服务中；
S13:对比档案，分析聚类归档服务去消息服务上消费这些人脸结构化信息。
S14:新增人员ID，分析聚类归档服务分析处理这些结构化信息，在结构化信息中增加人员ID标签。
3.根据权利要求2所述的一种基于特征值的社会行为分析方法，其特征在于：所述S14中数据分析归档过程如下：
(1)将已知的人员档案库加载到内存中。
(2)实时采集的结构化特征值跟已知的人员档案特征值进行特征距离计算，找出是否在已知的人员档案中。
(3)如找到是已知的人员档案，将实时采集的结构化信息中增加相应的人员ID标签，更新到数据库中，数据库对应的表结构如图二。
(4)如没找到将该结构化信息新建一个人员档案，分配唯一的ID标签添加到已知人员档案库中,采集的结构化信息中增加这次新增的人员ID标签更到数据库中。
4.根据权利要求2所述的一种基于特征值的社会行为分析方法，其特征在于：所述S2:人脸特征结构化数据社会行为分析包括如下步骤：。
5.根据权利要求1所述的一种基于特征值的社会行为分析方法，其特征在于：所述S21:图片推理结构化，先对要进行要同行分析的图片用算法库进行推理结构化，得到对应的特征值；
S22:数据对比，用该结构化后的特征值，跟去已知的人员档案库的特征值进行距离计算，看看该人是否在已知的人员档案库中，如不存在，说明该人员从来没有被摄像头采集过，同行分析结束。如找到进入下一步；
S23:数据库数据查询，找到特征值对应的人员ID后，用同行分析查询SQL去数据库中查询对应的同步记录；
S24:编写同行分析数据库，编写同行分析SQL,查询的SQL数据库；
S25:数据整理，执行S24得到了同时出现了的其它人员记录，由于摄像头对同一个人，在几秒内可能采集到了多次，需要再对数据做去重。去重原则为：被同一个摄像头，在同行N分钟内采集到的记录，只算一次同行。
S26:形成完整的同行记录列表，数据经过去重复处理后，得到了一个完整的同行记录列表。
6.根据权利要求5所述的一种基于特征值的社会行为分析方法，其特征在于：所述S24中编写同行分析SQL步骤为：人员被摄像机抓拍到一张图片，对应该摄像机前后T(一般为3)秒左右出现算一次同行。假设人脸图片特征值结构化信息保存在“人脸特征记录表”中。先在“人脸特征记录表”查询出来该人员经过所有摄像头的记录，计算出每条记录前T秒对应时间begin_time，后T秒对应的时间end_time，根据摄像头ID，begin_time，end_time这3个条件，再一次在“人脸特征记录表”查询在同一个摄像头，在begin_time到end_time时间范围内采集到的其它人员记录。
7.根据权利要求5所述的一种基于特征值的社会行为分析方法，其特征在于：所述S3:分析数据处理具体操作如下：其它社会行为分析像伴随、空碰撞、徘徊等，只需要根据业务应用及场景定义，编写不同的SQL语句，对查询出来的记录做一些简单的分析数据处理即可。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558319.8A CN112989084A (zh) | 2020-12-25 | 2020-12-25 | 一种基于特征值的社会行为分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558319.8A CN112989084A (zh) | 2020-12-25 | 2020-12-25 | 一种基于特征值的社会行为分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989084A true CN112989084A (zh) | 2021-06-18 |
Family
ID=76345109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011558319.8A Pending CN112989084A (zh) | 2020-12-25 | 2020-12-25 | 一种基于特征值的社会行为分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989084A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776781A (zh) * | 2016-11-11 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种人群关系网络分析方法及装置 |
| CN107305636A (zh) * | 2016-04-22 | 2017-10-31 | 株式会社日立制作所 | 目标识别方法、目标识别装置、终端设备和目标识别系统 |
| CN109344271A (zh) * | 2018-09-30 | 2019-02-15 | 南京物盟信息技术有限公司 | 视频人像档案处理方法及其系统 |
| CN109858365A (zh) * | 2018-12-28 | 2019-06-07 | 深圳云天励飞技术有限公司 | 一种特殊人群聚集行为分析方法、装置及电子设备 |
| CN110084103A (zh) * | 2019-03-15 | 2019-08-02 | 深圳英飞拓科技股份有限公司 | 一种基于人脸识别技术的同行人分析方法及系统 |
| CN111079469A (zh) * | 2018-10-18 | 2020-04-28 | 深圳云天励飞技术有限公司 | 人脸图像的处理方法、装置、设备及可读存储介质 |
| CN111522980A (zh) * | 2020-04-26 | 2020-08-11 | 深圳惟远智能技术有限公司 | 一种海量数据下基于档案的快速搜索方法 |
-
2020
- 2020-12-25 CN CN202011558319.8A patent/CN112989084A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107305636A (zh) * | 2016-04-22 | 2017-10-31 | 株式会社日立制作所 | 目标识别方法、目标识别装置、终端设备和目标识别系统 |
| CN106776781A (zh) * | 2016-11-11 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种人群关系网络分析方法及装置 |
| CN109344271A (zh) * | 2018-09-30 | 2019-02-15 | 南京物盟信息技术有限公司 | 视频人像档案处理方法及其系统 |
| CN111079469A (zh) * | 2018-10-18 | 2020-04-28 | 深圳云天励飞技术有限公司 | 人脸图像的处理方法、装置、设备及可读存储介质 |
| CN109858365A (zh) * | 2018-12-28 | 2019-06-07 | 深圳云天励飞技术有限公司 | 一种特殊人群聚集行为分析方法、装置及电子设备 |
| CN110084103A (zh) * | 2019-03-15 | 2019-08-02 | 深圳英飞拓科技股份有限公司 | 一种基于人脸识别技术的同行人分析方法及系统 |
| CN111522980A (zh) * | 2020-04-26 | 2020-08-11 | 深圳惟远智能技术有限公司 | 一种海量数据下基于档案的快速搜索方法 |
Non-Patent Citations (1)
| Title |
|---|
| 肖轶涛;张义泰;: "基于人像识别技术在"一人一档"系统中的应用与探索", 数字技术与应用, no. 03, pages 208 - 209 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Topic evolution and social interactions: how authors effect research | |
| Xu et al. | The big data analytics and applications of the surveillance system using video structured description technology | |
| AU2022201654A1 (en) | System and engine for seeded clustering of news events | |
| Selvakuberan et al. | Feature selection for web page classification | |
| Beheshti et al. | iprocess: Enabling iot platforms in data-driven knowledge-intensive processes | |
| Lakshmi et al. | A survey on different trends in data streams | |
| US20130282726A1 (en) | Grouping identity records to generate candidate lists to use in an entity and relationship resolution process | |
| Gaber et al. | Data stream mining | |
| CN101105795A (zh) | 基于网络行为的个性化推荐方法和系统 | |
| CN103425740B (zh) | 一种面向物联网的基于语义聚类的物资信息检索方法 | |
| US9280551B2 (en) | De-duplication deployment planning | |
| Jain et al. | Refreshing datawarehouse in near real-time | |
| CN111522950A (zh) | 一种针对非结构化海量文本敏感数据的快速识别系统 | |
| CN110598042A (zh) | 一种基于增量更新的视频结构化实时更新方法及系统 | |
| CN116680090B (zh) | 一种基于大数据的边缘计算网络管理方法及平台 | |
| Ravichandran | Big Data processing with Hadoop: a review | |
| Jin et al. | Frequent pattern mining in data streams | |
| Bailis et al. | Macrobase: Analytic monitoring for the internet of things | |
| CN112989084A (zh) | 一种基于特征值的社会行为分析方法 | |
| CN102402420B (zh) | 解析可观察集合 | |
| CN101510211A (zh) | 多媒体数据处理系统及方法 | |
| CN110442614B (zh) | 元数据的搜索方法及装置、电子设备、存储介质 | |
| CN114723454A (zh) | 身份识别方法、装置、电子设备及可读存储介质 | |
| Doan et al. | A framework for iot streaming data indexing and query optimization | |
| CN111581420A (zh) | 一种基于Flink的医学图像实时检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |