CN112433866A - 一种基于Storm-DRPC的人脸识别性能优化方法 - Google Patents
一种基于Storm-DRPC的人脸识别性能优化方法 Download PDFInfo
- Publication number
- CN112433866A CN112433866A CN202011332235.2A CN202011332235A CN112433866A CN 112433866 A CN112433866 A CN 112433866A CN 202011332235 A CN202011332235 A CN 202011332235A CN 112433866 A CN112433866 A CN 112433866A
- Authority
- CN
- China
- Prior art keywords
- storm
- drpc
- feature
- bolt
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Storm‑DRPC的人脸识别性能优化方法，包括以下步骤；步骤（1）、调用者向FaceServer发起人脸识别HTTP请求；步骤（2）、FaceServer向Storm DRPC发起特征比对HTTP请求；步骤（3）、Storm DRPC将请求中的待比对特征数据传递给Storm Job Dispatch Bolt服务节点；步骤（4）、Storm Job Dispatch Bolt获取当前Mongodb特征库总量信息；步骤（5）、Storm Feature Compasison Bolt对待比较特征数据和分配到的特征库区块一一进行相似度计算。本发明采用分布式计算框架，提升识别速度，应对海量人脸场景，通过DRPC的方式，可以做成通用人脸比对服务，外部调用简单。
Description
技术领域
本发明涉及人脸识别技术领域，具体为一种基于Storm-DRPC的人脸识别性能优化方法。
背景技术
人脸识别系统中最关键的一个步骤是特征比对，随着人脸特征数目增多，单服务器做比对无法满足快速识别要求，目前较为折中的做法是将人脸归类以减少待比对数量，但无法满足人脸聚类(无法识别的人脸需要增加进特征库，特征数量是持续增加的)，这种需要在海量特征中做比对的场景，鉴于此提出一种基于Storm-DRPC的人脸识别性能优化方法。
发明内容
本发明的目的在于提供一种基于Storm-DRPC的人脸识别性能优化方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于Storm-DRPC的人脸识别性能优化方法，包括以下步骤；
步骤（1）、调用者向FaceServer发起人脸识别HTTP请求；
步骤（2）、FaceServer向Storm DRPC发起特征比对HTTP请求；
步骤（3）、Storm DRPC将请求中的待比对特征数据传递给Storm Job Dispatch Bolt服务节点；
步骤（4）、Storm Job Dispatch Bolt获取当前Mongodb特征库总量信息，按照均衡分配策略对特征库进行区块分配，并将待比较特征数据和对应的特征库区块信息下发给各个Storm Feature Compasison Bolt；
步骤（5）、Storm Feature Compasison Bolt对待比较特征数据和分配到的特征库区块一一进行相似度计算，输出相似度值最高的特征所对应的人脸ID给Storm Result MergeBolt；
步骤（6）、Storm Result Merge Bolt对汇总到的所有相似度最高的特征再进行相似度排序，取出这里面相似度值最高的人脸ID，并输出给Storm DRPC Return；
步骤（7）、Storm DRPC Return将比对结果通过HTTP返回给FaceServer；
步骤（8）、FaceServer将比对结果通过HTTP返回给调用者。
优选的，步骤（1）中，通过http协议传输时，加载在线视频数据所对应的服务器中的跨域策略文件，以获得保存该视频数据的权限到数据库。
优选的，所述服务器与客户端的数据传输采用JSON数据格式，数据库采用性能卓越的MONGODB数据库。
本发明提出的一种基于Storm-DRPC的人脸识别性能优化方法，有益效果在于：本发明采用分布式计算框架，提升识别速度，应对海量人脸场景，通过DRPC的方式，可以做成通用人脸比对服务，外部调用简单。
附图说明
图1为本发明所述基于Storm-DRPC的人脸识别性能优化方法的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1、请参阅图1，本发明提供一种技术方案：一种基于Storm-DRPC的人脸识别性能优化方法，包括以下步骤；
步骤（1）、调用者向FaceServer发起人脸识别HTTP请求；
通过http协议传输时，加载在线视频数据所对应的服务器中的跨域策略文件，以获得保存该视频数据的权限到数据库；
服务器与客户端的数据传输采用JSON数据格式，数据库采用性能卓越的MONGODB数据库；
步骤（2）、FaceServer向Storm DRPC发起特征比对HTTP请求；
步骤（3）、Storm DRPC将请求中的待比对特征数据传递给Storm Job Dispatch Bolt服务节点；
步骤（4）、Storm Job Dispatch Bolt获取当前Mongodb特征库总量信息，按照均衡分配策略对特征库进行区块分配，并将待比较特征数据和对应的特征库区块信息下发给各个Storm Feature Compasison Bolt；
步骤（5）、Storm Feature Compasison Bolt对待比较特征数据和分配到的特征库区块一一进行相似度计算，输出相似度值最高的特征所对应的人脸ID给Storm Result MergeBolt；
步骤（6）、Storm Result Merge Bolt对汇总到的所有相似度最高的特征再进行相似度排序，取出这里面相似度值最高的人脸ID，并输出给Storm DRPC Return；
步骤（7）、Storm DRPC Return将比对结果通过HTTP返回给FaceServer；
步骤（8）、FaceServer将比对结果通过HTTP返回给调用者。
通过引入Storm分布式计算框架，并结合DRPC(分布式RPC)技术，将海量特征的比对任务均衡分发到若干服务器上，调用者通过HTTP REST向集群发起人脸特征比对请求，集群进行任务分发和计算，最后结果汇总整理后返回给调用者最佳的特征匹配项。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种基于Storm-DRPC的人脸识别性能优化方法，其特征在于：包括以下步骤；
步骤（1）、调用者向FaceServer发起人脸识别HTTP请求；
步骤（2）、FaceServer向Storm DRPC发起特征比对HTTP请求；
步骤（3）、Storm DRPC将请求中的待比对特征数据传递给Storm Job Dispatch Bolt服务节点；
步骤（4）、Storm Job Dispatch Bolt获取当前Mongodb特征库总量信息，按照均衡分配策略对特征库进行区块分配，并将待比较特征数据和对应的特征库区块信息下发给各个Storm Feature Compasison Bolt；
步骤（5）、Storm Feature Compasison Bolt对待比较特征数据和分配到的特征库区块一一进行相似度计算，输出相似度值最高的特征所对应的人脸ID给Storm Result MergeBolt；
步骤（6）、Storm Result Merge Bolt对汇总到的所有相似度最高的特征再进行相似度排序，取出这里面相似度值最高的人脸ID，并输出给Storm DRPC Return；
步骤（7）、Storm DRPC Return将比对结果通过HTTP返回给FaceServer；
步骤（8）、FaceServer将比对结果通过HTTP返回给调用者。
2.根据权利要求1所述的一种基于Storm-DRPC的人脸识别性能优化方法，其特征在于：步骤（1）中，通过http协议传输时，加载在线视频数据所对应的服务器中的跨域策略文件，以获得保存该视频数据的权限到数据库。
3.根据权利要求2所述的一种基于Storm-DRPC的人脸识别性能优化方法，其特征在于：所述服务器与客户端的数据传输采用JSON数据格式，数据库采用性能卓越的MONGODB数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011332235.2A CN112433866A (zh) | 2020-11-25 | 2020-11-25 | 一种基于Storm-DRPC的人脸识别性能优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011332235.2A CN112433866A (zh) | 2020-11-25 | 2020-11-25 | 一种基于Storm-DRPC的人脸识别性能优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112433866A true CN112433866A (zh) | 2021-03-02 |
Family
ID=74694084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011332235.2A Pending CN112433866A (zh) | 2020-11-25 | 2020-11-25 | 一种基于Storm-DRPC的人脸识别性能优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112433866A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874426A (zh) * | 2017-01-23 | 2017-06-20 | 福州大学 | 基于Storm的RDF流式数据关键词实时搜索方法 |
| CN110007967A (zh) * | 2017-12-29 | 2019-07-12 | 杭州海康威视数字技术股份有限公司 | 一种基于流式框架的数据处理方法、装置及设备 |
| CN111160075A (zh) * | 2018-11-08 | 2020-05-15 | 北京航天长峰科技工业集团有限公司 | 一种大规模人脸识别系统及方法 |
-
2020
- 2020-11-25 CN CN202011332235.2A patent/CN112433866A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874426A (zh) * | 2017-01-23 | 2017-06-20 | 福州大学 | 基于Storm的RDF流式数据关键词实时搜索方法 |
| CN110007967A (zh) * | 2017-12-29 | 2019-07-12 | 杭州海康威视数字技术股份有限公司 | 一种基于流式框架的数据处理方法、装置及设备 |
| CN111160075A (zh) * | 2018-11-08 | 2020-05-15 | 北京航天长峰科技工业集团有限公司 | 一种大规模人脸识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王晨曦: "大容量实时人脸检索系统及其任务调度算法的研究与实现", 中国优秀硕士学位论文全文数据库, pages 4 - 11 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3419253B1 (en) | Data processing method and relevant devices and systems | |
| CN112488322A (zh) | 一种基于数据特征感知聚合的联邦学习模型训练方法 | |
| CN108062243B (zh) | 执行计划的生成方法、任务执行方法及装置 | |
| CN111464627A (zh) | 数据处理方法、边缘服务器、中心服务器及处理系统 | |
| CN103067486B (zh) | 基于PaaS平台的大数据处理方法 | |
| Alferaidi et al. | Federated learning algorithms to optimize the client and cost selections | |
| US20190238797A1 (en) | Method, device, and storage medium for processing webcam data | |
| CN114490020A (zh) | 一种区块链分片方法、系统及电子设备 | |
| CN105227386A (zh) | 用于分群体统计在线用户数的方法、装置及系统 | |
| CN111539281B (zh) | 分布式人脸识别方法及系统 | |
| CN112433866A (zh) | 一种基于Storm-DRPC的人脸识别性能优化方法 | |
| CN108989456B (zh) | 一种基于大数据的网络实现方法 | |
| CN116319810A (zh) | 分布式系统的流量控制方法、装置、设备、介质及产品 | |
| CN112817732B (zh) | 一种适应云边协同多数据中心场景下的流数据处理方法及系统 | |
| CN105162837A (zh) | 海量数据存储环境下提升i/o吞吐率的方法及系统 | |
| CN114116052A (zh) | 一种边缘计算方法及装置 | |
| CN113190347A (zh) | 一种边缘云系统及任务管理方法 | |
| CN113590322A (zh) | 一种数据处理方法和装置 | |
| CN112738225A (zh) | 基于人工智能的边缘计算方法 | |
| CN111770178A (zh) | 一种领导节点选举方法及系统 | |
| CN112367189A (zh) | 一种分布式节点管理方法、设备及存储介质 | |
| CN115115457B (zh) | 业务交易流水的处理方法、系统及介质 | |
| CN117648169B (zh) | 一种支持多云断网容灾的任务级协同优化调度方法 | |
| CN109117266B (zh) | 基于多层架构的视频人工智能训练平台 | |
| US20220294867A1 (en) | Method, electronic device, and computer program product for data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |