CN115114663A - 一种基于云边端协同的人脸识别方法 - Google Patents
一种基于云边端协同的人脸识别方法 Download PDFInfo
- Publication number
- CN115114663A CN115114663A CN202210765415.2A CN202210765415A CN115114663A CN 115114663 A CN115114663 A CN 115114663A CN 202210765415 A CN202210765415 A CN 202210765415A CN 115114663 A CN115114663 A CN 115114663A
- Authority
- CN
- China
- Prior art keywords
- face recognition
- calculation
- cloud
- model
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004364 calculation method Methods 0.000 claims abstract description 140
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005265 energy consumption Methods 0.000 claims description 5
- 238000005562 fading Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 abstract description 3
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6236—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database between heterogeneous systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及边缘计算、云计算以及人脸识别技术领域，公开了一种基于云边端协同的人脸识别方法，包括步骤：将人脸识别模型划分为若干个逻辑层，构建计算图模型，以最小化计算图模型完成单次计算过程的计算时间为优化目标获取人脸识别模型的分割点；根据分割点调整人脸识别模型，在端设备上计算分割点之前的所有逻辑层，由边对分割点之后的人脸识别模型进行计算，将计算产生的数据和分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。通过云存储人脸数据提供充足的存储空间和保密性，通过边缘服务器作为端设备和云之间的中间计算资源，有效缓解通信条件恶化带来的人脸识别计算延迟，保障了人脸识别的实时性、隐私性和稳定性。
Description
技术领域
本发明涉及边缘计算、云计算以及人脸识别技术领域，尤其涉及一种基于云边端协同的人脸识别方法。
背景技术
目前人脸识别系统主要采用深度神经网络模型对人脸识别结果进行推断，相对于传统的方法，该方法虽然在识别的精度上有所提升，但相应的计算量增大，计算产生的中间结果值增多，且需要基于大量的样本数据对神经网络进行训练，神经网络的训练、收敛以及应用对计算、存储资源的要求也更高。
云具有强大的计算能力并具备丰富的存储资源，通常作为计算中心提供计算支撑以及作为数据中心存储海量数据，但云推理受到网络的连接条件的影响，当通信信道质量恶化时，移动性设备上的延迟敏感的人脸识别应用会得不到保障，且直接将原始数据传输到云进行推理还面临着信息泄露隐私安全问题，尤其对于人脸识别这种用于身份识别的技术。
边缘计算作为在更靠近端侧提供计算资源的计算范式，相较于云推理，边推理能够降低模型推理对通信链路质量的依赖，具有更低延迟和更高可靠性的优点，但仍然难以安全利用端设备产生的数据。
为了保障数据的安全性，可以采用端推理的方式，但是人脸识别任务需要进行大量的计算，能量消耗高；而端设备的计算能力又受限于设备功率以及硬件水平，计算能力有限，无法独立为计算密集的人脸识别应用提供服务。
应对上述挑战，目前端边云协同的计算范式成为业内重要的解决方法，但是具有以下问题：
1)端设备只具备图像采集功能，直接传输数据具有隐私安全问题；
2)为实现低时延的模型协同执行，目前求解最优模型分割点的方法计算复杂度高；
3)云往往只充当数据中心的角色，核心计算在于边，导致边的计算负载过重。
发明内容
本发明提供一种基于云边端协同的人脸识别方法，用以解决上述现有技术的缺陷，解决了人脸采集的端设备传输人脸数据带来的隐私泄露问题，通过云存储注册人脸数据能够提供更充足的存储空间和更安全的保障，通过边缘服务器作为端设备和云存储之间的中间计算资源，能够有效缓解通信条件恶化带来的人脸模型推理延迟，保障了人脸识别任务的实时行、隐私性和服务稳定性。
本发明提供一种基于云边端协同的人脸识别方法，包括如下步骤：
将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点；
根据所述分割点调整所述人脸识别模型，计算所述分割点之前的所有逻辑层，并将所述分割点和计算逻辑层产生的数据量同步至边；
根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，将当前人脸识别模型计算产生的数据和所述分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。
根据本发明提供的一种基于云边端协同的人脸识别方法，在对人脸识别模型进行划分时，根据人脸识别模型的网络结构，将并行计算层具有跳转结构的层作为一个逻辑层。
根据本发明提供的一种基于云边端协同的人脸识别方法，在端设备上使用测试图像数据对所述人脸识别模型中前若干层的逻辑层进行计算，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量。
根据本发明提供的一种基于云边端协同的人脸识别方法，基于每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，包括：
从端设备获取当前的网络带宽B；计算图模型共n层，获取第i层逻辑层的计算时延Ei，通过第i层逻辑层输出的数据量Di和网络带宽B获取数据传输时延；
获取所述计算图模型完成单次计算过程的计算时间Ttotal：
优选的，由于端设备的能源、输出功率取决于端设备的硬件水平，因此需要考虑端设备的最大输出功率作为在以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点的过程中，以端设备运行人脸识别模型的最大功率Rmax为约束，获取计算第i层逻辑层的计算能耗C1,i和数据传输能耗Pi，约束条件为：
C1,i+i＝k*cpusize*(f)2+ps*Tup≤Rmax；
Tup＝Di/R,R＝B*log2(1+ps*hn 2/N0)；
其中，k是与硬件架构相关的常数，N0是信道噪声，hn是相应的瑞利衰落信道系数，cpusize为CPU计算第i层逻辑层所需的周期数，ps为数据传输功率，Tup为数据传输时间。
根据本发明提供的一种基于云边端协同的人脸识别方法，根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，并获取实时的网络通信带宽；
当网络通信带宽大于等于带宽阈值后，将当前人脸识别模型计算产生的数据和所述分割点发送至云。
根据本发明提供的一种基于云边端协同的人脸识别方法，云根据从边接收到的计算数据和所述分割点，根据人脸识别模型进行计算，将获取的图像数据与人脸注册库进行匹配，并输出识别结果。
另一方面，本发明还提供一种基于云边端协同的人脸识别系统，包括划分模块、计算图模型构建模块、分割点求解模块以及协同计算模块，其中：
所述划分模块用于将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
所述计算图模型构建模块，用于构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
所述分割点求解模块用于从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，获取所述计算时间为最小值时逻辑层的分割点作为最优分割点；
所述协同计算模块用于根据所述最优点分割点调整所述人脸识别模型，计算所述最优分割点之前的所有逻辑层，并将所述最优分割点和计算逻辑层产生的数据同步至边；
将计算产生的数据和所述最优分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于云边端协同的人脸识别方法的步骤。
本发明提供的一种基于云边端协同的人脸识别方法，通过对任一人脸识别模型进行划分，构建计算图模型，根据计算图模型中每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点，在保证数据隐私安全的前提下，降低了计算的复杂度；基于分割点对人脸识别模型进行分割，通过云边端协同能够有效的利用端设备、边缘服务器和云的计算资源和存储资源，利用边缘服务器数据传输时延低和云计算强大的计算能力实现对人脸识别模型的运算，云服务器进行整个模型的计算、端设备执行分割之前的模型的计算、边缘服务器执行分割之后的模型的计算，使得部分人脸识别模型并行的运行在各个计算节点上，基于各个计算节点的计算能力进行模型的切割，最大化的提高人脸识别的效率，降低对网络通信质量、能耗以及硬件设备水平的要求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于云边端协同的人脸识别方法的流程示意图；
图2是本发明提供的基于云边端协同的人脸识别系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或模块。
如图1所示，在一个实施例中，本发明提供一种基于云边端协同的人脸识别方法，具体包括如下步骤：
S1将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
其中，输出数据量会影响数据在边缘服务器和端设备之间的数据传输时间；
构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
S2从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点；
S3根据所述分割点调整所述人脸识别模型，计算所述分割点之前的所有逻辑层，并将所述分割点和计算逻辑层产生的数据量同步至边；
根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，将当前人脸识别模型计算产生的数据和所述分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果；
其中，单次计算过程(单次推理过程)是指图像数据从输入图像识别模型到图像识别模型输出计算数据的一次过程。
需要说明的是，常见的人脸识别模型通常是基于神经网络模型训练而成，例如卷积神经网络，是由多层神经网络层相互叠加形成的；由于端设备通常不具备硬件上的优势，在计算能力、电源输出功率以及存储空间上受限，通过端设备直接针对采集的图像数据通过神经网络模型进行识别是非常困难的，根据端设备的计算时延、计算产生的数据量以及网络带宽情况对人脸识别模型进行分割，使得端设备只需要进行分割点之前的逻辑层的运算，即只用进行从第一层开始的一定数量的连续逻辑层的计算，降低了对端设备的计算压力；
具体的，在步骤S1中，进一步包括：
在对人脸识别模型进行划分时，根据人脸识别模型的网络结构，将并行计算层具有跳转结构的层作为一个逻辑层；其中，基于人脸识别模型的机构特点，定义人脸识别模型结构的最小划分单位，将之作为模型切割点计算建模过程中人脸识别模型可以分割的最细粒度；
根据本发明提供的一种基于云边端协同的人脸识别方法，在端设备上使用测试图像数据对所述人脸识别模型中前若干层的逻辑层进行计算，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
可选的，选定人脸识别模型的前1/3逻辑层，在端设备上使用采集的图像数据输入模型的前1/3逻辑层，获取每层逻辑层的计算时间，获取每个逻辑层输出的数据量；以逻辑层为计算图的节点，以数据传输量为计算图的边，构建成计算图模型；
进一步的，步骤S2中，基于端设备的硬件条件和性能确定端设备能够为人脸识别模型提供的资源上限，以端设备硬件能够提供的资源上限为约束条件，以最小化所述计算图模型完成单次计算过程的计算时间为优化目标，计算最优分割点，具体包括：
基于每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，包括：
从端设备获取当前的网络带宽B；计算图模型共n层，获取第i层逻辑层的计算时延Ei，通过第i层逻辑层输出的数据量Di和网络带宽B获取数据传输时延；
获取所述计算图模型完成单次计算过程的计算时间Ttotal：
优选的，由于端设备的能源、输出功率取决于端设备的硬件水平，因此需要考虑端设备的最大输出功率作为在以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点的过程中，以端设备运行人脸识别模型的最大功率Rmax为约束，获取计算第i层逻辑层的计算能耗C1，i和数据传输能耗Pi，约束条件为：
C1，i+Pi＝k*cpusize*(f)2+ps*Tup≤Rmax；
Tup＝Di/R，R＝B*log2(1+ps*hn 2/N0)；
其中，k是与硬件架构相关的常数，N0是信道噪声，hn是相应的瑞利衰落信道系数，cpusize为CPU计算第i层逻辑层所需的周期数，ps为数据传输功率，Tup为数据传输时间，f为CPU频率；
通过上述的约束条件和优化目标，充分考虑了端设备的硬件条件和当前网络状态，从而计算出最佳的人脸识别模型的分割点；
进一步，步骤S3包括：
根据所述分割点调整所述人脸识别模型，计算所述分割点之前的所有逻辑层，并将所述分割点和计算逻辑层产生的数据量同步至边；
根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，将当前人脸识别模型计算产生的数据和所述分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果；
具体的，根据实时的网络通信条件，实时监控网络带宽，基于上述步骤求解最小化优化目标的计算时间对应的最优分割点，基于最优分割点实施分割策略来调整人脸识别模型，端设备计算分割点之前的人脸识别模型，执行分割点前的所有逻辑层，将计算产生的数据上传到边，并将分割点同步至边缘服务器；
进一步，边缘服务器接收端设备的分割点信息，接收端设备对分割点前所有逻辑层的计算结果；实时的检测网络状态，获取实时的网络带宽，当通信带宽到达预设的带宽阈值后，边缘服务器的数据传输压力较小，认为此时的数据传输时延最低，执行切割点之后的逻辑层进行计算，将计算数据和切割点信息传递至云；
进一步的，步骤S3包括：
云接收端设备计算的数据以及边缘服务器计算的数据，在云端根据端设备数据和边缘服务器数据在人脸识别模型上对图像数据进行识别，云搭载有人脸注册库，根据人脸注册库中人脸图像和身份的映射关系得到最终的人脸识别结果；
本发明通过上述的方法解决了人脸采集设备传输人脸数据会带来的隐私泄露问题，通过云存储注册人脸数据能够提供更充足的存储空间和更安全的保障，通过边缘服务器作为端设备和云之间的中间计算资源，能够有效缓解通信条件恶化带来的人脸模型识别计算延迟，保障了人脸识别任务的实时性、隐私性和服务稳定性。
根据本发明提供的一种基于云边端协同的人脸识别方法，云根据从边接收到的计算数据和所述分割点，根据人脸识别模型进行计算，将获取的图像数据与人脸注册库进行匹配，并输出识别结果。
另一方面，如图2所示，本发明还提供一种基于云边端协同的人脸识别系统，下文描述的人脸识别系统与上文描述的人脸识别方法可相互对应参照，具体包括划分模块、计算图模型构建模块、分割点求解模块以及协同计算模块，其中：
所述划分模块用于将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
所述计算图模型构建模块，用于构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
所述分割点求解模块用于从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，获取所述计算时间为最小值时逻辑层的分割点作为最优分割点；
所述协同计算模块用于根据所述最优点分割点调整所述人脸识别模型，计算所述最优分割点之前的所有逻辑层，并将所述最优分割点和计算逻辑层产生的数据同步至边；
将计算产生的数据和所述最优分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。
系统和方法的实现原理相同，此处不再赘述。
本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于云边端协同的人脸识别方法，该方法的步骤如上述实施例的内容，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的基于云边端协同的人脸识别方法，该方法的步骤如上述实施例的内容，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于云边端协同的人脸识别方法，其特征在于，包括：
将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点；
根据所述分割点调整所述人脸识别模型，在端设备上计算所述分割点之前的所有逻辑层，并将所述分割点和计算逻辑层产生的数据量同步至边；
根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，将当前人脸识别模型计算产生的数据和所述分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。
2.根据权利要求1所述的一种基于云边端协同的人脸识别方法，其特征在于，在对人脸识别模型进行划分时，根据人脸识别模型的网络结构，将并行计算层具有跳转结构的层作为一个逻辑层。
3.根据权利要求1所述的一种基于云边端协同的人脸识别方法，其特征在于，在端设备上使用测试图像数据对所述人脸识别模型中前若干层的逻辑层进行计算，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量。
4.根据权利要求3所述的一种基于云边端协同的人脸识别方法，其特征在于，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，包括：
从端设备获取当前的网络带宽B；计算图模型共n层，获取第i层逻辑层的计算时延Ei，通过第i层逻辑层输出的数据量Di和网络带宽B获取数据传输时延；
获取所述计算图模型完成单次计算过程的计算时间Ttotal：
5.根据权利要求4所述的一种基于云边端协同的人脸识别方法，其特征在于，在以所述计算时间最小化为优化目标获取最优的人脸识别模型的分割点的过程中，以端设备运行人脸识别模型的最大功率Rmax为约束，获取计算第i层逻辑层的计算能耗C1,i和数据传输能耗Pi，约束条件为：
C1,i+Pi＝k*cpusize*(f)2+ps*Tup≤Rmax；
Tup＝Di/R,R＝B*log2(1+ps*hn 2/N0)；
其中，k是与硬件架构相关的常数，N0是信道噪声，hn是相应的瑞利衰落信道系数，cpusize为CPU计算第i层逻辑层所需的周期数，ps为数据传输功率，Tup为数据传输时间，f为CPU频率。
6.根据权利要求1所述的一种基于云边端协同的人脸识别方法，其特征在于，根据所述分割点和计算逻辑层产生的数据量，由边对分割点之后的人脸识别模型进行计算，并获取实时的网络通信带宽；
当网络通信带宽大于等于带宽阈值后，将当前人脸识别模型计算产生的数据和所述分割点发送至云。
7.根据权利要求6所述的一种基于云边端协同的人脸识别方法，其特征在于，云根据从边接收到的计算数据和所述分割点，根据人脸识别模型进行计算，将获取的图像数据与人脸注册库进行匹配，并输出识别结果。
8.一种基于云边端协同的人脸识别系统，其特征在于，包括：
划分模块，用于将人脸识别模型划分为若干个逻辑层，获取每个逻辑层在端设备上的计算时延以及每个逻辑层输出的数据量；
计算图模型构建模块，用于构建所述人脸识别模型的计算图模型，所述计算图模型将逻辑层作为计算图模型的顶点，根据逻辑层输出的数据量构建顶点之间的边；
分割点求解模块，用于从端设备获取当前的网络带宽，根据每个逻辑层的计算时延、输出的数据量以及所述网络带宽计算所述计算图模型完成单次计算过程的计算时间，获取所述计算时间为最小值时逻辑层的分割点作为最优分割点；
协同计算模块，用于根据所述最优点分割点调整所述人脸识别模型，计算所述最优分割点之前的所有逻辑层，并将所述最优分割点和计算逻辑层产生的数据同步至边；
将计算产生的数据和所述最优分割点发送至云，通过云完成所述人脸识别模型的计算，输出识别结果。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于云边端协同的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210765415.2A CN115114663A (zh) | 2022-07-01 | 2022-07-01 | 一种基于云边端协同的人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210765415.2A CN115114663A (zh) | 2022-07-01 | 2022-07-01 | 一种基于云边端协同的人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115114663A true CN115114663A (zh) | 2022-09-27 |
Family
ID=83329803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210765415.2A Pending CN115114663A (zh) | 2022-07-01 | 2022-07-01 | 一种基于云边端协同的人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115114663A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242282A (zh) * | 2020-01-09 | 2020-06-05 | 中山大学 | 基于端边云协同的深度学习模型训练加速方法 |
| CN112287609A (zh) * | 2020-12-28 | 2021-01-29 | 之江实验室 | 一种面向机器人任务划分的端、边、云协同计算装置 |
| CN113067873A (zh) * | 2021-03-19 | 2021-07-02 | 北京邮电大学 | 基于深度强化学习的边云协同优化方法 |
| US20220109742A1 (en) * | 2021-12-17 | 2022-04-07 | Intel Corporation | Apparatus, articles of manufacture, and methods to partition neural networks for execution at distributed edge nodes |
| CN114528987A (zh) * | 2022-02-15 | 2022-05-24 | 中国科学院上海微系统与信息技术研究所 | 一种神经网络边缘-云协同计算分割部署方法 |
| CN114564312A (zh) * | 2022-03-03 | 2022-05-31 | 北京航空航天大学云南创新研究院 | 一种基于自适应深度神经网络的云边端协同计算方法 |
-
2022
- 2022-07-01 CN CN202210765415.2A patent/CN115114663A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242282A (zh) * | 2020-01-09 | 2020-06-05 | 中山大学 | 基于端边云协同的深度学习模型训练加速方法 |
| CN112287609A (zh) * | 2020-12-28 | 2021-01-29 | 之江实验室 | 一种面向机器人任务划分的端、边、云协同计算装置 |
| CN113067873A (zh) * | 2021-03-19 | 2021-07-02 | 北京邮电大学 | 基于深度强化学习的边云协同优化方法 |
| US20220109742A1 (en) * | 2021-12-17 | 2022-04-07 | Intel Corporation | Apparatus, articles of manufacture, and methods to partition neural networks for execution at distributed edge nodes |
| CN114528987A (zh) * | 2022-02-15 | 2022-05-24 | 中国科学院上海微系统与信息技术研究所 | 一种神经网络边缘-云协同计算分割部署方法 |
| CN114564312A (zh) * | 2022-03-03 | 2022-05-31 | 北京航空航天大学云南创新研究院 | 一种基于自适应深度神经网络的云边端协同计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112181666A (zh) | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 | |
| CN109167787B (zh) | 一种移动边缘计算网络中安全计算卸载的资源优化方法 | |
| Shi et al. | Privacy-aware edge computing based on adaptive DNN partitioning | |
| US20230146912A1 (en) | Method, Apparatus, and Computing Device for Constructing Prediction Model, and Storage Medium | |
| EP3979685B1 (en) | Network optimization method, device, and storage medium | |
| CN115665869A (zh) | 基于边缘计算和有向无环图的多用户协作平台及其方法 | |
| CN111511028A (zh) | 一种多用户资源分配方法、装置、系统及存储介质 | |
| CN113760511A (zh) | 一种基于深度确定性策略的车辆边缘计算任务卸载方法 | |
| CN113660687B (zh) | 网络差小区处理方法、装置、设备及存储介质 | |
| Hui et al. | Quality-aware incentive mechanism design based on matching game for hierarchical federated learning | |
| CN116366576A (zh) | 算力网络资源调度方法、装置、设备及介质 | |
| Wang et al. | Eidls: An edge-intelligence-based distributed learning system over internet of things | |
| CN115114663A (zh) | 一种基于云边端协同的人脸识别方法 | |
| CN116367223B (zh) | 基于强化学习的xr服务优化方法、装置、电子设备和存储介质 | |
| CN117290090A (zh) | 节点协同资源分配方法、装置、设备及存储介质 | |
| CN115001937B (zh) | 面向智慧城市物联网的故障预测方法及装置 | |
| CN115189910A (zh) | 一种基于网络数字孪生体的蓄意攻击生存性评估方法 | |
| WO2021164633A1 (zh) | 权值的发送方法、装置、存储介质及电子装置 | |
| Hwang et al. | Offloading optimization with delay distribution in the 3-tier federated cloud, edge, and fog systems | |
| CN110933687A (zh) | 一种基于解耦的用户上下行接入方法及系统 | |
| CN115696405B (zh) | 一种兼顾公平性的计算任务卸载优化方法及系统 | |
| CN112637904A (zh) | 负载均衡方法、装置及计算设备 | |
| KR102492906B1 (ko) | 강화학습 기반 인메모리 스토리지의 압축 최적화 방법 및 시스템 | |
| CN115061815B (zh) | 基于ahp的最优调度决策方法与系统 | |
| CN116599862B (zh) | 通信方法、分析网元和通信系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |