CN116012880A - 分布式边缘协同推理的行人重识别方法、系统及装置 - Google Patents
分布式边缘协同推理的行人重识别方法、系统及装置 Download PDFInfo
- Publication number
- CN116012880A CN116012880A CN202211708842.3A CN202211708842A CN116012880A CN 116012880 A CN116012880 A CN 116012880A CN 202211708842 A CN202211708842 A CN 202211708842A CN 116012880 A CN116012880 A CN 116012880A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- attribute
- features
- identity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种分布式边缘协同推理的行人重识别方法、系统及装置,通过分布式边缘协同推理架构获取待处理的图像;通过ResNet‑50提取图像的身份特征和属性特征;对身份特征进行降维,得到全局特征;使用全连接层和Softmax激活函数对全局特征进行分类处理,得到图像中行人身份的第一分类结果;根据属性特征,得到图像中各个行人的属性分类结果;根据属性分类结果进行属性特征融合,得到融合属性特征,并根据融合属性特征得到图像中行人身份的第二分类结果;根据第一分类结果和第二分类结果,进行行人重识别。该方法能够更为高效地提高模型的识别效率和准确率。本申请可广泛应用于人工智能技术领域内。
Description
技术领域
本申请涉及人工智能技术领域,尤其是一种分布式边缘协同推理的行人重识别方法、系统及装置。
背景技术
早期基于视频的行人重识别的研究思路,通常是先对行人图片提取手工特征,如颜色直方图、方向梯度直方图等,然后使用相似性度量方法,如大边界最近邻算法、交叉二次判别分析算法等来学习度量矩阵。随着深度学习技术的兴起,深度学习广泛应用于行人重识别任务中。
目前,相关技术中,基于深度学习的行人重识别方法在性能上大大超过了传统方法。主要有如下两个原因:1)手工设计的特征描述能力有限,而深度学习使用深度卷积神经网络,可以自动学习出更复杂的特征;2)深度学习可以将特征提取和相似性度量联合在一起,实现端到端的学习,从而得到全局最优解。基于深度学习和云计算的普及推动了计算机视觉在各行业中的广泛应用。但是,集中化的云端推理服务存在带宽资源消耗大、图像数据隐私泄露、时效性难以满足等问题,难以充分满足计算机视觉在行业应用上的多样化应用需求。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此,本申请实施例的一个目的在于提供一种分布式边缘协同推理的行人重识别方法、系统及装置。
为了达到上述技术目的,本申请实施例所采取的技术方案包括:
一方面,本申请实施例提供了一种分布式边缘协同推理的行人重识别方法,所述方法包括:
通过分布式边缘协同推理架构获取待处理的图像;
通过ResNet-50提取图像的身份特征和属性特征;
对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
根据所述属性特征,得到所述图像中各个行人的属性分类结果;
根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
根据所述第一分类结果和所述第二分类结果,进行行人重识别。
另外,根据本申请上述实施例的一种分布式边缘协同推理的行人重识别方法,还可以具有以下附加的技术特征:
进一步地,在本申请的一个实施例中,所述分布式边缘协同推理架构包括边缘节点和云端节点。
进一步地,在本申请的一个实施例中,所述分布式边缘协同推理架构包括ReID-Worker、特征提取Worker和行人跟踪Worker;
所述ReID-Worker、所述特征提取Worker部署在所述边缘节点和云端节点中,所述行人跟踪Worker部署在边缘节点。
进一步地,在本申请的一个实施例中,所述分布式边缘协同推理架构还包括有Kafka消息队列。
进一步地,在本申请的一个实施例中,所述全连接层通过以下步骤训练得到:
获取批量的训练图像数据和所述训练图像数据对应的标签数据;
通过ResNet-50提取图像的第一身份特征;
将所述第一身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的第一身份特征进行降维,得到第一全局特征
通过所述全连接层对所述第一全局特征进行预测,得到预测结果;
根据所述预测结果和所述标签数据,确定训练的损失值;
根据所述损失值,对所述全连接层进行参数更新。
进一步地,在本申请的一个实施例中,所述根据所述预测结果和所述标签数据,确定训练的损失值,包括:
根据所述预测结果和所述标签数据,通过交叉熵损失函数确定训练的损失值。
进一步地,在本申请的一个实施例中,所述分布式边缘协同推理架构通过去中心化的自适应边缘计算,根据节点模型的训练损失,自适应选择边端或者云端节点。
另一方面,本申请实施例提供一种分布式边缘协同推理的行人重识别装置,所述装置包括:
获取模块,用于通过分布式边缘协同推理架构获取待处理的图像;
提取模块,用于通过ResNet-50提取图像的身份特征和属性特征;
降维模块,用于对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
分类模块,用于使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
处理模块,用于根据所述属性特征,得到所述图像中各个行人的属性分类结果;
融合模块,用于根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
识别模块,用于根据所述第一分类结果和所述第二分类结果,进行行人重识别。
另一方面,本申请实施例提供了一种计算机设备,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现上述的一种分布式边缘协同推理的行人重识别方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,上述处理器可执行的程序在由处理器执行时用于实现上述的一种分布式边缘协同推理的行人重识别方法。
本申请的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到:
本申请实施例公开的一种分布式边缘协同推理的行人重识别方法,所述方法包括:通过分布式边缘协同推理架构获取待处理的图像;通过ResNet-50提取图像的身份特征和属性特征;对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;根据所述属性特征,得到所述图像中各个行人的属性分类结果;根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;根据所述第一分类结果和所述第二分类结果,进行行人重识别。该方法避免了大规模服务请求时云节点核心网络拥堵,且能够更为高效地提高模型的识别效率和准确率。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案,下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员来说,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1为本申请实施例中提供的一种分布式边缘协同推理的行人重识别方法的流程示意图;
图2为本申请实施例中提供的一种分布式边缘协同推理架构的结构示意图;
图3为本申请实施例中提供的一种分布式边缘协同推理的行人重识别方法的实施原理示意图;
图4为本申请实施例中提供的一种自适应边缘计算的流程示意图;
图5为本申请实施例中提供的一种计算机设备的结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
行人重识别:Person Re-identification也称行人再识别,简称为Re-ID,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。
人工智能(Artificial Intelligence,AI),是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML),是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,它专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,机器学习(深度学习)通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教
早期基于视频的行人重识别的研究思路,通常是先对行人图片提取手工特征,如颜色直方图、方向梯度直方图等,然后使用相似性度量方法,如大边界最近邻算法、交叉二次判别分析算法等来学习度量矩阵。随着深度学习技术的兴起,深度学习广泛应用于行人重识别任务中。
目前,相关技术中,基于深度学习的行人重识别方法在性能上大大超过了传统方法。主要有如下两个原因:1)手工设计的特征描述能力有限,而深度学习使用深度卷积神经网络,可以自动学习出更复杂的特征;2)深度学习可以将特征提取和相似性度量联合在一起,实现端到端的学习,从而得到全局最优解。基于深度学习和云计算的普及推动了计算机视觉在各行业中的广泛应用。但是,集中化的云端推理服务存在带宽资源消耗大、图像数据隐私泄露、时效性难以满足等问题,难以充分满足计算机视觉在行业应用上的多样化应用需求。
有鉴于此,本申请实施例中提供一种分布式边缘协同推理的行人重识别方法,该方法克服了主流云计算实时性差、带宽受限、高能耗、维护费用高、隐私安全等问题。而且相比于近点卸载、本地执行等边缘计算场景,去中心化的自适应边缘计算即避免了大规模服务请求时云节点核心网络拥堵,也可以有效协同边缘节点以实现联合计算卸载来降低卸载系统的时延和能耗。
请参照图1,图1是本申请实施例提供的一种分布式边缘协同推理的行人重识别方法的流程示意图,参照图1,该一种分布式边缘协同推理的行人重识别方法包括但不限于:
步骤110、通过分布式边缘协同推理架构获取待处理的图像;
步骤120、通过ResNet-50提取图像的身份特征和属性特征;
步骤130、对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
步骤140、使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
步骤150、根据所述属性特征,得到所述图像中各个行人的属性分类结果;
步骤160、根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
步骤170、根据所述第一分类结果和所述第二分类结果,进行行人重识别。
本申请实施例中,公开一种基于分布式边缘协同推理的融合属性特征的行人重识别方法,该方法利用融合属性特征和全局特征的深度学习Re-ID方法,将行人重识别和属性识别分别集成在分类网络中,网络可以自适应生成属性权重,通过跨摄像头的图像检索和特征提取来检索特定行人目标。并且,本申请实施例中,提出去中心化自适应分布式的边缘协同推理架构,参照图2,在该架构中,包括有边缘节点和云端节点,深度学习ReID Worker和特征提取Worker可以根据节点模型的训练损失,自适应选择部署在边缘节点或者云端节点中,此处,边缘节点由具有一定AI推理能力的边缘设备构成,本申请实施例中,对边缘设备的具体类型不作限制。行人跟踪Worker可以部署在边缘节点,以实现对视频对象中的行人进行抓取,避免所有视频流数据传输到云端节点,减少数据到云端节点的传输量。并且,本申请实施例中,分布式边缘协同推理架构中还提供一个Kafka消息队列,供抠图数据或特征向量数据的传输,以防止云边传输不稳定的网络连接带来的数据丢失。
下面,阐述本申请实施例中所使用的融合属性特征进行行人重识别的方法。
参照图3,本申请实施例中使用的方法,主干网络的结构可以使用ResNet-50,主干网络可以用于提取图片的特征。具体地,ResNet-50包含1层卷积(conv1)和4个残差模块(conv2~conv5),每个残差模块包含多层卷积层、批量规范化层和线性整流激活函数,多个相关性低甚至相反的任务一起学习时,在共享参数上会产生相互竞争甚至相反的梯度方向,从而可能影响所有任务的学习。本申请实施例中,为了减轻任务间的干扰,在ResNet-50的第4个模块conv4后,将网络分成两个分支conv5和conv5’,分别提取图像的全局特征和属性特征,分支中conv5模块的参数不共享,去除了两个分支的conv5模块中的下采样操作,以增加特征图的大小、丰富特征的粒度。将大小为256x128像素的图片输入网络时,可以从conv5模块输出大小为16x8的特征图。
在身份分类任务中:对于身份特征图I∈Rh×w×d,本申请实施例中,先用全局平均池化对I处理得到特征z∈Rd,随后使用全连接层、批量规范化层和ReLU激活函数对特征z进行降维,得到全局特征g∈Rv,训练时,对特征g使用全连接层和Softmax激活函数得到行人身份的分类结果,最后使用交叉熵损失函数作为目标函数。为了防止训练时出现过拟合的问题,对身份标签进行平滑操作(Label smoothing,LS),LS是分类任务中防止过拟合的常用方法,相应的过程如下:
具体地,本申请实施例中,对于全连接层的训练过程,可以包括如下步骤:
获取批量的训练图像数据和所述训练图像数据对应的标签数据;
通过ResNet-50提取图像的第一身份特征;
将所述第一身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的第一身份特征进行降维,得到第一全局特征
通过所述全连接层对所述第一全局特征进行预测,得到预测结果;
根据所述预测结果和所述标签数据,确定训练的损失值;
根据所述损失值,对所述全连接层进行参数更新。
本申请实施例中,可以获取批量的训练图像数据以及训练图像数据对应的标签数据,其中,标签数据用于表征训练图像数据对应的真实结果。然后,可以将每个训练图像数据和其对应的标签数据作为一组训练数据,模型的输入数据为训练图像数据,通过模型对训练图像数据进行预测,模型的输出数据为预测结果。在得到模型输出的预测结果后,可以根据预测结果和标签数据来评估模型预测的准确性,从而对模型的参数进行更新。
具体地,在相关领域内,常用的损失函数种类有很多,例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数,在此不再一一阐述。本申请实施例中,可以从中任选一种损失函数来确定训练的第一损失值,例如交叉熵损失函数。基于预测结果和标签数据之间的损失值,采用反向传播算法对模型的参数进行更新,迭代几轮即可得到训练好的神经网络。具体的迭代轮数可以预先设定,或者在测试集达到精度要求时认为训练完成。
对于属性识别任务,本申请实施例中,在属性识别分支中,与身份分类任务类似,可以先用GAP对属性特征图A∈Rh×w×d处理,得到特征f∈Rd,然后使用M层全连接层对特征f进行提取,得到M个属性特征{h1,h2,...,hM}。对于每一个属性特征,使用全连接层和Softmax激活函数得到对应的属性分类结果,最后使用交叉熵损失作为目标函数。相应的过程如下:
本申请实施例中,如果直接应用属性的预测结果,当属性预测错误时,很容易给行人重识别任务引入噪声。因此,可以从特征的角度对属性加以利用:属性特征更关注于行人图片的某个区域,因而可以融合所有属性的特征和全局特征互相补充。具体地,本申请实施例中,可以将提取到的M个属性特征{h1,h2,...,hM}以相加或相连等方式进行融合。对于每张图片,每个属性的重要性是不同的,如果简单地对每个属性分配相同的权重,最终可能会降低属性信息带来的益处。因此,本申请实施例中,对于每张图片,网络都会自适应地生成每个属性对应的权重,用来融合属性特征。具体方法如下:对于图片x得到的特征f∈Rd首先使用一层全连接层和Sigmoid激活函数得到对应于每个属性特征的权重,具体表示为:
w=sigmoid(W(weight)f+b(weight))
其中,W(weight)和b(weight)分别表示全连接层的权重矩阵和偏差向量,得到的属性权重向量w=[w1,w2,...,wM],然后对每个属性特征以加权求和的方式,即得到融合后的属性特征hw∈Rv,随后对特征hw进行行人的分类。
基于本申请实施例中提供的方法,通过行人重识别的主流数据集DukeMTMC-reID和Market-1501进行评测,并与PCB-RPP、ACRN等相关方法进行了对比,精确度提升了17%,可见,本申请实施例中的方案,能够提高重识别的准确度。
本申请实施例中,自适应分布式边缘协同推理架构还包括有以下特点:
1、去中心化:本申请实施例中,为了实现边缘协同推理,最小化任务的执行时延,假设每个边缘节点维系一个本地时钟,每隔固定时间发起信息交换,信息交换的时间间隔就是节点的一轮迭代训练间隔,信息交换的内容就是节点本轮训练后的模型参数等。由于每个节点的可用计算资源不同,训练的时间间隔也不相同,并且节点之间的交换信息过程是独立的,具体来说,基于去中心化的边缘协同推理,在节点每轮迭代的开始节点,首先执行节点模型的训练,但是,在节点本轮的训练结束后,不是发送模型参数给服务器节点进行同步等待更新,而是主动将训练的参数,按照某些算法推送给邻居节点。之后更新,并开始下一轮的训练,而不需要等待同步响应。
2、自适应:在边缘协同推理中,边缘节点和云端节点,以固定的通信周期,采用推或拉的形式进行信息交换,在去中心化的边缘协同推理过程中,实质上相当于多个模型在节点间的网络拓扑上进行随机漫步,为了加快进程,不同节点之间的漫步过程还会相互融合,节点的本地模型训练过程中使用的是随机梯度下降算法,模型的效果不是线性增长。如果采用固定的通信周期以及固定的推送节点数,节点间无差别的随机进行等量的模型交换,并不能达到最优的模型收敛效果。因此,参照图4,本申请实施例中,采用自适应的节点模型交换,根据节点模型的训练损失来决定与其他节点进行模型交换的概率,对去中心化中推送模型的节点数进行自适应选择,原理是模拟物理中固体物质的退火算法思想,从较高的温度出发进行函数的随机寻优,并随着温度参数的下降减少随机性,逐步得到求解函数的近似最优解,在迭代过程中引入了随时间变化的概率函数,最终收敛于全局最优的结果,避免求解陷入局部极小区域。
可以理解的是,本申请实施例中提供的分布式边缘协同推理的行人重识别方法,相对于现有技术,存在有以下改进:
1、去中心化:特征提取和深度学习神经网络训练推理服务,不以云节点为中心服务器,发送模型参数给云服务器节点进行同步等待更新,而是主动将训练的参数,按照某些算法推送给邻居节点,这些节点有可能是边缘节点。
2、自适应:边缘计算能力相对于云端而言较小,同时计算任务分布不均衡性。因此根据节点模型的训练损失,自适应选择边端或者云端节点,即避免了大规模服务请求时云节点核心网络拥堵,也可以有效协同边缘节点以实现联合计算卸载来降低卸载系统的时延和能耗。
3、融合属性特征和全局特征的深度学习行人Re-ID网络可以自适应生成属性权重,从而提高识别精度。
本申请实施例还提供一种分布式边缘协同推理的行人重识别装置,所述装置包括:
获取模块,用于通过分布式边缘协同推理架构获取待处理的图像;
提取模块,用于通过ResNet-50提取图像的身份特征和属性特征;
降维模块,用于对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
分类模块,用于使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
处理模块,用于根据所述属性特征,得到所述图像中各个行人的属性分类结果;
融合模块,用于根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
识别模块,用于根据所述第一分类结果和所述第二分类结果,进行行人重识别。
可以理解的是,图1所示的一种分布式边缘协同推理的行人重识别方法实施例中的内容均适用于本分布式边缘协同推理的行人重识别装置实施例中,本分布式边缘协同推理的行人重识别装置实施例所具体实现的功能与图1所示的一种分布式边缘协同推理的行人重识别方法实施例相同,并且达到的有益效果与图1所示的一种分布式边缘协同推理的行人重识别方法实施例所达到的有益效果也相同。
参照图5,本申请实施例还公开了一种计算机设备,包括:
至少一个处理器201;
至少一个存储器202,用于存储至少一个程序;
当至少一个程序被至少一个处理器201执行,使得至少一个处理器201实现如图1所示的一种分布式边缘协同推理的行人重识别方法实施例。
可以理解的是,如图1所示的一种分布式边缘协同推理的行人重识别方法实施例中的内容均适用于本计算机设备实施例中,本计算机设备实施例所具体实现的功能与如图1所示的一种分布式边缘协同推理的行人重识别方法实施例相同,并且达到的有益效果与如图1所示的一种分布式边缘协同推理的行人重识别方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于实现如图1所示的一种分布式边缘协同推理的行人重识别方法实施例。
可以理解的是,如图1所示的一种分布式边缘协同推理的行人重识别方法实施例中的内容均适用于本计算机可读存储介质实施例中,本计算机可读存储介质实施例所具体实现的功能与如图1所示的一种分布式边缘协同推理的行人重识别方法实施例相同,并且达到的有益效果与如图1所示的一种分布式边缘协同推理的行人重识别方法实施例所达到的有益效果也相同。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外,在本申请的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本申请,但应当理解的是,除非另有相反说明,功能和/或特征中的一个或多个可以被集成在单个物理系统和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理系统或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说,考虑到在本文中公开的系统中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本申请的范围,本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、系统或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、系统或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子系统),便携式计算机盘盒(磁系统),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤系统,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明,但本申请并不限于实施例,熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内
在本说明书的描述中,参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种分布式边缘协同推理的行人重识别方法,其特征在于,所述方法包括:
通过分布式边缘协同推理架构获取待处理的图像;
通过ResNet-50提取图像的身份特征和属性特征;
对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
根据所述属性特征,得到所述图像中各个行人的属性分类结果;
根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
根据所述第一分类结果和所述第二分类结果,进行行人重识别。
2.根据权利要求1所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述分布式边缘协同推理架构包括边缘节点和云端节点。
3.根据权利要求2所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述分布式边缘协同推理架构包括ReID-Worker、特征提取Worker和行人跟踪Worker;
所述ReID-Worker、所述特征提取Worker部署在所述边缘节点和云端节点中,所述行人跟踪Worker部署在边缘节点。
4.根据权利要求1-3中任一项所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述分布式边缘协同推理架构还包括有Kafka消息队列。
5.根据权利要求1所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述全连接层通过以下步骤训练得到:
获取批量的训练图像数据和所述训练图像数据对应的标签数据;
通过ResNet-50提取图像的第一身份特征;
将所述第一身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的第一身份特征进行降维,得到第一全局特征
通过所述全连接层对所述第一全局特征进行预测,得到预测结果;
根据所述预测结果和所述标签数据,确定训练的损失值;
根据所述损失值,对所述全连接层进行参数更新。
6.根据权利要求5所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述根据所述预测结果和所述标签数据,确定训练的损失值,包括:
根据所述预测结果和所述标签数据,通过交叉熵损失函数确定训练的损失值。
7.根据权利要求1所述的一种分布式边缘协同推理的行人重识别方法,其特征在于,所述分布式边缘协同推理架构通过去中心化的自适应边缘计算,根据节点模型的训练损失,自适应选择边端或者云端节点。
8.一种分布式边缘协同推理的行人重识别装置,其特征在于,所述装置包括:
获取模块,用于通过分布式边缘协同推理架构获取待处理的图像;
提取模块,用于通过ResNet-50提取图像的身份特征和属性特征;
降维模块,用于对所述身份特征进行全局平均池化,然后使用全连接层、批量规范化层和ReLU激活函数对全局平均池化后的身份特征进行降维,得到全局特征;
分类模块,用于使用全连接层和Softmax激活函数对所述全局特征进行分类处理,得到所述图像中行人身份的第一分类结果;
处理模块,用于根据所述属性特征,得到所述图像中各个行人的属性分类结果;
融合模块,用于根据所述属性分类结果进行属性特征融合,得到融合属性特征,并根据所述融合属性特征得到所述图像中行人身份的第二分类结果;
识别模块,用于根据所述第一分类结果和所述第二分类结果,进行行人重识别。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种分布式边缘协同推理的行人重识别方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于:所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种分布式边缘协同推理的行人重识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211708842.3A CN116012880A (zh) | 2022-12-29 | 2022-12-29 | 分布式边缘协同推理的行人重识别方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211708842.3A CN116012880A (zh) | 2022-12-29 | 2022-12-29 | 分布式边缘协同推理的行人重识别方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116012880A true CN116012880A (zh) | 2023-04-25 |
Family
ID=86031322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211708842.3A Pending CN116012880A (zh) | 2022-12-29 | 2022-12-29 | 分布式边缘协同推理的行人重识别方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012880A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173794A (zh) * | 2023-11-03 | 2023-12-05 | 广州英码信息科技有限公司 | 一种适合边缘设备部署的行人重识别方法 |
CN117237822A (zh) * | 2023-11-10 | 2023-12-15 | 中国科学院空天信息创新研究院 | 面向基础模型终端部署的协同推理方法 |
CN117786236A (zh) * | 2023-12-27 | 2024-03-29 | 中科南京信息高铁研究院 | 云边协同推理与个性化学习方法 |
-
2022
- 2022-12-29 CN CN202211708842.3A patent/CN116012880A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173794A (zh) * | 2023-11-03 | 2023-12-05 | 广州英码信息科技有限公司 | 一种适合边缘设备部署的行人重识别方法 |
CN117173794B (zh) * | 2023-11-03 | 2024-03-08 | 广州英码信息科技有限公司 | 一种适合边缘设备部署的行人重识别方法 |
CN117237822A (zh) * | 2023-11-10 | 2023-12-15 | 中国科学院空天信息创新研究院 | 面向基础模型终端部署的协同推理方法 |
CN117237822B (zh) * | 2023-11-10 | 2024-03-22 | 中国科学院空天信息创新研究院 | 面向基础模型终端部署的协同推理方法 |
CN117786236A (zh) * | 2023-12-27 | 2024-03-29 | 中科南京信息高铁研究院 | 云边协同推理与个性化学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114241282B (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
CN113221905B (zh) | 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质 | |
CN112036322B (zh) | 多任务网络跨域行人重识别模型构建方法、系统及装置 | |
CN111783831B (zh) | 基于多源多标签共享子空间学习的复杂图像精确分类方法 | |
CN116012880A (zh) | 分布式边缘协同推理的行人重识别方法、系统及装置 | |
CN111625361A (zh) | 一种基于云端服务器和IoT设备协同的联合学习框架 | |
CN111553213B (zh) | 移动边缘云中实时分布式的身份感知行人属性识别方法 | |
CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
CN113537040B (zh) | 一种基于半监督学习的时序行为检测方法及系统 | |
CN111741330A (zh) | 一种视频内容评估方法、装置、存储介质及计算机设备 | |
CN115879535A (zh) | 一种自动驾驶感知模型的训练方法、装置、设备和介质 | |
Chen et al. | Corse-to-fine road extraction based on local Dirichlet mixture models and multiscale-high-order deep learning | |
CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
CN113139501B (zh) | 一种联合局部区域检测与多级特征抓取的行人多属性识别方法 | |
CN117034100A (zh) | 基于分层池化架构自适应图分类方法、系统、设备和介质 | |
Liu et al. | A method for short-term traffic flow forecasting based on GCN-LSTM | |
CN113297972A (zh) | 一种基于数据融合深度学习的变电站设备缺陷智能分析方法 | |
CN114998993B (zh) | 一种自动驾驶场景下联合行人目标检测与跟踪联合方法 | |
CN112507893A (zh) | 一种基于边缘计算的分布式无监督行人重识别方法 | |
Palle et al. | Automated image and video object detection based on hybrid heuristic-based U-net segmentation and faster region-convolutional neural network-enabled learning | |
CN116362294B (zh) | 一种神经网络搜索方法、装置和可读存储介质 | |
CN107609586A (zh) | 一种基于自我监督的视觉表征学习方法 | |
Zhang et al. | Vulcan: Automatic Query Planning for Live {ML} Analytics | |
CN115019342B (zh) | 一种基于类关系推理的濒危动物目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |