CN110532890B - 一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法 - Google Patents

Abstract

本发明涉及电子通信技术领域，尤其为一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法。本发明中，利用了一种分布式结构，使得在解决ReID问题时并非将所有输入数据上传至云端进行处理，尽量让ReID问题在本地端和边缘端解决。具体是通过在三端上设置退出点，进行联合训练从而得到一个满足本发明要求的优秀神经网络模型，本发明所提出的方法不仅在ReID的识别精度上有所提高，而且在数据通信代价上，有了很大改善，本发明可以适当改进拓展到多区域摄像机网络中，利用分布式实现ReID在现实中的应用，特别在城市安防和打击犯罪方面前景广阔。

Description

一种基于云端、边缘端和设备端的分布式孪生卷积神经网络 行人重识别方法

技术领域

本发明涉及本发明涉及云、边缘和设备终端三个分布式端，孪生卷积神经网络(Siamese Convolutional Neural Network，简称SCNN)，行人重识别(Re-Identification，简称ReID)领域，具体为一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法。

背景技术

近年来，随着神经网络的兴起，使用深度学习方法解决ReID问题愈加能被诸多专家和学者接受，而且从一定程度上大大提高了ReID的识别精度。与此同时，随着物联网的兴起，摄像机部署更加普遍化，这为在设备端上解决ReID问题提供了可能性。但目前在设备端和云端解决ReID方面仍然存在着很多问题：

1)若将设备端数据卸载到云端进行处理，会带来较大的通信成本、时延及隐私问题；

2)若在设备端就近解决ReID，那么可能由于设备端内存而导致的网络层数限制，使得ReID结果精度达不到要求。

针对这些问题，本发明提出使用分布式计算方法来解决ReID问题。由云、边缘和设备组成的分层分布式计算结构，对于基于地理分布式物联网设备的大规模智能任务，具有支持协调中心和本地决策、提供系统可扩展性等内在优势。

目前，使用深度学习解决ReID问题十分主流，而本发明则基于度量学习，并结合SCNN，提出了一种基于分布式三端的分布式孪生网络(Distributed SiameseConvolutional Neural Network，简称DSCNN)来解决ReID这一问题，因此，针对上述问题提出一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法。

发明内容

本发明的目的在于提供一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法，利用分布式三端对SCNN网络进行映射并通过联合训练，最终实现ReID识别精度与通信开销的均衡，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法，包括如下步骤：

步骤1、选取一个ReID数据集，将其分为行人库和待识别图像作为DSCNN的输入；

步骤2、输入图像经过本地SCNN网络处理，产生相应特征图；

步骤3、产生的特征图经过全连接层产生一系列特征向量：

步骤4、将所有特征向量上传到本地服务器，特征向量分为行人库特征向量和待识别特征向量，这两种特征向量组成特征向量对；

步骤5、从本地服务器中取一个特征向量对，采用余弦度量计算该行人特征向量对的相似度：

步骤6、判断是否遍历完所有的特征向量对，遍历完则整个训练完成，得到最终的DSCNN模型，如果遍历未完成，则继续训练整个网络；

步骤7、若特征向量对遍历未完成，对整个本地端的SCNN网络使用反向传播进行训练，并得到loss函数值J_l：J_l(s，l)＝ln(e^-2sl+1)；

步骤8、在退出点比较得到的J_l值与T₁预设值大小：若J_l≤T₁，样本在本地端退出点退出，并跳转到步骤5，继续计算行人库其余行人特征向量与待识别行人特征向量的相似度并训练整个网络；若J_l＞T₁，则要将中间结果特征图继续上传；

步骤9、若J_l＞T₁，将从本地端得到的特征图作为边缘端SCNN的输入，联合本地端进行联合训练并得到loss函数J_e：

其中P＝2；

步骤10、在边缘退出点比较J_e与T₂：若J_e≤T₂，样本在这里退出，之后跳转到步骤5，继续计算其余特征向量对相似度；若J_e＞T₂，继续将特征图上传到云端，利用完整的SCNN网络进行训练；

步骤11、如果J_e＞T₂，在云端利用本地端、边缘端和云端进行联合的训练：

其中P＝3，之后跳转到步骤5，继续计算其余特征向量对相似度。若行人特征向量全都遍历完毕，则网络最终退出，训练得到一个优秀的DSCNN模型；

步骤12、将训练好的DSCNN模型部署到一个多摄像机区域中，进行测试，最终在行人库中找出若干与待识别行人图片一致的行人图片。

优选的，DSCNN框架的特征在于如下步骤：

1)选取了一个SCNN网络，其中每个子网络都是VGG-16网络；

2)将SCNN网络分割成3部分映射到本地端、边缘端和云端，并进行联合训练，从而解决ReID问题。

优选的，DSCNN训练的特征在于如下步骤：

1)训练集中所有摄像机行人图像作为整个网络输入，输入图像分为行人库图像和待识别图像两部分。输入经过本地网络产生特征向量，并在本地服务器上生成由行人库图像和待识别图像的特征向量对。之后从本地服务器N个特征向量对中选取一对，进行训练并判断ReID结果的可信度：若可信则输入样本在本地退出点退出，反之，则将中间结果继续上传至边缘端。

2)在本地退出点样本无法退出时，将相应输入图像对经本地网络产生的特征图上传到边缘端并进行训练，并判断最终ReID结果的可信度：若可信则样本在边缘退出点退出，反之，则继续将中间结果继续上传至云端。

3)在边缘退出点样本无法退出的情况下，将从边缘端上传的中间结果在云端网络上继续训练，并结合其它两个退出点上的loss函数进行联合训练，最终样本退出；

4)在一对样本训练完后要将服务器上的N个特征向量对样本都遍历训练一遍，整个训练才完成，最终会得到DSCNN模型。

与现有技术相比，本发明的有益效果是：提出了一种新的网络模型DSCNN，该模型利用了一种分布式结构，使得在解决ReID问题时不必将所有输入数据都上传至云端进行处理，而是尽量让ReID问题在本地端和边缘端上优先解决，此外在数据通信代价上，有了很大改善。

1、本发明中，提出了一种DSCNN架构，作为本发明的主体，DSCNN主要是将训练好的SCNN映射到分布式分布的本地设备、边缘端和云端上，且其依赖于三端联合训练。

2、本发明中，将原本在一个高性能服务器上训练的SCNN模型映射到了云端、边缘端和设备端三端上进行训练。与传统方法相比，本发明设计了各端退出点，即输入样本在各端是否退出的地方。退出点是DSCNN区别于SCNN的重要特征。DSCNN将一个完整的SCNN网络分成三个部分映射到三端上。如果一个行人图像对通过设备端的SCNN网络便可以实现ReID，那么就不必使用更高层的边缘端和云端的部分SCNN网络，由此可以大大减少系统的计算和通信代价。

3、本发明中，如果在本地端浅层网络无法完成ReID，那么在本地端则无法利用退出点进行退出，还要利用更高层的SCNN网络，而在每个退出点根据预设阈值T(T₁和T₂)来判断是否可以退出，本发明根据训练时的结果和T值进行对比，从而判断ReID结果是否可信，进而确定是否从该退出点退出，若判断不退出，则将中间结果上传至更高层进行更深层次训练，从而最终满足要求。

附图说明

图1是本发明DSCNN的结构图；

图2是本发明的流程图；

图3是本发明用于退出点阈值的Deviance loss函数的曲线图；

图4是本发明提出的DSCNN网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：

本发明适合以下场景。为维护社会安定，摄像机在公共场所被广泛布置。若有犯罪发生，要求公安机关能在第一时间对犯罪嫌疑人加以控制，这对系统实时性提出了较高的要求。传统的通过人工对摄像机视频监控进行对比从而找到犯罪嫌疑人必然存在较高的时延，不具备实时性。鉴于此，本发明运用深度学习框架，在分布式的三端尽可能地实现对给定犯罪嫌疑人在特定摄像机下快速定位。这便涉及到了行人重识别的相关应用，同时本发明利用了分布式的思想来进行三端的联合推理来降低一些通信上的开销。即不将所有本地设备端上的待识别行人图片都上传到云端进行ReID，而是尽可能在本地端或者边缘端上解决。本发明训练采用了Market-1501这一行人数据集作为训练集。其中存在6台摄像机，编号为Cam1，Cam2，Cam3，Cam4，Cam5，Cam6。在训练DSCNN过程中，本发明将Cam1-Cam5中的行人图像作为行人库图像，将Cam6中的行人图像作为待识别图像。

一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法，包括以下步骤：

步骤1、选取Market-1501作为训练数据集，将Cam1-Cam5中的行人图像作为行人库图像，将Cam6中的行人图像作为待识别图像作并将这两部分图像作为DSCNN的输入，对每次的输入数量进行设置；

步骤2、输入图像经过本地SCNN网络处理，产生特征图，训练时会在本地端模拟各摄像机中的网络，且每个摄像机中神经网络结构相同：由两个卷积层、一个池化和一个全连接层构成；

步骤3、各摄像机中的输入经过池化层产生特征图，并将其作为全连接层的输入，产生一系列特征向量

其中，

函数表示从输入到第i个退出点的卷积神经网络，而I代表输入图片，θ代表网络中的一些参数(权重、偏置值)；

步骤4、将所有的特征向量上传到本地服务器，特征向量根据其来源分为行人库特征向量和待识别特征向量，这两种特征向量构成一对特征向量作为SCNN的中间输入，总共存在N个特征向量对；

步骤5、采用余弦度量计算本地服务器中一对行人特征向量的相似度：

其中，-1≤s≤1。如果s值越趋向于1则两张行人图片为同一人概率越大，越趋向于-1则概率越小；

步骤6、判断是否遍历完所有的特征向量对，遍历完则整个训练完成，得到最终的DSCNN模型，如果遍历未完成，则继续训练整个网络；关于遍历完成与否，通过一个标志矩阵Z进行判断：对于遍历过的特征向量对在标志矩阵中对应位置1，反之置0；

步骤7、若特征向量对遍历未完成，对映射到本地端的SCNN网络使用反向传播进行训练，并得到loss函数值J_l：J_l(s，l)＝ln(e^-2sl+1)，其中，s是步骤5中一对特征向量的相似度，而另外一个重要参数预测值l代表两个输入行人图像是否表示同一人：l＝1表示为同一行人，l＝-1表示为不同行人。l根据行人图像对的相似度s计算得到，l的取值可以通过设置一个阈值s_T来设置，即当s＞s_T时l取1，当s＜s_T，l取-1；

步骤8、在退出点比较得到的J_l值与T₁预设值大小：若J_l≤T₁，样本在本地端退出，并跳转到步骤5，继续计算批输入中行人图像对产生的特征向量对相似度，直至所有批输入中的图像对都遍历完成，则训练完成；若J_l＞T₁，则要将中间结果特征图继续上传；

步骤9、若J_l＞T₁，将从本地端得到的特征图作为边缘端SCNN的输入，联合本地端进行联合训练并得到loss函数J_e：

其中P＝2，本步骤是联合本地端和边缘端上的部分SCNN网络，在边缘端上利用较之本地端更深的SCNN进行训练。其中，s是一对特征向量的相似度，l为行人是否相同预测值，P为当前退出点数目；

步骤10、在边缘退出点比较J_e与预设阈值T₂：若J_e≤T₂，样本在这里退出，之后跳转到步骤5，继续计算行人库其余行人特征向量与待识别行人特征向量的相似度，直至遍历完所有图像对，训练完成；若J_e＞T₂，继续将特征图上传到云端，利用完整的SCNN网络进行训练；

步骤11、如果J_e＞T₂，在云端利用本地端、边缘端和云端进行联合的训练：

其中P＝3，本步骤训练的网络是联合映射到三端各部分SCNN网络，在云端利用完整的SCNN网络进行训练，之后跳转到步骤5，继续计算行人库其余行人特征向量与待识别行人特征向量的相似度，直至遍历完所有图像对，最终得到训练好的DSCNN模型；

步骤12、将训练好的DSCNN模型部署到一个多摄像机区域中，进行测试，最终在行人库中找出若干与待识别行人图片一致的行人图片，根据现实中的场景，作为输入的摄像机的数量可以进行调整。

通信成本：本发明关键点在于可以联合所有退出点的loss进行训练从而使整个网络模型达到最优，进而提高ReID识别精度和减小数据通信开销。而通信成本计算，相比于之前的方法，将整个图片对上传到云端使用SCNN进行处理，本发明通过退出点预设阈值T，对部分图片在本地化处理，对部分图片的中间结果而不是整张图片上传到云端进行处理。这大大减小了通信开销，提高了整个系统性能。

通信成本本发明只计算由于通信而造成的信息传递成本，主要包括本地服务器、边缘端和云端的信息字节数。

C＝4×|V_FC|+(1-η)(f·o)+(1-η′)(f′·o′)

在由于通讯图像信息而造成的通信成本C里，有三项组成：第一项4×|V_FC|由设备端到本地服务器造成的通信代价，是本地设备的输入经本地SCNN网络后，由最后的全连接层FC产生相应的特征向量并将其上传到本地服务器造成的，其中，|V_FC|是特征向量的模，常数4表示浮点V_FC特征向量所占字节数；第二项是在本地无法退出的情况下，是将FC前一层的中间结果(特征图)上传至边缘端造成的通信代价，其中，η是本地退出率，f是特征图上的卷积核数量，o为单个卷积核输出大小，f·o的结果特征图大小；第三项是在边缘端无法退出，要将中间结果上传至云端进行训练造成的通信成本，其中，η′是边缘退出率，f′和o′分别是边缘端要上传的特征图卷积核的数量和单个卷积核输出大小。

关于DSCNN网络的具体实现细节如附图4所示。以退出点为物理边界，可以将整个网络分割成三个部分：本地设备端、边缘端和云端。其中，C模块代表卷积层，P代表最大池化层，FC代表全连接层。在本地端存在一个本地服务器，用来存储各个摄像机中的行人库图像和待识别图像产生的特征向量对。此外，还包括三个退出点即Local Exit、Edge Exit和Cloud Exit。在本地端，为了区别是否退出还是继续将中间数据上传至边缘端，本发明采用了两种不同粗细的线条加以区分：较粗的实线是可以在本地端实现ReID并在本地端退出；而较细的实线代表本地端网络无法支持ReID的实现，必须上传至边缘端时的数据传输情况。本地端的虚线框代表了一台摄像机。

在实施例中，SCNN采用VGG-16网络。本发明初始时各端网络的层数分配如下：本地端卷积层2层，边缘端卷积层2层，云端卷积层9层。在DSCNN模型训练过程中，将根据实验效果的好坏对具体各端网络卷积层数进行动态调整，最终达到最优结果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法，其特征在于如下步骤：

1)选取一个ReID数据集，将其分为行人库和待识别图像作为分布式孪生网络Distributed Siamese Convolutional Neural Network，以下简称DSCNN的输入；

2)输入图像经过本地孪生卷积神经网络SCNN处理，产生相应特征图；

3)产生的特征图经过全连接层产生一系列特征向量

4)将所有特征向量上传到本地服务器，特征向量分为行人库特征向量和待识别特征向量，这两种特征向量组成特征向量对；

5)从本地服务器中取一个特征向量对，采用余弦度量计算该行人特征向量对的相似度：

6)是否遍历完所有的特征向量对，遍历完则整个训练完成，得到最终的DSCNN模型，如果遍历未完成，则继续训练整个网络；

7)若特征向量对遍历未完成，对整个本地端的SCNN网络使用反向传播进行训练，并得到loss函数值J_l：J_l(s，l)＝ln(e^-2sl+1)；

8)在本地退出点比较得到的J_l值与T₁预设值大小：若J_l≤T₁，样本在本地端退出，并跳转到步骤5，继续计算其余特征向量对相似度；若J_l＞T₁，则要将中间结果特征图继续上传；

9)若J_l＞T₁，将从本地端得到的特征图作为边缘端SCNN的输入，联合本地端进行联合训练并得到loss函数J_e；

10)在边缘退出点比较J_e与T₂：若J_e≤T₂，样本在边缘端退出，之后跳转到步骤5，继续计算其余特征向量对相似度；若J_e＞T₂，继续将特征图上传到云端，利用完整的SCNN网络进行训练；

11)如果J_e>T₂，在云端利用本地端、边缘端和云端进行联合训练，之后跳转到步骤5，继续计算其余特征向量对相似度，若行人特征向量全都遍历完毕，则样本最终退出，训练得到一个优秀的DSCNN模型；

12)将训练好的DSCNN模型部署到一个多摄像机区域中，进行测试，最终在行人库中找出若干与待识别行人图片一致的行人图片。

2.根据权利要求1所述的方法，其DSCNN框架的特征在于如下步骤：

1)选取了一个SCNN网络，其中每个子网络都是VGG-16网络；

2)将SCNN网络分割成3部分映射到本地端、边缘端和云端，并进行联合训练，从而解决ReID问题。

3.根据权利要求1所述的方法，其DSCNN训练的特征在于如下步骤：

1)训练集中所有摄像机行人图像作为整个网络输入，输入图像分为行人库图像和待识别图像两部分，输入经过本地网络产生特征向量，并在本地服务器上生成由行人库图像和待识别图像的特征向量对，之后从本地服务器N个特征向量对中选取一对，进行训练并判断ReID结果的可信度：若可信则输入样本在本地退出点退出，反之，则将中间结果继续上传至边缘端；

2)在本地退出点样本无法退出时，将相应输入图像对经本地网络产生的特征图上传到边缘端并进行训练，并判断最终ReID结果的可信度：若可信则样本在边缘退出点退出，反之，则继续将中间结果继续上传至云端；

3)在边缘退出点样本无法退出的情况下，将从边缘端上传的中间结果在云端网络上继续训练，并结合其它两个退出点上的loss函数进行联合训练，最终样本退出，公式如下：

其中，P是退出点数目；θ是整个网络中的参数；

代表从输入点到第i个退出点之间神经网络输出的两个特征向量相似度；l代表行人是否相同预测值，为1表示相同行人，为-1表示不同行人；W_i代表各个端网络的权重；

4)在一对样本训练完后要将服务器上的N个特征向量对样本都遍历训练一遍，整个训练才完成，最终会得到DSCNN模型。

Images