CN114882228B

CN114882228B - 基于知识蒸馏的健身场所布局优化方法

Info

Publication number: CN114882228B
Application number: CN202210797528.0A
Authority: CN
Inventors: 韩欢; 李敏
Original assignee: Haimen Sande Sporting Goods Co ltd
Current assignee: Haimen Sande Sporting Goods Co ltd
Priority date: 2022-07-08
Filing date: 2022-07-08
Publication date: 2022-09-09
Anticipated expiration: 2042-07-08
Also published as: CN114882228A

Abstract

本发明涉及人工智能技术领域，具体涉及基于知识蒸馏的健身场所布局优化方法。该方法包括：利用多个聚类特征对健身器械进行多种聚类得到多种聚类结果，每种聚类结果包括多个聚类集合；对所有聚类集合进行聚类得到多个聚类类别；每个聚类集合生成一张第一图像；构建一阶教师网络，得到每张第一图像对应的第一序号图以及第一置信度图；组成多个相似组合，获取每个相似组合的第二图像；构建二阶教师网络，得到第二图像对应的第二序号图和第二置信度图；构建学生网络得到第三序号图；将全景图像划分为多个区域，获取每个区域的热度分布评价指标；判断当前健身场所的热度分布是否均衡。本发明实施例能够利用局部的信息提高健身场所的整体利用率。

Description

基于知识蒸馏的健身场所布局优化方法

技术领域

本发明涉及人工智能技术领域，具体涉及基于知识蒸馏的健身场所布局优化方法。

背景技术

随着人们对健康越来越重视，很多人都会选择自己喜欢的运动方式进行健身锻炼，同时各种健身场所逐渐走入大众视野。不同的健身器械有着不同的锻炼效果和运动方式，导致不同的人会选择不同的健身器械，相应的，每个健身器械会有不同的热度，如果对健身场所中的健身器械进行布局时不考虑各自的热度，可能会导致部分区域热度过高，较为拥挤；而部分区域人员稀少，造成空间的浪费。

在考虑到健身器械的热度进而进行健身场所的布局规划时，不同时间段每个健身器械的热度可能会有变化，按照每次计算的热度进行布局规划的结果可能都不一样，得到的布局结果不准确。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于知识蒸馏的健身场所布局优化方法，所采用的技术方案具体如下：

本发明提供一种基于知识蒸馏的健身场所布局优化方法，该方法包括以下步骤：

采集健身场所的全景图像，获取所述全景图像的语义分割图像，利用多个聚类特征对所述语义分割图像中的健身器械进行多种聚类，得到多种聚类结果，每种聚类结果中包括多个聚类集合；对所有所述聚类集合进行预设类别数量的聚类，得到多个聚类类别；

对于每个所述聚类集合，在所述语义分割图像中保留其对应的健身器械的像素点，生成一张第一图像；对每个所述聚类类别构建一个一阶教师网络，输入该聚类类别中的所述第一图像，得到每张所述第一图像对应的将热力值排序的第一序号图，以及由每个序号对应的置信度形成的第一置信度图；

每个聚类类别选择一个与其最相似的聚类类别组成一个相似组合，对每个相似组合中不同聚类类别的所述第一图像进行相互组合并融合，得到多张第二图像；对每个相似组合构建二阶教师网络，输入所述第二图像，得到所述第二图像对应的第二序号图和第二置信度图；

构建学生网络，通过对所述一阶教师网络和所述二阶教师网络的学习，得到第三序号图；将所述全景图像划分为多个区域，获取每个区域的热度分布评价指标；根据所述热度分布评价指标判断当前热度分布是否均衡，并对分布不均衡的所述健身场所的布局进行优化。

优选的，所述多种聚类的方法为：

通过遍历预设半径范围和预设密度范围生成多个聚类特征，分别利用每个所述聚类特征对所述语义分割图像中的健身器械进行聚类。

优选的，所述聚类类别的获取方法为：

根据所述聚类集合的布局方式为每个所述聚类集合生成一个描述向量，以所述描述向量中的元素作为坐标轴建立三维坐标系，设定所述预设类别数量，在所述三维坐标系中对所述聚类集合进行聚类，得到预设类别数量的聚类类别。

优选的，所述描述向量的获取方法为：

以每个所述聚类集合中大型健身器械和小型健身器械的数量比值作为第一元素；

以每个所述聚类集合中有氧运动类型健身器械和无氧运动类型健身器械的数量比值作为第二元素；

以每个所述聚类集合的平均距离与健身器械平均半径的比值作为第三元素；

由所述第一元素、所述第二元素以及所述第三元素组成所述描述向量。

优选的，所述第一序号图的获取方法为：

获取健身场所中每个健身器械的热力值，对每个聚类类别中的健身器械按照热力值大小排序，为该聚类类别中的每个健身器械的像素点赋予对应的排序序号作为像素值，得到真实序号图，以所述真实序号图作为所述一阶教师网络的标签，得到所述第一序号图。

优选的，所述相似组合的组成方法为：

对于每个所述聚类类别，在所述三维坐标系中获取与该聚类类别的聚类中心点距离最近的另一聚类中心点所在的聚类类别作为该聚类类别的相似聚类类别，组成一个所述相似组合。

优选的，所述第二图像的获取方法为：

获取所述相似组合中每个所述聚类类别的多张所述第一图像，分别从两个聚类类别中挑选一张第一图像，将这两张第一图像相互融合，保留两张第一图像上的像素点，得到一张所述第二图像。

优选的，所述二阶教师网络构建时还包括以下步骤：

根据所述第二序号图、所述第一置信度图、所述第二置信度图以及所述相似组合中健身器械的热力值排序关系构建所述二阶教师网络的损失函数。

优选的，所述热度分布评价指标的获取方法为：

以每个区域的热力值序号的差异作为所述热度分布评价指标。

优选的，所述热力值的获取方法为：

通过对所述全景图像进行关键点检测获取热力图，将多帧所述热力图分时段通过遗忘系数以预设频率进行叠加，以所述健身器械连通域内每个时段最终叠加的热力值的均值作为该健身器械的热力值。

本发明实施例至少具有如下有益效果：

通过构建一阶教师网络对健身场所的局部健身器械进行信息提取，再构建二阶教师网络对有相似组合构成的更大范围的局部健身器械进行信息提取，最后构建学生网络通过知识蒸馏的方式将其扩展到整个健身场所的布局信息。本发明实施例能够通过分析局部健身器械的分布情况得到整个健身场所的布局分布情况，进而通过较少的信息提取提高健身场所的整体利用率，避免健身器材附近拥挤或健身器械闲置的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的基于知识蒸馏的健身场所布局优化方法的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于知识蒸馏的健身场所布局优化方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于知识蒸馏的健身场所布局优化方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于知识蒸馏的健身场所布局优化方法的步骤流程图，该方法包括以下步骤：

步骤S001，采集健身场所的全景图像，获取全景图像的语义分割图像，利用多个聚类特征对语义分割图像中的健身器械进行多种聚类，得到多种聚类结果，每种聚类结果中包括多个聚类集合；对所有聚类集合进行预设类别数量的聚类，得到多个聚类类别。

具体的步骤包括：

1.将多位置相机固定在健身场所天花板上，以俯视视角或斜俯视视角采集图像，将所采集的图像通过投影变换映射到地面平面上，再进行图像拼接操作，得到全景图像。

2.基于健身场所全景图像通过语义分割网络获取健身场所全景语义分割图，在语义分割图像中获取各健身器械连通域，并以连通域质心点代表健身器械位置。

3.通过遍历预设半径范围和预设密度范围生成多个聚类特征，分别利用每个聚类特征对语义分割图像中的健身器械进行聚类。

作为一个示例，本发明实施例采用DBSCAN密度聚类方法进行聚类。

4.根据聚类集合的布局方式为每个聚类集合生成一个描述向量，以描述向量中的元素作为坐标轴建立三维坐标系，设定预设类别数量，在三维坐标系中对聚类集合进行聚类，得到预设类别数量的聚类类别。

以每个聚类集合中大型健身器械和小型健身器械的比值作为第一元素；以聚类集合中有氧运动类型健身器械和无氧运动类型健身器械的比值作为第二元素；计算每个健身器械与自身最近的健身器械之间质心点的距离，以聚类集合中所有距离的平均值与健身器械平均半径的比值作为第三元素。由第一元素、第二元素以及第三元素组成描述向量。

其中健身器械平均半径基于健身器械总面积与半径的数学关系计算得到。

以描述向量中的元素作为坐标轴建立三维坐标系，并设置预设类别数量，此时采用K-means算法再次进行聚类，得到预设类别数量的聚类类别。

需要说明的是，预设类别数量由实施者根据常规健身器械搭配方式自行设置，作为一个示例，本发明实施例中预设类别数量设置为8类。

步骤S002，对于每个聚类集合，在语义分割图像中保留其对应的健身器械的像素点，生成一张第一图像；对每个聚类类别构建一个一阶教师网络，输入该聚类类别中的第一图像，得到每张第一图像对应的将热力值排序的第一序号图，以及由每个序号对应的置信度形成的第一置信度图。

具体的步骤包括：

1.生成每个聚类集合对应的第一图像。

对于每个聚类集合，在语义分割图像中保留该聚类集合对应的健身器械所在的连通域的像素点，生成一张第一图像。每个聚类集合对应一张第一图像。

2.对每个聚类类别构建一个一阶教师网络，利用该一阶教师网络得到第一序号图和第一置信度图。

对每个聚类类别构建对应的一阶段教师网络进行学习；该一阶教师网络结构为编码器-解码器结构，输入为该类别中的聚类集合对应的第一图像，输出为第一序号图；该网络采用交叉熵损失函数进行监督。

具体的，首先获取每个健身器械的热力值：

通过对单帧全景图像进行关键点检测获取单帧热力图，将多帧热力图分时段通过遗忘系数以预设频率进行叠加，以健身器械连通域内每个时段最终叠加热力值的均值作为该健身器械的热力值。热力图叠加的具体方法为：

其中，

为当前帧热力图，

为当前帧之前的所有帧累加热力图，

为当前帧累加热力图，

为遗忘系数。

作为一个示例，本发明实施例中分时段采用半小时作为一个时段；

取值为0.95；预设频率为一分钟一帧。

需要说明的是，本发明实施例中关键点热力图的热斑以1为峰值点进行标注，以实现归一化，使健身器械的热力值范围为

，便于后续处理。

通过获取每个健身器械的热力值，对每个聚类类别中的健身器械按照热力值大小排序，为该聚类类别中的每个健身器械像素点赋予对应的排序序号作为像素值，得到真实序号图，以真实序号图作为一阶教师网络的标签，此时网络能够学习到在当前类别中的热力值排序关系。

需要说明的是，最终网络先输出由每个像素点热力值序号的置信度作为一个通道的第一置信度图，然后通过one-hot编码获取最高置信度对应的热力值序号输出第一序号图。

步骤S003，每个聚类类别选择一个与其最相似的聚类类别组成一个相似组合，对每个相似组合中不同聚类类别的第一图像进行相互组合并融合，得到多张第二图像；对每个相似组合构建二阶教师网络，输入第二图像，得到第二图像对应的第二序号图和第二置信度图。

具体的步骤包括：

1.每个聚类类别选择一个与其最相似的聚类类别组成一个相似组合。

对于每个聚类类别，在三维坐标系中获取与该聚类类别的聚类中心点距离最近的另一聚类中心点所在的聚类类别作为该聚类类别的相似聚类类别，并组成一个相似组合。

2.获取每个相似组合的第二图像。

获取相似组合中每个聚类类别的多张第一图像，分别从两个聚类类别中挑选一张第一图像，将这两张第一图像相互融合，保留两张第一图像上的像素点，得到一张第二图像。

需要说明的是，当第一聚类类别中有m张第一图像，以第一聚类类别的相似聚类类别作为第二聚类类别，第二聚类类别中有n张第一图像，则由第一聚类类别和第二聚类类别组成的相似组合共有m×n张第二图像。

3.对每个相似组合构建二阶教师网络，输入第二图像，得到第二图像对应的第二序号图和第二置信度图。

二阶教师网络的训练标签为每个相似组合中的所有健身器械的热力值排序得到的第二真实序号图，输出第二置信度图和第二序号图。

与一阶教师网络相同，二阶教师网络先输出由每个像素点热力值序号的置信度作为一个通道的第二置信度图，然后通过one-hot编码获取最高置信度对应的热力值序号输出第二序号图。

其中，二阶教师网络的损失函数为

。

其中，

为第二序号图和作为标签的第二真实序号图计算的交叉熵损失函数；

为第二序号图和输入的第一聚类类别中健身器械像素点的第三真实序号图的大小关系相似性；

为第二序号图序号图和输入的第二聚类类别中健身器械像素点的第四真实序号图的大小关系相似性；

为第一置信度图和第二置信度图的欧式距离，其权值为

，即当

较小时，该项损失函数才起作用，用于让网络学习到各像素点的置信度分布特征，各健身器械像素点的置信度均来自于同一聚类类别的置信度图，即都来自于第一置信度图或者都来自于第二置信度图。

构建二阶段教师网络能够令网络除了学习到一阶教师网络的热力值排序特征以外，还可以学习到各健身器械组合时的相关关系。

具体地，

的获取方法为：对每个相似组合中的所有健身器械热力值序号按从小到大的顺序进行排列，并对排列结果以向量表示，以健身器械质心点作为向量元素，得到排列向量；以第一聚类类别的第三真实序号图的排列向量和第二序号图的排列向量的欧式距离的倒数作为

，需要说明的是，此时仅考虑第一聚类类别的健身器械像素点。

同理计算得到

。

步骤S004，构建学生网络，通过对一阶教师网络和二阶教师网络的学习，得到第三序号图；将全景图像划分为多个区域，获取每个区域的热度分布评价指标；根据热度分布评价指标判断当前热度分布是否均衡，并对分布不均衡的健身场所的布局进行优化。

具体的步骤包括：

1.构建学生网络，得到第三序号图。

构建学生网络，输入为全景图像的语义分割图像，输出为对所有健身器械进行热力值排序的第三序号图，标签数据采用对所有健身器械进行热力值排序的第五真实序号图、第二置信度图和第二序号图；采用步骤S003中的损失函数的方式进行监督；此时学生网络可学习到所有健身器械组合时的相关关系及热力值排序特征，提高了热力值评价的准确性，以及便于后续进行调整时，无需实际采样，直接通过学生网络即可获取较为准确的热力值排序图像。

2.将全景图像划分为多个区域，获取每个区域的热度分布评价指标，通过热度区域评价指标判断当前健身场所是否需要优化。

将健身场所图像划分为

个区域，以每个区域中所有热力值序号的方差作为热度分布评价指标，当方差大于等于方差阈值

时，健身场所的健身器械热度不均衡，需要对当前的健身场所进行布局优化。

作为一个示例，本发明实施例中K取值为16。

对需要优化的健身场所进行健身器械位置调整，获取调整后的健身场所全景语义分割图像，通过学生网络输出第三序号图，并重新计算热度分布评价指标；重复该过程，直至热度分布指标小于方差阈值，则此时对应的健身场所健身器械布局图作为最终健身场所健身器械布局图。

综上所述，本发明实施例采集健身场所的全景图像，获取全景图像的语义分割图像，利用多个聚类特征对语义分割图像中的健身器械进行多种聚类，得到多种聚类结果，每种聚类结果中包括多个聚类集合；对所有聚类集合进行预设类别数量的聚类，得到多个聚类类别；对于每个聚类集合，在语义分割图像中保留其对应的健身器械的像素点，生成一张第一图像；对每个聚类类别构建一个一阶教师网络，输入该聚类类别中的第一图像，得到每张第一图像对应的将热力值排序的第一序号图，以及由每个序号对应的置信度形成的第一置信度图；每个聚类类别选择一个与其最相似的聚类类别组成一个相似组合，对每个相似组合中不同聚类类别的第一图像进行相互组合并融合，得到多张第二图像；对每个相似组合构建二阶教师网络，输入第二图像，得到第二图像对应的第二序号图和第二置信度图；构建学生网络，通过对一阶教师网络和二阶教师网络的学习，得到第三序号图；将全景图像划分为多个区域，获取每个区域的热度分布评价指标；根据热度分布评价指标判断当前热度分布是否均衡，并对分布不均衡的健身场所的布局进行优化。本发明实施例能够利用多层蒸馏的方法，通过分析局部健身器械的分布情况得到整个健身场所的布局分布情况，进而提高健身场所的整体利用率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于知识蒸馏的健身场所布局优化方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述多种聚类的方法为：

3.根据权利要求1所述的方法，其特征在于，所述聚类类别的获取方法为：

4.根据权利要求3所述的方法，其特征在于，所述描述向量的获取方法为：

5.根据权利要求1所述的方法，其特征在于，所述第一序号图的获取方法为：

6.根据权利要求3所述的方法，其特征在于，所述相似组合的组成方法为：

7.根据权利要求1所述的方法，其特征在于，所述第二图像的获取方法为：

8.根据权利要求1所述的方法，其特征在于，所述二阶教师网络构建时还包括以下步骤：

9.根据权利要求1所述的方法，其特征在于，所述热度分布评价指标的获取方法为：

以每个区域中所有热度序号的差异作为所述热度分布评价指标。

10.根据权利要求5所述的方法，其特征在于，所述热力值的获取方法为：

通过对所述全景图像进行关键点检测获取热力图，将多帧所述热力图分时段通过遗忘系数以预设频率进行叠加，以所述健身器械的连通域内每个时段最终叠加的热力值的均值作为该健身器械的热力值。