CN111627103A - 基于行人活动和密度感知的智慧城市cim成像方法 - Google Patents

Abstract

本发明公开了一种基于行人活动和密度感知的智慧城市CIM成像方法。包括：构建三维数字空间的城市信息模型；进行行人标注；训练行人关键点提取网络；将连续帧的行人关键点热力图进行叠加，用相加的热力图结果训练相机刷新率分级网络中，将摄像头实时采集的连续图像帧经行人关键点检测网络、叠加、相机刷新率分级网络处理，输出相机实时刷新率等级；根据相机实时刷新率等级实时调整摄像头刷新率并图像采集，进行图像拼接，在Web页面上对城市信息模型进行可视化显示。利用本发明，实现了智能化的智慧城市图像采集，不仅提高了行人检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

Description

基于行人活动和密度感知的智慧城市CIM成像方法

技术领域

本发明涉及人工智能、智慧城市、CIM技术领域，具体涉及一种基于行人活动和密度感知的智慧城市CIM成像方法。

背景技术

随着城镇化和全球经济一体化进程的加快，城市在快速发展的同时，也面临着众多可持续发展方面的问题，现有的城市管理模式已有所局限，必须寻求新的科技和措施，优化资源配置，提升管理水平，提高为民服务能力。

智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。

目前在城市三维建模技术中，模型的贴图一直是建模中的一个十分重要的组成部分，现有技术基本都是在3D模型上自行绘制纹理贴图或将拍摄的图片赋予模型，都需要人为操作，不具实时性，且生产周期长。城市实时成像技术可以为一些模型自动贴图，实现自动化，具有广阔的前景。

一方面，城市道路摄像头一般用于监测行人、车辆，往往并不会根据行人的活动情况和密度自动调整摄像头刷新率，导致有效数据少、功耗较高。另一方面，现有的智慧城市成像往往没有全局视角，而且智慧城市各种信息较为分散。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于行人活动和密度感知的智慧城市CIM成像方法，实现了智能化的智慧城市图像采集，不仅提高了行人检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

一种基于行人活动和密度感知的智慧城市CIM成像方法，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，利用设置在需要监控行人活动区域的摄像头采集大量图像，按照比例分为图像样本集、测试样本集；

步骤3，对图像样本集图像进行行人标注，标注在人头的位置，将标注的人头散点图与高斯核卷积得到行人关键点热力图；

步骤4，利用图像样本集以及对应的行人关键点热力图标签数据，端到端地训练行人关键点提取网络，该网络包括：行人关键点检测编码器、行人关键点检测解码器；

步骤5，将测试样本集输入训练好的行人关键点提取网络，得到行人关键点热力图；

步骤6，将连续帧的行人关键点热力图进行叠加，然后将相加的热力图结果和等级标签数据送到相机刷新率分级网络中，训练相机刷新率分级编码器、全连接层；

步骤7，将摄像头实时采集的连续图像帧依次经行人关键点检测网络、叠加、相机刷新率等级分类网络处理，输出相机实时刷新率等级；

步骤8，根据相机实时刷新率等级实时调整摄像头刷新率并图像采集；同时将各个摄像头拍摄的图像进行拼接，形成完整的区域图像，经透视变换处理后，投影到CIM地面坐标系；结合WebGIS技术，在Web页面上对城市信息模型进行可视化显示。

行人关键点检测编码器对图像进行特征提取，输入为图像数据，输出为特征图；

所述行人关键点检测解码器对特征图进行上采样并最终生成行人关键点热力图，其输入为行人关键点检测编码器产生的特征图，输出为行人热力图。

步骤4中训练时采用的损失函数：

其中，P_ij代表行人关键点在位置(i,j)处的得分，得分越高就越可能是行人关键点，y_ij表示ground truth热力图在(i，j)处的像素值，N代表ground truth中的关键点数量，α、β为超参数。

相机刷新率分级编码器进行特征提取，输入为热力图叠加的结果，输出为特征图；

所述全连接层起到将特征向量映射到样本标记空间的作用，其输入为特征图进行展平操作的结果，输出为相机刷新率各个等级的概率。

相机实时刷新率等级包括：0级表征无人通行，1级表征少量人通行，2级表征大量行人通行；0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

将各个摄像头拍摄的图像进行拼接，形成完整的图像包括：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的行人活动区域图像。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合计算机视觉技术与深度学习技术对进行摄像头实时采集的图像分析，得到行人检测结果，深度学习使用大量样本，泛化能力强，鲁棒性好，提高了行人检测的准确率。

2.本发明设计了两个子网络：行人关键点提取网络与相机刷新率分级网络，两个子网络可以单独训练，提高了网络训练效率。

3.城市道路摄像头持续采集图像功耗较高，本发明根据实时的行人活动情况调整相机刷新率，可降低采集图片的频率，从而降低摄像头功耗，节约能源，进一步间接降低摄像头存储负担和系统传输负担，提高了传输效率。

4.本发明结合城市信息模型技术，建立城市信息模型作为智慧城市建模模型，该模型可以集成多种分散的数据，提高了智慧城市模型的数据集成能力。在城市信息模型中添加拼接的相机图像图层，并结合WebGIS技术进行实时展示，能够可以更好地实现对城市行人活动监控区域的实时成像。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于行人活动和密度感知的智慧城市CIM成像方法。首先，对各个相机得到的城市道路、人行道图像进行行人关键点的检测，并将其热力图结果进行叠加并输入到卷积神经网络与全连接FC中，得到相机刷新率等级，以此调整相机刷新率。最终将各个相机得到的图像进行拼接，透视变换到CIM中，实现实时成像。图1为本发明的流程图。下面通过具体实施例来进行说明。

实施例1：

为了实现本发明方法，需要先构建城市信息模型CIM及信息交换模块内部关系。

CIM是指以城市信息数据为基础，建立起三维城市空间模型和建筑信息的有机综合体，主要以城市的GIS数据与BIM数据构成。

信息交换模块主要包含三维城市空间模型和城市信息，会随着智慧城市建设进度的不断推进，实时更新其模型和信息内容。

本方案采用CIM技术，可以更好地实现对城市道路场景的实时成像。

CIM以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。通过WebGIS技术将CIM城市信息模型展现在Web中，并可调用信息交换模块以展现最新的城市三维建筑模型，还可以获取城市信息、相机感知信息等，对城市道路行人通行情况进行可视化。

在本发明中，CIM技术通过建筑前期建立的三维模型，实现对城市中建筑的数据化、信息化，为城市的实时成像提供地理位置信息。

本发明主要对城市道路进行实时成像，并投影到CIM中，从而实现对智慧城市道路的安全管理以及CIM中城市道路的贴图，且可以展现行人的走向。

首先使用摄像头进行图像采集，摄像头设置在需要监控行人活动区域，例如设置在道路、人行道旁边，采集各个道路、人行道的图像。将图像分为样本集和测试集。

然后对样本集中的数据进行标注，标签分为两步，第一步进行行人标注，标记在人头的位置，即X,Y的坐标；第二步，将标注的人头散点图与高斯核卷积得到行人关键点热力图。具体的细节如高斯核大小的选取不在本发明讨论范围。

然后将原始图像数据与标签数据送入到网络中进行训练。

行人关键点提取网络训练的细节如下。

摄像头采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。

通过采集的图像和热力图标签数据，端到端地训练行人关键点检测编码器和行人关键点检测解码器。行人关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map1；行人关键点检测解码器是对Feature map1进行上采样并最终生成行人关键点热力图(heatmap)，其输入为行人关键点检测编码器产生的Featuremap1，输出为行人的关键点热力图。Loss函数采用Heatmaps Loss，其数学公式为：

其中，P_ij代表行人关键点在位置(i,j)处的得分，得分越高就越可能是行人的关键点。y_ij表示ground truth的Heatmap，即真值热力图位置(i，j)的像素值。N代表groundtruth中的关键点数量。α、β为超参数，需要人为设定。

至此，即可完成对行人关键点的提取。

热力图的后处理方法即如何得到关键点，是周知的，可以通过关键点回归softargmax来得到关键点坐标。

需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。

然后将测试集所得的连续帧的热力图相加。本实施例中，每秒采样一帧，将每30帧的热力图进行叠加即像素值的加法运算，每张热力图以队列的方式相加。

进一步的，对相加的热力图结果，再次送到相机刷新率分级编码器与全连接层FC中进行训练。其标签为相机刷新率等级，如0级：无人通行，1级：少量人通行，2级：大量行人通行。级别越高，相机的刷新率越高，每个等级对应一个刷新率。具体的，分多少等级，建议参考实际的行人通行情况。

相机刷新率分级网络(相机刷新率分级编码器、全连接FC)训练的细节如下。

将热力图叠加的结果和等级标签数据(需经过one-hot编码)送到网络中进行训练，即相机刷新率分级编码器、全连接层FC。相机刷新率分级编码器进行特征提取，输入为热力图叠加的结果，输出为Feature map2；然后将Feature map2进行Flatten操作，以变成一维的特征Tensor。全连接层FC起到将特征Tensor映射到样本标记空间的作用，其输入为Feature map2进行Flatten操作的结果，输出为相机刷新率各个等级的概率。

损失函数采用交叉熵，实施者也可参考Focal Loss、加权交叉熵等损失函数。

相机刷新率分级网络输出的为相机刷新率各个等级的概率，再经过argmax操作后变成具体的相机刷新率等级。

然后根据相机刷新率等级调整相机的刷新率。如按0级45hz刷新率，1级60hz刷新率等。

编码器-解码器的设计有许多种，本发明建议行人关键点检测Encoder和行人关键点检测Decoder套用沙漏网络或ResNet的预训练模型来进行行人关键点特征的提取，同时这样也更利于网络的收敛。相机刷新率分级Encoder建议采用轻量级网络如MobileNet、ShuffleNet的Block来设计，可以更高效地提取特征。

进一步的，将各个城市摄像头拍摄的图像进行图像拼接，以形成完整的区域图像。

其中各个城市摄像头拍摄的图像的时间要保持一致，拍摄的画面在垂直方向上不要相差过大，以保证成像的实时性、准确性。

图像拼接首先要进行图像配准，就是采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。即这一步要对城市道路每两个相邻的摄像头其拍摄的图像进行图像配准。

然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其计算方法是周知的，这里不再赘述。

进一步的，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。

最终，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的城市行人活动区域图像。融合的方法有多种，如加权融合，在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像的重叠区域的像素值按一定的权值相加合成新的图像。

其中，图像的特征有许多种，如SIFT、SURF、ORB等，都可以用来做图像拼接中图像特征点提取的工作。具体使用哪种特征，实施者可以根据应用要求来选择。

至此，即得到了拼接重构的城市监控区域图像，然后将其投影到CIM地面上。

然后将拼接重构的城市监控区域图像进行透视变换处理，即将图片投影到CIM地面上。进行透视变换所需要的点输入，建议实施者人为选择，以便获得更精确的结果。透视变换计算方法是公知的，这里不在赘述。

另外，将各个摄像头热力图的叠加结果进行拼接并投影到CIM可以直观地反映出行人的走向与行人密度情况，因此，实施者可根据需要来进行此项任务。

为了直观地呈现城市道路的实时成像，本发明结合WebGIS技术，对CIM实时成像系统进行可视化显示。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于行人活动和密度感知的智慧城市CIM成像方法，其特征在于，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，利用设置在需要监控行人活动区域的摄像头采集大量图像，按照比例分为图像样本集、测试样本集；

步骤3，对图像样本集图像进行行人标注，标注在人头的位置，将标注的人头散点图与高斯核卷积得到行人关键点热力图；

步骤4，利用图像样本集以及对应的行人关键点热力图标签数据，端到端地训练行人关键点提取网络，该网络包括：行人关键点检测编码器、行人关键点检测解码器；

步骤5，将测试样本集输入训练好的行人关键点提取网络，得到行人关键点热力图；

步骤6，将连续帧的行人关键点热力图进行叠加，然后将相加的热力图结果和等级标签数据送到相机刷新率分级网络中，训练相机刷新率分级编码器、全连接层；

步骤7，将摄像头实时采集的连续图像帧依次经行人关键点检测网络、叠加、相机刷新率等级分类网络处理，输出相机实时刷新率等级；

步骤8，根据相机实时刷新率等级实时调整摄像头刷新率并图像采集；同时将各个摄像头拍摄的图像进行拼接，形成完整的区域图像，经透视变换处理后，投影到CIM地面坐标系；结合WebGIS技术，在Web页面上对城市信息模型进行可视化显示。

2.如权利要求1所述的方法，其特征在于，所述行人关键点检测编码器对图像进行特征提取，输入为图像数据，输出为特征图；

所述行人关键点检测解码器对特征图进行上采样并最终生成行人关键点热力图，其输入为行人关键点检测编码器产生的特征图，输出为行人热力图。

3.如权利要求1所述的方法，其特征在于，所述步骤4中训练时采用的损失函数：

其中，P_ij代表行人关键点在位置(i,j)处的得分，得分越高就越可能是行人关键点，y_ij表示ground truth热力图在(i，j)处的像素值，N代表ground truth中的关键点数量，α、β为超参数。

4.如权利要求1所述的方法，其特征在于，所述相机刷新率分级编码器进行特征提取，输入为热力图叠加的结果，输出为特征图；

所述全连接层起到将特征向量映射到样本标记空间的作用，其输入为特征图进行展平操作的结果，输出为相机刷新率各个等级的概率。

5.如权利要求1所述的方法，相机实时刷新率等级包括：0级表征无人通行，1级表征少量人通行，2级表征大量行人通行；0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

6.如权利要求1所述的方法，其特征在于，所述将各个摄像头拍摄的图像进行拼接，形成完整的图像包括：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的行人活动区域图像。

Images