CN111626971B - 具有图像语义感知的智慧城市cim实时成像方法 - Google Patents

Abstract

本发明公开了一种具有图像语义感知的智慧城市CIM实时成像方法。该方法包括：构建三维数字空间的城市信息模型；对样本集图像中每个车辆进行关键点标注、身份标注，训练车辆关键点检测编码器、解码器；将摄像头实时采集的图像输入车辆关键点检测编码器、解码器中，得到车辆关键点热力图以及身份标注图；判断车辆矩形区域是否重合并根据判断结果进行仿射变换；将车辆俯视图像与摄像头采集的背景图进行泊松融合；将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，对CIM模型多种信息进行可视化。实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。

Description

具有图像语义感知的智慧城市CIM实时成像方法

技术领域

本发明涉及人工智能、智慧城市、CIM技术领域，具体涉及一种具有图像语义感知的智慧城市CIM实时成像方法。

背景技术

当前，全球信息技术呈加速发展趋势，信息技术在国民经济中的地位日益突出，建设智慧城市对于一个国家综合竞争力的全面提高具有重要的战略意义。

智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。

目前在城市成像方面，都是在3D模型上自行绘制纹理贴图或将拍摄的图片赋予模型，都需要人为操作，不具实时性，且生产周期长。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种具有图像语义感知的智慧城市CIM实时成像方法，实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。

一种具有图像语义感知的智慧城市CIM实时成像方法，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；

步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；

步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；

步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；

步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；

步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；

步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；

步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；

步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。

对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆热力图具体为：

对样本图像内所有车辆同一类别的关键点进行高斯核卷积，得到不同类别关键点的热力图；

将所有类别关键点的热力图联合，形成多通道的车辆关键点热力图。

车辆关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；所述车辆关键点检测解码器是对特征图进行上采样并最终生成车辆关键点热力图及身份标注图，其输入为车辆关键点检测编码器产生的特征图，输出为车辆的关键点热力图及身份标注图。

训练车辆关键点检测编码器、车辆关键点检测解码器采用的损失函数Total Loss为：

其中，γ、

为权值系数，P_cij代表类别C的车辆关键点在位置(i,j)处的得分，得分越高就越可能是车辆的关键点，y_cij表示真实值热力图位置(i,j)处的值，N表示关键点数量，α、β为超参数，n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，

表身份标注真实值，h_k(x_nk,)是预测的身份标注值，δ为人为设定值，n′为除第n个车辆外的其他车辆。

固定阈值为60。

背景图的获得方法为：对摄像头采集的道路图像进行角点检测，进行透视变换，得到俯视视图的背景图。

将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像具体为：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的完整的区域图像。

本发明与现有技术相比，具有以下有益效果：

1.传统的图像拼接技术在具有移动物体场景下，拼接图像中移动物体往往难以识别，难以获得较好的图像拼接效果，本发明根据检测得到的车辆关键点对车辆进行仿射变换，进而将变换结果与背景图像融合，实时成像质量更好。

2.本发明结合计算机视觉技术与深度学习技术对道路图像进行分析，得到车辆检测结果，深度学习使用大量样本，泛化能力强，鲁棒性好，提高了车辆检测的准确率。

3.本发明车辆关键点检测的关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置，形成多个矩形区域，在成像系统中可以更好地展示车辆图像。

4.本发明对每一类别车辆关键点进行身份标注，网络输出关键点的身份标注信息，可以更好地区分不同车辆的关键点，为后续投影变换提供便利。

5.设计对矩形区域是否重合的判定方法，计算简单，计算效率高，对重合的矩形区域不进行仿射变换，可以避免无效仿射变换，降低计算量。

6.本发明结合城市信息模型技术，建立城市信息模型作为智慧城市建模模型，该模型可以集成多种数据，提高了智慧城市模型的数据集成能力。将车辆俯视图像与背景图像融合，拼接各个道路摄像机的融合结果，投影到城市信息模型中，并结合WebGIS技术进行实时展示，能够可以更好地实现对城市道路及车辆的实时成像。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种具有图像语义感知的智慧城市CIM实时成像方法。首先，对城市道路各个相机得到的图像进行车辆关键点的预测，并对其进行处理得到所有车辆的车顶图，再与背景图进行泊松融合，然后进行图像拼接操作，并投影到CIM中，完成CIM中道路的实时成像。图1为本发明的方法流程图。下面通过具体实施例来进行说明。

实施例1：

城市建设应抓住技术带来的便利，依托BIM等信息化技术，构建城市专属CIM模型，不断整合资源，找准定位，探索智慧城市建设新路径，提升城市服务水平和服务质量。

新型基础设施建设作为新时代城市建设的发展目标，指建设以5G、人工智能、工业互联网、物联网为代表的新型基础设施，本质上是信息数字化的基础设施。

先构建CIM城市信息模型及信息交换模块内部关系。

CIM是指以城市信息数据为基础，建立起三维城市空间模型和建筑信息的有机综合体，主要以城市的GIS数据与BIM数据构成。

信息交换模块主要包含三维城市空间模型和城市信息，会随着智慧城市建设进度的不断推进，实时更新其模型和信息内容。

本方案采用CIM技术，可以更好地实现对城市道路及车辆的实时成像。

CIM以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。通过WebGIS技术将CIM城市信息模型展现在Web中，并可调用信息交换模块以展现最新的城市三维建筑模型，还可以获取城市信息、相机感知信息等，对城市道路车辆情况进行可视化。

在本发明中，CIM技术通过建筑前期建立的三维模型，实现对城市中建筑的数据化、信息化，为城市的实时成像提供地理位置信息。

本发明主要对城市道路进行实时成像，并投影到CIM中，从而实现对智慧城市道路的安全管理以及CIM中城市道路的贴图。

首先使用摄像头进行图像采集，采集各个道路的图像。

然后对数据进行标注，对图像内的每个车辆标注8个关键点，包含2个车头关键点(大概在车灯位置)，4个车顶关键点(车顶变焦顶点)，2个车尾关键点(大概在车灯位置)。如果有货车或其他车型的车，同样以2个车头点，2个车尾点，4个车顶点标注。

标注好后，对图像内的所有车辆相同类别的关键点进行高斯核卷积，以生成车辆关键点热力图。类别在此指8类，如车头点可分为左车头点和右车头点，因此总的关键点类别为8类，即每张包含车辆的图像其生成的标签数据Heatmap为8个，最终Concatenate一起，形成8通道的heatmap。具体的细节如高斯核大小的选取，不在本发明讨论范围。

因为要区分图像内的不同车辆实例，所以引入车辆身份标注图，即同一个车辆的所有关键点身份标注值要相近，不同车辆之间的身份标注值要不同，相近的概念通过欧式距离来实现。其公式如下:

n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，h_k表示第k个车辆关键点的身份标注热图。

至此，车辆的身份标注标签就生成了，同样为8个通道。

然后将原始图像数据与标签数据送入到网络中(车辆关键点检测编码器Encoder、车辆关键点检测解码器Decoder)进行训练。

车辆关键点网络训练的细节如下：摄像头采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过采集的图像和标注的标签数据，端到端地训练Encoder、Decoder。Encoder对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；Decoder是对特征图进行上采样并最终生成车辆关键点热力图heatmap及身份标注图，其输入为Encoder产生的特征图，输出为车辆的关键点热力图及身份标注图。损失函数采用关键点热力图预测结果损失Loss1与身份标注预测结果损失Loss2的加权和，其数据公式为：

γ、

是人为设定，是为了让两个损失的值比较接近，以更好地判断模型的收敛情况。

其中，P_cij代表类别C的车辆关键点在位置(i,j)处的得分，得分越高就越可能是车辆的关键点。y_cij表示ground truth的Heatmap。N代表ground truth中的关键点数量。α、β为超参数，需要人为设定。

N代表车辆个数，n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，

表示ground truth的tag值。h_k(x_nk,)即预测的tag值。n^′为除第n个车辆外的其他车辆，δ为人为设定的值。函数中前半段就是把输入同一个车的关键点的tag值尽量拉近，而公式的后半段就是把不同的车个体相互拉开。

至此，即可完成对车辆关键点的提取。

热力图的后处理方法即如何得到关键点，是周知的，这里不再赘述。其中各个关键点的身份标注值越接近的，分为一组，即判断关键点属于哪个实例。

编码器-解码器的设计变种有许多，本发明建议套用沙漏网络的预训练模型来进行车辆关键点特征的提取，同时这样也更利于网络的收敛。

因为存在车型的不同，所以得到每个车辆的关键点后，先判断关键点是否在俯视图中存在重合的现象。

如在车头朝上的俯视图中，先计算车头两点与车顶上面两个点的x、y坐标差的绝对值，并求和，然后通过阈值判断，如果小于该阈值则认为是重合。车尾与车顶下面两个点的判断同上。该阈值的设置通过所有标签图像即关键点的标注结果来决定，为人为经验值。

以车头两点与车顶上面两点重合判断为例，假设坐标如下：左车头点(39，80)、左上车顶点(40，100)、右车头点(47，95)、左上车顶点(49，110)，其坐标为图像坐标，阈值设置为60。则左车头点、左上车顶点的坐标差的绝对值为(1，20)，求和后为21，右车头点、右上车顶点的坐标差的绝对值为(2，15)，求和后为17，则总的求和值为38，小于阈值60，判断为车头点与车上方两顶点重合。

如果判断有点的重合，则不考虑该四个点形成的矩形区域的仿射变换。反之，则将形成的矩形区域进行仿射变换。

需要注意的是，车头与车顶上面两个点(第一矩形区域)、车尾与车顶下面两个点(第三矩形区域)、车顶4个点(第二矩形区域)，总共可以形成3个矩形区域，前两个需要判断是否存在点重合，车顶4个点形成的矩形区域直接进行仿射变换。

最终经过仿射变换得到车辆的俯视图像，该图像应该为规则的矩形。

然后将所有车辆的俯视图像与摄像头的背景图进行泊松融合，以更精细、更准确地展现图像中车辆的位置与形态。

泊松融合后的结果图内车辆的位置应与背景图中的车辆位置保持一致，涉及单应性矩阵的求解，其方法是公知的。

需要注意的是，这里的背景图是指各个城市道路摄像头所拍摄图像经过透视变换的结果，即将图片投影到俯视视平面后的图像。进行透视变换所需要的点输入，为摄像头拍摄的道路的角点，可通过角点检测算法及阈值处理得到，或人为选择。透视变换计算方法是公知的，这里不在赘述。

最后，将各个城市道路摄像头泊松融合后的结果进行图像拼接，以形成完整的区域图像。

其中各个城市道路摄像头拍摄的图像的时间应保持一致，拍摄的画面在垂直方向上不要相差过大，以保证成像的实时性、准确性。

图像拼接首先要进行图像配准，就是采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。即这一步要对城市道路每两个相邻的摄像头其泊松融合后的结果进行图像配准。

然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其计算方法是周知的，这里不再赘述。

进一步的，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。

最终，将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的城市道路图像。融合的方法有多种，如加权融合，在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像的重叠区域的像素值按一定的权值相加合成新的图像。

其中，图像的特征有许多种，如SIFT、SURF、ORB等，都可以用来做图像拼接中图像特征点提取的工作。具体使用哪种特征，实施者可以根据应用要求来选择。

至此，即得到了拼接重构的城市道路图像，然后将其投影到CIM城市道路中。

投影需要计算城市道路图像到CIM城市道路的单应性变换矩阵，其方法是周知的，这里不再赘述。

为了直观地呈现城市道路的实时成像，本发明结合WebGIS技术，对CIM实时成像系统进行可视化显示。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种具有图像语义感知的智慧城市CIM实时成像方法，其特征在于，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；

步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；

步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；

步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；

步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；

步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；

步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行仿射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；

步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；

步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。

2.如权利要求1所述的方法，其特征在于，对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆热力图具体为：

对样本图像内所有车辆同一类别的关键点进行高斯核卷积，得到不同类别关键点的热力图；

将所有类别关键点的热力图联合，形成多通道的车辆关键点热力图。

3.如权利要求1所述的方法，其特征在于，所述车辆关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；所述车辆关键点检测解码器是对特征图进行上采样并最终生成车辆关键点热力图及身份标注图，其输入为车辆关键点检测编码器产生的特征图，输出为车辆的关键点热力图及身份标注图。

4.如权利要求1所述的方法，其特征在于，训练车辆关键点检测编码器、车辆关键点检测解码器采用的损失函数Total Loss为：

其中，γ、

为权值系数，P_cij代表类别C的车辆关键点在位置(i,j)处的得分，得分越高就越可能是车辆的关键点，y_cij表示真实值热力图位置(i,j)处的值，N表示关键点数量，α、β为超参数，n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，

表身份标注真实值，h_k(x_nk,)是预测的身份标注值，δ为人为设定值，n′为除第n个车辆外的其他车辆。

5.如权利要求1所述的方法，其特征在于，固定阈值为60。

6.如权利要求1所述的方法，其特征在于，所述背景图的获得方法为：对摄像头采集的道路图像进行角点检测，进行透视变换，得到俯视视图的背景图。

7.如权利要求1所述的方法，其特征在于，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像具体为：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的完整的区域图像。

Images