CN111784171A - 基于人工智能及图像处理的市政cim环卫工作分配方法 - Google Patents

Abstract

本发明公开了一种基于人工智能及图像处理的市政CIM环卫工作分配方法。包括：构建城市信息模型；各个摄像头对监控子区域进行图像采集；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化；基于神经网络对监控垃圾桶的摄像头采集的图像进行分析，输出清理垃圾桶的提示信息；基于神经网络对各个子区域采集的图像进行分析，输出清理地面垃圾的提示信息；根据提示信息中包含的位置信息，向负责人发出相应的提示信息。利用本发明，不仅为环卫工作提供了便利，而且成本低、工作分配准确率高。

Description

基于人工智能及图像处理的市政CIM环卫工作分配方法

技术领域

本发明涉及人工智能、智慧城市、CIM、计算机视觉技术领域，具体涉及一种基于人工智能及图像处理的市政CIM环卫工作分配方法。

背景技术

2010年，IBM正式提出了“智慧城市”这一概念，智慧城市经历了十年时间的探索，目前已经初具成效，然而在城市相关的日常工作中，并没有得到较好的体现。在许多工作中，仍旧采用人力资源为主，技术资源为辅的方法，这种通过人的主观识别进行判断再工作的模式，导致工作者的工作量大且耗时很长。

现如今的环卫工人行业上述问题尤其突出，工人负责区域大，反复巡查浪费时间耗费人力，工人工作时间长。在垃圾箱清理中，一些方案基于传感器监测垃圾箱内垃圾高度、重量等参数来辅助环卫工人的清洁工作，但是基于传感器的方法，不仅传感器易损坏，需要定期维护，成本较高，而且误检率较高。在地面清理方面，目前仍然是依靠人为监控。在人为监控过程中，往往是单一视角，缺少整体视角实时成像。

因此，现有技术存在耗费人力、成本高、误检率高、不能展示实时成像的问题。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能及图像处理的市政CIM环卫工作分配方法，不仅为环卫工作提供了便利，而且成本低、工作分配准确率高。

一种基于人工智能及图像处理的市政CIM环卫工作分配方法，该方法包括：

步骤一，结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型，并在城市信息模型中集成环卫工作信息；

步骤二，将环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人匹配，并将匹配后的信息集成到城市信息模型；

步骤三，各个摄像头对监控子区域进行图像采集；根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化；

步骤四，将监控垃圾桶的摄像头采集的图像作为输入，送入行人检测编码器、行人检测解码器进行分析，得到行人检测热力图；对行人检测热力图进行坐标回归，并将得到的关键点坐标投影到城市信息模型地面坐标系中；根据城市信息模型中垃圾桶的地面坐标生成ROI；对每一帧图像进行ROI内关键点坐标个数统计，送入寄存器作累加运算；设定阈值，当寄存器中的数值大于阈值时，输出清理垃圾桶的提示信息；

将各个子区域采集的图像作为输入，送入垃圾检测编码器、垃圾检测解码器进行分析，得到地面垃圾检测语义分割图；设定阈值，对地面垃圾检测语义分割图中属于垃圾的像素点数目进行统计，当统计值大于阈值时，输出清理地面垃圾的提示信息；

步骤五，根据提示信息中包含的位置信息，查询城市信息模型中环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人的匹配关系，向负责人发出相应的提示信息。

行人检测编码器对垃圾桶图像进行特征提取，输出特征图；

行人检测解码器，对特征图进行卷积解码，输出行人检测热力图，行人检测热力图中热斑表征行人关键点位置的置信度。

垃圾检测编码器对监控子区域图像进行特征提取，输出特征图；

垃圾检测分割解码器对特征图进行解码表征，输出地面垃圾检测语义分割图，地面垃圾检测语义分割图用于区分垃圾与其他无关元素的语义。

该方法还包括对行人检测编码器、行人检测解码器进行训练，训练方法如下：采集行人图像构建样本数据集，随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，对行人两脚中心在地面投影的一个点进行高斯模糊生成热斑标注；采用均方差损失函数，随机梯度下降法进行训练。

该方法还包括对垃圾检测编码器、垃圾检测解码器进行训练，训练方法如下：以区域内存在垃圾的图像作为样本数据集，构建数据集时应确保垃圾种类的多样化，垃圾包括果皮、纸屑、烟头、塑料袋；随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，标注为两个类别：垃圾和其他无关项；采用交叉熵损失函数，随机梯度下降法对分支进行训练。

对投影变换后的图像进行图像拼接操作，并集成到城市信息模型包括：

对投影变换后的待拼接监控子区域图像进行图像校正、噪声抑制；提取待拼接监控子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果，集成到城市信息模型中。

本发明与现有技术相比，具有以下有益效果：

1.本发明对监控区域图像进行分析，得到是否需要清理的提示信息，指导环卫工作分配，不需要反复巡检，为环卫工作提供了便利。

2.本发明基于计算机视觉技术对监控区域图像分析从而得到清理指示信息，相比于传统的基于传感器的技术，不仅降低了成本，而且提高了结果即指示信息的准确率。

3.本发明基于深度学习技术，设计了行人检测神经网络，一方面神经网络采用大量样本进行训练，鲁棒性以及泛化能力强，检测准确率高；另一方面对检测结果进行统计分析，得到是否需要清理垃圾桶的提示信息，统计方法简单，计算效率高。

4.本发明基于深度学习技术，设计了垃圾检测神经网络，并对垃圾语义分割图进行统计分析，从而得到是否需要清理地面的提示信息，不仅垃圾检测准确率高，鲁棒性以及泛化能力强，而且统计方法简单，能够提高计算效率。

5.本发明结合城市信息模型技术，将环卫工作负责人与其负责区域匹配，能够根据提示信息实时将清理位置发送至负责人，提高环卫工作效率。

6.本发明结合城市信息模型技术，将监控子区域图像变换到城市信息模型地面坐标系，经过图像拼接实现全景实时成像。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能及图像处理的市政CIM环卫工作分配方法。以环卫工人负责区域作为目标区域，通过该目标区域的各个位置的摄像头对各子区域图像进行采集。将所有的子区域图像进行投影变换图像拼接后，投影到CIM中实现实时成像。对包含垃圾桶在内的子区域分别进行图像处理，检测行人关键点生成热力图,进行垃圾桶清理提示；对所有子区域分别进行图像处理，以垃圾和其他无关项作为类别进行语义分割，进行地面清洁提示。采用CIM及其信息交换模块，实现系统与城市信息的结合并实现结果的可视化。图1为本发明方法流程图。下面通过具体实施例来进行说明。

实施例1：

先构建城市信息模型CIM及其信息交换模块，即以城市信息数据为基础，建立起三维城市空间模型和城市信息的有机综合体。城市信息模型包括城市建筑的BIM信息、城市道路信息等各种用于三维城市空间建模所需信息。本发明的目的是指导环卫工作分配，因此需要在城市信息模型中集成环卫工作信息，环卫工作信息包括：环卫工作区域分配信息、垃圾箱分布信息、环卫工人信息等。在城市信息模型中，需要将环卫工人负责的环卫工作区域、环卫工作区域内垃圾桶信息与环卫工人匹配。也就是说，城市信息模型中每一个待清理区域或待清理垃圾箱都有其负责人信息。

城市信息模型能够通过信息交换模块获取包括相机感知信息、相应的地理位置信息以及当前环境的信息。信息交换模块是一种CIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式，实施者具体采用何种实现方式，可以根据实施场景自行选择。

基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在各类检测管理应用方面有着广泛的应用前景。因此采用CIM和计算机视觉相结合的形式，能有效的提高监管效率。将结果利用WebGIS进行可视化处理，将网络输出结果作为信息上传到WebGIS中，调度人员可在Web上进行检索、查询和分析，便于监管人员了解垃圾桶清理提示信息和地面清洁信息并实施人员工作的分配调度。

本发明的主要目的为实现垃圾桶情况的预测和地面垃圾情况的检测，基于深度学习以指导环卫工作分配。输出结果包括各子区域的垃圾桶是否需要清理以及地面是否需要清理的结果。

以一个环卫工人负责的总区域为例。各个摄像头对所监控子区域进行图像采集；根据相机像平面与城市信息模型地面二维平面之间四个角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化。

投影变换将图片投影到一个新的视平面，要首先进行角点检测，角点检测的方法包括Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法等等，实施者可根据需要的角点特征选择合适的角点。通过相机像平面与CIM地面二维平面之间四个角点的对应点对，通过SVD(奇异值分解)算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与CIM地面平行的复合全景平面上。

对投影变换后的图像进行图像拼接操作，要首先进行图像的预处理，包含图像校正和噪声抑制，图像预处理为图像拼接的必要过程。然后进行图像的配准，提取特征点后进行特征点的匹配，将两幅图转换为同一坐标下。特征点的匹配通过NCC(归一化互相关)或者SSD(误差平方和)等方法，实施者可根据实际情况选择匹配方法。然后进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵。最后将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，然后将每个输入源图像的像素映射到输出平面上。最后进行图像的融合，方法为羽化、金字塔、梯度等。本发明中采用羽化法，使用加权平均颜色值融合重叠的像素。

RANSAC方法估算单应性矩阵首先在参考图像和目标图像上检测出角点。然后进行相关性匹配后手机收集相关性足够高的对，作为候选匹配。然后从候选点对中随机选取四个点对作为内点集合计算单应性矩阵，并使用此单应性矩阵投影剩余点对，当某个特征点的投影误差小于一定阈值，将其加入内点集合。重复上述步骤，最后比较内点集合中特征点的数目，选择特征点数目最大的单应性矩阵作为结果。

本发明设计行人检测神经网络输出垃圾桶清理提示信息。将监控垃圾桶的子区域采集的图像作为输入，送入编码器解码器中得到行人检测热力图。对行人检测热力图进行坐标回归，并将得到的关键点坐标投影到城市信息模型地面坐标系中，根据CIM中垃圾桶的地面坐标设置一个ROI区域。该感兴趣区域ROI比垃圾桶所在区域大，实施者可以根据情况自行设置大小。设置该区域的目的是为统计进入该区域的存在投掷垃圾的行人的数量。在ROI区域内，对每一帧图像进行关键点个数统计后，送入一个寄存器作加运算，设置一个经验阈值，可以称为第一阈值，当寄存器中的数值超过该阈值时，输出提示清理垃圾桶的信息。

对于垃圾桶区域行人检测神经网络训练具体内容为：选择通过该区域的行人图像作为训练数据集，随机选择其中的80％作为训练集，剩下的20％作为验证集。对数据集进行特征标注，具体为对行人两脚中心在地面投影的一个点高斯模糊生成的热斑标注。也可以以根结点在地面投影的点生成标注。采用均方差损失函数，随机梯度下降法对该分支进行训练。

本发明设计垃圾检测神经网络输出地面清理提示信息。将各个子区域采集的图像作为输入，送入编码器解码器中得到地面垃圾检测的语义分割图。对语义分割图中属于垃圾的像素点数目进行统计，设置一个经验阈值，可以称为第二阈值，当超过该阈值时，输出提示清理地面垃圾。上述各子区域的摄像头拍摄区域可以覆盖整个目标区域的信息。

对垃圾检测语义分割神经网络的训练具体内容为：以拍摄到的区域内存在垃圾情况的图像作为训练数据集，随机选择其中的80％作为训练集，剩下的20％作为验证集。其中，垃圾包括果皮纸屑、烟头、塑料袋等道路常见垃圾，采集数据集时应确保垃圾种类的多样化。对数据集进行特征标注，标注为两个类别，垃圾和其他无关项。采用交叉熵损失函数，随机梯度下降法对分支进行训练。

为了直观的呈现出系统输出的信息，本发明结合大范围区域的CIM通过WebGIS进行可视化处理。通过像平面图像拼接后投影到CIM的三维建筑模型中，可获得整个道路视频连续覆盖的信息。结合垃圾桶清理提示信息和地面垃圾清理提示信息，可以了解各区域的环境卫生信息。同时，通过WebGIS的可视化，监管人员可以在Web上进行检索、查询和分析，便于监管人员了解整个监管区域内的实时环卫情况并调度环卫工人，进行环卫工作的分配。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工智能及图像处理的市政CIM环卫工作分配方法，其特征在于，该方法包括：

步骤一，结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型，并在城市信息模型中集成环卫工作信息；

步骤二，将环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人匹配，并将匹配后的信息集成到城市信息模型；

步骤三，各个摄像头对监控子区域进行图像采集；根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化；

步骤四，将监控垃圾桶的摄像头采集的图像作为输入，送入行人检测编码器、行人检测解码器进行分析，得到行人检测热力图；对行人检测热力图进行坐标回归，并将得到的关键点坐标投影到城市信息模型地面坐标系中；根据城市信息模型中垃圾桶的地面坐标生成ROI；对每一帧图像进行ROI内关键点坐标个数统计，送入寄存器作累加运算；设定阈值，当寄存器中的数值大于阈值时，输出清理垃圾桶的提示信息；

将各个子区域采集的图像作为输入，送入垃圾检测编码器、垃圾检测解码器进行分析，得到地面垃圾检测语义分割图；设定阈值，对地面垃圾检测语义分割图中属于垃圾的像素点数目进行统计，当统计值大于阈值时，输出清理地面垃圾的提示信息；

步骤五，根据提示信息中包含的位置信息，查询城市信息模型中环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人的匹配关系，向负责人发出相应的提示信息。

2.如权利要求1所述的方法，其特征在于，行人检测编码器对垃圾桶图像进行特征提取，输出特征图；

行人检测解码器，对特征图进行卷积解码，输出行人检测热力图，行人检测热力图中热斑表征行人关键点位置的置信度。

3.如权利要求2所述的方法，其特征在于，垃圾检测编码器对监控子区域图像进行特征提取，输出特征图；

垃圾检测分割解码器对特征图进行解码表征，输出地面垃圾检测语义分割图，地面垃圾检测语义分割图用于区分垃圾与其他无关元素的语义。

4.如权利要求1或2所述的方法，其特征在于，该方法还包括对行人检测编码器、行人检测解码器进行训练，训练方法如下：采集行人图像构建样本数据集，随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，对行人两脚中心在地面投影的一个点进行高斯模糊生成热斑标注；采用均方差损失函数，随机梯度下降法进行训练。

5.如权利要求1或3所述的方法，其特征在于，该方法还包括对垃圾检测编码器、垃圾检测解码器进行训练，训练方法如下：以区域内存在垃圾的图像作为样本数据集，构建数据集时应确保垃圾种类的多样化，垃圾包括果皮、纸屑、烟头、塑料袋；随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，标注为两个类别：垃圾和其他无关项；采用交叉熵损失函数，随机梯度下降法对分支进行训练。

6.如权利要求1所述的方法，其特征在于，所述对投影变换后的图像进行图像拼接操作，并集成到城市信息模型包括：

对投影变换后的待拼接监控子区域图像进行图像校正、噪声抑制；提取待拼接监控子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果，集成到城市信息模型中。

Images