CN109949231A - 一种用于城市管理信息采集和处理的方法及装置 - Google Patents

Abstract

本发明涉及一种用于城市管理信息采集和处理的方法及装置，城市信息采集人员固定采集设备，所有采集的图像上传到远端ISP处理模块进行ISP处理，改善图像质量；对采集模块获取的图像动态调整上传频率，减少上传图像的重复性，结合手机光线传感器的数值及远端ISP模块发回的数值，对采集模块曝光时间动态调整，提高实时性；对ISP模块发送的图像内容进行分析和处理，记录城市管理中出现的违规现象，将事件地点坐标发还至采集模块，在手机APP模块进行标记显示，使采集人员及时了解并解决问题。本发明整体减少城市管理采集人员的工作量，节约资源和时间，并通过优化目标物图像质量，减少上报图像的重复性，实现工作效率的提升。

Description

一种用于城市管理信息采集和处理的方法及装置

技术领域：

本发明涉及专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法的技术领域，特别涉及一种信息技术、图像处理领域的用于城市管理信息采集和处理的方法及装置。

背景技术：

随着经济的高速发展和城市化进程的逐渐推进，一方面使城市面积不断扩大，另一方面造成了城市人口的增加和城市环境的复杂化，这都对现在的城市管理提出了更高的要求。

现今，城市管理的过程中出现了越来越多需要进行管理的现象，例如：违规占道经营、机动车违章停车、公共设施损坏等等，然而目前城市管理主要依靠的仍然是人工进行监督与排查，城市管理人员经常需要花费大量的时间与精力进行巡查，工作量巨大，费时费力，且在长时间的采集过程中，采集人员会产生疲劳，可能会遗漏一些重要的内容，影响工作的效率。

面对城市管理中出现的问题，公开号为CN1652481A的专利提出了城市管理信息采集方法及其所用的装置，其对采集区域进行划分，在划分区域内分派人员进行采集监督，然而，该方法及装置依然需要依靠城市管理采集人员进行人工寻找，采集和上报发现的城市管理问题并且未对图像做优化处理，没有改变人工采集时工作量大，费时费力和工作效率低的问题。

事实上，由于普通手机相机的局限性，例如：达不到动态拍摄性能要求，图像精度低以及仍然需要人工寻找、拍照和上报城市管理中出现的问题等，而工业相机又存在体积大、成本高以及不方便携带等因素，无法满足当前的需求。面对以上城市管理中提及的问题，寻找出方便携带、拍摄精度高，可以有效降低城市管理人员工作量，提高工作效率的方法及装置是我们当下亟待解决的问题。

发明内容：

为了解决现有技术中存在的问题，本发明提供一种优化的用于城市管理信息采集和处理的方法及装置，在不通过城市管理采集人员主动寻找、采集和上报的情况下，将采集的图像上传到远端处理模块，仅对城市管理中出现的违规现象进行记录，同时实现动态调整图像上传频率以及采集模块的曝光时长参数，并减少上报的重复性，增加定位的准确性。减少城市管理采集人员的工作量，实现工作效率的提升。

本发明所采用的技术方案是，一种用于城市管理信息采集和处理的方法，所述方法包括以下步骤：

步骤1：任一城市信息采集人员将采集模块面向采集方向进行固定，以采集模块连接智能设备，确定工作人员信息和巡查区域，对采集模块进行初始化后在巡查区域进行巡查工作；

步骤2：任一城市信息采集人员驾驶固定有采集模块的车辆，以智能设备动态持续对采集模块的参数进行修改；车辆行驶距离为上传步长时，将采集模块采集的图像数据、当前的位置坐标和采集时间发送到远端ISP模块；

步骤3：远端ISP模块对所有城市信息采集人员的智能设备发送的图像数据进行预处理；

步骤4：远端ISP模块将处理过的图像数据传送到城市管理模块，城市管理模块把通过机器学习得到的模型与图像进行对比，并作出判断；如果模型与图像匹配，则将图像数据进行处理并将采集时的位置坐标、采集时间和处理后的图像数据进行上报并发还至对应的城市信息采集人员的智能设备，否则，不对当前图像进行处理，对下一图像进行比对；

步骤5：任一城市信息采集人员接收到由城市管理模块发还的数据，在智能设备上对返回的数据进行对象标记并修改采集模块的关联参数；

步骤6：任一城市信息采集人员完成巡查区域的采集工作，智能设备停止对对应的城市信息采集人员的记录。

优选地，所述步骤2中，动态对采集模块的参数进行修改包括以下步骤：

步骤2.1：城市信息采集人员获取智能设备内置的光线传感器的数值L1、远端ISP模块返回的曝光数据L2，更新曝光时间L＝a*L1+(1-a)*L2，其中a∈(0,1)，以智能设备将L值发送到采集模块，动态修改采集模块的曝光时长参数；

步骤2.2：通过智能设备实现对上传步长的动态调整。

优选地，所述步骤2.2包括以下步骤：

步骤2.2.1：获取采集模块的视场角α；

步骤2.2.2：当获取当前帧的图像时，根据目标物在左、右摄像头成像平面上投影点的位置，计算视差d，摄像头的焦距记为f，左、右摄像头的光心间距为T，得到目标物到镜头的距离视野范围

步骤2.2.3：获取当前采集模块的行驶距离，当距离达到的步长时上传当前位置的图像，返回步骤2.2.2。

优选地，所述步骤3中，预处理包括转换图像数据的数据格式、降噪、自动对焦、自动曝光、自动白平衡、2D边缘增强和伽马校正。

优选地，所述步骤4中，对图像数据进行处理包括检测图像的重复性和增加拍摄对象定位的准确性。

优选地，所述检测图像的重复性包括以下步骤：

步骤4.1.1：城市管理模块接收上传的图像数据；

步骤4.1.2：城市管理模块根据深度学习得到的模型判断当前帧图像内容是否存在目标物，如果不存在，则返回步骤4.1.1，否则，进行下一步；

步骤4.1.3：将当前帧记为第K帧，设定帧计数器i，初始化i的值为0，设定相似度阈值为S；

步骤4.1.4：将视频帧K+i和K+i+1划分为若干个8×8的等尺寸图像块，将各个图像块转为灰度进行色彩简化，并求出各个图形块的平均灰度值，得到视频帧K+i的灰度值矩阵和视频帧K+i+1的灰度值矩阵其中a_mn和a_mn'分别表示视频帧K+i和K+i+1中的若干个图像块的平均灰度值；

步骤4.1.5：取视频帧K+i的图像块像素灰度值权重系数为取视频帧K+i+1的图像块像素灰度值权重系数为其中，系数0和均有个；得到视频帧K+i在行方向上的带权重的灰度值矩阵视频帧K+i+1在行方向上的带权重的灰度值矩阵

步骤4.1.6：按照高斯分布分配视频帧K+i和K+i+1的灰度值矩阵在竖直方向上的权重，高斯分布函数其中，σ＝1，得到权重参数R＝[f(1),f(2) ... f(m)]，更新视频帧K+i的带权重的灰度值矩阵为视频帧K+i+1的带权重的灰度值矩阵为计算相似度D＝|H”₁-H”₂|；

步骤4.1.7：若如果D＞S则进行下一步，否则进行步骤4.1.9；

步骤4.1.8：判断第K+i帧图像是否已经进行上传，如果已经上传则执行i＝i+1，进行步骤4.1.4，如果没有上传则对第K+i帧图像进行上传、执行i＝i+1，进行步骤4.1.4；

步骤4.1.9：判断第K+i帧图像是否已经进行上传，如果已经上传则进行步骤4.1.1；否则上传第K+i帧图像并进行步骤4.1.1。

优选地，所述增加拍摄对象定位的准确性包括以下步骤：

步骤4.2.1：城市管理模块以R-CNN目标检测算法用矩形框框出一个或者多个目标物的位置，分别取矩形框中心坐标为(x_n,y_n)，n为正整数；所述坐标是以图像左上角O_p为原点，水平方向为x轴，竖直方向为y轴的二维像素坐标系下的坐标；

步骤4.2.2：引入图像坐标系，将以像素为单位的像素坐标系中的所有坐标转换成以通用长度为单位的图像坐标系坐标，图像坐标系以O_i为原点，水平方向为x轴，竖直方向为y轴，垂直于平面xO_iy为z轴，图像坐标系原点O_i在像素坐标系下的坐标为(x_i,y_i)；

步骤4.2.3：像素坐标系和图像坐标系之间的转换计算公式的齐次坐标形式为其中，(x'_n,y'_n)是图像坐标系下坐标，dx为横轴方向像元的大小，即像元的宽，dy为纵轴方向像元的大小，即像元的高；

步骤4.2.4：根据任一目标点A在左、右摄像头成像平面上投影点的位置，计算出其视差d，摄像头的焦距为f，左、右摄像头光心间距为T，则A点到镜头的距离

步骤4.2.5：由小孔成像原理得到图像坐标系与摄像头坐标系之间的转换关系为其中，(x'₁,y'₁)为物体在图像坐标系下的坐标，(X_1c,Y_1c,Z_1c)为物体在相机坐标系下的坐标；

步骤4.2.6：建立地图坐标系，以采集模块为原点，正东方向为x轴，正北方向为y轴；获取采集方向与地图坐标系x轴的夹角β，则A点与地图坐标系x轴的夹角为A点与地图坐标系原点距离为

步骤4.2.7：A点在地图坐标系下相对于x轴的偏移量为相对于y轴的偏移量为结合采集模块的坐标G(x_g,y_g)，得到A点的经纬度坐标，其中，x_g为维度坐标，y_g经度坐标；

步骤4.2.8：若当前图像中还存在目标物，返回步骤4.2.4，若不存在，则将得到的目标物的经纬度坐标及相关图像进行上报。

一种采用所述的用于城市管理信息采集和处理方法的城市管理信息采集和处理装置，所述采集和处理装置包括：

若干用于采集图像的采集模块、

若干用于调节对应采集模块的参数并发送采集模块采集的图像数据、当前的位置坐标和采集时间的智能设备、

一用于接收智能设备发送的数据并对数据进行处理的远端ISP模块

及一用于接收远端ISP模块处理的数据并对图像内容进行识别及相应处理，将符合要求的图像进行保存、反馈至智能设备并上报的城市管理模块。

优选地，所述采集模块包括全局曝光的双目图像传感器和USB外设控制器。

优选地，所述远端ISP模块包括：

一接收单元，用于接收每个城市信息采集人员的智能设备发送的图像数据、当前的位置坐标和采集时间、

一ISP处理单元，用于对接收的图像数据进行预处理

及一发送单元，用于将处理后的图像数据发送到城市管理模块。

本发明提供一种优化的用于城市管理信息采集和处理的方法及装置，在城市信息采集人员固定好采集设备后，在不通过城市信息采集人员主动寻找、采集和上报的情况下，将所有城市信息采集人员采集的图像上传到远端ISP处理模块，该模块对图像进行ISP处理，改善图像质量；进一步地，本方法及装置对采集模块获取的图像实现动态调整上传频率，减少上传图像的重复性，结合手机光线传感器的数值及远端ISP模块发回的数值，对采集模块曝光时间实现动态调整，提高实时性；城市管理模块对ISP模块发送的图像内容进行分析和处理，对城市管理中出现的违规现象进行记录，并将事件地点坐标发还至采集模块，并在手机APP模块进行标记显示，使城市信息采集人员及时了解并解决问题。

本发明整体减少城市信息采集人员的工作量，节约资源和时间，并通过优化目标物图像质量，减少上报图像的重复性，实现工作效率的提升。

附图说明

图1为本发明的方法流程图；

图2为本发明中检测图像的重复性的流程图；

图3为本发明中加拍摄对象定位的准确性的流程图；

图4为本发明中像素坐标系和图像坐标系，其中XO_iY对应图像坐标系；xo_py对应像素坐标系；

图5为本发明中的双目成像模型，其中P为目标点，q与q’之间的距离d为视差，T是双目相机光轴间距，f是相机焦距，Z是目标点P到双目相机的垂直距离；

图6为本发明中相机坐标系和地图坐标系的俯视图，其中点P为目标点，XOY对应相机坐标系，xOy对应相机坐标系；β是相机拍摄方向与y轴方向的夹角；

图7为本发明中装置的结构示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种用于城市管理信息采集和处理的方法，所述方法包括以下步骤。

步骤1：任一城市信息采集人员将采集模块面向采集方向进行固定，以采集模块连接智能设备，确定工作人员信息和巡查区域，对采集模块进行初始化后在巡查区域进行巡查工作。

本发明中，智能设备包括但不限于手机、PDA等可以提供信息交互、定位、对时的设备，为了便于操作，一般为手持式设备；步骤1中，工作人员信息和巡查区域、对采集模块进行初始化等均在智能设备上操作。

本发明中，采集模块一般为双目采集设备，如双目摄像头。

本发明中，一般情况下，双目采集设备平行至于手机顶部，手机平放进行采集。

步骤2：任一城市信息采集人员驾驶固定有采集模块的车辆，以智能设备动态持续对采集模块的参数进行修改；车辆行驶距离为上传步长时，将采集模块采集的图像数据、当前的位置坐标和采集时间发送到远端ISP模块。

本发明中，由于远程ISP模块处于远端，对于sensor曝光时间的及时控制显得极为重要，否则就会产生过曝或者弱曝现象，影响成像质量；而在采集过程中如果将所有的连续帧上传，将会有大量的重复图像，不仅仅会占用用户的大量的流量，而且还会增加远端ISP模块和城市管理模块的工作量，影响工作效率，故需要对采集模块的参数进行修改，包括曝光时长参数和上传频率。

所述步骤2中，动态对采集模块的参数进行修改包括以下步骤：

步骤2.1：城市信息采集人员获取智能设备内置的光线传感器的数值L1、远端ISP模块返回的曝光数据L2，更新曝光时间L＝a*L1+(1-a)*L2，其中a∈(0,1)，以智能设备将L值发送到采集模块，动态修改采集模块的曝光时长参数；

步骤2.2：通过智能设备实现对上传步长的动态调整。

所述步骤2.2包括以下步骤：

步骤2.2.1：获取采集模块的视场角α；

步骤2.2.2：当获取当前帧的图像时，根据目标物在左、右摄像头成像平面上投影点的位置，计算视差d，摄像头的焦距记为f，左、右摄像头的光心间距为T，得到目标物到镜头的距离视野范围

步骤2.2.3：获取当前采集模块的行驶距离，当距离达到的步长时上传当前位置的图像，返回步骤2.2.2。

本发明中，智能设备通过API接口获取手机光线传感器的数值。

本发明中，步骤2.2使得上传的图像间在具有一定相关性的同时尽量减少图像间冗余度。

步骤3：远端ISP模块对所有城市信息采集人员的智能设备发送的图像数据进行预处理。

所述步骤3中，预处理包括转换图像数据的数据格式、降噪、自动对焦、自动曝光、自动白平衡、2D边缘增强和伽马校正。

本发明中，预处理包括但不限于转换图像数据的数据格式、降噪、自动对焦、自动曝光、自动白平衡、2D边缘增强和伽马校正，此为本领域技术人员容易理解的内容，本领域技术人员可以依据需求自行处理。

步骤4：远端ISP模块将处理过的图像数据传送到城市管理模块，城市管理模块把通过机器学习得到的模型与图像进行对比，并作出判断；如果模型与图像匹配，则将图像数据进行处理并将采集时的位置坐标、采集时间和处理后的图像数据进行上报并发还至对应的城市信息采集人员的智能设备，否则，不对当前图像进行处理，对下一图像进行比对。

所述步骤4中，对图像数据进行处理包括检测图像的重复性和增加拍摄对象定位的准确性。

所述检测图像的重复性包括以下步骤：

步骤4.1.1：城市管理模块接收上传的图像数据；

步骤4.1.2：城市管理模块根据深度学习得到的模型判断当前帧图像内容是否存在目标物，如果不存在，则返回步骤4.1.1，否则，进行下一步；

步骤4.1.3：将当前帧记为第K帧，设定帧计数器i，初始化i的值为0，设定相似度阈值为S；

步骤4.1.4：将视频帧K+i和K+i+1划分为若干个8×8的等尺寸图像块，将各个图像块转为灰度进行色彩简化，并求出各个图形块的平均灰度值，得到视频帧K+i的灰度值矩阵和视频帧K+i+1的灰度值矩阵其中a_mn和a_mn'分别表示视频帧K+i和K+i+1中的若干个图像块的平均灰度值；

步骤4.1.5：取视频帧K+i的图像块像素灰度值权重系数为取视频帧K+i+1的图像块像素灰度值权重系数为其中，系数0和均有个；得到视频帧K+i在行方向上的带权重的灰度值矩阵视频帧K+i+1在行方向上的带权重的灰度值矩阵

步骤4.1.6：按照高斯分布分配视频帧K+i和K+i+1的灰度值矩阵在竖直方向上的权重，高斯分布函数其中，σ＝1，得到权重参数R＝[f(1),f(2)...f(m)]，更新视频帧K+i的带权重的灰度值矩阵为视频帧K+i+1的带权重的灰度值矩阵为计算相似度D＝|H”₁-H”₂|；

步骤4.1.7：若如果D＞S则进行下一步，否则进行步骤4.1.9；

步骤4.1.8：判断第K+i帧图像是否已经进行上传，如果已经上传则执行i＝i+1，进行步骤4.1.4，如果没有上传则对第K+i帧图像进行上传、执行i＝i+1，进行步骤4.1.4；

步骤4.1.9：判断第K+i帧图像是否已经进行上传，如果已经上传则进行步骤4.1.1；否则上传第K+i帧图像并进行步骤4.1.1。

本发明中，由于上传的图像之间具有一定的相关性，所以可能出现连续的两幅或三幅图像内有同一目标物的情况，该情况会导致同一现象的多次上报，故提出检测图像的重复性的方法。

本发明中，步骤4.1.4将各个图像块转为灰度可以采用32级、64级或者256级，一般情况下，采用64级。

本发明中，由于视频帧K+i和K+i+1是移动拍摄完成的，在拍摄时间上存在时间差，场景中可能出现一些新的事物、或原有的一些事物消失、或场景中的物体发生位移，而视频帧K+i的列图像块结束位置与视频帧K+i+1的列图像块起始位置相关性较大，故步骤4.1.5中对矩阵H₁、H₂中的行元素的平均灰度值进行加权求平均值。

本发明中，由于采集图像获取的图像是以平行于地面视角拍摄的场景图像，多以城市街道为主，图像内容具有大致明确的空间关系，如图像中天空一般位于建筑的上方，建筑物、店铺及其招牌位于图像中心位置，车辆、行人等多变街景位于建筑的下方，故步骤4.1.6按照高斯分布分配其在竖直方向上的权重。

所述增加拍摄对象定位的准确性包括以下步骤：

步骤4.2.1：城市管理模块以R-CNN目标检测算法用矩形框框出一个或者多个目标物的位置，分别取矩形框中心坐标为(x_n,y_n)，n为正整数；所述坐标是以图像左上角O_p为原点，水平方向为x轴，竖直方向为y轴的二维像素坐标系下的坐标；

步骤4.2.2：引入图像坐标系，将以像素为单位的像素坐标系中的所有坐标转换成以通用长度为单位的图像坐标系坐标，图像坐标系以O_i为原点，水平方向为x轴，竖直方向为y轴，垂直于平面xO_iy为z轴，图像坐标系原点O_i在像素坐标系下的坐标为(x_i,y_i)；

步骤4.2.3：像素坐标系和图像坐标系之间的转换计算公式的齐次坐标形式为其中，(x'_n,y'_n)是图像坐标系下坐标，dx为横轴方向像元的大小，即像元的宽，dy为纵轴方向像元的大小，即像元的高；

步骤4.2.4：根据任一目标点A在左、右摄像头成像平面上投影点的位置，计算出其视差d，摄像头的焦距为f，左、右摄像头光心间距为T，则A点到镜头的距离

步骤4.2.5：由小孔成像原理得到图像坐标系与摄像头坐标系之间的转换关系为其中，(x'₁,y'₁)为物体在图像坐标系下的坐标，(X_1c,Y_1c,Z_1c)为物体在相机坐标系下的坐标；

步骤4.2.6：建立地图坐标系，以采集模块为原点，正东方向为x轴，正北方向为y轴；获取采集方向与地图坐标系x轴的夹角β，则A点与地图坐标系x轴的夹角为A点与地图坐标系原点距离为

步骤4.2.7：A点在地图坐标系下相对于x轴的偏移量为相对于y轴的偏移量为结合采集模块的坐标G(x_g,y_g)，得到A点的经纬度坐标，其中，x_g为维度坐标，y_g经度坐标；

步骤4.2.8：若当前图像中还存在目标物，返回步骤4.2.4，若不存在，则将得到的目标物的经纬度坐标及相关图像进行上报。

本发明中，由于采集人员沿街进行巡查工作，与目标物存在一定的距离，所以图像中的坐标信息和目标物实际坐标存在一定的差距，而当图像中出现两个及以上目标物时，无法对每个目标物分别进行坐标定位，故提出增加拍摄对象定位的准确性方法。

本发明中，R-CNN目标检测算法为本领域公知技术，本领域技术人员可以依据需求以当前算法对一个或者多个目标物的位置进行检测。

本发明中，增加拍摄对象定位的准确性方法中，(x_i,y_i)为图像坐标系原点在像素坐标系下的坐标，单位为像素，dx和dy的值可由相机自身参数获取，单位为毫米/像素。

本发明中，由三维世界中一个物体的小孔成像原理可得Z_c*x＝f+X_c，其中X_c是物体的长度，x是物体在成像平面上投影的长度，f是摄像头焦距，Z_1c表示物体与摄像头之间的距离，同理，三维世界中物体的宽也满足上述公式Z_c*y＝f+Y_c，基于此，可以得到步骤4.2.5中图像坐标系与摄像头坐标系之间的转换关系。

步骤5：任一城市信息采集人员接收到由城市管理模块发还的数据，在智能设备上对返回的数据进行对象标记并修改采集模块的关联参数。

本发明中，采集模块的关联参数包括ISP参数。

本发明中，智能设备可以将采集人员的采集区域以平面地图的方式显示出来并将符合要求的图像坐标在平面地图上进行标记，通过点击标记可以显示对应的图像。

步骤6：任一城市信息采集人员完成巡查区域的采集工作，智能设备停止对对应的城市信息采集人员的记录。

本发明中，以手机为智能设备为例，采集人员完成工作区域的采集工作后关闭相应的APP等工具，工具发送结束信号到终端，终端停止对该采集人员的记录，采集人员断开采集模块与手机的连接，结束本次采集任务。

本发明还涉及一种采用所述的用于城市管理信息采集和处理方法的城市管理信息采集和处理装置，所述采集和处理装置包括：

若干用于采集图像的采集模块、

若干用于调节对应采集模块的参数并发送采集模块采集的图像数据、当前的位置坐标和采集时间的智能设备、

一用于接收智能设备发送的数据并对数据进行处理的远端ISP模块

及一用于接收远端ISP模块处理的数据并对图像内容进行识别及相应处理，将符合要求的图像进行保存、反馈至智能设备并上报的城市管理模块。

本发明中，采集模块和智能设备间可以通过数据线连接，数据线一般包括标准USB3.0数据线和OTG转接口，便于与智能设备进行连接和数据交换。

本发明中，为了区分不同采集终端的人员信息以及工作范围，方便城市管理模块进行统计与管理，可以选用城市管理人员的编号为识别账号。

本发明中，城市管理模块不仅将信息反馈到城市信息采集人员，还会对信息进行上报，一般到监控中心等。

所述采集模块包括全局曝光的双目图像传感器和USB外设控制器。

本发明中，双目图像传感器将感光面上的光像转换为与光像成相应比例关系的电信号，USB外设控制器将数据信号处理为符合UVC(USB Video Class，USB视频类)描述符格式，以便手机端接收并发送数据。

所述远端ISP模块包括：

一接收单元，用于接收每个城市信息采集人员的智能设备发送的图像数据、当前的位置坐标和采集时间、

一ISP处理单元，用于对接收的图像数据进行预处理

及一发送单元，用于将处理后的图像数据发送到城市管理模块。

本发明中，ISP处理单元进行的处理包括将图像的RAW数据转换为常见的数据格式，如RGB格式，并对图像进行降噪、3A处理(Auto Exposure/Auto Focus/Auto WhiteBalance)等处理，实现画质的提升。

本发明在城市信息采集人员固定好采集设备后，在不通过城市信息采集人员主动寻找、采集和上报的情况下，将所有城市信息采集人员采集的图像上传到远端ISP处理模块，该模块对图像进行ISP处理，改善图像质量；进一步地，本方法及装置对采集模块获取的图像实现动态调整上传频率，减少上传图像的重复性，结合手机光线传感器的数值及远端ISP模块发回的数值，对采集模块曝光时间实现动态调整，提高实时性；城市管理模块对ISP模块发送的图像内容进行分析和处理，对城市管理中出现的违规现象进行记录，并将事件地点坐标发还至采集模块，并在手机APP模块进行标记显示，使城市信息采集人员及时了解并解决问题。本发明整体减少城市信息采集人员的工作量，节约资源和时间，并通过优化目标物图像质量，减少上报图像的重复性，实现工作效率的提升。

Claims (10)

1.一种用于城市管理信息采集和处理的方法，其特征在于：所述方法包括以下步骤：

步骤1：任一城市信息采集人员将采集模块面向采集方向进行固定，以采集模块连接智能设备，确定工作人员信息和巡查区域，对采集模块进行初始化后在巡查区域进行巡查工作；

步骤2：任一城市信息采集人员驾驶固定有采集模块的车辆，以智能设备动态持续对采集模块的参数进行修改；车辆行驶距离为上传步长时，将采集模块采集的图像数据、当前的位置坐标和采集时间发送到远端ISP模块；

步骤3：远端ISP模块对所有城市信息采集人员的智能设备发送的图像数据进行预处理；

步骤4：远端ISP模块将处理过的图像数据传送到城市管理模块，城市管理模块把通过机器学习得到的模型与图像进行对比，并作出判断；如果模型与图像匹配，则将图像数据进行处理并将采集时的位置坐标、采集时间和处理后的图像数据进行上报并发还至对应的城市信息采集人员的智能设备，否则，不对当前图像进行处理，对下一图像进行比对；

步骤5：任一城市信息采集人员接收到由城市管理模块发还的数据，在智能设备上对返回的数据进行对象标记并修改采集模块的关联参数；

步骤6：任一城市信息采集人员完成巡查区域的采集工作，智能设备停止对对应的城市信息采集人员的记录。

2.根据权利要求1所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述步骤2中，动态对采集模块的参数进行修改包括以下步骤：

步骤2.1：城市信息采集人员获取智能设备内置的光线传感器的数值L1、远端ISP模块返回的曝光数据L2，更新曝光时间L＝a*L1+(1-a)*L2，其中a∈(0,1)，以智能设备将L值发送到采集模块，动态修改采集模块的曝光时长参数；

步骤2.2：通过智能设备实现对上传步长的动态调整。

3.根据权利要求2所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述步骤2.2包括以下步骤：

步骤2.2.1：获取采集模块的视场角α；

步骤2.2.2：当获取当前帧的图像时，根据目标物在左、右摄像头成像平面上投影点的位置，计算视差d，摄像头的焦距记为f，左、右摄像头的光心间距为T，得到目标物到镜头的距离视野范围

步骤2.2.3：获取当前采集模块的行驶距离，当距离达到的步长时上传当前位置的图像，返回步骤2.2.2。

4.根据权利要求1所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述步骤3中，预处理包括转换图像数据的数据格式、降噪、自动对焦、自动曝光、自动白平衡、2D边缘增强和伽马校正。

5.根据权利要求1所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述步骤4中，对图像数据进行处理包括检测图像的重复性和增加拍摄对象定位的准确性。

6.根据权利要求5所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述检测图像的重复性包括以下步骤：

步骤4.1.1：城市管理模块接收上传的图像数据；

步骤4.1.2：城市管理模块根据深度学习得到的模型判断当前帧图像内容是否存在目标物，如果不存在，则返回步骤4.1.1，否则，进行下一步；

步骤4.1.3：将当前帧记为第K帧，设定帧计数器i，初始化i的值为0，设定相似度阈值为S；

步骤4.1.4：将视频帧K+i和K+i+1划分为若干个8×8的等尺寸图像块，将各个图像块转为灰度进行色彩简化，并求出各个图形块的平均灰度值，得到视频帧K+i的灰度值矩阵和视频帧K+i+1的灰度值矩阵其中a_mn和a_mn'分别表示视频帧K+i和K+i+1中的若干个图像块的平均灰度值；

步骤4.1.5：取视频帧K+i的图像块像素灰度值权重系数为取视频帧K+i+1的图像块像素灰度值权重系数为其中，系数0和均有个；得到视频帧K+i在行方向上的带权重的灰度值矩阵视频帧K+i+1在行方向上的带权重的灰度值矩阵

步骤4.1.6：按照高斯分布分配视频帧K+i和K+i+1的灰度值矩阵在竖直方向上的权重，高斯分布函数其中，得到权重参数R＝[f(1) ,f(2)... f(m)]，更新视频帧K+i的带权重的灰度值矩阵为 视频帧K+i+1的带权重的灰度值矩阵为 计算相似度D＝H”₁-H”₂；

步骤4.1.7：若如果D＞S则进行下一步，否则进行步骤4.1.9；

步骤4.1.8：判断第K+i帧图像是否已经进行上传，如果已经上传则执行i＝i+1，进行步骤4.1.4，如果没有上传则对第K+i帧图像进行上传、执行i＝i+1，进行步骤4.1.4；

步骤4.1.9：判断第K+i帧图像是否已经进行上传，如果已经上传则进行步骤4.1.1；否则上传第K+i帧图像并进行步骤4.1.1。

7.根据权利要求5所述的一种用于城市管理信息采集和处理的方法，其特征在于：所述增加拍摄对象定位的准确性包括以下步骤：

步骤4.2.1：城市管理模块以R-CNN目标检测算法用矩形框框出一个或者多个目标物的位置，分别取矩形框中心坐标为(x_n,y_n)，n为正整数；所述坐标是以图像左上角O_p为原点，水平方向为x轴，竖直方向为y轴的二维像素坐标系下的坐标；

步骤4.2.2：引入图像坐标系，将以像素为单位的像素坐标系中的所有坐标转换成以通用长度为单位的图像坐标系坐标，图像坐标系以O_i为原点，水平方向为x轴，竖直方向为y轴，垂直于平面xO_iy为z轴，图像坐标系原点O_i在像素坐标系下的坐标为(x_i,y_i)；

步骤4.2.3：像素坐标系和图像坐标系之间的转换计算公式的齐次坐标形式为其中，(x'_n,y'_n)是图像坐标系下坐标，dx为横轴方向像元的大小，即像元的宽，dy为纵轴方向像元的大小，即像元的高；

步骤4.2.4：根据任一目标点A在左、右摄像头成像平面上投影点的位置，计算出其视差d，摄像头的焦距为f，左、右摄像头光心间距为T，则A点到镜头的距离

步骤4.2.5：由小孔成像原理得到图像坐标系与摄像头坐标系之间的转换关系为其中，(x'₁,y'₁)为物体在图像坐标系下的坐标，(X_1c,Y_1c,Z_1c)为物体在相机坐标系下的坐标；

步骤4.2.6：建立地图坐标系，以采集模块为原点，正东方向为x轴，正北方向为y轴；获取采集方向与地图坐标系x轴的夹角β，则A点与地图坐标系x轴的夹角为A点与地图坐标系原点距离为

步骤4.2.7：A点在地图坐标系下相对于x轴的偏移量为相对于y轴的偏移量为结合采集模块的坐标G(x_g,y_g)，得到A点的经纬度坐标，其中，x_g为维度坐标，y_g经度坐标；

步骤4.2.8：若当前图像中还存在目标物，返回步骤4.2.4，若不存在，则将得到的目标物的经纬度坐标及相关图像进行上报。

8.一种采用权利要求1～7之一所述的用于城市管理信息采集和处理的方法的城市管理信息采集和处理装置，其特征在于：所述采集和处理装置包括：

若干用于采集图像的采集模块、

若干用于调节对应采集模块的参数并发送采集模块采集的图像数据、当前的位置坐标和采集时间的智能设备、

一用于接收智能设备发送的数据并对数据进行处理的远端ISP模块

及一用于接收远端ISP模块处理的数据并对图像内容进行识别及相应处理，将符合要求的图像进行保存、反馈至智能设备并上报的城市管理模块。

9.根据权利要求8所述的一种用于城市管理信息采集和处理的方法的城市管理信息采集和处理装置，其特征在于：所述采集模块包括全局曝光的双目图像传感器和USB外设控制器。

10.根据权利要求8所述的一种用于城市管理信息采集和处理的方法的城市管理信息采集和处理装置，其特征在于：所述远端ISP模块包括：

一接收单元，用于接收每个城市信息采集人员的智能设备发送的图像数据、当前的位置坐标和采集时间、

一ISP处理单元，用于对接收的图像数据进行预处理

及一发送单元，用于将处理后的图像数据发送到城市管理模块。