CN111783690A - 基于车辆密度感知的城市可行驶区域cim信息处理方法 - Google Patents
基于车辆密度感知的城市可行驶区域cim信息处理方法 Download PDFInfo
- Publication number
- CN111783690A CN111783690A CN202010638382.6A CN202010638382A CN111783690A CN 111783690 A CN111783690 A CN 111783690A CN 202010638382 A CN202010638382 A CN 202010638382A CN 111783690 A CN111783690 A CN 111783690A
- Authority
- CN
- China
- Prior art keywords
- road
- roadblock
- image
- information model
- city
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 9
- 230000008447 perception Effects 0.000 title claims abstract description 9
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于车辆密度感知的城市可行驶区域CIM信息处理方法。包括：构建城市信息模型；基于神经网络技术对城市道路车辆通行情况进行分析，根据分析结果划定不可行驶区域并进行路障检测，根据路障检测结果结合城市信息模型中的道路边沿信息，划定不可行驶区域以及不可通行道路，划定结果存储至城市信息模型；对摄像头实时采集的图像进行拼接上传至城市信息模型，结合WebGIS技术进行实时的可视化展示。利用本发明，能够实时获取准确的城市可行驶区域信息，而且智慧城市信息集成性能好，能够实时展示道路全景成像。
Description
技术领域
本发明涉及人工智能、智慧城市、CIM、计算机视觉技术领域，具体涉及一种基于车辆密度感知的城市可行驶区域CIM信息处理方法。
背景技术
目前道路可行驶区域的检测一般是面向单个车辆，从而实现智慧驾驶。然而，在智慧城市建设中，道路可行驶区域信息的实时更新和共享十分重要，因此，需要一种能够面向城市驾驶者与城市监管者的道路可行驶区域信息获取方法。
形成道路不可行驶区域的主要原因是车流量大、路障。路障包括路锥、隔离墩等。一方面，在现有技术中，没有结合两种情况对可行驶区域进行分析的方法。另一方面，在车流量检测中，一些方法通过关键点检测直接统计车辆数目，其缺点在于统计过程中，对于车辆互相遮挡的情况，造成基于关键点生成的热斑重叠，使统计产生较大误差。现有的道路障碍物的检测中，一些方法通过生成目标包围框检测并分类是否为前景，缺点在于，不能准确定位障碍物的位置且基于anchor所生成的包围框并不能很好的契合目标。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于车辆密度感知的城市可行驶区域CIM信息处理方法。
一种基于车辆密度感知的城市可行驶区域CIM信息处理方法，该方法包括：
结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型；
将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆关键点热力图；
对车辆关键点热力图进行基于遗忘系数的热图叠加，得到叠加后的热区分布图；
对热区分布图进行阈值化处理，统计热斑像素点的像素比例，基于比例区间得到拥堵等级；
当拥堵等级大于等于设定阈值时，将该区域划定为不可行驶区域，当拥堵等级小于设定阈值时，进行路障检测，将各子区域采集的图像输入路障检测编码器、路障检测解码器，输出路障关键点热力图以及路障类型；
将路障关键点投影到城市信息模型地面坐标系，根据城市信息模型中存储的路障类型以及路障尺寸生成路障包围框，将相邻路障包围框的相邻边距小于阈值的路障关键点连接，得到路障连续摆放线；
结合城市信息模型中相应路段的道路边沿方向信息，分别计算路障连续摆放线两侧端点与两侧道路边沿的距离得到四个距离数值；若仅存在一个距离数值小于设定阈值，该距离数值对应道路边沿记为第一道路边沿，将路障连续摆放线两侧端点分别垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；
若存在两个距离数值均小于设定阈值，且该两个距离数值均为与同侧道路边沿的距离，则路障连续摆放线与单侧道路边沿线形成封闭的区域，将该单侧道路边沿记为第一道路边沿，将路障连续摆放线两侧端点垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；
若存在两个距离数值均小于设定阈值，且该两个距离数值为与不同侧道路边沿的距离，则相应路段不可通行并在城市信息模型中标记为不可通行路段，存储至城市信息模型；
将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面，对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像，存储至城市信息模型；
结合WebGIS技术对城市信息模型进行可视化，可视化结果包括城市道路图像图层以及不可行驶区域图层，不可行驶区域图层叠加在城市道路图像图层上。
所述车辆检测编码器对道路子区域图像进行特征提取，输出特征图；
所述车辆中心点检测解码器，对特征图进行卷积解码，输出车辆关键点热力图，车辆关键点热力图中热斑表征车辆关键点位置的置信度。
基于遗忘系数的热图叠加的具体方法为：
X＝αx+(1-α)x′,
其中x为当前帧车辆关键点热力图结果，x′为之前帧累加结果，X为累加计算结果，即热区分布图，(1-α)为遗忘系数。
路障检测编码器对道路子区域图像进行特征提取，输出特征图；
所述路障检测解码器对特征图进行卷积解码，输出路障关键点热力图以及路障类型。
将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面包括：
根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上。
对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像包括：
对投影变换后的待拼接道路子区域图像进行图像校正、噪声抑制；提取待拼接道路子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果。
本发明与现有技术相比，具有以下有益效果：
1.本发明结合车辆拥堵情况进行路障检测并划定不可行驶区域，在车辆不拥堵的时候进行路障检测，不仅路障检测结果更准确，而且避免了不间断路障检测带来的大量能源消耗。
2.本发明基于深度学习技术设计了车辆检测神经网络，并对车辆关键点热力图进行基于时序上的遗忘叠加分析，从而得到道路拥堵情况，相比于传统的实时统计车流量，一方面能从时序上反映一段时间内的车辆通行情况，能解决车辆遮挡导致的精度不高的问题，另一方面基于遗忘系数方法，能够有效防止结果出现大范围震荡。
3.本发明基于深度学习技术，设计了路障检测神经网络，路障检测神经网络检测路障关键点，相比于传统的基于包围框的分析方法，能够得到更加准确的路障位置，而且能够减少城市信息模型中数据存储量。
4.本发明结合城市信息模型技术，构建城市信息模型，能够整合各种城市信息，提高了智慧城市模型信息集成能力。
5.本发明结合构建的城市信息模型，对车辆拥堵检测结果以及路障检测结果进行分析，设计了涵盖不同情况路障摆放的情形，并据此划定不可行驶区域、不可通行道路，并存储至城市信息模型，能够实时得到准确的道路不可行驶区域、不可通行道路。
6.本发明结合城市信息模型技术与WebGIS技术，将道路子区域图像变换到城市信息模型地面坐标系，经过图像拼接实现道路全景实时成像，在城市信息模型中展示实时的道路图像图层以及不可行驶区域图层，两者复合能够得到更丰富的道路情况信息，不仅方便监管人员监控，而且能够为驾驶者提供外部访问接口，实时获得城市道路情况信息。
附图说明
图1为本发明方法框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于车辆密度感知的城市可行驶区域CIM信息处理方法。图1为本发明方法框架图。下面通过具体实施例来进行说明。
实施例1：
在路障检测中，需要考虑车辆拥堵情况，如果车辆拥堵，会存在遮挡路障的情况，此时检测路障的结果必然是不准确的。而在车辆十分拥堵的情况下，该区域也为不可行驶区域，因此，综上考虑，本发明结合车辆拥堵情况来进行实时的路障检测，从而识别城市可行驶区域。
CIM即城市信息模型，能够整合各种城市信息，实现全方位立体的城市监管。城市信息模型技术信息整合能力强，而且可以结合WebGIS技术实现良好的可视化效果。本发明结合城市信息模型技术，对城市可行驶区域进行分析。
结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型。
先构建城市信息模型CIM及其信息交换模块，即以城市信息数据为基础，建立起三维城市空间模型和城市信息的有机综合体。城市信息模型包括城市建筑的BIM信息、城市道路信息等各种用于三维城市空间建模所需信息。
城市信息模型能够通过信息交换模块获取包括相机感知信息、相应的地理位置信息以及当前环境的信息。信息交换模块是一种CIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式，实施者具体采用何种实现方式，可以根据实施场景自行选择。
基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在各类检测管理应用方面有着广泛的应用前景。因此采用CIM和计算机视觉相结合的形式，能有效的提高监管效率。将结果利用WebGIS进行可视化处理，将网络输出结果作为信息上传到WebGIS中，监管人员可在Web上进行检索、查询和分析，便于监管人员了解可行驶区域检测信息，并采取相应措施。也可以为城市驾驶者提供接口从而获得可行驶区域信息。
本发明的主要目的为实现城市可行驶区域信息处理。输出的结果包括不可行驶区域实时划定。实施者可根据该结果进行下一步处理，如向用户提供最佳路径、发送绕行提示等。
目标监测道路区域设置多个摄像头。各子区域摄像头之间的基线距离不应过大，拍摄区域可以覆盖整个总目标区域的情况，且各子区域之间应有足够的重合部分，便于后续的图像拼接。
将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆关键点热力图。车辆检测编码器对道路子区域图像进行特征提取，输出车辆检测特征图；车辆检测解码器，对该特征图进行卷积解码，输出车辆关键点热力图，在本实施例中针对车辆车顶中心点进行检测，因此得到车辆中心点热力图，车辆中心点热力图中热斑表征车辆中心点位置的置信度。
将各子区域采集的图像作为输入，送入车辆检测编码器、车辆检测解码器中得到车辆关键点Heatmap1。车辆关键点为一类，即车顶中心点。
车辆关键点Heatmap1生成的训练具体内容为：以子区域拍摄到的各种车流量情况下的道路车辆通行图像构建训练数据集。对训练集进行标注，车辆的车顶中心点作为关键点，对以关键点为中心通过高斯核卷积生成的一个热斑标注。采用均方差损失函数，随机梯度下降法进行训练。
现有的一些研究直接对实时的关键点热图进行统计或分类，得到实时车辆计数。由于车辆遮挡，实时计数本身存在一定的精度问题，而且由于网络推理结果影响，实时的统计结果可能存在较大范围震荡。本发明针对一段时间内的关键点热图进行叠加，一方面能从时序上反映一段时间内的车辆通行情况，另一方面基于遗忘系数方法，能够有效防止结果出现大范围震荡。
对Heatmap1进行基于遗忘系数的热图叠加，得到叠加后的热区分布图。
基于遗忘系数的热图叠加的具体方法为：X＝αx+(1-α)x′，其中x为当前帧车辆关键点热力图结果，x′为之前帧累加结果，X为累加计算结果，(1-α)为遗忘系数，本实施例中α取0.05。对连续帧进行叠加，记得到叠加后的热区分布图。
对热区分布图进行阈值化处理，将图像像素值分为二值，即0或255。
可以对所叠加的Heatmap1进行归一化处理，叠加后得到的热区图也可进行归一化处理。设定一个阈值，例如0.75。像素值大于等于0.75的像素点设为255，小于0.75的像素点设为0。具体阈值的选取实施者可结合实际情况设置。
统计像素值为255的像素点在图像像素点中的占比，并基于此进行拥堵等级分级。实施者可以根据情况分级。本实施例给出一种示例，将拥堵等级分为五级，占比区间在[0,0.2)则为一级，代表道路畅通，基本没有车辆；占比区间在[0.2,0.4)则为二级代表道路车辆较少；占比区间在[0.4,0.6)则为三级代表道路正常，车辆情况与均值相近；占比区间在[0.6,0.8)则为四级代表道路略微拥堵，车辆较多通行不便；占比区间在[0.8,1.0]则为五级代表道路严重拥堵，车辆难以通行。
当拥堵等级大于等于设定阈值时，将该区域划定为不可行驶区域，当拥堵等级小于设定阈值时，进行路障检测，将各子区域采集的图像输入路障检测编码器、路障检测解码器，输出路障关键点热力图以及路障类型。本实施例中设定阈值为四级。
区域拥堵等级大于等于四级时，由于车辆拥堵情况较为严重，所对应区域已经可被划分为不可行驶区域，因此无需进行路障检测。区域拥堵等级小于四级时，此时区域内从车辆数目方向而言可能可以正常通行，但需要检测路障情况进行进一步判断。
将各子区域实时采集的图像作为输入，送入路障检测编码器和路障检测解码器中，输出为路障关键点的Heatmap2，路障关键点包括三类，Heatmap2按三个通道输出，具体为路锥底面的中心点、路桩底面中心点和隔离墩底面中心点。所述路障检测编码器对道路子区域图像进行特征提取，输出路障检测特征图；所述路障检测解码器对特征图进行卷积解码，输出路障关键点热力图以及路障类型。本实施例中路障关键点为路障底面中心点。
路障关键点的Heatmap2生成的训练，具体方法为：在模拟器中，设置好相机的各类位姿，调整三类路障的不同摆放位置，将模拟拍摄的多帧图像作为训练数据集。三类路障分别为道路常见的路锥、路桩和隔离墩。上述模拟器和对于模拟场景下路障的三维建模，实施者可自行选择，在此不作限制。模拟器可选择OpenGL、Unity3D、虚幻等模拟引擎；三维建模的方法可选择3DMAX、Maya、UG等建模方法。对训练集进行人工标注，对以路障底面中心点为中心进行高斯核卷积生成的一个热斑进行标注。采用均方差损失函数进行训练。
将路障关键点投影到城市信息模型地面坐标系，根据城市信息模型中存储的路障类型以及路障尺寸生成路障包围框。
由于各类路障的尺寸在制造过程中是固定的，将各种路障尺寸存储至城市信息模型中。Heatmap2通过后处理得到图像坐标。将底部关键点投影到CIM地面坐标系中。根据底面关键点的路障类别，生成其固定尺寸的包围框。可以近似得到在CIM地面平面中路障限制通行的范围，可以解决例如路障只限制道路中一条车道行驶的情况。
将相邻路障包围框的相邻边距小于阈值的路障底面中心点连接，得到路障连续摆放线。
结合城市信息模型中相应路段的道路边沿方向信息，分别计算路障连续摆放线两侧端点与两侧道路边沿的距离得到四个距离数值；若仅存在一个距离数值小于设定阈值，该距离数值对应道路边沿记为第一道路边沿，将路障连续摆放线两侧端点分别垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型。
若存在两个距离数值均小于设定阈值，且该两个距离数值均为与同侧道路边沿的距离，则路障连续摆放线与单侧道路边沿线形成封闭的区域，将该单侧道路边沿记为第一道路边沿，将路障连续摆放线两侧端点垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型。
若存在两个距离数值均小于设定阈值，且该两个距离数值为与不同侧道路边沿的距离，则相应路段不可通行并在城市信息模型中标记为不可通行路段，存储至城市信息模型。
各个摄像头对所监控子区域进行图像采集后，经投影变换、图像拼接集成到城市信息模型中实现实时成像。对图像进行投影变换使图像位于同一个平面。根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上。
对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，实现实时成像。对投影变换后的待拼接道路子区域图像进行图像校正、噪声抑制；提取待拼接道路子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到完整的道路图像拼接结果，集成到城市信息模型中。
特征点提取的方法有很多，例如Harris算法、SIFT算法、SURT算法、ORB算法等；特征点匹配的方法有很多，例如KNN匹配算法、暴力匹配算法、RANSAC算法、GMS算法等；投影变换通过单应性矩阵实现，单应性矩阵可通过RANSAC算法估算，也可选择合理可靠的四组以上匹配点对进行计算；图像融合的方法有很多，例如羽化法、金字塔法、梯度法等。图像拼接的方法是公知的。实施者可根据不同的实际情况，选择不同的成像方法，需要说明的是，各步骤选择的实施方法组合后，实现的效果及实现的速度不同，在此建议通过ORB算法提取特征点，通过GMS算法进行特征点匹配，直接通过匹配点对计算单应性矩阵，图像融合选择羽化法，即加权平均思想。通过结合图像拼接的技术，可对CIM中地面平面信息的整合起到优化效果。
结合WebGIS技术对城市信息模型进行可视化，可视化结果包括完整的城市道路图像图层以及不可行驶区域图层，不可行驶区域图层可以叠加在城市道路图像图层上。不可行驶区域图层包括划定的不可行驶路段以及不可行驶区域。
为了直观的呈现出系统输出的信息，本发明结合大范围区域的CIM通过WebGIS进行可视化处理。通过像平面图像拼接后投影到CIM的三维建筑模型中，可获得整个道路视频连续覆盖的信息，达到实时成像的效果。结合路障检测信息和路段拥堵检测信息，可以了解各区域的可行驶区域信息。同时，通过WebGIS的可视化，监管人员可以在Web上进行检索、查询和分析，便于监管人员了解整个监管区域内的实时路况，并将提示信息传输给用户。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于车辆密度感知的城市可行驶区域CIM信息处理方法，其特征在于，该方法包括：
结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型；
将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆关键点热力图；
对车辆关键点热力图进行基于遗忘系数的热图叠加，得到叠加后的热区分布图；
对热区分布图进行阈值化处理，统计热斑像素点的像素比例，基于比例区间得到拥堵等级；
当拥堵等级大于等于设定阈值时，将该区域划定为不可行驶区域，当拥堵等级小于设定阈值时，进行路障检测，将各子区域采集的图像输入路障检测编码器、路障检测解码器，输出路障关键点热力图以及路障类型；
将路障关键点投影到城市信息模型地面坐标系，根据城市信息模型中存储的路障类型以及路障尺寸生成路障包围框，将相邻路障包围框的相邻边距小于阈值的路障关键点连接，得到路障连续摆放线；
结合城市信息模型中相应路段的道路边沿方向信息，分别计算路障连续摆放线两侧端点与两侧道路边沿的距离得到四个距离数值；若仅存在一个距离数值小于设定阈值，该距离数值对应道路边沿记为第一道路边沿，将路障连续摆放线两侧端点分别垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；
若存在两个距离数值均小于设定阈值，且该两个距离数值均为与同侧道路边沿的距离，则路障连续摆放线与单侧道路边沿线形成封闭的区域，将该单侧道路边沿记为第一道路边沿，将路障连续摆放线两侧端点垂直投影至第一道路边沿得到两条垂直投影线，根据路障连续摆放线、垂直投影线以及第一道路边沿划定不可行驶区域，存储至城市信息模型；
若存在两个距离数值均小于设定阈值，且该两个距离数值为与不同侧道路边沿的距离，则相应路段不可通行并在城市信息模型中标记为不可通行路段，存储至城市信息模型；
将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面，对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像，存储至城市信息模型；
结合WebGIS技术对城市信息模型进行可视化，可视化结果包括城市道路图像图层以及不可行驶区域图层，不可行驶区域图层叠加在城市道路图像图层上。
2.如权利要求1所述的方法，其特征在于，所述车辆检测编码器对道路子区域图像进行特征提取，输出特征图；
所述车辆中心点检测解码器，对特征图进行卷积解码，输出车辆关键点热力图，车辆关键点热力图中热斑表征车辆关键点位置的置信度。
3.如权利要求2所述的方法，其特征在于，基于遗忘系数的热图叠加的具体方法为：
X＝αx+(1-α)x′,
其中x为当前帧车辆关键点热力图结果，x′为之前帧累加结果，X为累加计算结果，即热区分布图，(1-α)为遗忘系数。
4.如权利要求2或3所述的方法，其特征在于，所述路障检测编码器对道路子区域图像进行特征提取，输出特征图；
所述路障检测解码器对特征图进行卷积解码，输出路障关键点热力图以及路障类型。
5.如权利要求1所述的方法，其特征在于，所述将各个摄像头采集的道路子区域图像投影变换至与城市信息模型地面平行的复合全景平面包括：
根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上。
6.如权利要求1所述的方法，其特征在于，所述对投影变换后的图像进行图像拼接操作，得到完整的城市道路图像包括：
对投影变换后的待拼接道路子区域图像进行图像校正、噪声抑制；提取待拼接道路子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010638382.6A CN111783690A (zh) | 2020-07-06 | 2020-07-06 | 基于车辆密度感知的城市可行驶区域cim信息处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010638382.6A CN111783690A (zh) | 2020-07-06 | 2020-07-06 | 基于车辆密度感知的城市可行驶区域cim信息处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111783690A true CN111783690A (zh) | 2020-10-16 |
Family
ID=72759602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010638382.6A Withdrawn CN111783690A (zh) | 2020-07-06 | 2020-07-06 | 基于车辆密度感知的城市可行驶区域cim信息处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783690A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870550A (zh) * | 2021-08-11 | 2021-12-31 | 中标慧安信息技术股份有限公司 | 基于边缘计算的区域异常检测方法和系统 |
| CN113986727A (zh) * | 2021-10-27 | 2022-01-28 | 中国核动力研究设计院 | 基于热力图的函数覆盖率检测方法、系统、终端及介质 |
| CN114202039A (zh) * | 2022-02-17 | 2022-03-18 | 深圳消安科技有限公司 | 一种基于cim模型的城市信息多源数据融合方法 |
-
2020
- 2020-07-06 CN CN202010638382.6A patent/CN111783690A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870550A (zh) * | 2021-08-11 | 2021-12-31 | 中标慧安信息技术股份有限公司 | 基于边缘计算的区域异常检测方法和系统 |
| CN113870550B (zh) * | 2021-08-11 | 2022-07-12 | 中标慧安信息技术股份有限公司 | 基于边缘计算的区域异常检测方法和系统 |
| CN113986727A (zh) * | 2021-10-27 | 2022-01-28 | 中国核动力研究设计院 | 基于热力图的函数覆盖率检测方法、系统、终端及介质 |
| CN113986727B (zh) * | 2021-10-27 | 2024-04-23 | 中国核动力研究设计院 | 基于热力图的函数覆盖率检测方法、系统、终端及介质 |
| CN114202039A (zh) * | 2022-02-17 | 2022-03-18 | 深圳消安科技有限公司 | 一种基于cim模型的城市信息多源数据融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guan et al. | Using mobile LiDAR data for rapidly updating road markings | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN111783690A (zh) | 基于车辆密度感知的城市可行驶区域cim信息处理方法 | |
| CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
| CN102917171B (zh) | 基于像素的小目标定位方法 | |
| CN111325788B (zh) | 一种基于街景图片的建筑物高度确定方法 | |
| CN111880191B (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
| CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
| US10936920B2 (en) | Determining geographical map features with multi-sensor input | |
| Tavasoli et al. | Real-time autonomous indoor navigation and vision-based damage assessment of reinforced concrete structures using low-cost nano aerial vehicles | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112950717A (zh) | 一种空间标定方法和系统 | |
| CN111783675A (zh) | 基于车辆语义感知的智慧城市视频自适应hdr控制方法 | |
| CN116883610A (zh) | 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统 | |
| WO2020211593A1 (zh) | 交通道路的数字化重建方法、装置和系统 | |
| US8977074B1 (en) | Urban geometry estimation from laser measurements | |
| CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
| Appiah et al. | Obstacle detection using stereo vision for self-driving cars | |
| CN112016518B (zh) | 基于无人机和人工智能的人群分布形式检测方法 | |
| CN114820931B (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
| CN115546667A (zh) | 一种无人机场景的实时车道线检测方法 | |
| CN115984772A (zh) | 一种基于视频监控的道路积水检测方法及终端 | |
| CN115588047A (zh) | 一种基于场景编码的三维目标检测方法 | |
| KR20160120955A (ko) | 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발 | |
| Zhang et al. | Video surveillance GIS: A novel application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201016 |