CN114820931B - 基于虚拟现实的智慧城市cim可视化实时成像方法 - Google Patents

基于虚拟现实的智慧城市cim可视化实时成像方法 Download PDF

Info

Publication number
CN114820931B
CN114820931B CN202210435860.2A CN202210435860A CN114820931B CN 114820931 B CN114820931 B CN 114820931B CN 202210435860 A CN202210435860 A CN 202210435860A CN 114820931 B CN114820931 B CN 114820931B
Authority
CN
China
Prior art keywords
image
corner
vehicle
point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210435860.2A
Other languages
English (en)
Other versions
CN114820931A (zh
Inventor
孙长进
陈萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kingen Intelligent Technology Co ltd
Original Assignee
Jiangsu Kingen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Kingen Intelligent Technology Co ltd filed Critical Jiangsu Kingen Intelligent Technology Co ltd
Priority to CN202210435860.2A priority Critical patent/CN114820931B/zh
Publication of CN114820931A publication Critical patent/CN114820931A/zh
Application granted granted Critical
Publication of CN114820931B publication Critical patent/CN114820931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理和计算机3D建模技术领域，具体涉及一种基于虚拟现实的智慧城市CIM可视化实时成像方法，该方法包括：获取历史视频帧图像；根据各像素点的变化频率得到轨迹热图，并对其进行二值化得到轨迹区域图像；计算各角点的全局尺度比例得到尺度热图；根据所述轨迹区域图像和尺度热图的比值得到密度热图，密度热图上像素点的像素值为密度信息，根据密度信息的均值得到对应的密度程度，进而根据密度程度大于阈值的图像得到分割模板，并对图像进行分割，最终得到车辆的行驶轨迹；并将各车辆的行驶轨迹映射在城市三维模型上。本发明使得车辆检测更加准确的同时减少了不必要的冗余计算，使得车辆信息能够实时的可视化在城市3D模型中。

Description

基于虚拟现实的智慧城市CIM可视化实时成像方法
技术领域
本发明涉及图像处理和计算机3D建模技术领域，具体涉及一种基于虚拟现实的智慧城市CIM可视化实时成像方法。
背景技术
随着智慧城市建设成为政府的重头戏，CIM（City Information Modeling，城市信息模型）开始兴起，智慧城市CIM系统要求将城市3D模型化，并且实时的将城市中人和车的位置显示在3D城市模型中，以达到城市的数字化、可视化的目的，提高城市的管理效率；除此之外，随着虚拟现实技术的发展，将城市3D模型应用在虚拟现实软件中，可以大大提高智慧城市CIM系统的可视化体验，因此将智慧城市CIM系统应用于虚拟现实技术中，是智慧城市建设的一个很有前景的工作。
在构建智慧城市CIM系统时，一个重要的工作就是获取城市中车辆的行驶数据，目前较多场景需要采集城市中车辆的行驶数据，多是依赖GPS定位系统来实现的，但是部分车辆并不携带该定位系统，所以常常采集的车辆行驶数据带有一定的误差。
同时，对车辆的识别，多是使用人工智能领域常见的深度神经网络技术，而神经网络进行车辆的识别时，网络输入图像的尺寸是固定的，但道路摄像头采集图像中车辆的密集程度是不同的、变化的，对于密度大的图像进行识别时，容易出现目标小从而识别误差大的问题，对于密度小的图像进行识别时，容易带有较多的冗余计算，浪费计算资源。不同时刻各摄像头中车辆的密度是不同的，若是每个相机每个时刻都使用神经网络进行细致的车辆识别检测，则势必需要大量的计算，冗余程度较高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于虚拟现实的智慧城市CIM可视化实时成像方法，所采用的技术方案具体如下：
获取城市道路路口的各摄像头在设定时间段内历史视频帧图像集，历史视频帧图像集内所有相邻图像的差值图像组成各摄像头在设定时间段内的帧差图像组；
利用帧差图像组内所有图像的二值图像上各像素点的像素值得到各像素点的变化频率；获得轨迹热图，所述轨迹热图各像素点的像素值为上述各像素点的变化频率且对轨迹热图进行二值化处理得到轨迹区域图像；
对各历史视频帧图像进行角点检测得到角点检测图像，根据各角点检测图像与轨迹区域图像的乘积得到角点图像集，对角点图像集内图像上的各类角点进行匹配得到角点匹配对；计算各角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，各角点匹配对中两个角点的距离与所述乘积的比值为各角点匹配对的尺度比例；每个类别的角点对应的角点匹配对的尺度比例的均值为各类角点对应的全局尺度比例；
以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图；根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，且密度信息的均值为密度程度；若密度程度大于程度阈值，根据历史视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸；根据各像素点对应的尺寸得到图像分割模板，并基于图像分割模板对实时获取的视频帧图像进行分割，基于分割后的图像获得各车辆的行驶轨迹。
优选地，所述像素点的变化频率为：
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE004
表示像素点k的变化频率，/>
Figure 100002_DEST_PATH_IMAGE006
表示像素点k在第i个帧差图像对应的二值图像上的像素值，s表示帧差图像的总个数，/>
Figure 100002_DEST_PATH_IMAGE008
表示在第j个帧差图像上该像素点位置处像素值为1的图像时序编号，mc表示所有帧差图像中共有mc个图像在该像素点的位置处像素值为1。
优选地，所述角点图像集内图像上的各类角点包括：依据角点表征的车辆的实际信息对角点图像集内图像上的各角点进行分类。
优选地，所述得到角点匹配对包括：角点图像集中的角点图像以时序顺序排列，对第一帧角点图像中的各类角点进行匹配，匹配对象为第一帧角点图像之后的角点图像中的角点；若第一帧角点图像之后的各角点图像中新增的不同类角点，确定各新增的不同类角点对应的角点图像，则各新增的不同类角点的匹配对象为新增的不同类角点对应的角点图像之后的角点图像中的角点，从而获得角点图像集中各类角点对应的角点匹配对。
优选地，所述以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图包括：尺度热图中与角点位置相同的像素点的像素值为角点的全局尺度比例，其周围像素点的像素值基于与角点位置相同的像素点的像素值并利用高斯模糊的方式获得。
优选地，所述对实时获取的视频帧图像进行分割具体为：
获取所述实时获取的视频帧图像对应的设定时间段，进而获取该设定时间段内对应的图像分割模板，再对实时获取的视频帧图像进行分割。
优选地，所述基于分割后的图像获得各车辆的行驶轨迹包括：对分割后的多个图像进行处理使其图像的尺寸相同；将相同尺寸的分割后的图像输入车辆识别神经网络，输出车辆密度等级数据和车辆密度图；根据输出的车辆密度等级数据和车辆密度图并结合拍摄相机的位置获得每个车辆的行驶轨迹。
优选地，所述车辆识别神经网络包括：车辆识别神经网络的结构为两个网络分支，分别为全连接FC分支和卷积CNN分支，其中，全连接FC分支输出车辆密度等级数据，卷积CNN分支输出车辆关键点识别的热度图，即车辆密度图；网络训练数据为分割后的视频帧图像，且通过人为标注获得分割后的视频帧图像对应的标签数据；全连接FC分支的标签数据为9位的二进制编码，卷积CNN分支的标签数据为热图。
优选地，所述构建城市建筑和道路的三维模型具体为：获取城市建筑和道路的三维点云数据，利用三维点云数据生成城市建筑和道路的三维模型。
优选地，所述将各车辆的行驶轨迹映射在所述三维模型上具体为：实时得到各车辆的行驶轨迹，根据各车的颜色与车型，从车辆匹配库中获取相匹配的车辆模型，并将车辆模型放在城市建筑和道路的三维模型上，根据车辆的行驶轨迹，获取各车辆模型的运动动画。
本发明实施例至少具有如下有益效果：
本发明首先获取历史视频帧图像，利用多尺度采样的方式对获取到的图像进行处理，计算各像素点的变化频率和各角点的全局尺度比例，根据所述变化频率和全局尺度比例的比值得到密度信息，根据所述密度信息的均值得到对应的密度程度，进而根据密度程度大于阈值的图像得到分割模板。同时将实时获取的车辆的行驶轨迹映射在构建的城市3D模型上。根据图像进行数据处理并进行不同程度的增强和弱化，使得车辆检测更加准确的同时减少不必要的冗余计算，提高车辆识别的准确性，使得车辆信息能够准确且实时的可视化在城市3D模型中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的具体方案。
实施例：
本发明所针对的场景具体为：在城市的一些道路布置相应的摄像头，相邻摄像头之间存在相重叠的视野，根据各摄像头的空间位置进行ID编号，以便于后续视频分析后能得到可靠的车辆行驶轨迹。同时各摄像头处带有简单的计算模块，能进行一些简单运算。
请参阅图1，其示出了本发明一个实施例提供的一种基于虚拟现实的智慧城市CIM可视化实时成像方法的方法流程图，该方法包括以下步骤：
步骤一，获取城市道路路口的各摄像头在设定时间段内历史视频帧图像集，历史视频帧图像集内所有相邻图像的差值图像组成各摄像头在设定时间段内的帧差图像组。
需要说明的是，获取城市道路路口各编号摄像头的历史视频数据，所有摄像头为了更好的智能化，应该选择同样的时间长度的历史视频数据进行处理比较，且摄像头的视角变化程度不大。在本实施例中，以一个摄像头获取的一个设定时间段内的历史视频数据为例进行说明。其中，设定时间段的时间长度为5min，实施者可根据实际情况对设定时间段的时间长度进行设定。
获取城市道路路口的各摄像头在设定时间段内的历史视频数据，所述历史视频数据包括多个历史视频帧图像，构成了历史视频帧图像集，并根据历史视频帧图像集内所有相邻的视频帧图像的差值得到帧差图像组，在所述设定时间段内对应一个帧差图像组。并对各帧差图像进行灰度化、滤波去噪等预处理操作。
其中，在本实施例中，根据相邻帧视频图像的差值得到帧差图像，实施者还可以根据相邻m帧视频帧图像的差值得到帧差图像，并可以根据实际情况选择m的取值。具体地，获取第
Figure DEST_PATH_IMAGE010
帧图像与第/>
Figure DEST_PATH_IMAGE012
帧图像，其对应的帧差图像为/>
Figure DEST_PATH_IMAGE014
。在本实施例中，m取值为1，则可根第/>
Figure 763424DEST_PATH_IMAGE010
帧图像与第/>
Figure DEST_PATH_IMAGE016
帧图像的差值得到第/>
Figure 149406DEST_PATH_IMAGE010
个帧差图像，进而可以得到一个摄像头在设定时间段内对应的帧差图像组，记为/>
Figure DEST_PATH_IMAGE018
，其中/>
Figure DEST_PATH_IMAGE020
表示第一个帧差图像，s表示帧差图像的总个数。
需要说明的是，城市中车辆行驶轨迹是呈现一定规律性的，而不同的摄像头不同时刻下车辆的多少是不同的，若是无车辆情况下，仍旧使用DNN神经网络进行车辆检测，则识别代价较高（为了识别少数车辆付出大量计算），而车辆较多的时候，车辆过于集中，目标存在遮挡等问题，此时目标单位的空域特征较少，不易识别。所以，需要先根据历史视频资料来获得各摄像头下车辆的变化规律，而后结合该信息实现对摄像头实时采集数据的分析，实现整个方法的智能化。
步骤二，利用帧差图像组内所有图像的二值图像上各像素点的像素值得到各像素点的变化频率；获得轨迹热图，所述轨迹热图各像素点的像素值为上述各像素点的变化频率且对轨迹热图进行二值化处理得到轨迹区域图像。
首先，需要对各帧差图像进行二值化处理，在本实施例中，将每个帧差图像上各像素点的像素值大于设定阈值的像素点重新赋值为1，小于设定阈值的像素点重新赋值为0，进而得到各帧差图像处理后的二值图像。实施者也可以根据实际情况选择其他合适的方法对图像进行二值化处理。
根据二值化后的图像上像素点的像素值得到各像素点的变化频率，用公式表示为：
Figure DEST_PATH_IMAGE002A
其中，
Figure 610036DEST_PATH_IMAGE004
表示像素点k的变化频率，/>
Figure 5245DEST_PATH_IMAGE006
表示像素点k在第i个帧差图像对应的二值图像上的像素值，s表示帧差图像的总个数，/>
Figure 85197DEST_PATH_IMAGE008
表示在第j个帧差图像上该像素点位置处像素值为1的图像时序编号，mc表示所有帧差图像中共有mc个图像在该像素点的位置处像素值为1。
需要说明的是，对各帧差图像进行二值化处理之后得到的二值图像，在理想情况下，像素值为1的各像素点组成的区域为包含车辆等信息的特征区域，像素值为0的各像素点组成的区域为道路、树干等其他背景区域。同时针对历史视频帧图像，像素值为1的各像素点是发生变化的像素点，反之没有发生变化。因此，在设定时间段内，通过获取各像素点在帧差图像组内各图像上像素值为1的个数占比，并获取发生变化即像素点像素值为1的帧差图像对应序号的平均差值，即像素点像素值为1的帧差图像的平均帧间间隔，进而就可以得到在一个设定时间段内，各个像素点的变化频率。
同时，需要对各像素点的变化频率进行归一化处理，用公式表示为：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
表示归一化后的像素点k的变化频率，/>
Figure 376501DEST_PATH_IMAGE004
表示像素点k的变化频率，
Figure DEST_PATH_IMAGE026
和/>
Figure DEST_PATH_IMAGE028
分别表示所有计算结果中最大的变化频率值和最小的变化频率值。利用归一化处理可以将数据的取值归在[0,1]区间内。
利用归一化后的像素点的变化频率对各对应位置像素点的像素值进行赋值得到轨迹热图，并对所述轨迹热图进行二值化处理得到轨迹区域图像，具体地，设定阈值pk，将轨迹热图上各像素点的像素值大于阈值pk的像素点重新赋值为1，小于阈值pk的像素点重新赋值为0（将小于阈值pk的像素点认定为噪声点，无需考虑），进而得到轨迹区域图像。
步骤三，对各视频帧图像进行角点检测得到角点检测图像，根据各角点检测图像与轨迹区域图像的乘积得到角点图像集，对角点图像集内图像上的各类角点进行匹配，得到角点匹配对；计算各角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，各角点匹配对中两个角点的距离与所述乘积的比值为各角点匹配对的尺度比例；每个类别的角点对应的角点匹配对的尺度比例的均值各类角点对应的全局尺度比例。
首先，需要说明的是，由各个摄像头获取的历史视频数据，在设定时间段内的车辆密度可能是随时变化的，也可能存在较为特殊的情况而不发生变化。但是由于存在近大远小的透视关系，在各历史视频帧图像上不同区域的车辆对应的尺寸大小是不同的，故本实施例采用角点检测及匹配的方法来获取各历史视频帧图像对应的尺度信息。
然后，对各视频帧图像进行角点检测得到角点检测图像，例如：shift角点检测算法，且该方法为公知技术，在此不在过多赘述。根据各角点检测图像与轨迹区域图像的乘积得到角点图像集。其中，以轨迹区域图像作为遮罩，以相乘的操作来进行信息扣取操作得到角点图像，此时非关注区域（认定为无人区域或道路区域以及树干等背景区域）的角点尽可能的被过滤掉，尽量保留的是关注区域（认定为包含车辆的区域）内的角点。
依据角点表征的车辆的实际信息对角点图像集内图像上的各角点进行分类，对角点图像集内图像上的各类角点进行匹配，得到角点匹配对。具体地，角点图像集中的角点图像以时序顺序排列，对第一帧角点图像中的各类角点进行匹配，匹配对象为第一帧角点图像之后的角点图像中的角点；若第一帧角点图像之后的各角点图像中新增的不同类角点，确定各新增的不同类角点对应的角点图像，则各新增的不同类角点的匹配对象为新增的不同类角点对应的角点图像之后的角点图像中的角点，从而获得角点图像集中各类角点对应的角点匹配对。
最后，针对一个类别角点对应的一个角点匹配对，计算角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，角点匹配对中两个角点的距离与所述乘积的比值为各角点匹配对的尺度比例，用公式表示为：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE032
表示类别角点i对应的一个角点匹配对的尺度比例，/>
Figure DEST_PATH_IMAGE034
和/>
Figure DEST_PATH_IMAGE036
分别表示两个角点在对应角点图像上的位置坐标，/>
Figure DEST_PATH_IMAGE038
表示两个角点的距离，n表示两个角点所在角点图像的间隔帧数，jc表示设定时间段的间隔时长。其中，真实的移动速度是一定的，图像上的移动速度差异反应了尺度上的变化。并计算每个类别的角点对应的角点匹配对的尺度比例的均值得到各类角点对应的全局尺度比例。
步骤四，以角点的全局尺度比例为对应位置像素点像素值得到设定时间段内的尺度热图；根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，且密度信息的均值为密度程度；若密度程度大于程度阈值，根据视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸；根据各像素点对应的尺寸得到图像分割模板，并基于图像分割模板对实时获取的视频帧图像进行分割，基于分割后的图像获得各车辆的行驶轨迹。
首先，以角点的全局尺度比例为对应位置像素点像素值得到设定时间段内的尺度热图，尺度热图中与角点位置相同的像素点的像素值为角点的全局尺度比例，其周围像素点的像素值基于与角点位置相同的像素点的像素值并利用高斯模糊的方式获得。
其中，由于获取的角点为离散的特征点，根据各角点的全局尺度比例为对应位置像素点像素值进行重新赋值，并不能够得到整张图像的像素值，故需要利用高斯模糊的方法得到整张图像像素点的像素值，同时实施者也可根据实际情况选择其他合适的方法进行处理。
需要说明的是，获得尺度热图之后，则可以判断该摄像头在设定时间段的车辆密度信息，进而调整后续摄像头采集数据的传输必要性。
然后，根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，用公式表示为：
Figure DEST_PATH_IMAGE040
其中，ms表示密度热图上像素点的像素值，即密度信息；Po表示轨迹区域图像上像素点的像素值，即像素点的变化频率；b表示尺度热图上像素点的像素值，即像素点的全局尺度比例。将设定时间段内的像素点的变化频率，结合全局尺度比例（可理解为权值）得到密度信息。尺度越大，影响越小，密度信息与变化频率成正比，与全局尺度比例成反比。
根据密度热图上各像素点的像素值均值，即密度信息的均值，得到密度程度，用公式表示为：
Figure DEST_PATH_IMAGE042
其中，MD表示密度热图对应的密度程度，
Figure DEST_PATH_IMAGE044
表示第r个像素点的像素值，sm表示密度热图上像素点的总数。并对密度程度进行归一化处理。
若密度程度小于程度阈值，由于此时的车辆密度较小，则无需对此设定时间段内采集到的摄像头的视频帧图像进行处理，即直接跳过。
若密度程度大于程度阈值，根据视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸，记为
Figure DEST_PATH_IMAGE046
，其中，/>
Figure DEST_PATH_IMAGE048
为各视频帧图像的宽高尺寸，sf为像素点对应的尺度因子，用公式表示为：
Figure DEST_PATH_IMAGE050
其中，sf表示像素点对应的尺度因子，ms表示像素点的密度信息，b表示像素点的全局尺度比例，Po表示像素点的变化频率。像素点的全局尺度比例越小，划分的区域就越小，变化频率越小，变化较小，相应的车辆较远，划分区域越小，对应的尺度因子越小。
最后，根据各像素点对应的尺寸得到图像分割模板，其中，为了便于分割传输，将同一行像素点的尺度因子的均值作为该行所有像素点的尺度系数，且相邻行以局部最大值为整个区域的尺度系数，最终可以得到设定时间段的图像分割模板。
按照上述步骤对获取的数据进行处理分析，即可得到一个摄像头对应的一个设定时间段内的图像分割模板。按照相同的方法获取各个路口具有编号的摄像头内各个设定时间段内的图像分割模板。
不同位置相机采集的图像中车辆的密度虽是多变的，但仍具有对应的规律性，例如早上从居民区到办公区的道路上行驶车辆较多，且时间上具有一定的早高峰性，此时应该大代价的实现精细识别，而从市区到郊区的路上，早晨道路上的车辆相对较少，采集的图像中车辆的密度较低，不该为了识别少量的目标而付出过大的计算。
故可利用摄像头实时采集视频帧图像，即可通过对该实时采集到的图像进行判断其所处的时间段，直接获取该时间段对应的图像分割模板，即可对实时采集得到的图像进行分割处理。
并基于图像分割模板对实时获取的视频帧图像进行分割，具体地，获取所述实时获取的视频帧图像对应的设定时间段，进而获取该设定时间段内对应的图像分割模板，再对实时获取的视频帧图像进行分割。
需要说明的是，以不同的尺度对同一张图像中的区域进行了分割，得到的是不同尺寸大小的图像，而神经网络的输入是固定尺寸的，所以需要先进行尺寸的修改。该方式能扩大小尺度高密度的图像，缩小低密度大尺度的图像，调高了检测精度又节省了计算资源。通过reshape操作，即可完成图像尺寸的修改。或以池化操作缩小图像尺寸，以图像插值操作扩大图像尺寸。
对分割后的多个图像进行处理使其图像的尺寸相同；将相同尺寸的分割后的图像输入车辆识别神经网络，输出车辆密度等级数据和车辆密度图；根据输出的车辆密度等级数据和车辆密度图并结合拍摄相机的位置获得每个车辆的行驶轨迹。
车辆识别神经网络的结构为两个网络分支，分别为全连接FC分支和卷积CNN分支，其中，全连接FC分支输出车辆密度等级数据，卷积CNN分支输出车辆关键点识别的热度图，即车辆密度图；网络训练数据为分割后的视频帧图像，且通过人为标注获得分割后的视频帧图像对应的标签数据；全连接FC分支的标签数据为9位的二进制编码，卷积CNN分支的标签数据为热图；全连接分支采用交叉熵损失函数，卷积分支采用均方差损失函数。
需要说明的是，对于上述识别出的每个车辆，可根据车辆中的车牌、颜色、车型等信息来进行跨设备的重识别，来得到同一个目标车辆的行驶轨迹。
步骤五，构建城市建筑和道路的三维模型，并将各车辆的行驶轨迹映射在所述三维模型上。
具体地，用无人机搭载激光雷达，对城市中的建筑物和道路进行扫描，获取城市建筑的和道路的三维点云数据，利用三维点云数据生成城市建筑和道路的三维模型，进而构造出城市的3D模型，并且为所述的城市3D模型绘制贴图。该方法为公知技术，在此不在过多赘述。
实时得到某车的行驶轨迹，并根据该车的颜色与车型，从车辆模型库中获取相匹配的车辆模型，将车辆模型放在城市3D模型上，并根据车辆的行驶轨迹，获取各车辆模型的运动动画，即让车辆模型沿行驶轨迹产生一个运动动画即可。对所有获取到行驶轨迹的车辆都按照上述方法进行操作，最终能够达到实时的将车辆信息可视化在城市3D模型上的目的。
需要说明的是，智慧城市CIM需要将车辆的行驶信息实时的可视化在城市3D模型上，但是考虑到车辆的相关信息，例如车牌号或者车主信息等，涉及到车辆所属车主的隐私问题，不能直接将车辆的真实信息直接可视化在3D模型中，那么将车辆的行驶轨迹可视化在3D模型上即可。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，该方法包括：
获取城市道路路口的各摄像头在设定时间段内历史视频帧图像集，历史视频帧图像集内所有相邻图像的差值图像组成各摄像头在设定时间段内的帧差图像组；
利用帧差图像组内所有图像的二值图像上各像素点的像素值得到各像素点的变化频率；获得轨迹热图，所述轨迹热图各像素点的像素值为上述各像素点的变化频率且对轨迹热图进行二值化处理得到轨迹区域图像；
对各历史视频帧图像进行角点检测得到角点检测图像，根据各角点检测图像与轨迹区域图像的乘积得到角点图像集，对角点图像集内图像上的各类角点进行匹配得到角点匹配对；计算各角点匹配对中两个角点所在角点图像的间隔帧数和设定时间段的间隔时长的乘积，各角点匹配对中两个角点的距离与所述乘积的比值为各角点匹配对的尺度比例；每个类别的角点对应的角点匹配对的尺度比例的均值为各类角点对应的全局尺度比例；
以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图；根据轨迹区域图像与尺度热图的比值得到设定时间段内的密度热图，所述密度热图上像素点的像素值为密度信息，且密度信息的均值为密度程度；若密度程度大于程度阈值，根据历史视频帧图像中各像素点的密度信息、全局尺度比例和视频帧图像的尺寸得到各像素点对应的尺寸；根据各像素点对应的尺寸得到图像分割模板，并基于图像分割模板对实时获取的视频帧图像进行分割，基于分割后的图像获得各车辆的行驶轨迹；
构建城市建筑和道路的三维模型，并将各车辆的行驶轨迹映射在所述三维模型上。
2.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述像素点的变化频率为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
表示像素点k的变化频率，
Figure DEST_PATH_IMAGE006
表示像素点k在第i个帧差图像对应的二值图像上的像素值，s表示帧差图像的总个数，
Figure DEST_PATH_IMAGE008
表示在第j个帧差图像上该像素点位置处像素值为1的图像时序编号，mc表示所有帧差图像中共有mc个图像在该像素点的位置处像素值为1。
3.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述角点图像集内图像上的各类角点包括：依据角点表征的车辆的实际信息对角点图像集内图像上的各角点进行分类。
4.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述得到角点匹配对包括：角点图像集中的角点图像以时序顺序排列，对第一帧角点图像中的各类角点进行匹配，匹配对象为第一帧角点图像之后的角点图像中的角点；若第一帧角点图像之后的各角点图像中新增的不同类角点，确定各新增的不同类角点对应的角点图像，则各新增的不同类角点的匹配对象为新增的不同类角点对应的角点图像之后的角点图像中的角点，从而获得角点图像集中各类角点对应的角点匹配对。
5.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述以角点的全局尺度比例为像素点像素值得到设定时间段内的尺度热图包括：尺度热图中与角点位置相同的像素点的像素值为角点的全局尺度比例，其周围像素点的像素值基于与角点位置相同的像素点的像素值并利用高斯模糊的方式获得。
6.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述对实时获取的视频帧图像进行分割具体为：
获取所述实时获取的视频帧图像对应的设定时间段，进而获取该设定时间段内对应的图像分割模板，再对实时获取的视频帧图像进行分割。
7.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述基于分割后的图像获得各车辆的行驶轨迹包括：对分割后的多个图像进行处理使其图像的尺寸相同；将相同尺寸的分割后的图像输入车辆识别神经网络，输出车辆密度等级数据和车辆密度图；根据输出的车辆密度等级数据和车辆密度图并结合拍摄相机的位置获得每个车辆的行驶轨迹。
8.根据权利要求7所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述车辆识别神经网络包括：车辆识别神经网络的结构为两个网络分支，分别为全连接FC分支和卷积CNN分支，其中，全连接FC分支输出车辆密度等级数据，卷积CNN分支输出车辆关键点识别的热度图，即车辆密度图；网络训练数据为分割后的视频帧图像，且通过人为标注获得分割后的视频帧图像对应的标签数据；全连接FC分支的标签数据为9位的二进制编码，卷积CNN分支的标签数据为热图。
9.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述构建城市建筑和道路的三维模型具体为：获取城市建筑和道路的三维点云数据，利用三维点云数据生成城市建筑和道路的三维模型。
10.根据权利要求1所述的一种基于虚拟现实的智慧城市CIM可视化实时成像方法，其特征在于，所述将各车辆的行驶轨迹映射在所述三维模型上具体为：实时得到各车辆的行驶轨迹，根据各车的颜色与车型，从车辆匹配库中获取相匹配的车辆模型，并将车辆模型放在城市建筑和道路的三维模型上，根据车辆的行驶轨迹，获取各车辆模型的运动动画。
CN202210435860.2A 2022-04-24 2022-04-24 基于虚拟现实的智慧城市cim可视化实时成像方法 Active CN114820931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210435860.2A CN114820931B (zh) 2022-04-24 2022-04-24 基于虚拟现实的智慧城市cim可视化实时成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210435860.2A CN114820931B (zh) 2022-04-24 2022-04-24 基于虚拟现实的智慧城市cim可视化实时成像方法

Publications (2)

Publication Number Publication Date
CN114820931A CN114820931A (zh) 2022-07-29
CN114820931B true CN114820931B (zh) 2023-03-24

Family

ID=82508297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210435860.2A Active CN114820931B (zh) 2022-04-24 2022-04-24 基于虚拟现实的智慧城市cim可视化实时成像方法

Country Status (1)

Country Link
CN (1) CN114820931B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471502B (zh) * 2022-11-01 2023-03-24 山东土之素生物技术有限公司 基于计算机视觉的畜牧粪便快速检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140110A (zh) * 2020-04-30 2021-07-20 云南路翔智联生态城市发展股份有限公司 智能交通控制方法、发光装置及监控装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708368B2 (ja) * 2014-04-25 2020-06-10 コンデュエント ビジネス サービシーズ エルエルシー 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
JP6222703B2 (ja) * 2014-12-05 2017-11-01 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
CN111062970A (zh) * 2019-12-10 2020-04-24 广州电力工程监理有限公司 一种基于热力图的轨迹生成方法及系统
CN111401161A (zh) * 2020-03-04 2020-07-10 青岛海信网络科技股份有限公司 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN111783675A (zh) * 2020-07-03 2020-10-16 郑州迈拓信息技术有限公司 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN113516853B (zh) * 2021-06-24 2021-11-30 南京邮电大学 一种针对复杂监控场景的多车道车流量检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140110A (zh) * 2020-04-30 2021-07-20 云南路翔智联生态城市发展股份有限公司 智能交通控制方法、发光装置及监控装置

Also Published As

Publication number Publication date
CN114820931A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
Zhang et al. A traffic surveillance system for obtaining comprehensive information of the passing vehicles based on instance segmentation
Ma et al. Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN113128348A (zh) 一种融合语义信息的激光雷达目标检测方法及系统
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
Li et al. Enhancing 3-D LiDAR point clouds with event-based camera
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN115100652A (zh) 基于高分遥感图像的电子地图自动化生成方法
Zhang et al. A dual attention neural network for airborne LiDAR point cloud semantic segmentation
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Zhao et al. Vehicle counting in very low-resolution aerial images via cross-resolution spatial consistency and Intraresolution time continuity
CN113408550B (zh) 基于图像处理的智能称重管理系统
Liu et al. Multi-lane detection by combining line anchor and feature shift for urban traffic management
Xiang et al. A real-time vehicle traffic light detection algorithm based on modified YOLOv3
Lei et al. Automatic identification of street trees with improved RandLA-Net and accurate calculation of shading area with density-based iterative α-shape
Shi et al. Lane-level road network construction based on street-view images
Zhang et al. End-to-end BEV perception via Homography matrix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant