CN109547769A - 一种公路交通动态三维数字场景采集构建系统及其工作方法 - Google Patents

一种公路交通动态三维数字场景采集构建系统及其工作方法 Download PDF

Info

Publication number
CN109547769A
CN109547769A CN201811125743.6A CN201811125743A CN109547769A CN 109547769 A CN109547769 A CN 109547769A CN 201811125743 A CN201811125743 A CN 201811125743A CN 109547769 A CN109547769 A CN 109547769A
Authority
CN
China
Prior art keywords
data
compound eye
dirigible
dynamic
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811125743.6A
Other languages
English (en)
Other versions
CN109547769B (zh
Inventor
王汉熙
胡佳文
张进
易茂祥
肖攀
郑晓钧
严瑾怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201811125743.6A priority Critical patent/CN109547769B/zh
Publication of CN109547769A publication Critical patent/CN109547769A/zh
Application granted granted Critical
Publication of CN109547769B publication Critical patent/CN109547769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及智能交通领域，提供一种公路交通动态三维数字场景采集构建系统及其工作方法，该系统包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群；所述动态三维环境信息采集单元包括基于虚拟复眼的数据采集系统、任务分配系统和定位系统；所述公路传感器信息采集单元包含感应线圈、微波、视频、超声波、红外等固定型传感器，又包含低空监控飞艇上安装的半球形麦克风阵列。本发明可以快速构建重点区域的三维场景，灵活部署和调用各类公路传感器，在统一的参考时间和空间下，融合交通状态信息和环境信息，并以具有时空属性的数据模型储存，系统可以根据数据处理结果和任务需求，进行动态调整，扩大和移动监视区域。

Description

一种公路交通动态三维数字场景采集构建系统及其工作方法
技术领域
本发明涉及智能交通领域，具体的说是一种公路交通动态三维数字场景采集构建系统及其工作方法。
背景技术
近年来，灾后救援、大型活动安全保障、目标跟踪等任务的区域交通保障与管理成为越来越重要的问题。
目前，很多城市已经建立了交通管理信息系统，能够实时检测交通量、速度、交通密度等状态参数，具有分析城市拥堵状态、预测出行时间等功能，但以城市为单位的交通信息管理系统不适用特殊任务场合。
在数据采集方面，这些交管系统主要采用感应线圈、超声波、视频等固定式传感器，并且路段、交叉口、建筑物等空间地理信息数据更新周期较长，系统难以进行实时动态调整，部署时间较长。
在数据融合方面，这些系统以GIS为表征形式，将城市道路抽象为点、线、面等简单的几何图形，道路上各传感系统相互独立，传感数据以地图为中介进行关联，缺乏统一的时空数据结构，难以满足交通信息的高层次融合，限制了决策级数据挖掘深度、多维特征呈现与展示。
发明内容
本发明的目的就是为了克服上述现有技术中的不足之处，围绕区域交通管理的需求，提出一种公路交通动态三维数字场景采集构建系统及其工作方法，实现区域交通的实时、三维、动态呈现。
本发明的目的是通过如下技术措施来实现的。
一种公路交通动态三维数字场景采集构建系统，包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群；
所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统，
所述数据采集系统用于采集特定位置和特定角度的图片，并将采集到的数据通过无线的方式传回，用于重构三维模型，数据采集系统由面向目标体的所有复眼相机协同组成，将面向目标体的所有复眼相机虚拟为一个完整的复眼，称之为虚拟复眼，每个复眼相机拥有多个镜头，一个单独的镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据；
所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数，计算每个复眼相机的拍摄位置、姿态和参数，并将这些数据传输给复眼相机，该模块内置统一时钟发布和校准子模块，每隔一段时间向复眼相机发送时间校准命令，进行时钟校准；所述定位系统负责确定飞艇所处的空间位置，根据工作环境选择不同的定位方法，当卫星信号良好时通过GPS进行定位，当卫星定位系统被干扰欺骗时通过无线定位系统定位；
所述公路传感器信息采集单元用于收集交通量、速度、占有率等交通状态多场参数，传感器既包含感应线圈、微波、视频、超声波、红外等固定型传感器，又包含低空监控飞艇上安装的半球形麦克风阵列，当区域内固定型传感器数量不足时，低空监控飞艇移动至空白区域进行补充；
所述无人飞艇集群为各个系统的载体，按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇；
侦查飞艇集群用于快速搜集场景的面积、边界等信息；定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置；数据采集飞艇集群用于目标区域三维场景数据的采集；低空监控飞艇用于监控目标区域。
在上述技术方案中，所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备，用于采集图片数据，各复眼相机之间通过组网协同运行，接受统一调配。1个复眼相机包含13个子眼相机，其中，水平布置6个，水平向下30°布置6个，竖直向下布置1个。
在上述技术方案中，所述半球形麦克风阵列包含4层共20个麦克风，20个麦克风的拾音器部分组成一个半径150mm的半球面。
在上述技术方案中，所述复眼相机和所述半球形麦克风阵列组合成一个整体，通过云台与无人飞艇相连。
在上述技术方案中，所述无人飞艇是体积小于1m3的微型无人飞艇。
在上述技术方案中，所述无线定位系统包括路网匹配定位系统和超宽带(UWB)无线定位系统。
在上述技术方案中，所述路网匹配定位系统是在景象匹配原理的基础上，利用复眼相机实时提取道路的边缘轮廓信息，与已有的基于WGS84大地坐标系的二维路网电子地图匹配，从而推导出复眼相机所处的空间位置，该系统包括复眼相机、陀螺仪、激光测距仪，复眼相机安装在4艘定位飞艇上，陀螺仪和激光测距仪安装在复眼相机上。
在上述技术方案中，所述超宽带无线定位系统由基站模块和标签模块组成，所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上，所述标签模块安装在其他飞艇上，该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块，通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置，即定位飞艇与其他飞艇的相对位置。
本发明还提供了一种上述的公路交通动态三维数字场景采集构建系统的工作方法，包括以下步骤：
(1)利用虚拟复眼进行动态三维环境信息采集，利用倾斜建模方法构建目标区域内交通三维地图，与静态交通信息数据库提供的二维电子地图进行路网特征拟合，建立统一的时空坐标系；具体包括以下步骤：
(1-1)侦查飞艇携带复眼相机进入目标区域，快速围绕拍摄区域进行预拍摄，控制复眼相机记录限制空间边界点，并回传初始数据给任务分配系统；
(1-2)通过任务分配系统对预拍摄数据进行预处理，通过双目视觉技术，计算出边角点的三维坐标，用边角来抽象被重构区域；
(1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量；按照分辨率要求，规划每个镜头的有效采集面积，将镜头有效采集面积规定为子眼采集面积，虚拟复眼的所有子眼采集面积组成一个网格系统，一个子眼对应一个网格，用于实时更新本网格区域的内容；
(1-4)通过任务分配系统进行任务规划与优化；
(1-5)按照任务分配结果，4艘定位飞艇进入在目标区域，进行路网匹配定位，确定各自的空间位置，同时启动超宽带无线定位系统，确定新进入目标区域飞艇的相对位置，进行空间位姿标定、地理位置标定、统一时钟标定；当卫星定位系统工作环境良好时，使用卫星定位系统进行定位；
(1-6)实施拍摄，各个复眼相机在统一时钟下的同一时刻拍摄，此时数据满足时空一致性，回传拍摄数据，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔(1/帧率)秒拍摄，例如帧率要求为25fps，则拍摄间隔设定为1/25秒，实现实时刷新的动态拍摄；
(1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景；
(1-8)将各单幅三维场景依照时序逐次连接，拼接为依时间轴的具有时空一致性的动态三维场景；
(2)根据任务需求，布置和调用各类公路交通传感器，由于车辆在复眼相机拍摄得到的全景图像中所占的像素数较小,难以发现和提取，所以为了便于在图像处理过程中确定感兴趣区域(Region Of Interest，ROI)，采用基于声源定位的方法实施监控，该方法根据麦克风阵列采集到的半球面声压值来估计声源空间方位信息，从而确定车辆的位置和ROI区域，具体包括以下步骤：
(2-1)半球形麦克风阵列进行球面声压的采样；
(2-2)因为运动车辆的声音信号频率在500Hz以下，所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理，保留集中在低频部分的车辆声音信号；
(2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化，得到麦克风阵列构成的半球面上各个入射平面波的幅值；
(2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息；
(2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域；
(2-6)在ROI区域中进行车辆的检测及跟踪，计算所需的交通状态参数；
(3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合，以时空数据模型存储到动态公路交通信息数据库中；当区域内同一路段中存在多个交通传感器时，利用融合算法将多个传感器采集的交通状态参数进行融合，提高交通状态参数的准确度。融合过后的数据以时空数学模型的结构存储在动态交通信息数据库中，所述时空数学模型如下所示：
数据模型{传感器ID，空间位置，时间，交通状态参数}；
为了实现这些多源异构动态交通信息的融合，需要将传感器采集到数据统一到统一的参考时间和空间中，经过数据预处理和配准后以时空数据模型存储到传感数据库中，然后再进行通过数据融合。
所述数据预处理过程包括对异常数据的校正、对错误数据的限定和对丢失数据的识别；
所述数据配准分为空间配准和时间配准，时间配准是利用最小二乘法将同一区域内各传感器不同步的测量信息同步到任务分配系统所确立的基准时间坐标下，空间配准是利用极大似然法将各传感器测量平台局部坐标系中的信息变换到WGS84大地坐标系中的相应信息的过程；
(4)将经过数据融合后的交通状态参数换算成交通拥挤指数，以此作为实际路段交通情况和拥堵现状评价的主要评价指标，进行交通态势评估，交通拥挤指数的计算公式如下所示：
式中，op(t)为P位置t时段的占有率，qp(t)为P位置t时段的交通流量，vp(t)为P位置t时段的速度；
(5)交管人员通过人机接口查看处理结果，并可以根据反馈随时改变目标区域和传感器的部署方式。
在上述技术方案中，所述路网匹配包含以下步骤：
S1，定位飞艇移动至目标区域中心，保持在120～150M的高度；
S2，复眼相机中底部的高清一体化机芯拍摄1张图片(实时图)，同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息；
S3，将挑选出的图片进行中值滤波，转化为二值图片，提取出路网轮廓特征，输出实时路网图片，如果轮廓特征不明显，定位飞艇移动至其他位置，重新拍摄；
S4，利用数字图像处理中的畸变校正方法，将实时路网图片投影到基准面上，所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时图进行空间几何变换，然后利用双线性差值法进行灰度差值，生成实时路网图片的正射影像；
S5，从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图，输出目标区域内1:5000的基准矢量路网图；
S6，将校正后的实时路网图片和基准矢量路网图进行匹配计算，建立实时图和基准图之间的映射关系，所述匹配计算采用链码匹配算法，选择实时路网图片中的节点(两条路相交的点)为控制点，并以该控制点前后30个像素点作为匹配单元，遍历另一幅图像，不断计算匹配度，寻找在基准图中的匹配路段；
S7，计算校正后实时图的中心在基准图中的位置，然后通过传感器输出的姿态和高度数据，利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置(即复眼相机所处的空间位置)。
在上述技术方案中，所述数据融合采用自适应加权平均融合算法，包含以下步骤：
S1，检测区域内某一路段内交通传感器的个数N，并读取第k个统计时间段内传感器的数据Xj(j＝1,2,3,…,N)，其中Xj＝(x1,x2,x3,…,xn),n为第k个统计时间段内传感器采集的次数；
S2，计算N个传感器数据的平均值计算公式为：
S3，计算N个传感器数据的方差σj 2，计算公式为：
S4，计算N个传感器数据的权值，计算公式为：
S5，计算N个传感器数据的融合值计算公式为：
本发明公路交通动态三维数字场景采集构建系统及工作方法可以快速构建重点区域的三维场景，灵活部署和调用各类公路传感器。在统一的参考时间和空间下，融合交通状态信息和环境信息，并以具有时空属性的数据模型储存，系统可以根据数据处理结果和任务需求，进行动态调整，扩大和移动监视区域。
附图说明
图1为本发明的系统框架示意图。
图2为本发明中复眼相机和麦克风阵列整合后的结构示意图。
图3为本发明中复眼相机和麦克风阵列整合后与云台连接的示意图。
其中：1.子眼相机，2.麦克风，3.三轴云台。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同吋存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本实施例提供一种公路交通动态三维数字场景采集构建系统，如图1所示，包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群；
所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统，
所述数据采集系统用于采集特定位置和特定角度的图片，并将采集到的数据通过无线的方式传回，用于重构三维模型，数据采集系统由面向目标体的所有复眼相机协同组成，将面向目标体的所有复眼相机虚拟为一个完整的复眼，称之为虚拟复眼，每个复眼相机拥有多个镜头，一个单独的镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据；
所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数，计算每个复眼相机的拍摄位置、姿态和参数，并将这些数据传输给复眼相机，该模块内置统一时钟发布和校准子模块，每隔一段时间向复眼相机发送时间校准命令，进行时钟校准；
所述定位系统负责确定飞艇所处的空间位置，根据工作环境选择不同的定位方法，当卫星信号良好时通过GPS进行定位，当卫星定位系统被干扰欺骗时通过无线定位系统定位；
所述公路传感器信息采集单元用于收集交通量、速度、占有率等交通状态多场参数，传感器既包含感应线圈、微波、视频、超声波、红外等固定型传感器，又包含低空监控飞艇上安装的半球形麦克风阵列，当区域内固定型传感器数量不足时，低空监控飞艇移动至空白区域进行补充；
所述无人飞艇集群为各个系统的载体，按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇；
侦查飞艇集群用于快速搜集场景的面积、边界等信息；定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置；数据采集飞艇集群用于目标区域三维场景数据的采集；低空监控飞艇用于监控目标区域。
在上述实施例中，所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备，用于采集图片数据，各复眼相机之间通过组网协同运行，接受统一调配。1个复眼相机包含13个子眼相机1，其中，水平布置6个，水平向下30°布置6个，竖直向下布置1个。所述半球形麦克风阵列包含4层共20个麦克风2，20个麦克风2的拾音器部分组成一个半径150mm的半球面，20个麦克风2均与主控单片机相连，主控单片机选用瑞芯微RK3368。如图2、3所示，所述复眼相机和所述半球形麦克风阵列整合成一个整体，通过三轴云台3与无人飞艇相连。
在上述实施例中，所述无人飞艇是体积小于1m3的微型无人飞艇。
在上述实施例中，所述无线定位系统包括路网匹配定位系统和超宽带(UWB)无线定位系统。
所述路网匹配定位系统是在景象匹配原理的基础上，利用复眼相机实时提取道路的边缘轮廓信息，与已有的基于WGS84大地坐标系的二维路网电子地图匹配，从而推导出复眼相机所处的空间位置，该系统包括复眼相机、陀螺仪、激光测距仪，复眼相机安装在4艘定位飞艇上，陀螺仪和激光测距仪安装在复眼相机上。
所述超宽带无线定位系统由基站模块和标签模块组成，所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上，所述标签模块安装在其他飞艇上，该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块，通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置，即定位飞艇与其他飞艇的相对位置。
本实施例还提供了一种上述的公路交通动态三维数字场景采集构建系统的工作方法，包括以下步骤：
(1)利用虚拟复眼进行动态三维环境信息采集，利用倾斜建模方法构建目标区域内交通三维地图，与静态交通信息数据库提供的二维电子地图进行路网特征拟合，建立统一的时空坐标系；具体包括以下步骤：
(1-1)侦查飞艇携带复眼相机进入目标区域，快速围绕拍摄区域进行预拍摄，控制复眼相机记录限制空间边界点，并回传初始数据给任务分配系统；
(1-2)通过任务分配系统对预拍摄数据进行预处理，通过双目视觉技术，计算出边角点的三维坐标，用边角来抽象被重构区域；
(1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量；按照分辨率要求，规划每个镜头的有效采集面积，将镜头有效采集面积规定为子眼采集面积，虚拟复眼的所有子眼采集面积组成一个网格系统，一个子眼对应一个网格，用于实时更新本网格区域的内容；
(1-4)通过任务分配系统进行任务规划与优化；
(1-5)按照任务分配结果，4艘定位飞艇进入在目标区域，进行路网匹配定位，确定各自的空间位置，同时启动超宽带无线定位系统，确定新进入目标区域飞艇的相对位置，进行空间位姿标定、地理位置标定、统一时钟标定；当卫星定位系统工作环境良好时，使用卫星定位系统进行定位；
(1-6)实施拍摄，各个复眼相机在统一时钟下的同一时刻拍摄，此时数据满足时空一致性，回传拍摄数据，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔(1/帧率)秒拍摄，例如帧率要求为25fps，则拍摄间隔设定为1/25秒，实现实时刷新的动态拍摄；
(1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景；
(1-8)将各单幅三维场景依照时序逐次连接，拼接为依时间轴的具有时空一致性的动态三维场景；
(2)根据任务需求，布置和调用各类公路交通传感器，采用基于声源定位的方法实施监控，具体包括以下步骤：
(2-1)半球形麦克风阵列进行球面声压的采样；
(2-2)因为运动车辆的声音信号频率在500Hz以下，所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理，保留集中在低频部分的车辆声音信号；
(2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化，得到麦克风阵列构成的半球面上各个入射平面波的幅值；
(2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息；
(2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域；
(2-6)在ROI区域中进行车辆的检测及跟踪，计算所需的交通状态参数；
(3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合，以时空数据模型存储到动态公路交通信息数据库中；当区域内同一路段中存在多个交通传感器时，利用融合算法将多个传感器采集的交通状态参数进行融合，提高交通状态参数的准确度。融合过后的数据以时空数学模型的结构存储在动态交通信息数据库中，所述时空数学模型如下所示：
数据模型{传感器ID，空间位置，时间，交通状态参数}；
为了实现这些多源异构动态交通信息的融合，需要将传感器采集到数据统一到统一的参考时间和空间中，经过数据预处理和配准后以时空数据模型存储到传感数据库中，然后再进行通过数据融合。
所述数据预处理过程包括对异常数据的校正、对错误数据的限定和对丢失数据的识别；
所述数据配准分为空间配准和时间配准，时间配准是利用最小二乘法将同一区域内各传感器不同步的测量信息同步到任务分配系统所确立的基准时间坐标下，空间配准是利用极大似然法将各传感器测量平台局部坐标系中的信息变换到WGS84大地坐标系中的相应信息的过程；
(4)将经过数据融合后的交通状态参数换算成交通拥挤指数，以此作为实际路段交通情况和拥堵现状评价的主要评价指标，进行交通态势评估，交通拥挤指数的计算公式如下所示：
式中，op(t)为P位置t时段的占有率，qp(t)为P位置t时段的交通流量，vp(t)为P位置t时段的速度；
(5)交管人员通过人机接口查看处理结果，并可以根据反馈随时改变目标区域和传感器的部署方式。
在上述实施例中，所述路网匹配包含以下步骤：
S1，定位飞艇移动至目标区域中心，保持在120～150M的高度；
S2，复眼相机中底部的高清一体化子眼相机拍摄1张图片(实时图)，同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息；
S3，将挑选出的图片进行中值滤波，转化为二值图片，提取出路网轮廓特征，输出实时路网图片，如果轮廓特征不明显，定位飞艇移动至其他位置，重新拍摄；
S4，利用数字图像处理中的畸变校正方法，将实时路网图片投影到基准面上，所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时图进行空间几何变换，然后利用双线性差值法进行灰度差值，生成实时路网图片的正射影像；
S5，从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图，输出目标区域内1:5000的基准矢量路网图；
S6，将校正后的实时路网图片和基准矢量路网图进行匹配计算，建立实时图和基准图之间的映射关系，所述匹配计算采用链码匹配算法，选择实时路网图片中的节点(两条路相交的点)为控制点，并以该控制点前后30个像素点作为匹配单元，遍历另一幅图像，不断计算匹配度，寻找在基准图中的匹配路段；
S7，计算校正后实时图的中心在基准图中的位置，然后通过传感器输出的姿态和高度数据，利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置(即复眼相机所处的空间位置)。
在上述实施例中，所述数据融合采用自适应加权平均融合算法，包含以下步骤：
S1，检测区域内某一路段内交通传感器的个数N，并读取第k个统计时间段内传感器的数据Xj(j＝1,2,3,…,N)，其中Xj＝(x1,x2,x3,…,xn),n为第k个统计时间段内传感器采集的次数；
S2，计算N个传感器数据的平均值计算公式为：
S3，计算N个传感器数据的方差σj 2，计算公式为：
S4，计算N个传感器数据的权值，计算公式为：
S5，计算N个传感器数据的融合值计算公式为：
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进或变形，这些改进或变形也应视为本发明的保护范围。

Claims (10)

1.一种公路交通动态三维数字场景采集构建系统，其特征是：包括动态三维环境信息采集单元、公路传感器信息采集单元和无人飞艇集群；所述动态三维环境信息采集单元包括数据采集系统、任务分配系统和定位系统，
所述数据采集系统用于采集特定位置和特定角度的图片，并将采集到的数据通过无线的方式传回，用于重构三维模型，数据采集系统由面向目标体的所有复眼相机协同组成，将面向目标体的所有复眼相机虚拟为一个完整的复眼，称之为虚拟复眼，每个复眼相机拥有多个镜头，一个单独的镜头称之为子眼；所有镜头按照统一时钟的规定实施数据采集，获得具有时空一致性的数据；
所述任务分配系统用于根据被重构实体的大小、形状、拍摄空间的限制、重构模型的精度参数，计算每个复眼相机的拍摄位置、姿态和参数，并将这些数据传输给复眼相机，该模块内置统一时钟发布和校准子模块，每隔一段时间向复眼相机发送时间校准命令，进行时钟校准；所述定位系统负责确定飞艇所处的空间位置，根据工作环境选择不同的定位方法，当卫星信号良好时通过GPS进行定位，当卫星定位系统被干扰欺骗时通过无线定位系统定位；
所述公路传感器信息采集单元用于收集交通状态多场参数，传感器包括固定型传感器以及低空监控飞艇上安装的半球形麦克风阵列，当区域内固定型传感器数量不足时，低空监控飞艇移动至空白区域进行补充；
所述无人飞艇集群为各个系统的载体，按照任务属性分为侦查飞艇集群、定位飞艇集群、数据采集飞艇集群和低空监控飞艇；
侦查飞艇集群用于快速搜集场景的面积、边界信息；定位飞艇集群用于定位和实时监测飞艇集群中各个飞艇空间位置；数据采集飞艇集群用于目标区域三维场景数据的采集；低空监控飞艇用于监控目标区域。
2.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述复眼相机是一种拥有多个镜头可同时成像的图像采集设备，用于采集图片数据，1个复眼相机包含13个子眼相机，其中，水平布置6个，水平向下30°布置6个，竖直向下布置1个。
3.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述半球形麦克风阵列包含4层共20个麦克风，20个麦克风的拾音器部分组成一个半径150mm的半球面。
4.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述复眼相机和所述半球形麦克风阵列组合成一个整体，通过云台与无人飞艇相连。
5.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述无线定位系统包括路网匹配定位系统和超宽带无线定位系统。
6.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述路网匹配定位系统是在景象匹配原理的基础上，利用复眼相机实时提取道路的边缘轮廓信息，与已有的基于WGS84大地坐标系的二维路网电子地图匹配，从而推导出复眼相机所处的空间位置，该系统包括复眼相机、陀螺仪、激光测距仪，复眼相机安装在4艘定位飞艇上，陀螺仪和激光测距仪安装在复眼相机上。
7.根据权利要求1所述的公路交通动态三维数字场景采集构建系统，其特征是：所述超宽带无线定位系统由基站模块和标签模块组成，所述基站模块安装在已确定XYZ三维坐标的4艘无人定位飞艇上，所述标签模块安装在其他飞艇上，该无线定位系统利用DWM1000和STM32芯片搭建基站模块和标签模块，通过双向测距定位技术和三边测距算法确定标签模块与基站模块的空间相对位置，即定位飞艇与其他飞艇的相对位置。
8.一种如权利要求1所述的公路交通动态三维数字场景采集构建系统的工作方法，其特征是该方法包括以下步骤：
(1)利用虚拟复眼进行动态三维环境信息采集，利用倾斜建模方法构建目标区域内交通三维地图，与静态交通信息数据库提供的二维电子地图进行路网特征拟合，建立统一的时空坐标系；具体包括以下步骤：
(1-1)侦查飞艇携带复眼相机进入目标区域，快速围绕拍摄区域进行预拍摄，控制复眼相机记录限制空间边界点，并回传初始数据给任务分配系统；
(1-2)通过任务分配系统对预拍摄数据进行预处理，通过双目视觉技术，计算出边角点的三维坐标，用边角来抽象被重构区域；
(1-3)设置复眼相机的拍摄参数与参与拍摄的复眼相机数量；按照分辨率要求，规划每个镜头的有效采集面积，将镜头有效采集面积规定为子眼采集面积，虚拟复眼的所有子眼采集面积组成一个网格系统，一个子眼对应一个网格，用于实时更新本网格区域的内容；
(1-4)通过任务分配系统进行任务规划与优化；
(1-5)按照任务分配结果，4艘定位飞艇进入在目标区域，进行路网匹配定位，确定各自的空间位置，同时启动超宽带无线定位系统，确定新进入目标区域飞艇的相对位置，进行空间位姿标定、地理位置标定、统一时钟标定；当卫星定位系统工作环境良好时，使用卫星定位系统进行定位；
(1-6)实施拍摄，各个复眼相机在统一时钟下的同一时刻拍摄，此时数据满足时空一致性，回传拍摄数据，由计算机系统自动重构同一时刻下的三维数字场景，虚拟复眼按动态场景帧率要求每隔(1/帧率)秒拍摄，实现实时刷新的动态拍摄；
(1-7)拍摄的图像通过空中三角测量加密、影像密集匹配生成稠密点云、点云三角网网格化操作后输出目标区域的三维场景；
(2)根据任务需求，布置和调用各类公路交通传感器，采用基于声源定位的方法实施监控，具体包含以下步骤：
(2-1)半球形麦克风阵列进行球面声压的采样；
(2-2)因为运动车辆的声音信号频率在500Hz以下，所以利用小波分析对麦克风阵列采集到的声音信号进行去噪处理，保留集中在低频部分的车辆声音信号；
(2-3)将麦克风阵列中每个不同方向上的麦克风的声压值进行球傅立叶变化，得到麦克风阵列构成的半球面上各个入射平面波的幅值；
(2-4)在半球面空间中搜索各个平面波幅值的极大值,其对应的球面位置坐标即为声源的来波方向,从而可获得远场声源的空间方位信息；
(2-5)根据声源定位的结果在复眼相机采集的全景图像上确定ROI区域；
(2-6)在ROI区域中进行车辆的检测及跟踪，计算所需的交通状态参数；
(3)将公路交通传感器提供的多源异构的交通状态信息与环境信息进行数据融合，以时空数据模型存储到动态公路交通信息数据库中；
(4)将经过数据融合后的交通状态参数换算成交通拥挤指数，以此作为实际路段交通情况和拥堵现状评价的主要评价指标，进行交通态势评估，交通拥挤指数的计算公式如下所示：
式中，op(t)为P位置t时段的占有率，qp(t)为P位置t时段的交通流量，vp(t)为P位置t时段的速度；
(5)交管人员通过人机接口查看处理结果，并可以根据反馈随时改变目标区域和传感器的部署方式。
9.根据权利要求8所述的公路交通动态三维数字场景采集构建系统的工作方法，其特征是所述路网匹配包含以下步骤：
S1，定位飞艇移动至目标区域中心，保持在120～150M的高度；
S2，复眼相机中底部的高清一体化子眼相机拍摄1张图片，同时系统记录陀螺仪和激光测距仪输出的姿态和高度信息；
S3，将挑选出的图片进行中值滤波，转化为二值图片，提取出路网轮廓特征，输出实时路网图片，如果轮廓特征不明显，定位飞艇移动至其他位置，重新拍摄；
S4，利用数字图像处理中的畸变校正方法，将实时路网图片投影到基准面上，所述畸变校正方法是先利用陀螺仪和激光测距仪输出的姿态角和飞行高度数据对实时图进行空间几何变换，然后利用双线性差值法进行灰度差值，生成实时路网图片的正射影像；
S5，从静态交通数据库中获取目标区域内基于WGS84大地坐标系的二维路网电子地图，输出目标区域内1:5000的基准矢量路网图；
S6，将校正后的实时路网图片和基准矢量路网图进行匹配计算，建立实时图和基准图之间的映射关系，所述匹配计算采用链码匹配算法，选择实时路网图片中的节点为控制点，并以该控制点前后30个像素点作为匹配单元，遍历另一幅图像，不断计算匹配度，寻找在基准图中的匹配路段；
S7，计算校正后实时图的中心在基准图中的位置，然后通过传感器输出的姿态和高度数据，利用空间几何方法反求出理想的成像中心在WGS84大地坐标系中的位置。
10.根据权利要求8所述的公路交通动态三维数字场景采集构建系统的工作方法，其特征是：所述数据融合采用自适应加权平均融合算法，包含以下步骤：
S1，检测区域内某一路段内交通传感器的个数N，并读取第k个统计时间段内传感器的数据Xj(j＝1,2,3,…,N)，其中Xj＝(x1,x2,x3,…,xn),n为第k个统计时间段内传感器采集的次数；
S2，计算N个传感器数据的平均值计算公式为：
S3，计算N个传感器数据的方差σj 2，计算公式为：
S4，计算N个传感器数据的权值，计算公式为：
S5，计算N个传感器数据的融合值计算公式为：
CN201811125743.6A 2018-09-26 2018-09-26 一种公路交通动态三维数字场景采集构建系统及其工作方法 Active CN109547769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811125743.6A CN109547769B (zh) 2018-09-26 2018-09-26 一种公路交通动态三维数字场景采集构建系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811125743.6A CN109547769B (zh) 2018-09-26 2018-09-26 一种公路交通动态三维数字场景采集构建系统及其工作方法

Publications (2)

Publication Number Publication Date
CN109547769A true CN109547769A (zh) 2019-03-29
CN109547769B CN109547769B (zh) 2020-08-25

Family

ID=65841193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811125743.6A Active CN109547769B (zh) 2018-09-26 2018-09-26 一种公路交通动态三维数字场景采集构建系统及其工作方法

Country Status (1)

Country Link
CN (1) CN109547769B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710041A (zh) * 2020-06-15 2020-09-25 中科九度(北京)空间信息技术有限责任公司 基于多源异构数据融合展示技术的系统及环境模拟方法
WO2021056411A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 航线调整方法、地面端设备、无人机、系统和存储介质
CN113438448A (zh) * 2021-05-31 2021-09-24 深圳市大工创新技术有限公司 多功能摄像监控装置
TWI764593B (zh) * 2021-02-26 2022-05-11 國立清華大學 以層析成像重建技術建構三維模型的方法
CN114969235A (zh) * 2022-06-13 2022-08-30 长沙市规划设计院有限责任公司 一种基于gis技术的城市交通数字信息模型管理装置
CN115273547A (zh) * 2022-07-26 2022-11-01 上海工物高技术产业发展有限公司 一种道路防撞预警系统
CN115657860A (zh) * 2022-12-09 2023-01-31 环球数科集团有限公司 一种用于元宇宙的动作交互延迟处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903935A (zh) * 2012-10-04 2015-09-09 株式会社吉奥技术研究所 立体视觉地图显示系统
CN105976426A (zh) * 2016-04-27 2016-09-28 中国电子科技集团公司第二十八研究所 一种快速的三维地物模型构建方法
CN205787581U (zh) * 2016-05-27 2016-12-07 武汉理工大学 一种面向外向型三维静态数字场景构建的复眼照相机
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
US20180131924A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Method and apparatus for generating three-dimensional (3d) road model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903935A (zh) * 2012-10-04 2015-09-09 株式会社吉奥技术研究所 立体视觉地图显示系统
CN105976426A (zh) * 2016-04-27 2016-09-28 中国电子科技集团公司第二十八研究所 一种快速的三维地物模型构建方法
CN205787581U (zh) * 2016-05-27 2016-12-07 武汉理工大学 一种面向外向型三维静态数字场景构建的复眼照相机
US20180131924A1 (en) * 2016-11-07 2018-05-10 Samsung Electronics Co., Ltd. Method and apparatus for generating three-dimensional (3d) road model
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李芳珍: "《基于面向对象的城市道路微观交通仿真的研究与设计》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056411A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 航线调整方法、地面端设备、无人机、系统和存储介质
CN111710041A (zh) * 2020-06-15 2020-09-25 中科九度(北京)空间信息技术有限责任公司 基于多源异构数据融合展示技术的系统及环境模拟方法
CN111710041B (zh) * 2020-06-15 2023-06-20 中科九度(北京)空间信息技术有限责任公司 基于多源异构数据融合展示技术的系统及环境模拟方法
TWI764593B (zh) * 2021-02-26 2022-05-11 國立清華大學 以層析成像重建技術建構三維模型的方法
CN113438448A (zh) * 2021-05-31 2021-09-24 深圳市大工创新技术有限公司 多功能摄像监控装置
CN113438448B (zh) * 2021-05-31 2022-04-19 深圳市大工创新技术有限公司 多功能摄像监控装置
CN114969235A (zh) * 2022-06-13 2022-08-30 长沙市规划设计院有限责任公司 一种基于gis技术的城市交通数字信息模型管理装置
CN114969235B (zh) * 2022-06-13 2024-04-02 长沙市规划设计院有限责任公司 一种基于gis技术的城市交通数字信息模型管理装置
CN115273547A (zh) * 2022-07-26 2022-11-01 上海工物高技术产业发展有限公司 一种道路防撞预警系统
CN115657860A (zh) * 2022-12-09 2023-01-31 环球数科集团有限公司 一种用于元宇宙的动作交互延迟处理系统
CN115657860B (zh) * 2022-12-09 2023-03-07 环球数科集团有限公司 一种用于元宇宙的动作交互延迟处理系统

Also Published As

Publication number Publication date
CN109547769B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109547769A (zh) 一种公路交通动态三维数字场景采集构建系统及其工作方法
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
CN110570466B (zh) 三维实景点云模型的生成方法和装置
CN110446159B (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN106327573B (zh) 一种针对城市建筑的实景三维建模方法
KR102007567B1 (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN110220502A (zh) 一种基于立体监测技术的涉水建筑动态监测方法
CN109883418A (zh) 一种室内定位方法及装置
CN110135376A (zh) 确定图像传感器的坐标系转换参数的方法、设备和介质
CN104215239A (zh) 基于视觉的无人机自主着陆导引装置及导引方法
CN108344397A (zh) 基于倾斜摄影技术的自动化建模方法、系统及其辅助装置
JP2010532029A (ja) 領域の３次元マップ表現を提供するための装置及び方法
JP2022077976A (ja) 画像ベースの測位方法及びシステム
Xing et al. Multi-UAV cooperative system for search and rescue based on YOLOv5
US20200098189A1 (en) System and Methods for Data Transmission and Rendering of Virtual Objects for Display
CN111768489A (zh) 一种室内导航地图构建方法和系统
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和系统
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
KR101700764B1 (ko) 자율 이동 방법 및 그 장치
CN103335645B (zh) 面向景观规划的空间精确定位的图像获取方法
KR102587445B1 (ko) 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
Li et al. Magnetic Field Positioning Technology of Indoor Sports Bodies
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant