CN112802021A - 基于数字孪生技术的城市桥梁道路诊断方法及其系统 - Google Patents

基于数字孪生技术的城市桥梁道路诊断方法及其系统 Download PDF

Info

Publication number
CN112802021A
CN112802021A CN202110385043.6A CN202110385043A CN112802021A CN 112802021 A CN112802021 A CN 112802021A CN 202110385043 A CN202110385043 A CN 202110385043A CN 112802021 A CN112802021 A CN 112802021A
Authority
CN
China
Prior art keywords
road
model
detection
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110385043.6A
Other languages
English (en)
Other versions
CN112802021B (zh
Inventor
刘俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terry Digital Technology Beijing Co ltd
Original Assignee
Terra It Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terra It Technology Beijing Co ltd filed Critical Terra It Technology Beijing Co ltd
Priority to CN202110385043.6A priority Critical patent/CN112802021B/zh
Publication of CN112802021A publication Critical patent/CN112802021A/zh
Application granted granted Critical
Publication of CN112802021B publication Critical patent/CN112802021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于数字孪生技术的城市桥梁道路诊断方法以及系统，其中所述方法包括如下步骤：S1提供服务器，获取城市地理坐标系，对道路区域划分；S2城市语义模型的坐标系以及道路标引库的建立；S3道路诊断传感器的设置，无人机现实增强（AR）装配；S4道路结构健康的时间动态模型建立；S5无人机飞抵感兴趣的道路所在区域进行现实场景的病害分布诊断。本发明提供的方法和系统使道路结构健康问题分布检测的从整体上呈现出强实时性、强可视性、动态性、精确性以及高效性。

Description

基于数字孪生技术的城市桥梁道路诊断方法及其系统
技术领域
本发明属于建筑构建结构健康领域，涉及一种基于数字孪生技术的城市桥梁道路诊断方法及其系统，尤其涉及到一种基于数字孪生技术的城市桥梁道路的无人机现实增强诊断方法及其系统。
背景技术
孪生城市智能化属于智慧城市建设的一种数字化手段，其关键在于将城市进行数字复制以及基于数字的智能化运用同时提供相应的专业技术服务。有国外学者将数字孪生化的智能城市发展程度分为六个等级，其中作为零级的视觉城市是基础，它提供了城市的物理位置以及视觉呈现，第一级属于数字阴影，主要提供在线验证模型，以模拟各类场景的问题，而第二级则是诊断，提供城市组成体的设计使用寿命，尤其涉及到城市桥梁道路的结构健康问题。
然而，如何将前三级的技术综合利用以实现智能化、可视化的诊断，是智慧城市发展的课题之一。CN109300126A将无人机用于可视化桥梁病害的识别，将三维模型与现实影像进行对应，并将检测到的病害在现实影像上标记。CN111311569A则通过无人机巡航将拍摄的图片输入训练好的模型中事先杆塔缺陷的识别。CN112229800A和CN112411371A则利用车辆和无人机的配合实现桥梁不同部位的缺陷检测。然而，这些技术都需要将无人机飞抵感兴趣的部位进行图像或视频采集才能代入模型实现各局部的结构健康的诊断，工作效率不高。并且在算法上需要采用神经网络模型和特征参数的综合判断提供诊断评价。而现实中，工程人员往往最关切的是现实中存在需要获得病害的整体视觉分布以及时间演变问题，从而能够分析产生病害的动态过程，并且解决这些问题需要高效率。明显上述技术并不能解决这些问题。
发明内容
本发明在解决视觉分布、时间演变问题上在视觉城市基础上利用无人机现实增强配合传感器空间布置技术，其关键在于三个问题，第一是城市带路桥梁的区域划分以及精确定位，第二是无人机的三维现实增强，第三诊断手段以及算法上的改进。本发明所指的道路包括城市机动车非机动车路以及高架路构成的交通路、街道、桥梁、小区内部道路等。本发明所指的格点是指网格化处理后最小的方格单元。本发明的方向上下左右以及前后是指人佩戴AR装置时相对于目视场景下的上下左右以及前后位置。
由此，本发明提供了一种基于数字孪生技术的城市桥梁道路的无人机现实增强诊断方法，其特征在于包括如下步骤：
S1提供服务器，获取城市地理坐标系，对道路区域划分；
S2 城市语义模型的坐标系，无人机坐标系以及道路标引库的建立；
S3 道路诊断传感器的设置，无人机现实增强（AR）装配；
S4 道路结构健康的时间动态模型建立；
S5 无人机飞抵感兴趣的道路所在区域进行现实场景的病害分布诊断。
关于步骤S1
其中，S1具体包括：服务器获取城市地理坐标系，其中城市地理坐标系E具体是选择标准建筑基底靠南和靠西的边缘分别为X轴和Y轴，两者直角顶点为原点O作为基准点而建立；采用路网提取模型对城市道路进行道路区域划分。
优选地，所述路网提取模型包括：利用RNN循环神经网络算法，通过节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成路网。其中，节点生成器包括编码器以及解码器。
具体地，所述路网提取过程包括：将城市网格化处理，针对每个格点g进行分路网d提取，将每个格点g的分路网d融合形成城市路网C。
其中，节点生成的过程具体包括：S1-1利用遥感影像图对城市进行网格化处理，对于每个格点g从格点几何中心c出发找到距离所述几何中心c最近、次近以及逐渐远的n个起始节点，n∈[1,10]；S1-2定义步长l以及矢量方向r作为属性矢量V（attribute vector），将每个起始节点以及K条入射路经方向
Figure 392056DEST_PATH_IMAGE001
，
Figure 450142DEST_PATH_IMAGE002
点作为输入点（K个点与对应的起始点之间对应了K个初始属性矢量），将K+1个输入点以及属性矢量V输入编码器，由解码器生成新节点；具体是对于每一个起始点的每一个方向的输入点
Figure 761037DEST_PATH_IMAGE001
，对应了在E下的坐标
Figure 359509DEST_PATH_IMAGE003
，属性矢量V对应于坐标增量
Figure 845985DEST_PATH_IMAGE004
，其中t表示当前输入点的序号（对于起始点为0，对于第一个新的输入点为1)，将该坐标和属性矢量V输入编码器，解码器将出射在E下生成的新节点（
Figure 871710DEST_PATH_IMAGE005
，
Figure 76426DEST_PATH_IMAGE006
）其中
Figure 213009DEST_PATH_IMAGE007
，
Figure 22834DEST_PATH_IMAGE008
；
S1-3再以所述新节点为起始点重复步骤S1-1和S1-2，直到格点g中所有道路提取完毕生成分路网d，其中，所述步长l是指当前节点到下一个节点之间的直线距离。l=1-5m，优选为1-3m，更优选为1-2m，最优选为1m。
关于步骤S2
S2具体包括：S2-1在城市语义模型找到对应的城市地理基准点O作为城市语义模型的坐标系I的原点o，建立城市语义模型的坐标系I，建立无人机坐标系F；
S2-2在S1中的所述城市路网C中的每个节点在城市语义模型的俯视图中进行标记，形成模型路网M；将模型路网M中的每个节点在E下和I下的坐标（X，Y，Z）和（x，y，z）以及城市路所在道路标引p作为标引数据建立道路标引库Q，其中道路标引p包括道路名称，以及道路历史结构健康数据。其中，立坐标Z和z定义为在无人机飞抵感兴趣的区域时，其定位的预设高度H，H为0.3-200m。
其中，所述建立无人机坐标系F具体包括，选择AR装置上的一点作为坐标原点o’，平行于投放屏幕的左向为a轴，垂直于a轴向上为b轴，垂直于ao'b平面向后的为c轴，建立无人机坐标系F。可见AR装置中坐标系F即代表了无人机坐标系F。
于是通过坐标系E和I将城市现实场景与城市语义模型之间建立了道路精确位置对应关系。因此无人机定位中的位置精确性由三维模型的分辨率和地理坐标测绘精度决定。
关于步骤S3
S3中诊断传感器为诊断光声传感器。S3具体包括：S3-1在预设的间隔区域内以固定方式和/或可移动方式设置诊断光声探测器，并对诊断光声探测器进行定期校准；
S3-2将无人机分为模型训练用无人机和检测用无人机，模型训练用无人机搭载诊断光声探测器，检测用无人机搭载相机和AR装置，使得AR装置的目视镜片位于相机镜头正前方，以模拟人佩戴方式；
S3-3使得服务器，诊断光声探测器以及无人机三者之间无线通讯，将标引库Q以及城市语义模型保存在服务器中。
其中，S3-1具体包括，在预设的间隔距离3-100m区域内的道路两侧和/或道路中心固定诊断光声探测器，也可以交通监控抓拍龙门架横梁中心固定诊断光声探测器，和/或，
在预设的间隔距离300-500m区域内的道路两侧和/或中心各设置一个行走机器人，行走机器人搭载诊断光声探测器。
也可以使用搭载诊断光声探测器的无人机（不同于模型训练用无人机和检测用无人机）根据检测需要定时对道路各部位进行飞抵检测。诊断光声探测器记录检测数据发送给服务器，积累历史数据。其中，所述的机器人可以是通过在道路两侧和中心铺设行走导轨而在各自的预设距离区域内移动。对于高架路和桥梁，所述的道路中心包括了在墩上的铺设诊断光声探测器。于是，固定诊断光声探测器和/或搭载诊断光声探测器行走机器人或无人机都各自对所在区域的道路进行实时检测。
可以理解的是，在模型训练用无人机上可以不搭载AR装置，此时模型训练用无人机的坐标系仍由搭载AR装置时的坐标系F作为其坐标系，以便在训练模型时定位其检测的道路在E下的坐标位置。对于当选择固定诊断光声探测器时，相邻的诊断光声探测器扫描范围能够覆盖彼此之间的所有道路面，且光声信号能够被有效识别检测的范围而选择预设的间隔距离。
优选地，当无人机飞抵感兴趣的区域时，其定位在预设的高度H，H为0.3-200m。所述定期校准具体包括，对于固定诊断光声探测器和行走机器人搭载诊断光声探测器开展的检测，将标准光声检测器搭载于车辆上，沿着城市路网C对设置的诊断光声探测器进行校准；对于搭载诊断光声探测器无人机开展的检测，则直接利用标准光声检测器进行校准；校准每隔1-6个月进行一次，检测激光、声波波段扫描功能以及激光和声波标定参数，标定参数与标准参数做对比得到偏差，并以该偏差作为检测结果的校正参考值，当偏差超过预设偏差值时则对该光声探测器进行维修或更换。
关于步骤S4
S4具体包括S4-1对于每个格点g，在每隔预设时段（T=1-15天）将步骤S3中的每一个诊断光声探测器发出激光照射至道路表面，服务器根据光声数据绘制激光照射下道路的声压伪彩分布图，对图像进行偏差校正处理，去噪；通过时间反演算法利用经偏差校正处理的声压伪彩分布图实现重建道路的伪彩光声图像，并记录检测时间点tm，所述去噪包括对检测时车辆、行人以及其他物体引起的声压分布的去除；
S4-2服务器进一步将道路的伪彩光声图像网格化，利用模态分解法从重建的所述伪彩光声图像的每个格点中提取非平稳随机初始光声信号，将所述非平稳随机初始光声信号增强处理，并重新融合到所在的道路的伪彩光声图像的相应网格位置中；对没有分布非平稳随机初始光声信号的网格点中的像素全部修改成预设的伪彩值，形成检测图像，将检测图像分为训练集以及验证集，优选地，训练集以及验证集比例为5:1-1:1。
S4-3利用增强处理的非平稳随机初始光声信号和检测图像建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中，其中检测时间点为0表示新建成的道路时的第一次测量时间点；其中，所述机器学习模型包括深度神经网络模型(DNN)，支持向量机（SVM），或生成对抗网络(GAN)；所述建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中具体包括以道路建成出第一次测量为起始点，每隔T时间段对道路进行检测，每次检测进行5-10个重复试验；当完成当月和/或年的所有检测时，将增强处理非平稳随机初始光声信号，检测图像为输入端不断训练得到每一个诊断光声探测器的模型，并通过验证集验证获得该探测器的当月和/或当年的模型A1，如此进行多月和/或多年模型建立获得格点g内每一个诊断光声探测器多个不同的模型Ai（i=1,2...N,N为预设的检测的总月和/或总年数），将多个不同的模型Ai构建成模型库A存入服务器中，并通过存在增强处理的非平稳随机初始光声信号的检测图像训练获得缺陷类型识别模型一并存入模型库A中。如此，假设城市一共e个格点，每个格点中的探测器数为fj个，则模型库A中总的模型数为
Figure 219460DEST_PATH_IMAGE009
。
关于步骤S5
S5具体包括S5-1让检测用无人机飞抵感兴趣的格点g’中，实时获取检测用无人机在E下的当前坐标位置；
S5-2检测用无人机拍摄现实场景视频，服务器控制视频中R范围内存在的格点g’中节点所在道路的至少一个诊断光声探测器启动对相应道路进行检测，得到对应的至少一个检测图像；将每个检测图像中的增强处理的非平稳随机初始光声信号代入模型库A中各诊断光声探测器对应的N个模型，所述至少一个诊断光声探测器中每一个得到的N幅结果图像中的每一幅都与对应的检测图像做差分而获得N个差分图像，N个差分图像中的存在缺陷的格点像素伪彩值最小者对应的代入模型所对应的月和/或年数即为该缺陷真实从道路新建至今的月和/或年数。
可以理解的是，当比对结果发现第5年模型得到的结果图像与检测图像差分后，其中一个存在缺陷的格点上的像素伪彩值之和最小，则结果图像上发现的该缺陷即已经从道路新建至今已经第5个年头发现的，并且对于同一缺陷可以通过该算法实现动态监测，从而为道路修护提供方案指导。
S5-3将检测到缺陷的检测图像的诊断光声探测器所在E下的坐标发送给服务器，服务器在城市语义模型中找到对应的点，并将该对应的点以及相应的检测图像数据投影到现实场景视频画面中对应处形成标记以及检测图像信息，和/或在检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息；
S5-4服务器将该标记有所述对应的点以及检测图像信息的现实场景视频画面pic1以及检测图像信息，和/或检测用无人机上搭载的AR装置将标记有所述对应的点以及检测图像信息投放屏幕前相机视野场景的视频画面pic2以及检测图像信息传送给监控中心，以实时在检测用无人机中的相机视角下看到对应的检测到缺陷的诊断光声探测器位置；
S5-5改变检测用无人机拍摄角度和/或位置，重复步骤S5-2-S5-4获得不同的标记有所述对应的点以及检测图像信息的视频画面（pic1和/或pic2），其中所述改变检测用无人机位置包括在格点g’内或城市网格化处理后的其他格点内。
应当理解的是，缺陷实际位置并非诊断光声探测器位置，但两者位置时接近的，通常在道路宽度的范围内。所述诊断光声探测器位置可以是固定诊断光声探测器位置，行走机器人搭载光声探测器位置，无人机搭载诊断光声探测器位置中的任一一种或其组合。
在一个优选的实施例中，所述对应的点是检测到缺陷的检测图像的诊断光声探测器激光出射口的几何中心；更优选地，可以将检测图像上缺陷所在的格点中任意一点作为所述对应的点，最优选的，以格点中四个顶点至少一个或格点几何中心作为所述对应的点。这样就能更精确地标记处拍摄现实画面中的缺陷位置。具体地，以光声成像范围为基础，获得每个缺陷所在的格点中至少一点作为所述对应的点在E下的位置。
在S5-2中检测用无人机拍摄现实场景视频之后，服务器控制视频中存在的格点g’中节点所在道路的诊断光声探测器启动对相应道路进行检测之前还可以存在如下步骤：所述视频中存在的格点g’中节点寻找方法是，检测用无人机向所述服务器发送坐标原点o’处拍摄的实时视频影像，服务器根据城市语义模型，确定模型中对应原点o’之处相机拍摄半径为R的范围内的对应的模型路网M’在标引库Q中是否存在节点坐标（包括E下的和I下的），如果不存在则监控中心控制检测用无人机调整位置，直到出现节点，所述相机拍摄半径R为在既定拍摄参数下，最能清分辨出道路的半径范围，与相机的性能参数、天气状况等相关。考虑不同拍摄角度，R范围为一个半径为R的球，而在画面视角下实质上理解为半径为R的圆。
S5-3中将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息进一步包括：
S5-3-1在检测用无人机找到节点后所处的当前位置，相机将拍摄的现实场景视频画面pic1，以及F的原点o’在E下的坐标发送给服务器，所述现实场景视频画面pic1与相机视野场景相对应，两者都具有相同的坐标系F；
S5-3-2将坐标系I和E重合，所述服务器将相机拍摄半径为R的范围内的所述对应的点标记在城市语义模型中对应的模型路网M’中，并将现实场景视频画面pic1匹配到该模型中的所述当前位置，使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合，此时将在该模型中找到的所述对应的点垂直投影到所述现实场景视频画面pic1中，并在现实场景视频画面pic1顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种，所述缺陷类型由模型库A中预先训练好的深度学习模型给出，其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种指示到投影附近。
S5-3中在检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息进一步包括：
S5-3-1以及进行到S5-3-2中使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合之后，所述服务器将在该模型中找到的所述对应的点投放在AR装置目视镜片正前方投放屏幕对应处显示，并由相机拍摄显示后的视频画面pic2，存入AR装置中；并在显示后的视频画面顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种，所述缺陷类型由模型库A中预先训练好的深度学习模型给出。其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种指示到已投放显示的所述对应的点附近。
其中，相机视野场景是指相机镜头能够摄取的画面的范围内的真实场景，所述现实场景视频画面pic1与相机视野场景相对应相对应，是指在所述现实场景视频画面pic1与相机视野场景相对应的道路中的节点重合。两者都具有相同的坐标系F是指在相机视野场景下能够发现AR装置上的坐标系F的原点o’和a轴分别和相机视野场景中的F坐标系的原点o’和a轴重合，同时所述现实场景视频画面pic1与相机视野场景相对应时，也要求分别和所述现实场景视频画面pic1中的坐标系F的原点o’和a轴重合。
所述将坐标系I和E重合，是指I坐标系原点o与坐标系E原点O以及两者横坐标轴x和X都分别重合。由于坐标系I建立时，可以按照x轴方向朝东而y轴方向朝北的方向建立，而E坐标系中建立X轴和Y轴的所依据的标准建筑基底靠南和靠西的边缘并不一定是分别正东正西走向和正南正北走向，从而此时坐标系I和E不重合。
所述检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处中，对应处是满足如下条件的投放屏幕上的相机视野场景中的点：即当现实场景视频画面pic1与相机视野场景相对应时，所述投放屏幕上的相机视野场景中的所述对应的点与所述现实场景视频画面pic1中的投影在F下的坐标一致。
可以理解的是，相机拍摄的现实场景视频画面pic1与相机拍摄AR装置投放屏幕上显示后的视频画面pic2具有短时间差，进一步理解的是，如果考虑短时间差内缺陷并无变化，则认为后者画面较前者实时性更好。即后者的画面从拍摄到监控中心人员获取看到的所使用的时间更短，从而体现出无人机搭载的AR技术强实时性和强可视化。
本发明还提供了一种基于数字孪生技术的城市桥梁道路的无人机现实增强诊断系统，其特征在于，所述系统包括，模型训练用无人机，检测用无人机，服务器，监控中心，设置在道路上或搭载于模型训练用无人机上的诊断光声探测器，用于校准诊断光声探测器的标准光声检测器，其中，
所述模型训练用无人机上搭载有诊断光声探测器，所述检测用无人机上搭载有相机以及AR装置，使得AR装置的现实场景观察区位于相机镜头正前方，
所述AR装置包括可穿戴式AR眼镜，所述可穿戴式AR眼镜包括透明材料制成的主体框架，目视镜片，投放屏幕，投影器，处理器、坐标定位器，无线数据收发器，
所述服务器包括了一种计算机可读非暂时性存储介质，其中存储有可由所述处理器运行而实现城市道路的无人机现实增强诊断方法的程序，
所述监控中心用于对模型训练用无人机，检测用无人机进行飞行导航，以及调用服务器中的标引库和模型库中的数据对诊断结果进行分析、处理、以及实时监测。
有益效果，本发明采用无人机搭载AR装置，并且考虑在被测道路上设置光声传感器，采用伪彩光声图为输入端构建时间动态缺陷检测模型，实现了可视化、实时化。同时将无人机主动拍摄图像检测变成为无人机主动可视观察检测结果，从而又实现了检测的高效化。又由于缺陷的定位基于城市三维模型，因而保证了缺陷部位分布信息的精确性。综上，本发明的提供的基于数字孪生技术的城市桥梁道路的无人机现实增强诊断方法及其系统使得道路结构健康问题分布检测从整体上呈现出强实时性、强可视性、动态性、精确性以及高效性。
附图说明
图1本发明一种基于数字孪生技术的城市桥梁道路的无人机现实增强诊断方法的总体流程图；
图2 本发明对路网提取模型原理；
图3网格化某一城市中一格点g对应俯视遥感影像中道路的分路网d提取结果；
图4为图3中格点g中某一诊断光声探测器建立模型库A的流程图，以及机器学习模型建立原理图；
图5无人机以飞行高度H飞抵图3所在格点g中心以及寻找到节点时在所在位置c’拍摄到的当前场景画面pic1与城市三维模型匹配的过程示意图；
图6为图5俯视场景下无人机拍摄当前场景画面pic1匹配到城市三维模型中的无人机当前位置c’时，缺陷所在检测图像中的格点的投影到画面pic1并传送给监控中心的检测可视化过程；
图7水平视角场景下无人机在当前位置o'时，缺陷所在检测图像中的格点D和H’投影到画面pic2的过程示意图；
图8为本发明的可穿戴式AR眼镜构造示意图；
图9为无人机在图5中c’位置时在AR眼镜目视镜片后看去的标记了图6中格点的相机视野场景下现实场景R范围内部分，对其拍摄获得的画面pic2，其中灰色不透明部分为图8中的处理器以及坐标定位器；
其中附图标记11主体框架，12目视镜片，13投放屏幕，14投影器，15处理器，16坐标定位器，无17线数据收发器，g格点，c格点g的几何中心，d分路网，c’寻找到节点时在所在位置，sens诊断光声探测器，D、H’，表示检测图像中的格点位置，R相机拍摄半径。
具体实施方式
以下根据附图1-9对本发明进行说明。
实施例1
如图1为某城市道路的无人机现实增强诊断方法，包括如下步骤：S1提供服务器S，获取建立城市地理坐标系E，对道路区域划分；S2 城市语义模型的坐标系I，无人机坐标系F以及道路标引库Q的建立；S3 道路诊断传感器sens的设置，无人机现实增强（AR）装配；S4道路结构健康的时间动态模型建立；S5 无人机飞抵感兴趣的道路所在区域进行现实场景的病害分布诊断。
实施例2
实施例1中的S1具体包括服务器获取城市地理坐标系，其中城市地理坐标系E具体是选择标准建筑基底靠南和靠西的边缘分别为X轴和Y轴，两者直角顶点为原点O作为基准点而建立；采用路网提取模型对城市道路进行道路区域划分。
所述具体路网提取模型包括利用RNN循环神经网络算法，如图2所示，通过编码器以及解码器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成路网。
具体是，如图3所示，将城市网格化处理，针对每个格点进行分路网d提取，将每个格点g的分路网d融合形成城市路网C，图3中示出了其中一个格点g的分路网d提取结果。其中，节点生成的过程具体包括，S1-1利用遥感影像图对城市进行网格化处理，对于每个格点g从格点几何中心c（如图4）出发找到距离所述几何中心最近、次近以及逐渐远的n个起始节点，n=4；
S1-2定义步长l（根据道路总长而在1-5m中选择）以及矢量方向r作为属性矢量V，将每个起始节点以及K条入射路经方向
Figure 239368DEST_PATH_IMAGE010
，
Figure 382905DEST_PATH_IMAGE002
的点作为输入点（K个点与对应的起始点之间对应了K个初始属性矢量），将K+1个输入点以及属性矢量V输入编码器，由解码器生成新节点；具体是对于每一个起始点的每一个方向的输入点
Figure 437448DEST_PATH_IMAGE001
，对应了在E下的坐标
Figure 273817DEST_PATH_IMAGE003
，属性矢量V对应于坐标增量
Figure 46601DEST_PATH_IMAGE004
，其中t表示当前输入点的序号（对于起始点为0，对于第一个新的输入点为1)，将该坐标和属性矢量V输入编码器，解码器将出射在E下生成的新节点（
Figure 722390DEST_PATH_IMAGE005
，
Figure 897020DEST_PATH_IMAGE006
），其中
Figure 904290DEST_PATH_IMAGE007
，
Figure 164370DEST_PATH_IMAGE008
。图2中示例性地给出了每隔20次节点生成循环下，总共100次节点生成循环的路网生成过程。
S1-3再以所述新节点为起始点重复步骤S1-1和S1-2，直到格点g中所有道路提取完毕生成分路网d。
S2具体包括：S2-1在城市语义模型找到对应的城市地理基准点O作为城市语义模型的坐标系I的原点o，建立城市语义模型的直角坐标系I。
所述建立无人机坐标系F具体包括，选择AR装置上的一点作为坐标原点o’，平行于投放屏幕的左向为a轴，垂直于a轴向上为b轴，垂直于ao'b平面向后的为c轴，建立无人机坐标系F。可见AR装置中坐标系F即代表了无人机坐标系F（如图8所示）。
S2-2 在S1中的所述城市路网C中的每个节点在城市语义模型的俯视图中进行标记，形成模型路网M；将模型路网M中的每个节点在I下和E下的坐标（X，Y，Z）和（x，y，z），以及城市路所在道路标引p作为标引数据建立道路标引库Q，其中道路标引p包括道路名称，以及道路历史结构健康数据。其中，立坐标Z和z定义为在无人机飞抵感兴趣的区域时，其定位的预设高度H=100m。
实施例3
实施例1中S3具体包括：S3-1具体包括，在预设20m距离在道路两侧和道路中心固定诊断光声探测器sens，在预设的400m距离内的道路两侧以及中心各设置一个行走机器人，通过行走机器人搭载诊断光声探测器，固定光声探测器和行走机器人各自对所在区域的道路进行实时检测。使用搭载诊断光声探测器的无人机根据检测需要定时对道路各部位进行飞抵检测，并将记录数据发送给服务器S，积累历史数据。其中，所述的机器人是通过在图6中道路两侧和中心铺设行走导轨而在各自的预设距离区域内移动。相邻的诊断光声探测器扫描范围能够覆盖彼此之间的所有道路面，且光声信号能够被有效识别检测的范围而选择间隔的预设距离。
对于固定诊断光声探测器和行走机器人搭载诊断光声探测器开展的检测，将标准光声检测器搭载于车辆上，沿着g格点分路网d对设置的诊断光声探测器进行校准。
S3-2将无人机分为模型训练用无人机，和检测用无人机，在模型训练用无人机搭载诊断光声探测器，检测用无人机上搭载相机和AR装置，使得AR装置的目视镜片12（参见图8）位于相机镜头正前方。
S3-3使得服务器S与诊断光声探测器以及无人机三者之间无线通讯，将标引库Q以及城市语义模型保存在服务器S中。
实施例4
如图4所示，实施例1中S4具体包括S4-1对于图3中格点g，在每隔1天将步骤S3中的每一个诊断光声探测器发出激光照射至图6中的道路表面。服务器S根据光声数据绘制激光照射下道路的声压伪彩分布图，对图像进行偏差校正处理，去噪；通过时间反演算法利用经偏差校正去噪处理的声压伪彩分布图实现重建道路的伪彩光声图像，并记录检测时间点tm，所述去噪包括对检测时车辆、行人以及其他物体引起的声压分布的去除。
S4-2服务器S进一步将道路的伪彩光声图像网格化，利用模态分解法从重建的所述伪彩光声图像的每个网格中提取非平稳随机初始光声信号，将所述非平稳随机初始光声信号增强处理，并重新融合到所在的道路的伪彩光声图像的相应格点位置中；对没有分布非平稳随机初始光声信号的网格点中的像素全部修改成预设的伪彩值，形成检测图像，将检测图像分为训练集以及验证集；训练集以及验证集比例为2:1。
S4-3以增强处理的非平稳随机初始光声信号，检测图像为输入端，建立机器学习模型，以年为单位，将每年建立的模型形成模型库A存入服务器中，其中检测时间点为0表示新建成的道路时的第一次测量时间点。其中，所述机器学习模型为生成对抗网络(GAN)。所述建立机器学习模型，以月为单位，将每月建立的模型形成模型库A存入服务器中具体包括以图4中c’处R范围内三个节点所在道路新建成初第一次测量为起始点，每隔1天时间段对该道路进行检测，每次检测进行8个重复试验；当完成当月的所有检测时，将增强处理非平稳随机初始光声信号，检测图像为输入段不断训练得到每一个诊断光声探测器的模型，并通过验证集验证获得该探测器的当月的模型A1，如此进行120个月模型建立获得格点g内多个不同的模型Ai（i=1,2...120），将多个不同的模型Ai构建成模型库A存入服务器中，并通过存在增强处理的非平稳随机初始光声信号的检测图像训练获得缺陷类型识别模型一并存入模型库A中。
实施例5
实施例1中S5具体包括S5-1让检测用无人机仍然飞抵图3所示感兴趣的格点g几何中心c中（如图5所示），实时获取检测用无人机在E下的当前坐标位置。
S5-2，如图5，检测用无人机拍摄现实场景视频，发现c点R范围内不存在节点，监控中心控制检测用无人机试飞至c’点，发现存在三个节点。此时服务器控制视频中R范围内存在的格点g’中节点所在道路的诊断光声探测器sens（如图6所示）启动对相应道路进行检测，得到对应的1个检测图像；将该检测图像中的增强处理的非平稳随机初始光声信号代入实施例4中建立的模型库A中的120个模型，所得到结果图像与该检测图像做差分，结果图像上的像素伪彩值之和最小的结果图像对应的模型所对应的年份是5年。并且浏览历史数据发现在第42个月时首次发现该缺陷。因而该缺陷已经发展了1.5年，并且通过缺陷类型识别模型识别出为裂纹缺陷。
S5-3，如图6，将获取检测到裂纹的检测图像的诊断光声探测器（如图6中sens）所在E下的坐标发送给服务器，服务器在城市语义模型中找到对应的点，并优选检测图像中有裂纹的格点，并将该对应的格点以及相应的检测图像数据投影到现实场景视频画面中对应处形成格点标记（参见图6）以及检测图像信息（图6未示出），和经由检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息（参见图9）。其中还示例性地显示了无人机坐标系F在模型中0高度的平面上的垂直投影。
S5-3中，S5-3中将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息进一步包括：
S5-3-1在检测用无人机找到图5中三个节点后所处的当前位置c’，相机将拍摄的当前场景画面pic1，以及F的原点o’在E的坐标，发送给服务器S，所述当前场景画面与相机视野场景相对应，两者都具有相同的坐标系F；
S5-3-2将坐标系I和E重合后，如图5和6所示，所述服务器S将相机拍摄半径为R的范围内的对应的模型路网M’中的所述格点标记在城市语义模型中，并将当前场景画面匹配到该模型中的所述当前位置，使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合，此时将在该模型中找到的所述对应的点垂直投影H=100m的距离到所述当前场景画面中，并在当场景前画面顶部显示相应的检测图像数据，所述相应的检测图像数据包括缺陷类型裂纹，道路新建至今的年份5年，以及缺陷产生至今时长1.5年（图6未显示）。所述缺陷类型由模型库A中预先训练好的深度学习模型给出。其中，使用箭头符号将缺陷类型裂纹，道路新建至今的年份5年，缺陷产生至今时长1.5年指示到投影附近（图6未显示）。
S5-3中在检测用无人机上搭载的AR装置目视镜片12正前方投放屏幕13（参见图8）前相机视野场景对应处形成标记以及检测图像信息进一步包括：
S5-3-1以及进行到S5-3-2中使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合之后，如图9所示，所述服务器S将在该模型中找到的所述对应的点投放在AR装置目视镜片12正前方投放屏幕13对应处显示，并由相机拍摄显示后的视频画面pic2，存入AR装置中；并在显示后的视频画面顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中缺陷类型裂纹，道路新建至今的年份5年，缺陷产生至今时长1.5年（如图9）。所述缺陷类型由模型库A中预先训练好的深度学习模型给出。其中，使用箭头符号将缺陷类型裂纹，道路新建至今的年份5年，,缺陷产生至今时长1.5年指示到已投放显示的所述对应的点附近（如图9）。
S5-4服务器将该标记有所述对应的点以及检测图像信息的现实场景视频画面pic1以及检测图像信息，和检测用无人机上搭载的AR装置将标记有所述对应的点以及检测图像信息投放屏幕前相机视野场景的视频画面pic2以及检测图像信息传送给监控中心(如图6)，以实时在检测用无人机中的相机视角下看到对应的检测到缺陷的诊断光声探测器位置；
S5-5改变检测用无人机拍摄角度和位置在格点g外的其他格点内，检测用无人机在如图7中水平视角场景下无人机在当前位置o'时，重复步骤S5-2-S5-4获得缺陷所在检测图像中的格点D和H’投影到画面pic2。
实施例6
实施例5中的AR装置如图8所示，包括主体框架11、目视镜片12、投放屏幕13、投影器14、处理器15、坐标定位器16、无线数据收发器17。坐标定位器16用于定位无人机F坐标系的原点o’，可以是采用北斗定位系统。主体框架11采用透明材料（如透明钢化玻璃）制成。而处理器15、坐标定位器16由于非透明，因而在图9中遮挡了相机视野场景下现实场景R范围内部分中的一部分。

Claims (10)

1.一种基于数字孪生技术的城市桥梁道路诊断方法，其特征在于，包括如下步骤：
S1提供服务器，获取城市地理坐标系，对道路区域划分；
S2 城市语义模型的坐标系，无人机坐标系以及道路标引库的建立；
S3 道路诊断传感器的设置，无人机现实增强装配；
S4 道路结构健康的时间动态模型建立；
S5 无人机飞抵感兴趣的道路所在区域进行现实场景的病害分布诊断。
2.根据权利要求1所述的方法，其特征在于，其中，S1具体包括：服务器获取城市地理坐标系，其中城市地理坐标系E具体是选择标准建筑基底靠南和靠西的边缘分别为X轴和Y轴，两者直角顶点为原点O作为基准点而建立；采用路网提取模型对城市道路进行道路区域划分。
3.根据权利要求2所述的方法，其特征在于，所述路网提取模型包括：利用RNN循环神经网络算法，通过节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成路网；其中，节点生成器包括编码器以及解码器。
4.根据权利要求3所述的方法，其特征在于，所述路网提取过程包括：将城市网格化处理，针对每个格点g进行分路网d提取，将每个格点g的分路网d融合形成城市路网C；其中，节点生成的过程具体包括：S1-1利用遥感影像图对城市进行网格化处理，对于每个格点g从格点几何中心c出发找到距离所述几何中心c最近、次近以及逐渐远的n个起始节点，n∈[1,10]；S1-2定义步长l以及矢量方向r作为属性矢量V，将每个起始节点以及K条入射路经方向
Figure 716411DEST_PATH_IMAGE001
，
Figure 275829DEST_PATH_IMAGE002
的点作为输入点，将K+1个输入点以及属性矢量V输入编码器，由解码器生成新节点；对于每一个起始点的每一个方向的输入点
Figure 774943DEST_PATH_IMAGE001
，对应了在E下的坐标
Figure 402233DEST_PATH_IMAGE003
，属性矢量V对应于坐标增量
Figure 441734DEST_PATH_IMAGE004
，将该坐标和属性矢量V输入编码器，解码器将出射在E下生成的新节点(
Figure 838080DEST_PATH_IMAGE005
，
Figure 39254DEST_PATH_IMAGE006
)，其中
Figure 888261DEST_PATH_IMAGE007
，
Figure 465873DEST_PATH_IMAGE008
，所述步长l是指当前节点到下一个节点之间的直线距离l=1-5m，t表示当前输入点的序号；
S1-3以所述新节点为起始点重复步骤S1-1和S1-2，直到格点g中所有道路提取完毕生成分路网d。
5.根据权利要求4所述的方法，其特征在于，S2具体包括：
S2-1在城市语义模型找到对应的城市地理基准点O作为城市语义模型的坐标系I的原点o，建立城市语义模型的坐标系I，所述建立无人机坐标系F具体包括，选择AR装置上的一点作为坐标原点o’，平行于投放屏幕的左向为a轴，垂直于a轴向上为b轴，垂直于ao'b平面向后的为c轴，建立无人机坐标系F；
S2-2 在S1中的所述城市路网C中的每个节点在城市语义模型的俯视图中进行标记，形成模型路网M；将模型路网M中的每个节点在I下和E下的坐标（X,Y,H）和（x，y，H），以及城市路所在道路标引p作为标引数据建立道路标引库Q，其中道路标引p包括道路名称，以及道路历史结构健康数据，其中，H为无人机飞抵感兴趣的区域时，其定位的预设高度H，H=0.3-200m；S3中诊断传感器为诊断光声传感器。
6.根据权利要求5所述的方法，其特征在于，S3具体包括：
S3-1以固定方式和/或可移动方式设置诊断光声探测器，并对诊断光声探测器进行定期校准；
S3-2将无人机分为模型训练用无人机和检测用无人机，所述模型训练用无人机搭载诊断光声探测器，所述检测用无人机上搭载相机和AR装置，所述AR装置的目视镜片位于相机镜头正前方；
S3-3服务器，诊断光声探测器以及无人机三者之间无线通讯，将标引库Q以及城市语义模型保存在服务器中，其中，
S3-1中所述固定方式包括在预设的间隔距离3-100m区域内的道路两侧和/或道路中心固定诊断光声探测器，或在交通监控抓拍龙门架横梁中心固定诊断光声探测器；
所述可移动方式包括在预设的间隔距离300-500m区域内的道路两侧和/或中心各设置一个行走机器人，通过行走机器人搭载诊断光声探测器，行走机器人各自对所在区域的道路进行实时检测，和/或，使用搭载诊断光声探测器的无人机根据检测需要定时对道路各部位进行飞抵检测；两种方式设置的诊断光声探测器记录检测数据发送给服务器，积累历史数据，其中，
对于高架路和桥梁这样的道路，所述的道路中心包括了在墩上的铺设的诊断光声探测器，
所述定期校准具体包括，对于固定诊断光声探测器和行走机器人搭载诊断光声探测器开展的检测，将标准光声检测器搭载于车辆上，沿着城市路网C对设置的诊断光声探测器进行校准；对于搭载诊断光声探测器无人机开展的检测，则直接利用标准光声检测器进行校准；校准每隔1-6个月进行一次，检测激光、声波波段扫描功能以及激光和声波标定参数，标定参数与标准参数做对比得到偏差，并以该偏差作为检测结果的校正参考值，当偏差超过预设偏差值时则对该光声探测器进行维修或更换。
7.根据权利要求5或6所述的方法，其特征在于，S4具体包括：
S4-1对于每个格点g，在每隔预设时段T将步骤S3中的每一个诊断光声探测器发出激光照射至道路表面，服务器根据光声数据绘制激光照射下道路的声压伪彩分布图，对图像进行偏差校正处理，去噪；通过时间反演算法利用经偏差校正去噪处理的声压伪彩分布图重建道路的伪彩光声图像，并记录检测时间点tm，所述去噪包括对检测时车辆、行人以及其他物体引起的声压分布的去除，其中T=1-15天；
S4-2服务器进一步将道路的伪彩光声图像网格化，利用模态分解法从所述伪彩光声图像的每个格点中提取非平稳随机初始光声信号，将所述非平稳随机初始光声信号增强处理，并重新融合到所在的道路的伪彩光声图像的相应格点位置中；对没有分布非平稳随机初始光声信号的网格点中的像素全部修改成预设的伪彩值，形成检测图像，将检测图像分为训练集以及验证集，训练集以及验证集比例为5:1-1:1；
S4-3利用增强处理的非平稳随机初始光声信号和检测图像建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中，其中检测时间点为0表示新建成的道路时的第一次测量时间点，所述机器学习模型包括深度神经网络模型(DNN)，支持向量机（SVM），或生成对抗网络(GAN)；
所述建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中具体包括：以道路建成出第一次测量为起始点，每隔T时间段对道路进行检测，每次检测进行5-10个重复试验；当完成当月和/或当年的所有检测时，将增强处理非平稳随机初始光声信号，检测图像为输入端不断训练得到每一个诊断光声探测器的模型，并通过验证集验证获得该探测器的当月和/或当年的模型A1，如此进行多月和/或多年模型建立获得格点g内每一个诊断光声探测器的多个不同的模型Ai（i=1,2...N，N为预设的检测的总月和/或总年数），将多个不同的模型Ai构建成模型库A存入服务器中，并通过存在增强处理的非平稳随机初始光声信号的检测图像训练获得缺陷类型识别模型一并存入模型库A中，则模型库A中总的模型数为
Figure 716726DEST_PATH_IMAGE009
，其中e为城市总格点数，fj为每个格点中的探测器数。
8.根据权利要求7所述的方法，其特征在于，S5具体包括：
S5-1让检测用无人机飞抵感兴趣的格点g’中，实时获取检测用无人机在E下的当前坐标位置；
S5-2检测用无人机拍摄现实场景视频，并寻找所述视频中存在的格点g’中是否存在节点，具体包括：
检测用无人机向所述服务器发送坐标原点o’处拍摄的实时视频影像，服务器根据城市语义模型，确定模型中对应原点o’之处相机拍摄半径为R的范围内的对应的模型路网M’在标引库Q中是否存在节点坐标，如果不存在则监控中心控制所述检测用无人机调整位置，直到出现节点；
服务器控制视频中R范围内存在的格点g’中节点所在道路的至少一个诊断光声探测器启动对相应道路进行检测，得到对应的至少一个检测图像；将每个检测图像中的增强处理的非平稳随机初始光声信号代入模型库A中各诊断光声探测器对应的N个模型，所述至少一个诊断光声探测器中每一个得到的N幅结果图像中的每一幅都与对应的检测图像做差分而获得N个差分图像，N个差分图像中的存在缺陷的格点像素伪彩值最小者对应的代入模型所对应的月和/或年数即为该缺陷真实从道路新建至今的月和/或年数；
S5-3将检测到缺陷的检测图像的诊断光声探测器所在E下的坐标发送给服务器，服务器在城市语义模型中找到对应的点，并将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息，和/或在所述检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息；
S5-4服务器将该标记有所述对应的点以及检测图像信息的现实场景视频画面以及检测图像信息，和/或检测用无人机上搭载的AR装置将标记有所述对应的点以及检测图像信息投放屏幕前相机视野场景的视频画面pic2以及检测图像信息传送给所述监控中心，以实时在检测用无人机中的相机视角下看到对应的检测到缺陷的诊断光声探测器位置；
S5-5改变检测用无人机拍摄角度和/或位置，重复步骤S5-2-S5-4获得不同的标记有所述对应的点以及检测图像信息的视频画面pic1和/或pic2，其中，所述改变检测用无人机位置包括在格点g’内或城市网格化处理后的其他格点内。
9.根据权利要求8所述的方法，其特征在于，S5-3中所述对应的点是检测到缺陷的检测图像的诊断光声探测器激光出射口的几何中心，获得该几何中心在E下的位置，或者，所述对应的点是所述检测图像上缺陷所在的格点中至少一点，并以光声成像范围为基础，获得每个缺陷所在的格点中至少一点作为所述对应的点在E下的位置，并且S5-3中将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息进一步包括：
S5-3-1在检测用无人机找到节点后所处的当前位置，相机将拍摄的现实场景视频画面pic1，以及F的原点o’在E下的坐标发送给服务器，所述现实场景视频画面pic1与相机视野场景相对应，两者都具有相同的坐标系F；
S5-3-2将坐标系I和E重合，所述服务器将相机拍摄半径为R的范围内的所述对应的点标记在城市语义模型中对应的模型路网M’中，并将现实场景视频画面pic1匹配到该模型中的所述当前位置，使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合，此时将在该模型中找到的所述对应的点垂直投影到所述现实场景视频画面pic1中，并在现实场景视频画面pic1顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种，所述缺陷类型由模型库A中预先训练好的深度学习模型给出，其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种指示到投影附近；
而S5-3中在检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息进一步包括：
S5-3-1以及进行到S5-3-2中使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中找到的对应于o’的点和I下的对应的b轴矢重合之后，所述服务器将在该模型中找到的所述对应的点投放在AR装置目视镜片正前方投放屏幕对应处显示，并由相机拍摄显示后的视频画面pic2，存入AR装置中；并在显示后的视频画面顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种，所述缺陷类型由模型库A中预先训练好的深度学习模型给出，其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点tm中至少一种指示到已投放显示的所述对应的点附近。
10.一种实现如权利要求1-9中任一项所述基于数字孪生技术的城市桥梁道路诊断方法的系统，其特征在于，所述系统包括，模型训练用无人机，检测用无人机，服务器，监控中心，设置在道路上或搭载于模型训练用无人机上的诊断光声探测器，用于校准诊断光声探测器的标准光声检测器，其中，
所述模型训练用无人机上搭载有诊断光声探测器，所述检测用无人机上搭载有相机以及AR装置，使得AR装置的现实场景观察区位于相机镜头正前方；
所述AR装置包括可穿戴式AR眼镜，所述可穿戴式AR眼镜包括透明材料制成的主体框架，目视镜片，投放屏幕，投影器，处理器、坐标定位器，无线数据收发器；
所述服务器包括了一种计算机可读非暂时性存储介质，其中存储有可由所述处理器运行而实现如权利要求1-9中任一项所述城市道路的无人机现实增强诊断方法的程序；
所述监控中心用于对模型训练用无人机，检测用无人机进行飞行导航，以及调用服务器中的标引库和模型库中的数据对诊断结果进行分析、处理、以及实时监测。
CN202110385043.6A 2021-04-09 2021-04-09 基于数字孪生技术的城市桥梁道路诊断方法及其系统 Active CN112802021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110385043.6A CN112802021B (zh) 2021-04-09 2021-04-09 基于数字孪生技术的城市桥梁道路诊断方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110385043.6A CN112802021B (zh) 2021-04-09 2021-04-09 基于数字孪生技术的城市桥梁道路诊断方法及其系统

Publications (2)

Publication Number Publication Date
CN112802021A true CN112802021A (zh) 2021-05-14
CN112802021B CN112802021B (zh) 2021-07-30

Family

ID=75816652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110385043.6A Active CN112802021B (zh) 2021-04-09 2021-04-09 基于数字孪生技术的城市桥梁道路诊断方法及其系统

Country Status (1)

Country Link
CN (1) CN112802021B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406968A (zh) * 2021-06-17 2021-09-17 广东工业大学 基于数字孪生的无人机自主起降巡航方法
CN113435834A (zh) * 2021-06-11 2021-09-24 泰瑞数创科技(北京)有限公司 一种社区医疗应急机构的城市三维模型协同管理方法与系统
CN113436341A (zh) * 2021-05-25 2021-09-24 泰瑞数创科技(北京)有限公司 基于城市地下管线模型的增强现实监测与管理方法及其系统
CN114155447A (zh) * 2021-12-02 2022-03-08 北京中科智易科技有限公司 人工智能大数据采集系统
CN114187341A (zh) * 2021-11-16 2022-03-15 泰瑞数创科技(北京)有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
CN114282298A (zh) * 2021-12-28 2022-04-05 长安大学 一种道路技术状况处理方法
CN114782588A (zh) * 2022-06-23 2022-07-22 四川见山科技有限责任公司 一种数字孪生城市中道路名称实时绘制方法及系统
CN115857447A (zh) * 2022-11-28 2023-03-28 安徽宝信信息科技有限公司 基于数字孪生的复杂工业系统运行监测方法及系统
CN115983139A (zh) * 2023-03-01 2023-04-18 北京科技大学 一种建筑群地震坠物场景混合现实展示方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104297004A (zh) * 2014-09-18 2015-01-21 天津大学 基于ar-arx模型的桥梁实时损伤预警方法
CN109255743A (zh) * 2018-04-17 2019-01-22 上海城建养护管理有限公司 养护综合管理系统
CN110097100A (zh) * 2019-04-19 2019-08-06 太原理工大学 一种基于离散动态贝叶斯网络的桥梁状态评估方法
CN110530973A (zh) * 2019-07-31 2019-12-03 西安交通大学 数字孪生驱动的航空发动机涡轮盘裂纹检测与诊断方法
CN110728397A (zh) * 2019-09-26 2020-01-24 河海大学 一种基于模型自动匹配的大坝单测点阈值计算方法
KR102094341B1 (ko) * 2018-10-02 2020-03-27 한국건설기술연구원 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
CN111461187A (zh) * 2020-03-20 2020-07-28 淮阴工学院 一种建筑物沉降智能检测系统
CN111738996A (zh) * 2020-06-09 2020-10-02 交通运输部公路科学研究所 基于机器学习的桥梁健康监测预警系统
CN111999298A (zh) * 2020-06-30 2020-11-27 南京林业大学 一种基于5g技术的无人机快速巡检桥梁系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104297004A (zh) * 2014-09-18 2015-01-21 天津大学 基于ar-arx模型的桥梁实时损伤预警方法
CN109255743A (zh) * 2018-04-17 2019-01-22 上海城建养护管理有限公司 养护综合管理系统
KR102094341B1 (ko) * 2018-10-02 2020-03-27 한국건설기술연구원 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
CN110097100A (zh) * 2019-04-19 2019-08-06 太原理工大学 一种基于离散动态贝叶斯网络的桥梁状态评估方法
CN110530973A (zh) * 2019-07-31 2019-12-03 西安交通大学 数字孪生驱动的航空发动机涡轮盘裂纹检测与诊断方法
CN110728397A (zh) * 2019-09-26 2020-01-24 河海大学 一种基于模型自动匹配的大坝单测点阈值计算方法
CN111461187A (zh) * 2020-03-20 2020-07-28 淮阴工学院 一种建筑物沉降智能检测系统
CN111738996A (zh) * 2020-06-09 2020-10-02 交通运输部公路科学研究所 基于机器学习的桥梁健康监测预警系统
CN111999298A (zh) * 2020-06-30 2020-11-27 南京林业大学 一种基于5g技术的无人机快速巡检桥梁系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANG CHU ET AL.: "neural turtle graphics for modeling city road layouts", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
周京春: "基于本体的城市地下管网语义模型", 《城市勘测》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436341A (zh) * 2021-05-25 2021-09-24 泰瑞数创科技(北京)有限公司 基于城市地下管线模型的增强现实监测与管理方法及其系统
CN113436341B (zh) * 2021-05-25 2022-07-01 泰瑞数创科技(北京)有限公司 基于城市地下管线模型的增强现实监测与管理方法及其系统
CN113435834A (zh) * 2021-06-11 2021-09-24 泰瑞数创科技(北京)有限公司 一种社区医疗应急机构的城市三维模型协同管理方法与系统
CN113435834B (zh) * 2021-06-11 2022-03-15 泰瑞数创科技(北京)有限公司 一种社区医疗应急机构的城市三维模型协同管理方法与系统
CN113406968A (zh) * 2021-06-17 2021-09-17 广东工业大学 基于数字孪生的无人机自主起降巡航方法
CN113406968B (zh) * 2021-06-17 2023-08-08 广东工业大学 基于数字孪生的无人机自主起降巡航方法
CN114187341B (zh) * 2021-11-16 2022-09-06 泰瑞数创科技(北京)股份有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
CN114187341A (zh) * 2021-11-16 2022-03-15 泰瑞数创科技(北京)有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
CN114155447A (zh) * 2021-12-02 2022-03-08 北京中科智易科技有限公司 人工智能大数据采集系统
CN114155447B (zh) * 2021-12-02 2022-06-24 北京中科智易科技有限公司 人工智能大数据采集系统
CN114282298A (zh) * 2021-12-28 2022-04-05 长安大学 一种道路技术状况处理方法
CN114282298B (zh) * 2021-12-28 2022-11-22 长安大学 一种道路技术状况处理方法
CN114782588A (zh) * 2022-06-23 2022-07-22 四川见山科技有限责任公司 一种数字孪生城市中道路名称实时绘制方法及系统
CN115857447A (zh) * 2022-11-28 2023-03-28 安徽宝信信息科技有限公司 基于数字孪生的复杂工业系统运行监测方法及系统
CN115983139A (zh) * 2023-03-01 2023-04-18 北京科技大学 一种建筑群地震坠物场景混合现实展示方法及装置

Also Published As

Publication number Publication date
CN112802021B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN112802021B (zh) 基于数字孪生技术的城市桥梁道路诊断方法及其系统
CN111540048B (zh) 一种基于空地融合的精细化实景三维建模方法
CN108168521A (zh) 一种基于无人机实现景观三维可视化的方法
CN105424006B (zh) 基于双目视觉的无人机悬停精度测量方法
CN106296814B (zh) 公路养护检测与可视化交互方法和系统
CN106327573A (zh) 一种针对城市建筑的实景三维建模方法
CN105862556A (zh) 智能车载道路信息采集装置以及采集道路信息的方法
JP2016105081A (ja) 点群データ利用システム
JP2012511697A (ja) 測地参照データベースを生成する方法
RU2591875C1 (ru) Способ построения карты экзогенных геологических процессов местности вдоль трассы магистрального нефтепровода
CN112652065A (zh) 三维社区建模方法、装置、计算机设备及存储介质
CN112700545B (zh) 一种遥感数据的模拟展示系统及方法
Wood et al. Measurement of three dimensional volcanic plume properties using multiple ground based infrared cameras
Cilek et al. Generation of high-resolution 3-D maps for landscape planning and design using UAV technologies
CN117437368B (zh) 基于无人机的路面平整度测量方法、系统、终端和介质
CN116433865B (zh) 一种基于场景可重建性分析的空地协同采集路径规划方法
CN112833891A (zh) 基于卫片识别的道路数据与车道级地图数据的融合方法
CN116594419A (zh) 巡检航线规划方法、装置、电子设备及存储介质
Drouin et al. Modeling and simulation framework for airborne camera systems
JP2005056186A (ja) 交通状況観測システム
Zheng et al. The methodology of UAV route planning for efficient 3D reconstruction of building model
Koehl et al. Image capture with synchronized multiple-cameras for extraction of accurate geometries
Polat LIDAR Derived 3d City Modelling
CN117152371B (zh) 一种三维地形测绘方法及系统
JP2011090047A (ja) 移動軌跡図作成装置およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 22 / F, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100086

Patentee after: Terry digital technology (Beijing) Co.,Ltd.

Address before: 100190 22 / F, building 683, zone 2, 5 Zhongguancun South Street, Haidian District, Beijing

Patentee before: Terra-IT Technology (Beijing) Co.,Ltd.