CN113963254A - 一种融合目标识别的车载式智能巡检方法及系统 - Google Patents
一种融合目标识别的车载式智能巡检方法及系统 Download PDFInfo
- Publication number
- CN113963254A CN113963254A CN202111001095.5A CN202111001095A CN113963254A CN 113963254 A CN113963254 A CN 113963254A CN 202111001095 A CN202111001095 A CN 202111001095A CN 113963254 A CN113963254 A CN 113963254A
- Authority
- CN
- China
- Prior art keywords
- target
- inspection
- image
- camera
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 230000010354 integration Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种融合目标识别的车载式智能巡检方法及系统,方法包括:首先,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据。然后,根据预先构建的目标识别模型对图像数据进行目标识别。接着,计算双目相机的视差和景深;进一步,根据景深图和目标像素信息,计算目标图像在相机坐标系下的三维坐标。最后,计算识别得到的巡检目标的具体经纬度坐标,将得到的巡检结果生成综合巡检报告。本发明通过人工智能模型及算法实现巡检目标识别,大幅提升巡检效率,通过双目相机的摄影测量融合GNSS、惯导定位技术,实现巡检目标的高精度定位,实现了城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
Description
技术领域
本发明涉及人工智能和摄影测量领域,尤其涉及一种融合目标识别的车载式智能巡检方法。
背景技术
城市基础设施的安全运行事关城市的发展和市民的生活,传统的市政设施巡检主要采用“人工巡检”的方式,这种方式不仅存在效率低、周期长、易漏检等问题,还由于样本图片采集的非连续性,导致巡检数据不完整,无法对漏检、误检进行追溯。利用车载式巡检技术,能够极大提高市政设施巡检的工作效率。
现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据,但通常需要人工完成巡检结果判读,不仅工作量较大,还容易产生误判,并且常规的巡检通常只针对某一种对象,效率较低。另外,现有车载巡检技术只能对车辆进行GNSS(GlobalNavigation Satellite System,全球导航卫星系统)定位,无法知道巡检目标的空间具体位置,难以为异常目标的维护抢修提供精确的位置信息。
发明内容
本发明实施例提供一种融合目标识别的车载式智能巡检方法及系统,实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
根据本发明实施例的第一方面,提供一种融合目标识别的车载式智能巡检方法,包括:
S1,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
S2,根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
S3,计算双目相机的视差和景深,得到视差图和景深图;
S4,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;
S5,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
优选的,在步骤S2之前,所述方法还包括:构建基于YOLOv5的目标识别模型;构建所述目标识别模型的步骤包括:数据收集:收集包含各类巡检目标的样本图像;数据处理:对收集的样本图像进行打标处理生成目标样本,得到目标数据集;数据分类:将目标数据集分为训练集、验证集和测试集;模型训练:利用训练集数据对所述目标识别模型进行训练,直至满足收敛条件,得到训练完成的目标识别模型。
优选的,步骤S3中,计算双目相机的视差和景深,得到视差图和景深图,包括:利用SGBM(Semi-Global Block Matching,半全局块匹配)立体匹配算法计算双目相机同一像素点的视差,得到视差图;根据双目相机内外参、焦距和基线距离,利用相似三角形原理计算每个像素点与双目相机的距离,得到景深图。
优选的,所述利用SGBM立体匹配算法计算双目相机同一像素点的视差,得到视差图,具体包括:采用水平Sobel算子对双目相机左右图像进行处理后,对双目相机左右图像的像素点进行映射,得到双目相机左右图像的梯度信息;对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价,将两个代价在SAD窗口内进行计算;利用动态规划算法,计算得到双目相机左右图像中同一像素点的视差值d,得到视差图。
优选的,所述利用相似三角形原理计算每个像素点与双目相机的距离,具体包括:像素点与双目相机的距离Z的计算公式为:
其中,f为双目相机的焦距,d为双目相机左右图像中同一像素点的视差值,PL(uL,vL)和PR(uR,vR)分别为像素点P在左右镜头成像平面的投影点,T为左右镜头光心之间的距离。
优选的,步骤S4中,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标,具体包括:在目标识别区域内随机取N个像素点,将N个像素点的位置取平均,得到目标图像的位置信息;每个像素点的三维坐标计算公式为:
其中,xw,yw,zw分别为像素点在相机坐标系三个方向的坐标,Z为像素点与双目相机的距离,f为双目相机的焦距,T为双目相机左右镜头光心之间的距离,d为双目相机左右图像中同一像素点的视差值。
优选的,步骤S5中,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标,具体包括:
S51,基于步骤S1采集的IMU惯导数据,根据惯导位姿积分公式计算双目相机的位姿。
S52,利用车辆前后两点的GNSS坐标计算车辆的行进方向,得到车辆行进方向和正北方向的夹角α。
S53,根据步骤S51计算得到的相机位姿,将相机坐标系转换至世界坐标系,得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S55,计算巡检目标和正北方向的夹角γ=α+β,并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
根据本发明实施例的第二方面,还提供一种融合目标识别的车载式智能巡检系统,包括:
数据采集模块,用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
目标识别模块,用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
视差景深计算模块,用于计算双目相机的视差和景深,得到视差图和景深图;
相机坐标计算模块,用于根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;
经纬度计算模块,用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
根据本发明实施例的第三方面,提供了一种电子设备,包括处理器、存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机程序,该计算机程序被处理器执行时实现以执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
本发明实施例提供的融合目标识别的车载式智能巡检方法及系统,通过人工智能实现巡检目标的识别,大幅提升了市政设施巡检效率,保证了巡检结果的准确性,节约了大量的人力成本;双目相机的摄影测量融合GNSS、惯导定位技术,实现巡检目标的高精度定位,为异常事件的快速处置提供了精确的经纬度信息。本发明实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图;
图2为本发明实施例提供的像素点P在双目相机左右镜头成像的示意图;
图3为本发明实施例提供的融合目标识别的车载式智能巡检系统结构示意图;
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据,但通常需要人工完成巡检结果判读,不仅工作量较大,还容易产生误判,并且常规的巡检通常只针对某一种对象,效率较低。另外,现有车载巡检技术只能对车辆进行GNSS定位,无法知道巡检目标的空间具体位置,难以为异常目标的维护抢修提供精确的经纬度信息。
针对现有技术的上述问题,本发明实施例提供了一种融合目标识别的车载式智能巡检方法,实现市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。以下将结合附图通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图,如图1所示,本发明实施例提供的融合目标识别的车载式智能巡检方法包括但不限于以下步骤:
步骤S1,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
步骤S2,根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
作为一种可能的实施方式,在步骤S2之前,所述方法还包括:构建基于YOLOv5的目标识别模型。具体地,构建所述目标识别模型的步骤包括:
数据收集:收集包含各类巡检目标的样本图像;其中,巡检目标包括:设施(路面、井盖、消防栓、工程车等);缺陷(路面裂缝、坑洼、井盖破裂、缺失、消防栓变形、喷水等);事件(爆管、漏水、入侵等)。
数据处理:对收集的样本图像进行打标处理生成目标样本,得到目标数据集;
数据分类:将目标数据集分为训练集、验证集和测试集;
模型训练:利用训练集数据对所述目标识别模型进行训练,直至满足收敛条件,得到训练完成的目标识别模型。
步骤S3,计算双目相机的视差和景深,得到视差图和景深图;
作为一种可能的实施方式,步骤S3具体可以包括以下步骤S31~S32:
S31,利用SGBM立体匹配算法计算双目相机同一像素点的视差,得到视差图;步骤S31具体包括以下步骤S311~S313:
S311,采用水平Sobel算子对双目相机左右图像进行处理后,对双目相机左右图像的像素点进行映射,得到双目相机左右图像的梯度信息;
S312,对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价,将两个代价在SAD窗口内进行计算;
S313,利用动态规划算法,计算得到双目相机左右图像中同一像素点的视差值d,得到视差图。
S32,根据双目相机内外参、焦距和基线距离,利用相似三角形原理计算每个像素点与双目相机的距离,得到景深图。
图2为本发明实施例提供的像素点P在双目相机左右镜头成像的示意图。参照图2,像素点与双目相机的距离Z的计算公式为:
其中,OL和OR分别为双目相机左右镜头光圈的中心,定义其在成像平面的坐标为原点,f为双目相机的焦距,d为双目相机左右图像中同一像素点的视差值,PL(uL,vL)和PR(uR,vR)分别为像素点P在左右镜头成像平面的投影点,T为左右镜头光心之间的距离。
步骤S4,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标。
具体地,本实施例在目标识别区域内随机取N个像素点,将N个像素点的位置取平均,得到目标图像的位置信息;每个像素点的三维坐标计算公式为:
其中,xw,yw,zw分别为像素点在相机坐标系三个方向的坐标,Z为像素点与双目相机的距离,f为双目相机的焦距,T为双目相机左右镜头光心之间的距离,d为双目相机左右图像中同一像素点的视差值。
步骤S5,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
作为一种可能的实施方式,步骤S5具体包括:
S51,基于步骤S1采集的IMU惯导数据,根据惯导位姿积分公式计算双目相机的位姿。
S52,利用车辆前后两点的GNSS坐标计算车辆的行进方向,得到车辆行进方向和正北方向的夹角α。
S53,根据步骤S51计算得到的相机位姿,将相机坐标系转换至世界坐标系,得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S55,计算巡检目标和正北方向的夹角γ=α+β,并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
在步骤S5之后,该方法还包括:
步骤S6,将得到的巡检结果生成综合巡检报告;巡检结果包括巡检目标的目标类型、目标大小和目标经纬度坐标等信息。
本发明实施例提供的融合目标识别的车载式智能巡检方法,通过人工智能实现巡检目标的识别,大幅提升了市政设施巡检效率,保证了巡检结果的准确性,节约了大量的人力成本;双目相机的摄影测量融合GNSS、惯导定位技术,实现巡检目标的高精度定位,为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
在一个实施例中,本发明实施例还提供一种融合目标识别的车载式智能巡检系统,如图3所示,包括:
数据采集模块,用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
目标识别模块,用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
视差景深计算模块,用于计算双目相机的视差和景深,得到视差图和景深图;
相机坐标计算模块,用于根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;
经纬度计算模块,用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
参照图3,数据采集模块分别与目标识别模块、视差景深计算模块和经纬度计算模块连接。相机采集模块分别连接所述目标识别模块、视视差景深计算模块和经纬度计算模块。
可以理解的是,本发明提供的一种融合目标识别的车载式智能巡检系统与前述各实施例提供的融合目标识别的车载式智能巡检方法相对应,具体的如何利用该系统进行融合目标识别的车载式智能巡检,可以参照前述实施例中融合目标识别的车载式智能巡检方法的相关技术特征,本实施例在此不再赘述。
在一个实施例中,本发明实施例提供了本发明实施例提供了一种电子设备,如图4所示,该电子设备可以包括:处理器(processor)401、通信接口(CommunicationsInterface)402、存储器(memory)303和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令,以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤,例如包括:S1,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;S2,根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;S3,计算双目相机的视差和景深,得到视差图和景深图;S4,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;S5,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
在一个实施例中,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤,例如包括:S1,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;S2,根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;S3,计算双目相机的视差和景深,得到视差图和景深图;S4,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;S5,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
综上所述,本发明实施例提供了一种融合目标识别的车载式智能巡检方法及系统,通过人工智能实现巡检目标的识别,大幅提升了市政设施巡检效率,保证了巡检结果的准确性,节约了大量的人力成本;双目相机的摄影测量融合GNSS、惯导定位技术,实现巡检目标的高精度定位,为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(方法)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品,该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种融合目标识别的车载式智能巡检方法,其特征在于,包括:
S1,利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
S2,根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
S3,计算双目相机的视差和景深,得到视差图和景深图;
S4,根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;
S5,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
2.根据权利要求1所述的融合目标识别的车载式智能巡检方法,其特征在于,在步骤S2之前,所述方法还包括:
构建基于YOLOv5的目标识别模型;构建所述目标识别模型的步骤包括:
数据收集:收集包含各类巡检目标的样本图像;
数据处理:对收集的样本图像进行打标处理生成目标样本,得到目标数据集;
数据分类:将目标数据集分为训练集、验证集和测试集;
模型训练:利用训练集数据对所述目标识别模型进行训练,直至满足收敛条件,得到训练完成的目标识别模型。
3.根据权利要求1所述的融合目标识别的车载式智能巡检方法,其特征在于,步骤S3中,计算双目相机的视差和景深,得到视差图和景深图,包括:
利用SGBM立体匹配算法计算双目相机同一像素点的视差,得到视差图;
根据双目相机内外参、焦距和基线距离,利用相似三角形原理计算每个像素点与双目相机的距离,得到景深图。
4.根据权利要求1所述的融合目标识别的车载式智能巡检方法,其特征在于,所述利用SGBM立体匹配算法计算双目相机同一像素点的视差,得到视差图,具体包括:
采用水平Sobel算子对双目相机左右图像进行处理后,对双目相机左右图像的像素点进行映射,得到双目相机左右图像的梯度信息;
对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价,将两个代价在SAD窗口内进行计算;
利用动态规划算法,计算得到双目相机左右图像中同一像素点的视差值d,得到视差图。
7.根据权利要求1所述的融合目标识别的车载式智能巡检方法,其特征在于,步骤S5中,利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标,具体包括:
S51,基于步骤S1采集的IMU惯导数据,根据惯导位姿积分公式计算双目相机的位姿。
S52,利用车辆前后两点的GNSS坐标计算车辆的行进方向,得到车辆行进方向和正北方向的夹角α。
S53,根据步骤S51计算得到的相机位姿,将相机坐标系转换至世界坐标系,得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S55,计算巡检目标和正北方向的夹角γ=α+β,并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
8.一种融合目标识别的车载式智能巡检系统,其特征在于,包括:
数据采集模块,用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据;
目标识别模块,用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别,获得目标识别结果;其中,目标识别结果包括目标类型、目标大小和目标像素信息;
视差景深计算模块,用于计算双目相机的视差和景深,得到视差图和景深图;
相机坐标计算模块,用于根据所述景深图和所述目标像素信息,计算目标图像在相机坐标系下的三维坐标;
经纬度计算模块,用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标,结合IMU惯导数据进行融合计算,得到巡检目标的经纬度坐标。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述融合目标识别的车载式智能巡检方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述融合目标识别的车载式智能巡检方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001095.5A CN113963254A (zh) | 2021-08-30 | 2021-08-30 | 一种融合目标识别的车载式智能巡检方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001095.5A CN113963254A (zh) | 2021-08-30 | 2021-08-30 | 一种融合目标识别的车载式智能巡检方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113963254A true CN113963254A (zh) | 2022-01-21 |
Family
ID=79460535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111001095.5A Pending CN113963254A (zh) | 2021-08-30 | 2021-08-30 | 一种融合目标识别的车载式智能巡检方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963254A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114714360A (zh) * | 2022-04-22 | 2022-07-08 | 华中科技大学 | 一种基于距离值序列约束的转向架轮对定位系统和方法 |
CN114998453A (zh) * | 2022-08-08 | 2022-09-02 | 国网浙江省电力有限公司宁波供电公司 | 一种基于高尺度单元的立体匹配模型及其应用方法 |
CN115218918A (zh) * | 2022-09-20 | 2022-10-21 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
CN118181300A (zh) * | 2024-05-13 | 2024-06-14 | 广东电网有限责任公司佛山供电局 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100232683A1 (en) * | 2009-03-11 | 2010-09-16 | Omron Corporation | Method For Displaying Recognition Result Obtained By Three-Dimensional Visual Sensor And Three-Dimensional Visual Sensor |
CN109829908A (zh) * | 2019-01-31 | 2019-05-31 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
CN110336991A (zh) * | 2019-06-28 | 2019-10-15 | 深圳数位传媒科技有限公司 | 一种基于双目相机的环境提示方法及装置 |
CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析系统及方法 |
-
2021
- 2021-08-30 CN CN202111001095.5A patent/CN113963254A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100232683A1 (en) * | 2009-03-11 | 2010-09-16 | Omron Corporation | Method For Displaying Recognition Result Obtained By Three-Dimensional Visual Sensor And Three-Dimensional Visual Sensor |
CN109829908A (zh) * | 2019-01-31 | 2019-05-31 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
CN110336991A (zh) * | 2019-06-28 | 2019-10-15 | 深圳数位传媒科技有限公司 | 一种基于双目相机的环境提示方法及装置 |
CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析系统及方法 |
Non-Patent Citations (1)
Title |
---|
吴华;冯达;柳长安;杨国田;: "基于导航信息的架空电力线巡检视频摘要", 华中科技大学学报(自然科学版), no. 1, 10 January 2014 (2014-01-10), pages 458 - 461 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114714360A (zh) * | 2022-04-22 | 2022-07-08 | 华中科技大学 | 一种基于距离值序列约束的转向架轮对定位系统和方法 |
CN114714360B (zh) * | 2022-04-22 | 2024-02-02 | 华中科技大学 | 一种基于距离值序列约束的转向架轮对定位系统和方法 |
CN114998453A (zh) * | 2022-08-08 | 2022-09-02 | 国网浙江省电力有限公司宁波供电公司 | 一种基于高尺度单元的立体匹配模型及其应用方法 |
CN115218918A (zh) * | 2022-09-20 | 2022-10-21 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
CN115218918B (zh) * | 2022-09-20 | 2022-12-27 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
CN118181300A (zh) * | 2024-05-13 | 2024-06-14 | 广东电网有限责任公司佛山供电局 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
CN118181300B (zh) * | 2024-05-13 | 2024-08-02 | 广东电网有限责任公司佛山供电局 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN111144388B (zh) | 一种基于单目影像的道路标志标线的更新方法 | |
CN113963254A (zh) | 一种融合目标识别的车载式智能巡检方法及系统 | |
CN111830953B (zh) | 车辆自定位方法、装置及系统 | |
CN112184890B (zh) | 一种应用于电子地图中的摄像头精准定位方法及处理终端 | |
CN107635129B (zh) | 一种三维三目摄像装置及深度融合方法 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN111141311B (zh) | 一种高精度地图定位模块的评估方法及系统 | |
CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
CN112465970B (zh) | 导航地图构建方法、装置、系统、电子装置和存储介质 | |
CN102368137B (zh) | 嵌入式标定立体视觉系统 | |
CN109029442A (zh) | 基于多视角匹配的定位装置及方法 | |
CN111316324A (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
CN111191596B (zh) | 一种封闭区域制图方法、装置及存储介质 | |
CN117541738A (zh) | 一种基于三维点云的输电线路隐患在线监测方法及装置 | |
CN116258687A (zh) | 数据标注方法、系统、装置及电子设备、存储介质 | |
CN114359384A (zh) | 一种车辆定位方法、装置、车辆系统和存储介质 | |
CN106874837A (zh) | 一种基于视频图像处理的车辆检测方法 | |
CN113536854A (zh) | 一种高精地图路牌的生成方法、装置及服务器 | |
CN117132728B (zh) | 构建地图的方法、装置、电子设备及存储介质 | |
CN117372632B (zh) | 二维图像的标注方法、装置、计算机设备及存储介质 | |
CN113810591B (zh) | 一种高精地图作业系统及云端平台 | |
CN116007637B (zh) | 定位装置、方法、车载设备、车辆、及计算机程序产品 | |
Kang et al. | Rapidly realizing 3D visualisation for urban street based on multi-source data integration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |