CN113963254A - 一种融合目标识别的车载式智能巡检方法及系统 - Google Patents

一种融合目标识别的车载式智能巡检方法及系统 Download PDF

Info

Publication number
CN113963254A
CN113963254A CN202111001095.5A CN202111001095A CN113963254A CN 113963254 A CN113963254 A CN 113963254A CN 202111001095 A CN202111001095 A CN 202111001095A CN 113963254 A CN113963254 A CN 113963254A
Authority
CN
China
Prior art keywords
target
inspection
image
camera
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111001095.5A
Other languages
English (en)
Inventor
李德勇
叶琰
雷豁
姚丹
韩崔燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongzhi Hongtu Technology Co ltd
Original Assignee
Wuhan Zhongzhi Hongtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongzhi Hongtu Technology Co ltd filed Critical Wuhan Zhongzhi Hongtu Technology Co ltd
Priority to CN202111001095.5A priority Critical patent/CN113963254A/zh
Publication of CN113963254A publication Critical patent/CN113963254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种融合目标识别的车载式智能巡检方法及系统，方法包括：首先，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据。然后，根据预先构建的目标识别模型对图像数据进行目标识别。接着，计算双目相机的视差和景深；进一步，根据景深图和目标像素信息，计算目标图像在相机坐标系下的三维坐标。最后，计算识别得到的巡检目标的具体经纬度坐标，将得到的巡检结果生成综合巡检报告。本发明通过人工智能模型及算法实现巡检目标识别，大幅提升巡检效率，通过双目相机的摄影测量融合GNSS、惯导定位技术，实现巡检目标的高精度定位，实现了城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。

Description

一种融合目标识别的车载式智能巡检方法及系统
技术领域
本发明涉及人工智能和摄影测量领域，尤其涉及一种融合目标识别的车载式智能巡检方法。
背景技术
城市基础设施的安全运行事关城市的发展和市民的生活，传统的市政设施巡检主要采用“人工巡检”的方式，这种方式不仅存在效率低、周期长、易漏检等问题，还由于样本图片采集的非连续性，导致巡检数据不完整，无法对漏检、误检进行追溯。利用车载式巡检技术，能够极大提高市政设施巡检的工作效率。
现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据，但通常需要人工完成巡检结果判读，不仅工作量较大，还容易产生误判，并且常规的巡检通常只针对某一种对象，效率较低。另外，现有车载巡检技术只能对车辆进行GNSS(GlobalNavigation Satellite System，全球导航卫星系统)定位，无法知道巡检目标的空间具体位置，难以为异常目标的维护抢修提供精确的位置信息。
发明内容
本发明实施例提供一种融合目标识别的车载式智能巡检方法及系统，实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
根据本发明实施例的第一方面，提供一种融合目标识别的车载式智能巡检方法，包括：
S1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
S2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
S3，计算双目相机的视差和景深，得到视差图和景深图；
S4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
S5，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
优选的，在步骤S2之前，所述方法还包括：构建基于YOLOv5的目标识别模型；构建所述目标识别模型的步骤包括：数据收集：收集包含各类巡检目标的样本图像；数据处理：对收集的样本图像进行打标处理生成目标样本，得到目标数据集；数据分类：将目标数据集分为训练集、验证集和测试集；模型训练：利用训练集数据对所述目标识别模型进行训练，直至满足收敛条件，得到训练完成的目标识别模型。
优选的，步骤S3中，计算双目相机的视差和景深，得到视差图和景深图，包括：利用SGBM(Semi-Global Block Matching，半全局块匹配)立体匹配算法计算双目相机同一像素点的视差，得到视差图；根据双目相机内外参、焦距和基线距离，利用相似三角形原理计算每个像素点与双目相机的距离，得到景深图。
优选的，所述利用SGBM立体匹配算法计算双目相机同一像素点的视差，得到视差图，具体包括：采用水平Sobel算子对双目相机左右图像进行处理后，对双目相机左右图像的像素点进行映射，得到双目相机左右图像的梯度信息；对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价，将两个代价在SAD窗口内进行计算；利用动态规划算法，计算得到双目相机左右图像中同一像素点的视差值d，得到视差图。
优选的，所述利用相似三角形原理计算每个像素点与双目相机的距离，具体包括：像素点与双目相机的距离Z的计算公式为：
Figure BDA0003237149370000031
其中，f为双目相机的焦距，d为双目相机左右图像中同一像素点的视差值，PL(uL,vL)和PR(uR,vR)分别为像素点P在左右镜头成像平面的投影点，T为左右镜头光心之间的距离。
优选的，步骤S4中，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标，具体包括：在目标识别区域内随机取N个像素点，将N个像素点的位置取平均，得到目标图像的位置信息；每个像素点的三维坐标计算公式为：
Figure BDA0003237149370000032
其中，xw，yw，zw分别为像素点在相机坐标系三个方向的坐标，Z为像素点与双目相机的距离，f为双目相机的焦距，T为双目相机左右镜头光心之间的距离，d为双目相机左右图像中同一像素点的视差值。
优选的，步骤S5中，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标，具体包括：
S51，基于步骤S1采集的IMU惯导数据，根据惯导位姿积分公式计算双目相机的位姿。
S52，利用车辆前后两点的GNSS坐标计算车辆的行进方向，得到车辆行进方向和正北方向的夹角α。
S53，根据步骤S51计算得到的相机位姿，将相机坐标系转换至世界坐标系，得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S54，计算巡检目标和相机之间的真实距离
Figure BDA0003237149370000041
巡检目标和车辆行进方向之间的夹角
Figure BDA0003237149370000042
S55，计算巡检目标和正北方向的夹角γ＝α+β，并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
根据本发明实施例的第二方面，还提供一种融合目标识别的车载式智能巡检系统，包括：
数据采集模块，用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
目标识别模块，用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
视差景深计算模块，用于计算双目相机的视差和景深，得到视差图和景深图；
相机坐标计算模块，用于根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
经纬度计算模块，用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
根据本发明实施例的第三方面，提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，该计算机程序被处理器执行时实现以执行第一方面实施例提供的融合目标识别的车载式智能巡检方法。
本发明实施例提供的融合目标识别的车载式智能巡检方法及系统，通过人工智能实现巡检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合GNSS、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现城市基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图；
图2为本发明实施例提供的像素点P在双目相机左右镜头成像的示意图；
图3为本发明实施例提供的融合目标识别的车载式智能巡检系统结构示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有的车载式智能巡检系统虽然利用相机获取巡检的视频、图像等数据，但通常需要人工完成巡检结果判读，不仅工作量较大，还容易产生误判，并且常规的巡检通常只针对某一种对象，效率较低。另外，现有车载巡检技术只能对车辆进行GNSS定位，无法知道巡检目标的空间具体位置，难以为异常目标的维护抢修提供精确的经纬度信息。
针对现有技术的上述问题，本发明实施例提供了一种融合目标识别的车载式智能巡检方法，实现市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。以下将结合附图通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供的融合目标识别的车载式智能巡检方法流程示意图，如图1所示，本发明实施例提供的融合目标识别的车载式智能巡检方法包括但不限于以下步骤：
步骤S1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
步骤S2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
作为一种可能的实施方式，在步骤S2之前，所述方法还包括：构建基于YOLOv5的目标识别模型。具体地，构建所述目标识别模型的步骤包括：
数据收集：收集包含各类巡检目标的样本图像；其中，巡检目标包括：设施(路面、井盖、消防栓、工程车等)；缺陷(路面裂缝、坑洼、井盖破裂、缺失、消防栓变形、喷水等)；事件(爆管、漏水、入侵等)。
数据处理：对收集的样本图像进行打标处理生成目标样本，得到目标数据集；
数据分类：将目标数据集分为训练集、验证集和测试集；
模型训练：利用训练集数据对所述目标识别模型进行训练，直至满足收敛条件，得到训练完成的目标识别模型。
步骤S3，计算双目相机的视差和景深，得到视差图和景深图；
作为一种可能的实施方式，步骤S3具体可以包括以下步骤S31～S32：
S31，利用SGBM立体匹配算法计算双目相机同一像素点的视差，得到视差图；步骤S31具体包括以下步骤S311～S313：
S311，采用水平Sobel算子对双目相机左右图像进行处理后，对双目相机左右图像的像素点进行映射，得到双目相机左右图像的梯度信息；
S312，对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价，将两个代价在SAD窗口内进行计算；
S313，利用动态规划算法，计算得到双目相机左右图像中同一像素点的视差值d，得到视差图。
S32，根据双目相机内外参、焦距和基线距离，利用相似三角形原理计算每个像素点与双目相机的距离，得到景深图。
图2为本发明实施例提供的像素点P在双目相机左右镜头成像的示意图。参照图2，像素点与双目相机的距离Z的计算公式为：
Figure BDA0003237149370000071
其中，OL和OR分别为双目相机左右镜头光圈的中心，定义其在成像平面的坐标为原点，f为双目相机的焦距，d为双目相机左右图像中同一像素点的视差值，PL(uL,vL)和PR(uR,vR)分别为像素点P在左右镜头成像平面的投影点，T为左右镜头光心之间的距离。
步骤S4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标。
具体地，本实施例在目标识别区域内随机取N个像素点，将N个像素点的位置取平均，得到目标图像的位置信息；每个像素点的三维坐标计算公式为：
Figure BDA0003237149370000081
其中，xw，yw，zw分别为像素点在相机坐标系三个方向的坐标，Z为像素点与双目相机的距离，f为双目相机的焦距，T为双目相机左右镜头光心之间的距离，d为双目相机左右图像中同一像素点的视差值。
步骤S5，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
作为一种可能的实施方式，步骤S5具体包括：
S51，基于步骤S1采集的IMU惯导数据，根据惯导位姿积分公式计算双目相机的位姿。
S52，利用车辆前后两点的GNSS坐标计算车辆的行进方向，得到车辆行进方向和正北方向的夹角α。
S53，根据步骤S51计算得到的相机位姿，将相机坐标系转换至世界坐标系，得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S54，计算巡检目标和相机之间的真实距离
Figure BDA0003237149370000082
巡检目标和车辆行进方向之间的夹角
Figure BDA0003237149370000091
S55，计算巡检目标和正北方向的夹角γ＝α+β，并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
在步骤S5之后，该方法还包括：
步骤S6，将得到的巡检结果生成综合巡检报告；巡检结果包括巡检目标的目标类型、目标大小和目标经纬度坐标等信息。
本发明实施例提供的融合目标识别的车载式智能巡检方法，通过人工智能实现巡检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合GNSS、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
在一个实施例中，本发明实施例还提供一种融合目标识别的车载式智能巡检系统，如图3所示，包括：
数据采集模块，用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
目标识别模块，用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
视差景深计算模块，用于计算双目相机的视差和景深，得到视差图和景深图；
相机坐标计算模块，用于根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
经纬度计算模块，用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
参照图3，数据采集模块分别与目标识别模块、视差景深计算模块和经纬度计算模块连接。相机采集模块分别连接所述目标识别模块、视视差景深计算模块和经纬度计算模块。
可以理解的是，本发明提供的一种融合目标识别的车载式智能巡检系统与前述各实施例提供的融合目标识别的车载式智能巡检方法相对应，具体的如何利用该系统进行融合目标识别的车载式智能巡检，可以参照前述实施例中融合目标识别的车载式智能巡检方法的相关技术特征，本实施例在此不再赘述。
在一个实施例中，本发明实施例提供了本发明实施例提供了一种电子设备，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(CommunicationsInterface)402、存储器(memory)303和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤，例如包括：S1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；S2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；S3，计算双目相机的视差和景深，得到视差图和景深图；S4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；S5，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的融合目标识别的车载式智能巡检方法的步骤，例如包括：S1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；S2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；S3，计算双目相机的视差和景深，得到视差图和景深图；S4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；S5，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
综上所述，本发明实施例提供了一种融合目标识别的车载式智能巡检方法及系统，通过人工智能实现巡检目标的识别，大幅提升了市政设施巡检效率，保证了巡检结果的准确性，节约了大量的人力成本；双目相机的摄影测量融合GNSS、惯导定位技术，实现巡检目标的高精度定位，为异常事件的快速处置提供了精确的经纬度信息。本发明实现了市政基础设施、缺陷及异常事件等目标的智能巡检与精确定位。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(方法)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的方法。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种融合目标识别的车载式智能巡检方法，其特征在于，包括：
S1，利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
S2，根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
S3，计算双目相机的视差和景深，得到视差图和景深图；
S4，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
S5，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
2.根据权利要求1所述的融合目标识别的车载式智能巡检方法，其特征在于，在步骤S2之前，所述方法还包括：
构建基于YOLOv5的目标识别模型；构建所述目标识别模型的步骤包括：
数据收集：收集包含各类巡检目标的样本图像；
数据处理：对收集的样本图像进行打标处理生成目标样本，得到目标数据集；
数据分类：将目标数据集分为训练集、验证集和测试集；
模型训练：利用训练集数据对所述目标识别模型进行训练，直至满足收敛条件，得到训练完成的目标识别模型。
3.根据权利要求1所述的融合目标识别的车载式智能巡检方法，其特征在于，步骤S3中，计算双目相机的视差和景深，得到视差图和景深图，包括：
利用SGBM立体匹配算法计算双目相机同一像素点的视差，得到视差图；
根据双目相机内外参、焦距和基线距离，利用相似三角形原理计算每个像素点与双目相机的距离，得到景深图。
4.根据权利要求1所述的融合目标识别的车载式智能巡检方法，其特征在于，所述利用SGBM立体匹配算法计算双目相机同一像素点的视差，得到视差图，具体包括：
采用水平Sobel算子对双目相机左右图像进行处理后，对双目相机左右图像的像素点进行映射，得到双目相机左右图像的梯度信息；
对梯度信息和原图像选择采样的方式获取梯度代价和SAD代价，将两个代价在SAD窗口内进行计算；
利用动态规划算法，计算得到双目相机左右图像中同一像素点的视差值d，得到视差图。
5.根据权利要求4所述的融合目标识别的车载式智能巡检方法，其特征在于，所述利用相似三角形原理计算每个像素点与双目相机的距离，具体包括：
像素点与双目相机的距离Z的计算公式为：
Figure FDA0003237149360000021
其中，f为双目相机的焦距，d为双目相机左右图像中同一像素点的视差值，PL(uL,vL)和PR(uR,vR)分别为像素点P在左右镜头成像平面的投影点，T为左右镜头光心之间的距离。
6.根据权利要求5所述的融合目标识别的车载式智能巡检方法，其特征在于，步骤S4中，根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标，具体包括：
在目标识别区域内随机取N个像素点，将N个像素点的位置取平均，得到目标图像的位置信息；每个像素点的三维坐标计算公式为：
Figure FDA0003237149360000031
其中，xw，yw，zw分别为像素点在相机坐标系三个方向的坐标，Z为像素点与双目相机的距离，f为双目相机的焦距，T为双目相机左右镜头光心之间的距离，d为双目相机左右图像中同一像素点的视差值。
7.根据权利要求1所述的融合目标识别的车载式智能巡检方法，其特征在于，步骤S5中，利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标，具体包括：
S51，基于步骤S1采集的IMU惯导数据，根据惯导位姿积分公式计算双目相机的位姿。
S52，利用车辆前后两点的GNSS坐标计算车辆的行进方向，得到车辆行进方向和正北方向的夹角α。
S53，根据步骤S51计算得到的相机位姿，将相机坐标系转换至世界坐标系，得到巡检目标在世界坐标系下的三维空间坐标(x,y,z)。
S54，计算巡检目标和相机之间的真实距离
Figure FDA0003237149360000032
巡检目标和车辆行进方向之间的夹角
Figure FDA0003237149360000041
S55，计算巡检目标和正北方向的夹角γ＝α+β，并结合当前相机的GNSS坐标及巡检目标与当前相机的真实空间距离计算得到巡检目标的经纬度坐标。
8.一种融合目标识别的车载式智能巡检系统，其特征在于，包括：
数据采集模块，用于利用车载式巡检设备实时采集巡检过程中的双目图像数据、IMU惯导数据和GNSS定位数据；
目标识别模块，用于根据预先构建的目标识别模型对左相机图像中的巡检目标进行目标识别，获得目标识别结果；其中，目标识别结果包括目标类型、目标大小和目标像素信息；
视差景深计算模块，用于计算双目相机的视差和景深，得到视差图和景深图；
相机坐标计算模块，用于根据所述景深图和所述目标像素信息，计算目标图像在相机坐标系下的三维坐标；
经纬度计算模块，用于利用所述GNSS定位数据以及所述目标图像在相机坐标系下的三维坐标，结合IMU惯导数据进行融合计算，得到巡检目标的经纬度坐标。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述融合目标识别的车载式智能巡检方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述融合目标识别的车载式智能巡检方法的步骤。
CN202111001095.5A 2021-08-30 2021-08-30 一种融合目标识别的车载式智能巡检方法及系统 Pending CN113963254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111001095.5A CN113963254A (zh) 2021-08-30 2021-08-30 一种融合目标识别的车载式智能巡检方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111001095.5A CN113963254A (zh) 2021-08-30 2021-08-30 一种融合目标识别的车载式智能巡检方法及系统

Publications (1)

Publication Number Publication Date
CN113963254A true CN113963254A (zh) 2022-01-21

Family

ID=79460535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111001095.5A Pending CN113963254A (zh) 2021-08-30 2021-08-30 一种融合目标识别的车载式智能巡检方法及系统

Country Status (1)

Country Link
CN (1) CN113963254A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714360A (zh) * 2022-04-22 2022-07-08 华中科技大学 一种基于距离值序列约束的转向架轮对定位系统和方法
CN114998453A (zh) * 2022-08-08 2022-09-02 国网浙江省电力有限公司宁波供电公司 一种基于高尺度单元的立体匹配模型及其应用方法
CN115218918A (zh) * 2022-09-20 2022-10-21 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714360A (zh) * 2022-04-22 2022-07-08 华中科技大学 一种基于距离值序列约束的转向架轮对定位系统和方法
CN114714360B (zh) * 2022-04-22 2024-02-02 华中科技大学 一种基于距离值序列约束的转向架轮对定位系统和方法
CN114998453A (zh) * 2022-08-08 2022-09-02 国网浙江省电力有限公司宁波供电公司 一种基于高尺度单元的立体匹配模型及其应用方法
CN115218918A (zh) * 2022-09-20 2022-10-21 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备
CN115218918B (zh) * 2022-09-20 2022-12-27 上海仙工智能科技有限公司 一种智能导盲方法及导盲设备

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
CN113963254A (zh) 一种融合目标识别的车载式智能巡检方法及系统
CN105844624B (zh) 动态标定系统、动态标定系统中的联合优化方法及装置
EP3505869A1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN111830953B (zh) 车辆自定位方法、装置及系统
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
EP2660777A2 (en) Image registration of multimodal data using 3D geoarcs
CN110033489A (zh) 一种车辆定位准确性的评估方法、装置及设备
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN111141311A (zh) 一种高精度地图定位模块的评估方法及系统
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN111191596B (zh) 一种封闭区域制图方法、装置及存储介质
CN116258687A (zh) 数据标注方法、系统、装置及电子设备、存储介质
CN114359384A (zh) 一种车辆定位方法、装置、车辆系统和存储介质
Bukin et al. A computer vision system for navigation of ground vehicles: Hardware and software
Lee et al. Semi-automatic framework for traffic landmark annotation
CN106874837A (zh) 一种基于视频图像处理的车辆检测方法
CN113536854A (zh) 一种高精地图路牌的生成方法、装置及服务器
CN117132728B (zh) 构建地图的方法、装置、电子设备及存储介质
CN117372632B (zh) 二维图像的标注方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination