CN111553236A - 基于道路前景图像的路面病害目标检测与实例分割方法 - Google Patents

基于道路前景图像的路面病害目标检测与实例分割方法 Download PDF

Info

Publication number
CN111553236A
CN111553236A CN202010324404.1A CN202010324404A CN111553236A CN 111553236 A CN111553236 A CN 111553236A CN 202010324404 A CN202010324404 A CN 202010324404A CN 111553236 A CN111553236 A CN 111553236A
Authority
CN
China
Prior art keywords
image
model
mask
target
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010324404.1A
Other languages
English (en)
Other versions
CN111553236B (zh
Inventor
罗文婷
陈泽斌
胡辉
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Agriculture and Forestry University
Original Assignee
Fujian Agriculture and Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Agriculture and Forestry University filed Critical Fujian Agriculture and Forestry University
Priority to CN202010324404.1A priority Critical patent/CN111553236B/zh
Publication of CN111553236A publication Critical patent/CN111553236A/zh
Application granted granted Critical
Publication of CN111553236B publication Critical patent/CN111553236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于道路前景图像的路面病害目标检测与实例分割方法。通过双目相机采集道路前景图像并获取图像景深信息；然后通过K‑means聚类算法分析最佳的锚框(Anchors)尺寸，并调整模型参数以使得Mask‑RCNN模型精准稳定的对路面病害进行目标识别；制定目标重叠过滤策略，将重复检测的目标进行过滤；最后，根据预测框的四个顶点进行坐标系转换，并结合深度图像信息获取病害的真实面积，从而自动生成路面病害明细表。本发明可以实现路面病害在原图中的定位及轮廓实例分割，通过两个分支(mask branch)并行识别，将最终得到的结果融合到一张图像中，大大提高了识别的准确率；为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。

Description

基于道路前景图像的路面病害目标检测与实例分割方法
技术领域
本发明涉及道路自动检测技术领域，特别是一种基于道路前景图像的路面病害目标检测与实例分割方法。
背景技术
目前，路面病害数据已基本实现自动化采集，诸如美国WayLink公司研发的DHDV，武大卓越科技研发的ZOYON-RTM，以及中公高科研发的CiCS等路面检测设备，为路面病害自动识别算法的研究提供了数据基础。路面病害的检测作业，特别是高速公路，是养护部门每年不可或缺的工作。早期的病害识别手段主要是通过人为手动标定出病害范围和类型，由于采集的2D激光图像路面范围都是固定的，因此可根据病害在图像上的位置坐标换算为实际的真实面积。我国的高速公路里程已跃居世界第一，若继续采用人工肉眼识别病害信息，不仅要耗费大量的人力和精力，更的降低了工作效率。
近年来，随着人工智能、深度学习的快速发展，利用深层神经网络根据目标特点，自动学习并提取出特征是主流的研究方向。对于路面病害检测的方法主要有两种：第一种为单阶段的目标检测模型，典型代表有YOLOV3模型和SSD模型，诸如此类模型通过一系列卷积计算提取出病害特征，最终输出预测框的图像坐标。激光图像不受周边环境干扰，故单阶段检测模型在2D激光图像数据集上表现较好，但是此类模型无法得到路面病害的实际轮廓信息，同时，激光设备昂贵且易受路面水渍影响。第二种为语义分割模型，典型代表有全卷积神经网络以及自编码器结构的U-net模型。语义分割模型通过卷积、池化和上采样，最终输出只有病害轮廓信息的图像，并未输出预测框位置，无法计算实际的面积。
综上所述，现有的路面病害识别算法存在一定的局限性，主要问题是未能同时得到预测框的位置坐标和病害的实际轮廓信息，不能进行病害信息统计，模型泛化能力弱。同时，大多数模型使用的图像数据都是由昂贵的激光设备采集的。
发明内容
本发明的目的在于提供一种基于道路前景图像的路面病害目标检测与实例分割方法，可以实现路面病害在原图中的定位及轮廓实例分割，通过两个分支(maskbranch)并行识别，将最终得到的结果融合到一张图像中，大大提高了识别的准确率；为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。
为实现上述目的，本发明的技术方案是：一种基于道路前景图像的路面病害目标检测与实例分割方法，包括如下步骤：
步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；
步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；
步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；
步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；
步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；
步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘。
在本发明一实施例中，所述步骤S2具体实现如下：
步骤S21、图像筛选：筛选出存在路面病害的路面前景图像，所述路面病害，包括：纵缝、横缝、龟裂、坑槽、修补条及修补块；
步骤S22、数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的路面病害对应的标签，若一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号。
在本发明一实施例中，所述步骤S3具体实现如下：
步骤S31、获取最佳的锚框尺寸：从步骤S22数据标定所生成的json文件中提取出四个顶点坐标，采用K-means聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示：
Figure BDA0002462737720000021
Figure BDA0002462737720000022
式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心；
步骤S32、模型参数调整：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练；
步骤S33、训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了maskbranch网络，因此整体的损失函数需要将其作为一个损失项纳入其中，损失函数的计算表达式如(3)所示：
L＝Lcls+Lbox+Lmask (3)
式(3)中，Lcls表示模型目标分类损失值；Lbox表示预测框回归损失；Lmask表示预测的目标掩膜损失。
在本发明一实施例中，所述步骤S4具体实现如下：
步骤S41、病害识别：调用Mask-RCNN模型的权重进行路面病害自动识别，以预测框和真实标签区域之间的交集大小，即联合交叉域为置信度，将IoU大于0.7的判定为识别正确，反之为识别错误，并计算每一类别的平均精度AP值，AP值大小为P-R曲线与坐标轴所围成的面积，最终，求所有路面病害类别AP值的平均数；准确率P、召回率R的计算公式如(4)、(5)所示：
Figure BDA0002462737720000031
Figure BDA0002462737720000032
式(4)、(5)中，NTP表示被正确识别的样本数；NFP表示被错识别为目标的样本数；NFN代表属于目标范畴，但未被识别出来的样本数；
步骤S42、图像坐标与相机坐标转换：根据三角形相似原理，将检测得到的目标区域坐标转换为相机坐标系中的坐标，数学表达式如式(6)和(7)所示：
Figure BDA0002462737720000033
Figure BDA0002462737720000034
式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；Xc、Yc则表示相机坐标系中的横、纵坐标；Zc为图像景深值；f表示相机焦距；
步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：
Figure BDA0002462737720000041
Figure BDA0002462737720000042
S＝width×length (10)
其中，width、length分别表示宽度、长度；xmax、xmin分别代表预测框的最大、最小横坐标；ymax、ymin分别代表最大、最小纵坐标；S表示真实面积。
在本发明一实施例中，所述步骤S5具体实现方式为：当一张图像中出现两个同一类型的病害时，根据预测得到的矩形区域中心点位置和病害类别名称判断目标是否出现重叠，具体计算公式如(11)、(12)所示，当判别式(13)成立时，即两个目标的重合度大于50％，过滤掉面积较小的目标，并将这些图像另存为到本地文件夹，以便进行回溯检查。
Figure BDA0002462737720000043
Figure BDA0002462737720000044
Figure BDA0002462737720000045
其中，W表示宽度；H表示高度；X表示横坐标；Y表示纵坐标；C表示中心点(x,y)位置坐标，式(11)、(12)求解结果分别代表矩形a、矩形b的各个参数信息，当式(13)成立时，即目标出现了重叠。
相较于现有技术，本发明具有以下有益效果：本发明方法可以实现路面病害在原图中的定位及轮廓实例分割，通过两个分支(mask branch)并行识别，将最终得到的结果融合到一张图像中，大大提高了识别的准确率；为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。
附图说明
图1为本发明实施例的流程图
图2为本发明实施例的深度图像。
图3为本发明实施例的采集设备图像。
图4为本发明实施例的真实数据标签样本图像。
图5为本发明实施例的自动识别效果图像。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于道路前景图像的路面病害目标检测与实例分割方法，包括以下步骤：
步骤S1：利用双目相机与GPS的组合车载设备采集路面前景图像，并生成深度图像。
步骤S2：对采集得到的前景图像通过人工筛选出具有病害的图像，并使用lableme多边形标注工具构建数据集；
步骤S3：使用K-means聚类算法获取最佳的锚框尺寸，微调模型学习率及迭代次数等参数，并开始对Mask-RCNN模型进行训练；
步骤S4：将步骤S3中训练得到的权重作为路面病害特征检测器，对测试数据集进行识别。同时，结合深度图像将图像坐标转换为相机坐标，并计算病害在路面中的真实面积；
步骤S5：制定目标重叠过滤策略，剔除重复检测的目标信息；
步骤S6：以表格的形式自动将模型识别生成的路面病害明细信息(病害类别、坐标信息，实际面积等)保存至本地磁盘。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：图像筛选：通过肉眼筛选出存在病害(纵缝、横缝、龟裂、坑槽、修补条及修补块)的路面前景图像，用以构建数据集。
步骤S22：数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的病害对应的标签，值得注意的是，当一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号(例如：“龟裂1”、“龟裂2”)便于区分。之所以使用labelme是因为路面病害形状不规则，需要用多边形工具进行标定。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：K-means聚类算法：锚框尺寸影响着模型在特征提取阶段生成的候选框(Region Proposal Network,RPN)大小。路面病害形状的长与宽差异大，因此，从步骤S22数据标定所生成的json文件中提取出四个顶点(左上、右上、左下、右下)坐标，采用聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示。
Figure BDA0002462737720000061
Figure BDA0002462737720000062
式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心。
步骤S32：模型参数微调：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练。
步骤S33：训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了mask branch网络，因此整体的损失函数需要将其作为一个损失项纳入其中，损失函数的计算表达式如(3)所示：当初始学习率为0.0005，迭代300轮后，模型的损失值为0.02并趋于稳定，此时模型性能达到最佳停止训练。
L＝Lcls+Lbox+Lmask (3)
式(3)中，Lcls表示模型目标分类损失值；Lbox表示预测框回归(Bounding boxregression)损失；Lmask表示预测的目标掩膜(目标轮廓)损失。
在本实施例中，所述步骤S4具体包括以下步骤：
步骤S41：病害识别：模型训练结束后会自动生成“.h5”格式的权重文件，调用此权重进行路面病害自动识别，以预测框和真实标签区域之间的交集大小，即联合交叉域(Intersection of Union，IoU)为置信度，将IoU大于0.7的判定为识别正确，反之为识别错误。并计算每一类别的平均精度(Average Precision，AP)。AP值大小为P-R曲线与坐标轴所围成的面积，最终，求所有病害类别AP值的平均数(mean,Average Precision，mAP)。准确率P、召回率R的计算公式如(4)、(5)所示：
Figure BDA0002462737720000071
Figure BDA0002462737720000072
式(4)、(5)中，NTP表示被正确识别的样本数；NFP表示被错识别为目标的样本数；NFN代表属于目标范畴，但未被识别出来的样本数；
步骤S42：图像坐标与相机坐标转换：根据三角形相似原理，将检测得到的目标区域坐标转换为相机坐标系中的坐标，数学表达式如式(6)和(7)所示：
Figure BDA0002462737720000073
Figure BDA0002462737720000074
式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；Xc、Yc则表示相机坐标系中的横、纵坐标；Zc为图像景深值；f表示相机焦距；
步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：
Figure BDA0002462737720000075
Figure BDA0002462737720000076
S＝width×length (10)
其中，width、length分别表示宽度、长度；xmax、xmin分别代表预测框的最大、最小横坐标；ymax、ymin分别代表最大、最小纵坐标；S表示真实面积。
在本实施例中，步骤S5具体内容为：当一张图像中出现两个同一类型的病害时，根据预测得到的矩形区域中心点位置和病害类别名称判断目标是否出现重叠。具体计算公式如(11)、(12)所示。当判别式(13)成立时，即两个目标的重合度大于50％，过滤掉面积较小的目标。并将这些图像另存为到本地文件夹，以便进行回溯检查过滤。
Figure BDA0002462737720000081
Figure BDA0002462737720000082
Figure BDA0002462737720000083
其中，W表示宽度；H表示高度；X表示横坐标；Y表示纵坐标；C表示中心点(x,y)位置坐标，式(11)、(12)求解结果分别代表矩形a、矩形b的各个参数信息，当式(13)成立时，即目标出现了重叠。
在本实施例中，步骤S6具体内容为：根据《公路技术状况评定标准》JTG5210-2018，将Mask-RCNN模型自动识别所得到的信息按照指定格式保存至本地硬盘。
较佳的，本实施例还提供以下示例：
(1)基于K-means聚类算法获取最佳的锚框尺寸
Mask-RCNN在特征提取过程中会生成指定个的锚框，这些锚定的尺寸决定模型是否能够生成与真实病害标签一致的预测框，是影响识别效果关键的一步。因此，本实例提取标注所生成的“.json”文件中的四个顶点位置坐标(左上、右上、左下、右下)，并通过K-means聚类算法，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数。最终聚类准确率为80.4％，也就是数据集中的80.4％数据对于Mask-RCNN模型训练是有效的。
(2)基于Mask-RCNN模型的前景图像路面病害目标检测与实例分割方法
本实例采用Mask-RCNN模型对路面病害进行自动识别，Mask-RCNN具有目标检测与实例分割两个并行分支(mask branch)，其中目标检测分支是获取预测框的位置，而实例分割分支则是对预测框内的目标进行像素级分割，模型输出的图像是二者识别结果的融合。
(3)基于深度图像及重叠目标过滤策略自动生成路面病害明细表
本实例使用的双目相机与GPS组合车载设备，不仅能够采集路面前景图像，还可以生成对应的深度图像，如图2所示。首先结合预测框信息与深度图像及相机参数，将图像坐标转为世界坐标，获取路面病害的真实面积；然后，通过预测框长宽与中心点之间的关系判断同一类目标是否重复检测，从而过滤重叠的目标；最终，根据《公路技术状况评定标准》JTG5210-2018以指定的格式自动生成路面病害明细表。
具体的，本实例提供了一种基于道路前景图像的路面病害目标检测与实例分割方法，包括以下步骤：
步骤S1：利用双目相机与GPS的组合车载设备采集路面前景图像，并生成深度图像。
步骤S2：对采集得到的前景图像通过人工筛选出具有病害的图像，并使用lableme多边形标注工具构建数据集；
步骤S3：使用K-means聚类算法获取最佳的锚框尺寸，微调模型学习率及迭代次数等参数，并开始对Mask-RCNN模型进行训练；
步骤S4：将步骤S3中训练得到的权重作为路面病害特征检测器，对测试数据集进行识别。同时，结合深度图像将图像坐标转换为相机坐标，并计算病害在路面中的真实面积；
步骤S5：制定目标重叠过滤策略，剔除重复检测的目标信息；
步骤S6：以表格的形式自动将模型识别生成的路面病害明细信息(病害类别、坐标信息，实际面积等)保存至本地磁盘。
在本实例中，具体实施方式如下：
(1)设备参数及其工作原理
本实例采用双目相机与GPS组合车载设备进行数据采集，如图3所示。此设备在采集前景图像的同时也生成对应的深度图像，本实例根据深度值及相机参数计算真实的路面病害面积，并且由GPS设备获取病害所在的经纬度坐标，以便获取病害所在的道路真实位置。
(2)基于Mask-RCNN模型的前景图像路面病害目标检测与实例分割方法
1)数据库构建
数据库的建立。本实例采用双目相机及GPS的组合车载设备获取路面前景图像数据并生成深度图像；使用labelme多边形标注工具标定病害图像，最终生成json文件用以储存多边形各个顶点的坐标，同时也生成图像标签样本，如图4所示。
2)模型参数的调整及训练
步骤1：基于K-means聚类算法获取最佳的锚框尺寸：本实例利用K-means聚类算法获取锚框尺寸，对真实标签的长度(横坐标差的绝对值)，宽度(纵坐标差的绝对值)进行聚类，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，确定锚定尺寸。数学表达式如(1)、(2)所示。
Figure BDA0002462737720000091
Figure BDA0002462737720000101
式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心。
步骤2：学习率和迭代轮数调整：观察Mask-RCNN模型训练初期在验证数据集上的损失值(val_loss)下降速度和趋势(模型收敛的速度)，判断学习率的设置是否合理，若模型收敛速度慢则是学习率设置过低；反之，若损失值下降非常快但变化起伏大，可调低学习率以避免模型出现无法收敛状况。当Mask-RCNN模型在验证数据集上的损失值趋于稳定时，可停止训练模型，若已达到迭代轮数模型还未收敛可在上一次训练结束保存的权重基础上增加迭代轮数继续训练。
步骤3：训练Mask-RCNN模型：Mask-RCNN模型先通过前向传播得到一个预测值，然后与计算预测结果与真实标签的损失值，损失函数的数学表达式如(3)所示；最终通过反向传播操作更新学习率，让模型更充分的学习目标特征信息，同时调整模型的收敛速度以降低损失值。经调试，当模型的初始学习率为0.0005，迭代300轮后，模型在验证数据集上的损失值为0.02并且不再下降，此时Mask-RCNN在测试数据集的mAP值为81.5％，图5展示了Mask-RCNN模型的目标检测与实例分割效果图像。
L＝Lcls+Lbox+Lmask (3)
式(3)中，Lcls表示模型目标分类损失值；Lbox表示预测框回归(Bounding boxregression)损失；Lmask表示预测的目标掩膜(目标轮廓)损失。
(3)基于深度图像信息及重叠目标过滤策略自动生成路面病害明细表
1)计算路面病害的实际面积
本实例使用的双目相机及GPS组合车载设备，在采集前景图像的同时生成了深度图像，并将深度值、经纬度、里程等信息存储到txt文件中。然后结合相机参数，通过Mask-RCNN模型对测试数据集进行识别得到对应的预测框图像坐标，并根据相似三角形原理将图像坐标转为世界坐标，转换公式如(4)、(5)，从而获取路面病害的真实面积。计算面积的公式如式(6)、(7)、(8)所示。
Figure BDA0002462737720000102
Figure BDA0002462737720000111
式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；Xc、Yc则表示相机坐标系中的横、纵坐标；Zc为图像景深值；f表示相机焦距；
步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：
Figure BDA0002462737720000112
Figure BDA0002462737720000113
S＝width×length (8)
其中，width、length分别表示宽度、长度；xmax、xmin分别代表预测框的最大、最小横坐标；ymax、ymin分别代表最大、最小纵坐标；S表示真实面积。
2)目标过滤策略
Mask-RCNN模型识别结果可能存在单个目标重复检测的现象，本实施例通过预测框长宽与中心点之间的关系判断同一类目标是否重复检测，从而过滤重合度超过50％且面积较小的目标。重合度判断数学表达式如(9)、(10)、(11)所示。
Figure BDA0002462737720000114
Figure BDA0002462737720000115
Figure BDA0002462737720000116
其中，W表示宽度；H表示高度；X表示横坐标；Y表示纵坐标；C表示中心点(x,y)位置坐标，式(11)、(12)求解结果分别代表矩形a、矩形b的各个参数信息，当式(13)成立时，即目标出现了重叠。
3)自动生成路面病害明细表
最终，结合Mask-RCNN模型识别结果，计算实际面积并过滤重读检测目标，再根据《公路技术状况评定标准》JTG5210-2018以指定的格式自动生成路面病害明细表。
本实施例通过K-means聚类算法获取最佳的锚框尺寸，微调学习率、迭代轮数等参数，最终构建一个具有两个并行分支网络的Mask-RCNN模型，从而实现对前景图像路面病害的目标检测及实例分割。该模型具有以下优点：
(1)Mask-RCNN不同于单阶段的目标检测模型，其不仅能够预测病害在图像中所在的位置，还可以对预测框内的目标进行像素级分割，两个分支相辅相成既能得到检测与分割结果，又可以提高识别精度。
(2)通过K-means聚类算法分析最佳锚框尺寸，提高了Mask-RCNN模型的识别准确率及泛化能力，最终的mAP值为81.5％。
(3)结合相机参数及深度图像信息进行坐标系转换，可获取路面病害真实面积，以生成路面病害明细表。为道路养护部门的检测作业，安全性评价及养护决策提供一定的辅助支撑。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，包括如下步骤：
步骤S1、利用双目相机采集道路前景图像，并生成道路前景景深图像；
步骤S2、筛选出海量数据中路面存在病害的图像，并使用多边形标注工具构建测试数据集；
步骤S3、使用K-means聚类算法获取最佳的锚框尺寸，调整Mask-RCNN模型包括学习率、迭代次数的参数，并开始对Mask-RCNN模型进行训练；
步骤S4、将步骤S3中训练得到的Mask-RCNN模型的权重作为路面病害特征检测器，对测试数据集进行识别，同时，结合深度图像将图像坐标转换为相机坐标，并计算路面病害在路面中的真实面积；
步骤S5、制定目标重叠过滤策略，剔除重复检测的目标信息；
步骤S6、以表格的形式自动将模型识别生成的路面病害明细信息保存至本地磁盘。
2.根据权利要求1所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S2具体实现如下：
步骤S21、图像筛选：筛选出存在路面病害的路面前景图像，所述路面病害，包括：纵缝、横缝、龟裂、坑槽、修补条及修补块；
步骤S22、数据标定：根据路面病害的形态特征，选择labelme多边形标注工具进行标定，分别给不同类型的路面病害对应的标签，若一张图像中存在两个及以上的同一种类型病害时需要在标签后面加上序号。
3.根据权利要求2所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S3具体实现如下：
步骤S31、获取最佳的锚框尺寸：从步骤S22数据标定所生成的json文件中提取出四个顶点坐标，采用K-means聚类算法获取最佳的锚框尺寸，以欧式距离衡量距离大小，使用误差的平方和作为聚类的目标函数，计算公式如式(1)、(2)所示：
Figure FDA0002462737710000011
Figure FDA0002462737710000012
式(1)中，D12表示欧式距离，xi表示横坐标，yi表示纵坐标；式(2)中SSE表示误差平方和，ci表示第i个簇的质心，uj表示当前预测得到簇的质心；
步骤S32、模型参数调整：在Mask-RCNN模型训练初期根据验证数据集的损失值下降速度和变化趋势，调整学习率和迭代次数，具体调整方式为：若模型收敛速度较慢则终止训练，调高学习率后重新训练；反之，若模型损失值下降速度很快并且起伏变化大，调低学习率以避免模型出现无法收敛状况；当模型在验证数据集上的损失值趋于稳定时，停止训练模型，若已达到迭代轮数模型还未收敛，则设置在上一次训练结束保存的权重基础上增加迭代轮数继续训练；
步骤S33、训练Mask-RCNN模型：Mask-RCNN模型在训练过程中先通过前向传播得到预测值，然后与真实标签对比计算损失值，Mask-RCNN模型引入了maskbranch网络，因此整体的损失函数需要将其作为一个损失项纳入其中，损失函数的计算表达式如(3)所示：
L＝Lcls+Lbox+Lmask (3)
式(3)中，Lcls表示模型目标分类损失值；Lbox表示预测框回归损失；Lmask表示预测的目标掩膜损失。
4.根据权利要求1所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S4具体实现如下：
步骤S41、病害识别：调用Mask-RCNN模型的权重进行路面病害自动识别，以预测框和真实标签区域之间的交集大小，即联合交叉域为置信度，将IoU大于0.7的判定为识别正确，反之为识别错误，并计算每一类别的平均精度AP值，AP值大小为P-R曲线与坐标轴所围成的面积，最终，求所有路面病害类别AP值的平均数；准确率P、召回率R的计算公式如(4)、(5)所示：
Figure FDA0002462737710000021
Figure FDA0002462737710000022
式(4)、(5)中，NTP表示被正确识别的样本数；NFP表示被错识别为目标的样本数；NFN代表属于目标范畴，但未被识别出来的样本数；
步骤S42、图像坐标与相机坐标转换：根据三角形相似原理，将检测得到的目标区域坐标转换为相机坐标系中的坐标，数学表达式如式(6)和(7)所示：
Figure FDA0002462737710000023
Figure FDA0002462737710000024
式(6)、(7)中，x、y表示图像坐标系中的横、纵坐标；Xc、Yc则表示相机坐标系中的横、纵坐标；Zc为图像景深值；f表示相机焦距；
步骤S43、计算病害在路面上的真实面积：根据步骤S42中转化得到的相机坐标，结合相机焦距和景深值大小计算实际面积，长度、宽度和面积的计算公式如(8)、(9)、(10)所示：
Figure FDA0002462737710000031
Figure FDA0002462737710000032
S＝width×length (10)
其中，width、length分别表示宽度、长度；xmax、xmin分别代表预测框的最大、最小横坐标；ymax、ymin分别代表最大、最小纵坐标；S表示真实面积。
5.根据权利要求1所述的基于道路前景图像的路面病害目标检测与实例分割方法，其特征在于，所述步骤S5具体实现方式为：当一张图像中出现两个同一类型的病害时，根据预测得到的矩形区域中心点位置和病害类别名称判断目标是否出现重叠，具体计算公式如(11)、(12)所示，当判别式(13)成立时，即两个目标的重合度大于50％，过滤掉面积较小的目标，并将这些图像另存为到本地文件夹，以便进行回溯检查。
Figure FDA0002462737710000033
Figure FDA0002462737710000034
Figure FDA0002462737710000035
其中，W表示宽度；H表示高度；X表示横坐标；Y表示纵坐标；C表示中心点(x,y)位置坐标，式(11)、(12)求解结果分别代表矩形a、矩形b的各个参数信息，当式(13)成立时，即目标出现了重叠。
CN202010324404.1A 2020-04-23 2020-04-23 基于道路前景图像的路面病害目标检测与实例分割方法 Active CN111553236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324404.1A CN111553236B (zh) 2020-04-23 2020-04-23 基于道路前景图像的路面病害目标检测与实例分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324404.1A CN111553236B (zh) 2020-04-23 2020-04-23 基于道路前景图像的路面病害目标检测与实例分割方法

Publications (2)

Publication Number Publication Date
CN111553236A true CN111553236A (zh) 2020-08-18
CN111553236B CN111553236B (zh) 2022-06-07

Family

ID=72005911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324404.1A Active CN111553236B (zh) 2020-04-23 2020-04-23 基于道路前景图像的路面病害目标检测与实例分割方法

Country Status (1)

Country Link
CN (1) CN111553236B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931684A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN112101430A (zh) * 2020-08-28 2020-12-18 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN112215293A (zh) * 2020-10-20 2021-01-12 平安国际智慧城市科技股份有限公司 植物病虫害识别方法、装置及计算机设备
CN112464860A (zh) * 2020-12-10 2021-03-09 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机设备及存储介质
CN112595728A (zh) * 2021-03-03 2021-04-02 腾讯科技（深圳）有限公司 一种道路问题确定方法和相关装置
CN112652015A (zh) * 2020-11-30 2021-04-13 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113066086A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 道路病害检测方法及装置、电子设备和存储介质
CN113160303A (zh) * 2021-04-30 2021-07-23 南京金智视讯技术有限公司 一种基于道路影像的路面病害影响面积计算方法
CN113191269A (zh) * 2021-04-30 2021-07-30 南京金智视讯技术有限公司 一种基于5g+ai智能分析的路面路况实时监测方法
CN113255583A (zh) * 2021-06-21 2021-08-13 中国平安人寿保险股份有限公司 数据标注方法、装置、计算机设备和存储介质
CN113281401A (zh) * 2021-04-29 2021-08-20 同济大学 无砟轨道隐蔽病害的检测方法、系统与装置
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN113780472A (zh) * 2021-09-29 2021-12-10 北京金山云网络技术有限公司 模型训练样本生成方法、装置、存储介质以及电子设备
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114170511A (zh) * 2021-12-07 2022-03-11 南京中设航空科技发展有限公司 基于Cascade RCNN的路面裂缝病害识别方法
CN114267003A (zh) * 2022-03-02 2022-04-01 城云科技（中国）有限公司 道路破损检测方法、装置及应用
CN114526709A (zh) * 2022-02-21 2022-05-24 中国科学技术大学先进技术研究院 基于无人机的面积测量方法、设备及存储介质
CN114612775A (zh) * 2022-03-04 2022-06-10 北京科技大学设计研究院有限公司 一种基于机器视觉的棒材全线跟踪方法及装置
CN115184378A (zh) * 2022-09-15 2022-10-14 北京思莫特科技有限公司 一种基于移动设备的混凝土结构病害检测系统及方法
CN115223030A (zh) * 2022-09-20 2022-10-21 中科视语(北京)科技有限公司 路面病害检测系统及方法
CN117237925A (zh) * 2023-11-16 2023-12-15 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
US20200098103A1 (en) * 2018-09-21 2020-03-26 Chongqing Construction Engineering Group Corporation Limited High-precision Intelligent Detection Method For Bridge Diseases Based On Spatial Position

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
US20200098103A1 (en) * 2018-09-21 2020-03-26 Chongqing Construction Engineering Group Corporation Limited High-precision Intelligent Detection Method For Bridge Diseases Based On Spatial Position
CN110059554A (zh) * 2019-03-13 2019-07-26 重庆邮电大学 一种基于交通场景的多支路目标检测方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHOU RD ET AL.: "Three-dimensional Pavement Disease Detection based on Three components Decomposition and TUFF Algorithm", 《2ND IEEE INTERNATIONAL CONFERENCE ON INFORMATION COMMUNICATION AND SIGNAL PROCESSING (ICICSP)》 *
陈泽斌等: "基于改进U-net模型的路面裂缝智能识别", 《数据采集与处理》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931684A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN111931684B (zh) * 2020-08-26 2021-04-06 北京建筑大学 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN112101430A (zh) * 2020-08-28 2020-12-18 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN112101430B (zh) * 2020-08-28 2022-05-03 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN112215293A (zh) * 2020-10-20 2021-01-12 平安国际智慧城市科技股份有限公司 植物病虫害识别方法、装置及计算机设备
CN112652015A (zh) * 2020-11-30 2021-04-13 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN112652015B (zh) * 2020-11-30 2023-05-09 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN112464860A (zh) * 2020-12-10 2021-03-09 深圳市优必选科技股份有限公司 手势识别方法、装置、计算机设备及存储介质
CN112595728A (zh) * 2021-03-03 2021-04-02 腾讯科技（深圳）有限公司 一种道路问题确定方法和相关装置
CN113066086A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 道路病害检测方法及装置、电子设备和存储介质
WO2022227405A1 (zh) * 2021-04-26 2022-11-03 深圳市商汤科技有限公司 道路病害检测方法及装置、电子设备和存储介质
CN113281401A (zh) * 2021-04-29 2021-08-20 同济大学 无砟轨道隐蔽病害的检测方法、系统与装置
CN113191269A (zh) * 2021-04-30 2021-07-30 南京金智视讯技术有限公司 一种基于5g+ai智能分析的路面路况实时监测方法
CN113160303A (zh) * 2021-04-30 2021-07-23 南京金智视讯技术有限公司 一种基于道路影像的路面病害影响面积计算方法
CN113191269B (zh) * 2021-04-30 2023-06-09 南京金智视讯技术有限公司 一种基于5g+ai智能分析的路面路况实时监测方法
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN113655477B (zh) * 2021-06-11 2023-09-01 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN113255583A (zh) * 2021-06-21 2021-08-13 中国平安人寿保险股份有限公司 数据标注方法、装置、计算机设备和存储介质
CN113780472A (zh) * 2021-09-29 2021-12-10 北京金山云网络技术有限公司 模型训练样本生成方法、装置、存储介质以及电子设备
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114118124B (zh) * 2021-09-29 2023-09-12 北京百度网讯科技有限公司 图像检测方法和装置
CN114170511A (zh) * 2021-12-07 2022-03-11 南京中设航空科技发展有限公司 基于Cascade RCNN的路面裂缝病害识别方法
CN114526709A (zh) * 2022-02-21 2022-05-24 中国科学技术大学先进技术研究院 基于无人机的面积测量方法、设备及存储介质
CN114267003A (zh) * 2022-03-02 2022-04-01 城云科技（中国）有限公司 道路破损检测方法、装置及应用
CN114612775A (zh) * 2022-03-04 2022-06-10 北京科技大学设计研究院有限公司 一种基于机器视觉的棒材全线跟踪方法及装置
CN115184378A (zh) * 2022-09-15 2022-10-14 北京思莫特科技有限公司 一种基于移动设备的混凝土结构病害检测系统及方法
CN115184378B (zh) * 2022-09-15 2024-03-29 北京思莫特科技有限公司 一种基于移动设备的混凝土结构病害检测系统及方法
CN115223030A (zh) * 2022-09-20 2022-10-21 中科视语(北京)科技有限公司 路面病害检测系统及方法
CN117237925A (zh) * 2023-11-16 2023-12-15 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统
CN117237925B (zh) * 2023-11-16 2024-02-13 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统

Also Published As

Publication number Publication date
CN111553236B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111553236B (zh) 基于道路前景图像的路面病害目标检测与实例分割方法
Ukhwah et al. Asphalt pavement pothole detection using deep learning method based on YOLO neural network
CN104156734B (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN111723657B (zh) 一种基于YOLOv3与自优化的河道异物检测方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN110798805B (zh) 基于gps轨迹的数据处理方法、装置及存储介质
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110866430A (zh) 一种车牌识别方法及装置
CN111832615A (zh) 一种基于前景背景特征融合的样本扩充方法及系统
CN109671274A (zh) 一种基于特征构造和融合的公路风险自动评估方法
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
CN112347927B (zh) 基于卷积神经网络概率决策融合的高分影像建筑提取方法
CN112380893A (zh) 一种机载激光点云数据的输电线走廊自动识别方法
CN112395998A (zh) 一种全球开放数据库中机场空间位置的验证方法
CN115761513A (zh) 一种半监督深度学习的山区大型滑坡智能遥感识别方法
CN116958907A (zh) 一种输气管道周边隐患目标巡检方法及系统
CN117495735B (zh) 一种基于结构引导的建筑物立面纹理自动修复方法及系统
CN114387261A (zh) 一种适用于铁路钢桥螺栓病害的自动检测方法
CN110120035A (zh) 一种可判别病疵等级的轮胎x光病疵检测方法
Zhang et al. Building footprint and height information extraction from airborne LiDAR and aerial imagery
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN110889418A (zh) 一种气体轮廓识别方法
CN113569946A (zh) 开源地图与专业数据源路网自适应匹配法
CN114005027A (zh) 一种基于无人机影像的城市单木检测系统及方法
CN113673534A (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant