CN112215301B - 基于卷积神经网络的影像直线探测方法 - Google Patents

基于卷积神经网络的影像直线探测方法 Download PDF

Info

Publication number
CN112215301B
CN112215301B CN202011184035.7A CN202011184035A CN112215301B CN 112215301 B CN112215301 B CN 112215301B CN 202011184035 A CN202011184035 A CN 202011184035A CN 112215301 B CN112215301 B CN 112215301B
Authority
CN
China
Prior art keywords
straight line
neural network
convolutional neural
linear
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011184035.7A
Other languages
English (en)
Other versions
CN112215301A (zh
Inventor
王维
郭春生
刘蝶
王吉
王令文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Survey Design And Research Institute Group Co ltd
Original Assignee
SGIDI Engineering Consulting Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGIDI Engineering Consulting Group Co Ltd filed Critical SGIDI Engineering Consulting Group Co Ltd
Priority to CN202011184035.7A priority Critical patent/CN112215301B/zh
Publication of CN112215301A publication Critical patent/CN112215301A/zh
Application granted granted Critical
Publication of CN112215301B publication Critical patent/CN112215301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明提供一种基于卷积神经网络的影像直线探测方法，包括步骤：S1：定义直线相似度指标；S2：采集隧道影像直线对象的样本集，将样本集划分为一训练集和一测试集；S3：搭建一直线探测卷积神经网络模型；S4：利用训练集对直线探测卷积神经网络模型进行训练；S5：将一待预测图片输入训练后的直线探测卷积神经网络模型，获得预测直线结果；S6：利用测试集对直线探测卷积神经网络模型进行测试；并计算直线探测卷积神经网络模型的预测精度指标。本发明的一种基于卷积神经网络的影像直线探测方法，借鉴目标探测卷积神经网络的架构，基于改进hausdorff距离的直线相似度，建立隧道影像直线探测的卷积神经网络，为相关算法提供支撑。

Description

基于卷积神经网络的影像直线探测方法
技术领域
本发明涉及图像识别领域，尤其涉及一种基于卷积神经网络的影像直线探测方法。
背景技术
盾构隧道是由预制管片通过压紧装配连接而成的，隧道扫描影像中存在大量的直线类对象，如隧道两环之间的环缝和环内各拼装块之间的纵缝，管道对象，隧道顶的接触网等。现有专利(一种盾构隧道影像中管片接缝位置自动识别方法)采用图像分割类算法将图上直线对象从矢量对象转换成栅格对象来识别，在预测时，需要对识别结构进行联通区域搜索，算法耗时，且由于图像分割精度不高导致一些较短较小的对象出现漏识别的情况。对于直接识别坐标位置的目标探测类的网络模型大多采用基于对象框的位置大小相似度判断的方法进行算法设计，而直线类对象采用这种相似度计算会导致模型训练难以收敛，识别精度较低等问题。
发明内容
针对上述现有技术中的不足，本发明提供一种基于卷积神经网络的影像直线探测方法，借鉴目标探测卷积神经网络的架构，基于改进hausdorff距离的直线相似度，建立隧道影像直线探测的卷积神经网络，为相关算法提供支撑。
为了实现上述目的，本发明提供一种基于卷积神经网络的影像直线探测方法，包括步骤：
S1：定义直线相似度指标；
S2：采集隧道影像直线对象的直线标注样本集，将所述直线标注样本集划分为一训练集和一测试集；
S3：搭建一直线探测卷积神经网络模型；
S4：利用所述训练集对所述直线探测卷积神经网络模型进行训练；
S5：将一待预测图片输入训练后的所述直线探测卷积神经网络模型，获得预测直线结果；
S6：利用所述测试集对所述直线探测卷积神经网络模型进行测试；并计算所述直线探测卷积神经网络模型的预测精度指标。
优选地，所述S1步骤中，采用公式(1)来定义任意两个直线线段中第一直线线段AB和第二直线线段CD之间的相似度指标user_distance，user_distance越小表示直线越相似：
Figure BDA0002750965680000021
其中，ABk和CDk分别为所述第一直线线段AB和第二直线线段CD上的等分点坐标；若将所述直线线段等分成n份，则
Figure BDA0002750965680000022
Figure BDA0002750965680000023
其中k＝1,2…n；
Figure BDA0002750965680000024
和
Figure BDA0002750965680000025
分别是第一直线线段AB上等分点坐标的x轴坐标值和y轴坐标值；
Figure BDA0002750965680000026
和
Figure BDA0002750965680000027
分别是第二直线线段CD上等分点坐标的x轴坐标值和y轴坐标值。
优选地，所述S2步骤进一步包括步骤：
S21：收集隧道结构影像，所述隧道结构影像包括三维隧道影像和隧道照片影像；
S22：直线对象标记，对所述隧道结构影像上的直线类对象标记标签，所述标签的数据包括对象类别以及直线起点和直线终点在图像坐标系下的坐标；
S23：对标记后的所述隧道结构影像进行预处理获得直线标注样本集；
S24：按照8:2的比例将所述直线标注样本集划分为所述训练集和所述测试集。
优选地，所述S23步骤中，将原始图像通过裁剪和缩放生成832*832大小的原始影像作为输入，其中灰度影像转换成RGB三通道影像；
对于所述标签输出，采用所述相似度指标user_distance，将标注对象直线填入到一个26*26*9*(4+1+对象种类)的张量中作为模型的输出。
优选地，所述S3步骤中，先设置3*3大小卷积核的卷积层和2*2池化层，再依次连接5个密集连接块模块构建形成所述直线探测卷积神经网络模型，每一所述密集连接块模块包括一密集连接块和连接所述密集连接块的一1*1卷积层和2*2平均池化层。
优选地，所述S4步骤中，初始化所述直线探测卷积神经网络模型的参数，训练次数大于等于所述训练集样本大小的10000倍；采用误差反向传播来更新优化逐层更新模型参数，模型学习步长采用Momentum算法防止训练陷入鞍点；通过dropout和批归一化等正则化技术加速模型收敛和防止过拟合提高模型训练精度。
优选地，所述S4步骤中，将分类损失和直线坐标回归损失加入权重系数作为总损失来训练模型。
优选地，所述S5步骤中，将一未经过训练的待预测图片输入训练后的所述直线探测卷积神经网络模型，获得多个预测直线；将所述预测直线基于一定的直线相似度阈值采用非极大值抑制算法过滤重叠的对象得到最终的预测直线结果。
优选地，所述S6步骤中，所述预测精度指标包括精确度和召回率；
根据公式(2)计算所述精确度：
精确度＝TP/(TP+FP)  (2)；
根据公式(3)计算所述召回率：
召回率＝TP/(TP+FN)  (3)；
其中当预测直线和标签对应的直线相似度小于一定阈值，认为该预测直线为TP，反之是FP；TN表示未检测出的标签对应的直线，FN表示检错的对象标签。
本发明由于采用了以上技术方案，使其具有以下有益效果：
本发明利用目标探测卷积神经网络的架构，基于改进hausdorff距离的直线相似度，建立隧道影像直线探测的卷积神经网络，为相关算法提供支撑。
附图说明
图1为本发明实施例的基于卷积神经网络的影像直线探测方法的流程图。
具体实施方式
下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。
请参阅图1，本发明实施例的一种基于卷积神经网络的影像直线探测方法，包括步骤：
S1：定义直线相似度指标。
S1步骤中，采用公式(1)来定义任意两个直线线段中第一直线线段AB和第二直线线段CD之间的相似度指标user_distance，user_distance越小表示直线越相似：
Figure BDA0002750965680000041
其中，ABk和CDk分别为第一直线线段AB和第二直线线段CD上的等分点坐标；若将直线线段等分成n份，则
Figure BDA0002750965680000042
其中k＝1,2…n；
Figure BDA0002750965680000043
和
Figure BDA0002750965680000044
分别是第一直线线段AB上等分点坐标的x轴坐标值和y轴坐标值；
Figure BDA0002750965680000045
和
Figure BDA0002750965680000046
分别是第二直线线段CD上等分点坐标的x轴坐标值和y轴坐标值。
S2：采集隧道影像直线对象的直线标注样本集，将直线标注样本集划分为一训练集和一测试集。
S2步骤进一步包括步骤：
S21：收集隧道结构影像，隧道结构影像包括三维隧道影像和隧道照片影像；
S22：直线对象标记，对隧道结构影像上的直线类对象标记标签，标签的数据包括对象类别以及直线起点和直线终点在图像坐标系下的坐标；如[环缝,10,20,13,87]；
S23：对标记后的隧道结构影像进行预处理获得直线标注样本集；
S23步骤中，将原始图像通过裁剪和缩放生成832*832大小的原始影像作为输入，其中灰度影像转换成RGB三通道影像；
对于标签输出，采用相似度指标user_distance，将标注对象直线填入到一个26*26*9*(4+1+对象种类)的张量中作为模型的输出。
S24：按照8:2的比例将直线标注样本集划分为训练集和测试集。
S3：依据一阶段端对端目标探测模型的思路，搭建一直线探测卷积神经网络模型；
S3步骤中，利用DenseNets的Dense Block(密集连接块)为单元来实现；先设置3*3大小卷积核的卷积层和2*2池化层，此时特征图尺寸为原图像尺寸的1/2。再依次连接5个密集连接块模块构建形成直线探测卷积神经网络模型，每一密集连接块模块包括一密集连接块和连接密集连接块的一1*1卷积层和2*2平均池化层。最终输出特征图尺寸为原始图像大小的1/64，最终特征图尺寸为13*13*9*(4+1+对象种类)，与前面预处理后的标签尺寸相同。
S4：利用训练集对直线探测卷积神经网络模型进行训练；
S4步骤中，初始化直线探测卷积神经网络模型的参数，训练次数大于等于训练集样本大小的10000倍；采用误差反向传播来更新优化逐层更新模型参数，模型学习步长采用Momentum算法防止训练陷入鞍点；通过dropout和批归一化等正则化技术加速模型收敛和防止过拟合提高模型训练精度。
S4步骤中，将分类损失和直线坐标回归损失加入权重系数作为总损失来训练模型，以避免模型偏向于分类或是回归的学习导致整体精度下降。
S5：将一待预测图片输入训练后的直线探测卷积神经网络模型，获得预测直线结果；
S5步骤中，将一未经过训练的待预测图片输入训练后的直线探测卷积神经网络模型，获得多个预测直线；将预测直线基于一定的直线相似度阈值采用非极大值抑制算法过滤重叠的对象得到最终的预测直线结果。
S6：利用测试集对直线探测卷积神经网络模型进行测试；并计算直线探测卷积神经网络模型的预测精度指标。
S6步骤中，预测精度指标包括精确度和召回率；
根据公式(2)计算精确度：
精确度＝TP/(TP+FP)  (2)；
根据公式(3)计算召回率：
召回率＝TP/(TP+FN)  (3)；
其中当预测直线和标签对应的直线相似度小于一定阈值(10*n)，认为该预测直线为TP，反之是FP；TN表示未检测出的标签对应的直线，FN表示检错的对象标签。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (6)

1.一种基于卷积神经网络的影像直线探测方法，包括步骤：
S1：定义直线相似度指标；
S2：采集隧道影像直线对象的直线标注样本集，将所述直线标注样本集划分为一训练集和一测试集；
S3：搭建一直线探测卷积神经网络模型；
S4：利用所述训练集对所述直线探测卷积神经网络模型进行训练；
S5：将一待预测图片输入训练后的所述直线探测卷积神经网络模型，获得预测直线结果；
S6：利用所述测试集对所述直线探测卷积神经网络模型进行测试；并计算所述直线探测卷积神经网络模型的预测精度指标；
所述S1步骤中，采用公式(1)来定义任意两个直线线段中第一直线线段AB和第二直线线段CD之间的相似度指标user_distance，user_distance越小表示直线越相似：
其中，ABk和CDk分别为所述第一直线线段AB和第二直线线段CD上的等分点坐标；若将所述直线线段等分成n份，则 其中k＝1,2…n；和分别是第一直线线段AB上等分点坐标的x轴坐标值和y轴坐标值；和分别是第二直线线段CD上等分点坐标的x轴坐标值和y轴坐标值；
所述S2步骤进一步包括步骤：
S21：收集隧道结构影像，所述隧道结构影像包括三维隧道影像和隧道照片影像；
S22：直线对象标记，对所述隧道结构影像上的直线类对象标记标签，所述标签的数据包括对象类别以及直线起点和直线终点在图像坐标系下的坐标；
S23：对标记后的所述隧道结构影像进行预处理获得直线标注样本集；
S24：按照8:2的比例将所述直线标注样本集划分为所述训练集和所述测试集；
所述S23步骤中，将原始图像通过裁剪和缩放生成832*832大小的原始影像作为输入，其中灰度影像转换成RGB三通道影像；
对于所述标签输出，采用所述相似度指标user_distance，将标注对象直线填入到一个26*26*9*(4+1+对象种类)的张量中作为模型的输出。
2.根据权利要求1所述的基于卷积神经网络的影像直线探测方法，其特征在于，所述S3步骤中，先设置3*3大小卷积核的卷积层和2*2池化层，再依次连接5个密集连接块模块构建形成所述直线探测卷积神经网络模型，每一所述密集连接块模块包括一密集连接块和连接所述密集连接块的一1*1卷积层和2*2平均池化层。
3.根据权利要求2所述的基于卷积神经网络的影像直线探测方法，其特征在于，所述S4步骤中，初始化所述直线探测卷积神经网络模型的参数，训练次数大于等于所述训练集样本大小的10000倍；采用误差反向传播来更新优化逐层更新模型参数，模型学习步长采用Momentum算法防止训练陷入鞍点；通过dropout和批归一化正则化技术加速模型收敛和防止过拟合提高模型训练精度。
4.根据权利要求3所述的基于卷积神经网络的影像直线探测方法，其特征在于，所述S4步骤中，将分类损失和直线坐标回归损失加入权重系数作为总损失来训练模型。
5.根据权利要求3所述的基于卷积神经网络的影像直线探测方法，其特征在于，所述S5步骤中，将一未经过训练的待预测图片输入训练后的所述直线探测卷积神经网络模型，获得多个预测直线；将所述预测直线基于一定的直线相似度阈值并采用非极大值抑制算法过滤重叠的对象得到最终的预测直线结果。
6.根据权利要求3所述的基于卷积神经网络的影像直线探测方法，其特征在于，所述S6步骤中，所述预测精度指标包括精确度和召回率；
根据公式(2)计算所述精确度：
精确度＝TP/(TP+FP)(2)；
根据公式(3)计算所述召回率：
召回率＝TP/(TP+FN)(3)；
其中当预测直线和标签对应的直线相似度小于一定阈值，认为该预测直线为TP，反之是FP；TN表示未检测出的标签对应的直线，FN表示检错的对象标签。
CN202011184035.7A 2020-10-29 2020-10-29 基于卷积神经网络的影像直线探测方法 Active CN112215301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184035.7A CN112215301B (zh) 2020-10-29 2020-10-29 基于卷积神经网络的影像直线探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184035.7A CN112215301B (zh) 2020-10-29 2020-10-29 基于卷积神经网络的影像直线探测方法

Publications (2)

Publication Number Publication Date
CN112215301A CN112215301A (zh) 2021-01-12
CN112215301B true CN112215301B (zh) 2023-04-07

Family

ID=74057565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184035.7A Active CN112215301B (zh) 2020-10-29 2020-10-29 基于卷积神经网络的影像直线探测方法

Country Status (1)

Country Link
CN (1) CN112215301B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819070A (zh) * 2021-01-29 2021-05-18 中国电建集团华东勘测设计研究院有限公司 隧道管片环缝直线化识别及里程环号标记方法
CN113538385B (zh) * 2021-07-21 2022-10-25 上海勘察设计研究院(集团)有限公司 基于深度学习的隧道表观病害类型及等级判别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393606A (zh) * 2008-10-27 2009-03-25 浙江大学 一种基于可视化的手写笔迹鉴定方法
CN104501829A (zh) * 2014-11-24 2015-04-08 杭州申昊科技股份有限公司 一种惯性导航系统的误差校正方法
CN108846385A (zh) * 2018-07-10 2018-11-20 浪潮通用软件有限公司 基于卷积-反卷积神经网络的图像识别、校正方法和装置
CN109509222A (zh) * 2018-10-26 2019-03-22 北京陌上花科技有限公司 直线类物体的检测方法及装置
CN109712148A (zh) * 2018-12-19 2019-05-03 上海勘察设计研究院(集团)有限公司 基于盾构隧道影像的管片接缝位置自动识别方法
CN110009625A (zh) * 2019-04-11 2019-07-12 上海科技大学 基于深度学习的图像处理系统、方法、终端、及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3818339B1 (en) * 2019-02-04 2024-02-21 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393606A (zh) * 2008-10-27 2009-03-25 浙江大学 一种基于可视化的手写笔迹鉴定方法
CN104501829A (zh) * 2014-11-24 2015-04-08 杭州申昊科技股份有限公司 一种惯性导航系统的误差校正方法
CN108846385A (zh) * 2018-07-10 2018-11-20 浪潮通用软件有限公司 基于卷积-反卷积神经网络的图像识别、校正方法和装置
CN109509222A (zh) * 2018-10-26 2019-03-22 北京陌上花科技有限公司 直线类物体的检测方法及装置
CN109712148A (zh) * 2018-12-19 2019-05-03 上海勘察设计研究院(集团)有限公司 基于盾构隧道影像的管片接缝位置自动识别方法
CN110009625A (zh) * 2019-04-11 2019-07-12 上海科技大学 基于深度学习的图像处理系统、方法、终端、及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于卷积神经网络的深度线段分类算法";赵宁宁等;《山东大学学报》;20200831;第22-27页 *

Also Published As

Publication number Publication date
CN112215301A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
WO2023077816A1 (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN108470172B (zh) 一种文本信息识别方法及装置
CN106980856B (zh) 公式识别方法及系统和符号推理计算方法及系统
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN111079683A (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN109685765B (zh) 一种基于卷积神经网络的x光片肺炎结果预测装置
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN112215301B (zh) 基于卷积神经网络的影像直线探测方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN115423796A (zh) 一种基于TensorRT加速推理的芯片缺陷检测方法及系统
CN116189139A (zh) 一种基于Transformer的交通标志检测方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 200093 No. 38 Shui Feng Road, Yangpu District, Shanghai.

Patentee after: Shanghai Survey, Design and Research Institute (Group) Co.,Ltd.

Address before: 200093 No. 38 Shui Feng Road, Yangpu District, Shanghai.

Patentee before: SGIDI ENGINEERING CONSULTING (Group) Co.,Ltd.