CN111027946A - 一种桥梁检测报告生成方法及系统 - Google Patents

一种桥梁检测报告生成方法及系统 Download PDF

Info

Publication number
CN111027946A
CN111027946A CN202010154689.9A CN202010154689A CN111027946A CN 111027946 A CN111027946 A CN 111027946A CN 202010154689 A CN202010154689 A CN 202010154689A CN 111027946 A CN111027946 A CN 111027946A
Authority
CN
China
Prior art keywords
bridge
detection report
image
detection
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010154689.9A
Other languages
English (en)
Inventor
张亮
宋杰
董梅
胡辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruhr Technology Co Ltd
Original Assignee
Hangzhou Ruhr Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruhr Technology Co Ltd filed Critical Hangzhou Ruhr Technology Co Ltd
Priority to CN202010154689.9A priority Critical patent/CN111027946A/zh
Publication of CN111027946A publication Critical patent/CN111027946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种桥梁检测报告生成方法及系统，方法包括：采集历史桥梁图像及对应的检测报告；对数据进行预处理；对图像按照桥梁缺陷类别分类，将同一类别图像对应的描述文本放入同一文件；基于分类为检测报告生成特征向量；对inception‑v4进行训练，生成桥梁图像特征提取模型；基于各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；获取现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。本发明自动生成桥梁检测报告，提高了桥梁检测报告的生成效率。

Description

一种桥梁检测报告生成方法及系统
技术领域
本发明涉及桥梁工程技术领域，具体涉及一种桥梁检测报告生成方法及系统。
背景技术
桥梁是关系国家经济命脉和城市生命线的关键节点工程，为保障桥梁结构安全运营，有必要对桥梁健康进行检测。桥梁检测现在存在一个瓶颈问题，就是门槛太低，很多检测人员生搬硬套承载能力评定规程、养护手册、使用性能评价等，再者就是现在的工程招投标氛围不好，很多小的检测单位通过各种手段获得项目。检测市场的不规范性和检测人员的良莠不齐，使得现在我国的检测水平远远落后于发达国家。
随着人工智能的发展，机器学习的方法被广泛使用在图像处理的各个方面。通俗地讲，桥梁检测问题，就是通过机器学习的算法，使得计算机能够学习到大量已有数据的潜在特征，以用来对新输入的样本进行分类和预测。现有的深度学习主要用于对桥梁的裂缝等进行检测，检测人员在获得桥梁裂缝等数据后，根据自身的经验撰写桥梁检测报告，供相关人员查看。桥梁检测报告包括桥梁基本信息、检测部位、各部位的检测结果等。这些桥梁检测报告的撰写需要大量的检测人员进行长时间枯燥繁琐的结果罗列、整理的工作。此外，对于经验缺乏的检测人员，撰写桥梁报告非常困难。即使对于经验和知识都非常丰富的检测人员来说，进行桥梁检测报告的撰写都是非常耗时的。
因此，如何提高桥梁检测报告的生成效率、对桥梁健康进行客观的评定，是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种桥梁检测报告生成方法及系统。本发明自动生成桥梁检测报告，提高了桥梁检测报告的生成效率，减轻了桥梁检测报告人员的负担，同时客观的报告生成避免了主观撰写报告对桥梁健康的主观评定。
为了实现以上目的，本发明采用以下技术方案：
一种桥梁检测报告生成方法，包括：
S1、采集历史桥梁图像及对应的检测报告；
S2、对所述历史桥梁图像及检测报告进行预处理；
S3、对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
S4、基于所述分类为所述检测报告生成特征向量；
S5、将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
S6、基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
S7、获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
S8、将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
进一步地，所述步骤S4包括：
对于生成的桥梁检测报告特征向量V，其向量的维度为所述桥梁缺陷的类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure 100002_DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 715985DEST_PATH_IMAGE002
。
进一步地，对所述历史桥梁图像的预处理为：采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure 100002_DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 222052DEST_PATH_IMAGE004
表示处理像素为原点、半径长度Radius范围内的像素值均值，
Figure 100002_DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差；
对所述检测报告的预处理为：去除检测报告中重复的空格、标点符号，并使用FoolNLTK对文本进行分词。
进一步地，所述步骤S3包括：采用LDA模型生成文本主题，实现文本聚类。
进一步地，所述步骤S7具体为：将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别，根据图像所属的缺陷类别，调用该缺陷类别对应的检测报告生成模型，生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
本发明还提出一种桥梁检测报告生成系统，包括：
采集模块，用于采集历史桥梁图像及对应的检测报告；
预处理模块，用于对所述历史桥梁图像及检测报告进行预处理；
分类模块，用于对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
特征向量生成模块，用于基于所述分类为所述检测报告生成特征向量；
第一模型生成模块，用于将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
第二模型生成模块，用于基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
第一桥梁检测报告生成模块，用于获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
第二桥梁检测报告生成模块，用于将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
进一步地，所述特征向量生成模块包括：
对于生成的桥梁检测报告特征向量V，其向量的维度为所述桥梁缺陷的类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure 703849DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 586355DEST_PATH_IMAGE002
。
进一步地，对所述历史桥梁图像的预处理为：采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure 735576DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 412545DEST_PATH_IMAGE006
表示处理像素为原点、半径长度Radius范围内的像素值均值，
Figure 647218DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差；
对所述检测报告的预处理为：去除检测报告中重复的空格、标点符号，并使用FoolNLTK对文本进行分词。
进一步地，所述分类模块包括：采用LDA模型生成文本主题，实现文本聚类。
进一步地，所述第一桥梁检测报告生成模块包括：将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别，根据图像所属的缺陷类别，调用该缺陷类别对应的检测报告生成模型，生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
本发明的目的是针对现有技术的缺陷，提供了一种桥梁检测报告生成方法及系统。本发明自动生成桥梁检测报告，提高了桥梁检测报告的生成效率，减轻了桥梁检测报告人员的负担。此外，桥梁检测报告的撰写不需要专业的人才能实现，使各地都能基于桥梁信息快速生成相应的桥梁检测报告，提升了桥梁信息维护的效率。同时客观的报告生成避免了主观撰写报告对桥梁健康的主观评定。
附图说明
图1是实施例一提供的一种桥梁检测报告生成方法流程图；
图2是实施例二提供的一种桥梁检测报告生成系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1 所示，本实施例提出了一种桥梁检测报告生成方法，包括：
S1、采集历史桥梁图像及对应的检测报告；
为了克服现有的检测人员手动撰写桥梁检测报告的问题，本发明通过深度学习自动生成桥梁检测报告，具体地，基于桥梁图像自动生成检测报告。桥梁图像包括桥梁裂缝图像、桥梁指定位置的图像。桥梁指定位置包括桥墩、桥台、拉索等。基于深度学习自动生成桥梁检测报告需要大量的数据进行支持。因此，本发明首先采集历史桥梁图像及对应的检测报告，桥梁图像为检测人员为撰写检测报告所采集的桥梁相关信息，检测报告为检测人员基于桥梁图像手动撰写的报告。
S2、对所述历史桥梁图像及检测报告进行预处理；
对于桥梁图像，图像可能存在大量噪声，影响图像语义提取效果。因此，本发明在获取桥梁图像后，对其进行去噪。由于图片中的大多数噪声均属于高斯噪声，因此，本发明采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure 802255DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 274825DEST_PATH_IMAGE006
表示处理像素为原点、半径长度Radius范围内的像素值均值，
Figure 185012DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差。
对于检测报告，也可能包括噪声，例如重复的空格、标点符号等，因此，本发明在获得桥梁检测报告后，对其进行去噪。将检测报告中重复的空格、标点符号等去除，并使用FoolNLTK对文本进行分词。
S3、对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
桥梁缺陷包括：受钢筋锈蚀影响，混凝土表面容易出现风化、剥落；混凝土桥梁的钢筋或钢绞线、锚具等出现锈蚀现象；桥梁结构原本就存在先天性缺陷，例如混凝土空洞、麻面、蜂窝；桥梁的结构连接处产生开裂、断裂等损伤；受到车辆撞击等导致的桥梁结构出现掉角、缺边状况；由于各种因素影响，桥梁结构形成裂缝等。本发明中，检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，各桥梁图像都对应相应的桥梁缺陷，以基于桥梁缺陷生成对应的检测报告。检测报告中有对应该桥梁缺陷的描述文本，因此，本发明对历史桥梁图像按照桥梁缺陷类别进行分类， 并将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存，即与特定缺陷相应的检测报告中的所有描述文本都在同一文件中保存。
为了将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件，本发明对检测报告中的文本进行主题聚类，基于桥梁缺陷类别将检测报告中的文本描述对应到相应的桥梁缺陷类别，具体地，可以采用LDA（Latent Dirichlet Allocation）模型生成文本主题，实现文本聚类，在此不再赘述。
S4、基于所述分类为所述检测报告生成特征向量；
对于特定的桥梁，其可能包括多种缺陷，本发明基于桥梁对应的桥梁图像生成桥梁检测报告的特征向量。当桥梁包括多种缺陷时，其桥梁检测报告中也包括了对应缺陷的描述文本。因此，对于构建的桥梁检测报告特征向量V，其向量的维度即为桥梁缺陷类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure 844664DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 68972DEST_PATH_IMAGE002
。
S5、将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
对于桥梁图像，本发明使用Google的图像特征提取模型inception-v4 对图像中的特征进行提取，训练桥梁图像与检测报告特征向量之间的映射关系。桥梁图像特征提取模型的生成主要包括模型的构建与损失优化。构建的模型采用传统的inception-v4结构，在此不再赘述。对于损失优化，建立相应的损失函数，将历史桥梁图像及对应的检测报告特征向量作为训练数据，不断对建立的inception-v4进行迭代、更新，使最终生成的桥梁图像特征提取模型满足损失函数的要求。
S6、基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
对于检测报告中的文本生成，本发明采用循环神经网络（Recurrent Neural Network,RNN）模型。RNN的计算公式为
Figure DEST_PATH_IMAGE007
。其中S 是一个向量（隐藏层有多个结点所以是个向量，有多少结点向量就有多少维），为隐层的输出；O 为输出层的输出；U 为输入层到隐藏层的权重矩阵；V 是隐藏层到输出层的权重矩阵，X 与S一样，也是一个向量，即为输入层输入的值；W是一个权重矩阵，具体为上一次输入的权重。
如上所述，本发明将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存，也就是说，多个描述文本与一个桥梁缺陷对应。本发明基于同一文件中的描述文本依次对RNN进行训练，生成检测报告生成模型。检测报告生成模型生成的检测报告与特定的桥梁缺陷对应，即通过检测报告生成模型生成的是代表各桥梁缺陷类别的文本。
S7、获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
当需要自动生成桥梁检测报告时，首先将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，桥梁图像特征提取模型对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别。同时根据图像所属的缺陷类别，调用之前训练生成的该缺陷类别对应的检测报告生成模型，由此生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
S8、将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
桥梁图像特征提取模型基于多个桥梁图像，生成该桥梁各图像对应的第一桥梁检测报告。由于同一桥梁包括多个桥梁图像，因此，本发明对同一桥梁对应的多个第一桥梁检测报告进行合并，以生成该桥梁完整的桥梁检测报告，即第二桥梁检测报告，由此实现桥梁检测报告的自动生成。
实施例二
如图1 所示，本实施例提出了一种桥梁检测报告生成系统，包括：
采集模块，用于采集历史桥梁图像及对应的检测报告；
为了克服现有的检测人员手动撰写桥梁检测报告的问题，本发明通过深度学习自动生成桥梁检测报告，具体地，基于桥梁图像自动生成检测报告。桥梁图像包括桥梁裂缝图像、桥梁指定位置的图像。桥梁指定位置包括桥墩、桥台、拉索等。基于深度学习自动生成桥梁检测报告需要大量的数据进行支持。因此，本发明首先采集历史桥梁图像及对应的检测报告，桥梁图像为检测人员为撰写检测报告所采集的桥梁相关信息，检测报告为检测人员基于桥梁图像手动撰写的报告。
预处理模块，用于对所述历史桥梁图像及检测报告进行预处理；
对于桥梁图像，图像可能存在大量噪声，影响图像语义提取效果。因此，本发明在获取桥梁图像后，对其进行去噪。由于图片中的大多数噪声均属于高斯噪声，因此，本发明采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure 661627DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 742715DEST_PATH_IMAGE006
表示处理像素为原点、半径长度Radius范围内的像素值均值，
Figure 155242DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差。
对于检测报告，也可能包括噪声，例如重复的空格、标点符号等，因此，本发明在获得桥梁检测报告后，对其进行去噪。将检测报告中重复的空格、标点符号等去除，并使用FoolNLTK对文本进行分词。
分类模块，用于对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
桥梁缺陷包括：受钢筋锈蚀影响，混凝土表面容易出现风化、剥落；混凝土桥梁的钢筋或钢绞线、锚具等出现锈蚀现象；桥梁结构原本就存在先天性缺陷，例如混凝土空洞、麻面、蜂窝；桥梁的结构连接处产生开裂、断裂等损伤；受到车辆撞击等导致的桥梁结构出现掉角、缺边状况；由于各种因素影响，桥梁结构形成裂缝等。本发明中，检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，各桥梁图像都对应相应的桥梁缺陷，以基于桥梁缺陷生成对应的检测报告。检测报告中有对应该桥梁缺陷的描述文本，因此，本发明对历史桥梁图像按照桥梁缺陷类别进行分类， 并将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存，即与特定缺陷相应的检测报告中的所有描述文本都在同一文件中保存。
为了将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件，本发明对检测报告中的文本进行主题聚类，基于桥梁缺陷类别将检测报告中的文本描述对应到相应的桥梁缺陷类别，具体地，可以采用LDA（Latent Dirichlet Allocation）模型生成文本主题，实现文本聚类，在此不再赘述。
特征向量生成模块，用于基于所述分类为所述检测报告生成特征向量；
对于特定的桥梁，其可能包括多种缺陷，本发明基于桥梁对应的桥梁图像生成桥梁检测报告的特征向量。当桥梁包括多种缺陷时，其桥梁检测报告中也包括了对应缺陷的描述文本。因此，对于构建的桥梁检测报告特征向量V，其向量的维度即为桥梁缺陷类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure 917662DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 895982DEST_PATH_IMAGE002
。
第一模型生成模块，用于将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
对于桥梁图像，本发明使用Google的图像特征提取模型inception-v4 对图像中的特征进行提取，训练桥梁图像与检测报告特征向量之间的映射关系。桥梁图像特征提取模型的生成主要包括模型的构建与损失优化。构建的模型采用传统的inception-v4结构，在此不再赘述。对于损失优化，建立相应的损失函数，将历史桥梁图像及对应的检测报告特征向量作为训练数据，不断对建立的inception-v4进行迭代、更新，使最终生成的桥梁图像特征提取模型满足损失函数的要求。
第二模型生成模块，用于基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
对于检测报告中的文本生成，本发明采用循环神经网络（Recurrent Neural Network,RNN）模型。RNN的计算公式为
Figure 820076DEST_PATH_IMAGE007
。其中S 是一个向量（隐藏层有多个结点所以是个向量，有多少结点向量就有多少维），为隐层的输出；O 为输出层的输出；U 为输入层到隐藏层的权重矩阵；V 是隐藏层到输出层的权重矩阵，X 与S一样，也是一个向量，即为输入层输入的值；W是一个权重矩阵，具体为上一次输入的权重。
如上所述，本发明将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存，也就是说，多个描述文本与一个桥梁缺陷对应。本发明基于同一文件中的描述文本依次对RNN进行训练，生成检测报告生成模型。检测报告生成模型生成的检测报告与特定的桥梁缺陷对应，即通过检测报告生成模型生成的是代表各桥梁缺陷类别的文本。
第一桥梁检测报告生成模块，用于获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
当需要自动生成桥梁检测报告时，首先将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，桥梁图像特征提取模型对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别。同时根据图像所属的缺陷类别，调用之前训练生成的该缺陷类别对应的检测报告生成模型，由此生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
第二桥梁检测报告生成模块，用于将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
桥梁图像特征提取模型基于多个桥梁图像，生成该桥梁各图像对应的第一桥梁检测报告。由于同一桥梁包括多个桥梁图像，因此，本发明对同一桥梁对应的多个第一桥梁检测报告进行合并，以生成该桥梁完整的桥梁检测报告，即第二桥梁检测报告，由此实现桥梁检测报告的自动生成。
由此可知，本发明提出桥梁检测报告生成方法及系统，自动生成桥梁检测报告，提高了桥梁检测报告的生成效率，减轻了桥梁检测报告人员的负担。此外，桥梁检测报告的撰写不需要专业的人才能实现，使各地都能基于桥梁信息快速生成相应的桥梁检测报告，提升了桥梁信息维护的效率。同时客观的报告生成避免了主观撰写报告对桥梁健康的主观评定。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种桥梁检测报告生成方法，其特征在于，包括：
S1、采集历史桥梁图像及对应的检测报告；
S2、对所述历史桥梁图像及检测报告进行预处理；
S3、对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
S4、基于所述分类为所述检测报告生成特征向量；
S5、将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
S6、基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
S7、获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
S8、将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
2.根据权利要求1所述的桥梁检测报告生成方法，其特征在于，所述步骤S4包括：
对于生成的桥梁检测报告特征向量V，其向量的维度为所述桥梁缺陷的类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 314290DEST_PATH_IMAGE002
。
3.根据权利要求1所述的桥梁检测报告生成方法，其特征在于，对所述历史桥梁图像的预处理为：采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 208296DEST_PATH_IMAGE004
表示以处理像素为原点、半径长度Radius范围内的像素值均值，
Figure DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差；
对所述检测报告的预处理为：去除检测报告中重复的空格、标点符号，并使用FoolNLTK对文本进行分词。
4.根据权利要求1所述的桥梁检测报告生成方法，其特征在于，所述步骤S3包括：采用LDA模型生成文本主题，实现文本聚类。
5.根据权利要求1所述的桥梁检测报告生成方法，其特征在于，所述步骤S7具体为：将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别，根据图像所属的缺陷类别，调用该缺陷类别对应的检测报告生成模型，生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
6.一种桥梁检测报告生成系统，其特征在于，包括：
采集模块，用于采集历史桥梁图像及对应的检测报告；
预处理模块，用于对所述历史桥梁图像及检测报告进行预处理；
分类模块，用于对所述历史桥梁图像按照桥梁缺陷类别进行分类，将同一类别桥梁图像对应的检测报告中的描述文本放入同一文件进行保存；
特征向量生成模块，用于基于所述分类为所述检测报告生成特征向量；
第一模型生成模块，用于将所述历史桥梁图像及对应的检测报告特征向量作为训练数据，对inception-v4进行训练，生成桥梁图像特征提取模型；
第二模型生成模块，用于基于所述分类将各类别文件中的描述文本作为训练数据，对RNN进行训练，生成检测报告生成模型；
第一桥梁检测报告生成模块，用于获取检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像，依次输入所述桥梁图像特征提取模型、检测报告生成模型生成第一桥梁检测报告；
第二桥梁检测报告生成模块，用于将桥梁对应的所有第一桥梁检测报告进行合并，生成第二桥梁检测报告。
7.根据权利要求6所述的桥梁检测报告生成系统，其特征在于，所述特征向量生成模块包括：
对于生成的桥梁检测报告特征向量V，其向量的维度为所述桥梁缺陷的类别数，对于第i维的特征向量数值Vi，当桥梁检测报告中包括对应缺陷的描述文本时，
Figure 41123DEST_PATH_IMAGE001
，当桥梁检测报告中不包括对应缺陷的描述文本时，
Figure 136118DEST_PATH_IMAGE002
。
8.根据权利要求6所述的桥梁检测报告生成系统，其特征在于，对所述历史桥梁图像的预处理为：采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
Figure 54395DEST_PATH_IMAGE003
其中，x表示像素RGB值，
Figure 220935DEST_PATH_IMAGE004
表示处理像素为原点、半径长度Radius范围内的像素值均值，
Figure 845951DEST_PATH_IMAGE005
表示半径长度Radius范围内像素值的方差；
对所述检测报告的预处理为：去除检测报告中重复的空格、标点符号，并使用FoolNLTK对文本进行分词。
9.根据权利要求6所述的桥梁检测报告生成系统，其特征在于，所述分类模块包括：采用LDA模型生成文本主题，实现文本聚类。
10.根据权利要求6所述的桥梁检测报告生成系统，其特征在于，所述第一桥梁检测报告生成模块包括：将检护人员现场拍摄桥梁指定位置的图像及发现的裂缝图像输入桥梁图像特征提取模型，对图像中的特征内容进行提取，自动选择图像归属的桥梁缺陷类别，根据图像所属的缺陷类别，调用该缺陷类别对应的检测报告生成模型，生成针对该图像缺陷的描述文本，即第一桥梁检测报告。
CN202010154689.9A 2020-03-08 2020-03-08 一种桥梁检测报告生成方法及系统 Pending CN111027946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010154689.9A CN111027946A (zh) 2020-03-08 2020-03-08 一种桥梁检测报告生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010154689.9A CN111027946A (zh) 2020-03-08 2020-03-08 一种桥梁检测报告生成方法及系统

Publications (1)

Publication Number Publication Date
CN111027946A true CN111027946A (zh) 2020-04-17

Family

ID=70199401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010154689.9A Pending CN111027946A (zh) 2020-03-08 2020-03-08 一种桥梁检测报告生成方法及系统

Country Status (1)

Country Link
CN (1) CN111027946A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862268A (zh) * 2020-07-24 2020-10-30 招商局重庆公路工程检测中心有限公司 一种基于2d展布图的桥梁结构外观缺陷记录方法
CN114036258A (zh) * 2021-10-19 2022-02-11 东南大学 一种基于自然语言处理的桥梁技术状况等级快速识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN110111864A (zh) * 2019-04-15 2019-08-09 中山大学 一种基于关系模型的医学报告生成模型及其生成方法
CN110555831A (zh) * 2019-08-29 2019-12-10 天津大学 一种基于深度学习的排水管道缺陷分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN110111864A (zh) * 2019-04-15 2019-08-09 中山大学 一种基于关系模型的医学报告生成模型及其生成方法
CN110555831A (zh) * 2019-08-29 2019-12-10 天津大学 一种基于深度学习的排水管道缺陷分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862268A (zh) * 2020-07-24 2020-10-30 招商局重庆公路工程检测中心有限公司 一种基于2d展布图的桥梁结构外观缺陷记录方法
CN114036258A (zh) * 2021-10-19 2022-02-11 东南大学 一种基于自然语言处理的桥梁技术状况等级快速识别方法
CN114036258B (zh) * 2021-10-19 2022-06-24 东南大学 一种基于自然语言处理的桥梁技术状况等级快速识别方法

Similar Documents

Publication Publication Date Title
CN113409314B (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN111127465A (zh) 一种桥梁检测报告自动生成方法及系统
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN107967475A (zh) 一种基于窗口滑动和卷积神经网络的验证码识别方法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
JP4581090B2 (ja) 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN114140625A (zh) 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN110826588A (zh) 一种基于注意力机制的排水管道缺陷检测方法
CN110245697B (zh) 一种表面脏污检测方法、终端设备及存储介质
CN111027946A (zh) 一种桥梁检测报告生成方法及系统
CN109063983B (zh) 一种基于社交媒体数据的自然灾害损失实时评估方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN111507972A (zh) 结合卷积神经网络和支持向量机的隧道表面缺陷检测方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN110555831A (zh) 一种基于深度学习的排水管道缺陷分割方法
CN113962951A (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN111079572A (zh) 一种基于视频理解的森林烟火检测方法、存储介质和设备
CN115082909A (zh) 一种肺部病变识别方法及系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN111353550A (zh) 一种基于随机结构森林的结构物表面缺陷检测方法
CN116740037A (zh) 一种基于深度学习的混凝土多标签缺陷识别方法
CN116863134A (zh) 一种隧道衬砌裂缝长度与宽度的检测分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417