CN118038281A - 一种裂缝检测方法、装置、存储介质及电子设备 - Google Patents
一种裂缝检测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN118038281A CN118038281A CN202410446082.6A CN202410446082A CN118038281A CN 118038281 A CN118038281 A CN 118038281A CN 202410446082 A CN202410446082 A CN 202410446082A CN 118038281 A CN118038281 A CN 118038281A
- Authority
- CN
- China
- Prior art keywords
- crack
- detection
- data
- large model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000007613 environmental effect Effects 0.000 claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 230000002708 enhancing effect Effects 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请的实施例提供了一种裂缝检测方法、装置、存储介质及电子设备，涉及裂缝检测技术领域，所述方法包括：获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本数据以及传感器数据；对所述环境数据进行预处理和增强处理；基于经过处理后的所述环境数据和相关知识库的构建，利用多模态大模型进行裂缝识别和检测；结合工具调用，针对检测结果进行细粒度的裂缝特征分析；基于裂缝特征分析结果利用大模型智能体能力生成裂缝检测报告。本申请的技术方案，将多模态大模型技术引入到工程基础设施的裂缝检测任务中，通过多模态数据的综合利用和大模型强大的场景泛化能力，提高了裂缝检测的全面性和准确性。
Description
技术领域
本申请涉及裂缝检测技术领域，具体而言，涉及一种裂缝检测方法、一种裂缝检测装置、一种计算机可读存储介质以及一种电子设备。
背景技术
在当前的工程和工业领域，利用人工智能技术对基础设施进行裂缝检测和分析是至关重要的。这种技术的应用不仅能显著降低运营风险，提高自动化水平，还能有效节约人工运维成本，同时推动工程项目向数字化和智能化转型。目前，以卷积神经网络（CNN）为骨干的AI算法已经在工程设施的表面裂缝识别和定位方面得到了广泛应用。这些算法通过分析图像数据，能够准确的识别出裂缝的存在，并对其进行定位。
针对问题：现有的裂缝检测技术面临着几个重要的挑战。首先，训练一个高精度的裂缝检测模型需要大量的像素级标注数据。这种标注工作不仅成本高昂，而且技术难度大。由于需要针对特定任务场景获取专门的图像标注数据集，导致训练出的模型通常只能应对特定的场景任务。这种情况下，模型缺乏场景迁移能力和泛化能力，即一个模型很难适应多种不同的场景和子任务。其次，每次面对新的任务场景都需要重新训练模型，这不仅增强了成本，也降低了模型的复用性。
发明内容
本申请的实施例提供了一种裂缝检测方法、一种裂缝检测装置、一种计算机可读存储介质以及一种电子设备，以解决现有技术中存在的技术难题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的第一方面，提供了一种裂缝检测方法，包括：
获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本以及传感器数据；
对所述环境数据进行预处理和增强处理；
基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测；
结合工具调用，针对检测结果进行细粒度的裂缝特征分析；
基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
在本申请的一些实施例中，基于前述方案，在利用多模态大模型进行裂缝识别检测之前，还包括：
基于集成策略，结合图像识别、声音分析ASR和模式识别技术以及多模态大模型构建检测链路，并将裂缝检测专家小模型、图像分割专家小模型和通过外挂机制的知识库提供给所述多模态大模型调用。
在本申请的一些实施例中，基于前述方案，在生成裂缝检测报告后，还包括：
所述多模态大模型将所述裂缝检测报告自动发送至用户。
在本申请的一些实施例中，基于前述方案，所述对所述环境数据进行预处理和增强处理，包括：
使用轻量级的消息队列系统收集所述环境数据；
对所述环境数据进行清洗、标准化和增强处理；
使用分布式数据库系统存储处理后的环境数据。
在本申请的一些实施例中，基于前述方案，所述利用多模态大模型进行裂缝识别检测，包括：
将经过处理后的所述环境数据作为模型输入；
多模态大模型针对输入的图像数据和文本数据，通过自身推理和调用相关工具、知识库的形式，识别出潜在的裂缝。
在本申请的一些实施例中，基于前述方案，所述所述结合工具调用，针对检测结果进行细粒度的裂缝特征分析，包括：
利用多模态大模型调用裂缝检测专家小模型和图像分割专家小模型对检测结果进行边缘检测、图像分割处理，分析出裂缝的详细特征。
在本申请的一些实施例中，基于前述方案，在专家小模型进行边缘检测的过程中，采用Canny算法进行边缘检测，具体包括：
使用高斯滤波器平滑图像，降低噪声；
寻找图像的强度梯度；
对图像的梯度值进行非极大值抑制。
根据本申请实施例的第二方面，提供了一种裂缝检测装置，包括：
获取单元，用于获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本以及传感器数据；
处理单元，用于对所述环境数据进行预处理和增强处理；
检测单元，用于基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测；
分析单元，用于结合工具调用，针对检测结果进行细粒度的裂缝特征分析；
生成单元，用于基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
根据本申请实施例的第三方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机指令，所述计算机指令在计算机上运行时，使得所述计算机执行如第一方面所述的方法。
根据本申请实施例的第四方面，提供了一种电子设备，包括：存储器和处理器；
所述存储器，用于存储计算机指令；
所述处理器，用于调用所述存储器中存储的计算机指令，使得所述电子设备执行如第一方面所述的方法。
本申请的技术方案，将多模态大模型技术引入到工程基础设施的裂缝检测任务中，通过多模态数据的综合利用和大模型强大的场景泛化能力，提高了裂缝检测的全面性和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本申请一个实施例的一种裂缝检测方法的流程示意图；
图2示出了本申请一个实施例提供的一种裂缝检测方法具体应用流程图；
图3示出了根据本申请一个实施例的一种裂缝检测装置的框图；
图4示出了根据本申请一个实施例的一种电子设备的结构框图；
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
鉴于现有技术中存在的技术问题，本申请旨在解决如何提高裂缝检测模型的场景泛化能力，使单一模型能够适配多类场景和子任务，从而避免针对每个特定任务场景都需要单独训练模型的情况。这种解决方案将有助于提高裂缝检测技术的成本效益和应用灵活性，同时也为工程领域带来更高效、智能化的检测工具。
参见图1，示出了根据本申请一个实施例的一种裂缝检测方法的流程示意图。
如图1所示，展示了一种裂缝检测方法，具体包括步骤S100至步骤S500。
步骤S100，获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本数据以及传感器数据。
可以理解的是，在本申请实施例中，可以采用高分辨率摄像头获取裂缝的图像数据，采用红外传感器获取裂缝的热像数据，利用环境监测设备收集如温度、湿度和振动等相关数据，并将其转化为字符串文本，作为多模态大模型的输入格式。
继续参考图1，步骤S200，对所述环境数据进行预处理和增强处理。
可以理解的是，对环境数据进行预处理和增强处理可以提高裂缝监测的准确性。
在一些可行的实施例中，基于前述方案，所述步骤S200具体包括：
步骤S210，使用轻量级的消息队列系统收集所述环境数据；
步骤S220，对所述环境数据进行清洗、标准化和增强处理；
步骤S230，使用分布式数据库系统存储处理后的环境数据。
可以理解的是，在具体的应用过程中，采用数据处理模块实现该步骤，其中，所述数据处理模块包括了数据收集层、数据处理层以及数据存储层。数据收集层使用轻量级的消息队列系统，Apache Kafka来收集来自传感器的实时数据；数据处理层使用ApacheFlink进行实时数据流的处理，以提供低延迟和高吞吐量的数据处理能力；数据存储层则是使用分布式数据库系统HBase来提供高可用的大规模数据的存储。
需要说明的是，经过处理后的图像数据和文本类数据后续作为多模态大模型的输入，经过处理后的声音、温度等数据则输入至知识库中，后续过程中多模态大模型在分析时调用知识库进行辅助判断。
继续参考图1，步骤S300，基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测。
可以理解的是，经过处理后的环境数据最终转化为图像+文本数据，将其作为多模态大模型的输入。
需要说明的是，相关知识库是指与裂缝检测相关的知识库，该库中存储有与裂缝检测相关的各种数据。
在一些可行的实施例中，基于前述方案，在利用多模态大模型进行裂缝识别检测之前，还包括：
基于集成策略，结合图像识别、声音分析ASR和模式识别技术以及多模态大模型构建检测链路，并将裂缝检测专家小模型、图像分割专家小模型和通过外挂机制的知识库提供给所述多模态大模型调用。
需要说明的是，本申请通过多模态大模型强大的泛化能力，可以无缝迁移到多个裂缝检测场景，如道路级别的检测、隧道级别的检测以及桥梁级别的裂缝检测等。与传统的训练专门的深度学习模型的策略不同，本申请引入多模态大模型作为底座的检测方法，无需针对每一个场景任务去进行数据采集、模型训练和测试工作，大幅减小应用成本和应用周期。同时，本申请为进一步提高大模型的检测精度和效率，进一步采用专家小模型等作为工具提供给大模型调用，以及提供专家知识库供大模型在检测分析时进行知识检索，以提升大模型的判断能力。
示例性的，构建的多模态大模型具体分为三部分：
1）顶层为调用层。代表多模态大模型需要的能力，如对图像进行特征处理、检测裂缝时需要的边缘检测技术、图像分割、以及其他API调用，比如大模型作为agent撰写分析报告通知工程师时需要调用的email API等。该调用层通过向下一层工具提供层进行工具调用，来获取相应的能力。
2）中间层为工具提供层。该层负责从底层的算法库中挑选一个算法，配置相关参数，生成具体的模型实例，然后将实例的能力提供给上层的调用层使用。
3）底层为工具集成层。该层负责集成相关的算法，构建算法库，供上层选择，比如在图中的图像分割算法库中集成了SAM算法、Mask R-CNN算法以及基于阈值分割的算法，然后中间层选择一个算法生成实例，并把该实例的分割能力提供给大模型调用层。
可以理解的是，专家小模型是指与裂缝检测相关的模型，这种模型具有裂缝检测能力。
可以理解的是，在本申请中，通过工具调用的方式将专家小模型的能力提供给多模态大模型，以增强其检测的精度。另外，通过知识外挂的设计来进一步提高多模态大模型的场景迁移能力和垂类适应能力，比如对于场景A（桥梁表面裂缝检测），可以提供一些桥梁裂缝检测方法和裂缝特征等信息作为知识库A来给大模型检索调用；对于场景任务B（隧道裂缝检测），可将隧道裂缝检测方法等信息作为知识库B供大模型使用。不同的场景任务提供不同的垂类知识库，这种策略也可进一步降低大模型微调成本，达到降本增效的效果。
在一些可行的实施例中，基于前述方案，所述利用多模态大模型进行裂缝识别检测，包括：
将经过处理后的所述环境数据作为模型输入；
多模态大模型针对输入的图像数据和文本数据，通过自身推理和调用相关工具、知识库的形式，识别出潜在的裂缝。
可以理解的是，在构建多模态大模型的过程中，就结合了结合图像识别、声音分析和模式识别技术，所以构建出来的多模态大模型具有图像识别、声音分析和模式识别这些功能，使得多模态大模型可以同时处理和分析出不同类型的数据。而外挂的知识库以及相关工具，可以辅助多模态大模型进行识别，提高识别效率。
继续参考图1，步骤S400，结合工具调用，针对检测结果进行细粒度的裂缝特征分析。
可以理解的是，步骤S300只是初步识别出了裂缝，对于裂缝的具体构造等特征并不清楚，所以需要进一步的对裂缝特征进行分析，例如，细致化分析裂缝的长度、宽度和深度等。
需要说明的是，此处所述的工具调用是指，多模态大模型调用其他专家小模型以及知识库。
在一些可行的实施例中，基于前述方案，所述步骤S400包括：
利用多模态大模型调用裂缝检测专家小模型和图像分割专家小模型对检测结果进行边缘检测、图像分割处理，分析出裂缝的详细特征。
在一些可行的实施例中，基于前述方案，在专家小模型进行边缘检测的过程中，采用Canny算法进行边缘检测，具体包括：
使用高斯滤波器平滑图像，降低噪声；
寻找图像的强度梯度；
对图像的梯度值进行非极大值抑制。
可以理解的是，Canny算法主要目标是找到图像中明显的边缘，尽可能减少误报和漏报，其具体过程如下：
1、噪声降低。第一步使用高斯滤波器来平滑图像，以降低噪声。
高斯滤波：使用高斯滤波器G(x,y)对图像I(x,y)进行卷积。其中，σ是高斯滤波器的标准差，决定了滤波的程度。
；
其中，图像I(x,y)中的x表示图像像素点的横坐标，y表示图像像素点的纵坐标。
2、寻找图像的强度梯度。滤波后，算法会计算图像中每个像素点的梯度强度和方向。梯度计算使用Sobel算子在水平和垂直方向上计算梯度。
；
；
梯度的总幅值G和方向可以由以下公式计算：
；
；
其中，表示水平方向即横坐标方向上的梯度值，/>表示垂直方向即纵坐标上的梯度值，I表示图像。
3、非极大值抑制。为了得到细化的边缘，算法会对梯度值进行非极大值抑制，保留梯度幅度值局部最大的点。为了进一步减小误报，Canny算法使用了双阈值方法来识别和连接边缘。双阈值：设置高阈值和低阈值，梯度增幅高于高阈值的点被视为强边缘，低于低阈值的点被排除，介于两者之间的点则根据其在强边缘附近情况决定是否保留。边缘连接：通过从强边缘点开始，追踪所有与之连接的边缘点，形成完整边缘。
表 1 本发明中边缘检测Canny算法的参数设置
在使用Canny算法检测到裂缝的边缘后，下一步使用轮廓提取方法来确定裂缝的轮廓，本发明直接调用OpenCV库中的 ’findContours’ 函数，其对输入的二值化边缘图像进行外层轮廓检测和相关端点的坐标存储。
继续参考图1，步骤S500，基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
可以理解的是，多模态大模型作为智能体，通过调用其他工具或者第三方API，得到对检测结果的总结和撰写报告能力。自动生成详细的裂缝检测报告，包括裂缝图像、特征分析结果和裂缝的具体情况，以及相关的修复措施和应付方法。
在一些可行的实施例中，基于前述方案，在生成裂缝检测报告后，还包括：
所述多模态大模型将所述裂缝检测报告自动发送至用户。
需要说明的是，大模型生成的报告可以通过email或短信的形式通知到用户（为实现email发送信息，需要调用第三方API，如QQ邮箱等）。
示例性的，参见图2，示出了本申请一个实施例提供的一种裂缝检测方法具体应用流程图。
如图2所示，将获取的图像输入数据、传感器输入数据和文本输入数据（检测指令）各自输入Embedding模块，再进行向量拼接；然后多模态大模型通过调用小模型和知识库对输入数据进行裂缝检测，若检测到没有裂缝，则通知过审，若检测到有裂缝，则继续分析裂缝特征，并撰写分析报告反馈给工作人员。
需要说明的是，本方法可以适用于不同的检测场景，如桥梁裂缝检测、工业设备裂缝检测、地面裂缝检测等不同场景。
综上所述，本申请提供的技术方案具有以下优点：
1）本发明的实用价值——本发明面向工程工业领域的设施裂缝检测场景，结合当下的前瞻性技术，多模态大模型和AI智能体，提出了一种自动化水平高且操作成本低的智能检测系统。自动化和智能化处理的提升进而促进了检测速度，传统方法检测和分析一个设施需要数小时，而本发明可压缩至数分钟；
2）本发明的经济价值——通过AI大模型提高检测效率和显著降低运维成本，人力成本可降低30%-50%，同时，准确及时的维护可以延长设施的使用寿命，提高资产价值，减少了因安全事故可能带来的巨额赔偿和修复成本。
3）与现有的技术相比，本发明基于大模型和AI智能体提出了一种崭新的自动化框架来辅助工程设施上的裂缝检测任务，相比传统的方法，具备更高的场景迁移能力和降本增效的效果。
4）相比简单的使用多模态大模型来检测区域裂缝，本发明通过引入知识外挂、工具调用以及专门设计的工具调用架构策略来增强大模型检测的精度和效果。本发明提出的该策略可以有效的结合专家小模型的精度优势和大模型的泛化能力优势。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的一种裂缝检测方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法的实施例。
参照图3所示，根据本申请的一个实施例的一种裂缝检测装置300，包括获取单元301、处理单元302、检测单元303、分析单元304和生成单元305。
其中，获取单元301，用于获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本以及传感器数据；处理单元302，用于对所述环境数据进行预处理和增强处理；检测单元303，用于基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测；分析单元304，用于结合工具调用，针对检测结果进行细粒度的裂缝特征分析；生成单元305，用于基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
如图4所示，本申请实施例还提供一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器上运行的计算机程序411，处理器420执行计算机程序411时实现上述一种裂缝检测方法的任一方法的步骤。
由于本实施例所介绍的电子设备为实施本申请实施例中一种裂缝检测装置所采用的设备，故而基于本申请实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍，只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
在具体实施过程中，该计算机程序411被处理器执行时可以实现第一方面对应的实施例中任一实施方式。
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图5示出的电子设备的计算机系统500仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元（Central Processing Unit，CPU）501，其可以根据存储在只读存储器（Read-Only Memory，ROM）502中的程序或者从储存部分508加载到随机访问存储器（Random Access Memory，RAM）503中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（Input/Output，I/O）接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元（CPU）501执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的一种裂缝检测方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的一种裂缝检测方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种裂缝检测方法，其特征在于，包括：
获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本以及传感器数据；
对所述环境数据进行预处理和增强处理；
基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测；
结合工具调用，针对检测结果进行细粒度的裂缝特征分析；
基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
2.根据权利要求1所述的方法，其特征在于，在利用多模态大模型进行裂缝识别检测之前，还包括：
基于集成策略，结合图像识别、声音分析ASR和模式识别技术以及多模态大模型构建检测链路，并将裂缝检测专家小模型、图像分割专家小模型和通过外挂机制的知识库提供给所述多模态大模型调用。
3.根据权利要求1所述的方法，其特征在于，在生成裂缝检测报告后，还包括：
所述多模态大模型将所述裂缝检测报告自动发送至用户。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述环境数据进行预处理和增强处理，包括：
使用轻量级的消息队列系统收集所述环境数据；
对所述环境数据进行清洗、标准化和增强处理；
使用分布式数据库系统存储处理后的环境数据。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述利用多模态大模型进行裂缝识别检测，包括：
将经过处理后的所述环境数据作为模型输入；
多模态大模型针对输入的图像数据和文本数据，通过自身推理和调用相关工具、知识库的形式，识别出潜在的裂缝。
6.根据权利要求2所述的方法，其特征在于，所述结合工具调用，针对检测结果进行细粒度的裂缝特征分析，包括：
利用多模态大模型调用裂缝检测专家小模型和图像分割专家小模型对检测结果进行边缘检测、图像分割处理，分析出裂缝的详细特征。
7.根据权利要求6所述的方法，其特征在于，在专家小模型进行边缘检测的过程中，采用Canny算法进行边缘检测，具体包括：
使用高斯滤波器平滑图像，降低噪声；
寻找图像的强度梯度；
对图像的梯度值进行非极大值抑制。
8.一种裂缝检测装置，其特征在于，包括：
获取单元，用于获取裂缝周围的环境数据，所述环境数据包括图像数据、热像数据、文本以及传感器数据；
处理单元，用于对所述环境数据进行预处理和增强处理；
检测单元，用于基于经过处理后的所述环境数据以及相关知识库，利用多模态大模型进行裂缝识别检测；
分析单元，用于结合工具调用，针对检测结果进行细粒度的裂缝特征分析；
生成单元，用于基于裂缝特征分析结果利用多模态大模型生成裂缝检测报告。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机指令，所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储计算机指令；
所述处理器，用于调用所述存储器中存储的计算机指令，使得所述电子设备执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410446082.6A CN118038281B (zh) | 2024-04-15 | 2024-04-15 | 一种裂缝检测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410446082.6A CN118038281B (zh) | 2024-04-15 | 2024-04-15 | 一种裂缝检测方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118038281A true CN118038281A (zh) | 2024-05-14 |
| CN118038281B CN118038281B (zh) | 2024-06-18 |
Family
ID=90986088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410446082.6A Active CN118038281B (zh) | 2024-04-15 | 2024-04-15 | 一种裂缝检测方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118038281B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102239377B1 (ko) * | 2019-12-26 | 2021-04-13 | 주식회사 딥인스펙션 | 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법 |
| CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
| WO2022228958A1 (en) * | 2021-04-28 | 2022-11-03 | Bayer Aktiengesellschaft | Method and apparatus for processing of multi-modal data |
| CN115823508A (zh) * | 2022-12-21 | 2023-03-21 | 辽宁石油化工大学 | 一种空天地一体化管网安全监测方法及系统 |
| CN116091477A (zh) * | 2023-02-27 | 2023-05-09 | 哈尔滨工业大学（深圳） | 基于深度学习多模态图像融合的建筑外墙缺陷检测方法 |
| KR20230065188A (ko) * | 2021-11-04 | 2023-05-11 | 주식회사 딥인스펙션 | 설명가능 인공지능 기반 댐시설물 결함 검출, 정량화, 캡셔닝, 도면화, 상태평가 보고서 자동 작성을 위한 SaaS 플랫폼 장치 |
| CN117292230A (zh) * | 2023-10-07 | 2023-12-26 | 四川大学 | 基于多模态大模型的建筑物震害损伤智能评估方法 |
-
2024
- 2024-04-15 CN CN202410446082.6A patent/CN118038281B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102239377B1 (ko) * | 2019-12-26 | 2021-04-13 | 주식회사 딥인스펙션 | 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법 |
| WO2022228958A1 (en) * | 2021-04-28 | 2022-11-03 | Bayer Aktiengesellschaft | Method and apparatus for processing of multi-modal data |
| CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
| KR20230065188A (ko) * | 2021-11-04 | 2023-05-11 | 주식회사 딥인스펙션 | 설명가능 인공지능 기반 댐시설물 결함 검출, 정량화, 캡셔닝, 도면화, 상태평가 보고서 자동 작성을 위한 SaaS 플랫폼 장치 |
| CN115823508A (zh) * | 2022-12-21 | 2023-03-21 | 辽宁石油化工大学 | 一种空天地一体化管网安全监测方法及系统 |
| CN116091477A (zh) * | 2023-02-27 | 2023-05-09 | 哈尔滨工业大学（深圳） | 基于深度学习多模态图像融合的建筑外墙缺陷检测方法 |
| CN117292230A (zh) * | 2023-10-07 | 2023-12-26 | 四川大学 | 基于多模态大模型的建筑物震害损伤智能评估方法 |
Non-Patent Citations (3)
| Title |
|---|
| DI WANG等: "Intelligent feature extraction, data fusion and detection of concrete bridge cracks: current development and challenges", 《INTELLIGENCE & ROBOTICS》, vol. 2, no. 4, 24 December 2022 (2022-12-24), pages 391 - 406 * |
| 李二伟: "基于机器视觉的滨海大桥裂缝识别技术", 《建筑安全》, vol. 38, no. 2, 5 February 2023 (2023-02-05), pages 33 - 37 * |
| 肖明鉴: "道路裂缝检测的红外图像融合及识别提取方法研究", 《中国优秀硕士学位论文全文数据库：工程科技Ⅱ辑》, no. 2, 15 February 2023 (2023-02-15), pages 1 - 67 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118038281B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008597B (zh) | Cad图纸的空间识别方法、装置、电子设备及存储介质 | |
| CN110210302B (zh) | 多目标跟踪方法、装置、计算机设备及存储介质 | |
| CN112837290B (zh) | 一种基于种子填充算法的裂缝图像自动识别方法 | |
| CN111986159B (zh) | 太阳能电池片的电极缺陷检测方法、设备及存储介质 | |
| RU2008129793A (ru) | Способ улучшения последующей обработки изображений с использованием деформируемых сеток | |
| CN106599890B (zh) | 变电站巡检机器人数字式仪表识别算法 | |
| Gunkel et al. | Micro crack detection with Dijkstra’s shortest path algorithm | |
| CN111079638A (zh) | 基于卷积神经网络的目标检测模型训练方法、设备和介质 | |
| CN116168351B (zh) | 电力设备巡检方法及装置 | |
| CN103106663B (zh) | 计算机系统中基于图像处理实现sim卡缺陷检测的方法 | |
| CN118038281B (zh) | 一种裂缝检测方法、装置、存储介质及电子设备 | |
| JP2019087050A (ja) | 構造物維持管理業務支援システム | |
| CN111127450B (zh) | 一种基于图像的桥梁裂缝检测方法及系统 | |
| CN108446581A (zh) | 一种恶劣环境中的无人机检测方法 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
| CN114255352A (zh) | 一种河道提取方法、装置及计算机可读存储介质 | |
| CN113344064A (zh) | 事件处理方法和装置 | |
| CN117314917B (zh) | 一种桥梁裂缝检测方法、装置、计算机设备及存储介质 | |
| CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
| CN113569727B (zh) | 遥感影像中施工场地的识别方法、系统、终端及介质 | |
| CN111985497B (zh) | 架空输电线路下吊车作业识别方法及系统 | |
| CN114639037B (zh) | 确定高速服务区的车辆饱和的方法及电子设备 | |
| CN114998336B (zh) | 一种塑料废弃物的检测和处理方法及装置 | |
| CN114627086B (zh) | 一种基于特征金字塔网络的起重机表面损伤检测方法 | |
| CN118261861A (zh) | 一种基于图像处理的手机盖板缺陷的智能检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |