CN110992359B - 一种基于深度图的混凝土裂缝检测方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种混凝土裂缝检测方法，所述方法包括：通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后包括所述第一边缘信息的像素点最多的深度层。

Description

一种基于深度图的混凝土裂缝检测方法、装置及电子设备

技术领域

本发明涉及混凝土技术领域，具体而言涉及一种基于深度图的混凝土裂缝检测方法、装置及电子设备。

背景技术

现今，混凝土的应用非常普遍，建筑、道路等领域的应用无处不在。混凝土有结构坚固的特点，但是混凝土结构的韧性差，容易因为热胀冷缩而产生裂缝损坏，混凝土结构有裂缝后，会对整个道路、建筑结构的安全性造成影响，给人们带来安全隐患。为此，及时对混净土结构进行裂缝检查和修复是保证混凝土结构安全性的重要措施。

为了检测混凝土的安全性，目前常见的监测报警混凝土裂缝检测方法是由专业人员定期到可能会出现裂缝的大体积混凝土区域，使用仪器对大体积混凝土进行检测。这种人工检测的方式，检测效率低，检测准确性差，并不能确定具体是什么原因导致的混凝土出现裂缝，难以对混凝土进行有效的修复。

为此，一种高效、精确性高的混凝土裂缝检测方法为人们所需。

发明内容

本发明实施例提供了一种基于深度图的混凝土裂缝检测方法、装置及电子设备，其旨在改善现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种基于深度图的混凝土裂缝检测方法，所述方法包括：

通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；

对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；

对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；

对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；

将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；

获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后包括所述第一边缘信息的像素点最多的深度层；

分离所述第一边缘信息落在所述目标深度层的像素点，获得第二边缘信息；

对所述第二边缘信息进行膨胀处理，对进行膨胀处理后的所述第二边缘信息进行锐化处理，获得所述混凝土图像中的裂缝的边缘。

可选的，所述对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像，包括：

对所述左混凝土图像进行特征提取，获得左图像特征，所述左图像特征包括多个特征点；

对所述右混凝土图像进行特征提取，获得右图像特征，所述右图像特征包括多个特征点；

获得所述左图像特征点和所述右图像特征点之间的匹配因子，具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量；

若所述匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值；其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序；

根据所述视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值，具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距；

以深度值转化成颜色，得到深度图像像素值，所述深度图像有多个深度图像像素值。

可选的，在对所述左混凝土图像进行特征提取，获得左图像特征；对所述右混凝土图像进行特征提取，获得右图像特征之后，在获得所述左图像特征点和所述右图像特征点之间的匹配因子之前，所述方法还包括：

调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合。

可选的，所述调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合，包括：

基于所述左图像特征中的特征点，生成所述左图像特征的第一外接圆，基于所述右图像特征中的特征点，生成所述右图像特征的第二外接圆；

求取所述第一外接圆和所述第二外接圆的移动值；

根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的所述左图像特征与所述右图像特征。

可选的，所述求取所述第一外接圆和所述第二外接圆的移动值，包括：

求取所述第一外接圆和所述第二外接圆之间的圆心距；

以所述圆心距作为所述移动值。

第二方面，本发明实施例提供了一种基于深度图的混凝土裂缝检测装置，所述装置包括：

摄像模块，用于通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；

第一边缘提取模块，用于对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；

立体匹配模块，用于对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；

分层模块，用于对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；

融合模块，用于将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；

获取目标模块，用于获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后，包括所述第一边缘信息的像素点最多的深度层；

第二边缘提取模块，用于分离所述第一边缘信息落在所述目标深度层的像素点，以获得第二边缘信息；

确定裂缝模块，用于对所述第二边缘信息进行膨胀处理，对进行膨胀处理后的所述第二边缘信息进行锐化处理，获得所述混凝土图像中的裂缝的边缘。

可选的，所述立体匹配模块，还用于：

对所述左混凝土图像进行特征提取，获得左图像特征，所述左图像特征包括多个特征点；

对所述右混凝土图像进行特征提取，获得右图像特征，所述右图像特征包括多个特征点；

获得所述左图像特征点和所述右图像特征点之间的匹配因子，具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量；

若所述匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值；其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序；

根据所述视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值，具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距；

以深度值转化成颜色值，得到深度图像像素值，所述深度图像有多个深度图像像素值。

可选的，所述立体匹配模块，还用于：

调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合。

可选的，所述立体匹配模块，还用于：

基于所述左图像特征中的特征点，生成所述左图像特征的第一外接圆，基于所述右图像特征中的特征点，生成所述右图像特征的第二外接圆；

求取所述第一外接圆和所述第二外接圆的移动值；

根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的所述左图像特征与所述右图像特征。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实上述任一项所述方法的步骤。

相对于现有技术，本发明实施例的有益效果是：

本发明实施例提供了一种基于深度图的混凝土裂缝检测方法、装置及电子设备，所述方法包括：

通过双目摄像系统获取混凝土图像，混凝土图像包括左混凝土图像和右混凝土图像；对左混凝土图像或者右混凝土图像进行边缘提取，获得第一边缘信息；对左混凝土图像和右混凝土图像进行立体匹配，获得混凝土的深度图像；对深度图像基于深度进行分层，得到深度分层图像，深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；将第一边缘信息覆盖到深度分层图像中，得到融合深度图像；获得目标深度层，目标深度层为经过第一边缘信息覆盖后包括第一边缘信息的像素点最多的深度层；分离第一边缘信息落在目标深度层的像素点，以获得第二边缘信息；对第二边缘信息进行膨胀处理，对进行膨胀处理后的第二边缘信息进行锐化处理，获得混凝土图像中的裂缝的边缘。因为混凝土的裂缝中可能存在一些沟壑，这些沟壑会在左混凝土图像和右混凝土图像中有显示，则对左混凝土图像或者右混凝土图像进行边缘提取得到的第一边缘信息中会包括这些沟壑信息，然而，这些沟壑信息并非裂缝的边缘信息，即第一边缘信息中存在较多的噪声，第一边缘信息中并不能准确表征裂缝的边缘。为此，为了能够去噪，以提高裂缝边缘检测的准确性，对左混凝土图像和右混凝土图像进行立体匹配，获得混凝土的深度图像，对深度图像基于深度进行分层，得到深度分层图像，深度分层图像中每一层的深度不同，则可以分离出不同深度的纹理信息，即可以将混凝土的裂缝的边缘信息与其他噪声分离在不同的深度层中。为了能够将裂缝的边缘分离出来，将第一边缘信息覆盖到深度分层图像中，得到融合深度图像，获得目标深度层，目标深度层为经过第一边缘信息覆盖后包括第一边缘信息的像素点最多的深度层；分离第一边缘信息落在目标深度层的像素点，以获得第二边缘信息，这样，就可以将不同深度的边缘信息分离出来，即第二边缘信息就是裂缝的边缘信息，对第二边缘信息进行膨胀处理，对进行膨胀处理后的第二边缘信息进行锐化处理，获得混凝土图像中的裂缝的边缘，提高了裂缝边缘信息的精度和可使用性。从而解决了现有技术中存在的对混凝土的裂缝的检测效率低、检测准确性差的问题，达到了提高了对混凝土的裂缝的检测准确性的技术效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种电子设备的方框结构示意图。

图2示出了本发明实施例提供的一种基于深度图的混凝土裂缝检测方法的流程图。

图3示出了本发明实施例提供的一种基于深度图的混凝土裂缝检测装置200的方框结构示意图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-摄像装置；106-显示装置；200-异常行为检测装置；210-摄像模块；220-第一边缘提取模块；230-立体匹配模块；240-分层模块；250-融合模块；260-获取目标模块；270-第二边缘提取模；280-确定裂缝模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

请参阅图1，图1示出了本发明较佳实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于智能手机、平板电脑、膝上便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、穿戴式移动终端、台式电脑等。所述电子设备100包括存储器101、存储控制器102、处理器103、外设接口104、摄像装置105、显示装置106和异常行为检测装置200。

所述存储器101、存储控制器102、处理器103、外设接口104、摄像装置105和显示装置106各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述异常行为检测装置200包括至少一个可以以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operation system，OS)中的软件功能模块。所述处理器103用于执行存储器101中储存的可执行模块或计算机程序，例如所述异常行为检测装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器101用于储存程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例解释的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可以是一种集成芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。

摄像装置105用于采集图像，摄像装置105可以是双目摄像系统，包括第一摄像头和第二摄像头，第一摄像头用于采集第一图像，第二摄像头用于采集第二图像。第一图像和第二图像分别是左图像和右图像，第一摄像头和第二摄像头分别是左摄像头和右摄像头。在本实施例中，摄像装置105还可以是多目摄像系统。在本发明实施例中，第一摄像头可以包括三基色传感器，如RGB传感器，第一摄像头通过RGB传感器可以拍摄得到RGB图像，如此，由第一摄像头采集到的第一图像可以是，但不限于RGB图像。第二摄像头可以包括黑白夜视传感器，如mono传感器，第二摄像头通过mono传感器可以拍摄得到黑白夜视图像，如此，由第二摄像头采集到的第二图像可以是，但不限于黑白夜视图像。也可以是第一摄像头和第二摄像头都是CCD摄像头。。

显示装置106用于实现用户与电子设备100之间的交互，例如，但不限于显示装置106可以将混凝土图像、深度图像、混凝土边缘图像等信息进行显示。

本发明实施例还提供了一种基于深度图的混凝土裂缝检测方法，请参阅图2，基于深度图的混凝土裂缝检测方法包括：

S101：通过双目摄像系统获取混凝土图像，混凝土图像包括左混凝土图像和右混凝土图像。

其中，双目摄像系统包括左摄像头和右摄像头，左混凝土图像和右混凝土图像分别由左摄像头和右摄像头拍摄得到，左摄像头和右摄像头都是CCD摄像头。

S102：对左混凝土图像或者右混凝土图像进行边缘提取，获得第一边缘信息。

S103：对左混凝土图像和右混凝土图像进行立体匹配，获得混凝土的深度图像。

S104：对深度图像基于深度进行分层，得到深度分层图像。

其中，深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同。

S105：将第一边缘信息覆盖到深度分层图像中，得到融合深度图像。

S106：获得目标深度层，目标深度层为经过第一边缘信息覆盖后包括第一边缘信息的像素点最多的深度层。

S107：分离第一边缘信息落在目标深度层的像素点，获得第二边缘信息。

S108：对第二边缘信息进行膨胀处理，对进行膨胀处理后的第二边缘信息进行锐化处理，获得混凝土图像中的裂缝的边缘。

通过采用以上方案，因为混凝土的裂缝中可能存在一些沟壑，这些沟壑会在左混凝土图像和右混凝土图像中有显示，则对左混凝土图像或者右混凝土图像进行边缘提取得到的第一边缘信息中会包括这些沟壑信息，然而，这些沟壑信息并非裂缝的边缘信息，即第一边缘信息中存在较多的噪声，第一边缘信息中并不能准确表征裂缝的边缘。为此，为了能够去噪，以提高裂缝边缘检测的准确性，对左混凝土图像和右混凝土图像进行立体匹配，获得混凝土的深度图像，对深度图像基于深度进行分层，得到深度分层图像，深度分层图像中每一层的深度不同，则可以分离出不同深度的纹理信息，即可以将混凝土的裂缝的边缘信息与其他噪声分离在不同的深度层中。为了能够将裂缝的边缘分离出来，将第一边缘信息覆盖到深度分层图像中，得到融合深度图像，获得目标深度层，目标深度层为经过第一边缘信息覆盖后包括第一边缘信息的像素点最多的深度层；分离第一边缘信息落在目标深度层的像素点，以获得第二边缘信息，这样，就可以将不同深度的边缘信息分离出来，即第二边缘信息就是裂缝的边缘信息，对第二边缘信息进行膨胀处理，对进行膨胀处理后的第二边缘信息进行锐化处理，获得混凝土图像中的裂缝的边缘，提高了裂缝边缘信息的精度和可使用性。从而解决了现有技术中存在的对混凝土的裂缝的检测效率低、检测准确性差的问题，达到了提高了对混凝土的裂缝的检测准确性的技术效果。

其中，对左混凝土图像和所述右混凝土图像进行立体匹配，获得混凝土的深度图像，具体为：

A、对左混凝土图像进行特征提取，获得左图像特征，左图像特征包括多个特征点；对右混凝土图像进行特征提取，获得右图像特征，右图像特征包括多个特征点。

B、获得左图像特征点和右图像特征点之间的匹配因子。具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量。通过采用以上方案，以左图像特征中的第n个特征点的像素值乘以n为相位角度因子的正弦值，以右图像特征中的第n个特征点的像素值乘以以n为相位角度因子的余弦值，再以二者之商的正切值作为匹配因子，以判断两个特征点是否匹配，其能够提高匹配判断的准确性。

C、判断匹配因子c的绝对值是否小于0.5，若匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配。

D、若左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值。需要说明的是，其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序。

E、根据视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值。深度值的具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距。

F、以深度值转化成颜色值，得到深度图像像素值，深度图像有多个深度图像像素值。如此得到深度图。

可选的，在对左混凝土图像进行特征提取，获得左图像特征，对右混凝土图像进行特征提取，获得右图像特征之后，在获得左图像特征点和所述右图像特征点之间的匹配因子之前，所述方法还包括：调整左图像特征与右图像特征之间的相对位置，使得左图像特征与右图像特征的重心重合。

如此，左图像特征与右图像特征的重心重合降低了匹配的失败率，同时能够提特征点高匹配的准确性。

作为进一步的，调整左图像特征与右图像特征之间的相对位置，使得左图像特征与右图像特征的重心重合，具体的可以是：基于左图像特征中的特征点，生成左图像特征的第一外接圆，基于右图像特征中的特征点，生成右图像特征的第二外接圆；求取第一外接圆和第二外接圆的移动值；根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的左图像特征与右图像特征。

通过以外接圆的形式囊括所有的特征点，以外接圆的圆心作为所有特征点的重心，基于此重心移动到与另一组特征点组成的外接圆的圆心，提高了两组特征点重合的可能性，降低了匹配特征点的计算量，同时提高了匹配特征点的准确性。

在本发明实施例中，可以对一张混凝土图像中的特征点(称为一组特征点)，将处在最外缘的特征点用折线连接，得到一个囊括一组特征点的多边形，如此，左混凝土图像和右混凝土图像分别对应一个包括其各自的特征点的多边形。以多边形的重心作为该组特征点的重心，再将两个多边形的平移至重心重合，从而提高了两组特征点重合的可能性，提高了该两组特征点匹配的准确性。

其中，移动的距离可以是两个重心之间的距离。即求取所述第一外接圆和第二外接圆的移动值，具体为：求取第一外接圆和第二外接圆之间的圆心距；以圆心距作为移动值。其中，圆心就是外接圆的重心，圆心距就是两个重心的距离。

如此，提高了特征点匹配的准确性，依次获得的深度图能够准确将处在不同深度的特征点区分开，例如将裂缝中的沟壑、裂缝边缘凸起的石头等噪声区分开，从而可以获得准确的裂缝的边缘信息，提高了检测裂缝的准确性。

在获得沟壑的裂缝的边缘后，所述的混凝土裂缝检测方法还可以包括：根据裂缝分析得到混凝土出现裂缝的原因，进而根据该原因对裂缝进行有效的修复。

现有技术中，通常在混凝土出现裂缝时，仅仅是知道有裂缝了，没有分析得到裂缝产生的原因，导致直接用统一密度的填补材料填补裂缝，然而，这种方式会存在以下问题：对于为了增强对热胀冷缩反应而设置的密度不均匀的混凝土，当出现裂缝时采用统一密度的填补材料填补裂缝，会降低混凝土对热胀冷缩的抵抗性能；对于质量本身就差的混凝土，如果只是对裂缝进行填补，填补裂缝以后的混凝土的质量还是不过关，过不了多久还是会坏掉，对混凝土的修复并非有效，白白浪费人力财力物力。

为了解决上上述问题，本发明实施例所述根据裂缝分析得到所述混凝土出现裂缝的原因，具体为：

A1、基于边缘信息识别出裂缝的相对两侧，获得两侧裂缝边缘，两侧裂缝边缘包括第一边缘和第二边缘，第一边缘和第二边缘相对应。

A2、基于掩膜，获得第一边缘中的多个第一特征，每个第一特征包括多个第一特征点，每个第一特征中的多个第一特征点按顺序排列，多个第一特征按顺序排列，组成第一边缘的第一特征信息。其中，掩膜可以是一个对角是1,其余是0的矩阵。

A3、基于掩膜，获得第二边缘中的多个第二特征，每个第二特征包括多个第二特征点，每个第二特征中的多个第二特征点按顺序排列，多个第二特征按顺序排列，组成第二边缘的第二特征信息。在第一特征信息和第二特征信息中，第二特征和第一特征按照排序一一对应。

A4、判断第一特征信息与第二特征信息是否匹配。

A5、若第一特征信息与第二特征信息未匹配，确定混凝土出现裂缝的原因为水泥河沙混合比例不合适引起的，归结为混凝土本身整体的质量未过关引起。

A6、若第一特征信息和第二特征信息匹配，判断每组一一对应的第二特征与第一特征是否匹配；

A7、若有多于半数的第二特征与第一特征未匹配，确定混凝土出现裂缝的原因为混凝土的局部之间的品质有差异引起的。例如，总共分别有5组第二特征，5组第一特征，如果有3组第二特征与第一特征未匹配，确定混凝土出现裂缝的原因为混凝土的局部之间的品质有差异引起的。这种情况，可能是混凝土加工过程中的工艺影响的，也可能是为了提高混凝土对热胀冷缩的抵抗能力特意设置混凝土的某些部位密度较低。

A8、若有多于半数的第二特征和第一特征匹配，确定混凝土出现裂缝的原因为所述混凝土的整体品质一致，遭受外力或者热胀冷缩压力引起的。

为此，可以根据不通的原因，采取不同的修补措施，提高修补后的混凝土的寿命，同时还可以保持混凝土的性能。

其中，基于边缘信息识别出所述裂缝的相对两侧，获得两侧裂缝边缘，具体为：对边缘信息进行分割，获得两组边缘信息；若两组边缘信息之间相对应，确定两组裂缝边缘为两组边缘信息；若两组边缘信息之间不对应，按照顺时针转动分割线1°，重新分割边缘信息，分割线为中心在对所述边缘信息的重心的直线段；若重新分割边缘信息获得的两组边缘信息相对应，确定两组裂缝边缘为重新分割后的两组边缘信息。如此，提高了分割的两组裂缝边缘之间的对应性，减少裂缝原因分析的计算量，提高裂缝原因分析结果的准确性。

可选的，判断第一特征信息和第二特征信息是否匹配，包括：对第一特征信息进行曲线拟合，获得第一拟合曲线；对第二特征信息进行曲线拟合，获得第二拟合曲线；若第一拟合曲线和第二拟合曲线之间的曲率半径之差在0.01内，确实第一特征信息和第二特征信息匹配；否则确定第一特征信息和第二特征信息未匹配。

其中，判断每组一一对应的第二特征和第一特征是否匹配，具体为：判断第一特征中的第一特征点到与第一特征点对应的第二特征点之间的差异值是否在设定值内，若是，确定第一特征点与第二特征点匹配成功；在第一特征中，若是有超过半数的第一特征点与第一特征点对应的第二特征点匹配成功，确定所述第二特征与第一特征匹配。否则确定第二特征与第一特征未匹配。

其中，差异值为第一特征点到与第一特征点对应的第二特征点之间的欧式距离。

可选的，判断每组一一对应的第二特征和第一特征是否匹配，包括：

获得第一特征中的每个第一特征点到与第一特征点对应的第二特征点之间的欧式距离；获得欧式距离的方差，若方差小于阈值，确定第二特征和所述第一特征匹配；否则确定第二特征与第一特征未匹配。即每个第一特征点对应一个欧氏距离，多个特征点对应多个欧氏距离，获得多个欧氏距离的方差，就可以得到两组特征点(第一特征点和第二特征点)之间的匹配度，以方差作为匹配度，提高了两组特征点(两组特征)匹配的准确性。

在确定了出现裂缝的原因后，所述方法还包括：根据出现裂缝的原因生成修复裂缝的修复信息。根据出现裂缝的原因生成修复裂缝的修复信息，包括：若确定混凝土出现裂缝的原因为混凝土本身的质量未过关引起的，则生成的修复信息为整体更换；若混凝土出现裂缝的原因为混凝土的局部之间的品质有差异引起的，则生成的修复信息为按照不同部位的品质以不同品质的混凝土品质局部修补；若确定混凝土出现裂缝的原因为混凝土的整体品质一致，遭受外力或者热胀冷缩压力引起的，则生成的修复信息为按照所述混凝土的品质局部修补。如此，修复后的混凝土使用寿命长，增强了修复后的混凝土的强度，同时保持了混凝土对热胀冷缩的抵抗性能。

针对上述实施例提供一种基于深度图的混凝土裂缝检测方法，本申请实施例还对应提供一种用于执行上述的步骤的执行主体，该执行主体可以为图3中的基于深度图的混凝土裂缝检测装置200。请参考图3，该装置包括：

摄像模块210，用于通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；

第一边缘提取模块220，用于对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；

立体匹配模块230，用于对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；

分层模块240，用于对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；

融合模块250，用于将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；

获取目标模块260，用于获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后，包括所述第一边缘信息的像素点最多的深度层；

第二边缘提取模块270，用于分离所述第一边缘信息落在所述目标深度层的像素点，以获得第二边缘信息；

确定裂缝模块280，用于对所述第二边缘信息进行膨胀处理，对进行膨胀处理后的所述第二边缘信息进行锐化处理，获得所述混凝土图像中的裂缝的边缘。

可选的，所述的混凝土裂缝检测装置还用于执行上述混凝土裂缝检测方法所述的其他步骤，例如根据裂缝分析得到混凝土出现裂缝的原因，进而根据该原因对裂缝进行有效的修复；根据出现裂缝的原因生成修复裂缝的修复信息。根据出现裂缝的原因生成修复裂缝的修复信息等，在此不再一一赘述。

可选的，所述立体匹配模块230，还用于：

对所述左混凝土图像进行特征提取，获得左图像特征，所述左图像特征包括多个特征点；

对所述右混凝土图像进行特征提取，获得右图像特征，所述右图像特征包括多个特征点；

获得所述左图像特征点和所述右图像特征点之间的匹配因子，具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量；

若所述匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值；其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序；

根据所述视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值，具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距；

以深度值转化成颜色，得到深度图像像素值，所述深度图像有多个深度图像像素值。

可选的，所述立体匹配模块230，还用于：

调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合。

可选的，所述立体匹配模块230，还用于：

基于所述左图像特征中的特征点，生成所述左图像特征的第一外接圆，基于所述右图像特征中的特征点，生成所述右图像特征的第二外接圆；

求取所述第一外接圆和所述第二外接圆的移动值；

根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的所述左图像特征与所述右图像特征。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图的混凝土裂缝检测方法，其特征在于，所述方法包括：

通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；

对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；

对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；

对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；

将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；

获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后包括所述第一边缘信息的像素点最多的深度层；

分离所述第一边缘信息落在所述目标深度层的像素点，获得第二边缘信息；

对所述第二边缘信息进行膨胀处理，对进行膨胀处理后的所述第二边缘信息进行锐化处理，获得所述混凝土图像中的裂缝的边缘。

2.根据权利要求1所述的方法，其特征在于，所述对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像，包括：

对所述左混凝土图像进行特征提取，获得左图像特征，所述左图像特征包括多个特征点；

对所述右混凝土图像进行特征提取，获得右图像特征，所述右图像特征包括多个特征点；

获得所述左图像特征点和所述右图像特征点之间的匹配因子，具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量；

若所述匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值；其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序；

根据所述视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值，具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距；

以深度值转化成颜色，得到深度图像像素值，所述深度图像有多个深度图像像素值。

3.根据权利要求2所述的方法，其特征在于，在对所述左混凝土图像进行特征提取，获得左图像特征；对所述右混凝土图像进行特征提取，获得右图像特征之后，在获得所述左图像特征点和所述右图像特征点之间的匹配因子之前，所述方法还包括：

调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合。

4.根据权利要求3所述的方法，其特征在于，所述调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合，包括：

基于所述左图像特征中的特征点，生成所述左图像特征的第一外接圆，基于所述右图像特征中的特征点，生成所述右图像特征的第二外接圆；

求取所述第一外接圆和所述第二外接圆的移动值；

根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的所述左图像特征与所述右图像特征。

5.根据权利要求4所述的方法，其特征在于，所述求取所述第一外接圆和所述第二外接圆的移动值，包括：

求取所述第一外接圆和所述第二外接圆之间的圆心距；

以所述圆心距作为所述移动值。

6.一种基于深度图的混凝土裂缝检测装置，其特征在于，所述装置包括：

摄像模块，用于通过双目摄像系统获取混凝土图像；所述混凝土图像包括左混凝土图像和右混凝土图像；

第一边缘提取模块，用于对所述左混凝土图像或者所述右混凝土图像进行边缘提取，获得第一边缘信息；

立体匹配模块，用于对所述左混凝土图像和所述右混凝土图像进行立体匹配，获得所述混凝土的深度图像；

分层模块，用于对所述深度图像基于深度进行分层，得到深度分层图像，所述深度分层图像中包括多个深度层，每个深度层的像素点的深度值相同；

融合模块，用于将所述第一边缘信息覆盖到所述深度分层图像中，得到融合深度图像；

获取目标模块，用于获得目标深度层，所述目标深度层为经过所述第一边缘信息覆盖后，包括所述第一边缘信息的像素点最多的深度层；

第二边缘提取模块，用于分离所述第一边缘信息落在所述目标深度层的像素点，以获得第二边缘信息；

确定裂缝模块，用于对所述第二边缘信息进行膨胀处理，对进行膨胀处理后的所述第二边缘信息进行锐化处理，获得所述混凝土图像中的裂缝的边缘。

7.根据权利要求6所述的装置，其特征在于，所述立体匹配模块，还用于：

对所述左混凝土图像进行特征提取，获得左图像特征，所述左图像特征包括多个特征点；

对所述右混凝土图像进行特征提取，获得右图像特征，所述右图像特征包括多个特征点；

获得所述左图像特征点和所述右图像特征点之间的匹配因子，具体的，按照公式(1)计算匹配因子：

其中，c表示匹配因子，

表示左图像特征中的第n个特征点的像素值，

表示右图像特征中的第n个特征点的像素值，N表示有右图像特征的特征点的数量；

若所述匹配因子c的绝对值小于0.5，确定左图像特征中的第n个特征点与右图像特征中的第n个特征点匹配，获得左图像特征中的第n个特征点的像素值与右图像特征中的第n个特征点的像素值之差，得到视差值；其中左图像特征中的特征点和右图像特征中的特征点的排序方式都是根据图像的位置按行依次排序；

根据所述视差值、双目摄像系统的基线和摄像头焦距，获得第n个特征点的深度值，具体的计算公式如下：

其中，D是深度值，d是视差值，b是双目摄像系统的基线长度，f是摄像头焦距；

以深度值转化成颜色值，得到深度图像像素值，所述深度图像有多个深度图像像素值。

8.根据权利要求7所述的装置，其特征在于，所述立体匹配模块，还用于：

调整所述左图像特征与所述右图像特征之间的相对位置，使得所述左图像特征与所述右图像特征的重心重合。

9.根据权利要求8所述的装置，其特征在于，所述立体匹配模块，还用于：

基于所述左图像特征中的特征点，生成所述左图像特征的第一外接圆，基于所述右图像特征中的特征点，生成所述右图像特征的第二外接圆；

求取所述第一外接圆和所述第二外接圆的移动值；

根据移动值，调整第一外接圆与第二外接圆的相对位置，得到调整后的所述左图像特征与所述右图像特征。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。

Images