CN111311695A - 一种基于卷积神经网络的清水混凝土表面色差分析方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的清水混凝土表面色差分析方法，首先采集清水混凝土覆盖面的图像信息，对图像进行预处理，包括构建机器学习样本集，然后通过卷积神经网络对样本数据进行训练并建立清水混凝土表面目标识别模型进行图像分析，识别出气孔、裂缝、明峰、禅缝、对拉螺栓孔眼，并剔除对应像素点的图像信息，最后进行RGB到CIE Lab色彩空间模式的转换，计算出自比色差标准差、设计色差标准差、色差分布均匀度这三个指标，以分析清水混凝土表面的色差情况。本发明首次提出以卷积神经网络消除特异目标对色差的影响，并基于Lab模式构建了一个多维的色差分析系统，为色差的定量、精准分析提供指导。

Description

一种基于卷积神经网络的清水混凝土表面色差分析方法

技术领域

本发明涉及色差分析技术，具体涉及一种基于卷积神经网络的清水混凝土表面色差分析方法。

背景技术

清水混凝土是建筑现代主义的一种表现手法，因其极具装饰效果也称装饰混凝土。基本的想法于浇置后，不再有任何涂装、贴瓷砖、贴石材等其他装饰用的材料，表现混凝土的一种素颜的手法。清水混凝土构造独特的强力、清洁感、素材感等出色的美学表现，展现了其强烈的个性特点。相较于传统建筑素材，清水混凝土以其高超的施工技术和完工的精度一枝独秀。

我国于20世纪90年代起在各类建筑结构中开始了清水混凝土建筑风格的应用，完成了一大批交通基础工程、工业设施工程、民用建筑工程，如港珠澳大桥、南京长江三桥、龙泉变电站、青海公伯峡水电站厂房，浦东机场航站楼等等。然而，与国外而言，我国的清水混凝土技术起步较晚，在研究水平、施工技术上还有一定差异。此外，由于清水混凝土一次成型，缺乏拆除模板后的装修工程，因此其成型后的纹理、色泽、光洁度等外观质量更需严格把控。遗憾的是，我国针对清水混凝土的质量控制和验收标准体系还不够成熟，尤其针对其表面色差的验收和评价方面存在较大欠缺，尚未出现色差验收和评价的定量标准。

以往的色差状况验收依据人眼观察，由工程师进行粗略评价。但人类的色差辨别能力有限，存在对饱和度高的色彩敏感度弱、在色调方向上敏感度不同、在亮度方向上敏感度不同、蓝色区域分辨能力无规律的问题。基于此，研究者提出用计算机视觉进行色差分析的方法。现有的研究大多基于RGB色彩空间模式，将混凝土表面图像的全部像素点的R、G、B值进行灰度处理后，依据灰度值计算其灰度标准差，依据单一的灰度等级进行分析。RGB颜色空间是一个以R(Red:红)、G(Green:绿)、B(Blue:蓝)这三种可见光谱中的颜色为基色，每一种颜色按其亮度分为256个等级(0-255)进行不同程度的叠加而产生丰富而广泛的颜色，是屏幕显示的基础模式，常用于视频、多媒体与网页设计。这样的方式存在四个问题：(1)RGB色彩空间模式近适用于自发光体，与设备相关，不适用于清水混凝土表面材料；(2)RGB为机器成像基础模式，不基于人类生理特征，人眼看来差异较大的颜色，RGB的差异可能很小，故依照其进行评价与人眼在现实场景中的感知差异较大；(3)灰度值是R、G、B三个数值的线性叠加，忽略了颜色非线性可分的特征，且灰度值仅含亮度信息，不含色彩信息；(4)将所有像素点进行灰度化处理和计算，未考虑清水混凝土表面存在的特异目标(气孔、裂缝、明峰、禅缝、对拉螺栓孔眼)会在表面形成深色区块，对色差造成影响。

CIE Lab是由国际照明委员会规定的标准色度系统，它由L(亮度)、a(红绿通道)、b(黄蓝通道)三个要素组成。与RGB色彩模式相比，CIE Lab基于人眼生理特征，与设备无关，弥补了RGB模式的不足，并在表达色彩范围和处理速度上均有所提高。因此，对于如何将RGB模式转换成CIE Lab模式，并在CIE Lab模式下建立，摆脱特异目标对色差的影响，建立一个定量、精准的色差分析系统是关键。

发明内容

发明目的：针对现有清水混凝土表面色差分析技术存在与人眼感知差异大、指标单一、准确性差、非定量的问题，本发明提供了一种基于卷积神经网络的清水混凝土表面色差分析方法。

技术方案：一种基于卷积神经网络的清水混凝土表面色差分析方法，所述方法包括通过卷积神经网络构建清水混凝土表面目标识别模型以消除特异目标对色差的影响；并将图像色彩由RGB到CIE Lab色彩空间模式转换，计算出相应的色差分析指标，以实现清水混凝土表面色差的定量分析，包括如下步骤：

(1)建立清水混凝土表面目标识别模型：利用卷积神经网络算法，对清水混凝土表面图像数据集进行深度学习，建立清水混凝土表面目标识别模型，以识别特异目标；

(2)消除特异目标影响：对于待进行色差分析的清水混凝土表面图像，将其输入至清水混凝土表面目标识别模型，识别标定出影响色差的特异目标，将其对应像素点的图像信息清除以消除特异目标对色差分析的影响，所述的特异目标包括气孔、裂缝、明峰、禅缝和对拉螺栓孔眼；

(3)色彩模式转换：将RGB模式转换成CIE Lab模式，使RGB色彩空间的色彩像素点对应投射到CIE Lab色彩空间，同时图像的色彩空间坐标值由(R,G,B)转换为(L,a,b)；

(4)色差分析指标计算与分析：根据清水混凝土表面目标识别模型对清水混凝土区域、边缘进行色差分析指标的计算，并根据计算结果进行清水混凝土表面色差状况的分析。

进一步的，步骤(1)所采集的清水混凝土表面图像数据包括像素大小的统一化、建立坐标系和识别特异目标并贴标签；所采集的清水混凝土表面的图像数据为两组或及其以上，由不同采集动作变量和不同的环境变量下得到，所述的动作变量包括采集角度、采集速度和光圈精度，所述的环境变量包括光照强度、风速和混凝土表面潮湿度。

所述的清水混凝土表面图像数据通过无人机对清水混凝土表面进行扫描得到，并且无人机所搭载的扫描仪进行动作变量控制。

进一步的，步骤(2)所述消除特异目标影响中对应像素点的图像信息清除是指将该像素点的色彩信息数据(R,G,B)抹去，使其成为无效点，不进行后续的色彩模式转换以及色差指标计算。

进一步的，步骤(3)将RGB模式转换成CIE Lab模式通过调用OpenCV视觉库，将RGB色彩空间的色彩像素点一一投射到CIE Lab色彩空间，同时其色彩空间坐标值由(R,G,B)转换为(L,a,b)。

进一步的，步骤(4)所述的色差分析指标包括自比色差标准差、设计色差标准差、色差分布均匀度。

更进一步的，所述的自比色差标准差的计算过程如下：

(1a)先计算所有像素点的平均Lab坐标为

将其定义为平均像素点；

(1b)计算各像素点与平均像素点之间的欧式距离△E，即CIE Lab色彩模式下图像中各像素点与平均像素点的色差；

(1c)计算所有像素点与平均像素点的色差的标准差，作为自比色差标准差。

所述设计色差标准差的计算过程如下：

(2a)取原设计方案中清水混凝土表面色卡的Lab坐标(L',a',b')，将其定义为设计标准色；

(2b)接着计算各像素点与设计标准色之间的欧式距离△E'，即CIE Lab色彩模式下图像中各像素点与设计标准色的色差；

(2c)计算所有像素点与设计标准色的色差的标准差，作为设计色差标准差。

所述的色差分布均匀度为三维指标，构成中的三因子为亮度分布均匀度、红绿分布均匀度和黄蓝分布均匀度，分别对应着L,a,b在图像中的分布变化特性；色差分布均匀度三因子的计算步骤如下：

(3a)将湖泊图像按长、宽分别划分成n×n面积相等的部分；

(3b)计算各部分像素点的均值

或

或

其中1≤i≤n；

(3c)建立空间直角坐标系，以各个部分的中心点为投影、以各部分像素点的均值

或

或

作为Z轴坐标，在matlab中进行平滑曲面拟合，曲面曲率的最大值即为亮度分布均匀度或红绿分布均匀度或黄蓝分布均匀度。

更进一步的，步骤(3a)中的面积划分，根据n的大小作如下定义：

n＝3时，该因子为整体性因子，其构成的三维指标为整体色差均匀度；

n＝9时，该因子为局部性因子，其构成的三维指标为局部色差均匀度；

n＝81时，该因子为细部性因子，其构成的三维指标为细部色差均匀度。

有益效果：与现有技术相比，本发明所述方法的显著效果如下：

(1)本发明率先考虑到清水混凝土表面的气孔、裂缝、明峰、禅缝、对拉螺栓孔眼会对色差造成影响，并且提出利用卷积神经网络剔除这五种特异目标，使分析系统和结果具有针对性及高准确性；

(2)本发明所述方法基于CIE Lab色彩空间模式进行图像处理和色差分析，解决了传统计算机图像处理采用RGB模式与人眼感知之间差异大的问题，具有符合生理特征以及与设备无关的优势；

(3)本发明的色差分析基于CIE Lab的三个色彩通道L,a,b数值进行计算，兼顾了亮度信息和色彩信息，而灰度值仅含有亮度信息，克服了传统方法用灰度值作分析指标、只能评价亮度方向上色差的缺点；

(4)本发明基于CIE Lab色彩模式，提出了以可定量计算的自比色差标准差、设计色差标准差、色差分布均匀度三者为色差分析指标，具有定量化、系统化的优点；

(5)本发明提出的色差分布均匀度，按图像切分方式分为整体分布均匀度、局部分布均匀度以及细部分布均匀度，丰富了色差分布均匀度的内涵，使所提方法能更加立体、全面地对清水混凝土表面色差进行分析。

附图说明

图1为本发明所述方法的实施流程示意图；

图2为通过无人机采集的清水混凝土表面图像；

图3为轨道式大幅面扫描仪采集的清水混凝土表面图像；

图4为清水混凝土表面特异目标识别和标定结果示意图。

具体实施方式

为详细的说明本发明所公开的技术方案，下面结合说明书附图及具体实施例做进一步的阐述。

本发明所述的一种基于卷积神经网络的清水混凝土表面色差分析方法，该分析方法为：利用卷积神经网络建立清水混凝土表面目标识别模型，消除特异目标对色差的影响；接着将待分析图像的色彩模式转换成CIE Lab色彩模式，并计算出三个色差分析指标：自比色差标准差、设计色差标准差、色差分布均匀度，以实现清水混凝土表面色差的定量、精准分析。

实施例1

本发明所述方法具体包括以下步骤：

步骤1、清水混凝土表面目标识别模型的建立：利用卷积神经网络算法，对清水混凝土表面图像数据集进行深度学习，建立清水混凝土表面目标识别模型，以识别气孔、裂缝、明峰、禅缝、对拉螺栓孔眼这五种特异目标。具体包括以下步骤：

步骤1.1、在施工现场，不同的采集条件下，利用无人机和轨道式大幅面扫描仪对清水混凝土材料的外观进行图像采集；

步骤1.2、对采集到的图像进行预处理，生成深度学习所需的数据集；

步骤1.2的预处理工作，其具体实施方法为：首先在所采集到的图像中剔除无效图像，并将剩余的有效图像的像素大小统一化。接着，利用origin软件对图像添加坐标信息。最后，使用labeling/labelme工具，对图像中的信息(气孔或者平滑表面)打上相应标签：用labeling进行目标大致范围标定后，再辅以labelme进行细致轮廓标定。

步骤1.3、将数据集输入至卷积神经网络中，采用S折交叉验证法，以得到一个平均测试误差最小的清水混凝土表面目标识别模型。

步骤2、特异目标影响消除：对于待进行色差分析的清水混凝土表面图像，将其输入至清水混凝土表面目标识别模型，识别标定出影响色差的特异目标，将其对应像素点的图像信息清除以消除特异目标对色差分析的影响。具体包括以下步骤：

步骤2.1、拍摄待进行分析的清水混凝土表面图像，将其预处理后，输入至清水混凝土表面目标识别模型；

步骤2.2、模型对输入图像进行分析，识别并标定出图像中表面的五种特异目标：气孔、裂缝、明峰、禅缝、对拉螺栓孔眼；

步骤2.3、将这五种特异目标对应像素点的色彩信息数据(R,G,B)抹去，使其成为无效点，无法进行后续的色彩模式转换以及色差指标计算。

步骤3、色彩模式转换：计算机作为自发光体，往往以RGB的数据形式进行图像的读取和存储。而RGB色彩模式并不适于不发光的清水混凝土材料，且与人眼感知机制差异较大，故需将RGB模式转换成符合人眼实际感知的CIE Lab色彩模式；

色彩模式转换的具体方法为：基于OpenCV视觉库，通过python编程，使RGB色彩空间的色彩像素点一一投射到CIE Lab色彩空间，同时其色彩空间坐标值由(R,G,B)转换为(L,a,b)。

步骤4、自比色差标准差的计算。具体包括以下步骤：

步骤4.1、计算所有像素点的平均Lab坐标为

将其定义为平均像素点；

步骤4.2、计算各像素点与平均像素点之间的欧式距离△E，即CIE Lab色彩模式下图像中各像素点与平均像素点的色差；

步骤4.3、计算所有像素点与平均像素点的色差的标准差，作为自比色差标准差；

步骤5、设计色差标准差的计算。具体包括以下步骤：

步骤5.1、取原设计方案中清水混凝土表面色卡的Lab坐标(L',a',b')，将其定义为设计标准色；

步骤5.2、接着计算各像素点与设计标准色之间的欧式距离△E'，即CIE Lab色彩模式下图像中各像素点与设计标准色的色差；

步骤5.3、计算所有像素点与设计标准色的色差的标准差，作为设计色差标准差。

步骤6、分布均匀度的计算：色差分布均匀度是一个三维指标，其构成中的三因子为：亮度分布均匀度、红绿分布均匀度、黄蓝分布均匀度，分别对应着L,a,b在图像中的分布变化特性。分布均匀度的计算包括三因子的计算。具体包括以下步骤：

步骤6.1、将图像按长、宽分别划分成n×n面积相等的部分(n＝3，9，81)；

其中，n值反映了观察的不同视角：人与清水混凝土墙体距离较近，对其表面色差的观察比较细微；距离较远，对其表面色差的观察则比较全面。依照眼球成像机制以及双目视觉测距原理，规定如下：n＝3时，该因子为整体性因子，其构成的三维指标为整体色差均匀度；n＝9时，该因子为局部性因子，其构成的三维指标为局部色差均匀度；n＝81时，该因子为细部性因子，其构成的三维指标为细部色差均匀度；

步骤6.2、计算各部分像素点的均值

(或

或

)(1≤i≤n)；

步骤6.3、建立空间直角坐标系：以各个部分的中心点为投影、以各部分像素点的均值

(或

或

)作为Z轴坐标，在matlab中进行平滑曲面拟合，曲面曲率的最大值即为亮度分布均匀度(或红绿分布均匀度，或黄蓝分布均匀度)。

实施例2

图1所示为本发明的基于卷积神经网络的清水混凝土表面色差分析方法整体流程示意图，所述方法包括以下步骤：

101、清水混凝土表面目标识别模型的建立。

利用卷积神经网络算法，对清水混凝土表面图像数据集进行深度学习，建立清水混凝土表面目标识别模型，以识别气孔、裂缝、明峰、禅缝、对拉螺栓孔眼这五种特异目标。具体包括以下步骤：

1011、清水混凝土表面图像采集：在施工现场，不同的采集条件下，利用无人机和轨道式大幅面扫描仪对清水混凝土材料的外观进行图像采集；

1012、模型数据集生成：在所采集到的图像中剔除无效图像，并将剩余的有效图像的像素大小统一化为1280×960。接着，利用Origin软件对图像添加坐标信息。最后，使用labeling/labelme工具，依据气孔、裂缝、明峰、禅缝、对拉螺栓孔眼这五种特异目标对图像打上相应标签，得到模型训练所需要的数据集。

1013、模型测试与优化：将数据集输入至卷积神经网络中，采用S折交叉验证法，以得到一个平均测试误差最小的清水混凝土表面目标识别模型。

102、清水混凝土表面特异目标影响消除。

对于待进行色差分析的清水混凝土表面图像，将其输入至清水混凝土表面目标识别模型，识别标定出影响色差的特异目标，将其对应像素点的图像信息清除以消除特异目标对色差分析的影响。具体包括以下步骤：

1021、待分析目标图像处理：拍摄待进行分析的清水混凝土表面图像，确认图像有效后，将其像素调整为1280×960、并添加坐标信息；

1022、特异目标识别和标定：将上述待分析目标图像输入至清水混凝土表面目标识别模型，模型对输入图像进行分析，识别并标定出图像中表面的五种特异目标：气孔、裂缝、明峰、禅缝、对拉螺栓孔眼；

1023、特异目标像素点抹除：将这五种特异目标对应像素点的图像信息清除，即将这些像素点的色彩信息数据(R,G,B)抹去，使其成为无效点，无法进行后续的色彩模式转换以及色差指标计算。

103、清水混凝土表面图像色彩模式转换。

计算机作为自发光体，往往以RGB的数据形式进行图像的读取和存储。而RGB色彩模式并不适于不发光的清水混凝土材料，且与人眼感知机制差异较大，故将RGB模式转换成符合人眼实际感知的CIE Lab色彩模式；

104、清水混凝土表面色差分析指标计算与分析。

根据CIE Lab模式的三个色彩通道L,a,b数值，进行三个色差分析指标的计算，并根据计算结果进行清水混凝土表面色差状况的分析。具体包括以下步骤：

1041、自比色差标准差的计算：先计算所有像素点的平均Lab坐标为

将其定义为平均像素点；计算各像素点与平均像素点之间的色差：

计算所有像素点与平均像素点的色差的标准差，作为自比色差标准差；

1042、设计色差标准差的计算：取原设计方案中清水混凝土色卡的Lab坐标(L',a',b')，将其定义为设计标准色；计算各像素点与设计标准色之间的色差：

计算所有像素点与设计标准色的色差的标准差，作为设计色差标准差。

1043、色差分布均匀度的计算：将图像按长、宽分别划分成n×n面积相等的部分；计算各部分像素点的均值

(或

或

)(1≤i≤n)；建立空间直角坐标系：以各个部分的中心点为投影、以各部分像素点的均值

(或

或

)作为Z轴坐标，在matlab中进行平滑曲面拟合，曲面曲率的最大值即为亮度分布均匀度(或红绿分布均匀度，或黄蓝分布均匀度)。对n依次取3，9，81，重复上述步骤，依次得到整体分布均匀度、局部分布均匀度、细部分布均匀度。

Claims (10)

1.一种基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：所述方法包括通过卷积神经网络构建清水混凝土表面目标识别模型以消除特异目标对色差的影响；并将图像色彩由RGB到CIE Lab色彩空间模式转换，计算出相应的色差分析指标，以实现清水混凝土表面色差的定量分析，包括如下步骤：

(1)建立清水混凝土表面目标识别模型：利用卷积神经网络算法，对清水混凝土表面图像数据集进行深度学习，建立清水混凝土表面目标识别模型，以识别特异目标；

(2)消除特异目标影响：对于待进行色差分析的清水混凝土表面图像，将其输入至清水混凝土表面目标识别模型，识别标定出影响色差的特异目标，将其对应像素点的图像信息清除以消除特异目标对色差分析的影响，所述的特异目标包括气孔、裂缝、明峰、禅缝和对拉螺栓孔眼；

(3)色彩模式转换：将RGB模式转换成CIE Lab模式，使RGB色彩空间的色彩像素点对应投射到CIE Lab色彩空间，同时图像的色彩空间坐标值由(R,G,B)转换为(L,a,b)；

(4)色差分析指标计算与分析：根据清水混凝土表面目标识别模型对清水混凝土区域、边缘进行色差分析指标的计算，并根据计算结果进行清水混凝土表面色差状况的分析。

2.根据权利要求1所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：步骤(1)所采集的清水混凝土表面图像数据包括像素大小的统一化、建立坐标系和识别特异目标并贴标签；所采集的清水混凝土表面的图像数据为两组或及其以上，由不同采集动作变量和不同的环境变量下得到，所述的动作变量包括采集角度、采集速度和光圈精度，所述的环境变量包括光照强度、风速和混凝土表面潮湿度。

3.根据权利要求1或2所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：所述的清水混凝土表面图像数据通过无人机对清水混凝土表面进行扫描得到，并且无人机所搭载的扫描仪进行动作变量控制。

4.根据权利要求1所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：步骤(2)所述消除特异目标影响中对应像素点的图像信息清除是指将该像素点的色彩信息数据(R,G,B)抹去，使其成为无效点，不进行后续的色彩模式转换以及色差指标计算。

5.根据权利要求1所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：步骤(3)将RGB模式转换成CIE Lab模式通过调用OpenCV视觉库，将RGB色彩空间的色彩像素点一一投射到CIE Lab色彩空间，同时其色彩空间坐标值由(R,G,B)转换为(L,a,b)。

6.根据权利要求1所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：步骤(4)所述的色差分析指标包括自比色差标准差、设计色差标准差、色差分布均匀度。

7.根据权利要求6所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：所述的自比色差标准差的计算过程如下：

(1a)先计算所有像素点的平均Lab坐标为

将其定义为平均像素点；

(1b)计算各像素点与平均像素点之间的欧式距离△E，即CIE Lab色彩模式下图像中各像素点与平均像素点的色差；

(1c)计算所有像素点与平均像素点的色差的标准差，作为自比色差标准差。

8.根据权利要求6所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：所述设计色差标准差的计算过程如下：

(2a)取原设计方案中清水混凝土表面色卡的Lab坐标(L',a',b')，将其定义为设计标准色；

(2b)接着计算各像素点与设计标准色之间的欧式距离△E'，即CIE Lab色彩模式下图像中各像素点与设计标准色的色差；

(2c)计算所有像素点与设计标准色的色差的标准差，作为设计色差标准差。

9.根据权利要求6所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：所述的色差分布均匀度为三维指标，构成中的三因子为亮度分布均匀度、红绿分布均匀度和黄蓝分布均匀度，分别对应着L,a,b在图像中的分布变化特性；色差分布均匀度三因子的计算步骤如下：

(3a)将湖泊图像按长、宽分别划分成n×n面积相等的部分；

(3b)计算各部分像素点的均值

或

或

其中1≤i≤n；

(3c)建立空间直角坐标系，以各个部分的中心点为投影、以各部分像素点的均值

或

或

作为Z轴坐标，在matlab中进行平滑曲面拟合，曲面曲率的最大值即为亮度分布均匀度或红绿分布均匀度或黄蓝分布均匀度。

10.根据权利要求9所述的基于卷积神经网络的清水混凝土表面色差分析方法，其特征在于：步骤(3a)中的面积划分，根据n的大小作如下定义：

n＝3时，该因子为整体性因子，其构成的三维指标为整体色差均匀度；

n＝9时，该因子为局部性因子，其构成的三维指标为局部色差均匀度；

n＝81时，该因子为细部性因子，其构成的三维指标为细部色差均匀度。

Images