CN112767364B - 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 - Google Patents
一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 Download PDFInfo
- Publication number
- CN112767364B CN112767364B CN202110090434.5A CN202110090434A CN112767364B CN 112767364 B CN112767364 B CN 112767364B CN 202110090434 A CN202110090434 A CN 202110090434A CN 112767364 B CN112767364 B CN 112767364B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- corrosion
- area
- gate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007797 corrosion Effects 0.000 title claims abstract description 120
- 238000005260 corrosion Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 4
- 230000001788 irregular Effects 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000011158 quantitative evaluation Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000007526 fusion splicing Methods 0.000 abstract 1
- 229910000831 Steel Inorganic materials 0.000 description 9
- 239000010959 steel Substances 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009991 scouring Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000002791 soaking Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法，它包括用于对闸门的锈蚀情况进行前端图像采集的图像采集平台，所述图像采集平台包括由多个相机构成的相机阵列平台、光源、通信线缆、固定支架装置、拍摄控制平台以及计算机；图像采集平台通过无线或者有线通讯方式与后端的图像数据处理平台相连，所述图像数据处理平台采用计算机，闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果。基于成像投影模型求解变换矩阵对校正后的各视角图像融合拼接，采用深度学习网络训练锈蚀分割模型进行锈蚀分割，借助像素数量和实际面积的比例关系测量面积。
Description
技术领域
本发明涉及水工钢闸门门叶表面锈蚀图像检测，安全测评及运维保障领域，特别涉及一种水工钢闸门门叶表面锈蚀的图像检测装置和水工钢闸门门叶表面不规则锈蚀面积的快速测算方法。
背景技术
水工钢闸门作为各类河流或水库闸坝中调节库容的关键装备，服役年限达数十年之久。长时间受水流冲刷和浸泡、水生物侵蚀、水流冲击、泥沙冲磨、阳光照射等环境因素影响，水工钢闸门中的闸门门叶表面的氧化皮、锈斑、蚀坑等锈蚀形态是影响水工钢闸门安全运行的重要因素之一。这些锈蚀形态导致了闸门门叶的有效承载面积迅速减少，刚度降低，对闸门门叶正常运行构成了极大的安全隐患。本发明搭建一套闸门门叶锈蚀的视觉检测装置及锈蚀面积快速测评方法，以此对闸门门叶表面锈蚀形态进行快速检测并对不规则锈蚀面积进行精确测算。本发明所研究内容主要涉及图像处理、深度学习、机器视觉、检测技术、计算机控制等，该发明的实施有助于维护管理人员准确掌握闸门门叶表面的锈蚀形态，进而可靠评估闸门目前所处的运行状态。
目前针对闸门门叶的锈蚀检测通常是以人工目测为主，检修人员往往结合个人经验对闸门门叶的锈蚀情况进行综合判定。采用人工目测时，不同人员对同一锈蚀区域的检修结果存在差异，甚至相同检修人员对同一锈蚀区域进行多次重复测评也可能会出现结果并不一致的情形。此外，在闸门门叶锈蚀特征形成初期，锈蚀区域颜色、纹理等特征并不明显，且锈蚀面积不规则，锈蚀过程动态发展，此时利用人工目测很难客观评价闸门门叶的锈蚀特征信息，也很难准确计算出不规则锈蚀区域的面积大小。
发明内容
本发明的目的在于解决上述问题，提供一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法。利用视觉图像技术进行锈蚀检测，可以获取到闸门门叶表面锈蚀的分布状况，并精确计算出锈蚀面积大小，以此为闸门门叶的锈蚀等级评估提供准确可靠的基础数据。由于相机阵列在视觉图像检测领域体现出大视场、高探测能力、高分辨能力等显著性特征，因此本发明通过设计搭建相机阵列从不同视角采集闸门门叶的锈蚀图像数据，基于相机阵列的拼接图像呈现的闸门门叶表面锈蚀分布状况、锈蚀颜色等视觉图像特征，设计深度学习算法实现不规则锈蚀区域图像的图像分割，通过统计不规则锈蚀区域内的像素数量，对照已知面积的标定物，精确计算出不规则锈蚀区域的锈蚀面积，从而实现闸门门叶表面锈蚀图像的快速检测及不规则锈蚀面积的快速测算。
为了实现上述的技术特征，本发明的目的是这样实现的：一种闸门门叶表面锈蚀的图像检测系统，它包括用于对闸门的锈蚀情况进行前端图像采集的图像采集平台，所述图像采集平台包括由多个相机构成的相机阵列平台、光源、通信线缆、固定支架装置、拍摄控制平台以及计算机；
图像采集平台通过无线或者有线通讯方式与后端的图像数据处理平台相连，所述图像数据处理平台采用计算机，闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果。
在图像采集平台上，所述相机阵列平台通过通信电缆与拍摄控制平台相连，所述相机阵列平台的相机阵列安装于固定支架装置上，并能通过固定支架装置调整整个相机阵列的拍摄角度；
所述相机阵列平台用于快速采集闸门门叶表面锈蚀图像数据，包括多个成像相机和定位相机；所述成像相机用于拍摄闸门门叶表面锈蚀的高清图像，所述定位相机用来定位闸门门叶边缘使之包含于成像相机的视野范围内；
所述拍摄控制平台用于调整相机阵列的拍摄参数，包括拍摄角度、图像增益和曝光度，以PC机端信号控制相机阵列平台对锈蚀样本进行图像采集。
所述相机阵列架设在闸门门叶左前或右前角位，拍摄距离为60～80m；拍摄控制平台和PC机之间通过以太网线连接，将相机阵列采集的图像数据经以太网线传输到PC机端，按照相机号分别在PC机内进行存储，等待后续的图像数据处理。
所述相机阵列平台的整体结构为集中式，并保证所有相机阵列只用于采集图像数据，不参与图像的处理，最大程度的保留原始图像信息。
所述相机阵列在布局上为了最大限度地利用相机分辨率，压缩相机视场的重叠区域，由N个型号和分辨率完全相同的CMOS相机按照凸面方式布局，镜头呈发散状，最终组装成1*N的一维相机阵列，由固定支架装置保持稳定，从左往右子相机分别标号为1、2…N；并通过调整固定支架装置以改变相机阵列拍摄角度，得到信息更全面的大视场图像；
利用各个个子相机采集不同位置和视角的图像，实现锈蚀图像的多通道同步快速获取。
所述定位相机分别位于相机阵列凸面的4个顶角点位，且位于同一矩形平面上，相机边沿和相机焦点严格对齐，对4个定位相机从左至右、从上至下进行编号，分别为A、B、C、D；在相机周围布置Led条形光源以降低杂光噪声干扰，保证相机阵列在锈蚀图像采集。
采用所述闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：将图像检测系统中所采集到的图像数据进行检测，根据视觉图像处理技术对锈蚀图像进行处理提高图像质量，将多视点图像融合拼接成包含完整表面的大视场闸门门叶表面锈蚀图像，采用深度学习算法对不规则锈蚀图像区域进行分割，统计不规则锈蚀图像区域像素，通过面积已知的标定物像素数量与真实面积的比例计算出不规则锈蚀区域的面积，实现闸门门叶表面不规则锈蚀面积的准确量化测评。
闸门门叶锈蚀面积快速测算的方法，具体的步骤如下：
步骤1：设置调节阵列相机的相对位置
通过移动相机阵列以改变相机阵列与闸门门叶间的相对位置，使得成像清晰；
由于镜头焦距的长短决定着成像大小、视场角度指标，从价格和实用性角度考虑选用相应焦距的镜头，依据光学系统成像原理，计算出单个相机的视场距离，其计算公式如下：
式中：v′为像距，表示物体通过平面镜成的像到镜头中凸透镜之间的距离；v是物距，表示实际拍摄的物体到镜头中凸透镜之间的距离；f′是镜头焦距；η′为像方视场；η为物方视场；
步骤2：相机标定
根据相机成像原理，定义成像过程中各坐标系，推导坐标系间相互转换关系，建立相机阵列视觉理论数学模型，将相机阵列看作相邻相机两两组合的多个双目相机进行标定，利用张正友相机标定法对多相机装置进行标定；
在相机标定过程中，主要涉及到4个坐标系之间的转变，其中包含像素坐标系与图像坐标系的转换、图像坐标系与摄像机坐标系的转换以及摄像机坐标系与世界坐标系的转换，从而实现像素坐标系与世界坐标系的转换，其具体步骤为：
步骤2-1：选择经典的黑白棋盘格标定板；
步骤2-2：调整视场范围并固定相机，改变标定板位姿，控制左右相机同时对标定板图像进行拍摄，相机采集10组标定板图像，分别存放在指定文件夹；
步骤2-3：利用Matlab标定工具箱-Stero Camera Calibrate求解相机标定参数，并对参数进行优化求精；
通过建立相机成像的几何模型，确定空间物体表面各个点元的三维几何位置与其在图像中对应点元之间的相互关系；
步骤3：利用相机阵列平台采集图像
必须保持标定的相机阵列相对位置固定，以PC机端图像采集系统软件控制相机阵列同步采集闸门门叶锈蚀图像，通过调整固定支架装置的位置使得定位相机与闸门门叶之间保持合理的拍摄角度，在上位机的图像采集系统中对图像设置调节相同的增益效果和曝光参数，在同一时间同步拍摄，并通过以太网线将图像传输到PC机中进行存储；将采集完成后的图像统一按照闸门门叶编号-拍摄时间-相机编号的命名方式保存到PC机中；
步骤4：畸变校正
通过步骤2中相机标定得到的畸变参数对图像进行校正，包括径向畸变校正和切向畸变校正，畸变校正后的点(x1,y1)与校正前点(x0,y0)的数学公式如下：
式中：k1,k2,k3为径向畸变参数，p1,p2为切向畸变系数，r为点(x0,y0)与成像中心的距离；
步骤5：图像拼接
步骤2建立了相机的成型模型，结合标定结果，求得相机间的图像坐标系的变换矩阵，选择4个定位相机为参考图像坐标系，将N个成像相机的图像转换到参考图像坐标系中，通过图像拼接算法拼接得到一幅包含闸门门叶表面完整的大视场图像；
步骤6：深度学习进行图像分割
采用深度学习网络训练好锈蚀分割模型，通过模型对预处理之后的图像进行锈蚀分割，并手动分割出规则的标定物对象；最后从图像中提取出锈蚀区域和用于参考的规整对象区域，将其转换为二值图像，在得到的二值图像中，能够得到三个不同类型的区域：背景区域、锈蚀区域以及标定物区域，同时这三个区域相互独立，互不干扰；
步骤7：统计像素点数量
二值图像中由于图片仅包含0(黑色)和255(白色)两种类型的值，而锈蚀区域为封闭的不规则形状，标定物区域为封闭的规则区域，通过matlab中bwboundaries函数分别提取出各个封闭域，以此统计不同区域中像素点的数量即可得到锈蚀像素个数和标定物像素个数；
步骤8：测算不规则锈蚀区域面积
由于规则标定物对象，整体闸门门叶的实际面积是能够根据闸门的实际尺寸参数轻易计算得到的，再通过其真实面积与像素数量的比例计算出锈蚀区域的面积，其计算公式如下：
所述步骤2～步骤8中采用经典张正友相机标定法对相机阵列标定，并利用标定结果参数对相机阵列平台采集的图像进行畸变校正；相机阵列采集大视场图像，基于成像投影模型求解变换矩阵对校正后的各视角图像融合拼接，采用深度学习网络训练锈蚀分割模型进行锈蚀分割，借助像素数量和实际面积的比例关系测量面积，形成一套结合相机阵列、图像拼接和图像分割的面积精确快速测算方法。
本发明设计的基于相机阵列的闸门门叶表面锈蚀图像检测装置和不规则锈蚀面积测算方法，采用上述技术方案可以取得如下技术效果：
1、本系统采用相机阵列适用于闸门门叶表面大视场锈蚀图像的检测要求，能够较好的反映出闸门门叶的运行状况，利用相机阵列采集系统对现场巡检中的闸门门叶进行锈蚀图像采集，并用图像处理软件对所采集的锈蚀图像进行检测、分析并统计处理结果，与闸门门叶传统巡检方法进行对比，基于相机阵列与图像处理服务器结合的闸门门叶锈蚀图像检测系统具有高效率、高精度等优势。
2、相机阵列装置为曲面相机阵列，包括7个成像相机和4个定位相机，可以实现大视场、多分辨率、多角度成像，最大视场范围达到74.3m。采用相机阵列采集闸门门叶的整体图像，弥补了传统通过人工目测检验闸门门叶表面锈蚀的局限性，使得水工钢闸门门叶表面的锈蚀图像检测更加客观、高效。
3、利用已知面积的标定物像素数量与其真实面积的比例，得到闸门门叶表面锈蚀图像像素与空间平面面积之间的本构关系，通过统计不规则锈蚀区域内的像素数量测算出闸门门叶不规则锈蚀区域的锈蚀面积，实现不规则锈蚀面积准确量化检测。具体操作时通过直接对锈蚀图像进行图像分割，获取不规则锈蚀区域的二值图像及其精度值，计算方便，精度很高。该方法克服了传统人工目测无法精确计算不规则锈蚀面积的缺陷。
综上所述，本发明基于设计的相机阵列平台，通过该平台采集多视点闸门门叶表面的锈蚀目标图像，结合视觉图像处理技术分割不规则锈蚀图像区域，并采用面积已知的标定物实现不规则锈蚀面积的量化检测，以此对闸门门叶表面锈蚀形态进行快速检测并对不规则锈蚀面积进行精确测算。形成了“锈蚀图像采集”与“锈蚀面积测算”一体化的闸门门叶表面锈蚀图像检测系统与方法，维持了闸门锈蚀图像样本数据的一致性等要求，为水工钢闸门锈蚀图像检测与评估提供了一种新的思路方法。本发明附加方面和优点将在下面部分的进一步描述中更加清楚，或者通过本发明的实践中更为突出地表现。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明闸门门叶表面锈蚀图像检测装置的安装布置及区域划分示意图。
图2是本发明中阵列相机安装位置和排列方式的结构示意图。
图3是本发明闸门门叶表面锈蚀面积快速测算方法中步骤3中相机标定的原理图。
图4是本发明中闸门门叶表面锈蚀面积快速测算方法的流程图。
具体实施方式
下面结合附图对本发明的实施方式做进一步的说明。
参见图1，一种闸门门叶表面锈蚀的图像检测系统，它包括用于对闸门的锈蚀情况进行前端图像采集的图像采集平台，所述图像采集平台包括由多个相机构成的相机阵列平台、光源、通信线缆、固定支架装置、拍摄控制平台以及计算机；图像采集平台通过无线或者有线通讯方式与后端的图像数据处理平台相连，所述图像数据处理平台采用计算机，闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果。通过采用上述的图像检测系统，在对闸门门叶表面锈蚀情况检测过程中，通过图像采集平台首先对闸门门叶表面进行图像采集，再通过数据处理平台分析处理所采集到的图像，进而实现锈蚀面积快速测算。
进一步的，在图像采集平台上，所述相机阵列平台通过通信电缆与拍摄控制平台相连，所述相机阵列平台的相机阵列安装于固定支架装置上，并能通过固定支架装置调整整个相机阵列的拍摄角度；所述相机阵列平台用于快速采集闸门门叶表面锈蚀图像数据，包括多个成像相机和定位相机；所述成像相机用于拍摄闸门门叶表面锈蚀的高清图像，所述定位相机用来定位闸门门叶边缘使之包含于成像相机的视野范围内；所述拍摄控制平台用于调整相机阵列的拍摄参数，包括拍摄角度、图像增益和曝光度，以PC机端信号控制相机阵列平台对锈蚀样本进行图像采集。通过上述的相机阵列平台能够最大范围的对闸门门叶的表面锈蚀情况进行图像采集，并保证其表面图像采集的质量和效果。
进一步的，所述相机阵列架设在闸门门叶左前或右前角位，拍摄距离为60～80m；拍摄控制平台和PC机之间通过以太网线连接，将相机阵列采集的图像数据经以太网线传输到PC机端，按照相机号分别在PC机内进行存储，等待后续的图像数据处理。通过上述的布置方式，能够保证采集到最优最全的闸门门叶表面质量。
进一步的，所述相机阵列平台的整体结构为集中式，并保证所有相机阵列只用于采集图像数据，不参与图像的处理，最大程度的保留原始图像信息。
数据处理平台主要由计算机和以太网线组成。拍摄控制平台和计算机机之间通过以太网线连接，将相机阵列采集的图像数据经以太网线传输到PC机端，将采集完成后的图像统一按照闸门门叶编号-拍摄时间-相机编号的命名方式保存到磁盘中。闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果。
进一步的，结合附图2对装置中的阵列相机进行详细的说明。如附图2所示，本发明设计的阵列相机总共包含11个镜头，其中包括7个用于成像的采集镜头和4个用于确定装置位置的定位镜头。阵列相机系统整体结构为集中式，即相机只用于采集图像数据，不参与图像的处理，这种结构能最大程度的保留原始信息。相机阵列在布局上为了最大限度地利用相机分辨率，尽量压缩相机视场的重叠区域，由7个型号和分辨率完全相同的CMOS相机按照凸面方式布局，镜头呈发散状，最终组装成1*7的一维相机阵列，由固定支架装置保持稳定，从左往右子相机分别标号为1、2…7；并通过调整固定支架装置以改变相机阵列拍摄角度，得到信息更全面的大视场图像；利用各个个子相机采集不同位置和视角的图像，实现锈蚀图像的多通道同步快速获取。
进一步的，所述定位相机分别位于相机阵列凸面的4个顶角点位，且位于同一矩形平面上，相机边沿和相机焦点严格对齐，对4个定位相机从左至右、从上至下进行编号，分别为A、B、C、D；在相机周围布置Led条形光源以降低杂光噪声干扰，保证相机阵列在锈蚀图像采集。
实施例2：
采用所述闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，将图像检测系统中所采集到的图像数据进行检测，根据视觉图像处理技术对锈蚀图像进行处理提高图像质量，将多视点图像融合拼接成包含完整表面的大视场闸门门叶表面锈蚀图像，采用深度学习算法对不规则锈蚀图像区域进行分割，统计不规则锈蚀图像区域像素，通过面积已知的标定物像素数量与真实面积的比例计算出不规则锈蚀区域的面积，实现闸门门叶表面不规则锈蚀面积的准确量化测评。
下面结合附图4对本发明一种闸门门叶表面锈蚀面积快速测算方法的实施例作详细说明，该实施例包括如下具体步骤：
步骤1：设置调节阵列相机的相对位置
通过移动相机阵列以改变相机阵列与闸门门叶间的相对位置，使得成像清晰；
由于镜头焦距的长短决定着成像大小、视场角度指标，从价格和实用性角度考虑选用相应焦距的镜头，依据光学系统成像原理，计算出单个相机的视场距离，其计算公式如下：
式中：v′为像距，表示物体通过平面镜成的像到镜头中凸透镜之间的距离；v是物距，表示实际拍摄的物体到镜头中凸透镜之间的距离；f′是镜头焦距，本发明中选用相机的焦距f′＝85mm；η′为像方视场；η为物方视场。
进一步，本实施例中相机阵列布置在距离闸门门叶73m的位置，即工作距离(物距)v＝73m，由式1可以计算出像距约为v′＝84.9m。像方视场η′＝13.13mm，由式2计算出物方视场
即单个镜头的视场为11.28m。每个镜头之间均以7.5°的夹角进行排列，则可以得出采用7个镜头组成的相机阵列采集的照片在进行拼接融合之后的总视场大小为74.3m，其视场范围大于目前世界上最大的单页闸门尺寸---三峡船闸永久人字闸门(门叶高38.5m，门叶宽20m)。
步骤2：相机标定
根据相机成像原理，定义成像过程中各坐标系，推导坐标系间相互转换关系，建立相机阵列视觉理论数学模型，将相机阵列看作相邻相机两两组合的多个双目相机进行标定，利用张正友相机标定法对多相机装置进行标定，具体过程如附图3所示。
在相机标定过程中，主要涉及到4个坐标系之间的转变，其中包含像素坐标系与图像坐标系的转换、图像坐标系与摄像机坐标系的转换以及摄像机坐标系与世界坐标系的转换，从而实现像素坐标系与世界坐标系的转换，其具体步骤为：
步骤2-1：选择经典的黑白棋盘格标定板；
步骤2-2：调整视场范围并固定相机，改变标定板位姿，控制左右相机同时对标定板图像进行拍摄，相机采集10组标定板图像，分别存放在指定文件夹；
步骤2-3：利用Matlab标定工具箱-Stero Camera Calibrate求解相机标定参数，并对参数进行优化求精；
通过建立相机成像的几何模型，确定空间物体表面各个点元的三维几何位置与其在图像中对应点元之间的相互关系；
步骤3：利用相机阵列平台采集图像
必须保持标定的相机阵列相对位置固定，以PC机端图像采集系统软件控制相机阵列同步采集闸门门叶锈蚀图像，通过调整固定支架装置的位置使得定位相机与闸门门叶之间保持合理的拍摄角度，在上位机的图像采集系统中对图像设置调节相同的增益效果和曝光参数，在同一时间同步拍摄，并通过以太网线将图像传输到PC机中进行存储；将采集完成后的图像统一按照闸门门叶编号-拍摄时间-相机编号的命名方式保存到PC机中；
步骤4：畸变校正
通过步骤2中相机标定得到的畸变参数对图像进行校正，包括径向畸变校正和切向畸变校正，畸变校正后的点(x1,y1)与校正前点(x0,y0)的数学公式如下：
式中：k1,k2,k3为径向畸变参数，p1,p2为切向畸变系数，r为点(x0,y0)与成像中心的距离；
步骤5：图像拼接
步骤2建立了相机的成型模型，结合标定结果，求得相机间的图像坐标系的变换矩阵，选择4个定位相机为参考图像坐标系，将N个成像相机的图像转换到参考图像坐标系中，通过图像拼接算法拼接得到一幅包含闸门门叶表面完整的大视场图像；
步骤6：深度学习进行图像分割
采用深度学习网络训练好锈蚀分割模型，通过模型对预处理之后的图像进行锈蚀分割，并手动分割出规则的标定物对象；最后从图像中提取出锈蚀区域和用于参考的规整对象区域，将其转换为二值图像，在得到的二值图像中，能够得到三个不同类型的区域：背景区域、锈蚀区域以及标定物区域，同时这三个区域相互独立，互不干扰；
步骤7：统计像素点数量
二值图像中由于图片仅包含0(黑色)和255(白色)两种类型的值，而锈蚀区域为封闭的不规则形状，标定物区域为封闭的规则区域，通过matlab中bwboundaries函数分别提取出各个封闭域，以此统计不同区域中像素点的数量即可得到锈蚀像素个数和标定物像素个数；
步骤8：测算不规则锈蚀区域面积
由于规则标定物对象，整体闸门门叶的实际面积是能够根据闸门的实际尺寸参数轻易计算得到的，如三峡船闸永久人字闸门门叶高38.5m，门叶宽20m，因此可以通过其真实面积与像素数量的比例计算出锈蚀区域的面积，其计算公式如下：
所述步骤2～步骤8中采用经典张正友相机标定法对相机阵列标定，并利用标定结果参数对相机阵列平台采集的图像进行畸变校正；相机阵列采集大视场图像，基于成像投影模型求解变换矩阵对校正后的各视角图像融合拼接，采用深度学习网络训练锈蚀分割模型进行锈蚀分割，借助像素数量和实际面积的比例关系测量面积，形成一套结合相机阵列、图像拼接和图像分割的面积精确快速测算方法。
Claims (5)
1.采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：所述闸门门叶表面锈蚀的图像检测系统包括用于对闸门的锈蚀情况进行前端图像采集的图像采集平台，所述图像采集平台包括由多个相机构成的相机阵列平台、光源、通信线缆、固定支架装置、拍摄控制平台以及计算机；
图像采集平台通过无线或者有线通讯方式与后端的图像数据处理平台相连，所述图像数据处理平台采用计算机，闸门门叶表面锈蚀图像经过PC机中图像处理工作站的处理、检测，最后在人机界面输出显示检测结果；
在图像采集平台上，所述相机阵列平台通过通信电缆与拍摄控制平台相连，所述相机阵列平台的相机阵列安装于固定支架装置上，并能通过固定支架装置调整整个相机阵列的拍摄角度；
所述相机阵列平台用于快速采集闸门门叶表面锈蚀图像数据，包括多个成像相机和定位相机；所述成像相机用于拍摄闸门门叶表面锈蚀的高清图像，所述定位相机用来定位闸门门叶边缘使之包含于成像相机的视野范围内；
所述拍摄控制平台用于调整相机阵列的拍摄参数，包括拍摄角度、图像增益和曝光度，以PC机端信号控制相机阵列平台对锈蚀样本进行图像采集；
所述相机阵列在布局上为了最大限度地利用相机分辨率，压缩相机视场的重叠区域，由N个型号和分辨率完全相同的CMOS相机按照凸面方式布局，镜头呈发散状，最终组装成1*N的一维相机阵列，由固定支架装置保持稳定，从左往右子相机分别标号为1、2…N；并通过调整固定支架装置以改变相机阵列拍摄角度，得到信息更全面的大视场图像；
利用各个子相机采集不同位置和视角的图像，实现锈蚀图像的多通道同步快速获取；
所述闸门门叶锈蚀面积快速测算的方法：将图像检测系统中所采集到的图像数据进行检测，根据视觉图像处理技术对锈蚀图像进行处理提高图像质量，将多视点图像融合拼接成包含完整表面的大视场闸门门叶表面锈蚀图像，采用深度学习算法对不规则锈蚀图像区域进行分割，统计不规则锈蚀图像区域像素，通过面积已知的标定物像素数量与真实面积的比例计算出不规则锈蚀区域的面积，实现闸门门叶表面不规则锈蚀面积的准确量化测评；
具体的步骤如下：
步骤1：设置调节阵列相机的相对位置
通过移动相机阵列以改变相机阵列与闸门门叶间的相对位置，使得成像清晰；
由于镜头焦距的长短决定着成像大小、视场角度指标，从价格和实用性角度考虑选用相应焦距的镜头，依据光学系统成像原理，计算出单个相机的视场距离，其计算公式如下：
式中：v′为像距，表示物体通过平面镜成的像到镜头中凸透镜之间的距离；v是物距，表示实际拍摄的物体到镜头中凸透镜之间的距离；f′是镜头焦距；η′为像方视场；η为物方视场；
步骤2：相机标定
根据相机成像原理，定义成像过程中各坐标系，推导坐标系间相互转换关系，建立相机阵列视觉理论数学模型，将相机阵列看作相邻相机两两组合的多个双目相机进行标定，利用张正友相机标定法对多相机装置进行标定；
在相机标定过程中，主要涉及到4个坐标系之间的转变，其中包含像素坐标系与图像坐标系的转换、图像坐标系与摄像机坐标系的转换以及摄像机坐标系与世界坐标系的转换，从而实现像素坐标系与世界坐标系的转换，其具体步骤为：
步骤2-1：选择经典的黑白棋盘格标定板；
步骤2-2：调整视场范围并固定相机，改变标定板位姿，控制左右相机同时对标定板图像进行拍摄，相机采集10组标定板图像，分别存放在指定文件夹；
步骤2-3：利用Matlab标定工具箱-Stero Camera Calibrate求解相机标定参数，并对参数进行优化求精；
通过建立相机成像的几何模型，确定空间物体表面各个点元的三维几何位置与其在图像中对应点元之间的相互关系；
步骤3：利用相机阵列平台采集图像
必须保持标定的相机阵列相对位置固定，以PC机端图像采集系统软件控制相机阵列同步采集闸门门叶锈蚀图像，通过调整固定支架装置的位置使得定位相机与闸门门叶之间保持合理的拍摄角度，在上位机的图像采集系统中对图像设置调节相同的增益效果和曝光参数，在同一时间同步拍摄，并通过以太网线将图像传输到PC机中进行存储；将采集完成后的图像统一按照闸门门叶编号-拍摄时间-相机编号的命名方式保存到PC机中；
步骤4：畸变校正
通过步骤2中相机标定得到的畸变参数对图像进行校正，包括径向畸变校正和切向畸变校正，畸变校正后的点(x1,y1)与校正前点(x0,y0)的数学公式如下：
式中：k1,k2,k3为径向畸变参数，p1,p2为切向畸变系数，r为点(x0,y0)与成像中心的距离；
步骤5：图像拼接
步骤2建立了相机的成型模型，结合标定结果，求得相机间的图像坐标系的变换矩阵，选择4个定位相机为参考图像坐标系，将N个成像相机的图像转换到参考图像坐标系中，通过图像拼接算法拼接得到一幅包含闸门门叶表面完整的大视场图像；
步骤6：深度学习进行图像分割
采用深度学习网络训练好锈蚀分割模型，通过模型对预处理之后的图像进行锈蚀分割，并手动分割出规则的标定物对象；最后从图像中提取出锈蚀区域和用于参考的规整对象区域，将其转换为二值图像，在得到的二值图像中，能够得到三个不同类型的区域：背景区域、锈蚀区域以及标定物区域，同时这三个区域相互独立，互不干扰；
步骤7：统计像素点数量
二值图像中由于图片仅包含0和255两种类型的值，而锈蚀区域为封闭的不规则形状，标定物区域为封闭的规则区域，通过matlab中bwboundaries函数分别提取出各个封闭域，以此统计不同区域中像素点的数量即可得到锈蚀像素个数和标定物像素个数；
步骤8：测算不规则锈蚀区域面积
由于规则标定物对象，整体闸门门叶的实际面积是能够根据闸门的实际尺寸参数轻易计算得到的，再通过其真实面积与像素数量的比例计算出锈蚀区域的面积，其计算公式如下：
2.根据权利要求1所述采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：所述相机阵列架设在闸门门叶左前或右前角位，拍摄距离为60～80m；拍摄控制平台和PC机之间通过以太网线连接，将相机阵列采集的图像数据经以太网线传输到PC机端，按照相机号分别在PC机内进行存储，等待后续的图像数据处理。
3.根据权利要求1所述采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：所述相机阵列平台的整体结构为集中式，并保证所有相机阵列只用于采集图像数据，不参与图像的处理，最大程度的保留原始图像信息。
4.根据权利要求1所述采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：所述定位相机分别位于相机阵列凸面的4个顶角点位，且位于同一矩形平面上，定位相机边沿、定位相机焦点严格对齐，对4个定位相机从左至右、从上至下进行编号，分别为A、B、C、D；在相机周围布置Led条形光源以降低杂光噪声干扰，保证相机阵列在锈蚀图像采集。
5.根据权利要求1所述采用闸门门叶表面锈蚀的图像检测系统进行闸门门叶锈蚀面积快速测算的方法，其特征在于：其特征在于：所述步骤2～步骤8中采用经典张正友相机标定法对相机阵列标定，并利用标定结果参数对相机阵列平台采集的图像进行畸变校正；相机阵列采集大视场图像，基于成像投影模型求解变换矩阵对校正后的各视角图像融合拼接，采用深度学习网络训练锈蚀分割模型进行锈蚀分割，借助像素数量和实际面积的比例关系测量面积，形成一套结合相机阵列、图像拼接和图像分割的面积精确快速测算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110090434.5A CN112767364B (zh) | 2021-01-22 | 2021-01-22 | 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110090434.5A CN112767364B (zh) | 2021-01-22 | 2021-01-22 | 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767364A CN112767364A (zh) | 2021-05-07 |
| CN112767364B true CN112767364B (zh) | 2022-06-17 |
Family
ID=75706718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110090434.5A Active CN112767364B (zh) | 2021-01-22 | 2021-01-22 | 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767364B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113945575B (zh) * | 2021-12-17 | 2022-03-22 | 深圳精智达技术股份有限公司 | 一种显示屏cg和oca夹层异物的检测系统及检测方法 |
| CN114049354B (zh) * | 2022-01-12 | 2022-04-29 | 山东仲良格环保技术有限公司 | 一种基于金属锈蚀程度的除锈剂优化配比方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107514983B (zh) * | 2016-08-16 | 2024-05-10 | 上海汇像信息技术有限公司 | 一种基于三维测量技术测量物体表面积的系统及方法 |
| CN108416771A (zh) * | 2018-03-07 | 2018-08-17 | 南京工业大学 | 一种基于单目相机的金属材料锈蚀面积检测方法 |
| JP7292979B2 (ja) * | 2019-05-31 | 2023-06-19 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| CN111008961B (zh) * | 2019-11-25 | 2021-10-19 | 深圳供电局有限公司 | 一种输电线路设备缺陷检测方法及其系统、设备、介质 |
| CN111583197B (zh) * | 2020-04-23 | 2022-05-13 | 浙江大学 | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 |
-
2021
- 2021-01-22 CN CN202110090434.5A patent/CN112767364B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767364A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767364B (zh) | 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 | |
| CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
| CN107133983B (zh) | 成捆圆钢端面双目视觉系统与空间定位及计数方法 | |
| CN105092607B (zh) | 球面光学元件表面缺陷评价方法 | |
| EP3223249B1 (en) | Paper currency fold recognition apparatus and method | |
| CN109297428A (zh) | 一种基于无人机的高精度变形巡测技术方法 | |
| CN104121850B (zh) | 一种郁闭度的测定方法和装置 | |
| CN103234475B (zh) | 一种基于激光三角测量法的亚像素表面形态检测方法 | |
| CN104568963A (zh) | 一种基于rgb结构光的在线式三维检测装置 | |
| CN106255863A (zh) | 通过图像分析对场景进行三维重构的设备及方法 | |
| CN108507484B (zh) | 成捆圆钢多目视觉识别系统及计数方法 | |
| CN105812790A (zh) | 图像传感器感光面与光轴垂直度的评测方法及光学测试卡 | |
| CN104019772B (zh) | 一种桥梁结构砼表面蜂窝麻面面积检测方法 | |
| CN105953741A (zh) | 一种钢结构局部几何变形的测量系统和方法 | |
| CN105423975A (zh) | 一种大型工件的标定系统及方法 | |
| CN112902869B (zh) | 轨廓测量系统激光平面调整方法及装置 | |
| CN110766683A (zh) | 一种珍珠光洁度等级检测方法及系统 | |
| CN104331889A (zh) | 基于图像解译技术的水土保持监测方法 | |
| CN102589415A (zh) | 计量型数字图像平面等厚干涉仪及采用其测量物体表面平面度的方法 | |
| CN204287060U (zh) | 一种基于rgb结构光的在线式三维检测装置 | |
| CN117710588A (zh) | 一种基于视觉测距先验信息的三维目标检测方法 | |
| CN207946065U (zh) | 成捆圆钢多目视觉识别系统 | |
| CN117036326A (zh) | 一种基于多模态融合的缺陷检测方法 | |
| CN201226077Y (zh) | 一种物体表面表观采集设备 | |
| CN116091506A (zh) | 一种基于yolov5的机器视觉缺陷质检方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |