CN113435412B - 一种基于语义分割的水泥布料区域检测方法 - Google Patents
一种基于语义分割的水泥布料区域检测方法 Download PDFInfo
- Publication number
- CN113435412B CN113435412B CN202110845886.XA CN202110845886A CN113435412B CN 113435412 B CN113435412 B CN 113435412B CN 202110845886 A CN202110845886 A CN 202110845886A CN 113435412 B CN113435412 B CN 113435412B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- area
- semantic segmentation
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 239000004568 cement Substances 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 239000004744 fabric Substances 0.000 claims description 72
- 239000000463 material Substances 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000005266 casting Methods 0.000 abstract description 9
- 230000033001 locomotion Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 229910001294 Reinforcing steel Inorganic materials 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于语义分割的水泥布料区域检测方法，智能识别布料区域的方案，图像检测模块利用计算机视觉中的语义分割技术，对布料区域所述中图像进行检测，自动化识别布料区域坐标位置，并生成运动轨迹，提高布料机自动化布料的效率；减少了在水泥布料过程中人工测量或者添加标志的部分，可显著提升水泥布料的效率；且适用于多种形状、尺寸的水泥铸件，广泛使用，节省了人工成本和劳动，提高了工作效率。
Description
技术领域
本发明涉及建筑应用技术领域，更具体地说是指一种基于语义分割的水泥布料区域检测方法。
背景技术
现有在建筑领域，水泥布料机是一种浇筑水泥铸件的机器。传统布料方法是在工作台上，根据需要的水泥铸件的几何形状，通过钢筋等布置出需要布料（即铺设水泥）的区域，然后通过人工测量得到布料区域相对于布料机的位置，从而通过设置运动轨迹控制布料机运动，在布料区域铺设水泥。
布料区域整体就是工作台，其中钢筋围起来的区域就是需要布水泥的布料区。
近年来也有基于机器视觉的解决方案，但是由于布料环境中，工作台、钢筋等颜色接近，且容易受到水泥污染，因此需要人工辅助机器识别 ，例如人工添加一些标志，帮助机器更容易发现布料区域的边界，但是人工添加标志和人工测量，比较繁琐，同时布料区域坐标位置不准确，布料机工作效率低，不能满足布料机自动化布料的高效和智能需求。
因此，有必要开发出一种基于语义分割的水泥布料区域检测系统。
发明内容
本发明所要解决的技术问题是提供一种基于语义分割的水泥布料区域检测方法，解决了智能识别布料区域的方案，不依赖人工测量或者人工辅助，仅通过相机采集图像后，就可以自动化识别布料区域坐标，并生成运动轨迹，最终提高布料工作的效率。
为了解决上述技术问题，本发明提供一种基于语义分割的水泥布料区域检测方法，包括图像采集模块、图像检测模块和计算布料区域位置模块；所述图像采集模块利用相机进行图像采集，采用一个相机或多相机，多次移动拍摄得到多张图像，所述图像检测模块利用计算机视觉中的语义分割技术，对布料区域中所述图像进行检测，所述计算布料区域位置模块根据图像语义分割的结果，计算布料区域位置坐标；
所述基于语义分割的水泥布料区域检测方法的流程步骤如下：
a.采用所述多相机、多次移动拍摄得到多张图像，并记录这些图
像对应的位置；
b.对采集到的所有图像分别采用标定方法进行畸变矫正；
c.对采集到的所有图像进行合并，合并方法采用相机拍摄位置的；
合并和/或采用图像边缘特征的合并；
d. 对合并生成的图像，利用所述图像语义分割技术，采用深度学习的语义分割网络模进行像素点的分类，找到属于布料区域的像素点；
e. 采集所述图像语义分割的结果；
f. 再进行计算校验：结合布料区域的封闭的规则几何区域和已知的最小面积，对所述图像语义分割的结果进行进一步的校正；通过裁剪过小的布料区域或者过小的非布料区域，并拟合出布料区域的多边形形状，提升布料区域的准确坐标位置；
g. 最终将布料区域的坐标数据通过接口协议传输给布料机，从而控制布料机的自动布料；
重复以上步骤a至g，实现图像语义分割的水泥布料区域检测方法控制布料机的自动布料。
进一步方案为： 所述图像畸变校正步骤利用机器视觉中的标定算法（如张正友标定法），对待合并的图像进行畸变校正；
进一步方案为：所述的图像合并方法采用如下两者之一或者同时采用：
方法一，通过相机拍摄图像的位置，得到每张图像在合并图像中的位置，并按照该位置将所有图像合并起来；
方法二， 通过图像的边缘特征匹配合并图像。
进一步方案为：所述图像的边缘特征匹配合并图像方法步骤如下：
A. 特征点检测
采用sift特征检测方法对图像进行特征点检测，得到特征的向量表示；
B. 特征点匹配
根据所述A步骤中得到的特征点描述，对于相邻图像的边缘特征点，进行特征匹配计算，包括向量相似度的匹配方法，向量距离、余弦相似度；
C. 合并图像
根据所述B步骤中得到的特征点匹配结果，按照特征点对应的位置，合并图像；计算所述相邻图像一和图像二的相对像素位置，让该位置匹配上的特征点距离接近为0。
进一步方案为：所述图像语义分割的校正方法如下：
（1）利用高斯平滑方法，过滤小面积的布料区域，或者小面积的非布料区域；
（2）将布料区域拟合简化为多边形。
进一步方案为：所述多边形拟合方法如下：
S01. 通过图像处理技术中的连通域查找，找到每个封闭布料区域的边缘像素点，并组成一条封闭曲线；
S02. 寻找封闭曲线中的候选角点
随机初始化曲线中的一点，并找到曲线中离该点最远的点，连接两点得到一条直线，同时曲线一分为二；找到两条曲线中离该直线最远的两个点，得到候选的两个角点；
S03. 将布料区域拟合简化为多边形
通过两个角点，将封闭曲线分为两段曲线线段，利用道格拉斯-普克算法对两条曲线进行系列点的近似表达，最终将所述系列点连接起来，得到布料区域的多边形拟合结果，其中包含多边形的边数和系列点的坐标。
本发明与现有技术相比的有益效果是：基于图像语义分割的水泥布料区域检测方法，智能识别布料区域的方案，目标检测模块利用计算机视觉中的目标检测技术，检测布料区域的特征点，所述计算布料区域模块根据检测目标的特征点，合并计算自动化识别布料区域坐标，并生成运动轨迹，最终提高布料工作的效率，减少了在水泥布料过程中人工（测量或者添加标志）的部分，可显著提升水泥布料机自动化布料的效率；适用于多种形状、尺寸的水泥铸件，可广泛使用，节省了人工成本和劳动，提高了工作效率。
附图说明
图1为本发明的基于语义分割的水泥布料区域检测方法的流程示意图；
图2为本发明的布料区域的坐标位置的示意图；
图3为本发明的sift特征检测方法示意图；
图4为本发明的布料区域拟合简化为多边形的示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1至图4所示，本发明的具体实施例，一种基于语义分割的水泥布料区域检测方法，包括图像采集模块、图像检测模块和计算布料区域位置模块；图像采集模块利用相机进行图像采集，采用一个相机或多相机，多次移动拍摄得到多张图像，图像检测模块利用计算机视觉中的语义分割技术，对布料区域中图像进行检测，计算布料区域位置模块根据图像语义分割的结果，计算布料区域位置坐标；
基于语义分割的水泥布料区域检测方法的流程步骤如下：
a. 采用多相机、多次移动拍摄得到多张图像，并记录这些图
像对应的位置；
b. 对采集到的所有图像分别采用标定方法进行畸变矫正；
c. 对采集到的所有图像进行合并，合并方法采用相机拍摄位置的
合并和/或采用图像边缘特征的合并；
d. 对合并生成的图像，利用图像语义分割技术，采用深度学习的语义分割网络模进行像素点的分类，找到属于布料区域的像素点；
e. 采集图像语义分割的结果；
f. 再进行计算校验：结合布料区域的封闭的规则几何区域和已知的最小面积，对图像语义分割的结果进行进一步的校正；通过裁剪过小的布料区域或者过小的非布料区域，并拟合出布料区域的多边形形状，提升布料区域的准确坐标位置；
g. 最终将布料区域的坐标数据通过接口协议传输给布料机，从而控制布料机的自动布料；
重复以上步骤a至g，实现图像语义分割的水泥布料区域检测方法控制布料机的自动布料。
进一步地： 图像畸变校正步骤利用机器视觉中的标定算法（如张正友标定法），对待合并的图像进行畸变校正；
进一步地：图像合并方法采用如下两者之一或者同时采用：
方法一，通过相机拍摄图像的位置，得到每张图像在合并图像中的位置，并按照该位置将所有图像合并起来；
方法二， 通过图像的边缘特征匹配合并图像。
进一步地：图像的边缘特征匹配合并图像方法步骤如下：
A. 特征点检测
采用sift特征检测方法对图像进行特征点检测，得到特征的向量表示；
B. 特征点匹配
根据A步骤中得到的特征点描述，对于相邻图像的边缘特征点，进行特征匹配计算，包括向量相似度的匹配方法，向量距离、余弦相似度；
C. 合并图像
根据B步骤中得到的特征点匹配结果，按照特征点对应的位置，合并图像；计算相邻图像一和图像二的相对像素位置，让该位置匹配上的特征点距离接近为0。
进一步地：图像语义分割的校正方法如下：
（1）利用高斯平滑方法，过滤小面积的布料区域，或者小面积的非布料区域；
（2）将布料区域拟合简化为多边形。
进一步地：如图4所示，多边形拟合方法如下：
S01. 通过图像处理技术中的连通域查找，找到每个封闭布料区域的边缘像素点，并组成一条封闭曲线；
S02. 寻找封闭曲线中的候选角点
随机初始化曲线中的一点，并找到曲线中离该点最远的点，连接两点得到一条直线，同时曲线一分为二；找到两条曲线中离该直线最远的两个点，得到候选的两个角点；
S03. 将布料区域拟合简化为多边形
通过两个角点，将封闭曲线分为两段曲线线段，利用道格拉斯-普克算法对两条曲线进行系列点的近似表达，最终将系列点连接起来，得到布料区域的多边形拟合结果，其中包含多边形的边数和系列点的坐标。
由于工作台较大，一般采用多相机、多次移动拍摄得到多张图像，并记录这些图像对应的位置。
第一步，图像畸变矫正
由于相机成像后的结果和世界坐标对比，存在差异（主要是镜头畸变），对于测量、定位等需要知道精确世界坐标的任务，需要对相机进行标定，建立图像坐标和世界坐标的关系，才能通过图像坐标得到真实精确的世界坐标。
此处采用常见的标定算法，得到图像坐标和世界坐标的关系，并利用这个转换关系，计算图像中像素点的世界坐标，实现最终传出的布料区坐标和世界坐标是一致的。
图像采集完成后，对采集到的图像利用图像语义分割技术（例如深度学习的语义分割网络模型）进行像素点的分类，找到属于布料区域的像素点。
如图2和图3所示，为保证精度，子区域中图像的合并方法主要是：合并图像（下述两种方法可以选其一，或者共同使用，且共同使用效果最佳）；
方法一：采用相机拍摄的位置合并图像；
由于采集图像的过程是通过控制器控制相机平行移动，因此采集图像时可以存储拍摄时相机的位置。合并图像时可以通过该位置，在最终合并的全图中，找到每张图片的对应位置并粘贴图像，如图2所示。
但是由于相机的坐标精度受到外界移动控制的精度影响，在移动精度不足时还需要方法二。
方法二：基于图像边缘的特征匹配（例如sift特征检测方法）合并图像；用于合并的特征指图像边缘的局部特征，它对于旋转、尺度缩放、亮度变化保持不变，对于视角变化、仿射变换、噪声也保持一定的稳定性；且独特性好，信息量丰富，适用于海量特征提取和准确的匹配。
在找到图像边缘特征之后，则可以利用两个相邻图像的重叠区域（注意，采集图像时相邻区域会有一定的重叠）匹配特征点，最终合并图像。
（1）特征点匹配
如图3所示，根据步骤A、B和C，对于相邻图像图一的边缘特征点1、特征点2和特征点3，匹配图二的边缘特征点4、特征点5和特征点6，进行特征匹配计算（常见的向量相似度的匹配方法，例如向量距离、余弦相似度等）。
（2）合并图像
如图3所示，步骤B的结果所示，特征点匹配之后，按照特征点对应的位置，合并图像。
合并的方法是计算图像A和图像B的相对像素位置，该位置尽可能让所有匹配上的特征点距离为0。
方法二的问题在于：如果该拍摄区域内的特征点较少的时候，合并结果的精度也会受到影响。
因此方法一和方法二是结合使用，保证图像合并的精确。
此方法可以有效利用图像采集的时间，在布料机准备完成之前完成运算。
（1） 利用高斯平滑方法，过滤噪声，比如小面积的布料区域，或者小面积的非布料区域；2D图像的高斯平滑方法：图像高斯平滑是一种常见的邻域平均的图像平滑方法，在应用中，当语义分割结果出现非常小面积的布料区域或者非布料区域时，可以通过高斯平滑方法，利用邻域像素值，去除掉非常小面积的噪声区域。
（2）将布料区域拟合简化为多边形。
布料区域的校正
由于布料区域是一个封闭的规则几何区域，且有最小面积等先验知识，因此可以结合这些先验知识对于语义分割的结果进行进一步的修正，提升检测的准确。修正方法包括：（1）利用高斯平滑方法，过滤噪声，比如小面积的布料区域，或者小面积的非布料区域，（2）将布料区域拟合简化为多边形。
对于语义分割的结果，采用计算机视觉中的连通域查找方法，找到每个候选区域的边缘像素点，矩形区域内为连通域查找后的边缘像素点。
对于找到的边缘像素点，将其看待为首尾相连的曲线，采用道格拉斯-普克算法(Douglas–Peucker algorithm)将闭合的曲线拟合为多边形。道格拉斯-普克算法是一种将曲线近似表示为一系列点，并减少点的数量的一种算法。它的优点是具有平移和旋转不变性，给定曲线与阈值后，抽样结果一定。结合这种特殊曲线，即首尾相连的情况，改进后的格拉斯-普克算法具体步骤如下：
第一步，通过图像处理技术中的连通域查找，找到每个封闭布料区域的边缘像素点，并组成一条封闭曲线；
第二步，寻找封闭曲线中的候选角点。
随机初始化曲线中的一点，并找到曲线中离该点最远的点，连接两点得到一条直线，同时曲线一分为二；如图4所示中的AB点：
找到两条曲线中离该直线最远的两个点，得到候选的两个角点，如图4所示A1和B1点。
第三步，将布料区域拟合简化为多边形。
如图4所示，通过两个角点，将封闭曲线分为两段曲线线段，用直线分割的两个曲线1和曲线2。
利用道格拉斯-普克算法对两条曲线进行系列点的近似表达。详细步骤如下：
S01.对于其中一条曲线，计算曲线上离该直线段距离最大的点C，计算其与AB的距离d。
比较该距离与预先给定的阈值threshold的大小，如果小于threshold，则以该直线作为曲线的近似，该段曲线处理完毕。
如果距离大于阈值，则用点C将曲线分为两段AC和BC，并分别对两段曲线进行步骤[1~2]的处理。
如图4所示，最终将这些系列点连接起来，得到布料区域的多边形拟合结果，其中包含多边形的边数，和这些点的坐标，最终得到拟合多边形；最终将布料区域的多边形坐标（角点坐标和多边形的边数）通过通用接口传输方式传递给布料机，帮助布料机实现自动布料。
本发明的解决的问题和有益效果如下：
本发明基于图像语义分割的水泥布料区域检测方法，智能识别布料区域的方案，不依赖人工测量或者人工辅助，仅通过相机采集图像后，合并计算自动化识别布料区域坐标位置，并生成运动轨迹，最终提高布料机自动化布料的效率，减少了在水泥布料过程中人工（测量或者添加标志）的部分，可显著提升水泥布料的效率；且适用于多种形状、尺寸的水泥铸件，可广泛使用，节省了人工成本和劳动，提高了工作效率。
以上所述仅为本专利优选实施方式，并非限制本专利范围，凡是利用说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其它相关的技术领域，均属于本专利保护范围。
Claims (4)
1.一种基于语义分割的水泥布料区域检测方法，其特征在于：包括图像采集模块、图像检测模块和计算布料区域位置模块；所述图像采集模块利用相机进行图像采集，采用一个相机或多相机，多次移动拍摄得到多张图像，所述图像检测模块利用计算机视觉中的语义分割技术，对布料区域中所述图像进行检测，所述计算布料区域位置模块根据图像语义分割的结果，计算布料区域位置坐标；
所述基于语义分割的水泥布料区域检测方法的流程步骤如下：
a. 采用所述多相机、多次移动拍摄得到多张图像，并记录这些图像对应的位置；
b. 对采集到的所有图像分别采用标定方法进行畸变矫正；
c. 对采集到的所有图像进行合并，合并方法采用相机拍摄位置的合并和/或采用图像边缘特征的合并；
d. 对合并生成的图像，利用所述图像语义分割技术，采用深度学习的语义分割网络模进行像素点的分类，找到属于布料区域的像素点；
e. 采集所述图像语义分割的结果；
f. 再进行计算校验：结合布料区域的封闭的规则几何区域和已知的最小面积，对所述图像语义分割的结果进行进一步的校正；通过裁剪过小的布料区域或者过小的非布料区域，并拟合出布料区域的多边形形状，提升布料区域的准确坐标位置；
g. 最终将布料区域的坐标数据通过接口协议传输给布料机，从而控制布料机的自动布料；
重复以上步骤a至g，实现图像语义分割的水泥布料区域检测方法控制布料机的自动布料；
所述图像语义分割的校正方法如下：
（1）利用高斯平滑方法，过滤小面积的布料区域，或者小面积的非布料区域；
（2）将布料区域拟合简化为多边形；
所述多边形拟合方法如下：
S01. 通过图像处理技术中的连通域查找，找到每个封闭布料区域的边缘像素点，并组成一条封闭曲线；
S02. 寻找封闭曲线中的候选角点
随机初始化曲线中的一点，并找到曲线中离该点最远的点，连接两点得到一条直线，同时曲线一分为二；找到两条曲线中离该直线最远的两个点，得到候选的两个角点；
S03. 将布料区域拟合简化为多边形
通过两个角点，将封闭曲线分为两段曲线线段，利用道格拉斯-普克算法对两条曲线进行系列点的近似表达，最终将所述系列点连接起来，得到布料区域的多边形拟合结果，其中包含多边形的边数和系列点的坐标。
2.如权利要求1所述的基于语义分割的水泥布料区域检测方法，其特征在于：所述图像畸变校正步骤利用机器视觉中的标定算法，对待合并的图像进行畸变校正。
3.如权利要求1所述的基于语义分割的水泥布料区域检测方法，其特征在于：所述图像合并方法采用方法一和/或方法二，如下：
方法一：通过相机拍摄图像的位置，得到每张图像在合并图像中的位置，并按照该位置将所有图像合并起来；
方法二：通过图像的边缘特征匹配合并图像。
4.如权利要求3所述的基于语义分割的水泥布料区域检测方法，其特征在于：所述边缘特征匹配合并图像方法步骤如下：
A. 特征点检测
采用sift特征检测方法对图像进行特征点检测，得到特征的向量表示；
B. 特征点匹配
根据所述A步骤中得到的特征点描述，对于相邻图像的边缘特征点，进行特征匹配计算，包括向量相似度的匹配方法，向量距离、余弦相似度；
C. 合并图像
根据所述B步骤中得到的特征点匹配结果，按照特征点对应的位置，合并图像；计算所述相邻图像一和图像二的相对像素位置，让该位置匹配上的特征点距离接近为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845886.XA CN113435412B (zh) | 2021-07-26 | 2021-07-26 | 一种基于语义分割的水泥布料区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845886.XA CN113435412B (zh) | 2021-07-26 | 2021-07-26 | 一种基于语义分割的水泥布料区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435412A CN113435412A (zh) | 2021-09-24 |
| CN113435412B true CN113435412B (zh) | 2022-09-20 |
Family
ID=77761799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845886.XA Active CN113435412B (zh) | 2021-07-26 | 2021-07-26 | 一种基于语义分割的水泥布料区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435412B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113899675B (zh) * | 2021-10-13 | 2022-05-27 | 淮阴工学院 | 一种基于机器视觉的混凝土抗渗自动检测方法、装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5857784A (en) * | 1997-01-28 | 1999-01-12 | Bayer Corp. Agfa Division | Image position error detection technique |
| JP6209909B2 (ja) * | 2013-09-06 | 2017-10-11 | 株式会社大林組 | コンクリート打設計画支援装置、コンクリート打設計画支援方法およびプログラム |
| CN103586968B (zh) * | 2013-10-30 | 2017-04-19 | 湖南三一快而居住宅工业有限公司 | 一种自动布料机及自动布料机控制方法 |
| US11636665B2 (en) * | 2018-01-15 | 2023-04-25 | Shenzhen Corerain Technologies Co., Ltd. | Streaming image semantic segmentation method, logical integrated circuit system and electronic device |
| CN108312321B (zh) * | 2018-04-25 | 2020-06-12 | 中民筑友科技投资有限公司 | 一种布料机自动布料方法、装置及自动布料系统 |
| CN110097584B (zh) * | 2019-03-18 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 结合目标检测和语义分割的图像配准方法 |
| CN110231036B (zh) * | 2019-07-19 | 2020-11-24 | 广东博智林机器人有限公司 | 一种基于十字激光和机器视觉的机器人定位装置及方法 |
| CN112435262A (zh) * | 2020-11-27 | 2021-03-02 | 广东电网有限责任公司肇庆供电局 | 基于语义分割网络和多视图几何的动态环境信息检测方法 |
| CN113096192B (zh) * | 2021-04-25 | 2024-05-07 | 西安四维图新信息技术有限公司 | 图像传感器内参标定方法、装置、设备及存储介质 |
-
2021
- 2021-07-26 CN CN202110845886.XA patent/CN113435412B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435412A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970566B2 (en) | Lane line detection method and apparatus | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN107993258B (zh) | 一种图像配准方法及装置 | |
| CN108297115B (zh) | 一种机器人的自主重定位方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN107239780A (zh) | 一种多特征融合的图像匹配方法 | |
| US9336595B2 (en) | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function | |
| CN104197899A (zh) | 移动机器人定位方法及系统 | |
| CN101556647A (zh) | 一种基于改进sift算法的移动机器人视觉定位方法 | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN109685827B (zh) | 一种基于dsp的目标检测与跟踪方法 | |
| CN111401449B (zh) | 一种基于机器视觉的图像匹配方法 | |
| CN111179315A (zh) | 一种视频目标区域跟踪方法和视频平面广告植入方法 | |
| CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
| CN113435412B (zh) | 一种基于语义分割的水泥布料区域检测方法 | |
| CN107895344B (zh) | 视频拼接装置及方法 | |
| CN111178170A (zh) | 一种手势识别方法和一种电子设备 | |
| US11941892B2 (en) | Method and device for providing data for creating a digital map | |
| CN114660579A (zh) | 一种全自动激光雷达与相机标定方法 | |
| CN103533332A (zh) | 一种2d视频转3d视频的图像处理方法 | |
| CN107356255B (zh) | 一种无人机导航方法及装置 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |