CN113177909B - 一种表面含砂浆的再生骨料多模态视觉检测方法和系统 - Google Patents

一种表面含砂浆的再生骨料多模态视觉检测方法和系统 Download PDF

Info

Publication number
CN113177909B
CN113177909B CN202110357964.1A CN202110357964A CN113177909B CN 113177909 B CN113177909 B CN 113177909B CN 202110357964 A CN202110357964 A CN 202110357964A CN 113177909 B CN113177909 B CN 113177909B
Authority
CN
China
Prior art keywords
recycled aggregate
image
mortar
aggregate
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110357964.1A
Other languages
English (en)
Other versions
CN113177909A (zh
Inventor
房怀英
谭国亿
杨建红
林文华
胡祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202110357964.1A priority Critical patent/CN113177909B/zh
Publication of CN113177909A publication Critical patent/CN113177909A/zh
Application granted granted Critical
Publication of CN113177909B publication Critical patent/CN113177909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/91—Use of waste materials as fillers for mortars or concrete

Abstract

本发明提供一种表面含砂浆的再生骨料多模态视觉检测方法，通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域；然后进行高度图像、彩色图像以及高光谱图像的采集；对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。

Description

一种表面含砂浆的再生骨料多模态视觉检测方法和系统
技术领域
本发明涉及再生骨料表面含砂浆检测领域，特别是指一种表面含砂浆的再生骨料多模态视觉检测系统。
背景技术
随着我国对基建的不断投入，快速增长的骨料用量导致有些地方的原生骨料严重短缺，另一方面，我国每年会产生大量的建筑垃圾，收纳用地紧张导致污染环境，而废弃的混凝土是建筑垃圾的主要成分。废弃混凝土表面强化破碎加工中再生骨料的表面难免会残留有砂浆，而砂浆的存在及含量的多少对再生骨料质量有严重影响，因此检测再生骨料表面砂浆分布、厚度、含量非常有意义。另外再生骨料加工质量的精确评价十分关键。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种表面含砂浆的再生骨料多模态视觉检测方法，能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。
本发明采用如下技术方案：
一种表面含砂浆的再生骨料多模态视觉检测方法，其特征在于，包括：
通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
采集再生骨料的高光谱图，得到高光谱图像；
对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。
具体地，所述再生骨料多维轮廓的棱角性提取具体包括：
多维轮廓的轮廓线包含表面纹理和棱角性特征：x(t)＝w(t)+e(t)+l(t)；
利用灰色动态滤波分离模型表示：
Figure BDA0003004281560000021
GMλw和GMλl分别为在λw和λl取样长度内对采样数据的灰色建模，GMλw-l为连续在λw和λl对应的取样长度内进行灰色建模，通过采集样本不断更新灰色建模的序列，提取属于低频成分的棱角性特征。
其中，式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分。
具体地，有效光谱特征的提取具体包括：
对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；
对光谱原始特征重新排布，优化非线性激活函数；
用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。
具体地，以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别，具体包括：
以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入；
将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。
本发明实施例另一方面提供一种表面含砂浆的再生骨料多模态视觉检测系统，包括：
再生骨料输送模块：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
高度图像采集模块：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
彩色图像采集模块：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
高光谱图像采集模块：采集再生骨料的高光谱图，得到高光谱图像；
图像处理模块：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
深度学习模块：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。
具体地，所述再生骨料输送模块，包括振动分散给料装置，编码器，传送带装置；所述振动分散给料装置用于给传送带提供稳定且分散的再生骨料；所述编码器装置用于读取当前传送带的速度；所述传送带装置将分散的再生骨料依次送到各个图像采集区。
具体地，所述高度图像采集模块，包括LED光源，双目线阵单色相机及线激光，所述LED光源是平行背光源，用于给图像采集区域提供最优的光照环境；所述双目线阵单色相机及线激光中左右两个线阵相机通过扫描线激光投射在再生骨料表面的激光处。
具体地，所述彩色图像采集模块，包括白色线光源和彩色线阵相机，所述白色线光源给彩色线阵相机扫描区域提供光照环境，所述彩色线阵相机对再生骨料表面的纹理信息进行拍摄采集。
具体地，所述高光谱图像采集模块，包括光谱光源和高光谱相机；所述的光谱光源给高光谱相机扫描区域提供光照环境，所述高光谱相机对再生骨料的光谱信息进行采集并得到对应的高光谱图。
具体地，所述图像处理模块，包括滤波子模块、轮廓提取子模块、特征提取；所述滤波子模块用高斯滤波对采集到的高度图像、骨料表面纹理图进行去噪处理；所述轮廓提取用于对二值化的去噪的高度图像进行轮廓提取，提取再生骨料的外轮廓，所述特征提取子模块包括提取再生骨料的投影轮廓、高度轮廓、表面纹理及光谱特征。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提供了一种表面含砂浆的再生骨料多模态视觉检测方法，通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；采集再生骨料的高光谱图，得到高光谱图像；对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。
附图说明
图1本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测方法的流程图；
图2本发明实施例提供的方法中特征融合部分的流程图；
图3本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的架构图；
图4本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的具体架构图；
图5本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的部件结构图；
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明提出一种表面含砂浆的再生骨料多模态视觉检测方法，能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。
如图1，本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测方法的流程图，具体包括：
S101：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
S102：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
S103：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
S104：采集再生骨料的高光谱图，得到高光谱图像；
S105：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
对提取到投影轮廓和高度轮廓进行多维特征匹配，进而构建出再生骨料的三维模型，从而可以提取再生骨料多维度轮廓的棱角性、粒度、针片状等形态参数。不同维度空间的轮廓线均包含表面纹理和棱角性特征，因此用灰色动态滤波的方法分离颗粒骨料的棱角性和表面纹理。根据骨料颗粒形貌表示公式：
x(t)＝w(t)+e(t)+l(t)
式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分。则灰色动态滤波细观形态参数分离模型表示为公式
Figure BDA0003004281560000061
式中：GMλw和GMλl分别为在λw和λl取样长度内对采样数据的灰色建模，GMλw-l为连续在λw和λl对应的取样长度内进行灰色建模。通过采集样本不断地更新灰色建模的序列，从而使所建立的灰色滤波模型具有新陈代谢的功能，累加生成可使原始测量数据中的高频成分得到的平滑和抑制，提取属于低频成分的棱角性特征。
具体地，有效光谱特征的提取具体包括：
对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；
对光谱原始特征重新排布，优化非线性激活函数；
用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。
S106：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。
如图2，为方法中特征融合部分的流程图，具体地，以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别，具体包括：
对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取，
再以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入；
将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。
如图3-4为本发明实施例另一方面提供的表面含砂浆的再生骨料多模态视觉检测系统的架构图，图5为本发明实施例提供的一种表面含砂浆的再生骨料多模态视觉检测系统的部件结构图，包括：
再生骨料输送模块(10)：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
再生骨料输送模块(10)，包括振动分散给料装置(11)，编码器(12)，传送带装置(13)；所述振动分散给料装置(11)用于给传送带提供稳定且分散的再生骨料；所述编码器装置(12)用于读取当前传送带的速度；所述传送带装置(13)将通过振动分散装置分散了的再生骨料依次送到各个图像采集区。
高度图像采集模块(20)：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
所述高度图像采集模块(20)，包括LED光源(21)，双目线阵单色相机及线激光(22)，所述LED光源(21)是平行背光源，用于给图像采集区域提供最优的光照环境。所述双目线阵单色相机及线激光(22)中左右两个线阵相机通过扫描线激光投射在再生骨料表面的激光处，同时传送带带动再生骨料移动，这样就可以将整个再生骨料的轮廓都扫描，再通过计算出立体视觉系统之间的对应关系，从而重构出再生骨料的高度轮廓图。
彩色图像采集模块(30)：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
彩色图像采集模块(30)，包括白色线光源(31)，彩色线阵相机(32)。所述白色线光源给彩色线阵相机扫描区域提供最佳的光照环境，所述彩色线阵相机对再生骨料表面的纹理信息进行拍摄采集。
高光谱图像采集模块(40)：采集再生骨料的高光谱图，得到高光谱图像；
高光谱图像采集模块(40)，包括光谱光源(41)，高光谱相机(42)。所述的光谱光源(41)给高光谱相机扫描区域提供最佳的光照环境，所述高光谱相机(42)对再生骨料的光谱信息进行采集并得到对应的高光谱图
图像处理模块(50)：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
所述图像处理模块(50)，包括滤波子模块(51)、轮廓提取子模块(52)、特征提取子模块(53)。所述滤波子模块(51)用高斯滤波对采集到的高度图像、骨料表面纹理图进行去噪处理。所述轮廓提取子模块(52)用于对二值化的去噪的高度图像进行轮廓提取。所述轮廓提取，仅提取再生骨料的外轮廓。所述特征提取子模块(53)包括提取再生骨料的投影轮廓、高度轮廓、表面纹理及光谱特征
深度学习模块(60)：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别。
所述的深度学习模块(60)，包括参数输入子模块(61)、多特征融合子模块(62)。所述参数输入子模块(61)包括再生骨料高度轮廓、表明纹理特征以及高光谱伪彩色特征。所述多特征融合子模块(62)是将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。
本发明提供了一种表面含砂浆的再生骨料多模态视觉检测方法，通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；采集再生骨料的高光谱图，得到高光谱图像；对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法能够实现对再生骨料表面砂浆分布、厚度、含量的检测及其三维形态的四维特征提取，通过多特征信息融合实现再生骨料表面砂浆的识别；本发明方法为再生骨料破碎加工及质量检测和评价奠定了理论基础，解决建废处理和原生骨料短缺问题。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种表面含砂浆的再生骨料多模态视觉检测方法，其特征在于，包括：
通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
采集再生骨料的高光谱图，得到高光谱图像；
对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；
所述再生骨料多维轮廓的棱角性提取具体包括：
多维轮廓的轮廓线包含表面纹理和棱角性特征：x(t)＝w(t)+e(t)+l(t)；
利用灰色动态滤波分离模型表示：
Figure FDA0004138728390000011
GMλw和GMλl分别为在λw和λl取样长度内对采样数据的灰色建模，GMλw-l为连续在λw和λl对应的取样长度内进行灰色建模，通过采集样本不断更新灰色建模的序列，提取属于低频成分的棱角性特征；
其中，式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分；
有效光谱特征的提取具体包括：
对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；
对光谱原始特征重新排布，优化非线性激活函数；
用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。
2.根据权利要求1所述的一种表面含砂浆的再生骨料多模态视觉检测方法，其特征在于，以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别，具体包括：
以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入；
将输入参数、特征向量以及注意力融合模型通过多特征信息融合方式实现再生骨料表面黏结砂浆的识别。
3.一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，包括：
再生骨料输送模块：通过控制器控制传送带的速度将放在传送带上的再生骨料依次输送到各个图像采集模块的测量区域，编码器读取传送带当前速度；
高度图像采集模块：通过双目单色线阵相机和线激光实现对再生骨料二维像素和高度轮廓的精密测量，得到高度图像；
彩色图像采集模块：通过彩色线阵相机对再生骨料表面图像进行采集，实现对再生骨料表面纹理的精确测量，得到彩色图像；
高光谱图像采集模块：采集再生骨料的高光谱图，得到高光谱图像；
图像处理模块：对采集到的高度图像、彩色图像以及高光谱图像进行预处理后，提取再生骨料的投影轮廓和高度轮廓，通过骨料颗粒的多维特征匹配手段，实现对再生骨料多维轮廓的棱角性、表面纹理特征以及有效光谱特征的提取；
深度学习模块：以再生骨料高度轮廓、表面纹理特征以及有效光谱特征为输入，通过多特征信息融合实现再生骨料表面砂浆的识别；
所述再生骨料多维轮廓的棱角性提取具体包括：
多维轮廓的轮廓线包含表面纹理和棱角性特征：x(t)＝w(t)+e(t)+l(t)；
利用灰色动态滤波分离模型表示：
Figure FDA0004138728390000021
GMλw和GMλl分别为在λw和λl取样长度内对采样数据的灰色建模，GMλw-l为连续在λw和λl对应的取样长度内进行灰色建模，通过采集样本不断更新灰色建模的序列，提取属于低频成分的棱角性特征；
其中，式中：w(t)为表面纹理，属于高频成分；e(t)为介于表面纹理和棱角性中间的频率成分；l(t)为棱角性，属于低频成分；
有效光谱特征的提取具体包括：
对于提取到的光谱特征，采用主成分和小波分析相结合的方法对光谱特征进行数据预处理；
对光谱原始特征重新排布，优化非线性激活函数；
用基尼指数最小划分特征和划分值计算方法，实现单个像素点光谱特征选择和空间压缩，得到有效光谱数据。
4.根据权利要求3所述的一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，所述再生骨料输送模块，包括振动分散给料装置，编码器，传送带装置；所述振动分散给料装置用于给传送带提供稳定且分散的再生骨料；所述编码器用于读取当前传送带的速度；所述传送带装置将分散的再生骨料依次送到各个图像采集区。
5.根据权利要求3所述的一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，所述高度图像采集模块，包括LED光源，双目线阵单色相机及线激光，所述LED光源是平行背光源，用于给图像采集区域提供最优的光照环境；所述双目线阵单色相机及线激光中左右两个线阵相机通过扫描线激光投射在再生骨料表面的激光处。
6.根据权利要求3所述的一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，所述彩色图像采集模块，包括白色线光源和彩色线阵相机，所述白色线光源给彩色线阵相机扫描区域提供光照环境，所述彩色线阵相机对再生骨料表面的纹理信息进行拍摄采集。
7.根据权利要求3所述的一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，所述高光谱图像采集模块，包括光谱光源和高光谱相机；所述的光谱光源给高光谱相机扫描区域提供光照环境，所述高光谱相机对再生骨料的光谱信息进行采集并得到对应的高光谱图。
8.根据权利要求3所述的一种表面含砂浆的再生骨料多模态视觉检测系统，其特征在于，所述图像处理模块，包括滤波子模块、轮廓提取子模块、特征提取子模块；所述滤波子模块用高斯滤波对采集到的高度图像、骨料表面纹理图进行去噪处理；所述轮廓提取用于对二值化的去噪的高度图像进行轮廓提取，提取再生骨料的外轮廓，所述特征提取子模块包括提取再生骨料的投影轮廓、高度轮廓、表面纹理及光谱特征。
CN202110357964.1A 2021-04-01 2021-04-01 一种表面含砂浆的再生骨料多模态视觉检测方法和系统 Active CN113177909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110357964.1A CN113177909B (zh) 2021-04-01 2021-04-01 一种表面含砂浆的再生骨料多模态视觉检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110357964.1A CN113177909B (zh) 2021-04-01 2021-04-01 一种表面含砂浆的再生骨料多模态视觉检测方法和系统

Publications (2)

Publication Number Publication Date
CN113177909A CN113177909A (zh) 2021-07-27
CN113177909B true CN113177909B (zh) 2023-06-20

Family

ID=76922741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357964.1A Active CN113177909B (zh) 2021-04-01 2021-04-01 一种表面含砂浆的再生骨料多模态视觉检测方法和系统

Country Status (1)

Country Link
CN (1) CN113177909B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655002B (zh) * 2021-08-30 2023-11-24 华侨大学 基于高光谱技术的表面含砂浆的再生骨料质量检测系统
CN114757948B (zh) * 2022-06-14 2022-09-06 福建南方路面机械股份有限公司 一种基于深度学习的再生骨料砂浆含量检测方法及装置
CN114994045A (zh) * 2022-08-08 2022-09-02 西南交通大学 建筑垃圾再生砖混骨料中红砖含量测定装置
CN116689133B (zh) * 2023-08-04 2023-12-15 福建南方路面机械股份有限公司 基于深度学习的再生骨料质量控制方法、装置及可读介质
CN117218118B (zh) * 2023-11-07 2024-03-12 福建南方路面机械股份有限公司 基于图像序列的坍落度监测方法、装置及可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040184A (zh) * 2004-09-07 2007-09-19 彼得罗模型公司 用于尺寸、外形和棱角性分析以及用于矿石和岩石颗粒的成分分析的设备和方法
CN106969708A (zh) * 2017-04-20 2017-07-21 华侨大学 一种骨料形态质量的检测装置和方法
CN107576619A (zh) * 2017-09-04 2018-01-12 华北理工大学 检测混凝土腐蚀产物的高光谱测试与分析方法
WO2018103693A1 (zh) * 2016-12-07 2018-06-14 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
CN108747825A (zh) * 2018-06-19 2018-11-06 湖南大学 一种基于视觉检测激光修整成型砂轮装置及其修整方法
CN111044419A (zh) * 2019-12-30 2020-04-21 华侨大学 一种基于二维动态图像法的机制砂级配测量系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101040184A (zh) * 2004-09-07 2007-09-19 彼得罗模型公司 用于尺寸、外形和棱角性分析以及用于矿石和岩石颗粒的成分分析的设备和方法
WO2018103693A1 (zh) * 2016-12-07 2018-06-14 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
CN106969708A (zh) * 2017-04-20 2017-07-21 华侨大学 一种骨料形态质量的检测装置和方法
CN107576619A (zh) * 2017-09-04 2018-01-12 华北理工大学 检测混凝土腐蚀产物的高光谱测试与分析方法
CN108747825A (zh) * 2018-06-19 2018-11-06 湖南大学 一种基于视觉检测激光修整成型砂轮装置及其修整方法
CN111044419A (zh) * 2019-12-30 2020-04-21 华侨大学 一种基于二维动态图像法的机制砂级配测量系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于多尺度特征分析的矿石粒度分布方法研究;展彦彤;《中国博士学位论文全文数据库 (工程科技Ⅰ辑)》;全文 *
基于计算机视觉的彩色图像二维纹理识别方法;吴俊;;黑龙江工业学院学报(综合版)(01);全文 *
采用数字图像处理的机制砂粒度级配检测方法;蔡园园 等;《华侨大学学报(自然科学版)》;全文 *

Also Published As

Publication number Publication date
CN113177909A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN113177909B (zh) 一种表面含砂浆的再生骨料多模态视觉检测方法和系统
Ouyang et al. Pavement cracking measurements using 3D laser-scan images
CN107478657A (zh) 基于机器视觉的不锈钢表面缺陷检测方法
CN109842756A (zh) 一种镜头畸变矫正和特征提取的方法及系统
CN107014819A (zh) 一种太阳能电池板表面缺陷检测系统和方法
CN110874861B (zh) 一种三维数字化图像采集方法及设备
CN107358627B (zh) 基于Kinect相机的果实尺寸检测方法
CN105388162A (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN101063659A (zh) 纸张纸病检测系统
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN102901444A (zh) 一种基于mp小波滤波的零件尺寸检测方法及其检测系统
CN109182081A (zh) 一种基于图像处理模型的单细胞分选系统
CN205721986U (zh) 一种线缆表观缺陷检测和字符识别装置
CN1431523A (zh) 遥感图像双线性插值小波变换融合的优化方法
CN113655002B (zh) 基于高光谱技术的表面含砂浆的再生骨料质量检测系统
CN110503051B (zh) 一种基于图像识别技术的珍贵木材识别系统及方法
Medina et al. Automated visual inspection of road surface cracks
CN116596982A (zh) 一种基于短波高光谱相机的垃圾热值预测系统及方法
CN115791801A (zh) 基于机器视觉的3d玻璃在线监测平台
CN111539951A (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
Zhao et al. A surface defect detection system for railway track based on machine vision
CN111256596B (zh) 基于cv技术的尺寸测量方法、装置、计算机设备及介质
CN114187269A (zh) 小零器件表面缺陷边缘快速检测方法
CN113781432A (zh) 基于深度学习的激光扫描自动铺放在线检测方法及装置
CN116512340B (zh) 一种用于数控剪裁的智能控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant