CN115880296A - 基于机器视觉的预制构件质量检测方法及装置 - Google Patents
基于机器视觉的预制构件质量检测方法及装置 Download PDFInfo
- Publication number
- CN115880296A CN115880296A CN202310173927.4A CN202310173927A CN115880296A CN 115880296 A CN115880296 A CN 115880296A CN 202310173927 A CN202310173927 A CN 202310173927A CN 115880296 A CN115880296 A CN 115880296A
- Authority
- CN
- China
- Prior art keywords
- prefabricated part
- prefabricated
- data
- quality
- production process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于机器视觉的预制构件质量检测方法及装置,通过在视觉检测场景配置视觉检测单元和基准指示标志物,视觉检测单元首先获取预制构件的标准数据,然后在视觉检测场景中进行预制构件的生产,生产过程中视觉检测单元得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控;预制构件生产完毕后,视觉检测单元得到预制构件的成品数据并与预制构件的标准数据进行对比,根据误差值判断预制构件的成品质量是否合格。本发明不仅能够监控预制构件施工过程中的质量,还能够检测预制构件成品质量,提升预制构件的出厂合格率。
Description
技术领域
本发明涉及装配式建筑预制构件生产领域,特别涉及一种基于机器视觉的预制构件质量检测方法及装置。
背景技术
装配式建筑是以工厂内生产的预制构件为基础,经现场装配方式设计建造的建筑物。现在广泛采用的方式为,预制构件在工厂生产后运至施工现场,按图纸搭建拼接再对各连接节点现浇混凝土进行固定加固,最后完成主体施工。该种方式的优点在于,加快了现场施工速度,有利于冬季施工,生产效率高,减少了物料损耗,减轻对施工现场的环境污染。
相比传统建筑施工方式,装配式建筑需要大量预制构件,因而预制构件的施工过程监控与成品质量对最后装配式建筑的整体质量有决定性的影响。预制构件的检测通常依靠人工完成,检测质量参差不齐,如果有不合格的预制构件流出厂外,会对后期的建筑施工产生很大影响。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于机器视觉的预制构件质量检测方法及装置,能够检测预制构件成品质量,提升预制构件的出厂合格率。
根据本发明第一方面实施例的基于机器视觉的预制构件质量检测方法,包括以下步骤:
构建视觉检测场景,所述视觉检测场景中具有视觉检测单元和基准指示标志物;
根据预制构件的特征安装基准指示标志物,用于指示与预制构件的相对位置关系;
将预制构件标准件放入视觉检测场景,视觉检测单元采集并分析预制构件标准件的图像数据,得到预制构件的标准数据;
在视觉检测场景中进行预制构件的生产,视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正;
预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。
根据本发明第一方面实施例的基于机器视觉的预制构件质量检测方法,至少具有如下有益效果:
本发明实施方式通过在视觉检测场景配置视觉检测单元和基准指示标志物,视觉检测单元通过基准指示标志物可以计算出视觉检测场景中预制构件的尺寸,视觉检测单元首先获取预制构件的标准数据,然后在视觉检测场景中进行预制构件的生产,生产过程中视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正;预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。本发明不仅能够监控预制构件施工过程中的质量,当发现问题时可以及时进行修正,还能够检测预制构件成品质量,提升预制构件的出厂合格率。
根据本发明的一些实施例,所述根据预制构件的特征安装基准指示标志物步骤中,所述特征包括预制构件实测数据及预制构件类型。
根据本发明的一些实施例,所述预制构件实测数据包括预制构件的形状、尺寸和关键检测要素。
根据本发明的一些实施例,所述视觉检测单元包括图像采集模块和图像处理与检测模块,所述图像采集模块包括多个CCD相机、多个光源和位置角度调整装置;
所述构建视觉检测场景,具体步骤为:
确定待检测的场地,在待检测的场地内安装位置角度调整装置;
在位置角度调整装置上安装多个CCD相机和多个光源,通过位置角度调整装置调节CCD相机和光源与预制构件的相对位置和相对角度;
将CCD相机与图像处理与检测模块相连,图像处理与检测模块通过CCD相机获取待检测的场地内预制构件的图像数据。
根据本发明的一些实施例,所述视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控的具体步骤为:
通过多个CCD相机拍摄预制构件生产过程中的图像数据,每个CCD相机分别拍摄预制构件的一部分区域,得到多张预制构件部分区域的图像;
将多张预制构件部分区域的图像进行预处理;
通过特征匹配算法将预处理后的多张预制构件部分区域的图像进行拼接,得到预制构件的全景图,并从预制构件的全景图中提取实时数据的特征点,将提取的实时数据的特征点与预制构件的标准数据中的特征点进行配准,识别当前预制构件类型、生产节点和材料数量是否符合工法要求;
通过边缘检测算法从预制构件的全景图中提取形状特征,计算当前工序状态,并与预制构件的标准数据对应部分进行比较,获得当前工序的执行情况;
根据预制构件生产过程是否符合工法要求以及当前工序的执行情况进行质量监控。
根据本发明的一些实施例,所述特征匹配算法采用SIFT特征匹配算法,所述边缘检测算法采用Hough变换。
根据本发明的一些实施例,所述视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值的具体步骤为:
通过多个CCD相机拍摄预制构件生产过程中的图像数据,每个CCD相机分别拍摄预制构件的一部分区域,得到多张预制构件部分区域的图像;
将多张预制构件部分区域的图像进行预处理;
通过特征匹配算法将预处理后的多张预制构件部分区域的图像进行拼接,得到预制构件的全景图;
通过边缘检测算法从预制构件的全景图中提取形状特征,通过相机内参矩阵及基准指示标志物位置矩阵计算预制构件成品的尺寸和形状特征,与预制构件的标准数据进行比较,计算出误差值。
根据本发明第二方面实施例的基于机器视觉的预制构件质量检测装置,包括:基准指示标志物,用于指示与预制构件的相对位置关系;视觉检测单元,所述视觉检测单元包括图像采集模块和图像处理与检测模块,所述图像采集模块用于获取预制构件的图像数据;所述图像处理与检测模块用于分析预制构件的图像数据然后判断预制构件的质量;通讯模块,所述通讯模块用于实现各模块间的数据传输;人机交互模块,用于实现人机交互。
根据本发明第二方面实施例的基于机器视觉的预制构件质量检测装置,至少具有如下有益效果:
本发明实施方式通过在视觉检测场景配置视觉检测单元和基准指示标志物,视觉检测单元通过基准指示标志物可以计算出视觉检测场景中预制构件的尺寸,视觉检测单元首先获取预制构件的标准数据,然后在视觉检测场景中进行预制构件的生产,生产过程中视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正;预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。本发明不仅能够监控预制构件施工过程中的质量,当发现问题时可以及时进行修正,还能够检测预制构件成品质量,提升预制构件的出厂合格率。
根据本发明的一些实施例,所述图像采集模块包括多个CCD相机、多个光源和位置角度调整装置,所述多个CCD相机、多个光源皆安装在位置角度调整装置以用于进行位置调整。
根据本发明的一些实施例,所述位置角度调整装置包括平行六面体支架、角度调节装置、设置在平行六面体支架上的滑轨、与滑轨滑动连接的多个滑块,多个所述CCD相机、多个所述光源分别通过角度调节装置安装在对应滑块上。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明,其中:
图1为本发明实施例中基于机器视觉的预制构件质量检测方法的流程图;
图2为本发明实施例中基于机器视觉的预制构件质量检测装置的原理框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,多个指的是两个以上。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1所示,一种基于机器视觉的预制构件质量检测方法,包括以下步骤:
S100、构建视觉检测场景,视觉检测场景中具有视觉检测单元和基准指示标志物;
具体的,视觉检测场景为待检测预制构件的施工区域。基准指示标志物采用具有很高的灰度及形状辨识度且其中任一均能独立指示三维空间一点的标志物,将其依照预制构件在施工区域及成品完成区域需要采集的特征进行相应安放,一般安放于预制构件角点等处,用以指示预制构件与该标志物的相对位置关系,进而使视觉检测单元可以计算出预制构件的尺寸。
视觉检测单元包括图像采集模块和图像处理与检测模块,图像采集模块包括多个CCD相机、多个光源和位置角度调整装置,采用多个CCD相机的原因是考虑到预制构件尺寸往往在米级规格,而相机布置空间有限,且其视野不足,因此每一台CCD相机负责采集预制构件一部分区域的图像数据,最后进行整合处理;光源采用正光源与侧光源结合的布置方式,以获得需要的光照条件,位置角度调整装置采用型材搭建整体平行六面体框架,其上有相应的滑轨以便于相机及光源进行位置调整,滑轨内埋有等距的磁贴以指示对应位置,同时该装置还配有可遥控移动及调整角度的支座,支座上的轮嵌于滑轨内,其角度调整用两台舵机实现,控制两个旋转轴,使支座上的相机或光源可以在一个半球内旋转以调整角度。
具体的,步骤S100的具体步骤为
S101、首先在视觉检测场景中安装图像采集模块,使得整个视觉检测场景均在图像采集模块的采集范围内,在搭建好位置角度调整装置后,将电源线缆及通讯线缆安防于位置角度调整装置内部,之后在位置角度调整装置的滑轨上安装好支座,并在支座上安装光源及CCD相机,最后将线缆连接检测光源及相机工作情况,并根据预制构件的位置初步调整支座的位置及角度;
S102、将各个光源的控制信号及CCD相机的图像信号和控制信号接入集成的交换机中汇总后进行下一步传输。
S103、安装调试图像处理与检测模块,图像处理与检测模块内置尺寸检测及施工质量监控视觉处理软件,为图像处理提供充足算力,针对不同预制构件提供多样化的检测算法与生产指导方案,同时将生产过程中产生的大量数据进行整合统计,为后续的优化处理提供数据支撑;
S104、将工控机与服务器安装在厂房的控制中心,保证工作环境的洁净和电磁环境无过量干扰,对工控机与服务器进行配置,同时将工控机与交换机连接,将图像采集模块的相关信号接入。
S200、根据预制构件的特征安装基准指示标志物,用于指示与预制构件与的相对位置关系,使得在图像采集过程中各个基准指示标志物可作为基准指示预制构件的角点和边缘与其的相对位置。
需要说明的是,特征包括预制构件实测数据及预制构件类型,预制构件实测数据指的是实际人工测量所得的预制构件的形状、尺寸和关键检测要素,关键检测要素包括钢筋数量、卡接件数量等。将基准指示标志物依照预制构件在施工区域及成品完成区域需要采集的特征进行相应安放,通常安放于预制构件角点等处,基准指示标志物所覆盖的检测范围需尽量小,且能在水平和垂直方向上完全覆盖待测的预制构件,并需要在关键检测区域沿预制构件特征形状增加布设基准指示标志物。基准指示标志物根据需要已经提前经过定位与测量,测量数据记录在图像处理与检测模块中。
S300、将预制构件标准件放入视觉检测场景,视觉检测单元采集并分析预制构件标准件的图像数据,得到预制构件的标准数据;
需要说明的是,在对实际生产的预制构件进行质量检测前,先要获取预制构件的标准数据,否则无从判定质量的优劣,因此先要获取一个预制构件标准件,然后将预制构件标准件放入视觉检测场景中,通过图像采集模块采集预制构件标准件的图像数据,然后图像处理与检测模块根据预制构件标准件的图像数据获得预制构件的标准数据,例如尺寸和形状特征等。
步骤S300的具体步骤为:
S301、将预制构件标准件放入视觉检测场景;
S302、对光源及CCD相机位置进行调整,使其可以获取到整个预制构件标准件的清晰全景图像;
S303、对全部CCD相机进行标定,调整光源照度,并收集一系列图像信息进行处理,采集预制构件标准件尺寸信息,并与预制构件的实际值对比,选取最优的一组光源照度作为预制构件的标准数据。
S400、在视觉检测场景中进行预制构件的生产,视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正。
需要说明的是,在生产过程中视觉检测单元采集并分析预制构件生产过程中的图像数据,指的是通过CCD相机及光源实时获取模具搭建、钢筋绑扎、水泥浇筑等施工环节的图像数据,然后图像处理与检测模块通过尺寸检测及施工质量监控视觉处理软件对上述图像数据进行分析,从而对预制构件生产的各个环节进行质量监控。
具体的,步骤S400的详细步骤为:
S401、通过多个CCD相机拍摄预制构件生产过程中的图像数据,每个CCD相机分别拍摄预制构件的一部分区域,得到多张预制构件部分区域的图像;
S402、将多张预制构件部分区域的图像进行预处理;
需要说明的是,预处理步骤包括将采集到的图像进行灰度化、降噪等;
S403、通过特征匹配算法将预处理后的多张预制构件部分区域的图像进行拼接,得到预制构件的全景图,并从预制构件的全景图中提取实时数据的特征点,将提取的实时数据的特征点与预制构件的标准数据中的特征点进行配准,识别当前预制构件类型、生产节点和材料数量是否符合工法要求;
需要说明的是,本发明实施例中特征匹配算法采用SIFT特征匹配算法,通过SIFT特征匹配算法进行图像拼接,生成预制构件的全景图并提取特征点,通过SIFT特征匹配算法提取特征点的具体步骤为:
S403a、DoG尺度空间的极值检测。首先构造DoG尺度空间,在SIFT中使用不同参数的高斯模糊来表示不同的尺度空间。而构造尺度空间是为了检测在不同尺度下都存在的特征点,所以在DoG的尺度空间下检测极值点。
S403b、删除不稳定的极值点。主要删除低对比度的极值点以及不稳定的边缘响应点这两类。
S403c、确定特征点的主方向。以特征点的为中心、以3×1.5σ为半径的领域内计算各个像素点的梯度的幅角和幅值,然后使用直方图对梯度的幅角进行统计。直方图的横轴是梯度的方向,纵轴为梯度方向对应梯度幅值的累加值,直方图中最高峰所对应的方向即为特征点的方向。
S403d、生成特征点的描述子。首先将坐标轴旋转为特征点的方向,以特征点为中心的16×16的窗口的像素的梯度幅值和方向,将窗口内的像素分成16块,每块是其像素内8个方向的直方图统计,共可形成128维的特征向量。
综上,我们就获得了不同尺度下的相关特征点。
需要说明的是,步骤S403中的特征匹配算法除了SIFT特征匹配算法外还可以采用ORB特征匹配算法,SIFT特征匹配算法是对图像进行全局的特征点检测耗时较长,造成算法的运行速度慢,难于应用到目标的实时跟踪。ORB特征匹配算法的运行速度较快,但是因为其描述子不具有尺度不变性,所以匹配效果不理想。本发明对于运行速度要求较宽裕,而对整体性特征点检测要求高,且采集的图像尺度通常会有改变,因此采用SIFT特征匹配算法更为合适,能达到更好的效果。
S404、通过边缘检测算法从预制构件的全景图中提取形状特征,计算当前工序状态,并与预制构件的标准数据对应部分进行比较,获得当前工序的执行情况;
具体的,通过SIFT特征匹配算法获得预制构件的全景图后,先进行腐蚀和膨胀处理,再进行图像分割,然后通过Canny算子提取特征,最后通过Hough变换提取形状特征。
需要说明的是,腐蚀和膨胀处理步骤中:腐蚀的作用是消除物体边界点,使目标缩小,可以消除小于结构元素的噪声点;膨胀的作用是将与物体接触的所有背景点合并到物体中,使目标增大,可添补目标中的空洞。
腐蚀和膨胀处理的详细步骤如下:
将图像二值化后,用一个结构元素扫描图像中的每一个像素,看结构元素覆盖下的原图的像素(二值图像只有0和1)的最大值是多少,在膨胀操作中,若最大值是1,则该点像素为1;若最大值是0,则该点像素是0。而在腐蚀操作中相反。
图像分割步骤是将要检测的特征区域从整体图像中分割出来进行下一步处理。本发明实施例中采用基于形态学处理的二值图像与原图像做乘积筛选出包含目标特征的图像区域。
Canny算子提取特征主要用于特定边缘的检测,提取边缘点,为下一步处理做准备。
Canny算子提取特征的具体步骤如下:
首先对输入图像进行高斯平滑,降低错误率。其次,计算梯度幅度和方向来估计每一点处的边缘强度与方向。再次,根据梯度方向,对梯度幅值进行非极大值抑制。本质上是对Sobel、Prewitt等算子结果的进一步细化。最后,用双阈值处理和连接边缘。
S405、根据预制构件生产过程是否符合工法要求以及当前工序的执行情况进行质量监控。
需要说明的是,当发现当前工序存在不规范或质量不合格后,尺寸检测及施工质量监控视觉处理软件可以针对性的提供生产指导方案,指导生产现场完成整改,实现生产现场实时访问系统后台处理结果,并根据反馈实时调整工法,修正误差。
需要说明的是,提取形状特征后,尺寸检测及施工质量监控视觉处理软件通过相机内参矩阵及预先设定的基准指示标志物位置矩阵计算各施工环节辅助装具位置及尺寸,钢筋位置、数量及尺寸等,并与数据库内预制构件的标准数据进行比较,输出该工序的执行情况,及错误信息和修正方法。
通过相机内参矩阵及预先设定的基准指示标志物位置矩阵计算预制构件的尺寸的具体步骤如下:
首先进行相机标定工作,即确定像素坐标和世界坐标之间的转换关系:
上式中:
Z——投影矩阵;
Z 1——相机内参矩阵;
Z 2——外部参数矩阵;
P W——测量点在世界系的坐标
式(1)描述了由世界坐标系向像素坐标系转化的过程变化。在实际计算中,根据焦距这些已知的内参系数,可通过式(1)将外部参数求得。
然后根据标志物位置坐标,可经过简单初等运算得到两点间的像素间隔尺寸,而标志物位置间尺寸是已知条件。所以便易得标定系数,也可称像素当量N。
上式中:
D——标志物间的实际尺寸;
d——像素尺寸。
最后可求得单位尺寸对应的像素个数,通过像素个数统计求解的到待测尺寸。
S500、预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。
需要说明的是,在预制构件生产完毕后,尺寸检测及施工质量监控视觉处理软件通过图像采集装置再次采集预制构件全景图像数据并提取形状特征,相关方法步骤与步骤S400中的相同,然后通过相机内参矩阵及预先设定的标志物位置矩阵计算预制构件成品的尺寸和形状特征,与数据库内的标准数据进行比较,计算出误差值并通过施工过程中采集的图像信息分析误差来源,最后查看误差是否在允许范围内,输出比较结果,实现对预制构件成品的质量把控。
参考图2所示,本发明还涉及一种基于机器视觉的预制构件质量检测装置,包括:基准指示标志物、视觉检测单元、通讯模块和人机交互模块。
其中,基准指示标志物包括若干具有很高的灰度及形状辨识度且其中任一均能独立指示三维空间一点的标志物,将其依照预制构件在施工区域及成品完成区域需要采集的特征进行相应安放,一般安放于预制构件角点等处,用以指示预制构件与该标志物的相对位置关系,进而使得视觉检测单元可以计算出预制构件的尺寸。
视觉检测单元,视觉检测单元包括图像采集模块和图像处理与检测模块,图像采集模块用于获取预制构件的图像数据;图像处理与检测模块用于分析预制构件的图像数据然后判断预制构件的质量。
具体的,本发明实施例中图像采集模块包括多个CCD相机、多个光源和位置角度调整装置,多个CCD相机、多个光源皆安装在位置角度调整装置以用于进行位置调整。采用多个CCD相机的原因是考虑到预制构件尺寸往往在米级规格,而相机布置空间有限,且其视野不足,因此每一台CCD相机负责采集预制构件一部分区域的图像数据,最后进行整合处理;光源采用正光源与侧光源结合的布置方式,以获得需要的光照条件,位置角度调整装置采用型材搭建整体平行六面体框架,其上有相应的滑轨以便于相机及光源进行位置调整,滑轨内埋有等距的磁贴以指示对应位置,同时该装置还配有可遥控移动及调整角度的支座,支座上的轮嵌于滑轨内,其角度调整用两台舵机实现,控制两个旋转轴,使支座上的相机或光源可以在一个半球内旋转以调整角度。位置角度调整装置除了采用平行六面体框架外,还可以采用圆形框架,但平行六面体框架结构简单,相比于圆形框架扩展性更好,利于根据被测预制构件的大小形状进行结构上的扩展,同时对于其上的滑动支座的移动,平行六面体框架上为平动,圆形框架为转动,前者的工艺性要求更低,因此本发明实施例中采用平行六面体框架。
图像处理与检测模块包括工控机、服务器及配套的尺寸检测及施工质量监控视觉处理软件,为图像处理提供充足算力,针对不同预制构件提供多样化的检测算法与生产指导方案,同时将生产过程中产生的大量数据进行整合统计,为后续的优化处理提供数据支撑。尺寸检测及施工质量监控视觉处理软件的主要工作流程为将采集到的图像进行灰度化、降噪等预处理步骤后,用SIFT特征匹配算法进行图像拼接,生成预制构件的全景图,同时将提取到的特征点与数据库中标准预制构件的特征点进行配准,识别预制构件类型,及对应的生产节点,判别实际的材料数量是否符合工法要求,之后通过Hough变换提取全景图中的形状特征,根据标志物位置及相机的内参矩阵求解需要的目标尺寸,与数据库内的标准尺寸进行对照,得出误差值,并结合工法给出相应的调整方案。
尺寸检测及施工质量监控视觉处理软件可以根据不同构件及工法制定不同的图像采集方案,自动调整相机及光源的位置和角度,提高构件特定特征的测量精度。
自动调整相机及光源的位置和角度的具体实现方式如下:
1、在首次录入某工件时一并录入调整好的相机及光源位置和角度,以工件的尺度不变特征点簇建立空间坐标系,解算相机和光源的位置及其相对原点的矢量方向。
2、再次检测该工件时,先使相机在大范围内移动采集图像初步检测工件类型,之后按照预存的位置和角度调整光源和相机实现自动调整。
通讯模块包括各型号通讯接口、数据传输汇总的交换机、工业级WIFI,以保证图像传输的准确性、快速性、完整性,同时工业级WIFI为整套系统与移动式设备交互提供了接口。通讯模块实现各模块间的数据传输,例如图像采集模块和图像处理与检测模块,图像处理与检测模块和人机交互模块,本实施例中通讯模块的接口采用传输速度快、传输距离较远、数据传输量大的通用型通讯接口,如Gige千兆以太网接口、CoaXPress接口等。
人机交互模块包括工业级移动式手持平板电脑及移动端的尺寸检测及施工质量监控视觉处理软件,实现生产现场实时访问系统后台处理结果,并根据反馈实时调整工法,修正误差。
本发明实施方式通过在视觉检测场景配置视觉检测单元和基准指示标志物,视觉检测单元通过基准指示标志物可以计算出视觉检测场景中预制构件的尺寸,视觉检测单元首先获取预制构件的标准数据,然后在视觉检测场景中进行预制构件的生产,生产过程中视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正;预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。本发明不仅能够监控预制构件施工过程中的质量,当发现问题时可以及时进行修正,还能够检测预制构件成品质量,提升预制构件的出厂合格率。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于机器视觉的预制构件质量检测方法,其特征在于,包括以下步骤:
构建视觉检测场景,所述视觉检测场景中具有视觉检测单元和基准指示标志物;
根据预制构件的特征安装基准指示标志物,用于指示与预制构件与的相对位置关系;
将预制构件标准件放入视觉检测场景,视觉检测单元采集并分析预制构件标准件的图像数据,得到预制构件的标准数据;
在视觉检测场景中进行预制构件的生产,视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控,当判断生产过程中出现质量问题时通知现场进行修正;
预制构件生产完毕后,视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值,根据误差值判断预制构件的成品质量是否合格。
2.根据权利要求1所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述根据预制构件的特征安装基准指示标志物步骤中,所述特征包括预制构件实测数据及预制构件类型。
3.根据权利要求2所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述预制构件实测数据包括预制构件的形状、尺寸和关键检测要素。
4.根据权利要求1所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述视觉检测单元包括图像采集模块和图像处理与检测模块,所述图像采集模块包括多个CCD相机、多个光源和位置角度调整装置;
所述构建视觉检测场景,具体步骤为:
确定待检测的场地,在待检测的场地内安装位置角度调整装置;
在位置角度调整装置上安装多个CCD相机和多个光源,通过位置角度调整装置调节CCD相机和光源与预制构件的相对位置和相对角度;
将CCD相机与图像处理与检测模块相连,图像处理与检测模块通过CCD相机获取待检测的场地内预制构件的图像数据。
5.根据权利要求1所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述视觉检测单元采集并分析预制构件生产过程中的图像数据,得到预制构件生产过程的实时数据,分析预制构件生产过程的实时数据并与预制构件的标准数据进行对比,对预制构件的生产过程进行质量监控的具体步骤为:
通过多个CCD相机拍摄预制构件生产过程中的图像数据,每个CCD相机分别拍摄预制构件的一部分区域,得到多张预制构件部分区域的图像;
将多张预制构件部分区域的图像进行预处理;
通过特征匹配算法将预处理后的多张预制构件部分区域的图像进行拼接,得到预制构件的全景图,并从预制构件的全景图中提取实时数据的特征点,将提取的实时数据的特征点与预制构件的标准数据中的特征点进行配准,识别当前预制构件类型、生产节点和材料数量是否符合工法要求;
通过边缘检测算法从预制构件的全景图中提取形状特征,计算当前工序状态,并与预制构件的标准数据对应部分进行比较,获得当前工序的执行情况;
根据预制构件生产过程是否符合工法要求以及当前工序的执行情况进行质量监控。
6.根据权利要求5所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述特征匹配算法采用SIFT特征匹配算法,所述边缘检测算法采用Hough变换。
7.根据权利要求1所述的基于机器视觉的预制构件质量检测方法,其特征在于,所述视觉检测单元采集预制构件的成品图像数据,得到预制构件的成品数据并与预制构件的标准数据进行对比,得到误差值的具体步骤为:
通过多个CCD相机拍摄预制构件生产过程中的图像数据,每个CCD相机分别拍摄预制构件的一部分区域,得到多张预制构件部分区域的图像;
将多张预制构件部分区域的图像进行预处理;
通过特征匹配算法将预处理后的多张预制构件部分区域的图像进行拼接,得到预制构件的全景图;
通过边缘检测算法从预制构件的全景图中提取形状特征,通过相机内参矩阵及基准指示标志物位置矩阵计算预制构件成品的尺寸和形状特征,与预制构件的标准数据进行比较,计算出误差值。
8.一种应用权利要求1至7任意一项所述方法的基于机器视觉的预制构件质量检测装置,其特征在于,包括:
基准指示标志物,用于指示与预制构件的相对位置关系;
视觉检测单元,所述视觉检测单元包括图像采集模块和图像处理与检测模块,所述图像采集模块用于获取预制构件的图像数据;所述图像处理与检测模块用于分析预制构件的图像数据然后判断预制构件的质量;
通讯模块,所述通讯模块用于实现各模块间的数据传输;
人机交互模块,用于实现人机交互。
9.根据权利要求8所述的基于机器视觉的预制构件质量检测装置,其特征在于,所述图像采集模块包括多个CCD相机、多个光源和位置角度调整装置,所述多个CCD相机、多个光源皆安装在位置角度调整装置以用于进行位置调整。
10.根据权利要求9所述的基于机器视觉的预制构件质量检测装置,其特征在于,所述位置角度调整装置包括平行六面体支架、角度调节装置、设置在平行六面体支架上的滑轨、与滑轨滑动连接的多个滑块,多个所述CCD相机、多个所述光源分别通过角度调节装置安装在对应滑块上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310173927.4A CN115880296B (zh) | 2023-02-28 | 2023-02-28 | 基于机器视觉的预制构件质量检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310173927.4A CN115880296B (zh) | 2023-02-28 | 2023-02-28 | 基于机器视觉的预制构件质量检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115880296A true CN115880296A (zh) | 2023-03-31 |
CN115880296B CN115880296B (zh) | 2023-07-18 |
Family
ID=85761673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310173927.4A Active CN115880296B (zh) | 2023-02-28 | 2023-02-28 | 基于机器视觉的预制构件质量检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880296B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681675A (zh) * | 2023-06-07 | 2023-09-01 | 深圳鑫振华光电科技有限公司 | 一种基于大数据分析的自动化控制系统及方法 |
CN117787870A (zh) * | 2024-02-23 | 2024-03-29 | 合肥中都机械有限公司 | 一种基于生产全周期的辊压机设备的数字化管理系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119482A (zh) * | 2007-09-28 | 2008-02-06 | 北京智安邦科技有限公司 | 一种全景监控方法及设备 |
CN108427789A (zh) * | 2017-08-12 | 2018-08-21 | 中民筑友科技投资有限公司 | 一种基于bim的构件质量异常检测方法及装置 |
CN110118784A (zh) * | 2019-06-20 | 2019-08-13 | 山西大数据产业发展有限公司 | 基于机器视觉的钢卷表面质量缺陷检测系统 |
CN113102269A (zh) * | 2021-04-07 | 2021-07-13 | 沈阳建筑大学 | 基于三维立体视觉的预制构件成品质量检测系统及其应用 |
CN113723325A (zh) * | 2021-09-03 | 2021-11-30 | 安徽大学绿色产业创新研究院 | 一种装配式预制构件的工装缺陷检测系统 |
WO2021248686A1 (zh) * | 2020-06-10 | 2021-12-16 | 南京翱翔信息物理融合创新研究院有限公司 | 一种面向投影增强的基于机器视觉的手势交互方法 |
CN114279324A (zh) * | 2021-12-10 | 2022-04-05 | 苏交科集团股份有限公司 | 一种预制构件外观质量全方位智能检测方法 |
CN114547866A (zh) * | 2022-01-26 | 2022-05-27 | 深圳大学 | 基于bim-无人机-机械狗的预制构件智能检测方法 |
CN115165910A (zh) * | 2022-06-13 | 2022-10-11 | 上海建工集团股份有限公司 | 一种基于图像识别的混凝土表观质量缺陷检测系统及方法 |
CN115330712A (zh) * | 2022-08-10 | 2022-11-11 | 安徽大学绿色产业创新研究院 | 一种基于虚实融合的装配式建筑预制构件智能质检方法及系统 |
-
2023
- 2023-02-28 CN CN202310173927.4A patent/CN115880296B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119482A (zh) * | 2007-09-28 | 2008-02-06 | 北京智安邦科技有限公司 | 一种全景监控方法及设备 |
CN108427789A (zh) * | 2017-08-12 | 2018-08-21 | 中民筑友科技投资有限公司 | 一种基于bim的构件质量异常检测方法及装置 |
CN110118784A (zh) * | 2019-06-20 | 2019-08-13 | 山西大数据产业发展有限公司 | 基于机器视觉的钢卷表面质量缺陷检测系统 |
WO2021248686A1 (zh) * | 2020-06-10 | 2021-12-16 | 南京翱翔信息物理融合创新研究院有限公司 | 一种面向投影增强的基于机器视觉的手势交互方法 |
CN113102269A (zh) * | 2021-04-07 | 2021-07-13 | 沈阳建筑大学 | 基于三维立体视觉的预制构件成品质量检测系统及其应用 |
CN113723325A (zh) * | 2021-09-03 | 2021-11-30 | 安徽大学绿色产业创新研究院 | 一种装配式预制构件的工装缺陷检测系统 |
CN114279324A (zh) * | 2021-12-10 | 2022-04-05 | 苏交科集团股份有限公司 | 一种预制构件外观质量全方位智能检测方法 |
CN114547866A (zh) * | 2022-01-26 | 2022-05-27 | 深圳大学 | 基于bim-无人机-机械狗的预制构件智能检测方法 |
CN115165910A (zh) * | 2022-06-13 | 2022-10-11 | 上海建工集团股份有限公司 | 一种基于图像识别的混凝土表观质量缺陷检测系统及方法 |
CN115330712A (zh) * | 2022-08-10 | 2022-11-11 | 安徽大学绿色产业创新研究院 | 一种基于虚实融合的装配式建筑预制构件智能质检方法及系统 |
Non-Patent Citations (1)
Title |
---|
田东;李新伟;马涛;: "基于BIM的装配式混凝土建筑构件系统设计分析与研究", 建筑结构 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681675A (zh) * | 2023-06-07 | 2023-09-01 | 深圳鑫振华光电科技有限公司 | 一种基于大数据分析的自动化控制系统及方法 |
CN117787870A (zh) * | 2024-02-23 | 2024-03-29 | 合肥中都机械有限公司 | 一种基于生产全周期的辊压机设备的数字化管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115880296B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111044522B (zh) | 缺陷检测方法、装置及终端设备 | |
CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
CN115880296A (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
US10430951B2 (en) | Method and device for straight line detection and image processing | |
CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN109299689B (zh) | 基于机器视觉的环形生产线模台自动化识别装置及其识别方法 | |
CN110851978B (zh) | 一种基于可见性的摄像机位置优化方法 | |
CN113269729B (zh) | 一种基于深度图像对比的装配体多视角检测方法和系统 | |
CN115108466A (zh) | 一种集装箱吊具智能定位的方法 | |
CN111475016A (zh) | 一种基于计算机视觉的装配过程几何参数自适应测量系统及方法 | |
CN109879170B (zh) | 一种起重机吊臂旁弯位移实时检测系统 | |
CN116862881A (zh) | 基于图像处理的多目标实时偏移检测方法 | |
CN111598097A (zh) | 一种基于机器人视觉的仪表位置、读数识别方法和系统 | |
CN206583440U (zh) | 一种投影图像视距检测系统 | |
CN112597832B (zh) | 矩形件安装偏位判定方法和装置 | |
CN113191239A (zh) | 一种基于计算机视觉的车辆外廓尺寸动态检测系统 | |
CN113406920A (zh) | 一种基于机器视觉的箱体定位控制系统及其方法 | |
CN115582840B (zh) | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 | |
CN117392127B (zh) | 一种显示面板边框的检测方法、装置和电子设备 | |
CN115830118B (zh) | 一种基于双目相机的水泥电杆的裂纹检测方法和系统 | |
CN116934847A (zh) | 卸料方法、装置、电子设备及存储介质 | |
CN116709055A (zh) | 一种智能有线以太网寻线装置及方法 | |
CN117934391A (zh) | 一种检测步进梁上钢卷中心偏移的方法、设备及介质 | |
CN115936962A (zh) | 一种基于图像分析的机床加工定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |