CN117346657A - 一种基于5g相机的事件触发方法和系统 - Google Patents
一种基于5g相机的事件触发方法和系统 Download PDFInfo
- Publication number
- CN117346657A CN117346657A CN202311289577.4A CN202311289577A CN117346657A CN 117346657 A CN117346657 A CN 117346657A CN 202311289577 A CN202311289577 A CN 202311289577A CN 117346657 A CN117346657 A CN 117346657A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- normal
- representing
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 13
- 238000007689 inspection Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于5G相机的事件触发方法和系统,属于汽车装配外形尺寸检测技术领域,方法包括:S101:在汽车生产线的检测工位处放置5G相机;S102:通过5G相机拍摄汽车装配件的第一图像;S103:将第一图像与服务器存储的设备图像进行比对;若一致,将第一图像存储至服务器,进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报;S104:按照预设时间间隔,通过5G相机拍摄第二图像;S105:将第二图像与服务器存储的第一图像进行比对;若一致,将第一图像存储至服务器,将第二图像删除,重新进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报。通过5G相机周期性地拍摄设备图像,并与先前的图像进行比对,自动化检测设备的状态是否发生了变化。
Description
技术领域
本发明属于汽车装配外形尺寸检测技术领域,具体涉及一种基于5G相机的事件触发方法和系统。
背景技术
随着智能制造和工业互联网的迅速发展,对于制造设备的可靠性提出了更高的要求。在汽车生产过程中,如何快速、准确地检测出制造出的汽车装配件的尺寸是否出现偏差是一项重要问题。
当前,对于生产线中汽车装配件的偏差诊断,主要还是依靠人工检测,检测人员通过手持的检查设备来检查汽车装配件是否存在尺寸偏差,费时费力,而且依赖于经验和专业知识,容易受到主观因素的影响,导致故障诊断的准确性和一致性差。
随着模式识别、机器视觉、深度学习等技术的迅速发展,以及对于装配过程中尺寸偏差诊断的迫切需要,越来越多的现代化技术被应用到汽车装配件的尺寸偏差诊断过程中。
现有技术中存在通过手持的检查设备检测汽车装配件的尺寸偏差,根据测量的偏差尺寸,利用和以往记录的参考数值进行对比,进而确定汽车装配件的制造过程中,汽车装配件的尺寸是否出现偏差。
然而,检查人员测量尺寸偏差,存在测量时需要不断的把检查设备在各个检查工位搬动。另一方面,人工检查时,受限于检查人员需要进入生产区域,影响生产的连续性,同时如检查人员操作不规范,存在检查设备或汽车装配件被损坏的风险。
发明内容
为了解决依靠人工检查,费时费力,而且依赖于经验和专业知识,容易受到主观因素的影响,导致故障诊断的准确性和一致性差,本发明提供一种基于5G相机的事件触发方法和系统。
第一方面
本发明提供了一种基于5G相机的事件触发方法,包括:
S101:在汽车生产线的检测工位处放置5G相机;
S102:通过所述5G相机拍摄汽车装配件的第一图像;
S103:接收所述5G相机通过5G信号传输的所述第一图像,将所述第一图像与服务器存储的设备图像进行比对;若一致,将所述第一图像存储至所述服务器,进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报;
S104:按照预设时间间隔,通过所述5G相机拍摄第二图像;
S105:将所述第二图像与所述服务器存储的第一图像进行比对;若一致,将所述第一图像存储至所述服务器,将所述第二图像删除,重新进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报。
第二方面
本发明提供了一种基于5G相机的事件触发系统,用于执行第一方面中的基于5G相机的事件触发方法。
与现有技术相比,本发明至少具有以下有益技术效果:
在本发明中,通过5G相机周期性地拍摄设备图像,并与先前的图像进行比对,可以自动化检测设备的状态是否发生了变化,如果发生了变化,可能表示设备出现故障,并触发警报,以便及时采取措施修复或替换设备。无需人工参与,省时省力,避免受到主观因素的影响,提升故障诊断的准确性和一致性。5G相机安装不易受到限制,只需保证在5G相机的视野中能够拍摄到制造设备即可,可以采用任意的安装方式安装5G相机,并且图像分析方式可以适用于各种汽车装配件的偏差诊断,不会仅仅局限于某一类机械设备,检测范围广,有利于技术的推广。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明提供的一种基于5G相机的事件触发方法的流程示意图;
图2是本发明提供的一种图像相似度计算方法的流程示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
实施例1
在一个实施例中,参考说明书附图1,示出了本发明提供的一种基于5G相机的事件触发方法的流程示意图。
本发明提供的一种基于5G相机的事件触发方法,包括:
S101:在汽车生产线的检测工位处放置5G相机。
其中,检测工位可以是为了专门为了5G相机拍摄制造设备而设置的工位。
其中,5G相机是一种具有5G网络连接功能的摄像设备。5G相机自带锂电池,通过5G信号传输,不需要外面接线,方便移动。今天可以在A检测工位拍照检测,明天则可以移到B检测工位进行拍照测量。
进一步地,5G相机安装不易受到限制,只需保证在5G相机的视野中能够拍摄到制造设备即可,可以采用任意的安装方式安装5G相机。
S102:通过5G相机拍摄汽车装配件的第一图像。
S103:接收所述5G相机通过5G信号传输的所述第一图像,将第一图像与服务器存储的设备图像进行比对。若一致,将第一图像存储至服务器,进入S104。否则,确定汽车装配件的尺寸出现偏差,触发警报。
参考说明书附图2,示出了本发明提供的一种图像相似度计算方法的流程示意图。
S103具体包括子步骤S1031至S1035:
S1031:对第一图像和设备图像进行预处理。
其中,预处理可以包括:降噪、亮度均衡、对比度均衡等。
在一种可能的实施方式中,为了消除不同气候、不同灯光、不同光照条件对于图像的影响,本发明提出了一种全新的亮度均衡方法,子步骤S1031具体包括:
根据以下公式,对第一图像和设备图像进行亮度均衡:
Iout=255c·Fγ
γ=log2(a-Fm)
其中,Iout表示经过亮度均衡处理后的亮度值,Iin表示亮度均衡处理前的亮度值,c表示比例系数,F表示归一化亮度值,γ表示伽马校正指数,Fm表示亮度均衡处理前的亮度值的中值,a表示目标亮度值,a可通过如下方式进行取值:
其中,表示亮度均衡处理前的亮度值的均值,round(·)表示四舍五入函数。
需要说明的是,不同气候和不同光照条件下的图像可能具有不同的亮度,亮度均衡可以帮助消除这些差异,减少光照条件的干扰,使图像更一致,更容易进行比较和分析,提高算法的准确性和一致性。
S1032:提取预处理后的第一图像和设备图像的图像特征。
具体而言,可以采用卷积神经网络、颜色直方图、SIFT算法、颜色矩算法等提取图像特征。
在一种可能的实施方式中,子步骤S1032具体包括孙步骤S10321至S13024:
S10321:通过卷积神经网络提取第一特征向量。
其中,卷积神经网络是一种深度学习模型,特别适用于处理图像和视觉数据。它的核心思想是使用卷积层、池化层和全连接层等组件来学习图像中的特征,并用于分类、检测和分割等任务。
在一种可能的实施方式中,卷积神经网络包括:输入层、卷积层、池化层、归一化层和输出层,S10321具体包括:
将亮度均衡处理后的图像输入至输入层。
在卷积层中,对来自上一层的特征映射与卷积核进行卷积运算:
其中,表示当前卷积层的输出,/>表示前一卷积层的输出,/>表示当前卷积层的卷积核权重,/>表示当前卷积层的偏置项,Mj表示选择的输入特征映射,f表示激活函数。
其中,卷积层通过卷积运算对输入图像进行特征提取,捕获不同尺度和层次的特征信息。
在池化层中,对输入的特征映射进行下采样操作,进行池化处理:
其中,down表示下采样函数,表示当前池化层的输出,/>表示前一池化层的输出。
其中,下采样函数可以采用平均池化函数或者最大池化函数。
其中,池化层通过下采样操作降低特征图的尺寸,同时保留重要的特征,有助于提取更加鲁棒的图像表示。这些特征对于后续的缺陷分类具有重要意义。
在归一化层中,对输入特征进行归一化处理:
其中,表示归一化后的特征值,/>表示输入特征值,μ表示输入特征值的均值,σ2表示输入特征值的方差,ε表示超参数。
其中,归一化层可以帮助规范化特征值的分布,有助于加速网络的收敛,并且提高模型的鲁棒性。通过将特征值进行归一化,可以减少训练过程中的梯度消失问题,使得网络更加稳定。
在输出层中,将归一化后的特征值组合为特征向量并输出。
在本发明中,使用卷积神经网络来提取第一特征向量,有助于从亮度均衡后的图像中提取具有代表性的特征,提高图像的表征能力,为后续的图像比对和分析提供更有信息量的数据。
S10322:通过颜色直方图提取第二特征向量。
其中,颜色直方图是一种用于描述图像颜色分布的统计工具。它将图像中各种颜色的出现频率表示为直方图,通常以不同颜色通道(如红、绿、蓝)的像素值为横坐标,像素数量或出现频率为纵坐标。
在一种可能的实施方式中,所述S10322具体包括:
通过以下公式,从颜色直方图中提取出各种颜色出现的概率:
其中,bk表示第k种颜色出现的概率,sk表示第k种颜色的像素点个数,k=1,2,…,K,K表示颜色的种类数;
将各种颜色出现的概率组合为第二特征向量:
B=[b1,b2,…,bk]
其中,B表示第二特征向量。
在本发明中,颜色直方图可以捕捉图像中各种颜色的分布和出现频率,识别图像中的主要颜色和色彩组合,可以增强图像的表征能力。
S10323:通过SIFT算法提取第三特征向量。
其中,SIFT算法是一种用于检测和描述图像中的局部特征的计算机视觉算法。它具有尺度不变性和旋转不变性,可以用于在不同尺度和角度下识别图像中的特征点。
在一种可能的实施方式中,S10323具体包括:
根据SIFT算法,确定需要计算的图像区域半径:
其中,r表示图像区域半径,λ表示关键点所在组的尺度,d表示高斯金字塔的组数。
优选地,d=4。
旋转坐标轴到关键点主方向。
以关键点为中心,分为16×16个子区域,再按照关键点尺度空间内4×4的窗口计算8个方向的尺度信息,生成4×4×8=128维的第三特征向量。
在本发明中,SIFT算法能够在不同尺度下检测相同的特征点,并计算其特征描述,无论物体在图像中的尺寸如何变化,SIFT都能够识别并匹配相同的特征点,有助于提取具有尺度不变性、旋转不变性和局部性质的特征向量,提升相似度计算的准确性。
S10324:通过颜色矩算法提取第四特征向量。
在一种可能的实施方式中,S10324具体包括:
通过以下公式计算图像的一阶、二阶以及三阶颜色矩:
其中,ei表示第i个通道的一阶颜色矩,pij表示第i个通道中第j个像素点的像素值,i=1,2,…,N,N表示像素点总数,fi表示第i个通道的二阶颜色矩,gi表示第i个通道的三阶颜色矩。
需要说明的是,一个图像往往具有R通道、G通道、B通道这三个通道。
将一阶、二阶以及三阶颜色矩组合为第四特征向量。
在本发明中,颜色矩算法通过计算一阶、二阶和三阶颜色矩,可以捕捉图像中各个颜色通道的统计信息,有助于更全面地描述图像的颜色特征,而不仅仅局限于颜色的直方图,有助于增强图像的表征能力,提高颜色特征的分析和识别效果。
S1033:根据提取的图像特征,构建预处理后的第一图像和设备图像的特征向量。
在一种可能的实施方式中,子步骤S1033具体包括孙步骤S10331至S10336:
S10331:将第一特征向量、第二特征向量、第三特征向量和第四特征向量进行拼接,得到融合特征向量X。
在本发明中,不同的特征提取方法通常捕捉到图像不同方面的信息,将各个特征向量拼接在一起可以获得更丰富、更全面的图像特征,提高特征的表征能力。同时,融合多个特征向量可以增强对图像变化和噪声的鲁棒性。进一步地,通过使用多个特征,可以减少模型过拟合的风险。过拟合是指模型在训练数据上表现良好,但在未见过的数据上表现差的情况。使用多个特征可以减少模型对单一特征的依赖,降低了过拟合的可能性。
S10332:计算样本数据集的均值向量:
其中,表示均值向量,Xi表示第i个样本对应的融合特征向量,i=1,2,…,n,n表示样本总数。
S10333:计算样本数据集的协方差矩阵:
其中,C表示协方差矩阵,(·)T表示矩阵转置。
S10334:求解协方差矩阵的特征值与特征向量。
S10335:对各个特征值进行降序排列,保留排序靠前的预设数量的特征值及其特征向量,将保留的特征向量组成投影矩阵。
S10336:通过投影矩阵,对融合特征向量进行降维处理:
Y=P·X
其中,Y表示降维处理后的融合特征向量,P表示投影矩阵,X表示融合特征向量。
在本发明中,通过计算样本数据集的均值向量、协方差矩阵,以及对协方差矩阵进行特征值分解,可以获得特征值和对应的特征向量。通过降序排列特征值并选择前几个,可以保留数据中最重要的信息,同时去除特征向量中的冗余信息,减少特征的维度,有助于减少特征向量的维度,提高计算效率,减少存储需求,提高模型的泛化能力,减少过拟合的风险。
S1034:根据预处理后的第一图像和设备图像的特征向量,计算第一图像和设备图像之间的相似度。
需要说明的是,相似度度量允许系统判断第一图像与设备图像之间的相似程度。如果它们非常相似(即相似度高),则可能表示设备正常运行。相反,如果它们不够相似(即相似度低),可能表示设备状态发生了变化,可能存在故障或其他问题。这有助于及早发现潜在的设备故障。通过定期比对图像特征并计算相似度,系统可以自动进行故障诊断,无需人工干预。这提高了生产线的自动化水平,减少了人力资源成本。
在一种可能的实施方式中,S1034具体为:
通过以下公式,计算第一图像和设备图像之间的相似度:
其中,ρ表示相似度,yj(0)表示设备图像的降维处理后的融合特征向量中的第j个特征值,j=1,2,…,m,m表示降维处理后的融合特征向量中的特征值总数,yj(1)表示第一图像的降维处理后的融合特征向量中的第j个特征值。
S1035:当第一图像和设备图像之间的相似度大于预设相似度时,确定第一图像和设备图像一致,将第一图像存储至服务器,进入S104。当第一图像和设备图像之间的相似度小于或者等于预设相似度时,确定第一图像和设备图像不一致,确定汽车装配件的尺寸出现偏差,触发警报。
其中,本领域技术人员可以根据实际情况设置预设相似度的大小,本发明不做限定。
在本发明中,通过5G相机周期性地拍摄设备图像,并与先前的图像进行比对,可以自动化检测汽车装配外形尺寸是否发生了变化,如果发生了变化,可能表示零件装配尺寸不合格,并触发警报,以便及时采取措施修复或替换零件。无需人工参与,省时省力,避免受到主观因素的影响,提升故障诊断的准确性和一致性。
S104:按照预设时间间隔,通过5G相机拍摄第二图像。
其中,本领域技术人员可以根据实际情况设置预设时间间隔的大小,本发明不做限定。
具体地,预设时间间隔可以是1分钟、10分钟、30分钟等等。
S105:将第二图像与服务器存储的第一图像进行比对。若一致,将第一图像存储至服务器,将第二图像删除,重新进入S104。否则,确定汽车装配件的尺寸出现偏差,触发警报。
在一种可能的实施方式中,S105具体包括子步骤S1051至S1055:
S1051:对第二图像和第一图像进行预处理。
S1052:提取预处理后的第二图像和第一图像的图像特征。
S1053:根据提取的图像特征,构建预处理后的第二图像和第一图像的特征向量。
S1054:根据预处理后的第二图像和第一图像的特征向量,计算第二图像和第一图像之间的相似度。
S1055:当第二图像和第一图像之间的相似度大于预设相似度时,确定第二图像和第一图像一致,将第一图像存储至服务器,将第二图像删除,重新进入S104。当第二图像和第一图像之间的相似度小于或者等于预设相似度时,确定第二图像和第一图像不一致,确定汽车装配件的尺寸出现偏差,触发警报。
具体地,如何对第二图像与服务器存储的第一图像进行比对可以参考上文如何对第一图像与服务器存储的设备图像进行比对的方式,并且能够实现同样的技术效果,本发明为避免重复,不再赘述。
在一种可能的实施方式中,基于5G相机的事件触发方法还包括:
S106:获取历史检测数据。
S107:从历史检测数据中提取出将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数。
S108:根据将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数,计算将正常检测为故障的比例和将故障检测为正常的比例为:
其中,T1表示将正常检测为正常的天数,T2表示将正常检测为故障的天数,T3表示将故障检测为故障的天数,T4表示将故障检测为正常的天数,R1表示将正常检测为故障的比例,R2表示将故障检测为正常的比例。
S109:根据将正常检测为故障的比例和将故障检测为正常的比例,调整预设相似度的具体数值,以使:
其中,p1表示将正常检测为故障需要付出的代价,p2表示将故障检测为正常付出的代价。
可以理解的是,将正常检测为故障时,需要停产检查,检查认为设备正常时恢复生产,停产检查同样会导致生产效率的降低。将故障检测为正常,此时会导致设备发生故障,需要面临长时间的停产维修,期间必然会导致生产效率的答复降低。两者之间需要达到平衡,才能减少停产停工的时间,提高生产效率。
在本发明中,根据将正常检测为故障的比例和将故障检测为正常的比例,调整预设相似度的具体数值,对故障警报与生产产能之间进行有效的平衡,提高制造效率。
进一步地,通过计算将正常检测为故障和将故障检测为正常的比例,系统可以自动调整预设相似度的具体数值,使其更适应当前的生产环境。这增强了系统的自适应性,可以应对不同时期和条件下的变化。
在一种可能的实施方式中,将正常检测为故障需要付出的代价和将故障检测为正常付出的代价具体为:相应的损失金额或者停工时间。
例如,将正常检测为故障付出的代价为损失10万元,而将故障检测为正常的代价为损失100万元。
再例如,将正常检测为故障付出的代价为停工1小时,而将故障检测为正常的代价为停工3天,72小时。
与现有技术相比,本发明至少具有以下有益技术效果:
在本发明中,通过5G相机周期性地拍摄设备图像,并与先前的图像进行比对,可以自动化检测设备的状态是否发生了变化,如果发生了变化,可能表示汽车装配外形尺寸不合格,并触发警报,以便及时采取措施修复或替换零件。无需人工参与,省时省力,避免受到主观因素的影响,提升故障诊断的准确性和一致性。5G相机安装不易受到限制,只需保证在5G相机的视野中能够拍摄到制造设备即可,可以采用任意的安装方式安装5G相机,并且图像分析方式可以适用于各种汽车装配件的偏差诊断,不会仅仅局限于某一类机械设备,检测范围广,有利于技术的推广。
实施例2
在一个实施例中,本发明提供的一种基于5G相机的事件触发系统,用于执行实施例1中的基于5G相机的事件触发方法。
本发明提供的一种基于5G相机的事件触发系统可以实现上述实施例1中的基于5G相机的事件触发方法的步骤和效果,为避免重复,本发明不再赘述。
与现有技术相比,本发明至少具有以下有益技术效果:
在本发明中,通过5G相机周期性地拍摄设备图像,并与先前的图像进行比对,可以自动化检测设备的状态是否发生了变化,如果发生了变化,可能表示汽车装配外形尺寸不合格,并触发警报,以便及时采取措施修复或替换零件。无需人工参与,省时省力,避免受到主观因素的影响,提升故障诊断的准确性和一致性。5G相机安装不易受到限制,只需保证在5G相机的视野中能够拍摄到制造设备即可,可以采用任意的安装方式安装5G相机,并且图像分析方式可以适用于各种汽车装配件的偏差诊断,不会仅仅局限于某一类机械设备,检测范围广,有利于技术的推广。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于5G相机的事件触发方法,其特征在于,包括:
S101:在汽车生产线的检测工位处放置5G相机;
S102:通过所述5G相机拍摄汽车装配件的第一图像;
S103:接收所述5G相机通过5G信号传输的所述第一图像,将所述第一图像与服务器存储的设备图像进行比对;若一致,将所述第一图像存储至所述服务器,进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报;
S104:按照预设时间间隔,通过所述5G相机拍摄第二图像;
S105:将所述第二图像与所述服务器存储的第一图像进行比对;若一致,将所述第一图像存储至所述服务器,将所述第二图像删除,重新进入S104;否则,确定汽车装配件的尺寸出现偏差,触发警报。
2.根据权利要求1所述的基于5G相机的事件触发方法,其特征在于,所述S103具体包括:
S1031:对所述第一图像和所述设备图像进行预处理;
S1032:提取预处理后的第一图像和设备图像的图像特征;
S1033:根据提取的图像特征,构建预处理后的第一图像和设备图像的特征向量;
S1034:根据预处理后的第一图像和设备图像的特征向量,计算所述第一图像和所述设备图像之间的相似度;
S1035:当所述第一图像和所述设备图像之间的相似度大于预设相似度时,确定所述第一图像和所述设备图像一致,将所述第一图像存储至所述服务器,进入S104;当所述第一图像和所述设备图像之间的相似度小于或者等于所述预设相似度时,确定所述第一图像和所述设备图像不一致,确定汽车装配件的尺寸出现偏差,触发警报;
所述S105具体包括:
S1051:对所述第二图像和所述第一图像进行预处理;
S1052:提取预处理后的第二图像和第一图像的图像特征;
S1053:根据提取的图像特征,构建预处理后的第二图像和第一图像的特征向量;
S1054:根据预处理后的第二图像和第一图像的特征向量,计算所述第二图像和所述第一图像之间的相似度;
S1055:当所述第二图像和所述第一图像之间的相似度大于所述预设相似度时,确定所述第二图像和所述第一图像一致,将所述第一图像存储至所述服务器,将所述第二图像删除,重新进入S104;当所述第二图像和所述第一图像之间的相似度小于或者等于所述预设相似度时,确定所述第二图像和所述第一图像不一致,确定汽车装配件的尺寸出现偏差,触发警报。
3.根据权利要求2所述的基于5G相机的事件触发方法,其特征在于,所述S1031具体包括:
根据以下公式,对所述第一图像和所述设备图像进行亮度均衡:
Iout=255c·Fγ
γ=log2(a-Fm)
其中,Iout表示经过亮度均衡处理后的亮度值,Iin表示亮度均衡处理前的亮度值,c表示比例系数,F表示归一化亮度值,γ表示伽马校正指数,Fm表示亮度均衡处理前的亮度值的中值,a表示目标亮度值,a可通过如下方式进行取值:
其中,F表示亮度均衡处理前的亮度值的均值,round(·)表示四舍五入函数。
4.根据权利要求2所述的基于5G相机的事件触发方法,其特征在于,所述S1032具体包括:
S10321:通过卷积神经网络提取第一特征向量;
S10322:通过颜色直方图提取第二特征向量;
S10323:通过SIFT算法提取第三特征向量;
S10324:通过颜色矩算法提取第四特征向量。
5.根据权利要求4所述的基于5G相机的事件触发方法,其特征在于,所述卷积神经网络包括:输入层、卷积层、池化层、归一化层和输出层,所述S10321具体包括:
将亮度均衡处理后的图像输入至所述输入层;
在所述卷积层中,对来自上一层的特征映射与卷积核进行卷积运算:
其中,表示当前卷积层的输出,/>表示前一卷积层的输出,/>表示当前卷积层的卷积核权重,/>表示当前卷积层的偏置项,Mj表示选择的输入特征映射,f表示激活函数;
在所述池化层中,对输入的特征映射进行下采样操作,进行池化处理:
其中,down表示下采样函数,表示当前池化层的输出,/>表示前一池化层的输出;
在所述归一化层中,对输入特征进行归一化处理:
其中,表示归一化后的特征值,Fl k表示输入特征值,μ表示输入特征值的均值,σ2表示输入特征值的方差,ε表示超参数;
在所述输出层中,将归一化后的特征值组合为特征向量并输出。
6.根据权利要求4所述的基于5G相机的事件触发方法,其特征在于,所述S1033具体包括:
S10331:将所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量进行拼接,得到融合特征向量X;
S10332:计算样本数据集的均值向量:
其中,表示均值向量,Xi表示第i个样本对应的融合特征向量,i=1,2,…,n,n表示样本总数;
S10333:计算样本数据集的协方差矩阵:
其中,C表示协方差矩阵,(·)T表示矩阵转置;
S10334:求解所述协方差矩阵的特征值与特征向量;
S10335:对各个特征值进行降序排列,保留排序靠前的预设数量的特征值及其特征向量,将保留的特征向量组成投影矩阵;
S10336:通过所述投影矩阵,对所述融合特征向量进行降维处理:
Y=P·X
其中,Y表示降维处理后的融合特征向量,P表示投影矩阵,X表示融合特征向量。
7.根据权利要求6所述的基于5G相机的事件触发方法,其特征在于,所述S1034具体为:
通过以下公式,计算所述第一图像和所述设备图像之间的相似度:
其中,ρ表示相似度,yj(0)表示所述设备图像的降维处理后的融合特征向量中的第j个特征值,j=1,2,…,m,m表示降维处理后的融合特征向量中的特征值总数,yj(1)表示所述第一图像的降维处理后的融合特征向量中的第j个特征值。
8.根据权利要求2所述的基于5G相机的事件触发方法,其特征在于,还包括:
S106:获取历史检测数据;
S107:从所述历史检测数据中提取出将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数;
S108:根据将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数,计算将正常检测为故障的比例和将故障检测为正常的比例为:
其中,T1表示将正常检测为正常的天数,T2表示将正常检测为故障的天数,T3表示将故障检测为故障的天数,T4表示将故障检测为正常的天数,R1表示将正常检测为故障的比例,R2表示将故障检测为正常的比例;
S109:根据将正常检测为故障的比例和将故障检测为正常的比例,调整所述预设相似度的具体数值,得到:
其中,p1表示将正常检测为故障需要付出的代价,p2表示将故障检测为正常付出的代价。
9.根据权利要求8所述的基于智能制造过程数据的故障预测方法,其特征在于,所述将正常检测为故障需要付出的代价和将故障检测为正常付出的代价具体为:相应的损失金额或者停工时间。
10.一种基于5G相机的事件触发系统,其特征在于,用于执行权利要求1至9任一项所述的基于5G相机的事件触发方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311289577.4A CN117346657B (zh) | 2023-10-07 | 2023-10-07 | 一种基于5g相机的事件触发方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311289577.4A CN117346657B (zh) | 2023-10-07 | 2023-10-07 | 一种基于5g相机的事件触发方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117346657A true CN117346657A (zh) | 2024-01-05 |
CN117346657B CN117346657B (zh) | 2024-03-19 |
Family
ID=89358800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311289577.4A Active CN117346657B (zh) | 2023-10-07 | 2023-10-07 | 一种基于5g相机的事件触发方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117346657B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104197836A (zh) * | 2014-09-13 | 2014-12-10 | 江南大学 | 基于机器视觉的汽车门锁装配尺寸检测方法 |
CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
US20180007337A1 (en) * | 2015-04-17 | 2018-01-04 | Google Inc. | Hardware-Based Convolutional Color Correction in Digital Images |
CN110570384A (zh) * | 2019-09-16 | 2019-12-13 | 西南科技大学 | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 |
WO2020097834A1 (zh) * | 2018-11-14 | 2020-05-22 | 北京比特大陆科技有限公司 | 一种特征处理方法及装置、存储介质及程序产品 |
CN112464803A (zh) * | 2020-11-26 | 2021-03-09 | 泰康保险集团股份有限公司 | 图像比较方法和装置 |
CN112612913A (zh) * | 2020-12-28 | 2021-04-06 | 厦门市美亚柏科信息股份有限公司 | 一种用于图像的搜索方法和系统 |
CN112766103A (zh) * | 2021-01-07 | 2021-05-07 | 国网福建省电力有限公司泉州供电公司 | 一种机房巡检方法及装置 |
CN116229052A (zh) * | 2023-05-09 | 2023-06-06 | 浩鲸云计算科技股份有限公司 | 一种基于孪生网络的变电站设备状态变化检测方法 |
CN116703928A (zh) * | 2023-08-08 | 2023-09-05 | 宁德市天铭新能源汽车配件有限公司 | 一种基于机器学习的汽车零部件生产检测方法及系统 |
-
2023
- 2023-10-07 CN CN202311289577.4A patent/CN117346657B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104197836A (zh) * | 2014-09-13 | 2014-12-10 | 江南大学 | 基于机器视觉的汽车门锁装配尺寸检测方法 |
US20180007337A1 (en) * | 2015-04-17 | 2018-01-04 | Google Inc. | Hardware-Based Convolutional Color Correction in Digital Images |
CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
WO2020097834A1 (zh) * | 2018-11-14 | 2020-05-22 | 北京比特大陆科技有限公司 | 一种特征处理方法及装置、存储介质及程序产品 |
CN110570384A (zh) * | 2019-09-16 | 2019-12-13 | 西南科技大学 | 一种对场景图像进行光照均衡处理的方法、装置、计算机设备以及计算机存储介质 |
CN112464803A (zh) * | 2020-11-26 | 2021-03-09 | 泰康保险集团股份有限公司 | 图像比较方法和装置 |
CN112612913A (zh) * | 2020-12-28 | 2021-04-06 | 厦门市美亚柏科信息股份有限公司 | 一种用于图像的搜索方法和系统 |
CN112766103A (zh) * | 2021-01-07 | 2021-05-07 | 国网福建省电力有限公司泉州供电公司 | 一种机房巡检方法及装置 |
CN116229052A (zh) * | 2023-05-09 | 2023-06-06 | 浩鲸云计算科技股份有限公司 | 一种基于孪生网络的变电站设备状态变化检测方法 |
CN116703928A (zh) * | 2023-08-08 | 2023-09-05 | 宁德市天铭新能源汽车配件有限公司 | 一种基于机器学习的汽车零部件生产检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117346657B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
CN110827251A (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN112070134A (zh) | 电力设备图像分类方法、装置、电力设备及存储介质 | |
CN113379686B (zh) | 一种pcb板缺陷检测方法及装置 | |
CN111563896B (zh) | 一种用于接触网异常检测的图像处理方法 | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN116075733A (zh) | 用于对电池模块进行分类的电池管理系统 | |
CN115660262B (zh) | 一种基于数据库应用的工程智慧质检方法、系统及介质 | |
CN113204894B (zh) | 一种电能计量异常诊断模型的构建方法及应用 | |
CN116091874A (zh) | 图像校验方法、训练方法、装置、介质、设备及程序产品 | |
CN112598666B (zh) | 一种基于卷积神经网络的电缆隧道异常检测方法 | |
CN112419243A (zh) | 一种基于红外图像分析的配电房设备故障识别方法 | |
CN117346657B (zh) | 一种基于5g相机的事件触发方法和系统 | |
CN117973511A (zh) | 一种融合知识图谱和神经网络的电梯故障诊断方法 | |
CN116127324A (zh) | 不间断电源内部关键部件的故障检测方法和装置 | |
CN116188445A (zh) | 一种产品表面缺陷的检测定位方法、装置及终端设备 | |
CN112508946B (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
CN115908295A (zh) | 一种基于深度学习的电网绝缘子缺陷检测方法及系统 | |
CN111696070A (zh) | 基于深度学习的多光谱图像融合电力物联网故障点检测方法 | |
CN117392440B (zh) | 一种基于组织结构及颜色分类的纺织面料检索方法和系统 | |
CN117292179B (zh) | 基于质检场景的难例筛选方法、系统、设备及存储介质 | |
CN118628848B (zh) | 一种基于计算机视觉技术的计分投票系统及方法 | |
CN118447280A (zh) | 一种考虑多层级特征的多类别点云异常检测方法及系统 | |
CN117689982A (zh) | 一种基于cnn的多尺度特征融合的光伏组件图像故障的诊断方法 | |
CN118506211A (zh) | 一种基于无人机影像的飞机表面缺陷自动检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |