CN116452791B - 多相机点位的缺陷区域定位方法、系统、装置及存储介质 - Google Patents
多相机点位的缺陷区域定位方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN116452791B CN116452791B CN202310311328.4A CN202310311328A CN116452791B CN 116452791 B CN116452791 B CN 116452791B CN 202310311328 A CN202310311328 A CN 202310311328A CN 116452791 B CN116452791 B CN 116452791B
- Authority
- CN
- China
- Prior art keywords
- picture
- positioning
- region
- target
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 37
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 239000003292 glue Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种多相机点位的缺陷区域定位方法、系统、装置及存储介质，涉及计算机技术领域。基于多相机点位对目标的各个区域进行拍摄得到多张第一区域图片后，对多张第一区域图片进行缺陷检测确定存在缺陷的第二区域图片。获取目标整体图片后，将存在缺陷的第二区域图片与目标整体图片进行匹配分析确定缺陷定位框，并将缺陷定位框在目标整体图片上进行显示，从而能够直观显示出目标上的缺陷区域，减少工作人员的工作量。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种多相机点位的缺陷区域定位方法、系统、装置及存储介质。
背景技术
机器视觉系统功能发展迅速覆盖基本生活场景，并为社会各个不同行业管理提供一个基本信息功能，例如自主识别和自主标记。目前，工业生产过程中已经广泛使用机器视觉检测系统对工件进行缺陷识别。视觉检测通过机器将被摄取目标转换成图像信号，传送给专用的图像处理系统以根据像素分布和亮度、颜色等信息转变成数字化信号，对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来确定目标是否缺陷。在对较大的目标进行缺陷检测时，由于摄像头视野不够大且保证拍摄细节，通过需要设置多相机点位来分别拍摄各个区域的图片单独进行缺陷识别，然后输出图片中的缺陷区域，但是并不能直观显示出缺陷区域在整体目标的位置，还需要工作人员根据识别的出有缺陷的图片来确定目标中的缺陷位置，从而增加劳动成本。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种多相机点位的缺陷区域定位方法、系统、装置及存储介质，能够多相机点位进行缺陷检测时，在检测目标的整体图像上显示缺陷位置。
一方面，本发明实施例提供了一种多相机点位的缺陷区域定位方法，包括以下步骤：
基于多相机点位对目标进行拍摄得到多张第一区域图片；
对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
获取目标整体图片；
将所述第二区域图片与所述目标整体图片进行匹配分析确定缺陷定位框，并将所述缺陷定位框在所述目标整体图片上进行显示。
根据本发明一些实施例，所述将所述第二区域图片与所述目标整体图片进行匹配分析确定缺陷定位框包括以下步骤：
将所述第二区域图片输入匹配定位模型得到图片定位坐标；
根据所述图片定位坐标在所述目标整体图片上绘制缺陷定位框；
其中，所述匹配定位模型通过以下步骤获得：
获取区域图片数据集并初始化匹配定位模型，其中，所述区域图片数据集的样本标签为区域图片在目标整体图片中的坐标；
将所述区域图片数据集输入所述匹配定位模型得到预测坐标；
根据所述预测坐标和所述区域图片数据集的样本标签确定训练的损失值；
根据所述损失值更新所述匹配定位模型的参数。
根据本发明一些实施例，所述对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片包括以下步骤：
将所述第一区域图片输入缺陷检测模型确定所述第一区域图片是否存在缺陷；
如果所述第一区域图片存在缺陷，则将所述第一区域图片标记为第二区域图片。
根据本发明一些实施例，所述根据所述图片定位坐标在所述目标整体图片上绘制缺陷定位框包括以下步骤：
根据所述图片定位坐标和预设的定位框规格确定多个定位框顶点坐标；
根据多个所述定位框顶点坐标在所述目标整体图片上绘制定位框。
根据本发明一些实施例，所述匹配定位模型包括卷积层、池化层、全连接层和分类器；
所述卷积层用于对所述第二区域图片进行特征提取得到第一特征向量；
所述池化层用于对所述第一特征向量进行降维得到第二特征向量；
所述全连接用于将所述池化层输出的所有第二特征向量进行非线性变换得到第三特征向量；
所述分类器用于根据所述第三特征向量进行分类判别得到图片定位坐标。
根据本发明一些实施例，所述卷积层的表示公式如下：
其中，*表示卷积运算，y(n)表示第一特征向量，x(n)表示第二区域图片，h(n)表示卷积核。
根据本发明一些实施例，所述将所述第二区域图片与所述目标整体图片进行匹配分析确定缺陷定位框包括以下步骤：
获取所述第二区域图片的第一点位信息；
获取所述目标整体图片的多个预设定位框的第二点位信息；
将所述第一点位信息与多个第二点位信息进行匹配确定对应的预设定位框，将所述预设定位框作为缺陷定位框。
另一方面，本发明实施例还提供一种多相机点位的缺陷区域定位系统，包括：
第一模块，用于基于多相机点位对目标进行拍摄得到多张第一区域图片；
第二模块，用于对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
第三模块，用于获取目标整体图片；
第四模块，用于将所述第二区域图片与所述目标整体图片进行匹配分析确定缺陷定位框，并将所述缺陷定位框在所述目标整体图片上进行显示。
另一方面，本发明实施例还提供一种多相机点位的缺陷区域定位装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的多相机点位的缺陷区域定位方法。
另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的多相机点位的缺陷区域定位方法。
本发明上述的技术方案至少具有如下优点或有益效果之一：基于多相机点位对目标的各个区域进行拍摄得到多张第一区域图片后，对多张第一区域图片进行缺陷检测确定存在缺陷的第二区域图片。获取目标整体图片后，将存在缺陷的第二区域图片与目标整体图片进行匹配分析确定缺陷定位框，并将缺陷定位框在目标整体图片上进行显示，从而能够直观显示出目标上的缺陷区域，减少工作人员的工作量。
附图说明
图1是本发明实施例提供的多相机点位的缺陷区域定位方法流程图；
图2是本发明实施例提供的多相机点位的缺陷区域定位装置示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明实施例提供了一种多相机点位的缺陷区域定位方法，本申请实施例中的相机点位的缺陷区域定位方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1，本发明实施例的多相机点位的缺陷区域定位方法，包括但不限于以下步骤：
步骤S110，基于多相机点位对目标进行拍摄得到多张第一区域图片；
步骤S120，对多张第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
步骤S130，获取目标整体图片；
步骤S140，将第二区域图片与目标整体图片进行匹配分析确定缺陷定位框，并将缺陷定位框在目标整体图片上进行显示。
在步骤S110的一些实施例中，在工件进行焊缝检测或者涂胶检测，工件上的焊缝或者涂胶一般为条形，为保证拍摄到的涂胶或者焊缝上细节，会按照焊缝或者涂胶的路径设置对应的多个相机点位，控制相机按照点位对当前工件的其中一个区域进行拍摄后移动到下一个点位继续拍摄，从而得到多张第一区域图片。
在步骤S120的一些实施例中，在对每一张第一区域图片分别进行缺陷检测后，可以确定每一张第一区域图片中区域是否合格，将检测不合格的图片标记为第二区域图片以进行后续处理。在本实施例中，缺陷检测算法包括但不限于贝叶斯分类、K最近邻(KNN)、人工神经网络(ANN)、支持向量机(SVM)、K-means等机器视觉检测算法，本发明实施例不做具体限制。
在步骤S130的一些实施例中，目标整体图片为提前存储在计算机设备中的用于表征工件表面外观的数字图像。目标整体图片可以是二维图，也可以是三维图，可以根据实际需要进行设置。示例性地，如果工件的一侧表面有涂胶，需要对涂胶情况进行检测，目标整体图片可以是表征工件有涂胶一侧的二维图像。如果需要对工件的整个表面进行检测，目标整体图片可以是工件整体的三维图像。
在步骤S140的一些实施例中，可以按照图像本身信息将第二区域图片与目标整体图片进行匹配分析来确定缺陷定位框，也可以按照图像标记的点位信息将第二区域图片与目标整体图片进行匹配分析来确定缺陷定位框，还可以通过计算第二区域图片与目标整体图片各个区域的特征相似度来确定缺陷定位框。将缺陷定位框与目标整体图片一起输出显示，使得工作人员能够快速确定工件上的缺陷位置。
根据本发明一些实施例，步骤S140中，将第二区域图片与目标整体图片进行匹配分析确定缺陷定位框这一步骤，包括但不限于以下步骤：
步骤S210，将第二区域图片输入匹配定位模型得到图片定位坐标。对于目标整体图片是二维图像，图片定位坐标为二维坐标，对于目标整体图片是三维图片，图片定位坐标为三维坐标。
步骤S220，根据图片定位坐标在目标整体图片上绘制缺陷定位框。
在本实施例中，匹配定位模型包括卷积层、池化层、全连接层和分类器。卷积层用于对输入的第二区域图片进行特征提取得到第一特征向量，池化层用于对第一特征向量进行降维得到第二特征向量，全连接用于将池化层输出的所有第二特征向量进行非线性变换得到第三特征向量，分类器用于根据第三特征向量进行分类判别得到图片定位坐标。此外，在将第二区域图片输入目标整体图片之前，还可以对第二区域图片进行归一化、裁剪、拓展等处理，从而将第二区域图片转换为适合模型处理的格式。
卷积层的表示公式如下：
其中，*表示卷积运算，y(n)表示第一特征向量，x(n)表示第二区域图片，h(n)表示卷积核。当时序n＝0时，序列h(-i)是h(i)的时序i取反的结果，时序取反使得h(i)以纵轴为中心翻转180度，这种相乘后求和的计算法称为卷积和，简称卷积。另外，n是使h(-i)位移的量，不同的n对应不同的卷积结果。
全连接层采用激活函数对第二特征向量进行非线性变换，激活函数可以是Sigmoid函数、Tanh函数和ReLU函数。
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到在0～1之间，Sigmoid函数公式表示为：
Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来，Tanh函数公式表示为：
Relu激活函数用于隐层神经元输出，其公式表示为：
f(x)＝max(0，x)；
在本实施例中，图片定位坐标可以是表征第二区域图片在目标整体图片中对应区域的中心坐标，也可以是表征第二区域图片在目标整体图片中对应区域的多个区域顶点坐标。以图片定位坐标为区域中心坐标为例，在得到图片定位坐标后，根据图片定位坐标和预设的定位框规格可以确定四个定位框顶点坐标，然后连接四个定位框顶点坐标可以在目标整体图片上绘制定位框。定位框规格可以根据相机与被拍摄工件表面的距离确定，相机与被拍摄工件表面的距离越近，视野越小，定位框规格也越小；相机与被拍摄工件表面的距离越远，视野越大，定位框规格也越大。
在本实施例中，匹配定位模型通过以下步骤获得：
获取区域图片数据集并初始化匹配定位模型，其中，区域图片数据集的样本标签为区域图片在目标整体图片中的坐标；
将区域图片数据集输入匹配定位模型得到预测坐标；
根据预测坐标和区域图片数据集的样本标签确定训练的损失值；
根据损失值更新匹配定位模型的参数。
在随机采样得到训练数据集后，可以将训练数据集输入到初始化后的匹配定位模型中进行训练。具体地，将训练数据集中的数据输入到初始化后的匹配定位模型后，可以得到模型输出的识别结果，即预测坐标，可以根据预测坐标和前述的标签来评估识别模型预测的准确性，从而对模型的参数进行更新。对于匹配定位模型来说，模型预测结果的准确性可以通过损失函数(Loss Function)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(Cost Function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本申请实施例中，可以从中任选一种损失函数来确定训练的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的匹配定位模型。具体地迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。
进一步地，通过对图片预处理、增加训练数据的数量和来源、结合不同的学习算法、选择合适的增强学习策略和网络结构、调整训练算法的超参数、使用不同的损失函数平衡误差来提高模型的准确性。
根据本发明一些实施例，步骤S140中，将第二区域图片与目标整体图片进行匹配分析确定缺陷定位框这一步骤，包括但不限于以下步骤：
步骤S310，获取第二区域图片的第一点位信息；
步骤S320，获取目标整体图片的多个预设定位框的第二点位信息；
步骤S330，将第一点位信息与多个第二点位信息进行匹配确定对应的预设定位框，将预设定位框作为缺陷定位框。
在本实施例中，工作人员在目标整体图片上根据相机点位框选出对应的定位框以向计算设备输入定位框在目标整体图片上的位置和大小，并将该定位框的编号与相机点位信息绑定，从而得到定位框检索表。相机根据预设点位拍摄第一区域图片后，将当前相机点位信息与第一区域图片进行绑定并发送至计算设备。计算设备将第一区域图片输入缺陷检测模型来判断图片中是否存在缺陷，如果存在缺陷则根据该图片对应的相机点位信息在定位框检索表中查询对应的定位编号，根据该定位框编号对应的定位框位置和大小可以在目标整体图像上对缺陷区域进行标记显示。
本发明实施例还提供一种多相机点位的缺陷区域定位系统，包括：
第一模块，用于基于多相机点位对目标进行拍摄得到多张第一区域图片；
第二模块，用于对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
第三模块，用于获取目标整体图片；
第四模块，用于将所述第二区域图片与所述目标整体图片进行匹配分析确定缺陷定位框，并将所述缺陷定位框在所述目标整体图片上进行显示。
根据本发明一些实施例，上述第四模块包括：
第五模块，用于将第二区域图片输入匹配定位模型得到图片定位坐标；
第六模块，用于根据图片定位坐标在目标整体图片上绘制缺陷定位框。
根据本发明一些实施例，上述第四模块包括：
第七模块，获取第二区域图片的第一点位信息和目标整体图片的多个预设定位框的第二点位信息；
第八模块，将第一点位信息与多个第二点位信息进行匹配确定对应的预设定位框，将预设定位框作为缺陷定位框。
可以理解的是，上述多相机点位的缺陷区域定位方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述多相机点位的缺陷区域定位方法实施例相同，并且达到的有益效果与上述多相机点位的缺陷区域定位方法实施例所达到的有益效果也相同。
参照图2，图2是本发明一个实施例提供的多相机点位的缺陷区域定位装置的示意图。本发明实施例的多相机点位的缺陷区域定位装置包括一个或多个控制处理器和存储器，图2中以一个控制处理器及一个存储器为例。
控制处理器和存储器可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该多相机点位的缺陷区域定位装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，图2中示出的装置结构并不构成对多相机点位的缺陷区域定位装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
实现上述实施例中应用于多相机点位的缺陷区域定位装置的多相机点位的缺陷区域定位方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于多相机点位的缺陷区域定位装置的多相机点位的缺陷区域定位方法。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的多相机点位的缺陷区域定位方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.一种多相机点位的缺陷区域定位方法，其特征在于，包括以下步骤：
基于多相机点位对目标进行拍摄得到多张第一区域图片；
对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
获取目标整体图片；
将所述第二区域图片输入匹配定位模型得到图片定位坐标；
根据所述图片定位坐标在所述目标整体图片上绘制缺陷定位框；
其中，所述匹配定位模型包括卷积层、池化层、全连接层和分类器；
所述卷积层用于对所述第二区域图片进行特征提取得到第一特征向量；
所述池化层用于对所述第一特征向量进行降维得到第二特征向量；
所述全连接层用于将所述池化层输出的所有第二特征向量进行非线性变换得到第三特征向量；
所述分类器用于根据所述第三特征向量进行分类判别得到图片定位坐标；
所述匹配定位模型通过以下步骤获得：
获取区域图片数据集并初始化匹配定位模型，其中，所述区域图片数据集的样本标签为区域图片在目标整体图片中的坐标；
将所述区域图片数据集输入所述匹配定位模型得到预测坐标；
根据所述预测坐标和所述区域图片数据集的样本标签确定训练的损失值；
根据所述损失值更新所述匹配定位模型的参数。
2.根据权利要求1所述的多相机点位的缺陷区域定位方法，其特征在于，所述对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片包括以下步骤：
将所述第一区域图片输入缺陷检测模型确定所述第一区域图片是否存在缺陷；
如果所述第一区域图片存在缺陷，则将所述第一区域图片标记为第二区域图片。
3.根据权利要求1所述的多相机点位的缺陷区域定位方法，其特征在于，所述根据所述图片定位坐标在所述目标整体图片上绘制缺陷定位框包括以下步骤：
根据所述图片定位坐标和预设的定位框规格确定多个定位框顶点坐标；
根据多个所述定位框顶点坐标在所述目标整体图片上绘制定位框。
4.根据权利要求1所述的多相机点位的缺陷区域定位方法，其特征在于，所述卷积层的表示公式如下：
其中，*表示卷积运算，y(n)表示第一特征向量，x(n)表示第二区域图片，h(n)表示卷积核。
5.一种多相机点位的缺陷区域定位系统，其特征在于，包括：
第一模块，用于基于多相机点位对目标进行拍摄得到多张第一区域图片；
第二模块，用于对多张所述第一区域图片进行缺陷检测确定存在目标缺陷的第二区域图片；
第三模块，用于获取目标整体图片；
第四模块，用于将所述第二区域图片输入匹配定位模型得到图片定位坐标；根据所述图片定位坐标在所述目标整体图片上绘制缺陷定位框；
其中，所述匹配定位模型包括卷积层、池化层、全连接层和分类器；
所述卷积层用于对所述第二区域图片进行特征提取得到第一特征向量；
所述池化层用于对所述第一特征向量进行降维得到第二特征向量；
所述全连接层用于将所述池化层输出的所有第二特征向量进行非线性变换得到第三特征向量；
所述分类器用于根据所述第三特征向量进行分类判别得到图片定位坐标；
所述匹配定位模型通过以下步骤获得：
获取区域图片数据集并初始化匹配定位模型，其中，所述区域图片数据集的样本标签为区域图片在目标整体图片中的坐标；
将所述区域图片数据集输入所述匹配定位模型得到预测坐标；
根据所述预测坐标和所述区域图片数据集的样本标签确定训练的损失值；
根据所述损失值更新所述匹配定位模型的参数。
6.一种多相机点位的缺陷区域定位装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至4任一项所述的多相机点位的缺陷区域定位方法。
7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序被由所述处理器执行时用于实现如权利要求1至4任一项所述的多相机点位的缺陷区域定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311328.4A CN116452791B (zh) | 2023-03-27 | 2023-03-27 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311328.4A CN116452791B (zh) | 2023-03-27 | 2023-03-27 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452791A CN116452791A (zh) | 2023-07-18 |
| CN116452791B true CN116452791B (zh) | 2024-03-22 |
Family
ID=87119423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310311328.4A Active CN116452791B (zh) | 2023-03-27 | 2023-03-27 | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452791B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
| CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
| CN111462109A (zh) * | 2020-04-17 | 2020-07-28 | 广东电网有限责任公司 | 一种耐张线夹的缺陷检测方法、装置、设备及存储介质 |
| CN112017986A (zh) * | 2020-10-21 | 2020-12-01 | 季华实验室 | 半导体产品缺陷检测方法、装置、电子设备及存储介质 |
| WO2021217857A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安科技（深圳）有限公司 | 切片缺陷检测方法、装置、电子设备及可读存储介质 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN114078278A (zh) * | 2020-08-20 | 2022-02-22 | Oppo广东移动通信有限公司 | 注视点定位方法与装置、电子设备和存储介质 |
| WO2022100366A1 (zh) * | 2020-11-13 | 2022-05-19 | 华为云计算技术有限公司 | 工业缺陷识别方法、系统、计算设备及存储介质 |
| CN115018846A (zh) * | 2022-08-09 | 2022-09-06 | 东声(苏州)智能科技有限公司 | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 |
| WO2022217840A1 (zh) * | 2021-04-15 | 2022-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
| CN115359034A (zh) * | 2022-09-02 | 2022-11-18 | 深圳思谋信息科技有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
| CN115359239A (zh) * | 2022-08-25 | 2022-11-18 | 中能电力科技开发有限公司 | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 |
| CN115761164A (zh) * | 2022-11-22 | 2023-03-07 | 滴图(北京)科技有限公司 | 逆透视ipm图像生成的方法和装置 |
| CN115797349A (zh) * | 2023-02-07 | 2023-03-14 | 广东奥普特科技股份有限公司 | 一种缺陷检测方法、装置和设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107040725B (zh) * | 2017-05-15 | 2021-04-30 | 惠科股份有限公司 | 一种图像获取装置的坐标校正方法及图像获取装置 |
| US10529077B2 (en) * | 2017-12-19 | 2020-01-07 | Canon Kabushiki Kaisha | System and method for detecting interaction |
| US11618438B2 (en) * | 2018-03-26 | 2023-04-04 | International Business Machines Corporation | Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network |
-
2023
- 2023-03-27 CN CN202310311328.4A patent/CN116452791B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
| CN111462109A (zh) * | 2020-04-17 | 2020-07-28 | 广东电网有限责任公司 | 一种耐张线夹的缺陷检测方法、装置、设备及存储介质 |
| WO2021217857A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安科技（深圳）有限公司 | 切片缺陷检测方法、装置、电子设备及可读存储介质 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN114078278A (zh) * | 2020-08-20 | 2022-02-22 | Oppo广东移动通信有限公司 | 注视点定位方法与装置、电子设备和存储介质 |
| CN112017986A (zh) * | 2020-10-21 | 2020-12-01 | 季华实验室 | 半导体产品缺陷检测方法、装置、电子设备及存储介质 |
| WO2022100366A1 (zh) * | 2020-11-13 | 2022-05-19 | 华为云计算技术有限公司 | 工业缺陷识别方法、系统、计算设备及存储介质 |
| WO2022217840A1 (zh) * | 2021-04-15 | 2022-10-20 | 南京莱斯电子设备有限公司 | 一种复杂背景下高精度多目标跟踪方法 |
| CN115018846A (zh) * | 2022-08-09 | 2022-09-06 | 东声(苏州)智能科技有限公司 | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 |
| CN115359239A (zh) * | 2022-08-25 | 2022-11-18 | 中能电力科技开发有限公司 | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 |
| CN115359034A (zh) * | 2022-09-02 | 2022-11-18 | 深圳思谋信息科技有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
| CN115761164A (zh) * | 2022-11-22 | 2023-03-07 | 滴图(北京)科技有限公司 | 逆透视ipm图像生成的方法和装置 |
| CN115797349A (zh) * | 2023-02-07 | 2023-03-14 | 广东奥普特科技股份有限公司 | 一种缺陷检测方法、装置和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的列车位置指纹定位算法研究;罗淼;《铁道学报》;正文第42-45页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452791A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN113537208A (zh) | 一种基于语义orb-slam技术的视觉定位方法及系统 | |
| EP2064652A1 (en) | Method of image processing | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
| CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
| CN109345460B (zh) | 用于矫正图像的方法和装置 | |
| CN111932582A (zh) | 一种视频图像中的目标跟踪方法及装置 | |
| CN111932579A (zh) | 基于被跟踪目标运动轨迹对设备角度的调整方法及装置 | |
| Kuo et al. | Improving defect inspection quality of deep-learning network in dense beans by using hough circle transform for coffee industry | |
| CN111105436B (zh) | 目标跟踪方法、计算机设备及存储介质 | |
| Kocur et al. | Traffic camera calibration via vehicle vanishing point detection | |
| Santos et al. | A real-time low-cost marker-based multiple camera tracking solution for virtual reality applications | |
| CN117372928A (zh) | 一种视频目标检测方法、装置及相关设备 | |
| CN116452791B (zh) | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 | |
| US11741151B1 (en) | Indexing key frames for localization | |
| Mount et al. | Automatic coverage selection for surface-based visual localization | |
| CN113688819B (zh) | 一种基于标记点的目标物期望点跟踪匹配方法 | |
| CN114022509B (zh) | 基于多个动物的监控视频的目标跟踪方法及相关设备 | |
| Layek et al. | Remote distance measurement from a single image by automatic detection and perspective correction | |
| CN114842506A (zh) | 一种人体姿态估计方法及系统 | |
| CN114863201A (zh) | 三维检测模型的训练方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |