CN117829678A - 结合多场景拟合的车辆质检方法及系统 - Google Patents
结合多场景拟合的车辆质检方法及系统 Download PDFInfo
- Publication number
- CN117829678A CN117829678A CN202410053840.8A CN202410053840A CN117829678A CN 117829678 A CN117829678 A CN 117829678A CN 202410053840 A CN202410053840 A CN 202410053840A CN 117829678 A CN117829678 A CN 117829678A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- quality inspection
- scene
- models
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000004519 manufacturing process Methods 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000000105 evaporative light scattering detection Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了结合多场景拟合的车辆质检方法及系统,涉及车辆质检技术领域,包括:采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,进行特征提取获取标注车辆特征,在车辆生产流程中进行溯源,建立与生产工艺节点的映射关系,进行场景分析,进行三维建模生成多个三维场景模型,采集多种数据模态进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型,部署到实际生产线上,结合映射关系,进行车辆质量检测和异常工艺定位。本发明解决了传统方法通常只针对特定场景下的车辆进行检测,无法适应不同场景下的变化,导致车辆质检的准确性和鲁棒性不高的技术问题。
Description
技术领域
本发明涉及车辆质检技术领域,具体涉及结合多场景拟合的车辆质检方法及系统。
背景技术
传统车辆质检方法存在的多种问题,一方面,传统车辆质检方法通常只基于特定场景下的车辆数据进行建模和检测,这导致在真实生产环境中,如果车辆出现在不同的场景中,如不同角度、光照条件、天气等,传统方法可能无法准确识别异常情况或者产生较高的误报率;另一方面,传统车辆质检方法很少与生产工艺节点进行有效的关联,无法追溯车辆质检结果与具体生产工艺环节之间的关系,因此,在发现异常工艺或质量问题时,难以准确定位根本原因,阻碍了质量改进和错误预防的工作。
因此需要一种结合多场景拟合的车辆质检方法,可以解决传统方法存在的技术问题,实现提高质检的准确性、鲁棒性和可追溯性,从而更好地适应不同场景下的车辆质检需求。
发明内容
本申请通过提供了结合多场景拟合的车辆质检方法及系统,旨在解决传统方法通常只针对特定场景下的车辆进行检测,无法适应不同场景下的变化,导致车辆质检的准确性和鲁棒性不高的技术问题。
鉴于上述问题,本申请提供了结合多场景拟合的车辆质检方法及系统。
本申请公开的第一个方面,提供了结合多场景拟合的车辆质检方法,所述方法包括:采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
本申请公开的另一个方面,提供了结合多场景拟合的车辆质检系统,所述系统用于上述方法,所述系统包括:图像采集模块,所述图像采集模块用于采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;特征提取模块,所述特征提取模块用于对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;特征溯源模块,所述特征溯源模块用于基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;场景分析模块,所述场景分析模块用于对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;多模态融合模块,所述多模态融合模块用于采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;质量检测模块,所述质量检测模块用于将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
通过采集多个场景下的车辆图像数据集合,并对其进行标注,获取带有车辆信息和场景信息的标注车辆图像集合,这样可以建立更全面、多样化的车辆模型,使质检方法能够适应不同场景下的变化;基于提取的标注车辆特征,与生产工艺节点进行映射关系的建立,这样可以实现对车辆质检结果与具体生产工艺环节之间的追溯,方便异常工艺的定位和分析;结合多种数据模态,对多个三维场景模型进行多模态融合,这样可以充分利用各种数据的优势,提高质检模型的准确性和鲁棒性。通过部署多个质检模型到实际生产线上,并结合映射关系,实现车辆质量检测和异常工艺定位,这种方法可以提高质检的精度、效率和可追溯性,从而有效解决现有技术在车辆质检中存在的问题。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了结合多场景拟合的车辆质检方法流程示意图;
图2为本申请实施例提供了结合多场景拟合的车辆质检系统结构示意图。
附图标记说明:图像采集模块10,特征提取模块20,特征溯源模块30,场景分析模块40,多模态融合模块50,质量检测模块60。
具体实施方式
本申请实施例通过提供结合多场景拟合的车辆质检方法,解决了传统方法通常只针对特定场景下的车辆进行检测,无法适应不同场景下的变化,导致车辆质检的准确性和鲁棒性不高的技术问题。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了结合多场景拟合的车辆质检方法,所述方法包括:
采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;
在多个场景下设置相机或传感器设备,以获取车辆图像数据,这些场景可以包括不同的道路环境、天气条件和照明情况等,通过摄像头或传感器设备,采集获取车辆图像数据。使用半自动的方法对采集到的车辆图像进行标注,标注的目的是为每个图像添加包含车辆信息和场景信息的标签,车辆信息包括车型、品牌、颜色、车牌号等,场景信息包括时间、地点、光照条件等,标注可以在图像上直接添加文本标签或者通过辅助工具进行绘制和编辑。将经过标注的车辆图像保存为一个数据集合,确保每个图像都包含准确的标注信息,即车辆信息和场景信息,这个数据集合将成为后续步骤中进行特征提取和模型训练的基础。
对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;
在进行特征提取之前,对标注车辆图像进行预处理以减少噪声、标准化尺寸或颜色等,包括调整图像大小、灰度化、去除背景等操作。选择适合任务需求的特征提取方法,常见的特征提取方法包括传统的计算机视觉特征如边缘检测、颜色直方图、纹理特征等。使用所选的特征提取方法对每个标注车辆图像进行特征提取操作,通过计算图像的数值描述符来获取特征向量,将每个标注车辆图像的特征表示为向量形式,以便后续的分析和处理,确保特征向量与其相应的标注信息(车辆信息和场景信息)进行关联。通过特征提取过程,获得一个包含标注车辆特征的数据集,可以用于各种相关任务,如车辆分类、对象检测、行为识别等。
基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;
进行车辆生产过程中的数据采集,包括图像、视频等,在采集数据的同时,对每个生产阶段或关键节点进行标注,添加相应的车辆特征信息,例如零部件型号、序列号、装配步骤等。根据特定的车辆特征和生产工艺节点,从标注数据中提取相应特征,特征可以是车辆的物理特性、技术参数、零部件标识等,然后,通过数据间的关联和比较,将每个标注车辆特征与对应的生产工艺节点进行匹配。
基于提取的特征和关联结果,建立标注车辆特征与生产工艺节点的映射关系,这可以通过创建对应表格、建立数据库等方式实现,例如,建立一个映射表格,其中列出不同的车辆特征,在相应的行中指定对应的生产工艺节点。利用建立好的映射关系,进行车辆的溯源分析,通过查找特定车辆特征,在映射关系中确定其所属的生产工艺节点,这使得可以追踪车辆在不同生产阶段的情况,标识可能出现的问题、交叉验证零部件的匹配等。
对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;
对收集到的场景数据进行预处理,包括图像去噪、图像校正等操作,使用计算机视觉、深度学习等技术,对场景数据进行分析,例如,进行目标检测和语义分割,以提取场景中的物体、结构和场景信息,基于场景分析结果,利用三维重建技术将场景数据转换为三维场景模型,对于图像数据,可以使用立体视觉、多视角重建等方法进行三维重建,生成三维模型。根据场景分析和三维重建的结果,生成多个场景的三维场景模型,每个场景模型包含物体的几何形状、纹理信息和其他属性,以及场景中的相对位置和关系。
采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;
收集多种数据模态,包括图像、视频、LIDAR点云、热红外等,这些数据可以从不同的传感器或设备中获取,以捕捉多个角度和特征的信息。利用多种数据模态进行融合,将不同的数据源结合起来,获得更加全面和丰富的信息,例如,可以将图像与LIDAR点云进行融合,将热红外图像与RGB图像进行融合等,这可以增强对车辆特征和生产状态的理解。
基于多模态融合结果和生产工艺节点,建立多个质检模型,质检模型可以使用各种机器学习或深度学习算法进行训练,以识别和评估车辆生产过程中的异常。这种基于多模态数据和质检模型的方法可以提供更全面、准确的生产质量检测,通过结合不同数据源的信息,在质检过程中能够更好地发现和诊断潜在问题,从而改善生产流程和产品质量。
将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
使用标注的训练数据,进行模型参数调整和验证,以此对建立的多个质检模型进行训练和优化,确保其在真实生产环境中的准确性,在实际生产线上,从车辆中采集数据并提取相应的特征,获取车辆的物理特征、形状信息、颜色等相关属性。如果有多种数据模态可用,如前面提到的图像、LIDAR点云等,可以将这些数据进行融合,以获得更全面和准确的车辆特征信息。
将采集到的车辆特征输入到部署好的质检模型中进行检测和分析,根据模型输出的结果,可以判断车辆是否符合质量标准,并识别出存在异常工艺的情况。根据建立的映射关系,将质检模型的输出与生产工艺节点进行匹配,通过比较车辆特征、质检结果和生产工艺节点的对应关系,定位到具体的异常工艺所在。一旦发现异常工艺或质量问题,及时采取措施进行处理和改进,包括修复异常工艺、更换不合格零部件等操作,以提高车辆的整体质量。
通过将多个质检模型与实际生产线结合,并结合映射关系进行车辆质量检测和异常工艺定位,可以实现实时监测和反馈,提高生产效率和产品质量。
进一步而言,进行车辆质量检测和异常工艺定位,包括:
在所述实际生产线提取第一生产节点,采集第一生产节点的检测车辆图像;
对所述检测车辆图像进行特征提取,获取检测车辆特征;
采用所述多个质检模型对所述检测车辆特征进行单场景质量检测,获取多个单场景质量检测结果;
当存在任一单场景质量检测结果显示质检结果异常,根据所述映射关系,定位异常工艺节点,并生产异常信息,发送至工作人员。
在实际生产线的多个生产节点中任意选择一个节点作为第一生产节点,从第一生产节点采集车辆的检测图像,这些图像涵盖车辆的各个部分和角度,以便全面地捕捉车辆的特征。对采集到的检测车辆图像进行特征提取,使用图像处理和计算机视觉技术,提取出车辆的形状、颜色、纹理等特征信息。将提取的检测车辆特征输入多个质检模型中,进行单场景质量检测,每个质检模型专注于不同的质量指标或问题检测任务,运行这些模型得到多个单场景质量检测结果。
根据得到的多个单场景质量检测结果,判断是否存在异常情况,如果任何一个质检模型的输出表示质检结果异常,就意味着有质量问题存在。利用建立好的映射关系,将异常车辆与具体的异常工艺节点进行关联,这样可以快速定位到问题所在,并生成相应的异常信息,然后将这些信息发送给相关的工作人员,以便他们能够采取适当的措施进行处理。
通过以上步骤,可以实现在实际生产线上对车辆质量进行检测,并及时发现和定位异常工艺,这有助于提高产品质量,减少不合格品数量,并促进生产优化和改进。
进一步而言,采用所述多个质检模型对所述检测车辆特征进行单场景质量检测,包括:
获取第一质检模型的第一标注车辆特征;
将所述第一标注车辆特征与所述检测车辆特征进行相似度计算,获取特征相似度,当所述特征相似度满足预设相似度阈值时,生成仿真指令;
根据所述仿真指令控制所述第一质检模型进行仿真,基于车辆质检指标对仿真结果进行评估,获取评估结果,作为第一质量检测结果。
获取第一质检模型中的第一标注车辆特征,这些标注特征可以作为质检模型的参考。将第一标注车辆特征与检测车辆特征进行相似度计算,通过计算特征之间的距离或应用其他相似度度量方法,获取特征相似度,比较相似度阈值,以确定是否满足预设的相似度要求。当特征相似度满足预设相似度阈值时,生成仿真指令,这意味着检测车辆与该模型对应的特征的相似度高,可认为其可以通过该模型进行质量检测。
根据生成的仿真指令,控制第一质检模型进行仿真操作,即模拟车辆在该模型对应的场景下的情况,基于车辆质检指标,对仿真结果进行评估,得到评估结果作为第一质量检测结果,评估结果可以表示该车辆在特定场景下质检指标的合格与否。
这种方法可以提高质检效率和准确性,同时降低实际生产中对人工判断的依赖。
进一步而言,还包括:
当所述特征相似度不满足预设相似度阈值时,将所述第一质检模型加入禁忌列表;
结合所述禁忌列表对多个质检模型进行遍历,直到遍历完所有质检模型,输入多个质量检测结果。
当特征相似度未达到预设相似度阈值,说明第一质检模型对该车辆的质量评估可能不准确,因此,将该模型添加到禁忌列表中,以避免再次使用。结合禁忌列表,对剩余的质检模型进行遍历,这些质检模型包括其他已经训练好的模型,并确保不再使用已经被排除的模型。对每个质检模型进行运行,并生成相应的质量检测结果,这些结果可以表示各个质检模型在当前车辆上的质量评估。
进一步而言,还包括:
对所述多个质检模型进行可融合性评估,根据评估结果筛选出可进行融合的若干个质检模型;
对所述若干个质检模型进行堆叠融合,获取融合模型,采用所述融合模型对所述检测车辆特征进行融合场景质量检测,获取融合场景质量检测结果。
对多个质检模型进行评估,以确定它们是否可以进行有效的融合,这个过程涉及评估模型之间的互补性、性能差异以及融合的潜在收益等因素,通过综合考虑这些因素,筛选出可进行融合的若干个质检模型。
选择经过可融合性评估的若干个质检模型,并采用堆叠融合方法生成一个融合模型,堆叠融合包括将多个质检模型的输出作为输入,通过另一个模型,例如分类器或回归器,将这些输出进行融合,这个过程可以在训练数据上进行,以使得融合模型能够学习如何最好地结合各个质检模型的评估结果。利用生成的融合模型,对检测车辆特征进行融合场景质量检测,将车辆特征输入到融合模型中,获得融合场景质量检测的结果,这个结果可以综合利用多个质检模型的场景,并提供更准确、可靠的质量检测结果。
这种融合方法可以进一步提高质量检测的准确性和稳定性,同时充分利用多个质检模型的优势。
进一步而言,对所述标注车辆图像集合中的标注车辆图像进行特征提取,包括:
对所述标注车辆图像中不同颜色通道分布数据进行直方图统计,获取颜色特征;
对所述标注车辆图像进行边缘检测,获取边缘特征;
对所述颜色特征和所述边缘特征进行归一化处理,并进行编码,获取标注车辆特征。
针对标注车辆图像,通过对不同颜色通道的分布数据进行直方图统计来获取颜色特征,直方图统计展示图像中各个颜色通道的分布情况,从而捕捉到图像的颜色信息,通过对每个颜色通道进行直方图统计,并结合它们的分布情况,获得描述标注车辆颜色特征的数据。
对于标注车辆图像,进行边缘检测,以获取边缘特征,通过边缘检测技术可以捕捉图像中物体轮廓和形状的信息,通过应用边缘检测算法,如Canny算子,到标注车辆图像上,获得表示车辆边缘特征的二值图像。
对提取的颜色特征和边缘特征进行归一化处理,以确保它们具有相似的数值范围,常见的归一化方法包括将特征值缩放到0到1的范围内,接下来,利用编码方法,如独热编码或二进制编码对归一化后的特征进行表示,将特征转换为向量形式。
进一步而言,还包括:
在车辆质量检测和异常工艺定位后,进行质检效果评估;
根据评估结果生成修正系数,根据所述修正系数对所述多个质检模型进行调整。
在车辆质量检测和异常工艺定位之后,针对车辆质量检测和异常工艺定位的结果,进行评估以确定质检的准确性、召回率或其他相关指标,具体的,对已知车辆的实际质量问题进行比对,以及对质检算法在不同情况下的表现进行分析,通过质检效果评估,明确各个质检模型的性能和潜在改进的方向。
基于质检效果评估的结果,计算生成修正系数,修正系数可以是一组权重,用于调整每个质检模型的输出结果,这些修正系数根据质检模型在评估中的表现来确定,旨在提高模型的准确性和鲁棒性。利用生成的修正系数,对多个质检模型进行调整,包括对模型的权重、阈值或其他相关参数进行修改,以使质检模型能够更好地适应实际情况和评估结果,通过基于修正系数来调整质检模型,实现提高模型的性能,使其更准确地预测车辆质量问题。
综上所述,本申请实施例所提供的结合多场景拟合的车辆质检方法及系统具有如下技术效果:
1.通过采集多个场景下的车辆图像数据集合,并对其进行标注,获取带有车辆信息和场景信息的标注车辆图像集合,这样可以建立更全面、多样化的车辆模型,使质检方法能够适应不同场景下的变化;
2.基于提取的标注车辆特征,与生产工艺节点进行映射关系的建立,这样可以实现对车辆质检结果与具体生产工艺环节之间的追溯,方便异常工艺的定位和分析;
3.结合多种数据模态,对多个三维场景模型进行多模态融合,这样可以充分利用各种数据的优势,提高质检模型的准确性和鲁棒性。
通过部署多个质检模型到实际生产线上,并结合映射关系,实现车辆质量检测和异常工艺定位,这种方法可以提高质检的精度、效率和可追溯性,从而有效解决现有技术在车辆质检中存在的问题。
实施例二
基于与前述实施例中结合多场景拟合的车辆质检方法相同的发明构思,如图2所示,本申请提供了结合多场景拟合的车辆质检系统,所述系统包括:
图像采集模块10,所述图像采集模块10用于采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;
特征提取模块20,所述特征提取模块20用于对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;
特征溯源模块30,所述特征溯源模块30用于基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;
场景分析模块40,所述场景分析模块40用于对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;
多模态融合模块50,所述多模态融合模块50用于采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;
质量检测模块60,所述质量检测模块60用于将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
进一步而言,所述系统还包括异常信息生成模块,以执行如下操作步骤:
在所述实际生产线提取第一生产节点,采集第一生产节点的检测车辆图像;
对所述检测车辆图像进行特征提取,获取检测车辆特征;
采用所述多个质检模型对所述检测车辆特征进行单场景质量检测,获取多个单场景质量检测结果;
当存在任一单场景质量检测结果显示质检结果异常,根据所述映射关系,定位异常工艺节点,并生产异常信息,发送至工作人员。
进一步而言,所述系统还包括第一质量检测结果获取模块,以执行如下操作步骤:
获取第一质检模型的第一标注车辆特征;
将所述第一标注车辆特征与所述检测车辆特征进行相似度计算,获取特征相似度,当所述特征相似度满足预设相似度阈值时,生成仿真指令;
根据所述仿真指令控制所述第一质检模型进行仿真,基于车辆质检指标对仿真结果进行评估,获取评估结果,作为第一质量检测结果。
进一步而言,所述系统还包括多个质量检测结果获取模块,以执行如下操作步骤:
当所述特征相似度不满足预设相似度阈值时,将所述第一质检模型加入禁忌列表;
结合所述禁忌列表对多个质检模型进行遍历,直到遍历完所有质检模型,输入多个质量检测结果。
进一步而言,所述系统还包括融合场景质量检测模块,以执行如下操作步骤:
对所述多个质检模型进行可融合性评估,根据评估结果筛选出可进行融合的若干个质检模型;
对所述若干个质检模型进行堆叠融合,获取融合模型,采用所述融合模型对所述检测车辆特征进行融合场景质量检测,获取融合场景质量检测结果。
进一步而言,所述系统还包括特征提取模块,以执行如下操作步骤:
对所述标注车辆图像中不同颜色通道分布数据进行直方图统计,获取颜色特征;
对所述标注车辆图像进行边缘检测,获取边缘特征;
对所述颜色特征和所述边缘特征进行归一化处理,并进行编码,获取标注车辆特征。
进一步而言,所述系统还包括模型调整模块,以执行如下操作步骤:
在车辆质量检测和异常工艺定位后,进行质检效果评估;
根据评估结果生成修正系数,根据所述修正系数对所述多个质检模型进行调整。
本说明书通过前述对结合多场景拟合的车辆质检方法的详细描述,本领域技术人员可以清楚得知道本实施例中的结合多场景拟合的车辆质检系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述得比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.结合多场景拟合的车辆质检方法,其特征在于,所述方法包括:
采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;
对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;
基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;
对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;
采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;
将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
2.如权利要求1所述的方法,其特征在于,进行车辆质量检测和异常工艺定位,包括:
在所述实际生产线提取第一生产节点,采集第一生产节点的检测车辆图像;
对所述检测车辆图像进行特征提取,获取检测车辆特征;
采用所述多个质检模型对所述检测车辆特征进行单场景质量检测,获取多个单场景质量检测结果;
当存在任一单场景质量检测结果显示质检结果异常,根据所述映射关系,定位异常工艺节点,并生产异常信息,发送至工作人员。
3.如权利要求2所述的方法,其特征在于,采用所述多个质检模型对所述检测车辆特征进行单场景质量检测,包括:
获取第一质检模型的第一标注车辆特征;
将所述第一标注车辆特征与所述检测车辆特征进行相似度计算,获取特征相似度,当所述特征相似度满足预设相似度阈值时,生成仿真指令;
根据所述仿真指令控制所述第一质检模型进行仿真,基于车辆质检指标对仿真结果进行评估,获取评估结果,作为第一质量检测结果。
4.如权利要求3所述的方法,其特征在于,还包括:
当所述特征相似度不满足预设相似度阈值时,将所述第一质检模型加入禁忌列表;
结合所述禁忌列表对多个质检模型进行遍历,直到遍历完所有质检模型,输入多个质量检测结果。
5.如权利要求2所述的方法,其特征在于,还包括:
对所述多个质检模型进行可融合性评估,根据评估结果筛选出可进行融合的若干个质检模型;
对所述若干个质检模型进行堆叠融合,获取融合模型,采用所述融合模型对所述检测车辆特征进行融合场景质量检测,获取融合场景质量检测结果。
6.如权利要求1所述的方法,其特征在于,对所述标注车辆图像集合中的标注车辆图像进行特征提取,包括:
对所述标注车辆图像中不同颜色通道分布数据进行直方图统计,获取颜色特征;
对所述标注车辆图像进行边缘检测,获取边缘特征;
对所述颜色特征和所述边缘特征进行归一化处理,并进行编码,获取标注车辆特征。
7.如权利要求1所述的方法,其特征在于,还包括:
在车辆质量检测和异常工艺定位后,进行质检效果评估;
根据评估结果生成修正系数,根据所述修正系数对所述多个质检模型进行调整。
8.结合多场景拟合的车辆质检系统,其特征在于,用于实施权利要求1-7任一项所述的结合多场景拟合的车辆质检方法,包括:
图像采集模块,所述图像采集模块用于采集多个场景下的车辆图像数据集合,并对车辆图像进行标注,获取带有标注内容的标注车辆图像集合,其中,所述标注内容包括车辆信息、场景信息;
特征提取模块,所述特征提取模块用于对所述标注车辆图像集合中的标注车辆图像进行特征提取,获取标注车辆特征;
特征溯源模块,所述特征溯源模块用于基于所述标注车辆特征,在车辆生产流程中进行溯源,建立所述标注车辆特征与生产工艺节点的映射关系;
场景分析模块,所述场景分析模块用于对所述多个场景进行场景分析,根据场景分析结果进行三维建模,生成多个场景的多个三维场景模型;
多模态融合模块,所述多模态融合模块用于采集多种数据模态,利用所述多种数据模态对所述多个三维场景模型进行多模态融合,并将多模态融合结果与生产工艺节点进行匹配,建立多个质检模型;
质量检测模块,所述质量检测模块用于将所述多个质检模型部署到实际生产线上,结合所述映射关系,进行车辆质量检测和异常工艺定位。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2023114827095 | 2023-11-09 | ||
CN202311482709 | 2023-11-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117829678A true CN117829678A (zh) | 2024-04-05 |
Family
ID=90504283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410053840.8A Pending CN117829678A (zh) | 2023-11-09 | 2024-01-15 | 结合多场景拟合的车辆质检方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117829678A (zh) |
-
2024
- 2024-01-15 CN CN202410053840.8A patent/CN117829678A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zavrtanik et al. | Draem-a discriminatively trained reconstruction embedding for surface anomaly detection | |
CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
CN105719188A (zh) | 基于多张图片一致性实现保险理赔反欺诈的方法及服务器 | |
CN102915432B (zh) | 一种车载微机图像视频数据提取方法及装置 | |
CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
CN115294117B (zh) | Led灯珠的缺陷检测方法及相关装置 | |
CN102509085A (zh) | 基于轮廓不变矩特征的猪行走姿态识别系统和方法 | |
CN110674808A (zh) | 一种变电站压板状态智能识别方法及装置 | |
Hernández-Rabadán et al. | Integrating SOMs and a Bayesian classifier for segmenting diseased plants in uncontrolled environments | |
CN112183313A (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
CN106951863B (zh) | 一种基于随机森林的变电站设备红外图像变化检测方法 | |
CN106355140A (zh) | 车辆检测的方法及装置 | |
CN114332083A (zh) | 一种基于PFNet的工业品伪装瑕疵识别方法 | |
CN110618129A (zh) | 一种电网线夹自动检测与缺陷识别方法及装置 | |
CN117829243A (zh) | 模型训练方法、目标检测方法、装置、电子设备及介质 | |
CN114662594B (zh) | 一种目标特征识别分析系统 | |
CN117829678A (zh) | 结合多场景拟合的车辆质检方法及系统 | |
CN114494773A (zh) | 一种基于深度学习的零件分拣识别系统和方法 | |
CN112270357A (zh) | Vio视觉系统及方法 | |
CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
CN117115783B (zh) | 基于机器视觉的流水线工作行为识别方法 | |
CN112446870B (zh) | 管道损伤检测方法、装置、设备及存储介质 | |
CN118096747B (zh) | 基于深度学习的pcba板自动检测方法及系统 | |
CN117935174B (zh) | 真空袋膜生产线的智能化管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |