CN117456473A - 车辆装配检测方法、装置、设备及存储介质 - Google Patents
车辆装配检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117456473A CN117456473A CN202311790814.5A CN202311790814A CN117456473A CN 117456473 A CN117456473 A CN 117456473A CN 202311790814 A CN202311790814 A CN 202311790814A CN 117456473 A CN117456473 A CN 117456473A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- assembly
- vehicle body
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 238000004519 manufacturing process Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 210000000746 body region Anatomy 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 description 18
- 238000002372 labelling Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及汽车制造技术领域，尤其涉及一种车辆装配检测方法、装置、设备及存储介质，本发明通过获取生产线上车辆的多个车身图像，并通过训练好的多尺度检测模型对采集到的多个车身图像分别进行装配项识别，从而得到各车身图像对应的车辆装配项识别结果，再通过计算车辆装配项识别结果与预设数据库中存储的车辆数据计算置信度数据，从而根据置信度的大小判断生产线上的车辆是否存在错误装配的情况，提高了车辆装配缺陷识别的效果，避免了现有技术中对生产线上的车辆进行装配部件的缺陷检测的效果较差的技术问题，提高了生产线的装配效率。
Description
技术领域
本发明涉及汽车制造技术领域，尤其涉及一种车辆装配检测方法、装置、设备及存储介质。
背景技术
在汽车装配产业线上，为了减少汽车装配的错误率，一般会通过机器视觉算法对生产线上正在组装的车辆进行缺陷检测，但是在传统的汽车缺陷检测的过程中，只能针对性的将某个部件通过传送装置传输至固定的位置，并通过相机采集待检测部件的图像，使得部件图像占满整个图像，最后通过训练好的检测图像检测装配部件是否存在缺陷。
但在实际的车辆生产线上，下线车辆一般是混线生产，车辆外观和装配部件存在差异，且下线车辆在生产线上是处于持续运动状态，采集的图像不完整，导致车辆装配部件的缺陷检测效果不佳。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种车辆装配检测方法、装置、设备及存储介质，旨在解决现有技术中对生产线上的车辆进行装配部件的缺陷检测的效果较差的技术问题。
为实现上述目的，本发明提供了一种车辆装配检测方法，所述方法包括以下步骤：
获取生产线车辆的多个车身图像；
通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果；
根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度；
根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
可选地，所述车辆装配项识别结果包括：车辆外观检测识别结果和车辆装配项识别结果；
所述通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果，包括：
在接收到预设对象存储库发送的图像资源定位符时，通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像；
通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果；
通过预设小尺度目标检测模式对所述待检测车身图像进行装配项检测，得到车辆装配项识别结果。
可选地，所述通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像，包括：
根据所述图像资源定位符从预设对象存储库中下载对应的图像资源数据；
将所述图像资源数据进行数据转化和色彩空间转化，得到初始车身图像；
对所述初始车身图像进行预处理，得到待检测车身图像。
可选地，所述车辆外观检测识别结果包括：车身面积信息和车身颜色信息；
所述通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果，包括：
确定所述待检测车身图像中的目标车身区域图像；
提取所述目标车身区域图像在所述待检测车身图像中的像素点位置和顶点坐标；
根据所述顶点坐标计算所述目标车身区域图像对应的车身面积信息；
对所述目标车身区域图像进行色彩空间转化，并读取转化后的图像颜色阈值分布信息；
根据所述图像颜色阈值分布信息和预设颜色匹配模型确定车身颜色信息。
可选地，所述车辆装配检测方法，还包括：
根据所述车身面积信息和预设车身面积信息范围确定目标车身图像，所述目标车身图像为包含完整车辆的待检测车身图像；
根据所述目标车身图像和对应的车身颜色信息确定目标车身颜色信息。
可选地，所述通过预设小尺度目标检测模式对车身图像进行装配项检测，得到车辆装配项识别结果，包括：
通过级联的预设目标识别模型截取所述车身图像中的车辆装配项标注框；
基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，得到车辆装配项识别结果。
可选地，所述基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，包括：
计算所述车辆装置项标注框的损失值，并统计预设时间内所述损失值的变化差值；
在所述变化差值满足预设收敛条件时，基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框。
此外，为实现上述目的，本发明还提出一种车辆装配检测装置，所述车辆装配检测装置包括：
获取模块，用于获取生产线车辆的多个车身图像；
识别模块，用于通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果；
计算模块，用于根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度；
判断模块，用于根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
此外，为实现上述目的，本发明还提出一种车辆装配检测设备，所述车辆装配检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆装配检测程序，所述车辆装配检测程序配置为实现如上文所述的车辆装配检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有车辆装配检测程序，所述车辆装配检测程序被处理器执行时实现如上文所述的车辆装配检测方法的步骤。
本发明一种车辆装配检测方法，所述车辆装配检测方法包括：获取生产线车辆的多个车身图像；通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果；根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度；根据所述置信度判断所述生产线车辆是否存在装配项装配错误，与现有技术相比，本发明通过获取生产线上车辆的多个车身图像，并通过训练好的多尺度检测模型对采集到的多个车身图像分别进行装配项识别，从而得到各车身图像对应的车辆装配项识别结果，再通过计算车辆装配项识别结果与预设数据库中存储的车辆数据计算置信度数据，从而根据置信度的大小判断生产线上的车辆是否存在错误装配的情况，提高了车辆装配缺陷识别的效果，避免了现有技术中对生产线上的车辆进行装配部件的缺陷检测的效果较差的技术问题，提高了生产线的装配效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的车辆装配检测设备的结构示意图；
图2为本发明车辆装配检测方法第一实施例的流程示意图；
图3为本发明车辆装配检测方法一实施例的车辆外观检测系统的架构示意图；
图4为本发明车辆装配检测方法第二实施例的流程示意图；
图5为本发明车辆装配检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的车辆装配检测设备结构示意图。
如图1所示，该车辆装配检测设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对车辆装配检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆装配检测程序。
在图1所示的车辆装配检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明车辆装配检测设备中的处理器1001、存储器1005可以设置在车辆装配检测设备中，所述车辆装配检测设备通过处理器1001调用存储器1005中存储的车辆装配检测程序，并执行本发明实施例提供的车辆装配检测方法。
本发明实施例提供了一种车辆装配检测方法，参照图2，图2为本发明一种车辆装配检测方法第一实施例的流程示意图。
本实施例中，所述车辆装配检测方法包括以下步骤：
步骤S10：获取生产线车辆的多个车身图像。
需要说明的是，本实施例方法的执行主体可以是具有图像采集、数据处理以及网络通信等功能的设备，例如：生产线上的控制计算机或者线边服务器等，还可以是其他可以实现相同或者相似功能的设备，本实施例对此不做具体限制，为了便于说明，在本实施例以及下述实施例中，将会以线边服务器为例进行说明。
值得说明的是，在汽车制造领域内的机器视觉研究和应用主要在于对各小尺寸零件的缺陷检测，对于运动过程中的生产线的缺陷检测的实现难度较高，其原因是小尺寸被测件的缺陷检测通常是通过传送装置传输至固定点位相机，相机直接对准零件被检测面，使零件图像基本铺满相机成像区域，通过检测算法实现零件缺陷检测，其采图环境较为单一，环境中背景光线较为稳定，被检测对象位置相对固定，缺陷区域较为显著。
但在车辆外观检测中，生产线上的车辆通常为混线生产，车辆外观和选配项存在差别，同时车辆直接暴露在外部环境中，不同时间段的光照条件不一致，成像质量不一致，车辆在产线中处于不断运行状态，采图设备的采图点位不固定；车辆体积较大，车辆装配项的尺度存在差别，难以精准采集各个装配项的完整图像，导致运动过程中的生产线的缺陷检测的实现难度较高。
为了解决上述问题，本实施例通过获取生产线上车辆的多个车身图像，并通过训练好的多尺度检测模型对采集到的多个车身图像分别进行装配项识别，从而得到各车身图像对应的车辆装配项识别结果，再通过计算车辆装配项识别结果与预设数据库中存储的车辆数据计算置信度数据，从而根据置信度的大小判断生产线上的车辆是否存在错误装配的情况，提高了车辆装配缺陷识别的准确率。
可以理解的是，车辆在检流水线上运行时，采集车身图像的采图时间间隔可依据流水线速进行调整，采图设备曝光时间可根据车身颜色进行调整，具体地，如图3所示，其中1为演示车辆，2为传感器，3 线边相机a，4为线边相机b，5为采图流水线，6为线边服务器，7为声音报警装置，8为远端云服务器，9为数据存储服务器，当车辆经过传感器时，会触发到位信号提示采图系统准备采图，采图设备依据流水线速设定采图时间间隔，根据车身颜色设置线边相机a与b的曝光时间参数，当车辆在检测流水线上运行至采图区域，相机a与相机b依据设置参数等时间间隔采集车辆两侧图像，并将采集的车身图像发送至线边服务器进行处理，线边服务器可以上传至远端云服务器以在数据存储服务器中存储，在需要故障溯源或者车辆装配识别时，读取相应的车身图像。
步骤S20：通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果。
应当理解的是，训练好的多尺度目标检测模型用于对采集到的车身图像进行装配项识别，包括但不限于识别车辆车身颜色和车辆选装部件等，其中，车辆选装部件可以是轮毂、大灯以及散热格栅等，本实施例对此不做具体限制。
车辆装配项识别结果包括车辆外观检测识别结果和车辆装配项识别结果，其中车辆外观检测识别结果包括各车身图像对应的车身颜色和车身面积。
其中，训练好的多尺度目标检测模型是指使用大量人工标注图像基础上训练后的可用于图像识别(推理)过程的文件，识别项目为大尺度目标检测项与特征区域的数据集中，标注内容为图像中的大尺度检测目标与包含小尺度检测目标特征区域，标注形式为矩形框，标注标题为大尺度检测目标、特征区域的名称或代号，识别内容为小尺度检测目标的数据集中，标注内容为小尺度检测目标，标注形式为矩形框，标注标题为小尺度检测目标的名称或代号，本实施例对此不做具体限制。
步骤S30：根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度。
在具体实现中，由于在采集车身图像的过程中，生产线上的车辆是混装且处于运动状态，导致采集的单张图像可能并不完全包含所有的待检测车辆或者同时包含多个残缺的车辆，此时通过训练好的目标检测模型识别出来的车辆外观识别结果和车辆装配项识别结果与实际的车辆存在误差，因而本实施通过计算车辆装配项识别结果与数据库中存储的车辆数据之间的相似度或者置信度，进而提高识别结果的准确度。
步骤S40：根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
应当理解的是，当算法识别结果与数据库中的车辆数据对应的应装配结果一致且识别结果置信度大于0.8则判断装配项装配正确，当未识别到对应检测项或识别为错误结果，则判断该装配项装配错误，最后识别结果可以按照结构化数据格式组合，上传至远端存储服务器，识别结果反馈至线边工作人员进行复核或者确认。
本实施例通过获取生产线上车辆的多个车身图像，并通过训练好的多尺度检测模型对采集到的多个车身图像分别进行装配项识别，从而得到各车身图像对应的车辆装配项识别结果，再通过计算车辆装配项识别结果与预设数据库中存储的车辆数据计算置信度数据，从而根据置信度的大小判断生产线上的车辆是否存在错误装配的情况，提高了车辆装配缺陷识别的效果，避免了现有技术中对生产线上的车辆进行装配部件的缺陷检测的效果较差的技术问题，提高了生产线的装配效率。
参考图4，图4为本发明一种车辆装配检测方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S20，包括：
步骤S201：在接收到预设对象存储库发送的图像资源定位符时，通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像。
需要说明的是，预设对象存储库可以是云端中用于存储采集的车身图像的数据库，其中，由于生产线上的车辆数量较多，且为了提高识别各个车辆的装配结果正确与否，本实施例中设置了较为密集的图像采集频率，以减少错误装配的情况，因而，通过工业相机采集的车身图像数据量较为庞大，同时为了车辆出现装配错误时，可以溯源，在采集到了各个车辆的车身图像之后，可以将各车身图像上传云端的存储数据库中进行存储，在需要对图像进行识别时，本地的控制计算机可以向云端发送图像读取的请求，使得云端可以向生产线上的控制计算机反馈统一资源定位符，以提供控制计算机读取车身图像的接口。
进一步地，所述通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像，包括：
根据所述图像资源定位符从预设对象存储库中下载对应的图像资源数据；
将所述图像资源数据进行数据转化和色彩空间转化，得到初始车身图像；
对所述初始车身图像进行预处理，得到待检测车身图像。
可以理解的是，当本地控制计算机的接口接收到车身图像的统一资源定位符（Uniform Resource Locator，URL）后，通过图像资源定位符从预设对象存储库中下载对应的图像资源数据；将图像资源数据进行数据转化是指将图像资源数据转化为字节流形式，再通过OpenCV工具箱图像字节流转化为可用于算法处理的Numpy数据格式，对图像资源数据进行色彩空间转化是指将图像由BGR色彩空间转化为RGB色彩空间图像，转化形式如下所示。
其中，B，G，R分别代表一个二维矩阵，分别代表三原色的蓝色，绿色，红色。
在具体实现中，由于在相机采集生产线上车辆的车身图像时，车辆处于运动状态，可能会存在因为图像模糊或者拍摄角度不佳等原因，导致采集的车身图像未能包括完整的车身或者存在残影等情况，进而在后续的基于大尺度目标检测和小尺度目标检测的装配项识别时，会出现错误识别结果，本实施例可以针对RGB色彩空间图像进行图像增强、图像形态学操作等预处理方式，进而提高图像的清晰度，进而提高后续的外观检测识别结果和装配项识别结果的精准度。
例如：针对小尺度的目标检测，可以先调整图像大小至合适分辨率，依据目标检测算法获取的截取图像大小不固定，需调整图像分辨率至合适大小，使用三次样条插值算法填充图像用以减少图像缩放时产生的噪声，增大小尺度目标在整张图像中占比，本实施例对此不做具体限制。
步骤S202：通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果。
可以理解的是，对待检测车身图像进行外观检测是指检测图像中的车身颜色和车身面积。
进一步地，所述通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测项识别结果，包括：
确定所述待检测车身图像中的目标车身区域图像；
提取所述目标车身区域图像在所述待检测车身图像中的像素点位置和顶点坐标；
根据所述顶点坐标计算所述目标车身区域图像对应的车身面积信息；
对所述目标车身区域图像进行色彩空间转化，并读取转化后的图像颜色阈值分布信息；
根据所述图像颜色阈值分布信息和预设颜色匹配模型确定车身颜色信息。
在具体实现中，通过检测算法识别出图像中包含车身的区域，并且获取该区域的四个顶点坐标，即左上，左下，右上，右下，根据四个顶点坐标可计算包含识别车身的面积。面积计算公式如下所示：
其中， Area为图像中识别车辆区域面积，为识别框的右上顶点在图像宽边的像素点位置，/>为左上顶点在图像宽边的像素点位置，/>为右下顶点在图像高边的像素点位置，/>为右上顶点在图像高边的像素点位置。
本实施例中的色彩空间转化是指通过OpenCV工具箱将车身图像色彩空间转化至HSV色彩空间；阈值分布信息是指HSV色彩空间中的各种颜色阈值分布。
通过设置各种颜色区间的匹配函数，并将车身图像与设定的颜色匹配函数进行操作，匹配成功则判断车身颜色为对应设定颜色。
进一步地，所述车辆装配检测方法，还包括：
根据所述车身面积信息和预设车身面积信息范围确定目标车身图像，所述目标车身图像为包含完整车辆的待检测车身图像；
根据所述目标车身图像和对应的车身颜色信息确定目标车身颜色信息。
值得说明的是，由于在采集车身图像的过程中，生产线上的车辆是混装且处于运动状态，导致采集的单张图像可能并不完全包含所有的待检测车辆或者同时包含多个残缺的车辆，在对待检测车身图像进行识别的过程中，会由于生产线或者环境颜色的干扰，会出现检测出多种车身颜色的情况，为了解决上述问题，本实施例通过车身图像中计算得到的车身面积对检测到的车身颜色进行筛选，得到可信度较高的车身颜色。
由于车身面积随着车辆在图像中占比面积变化而变化，根据获取不同车型的图像面积范围，确定车辆在运行过程中，采集到的图像是否包含完整车辆图像，对比包含完整车身的多张图像中的车身颜色检测结果，从而确定目标车身颜色信息。
步骤S203：通过预设小尺度目标检测模式对所述待检测车身图像进行装配项检测，得到车辆装配项识别结果。
可以理解的是，装配项检测是指对车身上的各组装部件进行安装位置、部件质量以及型号映射的相关检测。
进一步地，所述通过预设小尺度目标检测模式对车身图像进行装配项检测，得到车辆装配项检测项识别结果，包括：
通过级联的预设目标识别模型截取所述车身图像中的车辆装配项标注框；
基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，得到车辆装配项检测项识别结果。
在具体实现中，使用级联的目标检测模型识别处理后的截取图像中的小尺度目标，并根据截取图像标注出对应的小尺度的车辆装配项标注框，根据车辆装配项标注框和预设装配项标注框中的
进一步地，所述基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，包括：
计算所述车辆装置项标注框的损失值，并统计预设时间内所述损失值的变化差值；
在所述变化差值满足预设收敛条件时，基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框。
在具体实现中，无论是大尺度的车辆外观检测还是小尺度的车辆装配项检测，为了得到最终的检测结果，本实施例都会计算其识别后的损失值，以便于判断是否检测完成。
具体地，所述车辆装置项标注框的损失值的计算公式为：
其中，L为目标函数的总损失，为真实标注内容的各项真值，/>为算法预测过程中的各项预测值，总损失包括训练图像样本中每个样本的检测框坐标回归损失，检测框内是否包含物体的分类损失，检测框内物体为哪个类型的分类损失，整体优化目标为，在多张图像的多次迭代过程使得L函数的总损失最小，当L函数的值变化不显著说明模型达到收敛状态。
所述预训练模型预测模式可简化为:
其中，x为输入RGB图像，f为上述训练的目标检测模型，A为预测结果。当RGB图像输入目标检测网络，算法将从图像中大量预设框中检测是否包含目标检测项或者是否包含与人工标注区域接近的目标，并获取检测框中装配件类型。
本实施例通过读取预设对象存储库中所述图像资源定位符对应的待检测车身图像，并分别对此进行大尺度的车辆外观检测和小尺度的车辆装配项检测，实现生产线上的车辆的不同尺度装配检测，提高了车辆生产的效率，提高了装配项检测的准确率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车辆装配检测程序，所述车辆装配检测程序被处理器执行时实现如上文所述的车辆装配检测方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图5，图5为本发明车辆装配检测装置第一实施例的结构框图。
如图5所示，本发明实施例提出的车辆装配检测装置包括：
获取模块10，用于获取生产线车辆的多个车身图像。
识别模块20，用于通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果。
计算模块30，用于根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度。
判断模块40，用于根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
在一实施例中，所述识别模块20，还用于在接收到预设对象存储库发送的图像资源定位符时，通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像；通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果；通过预设小尺度目标检测模式对所述待检测车身图像进行装配项检测，得到车辆装配项识别结果。
在一实施例中，所述识别模块20，还用于根据所述图像资源定位符从预设对象存储库中下载对应的图像资源数据；将所述图像资源数据进行数据转化和色彩空间转化，得到初始车身图像；对所述初始车身图像进行预处理，得到待检测车身图像。
在一实施例中，所述识别模块20，还用于确定所述待检测车身图像中的目标车身区域图像；提取所述目标车身区域图像在所述待检测车身图像中的像素点位置和顶点坐标；根据所述顶点坐标计算所述目标车身区域图像对应的车身面积信息；对所述目标车身区域图像进行色彩空间转化，并读取转化后的图像颜色阈值分布信息；根据所述图像颜色阈值分布信息和预设颜色匹配模型确定车身颜色信息。
在一实施例中，所述识别模块20，还用于根据所述车身面积信息和预设车身面积信息范围确定目标车身图像，所述目标车身图像为包含完整车辆的待检测车身图像；根据所述目标车身图像和对应的车身颜色信息确定目标车身颜色信息。
在一实施例中，所述识别模块20，还用于通过级联的预设目标识别模型截取所述车身图像中的车辆装配项标注框；基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，得到车辆装配项识别结果。
在一实施例中，所述识别模块20，还用于计算所述车辆装置项标注框的损失值，并统计预设时间内所述损失值的变化差值；在所述变化差值满足预设收敛条件时，基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框。
本实施例通过获取生产线上车辆的多个车身图像，并通过训练好的多尺度检测模型对采集到的多个车身图像分别进行装配项识别，从而得到各车身图像对应的车辆装配项识别结果，再通过计算车辆装配项识别结果与预设数据库中存储的车辆数据计算置信度数据，从而根据置信度的大小判断生产线上的车辆是否存在错误装配的情况，提高了车辆装配缺陷识别的效果，避免了现有技术中对生产线上的车辆进行装配部件的缺陷检测的效果较差的技术问题，提高了生产线的装配效率
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车辆装配检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种车辆装配检测方法，其特征在于，所述车辆装配检测方法包括：
获取生产线车辆的多个车身图像；
通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果；
根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度；
根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
2.如权利要求1所述的车辆装配检测方法，其特征在于，所述车辆装配项识别结果包括：车辆外观检测识别结果和车辆装配项识别结果；
所述通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果，包括：
在接收到预设对象存储库发送的图像资源定位符时，通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像；
通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果；
通过预设小尺度目标检测模式对所述待检测车身图像进行装配项检测，得到车辆装配项识别结果。
3.如权利要求2所述的车辆装配检测方法，其特征在于，所述通过预设算法接口读取所述预设对象存储库中所述图像资源定位符对应的待检测车身图像，包括：
根据所述图像资源定位符从预设对象存储库中下载对应的图像资源数据；
将所述图像资源数据进行数据转化和色彩空间转化，得到初始车身图像；
对所述初始车身图像进行预处理，得到待检测车身图像。
4.如权利要求2所述的车辆装配检测方法，其特征在于，所述车辆外观检测识别结果包括：车身面积信息和车身颜色信息；
所述通过预设大尺度目标检测模式对所述待检测车身图像进行外观检测，得到车辆外观检测识别结果，包括：
确定所述待检测车身图像中的目标车身区域图像；
提取所述目标车身区域图像在所述待检测车身图像中的像素点位置和顶点坐标；
根据所述顶点坐标计算所述目标车身区域图像对应的车身面积信息；
对所述目标车身区域图像进行色彩空间转化，并读取转化后的图像颜色阈值分布信息；
根据所述图像颜色阈值分布信息和预设颜色匹配模型确定车身颜色信息。
5.如权利要求4所述的车辆装配检测方法，其特征在于，所述车辆装配检测方法，还包括：
根据所述车身面积信息和预设车身面积信息范围确定目标车身图像，所述目标车身图像为包含完整车辆的待检测车身图像；
根据所述目标车身图像和对应的车身颜色信息确定目标车身颜色信息。
6.如权利要求2所述的车辆装配检测方法，其特征在于，所述通过预设小尺度目标检测模式对车身图像进行装配项检测，得到车辆装配项识别结果，包括：
通过级联的预设目标识别模型截取所述车身图像中的车辆装配项标注框；
基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，得到车辆装配项识别结果。
7.如权利要求6所述的车辆装配检测方法，其特征在于，所述基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框，包括：
计算所述车辆装置项标注框的损失值，并统计预设时间内所述损失值的变化差值；
在所述变化差值满足预设收敛条件时，基于预设小尺度目标检测模式匹配所述车辆装配项标注框和预设装配项标注框。
8.一种车辆装配检测装置，其特征在于，所述车辆装配检测装置包括：
获取模块，用于获取生产线车辆的多个车身图像；
识别模块，用于通过训练好的多尺度目标检测模型分别对各车身图像进行装配项识别，得到车辆装配项识别结果；
计算模块，用于根据所述车辆装配项识别结果与预设数据库中存储的车辆数据计算识别结果的置信度；
判断模块，用于根据所述置信度判断所述生产线车辆是否存在装配项装配错误。
9.一种车辆装配检测设备，其特征在于，所述车辆装配检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆装配检测程序，所述车辆装配检测程序配置为实现如权利要求1至7中任一项所述的车辆装配检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有车辆装配检测程序，所述车辆装配检测程序被处理器执行时实现如权利要求1至7任一项所述的车辆装配检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311790814.5A CN117456473B (zh) | 2023-12-25 | 2023-12-25 | 车辆装配检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311790814.5A CN117456473B (zh) | 2023-12-25 | 2023-12-25 | 车辆装配检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456473A true CN117456473A (zh) | 2024-01-26 |
| CN117456473B CN117456473B (zh) | 2024-03-29 |
Family
ID=89580304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311790814.5A Active CN117456473B (zh) | 2023-12-25 | 2023-12-25 | 车辆装配检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456473B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311540A (zh) * | 2020-01-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 车辆定损方法、装置、计算机设备和存储介质 |
| CN114429619A (zh) * | 2022-01-26 | 2022-05-03 | 浙江商汤科技开发有限公司 | 目标车辆的检测方法及装置 |
| CN114495022A (zh) * | 2021-12-13 | 2022-05-13 | 江苏集萃未来城市应用技术研究所有限公司 | 基于多尺度YOLOv5嵌套的车辆车牌检测定位方法 |
| CN115601728A (zh) * | 2022-10-28 | 2023-01-13 | 中国农业银行股份有限公司（Cn） | 一种车辆识别方法、装置、设备以及存储介质 |
| CN115600941A (zh) * | 2022-12-09 | 2023-01-13 | 安徽大学绿色产业创新研究院（Cn） | 一种装配式预制件工厂的物料管理系统 |
| WO2023123818A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 车辆改装检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
-
2023
- 2023-12-25 CN CN202311790814.5A patent/CN117456473B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311540A (zh) * | 2020-01-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 车辆定损方法、装置、计算机设备和存储介质 |
| CN114495022A (zh) * | 2021-12-13 | 2022-05-13 | 江苏集萃未来城市应用技术研究所有限公司 | 基于多尺度YOLOv5嵌套的车辆车牌检测定位方法 |
| WO2023123818A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 车辆改装检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| CN114429619A (zh) * | 2022-01-26 | 2022-05-03 | 浙江商汤科技开发有限公司 | 目标车辆的检测方法及装置 |
| CN115601728A (zh) * | 2022-10-28 | 2023-01-13 | 中国农业银行股份有限公司（Cn） | 一种车辆识别方法、装置、设备以及存储介质 |
| CN115600941A (zh) * | 2022-12-09 | 2023-01-13 | 安徽大学绿色产业创新研究院（Cn） | 一种装配式预制件工厂的物料管理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈立潮;王彦苏;曹建芳;: "基于Dense-YOLOv3的车型检测模型", 计算机系统应用, no. 10, 13 October 2020 (2020-10-13) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456473B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| CN112541395A (zh) | 一种目标检测和跟踪方法、装置、存储介质及电子装置 | |
| CN114565895B (zh) | 一种基于智慧社会的安防监控系统及方法 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN111814739B (zh) | 快递包裹体积的检测方法、装置、设备及存储介质 | |
| CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN113221947A (zh) | 一种基于图像识别技术的工业质检方法及系统 | |
| CN111767780A (zh) | 一种ai与视觉结合的智能集卡定位方法和系统 | |
| CN112149707B (zh) | 图像采集控制方法、装置、介质及设备 | |
| CN114119644B (zh) | 一种基于边缘特征的模板匹配方法 | |
| CN109743497B (zh) | 一种数据集采集方法、系统及电子装置 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN117788444A (zh) | Smt贴片偏移检测方法、装置及视觉检测系统 | |
| CN117456473B (zh) | 车辆装配检测方法、装置、设备及存储介质 | |
| CN110298347B (zh) | 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法 | |
| CN116843618A (zh) | 一种金属零件浅显外观缺陷检测方法 | |
| CN116128853A (zh) | 一种产线装配检测方法、系统、计算机及可读存储介质 | |
| CN116385336A (zh) | 基于深度学习的焊缝检测方法、系统、装置及存储介质 | |
| US20230057340A1 (en) | Systems, methods, and devices for automated meter reading for smart field patrol | |
| CN115909151A (zh) | 一种复杂工作条件下运动容器编号识别方法 | |
| CN112001388B (zh) | 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法 | |
| CN111428796B (zh) | 一种基于深度学习的通用物品检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |