CN115809983A - 缺陷检测方法、系统、装置、设备、存储介质和产品 - Google Patents
缺陷检测方法、系统、装置、设备、存储介质和产品 Download PDFInfo
- Publication number
- CN115809983A CN115809983A CN202211037772.3A CN202211037772A CN115809983A CN 115809983 A CN115809983 A CN 115809983A CN 202211037772 A CN202211037772 A CN 202211037772A CN 115809983 A CN115809983 A CN 115809983A
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- detection
- target material
- dimensional
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 737
- 230000007547 defect Effects 0.000 title claims abstract description 306
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000013077 target material Substances 0.000 claims abstract description 254
- 238000000034 method Methods 0.000 claims abstract description 82
- 239000000047 product Substances 0.000 claims description 178
- 239000013589 supplement Substances 0.000 claims description 62
- 230000001502 supplementing effect Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 15
- 239000011324 bead Substances 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003466 welding Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 27
- 238000007789 sealing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 239000007788 liquid Substances 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 238000002347 injection Methods 0.000 description 12
- 239000007924 injection Substances 0.000 description 12
- 238000003825 pressing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000003292 glue Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000013072 incoming material Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
- Y02P70/50—Manufacturing or production processes characterised by the final manufactured product
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及一种缺陷检测方法、系统、装置、设备、存储介质和产品。响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维图像和三维图像，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。该方法中，因摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备，不需要切换摄像设备就可以采集二维图像和三维图像，提高了对目标物料进行缺陷检测的便捷性；且以同一个摄像设备采集二维图像和三维图像，保证了二维图像和三维图像处于同一坐标系中，提高了对目标物料进行缺陷检测的效率；另外，通过二维图像和三维图像两个不同维度对目标物料进行缺陷检测，提高了缺陷检测的精度。
Description
技术领域
本申请涉及焊接检测技术领域，特别是涉及一种缺陷检测方法、系统、装 置、设备、存储介质和产品。
背景技术
在生产技术企业中，为了保障产品的质量，必须要对产品进行严格的质量 检测。例如，对产品表面缺陷进行检测。
以锂电池装配制造过程为例，在电池二次注液后，为保证注完液电池的密 封性，需要进行压胶钉后密封钉焊接的方式保证电池的密封性。然后，鉴于实 际应用中焊接工艺多少受到很多客观因素的影响，导致焊接后存在较多的焊后 缺陷。
对此，亟需一种可以便捷、高效且精确地进行密封钉焊后缺陷检测的方法。
发明内容
基于此，有必要针对上述技术问题，提供一种缺陷检测方法、系统、装置、设备、存储 介质和产品，能够便捷、高效且精确地进行密封钉焊后缺陷检测。
第一方面，本申请提供了一种缺陷检测方法，该方法包括：
响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维图像和三维图像；摄 像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备；
根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。
本申请实施例中，响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维图 像和三维图像，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。该方 法中，因摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备，在 采集二维图像和三维图像的过程中，不需要切换摄像设备就可以采集完二维图像和三维图像， 保证了采集图像的便捷性，从而提高了对目标物料进行缺陷检测的便捷性；并且，以同一个 摄像设备采集二维图像和三维图像，保证了采集的二维图像和三维图像处于同一坐标系中， 使得在利用二维图像和三维图像进行检测缺陷时，无需太多复杂的数据统一操作对两个图像 进行预处理，从而提高了对目标物料进行缺陷检测的效率；另外，通过目标物料的二维图像 和三维图像两个不同维度对目标物料进行缺陷检测，这样多维度的信息依据保证了目标物料 缺陷检测的全面性，避免了因二维图像或三维图像进行单一图像检测而出现的误判问题，提 高了缺陷检测的精度。
在其中一个实施例中，目标物料包括多个检测产品，且各检测产品处于不同检测工位； 控制摄像设备采集目标物料的二维图像和三维图像，包括：
控制摄像设备采集当前检测工位上检测产品的二维图像和三维图像；
在当前检测工位上检测产品的二维图像和三维图像采集完成后，控制摄像设备移动至下 一个检测工位，采集下一个检测工位上检测产品的二维图像和三维图像，以采集所有检测产 品的二维图像和三维图像。
本申请实施例中，控制摄像设备采集当前检测工位上检测产品的二维图像和三维图像， 在当前检测工位上检测产品的二维图像和三维图像采集完成后，控制摄像设备移动至下一个 检测工位，采集下一个检测工位上检测产品的二维图像和三维图像，以采集所有检测产品的 二维图像和三维图像。该方法中，可以通过移动摄像设备实现对多个检测产品的图像的采集， 保证了目标物料进行缺陷检测的便捷性；而且，移动摄像设备后每个检测产品在被采集图像 时都处于摄像设备的视野内，也提高了对目标物料进行缺陷检测的准确性。
在其中一个实施例中，控制摄像设备采集当前检测工位上检测产品的二维图像和三维图 像，包括：
控制摄像设备在二维补光设备开启的情况下，采集当前检测工位上检测产品的二维图像， 在二维图像采集完成后，向上位机发送移动指令，移动指令用于指示上位机将二维补光设备 移动到下一个检测工位；
控制摄像设备在三维补光设备开启的情况下，采集当前检测工位上检测产品的三维图像。
本申请实施例中，控制摄像设备在二维补光设备开启的情况下，采集当前检测工位上检 测产品的二维图像，在二维图像采集完成后，向上位机发送移动指令以指示上位机将二维补 光设备移动到下一个检测工位，然后控制摄像设备在三维补光设备开启的情况下，采集当前 检测工位上检测产品的三维图像。该方法中，在采集二维图像时利用二维补光设备补光，采 集三维图像时利用三维补光设备补光，使得采集二维图像和三维图像时候环境的光线状态处 于最佳状态，提高了采集的检测产品的二维图像和三维图像的清晰度和信息全面性，实现了 检测产品的高精度全边取像的效果，保证了后续缺陷检测的精确性。
在其中一个实施例中，目标物料的检测指令为上位机检测目标物料进入检测工位后，控 制压装装置对目标物料进行下压操作后发送的；压装装置的覆盖面积大于或等于目标物料的 上表面面积。采用压装装置将目标物料进行下压，对于目标物料尤其是包括多个检测产品的 物料，能够统一目标物料中所有检测产品的高度，保证所有检测产品处于同一水平面，避免 了因相机景深导致图像丢失像素的现象。
在其中一个实施例中，摄像设备为3D结构光相机。3D结构光相机拥有更高的相机精度， 其采用相移法结构光技术具有更大的投影维度，确保相机可采取到更多的物料信息，极大提 高取像速度及图像质量，且3D结构光相机利用3D结构光可兼容多种焊接工艺产品，保证了 不同物料缺陷检测的兼容性。
在其中一个实施例中，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测 结果，包括：
对二维图像和三维图像进行空间对齐处理；
通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到目 标物料的缺陷检测结果。
本申请实施例中，对二维图像和三维图像进行空间对齐处理，然后通过预设的深度学习 算法，对空间对齐处理后的二维图像和三维图像进行处理，得到目标物料的缺陷检测结果。 该方法中，首先将二维图像和三维图像进行了空间对齐，提高了后续对空间对齐处理后的二 维图像和三维图像进行缺陷检测的简便性，降低了计算复杂度。且因二维图像和三维图像是 同一摄像设备采集的，两者进行空间对齐处理时无需太多复杂算法，这样可以降低二维图像 和三维图像进行空间对齐处理的时间，提高了空间处理的效率，从而提高了整个缺陷检测过 程的效率。
在其中一个实施例中，缺陷检测结果包括第一缺陷的检测结果和第二缺陷的检测结果， 第一缺陷为不含高度信息的缺陷，第二缺陷为含高度信息的缺陷；
通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到目 标物料的缺陷检测结果，包括：
获取二维图像中的第一检测区域和三维图像中的第二检测区域；
根据第一检测区域检测第一缺陷的检测结果；根据第二检测区域检测第二缺陷的检测结 果。
本申请实施例中，通过获取二维图像和三维图像中的检测区域，将图像中的重点检测区 域提取出来，避免了大量的背景冗余信息，提高了第一缺陷检测结果和第二缺陷检测结果的 准确性。
在其中一个实施例中，获取三维图像中的第二检测区域，包括：
对三维图像进行预处理，得到目标物料的点云数据；
根据点云数据确定第二检测区域。
本申请实施例中，通过目标物料的三维图像对应的点云数据确定第二检测区域，提高了 第二检测区域提取的精度。
在其中一个实施例中，根据第一检测区域检测第一缺陷的检测结果，包括：
获取第一检测区域的平面特征；
根据平面特征，确定第一缺陷的检测结果。
本申请实施例中，通过获取第一检测区域的平面特征，并基于平面特征进行不含高度信 息的缺陷判断，提高了缺陷检测的准确性。
在其中一个实施例中，根据第二检测区域检测第二缺陷的检测结果，包括：
在第二检测区域中获取目标物料的焊道高度与物料顶盖基准面之间的距离；
根据距离确定第二缺陷检测结果。
本申请实施例中，能够通过距离确定目标物料中含高度信息的缺陷的检测结果，保证了 缺陷检测的精确性。
在其中一个实施例中，该方法还包括：
向上位机发送目标物料的缺陷检测结果；和/或，在前端界面中展示目标物料的缺陷检测 结果。本实施例中向上位机发送目标物料的缺陷检测结果可以使得上位机及时准确地获知缺 陷检测结果。而在前端界面展示目标物料的缺陷检测结果，能够使得目标物料的缺陷信息的 获知更加直观。
第二方面，本申请还提供了一种缺陷检测系统，该系统包括：支撑架、设置在支撑架上 的摄像设备，与摄像设备通信连接的控制设备，与所述控制设备通信连接的上位机，以及设 置在支撑架下方的检测工位；摄像设备为集二维图像采集功能和三维图像采集功能为一体的 结构光摄像设备；
检测工位，用于承载待检测的目标物料；
上位机，用于向控制设备发送目标物料的检测指令；
控制设备，用于控制摄像设备采集目标物料的二维图像和三维图像，并根据目标物料的 二维图像和三维图像，确定目标物料的缺陷检测结果。
本申请实施例中，在缺陷检测系统中设计支撑架、设置在支撑架上的摄像设备，与摄像 设备通信连接的控制设备，与控制设备通信连接的上位机，以及设置在支撑架下方的检测工 位，可以待检测的目标物料到达检测工位上时，上位机向控制设备发送目标物料的检测指令， 然后控制设备控制摄像设备采集目标物料的二维图像和三维图像，并根据目标物料的二维图 像和三维图像，确定目标物料的缺陷检测结果。该系统中，因摄像设备为集二维图像采集功 能和三维图像采集功能为一体的结构光摄像设备，在采集二维图像和三维图像的过程中，不 需要切换摄像设备就可以采集完二维图像和三维图像，保证了采集图像的便捷性，从而提高 了对目标物料进行缺陷检测的便捷性；并且，以同一个摄像设备采集二维图像和三维图像， 保证了采集的二维图像和三维图像处于同一坐标系中，使得在利用二维图像和三维图像进行 缺陷检测时，无需太多复杂的数据统一操作对两个图像进行预处理，从而提高了对目标物料 进行缺陷检测的效率；另外，通过目标物料的二维图像和三维图像两个不同维度对目标物料 进行缺陷检测，这样多维度的信息依据保证了目标物料缺陷检测的全面性，避免了因二维图 像或三维图像进行单一图像检测而出现的误判问题，提高了缺陷检测的精度。
在其中一个实施例中，该系统还包括升降装置；升降装置设置在支撑架上，摄像设备安 装在升降装置上；支撑架下方包括多个检测工位；
控制设备，用于通过控制升降装置将摄像设备移动至每个检测工位的位置处，以分别采 集每个检测工位中检测产品的二维图像和三维图像。
本申请实施例中，在缺陷检测系统中在支撑架上设计升降装置，并将摄像设备安装在升 降装置上，支撑架下方包括多个检测工位，可以通过控制设备控制升降装置将摄像设备移动 至每个检测工位的位置处，以分别采集每个检测工位中检测产品的二维图像和三维图像。该 系统中，可以通过升降装置移动摄像设备实现对多个检测产品的图像的采集，保证了目标物 料进行缺陷检测的便捷性；而且，移动摄像设备后每个检测产品在被采集图像时都处于摄像 设备的视野内，不会发生采集图像不全的情况。
在其中一个实施例中，该系统还包括滑动组件和二维补光设备，滑动组件设置在支撑架 上且位于升降装置下方，二维补光设备设置在滑动组件上；
控制设备，用于控制摄像设备在二维补光设备开启的情况下，采集每个检测工位中检测 产品的二维图像，并在各检测工位中检测产品的二维图像采集完成后，向上位机发送移动指 令，移动指令用于指示上位机通过滑动组件将二维补光设备移动到下一个检测工位。
本申请实施例中，在缺陷检测系统中设计滑动组件和二维补光设备，二维补光设备设置 在滑动组件上，使得在摄像设备采集到当前检测工位中检测产品的二维图像后，通过滑动组 件将二维补光设备移动到下一个检测工位，以使摄像设备在二维补光设备开启的情况下，采 集下一个检测工位，避免采集二维图像时因缺少光照产生的图像不清晰的问题，提高了采集 的每个检测工位中检测产品的二维图像的清晰性，保证了后续缺陷检测的精确性。
在其中一个实施例中，该系统还包括三维补光设备，三维补光设备为设置在每个检测工 位的上方预设距离处；
控制设备，用于控制摄像设备在三维补光设备开启的情况下，采集对应检测工位上检测 产品的三维图像。
本申请实施例中，在缺陷检测系统中在每个检测工位的上方预设距离出设置三维补光设 备，使摄像设备在采集每个检测工位时均能够在三维补光设备开启的情况下采集，避免采集 三维图像时因光照不均或不亮时产生的图像不清晰的问题，保证了三维图像的清晰性，保证 了后续缺陷检测的精确性。
在其中一个实施例中，该系统还包括压装装置，压装装置与上位机通信连接；
上位机，还用于检测目标物料进入检测工位后，控制压装装置对目标物料进行下压操作 后向控制设备发送检测指令；压装装置的覆盖面积大于或等于目标物料的上表面面积。
本申请实施例中，该系统还设计了压装装置，在目标物料进入检测工位后，通过压装装 置对目标物料进行下压操作，能够在目标物料包括多个检测产品时，统一多个检测产品的高 度，使多个检测产品处于同一水平面，避免了因相机景深导致图像丢失像素的现象。
在其中一个实施例中，压装装置上对应每个检测工位的位置处设置为空腔结构，三维补 光设备为设置在空腔内侧周围的环光设备；
空腔结构用于摄像设备对准每个检测工位上检测产品。
本申请实施例中，该系统中的压装装置上对应每个检测工位的位置处设置为空腔结构， 使得摄像设备能够通过压装装置的空腔采集到目标物料的二维图像和三维图像，并且将三维 补光设备设置在空腔内侧周围的环光设备上，使得摄像设备在采集目标物料的图像时能够清 晰的采集到每个检测产品的图像，提高了图像的精确性。
第三方面，本申请还提供了一种缺陷检测装置，该装置包括：
图像采集模块，用于响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维 图像和三维图像；摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像 设备；
缺陷确定模块，用于根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结 果。
第四方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计 算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算 机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。
第六方面，本申请实施例提供计算机程序产品，包括计算机程序，该计算机程序被处理 器执行时实现上述第一方面实施例提供的任一项方法的步骤。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依 照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易 懂，以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术 人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。 而且在全部附图中，用相同的附图标号表示相同的部件。在附图中：
图1为一个实施例中提供的缺陷检测系统架构示意图；
图2为一个实施例中检测产品的结构示意图；
图3为另一个实施例中提供的缺陷检测系统架构示意图；
图4为另一个实施例中提供的缺陷检测系统架构示意图；
图5为另一个实施例中提供的缺陷检测系统架构示意图；
图6为另一个实施例中提供的缺陷检测系统架构示意图；
图7为一个实施例中图像采集设备的结构示意图；
图8为另一个实施例中图像采集设备的结构示意图；
图9为一个实施例中缺陷检测方法的流程示意图；
图10为另一个实施例中缺陷检测方法的流程示意图；
图11为另一个实施例中缺陷检测方法的流程示意图；
图12为另一个实施例中缺陷检测方法的流程示意图；
图13为另一个实施例中缺陷检测方法的流程示意图；
图14为另一个实施例中缺陷检测方法的流程示意图；
图15为另一个实施例中缺陷检测方法的流程示意图；
图16为另一个实施例中缺陷检测方法的流程示意图；
图17为另一个实施例中缺陷检测方法的流程示意图；
图18为另一个实施例中缺陷检测方法的流程示意图；
图19为另一个实施例中缺陷检测方法的流程示意图；
图20为一个实施例中缺陷检测装置的结构框图；
图21为一个实施例中计算机设备的内部结构图。
具体实施方式中的附图标号如下：
100： 缺陷检测系统； 101： 支撑架；
102： 摄像设备； 103： 控制设备；
104： 上位机； 105： 检测工位；
106： 目标物料； 301： 升降装置；
302： 检测产品； 401： 二维补光设备；
402： 滑动组件； 501： 三维补光设备；
601： 压装装置； 701： 相机移动轴；
702： 二维补光设备移动轴； 703： 二维补光设备；
704： 摄像设备； 705： 三维补光设备；
706： 检测产品； 707： 压装装置；
708： 摄像设备移动方向； 801： 摄像设备龙门架；
802： 摄像设备； 803： 投影仪；
804： 无影光； 805： 环光；
806： 无影光支架。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清 楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在 本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施 例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理 解的是，本文所描述的实施例可以与其它实施例相结合。除非另有定义，本文所使用的所有 的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用 的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利 要求书及上述附图说明中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理 解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。 在本申请实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存 在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种 情况。在本申请实施例的描述中，术语“多个”指的是两个以上(包括两个)。在本申请实施 例的描述中，技术术语“上”“下”“水平”“内”等指示的方位或位置关系为基于附图所示的 方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例 的限制。在本申请实施例的描述中，除非另有明确的规定和限定，技术术语“相连”“连接” 等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；也可以是 机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个 元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具 体情况理解上述术语在本申请实施例中的具体含义。
在动力电池系统中，当电池二次注液后，为保证注完液电池的密封性，需要进行压胶钉 后密封钉焊接的方式保证电池的密封性。然而，在对二次注液后的电池进行压胶钉后密封钉 焊接后，可能会存在焊高不良、断焊等缺陷问题。
为了检测密封钉焊后缺陷问题，申请人研究发现，可以利用二维相机加三维线扫相机的组合 方式进行密封钉焊后缺陷检测；然而，通过二维相机加三维线扫相机的组合方式存在较大弊 端，例如，通过二维相机加三维线扫相机的组合方式采集的二维图像外圈发黑严重，采集的 三维图像丢失像素严重，导致算法误判率较高，存在检测精度低的问题。又例如，二维相机 加三维线扫相机是不同的相机，导致二维图像和三维图像的空间对齐度需要的算法要求较高， 缺陷检测效率低。又例如，采集二维图像和三维图像时，需要移动二维相机或三维线扫相机 的位置，导致缺陷检测时不够便捷。
基于以上考虑，为了解决密封钉焊后缺陷检测时存在的不够便捷、高效及精度低的问题， 申请人经过深入研究，提出了一种缺陷检测方法，通过利用3D结构光相机采集目标物料的 二维图像和三维图像，并对二维图像和三维图像进行缺陷检测。
在这样的缺陷检测设计中，由于3D结构光相机能够同时采集二维图像和三维图像，不 需要移动3D结构光相机，提高了在缺陷检测过程中的便捷性，并且，3D结构光相机采集的 图像精度高，不会存在外圈发黑和像素丢失问题，保证了缺陷检测的精度。另外，3D结构光 相机的内部已经进行了标定，使得采集的二维图像和三维图像处于同一标定位置中，使得在 对二维图像和三维图像进行空间对齐时，计算复杂度低，解决了因二维/三维图像空间对齐度 导致算法处理时间超时的问题，提高了缺陷检测效率。
需理解的是，本申请实施例中提供的缺陷检测方法可以实现的技术效果不限于此，还可 以实现其他的技术效果，例如，解决了电芯来料无法保证电芯在同一高度，导致因为相机景 深问题，相机出现图像像素丢失现象，从而导致检测误判等等。本申请实施例中所能实现技 术效果具体可参见下述实施例。
需要说明的是，本申请提供的缺陷检测方案适用于所有焊接的相关领域，兼容台阶钉焊 接及其他新工艺焊接，本申请实施例中对此并不作限定。
本申请实施例提供缺陷检测方法的应用于本申请实施例中提供的缺陷检测系统中，该缺 陷检测系统用于在检测到目标物料存在缺陷时输出缺陷检测结果。其中，该缺陷检测系统可 全部或部分通过软件、硬件及其组合来实现。因此，在对缺陷检测方法的过程进行说明时， 先对本申请实施例中提供的缺陷检测系统进行说明。
如图1所示，该缺陷检测系统100包括：支撑架101、设置在支撑架101上的摄像设备102，与摄像设备通信连接的控制设备103，与所述控制设备103通信连接的上位机104，以及设置在支撑架下方的检测工位105；摄像设备102为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备；检测工位105，用于承载待检测的目标物料106；上位机104，用于向控制设备103发送目标物料106的检测指令；控制设备103，用于控制摄像设备102 采集目标物料的二维图像和三维图像，并根据目标物料106的二维图像和三维图像，确定目标物料106的缺陷检测结果。
本实施例中，支撑架用于支撑摄像设备，在控制设备接收到目标物料的检测指令后，会 控制摄像设备采集置于检测工位上的目标物料的二维图像和三维图像，摄像设备在目标物料 的二维图像和三维图像采集完成后，会将二维图像和三维图像发送至控制设备，控制设备根 据接收的目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。
其中，控制设备可以但不限于可以但不限于是各种个人计算机、笔记本电脑、平板电脑 等；控制设备与摄像设备可以通过USB端口连接，上位机与控制设备可以通过线缆连接。
目标物料为待检测的物料，目标物料可以包括1个检测产品或多个检测产品。相应地， 若检测产品为多个，检测工位也可以为1个或多个，即一个检测工位对应多个目标物料，或 一个检测工位对应一个目标物料。
以动力电池系统中二次注液后焊接后的电芯的场景为例，为保证注完液电池的密封性， 需要对二次注液后的电池进行压胶钉后密封钉焊接，为了验证电池密封的性能，可以对电池 进行密封钉焊后缺陷检测。因此，目标物料可以是密封钉焊后的电芯。需要说明的是，目标 物料也可以是通过多次注液后密封钉焊后的电芯。
那么，利用本申请实施例提供的缺陷检测系统进行电池二次注液后密封钉焊后缺陷检测 过程中，可以是在密封钉焊机内，四个电芯并排焊接后，将密封钉焊后的电芯放置在转盘的 工装夹具内，以上位机为可编程逻辑控制器(Programmable logic Controller，PLC)为例，PLC 控制密封钉焊后的电芯随着夹具流向检测工位，在流转过程中以及达到检测工位后，可以将 目标物料放置在转盘的工装夹具内，以保证目标物料的稳定性。
其中，检测指令表征需要对目标物料进行检测，检测指令可以包括目标物料的二维码信 息，二维码信息可以目标物料的编号、属性信息等，二维码信息能够唯一标识目标物料，并 且，检测指令可以是上位机发送给控制设备的，上位机可以控制目标物料到达预设的检测位 置，当上位机控制目标物料到达检测位置后，根据该目标物料生成检测指令，然后将检测指 令发送给控制设备，以使控制设备对目标物料进行检测。
例如，继续上述举例，在电芯流入检测工位后，PLC将电芯到达检测工位的信号发送至 控制设备，当控制设备接收到该信号后，即表示接收到目标物料的检测指令，此时，控制设 备会控制摄像设备采集目标物料的二维图像和三维图像。
其中，二维图像表征的是像素尺度下的二维平面图像信息，采用3D结构光相机采集的 三维图像是深度图像，深度图像的每个像素反映的是目标物料到3D结构光相机的距离，例 如，三维图像的格式可以为tif格式。
其中，摄像设备是集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备， 可选地，摄像设备可以为3D结构光相机。
其中，3D结构光相机主要包括一个红外摄像头、一个激光点阵投射器；激光点阵投射器 用于向目标场景投射结构光图案(散斑图案)，红外摄像头采集目标的红外结构光图像；由于 3D结构光相机采用了多幅光栅进行编码，原理上编码精度可精细到1个像素甚至亚像素，相 比其它原理的点云质量和精度更高。而且，3D结构光相机根据相移法采集当前检测工位上检 测产品的三维图像，相比三维线扫激光，3D结构光相机中的相移法具有更大的投影维度，确 保3D结构光相机可采取到更多的物料信息，极大提高取像速度及图像质量。
进一步地，3D结构光相机的内部已经进行了标定，避免了再次标定的工艺，减少了工艺 流程；且3D结构光相机可兼容多种焊接工艺产品，例如，台阶钉(焊道高度相当于普通钉 焊道高度较高)，3D结构光相机拥有更高的兼容性。
并且，3D结构光中的取像模块具有更加方便快捷的数据管理和配置管理，易于更改参数。
摄像设备采集到目标物料的二维图像和三维图像后，可以将目标物料的二维图像和三维 图像发送至控制设备，控制设备对目标物料的二维图像和三维图像进行检测，确定目标物料 的缺陷检测结果。
继续以动力电池系统中电池二次注液后的场景为例，对密封钉焊后焊道一般要求包括： 不允许有未焊、熔钉、断焊的密封钉出现；焊高不良，焊高在规定高度0.1mm以内；针孔、 爆点、偏焊等缺陷需要在规定范围内。
因此，电芯的缺陷检测结果可以是目标物料在密封钉焊后的缺陷类别，例如：未焊、熔 钉、断焊、针孔、爆点、偏焊等缺陷；如图2所示，图2中的(a)图表示的是电芯未焊的示意图，图2的(b)表示的是电芯焊接成功后的示意图，图2的(c)表示的是电芯断焊的示 意图。
本申请实施例中，在缺陷检测系统中设计支撑架、设置在支撑架上的摄像设备，与摄像 设备通信连接的控制设备，与控制设备通信连接的上位机，以及设置在支撑架下方的检测工 位，可以待检测的目标物料到达检测工位上时，上位机向控制设备发送目标物料的检测指令， 然后控制设备控制摄像设备采集目标物料的二维图像和三维图像，并根据目标物料的二维图 像和三维图像，确定目标物料的缺陷检测结果。该系统中，因摄像设备为集二维图像采集功 能和三维图像采集功能为一体的结构光摄像设备，在采集二维图像和三维图像的过程中，不 需要切换摄像设备就可以采集完二维图像和三维图像，保证了采集图像的便捷性，从而提高 了对目标物料进行缺陷检测的便捷性；并且，以同一个摄像设备采集二维图像和三维图像， 保证了采集的二维图像和三维图像处于同一坐标系中，使得在利用二维图像和三维图像进行 缺陷检测时，无需太多复杂的数据统一操作对两个图像进行预处理，从而提高了对目标物料 进行缺陷检测的效率；另外，通过目标物料的二维图像和三维图像两个不同维度对目标物料 进行缺陷检测，这样多维度的信息依据保证了目标物料缺陷检测的全面性，避免了因二维图 像或三维图像进行单一图像检测而出现的误判问题，提高了缺陷检测的精度。
下面以目标物料包括多个检测产品，缺陷检测系统包括多个检测工位，且一个检测工位 对应一个检测产品为例进行说明，一个实施例中，如图3所示，该系统100还包括升降装置 301；升降装置301设置在支撑架上，摄像设备安装在升降装置301上；支撑架101下方包括 多个检测工位105；控制设备103，用于通过控制升降装置301将摄像设备102移动至每个检 测工位105的位置处，以分别采集每个检测工位105中检测产品302的二维图像和三维图像。
需要说明的是，图2中示例的检测工位为4个，对应的检测产品为4个，实际应用中，检测工位的数量可以根据需求设定；并且，图3中示例的检测产品为圆柱体，但是，实际应用中，检测产品的形状并不限定。
实际应用中，目标物料可以指的是包括多个检测产品的物料，在这种情况下，各检测产 品处于不同的检测工位。
在多个检测工位的场景时，摄像设备采集各检测产品的二维图像和三维图像，可以是按 照各检测工位的顺序依次采集，例如，有4个检测工位，对应每个检测工位中有四个检测产 品在，则控制设备可以通过控制升降装置控制摄像设备先采集第一个检测工位中的检测产品 的二维图像和三维图像，接着采集第二个检测工位中的检测产品的二维图像和三维图像，一 个接一个地依次采集，直至采集完所有检测工位上的检测产品的二维图像和三维图像。
具体地，控制设备依次采集各检测工位中的检测产品的二维图像和三维图像，当控制设 备接收到上位机发送的检测指令后，控制设备向摄像设备发送采集指令，以控制摄像设备采 集第一个工位中的检测产品的二维图像和三维图像，此时，摄像设备在第一个检测工位对应 的位置处，当摄像设备采集第一个检测工位中的检测产品后，向控制设备发送采集完成指令， 控制设备控制升降装置将摄像设备移动到第二个检测工位的位置处，继续采集第二个检测工 位中的检测产品的二维图像和三维图像，直至采集完所有检测工位中检测产品的二维图像和 三维图像，控制设备控制升降装置将摄像设备移动到第一个检测工位的位置处。
其中，升降装置可以上下、左右移动，以控制摄像设备移动至每个检测工位的位置处， 使得摄像设备能够精确地采集到每个检测产品。
可选地，可以将多个检测产品放置在转盘的一个工装夹具内，也可以一个检测产品对应 一个工装夹具。
继续以检测产品为二次注液后焊接后的电芯的场景为例，控制设备可以控制升降装置将 摄像设备移动到每个电芯的位置处，分别采集每个电芯的二维图像和三维图像；例如，若包 括4个电芯，可以按照顺序依次采集每个电芯的二维图像和三维图像，具体地，控制设备控 制升降装置将摄像设备移动到第一个电芯的位置处，摄像设备采集第一个电芯的二维图像和 三维图像，第一个电芯的二维图像和三维图像采集完成后，控制设备控制升降装置将摄像设 备移动到第二个电芯的位置处，摄像设备采集第二个电芯的二维图像和三维图像，一个接一 个地依次采集，直至采集完所有电芯的二维图像和三维图像。
可选地，当采集完最后一个电芯的二维图像和三维图像后，控制设备可以控制升降装置 将摄像设备移动至第一个电芯的位置处，即第一个检测工位处。
本申请实施例中，在缺陷检测系统中在支撑架上设计升降装置，并将摄像设备安装在升 降装置上，支撑架下方包括多个检测工位，可以通过控制设备控制升降装置将摄像设备移动 至每个检测工位的位置处，以分别采集每个检测工位中检测产品的二维图像和三维图像。该 系统中，可以通过升降装置移动摄像设备实现对多个检测产品的图像的采集，保证了目标物 料进行缺陷检测的便捷性；而且，移动摄像设备后每个检测产品在被采集图像时都处于摄像 设备的视野内，不会发生采集图像不全的情况。
在一个实施例中，如图4所示，该系统100还包括滑动组件401和二维补光设备402，滑动组件401设置在支撑架201上且位于升降装置301下方，二维补光设备402设置在滑动组件401上；控制设备103，用于控制摄像设备102在二维补光设备402开启的情况下，采 集每个检测工位105中检测产品302的二维图像，并在各检测工位105中检测产品302的二 维图像采集完成后，向上位机104发送移动指令，移动指令用于指示上位机104通过滑动组 件401将二维补光设备402移动到下一个检测工位105。
摄像设备在二维补光设备开启的情况下，采集每个检测工位中检测产品的二维图像，摄 像设备依次采集每个检测工位中检测产品的二维图像，例如，有4个检测工位，对应每个检 测工位中有4个检测产品，则二维补光设备通过滑动组件移动至对应检测工位，则控制设备 控制摄像设备在二维补光设备开启的情况下，先采集第一个检测工位中的检测产品的二维图 像，在第一个检测工位中检测产品的二维图像采集完成后，摄像设备向上位机发送移动指令， 上位机控制二维补光设备移动到第二个检测工位，当第二个检测工位中的检测产品完成时， 上位机控制二维补光设备移动至第三个检测工位，以此一个接一个地依次采集，直至采集完 所有检测工位上的检测产品的二维图像和三维图像。
其中，二维补光设备能够在滑动组件上移动，以保证能够移动至每个检测工位上；上位 机与二维补光设备可以通过电缆连接；二维补光设备与控制设备之间可以通过线缆连接。
可选地，二维补光设备可以是无影光源。
本申请实施例中，在缺陷检测系统中设计滑动组件和二维补光设备，二维补光设备设置 在滑动组件上，使得在摄像设备采集到当前检测工位中检测产品的二维图像后，通过滑动组 件将二维补光设备移动到下一个检测工位，以使摄像设备在二维补光设备开启的情况下，采 集下一个检测工位，避免采集二维图像时因缺少光照产生的图像不清晰的问题，提高了采集 的每个检测工位中检测产品的二维图像的清晰性，保证了后续缺陷检测的精确性。
在一个实施例中，如图5所示，该系统100还包括三维补光设备501，三维补光设备501 为设置在每个检测工位105的上方预设距离处；控制设备103，用于控制摄像设备102在三 维补光设备501开启的情况下，采集对应检测工位105上检测产品302的三维图像。
控制设备控制摄像设备在三维补光设备开启的情况下，采集对应检测工位上检测产品的 三维图像，三维补光设备开启的时间可以是当控制设备接收到目标物料的检测指令后，向三 维补光设备发送开启指令，也可以是当摄像设备采集二维图像完成后，上位机向三维补光设 备发送开启指令，以使三维补光设备开启。
基于上述实施例，摄像设备在二维补光设备开启的情况下，采集每个检测工位中检测产 品的二维图像，摄像设备在三维补光设备开启的情况下，采集对应检测工位上检测产品的三 维图像，摄像设备依次采集每个检测工位中检测产品的二维图像和三维图像，例如，有4个 检测工位，对应每个检测工位中有4个检测产品，则二维补光设备通过滑动组件移动至对应 检测工位，则控制设备控制摄像设备在二维补光设备开启时先采集第一个检测工位中的检测 产品的二维图像，在第一个检测工位中检测产品的二维图像采集完成后，摄像设备向上位机 发送移动指令，上位机控制二维补光设备移动到第二个检测工位，摄像设备在三维补光设备 开启时采集第一个检测工位中的检测产品的三维图像，摄像设备采集第一个检测工位中的检 测产品的二维图像和三维图像后，控制设备控制摄像设备通过升降装置移动至第二个检测工 位；同理，摄像设备采集第二个检测工位中的检测产品的二维图像和三维图像，一个接一个 地依次采集，直至采集完所有检测工位上的检测产品的二维图像和三维图像。
其中，三维补光设备与控制设备之间可以通过线缆连接；三维补光设备可以为无影光源。
本申请实施例中，在缺陷检测系统中在每个检测工位的上方预设距离出设置三维补光设 备，使摄像设备在采集每个检测工位时均能够在三维补光设备开启的情况下，采集，避免采 集三维图像时因光照不均或不亮时产生的图像不清晰的问题，保证了三维图像的清晰性，保 证了后续缺陷检测的精确性。
在一个实施例中，如图6所示，该系统100还包括压装装置601，压装装置601与上位机303通信连接；上位机104，还用于检测目标物料106进入检测工位后，控制压装装置601对目标物料106进行下压操作后向控制设备103发送检测指令；压装装置601的覆盖面积大于或等于目标物料106的上表面面积。
当上位机检测到目标物料进入检测工位后，上位机控制压装装置对目标物料进行下压操 作，下压操作后，上位机向控制设备发送检测指令；控制设备与上位机可以通过网线连接。
其中，下压操作用于统一目标物料中所有检测产品的高度，保证所有检测产品处于同一 水平面，极大避免了因相机景深导致图像丢失像素的现象。
其中，压装装置可以为盖板，压装装置的覆盖面积大于或等于目标物料的上表面面积， 是为了保证压装装置能够准确地对目标物料进行下压，避免因下压装置的覆盖面积小于目标 物料而导致的目标物料中的检测产品的高度不统一。
本申请实施例中，该系统还设计了压装装置，在目标物料进入检测工位后，通过压装装 置对目标物料进行下压操作，能够在目标物料包括多个检测产品时，统一多个检测产品的高 度，使多个检测产品处于同一水平面，避免了因相机景深导致图像丢失像素的现象。
在一个实施例中，继续参见图6，压装装置601上对应每个检测工位105的位置处设置 为空腔结构，三维补光设备501为设置在空腔内侧周围的环光设备；空腔结构用于摄像设备 102对准每个检测工位105上检测产品201。
压装装置上设置有空腔结构，该空腔结构对应检测工位，且三维补光设备设置在空腔内 侧周围，为环光设备。
一个空腔结构对应一个检测工位，保证了摄像设备能够通过空腔采集到检测产品，且一 个空腔内侧设置一个三维补光设备，避免了摄像设备因光线问题导致采集的三维图像不清楚 的问题。
本申请实施例中，该系统中的压装装置上对应每个检测工位的位置处设置为空腔结构， 使得摄像设备能够通过压装装置的空腔采集到目标物料的二维图像和三维图像，并且将三维 补光设备设置在空腔内侧周围的环光设备上，使得摄像设备在采集目标物料的图像时能够清 晰的采集到每个检测产品的图像，提高了图像的精确性。
如图7和图8所示，图7为图像采集过程中的运动简图，图8为采集图像的硬件结构示 意图，图7中的701表示相机移动轴，702表示二维补光设备移动轴，703表示二维补光设备， 704表示摄像设备，四个箭头分别代表四个三维光源，705表示三维补光设备，706表示检测 产品，707表示压装装置，708表示摄像设备移动方向。
图8中的801表示的是摄像设备龙门架，802表示的是摄像设备，803表示的是投影仪(二 维补光设备)，804表示的是无影光，805表示的是环光(三维补光设备)，806表示的是无影 光支架。并且，图8中，密封钉检测精度为0.006mm，使用单个3D结构光相机，垂直安装且相机保证上下、左右可调，满足物距为116±12.5mm的可检测视野内，相机可通过升降装置调节，根据所检测产品的兼容性，配置配方，可一键调整相机采集距离，便于相机成像清晰；并且，光源安装角度范围加大且相机可上下左右移动，适应性更强，调整更容易，所以能够兼容更多的产品。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的缺陷检测系统 的缺陷检测方法，该方法所提供的解决问题的实现方案与上述系统中所记载的实现方案相似， 故下面所提供的一个或多个缺陷检测方法实施例中的具体限定可以参见上文中对于缺陷检测 系统的限定，在此不再赘述。
在一个实施例中，提供了一种缺陷检测方法，以应用于图1中的缺陷检测系统为例，本 实施例涉及的是检测设备响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维 图像和三维图像，并根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果的 具体过程，如图9所示，该实施例包括以下步骤：
S901，响应于对目标物料的检测指令，控制摄像设备采集目标物料的二维图像和三维图 像；摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备。
当控制设备接收到目标物料的检测指令，控制设备会控制摄像设备采集目标物料的二维 图像和三维图像。
具体地，当控制设备接收到目标物料的检测指令后，控制设备会向摄像设备生成采集指 令，并将采集指令发送至摄像设备，摄像设备接收到采集指令后，会采集目标物料的二维图 像和三维图像。
可选地，摄像设备采集目标物料的二维图像和三维图像的方式，可以是先采集二维图像， 二维图像采集完成后再采集三维图像；也可以是先采集三维图像，三维图像采集完成后再采 集二维图像；还可以是同时采集二维和三维图像。
同时，为了避免摄像设备受到外界环境的污染，例如，摄像设备的镜头存在灰尘等，可 选地，在本申请实施例中，摄像设备外部加一个保护罩，能够防止摄像设备受到外界环境的 污染，且保护罩还可以防止发射激光对人眼造成伤害。
其中，保护罩可以套在摄像设备的镜头前，保护罩的材质可以是金属、硬塑、软胶等多 种质地，且保护罩可以是圆筒形、花瓣型、方形等多种形状。
S902，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。
摄像设备采集到目标物料的二维图像和三维图像后，可以将目标物料的二维图像和三维 图像发送至控制设备，控制设备对目标物料的二维图像和三维图像进行检测，确定目标物料 的缺陷检测结果。
具体地，可以同时对二维图像和三维图像进行检测，得到二维图像对应的二维检测结果 和三维图像对应的三维检测结果，根据二维检测结果和三维检测结果，确定目标物料的缺陷 检测结果；可以是将二维检测结果和三维检测结果直接确定为目标物料的缺陷检测结果。
一个实施例中，可以通过预设的神经网络模型对目标物料的二维图像和三维图像进行检 测，具体地，将二维图像和三维图像作为神经网络模型的输入，通过神经网络模型的分析， 直接输出目标物料的检测结果。
另一个实施例中，可以通过预设的二维检测模型和三维检测模型分别对二维图像和三维 图像进行检测，具体地，将二维图像作为二维检测模型的输入，二维检测模型对二维图像进 行分析，确定二维图像对应的二维检测结果；将三维图像作为三维检测模型的输入，三维检 测模型对三维图像进行分析，确定三维图像对应的三维检测结果。
上述缺陷检测方法中，响应于对目标物料的检测指令，控制摄像设备采集目标物料的二 维图像和三维图像，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果。 该方法中，因摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备， 在采集二维图像和三维图像的过程中，不需要切换摄像设备就可以采集完二维图像和三维图 像，保证了采集图像的便捷性，从而提高了对目标物料进行缺陷检测的便捷性；并且，以同 一个摄像设备采集二维图像和三维图像，保证了采集的二维图像和三维图像处于同一坐标系 中，使得在利用二维图像和三维图像进行检测缺陷时，无需太多复杂的数据统一操作对两个 图像进行预处理，从而提高了对目标物料进行缺陷检测的效率；另外，通过目标物料的二维 图像和三维图像两个不同维度对目标物料进行缺陷检测，这样多维度的信息依据保证了目标 物料缺陷检测的全面性，避免了因二维图像或三维图像进行单一图像检测而出现的误判问题， 提高了缺陷检测的精度。
实际应用中，目标物料可以指的是包括多个检测产品的物料，在这种情况下各检测产品 处于不同检测工位，基于此，对此情况下，本申请实施例中如何控制摄像设备在不同检测工 位上采集目标物料中的各检测产品的二维图像和三维图像的过程，下面提供实施例进行详细 说明。则一个实施例中，如图10所示，上述控制摄像设备采集目标物料的二维图像和三维图 像的过程包括以下步骤：
S1001，控制摄像设备采集当前检测工位上检测产品的二维图像和三维图像。
S1002，在当前检测工位上检测产品的二维图像和三维图像采集完成后，控制摄像设备移 动至下一个检测工位，采集下一个检测工位上检测产品的二维图像和三维图像，以采集所有 检测产品的二维图像和三维图像。
继续以检测产品为二次注液后焊接后的电芯的场景为例，可以利用密封钉焊机同时并排 焊接多个电芯，焊接完成后，将密封钉焊后的多个电芯放置在转盘的工装夹具内，上位机控 制焊接后的多个电芯移动到检测工位上，一个电芯对应一个检测工位；一个工装夹具可以对 应一个电芯，一个工装夹具也可以对应多个电芯。
当上位机将多个电芯移动到各自对应的检测工位后，会向控制设备发送检测指令，控制 设备根据检测指令控制摄像设备采集电芯的二维图像和三维图像，以4个电芯的场景为例， 摄像设备能够依次采集检测工位中的检测产品，具体地，以第一个检测工位作为当前检测工 位，首先采集第一个检测工位上电芯的二维图像和三维图像，在第一个检测工位上电芯的二 维图像和三维图像采集完成后，控制设备控制摄像设备移动到第二个检测工位，摄像设备采 集第二个检测工位中电芯的二维图像和三维图像，直至摄像设备采集完所有检测工位中电芯 的二维图像和三维图像；控制设备与上位机可以通过网络进行通信。
当摄像设备采集完成当前检测工位上检测产品的二维图像和三维图像后，会向控制设备 发送图像采集完成的信号，控制设备根据图像采集完成的信号，生成一个控制指令发送至摄 像设备，控制摄像设备通过升降装置移动至下一个检测工位，并采集下一个检测工位上检测 产品的二维图像和三维图像，以采集所有检测工位上检测产品的二维图像和三维图像。
需要说明的是，本申请采用的是单个摄像设备，考虑到检测产品的尺寸变化，摄像设备 安装在可以上下、左右移动的升降装置上。
可选地，摄像设备采集各检测工位上的检测产品时，其顺序可以是预先设置的，可以是 依次采集检测工位上的检测产品，也可以是按照某种规则确定的检测顺序。
在一个实施例中，摄像设备为3D结构光相机。3D结构光相机拥有更高的相机精度，其 采用相移法结构光技术具有更大的投影维度，确保相机可采取到更多的物料信息，极大提高 取像速度及图像质量，且3D结构光相机利用3D结构光可兼容多种焊接工艺产品，保证了不 同物料缺陷检测的兼容性。
上述缺陷检测方法中，控制摄像设备采集当前检测工位上检测产品的二维图像和三维图 像，在当前检测工位上检测产品的二维图像和三维图像采集完成后，控制摄像设备移动至下 一个检测工位，采集下一个检测工位上检测产品的二维图像和三维图像，以采集所有检测产 品的二维图像和三维图像。该方法中，可以通过移动摄像设备实现对多个检测产品的图像的 采集，保证了目标物料进行缺陷检测的便捷性；而且，移动摄像设备后每个检测产品在被采 集图像时都处于摄像设备的视野内，也提高了对目标物料进行缺陷检测的准确性。
下面通过一个实施例对如何控制摄像设备采集当前检测工位上检测产品的二维图像和三 维图像进行具体说明，在一个实施例中，如图11所示，控制摄像设备采集当前检测工位上检 测产品的二维图像和三维图像，包括以下步骤：
S1101，控制摄像设备在二维补光设备开启的情况下，采集当前检测工位上检测产品的二 维图像，在二维图像采集完成后，向上位机发送移动指令，移动指令用于指示上位机将二维 补光设备移动到下一个检测工位。
S1102，控制摄像设备在三维补光设备开启的情况下，采集当前检测工位上检测产品的三 维图像。
在控制设备接收到目标物料的检测指令后，控制设备会先向二维补光设备和三维补光设 备发送触发信号，以使二维补光设备和三维补光设备开启，控制设备控制摄像设备在二维补 光设备开启的情况下，采集当前检测工位上检测产品的二维图像。
可选地，二维补光设备和三维补光设备接收到的触发信号也可以是上位机发送的，具体 地，上位机向控制设备发送检测指令时，还可以同时向二维补光设备和三维补光设备发送触 发信号，控制二维补光设备和三维补光设备开启。
摄像设备在当前检测工位上检测产品的二维图像采集完成后，向上位机发送移动指令， 以指示上位机将二维补光设备移动到下一检测工位，具体地，上位机接收到移动指令后，会 根据移动指令向二维补光设备发送移动信号，使二维补光设备根据移动信号向下一个检测工 位移动。
然后，控制设备控制摄像设备在三维补光设备开启的情况下，采集当前检测工位上检测 产品的三维图像。
二维补光设备可以包括1个，二维补光设备安装在滑动组件中以对二维补光设备进行不 同方向移动，以使摄像设备通过二维补光设备采集各检测工位上的二维图像。
三维补光设备可以包括多个，一个检测工位对应一个三维补光设备；三维补光设备可以 为环灯。
上述缺陷检测方法中，控制摄像设备在二维补光设备开启的情况下，采集当前检测工位 上检测产品的二维图像，在二维图像采集完成后，向上位机发送移动指令以指示上位机将二 维补光设备移动到下一个检测工位，然后控制摄像设备在三维补光设备开启的情况下，采集 当前检测工位上检测产品的三维图像。该方法中，在采集二维图像时利用二维补光设备补光， 采集三维图像时利用三维补光设备补光，使得采集二维图像和三维图像时候环境的光线状态 处于最佳状态，提高了采集的检测产品的二维图像和三维图像的清晰度和信息全面性，实现 了检测产品的高精度全边取像的效果，保证了后续缺陷检测的精确性。
基于上述实施例中的响应目标物料的检测指令，下面通过一个实施例对检测指令的发送 条件进程说明，在一个实施例中，目标物料的检测指令为上位机检测目标物料进入检测工位 后，控制压装装置对目标物料进行下压操作后发送的；压装装置的覆盖面积大于或等于目标 物料的上表面面积。
当上位机检测到目标物料进入到检测工位后，会控制压装装置对目标物料进行下压操作， 下压操作完成后，上位机生成目标物料的检测指令，然后将检测指令发送至检测设备。
压装装置完成对目标物料的下压操作后，可以向上位机反馈一个下压成功的信号，则上 位机响应于下压成功的信号，生成检测指令，并将检测指令发送至控制设备，以使控制设备 对目标物料进行缺陷检测。
上述缺陷检测方法中，采用压装装置将目标物料进行下压，对于目标物料尤其是包括多 个检测产品的物料，能够统一目标物料中所有检测产品的高度，保证所有检测产品处于同一 水平面，避免了因相机景深导致图像丢失像素的现象。
上述实施例中是对如何获取目标物料的二维图像和三维图像进行的说明，下面通过一个 实施例对如何根据目标物料的二维图像和三维图像进行缺陷检测分析进行说明，在一个实施 例中，如图12所示，根据目标物料的二维图像和三维图像，确定目标物料的缺陷检测结果， 包括以下步骤：
S1201，对二维图像和三维图像进行空间对齐处理。
在对二维图像和三维图像进行缺陷检测之前，为了降低时间计算复杂度，提高计算效率， 通常会对二维图像和三维图像进行空间对齐处理，即将二维图像和三维图像统一在同一坐标 系下。
以摄像设备为3D结构光相机为例进行说明，3D结构光相机在采集图像之前，会对相机 内部进行标定，得到3D结构光相机的内参矩阵、旋转矩阵、平移矩阵和单应矩阵等，因此 可直接利用3D结构光相机的单应矩阵，进行二维图像和三维图像的空间对齐。
另一个实施例中，对二维图像和三维图像进行空间对齐的方式也可以是，利用摄像设备 的内参矩阵、旋转矩阵和平移矩阵，实现二维图像和三维图像的空间对齐；例如，以二维图 像对齐到三维图像为例，利用公式(1)实现二维图像到三维图像的空间对齐。
其中，二维图像的坐标为(u，v)，以二维图像为原点的坐标系下该图像点对应的坐标为(x， y，z)，K、R、T分别表示摄像设备的内参矩阵、旋转矩阵、平移矩阵，s＝z，表示尺度。
还有一个实施例中，对二维图像和三维图像进行空间对齐的方式还可以是，利用预设的 空间对齐模型，通过将二维图像和三维图像作为空间对齐模型的输入，通过空间对齐模型对 二维图像和三维图像进行分析，得到空间对齐处理后的二维图像和三维图像。
现有技术中的缺陷检测方法均是采用二维相机加三维线扫相机的组合方式，因二维相机 和三维线扫相机是两个相机，采集的二维图像和三维图像没有在同一空间位置中，因此，对 现有技术中的二维图像和三维图像进行对齐时，需要考虑二维相机和三维线扫相机中的内置 参数，对齐算法的要求较高，复杂度较高，而本申请中对采用3D结构光相机采集的二维图 像和三维图像处于一个空间位置中，进行对齐时，只需要考虑3D结构光相机中的标定参数， 因此，仅需要较为简单的对齐算法即可实现二维图像和三维图像的对齐。
S1202，通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理， 得到目标物料的缺陷检测结果。
可以是根据预设的深度学习算法构建一个深度学习模型，可直接将二维图像和三维图像 输入至深度学习模型，得到目标物料的缺陷检测结果。
需要说明的是，本实施例中的深度学习算法可以包括但不限于卷积神经网络、循环神经 网络、生成对抗网络和深度强化学习。
上述缺陷检测方法中，对二维图像和三维图像进行空间对齐处理，然后通过预设的深度 学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到目标物料的缺陷检测结 果。该方法中，首先将二维图像和三维图像进行了空间对齐，提高了后续对空间对齐处理后 的二维图像和三维图像进行缺陷检测的简便性，降低了计算复杂度。且因二维图像和三维图 像是同一摄像设备采集的，两者进行空间对齐处理时无需太多复杂算法，这样可以降低二维 图像和三维图像进行空间对齐处理的时间，提高了空间处理的效率，从而提高了整个缺陷检 测过程的效率。
以动力电池系统中电池二次注液后的场景为例，焊后的电芯可能存在未焊、断焊、悍高 不良、爆孔等缺陷，根据这些缺陷，可将电芯的缺陷划分为含高度信息的缺陷和不含高度信 息的缺陷；因此，可进一步将目标物料的缺陷划分为含高度信息的缺陷和不含高度信息的缺 陷，并将不含高度信息的缺陷确定为第一缺陷，将含高度信息的缺陷确定为第二缺陷，则缺 陷检测结果就包括第一缺陷的检测结果和第二缺陷的检测结果。下面通过一个实施例对如何 确定第一缺陷的检测结果和第二缺陷的检测结果进行详细说明，在一个实施例中，如图13所 示，通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到目 标物料的缺陷检测结果，包括以下步骤：
S1301，获取二维图像中的第一检测区域和三维图像中的第二检测区域。
采集的二维图像和三维图像中包括多个像素点，但并不是所有的像素点都同等重要，有 些像素点对检测结果是没有价值的，还有一些像素点会影响检测结果，因此，提取出图像中 的关键区域，并舍弃掉无价值以及有影响检测结果的区域是非常必要的，一方面可以降低数 据量提升处理速度，另一方面去除冗余区域有利于获得更为准确的检测结果。
为了提高检测效率和精度，在对图像进行检测之前，可以提取图像中的感兴趣区域 (Region of Interest，ROI)，提取感兴趣区域就是从图像中选择一个图像区域，这个区域就是 图像检测所需关注的重点，该区域可以是方框、圆、椭圆、不规则多边形等形式。
因此，在对二维图像和三维图像进行缺陷检测之前，可以提取二维图像的第一检测区域 和三维图像的第二检测区域，第一检测区域和第二检测区域可以为二维图像和三维图像中的 感兴趣区域。
可以通过区域检测模型获取二维图像的第一检测区域；具体地，分别将二维图像输入至 区域检测模型中，最终输出二维图像的第一检测区域。
在一个实施例中，如图14所示，获取三维图像中的第二检测区域的具体过程可以包括：
S1401，对三维图像进行预处理，得到目标物料的点云数据。
根据三维图像得到目标物料的点云数据的方式可以是，对三维图像进行坐标转换计算， 得到点云数据；具体地，可根据公式(2)进行三维图像到点云数据的转换。
其中，x、y、z是点云坐标，x′、y′是图像坐标，D为深度值。
点云数据往往包含大量散列点、孤立点，因此，得到目标物料的点云数据后，可以利用 点云滤波方法对点云数据进行点云滤波处理，即滤掉点云数据中的噪声。
S1402，根据点云数据确定第二检测区域。
可利用特征提取的方法确定点云数据的第二检测区域；例如，以提取点云数据的几何特 征，并利用几何特征分布和粒子滤波框架，提取出点云数据的第二检测区域；第二检测区域 还可以利用三维点云关键点提取算法获取。
本实施例中，通过对三维图像进行预处理，得到目标物料的点云数据，根据点云数据确 定第二检测区域。该方法中，通过目标物料的三维图像对应的点云数据确定第二检测区域， 提高了第二检测区域提取的精度。
S1302，根据第一检测区域检测第一缺陷的检测结果。
第一检测区域是根据二维图像得到的，且二维图像为二维的平面图像，因此，可根据第 一检测区域对不含高度信息的缺陷进行检测；例如，第一缺陷可以是未焊、断焊、无密封钉 等缺陷；因此，可以直接通过第一检测区域的视觉外观，确定第一确定的检测结果。
在一个实施例中，如图15所示，根据第一检测区域检测第一缺陷的检测结果，包括以下 步骤：
S1501，获取第一检测区域的平面特征。
图像平面特征主要包括颜色特征、纹理特征和形状特征。
其中，通常用颜色直方图表达颜色特征，其颜色直方图的优点是不受图像旋转和平移变 化的影响，进一步借助归一化还可不受图像尺度变化的影响，特别适用于描述那些难以自动 分割的图像和不需要考虑物体空间位置的图像。
纹理特征是一种描述了图像或图像区域所对应景物的表面性质的全局特征。
形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要 针对物体的外边界，而图像的区域特征则关系到整个形状区域。
因此，可提取第一检测区域的颜色直方图、纹理特征和轮廓特征中的一种或多种作为第 一检测区域的平面特征。
S1502，根据平面特征，确定第一缺陷的检测结果。
基于上述得到的平面特征，可确定第一缺陷的检测结果，具体地，可利用观测法确定第 一缺陷的检测结果。
因此，请继续参见图2中的(c)图，若获取的是第一检测区域的轮廓特征，则可直接确 定第一检测区域对应的第一缺陷的检测结果为该第一检测区域对应的检测产品为断焊；若第 一检测区域为图2中的(b)图，则若获取的是第一检测区域的轮廓特征，则可直接确定第一 检测区域对应的第一缺陷的检测结果为该第一检测区域对应的检测产品不存在缺陷。
另外，也可以将上述实施例中的平面特征输入至检测算法中，在检测算法中确定为第一 缺陷的检测结果。
上述缺陷检测方法中，通过获取第一检测区域的平面特征，根据平面特征，确定第一缺 陷的检测结果。该方法中，通过获取第一检测区域的平面特征，并基于平面特征进行不含高 度信息的缺陷判断，提高了缺陷检测的准确性。
S1303，根据第二检测区域检测第二缺陷的检测结果。
第二检测区域是根据三维图像得到的，三维图像为深度图像，因此，可根据第二检测区 域对含高度信息的缺陷进行检测，因此，第二缺陷可以是焊高不良、台阶检测、爆孔等含高 度信息的缺陷。
可根据深度学习算法对第二检测区域进行检测，确定第二缺陷的检测结果；深度学习算 法中的基本模型包括但不限于多层感知机模型、深度神经网络模型和递归神经网络模型，其 代表分别是DBN(Deep belief network)深度信念网络、CNN(ConvolutionNeural Networks) 卷积神经网络和RNN(Recurrent neural network)递归神经网络。
在一个实施例中，还提供了一种获取第二缺陷的检测结果的具体方式，如图16所示，根 据第二检测区域检测第二缺陷的检测结果，包括以下步骤：
S1601，在第二检测区域中获取目标物料的焊道高度与物料顶盖基准面之间的距离。
因第二检测区域可以反映出检测产品的高度信息，因此可获取第二检测区域中目标物料 的焊道高度与物料顶盖基准面之间的距离，并根据距离确定第二检测区域对应的检测产品的 缺陷信息。
其中，获取距离的方式可以是，将第二检测区域输入至距离获取网络中，通过距离获取 网络对第二检测区域进行分析，可以得到第二检测区域中目标物料的焊道高度与物料顶盖基 准面之间的距离。
S1602，根据距离确定第二缺陷检测结果。
一种实施例，根据目标物料的焊道高度与物料顶盖基准面之间的距离判断第二缺陷的检 测结果，即根据距离判断检测产品的缺陷类别，即得到第二缺陷的检测结果，例如，若距离 在第一预设范围内，则可以确定第二缺陷的检测结果为悍高不良，若距离在第二预设范围内， 则可以确定第二缺陷的检测结果为爆孔等。
另一种实施例，若目标物料的焊道高度与物料顶盖基准面之间的距离小于预设阈值，则 确定对应的检测产品合格，否则，则确定对应的检测产品不合格。
则可以进一步通过深度学习算法，对不合格的产品进行识别检测，确定检测产品的缺陷 类型。
本实施例中，通过在第二检测区域中获取目标物料的焊道高度与物料顶盖基准面之间的 距离，并根据距离确定第二缺陷检测结果。该方法中，能够通过距离确定目标物料中含高度 信息的缺陷的检测结果，保证了缺陷检测的精确性。
上述缺陷检测方法中，获取二维图像中的第一检测区域和三维图像中的第二检测区域， 根据第一检测区域检测第一缺陷的检测结果，根据第二检测区域检测第二缺陷的检测结果。 该方法中，通过获取二维图像和三维图像中的检测区域，将图像中的重点检测区域提取出来， 避免了大量的背景冗余信息，提高了第一缺陷检测结果和第二缺陷检测结果的准确性。
在得到目标物料的缺陷检测结果后，可进一步对缺陷检测结果进行显示，在一个实施例 中，该实施例包括：向上位机发送目标物料的缺陷检测结果；和/或，在前端界面中展示目标 物料的缺陷检测结果。
控制设备在得到目标物料的缺陷检测结果后，还可以在控制设备的视觉软件的前端界面 展示目标物料的缺陷检测结果，能够使监测人员能够直观的确定目标物料的缺陷信息。
可选地，控制设备确定目标物料的缺陷检测结果后，可将目标物料的缺陷检测结果发送 至上位机，上位机可根据缺陷检测结果确定是否对目标物料放行，使目标物料流向下一个处 理流程阶段。
上述缺陷检测方法中，向上位机发送目标物料的缺陷检测结果可以使得上位机及时准确 地获知缺陷检测结果。而在前端界面展示目标物料的缺陷检测结果，能够使得目标物料的缺 陷信息的获知更加直观。
在一个实施例中，还提供了一种缺陷检测方法，以检测产品为密封钉焊后的电芯、电芯 为四个、以摄像设备以3D结构光相机、二维补光设备为二维光源、三维补光设备为三维光 源、上位机为PLC、控制设备为个人计算机(Personal Computer，PC)为例进行说明。
如图17所示，图17为电芯的检测流程图；在密封钉焊机内，四个电芯并排焊接后，将 密封钉焊后的电芯放置在转盘的工装夹具内，PLC控制密封钉焊后的电芯随着夹具流向检测 工位，电芯流入检测工位的起始位后，PLC控制盖板下压，以保证四个电芯顶盖在同一个高 度，然后PLC与PC进行网络通信，PLC将电芯到达检测工位的信号分别发送至PC，PC控制二维光源和三维光源亮，然后PC控制3D结构光相机在第一个检测工位进行二维模式拍照， 当二维模式拍照完成，3D结构光相机向PLC发送二维取像完成信号，PLC接收到二维取像 完成信号后，向二维光源发送控制指令，以使二维光源移动到第二个检测工位，PC控制3D 结构光相机进行三维模式取像，三维模式取像完成后，3D结构光相机向PLC发送三维模式 取像完成信号，则PLC控制3D结构光相机移动至第二个检测工位。
同样地，基于上述第一个检测工位对电芯进行二维取像和三维取像的方式，对第二个检 测工位、第三个检测工位和第四个检测工位进行二维取像和三维取像，直至所有电芯取像完 成，PLC控制二维光源和3D结构光相机回到原位。
3D结构光相机将采集的二维图像和三维图像发送至PC中，PC中的视觉软件系统获取 二维图像和三维图像，并调用人工智能(Artificial intelligence，AI)算法，对二维图像和三维 图像进行预处理，确定二维图像和三维图像的检测区域，在二维图像和三维图像的检测区域 内分别计算平面度和台阶，再根据得到的平面度和台阶获取检测结果，并将检测结果通过传 输控制协议(Transmission Control Protocol，TCP)上传至PLC，再由PLC将检测结果反馈至 制造执行系统(manufacturing execution system，MES)。
需要说明的是，存在多个电芯，则得到每个电芯的二维图像和三维图像，则分别对每个 电芯的二维图像和三维图像进行检测，得到的检测结果对应每个电芯的检测结果；图17中的 感测头即为3D结构光相机。
AI算法包括但不限于决策树、随机森林算法、逻辑回归、朴素贝叶斯、K最近邻算法、 K均值算法、神经网络、马尔可夫等算法。
具体地，为了提高检测效率和检出优率，采用深度学习和点云检测算法进行缺陷判断， 首先对3D结构光相机采集的三维图像和二维图像进行空间对齐处理，把空间对齐处理后的 三维图像和二维图像传送AI算法中，以进行缺陷识别检测，三维图像经过AI算法处理转换 为点云数据，然后根据点云数据对三维图像进行ROI定位，对二维图像进行ROI定位，得到 三维图像对应的三维检测区域和二维图像对应的二维检测区域，然后对三维检测区域和二维 检测区域进行缺陷检测判断。
如图18所示，图18为人工智能算法的使用过程，包括图像采集模块、图像预处理模块 和算法检测判断模块，其中，预处理模块包括对训练图像进行标注。
在一个实施例中，如图19所示，以检测产品为密封钉焊后的电芯、以摄像设备以3D结 构光相机为例进行说明，该实施例包括以下步骤：
S1901，上位机控制电芯随着夹具流向检测工位，电芯流入检测工位的起始位后，上位机 控制盖板下压。
S1902，PLC将电芯到达检测工位的信号分别发送至控制设备，控制设备控制二维光源和 三维光源开启。
S1903，控制设备控制3D结构光相机在第一个检测工位进行二维模式拍照。
S1904，3D结构光相机向控制设备发送二维取像完成信号，控制设备接收到二维取像完 成信号后，向二维光源发送控制指令，以使二维光源移动到下一个检测工位。
S1905，控制设备控制3D结构光相机进行三维模式取像，三维模式取像完成后，3D结 构光相机向控制设备发送三维模式取像完成信号，则控制设备控制3D结构光相机移动至下 一个检测工位。
S1906，基于上述第一个检测工位对电芯进行二维取像和三维取像的方式，对下一个检测 工位进行二维取像和三维取像，直至所有电芯取像完成，二维光源和三维光源以及3D结构 光相机回到原位。
S1907，3D结构光相机将采集的二维图像和三维图像发送至控制设备中，控制设备调用 AI算法对二维图像和三维图像进行缺陷检测，得到检测结果；
具体地，3D结构光相机将采集的二维图像和三维图像发送至控制设备中，控制设备中的 视觉软件系统获取二维图像和三维图像，并调用AI算法，对二维图像和三维图像进行预处理， 确定二维图像和三维图像的检测区域，在二维图像和三维图像的检测区域内分别计算平面度 和台阶，再根据得到的平面度和台阶获取检测结果，并将检测结果通过TCP协议上传至PLC 和上位机，再由上位机将检测结果反馈至制造执行系统。
本实施例提供的缺陷检测方法的具体限定可以参见上文中对于缺陷检测方法中各实施例 的步骤限定，在此不再赘述。
应该理解的是，虽然上述实施例中所附的流程图中的各个步骤按照箭头的指示依次显示， 但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步 骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例中所 附的图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是 在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然 是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交 替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的缺陷检测方法 的缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似， 故下面所提供的一个或多个缺陷检测装置实施例中的具体限定可以参见上文中对于缺陷检测 方法的限定，在此不再赘述。
在一个实施例中，如图20所示，本申请实施例还提供了一种缺陷检测装置2000，该装 置2000包括：图像采集模块2001和缺陷确定模块2002，其中：
图像采集模块2001，用于响应于对目标物料的检测指令，控制摄像设备采集目标物料的 二维图像和三维图像；摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光 摄像设备；
缺陷确定模块2002，用于根据目标物料的二维图像和三维图像，确定目标物料的缺陷检 测结果。
在一个实施例中，图像采集模块2001包括：
第一图像采集单元，用于控制摄像设备采集当前检测工位上检测产品的二维图像和三维 图像；
第二图像采集单元，用于在当前检测工位上检测产品的二维图像和三维图像采集完成后， 控制摄像设备移动至下一个检测工位，采集下一个检测工位上检测产品的二维图像和三维图 像，以采集所有检测产品的二维图像和三维图像。
在一个实施例中，第一图像采集单元包括：
二维图像采集子单元，用于控制摄像设备在二维补光设备开启的情况下，采集当前检测 工位上检测产品的二维图像，在二维图像采集完成后，向上位机发送移动指令，移动指令用 于指示上位机将二维补光设备移动到下一个检测工位；
三维图像采集子单元，用于控制摄像设备在三维补光设备开启的情况下，采集当前检测 工位上检测产品的三维图像。
在一个实施例中，目标物料的检测指令为上位机检测目标物料进入检测工位后，控制压 装装置对目标物料进行下压操作后发送的；压装装置的覆盖面积大于或等于目标物料的上表 面面积。
在一个实施例中，摄像设备为3D结构光相机。
在一个实施例中，缺陷确定模块1602包括：
对齐单元，用于对二维图像和三维图像进行空间对齐处理；
检测单元，用于通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进 行处理，得到目标物料的缺陷检测结果。
在一个实施例中，检测单元包括：
检测区域获取子单元，用于获取二维图像中的第一检测区域和三维图像中的第二检测区 域；
检测子单元，用于根据第一检测区域检测第一缺陷的检测结果；根据第二检测区域检测 第二缺陷的检测结果。
在一个实施例中，检测区域获取子单元包括：
转换子单元，用于对三维图像进行预处理，得到目标物料的点云数据；
检测区域确定子单元用于根据点云数据确定第二检测区域。
在一个实施例中，检测子单元包括：
特征获取子单元，用于获取第一检测区域的平面特征；
第一检测结果确定子单元，用于根据平面特征，确定第一缺陷的检测结果。
在一个实施例中，检测子单元包括：
距离获取子单元，用于在第二检测区域中获取目标物料的焊道高度与物料顶盖基准面之 间的距离；
第二检测结果确定子单元，用于根据距离确定第二缺陷检测结果。
在一个实施例中，该装置2000还包括：
发送模块，用于向上位机发送目标物料的缺陷检测结果；和/或，在前端界面中展示目标 物料的缺陷检测结果。
关于缺陷检测装置的具体限定可以参见上文中对于缺陷检测方法中各步骤的限定，在此 不再赘述。上述缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。 上述各模块可以以硬件形式内嵌于或独立于目标设备，也可以以软件形式存储于目标设备中 的存储器中，以便于目标设备调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，如图21所示，该计算机设备包括通过系统总 线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用 于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易 失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统 和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线 方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该 计算机程序被处理器执行时以实现一种缺陷检测方法。该计算机设备的显示屏可以是液晶显 示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以 是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图21中示出的结构，仅仅是与本申请方案相关的部分结构的 框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包 括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计 算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
本实施例中处理器实现的各步骤，其实现原理和技术效果与上述缺陷检测方法的原理类 似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机 程序被处理器执行时实现上述各方法实施例中的步骤。
本实施例中计算机程序被处理器执行时实现的各步骤，其实现原理和技术效果与上述缺 陷检测方法的原理类似，在此不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理 器执行时实现上述各方法实施例中的步骤。
本实施例中计算机程序被处理器执行时实现的各步骤，其实现原理和技术效果与上述缺 陷检测方法的原理类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计 算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存 储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所 提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和 易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、 磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁 变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储 器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓 冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory， DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数 据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请 所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号 处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各 个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应 当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因 此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在 不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。 因此，本申请的保护范围应以所附权利要求为准。
Claims (21)
1.一种缺陷检测方法，其特征在于，所述方法包括：
响应于对目标物料的检测指令，控制摄像设备采集所述目标物料的二维图像和三维图像；所述摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备；
根据所述目标物料的二维图像和三维图像，确定所述目标物料的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述目标物料包括多个检测产品，且各所述检测产品处于不同检测工位；所述控制摄像设备采集所述目标物料的二维图像和三维图像，包括：
控制所述摄像设备采集当前检测工位上检测产品的二维图像和三维图像；
在所述当前检测工位上检测产品的二维图像和三维图像采集完成后，控制所述摄像设备移动至下一个检测工位，采集所述下一个检测工位上检测产品的二维图像和三维图像，以采集所有检测产品的二维图像和三维图像。
3.根据权利要求2所述的方法，其特征在于，所述控制所述摄像设备采集当前检测工位上检测产品的二维图像和三维图像，包括：
控制所述摄像设备在二维补光设备开启的情况下，采集所述当前检测工位上检测产品的二维图像，在所述二维图像采集完成后，向上位机发送移动指令，所述移动指令用于指示所述上位机将所述二维补光设备移动到所述下一个检测工位；
控制所述摄像设备在三维补光设备开启的情况下，采集所述当前检测工位上检测产品的三维图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标物料的检测指令为上位机检测所述目标物料进入检测工位后，控制压装装置对所述目标物料进行下压操作后发送的；所述压装装置的覆盖面积大于或等于所述目标物料的上表面面积。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述摄像设备为3D结构光相机。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标物料的二维图像和三维图像，确定所述目标物料的缺陷检测结果，包括：
对所述二维图像和三维图像进行空间对齐处理；
通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到所述目标物料的缺陷检测结果。
7.根据权利要求6所述的方法，其特征在于，所述缺陷检测结果包括第一缺陷的检测结果和第二缺陷的检测结果，所述第一缺陷为不含高度信息的缺陷，所述第二缺陷为含高度信息的缺陷；
所述通过预设的深度学习算法，对空间对齐处理后的二维图像和三维图像进行处理，得到所述目标物料的缺陷检测结果，包括：
获取所述二维图像中的第一检测区域和所述三维图像中的第二检测区域；
根据所述第一检测区域检测所述第一缺陷的检测结果；根据所述第二检测区域检测所述第二缺陷的检测结果。
8.根据权利要求7所述的方法，其特征在于，获取所述三维图像中的第二检测区域，包括：
对所述三维图像进行预处理，得到所述目标物料的点云数据；
根据所述点云数据确定所述第二检测区域。
9.根据权利要求7所述的方法，其特征在于，所述根据所述第一检测区域检测所述第一缺陷的检测结果，包括：
获取所述第一检测区域的平面特征；
根据所述平面特征，确定所述第一缺陷的检测结果。
10.根据权利要求7所述的方法，其特征在于，所述根据所述第二检测区域检测所述第二缺陷的检测结果，包括：
在所述第二检测区域中获取目标物料的焊道高度与物料顶盖基准面之间的距离；
根据所述距离确定所述第二缺陷检测结果。
11.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
向上位机发送所述目标物料的缺陷检测结果；和/或，
在前端界面中展示所述目标物料的缺陷检测结果。
12.一种缺陷检测系统，其特征在于，所述系统包括：支撑架、设置在所述支撑架上的摄像设备，与所述摄像设备通信连接的控制设备，与所述控制设备通信连接的上位机，以及设置在所述支撑架下方的检测工位；所述摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备；
所述检测工位，用于承载待检测的目标物料；
所述上位机，用于向所述控制设备发送所述目标物料的检测指令；
所述控制设备，用于控制所述摄像设备采集所述目标物料的二维图像和三维图像，并根据所述目标物料的二维图像和三维图像，确定所述目标物料的缺陷检测结果。
13.根据权利要求12所述的系统，其特征在于，所述系统还包括升降装置；所述升降装置设置在所述支撑架上，所述摄像设备安装在所述升降装置上；所述支撑架下方包括多个所述检测工位；
所述控制设备，用于通过控制所述升降装置将所述摄像设备移动至每个检测工位的位置处，以分别采集每个检测工位中检测产品的二维图像和三维图像。
14.根据权利要求13所述的系统，其特征在于，所述系统还包括滑动组件和二维补光设备，所述滑动组件设置在所述支撑架上且位于所述升降装置下方，所述二维补光设备设置在所述滑动组件上；
所述控制设备，用于控制所述摄像设备在二维补光设备开启的情况下，采集每个检测工位中检测产品的二维图像，并在各检测工位中检测产品的二维图像采集完成后，向所述上位机发送移动指令，所述移动指令用于指示所述上位机通过所述滑动组件将所述二维补光设备移动到下一个检测工位。
15.根据权利要求14所述的系统，其特征在于，所述系统还包括三维补光设备，所述三维补光设备为设置在每个检测工位的上方预设距离处；
所述控制设备，用于控制所述摄像设备在所述三维补光设备开启的情况下，采集对应检测工位上检测产品的三维图像。
16.根据权利要求15所述的系统，其特征在于，所述系统还包括压装装置，所述压装装置与所述上位机通信连接；
所述上位机，还用于检测所述目标物料进入所述检测工位后，控制所述压装装置对所述目标物料进行下压操作后向所述控制设备发送所述检测指令；所述压装装置的覆盖面积大于或等于所述目标物料的上表面面积。
17.根据权利要求16所述的系统，其特征在于，所述压装装置上对应每个检测工位的位置处设置为空腔结构，所述三维补光设备为设置在所述空腔内侧周围的环光设备；
所述空腔结构用于所述摄像设备对准每个检测工位上的检测产品。
18.一种缺陷检测装置，其特征在于，所述装置包括：
图像采集模块，用于响应于对目标物料的检测指令，控制摄像设备采集所述目标物料的二维图像和三维图像；所述摄像设备为集二维图像采集功能和三维图像采集功能为一体的结构光摄像设备；
缺陷确定模块，用于根据所述目标物料的二维图像和三维图像，确定所述目标物料的缺陷检测结果。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
21.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211037772.3A CN115809983A (zh) | 2022-08-26 | 2022-08-26 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
| PCT/CN2023/112228 WO2024041393A1 (zh) | 2022-08-26 | 2023-08-10 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211037772.3A CN115809983A (zh) | 2022-08-26 | 2022-08-26 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115809983A true CN115809983A (zh) | 2023-03-17 |
Family
ID=85482445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211037772.3A Pending CN115809983A (zh) | 2022-08-26 | 2022-08-26 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115809983A (zh) |
| WO (1) | WO2024041393A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116380911A (zh) * | 2023-03-27 | 2023-07-04 | 深圳市华拓半导体技术有限公司 | 一种基于3d机器视觉的光学成像系统及方法 |
| WO2024041393A1 (zh) * | 2022-08-26 | 2024-02-29 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
| CN117968772A (zh) * | 2024-03-27 | 2024-05-03 | 易启科技(吉林省)有限公司 | 一种动力电池表面缺陷检测方法、系统及使用方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4894628B2 (ja) * | 2007-05-28 | 2012-03-14 | パナソニック電工株式会社 | 外観検査方法および外観検査装置 |
| CN113252685A (zh) * | 2021-04-30 | 2021-08-13 | 博众精工科技股份有限公司 | 一种芯片检测机 |
| CN113830377B (zh) * | 2021-09-01 | 2023-09-05 | 南京大树智能科技股份有限公司 | 一种烟支空头缺陷和缺支检测装置及检测方法 |
| CN114359246B (zh) * | 2022-01-10 | 2023-03-10 | 南京中远通科技有限公司 | 输送机皮带检测方法、装置、系统、电子设备及介质 |
| CN114494174A (zh) * | 2022-01-21 | 2022-05-13 | 广东工业大学 | 一种芯片焊接线缺陷检测方法及装置 |
| CN114397305B (zh) * | 2022-01-31 | 2024-08-13 | 北京航空航天大学 | 基于环形结构光视觉的可变内径管道内壁缺陷检测机器人 |
| CN115809983A (zh) * | 2022-08-26 | 2023-03-17 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
-
2022
- 2022-08-26 CN CN202211037772.3A patent/CN115809983A/zh active Pending
-
2023
- 2023-08-10 WO PCT/CN2023/112228 patent/WO2024041393A1/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024041393A1 (zh) * | 2022-08-26 | 2024-02-29 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、系统、装置、设备、存储介质和产品 |
| CN116380911A (zh) * | 2023-03-27 | 2023-07-04 | 深圳市华拓半导体技术有限公司 | 一种基于3d机器视觉的光学成像系统及方法 |
| CN117968772A (zh) * | 2024-03-27 | 2024-05-03 | 易启科技(吉林省)有限公司 | 一种动力电池表面缺陷检测方法、系统及使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024041393A1 (zh) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115809983A (zh) | 缺陷检测方法、系统、装置、设备、存储介质和产品 | |
| KR102674646B1 (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
| US20170287166A1 (en) | Camera calibration method using a calibration target | |
| EP3771198B1 (en) | Target tracking method and device, movable platform and storage medium | |
| CN107113415A (zh) | 用于多技术深度图获取和融合的方法和设备 | |
| KR101347450B1 (ko) | 듀얼 카메라를 이용한 화상 감지 방법 및 장치 | |
| CN106226316A (zh) | 一种单摄像机宽视场视觉螺纹检测装置及其检测方法 | |
| JP2010256253A (ja) | 三次元計測用画像撮影装置及びその方法 | |
| CN110120091B (zh) | 电力巡检图像样本制作方法、装置和计算机设备 | |
| CN106705896B (zh) | 一种基于单摄像机全方位主动视觉的电连接器壳体缺陷检测装置及方法 | |
| CN110910460A (zh) | 一种获取位置信息的方法、装置及标定设备 | |
| CN110554046A (zh) | 一种用于电子元器件引脚的检测系统和方法 | |
| CN110231023A (zh) | 一种智能视觉采样方法、系统及装置 | |
| CN112257497B (zh) | 一种利用空地融合真三维场景对线路施工监督的方法 | |
| US11514608B2 (en) | Fisheye camera calibration system, method and electronic device | |
| CN112465960A (zh) | 一种三维模型的尺寸标定装置及方法 | |
| CN115619738A (zh) | 一种模组侧缝焊焊后检测方法 | |
| CN116778288A (zh) | 一种多模态融合目标检测系统及方法 | |
| JP2024508331A (ja) | マシンビジョンによる検出方法、その検出装置及びその検出システム | |
| CN110910379B (zh) | 一种残缺检测方法及装置 | |
| CN115131741A (zh) | 刻码质量检测方法、装置、计算机设备和存储介质 | |
| CN114565722A (zh) | 一种三维模型单体化实现方法 | |
| CN111563961A (zh) | 一种变电站的三维建模方法和相关装置 | |
| CN103383730A (zh) | 一种bnc端子自动检测机及其工作方法 | |
| Chidburee et al. | Toward 3D reconstruction of damaged vehicles for investigating traffic accidents in Thailand using a photogrammetric approach. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |