CN115018840A - 精密铸件裂纹检测方法、系统及装置 - Google Patents

精密铸件裂纹检测方法、系统及装置 Download PDF

Info

Publication number
CN115018840A
CN115018840A CN202210942104.9A CN202210942104A CN115018840A CN 115018840 A CN115018840 A CN 115018840A CN 202210942104 A CN202210942104 A CN 202210942104A CN 115018840 A CN115018840 A CN 115018840A
Authority
CN
China
Prior art keywords
casting
video frame
crack detection
monitoring video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210942104.9A
Other languages
English (en)
Other versions
CN115018840B (zh
Inventor
邹志宏
张涌清
欧阳巨源
陆森林
龙朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Nante Metal Technology Co ltd
Original Assignee
Zhuhai Nante Metal Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Nante Metal Technology Co ltd filed Critical Zhuhai Nante Metal Technology Co ltd
Priority to CN202210942104.9A priority Critical patent/CN115018840B/zh
Publication of CN115018840A publication Critical patent/CN115018840A/zh
Application granted granted Critical
Publication of CN115018840B publication Critical patent/CN115018840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的精密铸件裂纹检测方法、系统及装置，涉及图像处理技术领域。在本发明中，对目标精密铸件进行视频监控，以输出目标精密铸件对应的初始铸件监控视频；依据铸件监控视频帧之间的相关性，对初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成初始铸件监控视频对应的目标铸件监控视频。利用预先更新完成的目标裂纹检测神经网络，分别对目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出对应的目标裂纹检测结果；本发明通过前述的内容，可以在一定程度上提高精密铸件裂纹检测的效率。

Description

精密铸件裂纹检测方法、系统及装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种精密铸件裂纹检测方法、系统及装置。
背景技术
精密铸件（如铝合金铸件或其它材料的铸件）在生产过程中或者在使用过程中，由于振动、自然天气、外力等原因会在精密铸件上产生裂纹。因此，对精密铸件进行检查，有助于了解精密铸件的质量或状态，提高精密铸件的安全性。其中，依据图像处理技术对精密铸件进行裂纹分析检测是一种主要的技术手段，但是，在现有技术中，存在检测效率不佳的问题。
发明内容
有鉴于此，本发明的目的在于提供一种精密铸件裂纹检测方法、系统及装置，以在一定程度上提高精密铸件裂纹检测的效率。
为实现上述目的，本发明采用如下技术方案：
一种精密铸件裂纹检测方法，应用精密铸件裂纹检测装置，所述精密铸件裂纹检测方法包括：
对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频，所述初始铸件监控视频包括多帧铸件监控视频帧；
依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，所述目标铸件监控视频包括至少一帧铸件监控视频帧；
利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果，所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，所述对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的铸件监控视频的步骤，包括：
分别对每一个历史精密铸件对应的历史裂纹检测结果进行分析，以输出每一个所述历史精密铸件对应的历史铸件质量参数，再对每一个所述历史精密铸件对应的历史铸件质量参数进行融合，输出目标铸件质量参数；
依据所述目标铸件质量参数，对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的铸件监控视频，所述铸件监控视频包括的铸件监控视频帧的帧数与所述目标铸件质量参数之间具有相关关系。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，所述依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频的步骤，包括：
分别对所述铸件监控视频包括的时序相邻的每两帧铸件监控视频帧之间的视频相关系数进行计算，输出对应的视频相关系数；
依据时序相邻的每两帧铸件监控视频帧之间的视频相关系数，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，在进行筛选的过程中，倘若时序相邻的两帧铸件监控视频帧之间的视频相关系数大于视频相关系数参考值，则将该两帧铸件监控视频帧中的一帧筛除。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，所述利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果的步骤，包括：
依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络；
利用所述目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧所述铸件监控视频帧对应的裂纹检测结果，再依据每一帧所述铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，所述依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新，所述第一参考图像组合包括第一铸件参考监控视频帧、第二铸件参考监控视频帧和第三铸件参考监控视频帧，所述第二铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹相关，所述第三铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹不相关；
利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数，所述初始裂纹检测神经网络对应的相关系数范围包括上相关系数范围和下相关系数范围，属于所述上相关系数范围的任意一个视频帧相关系数大于属于所述下相关系数范围的任意一个视频帧相关系数；
对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络，所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧构成第二参考图像组合。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
利用所述初始裂纹检测神经网络，分别对所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧进行视频帧信息挖掘，以输出对应的第一铸件参考监控视频帧信息分布向量、第二铸件参考监控视频帧信息分布向量、第三铸件参考监控视频帧信息分布向量和第四铸件参考监控视频帧信息分布向量，再分别对所述第一铸件参考监控视频帧信息分布向量与所述第二铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第三铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第四铸件参考监控视频帧信息分布向量之间的视频帧相关系数进行分析确定；
依据所述第一铸件参考监控视频帧与所述第二铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第三铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第四铸件参考监控视频帧之间的视频帧相关系数，进行网络学习代价值的分析，再依据分析出的所述网络学习代价值，对所述初始裂纹检测神经网络进行第二次更新，以形成对应的目标裂纹检测神经网络。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，在所述利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数的步骤之后，所述精密铸件裂纹检测方法还包括：
提取到待处理第一铸件参考监控视频帧、待处理第二铸件参考监控视频帧和待处理视频帧标识信息，所述待处理视频帧标识信息为第一待处理视频帧标识信息或第二待处理视频帧标识信息，所述第一待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧相关的参考监控视频帧，所述第二待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧不相关的参考监控视频帧，且所述第一待处理视频帧标识信息与所述上相关系数范围之间具有对应关系，所述第二待处理视频帧标识信息与所述下相关系数范围之间具有对应关系；
利用所述初始裂纹检测神经网络，确定所述待处理第一铸件参考监控视频帧与所述待处理第二铸件参考监控视频帧之间的视频帧相关系数；
按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，输出对应的裂纹检测可靠度；
所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤，包括：
在所述裂纹检测可靠度大于或等于裂纹检测可靠度参考值的条件下，对位于所述下相关系数范围包括的视频帧相关系数中具有非最小值的视频帧相关系数对应的配置参考监控视频帧，进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
在所述裂纹检测可靠度小于所述裂纹检测可靠度参考值的条件下，对所述上相关系数范围和所述下相关系数范围进行更新，再按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，以及，在所述裂纹检测可靠度大于或等于所述裂纹检测可靠度参考值的条件下，停止继续对所述上相关系数范围和所述下相关系数范围进行更新。
在一些优选的实施例中，在上述精密铸件裂纹检测方法中，在所述依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新的步骤之前，所述精密铸件裂纹检测方法还包括：
提取到多个第一视频帧集合，每一个所述第一视频帧集合包括多帧第一铸件参考监控视频帧，且任意两个所述第一视频帧集合包括的第一铸件参考监控视频帧的帧数相同；
针对每一帧所述第一铸件参考监控视频帧，将所属的所述第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第二铸件参考监控视频帧，标记为该第一铸件参考监控视频帧对应的第三铸件参考监控视频帧；
在所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤之后，所述精密铸件裂纹检测方法还包括：
针对每一帧所述第一铸件参考监控视频帧，将该第一铸件参考监控视频帧所属的第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第四铸件参考监控视频帧，标记为该第一铸件参考监控视频帧对应的第五参考监控视频帧；
所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧、所述第四铸件参考监控视频帧和所述第五参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络。
本发明还提供一种精密铸件裂纹检测系统，应用精密铸件裂纹检测装置，所述精密铸件裂纹检测系统包括：
视频监控模块，用于对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频，所述初始铸件监控视频包括多帧铸件监控视频帧；
视频帧筛选模块，用于依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，所述目标铸件监控视频包括至少一帧铸件监控视频帧；
裂纹检测模块，用于利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果，所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
本发明还提供一种精密铸件裂纹检测装置，所述精密铸件裂纹检测装置包括存储器和处理器，所述存储器存储有计算机程序，所述处理器通过执行所述计算机程序，以实现上述的精密铸件裂纹检测方法。
本发明提供的一种精密铸件裂纹检测方法、系统及装置，可以对目标精密铸件进行视频监控，以输出目标精密铸件对应的初始铸件监控视频。依据铸件监控视频帧之间的相关性，对初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成初始铸件监控视频对应的目标铸件监控视频。利用预先更新完成的目标裂纹检测神经网络，分别对目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出对应的目标裂纹检测结果。通过前述的内容，由于在进行裂纹检测之前，有对铸件监控视频帧进行筛选，使得进行裂纹检测的铸件监控视频帧的帧数减少，从而在一定程度上提高精密铸件裂纹检测的效率，改善现有技术中精密铸件裂纹检测的检测效率不高的问题。另外，利用预先更新完成的目标裂纹检测神经网络进行裂纹检测，还可以在一定程度上提高裂纹检测的可靠度（利用神经网络的高数据处理精度）。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本发明实施例提供的精密铸件裂纹检测装置的结构框图。
图2为本发明实施例提供的精密铸件裂纹检测方法的流程示意图。
图3为本发明实施例提供的精密铸件裂纹检测系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示的内容，本发明实施例提供了一种精密铸件裂纹检测装置。其中，所述精密铸件裂纹检测装置可以包括存储器和处理器。
应当说明，在一种可能的实施方式中，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的精密铸件裂纹检测方法。
应当说明，在一种可能的实施方式中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（ErasableProgrammable Read-Only Memory，EPROM），电可擦除只读存储器（Electric ErasableProgrammable Read-Only Memory，EEPROM）等。所述处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当说明，在一种可能的实施方式中，图1所示的结构仅为示意，所述精密铸件裂纹检测装置还可包括比图1中所示更多或者更少的组件，或具有与图1所示不同的配置，例如，可以包括用于与其它设备（如视频监控终端设备等）进行信息交互的通信单元。
应当说明，在一种可能的实施方式中，所述精密铸件裂纹检测装置可以是一种具备数据处理能力的服务器。
结合图2所示的内容，本发明实施例还提供一种精密铸件裂纹检测方法，可应用于上述精密铸件裂纹检测装置。其中，所述精密铸件裂纹检测方法有关的流程所定义的方法步骤，可以由所述精密铸件裂纹检测装置实现。下面将对图2所示的具体流程，进行详细阐述。
步骤110，对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频。
在本发明实施例中，所述精密铸件裂纹检测装置可以对目标精密铸件进行视频监控（如通过摄像等终端设备），以输出所述目标精密铸件对应的初始铸件监控视频。所述初始铸件监控视频包括多帧铸件监控视频帧。
步骤120，依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频。
在本发明实施例中，所述精密铸件裂纹检测装置可以依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频。所述目标铸件监控视频包括至少一帧铸件监控视频帧。
步骤130，利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果。
在本发明实施例中，所述精密铸件裂纹检测装置可以利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果。所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
通过前述的内容，由于在进行裂纹检测之前，有对铸件监控视频帧进行筛选，使得进行裂纹检测的铸件监控视频帧的帧数减少，从而在一定程度上提高精密铸件裂纹检测的效率，改善现有技术中精密铸件裂纹检测的检测效率不高的问题。另外，利用预先更新完成的目标裂纹检测神经网络进行裂纹检测，还可以在一定程度上提高裂纹检测的可靠度。
应当说明，在一种可能的实施方式中，上述描述中的步骤110，可以进一步包括以下详细的内容：
分别对每一个历史精密铸件对应的历史裂纹检测结果进行分析，以输出每一个所述历史精密铸件对应的历史铸件质量参数，再对每一个所述历史精密铸件对应的历史铸件质量参数进行融合，输出目标铸件质量参数；
依据所述目标铸件质量参数，对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的铸件监控视频，所述铸件监控视频包括的铸件监控视频帧的帧数与所述目标铸件质量参数之间具有相关关系（例如，所述铸件监控视频包括的铸件监控视频帧的帧数与所述目标铸件质量参数之间，可以具有负相关的对应关系，即历史质量越低，帧数可以越多）。
应当说明，在一种可能的实施方式中，上述描述中的步骤120，可以进一步包括以下详细的内容：
分别对所述铸件监控视频包括的时序相邻的每两帧铸件监控视频帧之间的视频相关系数进行计算，输出对应的视频相关系数；
依据时序相邻的每两帧铸件监控视频帧之间的视频相关系数，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，在进行筛选的过程中，倘若时序相邻的两帧铸件监控视频帧之间的视频相关系数大于视频相关系数参考值，则将该两帧铸件监控视频帧中的一帧筛除。
应当说明，在一种可能的实施方式中，上述描述中的所述分别对所述铸件监控视频包括的时序相邻的每两帧铸件监控视频帧之间的视频相关系数进行计算，输出对应的视频相关系数的步骤，可以进一步包括以下详细的内容（针对任意的两帧铸件监控视频帧进行视频相关系数的计算）：
对第一帧铸件监控视频帧进行特征点提取操作（可以采用现有技术中的特征点提取方式，如ORB算法，也可是对所述第一帧铸件监控视频帧进行线段识别，然后，将识别出的每一条线段包括的端点和中间点和/或相关比例的分隔点，都确定为第一像素特征点），以输出所述第一帧铸件监控视频帧对应的第一特征点簇，再对第二帧铸件监控视频帧进行特征点提取操作（参照第一帧铸件监控视频帧进行的特征点提取操作），以输出所述第二帧铸件监控视频帧对应的第二特征点簇，所述第一特征点簇包括多个第一像素特征点，所述第二特征点簇包括多个第二像素特征点；
依据目标寸尺（如5*6、12*18等寸尺），对所述第一帧铸件监控视频帧进行分割处理，以形成所述第一帧铸件监控视频帧对应的多帧第一子铸件监控视频帧，再依据所述目标寸尺，对所述第二帧铸件监控视频帧进行分割处理，以形成所述第二帧铸件监控视频帧对应的多帧第二子铸件监控视频帧，再依据包括的像素点的像素位置，将所述多帧第一子铸件监控视频帧和所述多帧第二子铸件监控视频帧进行一一配对处理，以形成多个子铸件监控视频帧组合（也就是说，每一个所述子铸件监控视频帧组合可以包括第一子铸件监控视频帧和第二子铸件监控视频帧）；
针对每一个所述第一像素特征点，依据该第一像素特征点的像素值，从所述第一帧铸件监控视频帧中，提取出与该像素值相同的每一个其它第一像素点，以作为该第一像素特征点对应的相关第一像素点，再对所述相关第一像素点的数量进行统计，以输出该第一像素特征点对应的第一相关数量，以及，依据每一个所述相关第一像素点与该第一像素特征点之间的像素位置关系（如像素位置距离等），构建形成该第一像素特征点对应的第一相关像素分布向量；
针对每一个所述第二像素特征点，依据该第二像素特征点的像素值，从所述第二帧铸件监控视频帧中，提取出与该像素值相同的每一个其它第二像素点，以作为该第二像素特征点对应的相关第二像素点，再对所述相关第二像素点的数量进行统计，以输出该第二像素特征点对应的第二相关数量，以及，依据每一个所述相关第二像素点与该第二像素特征点之间的像素位置关系，构建形成该第二像素特征点对应的第二相关像素分布向量；
针对每一个所述子铸件监控视频帧组合，对该子铸件监控视频帧组合包括的第一子铸件监控视频帧包括的第一像素特征点对应的第一相关数量进行累加计算，以输出该子铸件监控视频帧组合对应的第一相关数量累加值，再对该子铸件监控视频帧组合包括的第二子铸件监控视频帧包括的第二像素特征点对应的第二相关数量进行累加计算，以输出该子铸件监控视频帧组合对应的第二相关数量累加值，以及，再依据该第一相关数量累加值和该第二相关数量累加值的融合值（如平均值等），分析输出该子铸件监控视频帧组合对应的权重系数（所述权重系数和所述融合值之间具有负相关的对应关系）；
针对每一个所述子铸件监控视频帧组合，分别对该子铸件监控视频帧组合包括的第一子铸件监控视频帧包括的每一个第一像素特征点对应的第一相关像素分布向量和该子铸件监控视频帧组合包括的第二子铸件监控视频帧包括的每一个第二像素特征点对应的第二相关像素分布向量进行向量相似度的计算，以输出该子铸件监控视频帧组合对应的多个向量相似度，再对该多个向量相似度进行融合（如平均值计算等），以输出该子铸件监控视频帧组合对应的目标向量相似度；
依据每一个所述子铸件监控视频帧组合对应的权重系数，对所述多个子铸件监控视频帧组合对应的多个目标向量相似度进行加权求和计算，以输出所述第一帧铸件监控视频帧和所述第二帧铸件监控视频帧之间的视频相关系数（即对应的加权求和值）。
应当说明，在一种可能的实施方式中，上述描述中的步骤130，可以进一步包括以下详细的内容：
依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新（如此，可以提高形成的目标裂纹检测神经网络的检测精度），以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络；
利用所述目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧所述铸件监控视频帧对应的裂纹检测结果，再依据每一帧所述铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果（例如，只要所述裂纹检测结果中存在一个反映有裂纹的，所述目标裂纹检测结果用于反映所述目标精密铸件存在裂纹）。
应当说明，在一种可能的实施方式中，上述描述中的所述依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，可以进一步包括以下详细的内容：
依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新，所述第一参考图像组合包括第一铸件参考监控视频帧、第二铸件参考监控视频帧和第三铸件参考监控视频帧，所述第二铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹相关，所述第三铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹不相关（裂纹相关可以是指，裂纹的位置相关、裂纹的形状相关等）；
利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数，所述初始裂纹检测神经网络对应的相关系数范围包括上相关系数范围和下相关系数范围，属于所述上相关系数范围的任意一个视频帧相关系数大于属于所述下相关系数范围的任意一个视频帧相关系数；
对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络，所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧构成第二参考图像组合（通过上述处理，所述初始裂纹检测神经网络不仅可以挖掘出第一铸件参考监控视频帧与第二铸件参考监控视频帧之间的关系，还可以挖掘出第一铸件参考监控视频帧与第三铸件参考监控视频帧之间的关系，另外，通过将第四铸件参考监控视频帧加入到初始裂纹检测神经网络的更新过程中，使得所述初始裂纹检测神经网络，还可以挖掘出第一铸件参考监控视频帧与第四铸件参考监控视频帧之间的关系，为初始裂纹检测神经网络的训练引入了干扰，增大了初始裂纹检测神经网络的训练难度，使得初始裂纹检测神经网络能够较为准确地区分开第二铸件参考监控视频帧和不相关的参考监控视频帧，进而提高了所述初始裂纹检测神经网络的准确性和鲁棒性）。
应当说明，在一种可能的实施方式中，上述描述中的所述依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新的步骤，可以进一步包括以下详细的内容：
利用所述初始裂纹检测神经网络，分别对所述第一铸件参考监控视频帧与所述第二铸件参考监控视频帧、所述第一铸件参考监控视频帧与所述第三铸件参考监控视频帧之间的视频帧相关系数进行分析（例如，可以对第一铸件参考监控视频帧、第二铸件参考监控视频帧和第三铸件参考监控视频帧进行视频帧信息挖掘，得到第一铸件参考监控视频帧信息分布向量、第二铸件参考监控视频帧信息分布向量和第三铸件参考监控视频帧信息分布向量，然后，可以确定第一铸件参考监控视频帧信息分布向量与第二铸件参考监控视频帧信息分布向量、第一铸件参考监控视频帧信息分布向量与第三铸件参考监控视频帧信息分布向量之间的视频帧相关系数；其中，所述初始裂纹检测神经网络可以包括第一特征挖掘网络和第二特征挖掘网络，第一特征挖掘网络用于对输入的第一铸件参考监控视频帧进行特征挖掘，输出对应的第一铸件参考监控视频帧信息分布向量，第二特征挖掘网络分别用于对输入的第二铸件参考监控视频帧和第三铸件参考监控视频帧进行特征挖掘，分别输出对应的第二铸件参考监控视频帧信息分布向量和对应的第三铸件参考监控视频帧信息分布向量）；
依据分析出的视频帧相关系数，计算出所述初始裂纹检测神经网络对应的网络学习代价值（例如，所述网络学习代价值可以负相关于，第一铸件参考监控视频帧与第二铸件参考监控视频帧之间的视频帧相关系数；所述网络学习代价值可以正相关于，第一铸件参考监控视频帧与第三铸件参考监控视频帧之间的视频帧相关系数），再依据所述网络学习代价值，对初始裂纹检测神经网络进行第一次更新。
应当说明，在一种可能的实施方式中，上述描述中的所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，可以进一步包括以下详细的内容：
利用所述初始裂纹检测神经网络，分别对所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧进行视频帧信息挖掘，以输出对应的第一铸件参考监控视频帧信息分布向量、第二铸件参考监控视频帧信息分布向量、第三铸件参考监控视频帧信息分布向量和第四铸件参考监控视频帧信息分布向量，再分别对所述第一铸件参考监控视频帧信息分布向量与所述第二铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第三铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第四铸件参考监控视频帧信息分布向量之间的视频帧相关系数进行分析确定（参照上述的相关描述）；
依据所述第一铸件参考监控视频帧与所述第二铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第三铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第四铸件参考监控视频帧之间的视频帧相关系数，进行网络学习代价值的分析，再依据分析出的所述网络学习代价值，对所述初始裂纹检测神经网络进行第二次更新，以形成对应的目标裂纹检测神经网络。
应当说明，在一种可能的实施方式中，在上述描述中的所述利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数的步骤之后，所述精密铸件裂纹检测方法可以进一步包括以下详细的内容：
提取到待处理第一铸件参考监控视频帧、待处理第二铸件参考监控视频帧和待处理视频帧标识信息，所述待处理视频帧标识信息为第一待处理视频帧标识信息或第二待处理视频帧标识信息，所述第一待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧相关的参考监控视频帧，所述第二待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧不相关的参考监控视频帧，且所述第一待处理视频帧标识信息与所述上相关系数范围之间具有对应关系，所述第二待处理视频帧标识信息与所述下相关系数范围之间具有对应关系；
利用所述初始裂纹检测神经网络，确定所述待处理第一铸件参考监控视频帧与所述待处理第二铸件参考监控视频帧之间的视频帧相关系数；
按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，输出对应的裂纹检测可靠度（也就是说，可以通过所述待处理第一铸件参考监控视频帧、所述待处理第二铸件参考监控视频帧和所述待处理视频帧标识信息，对所述初始裂纹检测神经网络进行测试）。
基于上述的内容，在待处理视频帧标识信息为第一待处理视频帧标识信息的情况下，若待处理第一铸件参考监控视频帧与待处理第二铸件参考监控视频帧之间的视频帧相关系数属于上相关系数范围，表明所述初始裂纹检测神经网络将该待处理第二铸件参考监控视频帧识别为待处理第一铸件参考监控视频帧对应的第二铸件参考监控视频帧（裂纹相关），表明所述初始裂纹检测神经网络的识别结果是正确的；若待处理第一铸件参考监控视频帧与待处理第二铸件参考监控视频帧之间的视频帧相关系数属于下相关系数范围，表明所述初始裂纹检测神经网络将该待处理第二铸件参考监控视频帧识别为待处理第一铸件参考监控视频帧对应的不相关的参考监控视频帧，表明所述初始裂纹检测神经网络的识别结果是错误的。同理，在待处理视频帧标识信息为第二待处理视频帧标识信息的情况下，若待处理第一铸件参考监控视频帧与待处理第二铸件参考监控视频帧之间的视频帧相关系数属于上相关系数范围，表明所述初始裂纹检测神经网络将该待处理第二铸件参考监控视频帧识别为待处理第一铸件参考监控视频帧对应的第二铸件参考监控视频帧（裂纹相关），表明所述初始裂纹检测神经网络的识别结果是错误的；若待处理第一铸件参考监控视频帧与待处理第二铸件参考监控视频帧之间的视频帧相关系数属于下相关系数范围，表明所述初始裂纹检测神经网络将该待处理第二铸件参考监控视频帧识别为待处理第一铸件参考监控视频帧对应的不相关的参考监控视频帧，表明所述初始裂纹检测神经网络的识别结果是正确的。基于此，所述裂纹检测可靠度可以依据正确的识别结果的数量占比确定。
应当说明，在一种可能的实施方式中，上述描述中的所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤，可以包括以下详细的内容：
在所述裂纹检测可靠度大于或等于裂纹检测可靠度参考值（裂纹检测可靠度参考值可以为0.7、0.8、0.85或0.95等）的条件下，对位于所述下相关系数范围包括的视频帧相关系数中具有非最小值的视频帧相关系数对应的配置参考监控视频帧，进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
在所述裂纹检测可靠度小于所述裂纹检测可靠度参考值的条件下，对所述上相关系数范围和所述下相关系数范围进行更新（例如，所述上相关系数范围和所述下相关系数范围可以通过一个相关系数阈值来划分，因此，可以通过对该相关系数阈值的大小进行更新，以实现对所述上相关系数范围和所述下相关系数范围的更新；若一个相关系数阈值能够使裂纹检测可靠度大于裂纹检测可靠度参考值，则该相关系数阈值合理，通过该相关系数阈值划分出上相关系数范围和下相关系数范围合理，则根据待处理第一铸件参考监控视频帧与对应的第二铸件参考监控视频帧之间的视频帧相关系数是否属于该上相关系数范围，所确定出的裂纹检测可靠度准确），再按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，以及，在所述裂纹检测可靠度大于或等于所述裂纹检测可靠度参考值的条件下，停止继续对所述上相关系数范围和所述下相关系数范围进行更新。
应当说明，在一种可能的实施方式中，在上述描述中的所述依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新的步骤之前，所述精密铸件裂纹检测方法还可以进一步包括以下详细的内容：
提取到多个第一视频帧集合，每一个所述第一视频帧集合包括多帧第一铸件参考监控视频帧，且任意两个所述第一视频帧集合包括的第一铸件参考监控视频帧的帧数相同；
针对每一帧所述第一铸件参考监控视频帧，将所属的所述第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第二铸件参考监控视频帧（即相关的铸件参考监控视频帧），标记为该第一铸件参考监控视频帧对应的第三铸件参考监控视频帧（基于此，由于同一个第一视频帧集合中的两帧第一铸件参考监控视频帧不相同，则两帧第一铸件参考监控视频帧对应的第二铸件参考监控视频帧也极有可能不同，则两帧第一铸件参考监控视频帧中的一帧第一铸件参考监控视频帧对应的第二铸件参考监控视频帧极与另一帧第一铸件参考监控视频帧不相关的可能性较大，因此，通过将同一个第一视频帧集合中当前第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第二铸件参考监控视频帧，直接确定为当前第一铸件参考监控视频帧对应的第三铸件参考监控视频帧，使得在不需要人工标注或者随机生成第一铸件参考监控视频帧对应的第三铸件参考监控视频帧的基础上，直接利用已有的第二铸件参考监控视频帧就能够达到为初始裂纹检测神经网络提供第三铸件参考监控视频帧的目的，降低了工作量，保证了参考监控视频帧的质量）。
应当说明，在一种可能的实施方式中，在上述描述中的所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤之后，所述精密铸件裂纹检测方法还可以进一步包括以下详细的内容：
针对每一帧所述第一铸件参考监控视频帧，将该第一铸件参考监控视频帧所属的第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第四铸件参考监控视频帧，标记为该第一铸件参考监控视频帧对应的第五参考监控视频帧。
应当说明，在一种可能的实施方式中，在上述描述中的所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，可以进一步包括以下详细的内容：
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧、所述第四铸件参考监控视频帧和所述第五参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络。
应当说明的是，由于所述目标裂纹检测神经网络可以分析出视频帧相关系数，因而，在对铸件监控视频帧进行裂纹检测时，若铸件监控视频帧对应的视频帧相关系数大于目标值，可以确定所述铸件监控视频帧对应的裂纹检测结果表征存在裂纹。
结合图3所示的内容，本发明实施例还提供一种精密铸件裂纹检测系统，可应用于上述精密铸件裂纹检测装置。其中，所述精密铸件裂纹检测系统可以包括视频监控模块、视频帧筛选模块和裂纹检测模块。
应当说明，在一种可能的实施方式中，所述视频监控模块，用于对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频，所述初始铸件监控视频包括多帧铸件监控视频帧。
应当说明，在一种可能的实施方式中，所述视频帧筛选模块，用于依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，所述目标铸件监控视频包括至少一帧铸件监控视频帧。
应当说明，在一种可能的实施方式中，所述裂纹检测模块，用于利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果，所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
综上所述，本发明提供的一种精密铸件裂纹检测方法、系统及装置，可以对目标精密铸件进行视频监控，以输出目标精密铸件对应的初始铸件监控视频。依据铸件监控视频帧之间的相关性，对初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成初始铸件监控视频对应的目标铸件监控视频。利用预先更新完成的目标裂纹检测神经网络，分别对目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出对应的目标裂纹检测结果。通过前述的内容，由于在进行裂纹检测之前，有对铸件监控视频帧进行筛选，使得进行裂纹检测的铸件监控视频帧的帧数减少，从而在一定程度上提高精密铸件裂纹检测的效率，改善现有技术中精密铸件裂纹检测的检测效率不高的问题。另外，利用预先更新完成的目标裂纹检测神经网络进行裂纹检测，还可以在一定程度上提高裂纹检测的可靠度（利用神经网络的高数据处理精度）。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种精密铸件裂纹检测方法，其特征在于，应用精密铸件裂纹检测装置，所述精密铸件裂纹检测方法包括：
对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频，所述初始铸件监控视频包括多帧铸件监控视频帧；
依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，所述目标铸件监控视频包括至少一帧铸件监控视频帧；
利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果，所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
2.如权利要求1所述的精密铸件裂纹检测方法，其特征在于，所述对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的铸件监控视频的步骤，包括：
分别对每一个历史精密铸件对应的历史裂纹检测结果进行分析，以输出每一个所述历史精密铸件对应的历史铸件质量参数，再对每一个所述历史精密铸件对应的历史铸件质量参数进行融合，输出目标铸件质量参数；
依据所述目标铸件质量参数，对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的铸件监控视频，所述铸件监控视频包括的铸件监控视频帧的帧数与所述目标铸件质量参数之间具有相关关系。
3.如权利要求1所述的精密铸件裂纹检测方法，其特征在于，所述依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频的步骤，包括：
分别对所述铸件监控视频包括的时序相邻的每两帧铸件监控视频帧之间的视频相关系数进行计算，输出对应的视频相关系数；
依据时序相邻的每两帧铸件监控视频帧之间的视频相关系数，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，在进行筛选的过程中，倘若时序相邻的两帧铸件监控视频帧之间的视频相关系数大于视频相关系数参考值，则将该两帧铸件监控视频帧中的一帧筛除。
4.如权利要求1所述的精密铸件裂纹检测方法，其特征在于，所述利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果的步骤，包括：
依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络；
利用所述目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧所述铸件监控视频帧对应的裂纹检测结果，再依据每一帧所述铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果。
5.如权利要求4所述的精密铸件裂纹检测方法，其特征在于，所述依据不同的参考图像组合，对初始裂纹检测神经网络进行多次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新，所述第一参考图像组合包括第一铸件参考监控视频帧、第二铸件参考监控视频帧和第三铸件参考监控视频帧，所述第二铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹相关，所述第三铸件参考监控视频帧中的裂纹与所述第一铸件参考监控视频帧中的裂纹不相关；
利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数，所述初始裂纹检测神经网络对应的相关系数范围包括上相关系数范围和下相关系数范围，属于所述上相关系数范围的任意一个视频帧相关系数大于属于所述下相关系数范围的任意一个视频帧相关系数；
对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络，所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧构成第二参考图像组合。
6.如权利要求5所述的精密铸件裂纹检测方法，其特征在于，所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
利用所述初始裂纹检测神经网络，分别对所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧进行视频帧信息挖掘，以输出对应的第一铸件参考监控视频帧信息分布向量、第二铸件参考监控视频帧信息分布向量、第三铸件参考监控视频帧信息分布向量和第四铸件参考监控视频帧信息分布向量，再分别对所述第一铸件参考监控视频帧信息分布向量与所述第二铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第三铸件参考监控视频帧信息分布向量、对所述第一铸件参考监控视频帧信息分布向量与所述第四铸件参考监控视频帧信息分布向量之间的视频帧相关系数进行分析确定；
依据所述第一铸件参考监控视频帧与所述第二铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第三铸件参考监控视频帧之间的视频帧相关系数、所述第一铸件参考监控视频帧与所述第四铸件参考监控视频帧之间的视频帧相关系数，进行网络学习代价值的分析，再依据分析出的所述网络学习代价值，对所述初始裂纹检测神经网络进行第二次更新，以形成对应的目标裂纹检测神经网络。
7.如权利要求5所述的精密铸件裂纹检测方法，其特征在于，在所述利用所述初始裂纹检测神经网络，分析出所述第一铸件参考监控视频帧与多帧配置参考监控视频帧之间的视频帧相关系数的步骤之后，所述精密铸件裂纹检测方法还包括：
提取到待处理第一铸件参考监控视频帧、待处理第二铸件参考监控视频帧和待处理视频帧标识信息，所述待处理视频帧标识信息为第一待处理视频帧标识信息或第二待处理视频帧标识信息，所述第一待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧相关的参考监控视频帧，所述第二待处理视频帧标识信息用于反映所述待处理第二铸件参考监控视频帧属于所述待处理第一铸件参考监控视频帧不相关的参考监控视频帧，且所述第一待处理视频帧标识信息与所述上相关系数范围之间具有对应关系，所述第二待处理视频帧标识信息与所述下相关系数范围之间具有对应关系；
利用所述初始裂纹检测神经网络，确定所述待处理第一铸件参考监控视频帧与所述待处理第二铸件参考监控视频帧之间的视频帧相关系数；
按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，输出对应的裂纹检测可靠度；
所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤，包括：
在所述裂纹检测可靠度大于或等于裂纹检测可靠度参考值的条件下，对位于所述下相关系数范围包括的视频帧相关系数中具有非最小值的视频帧相关系数对应的配置参考监控视频帧，进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧；
在所述裂纹检测可靠度小于所述裂纹检测可靠度参考值的条件下，对所述上相关系数范围和所述下相关系数范围进行更新，再按照所述视频帧相关系数是否位于所述待处理视频帧标识信息对应的相关系数范围内，对所述初始裂纹检测神经网络的裂纹检测可靠度进行分析，以及，在所述裂纹检测可靠度大于或等于所述裂纹检测可靠度参考值的条件下，停止继续对所述上相关系数范围和所述下相关系数范围进行更新。
8.如权利要求5所述的精密铸件裂纹检测方法，其特征在于，在所述依据第一参考图像组合对初始裂纹检测神经网络进行第一次更新的步骤之前，所述精密铸件裂纹检测方法还包括：
提取到多个第一视频帧集合，每一个所述第一视频帧集合包括多帧第一铸件参考监控视频帧，且任意两个所述第一视频帧集合包括的第一铸件参考监控视频帧的帧数相同；
针对每一帧所述第一铸件参考监控视频帧，将所属的所述第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第二铸件参考监控视频帧，标记为该第一铸件参考监控视频帧对应的第三铸件参考监控视频帧；
在所述对位于所述下相关系数范围包括的视频帧相关系数中的具有非最小值的视频帧相关系数对应的配置参考监控视频帧进行标记处理，以形成所述第一铸件参考监控视频帧对应的第四铸件参考监控视频帧的步骤之后，所述精密铸件裂纹检测方法还包括：
针对每一帧所述第一铸件参考监控视频帧，将该第一铸件参考监控视频帧所属的第一视频帧集合中该第一铸件参考监控视频帧以外的其它第一铸件参考监控视频帧对应的第四铸件参考监控视频帧，标记为该第一铸件参考监控视频帧对应的第五参考监控视频帧；
所述依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧和所述第四铸件参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络的步骤，包括：
依据所述第一铸件参考监控视频帧、所述第二铸件参考监控视频帧、所述第三铸件参考监控视频帧、所述第四铸件参考监控视频帧和所述第五参考监控视频帧，对所述初始裂纹检测神经网络进行第二次更新，以形成所述初始裂纹检测神经网络对应的目标裂纹检测神经网络。
9.一种精密铸件裂纹检测系统，其特征在于，应用精密铸件裂纹检测装置，所述精密铸件裂纹检测系统包括：
视频监控模块，用于对目标精密铸件进行视频监控，以输出所述目标精密铸件对应的初始铸件监控视频，所述初始铸件监控视频包括多帧铸件监控视频帧；
视频帧筛选模块，用于依据铸件监控视频帧之间的相关性，对所述初始铸件监控视频包括的多帧铸件监控视频帧进行筛选，以形成所述初始铸件监控视频对应的目标铸件监控视频，所述目标铸件监控视频包括至少一帧铸件监控视频帧；
裂纹检测模块，用于利用预先更新完成的目标裂纹检测神经网络，分别对所述目标铸件监控视频包括的每一帧铸件监控视频帧进行裂纹检测，以输出每一帧铸件监控视频帧对应的裂纹检测结果，再依据每一帧铸件监控视频帧对应的裂纹检测结果，融合输出所述目标精密铸件对应的目标裂纹检测结果，所述目标裂纹检测结果用于反映所述目标精密铸件是否存在裂纹。
10.一种精密铸件裂纹检测装置，其特征在于，所述精密铸件裂纹检测装置包括存储器和处理器，所述存储器存储有计算机程序，所述处理器通过执行所述计算机程序，以实现权利要求1-8任意一项所述的方法。
CN202210942104.9A 2022-08-08 2022-08-08 精密铸件裂纹检测方法、系统及装置 Active CN115018840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210942104.9A CN115018840B (zh) 2022-08-08 2022-08-08 精密铸件裂纹检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210942104.9A CN115018840B (zh) 2022-08-08 2022-08-08 精密铸件裂纹检测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN115018840A true CN115018840A (zh) 2022-09-06
CN115018840B CN115018840B (zh) 2022-11-18

Family

ID=83065989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210942104.9A Active CN115018840B (zh) 2022-08-08 2022-08-08 精密铸件裂纹检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN115018840B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497031A (zh) * 2022-11-14 2022-12-20 广东祥利科技有限公司 基于图像处理的pvc护套料的性能检测方法及系统
CN115588157A (zh) * 2022-12-12 2023-01-10 广东祥利科技有限公司 交联低烟低卤聚烯烃材料的性能数据处理方法及系统
CN115620210A (zh) * 2022-11-29 2023-01-17 广东祥利科技有限公司 基于图像处理的电子线料的性能确定方法及系统
CN115760728A (zh) * 2022-11-07 2023-03-07 广东祥利塑料有限公司 基于数据处理的耐辐照橡胶材料的性能分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190003830A1 (en) * 2016-01-07 2019-01-03 Mitsubishi Electric Corporation Detection device and detection method
CN110866510A (zh) * 2019-11-21 2020-03-06 山东浪潮人工智能研究院有限公司 一种基于关键帧检测的视频描述系统和方法
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN113553942A (zh) * 2021-07-20 2021-10-26 李旭昆 一种图像处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190003830A1 (en) * 2016-01-07 2019-01-03 Mitsubishi Electric Corporation Detection device and detection method
CN110866510A (zh) * 2019-11-21 2020-03-06 山东浪潮人工智能研究院有限公司 一种基于关键帧检测的视频描述系统和方法
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN113553942A (zh) * 2021-07-20 2021-10-26 李旭昆 一种图像处理方法
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴利 等: "基于视觉感知的表面缺陷智能检测理论及工业应用", 《计算机集成制造系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760728A (zh) * 2022-11-07 2023-03-07 广东祥利塑料有限公司 基于数据处理的耐辐照橡胶材料的性能分析方法及系统
CN115497031A (zh) * 2022-11-14 2022-12-20 广东祥利科技有限公司 基于图像处理的pvc护套料的性能检测方法及系统
CN115620210A (zh) * 2022-11-29 2023-01-17 广东祥利科技有限公司 基于图像处理的电子线料的性能确定方法及系统
CN115588157A (zh) * 2022-12-12 2023-01-10 广东祥利科技有限公司 交联低烟低卤聚烯烃材料的性能数据处理方法及系统

Also Published As

Publication number Publication date
CN115018840B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN115018840B (zh) 精密铸件裂纹检测方法、系统及装置
CN109241985B (zh) 一种图像识别方法及装置
CN115091472B (zh) 基于人工智能的目标定位方法及装夹机械手控制系统
CN114581856B (zh) 基于北斗系统的农业机组运动状态识别方法、系统及云平台
CN115457466A (zh) 一种基于巡检视频的隐患检测方法、系统及电子设备
CN112232206B (zh) 基于大数据和人工智能的人脸识别方法和人脸识别平台
CN112418118A (zh) 一种无监督桥下行人入侵检测方法及装置
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN115620243B (zh) 基于人工智能的污染源监测方法、系统及云平台
CN115100541B (zh) 一种卫星遥感数据的处理方法、系统及云平台
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN112308061B (zh) 一种车牌字符识别方法及装置
CN115424193A (zh) 一种训练图像信息处理的方法及系统
CN112668637B (zh) 网络模型的训练方法、识别方法、装置及电子设备
CN115147134A (zh) 基于工业互联网的产品防伪追溯方法、系统及云平台
CN114677615A (zh) 一种环境检测方法和检测系统
CN116437057B (zh) 乙硼烷生产监控系统的系统优化方法及系统
CN115620210B (zh) 基于图像处理的电子线料的性能确定方法及系统
CN115861321B (zh) 应用于工业互联网的生产环境检测方法及系统
CN116958838B (zh) 一种基于无人机航测技术的森林资源监测方法及系统
CN115980279B (zh) 氖气纯度检测系统的稳定性优化方法及系统
CN114139017A (zh) 一种智慧小区的安全防范方法及系统
CN112990045A (zh) 用于生成图像变化检测模型和图像变化检测的方法和装置
CN113869375A (zh) 一种材料检测方法及材料检测系统
CN113848210A (zh) 一种基于材料检测数据的材料定性方法及定性系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zou Zhihong

Inventor after: Zhang Yongqing

Inventor after: OuYang Juyuan

Inventor after: Lu Senlin

Inventor after: Long Chaohui

Inventor before: Zou Zhihong

Inventor before: Zhang Yongqing

Inventor before: OuYang Juyuan

Inventor before: Lu Senlin

Inventor before: Long Chaohui