CN117409332B - 基于大数据处理的长材刨花外观数据检测系统及方法 - Google Patents

基于大数据处理的长材刨花外观数据检测系统及方法 Download PDF

Info

Publication number
CN117409332B
CN117409332B CN202311727370.0A CN202311727370A CN117409332B CN 117409332 B CN117409332 B CN 117409332B CN 202311727370 A CN202311727370 A CN 202311727370A CN 117409332 B CN117409332 B CN 117409332B
Authority
CN
China
Prior art keywords
shaving
image
target
shavings
wood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311727370.0A
Other languages
English (en)
Other versions
CN117409332A (zh
Inventor
周伟
周水保
李树安
闫张伟
葛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Baolong Electromechanical Manufacturing Co ltd
Original Assignee
Jiangsu Baolong Electromechanical Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Baolong Electromechanical Manufacturing Co ltd filed Critical Jiangsu Baolong Electromechanical Manufacturing Co ltd
Priority to CN202311727370.0A priority Critical patent/CN117409332B/zh
Publication of CN117409332A publication Critical patent/CN117409332A/zh
Application granted granted Critical
Publication of CN117409332B publication Critical patent/CN117409332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于大数据检测技术领域，本发明公开了基于大数据处理的长材刨花外观数据检测系统及方法，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；去除第二图片中遮挡物和背景图片得到目标刨花图像；将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像；将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。

Description

基于大数据处理的长材刨花外观数据检测系统及方法
技术领域
本发明涉及大数据检测技术领域，更具体地说，本发明涉及基于大数据处理的长材刨花外观数据检测系统及方法。
背景技术
长材刨花的外观特征提取面临着复杂性、多样性、细微缺陷难以捕捉等挑战。现在一般都是结合先进的图像处理技术、计算机视觉算法和大数据分析方法，以实现高效、准确的刨花外观特征提取和检测；但是因为长材刨花的外观特征可能受到多种因素的影响，可能导致缺陷或异常。
需要监测长材刨花的变化过程，有些刨花操作需要捕捉刨花前后长材的纹理、颜色和尺寸的变化是否符合正确刨花操作时的现象，或是需要进行判断的目标被短时遮挡，如何判别刨花过程中可能存在的微小缺陷，如微小的划痕、凹陷等。这些细微缺陷可能在光滑的表面上难以通过传统的图像处理技术或人眼观察来捕捉。
鉴于此，本发明提供了基于大数据处理的长材刨花外观数据检测系统及方法。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供基于大数据处理的长材刨花外观数据检测系统及方法。
为实现上述目的，本发明提供如下技术方案：
根据本发明的一个方面，提供了基于大数据处理的长材刨花外观数据检测方法，包括以下步骤：
基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；
构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；
去除第二图片中遮挡物和背景图片得到目标刨花图像；
将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像；
将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。
在一个优选的实施方式中，摄像头的个数为四个，摄像头以90°分布在同一个圆上，其圆心为控制框的中心点，四个摄像头为同步状态。
在一个优选的实施方式中，基于刨花流程对应获取刨花特征数据的具体逻辑为：
刨花历史数据库在历史刨花过程中，基于刨花设计数据适应性选择刨花流程，基于刨花流程对目标跟踪网络进行预置，并将刨花历史数据库中的第一图像进行训练和学习，可获取对应刨花位置的刨花特征数据。
在一个优选的实施方式中，所述目标跟踪网络的生成过程如下：
获取刨花历史数据库中刨花设计数据对应的刨花流程；并基于刨花流程提取对应刨花位置的刨花特征数据；
根据刨花位置针对每个刨花特征数据进行权重标注；
需要说明的是：刨花过程中，每个刨花位置中都会有对应的刨花特征数据，可以根据当前的刨花位置的不同被赋予多种权重，每种赋值后的权重对应于所述目标跟踪网络进行训练，所述每个刨花位置的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后对应刨花位置的刨花特征数据表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到目标跟踪网络。
在一个优选的实施方式中，第二图像的获取逻辑为：
将刨花特征数据与刨花设计数据之间的灰度变化区间定义为标准灰度变化阈值；
提取刨花特征数据对应刨花位置的第一图像进行灰度处理获得第一灰度图像，将第一灰度图像与刨花设计数据之间的灰度变化值标记为第一灰度变化值；
将第一灰度变化值与标准灰度变化阈值进行比对分析，判断当前位置的第一图像是否为刨花特征数据；
若第一图像是刨花特征数据，则目标跟踪网络继续监测；
若第一图像不是刨花特征数据，将当前位置的第一图像标记为第二图像；并将第二图像对应时间帧的前个时间帧对应的第一图像标记为第二图像。
在一个优选的实施方式中，所述遮挡物包括但不限于刨花设备和对刨花木材具有遮挡的物体；所述背景图片为用于刨花过程中存在的背景，背景包括但不限于厂房环境图像、输送设备图像和不需要刨花的木材图像。
在一个优选的实施方式中，所述目标全景图像的生成逻辑为：
根据摄像头的个数确定目标刨花图像为个，对目标刨花图像按照顺序进行标记为/>，/>，/>；目标刨花图像/>相邻的两张目标刨花图像分别为目标刨花图像/>和目标刨花图像/>；
将相邻的两张目标刨花图像的亮度进行匹配，使用SIFT算法分别对相邻的目标帧图像中提取刨花特征点，基于刨花特征点对相邻的目标帧图像进行匹配；
使用RANSAC算法对刨花特征点进行分析，计算出最佳匹配的变换矩阵H；
利用变换矩阵H对目标刨花图像进行投影变换，以获得目标刨花图像/>在目标刨花图像/>坐标系中的位置，
根据目标刨花图像在目标刨花图像/>坐标系中的位置，确定目标刨花图像与目标刨花图像/>的重叠区域，从而将目标刨花图像/>融合到目标刨花图像/>中，并更新目标刨花图像/>；
重复上述步骤，将个目标刨花图像通过拼接生成目标全景图像。
在一个优选的实施方式中，重叠区域为相邻两个目标刨花图像之间可以对齐的部分，对于重叠区域内的像素，通过加权平均的方法将目标刨花图像融合到目标刨花图像中。
在一个优选的实施方式中，所述目标结果的具体分析逻辑为：
获取个所述目标全景图像，根据事先预置的方式确定全景跟踪对象，基于全景跟踪对象捕获的对应的检测刨花图像；
基于卷积神经网络从检测刨花图像中提取检测刨花特征，在每一帧图像中，为跟踪目标创建一对跟踪目标，其中第一个跟踪目标包含前一帧中刨花目标的位置，而第二个跟踪目标在当前帧中包含同样刨花目标的位置；
将这一对跟踪目标输入到卷积神经网络中，卷积神经网络将比较这一对跟踪目标之间的差异，并学习跟踪目标在连续帧之间的运动，捕获运动对跟踪目标像素的影响；
卷积神经网络由于其层次结构，可以从训练数据中提取不同层次的信息；
卷积神经网络的输出的目标结果包括但不限于刨花目标的位置、形状和纹理信息。
根据本发明的另一个方面，提供了基于大数据处理的长材刨花外观数据检测系统，其基于上述所述的基于大数据处理的长材刨花外观数据检测方法，包括：
区域提取模块，基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；将第一图像发送至初步识别模块；
初步识别模块，构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；并将第二图像发送至图像标记模块；
图像标记模块，去除第二图片中遮挡物和背景图片得到目标刨花图像，将目标刨花图像发送至图像拼接模块；
图像拼接模块，将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像，将目标全景图像发送至目标识别模块；
目标识别模块，将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。
本发明基于大数据处理的长材刨花外观数据检测系统及方法的技术效果和优点：
本发明基于大数据处理的方法结合了计算机视觉、深度学习和数据分析技术，提高了刨花木材外观检测的效率、准确性和自动化水平，对于木材加工行业具有重要的应用潜力；
利用摄像头和大数据处理技术，实现了对刨花木材外观的高效自动检测，减少了人工操作和劳动力成本；通过建立刨花跟踪模型，可以对木材的刨花特征进行精确识别和测量，减少了人为误差，提高了检测的精确度；
而且实时监测刨花木材的外观，及时发现和处理不合格的木材，有助于提高生产效率和产品质量；通过大数据处理，系统可以记录和分析大量的外观数据，为生产过程的优化和改进提供了有价值的信息和统计数据；对遮挡物的处理，这有助于识别木材表面的真实特征，即使有遮挡物也能够进行有效的检测。由此可以有助于综合分析木材的整体外观的目标全景图像，提供更全面的信息，有助于更准确地进行判定和识别，利用卷积神经网络用于目标识别，可以学习和提取复杂的特征，进一步提高了识别的准确性，根据目标结果发出预警指令，及时采取措施，以防止次品木材进入下游生产环节，降低生产风险。
附图说明
图1为本发明的长材刨花外观数据检测系统示意图；
图2为本发明的长材刨花外观数据检测方法流程图；
图3为本发明的目标刨花图像拼接流程示意图；
图中：1、区域提取模块；2、初步识别模块；3、图像标记模块；4、图像拼接模块；5、目标识别模块；6、刨花历史数据库。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1所示，本实施例基于大数据处理的长材刨花外观数据检测系统，包括：区域提取模块1、初步识别模块2、图像标记模块3、图像拼接模块4、目标识别模块5和刨花历史数据库6；上述各个模块通过有线和/或无线连接的方式连接，实现各个模块间的数据传输；
区域提取模块1，基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；将第一图像发送至初步识别模块2；
这里需要说明的是：背景区域为多个摄像头所监控的区域；所述控制框为长材刨花区域；第一图像为单个摄像机采集的图像；单个摄像机存在拍摄死角问题，因此根据实际需要选择合适数量的摄像头；将控制框中的第一图像进行初步分析。
具体示例：摄像头的个数优选为四个，摄像头以90°分布在同一个圆上，其圆心为控制框的中心点，四个摄像头为同步状态。
这里需要说明的是：四个摄像头为同步状态，因此可以360°的采集控制框中的第一图像，但是依然存在以下问题，摄像头根据时间帧采集第一图像，如果时间帧间隔比较大，第一图像之间的变化过大，则无法监测刨花过程中出现的异常问题；若时间帧间隔较小，则时间帧对应的第一图像数量巨大，相邻帧之间重复度大，如果对视频中全部帧进行处理，将耗费相当长的时间，因此对刨花的分析中，只需要抽取部分时间帧对应的第一图像进行分析。
初步识别模块2，构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；并将第二图像发送至图像标记模块3；
这里需要说明的是：初步识别模块2主要是对第一图像进行初步识别，这个过程存在大量的图像处理，因此只需要通过刨花跟踪模型对第一图像进行初步过滤；将不满足基础刨花流程的第一图像标记为第二图像，再提取第二图像的前个时间帧的对应的第一图像；这样可以分辨出第二图像的真实性。
其中：刨花跟踪模型为深度学习网络模型，通过刨花历史数据库中选择训练数据和合适的训练算法，根据待刨花的刨花设计数据和约束条件，从长材的当前时间帧的图像中提取刨花特征数据。这些特征可能包括像素值、边缘检测、颜色等信息。
其中，基于刨花流程对应获取刨花特征数据的具体逻辑为：
刨花历史数据库在历史刨花过程中，基于刨花设计数据适应性选择刨花流程，基于刨花流程对目标跟踪网络进行预置，并将刨花历史数据库中的第一图像进行训练和学习，可获取对应刨花位置的刨花特征数据。
这里需要说明的是：当前刨花有多种形状，每个形状对应有一个刨花设计数据，每个刨花设计数据会适应性选择一种刨花流程；即刨花历史数据库中包括至少一刨花设计数据，所述刨花设计数据对应至少一个刨花流程，每个刨花流程在对应刨花位置包括至少一刨花特征数据。
所述目标跟踪网络的生成过程如下：
获取刨花历史数据库中刨花设计数据对应的刨花流程；并基于刨花流程提取对应刨花位置的刨花特征数据；
根据刨花位置针对每个刨花特征数据进行权重标注；
需要说明的是：刨花过程中，每个刨花位置中都会有对应的刨花特征数据，可以根据当前的刨花位置的不同被赋予多种权重，每种赋值后的权重对应于所述目标跟踪网络进行训练，所述每个刨花位置的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后对应刨花位置的刨花特征数据表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到目标跟踪网络。
第二图像的获取逻辑为：
将刨花特征数据与刨花设计数据之间的灰度变化区间定义为标准灰度变化阈值；所述刨花特征数据主要为木材灰度像素值，目前前后时间帧之间的灰度变化值，正常情况下，前后时间帧之间的灰度变化值都是在可控范围内，这时候是需要对刨花过程中木材过度关注，只需要能正常刨花即可；但是如果灰度变化值超过可控范围内，则说明当前刨花木材在刨花过程中出现异常，这个异常的原因可能是木材质量问题、刨花设备问题或是环境因素；另外将灰度变化值在可控范围内标记为标准灰度变化阈值。
将第一灰度变化值与标准灰度变化阈值进行比对分析，判断当前位置的第一图像是否为刨花特征数据；
若第一图像是刨花特征数据，则目标跟踪网络继续监测；
若第一图像不是刨花特征数据，将当前位置的第一图像标记为第二图像；并将第二图像对应时间帧的前N-1个时间帧对应的第一图像标记为第二图像。
这里需要说明的是：判断第二图像不符合刨花特征数据是偶然事件还是必然事件，因此要将N个连续时间帧的第二图像进行分析。
图像标记模块3，去除第二图片中遮挡物和背景图片得到目标刨花图像，将目标刨花图像发送至图像拼接模块4；所述遮挡物包括但不限于刨花设备和对刨花木材具有遮挡的物体；所述背景图片为用于刨花过程中存在的背景，背景包括但不限于厂房环境图像、输送设备图像和不需要刨花的木材图像；
图像拼接模块4，将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像，将目标全景图像发送至目标识别模块5；
如图3所示，所述目标全景图像的生成逻辑为：
根据摄像头的个数确定目标刨花图像为个，对目标刨花图像按照顺序进行标记为/>，/>，/>；目标刨花图像/>相邻的两张目标刨花图像分别为目标刨花图像/>和目标刨花图像/>。
将相邻的两张目标刨花图像的亮度进行匹配，具体可以通过直方图均衡等方法来实现，以确保图像亮度一致。
使用SIFT算法分别对相邻的目标帧图像中提取刨花特征点，基于刨花特征点对相邻的目标帧图像进行匹配；具体可使用距离比值法来筛选匹配点，以减少误匹配。
使用RANSAC算法对刨花特征点进行分析，计算出最佳匹配的变换矩阵H。这个矩阵描述了目标刨花图像到目标刨花图像/>的变换。
利用变换矩阵H对目标刨花图像进行投影变换，以获得目标刨花图像/>在目标刨花图像/>坐标系中的位置，
根据目标刨花图像在目标刨花图像/>坐标系中的位置，确定目标刨花图像与目标刨花图像/>的重叠区域，从而将目标刨花图像/>融合到目标刨花图像/>中，并更新目标刨花图像/>。
具体来说，重叠区域为相邻两个目标刨花图像之间可以对齐的部分，对于重叠区域内的像素，通过加权平均的方法将目标刨花图像融合到目标刨花图像/>中。
这里需要说明的是：目标刨花图像和目标刨花图像/>之间的距离差用于表征权重，可以计算每个像素在目标刨花图像/>和目标刨花图像/>之间的距离，并将权重分配为距离的倒数。这意味着距离更近的像素在融合中会占据更大的权重；
重复上述步骤，将个目标刨花图像通过拼接生成目标全景图像。
目标识别模块5，将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。并将目标结果存储在刨花历史数据库6中，所述刨花历史数据库6存储有刨花过程中的所有刨花特征数据。
所述目标结果的具体分析逻辑为：
获取个所述目标全景图像，根据事先预置的方式确定全景跟踪对象，基于全景跟踪对象捕获的对应的检测刨花图像；
基于卷积神经网络从检测刨花图像中提取检测刨花特征，在每一帧图像中，为跟踪目标创建一对跟踪目标，其中第一个跟踪目标包含前一帧中刨花目标的位置，而第二个跟踪目标在当前帧中包含同样刨花目标的位置；
将这一对跟踪目标输入到卷积神经网络中，卷积神经网络将比较这一对跟踪目标之间的差异，并学习跟踪目标在连续帧之间的运动，捕获运动对跟踪目标像素的影响。这意味着网络将学会目标在不同帧之间的位置变化，并可能估计目标的速度和方向。
卷积神经网络由于其层次结构，可以从训练数据中提取不同层次的信息。这意味着网络可以同时考虑低级特征（如边缘和颜色）和高级特征（如目标的形状和纹理），以提高跟踪性能。
卷积神经网络的输出的目标结果包括但不限于刨花目标的位置、形状和纹理信息。这些信息可以用于跟踪目标的位置并预测其未来位置。
这里需要说明的是：卷积神经网络大量的刨花特征数据进行训练，以便卷积神经网络能够有效地捕获目标的运动模式，并进行实时的目标检测和跟踪，以确保目标在视频序列中的连续性跟踪。其具体采用的深度学习框架如TensorFlow和PyTorch通常用于实现这种类型的目标跟踪任务。
实施例二
请参阅图2所示，本实施例未详细叙述部分见实施例一描述内容，本实施例提供基于大数据处理的长材刨花外观数据检测方法，包括以下步骤：
基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；
构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；
去除第二图片中遮挡物和背景图片得到目标刨花图像；
将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像；
将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。
在一个优选的实施方式中，摄像头的个数为四个，摄像头以90°分布在同一个圆上，其圆心为控制框的中心点，四个摄像头为同步状态。
在一个优选的实施方式中，基于刨花流程对应获取刨花特征数据的具体逻辑为：
刨花历史数据库在历史刨花过程中，基于刨花设计数据适应性选择刨花流程，基于刨花流程对目标跟踪网络进行预置，并将刨花历史数据库中的第一图像进行训练和学习，可获取对应刨花位置的刨花特征数据。
在一个优选的实施方式中，所述目标跟踪网络的生成过程如下：
获取刨花历史数据库中刨花设计数据对应的刨花流程；并基于刨花流程提取对应刨花位置的刨花特征数据；
根据刨花位置针对每个刨花特征数据进行权重标注；
需要说明的是：刨花过程中，每个刨花位置中都会有对应的刨花特征数据，可以根据当前的刨花位置的不同被赋予多种权重，每种赋值后的权重对应于所述目标跟踪网络进行训练，所述每个刨花位置的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后对应刨花位置的刨花特征数据表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到目标跟踪网络。
在一个优选的实施方式中，第二图像的获取逻辑为：
将刨花特征数据与刨花设计数据之间的灰度变化区间定义为标准灰度变化阈值；
提取刨花特征数据对应刨花位置的第一图像进行灰度处理获得第一灰度图像，将第一灰度图像与刨花设计数据之间的灰度变化值标记为第一灰度变化值；
将第一灰度变化值与标准灰度变化阈值进行比对分析，判断当前位置的第一图像是否为刨花特征数据；
若第一图像是刨花特征数据，则目标跟踪网络继续监测；
若第一图像不是刨花特征数据，将当前位置的第一图像标记为第二图像；并将第二图像对应时间帧的前个时间帧对应的第一图像标记为第二图像。
在一个优选的实施方式中，所述遮挡物包括但不限于刨花设备和对刨花木材具有遮挡的物体；所述背景图片为用于刨花过程中存在的背景，背景包括但不限于厂房环境图像、输送设备图像和不需要刨花的木材图像。
在一个优选的实施方式中，所述目标全景图像的生成逻辑为：
根据摄像头的个数确定目标刨花图像为个，对目标刨花图像按照顺序进行标记为/>，/>，/>；目标刨花图像/>相邻的两张目标刨花图像分别为目标刨花图像/>和目标刨花图像/>；
将相邻的两张目标刨花图像的亮度进行匹配，使用SIFT算法分别对相邻的目标帧图像中提取刨花特征点，基于刨花特征点对相邻的目标帧图像进行匹配；
使用RANSAC算法对刨花特征点进行分析，计算出最佳匹配的变换矩阵H；
利用变换矩阵H对目标刨花图像进行投影变换，以获得目标刨花图像/>在目标刨花图像/>坐标系中的位置，
根据目标刨花图像在目标刨花图像/>坐标系中的位置，确定目标刨花图像与目标刨花图像/>的重叠区域，从而将目标刨花图像/>融合到目标刨花图像/>中，并更新目标刨花图像/>；
重复上述步骤，将个目标刨花图像通过拼接生成目标全景图像。
在一个优选的实施方式中，重叠区域为相邻两个目标刨花图像之间可以对齐的部分，对于重叠区域内的像素，通过加权平均的方法将目标刨花图像融合到目标刨花图像中。
在一个优选的实施方式中，所述目标结果的具体分析逻辑为：
获取个所述目标全景图像，根据事先预置的方式确定全景跟踪对象，基于全景跟踪对象捕获的对应的检测刨花图像；
基于卷积神经网络从检测刨花图像中提取检测刨花特征，在每一帧图像中，为跟踪目标创建一对跟踪目标，其中第一个跟踪目标包含前一帧中刨花目标的位置，而第二个跟踪目标在当前帧中包含同样刨花目标的位置；
将这一对跟踪目标输入到卷积神经网络中，卷积神经网络将比较这一对跟踪目标之间的差异，并学习跟踪目标在连续帧之间的运动，捕获运动对跟踪目标像素的影响；
卷积神经网络由于其层次结构，可以从训练数据中提取不同层次的信息；
卷积神经网络的输出的目标结果包括但不限于刨花目标的位置、形状和纹理信息。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于大数据处理的长材刨花外观数据检测方法，其特征在于，包括以下步骤：
基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；
构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；
去除第二图片中遮挡物和背景图片得到目标刨花图像；
将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像；
将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令；
第二图像的获取逻辑为：
将刨花特征数据与刨花设计数据之间的灰度变化区间定义为标准灰度变化阈值；
提取刨花特征数据对应刨花位置的第一图像进行灰度处理获得第一灰度图像，将第一灰度图像与刨花设计数据之间的灰度变化值标记为第一灰度变化值；
将第一灰度变化值与标准灰度变化阈值进行比对分析，判断当前位置的第一图像是否为刨花特征数据；
若第一图像是刨花特征数据，则目标跟踪网络继续监测；
若第一图像不是刨花特征数据，将当前位置的第一图像标记为第二图像；并将第二图像对应时间帧的前个时间帧对应的第一图像标记为第二图像。
2.根据权利要求1所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，摄像头的个数为四个，摄像头以90°分布在同一个圆上，其圆心为控制框的中心点，四个摄像头为同步状态。
3.根据权利要求2所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，基于刨花流程对应获取刨花特征数据的具体逻辑为：
刨花历史数据库在历史刨花过程中，基于刨花设计数据适应性选择刨花流程，基于刨花流程对目标跟踪网络进行预置，并将刨花历史数据库中的第一图像进行训练和学习，可获取对应刨花位置的刨花特征数据。
4.根据权利要求3所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，所述目标跟踪网络的生成过程如下：
获取刨花历史数据库中刨花设计数据对应的刨花流程；并基于刨花流程提取对应刨花位置的刨花特征数据；
根据刨花位置针对每个刨花特征数据进行权重标注；
刨花过程中，每个刨花位置中都会有对应的刨花特征数据，根据当前的刨花位置的不同被赋予多种权重，每种赋值后的权重对应于所述目标跟踪网络进行训练，所述每个刨花位置的权重标注可以人为输入得到，也可以为多次实验得出；
将权重标注后对应刨花位置的刨花特征数据表作为训练集；
将所述训练集输入预构建神经网络模型进行训练，以得到目标跟踪网络。
5.根据权利要求4所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，所述遮挡物包括但不限于刨花设备和对刨花木材具有遮挡的物体；所述背景图片为用于刨花过程中存在的背景，背景包括但不限于厂房环境图像、输送设备图像和不需要刨花的木材图像。
6.根据权利要求5所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，所述目标全景图像的生成逻辑为：
根据摄像头的个数确定目标刨花图像为个，对目标刨花图像按照顺序进行标记为，/>，/>；目标刨花图像/>相邻的两张目标刨花图像分别为目标刨花图像/>和目标刨花图像/>；
将相邻的两张目标刨花图像的亮度进行匹配，使用SIFT算法分别对相邻的目标帧图像中提取刨花特征点，基于刨花特征点对相邻的目标帧图像进行匹配；
使用RANSAC算法对刨花特征点进行分析，计算出最佳匹配的变换矩阵H；
利用变换矩阵H对目标刨花图像进行投影变换，以获得目标刨花图像/>在目标刨花图像/>坐标系中的位置，
根据目标刨花图像在目标刨花图像/>坐标系中的位置，确定目标刨花图像/>与目标刨花图像/>的重叠区域，从而将目标刨花图像/>融合到目标刨花图像/>中，并更新目标刨花图像/>；
重复上述步骤，将个目标刨花图像通过拼接生成目标全景图像。
7.根据权利要求6所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，重叠区域为相邻两个目标刨花图像之间可以对齐的部分，对于重叠区域内的像素，通过加权平均的方法将目标刨花图像融合到目标刨花图像/>中。
8.根据权利要求7所述的基于大数据处理的长材刨花外观数据检测方法，其特征在于，所述目标结果的具体分析逻辑为：
获取个所述目标全景图像，根据事先预置的方式确定全景跟踪对象，基于全景跟踪对象捕获的对应的检测刨花图像；
基于卷积神经网络从检测刨花图像中提取检测刨花特征，在每一帧图像中，为跟踪目标创建一对跟踪目标，其中第一个跟踪目标包含前一帧中刨花目标的位置，而第二个跟踪目标在当前帧中包含同样刨花目标的位置；
将这一对跟踪目标输入到卷积神经网络中，卷积神经网络将比较这一对跟踪目标之间的差异，并学习跟踪目标在连续帧之间的运动，捕获运动对跟踪目标像素的影响；
卷积神经网络由于其层次结构，可以从训练数据中提取不同层次的信息；
卷积神经网络的输出的目标结果包括但不限于刨花目标的位置、形状和纹理信息。
9.基于大数据处理的长材刨花外观数据检测系统，其特征在于，其基于权利要求1-8任一所述的基于大数据处理的长材刨花外观数据检测方法，包括：
区域提取模块（1），基于摄像头的清晰度配置背景区域，建立背景区域内构建控制框，获取控制框与各个摄像头之间的位置关系，提取控制框内的第一图像；将第一图像发送至初步识别模块（2）；
初步识别模块（2），构建刨花跟踪模型，通过刨花历史数据库对刨花跟踪模型进行训练和学习，提取待刨花木材在获取对应刨花位置的刨花特征数据；将第一图像与刨花特征数据进行初步识别，提取不符合刨花特征数据的第一图像，并标记为第二图像；并将第二图像发送至图像标记模块（3）；
第二图像的获取逻辑为：
将刨花特征数据与刨花设计数据之间的灰度变化区间定义为标准灰度变化阈值；
提取刨花特征数据对应刨花位置的第一图像进行灰度处理获得第一灰度图像，将第一灰度图像与刨花设计数据之间的灰度变化值标记为第一灰度变化值；
将第一灰度变化值与标准灰度变化阈值进行比对分析，判断当前位置的第一图像是否为刨花特征数据；
若第一图像是刨花特征数据，则目标跟踪网络继续监测；
若第一图像不是刨花特征数据，将当前位置的第一图像标记为第二图像；并将第二图像对应时间帧的前个时间帧对应的第一图像标记为第二图像;
图像标记模块（3），去除第二图片中遮挡物和背景图片得到目标刨花图像，将目标刨花图像发送至图像拼接模块（4）；
图像拼接模块（4），将目标刨花图像根据对应时间帧进行拼接，获取控制框内对应的目标全景图像，将目标全景图像发送至目标识别模块（5）；
目标识别模块（5），将目标全景图像输入卷积神经网络进行目标识别，获得目标结果；基于目标结果发出预警指令。
CN202311727370.0A 2023-12-15 2023-12-15 基于大数据处理的长材刨花外观数据检测系统及方法 Active CN117409332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311727370.0A CN117409332B (zh) 2023-12-15 2023-12-15 基于大数据处理的长材刨花外观数据检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311727370.0A CN117409332B (zh) 2023-12-15 2023-12-15 基于大数据处理的长材刨花外观数据检测系统及方法

Publications (2)

Publication Number Publication Date
CN117409332A CN117409332A (zh) 2024-01-16
CN117409332B true CN117409332B (zh) 2024-03-19

Family

ID=89500440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311727370.0A Active CN117409332B (zh) 2023-12-15 2023-12-15 基于大数据处理的长材刨花外观数据检测系统及方法

Country Status (1)

Country Link
CN (1) CN117409332B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464786A (zh) * 2020-11-24 2021-03-09 泰康保险集团股份有限公司 一种视频的检测方法及装置
CN114943750A (zh) * 2022-06-06 2022-08-26 中国第一汽车股份有限公司 目标跟踪方法、装置及电子设备
CN117152161A (zh) * 2023-11-01 2023-12-01 山东迪特智联信息科技有限责任公司 一种基于图像识别的刨花板质量检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464786A (zh) * 2020-11-24 2021-03-09 泰康保险集团股份有限公司 一种视频的检测方法及装置
CN114943750A (zh) * 2022-06-06 2022-08-26 中国第一汽车股份有限公司 目标跟踪方法、装置及电子设备
CN117152161A (zh) * 2023-11-01 2023-12-01 山东迪特智联信息科技有限责任公司 一种基于图像识别的刨花板质量检测方法及系统

Also Published As

Publication number Publication date
CN117409332A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN111275679B (zh) 一种基于图像的太阳能电池缺陷检测系统及方法
CN104361314B (zh) 基于红外与可见光图像融合的变电设备定位方法及装置
Schmugge et al. Detection of cracks in nuclear power plant using spatial-temporal grouping of local patches
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN112183313B (zh) 一种基于SlowFast的电力作业现场动作识别方法
CN109978835B (zh) 一种在线装配缺陷识别系统及其方法
CN110070008A (zh) 一种采用无人机图像的桥梁病害识别方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法
CN110942450A (zh) 一种基于深度学习的多生产流水线实时缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN117152161B (zh) 一种基于图像识别的刨花板质量检测方法及系统
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113077423B (zh) 基于卷积神经网络的激光选区熔化熔池图像分析系统
CN117392565A (zh) 一种无人机电力巡检缺陷自动识别方法
CN117409332B (zh) 基于大数据处理的长材刨花外观数据检测系统及方法
CN117269168A (zh) 一种新能源汽车精密零配件表面缺陷检测装置及检测方法
CN107121063A (zh) 检测工件的方法
Huang et al. Mango surface defect detection based on HALCON
CN114677667A (zh) 一种基于深度学习的变电站电气设备红外故障识别方法
Wang et al. Visual defect detection for substation equipment based on joint inspection data of camera and robot
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant