CN113486818A - 基于机器视觉的满斗率预测系统和方法 - Google Patents

基于机器视觉的满斗率预测系统和方法 Download PDF

Info

Publication number
CN113486818A
CN113486818A CN202110777966.6A CN202110777966A CN113486818A CN 113486818 A CN113486818 A CN 113486818A CN 202110777966 A CN202110777966 A CN 202110777966A CN 113486818 A CN113486818 A CN 113486818A
Authority
CN
China
Prior art keywords
information
full
data
fighting
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110777966.6A
Other languages
English (en)
Other versions
CN113486818B (zh
Inventor
姚宗伟
徐朝泽
冉亚斌
李学飞
毕秋实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110777966.6A priority Critical patent/CN113486818B/zh
Publication of CN113486818A publication Critical patent/CN113486818A/zh
Application granted granted Critical
Publication of CN113486818B publication Critical patent/CN113486818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明适用于装载机技术领域，具体公开了基于机器视觉的满斗率预测系统和方法，本发明实施例提供的基于机器视觉的满斗率预测方法通过以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。能够在装载机铲掘过程中训练卷积神经网络模型，并与相应满斗率数据生成模块生成的相应满斗率数据融合，得到满斗率预测数据，便于装载机或操作人员及时调整铲掘策略，使每次铲掘都能达到要求，提高工作效率。

Description

基于机器视觉的满斗率预测系统和方法
技术领域
本发明属于装载机技术领域，尤其涉及基于机器视觉的满斗率预测系统和方法。
背景技术
满斗率是指装载机铲斗铲入的物料体积同铲斗额定容积的比值，是体现装载机工作性能和生产效率的主要指标之一。对于无人驾驶装载机而言，车辆需要依据铲掘信息自主的调整铲掘的策略，满斗率就是其中的一个十分重要的要素。依据每次依据铲掘后的满斗率来调整下一次铲掘的策略，可以更好的进行挖掘作业。
在现有的方法中，满斗率的计算主要是由安装在工作装置上的称重系统来完成的。此类方法只能测得铲斗中物料的重量，要想得到满斗率，还需要获得物料的密度。然而，装载机的不同种类物料之间的密度差异性较大，难以获取精确值；若物料是多种类型的组合，那密度会是一个随机变量。此外，受传感器自身精度、安装精度、外界条件等因素的影响，称重系统难以精确得到铲斗中的物料重量。因此，该类方法都是在铲掘后对满斗率进行估计，即使发现满斗率不达标，也只能结束本次铲掘，不能够在铲掘过程中预测本次铲掘结束后的满斗率，不便于装载机或操作人员及时调整铲掘策略，工作效率不高。
发明内容
本发明实施例的目的在于提供基于机器视觉的满斗率预测系统和方法，旨在解决背景技术中提出的问题。
本发明实施例是这样实现的，基于机器视觉的满斗率预测系统，所述系统包括传感单元、通信单元、预处理单元、预测单元和供电单元，其中：
传感单元，用于采集装载机工作时的图片信息；采集装载机移动时的位置与速度信息；采集装载机挖掘物料的物料信息；采集装载机工作环境的温湿度信息；
通信单元，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元和预测单元；
预处理单元，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息；将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；将所述适应图片数据、位置与速度信息、物料信息和温湿度信息融合，得到融合数据；
预测单元，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据；
供电单元，用于向所述传感单元、通信单元、预处理单元和预测单元供电。
作为本发明实施例技术方案进一步的限定，所述传感单元具体包括：
图片信息采集模块，用于采集装载机工作时的图片信息；
位置与速度信息采集模块，用于采集装载机移动时的位置与速度信息；
物料信息采集模块，用于采集装载机挖掘物料的物料信息；以及
温湿度信息采集模块，用于采集装载机工作环境的温湿度信息。
作为本发明实施例技术方案进一步的限定，所述预处理单元具体包括：
清晰化处理模块，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息；
尺寸适应改变和拼接模块，用于将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；以及
同步融合模块，用于将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
作为本发明实施例技术方案进一步的限定，所述预测单元具体包括：
模型训练模块，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型；
第一满斗率数据生成模块，用于将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；
第二满斗率数据生成模块，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；以及
满斗率预测数据生成模块，用于将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
作为本发明实施例技术方案进一步的限定，所述基于机器视觉的满斗率预测模型训练的系统还包括：
辅助单元，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息备份；监测装载机的工作状态，并在出现异常是告警。
基于机器视觉的满斗率预测方法，所述方法具体包括以下步骤：
采集并处理装载机的图片信息、位置与速度信息、物料信息和温湿度信息，得到融合数据；
以多个融合数据作为训练样本，训练得到卷积神经网络模型；
将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；
将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；
将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
作为本发明实施例技术方案进一步的限定，所述融合数据的生成方法具体包括以下步骤：
采集装载机工作时的图片信息；
采集装载机移动时的位置与速度信息；
采集装载机挖掘物料的物料信息；
采集装载机工作环境的温湿度信息；
将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元和预测单元；
将所述图片信息进行降噪和清晰化处理，得到清晰化信息；
将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；
将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
与现有技术相比，本发明的有益效果是：
本发明实施例提供的基于机器视觉的满斗率预测方法通过以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。能够在装载机铲掘过程中训练卷积神经网络模型，并与相应满斗率数据生成模块生成的相应满斗率数据融合，得到满斗率预测数据，便于装载机或操作人员及时调整铲掘策略，使每次铲掘都能达到要求，提高工作效率。
附图说明
图1示出了本发明实施例提供的系统的模型训练架构图。
图2示出了本发明实施例提供的系统中传感单元的结构框图。
图3示出了本发明实施例提供的系统中预处理单元的结构框图。
图4示出了本发明实施例提供的系统中预测单元的结构框图。
图5示出了本发明实施例提供的系统的应用架构图。
图6示出了本发明实施例提供的方法的流程图。
图7示出了本发明实施例提供的方法中融合数据的生成流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解的是，在现有技术中，通常都是在铲掘后对满斗率进行估计，即使发现满斗率不达标，也只能结束本次铲掘，不能够在铲掘过程中预测本次铲掘结束后的满斗率，不便于装载机或操作人员及时调整铲掘策略，工作效率不高。
为解决上述问题，本发明实施例通过以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。能够在装载机铲掘过程中训练卷积神经网络模型，并与相应满斗率数据生成模块生成的相应满斗率数据融合，得到满斗率预测数据，便于装载机或操作人员及时调整铲掘策略，使每次铲掘都能达到要求，提高工作效率。
具体的，图1示出了本发明实施例提供的系统的模型训练架构图。
其中，在本发明提供的一个优选实施方式中，基于机器视觉的满斗率预测系统，所述系统包括传感单元101、通信单元102、预处理单元103和预测单元104，其中：
传感单元101，用于采集装载机工作时的图片信息；采集装载机移动时的位置与速度信息；采集装载机挖掘物料的物料信息；采集装载机工作环境的温湿度信息。
具体的，图2示出了本发明实施例提供的系统中传感单元101的结构框图。
其中，在本发明提供的优选实施方式中，所述传感单元具101体包括：
图片信息采集模块1011，用于采集装载机工作时的图片信息。
在本发明实施例中，图片信息采集模块1011可以是相机，采集装载机工作以及多机协同时的图片信息，具体的，装载机的图片信息有装载机铲装前和抬斗前两类。
位置与速度信息采集模块1012，用于采集装载机移动时的位置与速度信息。
在本发明实施例中，位置与速度信息采集模块1012可以是位移传感器和速度传感器，采集装载机在移动过程中的位置和速度信息。
物料信息采集模块1013，用于采集装载机挖掘物料的物料信息。
在本发明实施例中，物料信息采集模块1013可以是压力传感器，采集装载机在铲掘物料后相对应的物料信息。
温湿度信息采集模块1014，用于采集装载机工作环境的温湿度信息。
在本发明实施例中，温湿度信息采集模块1014可以是温度传感器和湿度传感器，采集装载机工作环境的温湿度信息。
进一步的，在本发明提供的优选实施方式中，所述系统还包括：
通信单元102，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元103和预测单元104。
在本发明实施例中，通信单元102由有线传输、短程无线传输和长程无线传输等部分构成，各部分的作用分别是：有线传输依靠数据线的形式传输传感器获取的数据；短程无线传输依靠NFC、BlueTooth、Wi-Fi等技术传输传感器获得的数据；长程无线传输依靠4G/5G技术以及短波通讯等技术传输传感器获取的数据。
预处理单元103，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息；将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；将所述适应图片数据、位置与速度信息、物料信息和温湿度信息融合，得到融合数据。
具体的，图3示出了本发明实施例提供的系统中预处理单元103的结构框图。
其中，在本发明提供的优选实施方式中，所述预处理单元103具体包括：
清晰化处理模块1031，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息。
在本发明实施例中，清晰化处理模块1031将所获的图片信息进行降噪和清晰化处理，去除无效信息以及获得感兴趣区域信息，得到清晰化信息。
尺寸适应改变和拼接模块1032，用于将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据。
在本发明实施例中，尺寸适应改变和拼接模块1032将清晰化信息改变尺寸以适应卷积神经网络模型，得到适应图片数据。
同步融合模块1033，用于将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
在本发明实施例中，信息融合模块1033将适应图片数据同相对应的其他传感器的信息进行同步融合对应，并进行降低图片数据的维度，将图片数据行扩展增强，提高卷积神经网络的准确度，得到融合数据。
进一步的，在本发明提供的优选实施方式中，所述系统还包括：
预测单元104，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
具体的，图4示出了本发明实施例提供的系统中预测单元的结构框图。
其中，在本发明提供的优选实施方式中，所述预测单元104具体包括：
模型训练模块1041，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型。
在本发明实施例中，模型训练模块1041是一种深度学习模型，将融合数据放入训练的卷积神经网络模型，得到卷积神经网络模型，该训练样本是将反应物料信息的压力值作为标签同相应的图片信息一一对应。
第一满斗率数据生成模块1042，用于将所述图片信息输入卷积神经网络模型，得到第一满斗率数据。
在本发明实施例中，第一满斗率数据生成模块1042根据输入的图片信息，从卷积神经网络模型中导出输出满斗率数据。
第二满斗率数据生成模块1043，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据。
在本发明实施例中，第二满斗率数据生成模块1043根据图像处理算法通过图片信息、位置与速度信息、物料信息和温湿度信息，经过图片处理推算得到第二满斗率数据。
满斗率预测数据生成模块1044，用于将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
在本发明实施例中，满斗率预测数据生成模块1044可以是通过卡尔曼滤波数据融合方法，将输出第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。其中，卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。
进一步的，在本发明提供的优选实施方式中，所述系统还包括：
供电单元105，用于向所述传感单元101、通信单元102、预处理单元103和预测单元104供电。
在本发明实施例中，供电单元105可由主供电和冗余供电等部分构成，主供电用于装载机正常工作时给传感单元101、通信单元102、预处理单元103和预测单元104供电工作，冗余供电用于给装载机主供电不工作时，给装载机的其他模块供电，用于数据的保护。
进一步的，图5示出了本发明实施例提供的系统的应用架构图。
具体的，在本发明提供的又一优选实施方式中，所述系统还包括：
辅助单元106，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息备份；监测装载机的工作状态，并在出现异常是告警。
在本发明实施例中，辅助单元106由报警组件、日志组件、数据备份组成，日志组件记录装载机工作情况，报警组件能够在装载机工作异常是告警，数据备份定时备份装载机各传感器数据。
进一步的，图6示出了本发明实施例提供的方法的流程图。
其中，在本发明提供的又一个优选实施方式中，基于机器视觉的满斗率预测方法，应用于预测单元104，所述方法具体包括：
步骤S101，采集并处理装载机的图片信息、位置与速度信息、物料信息和温湿度信息，得到融合数据。
在本发明实施例中，采集装载机工作过程中的图片信息、位置与速度信息、物料信息和温湿度信息，并将图片信息、位置与速度信息、物料信息和温湿度信息进行同步融合处理，得到融合数据。
步骤S102，以多个融合数据作为训练样本，训练得到卷积神经网络模型。
步骤S103，将所述图片信息输入卷积神经网络模型，得到第一满斗率数据。
在本发明实施例中，根据将图片信息输入至卷积神经网络模型中，从卷积神经网络模型中导出输出的第一满斗率数据。
步骤S104，将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据。
在本发明实施例中，利用传统的图像处理算法，将图片信息、位置与速度信息、物料信息和温湿度信息推算，得到第二满斗率数据。
步骤S105，将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
在本发明实施例中，可以是通过卡尔曼滤波数据融合方法，将第一满斗率数据和第二满斗率数据融合，得到满斗率预测数据。
具体的，图7示出了本发明实施例提供的方法中融合数据的生成流程图。
其中，在本发明提供的优选实施方式中，所述融合数据的生成方法具体包括：
步骤S1011，采集装载机工作时的图片信息。
步骤S1012，采集装载机移动时的位置与速度信息。
步骤S1013，采集装载机挖掘物料的物料信息。
步骤S1014，采集装载机工作环境的温湿度信息。
步骤S1015，将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元103和预测单元104。
在本发明实施例中，通过有线传输、短程无线传输和长程无线传输等将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元103和预测单元104。
步骤S1016，将所述图片信息进行降噪和清晰化处理，得到清晰化信息。
在本发明实施例中，将所获的图片信息进行降噪和清晰化处理，去除无效信息以及获得感兴趣区域信息，得到清晰化信息。
步骤S1017，将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据。
在本发明实施例中，将清晰化信息改变尺寸以适应卷积神经网络模型，得到适应图片数据。
步骤S1018，将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
在本发明实施例中，将适应图片数据同相对应的其他传感器的信息进行同步融合对应，并进行降低图片数据的维度，将图片数据行扩展增强，提高卷积神经网络的准确度，得到融合数据。
在本发明的实施例中，通过以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。能够在装载机铲掘过程中训练卷积神经网络模型，并与相应满斗率数据生成模块生成的相应满斗率数据融合，得到满斗率预测数据，便于装载机或操作人员及时调整铲掘策略，使每次铲掘都能达到要求，提高工作效率。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于机器视觉的满斗率预测系统，其特征在于，所述系统包括传感单元、通信单元、预处理单元、预测单元和供电单元，其中：
传感单元，用于采集装载机工作时的图片信息；采集装载机移动时的位置与速度信息；采集装载机挖掘物料的物料信息；采集装载机工作环境的温湿度信息；
通信单元，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元和预测单元；
预处理单元，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息；将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；将所述适应图片数据、位置与速度信息、物料信息和温湿度信息融合，得到融合数据；
预测单元，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型；将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据；
供电单元，用于向所述传感单元、通信单元、预处理单元和预测单元供电。
2.根据权利要求1所述的基于机器视觉的满斗率预测系统，其特征在于，所述传感单元具体包括：
图片信息采集模块，用于采集装载机工作时的图片信息；
位置与速度信息采集模块，用于采集装载机移动时的位置与速度信息；
物料信息采集模块，用于采集装载机挖掘物料的物料信息；以及
温湿度信息采集模块，用于采集装载机工作环境的温湿度信息。
3.根据权利要求1所述的基于机器视觉的满斗率预测系统，其特征在于，所述预处理单元具体包括：
清晰化处理模块，用于将所述图片信息进行降噪和清晰化处理，得到清晰化信息；
尺寸适应改变和拼接模块，用于将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；以及
同步融合模块，用于将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
4.根据权利要求1所述的基于机器视觉的满斗率预测系统，其特征在于，所述预测单元具体包括：
模型训练模块，用于以多个融合数据作为训练样本，训练得到卷积神经网络模型；
第一满斗率数据生成模块，用于将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；
第二满斗率数据生成模块，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；以及
满斗率预测数据生成模块，用于将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
5.根据权利要求1所述的基于机器视觉的满斗率预测系统，其特征在于，所述基于机器视觉的满斗率预测模型训练的系统还包括：
辅助单元，用于将所述图片信息、位置与速度信息、物料信息和温湿度信息备份；监测装载机的工作状态，并在出现异常是告警。
6.基于机器视觉的满斗率预测方法，其特征在于，所述方法具体包括以下步骤：
采集并处理装载机的图片信息、位置与速度信息、物料信息和温湿度信息，得到融合数据；
以多个融合数据作为训练样本，训练得到卷积神经网络模型；
将所述图片信息输入卷积神经网络模型，得到第一满斗率数据；
将所述图片信息、位置与速度信息、物料信息和温湿度信息通过图像处理算法推算，得到第二满斗率数据；
将所述第一满斗率数据和第二满斗率数据融合对比，得到满斗率预测数据。
7.根据权利要求6所述的基于机器视觉的满斗率预测方法，其特征在于，所述融合数据的生成方法具体包括以下步骤：
采集装载机工作时的图片信息；
采集装载机移动时的位置与速度信息；
采集装载机挖掘物料的物料信息；
采集装载机工作环境的温湿度信息；
将所述图片信息、位置与速度信息、物料信息和温湿度信息传输至预处理单元和预测单元；
将所述图片信息进行降噪和清晰化处理，得到清晰化信息；
将所述图片降噪信息进行尺寸适应改变和拼接，得到适应图片数据；
将所述适应图片数据、位置与速度信息、物料信息和温湿度信息同步融合，得到融合数据。
CN202110777966.6A 2021-07-09 2021-07-09 基于机器视觉的满斗率预测系统和方法 Active CN113486818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110777966.6A CN113486818B (zh) 2021-07-09 2021-07-09 基于机器视觉的满斗率预测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110777966.6A CN113486818B (zh) 2021-07-09 2021-07-09 基于机器视觉的满斗率预测系统和方法

Publications (2)

Publication Number Publication Date
CN113486818A true CN113486818A (zh) 2021-10-08
CN113486818B CN113486818B (zh) 2022-05-20

Family

ID=77937832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110777966.6A Active CN113486818B (zh) 2021-07-09 2021-07-09 基于机器视觉的满斗率预测系统和方法

Country Status (1)

Country Link
CN (1) CN113486818B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663351A (zh) * 2022-02-22 2022-06-24 北京拓疆者智能科技有限公司 一种满斗率探测方法和系统
CN115062422A (zh) * 2022-04-29 2022-09-16 厦门大学 一种用于装载机铲装满斗率预测的建模方法和系统
CN117036089A (zh) * 2023-08-22 2023-11-10 哈尔滨辰昌农业科技有限公司 生物质水稻育秧盘的制备方法及其系统
CN115062422B (zh) * 2022-04-29 2024-07-02 厦门大学 一种用于装载机铲装满斗率预测的建模方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN109978226A (zh) * 2019-01-24 2019-07-05 同济大学 基于循环神经网络的盾构施工地面沉降预测方法
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
US20210056410A1 (en) * 2019-07-19 2021-02-25 Quantela Pte. Ltd. Sensor data forecasting system for urban environment
CN112789481A (zh) * 2018-10-04 2021-05-11 祖克斯有限公司 对自上而下场景的轨迹预测
CN112836404A (zh) * 2021-01-07 2021-05-25 大连理工大学 智能挖掘机的结构性能数字孪生体构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN112789481A (zh) * 2018-10-04 2021-05-11 祖克斯有限公司 对自上而下场景的轨迹预测
CN109978226A (zh) * 2019-01-24 2019-07-05 同济大学 基于循环神经网络的盾构施工地面沉降预测方法
US20210056410A1 (en) * 2019-07-19 2021-02-25 Quantela Pte. Ltd. Sensor data forecasting system for urban environment
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN112836404A (zh) * 2021-01-07 2021-05-25 大连理工大学 智能挖掘机的结构性能数字孪生体构建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A DIEZ-OLIVAN等: "Data fusion and machine learning for industrial prognosis: Trends and perspectives towards Industry 4.0", 《INFORMATION FUSION》 *
YANGXIAOYU等: "A novel multi-information fusion grey model and its application in wear trend prediction of wind turbines", 《APPLIED MATHEMATICAL MODELLING》 *
ZONGWEI YAO等: "A neural network–based approach for fill factor estimation and bucket detection on construction vehicles", 《COMPUTER‐AIDED CIVIL AND INFRASTRUCTURE ENGINEERING》 *
姚宗伟等: "工程车辆无人驾驶关键技术", 《吉林大学学报(工学版)》 *
李运华等: "智能化挖掘机的研究现状与发展趋势", 《机械工程学报》 *
陈羽等: "装载机铲斗满斗率测试中SPC方法的应用", 《工程机械》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663351A (zh) * 2022-02-22 2022-06-24 北京拓疆者智能科技有限公司 一种满斗率探测方法和系统
CN115062422A (zh) * 2022-04-29 2022-09-16 厦门大学 一种用于装载机铲装满斗率预测的建模方法和系统
CN115062422B (zh) * 2022-04-29 2024-07-02 厦门大学 一种用于装载机铲装满斗率预测的建模方法和系统
CN117036089A (zh) * 2023-08-22 2023-11-10 哈尔滨辰昌农业科技有限公司 生物质水稻育秧盘的制备方法及其系统
CN117036089B (zh) * 2023-08-22 2024-05-28 哈尔滨辰昌农业科技有限公司 生物质水稻育秧盘的制备方法及其系统

Also Published As

Publication number Publication date
CN113486818B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN113486818B (zh) 基于机器视觉的满斗率预测系统和方法
JP5290026B2 (ja) 作業機械の学習診断システム、状態診断装置及び状態学習装置
AU2012284498B2 (en) Monitoring method using kernel regression modeling with pattern sequences
AU2006200556B2 (en) System and method of monitoring machine performance
EP1286003B1 (en) Method for managing construction machine and arithmetic processing apparatus
CN111501896B (zh) 挖土机及挖土机的诊断系统
US10725465B2 (en) State diagnostic device
EP3186683B1 (en) Intelligent programmable logic controller
JP5858839B2 (ja) 作業機械の異常診断装置
US20060142990A1 (en) Information processor, state judging unit and diagnostic unit, information processing method, state judging method and diagnosing method
CN114676647B (zh) 一种基于深度学习方法的数控机床零部件寿命预测方法
KR101667473B1 (ko) 작업 기계
Zheng et al. A hybrid repair-replacement policy in the proportional hazards model
CN109719756A (zh) 寿命预测装置
CN105658937A (zh) 用于监测传感器的运行的方法
CN115169050A (zh) 一种多模型融合的切削刀具磨损量动态预测方法
EP3871832B1 (en) Thermal displacement correction method for a machine tool
CN111108738A (zh) 数据处理设备、数据分析设备、数据处理系统和用于处理数据的方法
AU2019203123B2 (en) Industrial machine including a fluid sensor and method of operating the same
AU2021349855A9 (en) System and method for monitoring machine operations at a worksite
CN113627496A (zh) 道岔转辙机故障预测方法、装置、电子设备和可读存储介质
JP6775906B2 (ja) ショベル支援装置
JP7214780B2 (ja) 性能診断装置、性能診断方法
CN112633617A (zh) 维保策略生成方法、装置、计算机设备和可读存储介质
Lamoureux et al. Towards an integrated development of phm systems for aircraft engines: In-design selection and validation of health indicators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant