CN112235741A - 一种基于深度学习的巡检机器人车间状态检测系统 - Google Patents

一种基于深度学习的巡检机器人车间状态检测系统 Download PDF

Info

Publication number
CN112235741A
CN112235741A CN202010919547.7A CN202010919547A CN112235741A CN 112235741 A CN112235741 A CN 112235741A CN 202010919547 A CN202010919547 A CN 202010919547A CN 112235741 A CN112235741 A CN 112235741A
Authority
CN
China
Prior art keywords
deep learning
personal computer
industrial personal
deep
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010919547.7A
Other languages
English (en)
Inventor
赵飞洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiangnong Intelligent Technology Co Ltd
Original Assignee
Suzhou Xiangnong Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiangnong Intelligent Technology Co Ltd filed Critical Suzhou Xiangnong Intelligent Technology Co Ltd
Priority to CN202010919547.7A priority Critical patent/CN112235741A/zh
Publication of CN112235741A publication Critical patent/CN112235741A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度学习的巡检机器人车间状态检测系统,包括:设置在巡检机器人上的工控机、数据采集卡和导航模块。通过上述方式,本发明一种基于深度学习的巡检机器人车间状态检测系统,巡检机器人集成多种环境传感器及相机实现对自动化工厂整体状况的实时采集,通过深度学习的方法对生产线整体状况及设备运行声响进行智能分析和健康值评分,基于机器学习的方法综合分析环境指标,设备运行及物流线顺畅度等指标,评估整体健康值,将工作人员从繁重、重复、频繁、琐碎及远距离劳作中解脱出来,具有高智能化、定位精确、降低维修费用等优点,能够有效地减少和避免重大事故发生,不仅能获得巨大经济效益,而且能获得很好的社会效益。

Description

一种基于深度学习的巡检机器人车间状态检测系统
技术领域
本发明涉及自动化工厂智能巡检和车间整体状态诊断领域,特别是涉及一种基于深度学习的巡检机器人车间状态检测系统。
背景技术
检测车间的综合状况不仅包括温湿度、烟雾、气体等环境指标,还包括设备运行状况及输送线顺畅度、线边库堆积等生产状况等,目前自动化工厂的巡检工作主要由人工完成,少数状况下通过巡检机器人搭载监控相机来实现基础的实时监控;人工巡检难以保证精准度和细致度,且具备主观性,操作过程繁重琐碎;巡检机器人搭载相机只是移动的监控,不仅难以覆盖工厂整体状况,并且无法进行智能化分析与决策。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习的巡检机器人车间状态检测系统。
为解决上述技术问题,本发明采用的一个技术方案是:
提供一种基于深度学习的巡检机器人车间状态检测系统,包括:设置在巡检机器人上的工控机、数据采集卡和导航模块,所述数据采集卡通过多个环境传感器对环境指标进行实时采集,所述数据采集卡通过相机采集生产输送线的实时图片,所述数据采集卡通过声音传感器捕捉设备的运行声音,所述工控机对生产输送线的实时图片基于深度卷积神经网络CNN进行顺畅度评分,深度卷积神经网络采用Resnet_v2_152与FPN相结合的基础结构,前期模型训练采用预测分值与标定分值之间的均方差MSE并结合L2权重正则化作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署,所述工控机对设备的运行声音基于深度神经网络DNN对设备运行声响进行设备运行状况评分,深度神经网络使用三层隐层结合softmax输出声音分类值,softmax输出正常和异常的分值,前期网络训练时采用预测与真实值之间的交叉熵作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署,所述工控机根据环境指标数据、生产输送线的顺畅度评分和设备运行状况评分采用基于机器学习的线性回归分析方法得出整体评分值,得出上述指标对车间整体状况评分的贡献权重。
在本发明一个较佳实施例中,多个所述环境传感器包括温度传感器、气体传感器和烟雾传感器。
在本发明一个较佳实施例中,所述工控机与相机电性连接。
在本发明一个较佳实施例中,所述导航模块用于巡检机器人的导航定位和运动控制。
本发明的有益效果是:提供一种基于深度学习的巡检机器人车间状态检测系统,巡检机器人集成多种环境传感器及相机实现对自动化工厂整体状况的实时采集,通过深度学习的方法对生产线整体状况及设备运行声响进行智能分析和健康值评分,基于机器学习的方法综合分析环境指标,设备运行及物流线顺畅度等指标,评估整体健康值,将工作人员从繁重、重复、频繁、琐碎及远距离劳作中解脱出来,具有高智能化、定位精确、降低维修费用等优点,能够有效地减少和避免重大事故发生,不仅能获得巨大经济效益,而且能获得很好的社会效益。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1是本发明的一种基于深度学习的巡检机器人车间状态检测系统一较佳实施例的结构示意图;
图2是本发明的一种基于深度学习的巡检机器人车间状态检测系统一较佳实施例的检测区域示意图;
图3是本发明的一种基于深度学习的巡检机器人车间状态检测系统一较佳实施例的整体流程图;
图4是本发明的一种基于深度学习的巡检机器人车间状态检测系统一较佳实施例的工厂整体状况评估框图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-4,本发明实施例包括:
一种基于深度学习的巡检机器人车间状态检测系统,包括:设置在巡检机器人上的工控机、数据采集卡和导航模块,工控机与云台相机电性连接,运行深度学习算法来处理图片与传感器数据,数据采集卡搭载各种传感器采集环境参数数据与设备运行声音数据,导航模块用于巡检机器人导航定位、运动控制。
将车间按设备或者物流线分为不同的检测区域,分别在每个区域设置检测点位,即巡检机器人传感器参数采集与图片采集点位,在检测点位通过多个环境传感器对环境指标进行实时采集,多个所述环境传感器包括温度传感器、气体传感器、烟雾传感器和声音传感器,环境传感器可以设置在检测点,也可以设置在巡检机器人上,机器人进行巡检任务之前,需要预先配置检测点位的检查事项。
所述数据采集卡通过多个环境传感器对环境指标进行实时采集,采集环境的温湿度、烟雾、气体等环境指标,所述数据采集卡通过相机采集生产输送线的实时图片,实时图片是关于设备运行状况、输送线顺畅度,及线边库堆积等生产状况等,所述数据采集卡通过声音传感器捕捉设备的运行声音,根据异常声响的智能诊断设备的状态。
所述工控机对生产输送线的实时图片基于深度卷积神经网络CNN进行顺畅度评分,深度卷积神经网络采用Resnet_v2_152与FPN相结合的基础结构,前期模型训练采用预测分值与标定分值之间的均方差MSE并结合L2权重正则化作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署。
所述工控机对设备的运行声音基于深度神经网络DNN对设备运行声响进行设备运行状况评分,深度神经网络使用三层隐层结合softmax输出声音分类值,softmax输出正常和异常的分值,前期网络训练时采用预测与真实值之间的交叉熵作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署。
所述工控机根据环境指标数据、生产输送线的顺畅度评分和设备运行状况评分采用基于机器学习的线性回归分析方法得出整体评分值,并且得出上述指标对车间整体状况评分的贡献权重。
整个系统工作流程为:工控机下发巡检任务给巡检机器人,导航模块通过导航算法控制巡检机器人到达检测点后,数据采集卡采集传感器数据,同时云台相机采集图片数据上传至工控机,经上述算法处理显示最终结果,并根据结果做出不同预警行为。
本发明一种基于深度学习的巡检机器人车间状态检测系统的有益效果是:
(1)巡检机器人代替人工巡检,对自动化工厂的多维度数据进行实时采集,更具备可靠性和稳定性;
(2)基于深度学习的图像处理技术可以代替人的“眼睛”,实现对物流线产品流动的智能判别;
(3)基于深度学习的设备异常判断可以代替人的“耳朵”,实现对设备异常声响的智能诊断;
(4)基于机器学习的整体状况评估,综合分析传感器收集的环境指标和深度学习系统预测的分值,进行整体打分,供决策者查看。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于深度学习的巡检机器人车间状态检测系统,其特征在于,包括:设置在巡检机器人上的工控机、数据采集卡和导航模块,所述数据采集卡通过多个环境传感器对环境指标进行实时采集,所述数据采集卡通过相机采集生产输送线的实时图片,所述数据采集卡通过声音传感器捕捉设备的运行声音,所述工控机对生产输送线的实时图片基于深度卷积神经网络CNN进行顺畅度评分,深度卷积神经网络采用Resnet_v2_152与FPN相结合的基础结构,前期模型训练采用预测分值与标定分值之间的均方差MSE并结合L2权重正则化作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署,所述工控机对设备的运行声音基于深度神经网络DNN对设备运行声响进行设备运行状况评分,深度神经网络使用三层隐层结合softmax输出声音分类值,softmax输出正常和异常的分值,前期网络训练时采用预测与真实值之间的交叉熵作为损失函数,基于深度学习框架Tensorflow中进行训练、测试及部署,所述工控机根据环境指标数据、生产输送线的顺畅度评分和设备运行状况评分采用基于机器学习的线性回归分析方法得出整体评分值,得出上述指标对车间整体状况评分的贡献权重。
2.根据权利要求1所述的一种基于深度学习的巡检机器人车间状态检测系统,其特征在于,多个所述环境传感器包括温度传感器、气体传感器和烟雾传感器。
3.根据权利要求1所述的一种基于深度学习的巡检机器人车间状态检测系统,其特征在于,所述工控机与相机电性连接。
4.根据权利要求1所述的一种基于深度学习的巡检机器人车间状态检测系统,其特征在于,所述导航模块用于巡检机器人的导航定位和运动控制。
CN202010919547.7A 2020-09-04 2020-09-04 一种基于深度学习的巡检机器人车间状态检测系统 Withdrawn CN112235741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010919547.7A CN112235741A (zh) 2020-09-04 2020-09-04 一种基于深度学习的巡检机器人车间状态检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010919547.7A CN112235741A (zh) 2020-09-04 2020-09-04 一种基于深度学习的巡检机器人车间状态检测系统

Publications (1)

Publication Number Publication Date
CN112235741A true CN112235741A (zh) 2021-01-15

Family

ID=74115908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010919547.7A Withdrawn CN112235741A (zh) 2020-09-04 2020-09-04 一种基于深度学习的巡检机器人车间状态检测系统

Country Status (1)

Country Link
CN (1) CN112235741A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964345A (zh) * 2021-02-07 2021-06-15 广东电子工业研究院有限公司 一种货运汽车称重系统及其称重方法
CN113836790A (zh) * 2021-08-25 2021-12-24 成都鲁易科技有限公司 电动单车智能化等级的测评方法、装置及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964345A (zh) * 2021-02-07 2021-06-15 广东电子工业研究院有限公司 一种货运汽车称重系统及其称重方法
CN113836790A (zh) * 2021-08-25 2021-12-24 成都鲁易科技有限公司 电动单车智能化等级的测评方法、装置及计算机设备
CN113836790B (zh) * 2021-08-25 2024-02-02 成都鲁易科技有限公司 电动单车智能化等级的测评方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN110366031B (zh) 一种数字化车间mes系统基于视觉的异常状态监测与故障诊断方法
CN110619620B (zh) 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN111144262A (zh) 一种基于监控视频的工序异常检测方法
CN111080775A (zh) 一种基于人工智能的服务器巡检方法及系统
CN109772724A (zh) 一种铸件重点表面及内部缺陷的柔性检测分析系统
CN112235741A (zh) 一种基于深度学习的巡检机器人车间状态检测系统
US11521120B2 (en) Inspection apparatus and machine learning method
CN112173636B (zh) 一种巡检机器人对皮带机托辊故障的检测方法
US11682112B2 (en) Inspection device and machine learning method
CN113361686A (zh) 一种多层异构多模态卷积神经网络集成式机器人巡检方法
TWM604905U (zh) 應用於沖壓製程之智能監控系統
CN109443542B (zh) 一种基于红外热成像技术的压风机在线监测装置及监测方法
CN113344965A (zh) 基于图像采集的安全管理系统
CN113671911A (zh) 一种生产状况的监控系统
CN116560326B (zh) 一种智慧工厂管理平台
CN117235443A (zh) 一种基于边缘ai的电力作业安全监测方法及系统
CN116147697B (zh) 一种氢氧化铝无人值守监测方法及系统
CN115494074A (zh) 用于连铸板坯表面缺陷的在线检测方法
CN115165362A (zh) 一种基于巡检及振动信号的轴承故障智能检测系统和方法
CN113286270A (zh) 一种基于物联网技术的电梯预防性维保监管系统与方法
TWM604689U (zh) 應用於切割製程之智能監控系統
CN117975372B (zh) 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法
CN108181315B (zh) 一种基于图像处理的饼干损伤检测装置及检测方法
DE102019134021A1 (de) Verfahren zum Überwachen einer Anlage der Automatisierungstechnik
CN117309065B (zh) 一种基于无人机的换流站远程监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215000 F201, no.388 Ruoshui Road, Suzhou Industrial Park, Jiangsu Province

Applicant after: Suzhou Shannon Technology Co.,Ltd.

Address before: 215000 F201, no.388 Ruoshui Road, Suzhou Industrial Park, Jiangsu Province

Applicant before: SUZHOU XIANGNONG INTELLIGENT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20210115

WW01 Invention patent application withdrawn after publication