CN114972863A - 一种基于边缘智能终端的大型机械检测装置及其检测方法 - Google Patents

一种基于边缘智能终端的大型机械检测装置及其检测方法 Download PDF

Info

Publication number
CN114972863A
CN114972863A CN202210577415.XA CN202210577415A CN114972863A CN 114972863 A CN114972863 A CN 114972863A CN 202210577415 A CN202210577415 A CN 202210577415A CN 114972863 A CN114972863 A CN 114972863A
Authority
CN
China
Prior art keywords
intelligent terminal
detection device
processing module
edge intelligent
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577415.XA
Other languages
English (en)
Inventor
周诗丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jilianke Internet Of Things Science And Technology Co ltd
Original Assignee
Suzhou Jilianke Internet Of Things Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jilianke Internet Of Things Science And Technology Co ltd filed Critical Suzhou Jilianke Internet Of Things Science And Technology Co ltd
Priority to CN202210577415.XA priority Critical patent/CN114972863A/zh
Publication of CN114972863A publication Critical patent/CN114972863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于边缘智能终端的大型机械检测装置及其检测方法，其中检测装置包含太阳能板、储能模块、智能处理模块、数据处理模块和摄像机；所述太阳能板用于发电，并将电能输送到储能模块进行储存；所述储能模块分别用于给智能处理模块和数据处理模块供电；所述智能处理模块用于处理数据，并通过数据处理模块将处理的数据传输到摄像机；而检测方法包括第一步先采集数据图形，第二步创建数据集和标签文件，第三步放入训练模型，第四步挑选权重文件，第五步转化模型，第六步挂载到智能终端上输出检测结果；本发明中边缘智能终端可以在视频监控终端处就可以处理视频信息，大大减少了计算和传输成本，且边缘智能终端更加轻量化，节约计算资源。

Description

一种基于边缘智能终端的大型机械检测装置及其检测方法
技术领域
本发明涉及计算机视觉领域，特指一种基于边缘智能终端的大型机械检测装置及其检测方法。
背景技术
目标检测是计算机视觉领域中的一个基础且具有挑战性的问题，其目的是识别图像中的所有感兴趣的对象的类别并确定其位置和大小。目标检测技术的应用也十分广泛，在人脸检测、大型机械检测、车辆检测、自动驾驶、医疗辅助等领域都有他的身影。
基于深度学习的目标检测算法主要分为两类：两阶段检测算法和一阶段检测算法。两阶段检测算法首先进行候选区域生成，即一个有可能包含待检物体的预选框，再通过卷积神经网络进行样本分类。常见的两阶段目标检测算法有：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等。一阶段检测算法不用提取候选区域，直接在网络中提取特征来预测物体分类和位置。常见的一阶段目标检测算法有：YOLO、SSD和RetinaNet等。
目前,基于卷积神经网络的目标检测以绝对的优势超过了传统的目标检测算法,但由于卷积神经网络结构复杂、计算量过大,消耗大量计算资源，目标检测通过视频监控采集数据传输到PC端，在PC端上实现对目标的检测。但这种方案存在数据量大、耗时多、距离远，易受外界干扰等问题。现在智能终端边缘计算技术的飞速发展，卷积神经网络的目标检测在智能终端上也有能力实现应用。
发明内容
本发明目的是为了克服现有技术的不足而提供一种基于边缘智能终端的大型机械检测装置及其检测方法，智能终端检测直接在视频监控终端就可以实现检测。
为达到上述目的，本发明采用的技术方案是：一种基于边缘智能终端的大型机械检测装置，包含太阳能板、储能模块、智能处理模块、数据处理模块和摄像机；
所述太阳能板与储能模块连接，用于发电，并将电能输送到储能模块进行储存；
所述储能模块分别用于给智能处理模块和数据处理模块供电；
所述智能处理模块用于处理数据，并通过数据处理模块将处理的数据传输到摄像机
本发明还公开了一种基于边缘智能终端的大型机械检测装置的检测方法，包含以下步骤：
步骤一：采集大型机械装置图像，将样本集按一定比例随机分为训练集、验证集和测试集；
步骤二：将训练集放入到模型网络中进行训练，每迭代一次就会拿验证集验证一次，获得mAP和召回率，模型会根据mAP和召回率挑选出迭代次数中效果最好的一次和迭代次数最后一次，保留权重文件；
步骤三：其次在Linux系统上搭建编译环境，安装gcc编译器、可扩展且轻便高效的序列化数据结构的协议Protobuf环境，再安装和配置OpenCV、Anconda和caffe；
步骤四：搭建转换模型环境，也是在Linux环境下，将权重文件放到转换模型中，先转换成ONNX格式文件，ONNX不仅包含权重值还包含着神经网络的网络流动信息以及每一层网络的输入输出信息和一些其他的辅助信息，再将ONNX格式文件转换成Caffe框架下的.prototxt和.caffemodle文件；
步骤五：将转换好的.prototxt和.caffemodel文件通过Vmwaretools传输到Windows端，通过转换工具将上述文件转成量化后的.wk文件，再通过nfs挂载到智能终端上；
步骤六：实时采集待测图像，边缘智能终端上计算输出置信度大于阈值的分类结果作为待测图像的识别结果。
优选的，步骤一中，会使用标注工具对图像中大型机械进行标注，得到边界框并生成相应的标签文件。
优选的，步骤二中，将测试集放入模型网络中，查看效果，不断调整参数，选取调整参数效果最好的权重文件。
优选的，步骤三中，gcc版本需要低于5.3以下。
优选的，步骤三中，OpenCV、Anconda和caffe版本都不宜过高。
优选的，步骤三中，在配置过程中，要求Python语言和环境一一对应。
优选的，步骤四中，Caffe是清晰而高效的深度学习框架，支持命令行、Python和MATLAB接口；.prototxt文件包含着网络结构定义，各个层由层属性和层参数构成；.modlecaffe文件包含着权重和偏置信息。
优选的，步骤六中，边缘智能终端支持IP摄像机、运动相机、全景相机等多种高性能、低功耗的监控设备。
优选的，步骤六中，边缘智能终端采用的是4v、160mA多晶太阳能板最大输出功率为0.64瓦并采用3.7v、10000mh锂电池为其供电。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明中边缘智能终端可以在视频监控终端处就可以处理视频信息，大大减少了计算和传输成本，且边缘智能终端更加轻量化，节约计算资源。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明所述的基于边缘智能终端的大型机械检测装置的结构示意图；
附图2为本发明所述的基于边缘智能终端的大型机械检测装置的检测方法的目标流程图；
附图3为本发明展示的第一种实验结果图；
附图4为本发明展示的第二种实验结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
附图1为本发明所述的基于边缘智能终端的大型机械检测装置，包含
太阳能板、储能模块、智能处理模块、数据处理模块和摄像机；
所述太阳能板与储能模块连接，用于发电，并将电能输送到储能模块进行储存；
所述储能模块分别用于给智能处理模块和数据处理模块供电；
所述智能处理模块用于处理数据，并通过数据处理模块将处理的数据传输到摄像机
附图2为本发明所述的基于边缘智能终端的大型机械检测装置的检测方法，包含以下步骤：
步骤1:采集大型机械装置图像，将样本集按一定比例随机分为训练集、验证集和测试集。使用标注工具对图像中大型机械进行标注，得到边界框并生成相应的标签文件。
步骤2：将训练集放入到模型网络中进行训练，训练时使用随机梯度法进行100次迭代，学习率为0.01，每迭代一次就会拿验证集验证一次，获得mAP和召回率，模型会根据mAP和召回率挑选出迭代次数中效果最好的一次和迭代次数最后一次，保留权重文件。将测试集放入模型网络中，查看效果，不断调整参数，选取调整参数效果最好的权重文件。
步骤3：其次在Linux系统上搭建编译环境，安装gcc编译器，gcc版本低于5.3以下、可扩展且轻便高效的序列化数据结构的协议Protobuf环境，再安装和配置OpenCV3,Anconda安装不要版本过高，会导致python语言太高，不兼容。Caffe安装cpu版本足够且版本都不宜过高。配置过程中，要Python语言和环境一一对应。
步骤4：搭建转换模型环境，也是在Linux环境下，将权重文件放到转换模型中，先转换成ONNX格式文件，ONNX不仅包含权重值还包含着神经网络的网络流动信息以及每一层网络的输入输出信息和一些其他的辅助信息，再将ONNX格式文件转换成Caffe框架下的.prototxt和.caffemodle文件。Caffe是清晰而高效的深度学习框架，支持命令行、Python和MATLAB接口，.prototxt文件包含着网络结构定义，各个层由层属性和层参数构成，.modlecaffe文件包含着权重和偏置信息。
步骤5：转换好的.prototxt和.caffemodel文件通过Vmwaretools传输到Windows端，使用边缘智能终端配套的转换工具，主要是通过转换工具nnie_mapper功能，该功能主要是将.caffemodel转化成在边缘智能终端上可加在执行的数据指令文件，即生成.wk文件，再将远程计算机和边缘智能终端处于同一个网段，使用nfs挂载,把远程计算机中文件传输到边缘智能终端；其中边缘智能终端烧录UBoot、kernel和文件系统，首先通过网口和串口连接pc端，通过烧录软件，分配好烧录地址，开始烧录。
步骤6：边缘智能终端支持IP摄像机、运动相机、全景相机等多种高性能、低功耗的监控设备，采用的是4v、160mA多晶太阳能板最大输出功率为0.64瓦并采用3.7v、10000mh锂电池为其供电；实时采集视频监控终端数据，在边缘智能终端上做推理计算，而边缘智能终端使用的是NNIE硬件单元，专门用来针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，卷积层、池化层和全连接层会被替换成量化后的新层，替代的层继承原来的层，调用量化库对权重和激活值进行量化，加快推理时间，最终推理计算出置信度大于0.6的分类结果作为待测图像的识别结果输出，远程计算机端通过nfs挂载便可查看输出结果，如图3-4所述。
本发明中边缘智能终端可以在视频监控终端处就可以处理视频信息，大大减少了计算和传输成本，且边缘智能终端更加轻量化，节约计算资源
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (10)

1.一种基于边缘智能终端的大型机械检测装置，其特征在于：包含太阳能板、储能模块、智能处理模块、数据处理模块和摄像机；
所述太阳能板与储能模块连接，用于发电，并将电能输送到储能模块进行储存；
所述储能模块分别用于给智能处理模块和数据处理模块供电；
所述智能处理模块用于处理数据，并通过数据处理模块将处理的数据传输到摄像机。
2.根据权利要求1所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：包含以下步骤：
步骤一：采集大型机械装置图像，将样本集按一定比例随机分为训练集、验证集和测试集；
步骤二：将训练集放入到模型网络中进行训练，每迭代一次就会拿验证集验证一次，获得mAP和召回率，模型会根据mAP和召回率挑选出迭代次数中效果最好的一次和迭代次数最后一次，保留权重文件；
步骤三：在Linux系统上搭建编译环境，安装gcc编译器、可扩展且轻便高效的序列化数据结构的协议Protobuf环境，再安装和配置OpenCV、Anconda和caffe；
步骤四：搭建转换模型环境，也是在Linux环境下，将权重文件放到转换模型中，先转换成ONNX格式文件，ONNX不仅包含权重值还包含着神经网络的网络流动信息以及每一层网络的输入输出信息和一些其他的辅助信息，再将ONNX格式文件转换成Caffe框架下的.prototxt和.caffemodle文件；
步骤五：将转换好的.prototxt和.caffemodel文件通过Vmwaretools传输到Windows端，通过转换工具将上述文件转成量化后的.wk文件，再通过nfs挂载到智能终端上；
步骤六：实时采集待测图像，边缘智能终端上计算输出置信度大于阈值的分类结果作为待测图像的识别结果。
3.根据权利要求2所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤一中，会使用标注工具对图像中大型机械进行标注，得到边界框并生成相应的标签文件。
4.根据权利要求3所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤二中，将测试集放入模型网络中，查看效果，不断调整参数，选取调整参数效果最好的权重文件。
5.根据权利要求4所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤三中，gcc版本需要低于5.3以下。
6.根据权利要求5所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤三中，OpenCV、Anconda和caffe版本都不宜过高。
7.根据权利要求6所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤三中，在配置过程中，要求Python语言和环境一一对应。
8.根据权利要求1-7任意一项所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤四中，Caffe是清晰而高效的深度学习框架，支持命令行、Python和MATLAB接口；.prototxt文件包含着网络结构定义，各个层由层属性和层参数构成；.modlecaffe文件包含着权重和偏置信息。
9.根据权利要求8所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤六中，边缘智能终端支持IP摄像机、运动相机、全景相机等多种高性能、低功耗的监控设备。
10.根据权利要求9所述的基于边缘智能终端的大型机械检测装置的检测方法，其特征在于：步骤六中，边缘智能终端采用的是4v、160mA多晶太阳能板最大输出功率为0.64瓦并采用3.7v、10000mh锂电池为其供电。
CN202210577415.XA 2022-05-25 2022-05-25 一种基于边缘智能终端的大型机械检测装置及其检测方法 Pending CN114972863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577415.XA CN114972863A (zh) 2022-05-25 2022-05-25 一种基于边缘智能终端的大型机械检测装置及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577415.XA CN114972863A (zh) 2022-05-25 2022-05-25 一种基于边缘智能终端的大型机械检测装置及其检测方法

Publications (1)

Publication Number Publication Date
CN114972863A true CN114972863A (zh) 2022-08-30

Family

ID=82954828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577415.XA Pending CN114972863A (zh) 2022-05-25 2022-05-25 一种基于边缘智能终端的大型机械检测装置及其检测方法

Country Status (1)

Country Link
CN (1) CN114972863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545198A (zh) * 2022-11-25 2022-12-30 成都信息工程大学 一种基于深度学习模型的边缘智能协同推断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545198A (zh) * 2022-11-25 2022-12-30 成都信息工程大学 一种基于深度学习模型的边缘智能协同推断方法及系统
CN115545198B (zh) * 2022-11-25 2023-05-26 成都信息工程大学 一种基于深度学习模型的边缘智能协同推断方法及系统

Similar Documents

Publication Publication Date Title
CN109785289B (zh) 一种输电线路缺陷检测方法、系统及电子设备
CN112163465B (zh) 细粒度图像分类方法、系统、计算机设备及存储介质
CN108964606B (zh) 一种光伏系统热斑故障检测方法
US20170286838A1 (en) Predicting solar power generation using semi-supervised learning
CN111462109A (zh) 一种耐张线夹的缺陷检测方法、装置、设备及存储介质
CN114972863A (zh) 一种基于边缘智能终端的大型机械检测装置及其检测方法
CN112906654A (zh) 基于深度学习算法的防震锤检测方法
CN114881956A (zh) 基于霍夫变换的电池板栅线自适应提取方法及系统
CN115511384B (zh) 分布式太阳能发电的电力调度方法及装置、设备及介质
CN114793086B (zh) 双面双玻光伏板调节支架及调节方法
CN114972225B (zh) 一种基于深度学习的两阶段光伏板缺陷检测方法
CN111753666B (zh) 输电线路中小目标故障检测方法、检测系统及存储介质
CN113516656A (zh) 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
CN115469184A (zh) 基于卷积网络的新能源输电线路故障识别方法
CN114995580A (zh) 一种光伏系统最大功率点追踪方法及系统
CN114529537A (zh) 光伏板的异常目标检测方法、系统、设备及介质
CN114298441A (zh) 一种光伏功率预测方法及系统
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN115829922B (zh) 一种检测电池片的间距的方法、装置、设备及介质
WO2024020774A1 (zh) 模型生成方法、物体检测方法、控制器以及电子设备
CN107204741B (zh) 一种确定环境参数的方法和装置
CN116912637B (zh) 输变电缺陷识别的方法、装置、计算机设备和存储介质
CN116778532B (zh) 一种煤矿井下人员目标跟踪方法
CN107831346A (zh) 一种光伏阵列直流输出功率模拟电源的方法及装置
Faassen et al. Micro-Fracture Detection in Photovoltaic Cells with Hardware-Constrained Devices and Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination