CN109101878A - 一种用于秸秆燃值估计的图像分析系统及图像分析方法 - Google Patents

一种用于秸秆燃值估计的图像分析系统及图像分析方法 Download PDF

Info

Publication number
CN109101878A
CN109101878A CN201810704367.XA CN201810704367A CN109101878A CN 109101878 A CN109101878 A CN 109101878A CN 201810704367 A CN201810704367 A CN 201810704367A CN 109101878 A CN109101878 A CN 109101878A
Authority
CN
China
Prior art keywords
image
stalk
image analysis
camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810704367.XA
Other languages
English (en)
Other versions
CN109101878B (zh
Inventor
郑雅羽
梁圣浩
陈超
何德峰
李廉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810704367.XA priority Critical patent/CN109101878B/zh
Publication of CN109101878A publication Critical patent/CN109101878A/zh
Application granted granted Critical
Publication of CN109101878B publication Critical patent/CN109101878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于秸秆燃值估计的图像分析系统及图像分析方法,通过摄像头对秸秆燃料进行拍摄,对采集图像进行查重后,利用标注平台对云端服务器中的图像进行标注,获得数据集,用数据增强的方法扩张数据集,以数据集来训练得到语义分割网络,持续利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器,采用语义分割网络分割秸秆图像,计算占比,利用占比计算秸秆燃值。本发明可以远程的对图像进行采集训练,分析并将结果通过无线网络反馈给发电系统,对图像采集设备的分辨率、曝光值、白平衡等参数做出实时的调整,删除不必要的图像数据,上传有效的图像数据,减少不必要的成本,用深度学习方法可以较准确的得到秸秆的占比。

Description

一种用于秸秆燃值估计的图像分析系统及图像分析方法
技术领域
本发明属于一般的图像数据处理或产生的技术领域,特别涉及一种在秸秆燃料送入循环流化床锅炉燃烧发电前对材料进行图像采集及分析、并将分析数据反馈给整个发电系统、进而获得更好的锅炉燃烧效率的用于秸秆燃值估计的图像分析系统及图像分析方法。
背景技术
秸秆是最具开发利用潜力的新能源之一,可以替代煤炭、石油和天然气等矿物质燃料产生电力,不仅减少人类对矿物能源的依赖,保护国家能源资源,而且通过严格控制秸秆的高效燃烧将有效降低我国PM2.5浓度,可以实现减轻能源消费给环境造成的污染。目前欧美国家建立了较为完善的秸秆类农业废弃物燃烧发电厂,证明秸秆燃烧发电具有显著的能源效益和环境效益,而且回收废弃秸秆增加了农民收入,从经济上保证农民不再乱烧秸秆,目前秸秆燃烧发电技术在我国发展十分迅速。
然而,不同于煤炭、石油和天然气等矿物质燃料,不同品种和产地的秸秆有着不同的固定碳、挥发份、水分、灰分等成分比例,加之回收时预处理手段和当地气候这些因素,造成了秸秆燃料品质的差异颇大。秸秆燃料主要包括农作物秸秆(稻草秸秆居多)、树皮、树枝、板材、木粉以及杂物,杂物还包括有热值的杂物,如塑料,以及没热值的杂物,如石头。
秸秆燃料热值的变化,导致燃料单位质量秸秆的发热量也随之发生改变,这给秸秆发电过程的循环流化床锅炉燃烧效率控制和发电过程控制造成了不利的影响。因此,在实际秸秆燃烧发电过程中,为了更好的控制秸秆循环流化床锅炉燃烧效率,提高秸秆燃料的发电量和燃烧发电过程的安全性,可以对送入循环流化床锅炉燃烧发电的秸秆燃料提前进行成分分类,通过对特定时刻的秸秆燃料进行图像分析,分析出不同的成分的表面面积占比,为后续的燃料热值估计提供依据,进而优化整个秸秆发电的过程。
现有技术中,秸秆燃烧发电过程燃料热值控制方法仍然采用手动调校方法为主,工人在燃料仓库定点取样测量秸秆燃料热值的基础上进行后续的调校,显然,手动调校方法不能实现秸秆燃料热值的自动控制操作,自动化水平低,不能满足现代秸秆燃烧发电过程的高品质燃烧控制要求。
发明内容
为了解决现有技术中存在的问题,本发明提供一种优化的用于秸秆燃值估计的图像分析系统及图像分析方法,通过图像系统在秸秆燃料进入锅炉前采集图像数据并进行分析,提供一个可观的成分比例依据给系统进行热值估计进而优化整个调校方法。
本发明所采用的技术方案是,一种用于秸秆燃值估计的图像分析方法,所述方法包括以下步骤:
步骤1:设置摄像头的参数,利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器;
步骤2:读取服务器中当前帧的图像,与上一帧的图像进行相似度检测,若相似度大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器;
步骤3:利用标注平台,对云端服务器中的图像进行标注,获得数据集;
步骤4:用数据增强的方法扩张数据集,以数据集来训练得到语义分割网络;
步骤5:持续利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器,采用所述语义分割网络分割秸秆图像,计算占比,利用占比计算秸秆燃值。
优选地,所述摄像头的参数包括分辨率、曝光时间、白平衡、数字增益、亮度和对比度。
优选地,所述步骤2中,相似度检测的方法包括以下步骤:
步骤2.1:将当前帧的图像灰度化,得到当前帧的灰度图像;
步骤2.2:根据哈希算法将当前帧的灰度图像排列成一段指纹编码,然后与云端服务器中保留的参考指纹编码进行比较并计算相似度;
步骤2.3:相似度S大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器。
优选地,所述步骤2.2中,将灰度图像中每个像素的灰度与灰度的平均值进行比较,像素的灰度大于等于灰度的平均值则记为1,像素的灰度小于灰度的平均值则记为0,按序排列得到指纹编码;
所述相似度的计算包括以下步骤:
步骤2.2.1:以指纹编码作为集合A,以参考指纹编码作为集合B;令检索函数为H(X);
步骤2.2.2:以H(X)逐个比对集合A与集合B中的元素;
步骤2.2.3:记录集合A与集合B中元素一一对应的个数占集合A或集合B中总的元素的比值,记为相似度S。
优选地,所述步骤4中,扩张数据集包括在原始图像上裁剪指定大小的图片及其水平翻转,并对数据集执行PCA jittering处理;
所述步骤4中,训练得到语义分割网络包括以下步骤:
步骤4.1:将经数据增强扩张后的数据集输入到在深度学习框架下构建的网络,进行训练;所述网络包括上采样部分和特征提取部分,所述上采样部分输入图像,特征提取部分输出特征图;
步骤4.2:得到所需的分割网络。
优选地,所述步骤4.1中,网络还包括损失函数模型其中,y为期望的输出,a为实际的输出,n为损失函数分类的类数。
优选地,所述步骤5中,采用语义分割网络分割秸秆图像后,将输出结果二值化,得到最后的秸秆图像分割示意图,计算秸秆的占比,利用占比计算秸秆燃值Q=Afmq,其中,A为秸秆的占比,fm为当前单位时间内传送带上经过的秸秆及其杂质的总质量,q为秸秆热值。
一种采用所述的用于秸秆燃值估计的图像分析方法的图像分析系统,所述图像分析系统包括用于输送秸秆至锅炉的传送带,所述传送带上方固定设有摄像头,所述摄像头侧部设有投光设备;所述图像分析系统还包括控制器,所述控制器通过电机连接至传送带,所述控制器连接至摄像头和投光设备。
优选地,所述摄像头包括全局曝光的CMOS Sensor,所述摄像头配合设有ISP处理器。
优选地,所述控制器包括:
一图像采集处理单元,与摄像头配合设置,通过有线或者无线的方式传输来自摄像头的原始数据,并对原始数据根据实际需要进行画质处理,产生视频图像数据;
一网络管理单元,与图像采集处理单元配合设置,通过无线网络将视频图像数据上传至云端服务器;
一图像分析单元,与所述云端服务器配合设置,对存放在云端服务器的数据进行训练并分析;
一人机交互单元,通过蓝牙或者无线网络和手机进行通信,使用者可以通过手机实现查看分析结果并设置工作参数;
及一主控管理单元,与图像采集处理单元、网络管理单元、图像分析单元和人机交互单元,管理协调进程间通信。
本发明提供了一种用于秸秆燃值估计的图像分析系统及图像分析方法,通过摄像头对秸秆燃料进行拍摄,对采集图像进行查重后,利用标注平台对云端服务器中的图像进行标注,获得数据集,用数据增强的方法扩张数据集,以数据集来训练得到语义分割网络,持续利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器,采用语义分割网络分割秸秆图像,计算占比,利用占比计算秸秆燃值。
本发明具有的有益效果是:
1.相关技术人员无需在实际的应用场景对数据进行采集分析,可以远程的对图像进行采集,训练,分析并将分析结果通过无线网络反馈给发电系统;
2.可以根据不同的现场环境,对图像采集设备的分辨率、曝光值、白平衡等参数做出实时的调整,采用全局曝光方式的CMOS Sensor进行图像采集;
3.加入图像相似度检测功能,判断出传送带的工作状态,删除不必要的图像数据,上传有效的图像数据,减少了不必要的成本;
4.用深度学习方法可以较准确的得到秸秆的占比。
附图说明
图1为本发明的图像分析系统的结构示意图,其中,1为传送带,2为摄像头,3为秸秆燃料,4为投光设备;
图2为本发明的图像分析系统中,控制器的结构示意图;
图3为本发明的图像分析方法的流程图;
图4为本发明设计的秸秆图像分割深度网络示意图;其中,矩形块为图像,图像左侧数字为图像尺寸、右侧数字为维度,实线箭头表示图像处理方向,单虚线箭头表示特征图的提取,双虚线箭头表示特征图的复制;
图5为本发明的算法得到的最终结果示意图,其中,左上图和右上图为原始图像,左下图和右下图分别为对应的输出图像。
具体实施方式
下面结合实施例对本发明做进一步的描述,需要注意的是,本发明不限于以下实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。
本发明涉及一种用于秸秆燃值估计的图像分析方法,所述方法包括以下步骤。
步骤1:设置摄像头的参数,利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器。
所述摄像头的参数包括分辨率、曝光时间、白平衡、数字增益、亮度和对比度。
本发明中,按实际的光照环境,通过手机设置图像采集处理单元的摄像头参数,如分辨率、曝光时间和白平衡等,使得摄像头按照需求摄得所需的图像,事实上,摄像头的参数包括但并不限于分辨率、曝光时间、白平衡、数字增益、亮度和对比度。
步骤2:读取服务器中当前帧的图像,与上一帧的图像进行相似度检测,若相似度大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器。
所述步骤2中,相似度检测的方法包括以下步骤。
步骤2.1:将当前帧的图像灰度化,得到当前帧的灰度图像。
步骤2.2:根据哈希算法将当前帧的灰度图像排列成一段指纹编码,然后与云端服务器中保留的参考指纹编码进行比较并计算相似度。
所述步骤2.2中,将灰度图像中每个像素的灰度与灰度的平均值进行比较,像素的灰度大于等于灰度的平均值则记为1,像素的灰度小于灰度的平均值则记为0,按序排列得到指纹编码;
所述相似度的计算包括以下步骤:
步骤2.2.1:以指纹编码作为集合A,以参考指纹编码作为集合B;令检索函数为H(X);
步骤2.2.2:以H(X)逐个比对集合A与集合B中的元素;
步骤2.2.3:记录集合A与集合B中元素一一对应的个数占集合A或集合B中总的元素的比值,记为相似度S。
步骤2.3:相似度S大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器。
本发明中,当相似度S大于等于阈值K时,表示当前帧的图像与历史帧的图像相似度过高,甚至没有发生变化,这样的图像是无效的,故删除当前帧的图像,保留上一帧的图像。
本发明中,相似度S大于等于阈值K一般以百分数表示,阈值K一般取超过90%。
步骤3:利用标注平台,对云端服务器中的图像进行标注,获得数据集。
步骤4:用数据增强的方法扩张数据集,以数据集来训练得到语义分割网络。
所述步骤4中,扩张数据集包括在原始图像上裁剪指定大小的图片及其水平翻转,并对数据集执行PCA jittering处理。
所述步骤4中,训练得到语义分割网络包括以下步骤。
步骤4.1:将经数据增强扩张后的数据集输入到在深度学习框架下构建的网络,进行训练;所述网络包括上采样部分和特征提取部分,所述上采样部分输入图像,特征提取部分输出特征图。
所述步骤4.1中,网络还包括损失函数模型其中,y为期望的输出,a为实际的输出,n为损失函数分类的类数。
步骤4.2:得到所需的分割网络。
本发明中,由于分割数据集的标注成本较大,并且秸秆数据获取难度较大,所以数据集会相对较小,为了降低过拟合,需要对数据集进行不同方式的增强扩张,一般采用随机裁剪并翻转后以PCA jittering来进行数据扩张。
本发明中,裁剪并翻转就是指在原图像上随机裁剪指定大小的图片及其水平翻转用于训练。假设原始图像为256×256,裁剪得到224×224的图片进行输入,这可以使我们的数据集扩张2048倍。
本发明中,PCA jittering是利用主成分来给RGB像素值加偏差的处理方式,PCAjittering操作就是在训练数据上执行PCA找到主成分,然后为每个训练图像添加多个找到的主成分。具体来说,对于每个RGB图像像素添加变量[p1,p2,p3][α1λ12λ23λ3]T,其中,pi和λi分别是RGB像素值的3×3协方差矩阵的第i个特征向量和特征值,并且αi是随机变量,每个αi对于特定训练图像的所有像素仅被绘制一次,直到该图像被再次用于训练。此为数据增强的常规方法,本领域技术人员可以依据需求自行处理。
本发明中,采用pytorch深度学习框架构建秸秆分割网络。
本发明中,网络的核心部分是特征提取部分,上采样部门采用基础的叠加和卷积来实现采样。
本发明中,采用深度可分离卷积和残差网络的思想,深度可分离卷积可以减少模型参数,达到提高预测速度的效果,而残差网络则可以增加模型的精度,使在缩减模型大小的同时保证精度;输入的图像先经过深度可分离卷积,随后通过激活函数进行激活,本发明采用了ReLU激活函数,而为了减少低维空间中ReLU对特征的破坏,在提取特征图的过程中引入线性分类器。
本发明中,采用交叉熵代价函数来做网络的损失函数损失函数模型,即交叉熵具有非负性,且当真实输出a与期望输出y接近的时候,代价函数接近于0。
本发明中,由导数可知,当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。
本发明中,优化函数一般采用Adam优化算法,此为优化领域的常规方法,本领域技术人员可以依据需求自行处理。
本发明中,给出如图4所示的实施例。箭头标示图片输入网络后的操作,输入一个512×512的图像,先经过3×3的卷积,提取高级特征,经过特征图提取,得到256×256×16的特征图,将这个256×256×16的特征图复制两份,一份继续进行前向操作,另一份准备做copy操作,将这个特征图叠加到指定的特征图上去,假设当特征图大小为256×256×16、指定的特征图大小也为256×256×16时,经过copy操作并再次组合后会得到一个256×256×32的特征图;前向操作的256×256×16特征图继续前向,经过再一次的特征图提取,得到128×128×24的特征图,再次进行同上操作,其中竖向的单虚线箭头为步长为1的特征图提取操作,而横向的单虚线箭头为步长为2的特征图提取操作。接下来即如图所示不断重复如上操作即可,最后将提取的特征图与复制的特征图卷积,获得新的特征图,进一步与逐次复制的特征图组合并卷积,得到最后的输出图;特征图是否需要进行复制可以根据实际情况自由设置。
本发明中,图4的单虚线箭头为提取图像特征值的过程,给出两种实施方式,此过程为本领域常见技术特征,本领域技术人员可以依据需求设置、调整。
提取图像特征值实施例1:输入图像,经过1×1卷积层修正线性层,经过3×3深度可分离卷积层修正线性层,经过1×1卷积层进行线性变换,输出,得到步长为1的特征图像。
提取图像特征值实施例2:输入图像,经过1×1卷积层修正线性层,经过3×3深度可分离卷积层、卷积层步长为2进行线性修正,经过1×1卷积层进行线性变换,输出,得到步长为2的特征图像。
本发明中,卷积层越多,提取的特征越高级,即从提取线慢慢变成提取物体特征,具体提取的效果可以由网络根据给定数据自动拟合,此为本领域技术人员容易理解的内容,可以依据本领域技术人员的需求自行设置。
步骤5:持续利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器,采用所述语义分割网络分割秸秆图像,计算占比,利用占比计算秸秆燃值。
所述步骤5中,采用语义分割网络分割秸秆图像后,将输出结果二值化,得到最后的秸秆图像分割示意图,计算秸秆的占比,利用占比计算秸秆燃值Q=Afmq,其中,A为秸秆的占比,fm为当前单位时间内传送带上经过的秸秆及其杂质的总质量,q为秸秆热值。
本发明还涉及一种采用所述的用于秸秆燃值估计的图像分析方法的图像分析系统,所述图像分析系统包括用于输送秸秆至锅炉的传送带,所述传送带上方固定设有摄像头,所述摄像头侧部设有投光设备;所述图像分析系统还包括控制器,所述控制器通过电机连接至传送带,所述控制器连接至摄像头和投光设备。
所述摄像头包括全局曝光的CMOS Sensor,所述摄像头配合设有ISP处理器。
本发明中,传送带为运送秸秆燃料到循环流化床锅炉燃烧发电的传送装置,一般情况下,传送速度约为1.5m/s,每隔一段时间上料一次,然后运送至循环流化床锅炉,传送带运行时间因上料的量而异。
本发明中,因实际应用环境需要辨别出快速运动的传送带上的细小的秸秆特征,因此摄像机中的CMOS Sensor需要在一个较小的曝光时间对图像进行拍摄,因此一般在摄像头周围设置一个直流供电的投光装置进行补光,如补光灯。
本发明中,因为由于应用场景限制,采用卷帘门曝光模式的普通CMOS Sensor无法满足抓拍快速运动物体的要求,故摄像头包括全局曝光的CMOS Sensor以去除“果冻效应”导致的抓拍模糊现象。
本发明中,摄像头配合的ISP处理器模块可以对采集到的摄像头原始数据进行插值算法、色彩空间转换、画质校正等处理。
本发明中,摄像头采集处理后的数据通常保存在外嵌的mmc设备上。
本发明中,摄像头固定在固定设备上以保证摄像头以合适的高度、角度对秸秆燃料进行拍摄。在实际的应用中,固定设备包括2个固定架,一个将摄像头固定在运输秸秆燃料的传送带正上方,可以在一定的范围内自由的调整角度和高度,另一个固定投光设备,对实际应用场景进行光照补正。
所述控制器包括:
一图像采集处理单元,与摄像头配合设置,通过有线或者无线的方式传输来自摄像头的原始数据,并对原始数据根据实际需要进行画质处理,产生视频图像数据;
一网络管理单元,与图像采集处理单元配合设置,通过无线网络将视频图像数据上传至云端服务器;
一图像分析单元,与所述云端服务器配合设置,对存放在云端服务器的数据进行训练并分析;
一人机交互单元,通过蓝牙或者无线网络和手机进行通信,使用者可以通过手机实现查看分析结果并设置工作参数;
及一主控管理单元,与图像采集处理单元、网络管理单元、图像分析单元和人机交互单元,管理协调进程间通信。
本发明中,图像采集处理单元采用全局曝光的CMOS Sensor,将摄像头拍摄的画面产生视频图像数据,实际上根据上述方法部分,图像采集处理单元还配置有图像相似度检测单元,以判断传送带在工作时抓拍到的数据、采集到的图片是否是有效的,通过图像相似度检测算法,判断图片是否需要传递给下一单元。
本发明中,图像采集处理单元可通过i2c、spi等方式配置摄像头的工作参数。
本发明中,网络管理单元的主要作用包括:
(1)把保存在本地的图像数据通过无线网络,如2G/3G/4G/5G公共通信网络、WIFI网络或其它合适的无线网络上传至服务器;
(2)下载图像分析单元分析得出的结果;
(3)耦接人机交互单元和主控管理单元,使相关参数可以透传给图像采集处理单元。
本发明中,人机交互单元满足了智能化的需求,例如,可以通过手机界面设置本发明图像采集处理单元的相关画质参数,如对比度,亮度等。
本发明中,工作人员可以利用手机通过录制方式选择单拍还是连拍,点击开始后,摄像头会开始采集工作并将有效的数据上传到数据集做训练,在手机上点击显示分析结果即可显示算法得出的秸秆燃料成分的表面积占比,还可以利用画质调试按钮对摄像头进行相关参数设置,可以利用系统设置对其他一些系统参数进行修改,例如时间的同步、数据集选择等功能。
本发明中,主控管理单元包含主处理器等,其主要作用是协调其他各个单元之间的通信以及对进程之间进行调度,例如人机交互单元必须通过主控管理单元才能和其他各个单元进行通信,从而达到人机交互的目的。
本发明中,在控制器上还必然设置有若干通信接口,可以使一些外接设备与本发明装置交互,例如可以通过USB接口外接鼠标、键盘、U盘等设备,可以通过RS232接口外接蓝牙设备,或者其他个人电脑设备。
本发明的有益效果为,相关技术人员无需在实际的应用场景对数据进行采集分析,可以远程的对图像进行采集,训练,分析并将分析结果通过无线网络反馈给发电系统,可以根据不同的现场环境,对图像采集设备的分辨率、曝光值、白平衡等参数做出实时的调整,采用全局曝光方式的CMOS Sensor进行图像采集,加入图像相似度检测功能,判断出传送带的工作状态,删除不必要的图像数据,上传有效的图像数据,减少了不必要的成本,用深度学习方法可以较准确的得到秸秆的占比。

Claims (10)

1.一种用于秸秆燃值估计的图像分析方法,其特征在于:所述方法包括以下步骤:
步骤1:设置摄像头的参数,利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器;
步骤2:读取服务器中当前帧的图像,与上一帧的图像进行相似度检测,若相似度大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器;
步骤3:利用标注平台,对云端服务器中的图像进行标注,获得数据集;
步骤4:用数据增强的方法扩张数据集,以数据集来训练得到语义分割网络;
步骤5:持续利用摄像头对秸秆燃料进行拍摄,采集图像并上传至服务器,采用所述语义分割网络分割秸秆图像,计算占比,利用占比计算秸秆燃值。
2.根据权利要求1所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述摄像头的参数包括分辨率、曝光时间、白平衡、数字增益、亮度和对比度。
3.根据权利要求1所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述步骤2中,相似度检测的方法包括以下步骤:
步骤2.1:将当前帧的图像灰度化,得到当前帧的灰度图像;
步骤2.2:根据哈希算法将当前帧的灰度图像排列成一段指纹编码,然后与云端服务器中保留的参考指纹编码进行比较并计算相似度;
步骤2.3:相似度S大于等于阈值K,则删除当前帧的图像,保留上一帧的图像,进行下一步,否则将当前帧的图像上传至云端服务器。
4.根据权利要求3所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述步骤2.2中,将灰度图像中每个像素的灰度与灰度的平均值进行比较,像素的灰度大于等于灰度的平均值则记为1,像素的灰度小于灰度的平均值则记为0,按序排列得到指纹编码;
所述相似度的计算包括以下步骤:
步骤2.2.1:以指纹编码作为集合A,以参考指纹编码作为集合B;令检索函数为H(X);
步骤2.2.2:以H(X)逐个比对集合A与集合B中的元素;
步骤2.2.3:记录集合A与集合B中元素一一对应的个数占集合A或集合B中总的元素的比值,记为相似度S。
5.根据权利要求1所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述步骤4中,扩张数据集包括在原始图像上裁剪指定大小的图片及其水平翻转,并对数据集执行PCAjittering处理;
所述步骤4中,训练得到语义分割网络包括以下步骤:
步骤4.1:将经数据增强扩张后的数据集输入到在深度学习框架下构建的网络,进行训练;所述网络包括上采样部分和特征提取部分,所述上采样部分输入图像,特征提取部分输出特征图;
步骤4.2:得到所需的分割网络。
6.根据权利要求5所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述步骤4.1中,网络还包括损失函数模型其中,y为期望的输出,a为实际的输出,n为损失函数分类的类数。
7.根据权利要求1所述的一种用于秸秆燃值估计的图像分析方法,其特征在于:所述步骤5中,采用语义分割网络分割秸秆图像后,将输出结果二值化,得到最后的秸秆图像分割示意图,计算秸秆的占比,利用占比计算秸秆燃值Q=Afmq,其中,A为秸秆的占比,fm为当前单位时间内传送带上经过的秸秆及其杂质的总质量,q为秸秆热值。
8.一种采用权利要求1~7之一所述的用于秸秆燃值估计的图像分析方法的图像分析系统,其特征在于:所述图像分析系统包括用于输送秸秆至锅炉的传送带,所述传送带上方固定设有摄像头,所述摄像头侧部设有投光设备;所述图像分析系统还包括控制器,所述控制器通过电机连接至传送带,所述控制器连接至摄像头和投光设备。
9.根据权利要求8所述的一种用于秸秆燃值估计的图像分析方法的图像分析系统,其特征在于:所述摄像头包括全局曝光的CMOS Sensor,所述摄像头配合设有ISP处理器。
10.根据权利要求8所述的一种用于秸秆燃值估计的图像分析方法的图像分析系统,其特征在于:所述控制器包括:
一图像采集处理单元,与摄像头配合设置,通过有线或者无线的方式传输来自摄像头的原始数据,并对原始数据根据实际需要进行画质处理,产生视频图像数据;
一网络管理单元,与图像采集处理单元配合设置,通过无线网络将视频图像数据上传至云端服务器;
一图像分析单元,与所述云端服务器配合设置,对存放在云端服务器的数据进行训练并分析;
一人机交互单元,通过蓝牙或者无线网络和手机进行通信,使用者可以通过手机实现查看分析结果并设置工作参数;
及一主控管理单元,与图像采集处理单元、网络管理单元、图像分析单元和人机交互单元,管理协调进程间通信。
CN201810704367.XA 2018-07-01 2018-07-01 一种用于秸秆燃值估计的图像分析系统及图像分析方法 Active CN109101878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810704367.XA CN109101878B (zh) 2018-07-01 2018-07-01 一种用于秸秆燃值估计的图像分析系统及图像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810704367.XA CN109101878B (zh) 2018-07-01 2018-07-01 一种用于秸秆燃值估计的图像分析系统及图像分析方法

Publications (2)

Publication Number Publication Date
CN109101878A true CN109101878A (zh) 2018-12-28
CN109101878B CN109101878B (zh) 2020-09-29

Family

ID=64845250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810704367.XA Active CN109101878B (zh) 2018-07-01 2018-07-01 一种用于秸秆燃值估计的图像分析系统及图像分析方法

Country Status (1)

Country Link
CN (1) CN109101878B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947756A (zh) * 2019-03-18 2019-06-28 成都好享你网络科技有限公司 用于增广数据的数据清洗方法、装置和设备
GB2580671A (en) * 2019-01-22 2020-07-29 Toshiba Kk A computer vision system and method
CN111709459A (zh) * 2020-05-27 2020-09-25 长春博立电子科技有限公司 一种基于云平台的机器视觉算法训练数据的管理系统及方法
CN112288265A (zh) * 2020-10-28 2021-01-29 吉林大学 一种基于深度可分离卷积的去皮土豆的质量识别方法
CN113487520A (zh) * 2021-09-07 2021-10-08 南通宏耀锅炉辅机有限公司 基于转炉温度测量的高动态范围图像生成方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102434886A (zh) * 2011-11-02 2012-05-02 天津德为环保工程设备有限公司 一种农林植物废弃物高效焚烧发电系统
CN104537339A (zh) * 2014-12-19 2015-04-22 汉王科技股份有限公司 信息识别方法和信息识别系统
CN105574493A (zh) * 2015-12-14 2016-05-11 常熟理工学院 一种柴油机燃烧颗粒物的来源解析方法
CN105678295A (zh) * 2016-01-04 2016-06-15 武汉科技大学 基于roi平均图像分析的燃气加热炉火焰实时监测方法
CN106802285A (zh) * 2017-02-27 2017-06-06 安徽科技学院 一种近红外快速检测秸秆热值的方法
CN106817410A (zh) * 2016-12-28 2017-06-09 广州大气候农业科技有限公司 图像回传方法、图像保存方法、物联网的节点和服务器
CN206301209U (zh) * 2016-02-29 2017-07-04 北方民族大学 一种基于无人机的秸秆焚烧监测装置
US20170302855A1 (en) * 2016-04-19 2017-10-19 Fujitsu Limited Display controller and display control method
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107862333A (zh) * 2017-11-06 2018-03-30 哈尔滨工程大学 一种在复杂环境下判断物体燃烧区域的方法
CN108229479A (zh) * 2017-08-01 2018-06-29 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102434886A (zh) * 2011-11-02 2012-05-02 天津德为环保工程设备有限公司 一种农林植物废弃物高效焚烧发电系统
CN104537339A (zh) * 2014-12-19 2015-04-22 汉王科技股份有限公司 信息识别方法和信息识别系统
CN105574493A (zh) * 2015-12-14 2016-05-11 常熟理工学院 一种柴油机燃烧颗粒物的来源解析方法
CN105678295A (zh) * 2016-01-04 2016-06-15 武汉科技大学 基于roi平均图像分析的燃气加热炉火焰实时监测方法
CN206301209U (zh) * 2016-02-29 2017-07-04 北方民族大学 一种基于无人机的秸秆焚烧监测装置
US20170302855A1 (en) * 2016-04-19 2017-10-19 Fujitsu Limited Display controller and display control method
CN106817410A (zh) * 2016-12-28 2017-06-09 广州大气候农业科技有限公司 图像回传方法、图像保存方法、物联网的节点和服务器
CN106802285A (zh) * 2017-02-27 2017-06-06 安徽科技学院 一种近红外快速检测秸秆热值的方法
CN108229479A (zh) * 2017-08-01 2018-06-29 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质
CN107564025A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107862333A (zh) * 2017-11-06 2018-03-30 哈尔滨工程大学 一种在复杂环境下判断物体燃烧区域的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580671A (en) * 2019-01-22 2020-07-29 Toshiba Kk A computer vision system and method
US11315253B2 (en) 2019-01-22 2022-04-26 Kabushiki Kaisha Toshiba Computer vision system and method
GB2580671B (en) * 2019-01-22 2022-05-04 Toshiba Kk A computer vision system and method
CN109947756A (zh) * 2019-03-18 2019-06-28 成都好享你网络科技有限公司 用于增广数据的数据清洗方法、装置和设备
CN111709459A (zh) * 2020-05-27 2020-09-25 长春博立电子科技有限公司 一种基于云平台的机器视觉算法训练数据的管理系统及方法
CN112288265A (zh) * 2020-10-28 2021-01-29 吉林大学 一种基于深度可分离卷积的去皮土豆的质量识别方法
CN113487520A (zh) * 2021-09-07 2021-10-08 南通宏耀锅炉辅机有限公司 基于转炉温度测量的高动态范围图像生成方法及系统
CN113487520B (zh) * 2021-09-07 2021-11-05 南通宏耀锅炉辅机有限公司 基于转炉温度测量的高动态范围图像生成方法及系统

Also Published As

Publication number Publication date
CN109101878B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN109101878A (zh) 一种用于秸秆燃值估计的图像分析系统及图像分析方法
US11765321B2 (en) Intelligent video surveillance system and method
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109767397B (zh) 一种基于人工智能的图像优化方法和系统
CN109829888A (zh) 基于深度卷积神经网络的野生动物监测分析系统及方法
CN103942557B (zh) 一种煤矿井下图像预处理方法
CN111077093A (zh) 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN110717495B (zh) 基于多尺度颜色矩特征和随机森林的固废焚烧工况识别方法
KR102343582B1 (ko) 생체정보를 이용한 인공지능 기반 메타버스 컨텐츠 제작 시스템
CN109675827A (zh) 一种建筑垃圾识别分拣设备、识别方法及其抓取方法
CN104506778A (zh) 一种基于年龄估计的闪光灯控制方法和装置
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114882222B (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN107547898A (zh) 一种能耗‑精度可控的传感器双参数分配系统
CN107547852A (zh) 一种大数据存储系统
CN108764076A (zh) 一种用于多臂采摘机器人的猕猴桃果实群多目标识别方法
CN104346630A (zh) 一种异构特征融合的云花卉识别方法
JP7256016B2 (ja) 予測モデル生成装置、予測モデル生成装置による予測モデル生成方法、及び予測装置
CN111814591A (zh) 基于生成式对抗网络模型和ios平台的植物叶片识别系统
CN108376257A (zh) 一种燃气表不完整码字识别方法
CN114067225A (zh) 一种无人机小目标检测方法、系统及可存储介质
CN113989162A (zh) 一种基于神经网络对工厂火焰除雾的方法
CN117649610A (zh) 一种基于YOLOv5的害虫检测方法及系统
CN101521754A (zh) 异地双人大头贴
CN117115584A (zh) 目标检测方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant