CN112734826B - 基于深度学习与lsd直线检测算法的粮食数量估算方法 - Google Patents

基于深度学习与lsd直线检测算法的粮食数量估算方法 Download PDF

Info

Publication number
CN112734826B
CN112734826B CN202011592858.3A CN202011592858A CN112734826B CN 112734826 B CN112734826 B CN 112734826B CN 202011592858 A CN202011592858 A CN 202011592858A CN 112734826 B CN112734826 B CN 112734826B
Authority
CN
China
Prior art keywords
grain
wall surface
granary
joint
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011592858.3A
Other languages
English (en)
Other versions
CN112734826A (zh
Inventor
柳瑞芸
金献军
叶金雷
封晨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaxin Consulting Co Ltd
Original Assignee
Huaxin Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaxin Consulting Co Ltd filed Critical Huaxin Consulting Co Ltd
Priority to CN202011592858.3A priority Critical patent/CN112734826B/zh
Publication of CN112734826A publication Critical patent/CN112734826A/zh
Application granted granted Critical
Publication of CN112734826B publication Critical patent/CN112734826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习与LSD直线检测算法的粮食数量估算方法，克服现有技术的无法准确估计粮仓内粮食数量导致浪费人力物力的问题，本发明能够从正对于粮仓查粮门的前端摄像头中获取一张待检测粮仓粮食状态图像，并能通过基于YOLO‑v4算法的深度学习目标检测模型与LSD直线检测算法对粮食高度进行分析，计算出当前粮仓储备粮食数量情况，并能将计算结果反馈至前端平台进行展示。

Description

基于深度学习与LSD直线检测算法的粮食数量估算方法
技术领域
本发明涉及图像监测领域，尤其是涉及一种基于深度学习与LSD直线检测算法的粮食 数量估算方法。
背景技术
粮食是人类生存的必需品，粮食的安全储备对国民经济的稳定发展起到至关重要的作 用。任何时候都不能出现闪失。近来，随着国内、外粮食形势变化，粮食储备的安全问题越 发显得重要。在粮食的仓储过程中，要对实际仓储粮食数量进行准确的估算，粮食在仓储中 会由于潮湿气候等原因产生损耗，因此需要精准的估计粮仓内剩余的粮食数量。然而现有技 术中对剩余粮仓粮食数量的获取均为人工处理称重，工作强度大、效率低，成本高，现有技 术无法高效准确的获取粮仓内粮食的具体数量。
发明内容
本发明是为了克服现有技术的无法准确估计粮仓内粮食数量导致浪费人力物力的问 题，提供一种基于深度学习与LSD直线检测算法的粮食数量估算方法，本方法可以精确的估 计粮仓内粮食的数量。
为了实现上述目的，本发明采用以下技术方案：
一种基于深度学习与LSD直线检测算法的粮食数量估算方法，包括以下步骤：
步骤1：通过测量获取待检测粮仓仓底面积S、粮仓高度h1和粮仓查粮门长度l，通过存储粮 食种类获取粮仓储备粮食的密度ρ，用于辅助粮食数量的估算；
步骤2：利用角度正对于粮仓查粮门的摄像头，拍摄各种状态、各种时刻待检测粮仓仓内图 像总计48000张，并对图像中查粮门、粮面与墙面交接处、仓顶与墙面交接处位置进行标注， 并将标注后的图像生成粮仓图像数据集G；
步骤3：利用基于YOLO-v4算法的深度学习模型，对粮仓图像数据集G进行训练，获得用于 检测查粮门、粮面与墙面交接处、仓顶与墙面交接处位置的目标检测模型，用于检测；
步骤4：利用角度正对于粮仓查粮门的摄像头，从视频流中自动获取一张当前状态下、待检 测粮仓的仓内图像A，利用训练完成的目标检测模型，对仓内图像A中的中查粮门、粮面与 墙面交接处、仓顶与墙面交接处位置进行N次预测，获得查粮门预测框坐标结果集kn，粮面 与墙面交接处位置预测框坐标结果集en，仓顶与墙面交接处位置预测框坐标结果集zn，其中 n＝1,2,...,N，利用置信度分析指标对kn、en、zn进行分析与逻辑判断，选择其中置信度最高 的预测结果记为Ps，Ps＝[ks,es,zs]；
步骤5：利用LSD直线检测算法对预测结果Ps进行分析检测并在原图中绘制粮面与墙面交接 线l1、仓顶与墙面交接线l2；
步骤6：计算粮面与墙面交接线l1与仓顶与墙面交接线l2之间的像素高度h2，计算查粮门像素 高度h3，利用通过已知的查粮门高度l映射出粮面到仓顶的真实高度h4；
步骤7：通过已知的粮仓面积S，粮仓高度h1，结合仓内粮食种类密度ρ，对粮仓内粮食储备 数量m进行估算；
步骤8：将计算得到的粮食数量估算结果定时反馈至前端平台进行展示。
本发明能够从正对于粮仓查粮门的前端摄像头中获取一张待检测粮仓粮食状态图像， 并能通过基于YOLO-v4算法的深度学习目标检测模型与LSD直线检测算法对粮食高度进行 分析，计算出当前粮仓储备粮食数量情况，并能将计算结果反馈至前端平台进行展示。
作为优选，所述步骤3包括以下步骤：
S31、处理深度学习模型输入图像数据集：采用Mosaic数据增强方式处理粮仓图像数据集G， 平衡图像数据集与GPU之间的关系；
S32、构建深度学习模型BackBone：利用CSPDarknet53方式构建BackBone的网络结构、使 用Mish函数作为BackBone的激活函数，采用Dropblock正则化法作为BackBone的过拟合 控制函数；
S33、构建深度学习模型Neck，利用FPN+PAN方式构建Neck主结构，利用SPP空间金字塔 池化思想，设置图像固定输出尺度；
S34：构建深度学习模型损失函数，利用CIOU_LOSS算法构建损失函数，用于优化学习模型。
作为优选，所述步骤4包括以下步骤：
S41、以查粮门位置预测结果kn为基准，对粮面与墙面交接处位置预测结果en、仓顶与墙面交 接处位置预测结果zn进行逻辑判断，去除位置坐标高于查粮门的en预测值，得结果集
Figure BDA0002869140990000021
去 除位置低于查粮门的zn预测值，得结果集
Figure BDA0002869140990000022
S42、对
Figure BDA0002869140990000023
结果集进行置信度排序，选择其中置信度最高的值es作为接纳值， es＝[xes,yes,wes,hes]，xes为粮面与墙面交接处位置预测框中心点横坐标，yes仓顶与墙面交接处位置预测框中心点纵坐标，wes为粮面与墙面交接处位置预测框宽度、hes为粮面与墙面交接处位置预测框高度；对
Figure BDA0002869140990000031
结果集进行置信度排序，选择其中置信度最高的值zs作为接纳值， zs＝[xzs,yzs,wzs,hzs]，xzs为仓顶与墙面交接处位置预测框中心点横坐标，yzs仓顶与墙面交接 处位置预测框中心点纵坐标，wzs为仓顶与墙面交接处位置预测框宽度、hzs为仓顶与墙面交 接处位置预测框高度。
作为优选，所述步骤5包括以下步骤：
S51、设置量化效应误差参数q，角度容忍度τ，根据经验设置q＝2，τ＝π/8，计算得到梯度 阈值参数f,f＝q/τ＝16/π，设置矩阵逼近阈值参数λ，设置λ＝0.7；
S52、对粮面与墙面交接处预测框图像、仓顶与墙面交接处预测框图像分布以0.8的采样率缩 放处理，记为A1、A2，从而消除灰度图像中的阶梯效应；
S53、计算预测框图像A1中各个像素点的梯度幅值和水平线角度，若像素点梯度幅值小于f， 则表示该像素点位图像A1中平滑区域，拒绝该点参与图像直线与矩形逼近的构建，若梯度幅 值大于f，则接纳该点，将所有被接纳的像素点集合记为J,并按梯度幅值大小对J中所有像 素点进行伪排序；
S54、利用区域生长算法原理，选择J中梯度幅值最大的点作为种子点，以该点的水平线角度 作为初始角度θregion，在J中寻找与θregion角度偏差小于τ的像素点进行区域生长，区域生长完 成后将区域内像素点集合记为J1，像素点个数记为c；
S55、利用矩形逼近原理，确定矩形的中心和矩形的朝向，构建一个包含J1中所有c个像素点 的最小矩形O，计算矩形O的像素长度Olength，像素宽度Owidth，矩形O面积So＝Owidth×Olength；
S56、计算矩形O中包含的像素点密度，即内点密度μ，μ＝c/So，若μ＜λ，则绘制粮面与 墙面交界线l1，结束步骤；若μ＞λ，则采取矩形长边缩进策略对矩形O进行改进，改进完成 后跳转至执行S5直至步骤结束；
S57、重复步骤S2-S6，完成墙面与仓顶交界线l2绘制。
作为优选，所述步骤6包括以下步骤：
S61、根据垂直距离计算原理，取粮面与墙面交界线l1中点位置(xm,ym)做垂线，与墙面与仓 顶交界线l2相交于一点(xm,yh)，连接这两点得到粮面到仓顶的像素高度h2＝|yh-ym|+1；
S62、根据查粮门位置预测结果ks，进一步计算得到查粮门像素高度为h3；
S63、已知的查粮门高度l,根据等比例原则，可计算出粮面到仓顶的真实高度h4，
Figure BDA0002869140990000041
即h4＝l×h2/h3。
作为优选，所述步骤7包括以下步骤：
S71、利用已知的粮仓面积S，粮仓高度h1，计算得出的粮面实际高度为h5＝h1-h4；
S72、根据粮面实际高度计算结果h5，进一步计算得到当前粮食体积V＝S*h5；
S73、结合仓内粮食种类密度ρ，计算出粮食数量m＝V*ρ。
作为优选，所述步骤8包括以下步骤：
S81、将图像A存储到分布式文件系统并获取URL链接地址中；
S82、通过消息中间件定时将粮食数量情况和图像A存链接发送到前端平台；
S83、产生日志进行存储。
作为优选，所述方法采用粮仓仓内摄像头、有线网络、无线网络、基于YOLO-v4算法的深度学习目标检测模型、LSD直线检测算法和前端平台。
因此，本发明具有如下有益效果：本发明能够从正对于粮仓查粮门的前端摄像头中获 取一张待检测粮仓粮食状态图像，并能通过基于YOLO-v4算法的深度学习目标检测模型与 LSD直线检测算法对粮食高度进行分析，计算出当前粮仓储备粮食数量情况，并能将计算结 果反馈至前端平台进行展示。
附图说明
图1是本实施例的流程图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
一种基于深度学习与LSD直线检测算法的粮食数量估算方法，采用粮仓仓内摄像头、 有线网络、无线网络、基于YOLO-v4算法的深度学习目标检测模型、LSD直线检测算法和前端平台，如图1所示，包括以下步骤：
步骤1：通过测量获取待检测粮仓仓底面积S、粮仓高度h1和粮仓查粮门长度l，通过存储粮 食种类获取粮仓储备粮食的密度ρ，用于辅助粮食数量的估算；
步骤2：利用角度正对于粮仓查粮门的摄像头，拍摄各种状态、各种时刻待检测粮仓仓内图 像总计48000张，并对图像中查粮门、粮面与墙面交接处、仓顶与墙面交接处位置进行标注， 并将标注后的图像生成粮仓图像数据集G；
步骤3：利用基于YOLO-v4算法的深度学习模型，对粮仓图像数据集G进行训练，获得用于 检测查粮门、粮面与墙面交接处、仓顶与墙面交接处位置的目标检测模型，用于检测；
其中，步骤3包括以下步骤：
S31、处理深度学习模型输入图像数据集：采用Mosaic数据增强方式处理粮仓图像数据集G， 平衡图像数据集与GPU之间的关系；
S32、构建深度学习模型BackBone：利用CSPDarknet53方式构建BackBone的网络结构、使 用Mish函数作为BackBone的激活函数，采用Dropblock正则化法作为BackBone的过拟合 控制函数；
S33、构建深度学习模型Neck，利用FPN+PAN方式构建Neck主结构，利用SPP空间金字塔 池化思想，设置图像固定输出尺度；
S34：构建深度学习模型损失函数，利用CIOU_LOSS算法构建损失函数，用于优化学习模型。
步骤4：利用角度正对于粮仓查粮门的摄像头，从视频流中自动获取一张当前状态下、 待检测粮仓的仓内图像A，利用训练完成的目标检测模型，对仓内图像A中的中查粮门、粮 面与墙面交接处、仓顶与墙面交接处位置进行N次预测，获得查粮门预测框坐标结果集kn， 粮面与墙面交接处位置预测框坐标结果集en，仓顶与墙面交接处位置预测框坐标结果集zn， 其中n＝1,2,...,N，利用置信度分析指标对kn、en、zn进行分析与逻辑判断，选择其中置信度 最高的预测结果记为Ps，Ps＝[ks,es,zs]；
其中，步骤4包括以下步骤：
S41、以查粮门位置预测结果kn为基准，对粮面与墙面交接处位置预测结果en、仓顶与墙面交 接处位置预测结果zn进行逻辑判断，去除位置坐标高于查粮门的en预测值，得结果集
Figure BDA0002869140990000051
去 除位置低于查粮门的zn预测值，得结果集
Figure BDA0002869140990000052
S42、对
Figure BDA0002869140990000053
结果集进行置信度排序，选择其中置信度最高的值es作为接纳值， es＝[xes,yes,wes,hes]，xes为粮面与墙面交接处位置预测框中心点横坐标，yes仓顶与墙面交接处位置预测框中心点纵坐标，wes为粮面与墙面交接处位置预测框宽度、hes为粮面与墙面交接处位置预测框高度；对
Figure BDA0002869140990000054
结果集进行置信度排序，选择其中置信度最高的值zs作为接纳值， zs＝[xzs,yzs,wzs,hzs]，xzs为仓顶与墙面交接处位置预测框中心点横坐标，yzs仓顶与墙面交接 处位置预测框中心点纵坐标，wzs为仓顶与墙面交接处位置预测框宽度、hzs为仓顶与墙面交 接处位置预测框高度。
步骤5：利用LSD直线检测算法对预测结果Ps进行分析检测并在原图中绘制粮面与墙 面交接线l1、仓顶与墙面交接线l2；
其中，步骤5包括以下步骤：
S51、设置量化效应误差参数q，角度容忍度τ，根据经验设置q＝2，τ＝π/8，计算得到梯度 阈值参数f,f＝q/τ＝16/π，设置矩阵逼近阈值参数λ，设置λ＝0.7；
S52、对粮面与墙面交接处预测框图像、仓顶与墙面交接处预测框图像分布以0.8的采样率缩 放处理，记为A1、A2，从而消除灰度图像中的阶梯效应；
S53、计算预测框图像A1中各个像素点的梯度幅值和水平线角度，若像素点梯度幅值小于f， 则表示该像素点位图像A1中平滑区域，拒绝该点参与图像直线与矩形逼近的构建，若梯度幅 值大于f，则接纳该点，将所有被接纳的像素点集合记为J,并按梯度幅值大小对J中所有像 素点进行伪排序；
S54、利用区域生长算法原理，选择J中梯度幅值最大的点作为种子点，以该点的水平线角度 作为初始角度θregion，在J中寻找与θregion角度偏差小于τ的像素点进行区域生长，区域生长完 成后将区域内像素点集合记为J1，像素点个数记为c；
S55、利用矩形逼近原理，确定矩形的中心和矩形的朝向，构建一个包含J1中所有c个像素点 的最小矩形O，计算矩形O的像素长度Olength，像素宽度Owidth，矩形O面积So＝Owidth×Olength；
S56、计算矩形O中包含的像素点密度，即内点密度μ，μ＝c/So，若μ＜λ，则绘制粮面与 墙面交界线l1，结束步骤；若μ＞λ，则采取矩形长边缩进策略对矩形O进行改进，改进完成 后跳转至执行S5直至步骤结束；
S57、重复步骤S2-S6，完成墙面与仓顶交界线l2绘制。
步骤6：计算粮面与墙面交接线l1与仓顶与墙面交接线l2之间的像素高度h2，计算查粮 门像素高度h3，利用通过已知的查粮门高度l映射出粮面到仓顶的真实高度h4；
其中，步骤6包括以下步骤：
S61、根据垂直距离计算原理，取粮面与墙面交界线l1中点位置(xm,ym)做垂线，与墙面与仓 顶交界线l2相交于一点(xm,yh)，连接这两点得到粮面到仓顶的像素高度h2＝|yh-ym|+1；
S62、根据查粮门位置预测结果ks，进一步计算得到查粮门像素高度为h3；
S63、已知的查粮门高度l,根据等比例原则，可计算出粮面到仓顶的真实高度h4，
Figure BDA0002869140990000061
即h4＝l×h2/h3。
步骤7：通过已知的粮仓面积S，粮仓高度h1，结合仓内粮食种类密度ρ，对粮仓内粮食储备数量m进行估算；
其中，步骤7包括以下步骤：
S71、利用已知的粮仓面积S，粮仓高度h1，计算得出的粮面实际高度为h5＝h1-h4；
S72、根据粮面实际高度计算结果h5，进一步计算得到当前粮食体积V＝S*h5；
S73、结合仓内粮食种类密度ρ，计算出粮食数量m＝V*ρ。
步骤8：将计算得到的粮食数量估算结果定时反馈至前端平台进行展示；
其中，步骤8包括以下步骤：
S81、将图像A存储到分布式文件系统并获取URL链接地址中；
S82、通过消息中间件定时将粮食数量情况和图像A存链接发送到前端平台；
S83、产生日志进行存储。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本 发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的 改进和调整均落入本发明的保护范围内。

Claims (8)

1.一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，包括以下步骤：
步骤1：通过测量获取待检测粮仓仓底面积S、粮仓高度h1和粮仓查粮门长度l，通过存储粮食种类获取粮仓储备粮食的密度ρ，用于辅助粮食数量的估算；
步骤2：利用角度正对于粮仓查粮门的摄像头，拍摄各种状态、各种时刻待检测粮仓仓内图像总计48000张，并对图像中查粮门、粮面与墙面交接处、仓顶与墙面交接处位置进行标注，并将标注后的图像生成粮仓图像数据集G；
步骤3：利用基于YOLO-v4算法的深度学习模型，对粮仓图像数据集G进行训练，获得用于检测查粮门、粮面与墙面交接处、仓顶与墙面交接处位置的目标检测模型，用于检测；
步骤4：利用角度正对于粮仓查粮门的摄像头，从视频流中自动获取一张当前状态下、待检测粮仓的仓内图像A，利用训练完成的目标检测模型，对仓内图像A中的查粮门、粮面与墙面交接处、仓顶与墙面交接处位置进行N次预测，获得查粮门预测框坐标结果集kn，粮面与墙面交接处位置预测框坐标结果集en，仓顶与墙面交接处位置预测框坐标结果集zn，其中n＝1,2,...,N，利用置信度分析指标对kn、en、zn进行分析与逻辑判断，选择其中置信度最高的预测结果记为Ps，Ps＝[ks,es,zs]；
步骤5：利用LSD直线检测算法对预测结果Ps进行分析检测并在原图中绘制粮面与墙面交接线l1、仓顶与墙面交接线l2；
步骤6：计算粮面与墙面交接线l1与仓顶与墙面交接线l2之间的像素高度h2，计算查粮门像素高度h3，利用通过已知的查粮门高度l映射出粮面到仓顶的真实高度h4；
步骤7：通过已知的粮仓面积S，粮仓高度h1，结合仓内粮食种类密度ρ，对粮仓内粮食储备数量m进行估算；
步骤8：将计算得到的粮食数量估算结果定时反馈至前端平台进行展示。
2.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤3包括以下步骤：
S31、处理深度学习模型输入图像数据集：采用Mosaic数据增强方式处理粮仓图像数据集G，平衡图像数据集与GPU之间的关系；
S32、构建深度学习模型BackBone：利用CSPDarknet53方式构建BackBone的网络结构、使用Mish函数作为BackBone的激活函数，采用Dropblock正则化法作为BackBone的过拟合控制函数；
S33、构建深度学习模型Neck，利用FPN+PAN方式构建Neck主结构，利用SPP空间金字塔池化思想，设置图像固定输出尺度；
S34：构建深度学习模型损失函数，利用CIOU_LOSS算法构建损失函数，用于优化学习模型。
3.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤4包括以下步骤：
S41、以查粮门位置预测结果kn为基准，对粮面与墙面交接处位置预测结果en、仓顶与墙面交接处位置预测结果zn进行逻辑判断，去除位置坐标高于查粮门的en预测值，得结果集
Figure FDA0003564399430000021
去除位置低于查粮门的zn预测值，得结果集
Figure FDA0003564399430000022
S42、对
Figure FDA0003564399430000023
结果集进行置信度排序，选择其中置信度最高的值es作为接纳值，es＝[xes,yes,wes,hes]，xes为粮面与墙面交接处位置预测框中心点横坐标，yes为仓顶与墙面交接处位置预测框中心点纵坐标，wes为粮面与墙面交接处位置预测框宽度、hes为粮面与墙面交接处位置预测框高度；对
Figure FDA0003564399430000024
结果集进行置信度排序，选择其中置信度最高的值zs作为接纳值，zs＝[xzs,yzs,wzs,hzs]，xzs为仓顶与墙面交接处位置预测框中心点横坐标，yzs为仓顶与墙面交接处位置预测框中心点纵坐标，wzs为仓顶与墙面交接处位置预测框宽度、hzs为仓顶与墙面交接处位置预测框高度。
4.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤5包括以下步骤：
S51、设置量化效应误差参数q，角度容忍度τ，根据经验设置q＝2，τ＝π/8，计算得到梯度阈值参数f,f＝q/τ＝16/π，设置矩阵逼近阈值参数λ，设置λ＝0.7；
S52、对粮面与墙面交接处预测框图像、仓顶与墙面交接处预测框图像分布以0.8的采样率缩放处理，记为A1、A2，从而消除灰度图像中的阶梯效应；
S53、计算预测框图像A1中各个像素点的梯度幅值和水平线角度，若像素点梯度幅值小于f，则表示该像素点位图像A1中平滑区域，拒绝该点参与图像直线与矩形逼近的构建，若梯度幅值大于f，则接纳该点，将所有被接纳的像素点集合记为J,并按梯度幅值大小对J中所有像素点进行伪排序；
S54、利用区域生长算法原理，选择J中梯度幅值最大的点作为种子点，以该点的水平线角度作为初始角度θregion，在J中寻找与θregion角度偏差小于τ的像素点进行区域生长，区域生长完成后将区域内像素点集合记为J1，像素点个数记为c；
S55、利用矩形逼近原理，确定矩形的中心和矩形的朝向，构建一个包含J1中所有c个像素点的最小矩形O，计算矩形O的像素长度Olength，像素宽度Owidth，矩形O面积So＝Owidth×Olength；
S56、计算矩形O中包含的像素点密度，即内点密度μ，μ＝c/So，若μ＜λ，则绘制粮面与墙面交接线l1，结束步骤；若μ＞λ，则采取矩形长边缩进策略对矩形O进行改进，改进完成后跳转至执行S55直至步骤结束；
S57、重复步骤S53-S56，完成仓顶与墙面交接线l2绘制。
5.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤6包括以下步骤：
S61、根据垂直距离计算原理，取粮面与墙面交接线l1中点位置(xm,ym)做垂线，与仓顶与墙面交接线l2相交于一点(xm,yh)，连接这两点得到粮面到仓顶的像素高度h2＝|yh-ym|+1；
S62、根据查粮门位置预测结果ks，进一步计算得到查粮门像素高度为h3；
S63、已知的查粮门高度l,根据等比例原则，可计算出粮面到仓顶的真实高度h4，
Figure FDA0003564399430000031
即h4＝l×h2/h3。
6.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤7包括以下步骤：
S71、利用已知的粮仓面积S，粮仓高度h1，计算得出的粮面实际高度为h5＝h1-h4；
S72、根据粮面实际高度计算结果h5，进一步计算得到当前粮食体积V＝S*h5；
S73、结合仓内粮食种类密度ρ，计算出粮食数量m＝V*ρ。
7.根据权利要求1所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述步骤8包括以下步骤：
S81、将图像A存储到分布式文件系统并获取URL链接地址；
S82、通过消息中间件定时将粮食数量情况和图像A存储链接发送到前端平台；
S83、产生日志进行存储。
8.根据权利要求1-7任意一项所述的一种基于深度学习与LSD直线检测算法的粮食数量估算方法，其特征是，所述方法采用粮仓仓内摄像头、有线网络、无线网络、基于YOLO-v4算法的深度学习目标检测模型、LSD直线检测算法和前端平台。
CN202011592858.3A 2020-12-29 2020-12-29 基于深度学习与lsd直线检测算法的粮食数量估算方法 Active CN112734826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011592858.3A CN112734826B (zh) 2020-12-29 2020-12-29 基于深度学习与lsd直线检测算法的粮食数量估算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011592858.3A CN112734826B (zh) 2020-12-29 2020-12-29 基于深度学习与lsd直线检测算法的粮食数量估算方法

Publications (2)

Publication Number Publication Date
CN112734826A CN112734826A (zh) 2021-04-30
CN112734826B true CN112734826B (zh) 2022-05-31

Family

ID=75607432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011592858.3A Active CN112734826B (zh) 2020-12-29 2020-12-29 基于深度学习与lsd直线检测算法的粮食数量估算方法

Country Status (1)

Country Link
CN (1) CN112734826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240985B (zh) * 2022-02-25 2022-05-31 天云软件技术有限公司 粮食储量的确定方法、装置、设备、介质和产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8426708B1 (en) * 2012-01-30 2013-04-23 California Cooperative Rice Research Foundation, Inc. Rice cultivar M-105
CN104899854A (zh) * 2014-03-05 2015-09-09 航天信息股份有限公司 堆粮高度线的检测方法和装置
CN105466523A (zh) * 2014-09-12 2016-04-06 航天信息股份有限公司 基于单摄像机图像的堆粮高度的测量方法和装置
CN105931238A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种粮仓储粮体积测量的方法和系统
CN109472261A (zh) * 2018-06-15 2019-03-15 河南工业大学 一种基于计算机视觉的粮仓储粮数量变化自动监测方法
CN110008947A (zh) * 2019-04-12 2019-07-12 河南工业大学 一种基于卷积神经网络的粮仓粮食数量监测方法及装置
CN209118100U (zh) * 2018-11-08 2019-07-16 华信咨询设计研究院有限公司 基于nb-iot的粮库挡粮门异动监测装置
CN110046570A (zh) * 2019-04-12 2019-07-23 河南工业大学 一种粮仓粮食库存动态监管方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682430A (zh) * 2019-02-21 2019-04-26 中储粮成都储藏研究院有限公司 一种中储粮设备检测系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8426708B1 (en) * 2012-01-30 2013-04-23 California Cooperative Rice Research Foundation, Inc. Rice cultivar M-105
CN104899854A (zh) * 2014-03-05 2015-09-09 航天信息股份有限公司 堆粮高度线的检测方法和装置
CN105466523A (zh) * 2014-09-12 2016-04-06 航天信息股份有限公司 基于单摄像机图像的堆粮高度的测量方法和装置
CN105931238A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种粮仓储粮体积测量的方法和系统
CN109472261A (zh) * 2018-06-15 2019-03-15 河南工业大学 一种基于计算机视觉的粮仓储粮数量变化自动监测方法
CN209118100U (zh) * 2018-11-08 2019-07-16 华信咨询设计研究院有限公司 基于nb-iot的粮库挡粮门异动监测装置
CN110008947A (zh) * 2019-04-12 2019-07-12 河南工业大学 一种基于卷积神经网络的粮仓粮食数量监测方法及装置
CN110046570A (zh) * 2019-04-12 2019-07-23 河南工业大学 一种粮仓粮食库存动态监管方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于大数据的图像识别技术在粮食监管中的应用研究;孟丹等;《科技创新导报》;20191021(第30期);全文 *
粮仓计量技术进展与展望;任工昌等;《食品工业》;20170220(第02期);全文 *

Also Published As

Publication number Publication date
CN112734826A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109460753B (zh) 一种检测水上漂浮物的方法
US20230281265A1 (en) Method for estimating body size and weight of pig based on deep learning
CN110853015A (zh) 基于改进Faster-RCNN的铝型材缺陷检测方法
CN104866820B (zh) 一种基于遗传算法的农机导航线提取方法及装置
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN110334680B (zh) 基于爬壁机器人的船舶水尺识别方法、系统、装置
CN104268505A (zh) 基于机器视觉的布匹疵点自动检测识别装置及方法
CN113516201B (zh) 一种基于深度神经网络的肉兔料盒中余料量的估算方法
CN115797354B (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN112734826B (zh) 基于深度学习与lsd直线检测算法的粮食数量估算方法
CN105043395B (zh) 一种飞行器月表软着陆的实时动态选址方法
CN113435282A (zh) 基于深度学习的无人机影像麦穗识别方法
CN110717924A (zh) 船舶水尺标线识别方法、装置、计算机设备和存储介质
CN113313833A (zh) 一种基于3d视觉技术的猪体重预估方法
CN113989353A (zh) 一种猪只背膘厚度测定方法及系统
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
CN112883969B (zh) 一种基于卷积神经网络的降雨强度检测方法
CN112785557A (zh) 皮带料流检测方法及装置、皮带料流检测系统
CN110598669A (zh) 一种复杂场景中人群密度的检测方法和系统
CN115843733A (zh) 一种基于机器视觉的河蟹养殖电子食台装置及工作方法
CN115620119A (zh) 一种天气类型图像检测及雾天图像处理方法及装置
CN114972335A (zh) 一种用于工业检测的图像分类方法、装置及计算机设备
CN114037832A (zh) 一种卫星遥感图像中典型区域的提取方法及系统
CN113888630A (zh) 一种具备置信度估计的无人机姿态检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant