CN116358500A - 一种基于图像分析检测粮堆形变的方法及系统 - Google Patents

一种基于图像分析检测粮堆形变的方法及系统 Download PDF

Info

Publication number
CN116358500A
CN116358500A CN202310635758.1A CN202310635758A CN116358500A CN 116358500 A CN116358500 A CN 116358500A CN 202310635758 A CN202310635758 A CN 202310635758A CN 116358500 A CN116358500 A CN 116358500A
Authority
CN
China
Prior art keywords
grain pile
image
area
deformation
pile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310635758.1A
Other languages
English (en)
Other versions
CN116358500B (zh
Inventor
周彬
谢京宁
陈辉
朱国强
沈玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cofco Capital Technology Co ltd
Original Assignee
Cofco Capital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cofco Capital Technology Co ltd filed Critical Cofco Capital Technology Co ltd
Priority to CN202310635758.1A priority Critical patent/CN116358500B/zh
Publication of CN116358500A publication Critical patent/CN116358500A/zh
Application granted granted Critical
Publication of CN116358500B publication Critical patent/CN116358500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像分析检测粮堆形变的方法及系统，所述方法包括：接收摄像头实时传输的监测图像；根据获取的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像；根据粮堆区域图像进行人员识别，获取人员定位信息，并根据获取的人员定位信息确定形变检测区域，得到形变检测区域图像；对形变检测区域图像进行实时的粮堆形变检测，得到粮堆形变检测结果。本发明能够在作业人员在粮堆上作业的时候对粮堆进行形变检测，有助于提高作业人员作业的安全性。

Description

一种基于图像分析检测粮堆形变的方法及系统
技术领域
本发明涉及图像分析技术领域，特别是一种基于图像分析检测粮堆形变的方法及系统。
背景技术
目前，在进行粮食储藏的时候，粮食在完成卸货后会形成大型的粮堆；而通过人工作业为主的粮食储藏库中，作业人员无法避免的需要在粮堆上进行作业（如探测温度或者粮堆平整施工等）。当作业人员站立在粮堆上进行作业的时候，由于站立位置粮食密度不均匀加上作业过程中（例如是粮堆平整施工时向前推粮的时候）的反作用力情况，容易使得粮堆出现形变，导致结构发生变化。而作业人员在专注作业的过程中容易忽略粮堆发生的形变，当粮堆结构发生变化时，轻则会使得作业人员摔倒，严重会导致作业人员被粮堆淹没导致窒息，使得作业人员在粮堆上作业时存在安全隐患。
因此，提出一种针对作业人员在粮堆上作业的时候，能够对粮堆进行形变检测并及时提醒作业人员的方法和系统。
发明内容
针对上述问题，本发明旨在提供一种基于图像分析检测粮堆形变的方法及系统。
本发明的目的采用以下技术方案来实现：
第一方面，本发明示出一种基于图像分析检测粮堆形变的方法，包括：
接收摄像头实时传输的监测图像；
根据获取的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像；
根据粮堆区域图像进行人员识别，获取人员定位信息，并根据获取的人员定位信息确定形变检测区域，得到形变检测区域图像；
对形变检测区域图像进行实时的粮堆形变检测，得到粮堆形变检测结果。
优选的，所述方法还包括：
当粮堆形变检测结果超过预设的标准时，发出形变提示消息。
优选的，摄像头包括设置在粮堆正上方或斜上方的摄像头，和/或，设置在粮堆侧方的摄像头，采集的监测图像包括俯视监测图像和侧视监测图像。
优选的，所述方法还包括：
对获取的监测图像进行预处理，得到预处理后的监测图像；
根据预处理后的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像。
优选的，根据监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，包括：
基于前景识别模型来对监测图像进行识别处理，获取监测图像中的前景区域和背景区域，并根据前景区域提取粮堆区域图像；
其中，前景识别模型包括基于神经网络搭建的像素点识别模型，根据像素点识别模型将像素点分类为粮堆像素点和背景像素点，统计粮堆像素点得到前景区域，将得到的前景区域以及前景区域上方的区域作为提取的粮堆区域图像。
优选的，根据粮堆区域图像进行人员识别，包括：
基于人员识别模型对粮堆区域图像进行人员识别，对粮堆区域图像中的人员进行标记，并根据人员标记确定人员定位；
根据人员在粮堆上的位置，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域。
优选的，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域，包括：
根据人员在粮堆中的定位点，提取人员在粮堆中所在的母线；包括：从粮堆顶点与人员定位点连接，并进一步向粮堆底部延伸，得到人员所在的母线；
根据得到的母线，将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域。
优选的，将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域，包括：
针对俯视监测图像所得的粮堆区域图像，在人员定位点生成一条垂直于母线的辅助线，则辅助线与粮堆底部边缘组成的区域标标记为形变检测区域；
针对测视监测图像所得的粮堆区域图像，在人员定位点处，分别向母线两侧各延伸一条辅助线，其中两个辅助线分别与母线之间的角度为
Figure SMS_1
，/>
Figure SMS_2
表示图像中粮堆顶点的角度，两条辅助线和粮堆底部边缘组成的区域标记为形变检测区域。
优选的，对形变检测区域图像进行实时的粮堆形变检测，包括：
根据提取的形变检测区域，检测图像中的边缘特征信息，根据连续两个时刻的边缘特征信息得到边缘特征变化量，当边缘特征变化量大于设定的标准时，则标记当前时刻发生粮堆形变；
当连续多个时刻持续发生粮堆形变时，则输出存在形变的粮堆形变检测结果；否则输出不存在形变的粮堆形变检测结果。
第二方面，本发明示出一种基于图像分析检测粮堆形变的系统，包括摄像头和处理模块；其中，
摄像头用于实时采集监测图像，并将采集的监测图像传输到处理模块；
处理模块用于实现如上述第一方面中任一种实施方式所述的方法。
本发明的有益效果为：通过图像分析的方法首先对获取到的监测图像进行粮堆识别，获取粮堆的所在位置，得到粮堆区域图像，针对粮堆区域图像进一步对粮堆上的作业人员进行识别，获取作业人员的定位信息，根据作业人员的定位信息确定粮堆中影响作业人员安全性的关键区域，确定形变检测区域图像，最终根据得到的形变区域进行重点的粮堆形变检测，得到形变检测结果。当粮堆中影响作业人员的区域发生形变时，则向作业人员发出提醒消息，能够预防和避免表面作业过程中粮堆发生的形变对作业人员造成的安全影响，有助于提高作业人员作业的安全性。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明实施例所示一种基于图像分析检测粮堆形变的方法流程示意图；
图2为本发明实施例中针对俯视监测图像所得的粮堆区域图像提取的形变检测区域示意图；
图3为本发明实施例中针对侧视监测图像所得的粮堆区域图像提取的形变检测区域示意图；
图4为本发明实施例所示一种基于图像分析检测粮堆形变的系统框架结构图。
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1，其示出一种基于图像分析检测粮堆形变的方法，包括：
接收摄像头实时传输的监测图像；
根据获取的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像；
根据粮堆区域图像进行人员识别，获取人员定位信息，并根据获取的人员定位信息确定形变检测区域，得到形变检测区域图像；
对形变检测区域图像进行实时的粮堆形变检测，得到粮堆形变检测结果。
通过图像分析的方法首先对获取到的监测图像进行粮堆识别，获取粮堆的所在位置，得到粮堆区域图像，针对粮堆区域图像进一步对粮堆上的作业人员进行识别，获取作业人员的定位信息，根据作业人员的定位信息确定粮堆中影响作业人员安全性的关键区域，确定形变检测区域图像，最终根据得到的形变区域进行重点的粮堆形变检测，得到形变检测结果。当粮堆中影响作业人员的区域发生形变时，则向作业人员发出提醒消息，能够预防和避免表面作业过程中粮堆发生的形变多作业人员造成的安全影响，有助于提高作业人员作业的安全性。
优选的，该方法还包括：
当粮堆形变检测结果超过预设的标准时，发出形变提示消息。
其中，当得到粮堆形变检测结果为存在形变时，则向作业人员发出形变提示消息。
在一种情境下，作业现场设置有警报系统，当检测到粮堆发生形变会影响到作业人员的安全时，则发出现场播报消息，提醒作业人员调整位置或留意脚下位置的粮堆情况，避免出现安全事故。
在一种情境下，每个作业人员携带有单独的警报设备，当检测到对应作业人员所在粮堆位置发生形变存在安全隐患的时候，向对应作业人员的警报设备发出提醒消息，提醒作业人员及时调整位置和避开形变区域，避免安全事故发生。
其中，单独的警报设备也可以整合到作业人员的可佩戴设备或者智能终端中，满足不同的设备配备需求。
优选的，摄像头包括设置在粮堆正上方或斜上方的摄像头，和/或，设置在粮堆侧方的摄像头，采集的监测图像包括俯视监测图像和侧视监测图像。
优选的，摄像头采用高清CCD摄像头，通过抓拍或录像的方式获取监测图像。
其中，根据粮堆的位置和场景，能够选择不同的方式来获取监测图像。
在一种情境下，针对粮堆堆放在户外的情况，摄像头难以设置在粮堆正上方或斜上方，则可以通过侧方拍摄的方式来获取监测图像，其中在粮堆的至少2个不同的方位设置摄像头，以准确获取粮堆上作业人员的位置和对相应的区域进行形变检测。
在一种情境下，针对粮堆堆放在室内的情况，则可以采用俯拍配合侧拍的方式来获取监测图像，准确对粮堆的全区域粮堆区域图像进行采集。
优选的，该方法还包括：
对获取的监测图像进行预处理，得到预处理后的监测图像；
根据预处理后的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像。
考虑到获取的监测图像容易受到室内外光线不均匀，粮堆阴影等情况的干扰，监测图像中粮堆区域的清晰度不足，影响后续进一步根据粮堆区域图像进行人员识别和形变检测的准确度。因此，在获取到监测图像之后，首先对获取的监测图像进行预处理，能够提高监测图像的清晰度，有助于提高后续进一步进行的粮堆识别、人员识别和形变检测的准确度和可靠性。
优选的，对获取的监测图像进行预处理，包括：
将获取的监测图像转换至灰度空间，根据得到的灰度监测图像进行基于sobel算子的边缘检测处理，获取图像中的边缘像素点，并对获取的边缘像素点进行标记；
根据获取的边缘信息，统计每个像素点的边缘信息密度，获取各像素点的密度特征因子，其中采用的密度特征因子计算函数为：
Figure SMS_3
其中，dst（x，y）表示像素点（x，y）的密度特征因子，
Figure SMS_4
表示以像素点（x，y）为中心的邻域范围，其中邻域范围的尺寸为5×5或7×7；/>
Figure SMS_5
表示范围/>
Figure SMS_6
内的像素点数量；/>
Figure SMS_7
表示在范围/>
Figure SMS_8
内边缘像素点的像素点数量；
根据得到的边缘信息进行模板匹配，获取图像中的粮堆顶点位置，并根据粮堆顶点位置进一步提取监测图像中的粮堆区域，除粮堆区域外的其他区域标记为背景区域；
将获取的监测图像转换至HSV颜色空间，得到亮度分量子图picV；
根据得到的亮度分量子图picV，分别对粮堆区域和背景区域的像素点分别进行亮度调节处理，其中：
针对粮堆区域的像素点
Figure SMS_9
进行第一亮度调节处理，其中采用的第一亮度调节函数为：
Figure SMS_10
其中，
Figure SMS_12
表示第一亮度调节处理后像素点（x，y）的亮度分量值，dst（x，y）表示像素点（x，y）的密度特征因子，dstT1表示设定的密度特征阈值，其中/>
Figure SMS_15
；
Figure SMS_17
表示各个满足属于亮度区域像素点，且密度特征因子大于设定的密度特征阈值的像素点的平均亮度分量值，/>
Figure SMS_13
表示以像素点（x，y）为中心的邻域范围内各像素点的亮度分量值，/>
Figure SMS_16
表示粮堆顶点像素点/>
Figure SMS_18
的亮度分量值；
Figure SMS_19
和/>
Figure SMS_11
表示设定的权重因子，其中/>
Figure SMS_14
；
针对背景像素点
Figure SMS_20
进行第二亮度调节处理，其中采用的第二亮度调节函数为：
Figure SMS_21
其中，
Figure SMS_23
表示第二亮度调节处理后像素点/>
Figure SMS_26
的亮度分量值，/>
Figure SMS_29
表示以像素点/>
Figure SMS_24
为中心的邻域范围内各像素点的亮度分量值，/>
Figure SMS_27
表示像素点/>
Figure SMS_30
的亮度分量值，Vsat表示设定的背景亮度值，其中/>
Figure SMS_31
，/>
Figure SMS_22
表示像素点
Figure SMS_25
的密度特征因子，dstT2表示设定的密度特征阈值，其中/>
Figure SMS_28
；
根据亮度调节后的亮度分量子图
Figure SMS_32
进行亮度拉伸处理，得到增强后的亮度分量子图；
根据增强后的亮度分量子图进行重构，得到预处理后的监测图像。
本发明上述实施方式，提出了一种针对获取的监测图像首先进行预处理的技术方案，能够自适应地针对俯视监测图像或侧视监测图像进行增强处理，其中，考虑到正常粮堆区域中，通常存在大量的边缘像素信息，但是，当粮堆上出现曝光过度或者阴影情况出现的时候，则会导致边缘信息的提取敏感度不足，因此，首先对监测图像边缘检测，提取图像中的边缘像素点，并进一步根据边缘像素点的密度来计算各像素点的密度特征因子。然后进一步将监测图像转换到HSV颜色空间来基于得到的亮度分量V进行亮度调节处理，其中针对粮堆区域特别提出了一种亮度调节函数，能够根据像素点的密度特征因子来对亮度区域中的像素点进行划分，在针对一般区域进行亮度调节的时候，通过全局均衡的方式来均衡粮堆中各正常区域的亮度信息，消除其中出现的影响较小的明暗区域影响，有助于提高粮堆区域特征信息的表征水平。同时在针对亮度区域中曝光或阴影较为明显的异常部分，则特别以亮度顶点作为参考量，对异常部分的像素点进行自适应的调控，消除异常部分造成的明暗影响。针对背景部分，根据提出的亮度调节函数，能够自适应第对背景部分中可能存在的有用信息部分（如可能包含人员信息）进行亮度保留，避免背景亮度调节的时候对有用信息的过处理情况，而针对一半背景像素点，则对背景亮度进行抑制，以进一步突出图像中有用信息集中的前景区域的清晰度水平。根据上述预处理方式处理后的监测图像，能够提高后续进一步进行粮堆区域提取，人员识别和形变检测的准确性和鲁棒性。
优选的，根据监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，包括：
基于前景识别模型来对监测图像进行识别处理，获取监测图像中的前景区域和背景区域，并根据前景区域提取粮堆区域图像。
其中，前景识别模型包括基于神经网络搭建的像素点识别模型，根据像素点识别模型将像素点分类为粮堆像素点和背景像素点，统计粮堆像素点得到前景区域，将得到的前景区域以及前景区域上方的区域作为提取的粮堆区域图像。
其中神经网络包括可以基于CNN卷积神经网络、RNN循环神经网络、LSTM长短期记忆网络等搭建而成。
其中上述所指的前景区域上方值得是实际三维空间中的粮堆区域的垂直上方区域，能够根据摄像头设定的拍摄角度预先标定的垂直基准线所得。考虑到当作业人员站在粮堆上时，其人员区域会超出粮堆区域，因此在进行粮堆区域图像提取的时候，根据得到的前景区域进一步将前景区域垂直上方的部分也归为粮堆区域图像，能够适应后续进一步进行人员检测的需求。
同时，粮堆被堆放固定后，由于摄像头和粮堆的大致位置基本不会发生变化，因此能够根据摄像头采集监测图像的角度，提前标定垂直方向基准线，有助于后续根据前景区域进一步提取粮堆区域图像的时候提高效率和准确性。
优选的，根据粮堆区域图像进行人员识别，包括：
基于人员识别模型对粮堆区域图像进行人员识别，对粮堆区域图像中的人员进行标记，并根据人员标记确定人员定位；
根据人员在粮堆上的位置，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域。
其中，人员识别模型包括基于YoloV3或YoloV4网络搭建的人员识别模型，通过将粮堆区域图像输入到人员识别模型，对粮堆区域图像中的人员进行识别和标记，得到人员定位信息。
在一种情境中，通过基于YoloV4网络搭建的人员识别模型对粮堆区域图像进行人员识别，识别的结果采用矩形框对识别到的人员进行标记和跟踪；同时，进一步根据矩形框的底部重点作为人员定位点，得到人员定位信息。
优选的，该方法还包括：
根据标记的人员定位信息，进一步确定人员在粮堆的高度位置，包括：
根据人员定位信息获取人员在所在的母线，其中母线的获取方式为从粮堆顶点与人员底部定位点连接，并进一步向粮堆底部延伸，得到人员所在的母线；
计算人员在粮堆的高度位置：
Figure SMS_33
其中，hr表示人员当前高度，ha表示粮堆总高度，可以基于图像分析的方式获取，也可以通过直接输入的方式得到；Lm表示人员所在母线的总长度，Lr 表示人员定位底部对应母线所在的位置至粮堆底部的母线长度。
进一步根据得到的人员在粮堆的高度位置进行分析，当人员所在的高度位置低于设定的高度标准值时，
Figure SMS_34
，则不触发进一步的形变检测区域获取和粮堆形变检测；当人员所在的高度位置大于或等于设定的高度标准值时，/>
Figure SMS_35
，则进一步获取形变检测区域和粮堆形变检测。
在一种情境中，高度标准值h1t设置为
Figure SMS_36
。
优选的，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域，包括：
根据人员在粮堆中的定位点，提取人员在粮堆中所在的母线；包括：从粮堆顶点与人员定位点连接，并进一步向粮堆底部延伸，得到人员所在的母线；
根据得到的母线，将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域。
优选的，将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域，包括：
针对俯视监测图像所得的粮堆区域图像，在人员定位点生成一条垂直于母线的辅助线，则辅助线与粮堆底部边缘组成的区域标标记为形变检测区域；
针对测视监测图像所得的粮堆区域图像，在人员定位点处，分别向母线两侧延伸各延伸一条辅助线，则两条辅助线和粮堆底部边缘组成的区域标记为形变检测区域。
在一种情境中，参见图2，针对俯视监测图像所得的粮堆区域图像，根据人员在粮堆中的定位点，标记人员在粮堆中所处的母线；根据得到的母线方向，在人员定位点生成一条垂直于母线的辅助线，则辅助线与粮堆底部边缘组成的扇形区域标标记为形变检测区域；
在一种情境中，参见图3，针对测视监测图像所得的粮堆区域图像，根据人员在粮堆中的定位点，标记人员在粮堆中所处的母线；根据得到的母线，从人员定位点处别向母线两侧延伸各延伸一条辅助线，其中两个辅助线分别与母线之间的角度为
Figure SMS_37
，/>
Figure SMS_38
表示图像中粮堆顶点的角度；则将两个辅助线和粮堆底部边缘组成的区域标记为形变检测区域，其中，当辅助线超出粮堆边缘母线的范围时，则将粮堆边缘母线作为形变检测区域的边界。
上述实施方式，能够根据作业人员的定位点确定影响作业人员站立位置稳固成条件的区域作为形变检测区域（根据上述方式获取的形变检测区域，大部分情况下是作业人员在进行作业时的斜后方，此区域容易存在视野盲区，作业人员不容易发现其中的形变情况）；例如，当作业人员在进行平整作业时，则作业人员需要从粮堆部开始进行推粮，其中作业人员需要站在靠近顶部的位置，再推粮的过程中，作业人员将粮堆顶部的粮食向前推平，其中在推平的过程中，由于反作用力的影响，会导致作业人员站立点的位置产生较大的向后的推力于粮堆上，容易导致站立点下方的粮堆发生形变，影响作业人员站立位置的稳固程度。因此通过上述方式特别根据作业人员的定位信息提取容易受到反作用力影响的区域作为重点的粮堆形变检测区域，并进一步对该区域的粮堆进行形变检测，能够有助于第一时间识别粮堆的变化情况，提高作业人员的作业安全性。
优选的，对形变检测区域图像进行实时的粮堆形变检测，包括：
根据提取的形变检测区域，检测图像中的边缘特征信息，根据连续两个时刻的边缘特征信息得到边缘特征变化量，当边缘特征变化量大于设定的标准时，则标记当前时刻发生粮堆形变；
当连续多个时刻持续发生粮堆形变时，则输出存在形变的粮堆形变检测结果；否则输出不存在形变的粮堆形变检测结果。
优选的，根据连续获取的监测图像，对形变检测区域进行形变检测，其中，首先获取形变检测区域图像进行边缘特征提取，获取图像中边缘像素点并进行标记；根据统计的边缘信息作为特征，将两虚两个时刻获取的边缘信息进行比对分析，当二者的相似度小于设定的阈值范围时，则输出粮堆当前时刻没有发生形变的检测结果；否则当二者相似度大于等于设定的阈值时，则输出粮堆当前时刻发生了形变的检测结果；如果粮堆在一段设定的周期内连续发生形变，则输出粮堆出现形变的检测结果。此时向作业人员发出对应的警示消息。提醒作业人员其站立的位置容易发生结构不稳的情况，提醒作业人员及时调整位置或终止作业。
参见图4，本发明还提出一种基于图像分析检测粮堆形变的系统，该系统包括摄像头和处理模块；其中，
摄像头用于实时采集监测图像，并将采集的监测图像传输到处理模块；
处理模块用于接收摄像头实时传输的监测图像；根据获取的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像；根据粮堆区域图像进行人员识别，获取人员定位信息，并根据获取的人员定位信息确定形变检测区域，得到形变检测区域图像；对形变检测区域图像进行实时的粮堆形变检测，得到粮堆形变检测结果。
其中，需要说明的是，处理模块还用于实现如上述图1所示的一种基于图像分析检测粮堆形变的方法，以及其各步骤对应的具体实施方式。本发明在此不重复叙述。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于图像分析检测粮堆形变的方法，其特征在于：包括：
接收摄像头实时传输的监测图像；
根据获取的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像；
根据粮堆区域图像进行人员识别，获取人员定位信息，并根据获取的人员定位信息确定形变检测区域，得到形变检测区域图像；包括：
根据人员在粮堆上的位置，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域；
对形变检测区域图像进行实时的粮堆形变检测，得到粮堆形变检测结果，包括：
根据提取的形变检测区域，检测图像中的边缘特征信息，根据连续两个时刻的边缘特征信息得到边缘特征变化量，当边缘特征变化量大于设定的标准时，则标记当前时刻发生粮堆形变；
当连续多个时刻持续发生粮堆形变时，则输出存在形变的粮堆形变检测结果；否则输出不存在形变的粮堆形变检测结果。
2.根据权利要求1所述的一种基于图像分析检测粮堆形变的方法，其特征在于：所述方法还包括：
当粮堆形变检测结果超过预设的标准时，发出形变提示消息。
3.根据权利要求1所述的一种基于图像分析检测粮堆形变的方法，其特征在于：摄像头包括设置在粮堆正上方或斜上方的摄像头，和/或，设置在粮堆侧方的摄像头，采集的监测图像包括俯视监测图像和侧视监测图像。
4.根据权利要求1所述的一种基于图像分析检测粮堆形变的方法，其特征在于：所述方法还包括：
对获取的监测图像进行预处理，得到预处理后的监测图像；
根据预处理后的监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，得到粮堆区域图像。
5.根据权利要求1所述的一种基于图像分析检测粮堆形变的方法，其特征在于：根据监测图像进行粮堆识别，获取监测图像中的粮堆所在区域，包括：
基于前景识别模型来对监测图像进行识别处理，获取监测图像中的前景区域和背景区域，并根据前景区域提取粮堆区域图像；
其中，前景识别模型包括基于神经网络搭建的像素点识别模型，根据像素点识别模型将像素点分类为粮堆像素点和背景像素点，统计粮堆像素点得到前景区域，将得到的前景区域以及前景区域上方的区域作为提取的粮堆区域图像。
6.根据权利要求1所述的一种基于图像分析检测粮堆形变的方法，其特征在于：根据粮堆区域图像进行人员识别，包括：
基于人员识别模型对粮堆区域图像进行人员识别，对粮堆区域图像中的人员进行标记，并根据人员标记确定人员定位；
根据人员在粮堆上的位置，将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域。
7.根据权利要求6所述的一种基于图像分析检测粮堆形变的方法，其特征在于：将粮堆区域中人员所在位置下方的堆面部分作为形变检测区域，包括：
根据人员在粮堆中的定位点，提取人员在粮堆中所在的母线；包括：从粮堆顶点与人员定位点连接，并进一步向粮堆底部延伸，得到人员所在的母线；
根据得到的母线，将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域。
8.根据权利要求7所述的一种基于图像分析检测粮堆形变的方法，其特征在于：将从人员定位点起，沿母线方向向下的扇形区域作为形变检测区域，包括：
针对俯视监测图像所得的粮堆区域图像，在人员定位点生成一条垂直于母线的辅助线，则辅助线与粮堆底部边缘组成的区域标记为形变检测区域；
针对测视监测图像所得的粮堆区域图像，在人员定位点处，分别向母线两侧各延伸一条辅助线，其中两个辅助线分别与母线之间的角度为
Figure QLYQS_1
，/>
Figure QLYQS_2
表示图像中粮堆顶点的角度，两条辅助线和粮堆底部边缘组成的区域标记为形变检测区域。
9.一种基于图像分析检测粮堆形变的系统，其特征在于：包括摄像头和处理模块；其中，
摄像头用于实时采集监测图像，并将采集的监测图像传输到处理模块；
处理模块用于实现如上述权利要求1-8中任一项所述的方法。
CN202310635758.1A 2023-06-01 2023-06-01 一种基于图像分析检测粮堆形变的方法及系统 Active CN116358500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310635758.1A CN116358500B (zh) 2023-06-01 2023-06-01 一种基于图像分析检测粮堆形变的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310635758.1A CN116358500B (zh) 2023-06-01 2023-06-01 一种基于图像分析检测粮堆形变的方法及系统

Publications (2)

Publication Number Publication Date
CN116358500A true CN116358500A (zh) 2023-06-30
CN116358500B CN116358500B (zh) 2023-08-18

Family

ID=86939955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310635758.1A Active CN116358500B (zh) 2023-06-01 2023-06-01 一种基于图像分析检测粮堆形变的方法及系统

Country Status (1)

Country Link
CN (1) CN116358500B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103307980A (zh) * 2013-06-04 2013-09-18 中国科学院遥感与数字地球研究所 粮堆体积自动测量装置及其测量方法
EA201700618A1 (ru) * 2017-07-12 2019-01-31 Кайрат Темирбаевич Кошеков Способ определения объема зерна в зернохранилищах на основе бесконтактных 3d-измерений
CN110009000A (zh) * 2019-03-11 2019-07-12 东北大学 基于adaboost+svm改进分类算法的粮堆目标检测方法
CN112287809A (zh) * 2020-10-27 2021-01-29 国家电网有限公司 基于图像分析检测安全区域内作业人员的方法、系统和存储介质
CN113860000A (zh) * 2021-10-21 2021-12-31 四川阿泰因机器人智能装备有限公司 一种智能变速均衡抛粮方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103307980A (zh) * 2013-06-04 2013-09-18 中国科学院遥感与数字地球研究所 粮堆体积自动测量装置及其测量方法
EA201700618A1 (ru) * 2017-07-12 2019-01-31 Кайрат Темирбаевич Кошеков Способ определения объема зерна в зернохранилищах на основе бесконтактных 3d-измерений
CN110009000A (zh) * 2019-03-11 2019-07-12 东北大学 基于adaboost+svm改进分类算法的粮堆目标检测方法
CN112287809A (zh) * 2020-10-27 2021-01-29 国家电网有限公司 基于图像分析检测安全区域内作业人员的方法、系统和存储介质
CN113860000A (zh) * 2021-10-21 2021-12-31 四川阿泰因机器人智能装备有限公司 一种智能变速均衡抛粮方法

Also Published As

Publication number Publication date
CN116358500B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN107615334B (zh) 物体识别装置以及物体识别系统
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN117274722B (zh) 基于红外图像的配电箱智能检测方法
CN111222511B (zh) 一种红外无人机目标检测方法及系统
CN111461078A (zh) 一种基于计算机视觉技术的防钓监控方法
CN111275040A (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN115620239B (zh) 一种点云和视频结合的输电线路在线监测方法和系统
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN115546738A (zh) 一种铁轨异物检测方法
US9727780B2 (en) Pedestrian detecting system
CN116358500B (zh) 一种基于图像分析检测粮堆形变的方法及系统
CN111563410A (zh) 一种泡沫图像运动速度检测的处理方法
CN113569943B (zh) 一种基于深度神经网络的渣片大块预警方法、系统及装置
CN113450335B (zh) 一种路沿检测方法、路沿检测装置及路面施工车辆
US8433139B2 (en) Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality
TWI589468B (zh) 行人偵測系統
CN104268874B (zh) 一种基于正态分布函数的非相参雷达图像背景建模方法
CN110826455A (zh) 一种目标识别方法及图像处理设备
CN109064501A (zh) 一种污水处理监控系统的工作方法
CN209879574U (zh) 一种基于智能视频分析的运动目标检测系统
CN109191454A (zh) 一种电力监控系统的工作方法
CN114511592B (zh) 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant