CN113194308A - 传输设备堵塞区域的确定方法、装置 - Google Patents
传输设备堵塞区域的确定方法、装置 Download PDFInfo
- Publication number
- CN113194308A CN113194308A CN202110566430.XA CN202110566430A CN113194308A CN 113194308 A CN113194308 A CN 113194308A CN 202110566430 A CN202110566430 A CN 202110566430A CN 113194308 A CN113194308 A CN 113194308A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- transmission
- determining
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 95
- 238000003860 storage Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008034 disappearance Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种传输设备堵塞区域的确定方法、装置、存储介质及电子装置,其中,该方法包括:获取传输设备的连续多帧图像,其中,传输设备用于传输目标对象;基于连续多帧图像中包括的第一图像确定传输设备的第一传输区域的目标承载状态;基于第一图像以及连续多帧图像中包括的第二图像确定第一传输区域的目标光流信息,其中,第一图像和第二图像为前后相邻的两帧图像;基于目标承载状态以及目标光流信息确定第一传输区域中包括的发生堵塞的目标传输区域。通过本发明,解决了相关技术中存在的确定传输设备堵塞区域效率低的问题,提高了确定堵塞区域的效率。
Description
技术领域
本发明实施例涉及通信领域,具体而言,涉及一种传输设备堵塞区域的确定方法、装置、存储介质及电子装置。
背景技术
随着5G技术的快速发展,智慧物联在企业智能制造中逐渐发挥重要的作用。当前诸如工业、制造业和物流等多个行业中均有借助智能视频分析实现企业降本增效的需求。在这些行业中,传送带传送物料是重要的一环,以加快货物的流转。当传送带堵塞时,作业人员需配合录像人工查看,耗时较多,严重影响企业的生产制造。
由此可知,相关技术中存在确定传输设备堵塞区域效率低的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种传输设备堵塞区域的确定方法、装置、存储介质及电子装置,以至少解决相关技术中存在的确定传输设备堵塞区域效率低的问题。
根据本发明的一个实施例,提供了一种传输设备堵塞区域的确定方法,包括:获取所述传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
根据本发明的另一个实施例,提供了一种堵塞区域的确定装置,包括:获取模块,用于获取所述传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;第一确定模块,用于基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;第二确定模块,用于基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;第三确定模块,用于基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,获取传输设备的连续多帧图像,根据连续多帧图像中包括的第一图像确定传输设备的第一传输区域的目标承载状态,根据第一图像以及连续多帧图像中包括的第二图像确定第一传输区域的目标光流信息,根据目标承载状态和目标光流信息确定第一传输区域中包括的发送堵塞的目标传输区域。由于可以通过传输设备的连续多帧图像确定出发生堵塞的区域,因此,可以解决相关技术中存在的确定传输设备堵塞区域效率低的问题,提高了确定传输设备堵塞区域的效率。
附图说明
图1是本发明实施例的一种传输设备堵塞区域的确定方法的移动终端的硬件结构框图;
图2是根据本发明实施例的传输设备堵塞区域的确定方法的流程图;
图3是根据本发明具体实施例的传输设备堵塞区域的确定方法流程图;
图4是根据本发明实施例的传输设备堵塞区域的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种传输设备堵塞区域的确定方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的传输设备堵塞区域的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种传输设备堵塞区域的确定方法,图2是根据本发明实施例的传输设备堵塞区域的确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取所述传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;
步骤S204,基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;
步骤S206,基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;
步骤S208,基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
在上述实施例中,传输设备可以为传送带,目标对象可以为传送带所要传送的对象,例如,货物等。目标承载状态包括承载目标对象状态和未承载目标对象状态。
在上述实施例中,可以实时分析采集到的图像,根据获取到的图像确定传输设备的第一传输区域的目标对象的存在状态,再根据在该图像后采集到的与该图像相邻的一帧图像,确定出第一传输区域的目标光流信息,根据目标对象的存在状态以及目标光流信息确定出发生堵塞的目标传输区域。
可选地,上述步骤的执行主体可以是后台处理器,或者其他的具备类似处理能力的设备,还可以是至少集成有图像获取设备以及数据处理设备的机器,其中,图像获取设备可以包括摄像头等图形采集模块,数据处理设备可以包括计算机、手机等终端,但不限于此。
通过本发明,获取传输设备的连续多帧图像,根据连续多帧图像中包括的第一图像确定传输设备的第一传输区域的目标承载状态,根据第一图像以及连续多帧图像中包括的第二图像确定第一传输区域的目标光流信息,根据目标承载状态和目标光流信息确定第一传输区域中包括的发送堵塞的目标传输区域。由于可以通过对传输设备进行拍摄所得到的连续多帧图像确定出发生堵塞的区域,因此,可以解决相关技术中存在的确定传输设备堵塞区域效率低的问题,提高了确定传输设备堵塞区域的效率。
在一个示例性实施例中,基于所述第一图像确定所述传输设备的第一传输区域的目标承载状态包括:对所述第一图像进行分割处理,以得到目标分割二值图,其中,所述目标分割二值图用于标识所述第一图像中包括所述目标对象的第一区域以及所述第一区域之外第二区域;对所述第一图像中包括的所述传输设备的图像进行二值化处理,以得到所述传输设备的传输二值图,其中,所述传输二值图用于标识所述传输设备的所述第一传输区域以及除所述第一传输区域之外的其他区域;基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态。在本实施例中,可以通过语义分割模型对第一图像进行分割处理,确定第一图像中包括目标对象的区域以及不包括目标对象的区域,即第二区域。再对第一图像中包括的传输设备的图像进行二值化处理,确定出传输设备的用于传输目标对象的第一传输区域以及处第一传输区域的其他区域。将分割二值图与传输二值图进行融合,确定出第一传输区域的目标承载状态。其中,传输设备的第一传输区域和其他区域可以是预先设置的,即在第一图像中已经标记了第一传输区域和其他区域。即可以借助外部输入传送带区域规则,增加对传送带区域的控制。可以在无人监守的条件下,基于视频技术开展传送带堵塞检测,可实现无人看守,发生堵塞时,结合声光报警装置,及时告知相关管理或者作业人员,及时清理故障,加快作业效率的提升。可以对标记了第一传输区域和其他区域的图像进行二值化处理,以确定传输二值图。
在上述实施例中,可以对第一图像进行二值化分割处理,将有目标对象的区域标记为1,无目标对象的区域标记为0。再将传送带的图像处理为传输二值图,规则区(对应于上述第一传输区域)为1,非规则区内为0。
在一个示例性实施例中,基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态包括:将所述目标分割二值图与所述传输二值图进行融合处理,以得到融合二值图;基于所述融合二值图确定所述传输区域的所述目标承载状态。在本实施例中,将传输二值图和目标分割二值图进行融合,可以得到第一传输区域的融合二值图,其中,融合二值图中1表示第一传输区域的目标承载状态为承载目标对象,融合二值图中0可以表示第一传输区域的目标承载状态为未承载目标对象。利用第一传输区域来进行堵塞约束,可以剔除在其他区域存在目标对象不动的情况对堵塞判断造成的干扰,提高确定堵塞区域的准确率。
在一个示例性实施例中,对所述第一图像进行分割处理,以得到目标分割二值图包括:使用第一模型对所述第一图像进行分割,以得到所述目标分割二值图,其中,所述第一模型为使用多组第一训练数据通过机器学习训练出的,所述多组第一训练数据中的每组数据包括:图像和图像的分割二值图。在本实施例中,可以将抽帧的图像送入训练好的语义分割模型(例如U-Net或FCN等)中,得到该图像的分割结果,即目标分割二值图,其中,分割有货物的为1,无货物的为0。在本处的语义分割模型的输出类别为货物和其他;模型的训练是独立的,其操作方法为1)数据的准备:收集包含多种包裹类型的图片,标注图像中的包裹和非包裹;2)模型的训练:基于语义分割模型(例如但不限于U-Net和FCN)和已标注的数据进行模型的训练,并得到训练好的模型。在将传送带的图像处理为传输二值图,规则区(对应于上述第一传输区域)为1,非规则区内为0。
在一个示例性实施例中,在对所述第一图像进行分割处理,以得到目标分割二值图之后,所述方法还包括:对所述目标分割二值图进行目标处理,以确定所述目标分割二值图中包括的连通区域;将所述连通区域确定为所述第一区域,以及,将除所述连通区域之外的其他区域确定为所述第二区域。在本实施例中,可以对目标分割二值图进行膨胀和腐蚀操作,以得到分割的连通区域,并将连通区域确定为存在目标对象的第一区域,将其他区域确定为第二区域,即不存在目标对象的区域。
在一个示例性实施例中,基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息包括:使用第二模型对所述第一图像以及所述第二图像进行分析,以得到所述第一图像与所述第二图像之间的第一光流矢量信息,其中,所述第二模型为使用多组第二训练数据通过机器学习训练得到,所述多组第二训练数据中的每组数据包括:连续帧图像和连续帧图像之间的光流矢量信息;获取第三图像以及与第四图像之间的第二光流矢量信息,其中,所述第三图像包括在所述第一图像之前预定时间内采集的图像,所述第四图像为与所述第三图像相邻帧图像,且在所述第三图像之后,所述第一图像之前采集的图像;将所述第一光流矢量信息、第二光流矢量信息以及所述传输设备的图像的传输二值图进行融合处理,以确定所述第一传输区域的目标光流信息。在本实施例中,可以将抽帧得到的连续2帧图片输入训练好的卷积神经光流提取网络(例如FlowNet等)中,得到连续两帧图像之间的第一光流矢量信息,再获取历史光流信息(即第二光流矢量信息),其中,第二光流矢量信息是预先缓存的光流信息,即对历史光流信息进行缓存(每次缓存的当前点及之前的固定时间,例如2秒的光流信息),将第一光流矢量信息、第二光流矢量信息以及传输二值图进行融合,以将非传输区域的光流点剔除,得到第一传输区域的目标光流信息。在考虑到应用场景中,光线暗,远处目标小带来的光流稀疏等时,提出将卷积神经网络,例如FlowNet应用于光流提取中,该方法能够克服传统计算光流的不足。
在一个示例性实施例中,基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域包括:在所述目标承载状态指示所述传输区域存在所述目标对象的情况下,确定所述目标光流信息的状态;在所述状态指示所述目标光流信息处于消失状态的情况下,确定所述目标光流信息的消失时长;在所述消失时长大于预设时长的情况下,将所述目标对象所在的区域确定为所述堵塞区域。在本实施例中,运动目标由运动到静止,可以采用缓存光流信息,利用光流实现分析目标物理堵塞过程,实现报警。即当某区域的目标对象由运动到静止,且持续一定时间,则确定该区域为堵塞区域。例如,规则区(对应于上述第一传输区域)内某处一直有光流矢量且该处分割结果,即包括目标对象时,认为此处是畅通的状态。当此处突然没有了光流信息,但有分割结果,且该状态持续固定时间如2秒时,则认为此处为堵塞状态。当确定出堵塞状态时,可以执行告警操作,包括在显示器中显示堵塞区域,发出声音告警等。其中,堵塞区域为目标对象所在的区域。
下面结合具体实施方式对传输设备堵塞区域的确定方法进行说明:
图3是根据本发明具体实施例的传输设备堵塞区域的确定方法流程图,该流程分主要包括3个模块:基于单帧图像的卷积神经网络分割、基于多帧图像序列的卷积神经网络光流提取和基于分割和光流的融合。如图3所示,该流程包括:
模块一:基于单帧图像的卷积神经网络分割
步骤S302:基于视频抽取视频中的图像,并基于该图像绘制传送带的区域,得到传送带的规则区和非规则区(对应于上述第一传输区域和其他区域)。
步骤S304:将抽帧的图像送入训练好的语义分割模型(例如U-Net或FCN等)中,得到该图像的分割结果。分割结果的图像为分割二值图(对应于上述目标分割二值图),其中分割有货物的为1,无货物的为0。在本处的语义分割模型的输出类别为货物和其他;模型的训练是独立的,其操作方法为1)数据的准备:收集包含多种包裹类型的图片,标注图像中的包裹和非包裹;2)模型的训练:基于语义分割模型(例如但不限于U-Net和FCN)和已标注的数据进行模型的训练,并得到训练好的模型。
步骤S306:分割后处理。该部分通过膨胀和腐蚀操作,得到分割的连通域(对应于上述连通区域)。
步骤S308:将步骤S302中的传送带规则区处理成二值图,其中,在规则区内为1,不在规则区内为0。将规则区二值图和分割二值图进行融合,得到规则区内的分割结果,即融合二值图,其中1为规则区内和有货物,其他均为0。
模块二:基于序列的卷积神经网络光流提取
步骤S310:基于视频抽取连续多帧的图像。
步骤S312:将抽帧得到的连续2帧图片输入训练好的卷积神经光流提取网络(例如FlowNet等)中,得到连续两帧图像之间的光流矢量信息(对应于上述第一光流矢量信息)。
步骤S314:光流后处理。首先对历史光流信息(对应于上述第二光流矢量信息)进行缓存(每次缓存的当前点及之前的固定时间,例如2秒的光流信息)。
步骤S316,将光流矢量信息和历史光流信息和步骤S308中的规则区二值图进行融合,将不再规则区内的光流点剔除。
模块三:基于分割和光流的融合得到堵塞区域
步骤S318:传送带堵塞判断:货物由运动到静止,且持续一定时间则报警。具体实现为:如果规则区内某处一直有光流矢量且该有分割结果,但突然没光流信息,但有分割结果,且该状态持续固定时间如2秒中(此处借助分析的是步骤S314中缓存的光流信息和当前的分割结果),则输出报警信息。其中,报警框为步骤S306中分割结果的连通域。
在前述实施例中,在视频分析基础上,基于卷积神经网络提取光流。该方法有助于克服传统方法在光线较暗或者目标在图像中较远时,光流计算不准的问题。分割后处理,即通胀和腐蚀,得到矩形的分割图。该操作有助于后期堵塞报警时输出报警区域,展示给客户看。基于分割结果和光流判断传送带堵塞的融合规则。该策略结合堵塞的物理运动过程,当无光流时,借助缓存的历史信息分析,提高报警的精度。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种传输设备堵塞区域的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的传输设备堵塞区域的确定装置的结构框图,如图4所示,该装置包括:
获取模块42,用于获取传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;
第一确定模块44,用于基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;
第二确定模块46,用于基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;
第三确定模块48,用于基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
在一个示例性实施例中,第一确定模块44可以通过如下方式实现基于所述第一图像确定所述传输设备的第一传输区域的目标承载状态:对所述第一图像进行分割处理,以得到目标分割二值图,其中,所述目标分割二值图用于标识所述第一图像中包括所述目标对象的第一区域以及所述第一区域之外的第二区域;对所述第一图像中包括的所述传输设备的图像进行二值化处理,以得到所述传输设备的传输二值图,其中,所述传输二值图用于标识所述传输设备的所述第一传输区域以及除所述第一传输区域之外的其他区域;基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态。
在一个示例性实施例中,第一确定模块44可以通过如下方式实现基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态:将所述目标分割二值图与所述传输二值图进行融合处理,以得到融合二值图;基于所述融合二值图确定所述传输区域的所述目标承载状态。
在一个示例性实施例中,所述第一确定模块可以通过如下方式实现对所述第一图像进行分割处理,以得到目标分割二值图:使用第一模型对所述第一图像进行分割,以得到所述目标分割二值图,其中,所述第一模型为使用多组第一训练数据通过机器学习训练出的,所述多组第一训练数据中的每组数据包括:图像和图像的分割二值图。
在一个示例性实施例中,所述装置可以用于在对所述第一图像进行分割处理,以得到目标分割二值图之后,对所述目标分割二值图进行目标处理,以确定所述目标分割二值图中包括的连通区域;将所述连通区域确定为所述第一区域,以及,将除所述连通区域之外的其他区域确定为所述第二区域。
在一个示例性实施例中,第二确定模块46可以通过如下方式实现基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息:使用第二模型对所述第一图像以及所述第二图像进行分析,以得到所述第一图像与所述第二图像之间的第一光流矢量信息,其中,所述第二模型为使用多组第二训练数据通过机器学习训练得到,所述多组第二训练数据中的每组数据包括:连续帧图像和连续帧图像之间的光流矢量信息;获取第三图像以及与第四图像之间的第二光流矢量信息,其中,所述第三图像包括在所述第一图像之前预定时间内采集的图像,所述第四图像为与所述第三图像相邻帧图像,且在所述第三图像之后,所述第一图像之前采集的图像;将所述第一光流矢量信息、第二光流矢量信息以及所述传输设备的图像的传输二值图进行融合处理,以确定所述传输区域的目标光流信息。
在一个示例性实施例中,第三确定模块48可以通过如下方式实现基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域:在所述目标承载状态指示所述传输区域存在所述目标对象的情况下,确定所述目标光流信息的状态;在所述状态指示所述目标光流信息处于消失状态的情况下,确定所述目标光流信息的消失时长;在所述消失时长大于预设时长的情况下,将所述目标对象所在的区域确定为所述堵塞区域。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种传输设备堵塞区域的确定方法,其特征在于,包括:
获取所述传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;
基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;
基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;
基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
2.根据权利要求1所述的方法,其特征在于,基于所述第一图像确定所述传输设备的第一传输区域的目标承载状态包括:
对所述第一图像进行分割处理,以得到目标分割二值图,其中,所述目标分割二值图用于标识所述第一图像中包括所述目标对象的第一区域以及所述第一区域之外的第二区域;
对所述第一图像中包括的所述传输设备的图像进行二值化处理,以得到所述传输设备的传输二值图,其中,所述传输二值图用于标识所述传输设备的所述第一传输区域以及除所述第一传输区域之外的其他区域;
基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态。
3.根据权利要求2所述的方法,其特征在于,基于所述目标分割二值图以及所述传输二值图确定所述第一传输区域的所述目标承载状态包括:
将所述目标分割二值图与所述传输二值图进行融合处理,以得到融合二值图;
基于所述融合二值图确定所述传输区域的所述目标承载状态。
4.根据权利要求2所述的方法,其特征在于,对所述第一图像进行分割处理,以得到目标分割二值图包括:
使用第一模型对所述第一图像进行分割,以得到所述目标分割二值图,其中,所述第一模型为使用多组第一训练数据通过机器学习训练出的,所述多组第一训练数据中的每组数据包括:图像和图像的分割二值图。
5.根据权利要求2所述的方法,其特征在于,在对所述第一图像进行分割处理,以得到目标分割二值图之后,所述方法还包括:
对所述目标分割二值图进行目标处理,以确定所述目标分割二值图中包括的连通区域;
将所述连通区域确定为所述第一区域,以及,将除所述连通区域之外的其他区域确定为所述第二区域。
6.根据权利要求1所述的方法,其特征在于,基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息包括:
使用第二模型对所述第一图像以及所述第二图像进行分析,以得到所述第一图像与所述第二图像之间的第一光流矢量信息,其中,所述第二模型为使用多组第二训练数据通过机器学习训练得到,所述多组第二训练数据中的每组数据包括:连续帧图像和连续帧图像之间的光流矢量信息;
获取第三图像以及与第四图像之间的第二光流矢量信息,其中,所述第三图像包括在所述第一图像之前预定时间内采集的图像,所述第四图像为与所述第三图像相邻帧图像,且在所述第三图像之后,所述第一图像之前采集的图像;
将所述第一光流矢量信息、第二光流矢量信息以及所述传输设备的图像的传输二值图进行融合处理,以确定所述第一传输区域的目标光流信息。
7.根据权利要求1所述的方法,其特征在于,基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域包括:
在所述目标承载状态指示所述传输区域存在所述目标对象的情况下,确定所述目标光流信息的状态;
在所述状态指示所述目标光流信息处于消失状态的情况下,确定所述目标光流信息的消失时长;
在所述消失时长大于预设时长的情况下,将所述目标对象所在的区域确定为所述堵塞区域。
8.一种传输设备堵塞区域的确定装置,其特征在于,包括:
获取模块,用于获取传输设备的连续多帧图像,其中,所述传输设备用于传输目标对象;
第一确定模块,用于基于所述连续多帧图像中包括的第一图像确定所述传输设备的第一传输区域的目标承载状态;
第二确定模块,用于基于所述第一图像以及所述连续多帧图像中包括的第二图像确定所述第一传输区域的目标光流信息,其中,所述第一图像和所述第二图像为前后相邻的两帧图像;
第三确定模块,用于基于所述目标承载状态以及所述目标光流信息确定所述第一传输区域中包括的发生堵塞的目标传输区域。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110566430.XA CN113194308B (zh) | 2021-05-24 | 2021-05-24 | 传输设备堵塞区域的确定方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110566430.XA CN113194308B (zh) | 2021-05-24 | 2021-05-24 | 传输设备堵塞区域的确定方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113194308A true CN113194308A (zh) | 2021-07-30 |
CN113194308B CN113194308B (zh) | 2023-02-24 |
Family
ID=76984874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110566430.XA Active CN113194308B (zh) | 2021-05-24 | 2021-05-24 | 传输设备堵塞区域的确定方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113194308B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002335936A1 (en) * | 2001-11-02 | 2003-05-12 | Databelt Pty Ltd | Method and system for conveyor belt monitoring |
CN102582664A (zh) * | 2007-10-26 | 2012-07-18 | 松下电器产业株式会社 | 拥塞推定装置 |
CN105913032A (zh) * | 2016-04-15 | 2016-08-31 | 天地(常州)自动化股份有限公司 | 一种矿用皮带工作状态检测方法及系统 |
CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、系统及装置 |
CN108792511A (zh) * | 2018-08-03 | 2018-11-13 | 李永海 | 皮带异物自动识别装置 |
CN109819222A (zh) * | 2019-02-28 | 2019-05-28 | 中国能源建设集团广东省电力设计研究院有限公司 | 输煤系统堵煤监控方法、装置、系统和计算机设备 |
CN110002186A (zh) * | 2019-04-26 | 2019-07-12 | 广州成科信息科技有限公司 | 一种智能皮带远程值守系统 |
CN110033439A (zh) * | 2019-03-19 | 2019-07-19 | 河南中烟工业有限责任公司 | 一种制丝过程中皮带输送机堵料的视觉检测方法 |
CN110065790A (zh) * | 2019-04-25 | 2019-07-30 | 中国矿业大学 | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 |
CN110519566A (zh) * | 2019-08-28 | 2019-11-29 | 山东科技大学 | 一种基于视频处理的皮带运动状态监测方法 |
CN110910355A (zh) * | 2019-11-07 | 2020-03-24 | 浙江大华技术股份有限公司 | 包裹堵塞检测方法、装置以及计算机存储介质 |
CN111573200A (zh) * | 2020-05-25 | 2020-08-25 | 西安科技大学 | 一种井下皮带转接处堵塞的视觉检测系统及检测方法 |
CN111968181A (zh) * | 2020-08-21 | 2020-11-20 | 中科微至智能制造科技江苏股份有限公司 | 一种基于图像处理的包裹位置实时检测方法及系统 |
CN112001890A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大华技术股份有限公司 | 输送线的阻塞检测方法及相关装置、设备 |
US20210009359A1 (en) * | 2019-07-11 | 2021-01-14 | SYNCRUDE CANADA LTD. in trust for the owners of the Syncrude Projects as such owners exist now and | Monitoring a transverse position of a conveyor belt and its material load by digital image analysis |
-
2021
- 2021-05-24 CN CN202110566430.XA patent/CN113194308B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2002335936A1 (en) * | 2001-11-02 | 2003-05-12 | Databelt Pty Ltd | Method and system for conveyor belt monitoring |
CN102582664A (zh) * | 2007-10-26 | 2012-07-18 | 松下电器产业株式会社 | 拥塞推定装置 |
CN105913032A (zh) * | 2016-04-15 | 2016-08-31 | 天地(常州)自动化股份有限公司 | 一种矿用皮带工作状态检测方法及系统 |
CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、系统及装置 |
CN108792511A (zh) * | 2018-08-03 | 2018-11-13 | 李永海 | 皮带异物自动识别装置 |
CN109819222A (zh) * | 2019-02-28 | 2019-05-28 | 中国能源建设集团广东省电力设计研究院有限公司 | 输煤系统堵煤监控方法、装置、系统和计算机设备 |
CN110033439A (zh) * | 2019-03-19 | 2019-07-19 | 河南中烟工业有限责任公司 | 一种制丝过程中皮带输送机堵料的视觉检测方法 |
CN110065790A (zh) * | 2019-04-25 | 2019-07-30 | 中国矿业大学 | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 |
CN110002186A (zh) * | 2019-04-26 | 2019-07-12 | 广州成科信息科技有限公司 | 一种智能皮带远程值守系统 |
US20210009359A1 (en) * | 2019-07-11 | 2021-01-14 | SYNCRUDE CANADA LTD. in trust for the owners of the Syncrude Projects as such owners exist now and | Monitoring a transverse position of a conveyor belt and its material load by digital image analysis |
CN110519566A (zh) * | 2019-08-28 | 2019-11-29 | 山东科技大学 | 一种基于视频处理的皮带运动状态监测方法 |
CN110910355A (zh) * | 2019-11-07 | 2020-03-24 | 浙江大华技术股份有限公司 | 包裹堵塞检测方法、装置以及计算机存储介质 |
CN111573200A (zh) * | 2020-05-25 | 2020-08-25 | 西安科技大学 | 一种井下皮带转接处堵塞的视觉检测系统及检测方法 |
CN112001890A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大华技术股份有限公司 | 输送线的阻塞检测方法及相关装置、设备 |
CN111968181A (zh) * | 2020-08-21 | 2020-11-20 | 中科微至智能制造科技江苏股份有限公司 | 一种基于图像处理的包裹位置实时检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113194308B (zh) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110910355A (zh) | 包裹堵塞检测方法、装置以及计算机存储介质 | |
CN112434809B (zh) | 基于主动学习的模型训练方法、装置及服务器 | |
CN114611634B (zh) | 一种行为类型的确定方法、装置、存储介质及电子装置 | |
CN114821247B (zh) | 一种模型的训练方法、装置、存储介质及电子装置 | |
CN109508621B (zh) | 装卸口状态监控方法、装置、设备及其存储介质 | |
CN111402301B (zh) | 积水检测方法及装置、存储介质及电子装置 | |
CN113963316A (zh) | 目标事件的确定方法、装置、存储介质及电子装置 | |
CN103761879B (zh) | 一种车辆套牌识别方法及系统 | |
CN117671548A (zh) | 异常分拣检测方法、装置、电子设备及存储介质 | |
CN113194308B (zh) | 传输设备堵塞区域的确定方法、装置 | |
CN108446330B (zh) | 一种推广对象处理方法、装置及一种计算机可读存储介质 | |
CN112862842A (zh) | 图像数据的处理方法和装置、存储介质及电子装置 | |
CN116486340A (zh) | 传送带的异物检测方法、装置、存储介质和处理器 | |
CN117132872A (zh) | 一种生产线上物料运输车辆智能碰撞识别系统 | |
CN116503811A (zh) | 一种基于图像的叉车违规监测方法、介质及设备 | |
CN108073854A (zh) | 一种现场巡检的检测方法及装置 | |
CN116012939A (zh) | 违规行为的确定方法和装置、存储介质及电子装置 | |
CN112489396B (zh) | 一种行人尾随行为检测方法、装置、电子设备和存储介质 | |
CN111311637A (zh) | 告警事件的处理方法及装置、存储介质、电子装置 | |
CN111489350A (zh) | 图像检测方法、装置、存储介质及电子装置 | |
CN111243289A (zh) | 目标车辆的跟踪方法及装置、存储介质、电子装置 | |
CN114038197B (zh) | 场景状态的确定方法、装置、存储介质及电子装置 | |
CN114926973B (zh) | 一种视频监控方法、装置、系统、服务器及可读存储介质 | |
CN115937184B (zh) | 一种物品装配检测方法、装置及终端设备 | |
US20240020811A1 (en) | Video image processing method, apparatus, and device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |