CN113580380B - 搅拌站智能卸料监控方法及系统 - Google Patents

搅拌站智能卸料监控方法及系统 Download PDF

Info

Publication number
CN113580380B
CN113580380B CN202110751261.7A CN202110751261A CN113580380B CN 113580380 B CN113580380 B CN 113580380B CN 202110751261 A CN202110751261 A CN 202110751261A CN 113580380 B CN113580380 B CN 113580380B
Authority
CN
China
Prior art keywords
receiving hopper
mixing
position information
truck
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110751261.7A
Other languages
English (en)
Other versions
CN113580380A (zh
Inventor
章博
吴俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Automobile Manufacturing Co Ltd
Original Assignee
Sany Automobile Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Automobile Manufacturing Co Ltd filed Critical Sany Automobile Manufacturing Co Ltd
Publication of CN113580380A publication Critical patent/CN113580380A/zh
Priority to PCT/CN2022/074291 priority Critical patent/WO2022193848A1/zh
Application granted granted Critical
Publication of CN113580380B publication Critical patent/CN113580380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28C—PREPARING CLAY; PRODUCING MIXTURES CONTAINING CLAY OR CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28C7/00—Controlling the operation of apparatus for producing mixtures of clay or cement with other substances; Supplying or proportioning the ingredients for mixing clay or cement with other substances; Discharging the mixture
    • B28C7/02—Controlling the operation of the mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28C—PREPARING CLAY; PRODUCING MIXTURES CONTAINING CLAY OR CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28C7/00—Controlling the operation of apparatus for producing mixtures of clay or cement with other substances; Supplying or proportioning the ingredients for mixing clay or cement with other substances; Discharging the mixture
    • B28C7/16—Discharge means, e.g. with intermediate storage of fresh concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Preparation Of Clay, And Manufacture Of Mixtures Containing Clay Or Cement (AREA)

Abstract

本发明提供一种搅拌站智能卸料监控方法。该方法包括：获取搅拌站卸料区域的监控视频帧，得到第一视频帧；基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。所述方法不需要人工参与卸料监控过程，可以实现卸料监控的智能化，保证卸料过程的监控效果，同时也提高了控制系统的卸料效率。

Description

搅拌站智能卸料监控方法及系统
技术领域
本发明涉及作业机械技术领域，尤其涉及搅拌站智能卸料监控方法及系统。
背景技术
目前，混凝土应用越来越多，混凝土从搅拌站生产后需要通过搅拌车运送到施工现场进行泵送、浇灌等作业。混凝土从搅拌站到搅拌车的过程即为搅拌站卸料过程，而搅拌站卸料过程中经常会出现溢料现象，这将造成混凝土浪费，进而增加成本。因此，防止搅拌站卸料过程中出现溢料现象至关重要。
现有技术中，搅拌站卸料过程基本依赖于人工监控，如人工监控判断搅拌车接料斗与搅拌站卸料口是否对齐、人工判断是否开始卸料等，搅拌站卸料监控的自动化程度较低。
发明内容
本发明提供一种搅拌站智能卸料监控方法及系统，用以解决现有技术搅拌站卸料过程基本依赖于人工监控，搅拌站卸料监控的自动化程度较低的技术问题。
本发明提供一种搅拌站智能卸料监控方法，包括：
获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
根据本发明提供的搅拌站智能卸料监控方法，所述基于识别结果，监控混凝土搅拌站的卸料，具体包括：
若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；
基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐；
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制信号用于指示开始卸料。
根据本发明提供的搅拌站智能卸料监控方法，所述若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，具体包括：
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的搅拌站控制系统发送所述第一控制信号。
根据本发明提供的搅拌站智能卸料监控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于所述第二视频帧，确定所述搅拌车接料斗的料位状态；
根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度或停止卸料。
根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确定所述搅拌车接料斗的料位状态。
根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割，并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿边界以及搅拌车接料斗外沿边界；
基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所述搅拌车接料斗的料位状态。
根据本发明提供的搅拌站智能卸料监控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
根据混凝土形态识别结果，生成第三控制信号，所述第三控制信号用于指示调整卸料速度。
根据本发明提供的搅拌站智能卸料监控方法，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，具体包括：
将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅拌车接料斗的关键点的位置信息；
其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有搅拌车接料斗标签的图像样本训练得到。
根据本发明提供的搅拌站智能卸料监控方法，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的所述搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接料斗的中心点的位置信息；
基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
根据本发明提供的搅拌站智能卸料监控方法，所述第一视频帧通过监控摄像头拍摄获得；
相应的，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，之前还包括：
基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。根据本发明提供的搅拌站智能卸料监控方法，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；
相应的，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，之后还包括：
基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视频帧；
基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
根据本发明提供的搅拌站智能卸料监控方法，所述监控摄像头具体为RGB摄像头或TOF深感摄像头。
本发明还提供一种搅拌站智能卸料监控系统，包括：
监控视频获取模块，用于获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
卸料监控模块，用于基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述搅拌站智能卸料监控方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述搅拌站智能卸料监控方法的步骤。
本发明提供的搅拌站智能卸料监控，通过获取搅拌站卸料区域的监控视频帧，并基于预设的算法模型，对监控视频进行识别，并基于识别结果，对搅拌站进行卸料流程监控。所述方法不需要人工参与卸料监控过程，可以实现卸料监控的自动化、智能化，提高了搅拌站卸料监控的自动化程度，保证了卸料监控的效果，同时也提高了卸料监控的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的搅拌站智能卸料监控方法的流程示意图；
图2是本发明实施例中搅拌车接料斗区域图像的示意图；
图3是本发明实施例中两个监控摄像头的安装位置示意图；
图4是本发明实施例提供的搅拌站智能卸料监控方法的具体流程示意图；
图5是本发明实施例提供的搅拌站智能卸料监控系统结构示意图；
图6是本发明实施例提供的搅拌站智能卸料监控系统的具体结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
搅拌站卸料过程中经常会发生溢料，这会造成混凝土的浪费，增加成本。现有技术中为了防止溢料，通常会在搅拌站出料口处固定安装搅拌站卸料防溢料装置。该装置通过固定在拢料斗外侧的测距传感器监测当前料位高度，并将当前料位高度传送至搅拌车接料检测装置，并通过流量调整装置控制卸料门。
但由于搅拌车的大小和高度各有不同，测距传感器无法适应于各种车型的搅拌车。且由于搅拌车司机在倒车时，只能在指定的区间范围内对齐，搅拌车接料斗的大小也不同，这就会使得相同高度的搅拌车通过测距传感器识别料位高度的效果不同。测距传感器测量的是点到点的距离，搅拌车接料斗内料位高低分布不均匀，测距传感器测量的效果不佳。测距传感器安装在拢料斗的外侧，容易被混凝土和粉状水泥遮蔽，影响测量的效果。且该方案也无法判断搅拌车接料斗和搅拌站卸料口之间是否对齐，仍需要人工判断，也无法测量料位高度或直接监控卸料。为此，本发明实施例中提供了一种搅拌站智能卸料监控方法。
图1是该方法的流程示意图。如图1所示，该方法包括：
S1，获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
S2，基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
具体地，本发明实施例中提供的搅拌站智能卸料监控方法，其执行主体可以是嵌入式边缘算力模块，该模块可以配置在搅拌站智能卸料监控系统中。其中，搅拌站智能卸料监控系统可以设置在搅拌站的中控室中。搅拌站经由搅拌站卸料口以及搅拌车接料斗将搅拌好的混凝土送入至搅拌车中，这一过程即为卸料过程，本发明实施例中提供的搅拌站智能卸料监控方法，即是用于对卸料过程的监控，例如对搅拌车接料斗与搅拌站卸料口是否对齐进行监控、对搅拌站卸料口的卸料信息进行监控以及对搅拌车接料斗区域进行混凝土形态识别等。
首先执行步骤S1。其中，第一视频帧可以通过监控摄像头拍摄得到并上传至嵌入式边缘算力模块。嵌入式边缘算力模块获取的搅拌站卸料区域的监控视频帧中包含有搅拌站卸料口，监控视频帧的获取可以实时进行，以展示混凝土搅拌站卸料口的实时画面。
然后执行步骤S2。其中，预设的算法模型可以是基于人工智能视觉算法或与之相关的算法构建的模型，本发明实施例中可以采用基于深度学习算法构建的模型，对第一视频帧进行特征提取，基于提取到的特征对第一视频帧进行检测识别，识别到的结果可以是当前混凝土在搅拌车接料斗内的料位信息，根据料位信息可以判断当前混凝土是否已经发生溢料、混凝土的卸料流量、混凝土的料位变化信息以及当前混凝土的形态信息。通过上述这些识别到的结果即可以对混凝土搅拌站进行卸料监控。
本发明实施例提供的搅拌站智能卸料监控，通过获取搅拌站卸料区域的第一视频帧，并基于预设的算法模型，对第一视频帧进行识别，基于识别结果，对搅拌站进行卸料流程监控。所述方法不需要人工参与卸料监控过程，可以实现卸料监控的自动化，保证卸料监控的效果，同时也提高了卸料监控的效率。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述基于识别结果，监控混凝土搅拌站的卸料，具体包括：
若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；
基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐；
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制信号用于指示开始卸料。
具体地，由于搅拌车是逐步进入监控范围，因此在监控视频帧中会出现不存在搅拌车接料斗的情况，因此需要先对第一视频帧进行全局识别，以判断第一视频帧中是否出现了搅拌车接料斗。在确定第一视频帧中存在搅拌车接料斗时，对第一视频帧进行处理，获取搅拌车接料斗的关键点的位置信息。关键点是搅拌车接料斗外沿边界上、具有一定特征的点。也就是说，获取到的关键点位于搅拌车接料斗截面上，距离搅拌车接料斗的中心的距离相等。此处的位置信息可以是坐标。搅拌车接料斗的关键点的位置信息可以通过坐标表示，即搅拌车接料斗的关键点坐标。
本发明实施例中，可以通过对加入关键点检测头部模块和目标检测框头部模块的区域生成网络(Region Proposal Network，RPN)模型进行大量训练，使其可以直接返回第一视频帧中搅拌车接料斗的关键点坐标。预设的搅拌站卸料口的关键位置信息可以是事先确定的搅拌站卸料口的中轴线的位置信息，该中轴线的位置信息可以根据实际情况进行设置，本发明实施例对此不作具体限定。
通过比较搅拌车接料斗的关键点的位置信息和预设的搅拌站卸料口的关键位置信息之间的距离，可以判断搅拌车接料斗和搅拌站卸料口是否对齐。若搅拌车接料斗的关键点的中心的位置信息和预设的搅拌站卸料口的关键位置信息之间的垂直最短距离在预设范围内，则说明搅拌车接料斗和搅拌站卸料口已经对齐。其中，预设范围可以根据实际的需要进行设置，本发明实施例对此不作具体限定。
当搅拌车接料斗和搅拌站卸料口已经对齐的情况下，说明此时已经可以开始进行卸料，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号。第一控制信号中包含了开始卸料的指令，即当搅拌站控制系统收到第一控制信号后，可以开始进行卸料。
本发明实施例中，搅拌车接料斗的关键点的位置信息和预设的搅拌站卸料口的关键位置信息可以是世界坐标系下的坐标，也可以是任意坐标系下的坐标，只需要保证上述二者在同一坐标系下进行比较即可，本发明对坐标系不作具体限定。其中，世界坐标系是指用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而引入。
本发明实施例提供的搅拌站智能卸料监控方法，通过搅拌站卸料区域的监控视频帧，对监控视频帧中出现了搅拌车接料斗的第一视频帧进行识别，获取搅拌车接料斗关键点的位置信息，再将搅拌车接料斗关键点的位置信息与搅拌站卸料口的关键位置信息进行比较，由此判断搅拌车接料斗和搅拌站卸料口之间是否对齐，并在确定二者对齐之后，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，指示此时可以开始卸料。该方法通过监控视频帧对卸料过程进行监控，能够自动检测卸料时搅拌车接料斗和搅拌站卸料口是否对齐，不需要人工操作，不易受到人为的影响，且能够避免因搅拌车接料斗和搅拌站卸料口未对齐而造成卸料过程中混凝土的浪费。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，具体包括：
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的搅拌站控制系统发送所述第一控制信号。
在本发明实施例中，当搅拌车接料斗和搅拌站卸料口对齐后，说明若此时开始卸料，可以准确地将混凝土从搅拌站卸料口卸入搅拌车接料斗中。但同时还应该判断搅拌车的状态，在搅拌车处于停稳状态时才能保证卸料过程的稳定。因此，在确定搅拌车接料斗与搅拌站卸料口对齐后，还应该判断搅拌车接料斗对应的搅拌车此时是否已经停稳。
在判断搅拌车接料斗对应的搅拌车是否停稳时，可以判断预设时间范围内第一视频帧中的搅拌车接料斗的关键点的位置信息变化是否在预设的距离范围内，如果在预设时间范围内第一视频帧中的搅拌车接料斗的关键点的位置信息变化在预设的距离范围内，则说明此时搅拌车已经停稳，可以开始进行卸料。其中，预设时间范围和预设的距离范围可以根据实际需要进行设置，本发明实施例对此不作具体限定。此时可以向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，表明此时搅拌车接料斗和搅拌站卸料口均已准备完毕，可以开始实施卸料。
本发明实施例提供的搅拌站智能卸料监控方法，通过在搅拌车接料斗和搅拌站卸料口对齐且搅拌车接料斗对应的搅拌车处于停稳状态时，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，表明此时可以开始进行卸料，从而保证了混凝土能准确的从搅拌站卸料口进入搅拌车接料斗，避免了混凝土的浪费。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于所述第二视频帧，确定所述搅拌车接料斗的料位状态；
根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度或停止卸料。
具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号之后，可以通过获取搅拌站卸料区域的监控视频帧，得到第二视频帧，然后基于第二视频帧对卸料过程进行监控。其中，第二视频帧可以从监控视频中抽取得到。从监控视频中抽取得到的第二视频帧的数量可以是两个或两个以上，所抽取的第二视频帧可以是连续的，也可以是不连续的。从监控视频中抽取第二视频帧的过程也即是采样的过程，采样率可以根据实际需要进行设置，本发明对此不做具体限定。如图2所示，为本发明实施例中搅拌车接料斗区域图像的示意图。
在得到第二视频帧后，可以通过对第二视频帧进行识别，确定搅拌车接料斗的料位状态。本发明实施例中，可以采用基于统计模式识别、结构模式识别或基于深度学习的识别方法对搅拌车接料斗的料位状态进行识别，确定搅拌车接料斗的料位状态。
搅拌车接料斗的料位状态可以包括搅拌车接料斗内的料位高度信息、料位变化信息以及卸料流量。确定料位高度信息可以是确定搅拌车接料斗是否发生溢料；确定料位变化信息可以是确定当前搅拌车接料斗内的料位变化速度。其中，料位变化信息可以包括料位变化方向信息和料位变化速度信息，料位变化方向信息可以包括料位上涨信息和料位下降信息。卸料流量是指单位时间内进入搅拌车接料斗的混凝土量。
本发明实施例中，在向搅拌站控制系统发送第一控制信号后，会接收到搅拌站控制系统响应于第一控制信号返回的反馈信号，由于第一控制信号是用于指示开始卸料，在收到第一控制信号对应的反馈信号时，说明搅拌车接料斗和搅拌站卸料口已经对齐且搅拌车也处于停稳状态，可以开始卸料。因此，可以在接收到搅拌站控制系统响应于第一控制信号返回的反馈信号的情况下，基于第二视频帧，确定搅拌车接料斗的料位状态。
本发明实施例中，可以根据确定的料位状态，生成第二控制信号，将第二控制信号发送至搅拌站控制系统。由于第二控制信号是根据搅拌车接料斗的料位状态确定的，因此第二控制信号可以用于指示调整卸料速度或停止卸料。例如，当确定搅拌车的料位高度接近预设的临界值时，第二控制信号可以用于指示停止卸料；当确定搅拌车的料位上涨速度小于预设的速度时，第二控制信号可以用于指示调快卸料速度。
本发明实施例提供的搅拌站智能卸料监控方法，通过第二监控视频确定搅拌车接料斗的料位状态，并基于料位状态生成第二控制信号，将第二控制信号发送至搅拌站控制系统，调整卸料的速度或停止卸料。这样可以根据实际的料位状态对卸料的速度进行调整并能够在快要溢料时停止卸料，防止了混凝土因溢料造成的浪费，且能够提高卸料的效率。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确定所述搅拌车接料斗的料位状态。
具体地，在获取第二视频帧后，可以对第二视频帧进行全局识别，确定第二视频帧中的搅拌车接料斗区域图像，对搅拌车接料斗区域图像的像素信息进行分析，确定此时搅拌车接料斗的料位状态。其中，图像的像素信息可以包括图像中每个像素点的值。
本发明实施例提供的搅拌站智能卸料监控方法，通过获取第二视频帧中的搅拌车接料斗区域的图像的像素信息，从而确定搅拌车接料斗的料位状态，实现了对搅拌车接料斗卸料过程中料位状态的实时监测，避免了因溢料造成的浪费。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割，并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿边界以及搅拌车接料斗外沿边界；
基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所述搅拌车接料斗的料位状态。
本发明实施例中，在获取第二视频帧后，可以对第二视频帧中的搅拌车接料斗区域图像进行像素级分割，像素级分割可以通过将搅拌车接料斗区域图像输入至语义分割神经网络模型中，通过语义分割神经网络模型对搅拌车接料斗区域图像进行像素级分割，由语义分割神经网络模型输出搅拌车接料斗区域图像中的混凝土区域、搅拌车接料斗内壁区域及搅拌车接料斗外沿区域。语义分割神经网络模型具体可以是基于Mask-R-CNN构建。
本发明实施例中，通过像素级分割的结果，可以得到混凝土外沿边界和搅拌车接料斗外沿边界。混凝土区域的外边界即为混凝土外沿边界，搅拌车接料斗外沿区域的外边界即为搅拌车接料斗外沿边界。然后根据混凝土外沿边界与搅拌车接料斗外沿边界，确定所述搅拌车接料斗的料位状态。其中，料位状态与上述料位状态意义相同。
根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的料位高度信息进行监控时，可以先根据混凝土外沿边界与搅拌车接料斗外沿边界，分别确定出混凝土截面的半径以及搅拌车接料斗截面的半径，根据两个半径的大小间接判断料位高度信息是否超过搅拌车接料斗高度进而发生溢料。由于混凝土装在搅拌车接料斗中，所以混凝土截面的圆心与搅拌车接料斗截面的圆心重合，二者的截面是同心圆。其中，搅拌车接料斗截面的半径为固定值。当混凝土截面的半径接近或等于搅拌车接料斗截面的半径时，表示将要发生溢料。
根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的料位变化信息进行监控时，可以通过至少两个连续第二视频帧中混凝土截面的半径的变化方向信息，间接确定料位变化方向信息，如果半径增加则料位上涨，如果半径减少则料位下降。还可以根据半径的变化速度信息，间接确定料位变化速度信息，此处可以认为料位变化速度信息即为半径的变化速度信息。
根据混凝土外沿边界与搅拌车接料斗外沿边界，对料位状态中的卸料流量进行监控时，可以根据料位变化速度信息，估计卸料流量。
本发明实施例提供的搅拌站智能卸料监控方法，通过语义分割对连续第二视频帧进行处理，可以对卸料过程中搅拌车接料斗的料位状态进行监控，避免了因溢料产生的损失。相比于直接利用第二视频帧中的搅拌车接料斗区域图像的像素信息确定搅拌车接料斗的料位状态，监控精度更高。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；根据混凝土形态识别结果，生成第三控制信号，所述第三控制信号用于指示调整卸料速度。
具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号之后，可以通过获取搅拌站卸料区域的监控视频帧，可以得到第二视频帧。然后对第二视频帧中的搅拌车接料斗区域进行识别，以确定混凝土的形态。
本发明实施例中，可以使用Mask RCNN骨干网络模型所提取的卸料区域的混凝土特征增加分类模块进行形态识别。修改后新增的分类模块网络权重基于携带有混凝土形态标签训练得到。将当前第二视频帧中的搅拌车接料斗区域图像输入至Mask RCNN修改后新增的分类神经网络模块，输出混凝土形态，即当前混凝土是干还是稀。基于混凝土形态识别的结果，可以生成第三控制信号，将第三控制信号发送至搅拌站卸料口对应的搅拌站控制系统，第三控制信号包含有调整卸料速度的指示。例如，当识别出的混凝土形态为过干时，第三控制信号可以用于指示调慢卸料速度。
本发明实施例中，当向搅拌站控制系统发送第一控制信号后，会接收到搅拌站控制系统响应于第一控制信号返回的反馈信号，由于第一控制信号是用于指示开始卸料，在收到第一控制信号的反馈信号时，说明搅拌车接料斗和搅拌站卸料口已经对齐且搅拌车也处于停稳状态，可以开始卸料。
本发明实施例提供的搅拌站智能卸料监控方法，通过对混凝土形态进行识别，避免了混凝土过干或过稀，保证了混凝土质量。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧；
基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，并对所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
根据所述料位状态和混凝土形态识别结果，生成目标控制信号，所述目标控制信号用于指示调整卸料速度或停止卸料。
具体地，本发明实施例中，在向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号后，还可以先获取搅拌站卸料区域的监控视频帧得到第二视频帧，然后通过对第二视频帧进行识别，可以确定出搅拌车接料斗的料位状态以及搅拌车接料斗区域的混凝土形态识别结果，最后根据识别得到的料位状态和混凝土形态识别结果，生成目标控制信号，以指示调整卸料速度或停止卸料。
本发明实施例中，通过对第二视频帧的识别，可以同步确定出搅拌车接料斗的料位状态以及搅拌车接料斗区域的混凝土形态，既可以因溢料造成的浪费，也可以保证混凝土质量。在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，具体包括：
将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅拌车接料斗的关键点的位置信息；
其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有搅拌车接料斗标签的图像样本训练得到。
具体地，在获取第一视频帧后，可以通过预设的搅拌车接料斗识别算法模型对第一视频帧进行识别，获取搅拌车接料斗的关键点的位置信息。本发明实施例中，预设的搅拌车接料斗识别算法模型可以是加入关键点检测头部模块和目标检测框头部模块的区域生成网络(Region Proposal Network，RPN)模型。
本发明实施例中确定的关键点的位置信息可以是像素坐标系下的坐标，像素坐标系是为了描述物体成像后的像点在数字图像上的坐标引入，是能够真正从监控摄像头内读取到的信息所在的坐标系。由于搅拌站卸料口和搅拌车接料斗可以在世界坐标系下比较是否对齐，因此当搅拌站卸料口和搅拌车接料斗在世界坐标系下比较是否对齐时，可以将确定的关键点的位置信息转化到世界坐标系下，以使比较动作顺利进行。本发明实施例的一种实施方式中，可以基于对监控摄像头的内参矩阵以及外参矩阵，或者单应性矩阵的逆矩阵进行逆透视变换，将像素坐标系下关键点的位置信息变换到世界坐标系下。逆透视变换是透视变换的逆变换，透视变换是指将图像投影到一个新的视平面。单应性矩阵是指单应性对应的变换矩阵，单应性是描述物体在世界坐标系和像素坐标系之间的位置映射关系。单应性矩阵可以通过监控摄像头的内参矩阵和外参矩阵计算。监控摄像头的外参矩阵可以包括旋转矩阵和平移矩阵。监控摄像头的内参矩阵和外参矩阵可以通过对监控摄像头进行标定得到。
本发明实施例提供的搅拌站智能卸料监控方法，通过计算搅拌车接料斗的关键点坐标的位置信息，便于后续在同一坐标系下比较搅拌车接料斗和搅拌站卸料口是否对齐，提高了判断的准确性。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的所述搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接料斗的中心点的位置信息；
基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
具体地，本发明实施例中，搅拌车接料斗上可以有至少三个关键点，根据三点求圆心的方法，可以利用已知的至少三个关键点的位置信息确定搅拌车接料斗的中心点坐标，该中心点坐标可以是世界坐标系下的坐标。
本发明实施例中，由于搅拌站卸料口在搅拌站的位置是固定的，搅拌站卸料口是截面为圆形的桶状结构，因此可以通过在搅拌站智能卸料监控系统软件中设置搅拌站卸料口的中轴线的位置信息。最后，比较搅拌车接料斗的中心点坐标以及所述搅拌站卸料口的中轴线的位置信息之间的垂直最短距离，若所述垂直最短距离在预设范围内，则可以确定搅拌车接料斗与搅拌站卸料口已经对齐。其中，预设范围可以根据实际的需要进行设置，本发明实施例对此不作具体限定。
本发明实施例提供的搅拌站智能卸料监控方法，通过计算搅拌车接料斗中心点的坐标和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离，以此来判断搅拌车接料斗和搅拌站卸料口之间是否已经对齐，从而使搅拌车接料斗和搅拌站卸料口之间能够更准确的对齐，减少在卸料过程中的混凝土浪费。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述第一视频帧通过监控摄像头拍摄获得；
相应的，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，之前还包括：
基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
具体地，本发明实施例中，第一视频帧可以通过监控摄像头拍摄得到，监控摄像头可以是搅拌站原有的摄像头硬件，具有能够获取搅拌站卸料区域的监控画面的功能。该监控摄像头的安装位置可以在搅拌站卸料口对面的墙上，安装高度要达到能够监控到完整搅拌车接料斗的高度。也可以在搅拌车的倒车路线与搅拌站卸料口的延长线与搅拌站墙壁的交点处以及过搅拌站卸料口圆心垂直于搅拌车的倒车路线的直线与搅拌站墙壁的交点处，分别安装一个监控摄像头，通过这两个监控摄像头协同对卸料过程进行监控。如图3所示，为本发明实施例中两个监控摄像头的安装位置示意图。图3中监控摄像头31和32均安装在搅拌站墙壁33上，且均朝向搅拌站卸料口34，搅拌站卸料口34处于搅拌车35的倒车路线上。图3中箭头方向为搅拌车35的倒车方向。
本发明实施例中，为了能够使获取到的搅拌车接料斗的关键点的位置信息更准确，在计算所述搅拌车接料斗的关键点的位置信息之前，还需要畸变矫正。畸变矫正通过监控摄像头的预设内参矩阵以及预设畸变系数实现，监控摄像头的预设内参矩阵是指只与监控摄像头有关，与外界环境无关的参数构成的矩阵。监控摄像头的预设内参矩阵可以是一个3*3的矩阵。预设内参矩阵可以通过单平面棋盘格的标定方法对监控摄像头进行标定后求出。该标定方法的步骤可以是：打印一张棋盘格，把它贴在一个平面上，作为标定物，通过调整标定物或监控摄像头的方向，为标定物拍摄一些不同方向的照片。从照片中提取棋盘格角点。估算理想无畸变的情况下，五个内参和六个外参的数值，得到监控摄像头的预设内参矩阵和外参矩阵。
本发明实施例中，畸变是指对直线投影的一种偏移。畸变是监控摄像头本身的固有特性，和监控摄像头内参相同，对监控摄像头标定一次即可。在本发明实施例的一种实施方式中，可以对监控摄像头的径向畸变进行校正。径向畸变包括桶形畸变和枕形畸变。径向畸变来自于透镜形状，对于径向畸变，成像仪中心的畸变为0，随着向边缘移动，畸变越来越严重。其中，径向畸变的预设畸变系数可以通过上述相机标定过程计算，从而对位置信息进行校正。先求出监控摄像头内参矩阵和外参矩阵，再应用最小二乘法估算实际存在径向畸变下的畸变系数，最后利用泰勒级数展开式对关键点上的位置信息进行矫正。
在对搅拌车接料斗的关键点的位置信息进行了畸变矫正后，即可得到畸变矫正后的搅拌车接料斗的关键点的位置信息，此时再将搅拌车接料斗的关键点的位置信息与预设的搅拌站卸料口的关键位置信息进行比较，若二者间的距离在预设的范围内，则说明搅拌车接料斗与搅拌站卸料口已经对齐。其中，预设的范围可以根据实际需要进行设置，本发明实施例对此不作具体限定。
本发明实施例提供的搅拌站智能卸料监控方法，通过安装监控摄像头监控卸料过程，对搅拌站的改装简便，硬件及施工成本低。且监控摄像头安装的位置与搅拌站卸料口处距离较远，不易沾染上混凝土，影响监控的效果。再对搅拌车接料斗的关键点的位置信息进行畸变矫正，得出无畸变情况下的关键点位置信息，使得搅拌站卸料口和搅拌车接料斗的对齐更准确。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；
相应的，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，之后还包括：
基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视频帧；
基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
具体地，由于监控摄像头在不同的角度拍摄视频时，从中提取的视频帧的拍摄角度也会不同，这种角度不同会增加对视频帧进行识别时产生的误差，因此，为了使识别的结果更准确，第一视频帧是监控摄像头在拍摄角度变化后拍摄得到的。
在获取第一视频帧后，即可对第一视频帧中的搅拌车接料斗区域进行识别，确定搅拌车接料斗的关键点的位置信息。但因为拍摄角度影响带来的畸变，所以在获取搅拌车接料斗的关键点的位置信息后，还需要对获取的位置信息进行映射校正。
本发明实施例中，可以通过基准视频帧对搅拌车接料斗的关键点的位置信息进行映射校正。基准视频帧是监控摄像头在拍摄角度发生变化前进行拍摄获得的视频帧。基准视频帧可以通过基准标定板获得。基准标定板可以是一块任意平面的白底上打印黑色正方形的基准标定板，监控摄像头在拍摄角度变化前对基准标定板进行拍摄即可得到基准视频帧。
在得到第一视频帧和基准视频帧后，本发明实施例中，可以基于opencv对基准视频帧进行亚像素级角点检测，用二次多项式逼近周围3*3领域内的角点反应函数，用线性解法求得亚像素级角点坐标。可以使用cornerSubPix()函数迭代计算基准视频帧图像中基准标定板四个角点的坐标，即基准标定板在像素坐标系下的坐标。根据上述畸变矫正的方法对四个角点在像素坐标系下的坐标进行矫正，得到无畸变的基准标定板四个角点的坐标，进而实现对第一视频帧和基准视频帧的畸变校正。
在完成畸变矫正后，即可计算第一视频帧和基准视频帧的单应性矩阵。平面的单应性被定义为一个平面到另外一个平面的投影映射。根据得到的无畸变的基准标定板四个角点的坐标以及第一视频帧与基准视频帧之间的映射关系，可以求得第一视频帧以及基准视频帧的单应性矩阵。
在获取第一视频帧以及基准视频帧的单应性矩阵后，即可对搅拌车接料斗的关键点位置信息进行映射校正。根据上述已经计算出的监控摄像头的单应性矩阵，对两个单应性矩阵进行连续透视变换后即可对拍摄角度改变后搅拌车接料斗上关键点的位置信息进行映射校正。
在映射校正完成后，即可用映射校正后的搅拌车接料斗的关键点的位置信息和预设的搅拌站卸料口的关键位置信息判断搅拌车接料斗和搅拌站卸料口是否对齐。若映射校正后的搅拌车接料斗的关键点的位置信息和预设的搅拌站卸料口的关键位置信息之间的距离在预设的范围内，则可以判断此时搅拌车接料斗和搅拌站卸料口已经对齐。其中，预设的范围可以根据实际情况进行设置，本发明实施例对此不作具体限定。
然后，根据监控摄像头的单应性矩阵，对两个单应性矩阵进行连续透视变换后即可对拍摄角度改变后搅拌车接料斗上关键点坐标进行二次映射修正。
本发明实施例提供的搅拌站智能卸料监控方法，通过基准视频帧对拍摄角度变换后的第一视频帧中的搅拌车接料斗的关键点位置信息进行映射校正，使得拍摄角度变化后，也能得到无畸变的搅拌车接料斗关键点的位置信息，保证了在同一坐标系中，搅拌车接料斗和搅拌站卸料口能够对齐。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控方法，所述监控摄像头具体为RGB摄像头或TOF深感摄像头。
具体地，RGB摄像头中的RGB分别指红色、绿色和蓝色。RGB摄像头由三根不同的线缆给出了上述三个基本彩色成分。这种类型的摄像头通常是用三个独立的电荷耦合器件图像传感器来获取上述三种彩色信号。RGB摄像头经常被用来做非常精确的彩色图像采集。利用RGB摄像头可以获取清晰的搅拌站卸料口处的监控视频。
本发明实施例中，TOF深感摄像头是一种主动相机，它可以通过用红外光源照射一个区域并观察到达现场和返回现场所花费的时间来执行深度测量。TOF深感摄像头可以捕获每个光脉冲的整个视场，而没有任何移动部件。这样可以快速采集数据。TOF深感摄像头测量距离较远，且不受光照变化和物体纹理影响，其帧率较高，软件复杂度较低。采用TOF深感摄像头可以获得监控图像中每个像素点的深度，增加后续搅拌站卸料口的卸料信息识别的效果，使卸料过程的识别更准确。
本发明实施例提供的搅拌站智能卸料监控方法，通过获取搅拌站卸料区域的监控视频帧，得到第一视频帧，在第一视频帧出现搅拌车接料斗时，对第一视频帧进行处理，计算搅拌车接料斗关键点的坐标，再通过搅拌车接料斗的关键点坐标计算搅拌车接料斗的中心点坐标，并在同一坐标系下计算搅拌车接料斗中心点和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离，判断二者是否对齐。在搅拌车接料斗和搅拌站卸料口对齐的情况下，通过像素级分割对监控视频帧中的搅拌车接料斗区域进行分割，监控卸料过程中搅拌车接料斗的料位状态；通过对分割出的混凝土状态进行识别，获取当前监控视频帧中的混凝土状态。该方法不需要人工判断搅拌车接料斗和搅拌站卸料口是否对齐，不易受人为影响，且能够适用于各种高度和接料斗大小的搅拌车。避免了卸料过程中因对不齐造成的混凝土浪费，且能够监控卸料过程，避免了因溢料造成的损失。
图4是本发明实施例提供的搅拌站智能卸料监控方法的具体流程示意图。如图4所示，该方法包括：
S41，获取搅拌站卸料区域的监控视频帧，得到第一视频帧。
S42，在识别到第一视频帧中出现了搅拌车接料斗的情况下，计算搅拌车接料斗关键点位置信息。
S43，对搅拌车接料斗的关键点位置信息进行畸变修正，得到无畸变的搅拌车接料斗的关键点位置信息。
S44，基于无畸变的搅拌车接料斗的关键点位置信息，计算搅拌车接料斗中心点的位置信息。
S45，判断搅拌站卸料口与搅拌车接料斗是否对齐，也即是判断搅拌车接料斗中心点与搅拌站卸料口的关键位置信息在同一坐标系下的位置信息的距离是否在预设范围内。若判断获知对齐，则继续执行S46，否则返回继续执行S41。
S46，判断搅拌车是否停稳，若停稳，则继续执行S47，否则返回继续执行S46。
S47，向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号。
S48，基于监控视频帧中的搅拌车接料斗区域，对搅拌车接料斗的料位状态进行监控，并根据监控的结果，生成第二控制信号。
S49，基于监控视频帧中的搅拌车接料斗区域，对搅拌车接料斗区域进行混凝土形态识别，并根据识别的结果，生成第三控制信号。
图5是本发明实施例提供的搅拌站智能卸料监控系统结构示意图，如图5所示，该系统包括：监控视频获取模块501和卸料监控模块502。其中：
监控视频获取模块501，用于获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
卸料监控模块502，用于基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述卸料监控模块具体包括：
位置信息获取子模块，用于若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；
对齐子模块，用于基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐；
第一控制信号生成子模块，用于若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制信号用于指示开始卸料。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述第一控制信号生成子模块具体包括：
第一控制信号发送单元，用于若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的搅拌站控制系统发送所述第一控制信号。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述卸料监控模块还包括：
料位状态确定子模块，用于获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于所述第二视频帧，确定所述搅拌车接料斗的料位状态；
第二控制信号生成子模块，用于根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度或停止卸料。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述料位状态确定子模块具体包括：
料位状态确定单元，用于基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确定所述搅拌车接料斗的料位状态。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述料位状态确定子模块具体还包括：
分割单元，用于对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割，并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿边界以及搅拌车接料斗外沿边界；
外沿边界确定单元，用于基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所述搅拌车接料斗的料位状态。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述卸料监控模块还包括：
混凝土形态识别子模块，用于获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
第三控制信号生成子模块，用于根据混凝土形态识别结果，生成第三控制信号，所述第三控制信号用于指示调整卸料速度。
在上述实施例的基础上，本发明实施例中提供的搅拌站智能卸料监控系统，所述位置信息获取子模块具体包括：
关键点位置信息获取单元，用于将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅拌车接料斗的关键点的位置信息；
其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有搅拌车接料斗标签的图像样本训练得到。
在上述实施例的基础上，本发明实施例中提供的搅拌站智能卸料监控系统，所述对齐子模块具体包括：
中心点位置信息获取单元，用于基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接料斗的中心点的位置信息；
对齐单元，用于基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述第一视频帧通过监控摄像头拍摄获得；相应地，所述系统还包括：
畸变矫正子模块，用于基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的所述搅拌车接料斗的关键点的位置信息；
畸变矫正对齐子模块，用于基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；所述系统还包括：
单应性矩阵获取子模块，用于基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视频帧；
映射校正子模块，用于基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置信息；
映射校正对齐子模块，用于基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
在上述实施例的基础上，本发明实施例提供的搅拌站智能卸料监控系统，所述监控摄像头具体为RGB摄像头或TOF深感摄像头。
具体地，本发明实施例提供的搅拌站智能卸料监控系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图6是本发明实施例提供的搅拌站智能卸料监控系统的具体结构示意图。如图6所示，该系统包括：监控视频获取模块、倒车对齐监测服务模块以及溢料监测服务模块。其中，监控视频获取模块，用于获取搅拌站卸料口处的监控视频。除此之外，监控视频获取模块还用于视频拉流解析以及将解析后的视频帧进行去噪、增强等预处理。倒车对齐监测服务模块用于监测搅拌车接料斗和搅拌站卸料口是否对齐。溢料监测服务模块用于对卸料过程进行监控。
倒车对齐监测服务模块具体包括：
位置信息获取模块，用于对预处理后的第一视频帧进行识别，获取搅拌车接料斗的关键点的位置信息；
摄像头标定模块，用于对监控摄像头进行标定，将获取的搅拌车接料斗的关键点的位置信息进行畸变矫正；
世界坐标系映射模块，用于将畸变矫正后的搅拌车接料斗的关键点的位置信息，即搅拌车接料斗的关键点在像素坐标系下的坐标映射到世界坐标系；
倒车监控模块，即对齐子模块，用于判断搅拌车接料斗和搅拌站卸料口是否对齐；在对齐的情况下，进行溢料监测服务；在未对齐的情况下，重新获取第一视频帧进行识别；
映射校正模块，用于监控摄像头在拍摄得到当前视频帧之后拍摄角度发生变化时，对拍摄角度变化后所述监控摄像头拍摄得到的第一视频帧中所述搅拌车接料斗上关键点的位置信息进行映射校正；
图像后处理模块，用于对已倒车对齐的视频帧进行增强等图像后处理。
溢料监测服务模块具体包括：
图像前处理模块，用于对增强后的已倒车对齐的视频帧进行剪裁、去噪等图像前处理；
分割模型模块，即分割子模块，用于对搅拌车接料斗区域进行像素级分割；
像素边缘监测模块，用于确定所述搅拌车接料斗区域内混凝土外沿边界以及搅拌车接料斗外沿边界；
混凝土状态识别模块，即混凝土形态识别子模块，用于对所述当前视频帧中的搅拌车接料斗区域进行混凝土形态识别；
流速监测模块，用于对混凝土的流量信息进行监测；
溢料识别模块，用于判断当前视频帧中混凝土是否发生了溢料。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各实施例中提供的搅拌站智能卸料监控方法，该方法包括：获取搅拌站卸料区域的监控视频帧，得到第一视频帧；基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机实现能够执行上述各实施例中提供的搅拌站智能卸料监控方法，该方法包括：获取搅拌站卸料区域的监控视频帧，得到第一视频帧；基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现能够执行上述各实施例中提供的搅拌站智能卸料监控方法，该方法包括：获取搅拌站卸料区域的监控视频帧，得到第一视频帧；基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种搅拌站智能卸料监控方法，其特征在于，包括：
获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料；
所述算法模型为基于深度学习算法构建的模型；
所述基于识别结果，监控混凝土搅拌站的卸料，具体包括：
若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；所述关键点是所述搅拌车接料斗的外沿边界上具有特征的点；
基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐；预设的所述搅拌站卸料口的关键位置信息是事先确定的所述搅拌站卸料口的中轴线的位置信息；
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制信号用于指示开始卸料；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的所述搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接料斗的中心点的位置信息；所述关键点包括至少三个，根据三点求圆心的方法，利用至少三个关键点的位置信息确定所述搅拌车接料斗的中心点的位置信息；
基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
2.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，具体包括：
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，且所述搅拌车接料斗对应的搅拌车处于停稳状态，则向所述搅拌站卸料口对应的搅拌站控制系统发送所述第一控制信号。
3.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，基于所述第二视频帧，确定所述搅拌车接料斗的料位状态；
根据所述料位状态，生成第二控制信号，并向所述搅拌站控制系统发送所述第二控制信号，所述第二控制信号用于指示调整卸料速度或停止卸料。
4.根据权利要求3所述的搅拌站智能卸料监控方法，其特征在于，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
基于所述第二视频帧中的搅拌车接料斗区域图像的像素信息，确定所述搅拌车接料斗的料位状态。
5.根据权利要求3所述的搅拌站智能卸料监控方法，其特征在于，所述基于所述第二视频帧，确定所述搅拌车接料斗的料位状态，具体包括：
对所述第二视频帧中的搅拌车接料斗区域图像进行像素级分割，并基于像素级分割的结果，确定所述搅拌车接料斗区域内混凝土外沿边界以及搅拌车接料斗外沿边界；
基于所述混凝土外沿边界与所述搅拌车接料斗外沿边界，确定所述搅拌车接料斗的料位状态。
6.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，之后还包括：
获取所述搅拌站卸料区域的监控视频帧，得到第二视频帧，并对所述第二视频帧中的搅拌车接料斗区域进行混凝土形态识别；
根据混凝土形态识别结果，生成第三控制信号，所述第三控制信号用于指示调整卸料速度。
7.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，具体包括：
将所述第一视频帧输入至预设的搅拌车接料斗识别算法模型，得到所述搅拌车接料斗识别算法模型输出的所述第一视频帧中所述搅拌车接料斗的关键点的位置信息；
其中，所述搅拌车接料斗识别算法模型中的权重参数基于携带有搅拌车接料斗标签的图像样本训练得到。
8.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述第一视频帧通过监控摄像头拍摄获得；
相应的，所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，之前还包括：
基于所述监控摄像头的预设内参矩阵以及预设畸变系数，对所述搅拌车接料斗的关键点的位置信息进行畸变矫正，得到畸变矫正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于畸变矫正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
9.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述第一视频帧通过监控摄像头拍摄获得；
所述监控摄像头安装在所述搅拌站卸料口对面的墙上，安装高度至少为能够监控到完整的所述搅拌车接料斗的高度。
10.根据权利要求9所述的搅拌站智能卸料监控方法，其特征在于，所述监控摄像头包括两个，两个监控摄像头均安装在搅拌站墙壁上，且均朝向所述搅拌站卸料口；
所述搅拌站卸料口处于所述搅拌车接料斗对应的搅拌车的倒车路线上。
11.根据权利要求10所述的搅拌站智能卸料监控方法，其特征在于，所述两个监控摄像头中，第一个监控摄像头安装在所述倒车路线与所述搅拌站卸料口之间的连线延长线与搅拌站墙壁的交点处，第二个监控摄像头安装在过所述搅拌站卸料口的圆心且垂直于所述倒车路线的直线与所述搅拌站墙壁的交点处。
12.根据权利要求1所述的搅拌站智能卸料监控方法，其特征在于，所述第一视频帧通过监控摄像头拍摄获得，且所述第一视频帧为所述监控摄像头在拍摄角度变化之后拍摄获得的视频帧；
相应的，所述基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息，之后还包括：
基于所述第一视频帧以及基准视频帧，得到单应性矩阵，所述基准视频帧为所述监控摄像头的拍摄角度发生变化之前拍摄获得的视频帧；
基于所述单应性矩阵，对所述搅拌车接料斗的关键点的位置信息进行映射校正，得到映射校正后的所述搅拌车接料斗的关键点的位置信息；
所述基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐，具体包括：
基于映射校正后的所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
13.一种搅拌站智能卸料监控系统，其特征在于，包括：
监控视频获取模块，用于获取搅拌站卸料区域的监控视频帧，得到第一视频帧；
卸料监控模块，用于基于预设的算法模型，对所述第一视频帧进行检测识别，并基于识别结果，监控混凝土搅拌站的卸料；
所述算法模型为基于深度学习算法构建的模型；
所述卸料监控模块，具体用于：
若所述识别结果为所述第一视频帧中包含搅拌车接料斗，则基于所述第一视频帧，确定所述搅拌车接料斗的关键点的位置信息；所述关键点是所述搅拌车接料斗的外沿边界上具有特征的点；
基于所述搅拌车接料斗的关键点的位置信息以及预设的搅拌站卸料口的关键位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐；预设的所述搅拌站卸料口的关键位置信息是事先确定的所述搅拌站卸料口的中轴线的位置信息；
若确定所述搅拌车接料斗与所述搅拌站卸料口对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，所述第一控制信号用于指示开始卸料；
所述卸料监控模块，还具体用于：
基于所述搅拌车接料斗的关键点的位置信息，确定所述搅拌车接料斗的中心点的位置信息；所述关键点包括至少三个，根据三点求圆心的方法，利用至少三个关键点的位置信息确定所述搅拌车接料斗的中心点的位置信息；
基于所述搅拌车接料斗的中心点的位置信息以及预设的所述搅拌站卸料口的中轴线的位置信息，确定所述搅拌车接料斗与所述搅拌站卸料口是否对齐。
14.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至12任一项所述搅拌站智能卸料监控方法的步骤。
15.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述搅拌站智能卸料监控方法的步骤。
CN202110751261.7A 2021-03-19 2021-07-02 搅拌站智能卸料监控方法及系统 Active CN113580380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/074291 WO2022193848A1 (zh) 2021-03-19 2022-01-27 搅拌站智能卸料监控方法及系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110296818 2021-03-19
CN2021102968182 2021-03-19

Publications (2)

Publication Number Publication Date
CN113580380A CN113580380A (zh) 2021-11-02
CN113580380B true CN113580380B (zh) 2022-10-04

Family

ID=78245750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110751261.7A Active CN113580380B (zh) 2021-03-19 2021-07-02 搅拌站智能卸料监控方法及系统

Country Status (2)

Country Link
CN (1) CN113580380B (zh)
WO (1) WO2022193848A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113580380B (zh) * 2021-03-19 2022-10-04 三一汽车制造有限公司 搅拌站智能卸料监控方法及系统
CN114227934B (zh) * 2021-11-25 2023-05-26 三一专用汽车有限责任公司 协同作业系统、搅拌站及搅拌车
CN114131763A (zh) * 2021-11-30 2022-03-04 三一专用汽车有限责任公司 搅拌车与搅拌站协同作业系统、方法、搅拌站及搅拌车
CN114536563A (zh) * 2022-02-28 2022-05-27 常德市三一机械有限公司 卸料控制方法及搅拌站
CN115139413A (zh) * 2022-05-16 2022-10-04 中联重科股份有限公司 进料控制方法、系统及计算机可读存储介质
CN115592819B (zh) * 2022-12-15 2023-03-17 福建南方路面机械股份有限公司 基于深度学习的搅拌站卸料口尺寸调整方法及装置
CN116442393B (zh) * 2023-06-08 2024-02-13 山东博硕自动化技术有限公司 基于视频识别的搅拌站智能卸料方法、系统及控制设备
CN116694129B (zh) * 2023-08-07 2023-10-17 济宁九德半导体科技有限公司 用于紫外固化型油墨制备的自动控制系统及其方法
CN116934847B (zh) * 2023-09-15 2024-01-05 蓝思系统集成有限公司 卸料方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3006690A1 (de) * 1980-02-22 1981-08-27 Elba Maschinenfabrik Kaiser GmbH & Co, 6670 St. Ingbert Verfahren zur definierten teilmengen-abgabe aus einem trommelmischer
CN203665714U (zh) * 2013-12-13 2014-06-25 徐州徐工施维英机械有限公司 一种搅拌站卸料防溢料装置及其混凝土搅拌站
CN105058590A (zh) * 2015-08-03 2015-11-18 长沙奥科电子科技有限公司 一种搅拌站监控的方法、装置及系统
CN105217198A (zh) * 2015-10-13 2016-01-06 中联重科股份有限公司 一种垃圾上料控制方法、装置及上料板机
CN106696090A (zh) * 2016-12-16 2017-05-24 三汽车制造有限公司 卸料控制系统和搅拌设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028988A1 (en) * 2006-02-21 2008-02-07 Welker Charles D Method and apparatus for making air-entrained or cellular high-strengthconcrete
CN103072207B (zh) * 2013-01-31 2015-06-17 中联重科股份有限公司 搅拌车的进料位置调整控制方法、装置、系统及搅拌车
CN105507590B (zh) * 2015-11-30 2017-10-13 北汽福田汽车股份有限公司 一种卸料控制方法、装置以及工程机械
CN112487898B (zh) * 2020-11-18 2024-04-16 中科云谷科技有限公司 搅拌站搅拌车进、卸料口对齐自动判定方法、设备及系统
CN113580380B (zh) * 2021-03-19 2022-10-04 三一汽车制造有限公司 搅拌站智能卸料监控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3006690A1 (de) * 1980-02-22 1981-08-27 Elba Maschinenfabrik Kaiser GmbH & Co, 6670 St. Ingbert Verfahren zur definierten teilmengen-abgabe aus einem trommelmischer
CN203665714U (zh) * 2013-12-13 2014-06-25 徐州徐工施维英机械有限公司 一种搅拌站卸料防溢料装置及其混凝土搅拌站
CN105058590A (zh) * 2015-08-03 2015-11-18 长沙奥科电子科技有限公司 一种搅拌站监控的方法、装置及系统
CN105217198A (zh) * 2015-10-13 2016-01-06 中联重科股份有限公司 一种垃圾上料控制方法、装置及上料板机
CN106696090A (zh) * 2016-12-16 2017-05-24 三汽车制造有限公司 卸料控制系统和搅拌设备

Also Published As

Publication number Publication date
WO2022193848A1 (zh) 2022-09-22
CN113580380A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113580380B (zh) 搅拌站智能卸料监控方法及系统
CN111308448B (zh) 图像采集设备与雷达的外参确定方法及装置
US20170308103A1 (en) Flight device, flight control system and method
KR101205428B1 (ko) 타겟 위치 특정 장치
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN113706495B (zh) 一种在传送带上自动检测锂电池参数的机器视觉检测系统
CN103973990A (zh) 宽动态融合方法及装置
CN113554004B (zh) 搅拌车溢料检测方法、检测系统、电子设备及搅拌站
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
CN113554002B (zh) 对齐状态检测方法、系统、电子设备及存储介质
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
CN110595738B (zh) 激光器检测方法、装置、设备及深度相机
KR101600820B1 (ko) 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 해상객체의 거리 측정시스템.
US10970592B2 (en) Adhering substance detection apparatus and adhering substance detection method
CN106546196A (zh) 一种光轴实时校准方法及系统
CN111805533A (zh) 用于工件下料的装置、基于视觉定位的工件下料的方法
CN116778348A (zh) 基于机器视觉的外墙脱落监测方法、装置、设备及介质
CN106373158A (zh) 自动化图像检测方法
CN112288677A (zh) 摄像机
CN106413280B (zh) 贴片机喂料器元件位置自动矫正装置及自动矫正方法
CN110992428B (zh) 一种摄像头一致性的智能检测方法和检测装置
US20190104298A1 (en) Method for adjusting a stereoscopic imaging device
US11659270B2 (en) Image processing device for detecting horizontal direction of photographing angle
CN111757002B (zh) 图像处理方法、输出控制方法、图像采集设备及显示设备
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant