CN113239911B - 一种无人驾驶智能塔吊视觉场景分析方法和装置 - Google Patents

一种无人驾驶智能塔吊视觉场景分析方法和装置 Download PDF

Info

Publication number
CN113239911B
CN113239911B CN202110784384.0A CN202110784384A CN113239911B CN 113239911 B CN113239911 B CN 113239911B CN 202110784384 A CN202110784384 A CN 202110784384A CN 113239911 B CN113239911 B CN 113239911B
Authority
CN
China
Prior art keywords
tower crane
unmanned intelligent
type
intelligent tower
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110784384.0A
Other languages
English (en)
Other versions
CN113239911A (zh
Inventor
陈德木
蒋云
陆建江
陈曦
赵晓东
顾姣燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Original Assignee
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dajie Intelligent Transmission Technology Co Ltd filed Critical Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority to CN202110784384.0A priority Critical patent/CN113239911B/zh
Publication of CN113239911A publication Critical patent/CN113239911A/zh
Application granted granted Critical
Publication of CN113239911B publication Critical patent/CN113239911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于图像监控的无人驾驶智能塔吊视觉场景分析方法和装置。该方法包括：在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取无人驾驶智能塔吊的视频监控数据；根据视频监控数据识别无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、进入无人驾驶智能塔吊所在环境的人员身份信息；将获得的无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定无人驾驶智能塔吊的安全策略类型。本申请能够精准的控制无人驾驶智能塔吊的运行，在危险度较高的环境状态下同时保障塔吊的运行安全和效率。

Description

一种无人驾驶智能塔吊视觉场景分析方法和装置
技术领域
本申请涉及智能塔吊技术领域，尤其涉及一种基于图像监控的无人驾驶智能塔吊视觉场景分析方法和装置。
背景技术
目前的塔吊，基本都是人员在塔吊上的中控室进行操控，或者通过操作人员在远程进行实时智能操控。塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
无人塔吊在一些特殊情况下如果继续运行会遇到安全问题，例如雨雪天、大风天、某些异物入侵导致影响吊钩的正常运行，或者未经授权人员进入塔吊施工现场的话，都会引起极大的安全隐患。
发明内容
有鉴于此，本申请的目的在于提出一种基于图像监控的无人驾驶智能塔吊视觉场景分析方法和装置，本申请能够通过视频监控自动化的分析无人塔吊可能面临的环境风险，兼顾安全和效率，提高智能塔吊工作效率。
基于上述目的，本申请提出了一种基于图像监控的无人驾驶智能塔吊视觉场景分析方法，包括：
在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；
根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型；
根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
在一些实施例中，所述根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型，包括：
根据所述视频监控数据中包括雪花图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雪天；
根据所述视频监控数据中包括雨滴图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雨天；
根据所述视频监控数据中预设标记物的摆动幅度超过阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为大风天；
根据所述视频监控数据中包括太阳图片且能见度超过预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为晴天；
根据所述视频监控数据中不包括太阳图片且能见度低于预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为雾天。
在一些实施例中，所述根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型，包括：
根据所述视频监控数据，提取预设摄像头拍摄图像的亮度特征；所述亮度特征是衡量图像的光亮强度信息，将拍摄图像的像素值均值表示为该图的亮度值；
根据所述亮度值所在的数值区间，判断所述无人驾驶智能塔吊所在环境的光强度类型。
在一些实施例中，所述根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型，包括：
步骤1，采集视频监控数据，对视频监控数据集进行数据预处理，并生成对应的标签；步骤2，对预处理后的视频监控数据集进行增强操作，包括旋转、缩放、随机裁剪以及亮度、色度变换；步骤3，将增强操作后的数据集进行训练/验证/测试集的划分；步骤4，构建网络结构，导入训练集、验证集及其对应的标签进行训练；测试阶段具体包含如下步骤：步骤5，对视频监控数据集进行数据预处理；步骤6，将预处理后的视频监控数据集输入步骤4构建的网络结构，加载网络结构对应的模型参数进行前向传播；步骤7，取出网络结构的输出结果，根据标签生成规则得到分类标签；步骤8，根据每类标签的含义将所述分类标签转化即得到最终的异物入侵类型识别结果。
在一些实施例中，所述根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息，包括：
采集被识别人的脸部图像并记录采集时间，将脸部图像输入到预设人员人脸信息数据库进行比对分析，从而得到进入所述无人驾驶智能塔吊所在环境的人员身份信息。
在一些实施例中，所述将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型，包括：
将大批量已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息导入到卷积神经网络，得到无人驾驶智能塔吊的安全策略类型；将已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息和无人驾驶智能塔吊的安全策略类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的AKC模型中，得到所述无人驾驶智能塔吊的安全策略类型。
在一些实施例中，所述无人驾驶智能塔吊的安全策略类型包括：
根据所述天气类型为雪天、雨天或大风天，停止所述智能塔吊的运行；
根据所述光强度类型为极低，停止所述智能塔吊的运行；
根据异物入侵类型为杨柳絮、树叶、塑料袋，维持所述智能塔吊继续运行；
根据所述人员身份信息为不可识别，停止所述塔吊运行。
基于上述目的，本申请还提出了一种基于图像监控的无人驾驶智能塔吊视觉场景分析装置，包括：
监控模块，在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；
天气识别模块，用于根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
光强度识别模块，用于根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型；
异物入侵识别模块，用于根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
人员身份识别模块，用于根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
安全策略模块，用于将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
总的来说，本申请的优势及给用户带来的体验在于：
本申请通过结合监控视频，实时计算和判断无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、人员身份信息，并且通过大数据的训练，能够精准的控制无人驾驶智能塔吊的运行，在危险度较高的环境状态下同时保障塔吊的运行安全和效率。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的装置架构原理示意图。
图2示出根据本申请实施例的基于图像监控的无人驾驶智能塔吊视觉场景分析方法的流程图。
图3示出根据本申请实施例的基于图像监控的无人驾驶智能塔吊视觉场景分析装置的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的装置架构原理示意图。本申请的实施例中，设备包括塔吊、待吊装物料、摄像头、服务器等。在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取无人驾驶智能塔吊的视频监控数据；根据视频监控数据识别无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、进入无人驾驶智能塔吊所在环境的人员身份信息；将获得的无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定无人驾驶智能塔吊的安全策略类型。本申请能够精准的控制无人驾驶智能塔吊的运行，在危险度较高的环境状态下同时保障塔吊的运行安全和效率。
图2示出根据本申请实施例的基于图像监控的无人驾驶智能塔吊视觉场景分析方法的流程图。如图2所示，该基于图像监控的无人驾驶智能塔吊视觉场景分析方法包括：
步骤101：在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；视频监控数据均发送到远程服务器进行进一步的算法分析。
步骤102：根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
本实施例中，例如可以创建用于预测室外图像对应天气的天气识别模型。
首先，获取各种天气类型各自对应的天气图像集合。例如，分别获取晴、多云、阴、绵绵雨、小雨、中雨、大雨、大风、大雾、沙尘等各种天气类型的多个天气图像。
其次，对所获取的天气图像集合中的各个天气图像进行特征提取，获取各种天气类型对应的特征训练集。例如，可以分别从对比度特征、锐度特征、纹理特征、色相特征、饱和度特征、明度特征等入手，确认每张天气图像的特征向量。
最后，依据所述各种天气类型对应的特征训练集，训练得到用于识别输入图像对应天气的天气识别模型。所述天气识别模型能够实现将输入天气图像与多个天气类型中的一个对应起来。
另外，本实施例中，可以根据所述视频监控数据中包括雪花图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雪天；
根据所述视频监控数据中包括雨滴图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雨天；
根据所述视频监控数据中预设标记物的摆动幅度超过阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为大风天；
根据所述视频监控数据中包括太阳图片且能见度超过预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为晴天；
根据所述视频监控数据中不包括太阳图片且能见度低于预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为雾天。
步骤103：根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型；
本实施例中，根据所述视频监控数据，提取预设摄像头拍摄图像的亮度特征；所述亮度特征是衡量图像的光亮强度信息，将拍摄图像的像素值均值表示为该图的亮度值；
根据所述亮度值所在的数值区间，判断所述无人驾驶智能塔吊所在环境的光强度类型。
另外，例如，如果图像里的背景光强度较大，那么白色像素的占比就会较高，根据白色像素的占比，也可以快速的判断塔吊所在环境的光强类型。
如果塔吊所在环境的光强度类型较强，才会有利于吊装活动的正常运行，如果光强较低，例如无灯的深夜，塔吊继续执行吊装任务的话，可能导致安全问题的产生。
还例如，光强度测量算法可以包括以下步骤：
（1）对基准光源图像进行灰度处理，基准光源灰度值fbase对应的强度值为Lbase；
（2）对视频监控数据进行分帧，将其转化为图像序列，并对图像序列进行灰度处理；
（3）对图像序列进行图像分割，采用自适应的大津阈值分割方法将光照区域与背景区域分割开来。
（4）计算大小为m×n像素的光照区域内的任意像素点的强度值Lm×n(i,j)：
（5）对光照区域m×n内所有像素点求平均值，获得单幅光照区域图像的平均强度值Lm×n。
步骤104：根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
本实施例中，步骤1，采集视频监控数据，对视频监控数据集进行数据预处理，并生成对应的标签；步骤2，对预处理后的视频监控数据集进行增强操作，包括旋转、缩放、随机裁剪以及亮度、色度变换；步骤3，将增强操作后的数据集进行训练/验证/测试集的划分；步骤4，构建网络结构，导入训练集、验证集及其对应的标签进行训练；测试阶段具体包含如下步骤：步骤5，对视频监控数据集进行数据预处理；步骤6，将预处理后的视频监控数据集输入步骤4构建的网络结构，加载网络结构对应的模型参数进行前向传播；步骤7，取出网络结构的输出结果，根据标签生成规则得到分类标签；步骤8，根据每类标签的含义将所述分类标签转化即得到最终的异物入侵类型识别结果。
常见的异物入侵包括：杨柳絮、树叶、塑料袋、小动物等，这些异物入侵会导致塔吊的运行安全，通过识别异物入侵的类型，本申请能够智能的控制塔吊的运行，保障吊装任务的安全和效率。
步骤105：根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
本实施例中，采集被识别人的脸部图像并记录采集时间，将脸部图像输入到预设人员人脸信息数据库进行比对分析，从而得到进入所述无人驾驶智能塔吊所在环境的人员身份信息。
在一些其他实施例中，人脸识别算法可以包括以下步骤：
获取塔吊旁摄像头视频实时采集的人脸图像；
对视频中的人脸进行监测，剪切出人脸图像部分；
对剪切出的图像进行预处理；
提取待识别用户的人脸图像的面部特征；
面部特征与身份信息管理数据库模块进行匹配；
筛选出与输入图像相匹配的身份信息进行输出。
在一些其他实施例中，人脸识别算法可以包括以下步骤：
获取塔吊入口处的监控视频，并提取监控视频每一帧图片；
对图片进行模糊度检测，当检测出的模糊度低于设定的阈值，图片不作处理，高于设定的阈值，执行以下步骤；
利用基于深度学习的人脸检测算法对预处理后的图片中的人脸区域进行检测，若存在人脸，输出人脸位于图片中的坐标；例如，将预处理后的图片输入特征提取网络中，生成特征映射图，在输出的特征映射图上，在输出的特征图上利用候选区域生成网络生成图片中候选的人脸区域；再使用人脸检测网络，对人脸区域进行分类，输出最终的人脸目标位置和概率。
定位人脸区域中的人脸关键点；
采用基于深度学习的方法进行人脸识别，利用相似度比较算出与人脸数据库中距离最近的图像，即完成了人脸识别。
步骤106：将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
本实施例中，将大批量已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息导入到卷积神经网络，得到无人驾驶智能塔吊的安全策略类型；将已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息和无人驾驶智能塔吊的安全策略类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的AKC模型中，得到所述无人驾驶智能塔吊的安全策略类型。
本申请中，举例来说，安全策略的决策过程例如：根据所述天气类型为雪天、雨天或大风天，停止所述智能塔吊的运行；根据所述光强度类型为极低，停止所述智能塔吊的运行；根据异物入侵类型为杨柳絮、树叶、塑料袋，维持所述智能塔吊继续运行；根据异物入侵类型为小动物，控制所述智能塔吊降速运行；根据所述人员身份信息为不可识别，停止所述塔吊运行。
本申请通过结合监控视频，实时计算和判断无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、人员身份信息，并且通过大数据的训练，能够精准的控制无人驾驶智能塔吊的运行，在危险度较高的环境状态下同时保障塔吊的运行安全和效率。
以下举例说明本申请的基于图像监控的无人驾驶智能塔吊视觉场景分析效果：（以下数据仅为示意性举例，具体数据来源参照建筑和塔吊行业常用数据）
Figure 154843DEST_PATH_IMAGE001
申请实施例提供了一种基于图像监控的无人驾驶智能塔吊视觉场景分析装置，该装置用于执行上述实施例所述的基于图像监控的无人驾驶智能塔吊视觉场景分析方法，如图3所示，该装置包括：
监控模块501，在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；
天气识别模块502，用于根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
光强度识别模块503，用于根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型；
异物入侵识别模块504，用于根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
人员身份识别模块505，用于根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
安全策略模块506，用于将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
本申请的上述实施例提供的基于图像监控的无人驾驶智能塔吊视觉场景分析装置与本申请实施例提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法对应的电子设备，以执行上基于图像监控的无人驾驶智能塔吊视觉场景分析方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法。
其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于图像监控的无人驾驶智能塔吊视觉场景分析方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于图像监控的无人驾驶智能塔吊视觉场景分析方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种无人驾驶智能塔吊视觉场景分析方法，其特征在于，包括：
在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；
根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型，包括：根据所述视频监控数据，提取预设摄像头拍摄图像的亮度特征；所述亮度特征是衡量图像的光亮强度信息，将拍摄图像的像素值均值表示为该图的亮度值；根据所述亮度值所在的数值区间，判断所述无人驾驶智能塔吊所在环境的光强度类型；
根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型，包括：
根据所述视频监控数据中包括雪花图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雪天；
根据所述视频监控数据中包括雨滴图片，判断所述无人驾驶智能塔吊所在环境的天气类型为雨天；
根据所述视频监控数据中预设标记物的摆动幅度超过阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为大风天；
根据所述视频监控数据中包括太阳图片且能见度超过预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为晴天；
根据所述视频监控数据中不包括太阳图片且能见度低于预设阈值，判断所述无人驾驶智能塔吊所在环境的天气类型为雾天。
3.根据权利要求1所述的方法，其特征在于，
所述根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型，包括：
步骤1，采集视频监控数据，对视频监控数据集进行数据预处理，并生成对应的标签；步骤2，对预处理后的视频监控数据集进行增强操作，包括旋转、缩放、随机裁剪以及亮度、色度变换；步骤3，将增强操作后的数据集进行训练/验证/测试集的划分；步骤4，构建网络结构，导入训练集、验证集及其对应的标签进行训练；测试阶段具体包含如下步骤：步骤5，对视频监控数据集进行数据预处理；步骤6，将预处理后的视频监控数据集输入步骤4构建的网络结构，加载网络结构对应的模型参数进行前向传播；步骤7，取出网络结构的输出结果，根据标签生成规则得到分类标签；步骤8，根据每类标签的含义将所述分类标签转化即得到最终的异物入侵类型识别结果。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息，包括：
采集被识别人的脸部图像并记录采集时间，将脸部图像输入到预设人员人脸信息数据库进行比对分析，从而得到进入所述无人驾驶智能塔吊所在环境的人员身份信息。
5.如权利要求1所述的方法，其特征在于，
所述将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型，包括：
将大批量已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息导入到卷积神经网络，得到无人驾驶智能塔吊的安全策略类型；将已知无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息和无人驾驶智能塔吊的安全策略类型构成的特征向量作为训练样本，构建训练样本集；
用训练样本集训练由基于全连接神经网络的自动编码器模型和K-means模型构成的AKC模型；
将待分类无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的AKC模型中，得到所述无人驾驶智能塔吊的安全策略类型。
6.根据权利要求5所述的方法，其特征在于，
所述无人驾驶智能塔吊的安全策略类型包括：
根据所述天气类型为雪天、雨天或大风天，停止所述智能塔吊的运行；
根据所述光强度类型为极低，停止所述智能塔吊的运行；
根据异物入侵类型为杨柳絮、树叶、塑料袋，维持所述智能塔吊继续运行；
根据所述人员身份信息为不可识别，停止所述塔吊运行。
7.一种无人驾驶智能塔吊视觉场景分析装置，其特征在于，包括：
监控模块，在无人驾驶智能塔吊的周围安装至少一个摄像头，拍摄并获取所述无人驾驶智能塔吊的视频监控数据；
天气识别模块，用于根据所述视频监控数据使用天气识别算法识别所述无人驾驶智能塔吊所在环境的天气类型；
光强度识别模块，用于根据所述视频监控数据使用光强度测量算法识别所述无人驾驶智能塔吊所在环境的光强度类型，包括：根据所述视频监控数据，提取预设摄像头拍摄图像的亮度特征；所述亮度特征是衡量图像的光亮强度信息，将拍摄图像的像素值均值表示为该图的亮度值；根据所述亮度值所在的数值区间，判断所述无人驾驶智能塔吊所在环境的光强度类型；
异物入侵识别模块，用于根据所述视频监控数据使用异物入侵识别算法识别所述无人驾驶智能塔吊所在环境的异物入侵类型；
人员身份识别模块，用于根据所述视频监控数据使用人脸识别算法识别进入所述无人驾驶智能塔吊所在环境的人员身份信息；
安全策略模块，用于将获得的所述无人驾驶智能塔吊所在环境的天气类型、光强度类型、异物入侵类型、和人员身份信息输入训练好的视觉场景分类神经网络，确定所述无人驾驶智能塔吊的安全策略类型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
CN202110784384.0A 2021-07-12 2021-07-12 一种无人驾驶智能塔吊视觉场景分析方法和装置 Active CN113239911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110784384.0A CN113239911B (zh) 2021-07-12 2021-07-12 一种无人驾驶智能塔吊视觉场景分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110784384.0A CN113239911B (zh) 2021-07-12 2021-07-12 一种无人驾驶智能塔吊视觉场景分析方法和装置

Publications (2)

Publication Number Publication Date
CN113239911A CN113239911A (zh) 2021-08-10
CN113239911B true CN113239911B (zh) 2021-12-03

Family

ID=77135428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110784384.0A Active CN113239911B (zh) 2021-07-12 2021-07-12 一种无人驾驶智能塔吊视觉场景分析方法和装置

Country Status (1)

Country Link
CN (1) CN113239911B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114560398B (zh) * 2022-01-24 2023-06-06 杭州大杰智能传动科技有限公司 智能塔吊传动半自动控制方法和系统
CN115947239B (zh) * 2022-12-26 2024-03-12 深圳市神州云海智能科技有限公司 异常预警与应急处理方法、装置及建筑机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103613013B (zh) * 2013-11-12 2015-04-08 宁夏电通物联网科技有限公司 塔吊施工安全监测系统及方法
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
CN106516984B (zh) * 2016-12-29 2018-06-29 深圳大学 一种基于无线通讯网络的无人塔吊控制系统及实现方法
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN110189112A (zh) * 2019-07-05 2019-08-30 筑讯(北京)科技有限公司 一种工地管理系统及管理方法
CN111678549A (zh) * 2020-06-10 2020-09-18 北京金和网络股份有限公司 塔吊操作人员安全监控方法、装置及系统

Also Published As

Publication number Publication date
CN113239911A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2018130016A1 (zh) 一种基于监控视频的停车检测方法及装置
US8744125B2 (en) Clustering-based object classification
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN113239911B (zh) 一种无人驾驶智能塔吊视觉场景分析方法和装置
US20180240194A1 (en) Visual analytics based vehicle insurance anti-fraud detection
KR20180135898A (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN109993031A (zh) 一种畜力车目标违章行驶行为检测方法、装置及相机
CN113673046B (zh) 用于智能塔吊紧急预警的物联网通信系统及其方法
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
EP3584742A1 (en) System and method for traffic sign recognition
US20190096066A1 (en) System and Method for Segmenting Out Multiple Body Parts
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN111680610A (zh) 一种施工场景异常监测方法和装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115965934A (zh) 一种停车位检测方法及装置
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
US20180336694A1 (en) System and Method for Passive Tracking Based on Color Features
KR20200123324A (ko) 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법
Chughtai et al. Traffic Surveillance System: Robust Multiclass Vehicle Detection and Classification
CN117294818A (zh) 一种用于机场施工的工地全景监控方法
CN111402185B (zh) 一种图像检测方法及装置
Kročka et al. Extending parking occupancy detection model for night lighting and snowy weather conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant