CN113253765B - 一种无人机自动追踪的智能塔吊作业多维监测系统及方法 - Google Patents

一种无人机自动追踪的智能塔吊作业多维监测系统及方法 Download PDF

Info

Publication number
CN113253765B
CN113253765B CN202110800829.XA CN202110800829A CN113253765B CN 113253765 B CN113253765 B CN 113253765B CN 202110800829 A CN202110800829 A CN 202110800829A CN 113253765 B CN113253765 B CN 113253765B
Authority
CN
China
Prior art keywords
tower crane
monitoring
depth information
action scheme
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110800829.XA
Other languages
English (en)
Other versions
CN113253765A (zh
Inventor
陈德木
蒋云
陆建江
陈曦
赵晓东
顾姣燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Original Assignee
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dajie Intelligent Transmission Technology Co Ltd filed Critical Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority to CN202110800829.XA priority Critical patent/CN113253765B/zh
Publication of CN113253765A publication Critical patent/CN113253765A/zh
Application granted granted Critical
Publication of CN113253765B publication Critical patent/CN113253765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种无人机自动追踪的智能塔吊作业多维监测系统及方法，包括：无人机、塔吊深度摄像机和控制中心，控制中心包括监测报警模块和调整更新模块；无人机用于采集塔吊视频画面、塔吊深度信息与塔吊环境参数；塔吊深度摄像机用于采集其他视频画面和其他深度信息；监测报警模块用于采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警；所述调整更新模块用于根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新，实现了对塔吊作业的多维自动追踪监测。

Description

一种无人机自动追踪的智能塔吊作业多维监测系统及方法
技术领域
本发明涉及智能塔吊技术领域，具体是一种无人机自动追踪的智能塔吊作业多维监测系统及方法。
背景技术
塔吊即塔式起重机，是一种重要的工程设施，通过起升、变幅、回转等动作，能够对大型物料执行垂直方向和水平方向的移动输运，可以在建筑工地等场景下广泛应用，传统的塔吊需要驾驶员在操作仓进行驾驶，依赖于驾驶员的技能和经验，智能化程度低。
为了提高塔吊的智能化程度，对大型物料进行移动输运的作业过程，有必要保持全程的追踪监测，进而实现塔吊的无人化作业。通过追踪监测，一是判断智能塔吊的作业过程与预定的动作方案是否相符，二是判断作业过程中智能塔吊以及物料的状态参数、环境参数是否处于预定的阈值范围；一旦作业过程偏离预定动作方案、或者状态参数、环境参数偏离，则进行反馈式的调整更新，并且，一旦发生紧急状况，能够快速响应。
然而，现有的对智能塔吊的追踪监测，只能依靠安装在塔吊吊臂等位置的摄像头、传感器等进行作业过程以及状态参数、环境参数的追踪监测，存在视野和监测范围的死角，导致采集的信息不完全，使得对塔吊作业过程的判断存在偏差。
因此，如何实现对塔吊作业的多维自动追踪监测是本领域技术人员亟待解决的问题。
发明内容
鉴于上述问题，本发明的目的是解决目前对智能塔吊追踪监测的存在视野和监测范围的死角，导致采集的信息不完全，使得对塔吊作业过程的判断存在偏差的问题，实现对塔吊作业的多维自动追踪监测。
本发明实施例提供一种无人机自动追踪的智能塔吊作业多维监测系统，包括：无人机、塔吊深度摄像机和控制中心；其中，所述控制中心包括：监测报警模块和调整更新模块；
所述无人机用于采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给所述控制中心；
所述塔吊深度摄像机用于采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心；
所述监测报警模块用于采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警；
所述调整更新模块用于根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新。
在一个实施例中，所述无人机，包括：监测位点生成模块、飞行路径设置模块、无人机深度摄像机、监测位点调整模块；
所述监测位点生成模块用于采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机、所述智能塔吊与所述物料之间的相对位置，生成监测位点；
所述飞行路径设置模块连接所述监测位点生成模块，用于根据所述监测位点设置飞行路径；
所述无人机深度摄像机用于基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心与所述监测位点调整模块；
所述监测位点调整模块用于基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点。
在一个实施例中，所述无人机，还包括：环境参数传感器；
所述环境参数传感器用于采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心。
在一个实施例中，所述监测报警模块，包括：目标动作方案生成单元，监测报警单元；
所述目标动作方案生成单元用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案；
所述监测报警单元连接所述目标动作方案生成单元，用于采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
在一个实施例中，所述控制中心，还包括：3D场景画面构建模块；
所述3D场景画面构建模块用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
基于上述目的，在本申请的第二个方面，还提出了一种无人机自动追踪的智能塔吊作业多维监测方法，包括：
无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给控制中心；
塔吊深度摄像机采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心；
监测报警模块采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警；
调整更新模块根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新。
在一个实施例中，所述无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，包括：
监测位点生成模块采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机、所述智能塔吊与所述物料之间的相对位置，生成监测位点；
飞行路径设置模块根据所述监测位点设置飞行路径；
无人机深度摄像机基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心与监测位点调整模块；
监测位点调整模块基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点。
在一个实施例中，还包括：
环境参数传感器采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心。
在一个实施例中，监测报警模块采集预设动作方案，并基于所述塔吊视频画面与所述塔吊深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警，包括：
目标动作方案生成单元基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案；
监测报警单元采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
在一个实施例中，还包括：
3D场景画面构建模块基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种无人机自动追踪的智能塔吊作业多维监测系统及方法，通过无人机的追踪监测装置与安装在智能塔吊上的追踪监测装置实现对智能塔吊作业过程中以及状态参数、环境参数的多维自动追踪监测，使得控制中心采集的信息全面准确，进而控制中心根据追踪监测的结果实现对智能塔吊的作业过程的调整，使得智能塔吊实现完全无人化作业、自主决策和全自动操控。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种无人机自动追踪的智能塔吊作业多维监测系统的框图；
图2为本发明实施例提供的一种无人机自动追踪的智能塔吊作业多维监测方法流程图；
图3为本发明实施例提供的步骤S201的流程图；
图4为本发明实施例提供的步骤S202的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示，本发明实施例提供的一种无人机自动追踪的智能塔吊作业多维监测系统，包括：无人机1（至少一架）、塔吊深度摄像机2和控制中心3；其中，所述控制中心3包括：监测报警模块4和调整更新模块5；
所述无人机1用于采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给所述控制中心3。
所述塔吊深度摄像机2用于采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心3。
具体的，所述塔吊深度摄像机2安装在智能塔吊的吊臂等位置，拍摄智能塔吊与物料的视频画面（即其他视频画面）与采集智能塔吊与物料的深度信息（即其他深度信息）。
所述监测报警模块4用于采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警。
具体的，监测报警模块4结合所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息，判断智能塔吊及其物料的位置、运动轨迹与预设动作方案方案是否相符，以及是否存在晃动、颤抖等异常动作，从而根据判断结果实现监测报警。
所述调整更新模块5用于根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新。
具体的，调整更新模块5结合智能塔吊自身以及无人机1上的传感器提供的塔吊环境参数，判断智能塔吊以及物料的状态参数、环境参数是否处于预定的阈值范围，一旦状态参数、环境参数偏离，则向中控室进行反馈，中控室基于反馈结果对智能塔吊的预设动作方案进行调整更新；并且，一旦发生紧急状况（如风速过大），则向中控室反馈报警信息，使中控室基于报警信息进行快速响应。
本实施例中，通过无人机的追踪监测装置与安装在智能塔吊上的追踪监测装置实现对智能塔吊作业过程中以及状态参数、环境参数的多维自动追踪监测，使得控制中心采集的信息全面准确，进而控制中心根据追踪监测的结果实现对智能塔吊的作业过程的调整，使得智能塔吊实现完全无人化作业、自主决策和全自动操控。
在一个实施例中，所述无人机1，包括：监测位点生成模块6、飞行路径设置模块7、无人机深度摄像机8、监测位点调整模块9；
所述监测位点生成模块6用于采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机1、所述智能塔吊与所述物料之间的相对位置，生成监测位点。
具体的，智能塔吊的中控室向监测位点生成模块6保持实时通信，向所述监测位点生成模块6实时共享预设动作方案。
进一步地，监测位点生成模块6根据预设动作方案判定智能塔吊（主要包括吊臂、缆绳、物料挂钩等部位）及其物料的预期位置，并根据预期位置与监测需求设置无人机1与智能塔吊及其物料的相对位置，进而确定无人机1自身的监测位点。
所述飞行路径设置模块7连接所述监测位点生成模块，用于根据所述监测位点设置飞行路径。
具体的，无人机1根据所述飞行路径围绕智能塔吊进行飞行，实现对智能塔吊的追踪监测。
所述无人机深度摄像机8用于基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心3与所述监测位点调整模块9。
具体的，无人机深度摄像机8能够拍摄智能塔吊及其物料的视频画面，并提取视频画面中的深度信息（即智能塔吊与物料之间的距离）。
所述监测位点调整模块9用于基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点。
具体的，在无人机1的飞行过程中，无人机1保持对智能塔吊与物料之间的真实位置的检测，当所述智能塔吊和所述物料之间的真实位置与相对位置的位置偏差超过预设阈值时，则基于位置偏差对无人机1自身的监测位点进行调整，直至智能塔吊与物料之间的真实位置和相对位置的位置偏差小于预设阈值位置，保持调整后的监测位点。
在一个实施例中，所述无人机1，还包括：环境参数传感器10；
所述环境参数传感器10用于采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心3。
具体的，塔吊环境参数包括无人机1自身所在位置的风速、风级、风压等。
在一个实施例中，所述监测报警模块4，包括：目标动作方案生成单元11，监测报警单元12；
所述目标动作方案生成单元11用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案。
具体的，所述目标动作方案包括智能塔吊位置、物料位置、智能塔吊运动轨迹和物料运动轨迹。
进一步地，基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案的具体步骤如下：
A、假设在对智能塔吊的追踪监测有N台深度摄像机（包括无人机深度摄像机与塔吊深度摄像机）表示为
Figure 228436DEST_PATH_IMAGE001
，并将t时刻采集得到的视频图像（包括塔吊视频画面和其他视频画面）信息用
Figure 942314DEST_PATH_IMAGE002
表示，把智能塔吊在视频画面中所在的准确位置用
Figure 456472DEST_PATH_IMAGE003
表示,其中,
Figure 258206DEST_PATH_IMAGE004
，
其中，
Figure 869316DEST_PATH_IMAGE005
表示智能塔吊在视频画面中的横坐标，
Figure 426199DEST_PATH_IMAGE006
表示智能塔吊在视频画面中的纵坐标。
B、将N台深度摄像机拍摄的视频画面的视频图像信息进行集合，表示为
Figure 365336DEST_PATH_IMAGE007
，并基于该集合估算出智能塔吊在各个视频画面中的位置集合，即
Figure 298657DEST_PATH_IMAGE008
，然后根据最大后验概率准则进行建模，具体公式如下：
Figure 764273DEST_PATH_IMAGE009
C、运用变分近似算法对联合后验概率
Figure 492058DEST_PATH_IMAGE010
进行分解，表示为:
Figure 918491DEST_PATH_IMAGE011
其中，
Figure 389924DEST_PATH_IMAGE012
表示在已知
Figure 710047DEST_PATH_IMAGE013
的条件下
Figure 874312DEST_PATH_IMAGE014
的边缘概率，其中，边缘概率
Figure 510743DEST_PATH_IMAGE015
表示为：
Figure 582604DEST_PATH_IMAGE016
其中，
Figure 960496DEST_PATH_IMAGE017
表示归一化常数，
Figure 967766DEST_PATH_IMAGE018
表示联合状态空间
Figure 431109DEST_PATH_IMAGE019
中不包含
Figure 306661DEST_PATH_IMAGE020
的部分。
D、对联合概率
Figure 539059DEST_PATH_IMAGE021
进行分解，具体如下公式所示：
Figure 982810DEST_PATH_IMAGE022
其中，
Figure 667869DEST_PATH_IMAGE023
表示似然函数，
Figure 347112DEST_PATH_IMAGE024
表示先验概率，
Figure 434017DEST_PATH_IMAGE025
表示N台深度摄像机，
Figure 48669DEST_PATH_IMAGE026
表示两两重叠视域的深度摄像机集合，
Figure 221024DEST_PATH_IMAGE027
表示视角
Figure 438379DEST_PATH_IMAGE028
的本地似然函数，
Figure 645369DEST_PATH_IMAGE029
表示随机向量
Figure 430923DEST_PATH_IMAGE030
和
Figure 90574DEST_PATH_IMAGE031
之间的势函数。
E、基于上述分解后的联合概率
Figure 111620DEST_PATH_IMAGE032
计算边缘概率
Figure 907538DEST_PATH_IMAGE033
，计算公式如下：
Figure 863992DEST_PATH_IMAGE034
令i=k时，则j=k+1，则智能塔吊在视角
Figure 10940DEST_PATH_IMAGE035
中的位置
Figure 835676DEST_PATH_IMAGE036
表示为：
Figure 751680DEST_PATH_IMAGE037
F、基于上述步骤A-E计算出不同视角中的智能塔吊位置，将智能塔吊位置基于视角的分布进行排列组合，生成智能塔吊的运动轨迹。
G、将智能塔吊深度信息与其他深度信息按照采集时间与智能塔吊的运动轨迹相匹配，生成物料运动轨迹。
所述监测报警单元12连接所述目标动作方案生成单元11，用于采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
具体的，将所述目标动作方案与所述预设动作方案进行匹配对比，计算匹配度，将所述匹配度与预设阈值进行比较，若匹配度与预设阈值不符，则进行报警。
在一个实施例中，所述控制中心3，还包括：3D场景画面构建模块13；
所述3D场景画面构建模块13用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
具体的，3D场景画面构建模块13结合无人机1拍摄的塔吊视频画面和塔吊深度信息，以及塔吊深度摄像机2（例如，安装在吊臂上的摄像机）拍摄的其他视频画面以及其他深度信息，构建3D场景画面，可以配合VR头盔等显示工具，实现智能塔吊作业空间环境的全景监视。
参照图2所示，一种无人机自动追踪的智能塔吊作业多维监测方法，包括：
S201、无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给控制中心。
S202、塔吊深度摄像机采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心。
具体的，所述塔吊深度摄像机安装在智能塔吊的吊臂等位置，拍摄智能塔吊与物料的视频画面（即其他视频画面）与采集智能塔吊与物料的深度信息（即其他深度信息）。
S203、监测报警模块采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警。
具体的，监测报警模块结合所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息，判断智能塔吊及其物料的位置、运动轨迹与预设动作方案是否相符，以及是否存在晃动、颤抖等异常动作，从而根据判断结果实现监测报警。
S204、调整更新模块根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新。
具体的，调整更新模块结合智能塔吊自身以及无人机上的传感器提供的塔吊环境参数，判断智能塔吊以及物料的状态参数、环境参数是否处于预定的阈值范围，一旦状态参数、环境参数偏离，则向中控室进行反馈，中控室基于反馈结果对智能塔吊的预设动作方案进行调整更新；并且，一旦发生紧急状况（如风速过大），则向中控室反馈报警信息，使中控室基于报警信息进行快速响应。
在一个实施例中，如图3所示，步骤S201，即所述无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，包括：
S2011、监测位点生成模块采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机、所述智能塔吊与所述物料之间的相对位置，生成监测位点。
具体的，智能塔吊的中控室向监测位点生成模块保持实时通信，向所述监测位点生成模块实时共享预设动作方案。
进一步地，监测位点生成模块根据预设动作方案判定智能塔吊（主要包括吊臂、缆绳、物料挂钩等部位）及其物料的预期位置，并根据预期位置与监测需求设置无人机1与智能塔吊及其物料的相对位置，进而确定无人机1自身的监测位点。
S2012、飞行路径设置模块根据所述监测位点设置飞行路径。
具体的，无人机根据所述飞行路径围绕智能塔吊进行飞行，实现对智能塔吊的追踪监测。
S2013、无人机深度摄像机基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心与监测位点调整模块。
具体的，无人机深度摄像机8能够拍摄智能塔吊及其物料的视频画面，并提取视频画面中的深度信息（即智能塔吊与物料之间的距离）。
S2014、监测位点调整模块基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点。
具体的，在无人机的飞行过程中，无人机保持对智能塔吊与物料之间的真实位置的检测，当所述智能塔吊和所述物料之间的真实位置与相对位置的位置偏差超过预设阈值时，则基于位置偏差对无人机自身的监测位点进行调整，直至智能塔吊与物料之间的真实位置和相对位置的位置偏差小于预设阈值位置，保持调整后的监测位点。
在一个实施例中，步骤S201，还包括：
S2015、环境参数传感器采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心。
具体的，塔吊环境参数包括无人机自身所在位置的风速、风级、风压等。
在一个实施例中，如图4所示，步骤S203，即监测报警模块采集预设动作方案，并基于所述塔吊视频画面与所述塔吊深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警，包括：
S2031、目标动作方案生成单元基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案。
具体的，所述目标动作方案包括智能塔吊位置、物料位置、智能塔吊运动轨迹和物料运动轨迹。
进一步地，基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案的具体步骤如下：
A、假设在对智能塔吊的追踪监测有N台深度摄像机（包括无人机深度摄像机与塔吊深度摄像机）表示为
Figure 613457DEST_PATH_IMAGE038
，并将t时刻采集得到的视频图像（包括塔吊视频画面和其他视频画面）信息用
Figure 247700DEST_PATH_IMAGE039
表示，把智能塔吊在视频画面中所在的准确位置用
Figure 610548DEST_PATH_IMAGE030
表示，其中，
Figure 646638DEST_PATH_IMAGE040
，
其中，
Figure 679316DEST_PATH_IMAGE041
表示智能塔吊在视频画面中的横坐标，
Figure 800855DEST_PATH_IMAGE042
表示智能塔吊在视频画面中的纵坐标。
B、将N台深度摄像机拍摄的视频画面的视频图像信息进行集合，表示为
Figure 967395DEST_PATH_IMAGE043
，并基于该集合估算出智能塔吊在各个视频画面中的位置集合，即
Figure 264515DEST_PATH_IMAGE044
，然后根据最大后验概率准则进行建模，具体公式如下：
Figure 795990DEST_PATH_IMAGE045
C、运用变分近似算法对联合后验概率
Figure 201564DEST_PATH_IMAGE046
进行分解，表示为:
Figure 109477DEST_PATH_IMAGE047
其中，
Figure 792262DEST_PATH_IMAGE048
表示在已知
Figure 494639DEST_PATH_IMAGE049
的条件下
Figure 387509DEST_PATH_IMAGE014
的边缘概率，其中，边缘概率
Figure 833534DEST_PATH_IMAGE050
表示为：
Figure 370825DEST_PATH_IMAGE016
其中，
Figure 244103DEST_PATH_IMAGE051
表示归一化常数，
Figure 624269DEST_PATH_IMAGE052
表示联合状态空间
Figure 280509DEST_PATH_IMAGE053
中不包含
Figure 204DEST_PATH_IMAGE054
的部分。
D、对联合概率
Figure 106700DEST_PATH_IMAGE055
进行分解，具体如下公式所示：
Figure 911845DEST_PATH_IMAGE056
其中，
Figure 637356DEST_PATH_IMAGE023
表示似然函数，
Figure 211556DEST_PATH_IMAGE057
表示先验概率，
Figure 488954DEST_PATH_IMAGE058
表示N台深度摄像机，
Figure 515816DEST_PATH_IMAGE059
表示两两重叠视域的深度摄像机集合，
Figure 45017DEST_PATH_IMAGE060
表示视角
Figure 270462DEST_PATH_IMAGE061
的本地似然函数，
Figure 656444DEST_PATH_IMAGE062
表示随机向量
Figure 373864DEST_PATH_IMAGE063
和
Figure 503495DEST_PATH_IMAGE064
之间的势函数。
E、基于上述分解后的联合概率
Figure 849025DEST_PATH_IMAGE065
计算边缘概率
Figure 671488DEST_PATH_IMAGE066
，计算公式如下：
Figure 610625DEST_PATH_IMAGE067
令i=k时，则j=k+1，则智能塔吊在视角
Figure 543946DEST_PATH_IMAGE068
中的位置
Figure 743983DEST_PATH_IMAGE069
表示为：
Figure 737347DEST_PATH_IMAGE070
F、基于上述步骤A-E计算出不同视角中的智能塔吊位置，将智能塔吊位置基于视角的分布进行排列组合，生成智能塔吊的运动轨迹。
G、将智能塔吊深度信息与其他深度信息按照采集时间与智能塔吊的运动轨迹相匹配，生成物料运动轨迹。
S2032、监测报警单元采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
具体的，根据所述行程模式对应的数据集组成模式，组织数据源和数据类型，以及设定数据更新方式，生成针对所述用户旅途行程的大数据集。
在一个实施例中，还包括：
S205、3D场景画面构建模块基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
具体的，3D场景画面构建模块13结合无人机1拍摄的塔吊视频画面和塔吊深度信息，以及塔吊深度摄像机2（例如，安装在吊臂上的摄像机）拍摄的其他视频画面以及其他深度信息，构建3D场景画面，可以配合VR头盔等显示工具，实现智能塔吊作业空间环境的全景监视。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种无人机自动追踪的智能塔吊作业多维监测系统，其特征在于，包括：无人机、塔吊深度摄像机和控制中心；其中，所述控制中心包括：监测报警模块和调整更新模块；
所述无人机用于采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给所述控制中心；
所述塔吊深度摄像机用于采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心；
所述监测报警模块用于采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警；所述目标动作方案包括智能塔吊位置、物料位置、智能塔吊运动轨迹和物料运动轨迹；
所述调整更新模块用于根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新；
所述无人机，包括：监测位点生成模块、飞行路径设置模块、无人机深度摄像机、监测位点调整模块；
所述监测位点生成模块用于采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机、所述智能塔吊与所述物料之间的相对位置，生成监测位点；其中，监测位点生成模块根据预设动作方案判定智能塔吊及其物料的预期位置，并根据预期位置与监测需求设置无人机与智能塔吊及其物料的相对位置，进而确定无人机自身的监测位点；
所述飞行路径设置模块连接所述监测位点生成模块，用于根据所述监测位点设置飞行路径；
所述无人机深度摄像机用于基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心与所述监测位点调整模块；
所述监测位点调整模块用于基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点；
所述监测报警模块，包括：目标动作方案生成单元，监测报警单元；
所述目标动作方案生成单元用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案；其中，基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案的具体步骤为：假设在对智能塔吊的追踪监测有N台深度摄像机表示为
Figure 275130DEST_PATH_IMAGE001
，并将t时刻采集得到的视频图像信息用
Figure 739609DEST_PATH_IMAGE002
表示，把智能塔吊在视频画面中所在的准确位置用
Figure 346171DEST_PATH_IMAGE003
表示，其中，
Figure 870693DEST_PATH_IMAGE004
，
其中，
Figure 326820DEST_PATH_IMAGE005
表示智能塔吊在视频画面中的横坐标，
Figure 532674DEST_PATH_IMAGE006
表示智能塔吊在视频画面中的纵坐标；
将N台深度摄像机拍摄的视频画面的视频图像信息进行集合，表示为
Figure 321638DEST_PATH_IMAGE007
，并基于集合
Figure 954745DEST_PATH_IMAGE009
估算智能塔吊在各个视频画面中的位置集合为：
Figure 196370DEST_PATH_IMAGE010
，根据最大后验概率准则进行建模，公式如下：
Figure 940335DEST_PATH_IMAGE011
运用变分近似算法对联合后验概率
Figure 849385DEST_PATH_IMAGE012
进行分解，表示为:
Figure 387814DEST_PATH_IMAGE013
其中，
Figure 382315DEST_PATH_IMAGE014
表示在已知
Figure 664392DEST_PATH_IMAGE015
的条件下
Figure 631211DEST_PATH_IMAGE016
的边缘概率，其中，边缘概率
Figure 402858DEST_PATH_IMAGE014
表示为：
Figure 822338DEST_PATH_IMAGE017
其中，
Figure 970422DEST_PATH_IMAGE018
表示归一化常数，Lt\lt,i表示联合状态空间
Figure 238690DEST_PATH_IMAGE020
中不包含
Figure 879887DEST_PATH_IMAGE021
的部分；
对联合概率
Figure 566084DEST_PATH_IMAGE022
进行分解，具体如下公式所示：
Figure 507495DEST_PATH_IMAGE023
其中，
Figure 558627DEST_PATH_IMAGE024
表示似然函数，
Figure 749437DEST_PATH_IMAGE025
表示先验概率，
Figure 177008DEST_PATH_IMAGE026
表示N台深度摄像机，
Figure 769663DEST_PATH_IMAGE027
表示两两重叠视域的深度摄像机集合，
Figure 257276DEST_PATH_IMAGE028
表示视角
Figure 138645DEST_PATH_IMAGE029
的本地似然函数，
Figure 166643DEST_PATH_IMAGE030
表示随机向量
Figure 551488DEST_PATH_IMAGE021
和
Figure 272320DEST_PATH_IMAGE031
之间的势函数；
基于上述分解后的联合概率
Figure 873940DEST_PATH_IMAGE022
计算边缘概率
Figure 705630DEST_PATH_IMAGE014
，计算公式如下：
Figure 944981DEST_PATH_IMAGE032
令i=k时，则j=k+1，则智能塔吊在视角
Figure 836714DEST_PATH_IMAGE033
中的位置
Figure 427095DEST_PATH_IMAGE034
表示为：
Figure 796897DEST_PATH_IMAGE035
基于上述步骤计算出不同视角中的智能塔吊位置，将智能塔吊位置基于视角的分布进行排列组合，生成智能塔吊的运动轨迹；将智能塔吊深度信息与其他深度信息按照采集时间与智能塔吊的运动轨迹相匹配，生成物料运动轨迹；
所述监测报警单元连接所述目标动作方案生成单元，用于采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
2.如权利要求1所述的一种无人机自动追踪的智能塔吊作业多维监测系统，其特征在于，所述无人机，还包括：环境参数传感器；
所述环境参数传感器用于采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心。
3.如权利要求1所述的一种无人机自动追踪的智能塔吊作业多维监测系统，其特征在于，所述控制中心，还包括：3D场景画面构建模块；
所述3D场景画面构建模块用于基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
4.一种无人机自动追踪的智能塔吊作业多维监测方法，其特征在于，包括：
无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，并将所述塔吊视频画面、所述塔吊深度信息与所述塔吊环境参数传输给控制中心；
塔吊深度摄像机采集其他视频画面和其他深度信息，并将所述其他视频画面和所述其他深度信息发送给所述控制中心；
监测报警模块采集预设动作方案，并基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和所述其他深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警；所述目标动作方案包括智能塔吊位置、物料位置、智能塔吊运动轨迹和物料运动轨迹；
调整更新模块根据所述塔吊环境参数对目标状态和目标环境参数进行判断，将判断结果反馈给中控室进行调整更新；
所述无人机采集塔吊视频画面、塔吊深度信息与塔吊环境参数，包括：
监测位点生成模块采集所述预设动作方案，基于所述预设动作方案和监测需求设置所述无人机、所述智能塔吊与所述物料之间的相对位置，生成监测位点；其中，监测位点生成模块根据预设动作方案判定智能塔吊及其物料的预期位置，并根据预期位置与监测需求设置无人机与智能塔吊及其物料的相对位置，进而确定无人机自身的监测位点；
飞行路径设置模块根据所述监测位点设置飞行路径；
无人机深度摄像机基于所述飞行路径采集所述塔吊视频画面和所述塔吊深度信息，并将所述塔吊视频画面和所述塔吊深度信息传输给所述控制中心与监测位点调整模块；
监测位点调整模块基于所述塔吊视频画面和所述塔吊深度信息生成所述智能塔吊和所述物料之间的真实位置，并基于所述智能塔吊和所述物料之间的真实位置与所述相对位置调整所述监测位点；
所述监测报警模块采集预设动作方案，并基于所述塔吊视频画面与所述塔吊深度信息生成目标动作方案，将所述目标动作方案与所述预设动作方案进行对比，根据对比结果进行监测报警，包括：
目标动作方案生成单元基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案；其中，基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面与所述其他深度信息生成目标动作方案的具体步骤为：假设在对智能塔吊的追踪监测有N台深度摄像机表示为
Figure 421913DEST_PATH_IMAGE036
，并将t时刻采集得到的视频图像信息用
Figure 218968DEST_PATH_IMAGE037
表示，把智能塔吊在视频画面中所在的准确位置用
Figure 31066DEST_PATH_IMAGE021
表示，其中，
Figure 673400DEST_PATH_IMAGE038
，
其中，
Figure 949660DEST_PATH_IMAGE039
表示智能塔吊在视频画面中的横坐标，
Figure 120879DEST_PATH_IMAGE040
表示智能塔吊在视频画面中的纵坐标；
将N台深度摄像机拍摄的视频画面的视频图像信息进行集合，表示为
Figure 482590DEST_PATH_IMAGE041
，并基于集合
Figure 131877DEST_PATH_IMAGE009
估算智能塔吊在各个视频画面中的位置集合为：
Figure 528223DEST_PATH_IMAGE042
，根据最大后验概率准则进行建模，公式如下：
Figure 634457DEST_PATH_IMAGE011
运用变分近似算法对联合后验概率
Figure 421148DEST_PATH_IMAGE012
进行分解，表示为:
Figure 936443DEST_PATH_IMAGE013
其中，
Figure 124979DEST_PATH_IMAGE043
表示在已知
Figure 700317DEST_PATH_IMAGE015
的条件下
Figure 974303DEST_PATH_IMAGE016
的边缘概率，其中，边缘概率
Figure 293289DEST_PATH_IMAGE043
表示为：
Figure 336331DEST_PATH_IMAGE017
其中，
Figure 82570DEST_PATH_IMAGE018
表示归一化常数，Lt\lt,i表示联合状态空间
Figure 904213DEST_PATH_IMAGE020
中不包含
Figure 864079DEST_PATH_IMAGE021
的部分；
对联合概率
Figure 984481DEST_PATH_IMAGE022
进行分解，具体如下公式所示：
Figure 731595DEST_PATH_IMAGE023
其中，
Figure 595646DEST_PATH_IMAGE024
表示似然函数，
Figure 613281DEST_PATH_IMAGE025
表示先验概率，
Figure 966902DEST_PATH_IMAGE026
表示N台深度摄像机，
Figure 437197DEST_PATH_IMAGE027
表示两两重叠视域的深度摄像机集合，
Figure 636097DEST_PATH_IMAGE028
表示视角
Figure 508238DEST_PATH_IMAGE029
的本地似然函数，
Figure 32761DEST_PATH_IMAGE030
表示随机向量
Figure 990352DEST_PATH_IMAGE021
和
Figure 196206DEST_PATH_IMAGE031
之间的势函数；
基于上述分解后的联合概率
Figure 985170DEST_PATH_IMAGE022
计算边缘概率
Figure 352698DEST_PATH_IMAGE043
，计算公式如下：
Figure 555841DEST_PATH_IMAGE032
令i=k时，则j=k+1，则智能塔吊在视角
Figure 362123DEST_PATH_IMAGE033
中的位置
Figure 943277DEST_PATH_IMAGE034
表示为：
Figure 809601DEST_PATH_IMAGE035
基于上述步骤计算出不同视角中的智能塔吊位置，将智能塔吊位置基于视角的分布进行排列组合，生成智能塔吊的运动轨迹；将智能塔吊深度信息与其他深度信息按照采集时间与智能塔吊的运动轨迹相匹配，生成物料运动轨迹；
监测报警单元采集预设动作方案，将所述目标动作方案与所述预设动作方案进行对比，若所述目标动作方案与所述预设动作方案不符，则进行报警。
5.如权利要求4所述的一种无人机自动追踪的智能塔吊作业多维监测方法，其特征在于，还包括：
环境参数传感器采集塔吊环境参数，并将所述塔吊环境参数传输给所述控制中心。
6.如权利要求4所述的一种无人机自动追踪的智能塔吊作业多维监测方法，其特征在于，还包括：
3D场景画面构建模块基于所述塔吊视频画面、所述塔吊深度信息、所述其他视频画面和其他深度信息构建3D场景画面，并显示所述3D场景画面。
CN202110800829.XA 2021-07-15 2021-07-15 一种无人机自动追踪的智能塔吊作业多维监测系统及方法 Active CN113253765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110800829.XA CN113253765B (zh) 2021-07-15 2021-07-15 一种无人机自动追踪的智能塔吊作业多维监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110800829.XA CN113253765B (zh) 2021-07-15 2021-07-15 一种无人机自动追踪的智能塔吊作业多维监测系统及方法

Publications (2)

Publication Number Publication Date
CN113253765A CN113253765A (zh) 2021-08-13
CN113253765B true CN113253765B (zh) 2022-01-04

Family

ID=77180394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110800829.XA Active CN113253765B (zh) 2021-07-15 2021-07-15 一种无人机自动追踪的智能塔吊作业多维监测系统及方法

Country Status (1)

Country Link
CN (1) CN113253765B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205087823U (zh) * 2015-11-16 2016-03-16 周宏� 塔吊吊钩视频追踪辅助操作装置
DE102016004250A1 (de) * 2016-04-08 2017-10-12 Liebherr-Components Biberach Gmbh Verfahren und Vorrichtung zum Steuern eines Krans, eines Baggers, einer Raupe oder einer ähnlichen Baumaschine
CN107244422A (zh) * 2017-08-11 2017-10-13 成都希德电子信息技术有限公司 塔吊施工用无人机辅助系统
CN211056549U (zh) * 2019-11-13 2020-07-21 中联重科股份有限公司 用于检测空间障碍物的系统及工程机械
CN112125184B (zh) * 2020-09-20 2021-08-06 中国科学院武汉岩土力学研究所 一种建筑施工塔吊监测预警方法
CN112875519A (zh) * 2021-02-03 2021-06-01 山西一建集团有限公司 一种基于5g的塔式起重机远程管控系统及其方法
CN112925337B (zh) * 2021-02-03 2022-12-13 南京市特种设备安全监督检验研究院 一种大型起重机金属结构多旋翼无人机自动巡检方法

Also Published As

Publication number Publication date
CN113253765A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN111932588B (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN108445767B (zh) 一种基于无人机的可视化现场安全监督管理系统
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
US9955074B2 (en) Target tracking method and system for intelligent tracking high speed dome camera
CN109887040A (zh) 面向视频监控的运动目标主动感知方法及系统
CN112653844A (zh) 一种摄像头云台转向自适应跟踪调节方法
CN101873477B (zh) 一种利用快球跟踪系统实现监控的方法及装置
CN105744234B (zh) 一种基于像素差分比的跟踪运动目标联动方法及其系统
CN103188431A (zh) 控制无人飞行载具进行影像采集的系统及方法
CN110703760B (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN105739544B (zh) 云台航向跟随方法及装置
CN111474953A (zh) 多动态视角协同的空中目标识别方法及系统
CN107592508A (zh) 一种智能追踪识别系统
CN107948946A (zh) 一种工业场所高精度人员定位球型摄像机跟踪方法
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
CN113253765B (zh) 一种无人机自动追踪的智能塔吊作业多维监测系统及方法
CN104820435A (zh) 基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法
CN114967731A (zh) 一种基于无人机的野外人员自动搜寻方法
CN112947550A (zh) 一种基于视觉伺服的非法飞行器打击方法及机器人
KR20210041330A (ko) 체결공구 시스템 및 그 제어 방법
CN111741255A (zh) 一种基于输电线路三维场景调整摄像机位置的方法
CN113965733A (zh) 双目视频监控方法、系统、计算机设备及存储介质
CN109799844B (zh) 一种云台摄像头的动态目标追踪系统及方法
CN113467504B (zh) 一种飞行器飞行稳定控制方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant