CN114572837B - 驾驶舱下置的智能塔吊控制方法和系统 - Google Patents

驾驶舱下置的智能塔吊控制方法和系统 Download PDF

Info

Publication number
CN114572837B
CN114572837B CN202210077238.9A CN202210077238A CN114572837B CN 114572837 B CN114572837 B CN 114572837B CN 202210077238 A CN202210077238 A CN 202210077238A CN 114572837 B CN114572837 B CN 114572837B
Authority
CN
China
Prior art keywords
main beam
virtual reality
tower
panoramic
tower crane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210077238.9A
Other languages
English (en)
Other versions
CN114572837A (zh
Inventor
陈德木
蒋云
赵晓东
陆建江
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Original Assignee
Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dajie Intelligent Transmission Technology Co Ltd filed Critical Hangzhou Dajie Intelligent Transmission Technology Co Ltd
Priority to CN202210077238.9A priority Critical patent/CN114572837B/zh
Publication of CN114572837A publication Critical patent/CN114572837A/zh
Application granted granted Critical
Publication of CN114572837B publication Critical patent/CN114572837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种驾驶舱下置的智能塔吊控制方法和系统。该方法包括：全景视频模拟器根据塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；虚拟现实设备根据所述用户选择切换虚拟现实设备到高空操作模式或下置操作模式时，开启或关闭模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行塔吊操作。本申请现场全景视频采集方式使得位于驾驶舱下置智能塔吊中控室内的操作人员能够根据现场施工需要，智能、灵活的切换高低空视角，极大丰富了塔吊的智能控制功能和控制效果。

Description

驾驶舱下置的智能塔吊控制方法和系统
技术领域
本申请涉及智能塔吊技术领域，尤其涉及一种驾驶舱下置的智能塔吊控制方法和系统。
背景技术
目前的塔吊，基本都是人员在塔吊上的塔身和主横梁交界处进行操控。对于塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
目前的控制塔吊，分为两种，一种是驾驶舱上置的塔吊，驾驶舱位于主横梁和塔身交界附近，控制人员只能根据进行高空观察，当物料位于地面时，驾驶员往往由于距离地面太远看不清楚而影响操作的准确性；另一种是驾驶舱下置的塔吊，驾驶舱位于塔身地面附近，控制人员只能根据进行低空或地面观察，当物料位于高空时，驾驶员往往由于距离高空太远看不清楚而影响操作的准确性，可能导致操作不准确甚至失误等问题。
发明内容
有鉴于此，本申请的目的在于提出一种驾驶舱下置的智能塔吊控制方法和系统，本申请能够针对性的解决现有的塔吊高低空控制问题。
基于上述目的，本申请提出了一种驾驶舱下置的智能塔吊控制方法，包括：
在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；
所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；
当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；
当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。
进一步地，所述下置操作模式时，所述虚拟现实设备切换为遮光太阳镜功能。
进一步地，所述在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器，包括：
在塔吊塔身和主横梁交界处安装至少六个摄像头，所述六个摄像头分别对准所述塔身和主横梁交界处的前、后、左、右、上、下六个方位；
所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。
进一步地，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；
将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；
利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；
计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；
将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
进一步地，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述塔身和主横梁交界处不同方向的视频图像进行图像增强处理；
根据预设查找表文件和图像增强后的所述塔身和主横梁交界处不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述塔身和主横梁交界处正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；所述塔身和主横梁交界处正前方是指主横梁指向吊钩的方向；
根据拼接后的所述塔身和主横梁交界处不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
进一步地，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过FPGA分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过FPGA进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
进一步地，所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式，包括：
高度传感器将吊钩高度信息发送给塔吊控制器；
塔吊控制器根据所述吊钩高度信息查找当前塔吊任务适合高空观察还是地面观察；
根据当前塔吊任务适合高空观察，提示用户切换佩戴的虚拟现实设备的工作模式到高空操作模式；
根据当前塔吊任务适合地面观察，提示用户切换佩戴的虚拟现实设备的工作模式到下置操作模式。
基于上述目的，本申请还提出了一种驾驶舱下置的智能塔吊控制系统，包括：
传感器模块，用于在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
全景拼接模块，用于所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；
模式选择模块，用于所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；
高空模式模块，用于当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；
下置模式模块，用于当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。
总的来说，本申请的优势及给用户带来的体验在于：
本申请现场全景视频采集方式使得位于驾驶舱下置智能塔吊中控室内的操作人员能够根据现场施工需要，智能、灵活的切换高低空视角，极大丰富了塔吊的智能控制功能和控制效果。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的系统架构原理示意图。
图2示出根据本申请实施例的驾驶舱下置的智能塔吊控制方法的流程图。
图3示出根据本申请实施例的驾驶舱下置的智能塔吊控制系统的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的系统架构原理示意图。本申请的实施例中，设备包括电动受控塔吊(含塔吊塔身和主横梁交界处)、至少2个摄像头、高度传感器、全景视频模拟器、虚拟现实VR头盔、塔吊控制器等。电动受控塔吊至少包括塔吊主体、主横梁、挂钩、夹具及下置驾驶舱，下置驾驶舱包含塔吊控制器，能够接收塔吊操作指令并执行相应的操作，控制塔吊执行相应的任务。
全景视频模拟器根据塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；虚拟现实设备根据所述用户选择切换虚拟现实设备到高空操作模式或下置操作模式时，开启或关闭模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行塔吊操作。
图2示出根据本申请实施例的驾驶舱下置的智能塔吊控制方法的流程图。如图2所示，该驾驶舱下置的智能塔吊控制方法包括：
步骤101：在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
本实施例中，在塔吊塔身和主横梁交界处安装至少六个摄像头，所述六个摄像头分别对准所述塔身和主横梁交界处的前、后、左、右、上、下六个方位；
所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。
为了使得操作员的远程操作可以比拟真实场景，本申请提出通过采集电动受控塔吊塔身和主横梁交界处的多个方位上的视频图像并进行全景拼接，模拟高空施工环境视频场景并呈现给用户，可以使得用户产生身临其境的感觉，从而更加准确的进行塔吊施工。
在本实施例中，由于现实塔吊包括多种类型，对于移动型塔吊来说，所述电动受控塔吊还可以进一步包括运输车，所述运输车能够承载所述塔吊主体模型并进行根据所述程控计算机的指令进行相应移动，以执行现实的塔吊任务。
步骤102：全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备。
在本发明中，设计了三种全景视频拼接算法来实现驾驶室多角度视频的拼接，从而产生360度全景感受。
第一种全景拼接算法包括：
通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；
将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；
利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；
计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；
将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
第二种全景拼接算法包括：
采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述塔身和主横梁交界处不同方向的视频图像进行图像增强处理；
根据预设查找表文件和图像增强后的所述塔身和主横梁交界处不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述塔身和主横梁交界处正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；所述塔身和主横梁交界处正前方是指主横梁指向吊钩的方向；
根据拼接后的所述塔身和主横梁交界处不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
第三种全景拼接算法包括：(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过FPGA分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过FPGA进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
上面的三种全景拼接算法，可以根据施工现场的具体情况、复杂程度、并考虑硬件和软件的实施成本，选择其中一种实施即可。
步骤103：高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式，包括：
高度传感器将吊钩高度信息发送给塔吊控制器；
塔吊控制器根据所述吊钩高度信息查找当前塔吊任务适合高空观察还是地面观察；这里的查找是根据本行业高低空操作指南或者行业通例进行整理的表格查找，例如首先按照各种钢材、木料、水泥等塔吊任务适合高空或地面观察操作的高度惯例设计的预制表格，并存入数据库中备查，例如下表：
Figure BDA0003484532020000071
根据当前塔吊任务适合高空观察，提示用户切换佩戴的虚拟现实设备的工作模式到高空操作模式；VR头盔可以通过语音、显示屏视频提示等形式对驾驶员进行提示，并提供对话框或者按钮等模式供驾驶员选择是或否或者提供选项点击等等。当然，用户可以选择切换到高空操作模式，也可以根据自身情况和现场施工实际，选择不切换到高空操作模式，继续采用下置操作模式。如此，驾驶员可以灵活的进行选择和控制，自主性强，又具有智能化。
根据当前塔吊任务适合地面观察，提示用户切换佩戴的虚拟现实设备的工作模式到下置操作模式。当然，用户可以选择切换到下置操作模式，也可以根据自身情况和现场施工实际，选择不切换到下置操作模式，继续采用高空操作模式。如此，驾驶员可以灵活的进行选择和控制，自主性强，又具有智能化。
所述下置操作模式时，所述虚拟现实设备切换为遮光太阳镜功能。驾驶舱操作员相当于佩戴了一个普通太阳镜，可以直接进行地面观察和操作。
步骤104：当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作。
例如，操作者戴着VR头盔，根据VR的自动提示进行操作，可以通过VR头盔直接观看和操作塔吊的高空全景施工过程，与此同时也不需要频繁戴上或者摘下VR头盔，能够产生身临其境的高空操作感受。
步骤105：当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作，以执行相应的塔吊施工任务。
例如，操作者戴着VR头盔，根据VR的自动提示进行操作，可以通过VR头盔直接观看和操作塔吊的地面施工过程，与此同时也不需要频繁戴上或者摘下VR头盔。
本申请现场全景视频采集方式使得位于驾驶舱下置智能塔吊中控室内的操作人员能够根据现场施工需要，智能、灵活的切换高低空视角，极大丰富了塔吊的智能控制功能和控制效果。
申请实施例提供了一种驾驶舱下置的智能塔吊控制系统，该系统用于执行上述实施例所述的驾驶舱下置的智能塔吊控制方法，如图3所示，该系统包括：
传感器模块501，用于在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
全景拼接模块502，用于所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；
模式选择模块503，用于所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；
高空模式模块504，用于当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；
下置模式模块505，用于当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。
本申请的上述实施例提供的驾驶舱下置的智能塔吊控制系统与本申请实施例提供的驾驶舱下置的智能塔吊控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的驾驶舱下置的智能塔吊控制方法对应的电子设备，以执行上驾驶舱下置的智能塔吊控制方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的驾驶舱下置的智能塔吊控制方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述驾驶舱下置的智能塔吊控制方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的驾驶舱下置的智能塔吊控制方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的驾驶舱下置的智能塔吊控制方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的驾驶舱下置的智能塔吊控制方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的驾驶舱下置的智能塔吊控制方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种驾驶舱下置的智能塔吊控制方法，其特征在于，包括：
在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；
所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；
当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；
当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。
2.根据权利要求1所述的方法，其特征在于，
所述下置操作模式时，所述虚拟现实设备切换为遮光太阳镜功能。
3.根据权利要求2所述的方法，其特征在于，
所述在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器，包括：
在塔吊塔身和主横梁交界处安装至少六个摄像头，所述六个摄像头分别对准所述塔身和主横梁交界处的前、后、左、右、上、下六个方位；
所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。
4.根据权利要求3所述的方法，其特征在于，
所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；
将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；
利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；
计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；
将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
5.根据权利要求3所述的方法，其特征在于，
所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述塔身和主横梁交界处不同方向的视频图像进行图像增强处理；
根据预设查找表文件和图像增强后的所述塔身和主横梁交界处不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述塔身和主横梁交界处正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；所述塔身和主横梁交界处正前方是指主横梁指向吊钩的方向；
根据拼接后的所述塔身和主横梁交界处不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
6.如权利要求3所述的方法，其特征在于，
所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过FPGA分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过FPGA进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
7.根据权利要求4－6任一项所述的方法，其特征在于，
所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式，包括：
高度传感器将吊钩高度信息发送给塔吊控制器；
塔吊控制器根据所述吊钩高度信息查找当前塔吊任务适合高空观察还是地面观察；
根据当前塔吊任务适合高空观察，提示用户切换佩戴的虚拟现实设备的工作模式到高空操作模式；
根据当前塔吊任务适合地面观察，提示用户切换佩戴的虚拟现实设备的工作模式到下置操作模式。
8.一种驾驶舱下置的智能塔吊控制系统，其特征在于，包括：
传感器模块，用于在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；
全景拼接模块，用于所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；
模式选择模块，用于所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；
高空模式模块，用于当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；
下置模式模块，用于当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1－7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1－7中任一项所述的方法。
CN202210077238.9A 2022-01-24 2022-01-24 驾驶舱下置的智能塔吊控制方法和系统 Active CN114572837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210077238.9A CN114572837B (zh) 2022-01-24 2022-01-24 驾驶舱下置的智能塔吊控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210077238.9A CN114572837B (zh) 2022-01-24 2022-01-24 驾驶舱下置的智能塔吊控制方法和系统

Publications (2)

Publication Number Publication Date
CN114572837A CN114572837A (zh) 2022-06-03
CN114572837B true CN114572837B (zh) 2023-06-02

Family

ID=81769458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210077238.9A Active CN114572837B (zh) 2022-01-24 2022-01-24 驾驶舱下置的智能塔吊控制方法和系统

Country Status (1)

Country Link
CN (1) CN114572837B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100037257A (ko) * 2008-10-01 2010-04-09 주식회사 서부에너지기술 지능형 영상 시스템을 이용한 타워 크레인의 작업 상황 감시 방법
CN204211372U (zh) * 2014-07-23 2015-03-18 杜颂庶 起重设备视频辅助系统塔吊眼
CN208054744U (zh) * 2018-03-01 2018-11-06 中建八局第一建设有限公司 一种塔吊吊钩全景监控装置及系统
CN111847258A (zh) * 2020-07-07 2020-10-30 中建三局集团有限公司 一种塔式起重机远程监控系统
KR20210058635A (ko) * 2019-11-14 2021-05-24 인하대학교 산학협력단 무인 타워크레인의 원격 조종을 위한 정보 제공 시스템
CN113938648A (zh) * 2021-09-13 2022-01-14 杭州大杰智能传动科技有限公司 用于塔吊辅助操作的现场全景视频采集方法
CN113938647A (zh) * 2021-09-13 2022-01-14 杭州大杰智能传动科技有限公司 用于智慧工地的智能塔吊作业全景监控还原方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100037257A (ko) * 2008-10-01 2010-04-09 주식회사 서부에너지기술 지능형 영상 시스템을 이용한 타워 크레인의 작업 상황 감시 방법
CN204211372U (zh) * 2014-07-23 2015-03-18 杜颂庶 起重设备视频辅助系统塔吊眼
CN208054744U (zh) * 2018-03-01 2018-11-06 中建八局第一建设有限公司 一种塔吊吊钩全景监控装置及系统
KR20210058635A (ko) * 2019-11-14 2021-05-24 인하대학교 산학협력단 무인 타워크레인의 원격 조종을 위한 정보 제공 시스템
CN111847258A (zh) * 2020-07-07 2020-10-30 中建三局集团有限公司 一种塔式起重机远程监控系统
CN113938648A (zh) * 2021-09-13 2022-01-14 杭州大杰智能传动科技有限公司 用于塔吊辅助操作的现场全景视频采集方法
CN113938647A (zh) * 2021-09-13 2022-01-14 杭州大杰智能传动科技有限公司 用于智慧工地的智能塔吊作业全景监控还原方法和系统

Also Published As

Publication number Publication date
CN114572837A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN113938647B (zh) 用于智慧工地的智能塔吊作业全景监控还原方法和系统
CN103596812B (zh) 停车辅助装置
EP2942717A1 (en) Apparatus and method for providing augmented reality for maintenance applications
CN108012083A (zh) 人脸采集方法、装置及计算机可读存储介质
CN105100600A (zh) 用于全景可视系统中的自动校准的方法和装置
CN113938648B (zh) 用于塔吊辅助操作的现场全景视频采集方法
JP6110780B2 (ja) 付加情報表示システム
CN108169765A (zh) 提高自动驾驶可靠性的方法及电子设备
US20240144619A1 (en) Augmented photo capture
CN111222190A (zh) 一种古建筑管理系统
CN114604760B (zh) 驾驶舱下置的智能塔吊结构及其控制方法
CN108162973A (zh) 提高自动驾驶可靠性的装置及自动驾驶系统
CA3120722C (en) Method and apparatus for planning sample points for surveying and mapping, control terminal and storage medium
CN114572837B (zh) 驾驶舱下置的智能塔吊控制方法和系统
CN111125270A (zh) 地图构建和加载的方法及装置
CN116208855B (zh) 一种多塔机云台全景图像抖动协调抑制方法和系统
JP6854631B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
US10983672B2 (en) Augmented reality model alignment
CN105321186A (zh) 一种基于正射投影的封闭空间地图采集方法及装置
JP2019096036A (ja) 構造物撤去シミュレーション
CN113920242A (zh) 基于驾驶场景虚拟现实的智能塔吊视频辅助教学方法
JP2001099670A (ja) ナビゲーション装置
US10969480B2 (en) Method and system for mapping a work site
EP4030392A1 (en) Creation of 3d reference outlines
JP2018013877A (ja) 情報共有支援システム、情報共有支援方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant