CN103332597B - 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法 - Google Patents

一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法 Download PDF

Info

Publication number
CN103332597B
CN103332597B CN201310284021.6A CN201310284021A CN103332597B CN 103332597 B CN103332597 B CN 103332597B CN 201310284021 A CN201310284021 A CN 201310284021A CN 103332597 B CN103332597 B CN 103332597B
Authority
CN
China
Prior art keywords
key position
image
picture pick
camera
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310284021.6A
Other languages
English (en)
Other versions
CN103332597A (zh
Inventor
刘达
耿虹海
杨赓
任智勇
武海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO DAXIE CHINA MERCHANTS INTERNATIONAL CONTAINER TERMINALS Co Ltd
Original Assignee
NINGBO DAXIE CHINA MERCHANTS INTERNATIONAL CONTAINER TERMINALS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO DAXIE CHINA MERCHANTS INTERNATIONAL CONTAINER TERMINALS Co Ltd filed Critical NINGBO DAXIE CHINA MERCHANTS INTERNATIONAL CONTAINER TERMINALS Co Ltd
Priority to CN201310284021.6A priority Critical patent/CN103332597B/zh
Publication of CN103332597A publication Critical patent/CN103332597A/zh
Application granted granted Critical
Publication of CN103332597B publication Critical patent/CN103332597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control And Safety Of Cranes (AREA)

Abstract

本发明公开一种基于主动视觉技术的起重机远程操作用监控系统,包括有主控机和摄像设备,其中,主控机安装有图像处理软件,并通过数据I/O接口与服务器连接配合,摄像设备摄取集装箱装卸现场图像,并由所述主控机控制、处理获得各操作步骤所需要关注的关键部位的图像,将关键部位的图像传输至显示设备显示,操作者根据所述显示设备上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。本发明的优点在于:利用主动视觉技术,通过摄像设备摄取操作现场图像,并处理获得各操作所需关注的关键部位的图像通过显示设备显示,实现各操作步骤的远程监控、操作,本监控系统投入成本低,维护简单,能实现全天候工作。

Description

一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
技术领域
本发明涉及集装箱码头或堆场用集装箱门式或桥式起重机远程操作用的视频监控技术,尤其涉及一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法。
背景技术
集装箱码头或堆场作业时,集装箱起重机司机通常是坐在司机室弯着腰,低着头操作设备;操作时设备本身晃动就比较大,加上一直弯腰低头,司机很容易疲劳,且容易患腰椎或颈椎损伤等方面的职业病。改为远程操作,司机可坐在远离设备的工作环境较好的操作室内,面对显示器图像来操纵设备,可大大改善司机的作业环境,减小司机的体力消耗,如在此基础上实现起重机的半自动或全自动驾驶,一名司机可同时看几台设备,这样还可大大节省司机人工成本的投入,这在码头竞争日益激烈的今天,意义重大。
远程操作监控系统的核心是通过摄像机等传感器代替人眼将设备操作时所需的图像采集并传给远程的操作人员,尤其是其中抓箱过程中吊具与集装箱对准时的图像及卸箱时被吊集装箱底部箱角与拟被压的集装箱箱角、地面箱角划线、集卡拖板或集装箱船舱盖板或舱底上的集箱定位锁头对准的图像。目前常用的远程操作视频监控系统有两种,一种是基于激光扫描的系统,即通过安装在起重机上的激光扫描仪及摄像机,对堆放的集装箱堆存状况进行轮廓扫描及拍摄,将扫描的结果实时转换成三维的图形呈现在远程操作人员的显示器上,从而引导司机装卸集装箱,这种系统的缺点在于一次性投入大,维保成本高,且激光扫描仪在使用时,对环境要求很高,雾天、雨天、扫描镜头表面的灰尘都会对扫描结果产生影响。另一种是:直接在不同操作步骤时须看清楚的目标附近安装不同的摄像机,以拍取集装箱装卸操作作业所需的实时视频图像,如RTG及RMG为看清待卸集装箱与集卡车8车板的相对位置,就在鞍梁安装摄像头、为看清吊具与待抓集装箱的相对位置,就在吊具四个角上装上4个摄像头,为看清作业全景及待堆存相邻列位集装箱堆存情况,在司机室地底部装上3个摄像头。在不同操作步骤时上述摄像头将所需的实时视频拍摄,远传到中控室,作为司机操作的依据;上述方案的缺点不同步骤需不同的摄像头,需安装的摄像头众多,同时视频传输量大,所需视频设备及信号传送设备的成本高,传输所占带宽多。且由于拍摄的目标均在运动,故远程呈现的视频图像均有较大的变形,成像效果不直观,操作人员需从众多图像中挑选自己需要的图像,或将多个图像组合才能看清。这样远程操作台显示屏上图像多且不清晰,人机界面不理想,影响操作效率。
综上所述,现有的监控技术均是被动的系统,即均是将现场操作相关的场景全部无选择得呈现给操作司机,司机在操作时,还需在这些全场景图像中寻找、选择操作所需的关键部分的图像。这样一方面需远传给远程的司机操控台的视频图像占用的带宽大,所需设备成本高,另一方面司机操作时还在全景图中寻找、选择关键部位工作量大、效率也低。
随着科学的不断发展,主导视觉技术在不同的领域得到应用,它与传统视觉技术的区别在于1、主动性,即视觉系统根据需要有主动感知的能力;2、目的性。即视觉系统均是基于特定的任务和目的。主动视觉系统核心在于图像信息获取过程中,能主动调整摄像机参数(如方向、焦距、光圈大小等),使摄像机迅速对准感兴趣的物体。主导视觉技术强调注视机制,即强调对分布于不同空间范围不同时间段上的信号,采用不同的分辨率有选择地感知。这种主动感知既可通过在硬件层动通过对摄像机物理参数调整来实现,也可在基于被动摄像机的前提下,在算法和表示层上通过对已获的的数据有选择性的处理来实现,同时该视觉系统与操作有机联系,从而形成感知/作业循环。
发明内容
本发明所要解决的技术问题是针对现有技术的现状,提供一种基于主动视觉技术的起重机远程操作用监控系统,其利用主动视觉技术,由摄像设备摄取操作现场图像,并处理获得操作所需关注的关键部位的图像通过显示设备显示,实现远程监控、操作;成本低廉,维护简单,图像简洁、准确,操作效率高,受天气、环境影响小,能够全天候工作。
本发明解决上述技术问题所采用的技术方案为:
一种基于主动视觉技术的起重机远程操作用监控系统,包括有主控机和摄像设备,其中,主控机安装有图像处理软件,并通过数据I/O接口与服务器连接配合,摄像设备摄取集装箱装卸现场图像,并由所述主控机控制、处理获得各操作步骤所需要关注的关键部位的图像,将关键部位的图像传输至显示设备显示,操作者根据所述显示设备上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。
优化的技术措施还包括:
上述的摄像设备为一台带智能云台的双镜头的主动摄像设备或2台带智能云台的单镜头主动摄像设备。
上述的主动摄像设备由图像处理软件通过模式匹配主动寻找关键部位,图像处理软件根据不同操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,主动摄像设备摄取现场图像,并将图像中包含的子图像特征与模式库中该操作步骤对应关键部位的图像特征进行比对匹配,直到匹配成功后,找到图像中与该操作步骤对应关键部位,紧盯并聚焦摄取该关键部位图像。
上述的主动摄像设备还可通过设定预置位主动寻找关键部位,主动摄像设备预先根据各操作步骤关键部位相对于摄像机的相对位置,调整好摄像机智能云台及镜头参数使摄像机对准、聚焦关键部位,并将对应的智能云台及镜头参数设定为与该操作步骤联锁的预置位,设备执行操作指令时,摄像机自动调整智能云台及镜头至该指令对应操作步骤的预置位,摄取关键部位图像。
上述的主动摄像设备通过激光测距仪主动寻找关键部位,激光测距仪安装于小车架上,根据所述激光测距仪测量换算得到摄像头到关键部位的垂直距离,由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而控制调整智能云台及摄相机镜头,摄取关键部位图像。
上述的主动摄像设备通过生产及操作指令主动寻找关键部位,根据生产及操作指令信息获得关键部位的实时高度,换算得到摄像头到关键部位的垂直距离,由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而控制调整智能云台及摄相机镜头,摄取关键部位图像。
上述的摄像设备也为至少两台能够拍摄操作现场全景图像的被动摄像设备。
上述的被动摄像设备由图像处理软件通过模式匹配获取关键部位图像,图像处理软件根据不同操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,被动摄像设备摄取现场全景图像,图像处理软件结合设备操作指令通过模式匹配从全景图像中获取仅含该操作指令对应的操作步骤的关键部位的局部图像。
上述的关键部位为吊具旋锁或吊具导板、集装箱箱角或箱角上的锁孔、集卡拖板的锁销或锁孔、画于地面的箱角线、集装轮船上堆放的集装箱顶部锁孔、或船舱底部或仓盖板上固定集箱的锁头。
一种基于主动视觉技术的起重机远程操作用监控系统的实现方法:包括以下步骤:
步骤一:摄像设备等待操作步骤对应的设备操作指令;
步骤二:接收设备操作指令自动触发摄像设备工作,摄像设备摄取集装箱装卸现场图像,并与装有图像处理软件的主控机配合获取该设备操作指令对应操作步骤所需要关注的关键部位的图像;
步骤三:将关键部位的图像传输至显示设备显示;
步骤四:操作人员根据显示设备显示的关键部位的图像在操作室远程完成该操作;
步骤五:该步骤操作完成后,摄像设备等待下一操作步骤的指令。
本发明的一种基于主动视觉技术的起重机远程操作用监控系统,利用主动视觉技术,通过摄像设备摄取操作现场图像,并处理获得各操作步骤所需关注的关键部位的图像通过显示设备显示,实现远程监控、操作;可以采用主控机控制的主动摄像设备,通过模式匹配或者设定预置位或与激光测距仪配合的方法来调整主动摄像设备智能云台的角度主动寻找关键部位,找到目标后自动调整主动摄像设备聚焦关键部位,自动调整光圈、调整焦距,获得关键部位的清晰的图像;也可以采用被动摄像设备,通过图像软件运用算法对已获得的包含有该步骤操作所需关注的关键部位全景图像流数据有选择性的处理,提取出其中操作所关注的关键部位的局部图像,以达到看清关键部位的目的。本主动视觉监控系统最终远程传输给显示设备的图像均是该操作步骤所需要的关键部位的局部的清晰的图像,因而视频传输所占带宽相对小,显示设备上显示的成像简单,清晰,克服了现有系统需要采集输送大量杂乱的视频流,视频传输占用带宽大的缺点;本主动视觉技术的监控系统的显示设备上始终聚焦显示的都是操作所需的关键部位的图像,克服了现有系统需要司机需从大量图像中寻找所需关键部位图像,减少了司机的工作量,提高操作效率;本监控系统投入成本低,维护简单,能实现全天候工作。
附图说明
图1是本发明的框架示意图;
图2是本发明的远程操作用监控系统吊装集装箱的流程图;
图3是本发明的装置安装示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
其中的附图标记为:主控机1、摄像设备2、服务器3、显示设备4、数据I/O接口5,小车架6、吊具7、集卡车8、司机室9。
实施例一:
本发明的一种基于主动视觉技术的起重机远程操作用监控系统,包括有主控机1和摄像设备2,其中,主控机1安装有图像处理软件,并通过数据I/O接口5与服务器3连接配合,摄像设备2摄取集装箱装卸现场图像,并由所述主控机1控制、处理获得各操作步骤所需要关注的关键部位的图像,将关键部位的图像传输至显示设备4显示,操作者根据所述显示设备4上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作。
实施例中,关键部位为吊具7旋锁或吊具7导板、集装箱箱角或箱角上的锁孔、集卡拖板的锁销或锁孔、画于地面的箱角线、集装轮船上堆放的集装箱顶部锁孔或船舱底或舱盖板上固定集箱的锁头。根据不同操作步骤,所需关注的关键部位不同,抓取集装箱时,所需关注的关键部位是吊具7旋锁或吊具7导板或者是待抓箱顶部箱角或箱角上的锁孔,在卸集装箱到集卡车8上时,关键部位为集卡车8拖板上的锁销,在卸集装箱到堆场上时,关键部位为待堆箱顶部的箱角的锁孔或者堆场底面上画的箱角线,在吊装集装箱到集装箱轮船上时,关键部位为集装轮船上堆放的集装箱顶部锁孔或船舱底或舱盖板上固定集箱的锁头。
上述的主控机1为工业电脑或PLC控制器;上述的显示设备4为LCD显示器或LED显示器。
实施例中,摄像设备2为一台带智能云台的双镜头的主动摄像设备或2台带智能云台的单镜头主动摄像设备;智能云台能够水平方向和垂直方向转动,使安装在其上面的摄像机可以360度无死角拍摄,采用双镜头摄像机可以同时捕抓两个目标,使在操作室远程操作的操作员能够实时掌握吊具7和集装箱的位置状态,方便其准确、快速地完成操作。
主动摄像设备安装于司机室的下方;安装位置在小车架6下司机室9下方与操作员正常操作时两眼大致平齐的直线两端,使操作员在操作室远程操作时,从显示设备4中看到的图像更为接近操作员在司机室中正常操作时所看到的图像,从而使其能够准确、快速地完成操作。
实施例中,主动摄像设备由图像处理软件通过模式匹配主动寻找关键部位,事先在主控机1上安装图像处理软件,由图像处理软件根据不同操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,并建立设备操作指令与关键部位的对应关系;当操作者操作设备时,主动摄像设备根据不同的操作步骤对应的设备操作指令,确定对应的关键部位,并将摄取现场图像所含子图像特征与模式库中该关键部位特征逐一进行比对,直到模式匹配后成功后,自动调整智能云台及摄像机镜头紧盯聚焦关键部位,并把关键部位的图像传输至显示设备4上。
主动摄像设备也可以通过设定预置位主动寻找关键部位,主动摄像设备预先根据各操作步骤关键部位相对于摄像机的相对位置,调整好摄像机智能云台及镜头参数使摄像机对准、聚焦关键部位,并将对应的智能云台及镜头参数设定为与该操作步骤联锁的预置位,设备执行操作指令时,摄像机自动调整智能云台及镜头至该指令对应操作步骤的预置位,摄取关键部位图像。
主动摄像设备预先根据各操作步骤设定预置位,其接收操作指令自动调整智能云台及摄像机镜头至预置位摄取关键部位图像;在市面很容易购得能够设定预置位的主动摄像设备,根据主动摄像设备的不同,每台摄像设备2可以设定30个至50个,甚至上百个不同的预置位,不同的操作指令对应不同的预置位。
主动摄像设备还可以通过激光测距仪确定关键部位距摄像机的垂直距离,进而通过主控机根据垂直距离调整智能云台及摄像机来主动寻找关键部位,激光测距仪安装于小车架6上,根据所述激光测距仪测量换算可得到摄像头到关键部位的垂直距离,由于关键部位距距摄像机水平方向距离是定值,由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而由主控机1控制调整控制调整智能云台及摄相机镜头,即可实现摄取关键部位图像。在市面很容易购得激光测距仪,将激光测距仪装在小车架6下,小车运行到作业列,开始动起升时,此时小车架6位于待作业箱的正上方,激光测距仪工作,能准确测得该列上离小车架6最近一层的箱的高度,不管是抓箱还是放箱,对位操作时关键部位均是最近一层箱的顶部的锁孔,根据该高度和主动摄像设备对准锁孔时镜头轴线与垂线的夹角是一一对应三角函数关系,用PLC通过简单的程序控制智能云台调整角度即可实现对准操作步骤所需的关键部位;智能云台角度调整时速度与吊具7起升速度相匹配,视觉效果与现场操作基本无异,这样就实现主动寻找关键部位过程,达到聚焦操作所需关键部位的图像的目的。
激光测距仪测量距离和主动摄像设备轴线与垂线的夹角的对应三角函数关系如下:激光测距仪测量到的主动摄像设备到关键部位的垂直距离H,关键部位与主动摄像设备水平距离B,则主动摄像设备轴线与水平方向夹角A=arctgH/B。
主动摄像设备还可以通过生产及操作指令主动寻找关键部位,根据生产及操作指令信息获得关键部位的实时高度,换算得到摄像头到关键部位的垂直距离,再由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而控制调整智能云台及摄相机镜头,摄取关键部位图像。集装箱的尺寸规格一般分为20尺和40尺,根据吊具7所处的高度是20尺还是40尺,调整智能云台的水平角度,如果操作步骤中关键部位是吊具7旋锁,根据起升译码器可知吊具7实时高度,主动摄像设备与起升机构都安装在小车架6上,主动摄像设备对准吊具7旋锁时,智能云台垂直方向夹角与吊具7离地高度有一一对应的三角函数关系,通过起升译码器获得的高度数据通过程序控制智能云台垂向角度即可对准吊具7旋锁。同理动起升时,吊具7通常位于待吊箱、待卸集卡、待卸集箱或地面的正上方,由生产作业指令可知集卡托板高度、集箱高度、堆场内待抓箱高度(堆放集箱层数及各层高度累加)、待放箱顶高度(下面堆放集箱层数及各层高度累加)、地面高度,由于这些高度值与主动摄像设备对准这些关键部位时的垂向夹角有一一对应的三角函数关系,因此根据生产作业指令获得的关键部位离地高度数据通过相应的函数关系,用PLC通过程序控制智能云台垂向角度即可对准操作步骤所需的关键部位。
摄像设备2与所述服务器3以及显示设备4之间采用无线传输连接,采用无线传输的好处在于避免在设备之间架设传输线,减少设备检修的工作量和可能造成的安全隐患。当然也可通过有线方式进行传输。
作为拓展功能,还可通过模式匹配及尺寸测量软件对视野内的视频图像进行实时处理,测出吊具7两旋锁与集装箱锁孔,被吊的集箱底部两箱角与下方的集箱顶部箱角或地面箱角线,被吊集箱底部锁孔与集卡车8拖板上的定位锁头或锁孔的前后、左右方向的偏差量,进而算出X轴、Y轴偏差值及水平面内的倾转角度,输出到主控机1,引导起重机大车、小车、倾转机构做相应调整直至偏差值缩小的允许范围,这样就能够在半自动基础上实现了起升操作或对位操作的全自动改造。
在主控机1上安装图像识别软件,可对本监控系统作进一步拓展,在吊装集装箱的同时,可对集装箱的箱号进行摄取,并通过图像识别软件识别箱号后与操作指令中的箱号进行比对,正确则确认指令并执行,不正确,则报警提醒操作员;这样可以减少系统及作业差错,并进一步减少操作员的工作强度。
此外,本监控系统还可以拓展自动保护功能。当操作员远程操作时,起重机需半自动驾驶以进一步减少操作人员,提高操作效率;即同一箱区内起重机大车、小车均根据操作指令,在GPS或译码器引导下,自动驾驶到相应的贝位和列位。起升吊具7或吊具7带箱通过操作指令获取该列位已有集箱堆放层数及箱高,自动算出已堆存的集装箱总高,通过起重机主控PLC及起升译码器,在距离已堆箱总高上方一米左右的上方设定起升自动停止,改为人工操纵完成精准的对箱操作。相对应的,本监控系统通过拓展自动保护功能,通过图像识别和尺寸测量,实时监控吊具7或待放集装箱与已堆箱的距离,当距离已堆箱高1米以内时,强制起升停止,这样可避免操作指令出错或译码器出错的情况下,吊具7或吊着的集装箱不会因自动驾驶,砸坏集装箱或集卡,造成严重的安全事故。
一种基于主动视觉技术的起重机远程操作用监控系统的实现方法:包括以下步骤:
步骤一:摄像设备2等待操作步骤对应的设备操作指令;
步骤二:接收到该步骤的设备操作指令,自动触发摄像设备2工作,摄像设备2摄取集装箱装卸现场图像,并与装有图像处理软件的主控机1配合获取该设备操作指令对应操作步骤所需要关注的关键部位的图像;
步骤三:将关键部位的图像传输至显示设备显示;
步骤四:操作人员根据显示设备4显示的关键部位的图像在操作室远程完成该操作;
步骤五:该步骤操作完成后,摄像设备2等待下一操作步骤的指令。
如图2所示,使用本监控系统吊装集装箱的过程如下:
摄像设备2处于原始位置,等待指令,操作员通过操作手柄发出起升机构下降的指令,摄像设备2主动寻找吊具7的导板,聚焦吊具7导板后检查吊具7导板状态,吊具7导板状态不正常,立即报警并停止后续操作;吊具7导板状态正常,则继续操作,吊具7导板下降,摄像设备2的焦点随之下移,吊具7导板下降过程中摄像设备2始终聚焦吊具7导板,当下降至一定高度时,摄像设备2主动聚焦待抓集装箱上部的箱角,操作员根据显示设备4上显示的图像手动完成抓箱操作,抓箱完成确认闭锁信号;闭锁信号确认后,升起集装箱并平移到卸箱工位,摄像设备2焦点移至箱号拍摄,利用图像识别软件对箱号进行比对;箱号不正确,则立即报警并停止后续操作,箱号正确,则进行卸箱工作,根据卸箱位置的不同,摄像设备2主动寻找不同的关键部位,卸集装箱到集卡车8上时,关键部位为集卡车8拖板上的锁销,在卸集装箱到堆场上时,关键部位为待堆箱顶部的箱角的锁孔或者堆场底面上画的箱角线,将箱装船时,关键部位位集装箱箱船上已堆的将被压放的集箱顶部锁孔或船上的锁头。操作员根据显示设备4上显示的图像远程操作手动完成对位、卸箱、开锁工作;卸箱完成后,空吊具7上升回位,摄像设备2也随之回位等待下一指令。
实施例二:
摄像设备2为两台能够拍摄操作现场全景图像的被动摄像设备。
被动摄像设备由图像处理软件通过模式匹配获取关键部位图像,图像处理软件根据操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,被动摄像设备摄取现场全景图像,图像处理软件通过模式匹配从全景图像中找到并提取仅含关键部位的局部图像。被动摄像设备,在不同操作步骤下,主控机1控制包含有该步骤操作所需关注的关键部位图像的被动摄像设备工作,被动摄像设备拍摄视频流后,图像处理软件对已获得的视频流进行处理,提取出其中操作所关注的关键部位的局部图像。
本主动视觉监控系统最终远程传输给显示设备4的图像均是该操作步骤所需要的关键部位的局部的清晰的图像,因而视频传输所占带宽相对小,显示设备上显示的成像简单,清晰,克服了现有系统需要采集输送大量杂乱的视频流,视频传输占用带宽大的缺点;本主动视觉技术的监控系统的显示设备4上始终聚焦显示的都是操作所需的关键部位的图像,克服了现有系统需要司机需从大量图像中寻找所需关键部位图像,减少了司机的工作量,提高操作效率;本监控系统投入成本低,维护简单,能实现全天候工作。
本发明的最佳实施例已阐明,由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims (8)

1.一种基于主动视觉技术的起重机远程操作用监控系统,包括有主控机(1)和摄像设备(2),其特征是:所述的主控机(1)安装有图像处理软件,并通过数据I/O接口(5)与服务器(3)连接配合,所述的摄像设备(2)摄取集装箱装卸现场图像,并由所述主控机(1)控制、处理获得各操作步骤所需要关注的关键部位的图像,将关键部位的图像传输至显示设备(4)显示,操作者根据所述显示设备(4)上显示的图像在操作室中远程操控起重机完成集装箱的装卸工作;所述的摄像设备(2)为一台带智能云台的双镜头的主动摄像设备或2台带智能云台的单镜头主动摄像设备;所述的主动摄像设备由图像处理软件通过模式匹配主动寻找关键部位,所述的图像处理软件根据不同操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,主动摄像设备摄取现场图像,并将图像中包含的子图像特征与模式库中该操作步骤对应关键部位的图像特征进行比对匹配,直到匹配成功后,找到图像中与该操作步骤对应关键部位、紧盯并聚焦摄取该关键部位图像。
2.根据权利要求1所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:所述的主动摄像设备通过设定预置位主动寻找关键部位,所述的主动摄像设备预先根据各操作步骤关键部位相对于摄像机的相对位置,调整好摄像机智能云台及镜头参数使摄像机对准、聚焦关键部位,并将对应的智能云台及镜头参数设定为与该操作步骤联锁的预置位,设备执行操作指令时,摄像机自动调整智能云台及镜头至该设备执行操作指令对应操作步骤的预置位,摄取关键部位图像。
3.根据权利要求1所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:所述的主动摄像设备通过激光测距仪主动寻找关键部位,所述的激光测距仪安装于小车架(6)上,根据所述激光测距仪测量换算得到摄像头到关键部位的垂直距离,由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而控制调整智能云台及摄相机镜头,摄取关键部位图像。
4.根据权利要求1所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:所述的主动摄像设备通过生产及操作指令主动寻找关键部位,根据生产及操作指令信息获得关键部位的实时高度,换算得到摄像头到关键部位的垂直距离,由主控机根据该垂直距离换算得出摄像机对准关键部位时镜头中心线与水平方向的夹角及摄像头到关键部位的距离,进而控制调整智能云台及摄相机镜头,摄取关键部位图像。
5.根据权利要求1所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:所述的摄像设备(2)为至少两台能够拍摄操作现场全景图像的被动摄像设备。
6.根据权利要求4所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:被动摄像设备由图像处理软件通过模式匹配获取关键部位图像,所述的图像处理软件根据不同操作步骤所需关注的关键部位,提取所述关键部位图像及其数学特征,建立模式库,被动摄像设备摄取现场全景图像,图像处理软件结合设备操作指令通过模式匹配从全景图像中找到并提取仅含该操作指令对应的操作步骤的关键部位的局部图像。
7.根据权利要求1至6任一权利要求所述的一种基于主动视觉技术的起重机远程操作用监控系统,其特征是:所述的关键部位为吊具(7)旋锁或吊具(7)导板、集装箱箱角或箱角上的锁孔、集卡拖板的锁销或锁孔、画于地面的箱角线、集装轮船上堆放的集装箱顶部锁孔、或仓底或仓盖板上固定集箱的锁头。
8.根据权利要求1所述的一种基于主动视觉技术的起重机远程操作用监控系统的实现方法:其特征是:包括以下步骤:
步骤一:摄像设备(2)等待操作步骤对应的设备操作指令;
步骤二:接收到设备操作指令,自动触发摄像设备(2)工作,摄像设备(2)摄取集装箱装卸现场图像,并与装有图像处理软件的主控机(1)配合获取该设备操作指令对应操作步骤所需要关注的关键部位的图像;
步骤三:将关键部位的图像传输至显示设备显示;
步骤四:操作人员根据显示设备(4)显示的关键部位的图像在操作室远程完成该操作;
步骤五:步骤四操作完成后,摄像设备(2)等待下一操作步骤的指令。
CN201310284021.6A 2013-07-08 2013-07-08 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法 Active CN103332597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310284021.6A CN103332597B (zh) 2013-07-08 2013-07-08 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310284021.6A CN103332597B (zh) 2013-07-08 2013-07-08 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法

Publications (2)

Publication Number Publication Date
CN103332597A CN103332597A (zh) 2013-10-02
CN103332597B true CN103332597B (zh) 2015-01-07

Family

ID=49240827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310284021.6A Active CN103332597B (zh) 2013-07-08 2013-07-08 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法

Country Status (1)

Country Link
CN (1) CN103332597B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112520606A (zh) * 2020-10-21 2021-03-19 浙江大华技术股份有限公司 塔吊监控系统和塔吊监控方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105460785B (zh) * 2014-10-22 2019-03-19 徐州重型机械有限公司 视频监控的控制方法和系统、以及起重机
CN105293283A (zh) * 2015-11-17 2016-02-03 宜昌市创星电子技术发展有限公司 一种塔机专用智能视频监控系统
CN105565167A (zh) * 2016-03-09 2016-05-11 任贤定 一种起重机小车方向定位用视觉检测系统及实现方法
CN107305425A (zh) * 2016-04-19 2017-10-31 中国矿业大学(北京) 一种基于虚拟现实技术的远程操作设备与方法
CN108062092A (zh) * 2016-11-07 2018-05-22 招商局国际信息技术有限公司 Rtg远程控制方法和系统
FI3321226T3 (fi) 2016-11-11 2023-06-01 Abb Schweiz Ag Konttinosturin ohjausjärjestelmä, joka käsittää kameran
CN206232332U (zh) * 2016-12-08 2017-06-09 深圳市招科智控科技有限公司 一种rtg远程操作控制系统
CN206328061U (zh) * 2016-12-26 2017-07-14 深圳市招科智控科技有限公司 一种远程控制rtg大车自动定位的系统
CN107344696B (zh) * 2017-08-25 2018-11-02 上海沪东集装箱码头有限公司 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法
CN107879251A (zh) * 2017-10-31 2018-04-06 盐田国际集装箱码头有限公司 一种集装箱门转向吊机的远程半自动化操作系统
CN108012077B (zh) * 2017-11-10 2021-03-26 北京臻迪科技股份有限公司 拍照控制方法、拍照方法、装置及系统
CN107911655A (zh) * 2017-11-17 2018-04-13 江苏艾思博信息技术有限公司 基于ar的智能装卸执行方法和系统
CN108216500B (zh) * 2018-01-17 2020-11-10 义乌市凡特塑料制品有限公司 一种具有智能集装箱卸货功能的货船
CN109240226A (zh) * 2018-09-03 2019-01-18 苏州巨能图像检测技术有限公司 Rtg远程智能控制系统及控制方法
CN109335964B (zh) * 2018-09-21 2020-05-12 北京航天自动控制研究所 一种集装箱旋锁检测系统及检测方法
CN109081243A (zh) * 2018-10-18 2018-12-25 中交二公局第五工程有限公司 一种跨缆吊机可视化管理系统
CN109583317A (zh) * 2018-11-06 2019-04-05 宁波大榭招商国际码头有限公司 一种基于地面识别的集装箱理货系统
CN109905605B (zh) * 2019-04-02 2020-10-23 唐山港集团股份有限公司 一种四摄像机自动跟焦监控方法
CN109996003B (zh) * 2019-04-02 2020-10-23 唐山港集团股份有限公司 一种自动化岸桥智能视频监控系统
CN110348451B (zh) * 2019-07-18 2022-12-13 西南交通大学 铁路集装箱装卸过程中的箱号自动采集及识别方法
CN113411488A (zh) * 2020-03-17 2021-09-17 长沙智能驾驶研究院有限公司 全景图像生成方法、装置、存储介质及计算机设备
CN116332037A (zh) * 2020-06-24 2023-06-27 中联重科股份有限公司 起重机及其吊装作业的定位系统和定位方法、存储介质
CN112265915A (zh) * 2020-08-27 2021-01-26 宁波大榭招商国际码头有限公司 一种集装箱放箱时防砸卡车头的方法
CN112623732A (zh) * 2020-12-24 2021-04-09 常州大连理工大学智能装备研究院 一种基于量子通信的远程控制夹取装置及方法
CN113393536B (zh) * 2021-07-03 2023-01-10 蒂姆维澳(上海)网络技术有限公司 基于ar眼镜的远程运维指导控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096262A (zh) * 2006-06-28 2008-01-02 上海振华港口机械(集团)股份有限公司 集装箱起重机的集卡车对位系统和方法
DE102008021249A1 (de) * 2008-04-28 2009-11-19 Miroslaw-Anton Przybyl Drahtloses Kamerasystem zur Ueberwachung einer Kranladung im Bereich Güterladung/Güterentladung
CN101651784A (zh) * 2009-09-24 2010-02-17 上海交通大学 云台摄像机全景的视频跟踪系统
CN101934982A (zh) * 2010-09-29 2011-01-05 上海海事大学 基于图像传感器的双吊具桥吊定位方法
CN102642777A (zh) * 2012-04-20 2012-08-22 上海国际港务(集团)股份有限公司 集装箱轮胎吊半自动作业远程控制系统
CN102923578A (zh) * 2012-11-13 2013-02-13 扬州华泰特种设备有限公司 集装箱起重机高效装卸作业自动控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101096262A (zh) * 2006-06-28 2008-01-02 上海振华港口机械(集团)股份有限公司 集装箱起重机的集卡车对位系统和方法
DE102008021249A1 (de) * 2008-04-28 2009-11-19 Miroslaw-Anton Przybyl Drahtloses Kamerasystem zur Ueberwachung einer Kranladung im Bereich Güterladung/Güterentladung
CN101651784A (zh) * 2009-09-24 2010-02-17 上海交通大学 云台摄像机全景的视频跟踪系统
CN101934982A (zh) * 2010-09-29 2011-01-05 上海海事大学 基于图像传感器的双吊具桥吊定位方法
CN102642777A (zh) * 2012-04-20 2012-08-22 上海国际港务(集团)股份有限公司 集装箱轮胎吊半自动作业远程控制系统
CN102923578A (zh) * 2012-11-13 2013-02-13 扬州华泰特种设备有限公司 集装箱起重机高效装卸作业自动控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112520606A (zh) * 2020-10-21 2021-03-19 浙江大华技术股份有限公司 塔吊监控系统和塔吊监控方法

Also Published As

Publication number Publication date
CN103332597A (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
CN103332597B (zh) 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
CN112850501B (zh) 一种塔吊自动化防撞方法及系统
WO2021208273A1 (zh) 用于识别状态参数的系统、吊装定位系统及吊装设备
CN101891117B (zh) 岸桥下集装箱装卸自动控制系统
JP6481178B2 (ja) クレーンの遠隔運転方法及びクレーンの遠隔運転装置
CN108263950A (zh) 基于机器视觉的码头岸桥吊具自动着箱系统及方法
AU2013326359A1 (en) Load handling by load handling device
CN104649146A (zh) 岸桥装卸作业远程控制操作系统及其操作方法
US20130120577A1 (en) Videometric systems and methods for offshore and oil-well drilling
CN110540137B (zh) 一种基于多传感器融合的起重机作业系统
CN108946487B (zh) 集装箱起重机远程操作系统
CN106210616A (zh) 集装箱图像信息的采集方法、装置和系统
CN102616657B (zh) 板坯库吊车自动吊运卡车坯出入库的方法
CN107055326A (zh) 多吊具桥吊摆角测量装置及采用该装置进行测量的方法
CN114348887B (zh) 基于塔吊回转动作模型的智能监控预警系统及方法
CN203333172U (zh) 一种基于主动视觉技术的起重机远程操作用监控设备
CN114604761A (zh) 实现智能塔吊辅助的操控安全性警示系统及方法
CN205397910U (zh) 一种基于机器视觉的起重机大车方向精确定位装置
CN105270874A (zh) 一种货场储运和物流库管用纯电动子母式智能装载机器人
CN114408748A (zh) 用于智能塔吊远程控制的状态数据监控传输系统及方法
CN210558950U (zh) 一种基于多传感器融合的起重机作业系统
CN112758825A (zh) 一种抓斗卸船机远程遥控系统
CN114604763A (zh) 用于智能塔吊吊钩导向的电磁定位装置及方法
CN114604773A (zh) 用于智能塔吊的安全性警示辅助系统及方法
CN214243509U (zh) 一种抓斗卸船机远程遥控系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Da

Inventor after: Geng Honghai

Inventor after: Bai Jingtao

Inventor after: Yang Geng

Inventor after: Ren Zhiyong

Inventor after: Wu Hai

Inventor before: Liu Da

Inventor before: Geng Honghai

Inventor before: Yang Geng

Inventor before: Ren Zhiyong

Inventor before: Wu Hai