CN111908339B - 引导信息显示装置以及起重机 - Google Patents

引导信息显示装置以及起重机 Download PDF

Info

Publication number
CN111908339B
CN111908339B CN202010689678.0A CN202010689678A CN111908339B CN 111908339 B CN111908339 B CN 111908339B CN 202010689678 A CN202010689678 A CN 202010689678A CN 111908339 B CN111908339 B CN 111908339B
Authority
CN
China
Prior art keywords
data
data processing
processing unit
hoist
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689678.0A
Other languages
English (en)
Other versions
CN111908339A (zh
Inventor
小阪孝幸
石川岩
洼田谕
田中成典
中村健二
山本雄平
中原匡哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Kansai University
Original Assignee
Tadano Ltd
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd, Kansai University filed Critical Tadano Ltd
Publication of CN111908339A publication Critical patent/CN111908339A/zh
Application granted granted Critical
Publication of CN111908339B publication Critical patent/CN111908339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/16Applications of indicating, registering, or weighing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/22Control systems or devices for electric drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00Safety gear
    • B66C15/06Arrangements or use of warning devices
    • B66C15/065Arrangements or use of warning devices electrical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00Cranes
    • B66C2700/08Electrical assemblies or electrical control devices for cranes, winches, capstans or electrical hoists

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control And Safety Of Cranes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

关于吊重和存在于吊重的周边的地上物体而对表示其形状以及高度的引导信息进行准确提示。引导信息显示装置(50)具备:数据取得部(60),其具备从吊重(W)的上方对至少包含吊重(W)和存在于吊重(W)的下方的地面(F)在内的吊重区域(WA)的影像进行拍摄的摄像机61以及在吊重区域(WA)内取得点组数据(P)的激光扫描器62;数据处理部(70),其基于激光扫描器(62)所取得的点组数据P而对吊重(W)的上表面、地面(F)以及地上物体(C)的上表面进行推断,并生成分别包围吊重(W)以及地上物体(C)的上表面的引导框(GD1);以及数据显示部(80),其对重叠了由数据处理部(70)生成的引导框(GD1)和摄像机(61)拍摄到的影像(M)的引导信息(GD)进行显示。

Description

引导信息显示装置以及起重机
本申请是申请日 2018 年7月 19 日,申请号201880047677.7,发明名称为“引导信息显示装置以及起重机”的分案申请。
技术领域
本发明涉及一种对操作员所实施的起重机作业进行辅助的引导信息显示装置和具备该引导信息显示装置的起重机的技术。
背景技术
在现有技术中,已知一种基于被显示在监视器上的引导信息来对吊重或吊重的周围的状况进行确认,从而实现起重机作业的效率化的技术。这种技术例如被公开在以下的专利文献1中。
在专利文献1中,公开了一种与对吊重周边的物体高度进行通报的高度信息通报系统相关的技术。在专利文献1记载的吊重周边的物体的高度信息通报系统中,通过激光距离传感器、微波距离传感器、立体相机等距离测量手段来对从吊臂的前端到吊重周边为止的距离进行测量。并且,设为如下结构,即,在使用距离的测定结果来对吊重周边的物体的位置进行检测时计算出高度,并制成使吊重周边的物体的位置以及高度与由摄像机拍摄到的拍摄图像相对应而形成的处理图像(引导信息),再将该引导信息显示在监视器上。
在这种记载于专利文献1中的引导信息显示装置(高度信息通报系统)中,利用引导信息而将吊重以及吊重周边的物体的位置信息和高度信息传递给操作员,从而对吊重与周边的物体发生接触的情况进行抑制。
现有技术文献
专利文献
专利文献1:日本特开2013-120176号公报
发明内容
发明所要解决的课题
然而,在如专利文献1所记载的现有技术那样,在利用由距离测定手段所取得的局部的测量数据来取得吊重以及吊重周边的物体的位置信息的结构中,很难以较高精度取得吊重或存在于其周边的地上物体的形状、以及地面的高度,从而也很难提示精度较高的引导信息。
因此,在现有的引导信息显示装置中,操作员很难基于引导信息而准确掌握吊重或存在于其周边的地上物体的形状。
本发明是鉴于这种现存的课题而完成的,其目的在于提供一种能够针对吊重和存在于吊重的周边的地上物体而对表示其形状以及高度的引导信息进行准确提示的引导信息显示装置以及具备该引导信息显示装置的起重机。
用于解决课题的手段
本发明所要解决的课题如上文所述,接下来,对用于解决该课题的手段进行说明。
即,本发明所涉及的引导信息显示装置的特征在于,具备:数据取得部,其具备摄像机和激光扫描器,所述摄像机从吊重的上方对至少包括所述吊重和存在于所述吊重的下方的地面在内的区域的影像进行拍摄,所述激光扫描器在所述区域内从所述吊重的上方取得点组数据;数据处理部,其基于所述激光扫描器所取得的所述点组数据而对所述吊重的上表面、存在于所述区域内的所述地面以及存在于所述区域内的地上物体的上表面进行推断,并生成分别包围所述吊重的上表面以及所述地上物体的上表面的引导框;以及数据显示部,其对重叠了所述数据处理部所生成的所述引导框和所述摄像机所拍摄到的所述影像的引导信息进行显示。
根据这样的结构的引导信息显示装置,能够针对吊重和存在于吊重的周边的地上物体而对表示其形状以及高度的引导信息进行准确提示。
另外,在本发明所涉及的引导信息显示装置中,其特征在于,在所推断出的所述地上物体的上表面有多个的情况下,当存在第一所述地上物体的上表面和第二所述地上物体的上表面时,所述数据处理部生成将第一所述地上物体的上表面和第二所述地上物体的上表面汇集并包围的所述引导框,其中,第一所述地上物体的上表面为标高值为最大的上表面,第二所述地上物体的上表面为相对于第一所述地上物体的上表面的标高值的差量在阈值以内,且在俯视观察时与第一所述地上物体的上表面重叠的上表面。
根据这样的结构的引导信息显示装置,能够更详细地提示容易可见的引导信息。
此外,在本发明所涉及的引导信息显示装置中,其特征在于,所述数据处理部计算出所述吊重的上表面以及所述地上物体的上表面的标高值,并生成包含所述吊重的上表面以及所述地上物体的上表面的高度信息在内的所述引导信息。
根据这样的结构的引导信息显示装置,能够对与吊重和地上物体的高度相关的信息进行更准确提示。
此外,在本发明所涉及的引导信息显示装置中,其特征在于,所述数据处理部根据计算出的所述吊重的上表面以及所述地上物体的上表面的标高值而使所述引导框以及所述高度信息变色。
根据这样的结构的引导信息显示装置,能够对与吊重和地上物体的高度相关的信息进行更准确提示。
此外,本发明所涉及的起重机的特征在于,具备如上所述的引导信息显示装置。
根据这样的结构的起重机,能够向对起重机进行操作的操作员更准确地提示与吊重和地上物体的高度相关的信息。
发明的效果
作为本发明的效果,能够获得以下所示的效果。
根据本发明所涉及的引导信息显示装置,能够针对吊重和存在于吊重的周边的地上物体而对表示其形状以及高度的引导信息进行准确提示。
根据本发明所涉及的起重机,能够针对吊重和存在于吊重的周边的地上物体而将表示其形状以及高度的引导信息准确地提示给操作起重机的操作员。
附图说明
图1是示出本发明的一个实施方式所涉及的起重机的整体结构的示意图。
图2是示出对吊重区域进行说明的俯视示意图。
图3是示出本发明的一个实施方式所涉及的引导信息显示装置的整体结构的示意图。
图4是示出对吊重区域进行说明的侧视示意图。
图5是摄像机空间坐标系以及摄像机的视场角的说明图、(A)是Z轴方向观察示意图、(B)是X轴方向观察示意图。
图6是由激光扫描器进行的激光的照射情况的说明图、(A)是X轴方向观察示意图、(B)是Y轴方向观察示意图。
图7是表示数据取得部的示意图、(A)是Y轴方向观察仰视图、(B)是图7(A)中的A-A剖视图。
图8是示出引导信息的显示情况的图、(A)是示出显示了影像M的数据显示部的图、(B)是示出重叠显示了影像M和引导信息GD的数据显示部的图。
图9是表示引导信息显示装置的其它结构的示意图、(A)示出由平板电脑PC构成数据处理部、数据显示部、数据输入部的情况、(B)示出由触摸面板式显示器装置构成数据显示部、数据输入部的情况。
图10是示出吊重区域与激光侧线的关系的示意图。
图11是示出对由激光扫描器进行的激光的照射情况进行说明的Z轴方向观察示意图。
图12是示出由数据处理部进行的数据处理的流程的流程图。
图13是表示通过数据取得部而取得的点组数据的图、(A)是将点组数据标示在XYZ坐标系中的图、(B)是将标示在XYZ坐标系中的点组数据分为多个组的图。
图14是示出由操作员进行的地面的指定情况的示意图。
图15是地面的指定时的基准高度的计算方法的说明图、(A)是示出基准高度的计算方法的图、(B)是示出吊重区域的分割情况的示意图。
图16是平面族(平面群集)的生成方法的说明图。
图17是示出平面的推断顺序的流程图。
图18是平面的推断顺序(STEP-201~202)的说明图。
图19是平面的推断顺序(STEP-203~205)的说明图。
图20是平面的推断顺序(STEP-206~208)的说明图。
图21是平面的推断顺序(STEP-206~208(第二次))的说明图。
图22是平面的推断顺序(上表面的推断情况)的说明图。
图23是存在于不同的组中的平面的结合方法的流程图。
图24是存在于不同的组中的平面的结合方法的说明图。
图25是同一区域的聚类处理的说明图。
图26是分层的聚类的说明图、(A)示出第一例的地上物体的情况、(B)示出第二例的地上物体的情况。
图27是引导框的生成顺序的说明图。
图28是示出分层的聚类中的同一区域族的设定例的图、(A)示出设为包围整体的同一区域族的情况、(B)示出将标高值最高的平面族设定为其它同一区域族的情况、(C)示出对将标高值的差量在阈值以上的平面族全部包括在内的其它同一区域族进行设定的情况。
图29是表示数据显示部中的报警显示的示意图。
图30是除外区域的设定情况的说明图。
具体实施方式
接下来,对发明的实施方式进行说明。
如图1所示,起重机1是作为本发明的一个实施方式所涉及的引导信息显示装置的应用对象的起重机的一个示例,并且是能够移动至所希望的场所的移动式起重机。
起重机1具备行驶车辆10、起重机装置20。
行驶车辆10是对起重机装置20进行输送的车辆,具有多个(在本实施方式中为四个)车轮11,并以发动机(未图示)为动力源而进行行驶。
在行驶车辆10的四个角部处设置有悬臂12。悬臂12由伸出梁12a和液压式的支承缸12b构成,其中,伸出梁12a能够通过液压而向行驶车辆10的宽度方向两侧延伸,液压式的支承缸12b能够向与地面垂直的方向延伸。而且,行驶车辆10能够通过使支承缸12b接地而将起重机1设为能够作业的状态,并且能够通过增大伸出梁12a的延伸长度而扩大起重机1的可作业范围(作业半径)。
起重机装置20是通过钢丝绳而将吊重W吊起的装置,并且具备回旋台21、伸缩吊臂22、主带钩滑轮23、副带钩滑轮24、俯仰缸25、主卷扬机26、主钢丝绳27、副卷扬机28、副钢丝绳29、车厢30。
回旋台21是将起重机装置20构成为能够旋转的部分,并且经由圆环状的轴承而被设置在行驶车辆10的框架上。圆环状的轴承被配置为,其旋转中心相对于行驶车辆10的设置面而垂直。回旋台21被构成为,以圆环状的轴承的中心为旋转中心而向一个方向和另一个方向自如旋转。此外,回旋台21通过液压式的回旋电机(未图示)而旋转。
伸缩吊臂22是在能够将吊重W吊起的状态下对钢丝绳进行支承的装置。伸缩吊臂22由多个作为吊臂部件的基础吊臂部件22a、二级吊臂部件22b、三级吊臂部件22c、四级吊臂部件22d、五级吊臂部件22e、顶端吊臂部件22f构成。各个吊臂部件按照截面面积的大小的顺序而以套盒式插入。伸缩吊臂22被构成为,通过利用未图示的伸缩缸来使各个吊臂部件进行移动从而在轴向上自如伸缩。伸缩吊臂22的基础吊臂部件22a的基端以能够摆动的方式被设置在回旋台21上。由此,伸缩吊臂22被构成为,在行驶车辆10的框架上能够水平旋转并且自如摆动。
主带钩滑轮23是用于对吊重W进行钩吊的部件,并设置有卷挂了主钢丝绳27的多个吊钩滑轮和、钩挂吊重W的主吊钩32。
除了主带钩滑轮23之外,起重机装置20还具有用于对吊重W进行钩吊的副带钩滑轮24,在副带钩滑轮24上设置有钩挂吊重W的副吊钩33。
俯仰缸25为使伸缩吊臂22立起以及倒伏并对伸缩吊臂22的姿势进行保持的装置。俯仰缸25由液压缸构成,该液压缸由缸体部和杆部构成。
主卷扬机26为实施主钢丝绳27的转入(收卷)以及放出(放卷)的机构,在本实施方式中由液压卷扬机构成。
主卷扬机26被构成为通过主用液压电机而使卷绕了主钢丝绳27的主滚筒旋转。主卷扬机26被构成为,供给工作油以使主用液压电机向一个方向旋转,从而将被卷绕在主滚筒上的主钢丝绳27放出,并且供给工作油以使主用液压电机向另一个方向进行旋转,从而将主钢丝绳27卷绕并转入主滚筒上。
此外,副卷扬机28为实施副钢丝绳29的转入以及放出的机构,在本实施方式中,由液压卷扬机构成。
车厢30为遮盖操作员所落座的驾驶座位31的装置,且被设置在回旋台21的伸缩吊臂22的侧方。
以这种方式构成的起重机1能够通过使行驶车辆10行驶而使起重机装置20移动到任意的位置,此外,能够利用俯仰缸25而使伸缩吊臂22以任意的俯仰角度立起,从而使伸缩吊臂22延伸成任意的伸缩吊臂长度。
此外,起重机1具备对回旋台21、伸缩吊臂22、俯仰缸25等的动作(即,起重机1的动作)进行控制的控制器34。控制器34能够将与回旋台21、伸缩吊臂22、俯仰缸25等的动作状况相关的信息、与起重机1固有的性能相关的信息、以及吊重W的重量等向外部输出。
另外,在本说明中,以伸缩吊臂22的俯仰支点的轴向为基准而对图1所示那样的XYZ坐标系进行规定(在以下的说明中也同样)。
X轴方向(也称为侧线方向)为与伸缩吊臂22的俯仰支点的轴向平行的水平方向。此外,Y轴方向(也称为标高方向)为铅垂方向。并且,Z轴方向(也称为纵深方向)为与伸缩吊臂22的俯仰支点的轴向垂直的水平方向。即,如图2所示,XYZ坐标系规定为以伸缩吊臂22为基准的本地坐标系。
接下来,对本发明的一个实施方式所涉及的引导信息显示装置进行说明。
起重机1具备图3所示那样的引导信息显示装置50。
引导信息显示装置50是本发明所涉及的引导信息显示装置的一个示例,并且是通过影像来显示包含吊重W在内的区域(以下,称为吊重区域WA)的信息(以下,称为引导信息)并向操作员进行提示,以能够高效且安全地进行图1所示那样的起重机1所进行的作业的装置。
在此所称的“吊重区域WA”是指,如图2以及图4所示,在起重机1的作业区域SA内被设定为从Y轴方向观察时包含吊重W在内的区域的部分,并且是成为生成“引导信息”的对象的区域。
“吊重区域WA”被设定为包含起重机1的伸缩吊臂22的顶端吊臂部件22f的正下方在内的区域,并且存在于吊重区域WA内的吊重W、地面F、地上物体C成为引导信息显示装置50进行测定的测定对象物。“吊重区域WA”根据伸缩吊臂22的回旋动作、俯仰动作、伸缩动作而进行位移。
此外,在此所称的“引导信息”为,在操作员通过起重机1来对吊重W进行输送时针对伸缩吊臂22的长度/回旋位置/俯仰角度、钢丝绳的放卷量等的好坏而对操作员的判断进行辅助的信息,包括吊重区域WA的影像信息、与吊重W以及地上物体C的形状相关的信息、吊重W的高度信息、地上物体C的高度信息、与吊重W的移动路线相关的信息等。
如图3及图4所示,引导信息显示装置50由数据取得部60、数据处理部70、数据显示部80以及数据输入部90构成。
数据取得部60为取得需要的数据以生成吊重区域WA内的引导信息的部位,如图3所示,所述数据取得部60具备摄像机61、激光扫描器62、惯性测量装置(IMU)63。
如图4所示,数据取得部60被附设在位于起重机1的伸缩吊臂22的前端的顶端吊臂部件22f上,并且配置为能够从位于吊重W的正上方的吊臂前端对正下方的情况进行捕捉的状态。另外,在此所称的吊重W的“正上方”为包括吊重W的铅垂上方的位置以及以该位置为基准的固定范围(例如,吊重W的上表面的范围)内的位置的概念。
数据取得部60经由万向接头67(参照图1)而被附设在伸缩吊臂22的前端部的顶端吊臂部件22f上,并且被构成为,能够在伸缩吊臂22进行了俯仰动作、回旋动作、伸缩动作时将数据取得部60的姿势(朝向Y轴方向的姿势)保持为大致固定。由此,能够将摄像机61和激光扫描器62始终朝向吊重W布置。因此,数据取得部60能够通过摄像机61和激光扫描器62而始终从吊重W和存在于其下方的地面F(即,吊重区域WA)取得数据。此外,在地上物体C存在于吊重区域WA内的情况下,能够通过摄像机61和激光扫描器62而取得地上物体C的数据。
如图5(A)、(B)所示,摄像机61为用于对吊重区域WA的影像进行拍摄的数码摄像机,并且具有将拍摄到的影像实时地向外部输出的功能。摄像机61具有图5(A)、(B)所示的视场角(水平视场角θh以及垂直视场角θv)。此外,摄像机61具有考虑了适当的引导信息的生成所需的数据量的像素数量、帧速率、图像传送速率。
如图3所示,激光扫描器62为向测定对象物照射激光,并对该激光的测定对象物的反射光进行接收,由此取得与该反射点相关的信息,从而取得测定对象物的点组数据的装置。激光扫描器62的测定对象物为吊重W、地上物体C、地面F。此外,在激光扫描器62上连接有用于取得测定时刻的第一GNSS接收器65。
在引导信息显示装置50中,通过激光扫描器62而实时地取得平面的三维点组数据。
如图6所示,激光扫描器62具备总计16个激光收发传感器,能够同时向测定对象物照射16条激光,从而取得测定对象物的点组数据。激光扫描器62的16个激光收发传感器中的各个激光收发传感器被配置为照射角度在Z轴方向上各错开2°,并且被构成为能够以整体具有30°的扩展角的方式而对测定对象物照射激光。此外,激光扫描器62的各个激光收发传感器被构成为能够绕Z轴360°(全方位)旋转。另外,在以下的说明中,将朝向吊重区域WA照射的激光所描绘的轨迹称为激光侧线。激光侧线相对于X轴方向平行,在激光扫描器62中,同时描绘有16条激光侧线。
而且,激光扫描器62被配置为激光侧线相对于X轴方向而平行。此外,在激光扫描器62中,改变激光的照射角度的基准轴被设为相对于Z轴方向而平行。
如图3所示,惯性测量装置(Inertial Measurement Unit,以下称为IMU)63为用于取得数据取得时的摄像机61和激光扫描器62的姿势数据的装置。IMU63能够实时地测定姿势角,并且具有能够利用在由激光扫描器62所取得的点组数据的补正中的测量精度。此外,在IMU63上连接有用于取得测定时刻的第二GNSS接收器66。
如图7(A)、(B)所示,数据取得部60为将摄像机61、激光扫描器62、惯性测量装置(IMU)63相对于框架体64固定并且构成为一体的传感器单元。
框架体64为将五张板材组合而构成的大致长方体状的物体。框架体64由四张板材而构成长方体的四个方向的侧面部,并且由剩余的一张板材而构成长方体的上表面部,且被构成为在下方具有开口部的形状。在数据取得部60中,将摄像机61和激光扫描器62附设在框架体64的侧面部内侧,将IMU63附设在框架体64的上表面部上。如图7(A)所示,摄像机61的拍摄元件中心位置与激光扫描器62的激光中心位置在从Y轴方向观察时在Z轴方向上间隔距离Δzh。另外,激光中心位置是指激光扫描器62的激光的旋转中心,且位于Z轴上。
此外,如图7(B)所示,摄像机61的拍摄元件中心位置和激光扫描器62的激光中心位置在从X轴方向观察时在Y轴方向上隔开距离Δyv。
数据取得部60以如下姿势而配置,即,框架体64的四个方向的侧面部中的、一组相面对的一对侧面部与Z轴垂直,另一组相面对的一对侧面部与X轴垂直。此外,数据取得部60以如下姿势而配置,即,框架体64的上表面部与Y轴垂直。
接下来,对将XYZ坐标系中的点(x,y)的X坐标变换为摄像机空间坐标系中的Xc坐标的方法进行说明。
在引导信息显示装置50中,为了在由摄像机61拍摄到的影像M上重叠后述的引导信息GD并显示在数据显示部80上,在XYZ坐标系与摄像机空间坐标系之间实施坐标值的变换处理。在引导信息显示装置50中,在摄像机61的影像空间内对三维的摄像机空间坐标系Xc/Yc/Zc进行规定。
如图5(A)所示,将从自摄像机61的镜头中心延伸出的垂线到点(x,y)为止的X轴方向的距离设为dh,将摄像机61的水平方向的最大画面宽度设为wh。此外,将点(x,y)从画面中心起的X轴方向的位置设为x。此时,摄像机空间内的点(x,y)的Xc坐标通过以下的数学式(1)、(2)来表示。
另外,在以下的数学式中,将摄像机61的拍摄元件与激光中心的位置在水平方向的差量设为Δzh(参照图7(A)),将摄像机图像的横宽设为wh,将摄像机61的水平视场角设为θh,将临时变量设为tmp1。
tmp1=(y-Δzh)×tan(π×θh/360)…(1)
Xc=wh/2-wh×x/(2×tmp1)…(2)
接下来,对将XYZ坐标系中的点(y,z)的Z坐标变换为摄像机空间坐标系中的Zc坐标的方法进行说明。
图5(B)所示,将从点(y,z)到激光中心为止的Z轴方向的距离设为dv,将摄像机61的水平方向的最大画面宽度设为wv。此外,将点(y,z)自画面中心起的Z轴方向的位置设为z。此时,摄像机空间内的点(y,z)的Zc坐标通过以下的数学式(3)、(4)来表示。
另外,在以下的数学式中,将摄像机61的拍摄元件与激光扫描器62的激光中心的位置在垂直方向的差量设为Δyv(参照图7(B)),将摄像机图像的纵宽设为wv,将摄像机61的垂直视场角设为θv,将临时变量设为tmp2。
tmp2=Y×tan(π×θv/360)…(3)
Zc=wv/2+wv×(Z-Δyv)/(2×tmp2)…(4)
在引导信息显示装置50中,利用上述数学式(1)~(4)而将在XYZ坐标系中由激光扫描器62等取得的点组数据的坐标变换为摄像机空间坐标系,从而将引导信息GD定位到由摄像机61拍摄到的影像M上进行显示。
另外,作为激光扫描器62,在考虑到伸缩吊臂22的最高到达高度的情况下,选择能够从其最高到达高度(例如,大约100m)对测定对象物的三维形状进行测定的机器。此外,作为激光扫描器62,在考虑到生成适当的引导信息所需的数据量以及数据精度的情况下,选择针对测定速度、测量点数、测定精度等各种规格而具有预定的性能的机器。
另外,虽然在本实施方式中,对使用具备总计16个激光收发传感器的激光扫描器62的情况进行了例示,但是本发明所涉及的引导信息显示装置并不受构成激光扫描器的激光收发传感器的个数限制。即,在本发明所涉及的引导信息显示装置中,根据起重机的吊臂(悬臂)的最高到达高度等而适当选择最优的规格的激光扫描器。
在通过数据取得部60在吊重区域WA内取得的数据中,包含由摄像机61对吊重W、吊重W的下方的地面F以及存在于吊重W的周围的地上物体C进行拍摄而获得的影像数据。此外,在由数据取得部60在吊重区域WA内取得的数据中,包含由激光扫描器62而对吊重W、地面F以及地上物体C进行扫描而取得的点组数据。另外,在此所称的地面F既广义地包含成为吊重W的输送起始地以及输送目的地的面,但是也不限于地上表面,还包含建筑屋顶平台的地面或屋顶面等。
如图3所示,数据处理部70为用于对数据取得部60所取得的数据进行处理并生成向操作员进行提示的引导信息GD的部位,在本实施方式中,由安装了预定的数据处理程序的通用的个人计算机而构成。
此外,数据处理部70与起重机1的控制器34电连接,从控制器34输出的“起重机信息”被输入到数据处理部70中。
数据显示部80为用于对向操作员进行提示的引导信息GD进行显示的部位,并由与数据处理部70连接的显示器装置构成。
如图8(A)所示,在数据显示部80上实时地显示由摄像机61所拍摄的吊重区域WA的影像M。
如图8(B)所示,引导信息GD中包括表示吊重W或地上物体C的在Y轴方向观察时的外形形状的引导框GD1、吊重W的下表面的高度信息GD2、地上物体C的上表面的高度信息GD3、表示吊重W的移动路线的作业半径信息GD4、表示伸缩吊臂22的轴线方向的轴线信息GD5等。
而且,影像M与数据处理部70所生成的引导信息GD重叠地显示在数据显示部80上。
如图3所示,数据输入部90为用于对数据处理部70输入设定值等的部位,并且由触摸面板、鼠标、键盘装置等构成。
另外,如图9(A)所示,优选为,引导信息显示装置50通过平板电脑型的通用个人计算机(以下,也称为平板电脑PC)而一体地构成数据处理部70和数据显示部80以及数据输入部90。此外,如图9(B)所示,引导信息显示装置50既可以通过触摸面板式显示器装置而一体地构成数据显示部80和数据输入部90,也可以设为将作为通用PC的数据处理部70与该触摸面板式显示器装置连接的结构。
如图4所示,数据显示部80和数据输入部90配置在车厢30内的驾驶座位31的前方的操作员容易观察的位置处。优选为,将数据处理部70配置在数据取得部60的附近。另外,在通过平板电脑PC而一体地构成数据处理部70和数据显示部80以及数据输入部90的情况下,也可以设为将数据处理部70配置在车厢30内的结构。
优选为,数据取得部60与数据处理部70之间的数据的传送通过有线LAN来实现。另外,数据取得部60与数据处理部70之间的数据的传送可以采用无线LAN,或者,也可以采用电线通信。
另外,如图9(A)所示,优选为,引导信息显示装置50通过平板电脑型的通用个人计算机(以下,也称为平板电脑PC)而一体地构成数据处理部70和数据显示部80以及数据输入部90。此外,如图9(B)所示,引导信息显示装置50既可以由触摸面板式显示器装置而一体地构成数据显示部80和数据输入部90,也可以设为将作为通用PC的数据处理部70与该触摸面板式显示器装置连接的结构。
在此,对数据取得部60所进行的数据的取得情况进行说明。
在数据取得部60中,通过摄像机61而对吊重区域WA进行连续性地拍摄,从而取得吊重区域WA的影像M。
如图10所示,在数据取得部60中,通过激光扫描器62来对吊重区域WA进行连续性地扫描,从而取得吊重区域WA内的测定对象物的点组数据。在下文中,将由激光扫描器62取得的点组数据称为点组数据P。点组数据P为点数据p的集合,点数据p代表位于吊重区域WA内所存在的地面F、吊重W、地上物体C的上表面的点。而且,如图11所示,在点数据p中包含从测定对象物(例如地上物体C)到激光扫描器62为止的距离a,以及取得该点数据p时的激光扫描器62的照射角度b的信息。
如图3所示,在激光扫描器62上连接有第一GNSS接收器65,从而在取得点组数据P的同时通过第一GNSS接收器65而从多个测位卫星接收时间信息。而且,数据处理部70对点数据p赋予与该点数据p的取得时间相关的信息。即,在与点数据p相关的信息中,除了包含距离a、照射角度b之外,还包含取得时间tp。
此外,在数据取得部60中,在通过激光扫描器62而取得点组数据P的同时,通过IMU63而以预定的周期取得激光扫描器62的姿势数据Q。在姿势数据Q中,包含与激光扫描器62相对于X轴或Y轴或Z轴的各个轴向的角度以及加速度相关的信息。另外,IMU63所进行的姿势数据Q的取得周期与激光扫描器62所进行的点组数据P的取得周期相比而较短。姿势数据Q为在每个测定周期而测定出的单个姿势数据q的集合。
在IMU63上连接有第二GNSS接收器66,从而在取得姿势数据Q的同时通过第二GNSS接收器66而从多个测位卫星接收时间信息。数据处理部70将取得时间tq作为与单个姿势数据q的取得时间相关的信息而赋予给该单个姿势数据q。即,与单个姿势数据q相关的信息中包含取得时间tq。
接下来,对数据处理部70所进行的数据的处理情况进行说明。
如图12所示,在数据处理部70所进行的数据处理中,首先进行“帧提取处理”(STEP-101)。
在由数据处理部70进行的点组数据P的数据处理中,从点组数据P的流数据中截取并输出一帧量的点组数据P。一帧量的点组数据P为在激光扫描器62照射的激光的照射方向围绕Z轴一周的期间内取得的点数据p的集合。
如图12所示,在数据处理部70进行的数据处理中,接下来进行“点组数据和姿势数据的同步处理”(STEP-102)。
数据处理部70使一帧量的点组数据P中包含的点数据p与IMU 63所取得的姿势数据Q同步。
具体而言,在各个点数据p中,搜索与该点数据p的取得时间tp最接近的单个姿势数据q的取得时间tq,通过将该取得时间tq的单个姿势数据q与该点数据p相对应从而进行同步。
于是,数据处理部70输出与单个姿势数据q同步的点数据p。
而且,如图11所示,数据处理部70基于距离a以及照射角度b而计算出从激光扫描器62的激光中心位置到点数据p为止的距离h。另外,在此所称的“距离h”为从激光扫描器62的激光中心位置到点数据p存在的水平面为止的距离。
此外,在数据处理部70中,在计算出点数据p的距离h时,使用与该点数据p对应的单个姿势数据q来实施补正。由此,能够消除因激光扫描器62的姿势而引起的误差,从而以更高的精度计算出点数据p距离h。
即,在引导信息显示装置50中,数据取得部60具备取得激光扫描器62的姿势数据Q的IMU 63,数据处理部70基于IMU 63所取得的激光扫描器62的姿势数据Q而对点组数据P进行补正。
在引导信息显示装置50中,能够通过这样的结构而对操作员提示更准确的引导信息GD。
若将一帧量的点组数据P标示在XYZ坐标系中,则如图13(A)所表示的那样。图13(A)为从Z轴方向观察时的点组数据P(点数据p的集合)。
如图12所示,在数据处理部70所进行的数据处理中,接下来进行“地面推断处理”(STEP-103)。数据处理部70进行对地面F进行推断的处理。
首先,对以影像上的特定的位置为基准而推断地面F的情况进行说明。另外,虽然在此对操作员手动指定影像上的特定的位置的情况进行了例示,但是也可以设为数据处理部70自动决定并指定影像上的特定的位置的结构。
在引导信息显示装置50中,通过在数据显示部80以及数据输入部90中对地面的位置进行指定,从而能够决定成为基准的地面F。
在手动进行的情况下,首先如图14的上图所示,操作员在数据显示部80所显示的影像上指定明显为地面的位置。于是,如图14的中图所示,数据处理部70生成以该被指定的位置(点)为中心的预定半径的基准圆。而且,如图14的下图所示,数据处理部70对与处在激光侧线上的点数据p的重叠进行检测,并选择被包含在基准圆内的多个点数据p。
而且,如图15(A)所示,数据处理部70首先从被选择出的多个点数据p中提取出距离h为最大距离hmax的点数据p。为最大距离hmax的点数据p被推断为是存在于最低的位置处的点数据p。而且,数据处理部70以最大距离hmax为基准而对距离h的差距量D处于固定范围内(在本实施方式中为7cm以内)的点数据p进行提取,并计算出所提取的点数据p的距离h的平均值。数据处理部70将以这种方式而计算出的平均值推断为到地面F为止的距离h,并基于该距离h而决定地面F的高度(以下,称为基准高度H0)。
而且,数据处理部70根据距离h和基准高度H0而计算出点数据p的标高值H。如图10所示,标高值H为点数据p自基准高度H0起的高度。
在引导信息显示装置50中,设为如下结构,即,基于通过上述处理而以高精度取得的地面F的基准高度H0来生成引导信息GD。因此,在引导信息显示装置50中,能够基于地面F的高度而以较高的精度计算出吊重W或存在于其周边的地上物体C的形状。
接下来,对自动推断地面F的情况进行说明。
虽然在上述说明中示出了操作员对地面F进行指定的结构,但是在引导信息显示装置50中,也可以设为由数据处理部70而对地面F进行自动推断的结构。
在通过数据处理部70而自动地对地面F进行推断的情况下,如图15(B)所示,数据处理部70将吊重区域WA分割成面积相等的多个(在本实施例中为160个)小区域S。
接下来,数据处理部70在各个小区域S内取得距离h最大的(距离h为最大距离hmax的)点数据p,并且如图15(A)所示,以最大距离hmax为基准而对距离h的差距量D处于固定范围内(在本实施方式中差距量D在7cm以内)的点数据p进行提取。
接下来,数据处理部70计算出在各个小区域S内提取的点数据p的距离h的平均值。数据处理部70根据以这种方式计算出的距离h的平均值而自动推断各个小区域S内的地面F的基准高度H0。
或者,数据处理部70将在各个小区域S内计算出的距离h的平均值进一步被全部的小区域S而进行平均,并根据该平均值而自动推断为吊重区域WA的地面F的基准高度H0。在该情况下,数据处理部70以各个小区域S的距离h的平均值之中的最大值为基准而仅使用相比于该最大值的差距量D在预定的阈值以内的小区域S而计算出基准高度H0。
如图12所示,在数据处理部70所进行的数据处理中,接下来进行“平面的推断处理”(STEP-104)。数据处理部70通过以下所示的上表面推断方法而对存在于吊重区域WA内的作为测定对象物的吊重W和地上物体C的上表面进行推断。
若将一帧量的点组数据P标示在由XYZ坐标系示出的吊重区域WA上,则表示为图13(A)所示的那样。而且,若示意性地表示处于这样的吊重区域WA内的点组数据P,则表示为图16的上图那样。
如图16中图所示,数据处理部70将在如图16的上图所示那样的吊重区域WA内取得的点组数据P在Y轴方向上以预定的厚度d而分割为层状,并将点组数据P分配为多个组(参照图13(B))。
此时,数据处理部70给分割出的各个组赋予单个的组ID(在此,设为ID:001~006),从而将各个点数据p与组ID建立关联。
而且,数据处理部70在各个组中使用包含在该组中的多个点数据p来对平面进行推断。在此所称的“平面”为在吊重W以及地上物体C中以向上的方式而存在的平面,即,吊重W以及地上物体C的“上表面”。
具体而言,首先,如图17以及图18的上图所示,数据处理部70从同一组中包含的多个点数据p、p…中选择两个点数据p、p(两点选择工序:STEP-201)。
而且,如图17以及图18的下图所示,数据处理部70对所选择的两个点数据p、p的两点间距离L1进行计算(点间距离计算工序:STEP-202)。
接下来,如图17以及图19的上图所示,如果两点间距离L1在预定的阈值r1以下(STEP-203),则数据处理部70视为这两点(由虚线表示的两个点数据p、p)处于同一平面上(视为两点平面工序:STEP-204)。而且,如图17以及图19的下图所示,数据处理部70计算出被视为处于同一平面上的各点(在此为所选择的两点)的重心G1(重心计算工序:STEP-205)。假设在(STEP-203)中判断为“否”的情况下,则返回(STEP-201),重新选择新的两点。
接下来,如图17以及图20的上图所示,数据处理部70搜索相对于所计算出的重心G1而成为附近点的点数据p(附近点搜索工序:STEP-206)。在此所称的“附近点”是指与重心G1的点间距离在阈值r1以下的点。
而且,如图17以及图20的下图所示,如果发现了作为附近点的点数据p(STEP-207),则数据处理部70将该作为附近点的点数据p也视为与先前选择的两个点数据p、p处于同一平面上的点数据(视为附近点平面工序:STEP-208)。
而且,如图17以及图21的上图所示,数据处理部70返回(STEP-205),并根据被视为处于同一平面上的各个点(在此,由虚线表示的三个点数据p、p、p)而计算出新的重心G2。
数据处理部70向(STEP-206)转移,从而进一步对成为相对于重心G2的附近点的点数据p进行搜索。而且,如图17以及图21的下图所示,如果又发现了作为附近点的点数据p(STEP-207),则数据处理部70将该作为附近点的点数据p也视为与先前选择的各个点处于同一平面上的点数据(STEP-208)。
而且,数据处理部70在对新的重心进行计算的同时对附近点进行搜索,并依次重复进行(STEP-205)到(STEP-208)为止的处理,直至检测不到作为附近点的点数据p为止。
而且,如图17所示,如果数据处理部70没有发现新的附近点,则在(STEP-207)中判断为“否”,如图22所示,将被视为处于同一平面上的点数据p的部分集合(族)聚类,从而对平面进行推断(STEP-209)。在此所称的“聚类”是指如下的处理,即将作为点数据p的集合的点组数据P按族进行划分,并使各个族中包含的点数据p具有处于同一平面上这样的共同的特征。
数据处理部70将点组数据P划分为被视为处于同一平面上的点数据p,并且对平面族CL1进行设定(参照图16的下图)。能够根据属于平面族CL1的各个点数据p而对平面(即,吊重W以及地上物体C的“上表面”)进行规定。另外,在被赋予了同一组ID的组内有时也存在多个平面族CL1。
而且,数据处理部70根据属于平面族CL1的点数据p的X坐标的最大值和最小值而对平面的“宽度”进行推断,并根据Z坐标的最大值和最小值而对平面的“纵深”进行推断。数据处理部70通过这种方式而对平面族CL1所形成的平面进行规定。另外,在此进行规定的平面可以是矩形以外的多边形。
在这样的上表面推断方法中,能够仅基于与激光扫描器62所取得的上表面相对应的点组数据P而对吊重W以及地上物体C的上表面进行推断。因此,在本实施方式所示出的上表面推断方法中,能够基于激光扫描器62所取得的点组数据P而在短时间内对吊重W以及地上物体C的上表面进行推断,进而能够实现实时地对吊重W以及地上物体C的上表面进行推断的操作。
此外,在这样的上表面推断方法中,能够不使用统计性的手法而对吊重W以及地上物体C的上表面进行推断,与使用统计性的手法的情况相比,能够降低吊重W以及地上物体C的上表面的推断所需的计算量。因此,在本实施方式示出的上表面推断方法中,能够基于激光扫描器62所取得的点组数据P而在更短时间内推断出吊重W以及地上物体C的上表面。
另外,虽然在本实施方式所示的吊重W以及地上物体C的上表面推断方法中,对在起重机1中将数据取得部60设置在伸缩吊臂22的顶端吊臂部件22f上,并通过激光扫描器62而从吊重W的上方确定与吊重W、地上物体C、地面F相关的点组数据P的情况进行了例示,但是本发明所涉及的测定对象物的上表面推断方法并不限定于应用在将起重机的吊重和存在于该吊重的周围的物体设为测定对象物的情况中的方法。
即,本实施方式示出的上表面推断方法例如能够广泛应用在将激光扫描器设置于具备吊臂的作业车辆(例如,高空作业车等)的吊臂前端部或无人机等上,并从上空取得存在于其铅垂下方的测定对象物的点组数据,然后基于所取得的点组数据而对测定对象物的上表面进行推断的情况中。
接下来,数据处理部70将推断出的各个平面族CL1(上表面)结合在一起。
如图23以及图24的上图所示,数据处理部70选择被推断出的平面族CL1中的、被赋予了不同的组ID的两个平面族CL1、CL1,并计算出各个平面族CL1的标高值H的差异dH(STEP-301:标高值差异计算工序)。
在此,数据处理部70对差异dH在阈值r2以内的组合进行搜索(STEP-302)。在此所称的平面族CL1的标高值H是指属于平面族CL1的各个点数据p的标高值H的平均值。
接下来,如图23以及图24的中图所示,数据处理部70在检测到了标高值H的差异dH在阈值r2以内的平面族CL1的组合时,而对这两个平面族CL1、CL1在X轴方向上的重叠dW进行检测(STEP-303:重叠检测工序)。在此所称的“重叠”是指在由平面族CL1所规定的平面的X轴方向上的重合程度以及分离程度,如图23及图24所示,在检测到了“宽度”的重合量dW1的情况(dW1>0)、或者检测到了分离量dW2在预定的阈值r3以下的情况下(0≤dW2≤r3),设为检测到了“重叠”。
而且,如图23及图24所示,数据处理部70在检测到了“重叠”的情况下(STEP-304),视为属于这些平面族CL1、CL1的点数据p存在于同一平面上,从而将两个平面族CL1、CL1结合,并更新为新的平面族CL1而进行更新(STEP-305:平面结合工序)。此外,此时,根据属于新的平面族CL1的各个点数据p而计算出新的标高值H。
如图23所示,数据处理部70重复进行以上的处理,直至不存在满足条件的平面族CL1、CL1的组合为止(STEP-306),从而推断以跨多个组的方式存在的平面。
而且,数据处理部70对通过以上的结合处理而结合成的平面(即,平面族CL1)进行输出。
由平面族CL1所规定的平面为在吊重W以及地上物体C中以向上的方式而存在的平面,即,吊重W以及地上物体C的上表面。
在这样的平面的推断方法中,能够在不使用点组数据P的法线矢量的条件下对平面进行推断。因此,与使用点组数据P的法线矢量来对平面进行推断的情况相比,具有以计算量较少的方式而完成的特征。
此外,在这样的平面的推断方法中,通过对吊重W或地上物体C的上表面进行推断,从而能够在不取得吊重W或地上物体C的侧面的点数据p的条件下掌握吊重W或地上物体C的立体的形状。
如图12所示,在数据处理部70所进行的数据处理中,接下来进行“同一区域的聚类处理”(STEP-105)。在此所称的“聚类”是指如下的处理,即,将作为数据的集合的点组数据P划分为族,并使各个族中包含的点数据p具有处于“同一区域”这样的共同的特征。
在此进行的“同一区域的聚类处理”为与是否构成同一平面无关地而以是否存在于“同一区域”内这样的不同的观点来将所生成的平面族CL1(平面)聚类的处理。
具体而言,如图25的上图所示,数据处理部70对包含标高值H为最大值Hh的点数据p在内的平面族CL1和与该平面族CL1不结合的平面族CL1进行提取。而且,数据处理部70计算出所提取的各个平面族CL1的标高值H的差量ΔH,如果差量ΔH在预定的阈值以下,则移到接下来的判断。
若移到接下来的判断,则如图25中图所示,数据处理部70针对差量ΔH在预定的阈值以下的两个平面族CL1、CL1而对在Y轴方向观察时的重叠进行确认。
在此,在两个平面族CL1、CL1于Y轴方向观察时重叠的情况下,如图25下图所示,数据处理部70将这两个平面族CL1、CL1视为处于“同一区域”,并通过这两个平面族CL1、CL1而形成同一区域族CL2。
而且,数据处理部70进一步对包含具有标高值H的最大值Hh的点数据p在内的平面族CL1和与该平面族CL1不结合的平面族CL1进行搜索,如果提取了不结合的平面族CL1,则进行根据差量ΔH进行的判断和Y轴方向观察时的重叠的确认,如果具有与上述条件一致的平面族CL1,则进一步追加到上述的同一区域族CL2内。
数据处理部70重复进行这样的处理,直至再未发现与包含具有标高值H的最大值Hh的点数据p在内的平面族CL1不结合的平面族CL1为止。数据处理部70通过以上这样的处理而形成同一区域族CL2。
而且,属于以这种方式而形成的同一区域族CL2的点数据p在后述的引导信息GD的显示中,作为在形状上具有一种统一性的数据而被对待,并以包围同一区域族CL2的方式显示引导框GD1。
另外,优选为,将这样的“同一区域的聚类处理”设为图26(A)、(B)所示的使用了基于标高值的树结构的分层式的聚类。数据处理部70在“同一区域的聚类处理”中针对每个地上物体C而使用标高值H并制成树结构。在此,对针对图26(A)所示的第一个示例的地上物体C而进行采用了树结构的分层式的聚类的情况和针对图26(B)所示的第二例的地上物体C而进行了采用树结构的分层式的聚类的情况进行了例示。
在使用了基于标高值的树结构的分层式的聚类中,数据处理部70将标高值H的平均值最小的平面族CL1设定为“根(根源)”。此外,数据处理部70如果存在如下的平面族CL1,即,在Y轴方向观察时与构成“根”的平面族CL1具有重叠的平面族CL1,则从“根”延伸出“枝(分支)”,并将该具有重叠的平面族CL1追加到“枝”的前端上。而且,数据处理部70将标高值H的平均值最大的平面族CL1设定为“子”。
在此,对引导框GD1的生成方法进行说明。
数据处理部70取得在“同一区域的聚类处理”中制成的地上物体C的树结构。而且,数据处理部70取得构成树结构的各个平面族CL1中包含的点数据p。
接下来,如图27上图所示,数据处理部70根据“子”的平面族CL1的点数据p而取得在Z轴方向上位于最里的激光侧线上的各个点数据p。而且,数据处理部70制成在Z轴方向上偏离相当于与相邻的激光侧线之间的距离的1/2的量,并且具有X轴方向上的能够包围各个点数据p的宽度的矩形。
接下来,在与制成的矩形相邻的激光侧线上存在点数据p的情况下,如图27的下图所示,数据处理部70使该矩形变形,以便包含该激光侧线上的全部的点数据p,从而制成外形线。
而且,数据处理部70在相邻的激光侧线上搜索点数据p,直至成为对象的激光侧线上的点数据p没有了为止,并重复上述处理,。
最后,数据处理部70制成外包了所选择的树结构中包含的全部的平面族CL1的外形线。
而且,数据处理部70从所制成的外形线之中仅输出符合条件的外形线以作为引导框GD1。
作为引导框GD1进行输出的条件,例如像图28(A)所示,能够选择如下条件,即,仅显示作为地上物体C的大框的外形线。在选择了该条件的情况下,针对该地上物体C而在数据显示部80上显示包围地上物体C的整体的一个引导框GD1。
此外,作为以引导框GD1进行输出的条件,例如,像图28(B)所示,能够选择如下条件,即除了作为地上物体C的大框的外形线之外,还能够显示如下外形线,所述外形线为,相对于“根”的标高值H之差(差量ΔH)在阈值以上的外形线(小框)中的、在各个枝中标高值H最高的平面族CL1所涉及的外形线。在选择了该条件的情况下,在数据显示部80上显示包围了该地上物体C的整体的第一个引导框GD1和被包含在第一个引导框GD1的内侧的第二个引导框GD1,并显示考虑了地上物体C的立体的形状的更详细的引导信息GD。
并且,作为引导框GD1进行输出的条件,例如,像图28(C)所示,能够选择除了作为地上物体C的大框的外形线之外,还能够全部显示如下的外形线(小框),所述外形线(小框)为相对于“根”的标高值H之差(差量ΔH)在阈值以上的外形线(小框)。在选择了该条件的情况下,也在数据显示部80上显示包围地上物体C的整体的第一个引导框GD1和被包含在其内侧的第二个引导框GD1,并且显示考虑了地上物体C的立体的形状的更详细的引导信息GD。
这样的显示条件能够通过对差量ΔH的阈值进行调节而实施。操作员能够适当选择引导框GD1的显示条件,以便更容易看到引导信息GD的显示。
即,在引导信息显示装置50中,通过基于同一区域族CL2而生成引导框GD1,从而能够在考虑了地上物体C的立体的形状的情况下生成更详细地表现出的地上物体C的引导框GD1。此外,在引导信息显示装置50中,能够生成汇集地包围了存在于同一区域内的平面族CL1的引导框GD1。即,根据引导信息显示装置50,能够更详细地提示容易可见的引导信息GD。
如图12所示,在数据处理部70进行的数据处理中,接下来进行“点组数据与摄像机影像的同步处理”(STEP-106)。
在此,正如图5(A)、(B)所示的那样,将在XYZ坐标系中取得的点组数据P变换成摄像机空间坐标系的坐标值,从而与摄像机61所拍摄到的影像M上同步(位置匹配)地向数据显示部80输出。
如图12所示,在数据处理部70所进行的数据处理中,接下来进行“引导显示处理”(STEP-107)。
数据处理部70基于所生成的同一区域族CL2的信息而生成引导信息GD,并向数据显示部80输出。
另外,在“引导显示处理”时,利用从起重机1的控制器34输出的“起重机信息”。在此进行利用的“起重机信息”中包括与伸缩吊臂22的长度、俯仰角度、起重机1的作业半径、吊重W的重量等相关的信息。
对数据处理部70进行的数据处理的一系列的流程进行了说明,在这样的结构中,不需要取得测定对象物的侧面的点数据p,就能够以较少的运算量而准确把握吊重W或地上物体C的立体的形状并生成引导信息GD。这样的结构需要的数据运算量较少,因此适合于实时地掌握吊重W或地上物体C的形状的用途之中,能够使用简单的硬件构成的数据处理部70。
接下来,对引导信息GD的内容进行说明。
在引导信息显示装置50中,通过数据显示部80而对引导信息GD进行显示。在通过数据显示部80而进行显示的引导信息GD中包括图8(B)所示那样的与操作员进行的地面F的指定位置相关的信息。
此外,在引导信息显示装置50中,能够对吊重W进行指定。通过与操作员对地面F进行指定的情况同样地在画面上对吊重W进行指示,从而被设定为存在于该指定位置的平面(上表面)表示吊重W的上表面。在被指定为吊重W之后,优选为通过改变线色和线宽等而区别显示与吊重W相关的引导框GD1和与地上物体C相关的引导框GD1。
与地面F和吊重W的指定位置相关的信息由采用圆等图形来表示的标记而显示。
此外,在由数据显示部80显示的引导信息GD中包含由数据处理部70生成的引导框GD1。
数据处理部70基于被设定的同一区域族CL2而将引导框GD1输出。另外,作为吊重W的引导框GD1,数据处理部70能够设置用于可靠地避免碰撞的富余,并且将从吊重W的外形线向外侧偏置了预定的距离的框线作为引导框GD1进行输出。这样的引导框GD1成为通过线段来包围在吊重W以及地上物体C中被推断出的上表面(平面族CL1)的框显示。
此外,在由数据显示部80显示的引导信息GD中包含从基准高度H0到吊重W的下表面为止的高度信息GD2以及从基准高度H0到地上物体C的上表面为止的高度信息GD3。
优选为,设为如下结构,即,设置与数据显示部80的画面上的容易可见的位置独立的区域,并将吊重W的高度信息GD2显示在该区域内。
在引导信息显示装置50中,通过这样的结构,不会将吊重W的高度信息GD2与地上物体C的高度信息GD3看错。
数据处理部70通过从推断为吊重W的上表面的平面族CL1的上表面高度中减去吊重W的高度,从而计算出高度信息GD2。
在引导信息显示装置50中,操作员将与吊重W相关的信息(以下称为“吊重信息”)预先输入到数据处理部70中。这个由操作员进行的“吊重信息”的输入由数据输入部90来进行。而且,数据处理部70利用“吊重信息”来取得吊重W的高度。
在引导信息显示装置50中,设为将地上物体C的高度信息GD3显示在包围地上物体C的引导框GD1的内侧的结构。或者,在引导信息显示装置50中,在引导框GD1较小的情况下,设为如下结构,即以一部分与引导框GD1重叠的方式进行显示。
在引导信息显示装置50中,通过这样的结构而使地上物体C与高度信息GD3的对应关系明确。
此外,在引导信息显示装置50中,设为如下结构,即,由数据处理部70根据与其引导框GD1相对应的平面族CL1的标高值H来改变引导框GD1的线色。
在引导信息显示装置50中,通过这样的结构,而使操作员看到引导框GD1,从而能够直观地感知到吊重W或地上物体C的大致的标高值(高度)。因此,在引导信息显示装置50中,能够更准确地提示吊重W和地上物体C的高度。
并且,在引导信息显示装置50中,设为如下的结构,即,由数据处理部70根据与其引导框GD1相对应的平面族CL1的标高值H而改变高度信息GD2的字体颜色。
在引导信息显示装置50中,通过这样的结构,从而使操作员看到高度信息GD2,进而能够直观地感知吊重W或地上物体C的大概的标高值(高度)。因此,在引导信息显示装置50中,能够更准确地提示吊重W和地上物体C的高度。
并且,在由引导信息显示装置50进行的引导信息GD的显示中,包含吊重W的移动路线信息。在吊重W的移动路线信息中包含吊重W的作业半径信息GD4和起重机1的伸缩吊臂22的轴线信息GD5。
作业半径信息GD4作为在使伸缩吊臂22从当前状况起开始进行回旋动作时的吊重W的移动路线的目标,吊重W沿着作为作业半径信息GD4而示出的圆弧进行移动。
此外,轴线信息GD5作为使伸缩吊臂22从当前状况起进行俯仰动作以及伸缩动作时的吊重W的移动路线的目标,吊重W沿着作为作业半径信息GD4而示出的直线进行移动。
在引导信息显示装置50中,基于“起重机信息”而生成吊重W的作业半径信息GD4和伸缩吊臂22的轴线信息GD5。
数据处理部70基于“起重机信息”而计算出起重机1的作业半径,并生成表示该作业半径的圆弧,然后作为作业半径信息GD4进行输出。
此外,数据处理部70基于“起重机信息”而对伸缩吊臂22的轴线方向进行计算,并生成表示该轴线方向的直线,然后作为轴线信息GD5进行输出。
此外,在引导信息显示装置50中,设为如下结构,即,通过虚线来表示对作业半径信息GD4和轴线信息GD5进行显示的线,并且以成为目标的长度(以下,称为基准长度)来显示该虚线的长度及间隔。例如,在将基准长度设为了1m的情况下,作业半径信息GD4和轴线信息GD5根据被显示在数据显示部80上的吊重区域WA的大小而在显示上变更虚线的长度以及间隔,在此时的量程内,在地面F显示为相当于1m的长度以及间隔。
在引导信息显示装置50中,设为如下结构,即,通过以基准长度(例如,1m)来显示虚线的长度或间隔,从而使操作员能够根据引导信息GD而感觉到吊重W或地上物体C的量程感。
此外,数据处理部70基于“起重机信息”而对数据取得部60的高度进行计算,并且计算出吊重区域WA的大小以及数据显示部80的显示范围的大小,并根据该计算结果来对显示为作业半径信息GD4和轴线信息GD5的虚线的量程(虚线以及其间隔的大小)进行变更。
并且,在由引导信息显示装置50进行的引导信息GD的显示中,包含用于防止吊重W和地上物体C的接触的报警显示。
在将吊重W和地上物体C投影到水平面时的水平距离为预定的阈值(例如,1m)以下、且铅垂方向的距离为预定的阈值(例如,1m)以下的情况下,数据处理部70判断为存在接触的可能。
此时,数据处理部70如图29所示,以对有可能与吊重W接触的地上物体C的引导框GD1以及高度信息GD2进行强调的方式而对地上物体C的引导框GD1以及高度信息GD2进行输出。或者,数据处理部70以使地上物体C的引导框GD1以及高度信息GD2闪烁的方式而对地上物体C的引导框GD1以及高度信息GD2进行输出。在引导信息显示装置50中,通过数据处理部70来对作为报警显示的地上物体C的引导框GD1以及高度信息GD2进行输出,并且能够通过显示在数据显示部80上而促进操作员的注意。
此外,在引导信息显示装置50中,在通过数据处理部70而生成引导信息GD时,如图30所示,在吊重W与顶端吊臂部件22f之间设置除外区域JA。而且,将数据处理部70设为如下结构,即,将在该除外区域JA内取得的点数据p从数据处理的对象中排除。
主钢丝绳27在除外区域JA内通过。在引导信息显示装置50中,通过使主钢丝绳27不包含在引导信息GD的生成对象(测定对象物)中,从而能够更准确地提示容易可见的引导信息GD。另外,除外区域JA在不给吊重W的引导框GD1的生成造成影响的考虑下优选为将其下端高度设定在距吊重W的上表面离开预定的距离的位置。
在这种结构的引导信息显示装置50中,能够针对吊荷W和存在于吊重W的周边的地上物体C而向起重机1的操作员准确地提示表示其形状的引导框GD1和包含表示高度的高度信息GD2、GD3在内的引导信息GD。而且,若使用这种结构的引导信息显示装置50,则例如即使在操作员无法直接目视确认吊重W的情况下,操作员也能够基于引导信息显示装置50所提示的引导信息GD而高效且安全地实施起重机1所实现的作业。
附图标记说明
1起重机
50引导信息显示装置
60数据取得部
61摄像机
62激光扫描器
70数据处理部
80数据显示部
P点组数据
W吊重
F地面
C地上物体
M(摄像机所拍摄到的)影像
GD引导信息
GD1引导框
GD2(吊重下表面的)高度信息
GD3(地上物体上表面的)高度信息
WA吊重区域
CL1平面族
CL2同一区域族。

Claims (6)

1.一种引导信息显示装置,具有:
数据取得部,其包括摄像机和激光扫描器,所述摄像机从吊重的上方对至少包括所述吊重、存在于所述吊重的下方的地面和地上物体在内的吊重区域的影像进行拍摄,所述激光扫描器在所述吊重区域内从所述吊重的上方取得所述吊重、存在于所述吊重的下方的所述地面和所述地上物体的点组数据;
数据处理部,其基于所述激光扫描器所取得的所述点组数据而对所述吊重的上表面、存在于所述吊重区域内的所述地面和存在于所述吊重区域内的所述地上物体的上表面进行推断,并生成分别包围所述吊重的上表面和所述地上物体的上表面的引导框;以及
数据显示部,其对重叠了所述数据处理部所生成的所述引导框和所述摄像机所拍摄到的所述影像的引导信息进行显示。
2.根据权利要求1所述的引导信息显示装置,
所述数据处理部在从所述激光扫描器起的距离方向上对所述点组数据进行分层,对属于同一层,且点间距离在规定值以下的点进行聚类,将进行聚类而得的所述点组数据推断为所述地上物体的上表面。
3.根据权利要求2所述的引导信息显示装置,
所述数据处理部使每个族的距地面的标高值作为引导信息与所述引导框相对应地显示在所述数据显示部上。
4.根据权利要求1所述的引导信息显示装置,
所述数据处理部使所述吊重的下表面距地面的标高值作为引导信息显示在所述数据显示部上。
5.一种作业机,具有权利要求1至权利要求4中任一项所述的引导信息显示装置。
6.一种具有权利要求1至权利要求4任一项所述的引导信息显示装置的作业机,
所述数据处理部使包含所述吊重的作业半径信息和所述作业机的吊臂的轴线信息的所述吊重的移动路线信息作为引导信息与所述影像数据重叠地进行显示。
CN202010689678.0A 2017-07-21 2018-07-19 引导信息显示装置以及起重机 Active CN111908339B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017142201A JP6895835B2 (ja) 2017-07-21 2017-07-21 ガイド情報表示装置およびクレーン
JP2017-142201 2017-07-21
CN201880047677.7A CN110915203A (zh) 2017-07-21 2018-07-19 引导信息显示装置以及起重机
PCT/JP2018/027185 WO2019017455A1 (ja) 2017-07-21 2018-07-19 ガイド情報表示装置およびクレーン

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880047677.7A Division CN110915203A (zh) 2017-07-21 2018-07-19 引导信息显示装置以及起重机

Publications (2)

Publication Number Publication Date
CN111908339A CN111908339A (zh) 2020-11-10
CN111908339B true CN111908339B (zh) 2023-02-21

Family

ID=65015990

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010689678.0A Active CN111908339B (zh) 2017-07-21 2018-07-19 引导信息显示装置以及起重机
CN201880047677.7A Pending CN110915203A (zh) 2017-07-21 2018-07-19 引导信息显示装置以及起重机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880047677.7A Pending CN110915203A (zh) 2017-07-21 2018-07-19 引导信息显示装置以及起重机

Country Status (5)

Country Link
US (1) US11542127B2 (zh)
EP (2) EP3823271A1 (zh)
JP (1) JP6895835B2 (zh)
CN (2) CN111908339B (zh)
WO (1) WO2019017455A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11130658B2 (en) * 2016-11-22 2021-09-28 Manitowoc Crane Companies, Llc Optical detection and analysis of a counterweight assembly on a crane
JP6965050B2 (ja) * 2017-07-21 2021-11-10 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
US11293751B2 (en) * 2019-09-24 2022-04-05 Honda Motor Co., Ltd. Profile inspection system for verifying relative position of vehicle component objects and manufacturing cell including same
JP7346283B2 (ja) * 2019-12-23 2023-09-19 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP7402728B2 (ja) 2020-03-26 2023-12-21 株式会社タダノ ガイド表示システムおよびこれを備えたクレーン
JP7369653B2 (ja) * 2020-03-26 2023-10-26 株式会社タダノ ガイド表示システムおよびこれを備えたクレーン
US12006187B2 (en) * 2020-05-18 2024-06-11 Fascan International, Inc. Crane with saw attachment mechanism
US11710392B2 (en) * 2020-09-11 2023-07-25 IDEMIA National Security Solutions LLC Targeted video surveillance processing
JP7447373B2 (ja) 2020-10-07 2024-03-12 株式会社神戸製鋼所 クレーン監視装置および該方法ならびに天井クレーン
CN113184702B (zh) * 2021-04-09 2023-08-15 浙江三一装备有限公司 起重机配重检测方法、装置及起重机
CN112978579B (zh) * 2021-05-13 2021-07-23 新乡职业技术学院 一种具有防碰撞控制系统的起重机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101153796A (zh) * 2006-09-25 2008-04-02 株式会社拓普康 测量方法、测量系统和测量数据处理程序
CN103500329A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载移动激光扫描点云的路灯自动提取方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352128B2 (en) * 2009-09-25 2013-01-08 TMEIC Corp. Dynamic protective envelope for crane suspended loads
JP5488882B2 (ja) * 2009-10-08 2014-05-14 株式会社日立製作所 固定映像表示システム
JP5876679B2 (ja) * 2011-07-08 2016-03-02 株式会社タダノ 性能線表示装置
JP6017782B2 (ja) * 2011-12-09 2016-11-02 株式会社タダノ 吊荷周辺の物体の高さ情報通知システム
JP6053141B2 (ja) * 2013-01-29 2016-12-27 株式会社タダノ 作業確認装置
JP6215110B2 (ja) * 2014-03-27 2017-10-18 住友重機械搬送システム株式会社 クレーン運転支援装置、クレーンシステム、クレーン運転支援方法及びプログラム
CN105189327B (zh) * 2014-03-28 2017-03-15 住友重机械搬运系统工程株式会社 信息提示装置、起重机系统及信息提示方法
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
JP7180966B2 (ja) * 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ, エルエルシー 視覚的アウトリガー監視システム
US11254547B2 (en) * 2018-02-02 2022-02-22 Tulsa Winch, Inc. Work area monitoring system for lifting machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101153796A (zh) * 2006-09-25 2008-04-02 株式会社拓普康 测量方法、测量系统和测量数据处理程序
CN103500329A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载移动激光扫描点云的路灯自动提取方法

Also Published As

Publication number Publication date
EP3823271A1 (en) 2021-05-19
JP2019024150A (ja) 2019-02-14
JP6895835B2 (ja) 2021-06-30
CN111908339A (zh) 2020-11-10
US20200198939A1 (en) 2020-06-25
US11542127B2 (en) 2023-01-03
WO2019017455A1 (ja) 2019-01-24
CN110915203A (zh) 2020-03-24
EP3657783B1 (en) 2023-02-22
EP3657783A4 (en) 2020-11-25
EP3657783A1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
CN111908339B (zh) 引导信息显示装置以及起重机
CN111874821B (zh) 点群数据的聚类方法、向导信息显示装置及起重机
JP6965050B2 (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
CN111882597B (zh) 测量对象物的上表面推测方法、引导信息显示装置以及起重机
CN111928782B (zh) 引导信息显示装置、引导信息显示方法及作业机
CN111943050B (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
WO2019017469A1 (ja) 地表面推定方法、ガイド情報表示装置およびクレーン
JP6832806B2 (ja) ガイド情報表示装置、クレーンおよびガイド情報の生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant