CN104662389A - 作业车的周围信息获取装置 - Google Patents

作业车的周围信息获取装置 Download PDF

Info

Publication number
CN104662389A
CN104662389A CN201380049221.1A CN201380049221A CN104662389A CN 104662389 A CN104662389 A CN 104662389A CN 201380049221 A CN201380049221 A CN 201380049221A CN 104662389 A CN104662389 A CN 104662389A
Authority
CN
China
Prior art keywords
mentioned
image
information acquisition
acquisition device
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049221.1A
Other languages
English (en)
Other versions
CN104662389B (zh
Inventor
谷住和也
石川岩
津田和彰
藤原修二
宗清正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012207769A external-priority patent/JP6080450B2/ja
Priority claimed from JP2012260730A external-priority patent/JP6146994B2/ja
Priority claimed from JP2012260731A external-priority patent/JP6097063B2/ja
Priority claimed from JP2013020350A external-priority patent/JP6222933B2/ja
Priority claimed from JP2013160884A external-priority patent/JP6257947B2/ja
Application filed by Tadano Ltd filed Critical Tadano Ltd
Publication of CN104662389A publication Critical patent/CN104662389A/zh
Application granted granted Critical
Publication of CN104662389B publication Critical patent/CN104662389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3469—Fuel consumption; Energy use; Emission aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Jib Cranes (AREA)

Abstract

在起重机(10)的伸缩悬臂(16)的前端部设置测定从上述前端部到物体的距离的立体摄像机(30)，设置根据到上述立体摄像机(30)所测定的物体为止的测定数据求出以起重机(10)为基准的物体的三维位置信息的图像处理控制器(60)，使伸缩悬臂(16)移动来获取位于以起重机(10)为中心的周围的物体的三维位置信息。

Description

作业车的周围信息获取装置
技术领域
本发明涉及获取位于作业车的周围的物体的三维位置信息的作业车的周围信息获取装置。
背景技术
以往，已知的有在作业设备的悬臂的前面设置有立体摄像机，并对位于作业设备的前方的作业对象物进行立体拍摄的立体摄像机装置(参照专利文献1)。
作业设备具有下部行驶体、设置于上述下部行驶体之上的上部旋转体、设置于上述上部旋转体的可起伏的悬臂(boom)、设置于上述悬臂的前端部的吊杆(jib)、设置于吊杆的前端部的臂、设置于上述臂的前端部的粉碎机、以及设置于悬臂的前面的一对立体摄像机。
一对立体摄像机面向前方，并对位于作业设备的前方的要粉碎的作业对象物进行立体拍摄，通过立体拍摄来求出作业对象的前后方向的进深。
[专利文献]
专利文献1：日本特开2010-248777号公报
发明内容
(发明所要解决的问题)
然而，在这样的作业设备中，由于仅对位于前方的作业对象物进行立体拍摄，因此存在无法获取位于以作业设备为中心的周边的各物体的三维位置信息的问题。
本发明的目的在于提供一种能够获取位于作业车的周围的物体的三维位置信息的作业车的周围信息获取装置。
(解决问题的措施)
关于本发明所涉及的作业车的周围信息获取装置，在作业车的悬臂的前端部设置有测定上述前端部与物体的位置关系的三维位置测定装置，设置有根据上述三维位置测定装置所测定的悬臂前端与物体的位置的测定数据求出物体的三维位置信息的三维位置信息获取装置，该三维位置信息获取装置使上述悬臂移动来获取位于作业车的周围的物体的三维位置信息。
(发明的效果)
根据本发明，能够覆盖大范围地获取作业车的周围的物体的三维位置信息。
附图说明
图1为表示搭载有本发明的周围信息获取装置的移动式起重机的侧面图。
图2为表示设置在伸缩悬臂的前端部的立体摄像机的说明图。
图3为表示周围信息获取装置的结构的框图。
图4为表示图3所示的图像处理控制器的结构的框图。
图5为表示起重机、立体摄像机和建筑物的位置关系与坐标系的说明图。
图6为表示起重机的坐标系、立体摄像机的坐标系和建筑物的俯视图。
图7为表示起重机与位于上述起重机的周围的建筑物的说明图。
图8为表示存储于存储器的建筑物的轮廓线与上述轮廓线的特征点的说明图。
图9为表示俯视观察建筑物的存储在图像存储器的地图的说明图。
图10为表示监视器所显示的地图等的说明图。
图11为利用极坐标表示监视器所显示的地图的情况的说明图。
图12为表示将悬臂的旋转中心的位置以外设定为原点的情况的说明图。
图13为表示监视器的显示画面的另一个例子的说明图。
图14为表示到立体摄像机的拍摄对象为止的距离测定的原理的说明图。
图15为利用设置在起重机的立体摄像机进行高度测定的情况的说明图。
图16为表示第二实施例的周围信息获取装置的结构的框图。
图17为表示监视器部所显示的图像的一个例子的说明图。
图18为表示对象物体与起重机上的基准对象未同时映于立体摄像机的状态的说明图。
图19为表示构成第三实施例的立体摄像机的两个单眼的监视摄像机的说明图。
图20为表示第三实施例的周围信息获取装置的结构的框图。
图21A为表示利用配置在远离驾驶室一侧的监视摄像机拍摄到的图像的说明图。
图21B为表示利用配置在驾驶室一侧的监视摄像机拍摄到的图像的说明图。
图21C为表示将图21A所示的图像与图21B所示的图像合成的合成图像的说明图。
图22为表示第四实施例的周围信息获取装置的结构的框图。
图23为表示图22所示的图像处理控制器的结构的框图。
图24为表示监视摄像机与伸缩悬臂的伸长相应地拍摄的位置发生变化的说明图。
图25中的(A)为表示在图24所示的第一位置拍摄到的图像的说明图，(B)为表示在图24所示的第二位置拍摄到的图像的说明图。
图26表示到立体摄像机的拍摄对象为止的距离测定的原理，是表示左右的摄像机的位置关系与坐标的说明图。
图27为表示三维空间的点与拍摄上述点的左右的摄像机的图像上的位置的关系的说明图。
图28为表示能够求出三维空间的点的位置的说明图。
图29为表示将表示提取的特征点的位置的标记与求出的构造物的高度合成显示的图像的一个例子的说明图。
具体实施方式
以下，参照附图对作为本发明的作业车的周围信息获取装置的实施的方式的实施例进行说明。
[实施例]
[第一实施例]
图1中作为搭载有周围信息获取装置的起重机(作业车)示出轮式起重机(roughterrain crane)10。上述轮式起重机10(以下记载为起重机)具备：具有行驶功能的作为车辆的主体部分的载运车体(carrier)11、设置于上述载运车体11的前侧的左右一对前侧支腿12、设置于载运车体11的后侧的左右一对后侧支腿13、以能够水平旋转的方式安装于载运车体11的上部的旋转台14、设置于旋转台14的驾驶室20、安装于固定在旋转台14的托架15上的伸缩悬臂(悬臂，boom)16等。
伸缩悬臂16是其基端部经由支承轴17而被安装，并且能够以支承轴17为中心起伏。在托架15与伸缩悬臂16之间夹装起伏用缸体18，通过上述起伏用缸体18的伸缩而使伸缩悬臂16起伏。
伸缩悬臂16具有基体悬臂16A、中间悬臂16B和前端悬臂16C，并按照上述顺序从外侧向内侧以嵌套的方式组合于基体悬臂16A内而构成。另外，伸缩悬臂16通过伸缩缸体(未图示)进行伸缩。
在前端悬臂16C的前端部(悬臂头)16Ca上设置有滑轮(sheave)(未图示)，在上述滑轮上搭设有钢丝绳(以下记做绳)W，通过上述绳W悬挂吊钩滑车19。吊钩滑车19安装有吊钩21。
绳W通过未图示的绞盘(winch)收起或放出。
如图2所示，在前端悬臂16C的前端部16Ca，由TV摄像机等构成的立体摄像机(三维位置测定装置)30经由未图示的减振器(damper)安装于滑轮轴25。立体摄像机30面向正下方，能够朝倾斜方向与摇摄方向相对于垂直轴线以任意角度倾斜。另外，立体摄像机30构成为利用未图示的减振器而不会因风等改变朝向。此外，26为滑轮。
立体摄像机30的倾斜(朝向)的操作通过设置于驾驶室20内的操作部(未图示)进行。立体摄像机30的倾斜角度通过倾斜角检测传感器S1(参照图3)与摇摄角检测传感器S2来检测。
图3为表示周围信息获取装置100的结构的框图。
周围信息获取装置100具有：设置于伸缩悬臂16的前端部16Ca的立体摄像机30；检测伸缩悬臂16的姿态的悬臂姿态检测传感器50；检测立体摄像机30的倾斜角度的倾斜角检测传感器S1以及摇摄角检测传感器S2；对从立体摄像机30所输出的图像信号进行处理并提取拍摄到的物体的特征点，也可基于该特征点求出各物体的三维位置信息的作为三维位置信息获取装置的图像处理控制器60；基于图像处理控制器所求出的三维位置信息制作起重机10的周围的地图的地图制作处理部80；以及显示上述地图制作处理部80所制作成的地图等的监视器(显示部)51。
[悬臂姿态检测传感器]
悬臂姿态检测传感器50检测伸缩悬臂16的伸长的长度、伸缩悬臂16的仰起角和伸缩悬臂16的旋转角，具有分别检测这些数据的各传感器(未图示)。
[图像处理控制器]
图像处理控制器60利用立体摄像机30所拍摄的图像将起重机10的周围的物体的位置作为三维位置信息来进行处理，在本实施例中所示出的是将周围物体的特征点当作以起重机10的基准点为基准的周围的物体的三维位置信息来获取的事例。
如图4所示，图像处理控制器60具有：收集立体摄像机30的左右的单眼摄像机(拍摄单元)30L、30R所拍摄的图像的第一、第二帧存储部61L、61R；从存储于第一、第二帧存储部61L、61R的图像中提取物体的特征点(在图5的说明中为物体1的特征点Pa)的特征点提取部62L、62R；从存储于第一、第二帧存储部61L、61R的图像中提取标记于起重机10的载运车体11的上表面的例如十字标记的3个基准点P1、P2、P3(参照图5)的基准点提取部63L、63R；根据特征点提取部62L、62R所提取的特征点来计算出立体摄像机30的坐标系中的特征点位置的摄像机坐标系位置计算部64；根据基准点提取部63L、63R所提取的3个基准点来计算出立体摄像机30的坐标系中的3个基准点位置的摄像机坐标系基准点位置计算部65；根据该摄像机坐标系基准点位置计算部65所计算出的3个基准点位置来计算出摄像机坐标系与起重机的坐标系的相关关系的相关关系计算部66；基于相关关系计算部66所计算出的相关关系，将摄像机坐标系位置计算部64所计算出的特征点的位置变换为起重机的坐标系的位置而求出的起重机坐标系位置计算部67；存储起重机坐标系位置计算部67所计算出的位置的存储器68；以及基于悬臂姿态检测传感器50所检测出的检测信号，将单眼摄像机30L、30R的图像收集到第一、第二帧存储部61L、61R中的控制部70。
控制部70进行特征点提取部62L、62R以及基准点提取部63L、63R的提取处理的控制、摄像机坐标系位置计算部64以及摄像机坐标系基准点位置计算部65的运算处理的控制，也可进行相关关系计算部66的相关关系的计算控制、起重机坐标系位置计算部67的计算控制。
而且，利用第一、第二帧存储部61L、61R、特征点提取部62L、62R和摄像机坐标系位置计算部64来构成图像识别单元。
此外，由于在第三、第五实施例中对能够根据立体摄像机所拍摄到的物体的图像来求出上述物体的三维位置的原理进行说明，因此在此省略。
[地图制作处理部]
地图制作处理部80利用图像处理控制器60所获取的三维位置信息来求出起重机10的周围的物体的高度，并且制作示出上述物体的高度信息的俯视的地图。然后，将地图制作处理部80所制作成的地图显示于监视器51。
另外，地图制作处理部80基于存储于存储器68的物体的轮廓线、三维位置数据来制作将物体形成为俯视的形状并且用与上述物体的高度相应的颜色显示上述物体的位置与高度的地图，并且具有存储所制作成的地图的图像存储器81。
[动作]
接下来，对于如上述那样构成的周围信息获取装置100的动作进行说明。
如上所述，在起重机10的载运车体11的上表面标记有3个基准点P1、P2、P3，该基准点P1、P2、P3的位置作为以载运车体11的上表面的伸缩悬臂16的旋转中心的位置为原点的起重机10的X、Y、Z坐标系的位置，如图6所示，预先设定为P1＝(X1，Y1，Z1)、P2＝(X2，Y2，Z2)、P3＝(X3，Y3，Z3)。
首先，如图1所示，将起重机10固定于作业位置。接下来，如图5所示，将伸缩悬臂16仰起并伸长，并利用立体摄像机30进行拍摄。将所拍摄到的一方的图像显示于监视器51。
若伸缩悬臂16伸长至规定的长度，则控制部70将立体摄像机30所拍摄到的图像收集到第一、第二帧存储部61L、61R中。
在此，例如，如图5所示，以立体摄像机30的单眼摄像机30L、30R拍摄作为构造物(物体)的建筑物1与起重机10的情况为例进行说明。
如果在第一、第二帧存储部61L、61R中收集并存储立体摄像机30的单眼摄像机30L、30R所拍摄到的图像，则特征点提取部62L、62R提取存储于第一、第二帧存储部61L、61R的图像的特征点。
关于上述特征点的提取，例如通过图像处理提取建筑物1的图像的轮廓线(边缘)，并且通过图像处理提取位于建筑物1的角部的点Pa～Pd作为轮廓线的特征点。通过图像处理的轮廓线、特征点的提取为公知技术，因此在此省略对其的说明。
此外，当特征点提取部62L、62R提取建筑物1的轮廓线时，在立体摄像机30所拍摄的高度位置低的情况下，也可以将用于提取轮廓线的区域稀疏化来提升运算速度。
若特征点提取部62L、62R已分别提取建筑物1的特征点Pa～Pd，则摄像机坐标系位置计算部64基于这些特征点Pa～Pd在单眼摄像机30L、30R的图像上的位置来求出例如以单眼摄像机30L的焦点的位置为原点的摄像机坐标系中的特征点Pa～Pd的位置(x0，y0，z0)～(xd，yd，zd)。
另一方面，基准点提取部63L、63R从存储在第一、第二帧存储部61L、61R的图像中分别提取起重机10的载运车体11上的3个基准点P1、P2、P3。3个基准点P1、P2、P3的提取例如利用公知的图案匹配方法分别提取。
若基准点提取部63L、63R已提取基准点P1、P2、P3，则摄像机坐标系基准点位置计算部65基于基准点P1、P2、P3在单眼摄像机30L、30R的图像上的位置，通过下述的立体摄像机的位置计算的原理求出以单眼摄像机30L的焦点的位置(未图示)为原点的摄像机坐标系的位置(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)。
相关关系计算部66根据摄像机坐标系基准点位置计算部65所求出的基准点P1、P2、P3的摄像机坐标系的位置(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)和如图6所示那样预先设定的基准点P1、P2、P3在起重机的X、Y、Z坐标系的位置(X1，Y1，Z1)、(X2，Y2，Z2)、(X3，Y3，Z3)来求出摄像机的坐标系的位置与起重机10的坐标系的位置的相关关系。
在此，在以单眼摄像机30L的焦点位置为基准的摄像机坐标系中确定起重机10上的3点的基准点的位置，据此能够确定起重机坐标系中的摄像机坐标系的原点的位置与单眼摄像机30L的朝向，因此能够求出上述相关关系。
起重机坐标系位置计算部67根据相关关系计算部66所求出的相关关系来求出摄像机坐标系的特征点Pa的位置(x0，y0，z0)作为起重机10的坐标系的位置(X0，Y0，Z0)。同样，求出特征点Pb～Pd的位置作为起重机10的坐标系的位置(Xb，Yb，Zb)～(Xd，Yd，Zd)。
起重机坐标系位置计算部67所求出的特征点Pa～Pd在起重机10的坐标系的位置(X0，Y0，Z0)～(Xd，Yd，Zd)存储在存储器68中。
接下来，使伸缩悬臂16旋转，每当伸缩悬臂16转过例如规定角度时，将立体摄像机30所拍摄到的图像收集到第一、第二帧存储部61L、61R中，每当在第一、第二帧存储部61L、61R中收集到图像时就反复进行上述动作，提取建筑物的轮廓线与特征点，并且求出上述特征点的三维位置，据此获取位于以起重机10为中心的周边的所有物体的三维位置信息。当在起重机10的周边例如如图7所示那样存在两个建筑物1、2的情况下，提取上述建筑物1、2的特征点Pa～Pd、Qa～Qd，求出上述特征点Pa～Pd、Qa～Qd的位置作为摄像机坐标系的位置(x0，y0，z0)～(xd，yd，zd)、(xqa，yqa，zqa)～(xqd，yqd，zqd)，然后求出起重机10的坐标系的三维的位置(X0，Y0，Z0)～(Xd，Yd，Zd)、(Xqa，Yqa，Zqa)～(Xqd，Yqd，Zqd)(参照图8)。
在存储器68中例如如图8所示那样存储建筑物1、2的轮廓线R1、R2和建筑物1、2的各特征点Pa～Pd、Qa～Qd的位置。
地图制作处理部80基于存储于存储器68中的建筑物1、2的轮廓线R1、R2和建筑物1、2的各特征点Pa～Pd、Qa～Qd的位置(X0，Y0，Z0)～(Xd，Yd，Zd)、(Xqa，Yqa，Zqa)～(Xqd，Yqd，Zqd)来制作俯视观察建筑物1、2的地图。即，将轮廓线R1、R2变换为以使Z坐标值为零的X-Y坐标系表示的轮廓线。
具体地说，如图9所示，地图制作处理部80仅使建筑物1的轮廓线R1的特征点Pa～Pd的三维位置中的X-Y坐标系的位置(X0，Y0)～(Xd，Yd)与图像存储器81的n、m地址对应地存储于图像存储器81。进而，将连结上述特征点Pa～Pd的线作为俯视观察建筑物1的轮廓线F1存储于图像存储器81。另外，将轮廓线F1内形成为与Z坐标的值相对应的颜色而存储于图像存储器81。
同样，仅将建筑物2的轮廓线R2的特征点Qa～Qd的三维位置中的X-Y坐标系的位置(Xqa，Yqa)～(Xqd，Yqd)与图像存储器81的n、m地址对应地存储于图像存储器81，并将连结上述特征点Qa～Qd的线作为俯视观察建筑物2的轮廓线F2存储于图像存储器81。另外，将轮廓线F2内形成为与Z坐标值相对应的颜色而存储于图像存储器81。
如此制作图9所示的地图MP并将其存储于图像存储器81。
另外，关于表示高度的颜色，例如在高度低于10m的情况下形成为淡蓝色，在高度为10m以上且20m以下的情况下形成为蓝色，在高度为20m以上且30m以下的情况下形成为紫色，在高度为30m以上的情况下形成为红色。
例如，在建筑物1的高度为21m的情况下，轮廓线F1内为紫色，在建筑物2的高度为18m的情况下，轮廓线F2内为蓝色。
存储于图像存储器81的地图MP如图10所示显示在监视器51上。在上述监视器51上显示在X-Y坐标系的原点位置O表示起重机10的图解图像10G，并且显示表示颜色与高度的关系的柱状图像52，便于操作人员通过颜色知悉建筑物1、2的高度。图解图像10G以及柱状图像52也可以预先存储于图像存储器81。
当在图像存储器81中存储了地图MP后，控制部70通过特征点提取部62L、62R从立体摄像机30所拍摄的吊钩滑车19的图像中提取吊钩滑车19的图像的轮廓线。
然后，与上述同样地求出吊钩滑车19的轮廓线的在起重机10的坐标系下的三维位置，根据上述三维位置求出吊钩21的三维位置，并在存储器68中存储吊钩21的三维位置。
地图制作处理部80与存储在存储器68中的吊钩21的三维位置对应地在存储于图像存储器81的地图MP上合成表示吊钩21的图解图像Gf，并如图10所示那样显示在监视器51上。上述图解图像Gf的颜色基于吊钩21的高度位置、即Z坐标值来确定。例如，如果吊钩21的高度为30m以上，则以红色显示图解图像Gf。
在吊钩滑车19的轮廓线的提取之际，每经过恒定时间(例如每过0.1秒)就进行立体摄像机30所拍摄到的图像的向第一、第二帧存储部61L、61R的收集，据此能够与吊钩21的移动对应地实时显示图解图像Gf。
这样，在监视器51上，如图10所示，在地图MP上，与表示建筑物1、2的轮廓线F1、F2一起将吊钩21的图解图像Gf与起重机10的图解图像10G对应地显示在各个位置，因此能够一目了然地掌握周边的建筑物1、2与起重机10的位置关系、吊钩21与建筑物1、2的位置关系。并且，还会知悉建筑物1、2的高度、吊钩21的高度，因此易于确保作业时的安全性，能够提高作业效率。
在本实施例中，基于立体摄像机30所拍摄到的起重机10的载运车体11上的基准点P1、P2、P3的图像来求出建筑物1的三维位置信息，因此也可以不通过检测悬臂的姿态的传感器等来求出伸缩悬臂16的前端部的位置，因此，能够准确地获取以起重机10为中心的周围的建筑物1、2的三维位置信息，而不会受伸缩悬臂16的挠曲等的影响，能够制作准确的地图。另外，由于用颜色显示高度，因此能够在视觉上把握建筑物1、2、吊钩21的高度。
在本实施例中，将地图MP以X-Y坐标系显示，但如图11所示，也可以以极坐标V显示于监视器51。如果像这样以极坐标V进行显示，则当使伸缩悬臂16旋转的情况下，可清晰地知悉吊钩21因上述旋转而移动的位置，更易于确保安全性。
另外，也可以设置切换开关而在X-Y坐标系的显示与极坐标系的显示之间切换。
在本实施例中，在伸缩悬臂16的前端部设置了立体摄像机30，但无需一定设置立体摄像机30。例如，也可以将单眼摄像机设置在伸缩悬臂16的前端部，通过立体摄像机的原理从由伸缩悬臂16的移动得到的单眼摄像机的图像中获取建筑物1、2的三维位置信息。
另外，也可以代替立体摄像机30，在伸缩悬臂16的前端部设置单眼摄像机与激光测距装置，基于激光测距装置的测定来求出物体的高度，从单眼摄像机的图像中提取物体的轮廓线，基于物体的高度将上述轮廓线变换为俯视观察的轮廓线。
在本实施例中，用不同颜色进行高度表示，但并不局限于此，例如也可以通过相同颜色的深浅来显示，或者使用阴影线、虚线等表示。另外，还可以用数值进行表示。另外，在本实施例中，在起重机10的载运车体11上设定3个基准点P1、P2、P3，以便获取建筑物1、2的三维位置信息，但只要可根据伸缩悬臂16的起伏角度、长度、旋转角度、挠曲量求出伸缩悬臂16的前端部的位置，即便不设定3个基准点P1、P2、P3，也可以求出以伸缩悬臂16的旋转中心位置为原点的建筑物1、2的三维位置。
另外，在使立体摄像机30朝正下方(铅垂方向)进行拍摄的情况下，如果Z轴与Z轴成为相同的方向时，则也可以为两个基准点。
在本实施例中，设定以载运车体11的上表面的伸缩悬臂16的旋转中心的位置为原点的起重机10的X、Y、Z坐标系，以此获取建筑物1、2的三维位置信息，但例如如图12所示，利用以起重机10的载运车体11的上表面的规定位置Pc、地面的规定位置Pd为原点的坐标系获取建筑物的三维位置信息也可。此外，h为从地面到载运车体11的上表面的高度。
在这种情况下，关于规定位置Pc、Pd，需要预先求出在X、Y、Z的坐标系中的位置。即，只要知悉在以载运车体11的上表面的伸缩悬臂16的旋转中心的位置O为原点的X、Y、Z的坐标系中的位置，则无论是何位置，只要以上述位置为原点设定坐标，都能够获取在上述坐标中的建筑物1、2的三维位置信息。
在本实施例中，提取建筑物的4个特征点来制作俯视观察建筑物1、2的地图，但也可以仅提取一个特征点而根据该特征点求出建筑物的三维位置，如图13所示，可以将俯视的建筑物图像1G、2G、表示该特征点的标记图像Ma、Mb、表示特征点的三维位置的坐标显示于监视器51。另外，在监视器51的中央部显示起重机图像10G，起重机图像10G可以为图解图像，也可以为立体摄像机30的例如单眼摄像机30L所拍摄的起重机10的图像。
[第二实施例]
[测定原理的说明]
图14表示使用立体摄像机测定到拍摄对象为止的距离的测定原理。
在图14中，1为拍摄对象，2为立体摄像机。在此，立体摄像机2由两个单眼的CCD摄像机2A、2B构成。
上述CCD摄像机2A、2B分别具有拍摄镜头3A、3B、二维拍摄元件4A、4B。附图标记O1、O2分别表示上述拍摄镜头3A、3B的光轴，将光轴O1、O2间的距离设为基线长度D。另外，将拍摄镜头3A、3B的焦距设为f，将从拍摄对象1到立体摄像机2的距离设为L。
当利用立体摄像机2对拍摄对象1进行拍摄的情况下，来自拍摄对象1的光束如箭头P1、P2所分别表示的那样入射至拍摄镜头3A、3B，并在二维拍摄元件4A、4B上成像为拍摄对象像1A、1B。由于相对于上述二维拍摄元件4A、4B的拍摄对象像1A、1B的成像位置不同，因此产生视差Δ。
通过求出上述视差Δ，使用利用三角测距原理的运算式L＝D×(f/Δ)来求出到拍摄对象1为止的距离L。
上述视差Δ通过针对各CCD摄像机2A、2B求出相对于光轴O1、O2上的像素中心的拍摄对象像1A、1B的像素位置而求出。
在以上的说明中，对拍摄对象1相对于CCD摄像机2A、2B存在于对称位置的情况进行了说明，但即使在如附图标记1′所示，拍摄对象1′相对于CCD摄像机2A、2B位于非对称位置的情况下，虽然运算式变得复杂，但可使用相同原理求出到拍摄对象1′为止的距离。
至此，对于到拍摄对象1′为止的距离的测定原理进行了说明，但也可以使用上述原理进而求出相对于CCD摄像机2A、2B的拍摄对象1的三维位置。
首先，关于一方的CCD摄像机2A(或者2B)，在画面上求出相对于光轴中心(图像中心)的拍摄对象1′的在二维坐标下的图像位置(像素位置(x′，y′))。接着，相对于拍摄对象1′的图像中心的像素位置设为(x′，y′)，并且从包括拍摄对象1′的与摄像机的光轴正交的平面与光轴中心的交点(原点)到拍摄对象1′的距离设为x，y。如此一来，能够使用运算式x＝(x′/f)×L，y＝(y′/f)×L，针对一方的CCD摄像机2A(或者2B)求出从上述的交点(原点)的距离(x，y)。
因此，可求出到包括拍摄对象1′且与一方的CCD摄像机2A(或者2B)的光轴正交的平面为止的距离L、以及从与光轴正交的原点的距离(x，y)。即，能够求出相对于2A(或者2B)的原点的拍摄对象1′的三维位置。
[第二实施例的起重机的说明]
以下，参照图15～17对使用上述原理的周围信息获取装置的第二实施例进行说明。
如图15所示，在前端悬臂16C的悬臂头16Ca的滑轮轴25上安装有已述的立体摄像机(三维位置测定装置)2，该立体摄像机2的结构与第一实施例的立体摄像机30相同，且安装于悬臂头16Ca。
[周围信息获取装置]
图16为表示第二实施例的周围信息获取装置300的结构的框图。
在图16中，322表示运算处理部。来自立体摄像机2的图像信号、来自缸体压力传感器323、悬臂长传感器324、起伏角度传感器325、支腿探出传感器326的各传感器信号被输入于上述运算处理部322。
图16所示的周围信息获取装置300具有：设置在伸缩悬臂16的前端部16Ca的立体摄像机2、悬臂长传感器324、起伏角度传感器325、支腿探出传感器326、运算处理部(三维位置信息获取装置)322、监视器部(显示部)327等。
运算处理部322具有图像处理部322A、控制处理部322B。图像处理部322A具备具有下述功能的计算部322C。上述控制处理部322B基于来自各传感器的传感器信号进行与之相应的控制处理，并根据需要适当地向监视器部327输出控制所需的信息。
从立体摄像机2向图像处理部322A输入图像信号，上述图像处理部322A适当地对来自立体摄像机2的图像信号进行图像处理，并向监视器部327输出显示信号。由此，图17所示的图像被显示于监视器部327。
在此，在监视器部327的画面G上映有绳W的像W′、吊钩滑车19的像19′、载运车体11的前部的像11′、支腿12的像12′、下述的基准对象Ref的像Ref′、对象物体Ob的像Ob′。
此外，由于立体摄像机2由CCD摄像机(拍摄单元)2A、2B构成，因此也可以构成为在监视器部327上并排地设置有两个画面，分别同时地显示由各CCD摄像机2A、2B所拍摄到的图像，也可以形成一个画面，并设置画面切换开关以便能够显示由CCD摄像机2A、2B的一方所拍摄到的图像。
周围信息获取装置300利用传感器323～326的输出来运算出相对于起重机10的基准位置的起重机坐标系下的摄像机的三维位置，由此能够使用由摄像机2A、2B所获取的对象物体Ob的摄像机坐标系下的三维位置来运算出起重机坐标系下的物体Ob的位置。
在此，利用摄像机2A、2B拍摄作为起重机10的基准的位置，并获取在摄像机坐标系下所求出的作为起重机10的基准的位置与起重机坐标系的关联，由此无论传感器323～326的输出如何都能够求出物体的位置，能够求出物体的准确的位置，且不伴有传感器输出所产生的摄像机位置运算的误差。以下对上述方法进行说明。
图像处理部322A具有通过图像识别来判断是否在立体摄像机2所拍摄的拍摄图像中同时映有基准对象Ref的像Ref′与对象物体Ob的像Ob′的功能。
在此，上述基准对象Ref在载运车体11的前部的表面形成为十字标记。图像处理部322A根据各CCD摄像机2A、2A所获取的拍摄图像，利用例如公知的图案匹配方法来判断在二维拍摄元件4A、4B的任一像素位置是否存在基准对象Ref的像Ref′。
同样，图像处理部322A根据各CCD摄像机2A、2B所获取的拍摄图像，利用例如公知的图案匹配方法来判断在二维拍摄元件4A、4B的任一像素位置是否存在想要测定位置的对象物体Ob的像Ob′。
当存在多个对象物体Ob的情况下，指定想要测定位置的对象物体Ob。对于上述对象物体Ob的指定而言，当监视器部327为触控面板式的情况下，可以通过由操作人员在画面G上每次点击来指定。
此外，当监视器部327不是触控面板式的情况下，例如可以构成为自动地提取对象物体Ob的轮廓而指定多个对象物体Ob。
以下，分为如下两种情况来进行说明。即，在立体摄像机2所拍摄的图像中同时包括基准对象Ref的像Ref′与对象物体Ob的像Ob′的情况；以及在立体摄像机2所拍摄的图像中不含基准对象Ref的像Ref′与对象物体Ob的像Ob′中的任何一方的情况。
此外，在以下的说明中，为了简便，以要测定的对象物体的三维位置中的、尤其是高度的测定为中心进行说明。
[图像中含有像Ref′与像Ob′的情况]
在此，如图15所示，计算部322C使用含有表示距离地面S的基准高度Zref的基准对象Ref的拍摄图像，根据该基准对象Ref的像Ref′的各像素位置并利用上述的立体摄像机的距离测定原理来求出视差Δ，并且使用该视差Δ来计算出从立体摄像机2到基准对象Ref的高度方向距离Z1。
同样，计算部322C根据想要测定高度的对象物体Ob的像Ob′的各像素位置求出视差Δ，并且使用该视差Δ来计算出从立体摄像机2到基准对象Ref的高度方向距离Z2。
并且，使用如此求出的高度方向距离Z1、Z2、距离地面S的基准高度Zref，并通过下式求出对象物体Ob的距离地面S的高度Z。
Z＝(Z1－Z2)+Zref
即，计算部322C使用含有表示距离地面S的基准高度Zref的基准对象Ref的图像来计算出从立体摄像机2到基准对象Ref的高度方向距离Z1，并且使用含有对象物体Ob的图像来计算出从立体摄像机2到对象物体Ob的高度方向距离Z2，并从到基准对象Ref为止的高度方向距离Z1与基准高度Zref之和中减去到对象物体Ob为止的高度方向距离Z2，据此计算出对象物体Ob的距离地面S的高度Z。
此外，当在计算相对于基准对象Ref的对象物体Ob的高度的情况下，计算部322C从到基准对象Ref为止的高度方向距离Z1中减去到对象物体Ob为止的高度方向距离Z2。
根据本实施例，能够准确地求出以起重机10的载运车体11为基准的对象物体Ob的高度。
[在图像中不含像Ref′与像Ob′中的一方的情况]
如图18所示，例如当在立体摄像机2所拍摄的拍摄图像中仅含有基准对象Ref的像，而不含作为对象物体Ob的建筑物的像的情况下，无法直接求出对象物体Ob的距离地面S的高度。
因此，在这种情况下，将已经求出的对象物体Ob作为新的基准对象Ref，计算接下来要求出的从地面到对象物体Ob的高度。
例如，当在地面S上存在白线等可作为基准所使用的十字标记指标(基准对象Ref”)的情况下，将该白线等十字标记指标(基准对象Ref”)识别为应测定高度的对象物体ob，并求出该对象物体(十字标记指标(基准对象Ref”))ob的高度方向距离Z2′。
在此，如果位于地面S上的基准对象Ref”的到位于载运车体11上的基准对象Ref的距离与Zref相同(若地面完全水平)，则Z2′＝Z1+Zref。
接着，利用立体摄像机2拍摄想要重新测定高度的作为对象物体Ob的建筑物等和上述十字标记指标(基准对象Ref”)，并求出作为想要求出高度的对象物体Ob的建筑物等的高度方向距离Z2与到基准对象Ref”为止的高度方向距离Z1+Zref。其结果，即使在想要求出距离地面S的高度的对象物体Ob与基准对象Ref未同时映入立体摄像机2的图像的情况下，也能够准确地求出对象物体Ob的相对于地面的高度Z。
至此，如上所述，图像处理部322A执行下述步骤：使用安装于起重机10的伸缩悬臂16的立体摄像机2拍摄表示距离地面S的基准高度的基准对象Ref和应测定距离地面S的高度的对象物体Ob的拍摄步骤；计算出从立体摄像机2到基准对象Ref的高度方向距离Z1的计算步骤；计算出从立体摄像机2到对象物体Ob的高度方向距离Z2的计算步骤；通过从基准对象Ref的距离地面S的基准高度Zref与到基准对象Ref为止的高度方向距离Z1之和减去到对象物体Ob为止的高度方向距离Z2来计算出从地面S到对象物体Ob的高度Z的步骤。
因此，能够使用由支腿12、13固定的起重机10的基准高度Zref准确地求出对象物体Ob的高度Z。
在包含应重新测定距离地面S的高度的对象物体Ob的图像中不含有基准对象Ref的像Ref′的情况下，上述图像中含有对象物体Ob的像Ob′，并且计算部322C执行将已经求得的距离地面S的高度Z的对象物体Ob当作新的基准对象Ref”而求出应重新测定距离地面的高度的对象物体Ob的距离地面S的高度Z的步骤。
这样，根据上述第二实施例，由于将表示距离地面S的基准高度的基准对象Ref设置于起重机10，因此即使在利用立体摄像机2测定对象物体Ob的距离地面S的高度的情况下，也会起到可准确地测定相对于地面S的对象物体Ob的高度的效果。
此外，如图17所示，通过运算求出的对象物体Ob的距离地面的高度Z和对象物体Ob的位置的半径R(从作为悬臂16的旋转中心的旋转的中心轴到物体Ob的距离)显示于画面G。
至此，对于对象物体Ob的高度Z的测定进行了说明，而根据本实施例，也能够准确地求出相对于起重机10的基准位置的对象物体Ob的三维位置。
即，使用安装于起重机10的伸缩悬臂16且通过拍摄作业现场来输出图像信号的立体摄像机2和对来自该立体摄像机2的图像信号进行图像显示的图像处理部322A的计算部322C，根据包含表示距离地面S的基准高度的基准对象Ref的图像来计算出相对于立体摄像机2的基准对象Ref的位置，根据包含对象物体Ob的图像来计算出相对于立体摄像机2的对象物体Ob的位置，从而能够计算出相对于基准对象Ref的位置的对象物体Ob的三维方向上的位置。
至此，对于第二实施例进行了说明，但本发明并不局限于此，还可包括如下方式。
(1)在实施例中，虽然构成为将表示基准对象Ref的标记设置于起重机10的载运车体11，并通过对该标记进行图像识别来获取基准对象Ref，但也可以构成为由操作人员在画面上指定基准对象Ref，来获取基准对象Ref。
(2)同样，也可以构成为通过在画面上指定想要测定的对象物体Ob来获取对象物体的距离地面S的高度。
(3)进而，也可以构成为不在起重机10的载运车体11设置表示基准对象Ref的标记，而将代表基准对象Ref的特殊形状形成于起重机11，并通过对上述特殊形状进行图像识别来获取基准对象Ref。
(4)这样的基准对象Ref、对象物体Ob的图像识别不局限于上述示例，重点在于只要能够使用立体摄像机2测定到拍摄对象为止的距离即可。
[第三实施例]
图19示出构成第三实施例的周围信息获取装置的立体摄像机(三维位置测定装置)的单眼的监视摄像机(CCD摄像机)2A、2B。上述监视摄像机2A、2B设置在前端悬臂16C的悬臂头16Ca的滑轮轴25的两端部。即，监视摄像机2A、2B配置在从宽度方向(图23中的左右方向：与伸缩悬臂16的起伏方向正交的方向)将前端悬臂16C的前端部夹住的位置，并监视摄像机2A、2B间的距离变大。将监视摄像机2A、2B的光轴间距离定义为基线长度D。监视摄像机2A、2B的结构与第一实施例相同，并安装于滑轮轴25。
图20所示的第三实施例的周围信息获取装置400具有运算处理部(三维位置信息获取装置)422、画面切换开关SW1、以及图像合成处理开关SW2。其他结构与第二实施例相同，因此省略对其说明。
运算处理部422控制如下切换动作：若操作人员操作画面切换开关SW1，则将其画面显示从配置在图21B所示的靠近驾驶室20一侧的监视摄像机2B所拍摄的图像切换至如图21A所示的配置在远离驾驶室20一侧的监视摄像机2A所拍摄的图像(从驾驶室20的操作人员观察配置在左侧的监视摄像机2A)。
若操作人员操作图像合成处理开关SW2，则如图21C所示，图像处理部422A执行图像处理，以便显示监视摄像机2B所拍摄的图像与监视摄像机2A所拍摄的图像的合成处理图像。
在上述图21C中，由于以吊钩21为画面G的中心显示合成处理图像，因此在进行吊重物作业的情况下较为便利。
在此，在构建合成处理图像时，如图21C所示，图像处理部422A进行图像处理，以便使吊钩滑车19的像19′位于画面G的左右方向中心O′，并在画面G显示合成处理图像。
在本实施例中，以将画面切换开关SW1设置于运算处理部422的结构进行了说明，但也可以将画面切换开关SW1如虚线SW3所示设置于监视器部327。
根据上述第三实施例，当在监视摄像机2A、2B中的任意一方的监视摄像机所拍摄的图像中产生死角时，将画面G的显示切换为由任意另一方所拍摄的图像、或者将合成处理图像显示于画面G，据此能够尽量减少死角而进行作业。此外，当在画面G上显示合成处理图像时，从消除由于吊钩滑车19而形成死角的部分的像与吊钩滑车19的像19′看起来重合的合成处理图像的不协调的观点出发，优选采用删除吊钩滑车19的像19′的结构。
此外，关于吊钩滑车19的像19′的删除，例如在吊钩滑车19移动中从死角脱离时获取因吊钩滑车19而成为死角的部分的像并存储于存储器，在制作合成处理图像时，在合成成为死角的部分的像的同时删除吊钩滑车19的像19′。
此外，还可以构成为优先显示由于吊钩滑车19而成为死角的部分的像，并将吊钩滑车19的像19′形成为透明图像。
进而，与将监视摄像机2A、2B仅设置在悬臂头16Ca的单侧来构建立体摄像机的情况相比，由于能够较大地得到基线长度D，因此能够实现图像处理精度的提高、下述的高度计测的精度提高。
上述周围信息获取装置400与第二实施例的周围信息获取装置300相同，可求出对象物体Ob(参照图18)的三维位置，因此省略对其说明。
上述第三实施例与第二实施例相同，也能够准确地求出对象物体Ob的三维位置。
至此，对于实施例进行了说明，但本发明并不局限于此，还包括如下的方式。
(1)在实施例中，由于在滑轮轴25上设置监视摄像机2A、2B，因此无需大幅变更现有的结构要素便可进行安装。然而，也可以构成为与滑轮轴25平行地设置用于安装监视摄像机2A、2B的安装轴部，在上述安装轴部设置监视摄像机2A、2B。如此构成，能够防止滑轮轴25的振动向监视摄像机2A、2B传递。
(2)另外，在实施例中，构成为在伸缩悬臂16的悬臂头(前端部)16Ca上设置监视摄像机2A、2B，但为了防止悬臂16的横挠曲，也可以在从伸缩悬臂16在其宽度方向沿水平方向延伸而延伸突出的突出附件(省略图示)上设置各监视摄像机2A、2B。如此构成，与设置于滑轮轴25的情况相比，能够获得更长的基线长度。
(3)起重机10一旦设置于作业现场则在作业结束前不再移动，因此将伴随伸缩悬臂16的移动而获取的图像逐次保存于存储器，即使拍摄范围伴随伸缩悬臂16的移动发生变化的情况下，也能够利用在拍摄范围变化前获取的图像，如此能够提高图像处理速度。
(4)伴随着监视摄像机2A、2B的高度升高，对象物体Ob映像会变小，因此可以通过增大处理图像的像素密度而得到精密的图像。
(5)为了把握对象物体Ob的位置，多次求出对象物体Ob的角部等特征点的位置，并对其取平均值，由此能够实现对象物体Ob的位置获取精度的提高。
(6)在实施例中，作为合成处理图像，将从吊钩21的正上方观察的图像显示于画面G，但合成处理图像并不局限于此，可以制作进行视角变换的各种俯瞰图像并进行显示，可以构成为在图像处理部设置俯瞰图像变换开关，通过操作人员的操作使适宜俯瞰图像显示于画面G。
[第四实施例]
图22为表示第四实施例的周围信息获取装置500的结构的框图。
周围信息获取装置500具有：设置于伸缩悬臂16(参照图1)的前端部的一个单眼的监视摄像机(三维位置测定装置)501、检测伸缩悬臂16的姿态的悬臂姿态检测传感器50、检测监视摄像机501的倾斜角度的倾斜角检测传感器S1以及摇摄角检测传感器S2、对从监视摄像机501所输出的图像信号进行处理并求出作为拍摄的物体的构造物I(参照图24)的高度等的图像处理控制器(三维位置信息获取装置)560、以及显示监视摄像机501所拍摄到的图像的监视器51。
[图像处理控制器]
图像处理控制器560在伸缩悬臂16从收纳位置向作业开始位置(待命位置)移动时、在作业的移动中等，基于监视摄像机501在不同位置拍摄的两个图像求出建筑物的高度。
如图23所示，图像处理控制器560具有：收集监视摄像机501(参照图24)所拍摄的图像的作为图像收集装置的第一、第二帧存储部561、562；从收集在第一帧存储部561的第一图像中提取建筑物等构造物的特征点的提取部563；将收集在第二帧存储部562的第二图像变换为规定的图像的图像变换部564；从经图像变换部564变换后的变换图像中提取建筑物等构造物I(参照图24)的特征点P的提取部565；求出第一、第二帧存储部561、562所收集的第一、第二图像的光轴间的距离，也可根据该距离与悬臂姿态检测传感器50所检测到的数据等求出构造物I的高度的进行各种的运算的运算部566；将表示该运算部566所求出的构造物I的高度的数值合成于该构造物I的图像的图像合成部568；将监视摄像机501所拍摄的图像收集于第一、第二帧存储部561、562，也可使运算部566进行运算处理的控制部569等。
并且，利用提取部563、图像变换部564、提取部565和运算部566构成求出构造物(物体)I的三维位置的图像运算处理装置，利用该图像运算处理装置与图像收集装置构成三维位置信息获取装置。
[动作]
接下来，对于如上所述构成的周围信息获取装置500的动作进行说明。
当伸缩悬臂16从收纳位置(未图示)如图24所示仰起并向作业位置伸长时，监视摄像机501在伸缩悬臂16的伸长的同时进行拍摄，并将所拍摄到的图像显示于监视器51。在此，以监视摄像机501面向正下方的情况进行说明。
当监视摄像机501来到图24所示的点划线位置(第一位置)时，即伸缩悬臂16伸长至规定的长度时，控制部569将监视摄像机501所拍摄到的图像收集到第一帧存储部561中。
若图像收集于第一帧存储部561中，则提取部563利用图像处理来提取所拍摄到的构造物I的图像的轮廓线(边缘)，进而如图25的(A)所示将轮廓线中的作为构造物I的角部的点P1作为特征点通过图像处理进行提取，并将该特征点P1的位置作为图像G1上的位置(X1，Y1)而求出。
另外，当通过伸缩悬臂16的伸长使监视摄像机501来到图24的实线位置(第二位置)时，即伸长悬臂16从规定的长度进而伸长至某个长度时，控制部569将由监视摄像机501所拍摄到的图像收集到第二帧存储部562中。
若图像收集于第二帧存储部562中，则图像变换部564将第二帧存储部562的图像进行变换，并使其成为监视摄像机501在从与第一位置相同的高度位置处向右移动L(图24中)的位置Q1处所拍摄的图像。
上述图像变换是基于悬臂姿态检测传感器50所检测的检测数据来进行的几何学上的变换。如有必要，将该变换图像存储于未图示的第三帧存储部。
提取部565基于图25的(B)所示的变换图像G2，通过图像处理来提取与上述相同的建筑物(构造物)的图像的轮廓线(边缘)，进而通过图像处理将上述轮廓线中的作为角部的点P2作为特征点进行提取，并将该点P2的位置作为图像G2上的位置(X2，Y2)而求出。
[原理]
在此，对于通过立体拍摄求出进深的原理进行简单说明。在此说明的原理与在第三实施例中说明的原理实质相同，但将通过其他不同的方法进行说明。
如图26所示，作为坐标系，以基准摄像机的位置O为原点来设定XYZ的各坐标轴。参照摄像机的位置J为(B，0，0)，两摄像机间的距离为B。
基准摄像机以及参照摄像机所得到的图像为三维中的对象物体被投射投影于与Z轴正交的平面N1、N2＝f上的二维像。f为焦距。
另外，在投射投影的二维像的图像上设定图像坐标(x，y)。即，在平面N1、N2上分别设定图像坐标(x，y)。该图像坐标(x，y)为以图像中心作为原点On1、On2的二维坐标，图像坐标轴x、y被设定为与三维空间的X轴、Y轴平行。
现在，假设利用两个摄像机(基准摄像机与参照摄像机)对图27所示的三维空间的点T(Xp，Yp，Zp)进行拍摄。此时，在基准摄像机(左摄像机)所得到的平面N1的图像中，映射于位置U(xL，yL)，在参照摄像机(右摄像机)所拍摄的平面N2的图像中，映射于点V(xR，yR)。其中，当将两个相同的摄像机沿X轴平行配置时，则为yL＝yR。
利用三角形的相似求出三角测量的进深Zp。图28为从上方沿Y轴方向观察图27的情形的图，为投影于X-Z平面的图。
由三维空间中的对象点T(Xp，Yp，Zp)与两个摄像机位置形成的三角形(△TOJ)和由基准摄像机位置O与其图像上的视差形成的三角形(△OEF)为相似形。此外，图28所示的直线C1与直线C2平行。
由于三角形(△TOJ)与三角形(△OEF)相似，因此以下的关系式成立。
|xL－xR|：f＝B：Zp    …(1)
xR－xL为基准面(平面N1)上的视差，当将其设为d时，基于(1)式，进深Zp可通过下式：
Zp＝－Bf/d    …(2)
来求出。
此外，在图27的摄像机配置中，必定为xL＞xR，由于利用xR－xL来定义视差d，因此对上式标记负符号。
当求出进深后，可以通过缩放比将对象点T(Xp，Yp，Zp)以如下方式求出。
即，f：xL＝Zp：Xp，则为Xp＝xL·Zp/f。同样，Yp＝yL·Zp/f。
因此，则为：
(Xp，Yp，Zp)＝(xL·Zp/f，yL·Zp/f，－Bf/d)
＝－B/d(xL，yL，f)    …(3)。
即，如果求出左摄像机所拍摄到的图像的位置U(xL，yL)、以及右摄像机所拍摄到的图像的位置V(xR，yR)，则能够根据(3)式求出点T的位置。此外，作为图像坐标(x，y)的坐标值，使用三维空间的值。
在本实施例中，如上所述，求得在图28所示的第一位置处所拍摄的图像G1的特征点P1(参照图25)的位置(X1，Y1)、以及在位置Q1处所拍摄的图像G2的特征点P2的位置(X2，Y2)。此外，作为位置(X1，Y1)、(X2，Y2)的坐标值，使用三维空间的值。
因此，如果以基准摄像机为第一位置摄像机、以参照摄像机为第二位置摄像机而求出与两摄像机间的距离B相当的水平方向的监视摄像机501的移动距离L(参照图24)，则能够通过由(3)式求出距离h1来求出构造物I的高度H。
监视摄像机501的移动距离L由图23所示的运算部566根据悬臂姿态检测传感器50所检测的检测信号来求出。也就是说，由运算部566基于伸缩悬臂16的仰起角与伸长的长度来求出移动距离L。
运算部566基于上述的(3)式，根据图27所示的图像的位置U(xL，yL)、V(xR，yR)和移动距离L求出从第一位置的监视摄像机501(参照图24)的位置到构造物I的垂直方向的距离h1。
进而，运算部566根据悬臂姿态检测传感器50所检测的检测信号来求出图24所示的第一位置的监视摄像机501的高度位置h0，并根据距离h1与高度位置h0来求出构造物I的高度H。
在此，虽然求出构造物I的高度H，但也可以提取被置于地面的器材等的固定物的特征点，通过相同的方法计算出固定物的高度。
如图29所示，图像合成部568将表示所提取的特征点P1(P2)的位置的黑圆的标记M、以及表示所求出的构造物I的高度H的数值合成显示于显示在监视器51的构造物I的图像G3上。
即，为了知悉表示高度H的数值为构造物I的高度，将该数值与该构造物I建立关联而显示。在此，在特征点P1(P2)的位置处显示黑圆，并在黑圆的附近显示数值，由此可知悉表示构造物I的高度。
在除了构造物I以外，监视摄像机501还对其他构造物拍摄的情况下，与上述相同，提取其他构造物的特征点，求出上述构造物的高度并显示于监视器51的画面。
这样，关于利用设置于伸缩悬臂16的前端部的监视摄像机501拍摄的图像，拍摄位置随着伸缩悬臂16的移动而不同，通过对拍摄位置的高度不同的一方的图像进行图像处理而得到与立体摄像机所拍摄的情况相同的图像，由此求出构造物I的高度H，因此能够利用一个单眼的监视摄像机501求出构造物I的高度H。
另外，由于在伸缩悬臂16的前端部设置监视摄像机501，因此通过使伸缩悬臂16伸长能够求出高构造物I的高度。另外，能够从高位置利用监视摄像机501进行拍摄，因此能够求出位于作业所需的周围内的构造物的高度，能够制作其周围内的立体图。因此，能够进一步提高作业的安全性。
另外，在从所拍摄的图像提取轮廓线、特征点P1、P2的情况下，由于随着监视摄像机501的高度升高，构造物I映像得小，当监视摄像机501的高度较低时，构造物I映像得大，故通过使用于提取特征点P1、P2的像素的数目稀疏，并随着其高度升高而增加像素的密度，从而能够以短时间且准确地运算特征点P1、P2的提取。在这种情况下，多次计算并取平均来求出特征点P1、P2的位置也可。
在第四实施例中，根据在第一、第二位置所拍摄的图像求出构造物I的高度，但也可以在伸缩悬臂16伸长时连续求出构造物I的高度，并根据上述求出的多个高度的分布状态确定构造物I的高度。
如果在伸缩悬臂16旋转的情况下测定高度，则监视摄像机501的高度恒定，因此能够精度良好地求出构造物I的高度。因此，在求出构造物I的高度后，当伸缩悬臂16旋转的情况下，可以在上述旋转时求出构造物I的高度而更新构造物I的高度。
当使伸缩悬臂16仰起来移动起重机10时，如果由监视摄像机501进行拍摄，则能够覆盖大范围从上方拍摄，能够求出处于上述大范围内的构造物的高度。因此，能够制作上述大范围内的立体图。
在第四实施例中，对在第一、第二位置所拍摄的监视摄像机501面向正下方的情况进行了说明，但即使在第一位置、第二位置监视摄像机501倾斜或摇摄，也使监视摄像机501以面向正下方形成所拍摄的图像的方式进行图像处理，由此能够求出构造物I的高度。
在第四实施例中，从拍摄的图像中提取构造物的特征点来求出上述特征点的高度，但并不局限于此，也可以例如在监视器51的画面上设置触控面板，从触控面板上触碰在画面上显示的图像的所希望的部位，由此求出上述图像的所希望的部位的高度。
另外，在第四实施例中，对求出构造物I的高度的情况进行了说明，但也可以与第一实施例相同地设定基准点P1～P3等来求出例如以伸缩悬臂16的旋转中心为原点或者以规定位置Pd(参照图8)为原点的构造物I的特征点P的三维位置。在这种情况下，将第一实施例的图4所示的基准点提取部63L、63R、摄像机坐标系基准点位置计算部65、相关关系计算部66和起重机坐标系位置计算部67等设置于图22所示的图像处理控制器560。另外，可以通过与第三实施例相同的方法求出构造物I的特征点P的三维位置。
另外，可以利用运算部566，根据伸缩悬臂16的长度、起伏角度、旋转角度等来求出以伸缩悬臂16的旋转中心为中心的构造物I的三维位置。
本发明并不局限于上述实施例，只要在不脱离权利要求书的各权利要求的发明的主旨的范围内，允许进行设计的变更或增加等。
(相关申请的相互参照)
本申请主张于2012年9月21日向日本特许厅提出申请的特愿2012-207769、于2012年11月29日向日本特许厅提出申请的特愿2012-260730、于2012年11月29日向日本特许厅提出申请的特愿2012-260731、于2013年2月5日向日本特许厅提出申请的特愿2013-020350、于2013年2月5日向日本特许厅提出申请的特愿2013-020351、以及于2013年8月2日向日本特许厅提出申请的特愿2013-160884的优先权，并通过参照的方式在本说明书中援引其所有公开内容。

Claims (16)

1.一种作业车的周围信息获取装置，其特征在于，
在作业车的悬臂的前端部设置测定上述前端部与物体的位置关系的三维位置测定装置，
设置有根据上述三维位置测定装置所测定的悬臂前端与物体的位置的测定数据来求出物体的三维位置信息的三维位置信息获取装置，
上述三维位置信息获取装置使上述悬臂移动来获取位于作业车的周围的物体的三维位置信息。
2.根据权利要求1所述的作业车的周围信息获取装置，其特征在于，
上述三维位置测定装置具有拍摄单元，
上述三维位置信息获取装置基于上述拍摄单元所拍摄的预先设置在作业车上的基准点的图像上的位置来获取上述三维位置信息。
3.根据权利要求2所述的作业车的周围信息获取装置，其特征在于，
上述基准点为设置在作业车上的3个点。
4.根据权利要求2所述的作业车的周围信息获取装置，其特征在于，
在上述拍摄单元未拍摄到上述基准点的情况下，上述三维位置信息获取装置将至上述基准点的位置已求得的对象物体的位置当作新的基准点来获取位于上述作业车的周围的物体的三维位置信息。
5.根据权利要求1所述的作业车的周围信息获取装置，其特征在于，
当将上述作业车固定在作业位置后，使上述悬臂移动而开始三维位置信息的获取。
6.根据权利要求1～5中任意一项所述的作业车的周围信息获取装置，其特征在于，
设置有地图制作处理部和显示部，
上述地图制作处理部根据上述三维位置信息获取装置所获取的三维位置信息来求出作业车的周围的物体的高度，并且制作表示上述物体的高度信息的俯视的地图，
上述显示部显示上述地图制作处理部所制作的地图。
7.根据权利要求1所述的作业车的周围信息获取装置，其特征在于，
上述三维位置测定装置为立体摄像机，
上述三维位置信息获取装置具有对上述立体摄像机所拍摄到的图像进行处理的图像处理部，
上述图像处理部具有计算部，上述计算部基于含有表示距离地面的高度的基准对象的图像来计算出上述基准对象相对于上述立体摄像机的三维位置，以及基于含有要求出三维位置的对象物体的图像来计算出上述对象物体相对于上述立体摄像机的三维位置，从而计算出相对于上述基准对象的三维位置的上述对象物体的三维位置。
8.根据权利要求7所述的作业车的周围信息获取装置，其特征在于，
上述立体摄像机由两个监视摄像机构成，上述两个监视摄像机配置在从宽度方向将上述悬臂的前端部夹住的位置，并且两个监视摄像机的光轴间距离被定义为基线长度。
9.根据权利要求8所述的作业车的周围信息获取装置，其特征在于，
设置有能够将上述两个监视摄像机所拍摄到的图像的任意一方以能够切换的方式显示的监视器。
10.根据权利要求9所述的作业车的周围信息获取装置，其特征在于，
在上述监视器的画面上优先显示上述两个监视摄像机中配置在靠近作业车的驾驶席一侧的监视摄像机所拍摄到的图像。
11.根据权利要求1所述的作业车的周围信息获取装置，其特征在于，
上述三维位置测定装置为立体摄像机，
上述三维位置信息获取装置具有对上述立体摄像机所拍摄到的图像进行处理的图像处理部，
上述图像处理部具有计算部，上述计算部基于含有表示距离地面的高度的基准对象的图像来计算出从上述立体摄像机到上述基准对象的高度方向距离，并且基于含有要求出高度的对象物体的图像来计算出从上述立体摄像机到上述对象物体的高度方向距离，并通过从到上述基准对象为止的高度方向距离中减去到上述对象物体为止的高度方向距离来计算出上述对象物体相对于上述基准对象的高度。
12.根据权利要求11所述的作业车的周围信息获取装置，其特征在于，
上述计算部通过加上从地面到上述基准对象的距离来计算出上述对象物体的距离地面的高度。
13.根据权利要求1所述的作业车的周围信息获取装置，其特征在于，
上述三维位置测定装置为安装于起重机的悬臂的前端部的单眼摄像机，
上述三维位置信息获取装置具有图像收集装置和图像运算处理装置，
上述图像收集装置在上述单眼摄像机随着上述悬臂的移动而移动的过程中收集上述单眼摄像机所拍摄到的第一图像、第二图像这两个图像，
上述图像运算处理装置根据上述图像收集装置所收集的第一图像、第二图像这两个图像和上述第一图像、上述第二图像的光轴间距离求出所拍摄的物体的三维位置。
14.根据权利要求13所述的作业车的周围信息获取装置，其特征在于，
上述图像运算处理装置具有提取部和运算部，
上述提取部从上述第一图像、上述第二图像中分别提取物体的特征点，
上述运算部基于上述提取部所提取的物体的各个特征点的在图像上的位置和上述光轴间距离来求出上述物体的三维位置。
15.根据权利要求13或14所述的监视摄像机装置，其特征在于，
在上述悬臂的移动中连续地求出上述物体的三维位置。
16.根据权利要求15所述的监视摄像机装置，其特征在于，
当上述悬臂旋转时，将已求出的物体的三维位置更新为在上述旋转中所求出的三维位置。
CN201380049221.1A 2012-09-21 2013-09-19 作业车的周围信息获取装置 Active CN104662389B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JP2012207769A JP6080450B2 (ja) 2012-09-21 2012-09-21 監視カメラ装置
JP2012-207769 2012-09-21
JP2012-260731 2012-11-29
JP2012-260730 2012-11-29
JP2012260730A JP6146994B2 (ja) 2012-11-29 2012-11-29 クレーンの監視カメラ
JP2012260731A JP6097063B2 (ja) 2012-11-29 2012-11-29 高さ測定装置及び高さ測定方法
JP2013-020351 2013-02-05
JP2013-020350 2013-02-05
JP2013020350A JP6222933B2 (ja) 2013-02-05 2013-02-05 作業車用の地図作成装置
JP2013020351 2013-02-05
JP2013-160884 2013-08-02
JP2013160884A JP6257947B2 (ja) 2013-02-05 2013-08-02 作業車の周囲情報取得装置
PCT/JP2013/075373 WO2014046213A1 (ja) 2012-09-21 2013-09-19 作業車の周囲情報取得装置

Publications (2)

Publication Number Publication Date
CN104662389A true CN104662389A (zh) 2015-05-27
CN104662389B CN104662389B (zh) 2017-06-16

Family

ID=53252061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049221.1A Active CN104662389B (zh) 2012-09-21 2013-09-19 作业车的周围信息获取装置

Country Status (4)

Country Link
US (1) US9300954B2 (zh)
EP (2) EP3235773B8 (zh)
CN (1) CN104662389B (zh)
WO (1) WO2014046213A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105776042A (zh) * 2016-05-17 2016-07-20 中船第九设计研究院工程有限公司 一种船坞平台上的起重机防撞监测方法
CN107407075A (zh) * 2015-09-30 2017-11-28 株式会社小松制作所 图像数据生成方法
CN107882080A (zh) * 2017-11-08 2018-04-06 苏州蓝博控制技术有限公司 挖掘机精细工作控制方法、系统及挖掘机
CN107923745A (zh) * 2015-08-26 2018-04-17 住友建机株式会社 挖土机的测量装置
JPWO2017061515A1 (ja) * 2015-10-05 2018-08-02 株式会社小松製作所 建設機械及び施工管理システム
CN109716058A (zh) * 2016-10-31 2019-05-03 株式会社小松制作所 测量系统、作业机械及测量方法
CN110023711A (zh) * 2016-12-09 2019-07-16 株式会社多田野 起重机
CN110573834A (zh) * 2017-09-08 2019-12-13 株式会社小松制作所 施工管理装置及施工管理方法
CN111928782A (zh) * 2017-07-21 2020-11-13 株式会社多田野 测定对象物的上表面推定方法、引导信息显示装置以及起重机
CN111943043A (zh) * 2017-07-21 2020-11-17 株式会社多田野 引导信息显示装置和具备该装置的起重机、引导信息显示方法
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
CN117208738A (zh) * 2023-11-09 2023-12-12 江苏海川电气制造股份有限公司 一种变压器制造用转运吊具
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013006258A1 (de) 2013-04-11 2014-10-16 Liebherr-Components Biberach Gmbh Kran
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
CN110223327B (zh) * 2013-10-07 2023-08-01 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
WO2015076770A1 (en) * 2013-11-25 2015-05-28 Kadir Koymen Film Yapimi Sinema Ekipmanlari Uretimi Ithalat Ve Ihracat A.S. Targeting for a crane
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
EP2980599A1 (de) * 2014-08-01 2016-02-03 Hilti Aktiengesellschaft Trackingverfahren und Trackingsystem
JP6389087B2 (ja) * 2014-09-11 2018-09-12 古河ユニック株式会社 作業機用ブーム衝突回避装置
EP4095085A1 (en) 2014-09-25 2022-11-30 Konecranes Global Corporation Self-deploying telescoping jib crane system
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
US9783377B2 (en) * 2014-12-03 2017-10-10 Android Industries Llc Material unloader system
US9850109B2 (en) * 2014-12-23 2017-12-26 Manitowoc Crane Companies, Llc Crane 3D workspace spatial techniques for crane operation in proximity of obstacles
US10822208B2 (en) 2014-12-23 2020-11-03 Manitowoc Crane Companies, Llc Crane 3D workspace spatial techniques for crane operation in proximity of obstacles
EP3048557B1 (de) * 2015-01-20 2019-09-25 Aptiv Technologies Limited Verfahren zum Ermitteln einer Lage eines Fahrzeugmerkmals
DE102015202734A1 (de) * 2015-02-16 2016-08-18 Terex Cranes Germany Gmbh Kran und Verfahren zum Beeinflussen einer Verformung eines Auslegersystems eines derartigen Krans
JP6302860B2 (ja) * 2015-03-03 2018-03-28 ヤンマー株式会社 船舶
FI127606B (fi) 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
KR101997436B1 (ko) 2015-04-10 2019-07-09 로베르트 보쉬 게엠베하 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정
DE102015219179A1 (de) 2015-10-05 2017-04-06 Franz Xaver Meiller Fahrzeug- Und Maschinenfabrik - Gmbh & Co Kg Lastentransportfahrzeug mit Überwachungsmitteln zur gesicherten Handhabung eines Wechselbehälters
CN105507590B (zh) * 2015-11-30 2017-10-13 北汽福田汽车股份有限公司 一种卸料控制方法、装置以及工程机械
JP7186504B2 (ja) * 2016-01-28 2022-12-09 住友建機株式会社 ショベル
JP7180966B2 (ja) 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ， エルエルシー 視覚的アウトリガー監視システム
EP4206113A1 (en) * 2016-03-23 2023-07-05 Hiab AB Load handling assembly
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6527848B2 (ja) * 2016-10-18 2019-06-05 東芝ロジスティクス株式会社 監視装置及びプログラム
US11124392B2 (en) 2016-11-22 2021-09-21 Manitowoc Crane Companies, Llc Optical detection and analysis for boom angles on a crane
JP6498369B2 (ja) * 2016-12-09 2019-04-10 三菱電機ビルテクノサービス株式会社 工事写真管理システム
DE102016015388A1 (de) * 2016-12-22 2018-06-28 Liebherr-Werk Ehingen Gmbh Verfahren zur assistierten Ausführung von Kranbewegungen eines Krans sowie Kran
WO2018119621A1 (zh) 2016-12-27 2018-07-05 徐州重型机械有限公司 起重机的作业控制方法、系统及起重机
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
SE1750308A1 (sv) 2017-03-15 2018-09-16 Cargotec Patenter Ab A vehicle with a crane with object detecting device
SE541180C2 (en) 2017-04-03 2019-04-23 Cargotec Patenter Ab Driver assistance system for a vehicle provided with a crane using 3D representations
SE540869C2 (en) 2017-04-11 2018-12-11 Cargotec Patenter Ab A three dimensional presentation system using an orientation sensor and a digital curtain
CN106952479A (zh) * 2017-05-18 2017-07-14 南京云趟信息技术有限公司 一种用于渣土车卸货监测的视频识别方法
CN107071368A (zh) * 2017-05-18 2017-08-18 南京云计趟信息技术有限公司 一种用于渣土车举升卸货的视频监测方法
JP6907061B2 (ja) * 2017-07-21 2021-07-21 株式会社タダノ 測定対象物の上面推定方法、ガイド情報表示装置およびクレーン
JP6845106B2 (ja) * 2017-07-21 2021-03-17 株式会社タダノ 点群データのクラスタリング方法、ガイド情報表示装置およびクレーン
DE202017104706U1 (de) * 2017-08-07 2017-09-27 Liebherr-Werk Ehingen Gmbh Raupenkran
DE102017120613B4 (de) * 2017-09-07 2024-03-14 Liebherr-Werk Ehingen Gmbh Verfahren zum Bewegen einer Last mit einem Kran
JP6828650B2 (ja) * 2017-10-04 2021-02-10 株式会社タダノ クレーンの制御方法及びクレーン
EP3495202B1 (en) 2017-12-05 2020-08-19 Guima Palfinger S.A.S. Truck-mountable detection system
KR102306145B1 (ko) * 2017-12-14 2021-09-27 가부시키가이샤 마에다세이사쿠쇼 이동식 크레인의 붐 선회각도 검출장치
US10657666B2 (en) * 2017-12-22 2020-05-19 Symbol Technologies, Llc Systems and methods for determining commercial trailer fullness
JP6900897B2 (ja) * 2017-12-25 2021-07-07 コベルコ建機株式会社 建設機械の障害物検出装置
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7091729B2 (ja) * 2018-03-09 2022-06-28 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える作業車両
JP6857147B2 (ja) * 2018-03-15 2021-04-14 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法
US10519008B1 (en) * 2018-06-19 2019-12-31 Jim Riley Crane load centering assembly
SI3594167T1 (sl) * 2018-07-13 2021-11-30 Epsilon Kran Gmbh. Žerjav s sistemom za zajemanje slike
JP7099150B2 (ja) * 2018-08-02 2022-07-12 株式会社タダノ クレーン及び情報共有システム
US10829911B2 (en) * 2018-09-05 2020-11-10 Deere & Company Visual assistance and control system for a work machine
CN110375659B (zh) * 2018-09-11 2021-07-27 百度在线网络技术（北京）有限公司 检测障碍物高度的方法、装置、设备及存储介质
WO2020080434A1 (ja) * 2018-10-16 2020-04-23 株式会社タダノ クレーン装置
JP7172442B2 (ja) * 2018-10-25 2022-11-16 株式会社タダノ 変形量計測装置及び変形量計測方法
JP7172443B2 (ja) * 2018-10-25 2022-11-16 株式会社タダノ クレーン車
IT201800010013A1 (it) * 2018-11-02 2020-05-02 Inail Istituto Naz Per L’Assicurazione Contro Gli Infortuni Sul Lavoro Dispositivo di sicurezza per la conduzione di operazioni di movimentazione di carichi
CN109396086B (zh) * 2018-11-27 2023-10-31 长安大学 一种全自动多自由度路灯清洗装置及其控制方法
JP7192527B2 (ja) * 2019-01-23 2022-12-20 株式会社タダノ クレーン
CN109816778B (zh) * 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
US11618655B2 (en) 2019-03-28 2023-04-04 International Business Machines Corporation Camera-assisted crane safety
US20220219954A1 (en) * 2019-05-17 2022-07-14 Kobelco Construction Machinery Co., Ltd. Work machine and video display control method for work machine
JP7416063B2 (ja) * 2019-05-22 2024-01-17 株式会社タダノ 遠隔操作端末および遠隔操作端末を備える移動式クレーン
JP7416065B2 (ja) * 2019-06-20 2024-01-17 株式会社タダノ 可動範囲表示システムおよび可動範囲表示システムを備えるクレーン
DE102019116759A1 (de) * 2019-06-21 2020-12-24 Tadano Demag Gmbh Verfahren zum Betrieb eines Fahrzeugkrans
CN110516018B (zh) * 2019-08-05 2022-03-15 山东开创云计算有限公司 一种河道的电子绘制方法和装置
US11970839B2 (en) 2019-09-05 2024-04-30 Deere & Company Excavator with improved movement sensing
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
WO2021060463A1 (ja) * 2019-09-25 2021-04-01 株式会社タダノ 制御システム及び作業機
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
JP7369653B2 (ja) * 2020-03-26 2023-10-26 株式会社タダノ ガイド表示システムおよびこれを備えたクレーン
AT524402A1 (de) * 2020-11-11 2022-05-15 Plasser & Theurer Export Von Bahnbaumaschinen Gmbh Verfahren und mobiles Messsystem zum Vermessen eines Infrastrukturbauteils, insbesondere eines Gleisstrukturbauteils
CN113115216B (zh) * 2021-02-22 2022-09-06 浙江大华技术股份有限公司 室内定位方法、业务管理服务器及计算机存储介质
KR20240007160A (ko) 2021-04-12 2024-01-16 스트럭처럴 서비시스, 인크. 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법
CN114408751B (zh) * 2021-12-27 2023-05-30 上海旷通科技有限公司 一种吊钩辅助定位的方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111657A (ja) * 1998-10-02 2000-04-21 Kantou Regional Constr Bureau Ministry Of Constr 色検知機能を利用した対物認証システム
EP1413850A2 (en) * 2002-10-23 2004-04-28 Fanuc Ltd. Optical sensor for measuring position and orientation of an object in three dimensions
JP2008033819A (ja) * 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体
JP2009155056A (ja) * 2007-12-27 2009-07-16 Seiko Precision Inc 画像処理装置、荷物搬送設備、及びプログラム
JP2010248777A (ja) * 2009-04-15 2010-11-04 Caterpillar Sarl 作業機械の管理システム
CN202220052U (zh) * 2009-11-30 2012-05-16 西门子公司 确定三维对象的位置和方位的位置检测系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651558B2 (ja) * 1990-01-12 1994-07-06 株式会社東芝 活線作業用マニピュレータシステム
JPH04184203A (ja) * 1990-11-20 1992-07-01 Komatsu Ltd 位置計測装置の制御装置
JP2000034093A (ja) * 1998-07-21 2000-02-02 Kobe Steel Ltd 旋回式作業機械とその安全作業領域及び定格荷重の設定方法
JP3661462B2 (ja) * 1998-12-16 2005-06-15 株式会社日立製作所 建屋外揚重機による建屋内における機器のハンドリング方法
JP2002176641A (ja) 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP3988574B2 (ja) * 2002-08-08 2007-10-10 日産自動車株式会社 画像処理装置
JP2007015814A (ja) * 2005-07-07 2007-01-25 Mitsubishi Electric Corp 機器搬入出システム
DE102006027202A1 (de) * 2006-06-12 2007-12-13 Liebherr-Werk Nenzing Gmbh, Nenzing Kraneinsatzplaner
JP4788722B2 (ja) * 2008-02-26 2011-10-05 トヨタ自動車株式会社 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造
JP2010241548A (ja) * 2009-04-03 2010-10-28 Kansai Electric Power Co Inc:The クレーンの安全確認装置
CN201473235U (zh) * 2009-07-24 2010-05-19 金陵科技学院 塔吊式起重机用立体视觉安全报警系统
JP5642409B2 (ja) * 2010-03-30 2014-12-17 株式会社タダノ クレーンの制御装置及びクレーン
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
WO2013006625A2 (en) * 2011-07-05 2013-01-10 Trimble Navigation Limited Crane maneuvering assistance
FI20115922A0 (fi) * 2011-09-20 2011-09-20 Konecranes Oyj Nosturin ohjaus
US9415976B2 (en) * 2012-05-10 2016-08-16 Trimble Navigation Limited Crane collision avoidance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111657A (ja) * 1998-10-02 2000-04-21 Kantou Regional Constr Bureau Ministry Of Constr 色検知機能を利用した対物認証システム
EP1413850A2 (en) * 2002-10-23 2004-04-28 Fanuc Ltd. Optical sensor for measuring position and orientation of an object in three dimensions
JP2008033819A (ja) * 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体
JP2009155056A (ja) * 2007-12-27 2009-07-16 Seiko Precision Inc 画像処理装置、荷物搬送設備、及びプログラム
JP2010248777A (ja) * 2009-04-15 2010-11-04 Caterpillar Sarl 作業機械の管理システム
CN202220052U (zh) * 2009-11-30 2012-05-16 西门子公司 确定三维对象的位置和方位的位置检测系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107923745A (zh) * 2015-08-26 2018-04-17 住友建机株式会社 挖土机的测量装置
CN107923745B (zh) * 2015-08-26 2021-07-23 住友建机株式会社 挖土机的测量装置
CN107407075A (zh) * 2015-09-30 2017-11-28 株式会社小松制作所 图像数据生成方法
US10822773B2 (en) 2015-10-05 2020-11-03 Komatsu Ltd. Construction machine and construction management system
JPWO2017061515A1 (ja) * 2015-10-05 2018-08-02 株式会社小松製作所 建設機械及び施工管理システム
CN105776042B (zh) * 2016-05-17 2017-10-27 中船第九设计研究院工程有限公司 一种船坞平台上的起重机防撞监测方法
CN105776042A (zh) * 2016-05-17 2016-07-20 中船第九设计研究院工程有限公司 一种船坞平台上的起重机防撞监测方法
US11441294B2 (en) 2016-10-31 2022-09-13 Komatsu Ltd. Measurement system, work machine, and measurement method
CN109716058A (zh) * 2016-10-31 2019-05-03 株式会社小松制作所 测量系统、作业机械及测量方法
CN110023711A (zh) * 2016-12-09 2019-07-16 株式会社多田野 起重机
CN110023711B (zh) * 2016-12-09 2021-11-19 株式会社多田野 起重机
CN111928782A (zh) * 2017-07-21 2020-11-13 株式会社多田野 测定对象物的上表面推定方法、引导信息显示装置以及起重机
CN111943043A (zh) * 2017-07-21 2020-11-17 株式会社多田野 引导信息显示装置和具备该装置的起重机、引导信息显示方法
CN110573834A (zh) * 2017-09-08 2019-12-13 株式会社小松制作所 施工管理装置及施工管理方法
US11100663B2 (en) 2017-09-08 2021-08-24 Komatsu Ltd. Construction management device and construction management method
CN107882080A (zh) * 2017-11-08 2018-04-06 苏州蓝博控制技术有限公司 挖掘机精细工作控制方法、系统及挖掘机
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
CN117208738A (zh) * 2023-11-09 2023-12-12 江苏海川电气制造股份有限公司 一种变压器制造用转运吊具
CN117208738B (zh) * 2023-11-09 2024-02-23 江苏海川电气制造股份有限公司 一种变压器制造用转运吊具

Also Published As

Publication number Publication date
EP3235773B8 (en) 2023-09-20
CN104662389B (zh) 2017-06-16
EP2899496B1 (en) 2020-03-04
WO2014046213A1 (ja) 2014-03-27
EP3235773A2 (en) 2017-10-25
US20150249821A1 (en) 2015-09-03
US9300954B2 (en) 2016-03-29
EP2899496A1 (en) 2015-07-29
EP3235773A3 (en) 2017-12-06
EP2899496A4 (en) 2016-08-31
EP3235773B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN104662389A (zh) 作业车的周围信息获取装置
US9733080B2 (en) Wide-angle image pickup unit and measuring device
KR101475583B1 (ko) 화상생성장치 및 조작지원 시스템
JP6222933B2 (ja) 作業車用の地図作成装置
JP6321977B2 (ja) 重機用周辺監視装置
CN110915202A (zh) 引导信息显示装置和具备该装置的起重机、引导信息显示方法
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
US20130002861A1 (en) Camera distance measurement device
US20170146343A1 (en) Outside Recognition Device
CN102798456A (zh) 一种工程机械臂架系统工作幅度的测量方法、装置及系统
JPWO2020003497A1 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
JP2010287029A (ja) 周辺表示装置
JP6766516B2 (ja) 障害物検出装置
JP6257947B2 (ja) 作業車の周囲情報取得装置
JP6080450B2 (ja) 監視カメラ装置
JP6097063B2 (ja) 高さ測定装置及び高さ測定方法
CN111487610A (zh) 起重机及其吊装作业的定位系统和定位方法、存储介质
CN110944927A (zh) 引导信息显示装置、具有该引导信息显示装置的起重机和引导信息显示方法
JP2009073248A (ja) アウトリガ張出し量検出装置
JP5575571B2 (ja) 画像生成システム
JP5595822B2 (ja) 画像生成システム
US20240028042A1 (en) Visual overlays for providing perception of depth
CN113614810B (zh) 图像处理装置、车辆控制装置、方法和程序
WO2020234912A1 (ja) 携帯装置、位置表示方法、及び位置表示プログラム
JP5575572B2 (ja) 画像生成システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant