CN109661813B - 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质 - Google Patents

俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质 Download PDF

Info

Publication number
CN109661813B
CN109661813B CN201780053672.0A CN201780053672A CN109661813B CN 109661813 B CN109661813 B CN 109661813B CN 201780053672 A CN201780053672 A CN 201780053672A CN 109661813 B CN109661813 B CN 109661813B
Authority
CN
China
Prior art keywords
image
camera
overhead
turntable
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053672.0A
Other languages
English (en)
Other versions
CN109661813A (zh
Inventor
石原敬树
佐藤启二
东秀幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Publication of CN109661813A publication Critical patent/CN109661813A/zh
Application granted granted Critical
Publication of CN109661813B publication Critical patent/CN109661813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • B66C23/90—Devices for indicating or limiting lifting moment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • B66C23/90—Devices for indicating or limiting lifting moment
    • B66C23/905—Devices for indicating or limiting lifting moment electrical
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Jib Cranes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明公开一种可对设置了具有驾驶室的旋转台的行车体的周边全周围进行视觉确认的俯瞰图像系统、操作车辆、俯瞰图像显示方法以及程序。俯瞰图像系统具备：获取操作车辆的周边图像的多个照相机；显示与由多个照相机所获取的图像相应的俯瞰图像的显示部；和生成俯瞰图像并显示在显示部的控制部。多个照相机具有：设置在行车体并获取行车体的前方图像的第1前方照相机、设置在行车体并获取行车体的后方图像的第1后方照相机、设置在旋转台并获取旋转台的右方图像的右方照相机、和设置在旋转台并获取旋转台的左方图像的左方照相机。

Description

俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机 可读取的记录介质
技术领域
本发明涉及操作车辆所采用的俯瞰图像系统、俯瞰图像显示方法以及程序。
背景技术
操作车辆因为是大型车辆，容易产生盲区，虽然一直对后视镜等位置想着办法，但从驾驶位置对周边进行视觉确认仍然是不容易的。
因此，关于操作车辆，考虑采用一种形成以该操作车辆为中心的周边的俯瞰图像来呈现给操作者的俯瞰图像系统(例如，参照专利文献1等)。该现有的俯瞰图像系统为了对车体的周边进行拍摄，因而在该车体设置多个照相机，将通过该各照相机拍摄的图像变换成从上方的设想视点向下看的图像并进行组合，来形成车体周边的俯瞰图像。因此，现有的俯瞰图像系统即使在车体的周边对于驾驶员而言成为盲区的位置，也能够显示俯瞰图像，能够提高操作车辆的安全性。
先行技術文献
专利文献
专利文献1:日本特开2015－154406号公报
然而，有些操作车辆中，在行车体上可旋转地设置有旋转台，在该旋转台设置有驾驶室(驾驶座)。这样的操作车辆中，也与上述操作车辆同样地，由于无法完全消除驾驶室看行车体周边的盲区，因此优选采用多个照相机形成行车体周边的俯瞰图像，可绕四周视觉确认行车体的周边。
发明内容
本发明的目的在于，提供一种可绕四周视觉确认设置了具有驾驶室的旋转台的行车体的周边的俯瞰图像系统、俯瞰图像显示方法以及程序。
本发明涉及的俯瞰图像系统，其特征在于，具备：
多个照相机，其获取在行车体设置有可旋转的旋转台的操作车辆的周边图像；
显示部，其显示与由所述多个照相机获取的图像相应的俯瞰图像；和
控制部，其生成所述俯瞰图像并显示在所述显示部，
所述多个照相机具有：设置在所述行车体并获取所述行车体的前方图像的第1前方照相机；设置在所述行车体并获取所述行车体的后方图像的第1后方照相机；设置在所述旋转台并获取所述旋转台的右方图像的右方照相机；和设置在所述旋转台、获取所述旋转台的左方图像的左方照相机。
本发明涉及的俯瞰图像系统，对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示，其特征在于，
具备图像处理部，其获取由在所述旋转台的左右设置的照相机所获取的第1图像、和在所述行车体或者所述旋转台的前后设置的照相机所获取的第2图像，并对所述第1图像和所述第2图像进行合成来生成俯瞰图像，
根据所述操作车辆的状态，来切换获取所述第2图像的所述照相机。
本发明涉及的俯瞰图像显示方法，对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示，所述俯瞰图像显示方法的特征在于，包括：
图像获取步骤，从设置在所述行车体并获取所述行车体的前方图像的第1前方照相机、设置在所述行车体并获取所述行车体的后方图像的第1后方照相机、设置在所述旋转台并获取所述旋转台的右方图像的右方照相机、以及设置在所述旋转台并获取所述旋转台的左方图像的左方照相机，获取图像；以及
显示步骤，基于所获取的所述图像，生成所述俯瞰图像来进行显示。
本发明涉及的程序，其特征在于，使对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示的俯瞰图像系统的计算机，实现如下处理：
从设置在所述行车体并获取所述行车体的前方图像的第1前方照相机、设置在所述行车体并获取所述行车体的后方图像的第1后方照相机、设置在所述旋转台并获取所述旋转台的右方图像的右方照相机、以及设置在所述旋转台并获取所述旋转台的左方图像的左方照相机，获取图像；和
基于所获取的所述图像，生成所述俯瞰图像并进行显示。
本发明的有益效果如下：
根据本发明，能够绕四周对设置了具有驾驶室的旋转台的行车体的周边进行视觉确认。
附图说明
图1是示意性示出从侧方观看作为操作车辆的一例的起重机车辆的样子的说明图。
图2是示意性示出从竖直方向的上侧(上方)观看(平面视图)行驶模式的起重机车辆的情况的说明图。
图3是与表示操作模式的起重机车辆的形态的一例的图2同样的说明图。
图4是表示起重机车辆所采用的俯瞰图像系统的结构的一例的方框图。
图5是表示使行驶模式的行驶俯瞰图像显示于显示部的情况的说明图。
图6是表示使操作模式的操作俯瞰图像显示于显示部的情况的说明图。
图7是表示控制部执行的俯瞰图像显示处理的一例的流程图。
图8是表示使前方透视图像显示于显示部的情况的说明图。
具体实施方式
以下，参照附图，针对作为一例的操作车辆的实施方式，来说明本发明涉及的俯瞰图像系统。另外，图5以及图6为了容易理解俯瞰图像P而示出仅将俯瞰图像P显示于显示部13的情况，也可以与操作部14一起显示在显示部13，不一定与实际的形态一致。
采用图1至图8对本实施方式涉及的俯瞰图像系统10进行说明。俯瞰图像系统10如图1以及图2所示，搭载于作为操作车辆的一例的起重机车辆1中。起重机车辆1具备：行车体(承载体)2和旋转台3。
行车体2是具有行驶功能的车辆的主体部分(车体)。行车体2具有：多个车轮和对车轮以及旋转台3进行驱动的驱动源。行车体2如图2所示，在俯视图的情况下呈前后方向(图2中的上下方向，上侧为行车体2的前侧)较长的约长方形状。
行车体2构成为可将前侧(图2中的上侧)作为车辆前行方向前行、向后侧(图2中的下侧)后退、以及可通过转向操作来向左右转弯。行车体2中，前侧以及后侧各设置有左右一对支腿4(图1参照(图1中仅图示行车体2的左侧))。各支腿4构成为可向左右伸出以及收回，通过在适当伸出后接地，从而在采用了后述的悬臂7的操作时(后述的操作模式Mw)，稳定地支持行车体2。
旋转台3如图1以及图2所示，可水平旋转地设置在行车体2的上部。旋转台3具有：可一体式旋转的驾驶室5和悬臂支撑体6。
驾驶室5是操作者(操作员)乘车的地方，图2的上侧是驾驶室5的正面侧。在驾驶室5，设置有用于供操作者进行各种操作的操作部。作为各种操作，例如，有旋转台3的旋转、后述的悬臂7的俯仰以及伸缩、悬臂支撑体6中设置的卷扬机的卷扬以及下降、各支腿4的伸出以及收回、发动机的发动以及停止、行车体2的行驶等。本实施方式中，驾驶室5相对于车辆前行方向(前进侧)设置在旋转台3的右侧。旋转台3具有将驾驶室5以及悬臂支撑体6容纳在行车体2上的大小。本实施方式中，驾驶室5的宽度尺寸(图2的左右方向的尺寸)与行车体2大约相等，长度尺寸(图2的上下方向的尺寸)比行车体2更小。
悬臂支撑体6是安装悬臂7的地方。在悬臂支撑体6，悬臂7的基端部经由悬臂根部支点销而被安装。悬臂7以悬臂根部支点销为中心可进行俯仰。另外，在悬臂支撑体6，在与悬臂7之间设置俯仰用缸(图示略)。通过对俯仰用缸进行伸缩来使悬臂7俯仰。
悬臂7在旋转台3，配置在驾驶室5的左侧，在前后方向延伸。悬臂7如图1所示，在行驶时等不使用的时候，保持水平姿势。悬臂7的前端部(图2的上侧)，比行车体2更向前方突出。另外，悬臂7也可以是保持前端下垂的姿势的所谓倾斜悬臂。
悬臂7具有内部通过伸缩缸连接的基端悬臂部和中间悬臂部以及前端悬臂部。中间悬臂部和前端悬臂部依次在基端悬臂部内从外侧向内侧嵌套式组合收纳，通过由伸缩缸进行伸缩从而进行伸缩。在前端悬臂部设置滑轮，在该滑轮张挂转动金属线缆来将吊钩吊下。悬臂7在行驶时(后述的行驶模式Md(参照图2等))等不使用的时候，处于收回各悬臂部的状态。
起重机车辆1具有行驶模式Md和操作模式Mw。行驶模式Md如上述那样收纳悬臂7，在使行车体2的前侧(车辆前行方向)和旋转台3中的驾驶室5(其中的操作者)的正面侧(正面方向)一致的状态下(参照图2)，成为行驶移动的模式。另外，操作模式Mw是行驶停止，如图3所示，为了使用悬臂7而使旋转台3相对于行车体2能够旋转的模式。
本实施方式中，起重机车辆1在换档开关前进、空档、或者倒挡的情况下，成为行驶模式Md。另一方面，起重机车辆1在使为了驱动操作机构而取出车辆驱动用的发动机动力的机构即PTO(Power take-off，动力输出)驱动的PTO开关被设置为接通状态的情况下，成为操作模式Mw。在操作模式Mw下，虽然图3中省略了图示，但通过将各支腿4向左右适当伸出并接地，来稳定地支撑行车体2，从而能够在适当旋转旋转台3的同时使用悬臂7。在该起重机车辆1搭载俯瞰图像系统10。
俯瞰图像系统10呈现表示从竖直方向的上侧(上方)的设想视点俯视起重机车辆1的情况的俯瞰图像P(参照图5、图6)。俯瞰图像系统10如图4所示，具备：6个照相机11(11A～11F)、控制部12、显示部13、操作部14、信息获取部15、以及存储部16。各照相机11鉴于获取起重机车辆1中的行车体2的周边图像、以及获取起重机车辆1中的旋转台3周边的图像的情况，而设置在预定的位置。关于照相机11，采用例如视角为大约180度的广角照相机。
所谓行车体2的周边图像是指从竖直方向的上侧(上方)观看包围行车体2的地面(正在行驶的面)的图像，是从该行车体2的周边至以该行车体2为中心的规定距离的位置为止的区域的地面的图像(参照图5)。另外，所谓旋转台3周边的图像，是指基本上从竖直方向的上侧(上方)观看包围旋转台3的地面(正在行驶的面)的图像，是从该旋转台3的周边至以该旋转台3为中心的规定距离的位置为止的区域的地面的图像(参照图6)。在此，旋转台3由于被设置为在行车体2的上方可旋转，因此如后所述，有些情况下，旋转台3的周边图像中会映入行车体2的一部分(参照图6)。
照相机11如图1以及图2所示，具有：以行车体2为基准，获取前方图像的第1前方照相机11A、获取后方图像的第1后方照相机11B、获取右方图像的右方照相机11C、以及获取左方图像的左方照相机11D。第1前方照相机11A在行车体2中的前进侧设置在该行车体2的端部(前端)，第1后方照相机11B在行车体2的后退侧设置在该行车体2的端部(后端)。另外，右方照相机11C设置在作为驾驶室5的右侧的旋转台3的右端，左方照相机11D设置在作为驾驶室5的左侧的旋转台3的左端。
在此，行车体2由于呈前后方向(车辆前行方向)较长的大约长方形状，因此即使采用广角照相机，仅在行车体2的左右各设置一台这样的照相机，也难以全方位获取两侧区域的图像。另外，搭载了俯瞰图像系统10的起重机车辆1由于与行车体2和旋转台3之间的宽度尺寸大约相等，因此在行车体2的前侧和旋转台3(驾驶室5)的正面侧一致的行驶模式Md下，旋转台3的两侧端与行车体2的两侧端大约一致。
因而，本实施方式中，将右方照相机11C以及左方照相机11D设置在旋转台3的两侧，使其设置位置比设置在行车体2的第1前方照相机11A以及第1后方照相机11B更贵。由此，与在行车体2的两侧设置相同性能的照相机的情况相比，由于前后方向的拍摄区域较广，因此能够全方位获取旋转台3的两侧、即行驶模式Md下的行车体2两侧的区域(后述的右方区域A3以及左方区域A4(参照图5))的图像。因此，俯瞰图像系统10在行驶模式Md下，能够基于右方照相机11C以及左方照相机11D所获取的行车体2两侧的图像、和第1前方照相机11A以及第1后方照相机11B所获取的行车体2的前后侧的图像，来生成可遍四周视觉确认行车体2的周边的俯瞰图像P(参照图5)。
另外，照相机11以旋转台3为基准，具有获取前方图像的第2前方照相机11E、获取后方图像的第2后方照相机11F。第2前方照相机11E设置在作为驾驶室5的正面侧的旋转台3的前端，第2后方照相机11F设置在作为驾驶室5的背面侧的旋转台3的后端。因此，俯瞰图像系统10能够基于右方照相机11C以及左方照相机11D所获取的旋转台3的两侧的图像、和第2前方照相机11E以及第2后方照相机11F所获取的旋转台3的前后侧的图像，生成遍及四周能够视觉确认旋转台3的周边的俯瞰图像P。另外，各照相机11只要能够遍及四周无间断地获取行车体2和旋转台3周边的图像，只要适当设置在详细的位置，则不限定于本实施方式的构成(图1以及图2所示的位置)。
控制部12如图4所示，与6个照相机11、显示部13、操作部14、信息获取部15、以及存储部16连接。控制部12是具有存储部(内部存储器12a)和运算部的微型计算机。本实施方式中，控制部12设置在驾驶室5。控制部12基于存储部16或者内部存储器12a中设置的程序，统一控制照相机11、显示部13、操作部14、信息获取部15以及存储部16的动作，从照相机11、操作部14以及信息获取部15适当获取信息。控制部12进行基于来自照相机11的信号(图像数据)生成俯瞰图像P(其图像数据)的生成处理、使俯瞰图像P显示于显示部13的显示处理、操作部14所操作的判断处理、信息获取部15所获取的各种信息的获取处理等的控制。本实施方式中，控制部12具有图像处理部17，基于存储部16或者内部存储器12a中存储的程序，根据照相机11获取的图像(图像数据)生成俯瞰图像P(图像数据)。
图像处理部17作为一例，通过进行如下这样的各处理从而进行生成俯瞰图像P(图像数据)的生成处理。另外，该生成处理除了所采用的照相机11的种类(11A～11F)、所采用的系数等不同之外，后述的行驶俯瞰图像Pd(参照图5)是相同的，操作俯瞰图像Pw(参照图6)也是同样的，因此仅作为俯瞰图像P进行说明。
首先，图像处理部17通过对输入像素的坐标值乘以透镜失真系数或基于纵横比等的系数来变换成输出像素的坐标值，从而进行对透镜的失真进行修正的失真修正处理。另外，图像处理部17对所适当选择出的输入像素的坐标值乘以基于照相机安装角等的各种系数而形成输出像素的所有坐标值，由此进行变换成从在起重机车辆1的上方设置的设想视点俯视的拍摄图像(个别的俯瞰图像)的俯瞰变换处理。
进而，图像处理部17进行如下这样的图像合成处理：在通过对所对应的坐标值的亮度进行线性插补等，来消除接缝处的不协调感的同时，将来自进行了上述各处理的各照相机11的相邻的拍摄图像作为一张图像结合而生成俯瞰图像P。另外，在图像处理部17执行的生成处理中，只要生成俯瞰图像P(图像数据)即可，既可以同时进行前述的各处理，也可以进行其他内容的处理。
在此，图像处理部17根据起重机车辆1中的模式(行驶模式Md或者操作模式Mw)，来切换所采用的照相机并生成俯瞰图像P。
具体而言，图像处理部17在起重机车辆1成为行驶模式Md的情况下，采用第1前方照相机11A的图像、第1后方照相机11B的图像、右方照相机11C的图像、以及左方照相机11D的图像，通过上述的各处理生成作为俯瞰图像P的行驶俯瞰图像Pd(参照图5)。第1前方照相机11A、第1后方照相机11B、右方照相机11C、以及左方照相机11D由于是按照上述的位置关系配置的，因此行驶俯瞰图像Pd如图5所示，成为行车体2的周边四周都连续被照出的图像。行驶俯瞰图像Pd由如下部分构成：第1前方照相机11A所获取的行车体2的前方(前进侧)的前方区域A1图像(前方图像)、第1后方照相机11B所获取的行车体2的后方(后退侧)的后方区域A2的图像(后方图像)、右方照相机11C所获取的旋转台3即行车体2的右方(右侧)的右方区域A3的图像(右方图像)、和左方照相机11D所获取的旋转台3即行车体2的左方(左侧)的左方区域A4的图像(左方图像)。
另外，图像处理部17在起重机车辆1成为操作模式Mw的情况下，采用第2前方照相机11E的图像、第2后方照相机11F的图像、右方照相机11C的图像、以及左方照相机11D的图像，通过上述的各处理生成作为俯瞰图像P的操作俯瞰图像Pw(参照图6)。第2前方照相机11E、第2后方照相机11F、右方照相机11C、以及左方照相机11D，由于是按照上述的位置关系配置的，因此操作俯瞰图像Pw如图6所示，成为旋转台3的周边四周都被连续照出的图像。操作俯瞰图像Pw由如下图像构成：第2前方照相机11E所获取的旋转台3的前方(正面侧)的前方区域A5的图像(前方图像)、第2后方照相机11F所获取的旋转台3的后方(背面侧)的后方区域A6的图像(后方图像)、右方照相机11C所获取的旋转台3的右方(右侧)的右方区域A7的图像(右方图像)、和左方照相机11D所获取的旋转台3的左方(左侧)的左方区域A8的图像(左方图像)。
因此，操作俯瞰图像Pw中部分照出行车体2。例如，如图3所示，在旋转台3相对于行车体2旋转大约90度的情况下，如图6所示，第2前方照相机11E所获取的前方区域A5、右方照相机11C所获取的右方区域A7以及左方照相机11D所获取的左方区域A8中会部分照出行车体2。另外，操作俯瞰图像Pw中，根据旋转台3的旋转程度，第2后方照相机11F所获取的后方区域A6中也会部分照出行车体2。这样，操作俯瞰图像Pw会在与旋转台3的旋转程度相应的位置照出行车体2。即，操作俯瞰图像Pw是按照向与旋转台3的旋转方向相反的方向旋转的方式，作为周边图像的一部分来显示行车体2的。
这样进行图像合成后的各俯瞰图像Pd、Pw，由于照相机11是按照上述的方式设置的，因此成为起重机车辆1中的照相机11的设置位置外方的图像，该设置位置以内的区域的图像信息会缺失。即，行驶俯瞰图像Pd成为行车体2外方的图像，该行车体2所在的区域的图像信息会缺失。操作俯瞰图像Pw成为旋转台3外方的图像，旋转台3所在的区域的图像信息会缺失。因此，图像处理部17将各俯瞰图像Pd、Pw中的缺失地方作为例如像素值零(显示黑)。
然后，图像处理部17对图像合成后的各俯瞰图像Pd、Pw的缺失地方，进行对将起重机车辆1模拟可视化示出的操作车辆标记M(参照图5、图6)进行重叠的重叠处理。操作车辆标记M如图5、图6所示，将各俯瞰图像Pd、Pw中的起重机车辆1的位置以及大小可视化示出，基本上，具有：表示行车体2的行车体标记部M2、表示包含其上的悬臂7等的旋转台3的旋转台标记部M3。关于操作车辆标记M，既可以采用实际的起重机车辆1的俯瞰写真，也可以采用将起重机车辆1俯瞰示出的图柄。
在此，图像处理部17根据起重机车辆1的模式(行驶模式Md或者操作模式Mw)、即所生成的俯瞰图像P，对所重叠的操作车辆标记M进行切换。具体而言，图像处理部17在以行驶模式Md生成了行驶俯瞰图像Pd的情况下，如图5所示，使在行车体标记部M2上叠加旋转台标记部M3后的操作车辆标记M重叠在行车体2所在的缺失区域。这时的操作车辆标记M，与行驶模式Md下的起重机车辆1(图2参照)同样地，与行车体标记部M2的前侧(与行车体2的前进侧相当的地方)和旋转台标记部M3的正面侧(与旋转台3中的驾驶室5的正面侧相当的地方)一致。
另外，图像处理部17在操作模式Mw下生成了操作俯瞰图像Pw的情况下，如图6所示，使仅由旋转台标记部M3组成的操作车辆标记M叠加在旋转台3所在的缺失区域。这是因为，操作俯瞰图像Pw是遍及旋转台3的周边四周的图像，由于如上述那样在操作俯瞰图像Pw照出行车体2，因此如果仅示出旋转台标记部M3，则如实际的起重机车辆1那样，成为行车体2上存在旋转台标记部M3的状态。
控制部12不但使图像处理部17所生成的各俯瞰图像Pd、Pw(图像数据)输出给显示部13并使之显示在该显示部13(参照图5、图6)，而且将各俯瞰图像Pd、Pw适当保存在存储部16。这时，控制部12使行车体标记部M2的前侧以及旋转台标记部M3的正面侧、和各俯瞰图像Pd、Pw中的前方区域A1、A5位于正面看显示部13的上侧，来使各俯瞰图像Pd、Pw显示在显示部13。因此，由于从驾驶室5来看成为正面的前方区域A1、A5以及旋转台标记部M3的正面侧位于显示部13的上侧而被显示，因此各俯瞰图像Pd、Pw的显示与位于驾驶室5中的操作者的感觉一致。另外，控制部12基于来自操作部14的操作信息(数据)、来自信息获取部15的各种信息(数据)，进行规定的处理。
显示部13可显示俯瞰图像P或起重机车辆1中的各种信息，本实施方式中，设置在旋转台3的驾驶室5内。显示部13在控制部12的控制下，能够即时且连续地(实时)显示基于由照相机11获取的图像而生成的俯瞰图像P(参照图5、图6)。显示部13在本实施方式中，搭载触摸屏的功能。
操作部14是用于利用俯瞰图像系统10中的各种功能的操作部，使所输入操作的信息向控制部12输出。操作部14，在本实施方式中，作为在搭载触摸屏的功能的显示部13显示的画面(其中的各种图标等)而构成。操作部14能够进行在显示部13显示的图像的切换操作、俯瞰图像系统10或起重机车辆1中的各种设置的操作等。另外，操作部14既可以与显示部13独立地设置在驾驶室5内，也可以作为开关设置在显示部13的画面的周围。
信息获取部15获取与起重机车辆1相关的各种动作信息，将各动作信息(数据)向控制部12输出。动作信息包含：例如表示起重机车辆1是行驶模式Md还是操作模式Mw的不同模式信息、表示旋转台3(悬臂7)的旋转角度或悬臂7的俯仰角度以及长度的姿势信息。信息获取部15在本实施方式中，获取(检测)起重机车辆1的档位开关是否为前进、空档、倒挡，来作为表示是行驶模式Md的模式信息，获取(检测)起重机车辆1的PTO开关是否设置为ON状态，来作为表示是操作模式Mw的模式信息。
这样，在俯瞰图像系统10中，在起重机车辆1为行驶模式Md的情况下，利用设置在行车体2的第1前方照相机11A以及第1后方照相机11B、设置在旋转台3的右方照相机11C以及左方照相机11D，分前后左右分别获取行车体2周边的图像，并输出给控制部12(图像处理部17)。图像处理部17如上述那样，对照相机11所获取的图像(图像数据)进行各处理来生成行驶俯瞰图像Pd(俯瞰图像P)，使在行车体标记部M2上叠加旋转台标记部M3后的操作车辆标记M与行驶俯瞰图像Pd重叠。重叠了操作车辆标记M的行驶俯瞰图像Pd在控制部12的控制下显示在显示部13(参照图5)。这样，操作者在起重机车辆1的行驶模式Md下，能够容易对行车体2的周边进行视觉确认。
另外，在俯瞰图像系统10中，在起重机车辆1是操作模式Mw的情况下，利用设置在旋转台3的第2前方照相机11E、第2后方照相机11F、右方照相机11C以及左方照相机11D，分前后左右来分别获取旋转台3的周边的图像，并输出给控制部12(图像处理部17)。图像处理部17如上述那样，对照相机11所获取的图像(图像数据)进行各处理来生成操作俯瞰图像Pw(俯瞰图像P)，使仅由旋转台标记部M3组成的操作车辆标记M重叠在操作俯瞰图像Pw上。重叠了操作车辆标记M后的操作俯瞰图像Pw在控制部12的控制下显示在显示部13(参照图6)。由此，操作者在起重机车辆1的操作模式Mw下，能够容易对旋转台3的周边继续视觉确认。
这样，俯瞰图像系统10不论起重机车辆1的模式如何，不但都可共用设置在旋转台3的右方照相机11C以及左方照相机11D，而且还可根据起重机车辆1的模式，分类使用行车体2中设置的第1前方照相机11A以及第1后方照相机11B、和旋转台3中设置的第2前方照相机11E以及第2后方照相机11F。即，俯瞰图像系统10具备图像处理部17，其获取由在旋转台3的左右设置的右方照相机11C以及左方照相机11D所获取的第1图像、由在行车体2的前后设置的第1前方照相机11A以及第1后方照相机11B或者在旋转台2的前后设置的第2前方照相机11E以及第2后方照相机11F所获取的第2图像，并对第1图像和第2图像进行合成来生成俯瞰图像，根据起重机车辆1(操作车辆)的状态，对获取第2图像的照相机进行切换。由此，便能够呈现与模式相适应的俯瞰图像P(行驶俯瞰图像Pd、操作俯瞰图像Pw)。
接着，针对俯瞰图像系统10中，在控制部12的控制下生成俯瞰图像P来显示在显示部13的俯瞰图像显示处理，采用图7进行说明。图7是表示由控制部12执行的俯瞰图像显示处理(俯瞰图像显示方法)的流程图。该俯瞰图像显示处理由控制部12基于在控制部12的内部存储器12a或者存储部16中存储的程序来执行。
以下，针对图7的流程图的各步骤(各个步骤)进行说明。图7的流程图，因俯瞰图像系统10被设置为执行俯瞰图像显示处理的状态而开始。俯瞰图像系统10也可以设置为始终执行俯瞰图像显示处理的状态，还可以通过操作部14的操作来切换是否执行。另外，本例中，起重机车辆1中仅设置行驶模式Md以及操作模式Mw这两个模式。
步骤S1中，控制部12判断起重机车辆1是否为行驶模式Md，在“是”的情况下，进入步骤S2，在“否”的情况下进入步骤S7。步骤S1中，控制部12经由信息获取部15获取模式信息，基于所获取的模式信息来判断起重机车辆1是行驶模式Md还是操作模式Mw。控制部12在例如起重机车辆1的档位开关成为前进、空档、倒挡的情况下，判断为行驶模式Md，在起重机车辆1的PTO开关为接通状态的情况下，判断为操作模式Mw。
在步骤S2中，控制部12获取来自与行驶模式Md对应的照相机11的图像(图像数据)，并进入步骤S3。在步骤S2，控制部12获取来自与行驶模式Md对应的照相机11、即第1前方照相机11A、第1后方照相机11B、右方照相机11C、以及左方照相机11D的各图像(图像数据)。
在步骤S3中，控制部12生成行驶俯瞰图像Pd(图像数据)并进入步骤S4(作为图像处理部17的处理)。步骤S3中，生成示出行车体2的周边且该行车体2所在的区域的图像信息缺失的行驶俯瞰图像Pd(图像数据)作为俯瞰图像P。
步骤S4中，控制部12使与行驶模式Md对应的操作车辆标记M与行驶俯瞰图像Pd重叠，并进入步骤S5(作为图像处理部17的处理)。步骤S4中，生成将与行驶模式Md对应的操作车辆标记M、即在行车体标记部M2上叠加旋转台标记部M3后的操作车辆标记M与行驶俯瞰图像Pd重叠的图像。
步骤S5中，控制部12使将与行驶模式Md对应的操作车辆标记M重叠在行驶俯瞰图像Pd上后的图像显示在显示部13(图5参照)，进入步骤S6。
步骤S6中，控制部12判断行驶模式Md是否已结束，在“是”的情况下，进入步骤S12，在“否”的情况下返回步骤S2。步骤S6中，控制部12经由信息获取部15获取模式信息，基于所获取的模式信息判断起重机车辆1是否已结束行驶模式Md。控制部12在例如起重机车辆1的档位开关已从前进、空档、倒挡过渡至其他状态的情况下，判断为已结束了行驶模式Md。
在步骤S7，控制部12获取来自与操作模式Mw对应的照相机11的图像(图像数据)，并进入步骤S8。步骤S7中，控制部12由于不是行驶模式Md，而是操作模式Mw，因此获取来自与操作模式Mw对应的照相机11、即第2前方照相机11E、第2后方照相机11F、右方照相机11C、以及左方照相机11D的各图像(图像数据)。
在步骤S8，控制部12生成操作俯瞰图像Pw(图像数据)，并进入步骤S9(作为图像处理部17的处理)。在步骤S8，生成示出旋转台3的周边且该旋转台3所在的区域的图像信息缺失的操作俯瞰图像Pw(图像数据)作为俯瞰图像P。
在步骤S9，控制部12使与操作模式Mw对应的操作车辆标记M与操作俯瞰图像Pw叠加，并进入步骤S10(作为图像处理部17的处理)。在步骤S9，生成将与操作模式Mw对应的操作车辆标记M、即仅由旋转台标记部M3组成的操作车辆标记M与操作俯瞰图像Pw重叠后的图像。
在步骤S10，控制部12使将与操作模式Mw对应的操作车辆标记M重叠在操作俯瞰图像Pw上之后的图像显示在显示部13(参照图6)，并进入步骤S11。
在步骤S11，控制部12使步骤S10中的操作俯瞰图像Pw显示在显示部13，接着判断操作模式Mw是否已结束，在“是”的情况下进入步骤S12，在“否”的情况下，返回步骤S7。步骤S11中，控制部12经由信息获取部15获取模式信息，基于所获取的模式信息，判断起重机车辆1是否已结束操作模式Mw。控制部12在例如起重机车辆1的PTO开关已从接通状态过渡至关闭状态的情况下，判断为结束了操作模式Mw。
步骤S12中，控制部12判断是否已结束该俯瞰图像显示处理，在“是”的情况下，结束俯瞰图像显示处理，在“否”的情况下，返回步骤S1。步骤S12中，控制部12由于是所继续的模式(行驶模式Md、操作模式Mw)已结束的情况，因此控制部12判断是否结束俯瞰图像显示处理、即，是否结束显示部13中的俯瞰图像P的显示。该判断例如既可以基于操作部14的操作来进行，也可以基于俯瞰图像系统10的电源断开、或起重机车辆1的发动机停止来进行。另外，是否结束该俯瞰图像显示处理的判断，因在行驶模式Md持续期间(步骤S2至S6)、或者操作模式Mw持续期间(步骤S7至S11)进行，因此不论起重机车辆1的模式如何，都可以停止俯瞰图像P的显示。
接着，针对本实施方式涉及的俯瞰图像系统10的动作进行说明。俯瞰图像系统10在被设置为执行俯瞰图像显示处理状态时，若起重机车辆1成为行驶模式Md，则图7的流程图中进入步骤S1→S2→S3，从而控制部12(图像处理部17)生成行车体2周边的行驶俯瞰图像Pd。然后，图7的流程图进入步骤S4，从而使行车体标记部M2上叠加了旋转台标记部M3后的操作车辆标记M重叠在行驶俯瞰图像Pd上，进入步骤S5，从而使将操作车辆标记M与行驶俯瞰图像Pd重叠后的图像显示在显示部13(参照图5)。这些处理一直持续至图7的流程图的步骤S6中起重机车辆1的行驶模式Md结束。
另外，俯瞰图像系统10在被设置为执行俯瞰图像显示处理的状态时，若起重机车辆1成为操作模式Mw，则进入图7的流程图中的步骤S1→S7→S8，从而控制部12(图像处理部17)生成旋转台3的周边1的操作俯瞰图像Pw。然后，图7的流程图进入步骤S9，从而使仅由旋转台标记部M3组成的操作车辆标记M与操作俯瞰图像Pw重叠，进入步骤S10，使将操作车辆标记M与操作俯瞰图像Pw重叠后的图像显示在显示部13(参照图6)。这些处理一直持续至图7的流程图的步骤S11中起重机车辆1的操作模式Mw结束。
然后，俯瞰图像系统10持续上述过程直至图7的流程图的步骤S12中判断为俯瞰图像显示处理结束为止。这样，俯瞰图像系统10将与起重机车辆1的模式相应的周边的俯瞰图像P，经由显示部13实时呈现给操作者。另外，俯瞰图像系统10由于根据起重机车辆1的模式，使与俯瞰图像P重叠的操作车辆标记M的形态改变，因此以与俯瞰实际的起重机车辆1的状态接近的状态将俯瞰图像P呈现给操作者。
由于是上述的结构，因此应用了本发明的实施方式所涉及的俯瞰图像系统10能获得以下的各作用效果。
俯瞰图像系统10在行驶模式Md，采用设置在行车体2的第1前方照相机11A以及第1后方照相机11B、和设置在旋转台3的右方照相机11C以及左方照相机11D所分别获取的图像，生成行车体2的周边图像即行驶俯瞰图像Pd(俯瞰图像P)。即，俯瞰图像系统10具备：获取在行车体2设置了可旋转的旋转台3的起重机车辆1(操作车辆)的周边图像的多个照相机11；基于多个照相机11所获取的图像显示俯瞰图像P的显示部13；和生成俯瞰图像P使之显示在显示部13的控制部12，多个照相机11具有：设置在行车体2并获取行车体2的前方图像的第1前方照相机11A；设置在行车体2并获取行车体2的后方图像的第1后方照相机11B；设置在旋转台3并获取旋转台3的右方图像的右方照相机11C；设置在旋转台3并获取旋转台3的左方图像的左方照相机11D。因此，俯瞰图像系统10能够将右方照相机11C以及左方照相机11D的设置位置设置得比第1前方照相机11A以及第1后方照相机11B更高，不论行车体2的前后(车辆前行方向)是否为长条状，都能够分别由1台照相机获取该行车体2两侧的区域图像。由此，俯瞰图像系统10通过采用来自四个照相机11(第1前方照相机11A、第1后方照相机11B、右方照相机11C以及左方照相机11D)的图像，恰当地生成遍及前后(车辆前行方向)为长条状的行车体2的周边的整个四周的图像即行驶俯瞰图像Pd并呈现给操作者。
另外，俯瞰图像系统10在操作模式Mw，采用在旋转台3设置的第2前方照相机11E、第2后方照相机11F、右方照相机11C以及左方照相机11D各自获取的图像，生成作为旋转台3的周边图像的操作俯瞰图像Pw(俯瞰图像P)。因此，俯瞰图像系统10不论旋转台3相对于行车体2的旋转姿势如何，都能够始终以相同的组合获取以旋转台3为基准的正面侧、背面侧以及两侧区域的图像。这样，俯瞰图像系统10通过采用来自四个照相机11(第2前方照相机11E、第2后方照相机11F、右方照相机11C以及左方照相机11D)的图像，便能够恰当生成遍及相对于行车体2旋转的旋转台3的周边的整个四周的图像即操作俯瞰图像Pw并呈现给操作者。
进而，俯瞰图像系统10不论起重机车辆1的模式如何，都可共用在旋转台3设置的右方照相机11C以及左方照相机11D，并且根据起重机车辆1的模式，分类使用设置在行车体2的第1前方照相机11A以及第1后方照相机11B、和设置在旋转台3的第2前方照相机11E以及第2后方照相机11F。即，俯瞰图像系统10中，多个照相机11，具有：设置在旋转台3并获取旋转台3的前方图像的第2前方照相机11E、和设置在旋转台3并获取旋转台3的后方图像的第2后方照相机11F，控制部12，在行驶模式Md下，基于第1前方照相机11A的图像、第1后方照相机11B的图像、右方照相机11C的图像、以及左方照相机11D的图像，生成行驶俯瞰图像Pd(俯瞰图像)，在操作模式Mw下，基于第2前方照相机11E的图像、第2后方照相机11F的图像、右方照相机11C的图像、以及左方照相机11D的图像，生成操作俯瞰图像Pw(俯瞰图像)。因此，俯瞰图像系统10既能够抑制要使用的照相机的台数增加，又能够恰当地生成行车体2周边的行驶俯瞰图像Pd以及旋转台3周边的操作俯瞰图像Pw。另外，俯瞰图像系统10由于只要对第1前方照相机11A以及第1后方照相机11B、和第2前方照相机11E以及第2后方照相机11F之间进行切换，便可与行驶俯瞰图像Pd和操作俯瞰图像Pw的双方对应，因此采用简单的结构便能够恰当地生成行驶俯瞰图像Pd以及操作俯瞰图像Pw。
俯瞰图像系统10在行驶俯瞰图像Pd上重叠将旋转台标记部M3叠加在行车体标记部M2上后的操作车辆标记M，在操作俯瞰图像Pw上重叠仅由旋转台标记部M3组成的操作车辆标记M。即，俯瞰图像系统10中，控制部12在行驶模式Md下，将表示行车体2的行车体标记部M2和表示旋转台3的旋转台标记部M3，作为对起重机车辆1(操作车辆)进行可视化表示的操作车辆标记M重叠在行驶俯瞰图像Pd(俯瞰图像)上来使之显示给显示部13，在操作模式Mw，仅将旋转台标记部M3作为操作车辆标记M，与操作俯瞰图像Pw(俯瞰图像)重叠来使之显示给显示部13。在此，起重机车辆1由于在行驶模式Md下，行车体2会移动，因此优选行驶俯瞰图像Pd是遍及行车体2的周边的整个周围的图像。另外，起重机车辆1由于在操作模式Mw下，行车体2不移动，但其上旋转的旋转台3移动，因此操作俯瞰图像Pw优选为遍及旋转台3的周边的整个周围的图像。另外，操作俯瞰图像Pw所采用的第2前方照相机11E、第2后方照相机11F、右方照相机11C以及左方照相机11D，根据旋转台3相对于行车体2的旋转姿势来部分获取该行车体2的图像。因此，俯瞰图像系统10能够根据起重机车辆1的模式来生成操作者所需要的各俯瞰图像P，能够使与之重叠的操作车辆标记M符合相应的模式，同时又能够成为与俯瞰实际的起重机车辆1的状态接近的样子。
即，俯瞰图像系统10由于行驶俯瞰图像Pd表示行车体2的周边，因此在其上重叠将旋转台标记部M3叠加在行车体标记部M2上后的操作车辆标记M，从而能够接近俯瞰行驶模式Md下的实际的起重机车辆1的周围的状态。另外，俯瞰图像系统10由于操作俯瞰图像Pw是将旋转台3的周边与行车体2一起显示，因此通过重叠仅由旋转台标记部M3组成的操作车辆标记M，从而操作俯瞰图像Pw上的行车体2根据旋转台3的旋转姿势相对于旋转台标记部M3逆向旋转，能够使之接近以旋转台3为中心俯瞰操作模式Mw中的实际的起重机车辆1的周囲的状态。因此，俯瞰图像系统10能够呈现操作者无不协调感地容易且恰当地掌握周边状況的俯瞰图像P。
俯瞰图像系统10使与行驶俯瞰图像Pd重叠的操作车辆标记M，既与行车体标记部M2的前侧和旋转台标记部M3的正面侧一致，又朝着显示部13中的上侧(参照图5)。因此，俯瞰图像系统10能够将行驶模式Md下呈现的行驶俯瞰图像Pd(参照图5)设置为与位于驾驶室5的操作者所看到的感觉相近的形态，能够将该旋转台标记部M3设置为与行驶模式Md下行驶的起重机车辆1(图2参照)同样的状态。由此，俯瞰图像系统10能够在行驶模式Md下更容易进行行车体2周边的视觉确认。
俯瞰图像系统10使与操作俯瞰图像Pw重叠的操作车辆标记M、旋转台标记部M3的正面侧朝向显示部13中的上侧(参照图6)。因此，俯瞰图像系统10能够将操作模式Mw下呈现的操作俯瞰图像Pw(参照图6)设置为从位于驾驶室5的操作者看来的感觉相近的形态，能够使该旋转台标记部M3成为与操作模式Mw下驱动的起重机车辆1(图3参照)同样的形态。因此，俯瞰图像系统10能够在操作模式Mw下更容易进行旋转台3的周边的视觉确认。
因此，应用了本发明的实施方式涉及的俯瞰图像系统10，能够遍及四周对设置了具有驾驶室5的旋转台3的行车体2的周边进行视觉确认。
以上，基于实施方式说明了本发明的俯瞰图像系统，但关于具体构成，并非限于实施方式，在不脱离本发明的主旨的范围内，还允许进行设计变更和追加等。另外，结构部件的数量、位置、形状等不限于实施例，还能够设置为实施本发明所适合的数量、位置、形状等。
另外，在上述的实施方式中，针对作为本发明涉及的俯瞰图像系统的一个实施例的俯瞰图像系统10进行了说明，但只要是具有如下构成的俯瞰图像系统，则不限定于上述的实施方式，即，具备：获取在行车体设置了可旋转的旋转台的操作车辆的周边图像的多个照相机；显示基于由上述各照相机获取的图像的俯瞰图像的显示部；和将由上述各照相机获取的图像变换成从上方的设想视点往下看的图像并将其接合起来生成上述俯瞰图像并显示在上述显示部的控制部，且上述各照相机由：在上述行车体中的前进侧设置在上述行车体的前方照相机、在上述行车体的后退侧设置在上述行车体的后方照相机、在设置在上述旋转台的驾驶室的右侧设置在上述旋转台的右方照相机、和在上述驾驶室的左侧设置在上述旋转台的左方照相机构成。
另外，在上述的实施方式中，作为采用俯瞰图像系统10的操作车辆，示出了起重机车辆1，但只要是在行车体(2)设置了可旋转的旋转台(3)的操作车辆，则可以是其他结构的操作车辆，不限定于上述的实施方式。
进而，上述的实施方式中，如图5或者图6所示，使各俯瞰图像Pd、Pw重叠了操作车辆标记M，然而根据各照相机11的设置位置，有些情况下操作车辆标记M会部分遮住各俯瞰图像Pd、Pw。作为遮住各俯瞰图像Pd、Pw的地方，在例如图5所示的行驶俯瞰图像Pd中，有虚线包围的悬臂7的前端地方。在图6所示的操作俯瞰图像Pw中，虚线包围的驾驶室5的一部分以及悬臂7的前端侧的大约一半便符合这种情况。这些隐藏的地方，在从竖直方向的上侧观看起重机车辆1的状态下，行驶俯瞰图像Pd中，有比旋转台3中的行车体2更靠近位于外侧的地方。操作俯瞰图像Pw中，前方是比旋转台3中的第2前方照相机11E位于更靠近前方的地方且后方以及两侧方比旋转台3位于更靠近外侧的地方。因此，俯瞰图像系统10中，为了能够遍及四周无间断地对各俯瞰图像Pd、Pw进行视觉确认，也可以将设置为将这些隐藏的地方的外形用线示出的同时，使其内侧为透明的半透明化，或者设置为未显示的操作车辆标记M与各俯瞰图像Pd、Pw重叠。这些通过对各俯瞰图像Pd、Pw以及操作车辆标记M中隐藏的地方的显示进行加工便可执行。
虽然在上述的实施方式中，在操作模式Mw下使操作俯瞰图像Pw显示于显示部13，但也可以使其他图像进行显示，但不限定于该实施方式。作为其他显示，例如图8所示，可列举对由第2前方照相机11E所获取的图像不进行任何加工便显示的前方直通图像Ps。在图8所示的例子中，如图3所示，由于是使旋转台3相对于行车体2进行旋转的状态的前方直通图像Ps，因此虽然该前方直通图像Ps没有照出行车体2，但根据旋转台3的转动姿势，会部分照出行车体2。这样，通过显示前方直通图像Ps，即使是操作者的正面，也能够从驾驶室5对成为盲区的地方进行视觉确认，因此能够容易且恰当地掌握前方的状况。该前方直通图像Ps的显示，通过切换为操作俯瞰图像Pw从而提高使用便利性。另外，还可以使操作俯瞰图像Pw和前方直通图像Ps双方同时显示在显示部13。进而，作为其他图像，显示部13也可以显示由其他照相机(11A～11D、11F)所获取的直通图像或基于照相机(11A～11F)的图像(还包括可进行切换或使之同时显示的情况)，不限于图8的例子。这些与行驶模式Md同样。
2016年9月9日提交的特愿2016－176872的日本申请中包含的说明书、附图以及摘要的公开内容，通过援引全部加入本申请。
符号说明
1 (作为操作车辆的一例的)起重机车辆
2 行车体
3 旋转台
5 驾驶室
10 俯瞰图像系统
11 照相机
11A 第1前方照相机
11B 第1后方照相机
11C 右方照相机
11D 左方照相机
11E 第2前方照相机
11F 第2后方照相机
12 控制部
13 显示部
M 操作车辆标记
M2 行车体标记部
M3 旋转台标记部
Md 行驶模式
Mw 操作模式
P 俯瞰图像
Pd 行驶俯瞰图像
Pw 操作俯瞰图像。

Claims (5)

1.一种俯瞰图像系统，对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示，所述俯瞰图像系统的特征在于，
具备图像处理部，其获取由在所述旋转台的左右设置的右方照相机以及左方照相机所获取的第1图像、和由在所述行车体或者所述旋转台的前后设置的前方照相机以及后方照相机所获取的第2图像，并对所述第1图像和所述第2图像进行合成来生成俯瞰图像，
在以所述行车体的前进方向与设置于所述旋转台的驾驶室的正面方向一致的状态行驶的行驶模式下，从设置在所述行车体的所述前方照相机以及所述后方照相机获取所述第2图像，
在相对于所述行车体可旋转所述旋转台的操作模式下，从设置在所述旋转台的所述前方照相机以及所述后方照相机获取所述第2图像。
2.根据权利要求1所述的俯瞰图像系统，其特征在于，
所述图像处理部在所述行驶模式下，将表示所述行车体的行车体标记部和表示所述旋转台的旋转台标记部，作为使所述操作车辆可视化示出的操作车辆标记，与所述俯瞰图像重叠，在所述操作模式下，仅将所述旋转台标记部作为所述操作车辆标记，与所述俯瞰图像重叠。
3.根据权利要求2所述的俯瞰图像系统，其特征在于，
所述图像处理部使所述行车体标记部中的相当于所述行车体的前进侧的地方朝向显示部中的上侧来显示所述行车体标记部，使所述旋转台标记部中的相当于所述旋转台中的所述驾驶室的正面侧的地方朝向所述显示部中的上侧来使所述旋转台标记部显示。
4.一种俯瞰图像显示方法，对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示，所述俯瞰图像显示方法的特征在于，包括如下步骤：
由在所述旋转台的左右设置的右方照相机以及左方照相机获取第1图像的步骤；
由在所述行车体或者所述旋转台的前后设置的前方照相机以及后方照相机获取第2图像的步骤；以及
对所述第1图像和所述第2图像进行合成来生成俯瞰图像的步骤，
在所述获取第2图像的步骤中，在以所述行车体的前进方向与设置于所述旋转台的驾驶室的正面方向一致的状态行驶的行驶模式下，由设置在所述行车体的所述前方照相机以及所述后方照相机获取所述第2图像，在相对于所述行车体可旋转所述旋转台的操作模式下，由设置在所述旋转台的所述前方照相机以及所述后方照相机获取所述第2图像。
5.一种存储有程序的计算机可读取的记录介质，其特征在于，所述程序使对在行车体设置了可旋转的旋转台的操作车辆的周边的俯瞰图像进行显示的俯瞰图像系统的计算机，实现规定的处理，
所述规定的处理包括：
由在所述旋转台的左右设置的右方照相机以及左方照相机获取第1图像的处理；
由在所述行车体或者所述旋转台的前后设置的前方照相机以及后方照相机获取第2图像的处理；以及
对所述第1图像和所述第2图像进行合成来生成俯瞰图像的处理，
在所述获取第2图像的处理中，在以所述行车体的前进方向与设置于所述旋转台的驾驶室的正面方向一致的状态行驶的行驶模式下，由设置在所述行车体的所述前方照相机以及所述后方照相机获取所述第2图像，在相对于所述行车体可旋转所述旋转台的操作模式下，由设置在所述旋转台的所述前方照相机以及所述后方照相机获取所述第2图像。
CN201780053672.0A 2016-09-09 2017-09-08 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质 Active CN109661813B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016176872A JP6756555B2 (ja) 2016-09-09 2016-09-09 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2016-176872 2016-09-09
PCT/JP2017/032534 WO2018047954A1 (ja) 2016-09-09 2017-09-08 俯瞰画像システム、俯瞰画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109661813A CN109661813A (zh) 2019-04-19
CN109661813B true CN109661813B (zh) 2020-10-02

Family

ID=61562325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053672.0A Active CN109661813B (zh) 2016-09-09 2017-09-08 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质

Country Status (5)

Country Link
US (1) US10661712B2 (zh)
EP (1) EP3512194B1 (zh)
JP (1) JP6756555B2 (zh)
CN (1) CN109661813B (zh)
WO (1) WO2018047954A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111108250A (zh) * 2017-12-27 2020-05-05 住友建机株式会社 挖土机及挖土机的输出装置
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
KR20220002941A (ko) 2019-04-26 2022-01-07 스미토모 겐키 가부시키가이샤 쇼벨
WO2020256101A1 (ja) * 2019-06-20 2020-12-24 株式会社タダノ 画像システムおよび画像システムを備える作業車両
CN112019752A (zh) * 2020-09-11 2020-12-01 三一汽车起重机械有限公司 一种全景监控方法、全景监控系统及起重机
EP4323302A1 (en) 2021-04-12 2024-02-21 Structural Services, Inc. Systems and methods for assisting a crane operator
CN113225527A (zh) * 2021-04-14 2021-08-06 三一海洋重工有限公司 一种全景视频监控方法、装置及一种工程设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JP2011151742A (ja) * 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448812B2 (en) * 2004-05-27 2008-11-11 Heibel Thomas S Camera mount
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP5473870B2 (ja) * 2010-11-15 2014-04-16 住友建機株式会社 建設機械のモニター装置
JP5841821B2 (ja) * 2011-12-07 2016-01-13 富士通テン株式会社 画像処理装置、車両、画像処理方法、及び、プログラム
JP6313992B2 (ja) * 2014-02-18 2018-04-18 クラリオン株式会社 牽引車用周囲監視装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
WO2015125979A1 (ja) * 2015-04-28 2015-08-27 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JP2011151742A (ja) * 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
CN102175222A (zh) * 2011-03-04 2011-09-07 南开大学 基于立体视觉的吊车避障系统
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置

Also Published As

Publication number Publication date
EP3512194B1 (en) 2021-04-21
JP2018042207A (ja) 2018-03-15
CN109661813A (zh) 2019-04-19
EP3512194A4 (en) 2020-04-01
JP6756555B2 (ja) 2020-09-16
EP3512194A1 (en) 2019-07-17
US20190248289A1 (en) 2019-08-15
US10661712B2 (en) 2020-05-26
WO2018047954A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN109661813B (zh) 俯瞰图像系统、俯瞰图像显示方法以及存储有程序的计算机可读取的记录介质
JP5814187B2 (ja) 自走式産業機械の表示装置
JP6167042B2 (ja) 自走式産業機械の周囲監視装置
JP5988683B2 (ja) 自走式産業機械の表示装置
JP5269026B2 (ja) 作業機械の周囲監視装置
JP6014664B2 (ja) 自走式産業機械の表示装置
JP5462008B2 (ja) 画像表示システム
CN107922171B (zh) 移动式起重机的周边显示装置
EP2757782A1 (en) Surroundings monitoring device for work machine
EP2717570A1 (en) Device for monitoring area around working machine
JP2008312004A (ja) カメラシステム及び機械装置
JPWO2012157379A1 (ja) 作業機械の周囲監視装置
JP6071786B2 (ja) 作業機械の周囲監視装置
JP5841821B2 (ja) 画像処理装置、車両、画像処理方法、及び、プログラム
JP2012051678A (ja) 視界補助システム
JP5066198B2 (ja) 作業機械のモニタ装置
JP2015139158A (ja) 重機用周辺監視装置
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2018039648A (ja) 画像表示システム
JP2018039477A (ja) 画像表示システム
JP2018039476A (ja) 画像表示システム
JP6224770B2 (ja) ダンプトラックの表示装置
JP6787729B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP2016169595A (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant