JP2008074594A - Periphery monitor of vehicle having work machine - Google Patents

Periphery monitor of vehicle having work machine Download PDF

Info

Publication number
JP2008074594A
JP2008074594A JP2006258618A JP2006258618A JP2008074594A JP 2008074594 A JP2008074594 A JP 2008074594A JP 2006258618 A JP2006258618 A JP 2006258618A JP 2006258618 A JP2006258618 A JP 2006258618A JP 2008074594 A JP2008074594 A JP 2008074594A
Authority
JP
Japan
Prior art keywords
image
position information
vehicle
work machine
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006258618A
Other languages
Japanese (ja)
Other versions
JP5091447B2 (en
Inventor
Shuji Katayama
片山周二
Koji Yamamoto
山本耕治
Kazuaki Kyohara
鏡原和明
Yasuo Yamazaki
山崎靖雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tadano Ltd
Original Assignee
Tadano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tadano Ltd filed Critical Tadano Ltd
Priority to JP2006258618A priority Critical patent/JP5091447B2/en
Publication of JP2008074594A publication Critical patent/JP2008074594A/en
Application granted granted Critical
Publication of JP5091447B2 publication Critical patent/JP5091447B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control And Safety Of Cranes (AREA)
  • Jib Cranes (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a periphery monitor supporting device of a vehicle having a work machine, used for surely confirming the periphery from an operator's seat without stepping down from the operator's seat when installing the work machine. <P>SOLUTION: A vehicle on which a work machine is mounted has monitoring cameras 10, 11 for photographing the periphery of the vehicle and a display 12 disposed at the operator's seat displaying the images photographed by the cameras. The monitoring cameras are attached to the positions where the state of the movable parts of the work machine in addition to the periphery of the vehicle with the work machine can be photographed in the same screen. Photographed image signals from the monitoring cameras are sent to the display through an image processing device 13. The image processing device has a movable part state/position information storage part 14 for storing the movable part state/position information of the work machine and a synthesizing part 15 for superimposing a movable part state/position information images on the images photographed by the monitoring cameras. With the movable parts of the work machine not moved, the movable part state/position information images of the work machine are superimposed on the images obtained by photographing the periphery of the vehicle with the work machine by the monitoring cameras, and the superimposed images are displayed on the display. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、作業機搭載車両の周辺監視装置に関するものである。   The present invention relates to a periphery monitoring device for a work machine-equipped vehicle.

車両の周辺監視装置として、車両の後方に車両の後方を撮影する後方監視カメラを備えるとともに、後方監視カメラで撮影した画像を表示する表示装置を運転席に備え、表示装置に後方監視カメラで撮影した画像を表示するにあたって、自車両から所定の距離位置間隔で目盛りを付したマーカーを表示装置に表示した撮影画像に重畳表示させ、後退するときに自車両に近接する後方の障害物との距離をマーカーと対比することで、自車両と障害物との干渉を目安的に判断できるようにした技術が公知である。(例えば特許文献1参照)
特開2005−112267号公報(第8頁、図10〜図14)
As a vehicle periphery monitoring device, a rear monitoring camera that captures the rear of the vehicle is provided behind the vehicle, and a display device that displays an image captured by the rear monitoring camera is provided in the driver's seat, and the display device captures the rear monitoring camera. When displaying a captured image, a marker with a scale at a predetermined distance from the host vehicle is superimposed on the captured image displayed on the display device, and the distance from the rear obstacle close to the host vehicle when moving backward A technique is known in which the interference between the host vehicle and the obstacle can be determined as a guideline by contrasting with the marker. (For example, see Patent Document 1)
Japanese Patent Laying-Open No. 2005-112267 (page 8, FIGS. 10 to 14)

ところで、作業機搭載車両として図3に図示するような移動式クレーンが知られている。この移動式クレーンは、車両1上に旋回台2を旋回駆動可能にする旋回装置5を配置し、旋回台2に伸縮ブーム3を起伏駆動可能に配置している。そして伸縮ブーム3の基端側にウインチ(図示しない)を配置し、このウインチ(図示しない)により繰出したワイヤロープ(図示しない)を伸縮ブーム3の先端部を経過させ、ワイヤロープの先端に吊具を介して吊荷を係止させ、吊荷を吊上げて目的の位置に移動させるクレーン作業を行うようにしている。
このような移動式クレーンは、吊上げた吊荷を安定に支持するために車両1から側方に張出すアウトリガ4装置を備えている。アウトリガ装置4は、車両1の前後左右にそれぞれ4組備えられ、作業時には側方に張出されアウトリガ装置4に備えたジャッキ(図示しない)により車両1を地面に支持させるようにしている。したがって、移動式クレーンは吊荷を吊上げる際に、このアウトリガ装置4により転倒しないよう安定に支持させる機能を持たせているものである。
また、移動式クレーンは、旋回装置5により旋回台2を旋回させるようにしているが、旋回台2の後端にカウンタウエイト(錘)5aを配置している。このカウンタウエイト5aも伸縮ブーム3の先端部で吊上げた吊荷による転倒モーメントに対して反転倒モーメントを発生させるために配置されたものである。このカウンタウエイト5aは、旋回台3を旋回させ伸縮ブーム3を側方に向ける際に、図3にカウンタウエイト5aの移動軌跡を鎖線で示す通り、カウンタウエイト5aの角部が大幅に車両1より後方および側方に突出する。
このように移動式クレーンに配置されたアウトリガ装置4および旋回装置5は、いずれもクレーン作業時に車両1から突出させるものである。したがって、オペレータは移動式クレーンで作業する際に、移動式クレーンを設置する作業現場の周辺に障害物がないことを確認し、障害物がない設置場所を作業現場として決定する必要がある。すなわち、アウトリガ装置4を張出し、旋回装置5を旋回させても支障のない設置場所を決定しなければならない。そして決定に際しては、車両1の左側方および後方は、運転席6から確認できないので、一旦運転席6から降りて確認する必要があり、煩わしいものとなっていた。
そこで前述した特開2005−112267号公報の技術を適用し、運転席6から降りなくても確認できるようにすることが考えられる。すなわち、車両1の側方および後方に監視カメラを配置し、監視カメラで撮影した画像を運転席6に配置した表示装置で表示し、表示装置に監視カメラで撮影した画像を表示するにあたって、車両1から所定の距離位置間隔で目盛りを付したマーカーを表示装置に表示した撮影画像に重畳表示させる。そして表示装置に監視カメラで撮影された画像を表示させ、表示画像の中に障害物の存在を確認するのであるが、表示画像中の障害物が目盛りを付したマーカーにより車両1との距離は判るものの、アウトリガ4の張出し位置や、旋回装置5の旋回位置との関係が即判断できるものでない。
すなわち、アウトリガ装置4については車両1からの張出し長さを予めオペレータが覚えておき、覚えておいた長さ位置を表示装置で表示されるマーカーから確認し、その位置に障害物が存在していないか判断する必要がある。また、同様に旋回装置5についても旋回台2の旋回位置(カウンタウエイト5aの角部の移動軌跡)を覚えておき、その位置に障害物が存在していないか判断する必要がある。また、旋回装置5の旋回位置については、旋回移動軌跡との関係であるので目盛りを付したマーカーだけでは判断しにくいところがある。
By the way, a mobile crane as shown in FIG. 3 is known as a working machine-equipped vehicle. In this mobile crane, a swivel device 5 that enables the swivel base 2 to be swiveled on a vehicle 1 is disposed, and the telescopic boom 3 is disposed on the swivel base 2 so as to be able to drive up and down. A winch (not shown) is arranged on the base end side of the telescopic boom 3, and a wire rope (not shown) fed by the winch (not shown) is passed through the tip of the telescopic boom 3 and hung on the tip of the wire rope. A suspended load is locked through a tool, and a crane operation for lifting the suspended load and moving it to a target position is performed.
Such a mobile crane is provided with an outrigger 4 device that projects laterally from the vehicle 1 in order to stably support the lifted load. Four sets of outrigger devices 4 are provided on the front, rear, left, and right of the vehicle 1, respectively, and the vehicle 1 is supported on the ground by jacks (not shown) provided on the outrigger device 4 that are extended laterally during work. Therefore, the mobile crane has a function of stably supporting the suspended crane so as not to fall by the outrigger device 4 when lifting the suspended load.
In the mobile crane, the swivel 2 is swung by the swivel device 5, but a counterweight (weight) 5 a is disposed at the rear end of the swivel 2. The counterweight 5a is also arranged to generate a reversal overturning moment with respect to a overturning moment caused by a suspended load lifted at the tip of the telescopic boom 3. When the swivel 3 is swung and the telescopic boom 3 is turned to the side, the counterweight 5a has a corner portion of the counterweight 5a that is greatly separated from the vehicle 1 as shown in FIG. Projects backward and sideways.
Thus, both the outrigger device 4 and the turning device 5 arranged on the mobile crane are projected from the vehicle 1 during crane work. Therefore, when an operator works with a mobile crane, it is necessary to confirm that there is no obstacle around the work site where the mobile crane is installed, and to determine an installation location without the obstacle as the work site. That is, it is necessary to determine an installation place where there is no problem even if the outrigger device 4 is extended and the turning device 5 is turned. At the time of determination, the left side and the rear side of the vehicle 1 cannot be confirmed from the driver's seat 6, so it is necessary to get out of the driver's seat 6 and confirm it once, which is troublesome.
Therefore, it is conceivable to apply the technique disclosed in Japanese Patent Application Laid-Open No. 2005-112267 described above so that the user can check without getting off the driver's seat 6. That is, a monitoring camera is disposed on the side and the rear of the vehicle 1, an image captured by the monitoring camera is displayed on a display device disposed on the driver's seat 6, and an image captured by the monitoring camera is displayed on the display device. Markers with graduations at predetermined distance positions from 1 are superimposed on the captured image displayed on the display device. Then, an image captured by the monitoring camera is displayed on the display device, and the presence of an obstacle is confirmed in the display image. The distance from the vehicle 1 is determined by a marker in which the obstacle in the display image is marked. Although it can be seen, the relationship between the extended position of the outrigger 4 and the turning position of the turning device 5 cannot be immediately determined.
That is, for the outrigger device 4, the length of the overhang from the vehicle 1 is memorized in advance by the operator, the memorized length position is confirmed from the marker displayed on the display device, and there is an obstacle at that position. It is necessary to judge whether there is any. Similarly, with respect to the turning device 5, it is necessary to remember the turning position of the turntable 2 (the movement trajectory of the corner of the counterweight 5a) and determine whether there is an obstacle at that position. Further, the turning position of the turning device 5 is in a relationship with the turning movement locus, and therefore, there are places where it is difficult to determine only with a marker with a scale.

本発明は、このような点を考慮して作業機を設置させる場合に運転席から降りて周辺を確認しなくても、運転席から周辺を確実に確認できるようにする作業機搭載車両の周辺監視支援装置を提供することを目的とする。   In the present invention, when the work implement is installed in consideration of such points, the periphery of the vehicle equipped with the work implement can be surely confirmed from the driver seat without getting out of the driver seat and confirming the periphery. An object is to provide a monitoring support device.

上記の目的を達成するため、本発明の請求項1記載に係る作業機搭載車両の周辺監視支援装置は、車両上に搭載した作業機で作業を行う作業機搭載車両に、作業機搭載車両の周辺を撮影する監視カメラと、運転席に配置され該カメラで撮影した画像を表示する表示装置とを備えた作業機搭載車両の周辺監視支援装置において、前記監視カメラは同一画面に作業機搭載車両の周辺の他に作業機の可動部状態も撮影する位置に取付けられ、監視カメラからの撮影画像信号は表示装置に画像処理装置を介して送られるようにし、画像処理装置に作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部と監視カメラで撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部とを備え、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とするものである。   In order to achieve the above object, a work equipment-equipped vehicle periphery monitoring support device according to claim 1 of the present invention is provided in a work equipment-equipped vehicle that performs work using the work equipment installed on the vehicle. In a periphery monitoring support device for a work implement-equipped vehicle, which includes a monitoring camera that captures the periphery and a display device that is disposed in a driver's seat and displays an image captured by the camera. In addition to the periphery of the working machine, the movable unit state of the work machine is attached at a position for photographing, and the captured image signal from the monitoring camera is sent to the display device via the image processing unit. A movable unit state position information storage unit that stores state position information and outputs a movable unit state position information image signal, and a synthesis processing unit that superimposes the movable unit state position information image on the captured image taken by the monitoring camera, The movable unit state position information image of the work implement is superimposed on the image obtained by photographing the periphery of the vehicle equipped with the work implement with the monitoring camera in a state where the movable portion is not moved, and is displayed on the display device. It is what.

本発明の請求項2記載に係る作業機搭載車両の周辺監視支援装置は、請求項1において、前記画像処理装置に、監視カメラからの撮影画像信号を鳥瞰画像に変換する鳥瞰画像変換部を備え、前記画像処理装置の可動部状態位置情報記憶部は作業機の可動部状態位置情報を記憶し鳥瞰画像に変換して可動部状態位置情報画像信号として出力あるいは作業機の可動部状態位置情報を鳥瞰画像に変換して記憶し可動部状態位置情報画像信号として出力するようにし、前記画像処理装置の合成処理部は鳥瞰画像変換部で変換した画像と可動部状態位置情報画像を重畳させるようにし、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した鳥瞰画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とするものである。   According to a second aspect of the present invention, the periphery monitoring support device for a work machine-equipped vehicle according to the first aspect includes a bird's-eye image conversion unit that converts a captured image signal from a monitoring camera into a bird's-eye image in the image processing device. The movable part state position information storage unit of the image processing device stores the movable part state position information of the work machine, converts it into a bird's-eye view image, and outputs it as a movable part state position information image signal or the movable part state position information of the work machine. The image is converted into a bird's-eye image, stored, and output as a movable part state position information image signal, and the composition processing unit of the image processing device superimposes the image converted by the bird's eye image converter and the movable part state position information image. The movable unit state position information image of the work implement is superimposed on the bird's-eye image obtained by photographing the periphery of the work implement-equipped vehicle with the monitoring camera in a state where the movable unit of the work implement is not moved. It is characterized in that so as to shown.

本発明の請求項3記載に係る作業機搭載車両の周辺監視支援装置は、請求項2において、前記監視カメラを複数配置し、前記鳥瞰画像変換部は複数の監視カメラからの撮影画像信号を合成して鳥瞰画像に変換するよう構成したことを特徴とするものである。   According to a third aspect of the present invention, there is provided a work equipment-equipped vehicle periphery monitoring support device according to the second aspect, wherein a plurality of the monitoring cameras are arranged, and the bird's-eye image conversion unit synthesizes captured image signals from the plurality of monitoring cameras. Then, it is configured to convert to a bird's-eye view image.

本発明の請求項4記載に係る作業機搭載車両の周辺監視支援装置は、請求項1乃至請求項3において、前記作業機の可動部は、作業機搭載車両の前後左右に配置されたアウトリガ装置の張出格納可動部であることを特徴とするものである。   According to a fourth aspect of the present invention, in the periphery monitoring support device for a work implement-equipped vehicle, in the first to third aspects, the movable portion of the work implement is disposed on the front, rear, left and right of the work implement equipped vehicle. This is a projecting and retracting movable part.

本発明の請求項5記載に係る作業機搭載車両の周辺監視支援装置は、請求項1乃至請求項3において、前記作業機の可動部は、車両上に作業機を旋回可能に配置した旋回装置の旋回可動部であることを特徴とするものである。   According to a fifth aspect of the present invention, there is provided a work equipment-equipped vehicle periphery monitoring support device according to the first to third aspects, wherein the movable portion of the work machine is arranged so that the work machine can turn on the vehicle. It is characterized by being a turning movable part.

請求項1に係る本発明の作業機搭載車両の周辺監視支援装置は、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたものであるから、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を表示装置で確認でき、作業機を設置させる場合に運転席から降りて周辺を確認しなくても、運転席から周辺を確実に確認できる。しかも作業機の可動部を実際に可動しなくても障害物と可動部状態位置との関係が確認できるので、障害物に可動部が干渉すると判断されると、作業機搭載車両の設置場所を即変更できる。   According to a first aspect of the present invention, there is provided an apparatus for monitoring the periphery of a work machine-equipped vehicle according to the present invention. Since the part state position information image is superimposed and displayed on the display device, the relationship between the obstacle photographed by the surveillance camera and the movable part state position information image can be confirmed on the display device. Even if the driver does not need to get out of the driver's seat and check the surroundings, the driver can check the surroundings reliably. Moreover, since the relationship between the obstacle and the movable part state position can be confirmed without actually moving the movable part of the work implement, if it is determined that the movable part interferes with the obstacle, the installation location of the vehicle with the work implement is set. It can be changed immediately.

請求項2記載に係る作業機搭載車両の周辺監視支援装置は、監視カメラで撮影した画像と可動部状態位置情報画像とを鳥瞰画像に変換して表示装置に表示させるようにしたものであるから、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認でき、確認判断を容易にすることができる。   Since the periphery monitoring support device for a work machine-equipped vehicle according to claim 2 converts the image photographed by the surveillance camera and the movable portion state position information image into a bird's-eye view image and causes the display device to display the image. The relationship between the obstacle photographed by the surveillance camera and the movable part state position information image can be confirmed with the bird's-eye view image, and the confirmation judgment can be facilitated.

請求項3記載に係る作業機搭載車両の周辺監視支援装置は、監視カメラを複数配置し、前記鳥瞰画像変換部は複数の監視カメラからの撮影画像信号を合成して鳥瞰画像に変換するようにしたものであるから、広範囲にわたる周辺の状況を鳥瞰画像で表示することができ、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認する確認判断を一層容易にすることができる。   The periphery monitoring support device for a work machine-equipped vehicle according to claim 3 is provided with a plurality of monitoring cameras, and the bird's-eye image conversion unit synthesizes photographed image signals from the plurality of monitoring cameras and converts them into a bird's-eye image. As a result, it is possible to display a wide range of surrounding conditions as a bird's-eye view image, making it easier to confirm and confirm the relationship between the obstacle photographed by the surveillance camera and the moving part state position information image using the bird's-eye view image. Can be.

請求項4記載に係る作業機搭載車両の周辺監視支援装置は、作業機の可動部としてアウトリガ装置を備えた作業機搭載車両に適用し、監視カメラで撮影された障害物とアウトリガの張出し位置情報を可動部状態位置情報画像として表示装置で表示し両者の関係を確認できるようにしたものであるから、作業機を設置させる場合に運転席から降りてアウトリガ張出し位置周辺を確認しなくても、運転席から周辺を確実に確認できる。しかもアウトリガ装置を実際に張出さなくても障害物とアウトリガ装置の張出し位置との関係が確認できる。したがってアウトリガ装置の張出し位置に障害物が干渉すると判断されると、実際にアウトリガ装置を張出していないので作業機搭載車両の設置場所を即変更できる。   The periphery monitoring support device for a work machine-equipped vehicle according to claim 4 is applied to a work machine-equipped vehicle having an outrigger device as a movable part of the work machine, and the obstacle and the outrigger position information of the outrigger photographed by the monitoring camera Is displayed on the display device as a movable part state position information image, so that the relationship between the two can be confirmed, so when installing the work implement, without getting out of the driver's seat and checking the outrigger extension position vicinity, The surrounding area can be confirmed reliably from the driver's seat. Moreover, the relationship between the obstacle and the extended position of the outrigger device can be confirmed without actually extending the outrigger device. Therefore, if it is determined that an obstacle interferes with the overhang position of the outrigger device, the installation location of the work implement-equipped vehicle can be changed immediately because the outrigger device is not actually overhanging.

請求項5記載に係る作業機搭載車両の周辺監視支援装置は、作業機の可動部として作業機を旋回させる旋回装置を備えた作業機搭載車両に適用し、監視カメラで撮影された障害物と旋回位置情報を可動部状態位置情報画像として表示装置で表示し両者の関係を確認できるようにしたものであるから、作業機を設置させる場合に運転席から降りて作業機の旋回位置周辺を確認しなくても、運転席から周辺を確実に確認できる。しかも作業機を実際に旋回さなくても障害物と旋回装置の旋回位置との関係が確認できる。したがって旋回装置の旋回位置に障害物が干渉すると判断されると、実際に旋回装置を旋回していないので作業機搭載車両の設置場所を即変更できる。   The periphery monitoring support device for a work machine-equipped vehicle according to claim 5 is applied to a work machine-equipped vehicle having a turning device for turning the work machine as a movable part of the work machine, and an obstacle photographed by a surveillance camera Since the turning position information is displayed on the display device as a moving part state position information image so that the relationship between the two can be confirmed, when installing the work implement, get out of the driver's seat and check the periphery of the work implement turning position Even if you do not, you can be sure of the surroundings from the driver's seat. In addition, the relationship between the obstacle and the turning position of the turning device can be confirmed without actually turning the work implement. Therefore, if it is determined that an obstacle interferes with the turning position of the turning device, the installation location of the work implement-equipped vehicle can be changed immediately because the turning device is not actually turning.

以下本発明に係る作業機搭載車両の周辺監視支援装置の実施形態について、作業機搭載車両として図3に図示し説明した移動式クレーンに適用した場合の実施形態を以下に説明する。従って移動式クレーンを説明する際に上述で使用した符号1〜符号6および5aを以下の説明でも同じものとして使用しここでの説明を省略する。   In the following, an embodiment of the periphery monitoring support device for a work machine-equipped vehicle according to the present invention will be described as applied to the mobile crane shown and described in FIG. 3 as a work machine-equipped vehicle. Therefore, the reference numerals 1 to 6 and 5a used above when describing the mobile crane are used in the following description as the same thing, and the description thereof is omitted here.

本発明に係る作業機搭載車両の周辺監視支援装置は、作業機搭載車両の周辺を撮影する監視カメラ10,11と、運転席6に配置され該カメラ10,11で撮影した画像を表示する表示装置12とを備えている。監視カメラ10は、図4に示すように、移動式クレーンの伸縮ブーム3の先端部に、車両1の左側方周辺を撮影するように取付けており、同一画面に移動式クレーンの左側方周辺の他に、車両1の左側に配置した前記アウトリガ装置4の可動部状態も撮影する位置に取付けている。監視カメラ11は、旋回台2の左側上部に車両1の左側方周辺を撮影するように取付けている。   The periphery monitoring support device for a work implement-equipped vehicle according to the present invention includes monitoring cameras 10 and 11 that photograph the periphery of the work implement equipped vehicle, and a display that displays images taken by the cameras 10 and 11 that are arranged in the driver's seat 6. Device 12. As shown in FIG. 4, the surveillance camera 10 is attached to the distal end portion of the telescopic boom 3 of the mobile crane so as to photograph the vicinity of the left side of the vehicle 1. In addition, the movable part state of the outrigger device 4 disposed on the left side of the vehicle 1 is also attached to a position for photographing. The monitoring camera 11 is attached to the upper left part of the swivel base 2 so as to photograph the vicinity of the left side of the vehicle 1.

監視カメラ10,11からの撮影画像信号は、図1に図示するように表示装置12に画像処理装置13を介して送られるようにしている。画像処理装置13は、作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部14と監視カメラ10,11で撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部15とを備えている。   Captured image signals from the monitoring cameras 10 and 11 are sent to the display device 12 via the image processing device 13 as shown in FIG. The image processing device 13 stores the movable part state position information of the work machine and outputs the movable part state position information image signal, and the movable part state is added to the captured images taken by the monitoring cameras 10 and 11. And a composition processing unit 15 for superimposing the position information image.

可動部状態位置情報記憶部14は、アウトリガの張出位置情報記憶部14aと、旋回台の旋回位置情報記憶部14bとを備えている。アウトリガの張出位置情報記憶部14aは、各アウトリガ装置4の張出し状態位置情報を記憶するとともに、記憶した張出し状態位置情報を監視カメラ10で撮影した画像中にその張出し状態位置情報を重畳して表示できる画像信号を出力するようになっている。すなわち、図5および図6で図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーaとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。   The movable part state position information storage unit 14 includes an outrigger extension position information storage unit 14a and a turning position information storage unit 14b of the swivel base. The outrigger overhang position information storage unit 14 a stores the overhang state position information of each outrigger device 4, and superimposes the overhang state position information on the image captured by the monitoring camera 10. An image signal that can be displayed is output. That is, as shown in FIGS. 5 and 6, the monitoring camera 10 uses the marker a as the state position information with the outrigger device 4 extended to the maximum and the marker b as the state position information with the outrigger device 4 extended in the middle. An image signal that can be displayed in a superimposed manner in an image taken by the camera is output.

旋回台の旋回位置情報記憶部14bは、旋回装置5の旋回位置情報を記憶するもので、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡を記憶しているもので、記憶した旋回位置情報を監視カメラ11で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。すなわち、図7および図8で図示するように、旋回台2を旋回した際にカウンタウエイト5の角部が移動する移動軌跡を旋回台の旋回位置情報としてマーカーcを、監視カメラ11で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。   The turning position information storage unit 14b of the turntable stores turning position information of the turning device 5, and stores a movement trajectory in which the corner portion of the counterweight 5a of the turntable 2 moves with turning. The stored turning position information is output as an image signal that can be displayed superimposed on the image captured by the monitoring camera 11. That is, as shown in FIG. 7 and FIG. 8, the marker c was photographed by the monitoring camera 11 using the movement locus of the corner weight of the counterweight 5 when the swivel base 2 was swung as the swivel position information of the swivel base. An image signal that can be displayed superimposed on the image is output.

合成処理部15は、監視カメラ10で撮影した撮影画像に可動部状態位置情報記憶部14のアウトリガの張出位置情報記憶部14aからのマーカーaとマーカーbの画像信号を重畳して表示するよう合成処理し合成した画像信号を出力したり、監視カメラ11で撮影した撮影画像に可動部状態位置情報記憶部14の旋回台の旋回位置情報記憶部14bからのマーカーcの画像信号を重畳して表示するよう合成処理し合成した画像信号を出力する処理部である。   The composition processing unit 15 superimposes and displays the image signals of the markers a and b from the outrigger projection position information storage unit 14 a of the movable unit state position information storage unit 14 on the captured image captured by the monitoring camera 10. The combined image signal is output, or the image signal of the marker c from the swivel position information storage unit 14b of the swivel base of the movable unit state position information storage unit 14 is superimposed on the captured image captured by the monitoring camera 11. It is a processing unit that outputs a synthesized image signal by performing synthesis processing so as to be displayed.

画像処理装置13の入出力部には、それぞれ画像信号入力インターフェイス16と画像信号出力インターフェイス17を備えており、それぞれ接続される機器との入出力を適合させている。   The input / output unit of the image processing apparatus 13 includes an image signal input interface 16 and an image signal output interface 17, respectively, and is adapted for input / output with each connected device.

なお、表示装置12に、監視カメラ10により撮影された画像を表示させるか、監視カメラ11により撮影された画像を表示させるか、選択するスイッチで構成した選択手段18を備えている。この選択手段18からの選択信号を画像信号入力インターフェイス16に入力し、画像信号入力インターフェイス16では選択信号により監視カメラ10あるいは監視カメラ11からの画像信号を切換えて合成処理部15に出力するようになっている。   Note that the display device 12 includes a selection unit 18 configured by a switch for selecting whether to display an image captured by the monitoring camera 10 or to display an image captured by the monitoring camera 11. The selection signal from the selection means 18 is input to the image signal input interface 16, and the image signal input interface 16 switches the image signal from the monitoring camera 10 or the monitoring camera 11 according to the selection signal and outputs it to the synthesis processing unit 15. It has become.

また、可動部状態位置情報記憶部14では、選択手段18からの選択信号を受けて選択された側の合成用の画像信号(アウトリガの張出位置情報記憶部14aあるいは旋回台の旋回位置情報記憶部14bからのいずれかの画像信号)を合成処理部15に出力するようにしている。   Further, the movable part state position information storage unit 14 receives the selection signal from the selection means 18 and selects the combined image signal (outrigger extension position information storage unit 14a or swivel position information storage unit). Any image signal from the unit 14b) is output to the synthesis processing unit 15.

このように構成した本発明に係る作業機搭載車両の周辺監視支援装置は、次のように作用する。オペレータは移動式クレーンを設置して作業する場所に移動させる。そして監視カメラ10による撮影画像を表示装置12で表示するよう選択手段18により選択する。すると表示装置12は、図5に図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーaと、アウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した車両1の左側方周辺の画像中に重畳して表示する。   The periphery monitoring support device for a work implement-equipped vehicle according to the present invention configured as described above operates as follows. The operator installs the mobile crane and moves it to the place where it works. Then, the selection unit 18 selects the image captured by the monitoring camera 10 to be displayed on the display device 12. Then, as shown in FIG. 5, the display device 12 monitors the marker a as the state position information with the outrigger device 4 extended to the maximum and the marker b as the state position information with the outrigger device 4 extended in the middle. The image is superimposed and displayed in an image around the left side of the vehicle 1 taken by the camera 10.

オペレータは、表示装置12に表示された画像中に障害物があるか否かを確認し、障害物が確認されたときに、アウトリガ装置4を最大張出し状態で作業しょうとしている場合には車両1からマーカーa間に障害物が位置していないか確認する。また、アウトリガ装置4を中間張出し状態で作業しょうとしている場合には車両1からマーカーb間に障害物が位置していないか確認する。そして障害物が位置していない場合には、選択手段18を監視カメラ11による撮影画像を表示装置12で表示するよう選択する。   The operator confirms whether or not there is an obstacle in the image displayed on the display device 12, and when the obstacle is confirmed, when the operator wants to work with the outrigger device 4 in the fully extended state, the vehicle 1 Check that there is no obstacle between the marker a and the marker a. Further, when the outrigger device 4 is to be operated in an intermediately extended state, it is confirmed whether an obstacle is positioned between the vehicle 1 and the marker b. When the obstacle is not located, the selection unit 18 is selected to display an image captured by the monitoring camera 11 on the display device 12.

すると表示装置12は、図7に図示するように、旋回台2を旋回させたときにカウンタウエイト5の角部が移動して描く移動奇跡であるマーカーcを、監視カメラ11で撮影した車両1の左側方周辺の画像中に重畳して表示する。そしてマーカーc内に障害物が位置していない場合は、アウトリガ装置4を伸長させる。すると表示画面12には、図8に図示するようなアウトリガ装置4を伸長させた画像が表示される。また、選択手段18を監視カメラ10による撮影画像を表示装置12で表示するよう選択すると、図6に図示するようなアウトリガ装置4を伸長させた画像が表示される。   Then, as illustrated in FIG. 7, the display device 12 is a vehicle 1 in which the surveillance camera 11 captures a marker c that is a moving miracle drawn by moving the corner of the counterweight 5 when the swivel base 2 is turned. Is superimposed on the image around the left side of the image. If no obstacle is located in the marker c, the outrigger device 4 is extended. Then, an image obtained by extending the outrigger device 4 as shown in FIG. 8 is displayed on the display screen 12. When the selection means 18 is selected to display an image captured by the monitoring camera 10 on the display device 12, an image obtained by expanding the outrigger device 4 as shown in FIG. 6 is displayed.

なお、車両1からマーカー間に障害物が存在している場合には、移動式クレーンを別設置場所に移動させて再度同じことをして確認し、安全が確認されればその場所で移動式クレーンを設置して作業を開始するものである。   If there is an obstacle between the vehicle 1 and the marker, move the mobile crane to another installation location, check the same thing again, and if safety is confirmed, move the mobile crane at that location. A crane is installed to start work.

以上のように本発明に係る作業機搭載車両の周辺監視支援装置は、作用するものであるから、監視カメラ10で撮影された障害物とアウトリガ装置4の張出し位置情報画像との関係や、監視カメラ11で撮影された障害物と旋回台2の旋回位置情報画像との関係を表示装置12で確認でき、移動式クレーンを設置させる場合に運転席6から降りて周辺を確認しなくても、運転席6から周辺を確実に確認できる。しかもアウトリガ装置4や旋回台2を実際に可動しなくても障害物とアウトリガ装置4の張出し位置および旋回台の旋回位置との関係が確認できるので、障害物にそれぞれの可動部が干渉すると判断されると、移動式クレーンの設置場所を即変更できるのである。   As described above, since the periphery monitoring support device for a work machine-equipped vehicle according to the present invention operates, the relationship between the obstacle photographed by the monitoring camera 10 and the overhang position information image of the outrigger device 4 and the monitoring The relationship between the obstacle imaged by the camera 11 and the turning position information image of the swivel base 2 can be confirmed on the display device 12, and when installing a mobile crane, without getting off the driver's seat 6 and checking the surroundings, The driver's seat 6 can confirm the surroundings reliably. In addition, since the relationship between the obstacle and the overhang position of the outrigger device 4 and the swivel position of the swivel base can be confirmed without actually moving the outrigger device 4 and the swivel base 2, it is determined that each movable part interferes with the obstacle. Then, the location of the mobile crane can be changed immediately.

また、上記実施形態では、図5および図6で図示するように、監視カメラ10で撮影した画像中にアウトリガ装置4を最大に張出した状態位置情報としてのマーカーaとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようにしたが、図9に図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーdとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーeとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようにしてもよい。すなわち、アウトリガ装置4の張出し移動軌跡を表示させるものである。このように表示することで、前アウトリガ装置4と後アウトリガ装置4間に障害物が確認されたときに、図8による画面でマーカーcから外れていれば、障害物が障害とならないことが確認でき、より効果的に確認判断ができるようになる。   Moreover, in the said embodiment, as shown in FIG. 5 and FIG. 6, the marker a and the outrigger device 4 as the state position information which extended the outrigger device 4 to the maximum in the image image | photographed with the surveillance camera 10 are extended in the middle. The marker b as the state position information is output as an image signal that can be displayed superimposed on the image captured by the monitoring camera 10, but as shown in FIG. 9, the outrigger device 4 is extended to the maximum. The marker d as the state position information and the marker e as the state position information with the outrigger device 4 extended in the middle may be output as an image signal that can be displayed superimposed on the image captured by the monitoring camera 10. Good. That is, the overhanging movement trajectory of the outrigger device 4 is displayed. By displaying in this way, when an obstacle is confirmed between the front outrigger device 4 and the rear outrigger device 4, it is confirmed that the obstacle does not become an obstacle if it is off the marker c on the screen according to FIG. Can be confirmed and judged more effectively.

更に、上記実施形態では、車両1の左側方を監視する監視カメラとして10、11を配置したが、車両1の後方を監視する監視カメラを配置し、同様に旋回台2の後方側での旋回位置情報を表示させるようにしてもよい。   Furthermore, in the above embodiment, 10 and 11 are arranged as monitoring cameras for monitoring the left side of the vehicle 1, but a monitoring camera for monitoring the rear of the vehicle 1 is arranged, and similarly turning on the rear side of the turntable 2. The position information may be displayed.

次に、上記実施形態では、監視カメラ10,11で撮影した画像に可動部状態位置情報を重畳させるようにしたものであるが、直接監視カメラで撮影した画像を表示せずに監視カメラで撮影した画像を鳥瞰画像に変換し、変換した画像に同じく鳥瞰画像に変換した可動部状態位置情報を重畳させるようにしてもよい。以下この場合の実施形態を第2実施形態として図2に図示し以下に説明する。   Next, in the above embodiment, the movable part state position information is superimposed on the images taken by the monitoring cameras 10 and 11, but the images taken directly by the monitoring cameras are taken without being displayed. The converted image may be converted into a bird's-eye view image, and the movable part state position information converted into the bird's-eye view image may be superimposed on the converted image. The embodiment in this case is shown in FIG. 2 as a second embodiment and will be described below.

図2に図示する本発明に係る作業機搭載車両の周辺監視装置は、図1に図示し説明したものと画像処理装置23が異なっているが、監視カメラ10,11および表示装置12については同じものであるのでこれらについての説明は省略する。画像処理装置23は、鳥瞰画像変換部29と、可動部状態位置情報記憶部24と、合成処理部25とを備えている。鳥瞰画像変換部29は、監視カメラ10,11からの撮影画像は予め決めた固定角度範囲で撮影するようにしていることから、撮影された各画像信号を座標変換し合成した一つの鳥瞰画像に変換する変換部である。可動部状態位置情報記憶部24は、アウトリガの張出位置情報記憶部24aと、旋回台の旋回位置情報記憶部24bと、鳥瞰画像変換部24cとを備えている。   2 is different from that illustrated and described in FIG. 1 in the periphery monitoring device for a work machine-equipped vehicle according to the present invention, but the monitoring cameras 10 and 11 and the display device 12 are the same. Therefore, the description thereof is omitted. The image processing device 23 includes a bird's-eye image conversion unit 29, a movable unit state position information storage unit 24, and a synthesis processing unit 25. The bird's-eye image conversion unit 29 captures the captured images from the monitoring cameras 10 and 11 within a predetermined fixed angle range. Therefore, the bird's-eye image conversion unit 29 converts the captured image signals into a single bird's-eye image obtained by coordinate conversion. It is the conversion part to convert. The movable part state position information storage unit 24 includes an outrigger overhang position information storage unit 24a, a swivel turn position information storage unit 24b, and a bird's-eye image conversion unit 24c.

アウトリガの張出位置情報記憶部24aは、各アウトリガ装置4の張出し状態位置情報を記憶している。旋回台の旋回位置情報記憶部24bは、旋回装置5の旋回位置情報を記憶するもので、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡を旋回位置情報として記憶している。鳥瞰画像変換部24cは、アウトリガの張出位置情報記憶部24aで記憶した各アウトリガ装置4の張出し状態位置情報と旋回台の旋回位置情報記憶部24bで記憶した旋回装置5の旋回位置情報を、前記合成した一つの鳥瞰画像に重畳して表示できる画像信号を出力するようになっている。   The outrigger overhang position information storage unit 24 a stores the overhang state position information of each outrigger device 4. The turning position information storage unit 24b of the turning table stores turning position information of the turning device 5, and stores a movement trajectory in which the corner portion of the counterweight 5a of the turning table 2 moves as turning, as turning position information. ing. The bird's-eye image conversion unit 24c includes the extended state position information of each outrigger device 4 stored in the outrigger extended position information storage unit 24a and the turning position information of the turning device 5 stored in the turning position information storage unit 24b of the turntable. An image signal that can be displayed superimposed on the synthesized one bird's-eye image is output.

すなわち、鳥瞰画像変換部29は、図10に実線で図示するように移動式クレーンの鳥瞰図と移動式クレーンの左側方の周辺を鳥瞰図で表示するもので、図10には図示していないが移動式クレーンの左側方の周辺に障害物が存在していればその障害物も鳥瞰図に現れる。また、鳥瞰画像変換部24cは、図10に図示するように、アウトリガの張出位置情報記憶部24aで記憶した各アウトリガ装置4の張出し状態位置情報として、アウトリガ装置4を最大に張出した状態位置のマーカーfとアウトリガ装置4を中間に張出した状態位置のマーカーgとを鳥瞰画像変換部29で変換した鳥瞰図に重畳して表示できる画像信号を出力する。更に、鳥瞰画像変換部24cは、図10に図示するように、旋回台の旋回位置情報記憶部24bで記憶した旋回装置5の旋回位置情報として、旋回台2を旋回した際にカウンタウエイト5aの角部が移動する移動軌跡のマーカーhを鳥瞰画像変換部29で変換した鳥瞰図に重畳して表示できる画像信号を出力する。   That is, the bird's-eye image conversion unit 29 displays the bird's-eye view of the mobile crane and the left side of the mobile crane in a bird's-eye view as shown by the solid line in FIG. If there is an obstacle around the left side of the crane, the obstacle will also appear in the bird's eye view. Further, as shown in FIG. 10, the bird's-eye image conversion unit 24 c is the state position where the outrigger device 4 is extended to the maximum as the extended state information of each outrigger device 4 stored in the outrigger extension position information storage unit 24 a. The image signal that can be displayed superimposed on the bird's-eye view converted by the bird's-eye image conversion unit 29 is output. Further, as shown in FIG. 10, the bird's-eye image conversion unit 24c uses the counterweight 5a of the counterweight 5a when the swivel 2 is swung as swivel position information of the swivel device 5 stored in the swivel swivel position information storage unit 24b. An image signal that can be displayed superimposed on the bird's-eye view converted by the bird's-eye image conversion unit 29 is output.

合成処理部25は、鳥瞰画像変換部29で変換した画像と可動部状態位置情報記憶部24の鳥瞰画像変換部24cで変換した画像とを重畳して図10に図示する画像信号を出力する。画像処理装置23の入出力部には、それぞれ画像信号入力インターフェイス26と画像信号出力インターフェイス27を備えており、それぞれ接続される機器との入出力を適合させている。   The composition processing unit 25 superimposes the image converted by the bird's-eye image conversion unit 29 and the image converted by the bird's-eye image conversion unit 24c of the movable unit state position information storage unit 24, and outputs an image signal illustrated in FIG. The input / output unit of the image processing device 23 is provided with an image signal input interface 26 and an image signal output interface 27, respectively, and is adapted to input / output with each connected device.

このように構成した本発明に係る作業機搭載車両の周辺監視支援装置の第2実施形態では、次のように作用する。オペレータは移動式クレーンを設置して作業する場所に移動させる。そして監視カメラ10、11による撮影画像を表示装置12で表示させる。この場合、表示装置12には、図10に図示するように、移動式クレーンの左側方の鳥瞰図とアウトリガ装置4を最大に張出した状態位置情報としてのマーカーfとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーgと、旋回台2を旋回させたときにカウンタウエイト5aの角部が移動して描く移動奇跡であるマーカーhとが表示される。   The second embodiment of the periphery monitoring support device for a work machine-equipped vehicle according to the present invention configured as described above operates as follows. The operator installs the mobile crane and moves it to the place where it works. Then, the images taken by the monitoring cameras 10 and 11 are displayed on the display device 12. In this case, as shown in FIG. 10, on the display device 12, the bird's eye view on the left side of the mobile crane and the marker f as the state position information in which the outrigger device 4 is extended to the maximum and the outrigger device 4 are extended in the middle. A marker g as state position information and a marker h which is a moving miracle drawn by moving the corner of the counterweight 5a when the swivel base 2 is swung are displayed.

オペレータは、表示装置12に表示された画像中に障害物が存在するか否かを確認し、障害物が確認されたときに、アウトリガ装置4を最大張出し状態で作業しょうとしている場合には車両1からマーカーf間に障害物が存在していないか確認する。アウトリガ装置4を中間張出し状態で作業しょうとしている場合には車両1からマーカーg間に障害物が存在していないか確認する。またマーカーh内に障害物が存在するか否かも確認する。いずれにも障害物が存在していない場合は、アウトリガ装置4を伸長させる。すると表示画面12には、図11に図示するようなアウトリガ装置4を伸長させた画像が表示される。なお、車両1からマーカー間に障害物障害物が存在している場合には、移動式クレーンを別設置場所に移動させて再度同じことをして確認し、安全が確認されればその場所で移動式クレーンを設置して作業を開始するものである。   The operator checks whether or not there is an obstacle in the image displayed on the display device 12, and when the obstacle is confirmed, when the operator wants to work with the outrigger device 4 in the fully extended state, the vehicle Check if there is an obstacle between 1 and marker f. When the outrigger device 4 is to be operated in an intermediately extended state, it is confirmed whether there is an obstacle between the vehicle 1 and the marker g. It is also checked whether there is an obstacle in the marker h. When there is no obstacle in either, the outrigger device 4 is extended. Then, an image obtained by extending the outrigger device 4 as shown in FIG. 11 is displayed on the display screen 12. If there is an obstacle between the vehicle 1 and the marker, move the mobile crane to a different installation location and check the same thing again. A mobile crane is installed to start work.

以上のように本発明に係る作業機搭載車両の周辺監視支援装置は、作用するものであるから、監視カメラ10、11で撮影された障害物とアウトリガ装置4の張出し位置情報画像との関係や、監視カメラ10、11で撮影された障害物と旋回装置5の旋回位置情報画像との関係を表示装置12で確認でき、移動式クレーンを設置させる場合に運転席6から降りて周辺を確認しなくても、運転席6から周辺を確実に確認できる。しかもアウトリガ装置4や旋回装置5を実際に可動しなくても障害物とアウトリガ装置4の張出し位置および旋回装置5の旋回位置との関係が確認できるので、障害物にそれぞれの可動部が干渉すると判断されると、移動式クレーンの設置場所を即変更できるのである。   As described above, since the periphery monitoring support device for a work machine-equipped vehicle according to the present invention operates, the relationship between the obstacle photographed by the monitoring cameras 10 and 11 and the overhang position information image of the outrigger device 4 The relationship between the obstacles photographed by the monitoring cameras 10 and 11 and the turning position information image of the turning device 5 can be confirmed on the display device 12, and when the mobile crane is installed, the driver's seat 6 is lowered and the surroundings are confirmed. Even without it, the surroundings can be reliably confirmed from the driver's seat 6. Moreover, since the relationship between the obstacle and the overhang position of the outrigger device 4 and the turning position of the turning device 5 can be confirmed without actually moving the outrigger device 4 and the turning device 5, if each movable part interferes with the obstacle, Once determined, the location of the mobile crane can be changed immediately.

特に第2実施形態の場合は、監視カメラ10,11で撮影した画像と可動部状態位置情報画像とを鳥瞰画像に変換して表示装置12に表示させるようにしたものであるから、監視カメラ10,11で撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認でき、確認判断を容易にすることができる。   In particular, in the case of the second embodiment, the image captured by the monitoring cameras 10 and 11 and the movable part state position information image are converted into a bird's-eye view image and displayed on the display device 12. , 11, the relationship between the obstacle imaged in the movable portion state position information image can be confirmed with a bird's-eye view image, and the confirmation determination can be facilitated.

なお、上記第2実施形態の可動部状態位置情報記憶部24では、各アウトリガ装置4の張出し状態位置情報をアウトリガの張出位置情報記憶部24aで記憶させ、鳥瞰画像変換部24cで各アウトリガ装置4の張出し状態位置情報を鳥瞰画像に変換するようにしているが、アウトリガの張出位置情報記憶部24aで各アウトリガ装置4の張出し状態位置情報を鳥瞰画像に変換して記憶するようにしてもよい。同様に、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡である旋回装置5の旋回位置情報を旋回台の旋回位置情報記憶部24bで記憶させ、鳥瞰画像変換部24cで旋回装置5の旋回位置情報を鳥瞰画像に変換するようにしているが、旋回台の旋回位置情報記憶部24bで旋回装置5の旋回位置情報を鳥瞰画像に変換して記憶するようにしてもよい。   In the movable part state position information storage unit 24 of the second embodiment, the outrigger state information of each outrigger device 4 is stored in the outrigger overhang position information storage unit 24a, and each outrigger device is stored in the bird's-eye view image conversion unit 24c. 4 is converted to a bird's-eye view image, but the outrigger extension position information storage unit 24a converts the extension state position information of each outrigger device 4 into a bird's-eye image and stores it. Good. Similarly, the turning position information of the turning device 5, which is the movement trajectory along which the corner portion of the counterweight 5a of the turning table 2 moves with turning, is stored in the turning position information storage unit 24b of the turning table, and the bird's-eye image conversion unit 24c is stored. The turning position information of the turning device 5 is converted into a bird's-eye image. However, the turning position information storage unit 24b of the turning table may convert the turning position information of the turning device 5 into a bird's-eye image and store it. Good.

また、上記第2実施形態では、監視カメラ10,11を配置して鳥瞰画像に変換させるようにしたが、更に移動式クレーンの周囲に適宜監視カメラを増設して、図12に図示するように移動式クレーン全体の鳥瞰画像ならびに移動式クレーンの全周辺の状況を鳥瞰画像で表示させるようにしてもよい。   In the second embodiment, the monitoring cameras 10 and 11 are arranged and converted to bird's-eye images. However, as shown in FIG. 12, a monitoring camera is additionally provided around the mobile crane. You may make it display the bird's-eye view image of the whole mobile crane, and the condition of the whole periphery of a mobile crane by a bird's-eye view image.

更に、上記実施形態では作業機搭載車両として移動式クレーンに適用した場合について説明したが、作業機を可動させると車両から突出して車両周辺の障害物と干渉するようになる作業機搭載車両に適用されること勿論であり、高所作業車、穴掘建柱車、等の作業機に適用される。   Furthermore, in the above embodiment, the case where the working machine is applied to a mobile crane has been described. However, when the working machine is moved, the working machine is applied to a working machine-equipped vehicle that protrudes from the vehicle and interferes with obstacles around the vehicle. Of course, the present invention is applied to working machines such as an aerial work vehicle and an excavated pillar car.

次に、上記実施形態では、表示装置12には作業機の周辺を撮影した画像にマーカーを重畳表示させるようにしたが、表示装置12に表示される周囲の画像は、走行時に車両1の周辺を確認するためにも使用することができる。この時にマーカーを重畳表示させるとかえってマーカーが邪魔になることから、重畳表示しないようにするとよい。すなわち、オペレータによって手動操作できるスイッチを設け、このスイッチによりマーカーを重畳表示させるか否かを選択できるようにしておけば、走行中に表示装置12にマーカーを重畳表示させないようにすることができ、表示装置12により走行中の障害物の確認をするときに、マーカーが邪魔になるのを防止でき、設置場所を決定する時に重畳表示するように選択するようにすればよい。   Next, in the above embodiment, the marker is superimposed on the image obtained by photographing the periphery of the work machine on the display device 12, but the surrounding image displayed on the display device 12 is the periphery of the vehicle 1 during traveling. Can also be used to confirm. At this time, if the marker is displayed in a superimposed manner, the marker is disturbed. That is, if a switch that can be manually operated by an operator is provided, and if it is possible to select whether or not the marker is superimposed and displayed by this switch, the marker can be prevented from being superimposed and displayed on the display device 12 during traveling. When confirming obstacles while traveling with the display device 12, it is possible to prevent the marker from interfering, and it may be selected so as to be superimposed when determining the installation location.

本発明に係る作業機搭載車両の周辺監視装置を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention. 本発明に係る作業機搭載車両の周辺監視装置の第2実施形態を説明する説明図である。It is explanatory drawing explaining 2nd Embodiment of the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention. 作業機搭載車両として移動式クレーンを説明する説明図である。It is explanatory drawing explaining a mobile crane as a working machine mounting vehicle. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラの配置を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, and is explanatory drawing explaining arrangement | positioning of a surveillance camera. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラによる車両の左側方画像とアウトリガ装置による可動部状態位置情報画像を重畳表示した画像を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, and is explanatory drawing explaining the image which superimposed and displayed the left side image of the vehicle by a monitoring camera, and the movable part state position information image by an outrigger apparatus. 図5の画像にアウトリガ装置を張出したときの状態を説明する説明図である。It is explanatory drawing explaining a state when an outrigger device is projected over the image of FIG. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラによる車両の左側方画像と旋回台の旋回による可動部状態位置情報画像を重畳表示した画像を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, and is explanatory drawing explaining the image which superimposed and displayed the movable part state position information image by the left side image of the vehicle by a surveillance camera, and turning of a turntable. is there. 図7の画像にアウトリガ装置を張出したときの状態を説明する説明図である。It is explanatory drawing explaining a state when an outrigger apparatus is projected over the image of FIG. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラによる車両の左側方画像とアウトリガ装置による可動部状態位置情報画像を重畳表示した画像を説明する説明図で、マーカーを変更した場合を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, is explanatory drawing explaining the image which superimposed and displayed the left side image of the vehicle by a monitoring camera, and the movable part state position information image by an outrigger apparatus, It is explanatory drawing explaining the case where is changed. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラによる車両の左側方画像とアウトリガ装置および旋回装置による可動部状態位置情報画像を鳥瞰画像に変換して重畳表示した画像を説明する説明図である。It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, The left side image of the vehicle by a monitoring camera, and the movable part state position information image by an outrigger device and a turning device were converted into a bird's-eye view image, and were superimposed and displayed. It is explanatory drawing explaining an image. 図10の画像にアウトリガ装置を張出したときの状態を説明する説明図である。It is explanatory drawing explaining a state when an outrigger apparatus is projected over the image of FIG. 本発明に係る作業機搭載車両の周辺監視装置を説明する説明図で、監視カメラを増設して車両の全周囲と可動部状態位置情報画像を鳥瞰画像に変換して重畳表示した画像を説明する説明図である。BRIEF DESCRIPTION OF THE DRAWINGS It is explanatory drawing explaining the periphery monitoring apparatus of the working machine mounting vehicle which concerns on this invention, and the image which added the surveillance camera, converted the whole circumference of a vehicle and a movable part state position information image into a bird's-eye view image, and demonstrated the superimposed display is demonstrated. It is explanatory drawing.

符号の説明Explanation of symbols

1 車両
4 アウトリガ装置
5 旋回装置
10 監視カメラ
11 監視カメラ
12 表示装置
13 画像処理装置
15 合成処理部
14 可動部状態位置情報記憶部
23 画像処理装置
24 可動部状態位置情報記憶部
25 合成処理部
29 鳥瞰画像変換部
DESCRIPTION OF SYMBOLS 1 Vehicle 4 Outrigger apparatus 5 Turning apparatus 10 Monitoring camera 11 Monitoring camera 12 Display apparatus 13 Image processing apparatus 15 Compositing process part 14 Movable part state position information storage part 23 Image processing apparatus 24 Movable part state position information storage part 25 Compositing process part 29 Bird's-eye image converter

Claims (5)

車両上に搭載した作業機で作業を行う作業機搭載車両に、作業機搭載車両の周辺を撮影する監視カメラと、運転席に配置され該カメラで撮影した画像を表示する表示装置とを備えた作業機搭載車両の周辺監視支援装置において、
前記監視カメラは同一画面に作業機搭載車両の周辺の他に作業機の可動部状態も撮影する位置に取付けられ、監視カメラからの撮影画像信号は表示装置に画像処理装置を介して送られるようにし、画像処理装置に作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部と監視カメラで撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部とを備え、
作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とする作業機搭載車両の周辺監視支援装置。
A work machine-equipped vehicle that performs work using a work machine mounted on the vehicle includes a monitoring camera that captures the periphery of the work machine-equipped vehicle, and a display device that is disposed in a driver's seat and displays an image captured by the camera. In the periphery monitoring support device for a work machine-equipped vehicle,
The monitoring camera is mounted on the same screen at a position for shooting the state of the movable part of the work machine in addition to the periphery of the work machine-equipped vehicle, and the captured image signal from the monitoring camera is sent to the display device via the image processing device. In the image processing apparatus, the movable unit state position information is stored in the movable unit state position information storage unit that outputs the movable unit state position information image signal and outputs the movable unit state position information image signal. A superimposing processing unit,
The movable unit state position information image of the work implement is superimposed on the image obtained by photographing the periphery of the vehicle equipped with the work implement with the monitoring camera while the movable portion of the work implement is not moved, and is displayed on the display device. A peripheral monitoring support device for a work machine-equipped vehicle, characterized by
請求項1において、前記画像処理装置に、監視カメラからの撮影画像信号を鳥瞰画像に変換する鳥瞰画像変換部を備え、前記画像処理装置の可動部状態位置情報記憶部は作業機の可動部状態位置情報を記憶し鳥瞰画像に変換して可動部状態位置情報画像信号として出力あるいは作業機の可動部状態位置情報を鳥瞰画像に変換して記憶し可動部状態位置情報画像信号として出力するようにし、前記画像処理装置の合成処理部は鳥瞰画像変換部で変換した画像と可動部状態位置情報画像を重畳させるようにし、
作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した鳥瞰画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とする作業機搭載車両の周辺監視支援装置。
2. The image processing apparatus according to claim 1, further comprising a bird's-eye image conversion unit that converts a captured image signal from a monitoring camera into a bird's-eye image, wherein the movable unit state position information storage unit of the image processing device is a movable unit state of a work machine. The position information is stored and converted into a bird's-eye image and output as a movable part state position information image signal, or the movable part state position information of the work implement is converted and stored as a bird's-eye image and output as a movable part state position information image signal. The composition processing unit of the image processing device superimposes the image converted by the bird's eye image conversion unit and the movable unit state position information image,
The movable unit state position information image of the work implement is superimposed on the bird's-eye view image obtained by photographing the periphery of the vehicle equipped with the work implement with the monitoring camera in a state where the movable portion of the work implement is not moved, and is displayed on the display device. A peripheral monitoring support device for a vehicle equipped with a work machine.
請求項2において、前記監視カメラを複数配置し、前記鳥瞰画像変換部は複数の監視カメラからの撮影画像信号を合成して鳥瞰画像に変換するよう構成したことを特徴とする作業機搭載車両の周辺監視支援装置。 The work machine-equipped vehicle according to claim 2, wherein a plurality of the monitoring cameras are arranged, and the bird's-eye view image conversion unit is configured to synthesize captured image signals from the plurality of monitoring cameras and convert them into a bird's-eye view image. Perimeter monitoring support device. 請求項1乃至請求項3において、前記作業機の可動部は、作業機搭載車両の前後左右に配置されたアウトリガ装置の張出格納可動部であることを特徴とする作業機搭載車両の周辺監視支援装置。 4. The periphery monitoring of a work implement-equipped vehicle according to claim 1, wherein the movable portion of the work implement is a projecting and retracting movable portion of an outrigger device disposed on the front, rear, left and right of the work implement equipped vehicle. Support device. 請求項1乃至請求項3において、前記作業機の可動部は、車両上に作業機を旋回可能に配置した旋回装置の旋回可動部であることを特徴とする作業機搭載車両の周辺監視支援装置。 4. The periphery monitoring support device for a vehicle equipped with a work implement according to claim 1, wherein the movable portion of the work implement is a turning movable portion of a turning device in which the work implement is disposed on the vehicle so as to be capable of turning. .
JP2006258618A 2006-09-25 2006-09-25 Peripheral monitoring support device for work equipment-equipped vehicles Active JP5091447B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006258618A JP5091447B2 (en) 2006-09-25 2006-09-25 Peripheral monitoring support device for work equipment-equipped vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006258618A JP5091447B2 (en) 2006-09-25 2006-09-25 Peripheral monitoring support device for work equipment-equipped vehicles

Publications (2)

Publication Number Publication Date
JP2008074594A true JP2008074594A (en) 2008-04-03
JP5091447B2 JP5091447B2 (en) 2012-12-05

Family

ID=39347049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006258618A Active JP5091447B2 (en) 2006-09-25 2006-09-25 Peripheral monitoring support device for work equipment-equipped vehicles

Country Status (1)

Country Link
JP (1) JP5091447B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2722302A1 (en) * 2012-10-17 2014-04-23 Iveco Magirus Ag Utility vehicle with monitoring system for monitoring the position of the outriggers
KR101402881B1 (en) 2012-09-27 2014-06-27 구우식 A locating machine of outrigger for industrial construction vehicle
EP2801393A1 (en) * 2013-05-07 2014-11-12 Iveco Magirus Ag Utility vehicle with assistance system for positioning lateral ground supports
EP2952467A1 (en) * 2014-06-03 2015-12-09 Palfinger Platforms GmbH Method for visualising the support position and/or the range of at least one support of a vehicle, as well as vehicle with at least one support
JP2016013890A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
JP2016013887A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
EP3037135A1 (en) * 2014-12-23 2016-06-29 Iveco Magirus Ag Utility vehicle with visual assistance system for positioning the vehicle, and method for positioning an utility vehicle
EP3202701A1 (en) * 2016-01-29 2017-08-09 Manitowoc Crane Companies, LLC Visual outrigger monitoring system
WO2017164781A1 (en) * 2016-03-23 2017-09-28 Cargotec Patenter Ab Load handling assembly
JP2018039477A (en) * 2016-09-09 2018-03-15 株式会社タダノ Image display system
EP3333113A1 (en) 2016-12-07 2018-06-13 Cargotec Patenter AB A vehicle, and a method for a vehicle, including target marker on an overview image
EP3333114A1 (en) 2016-12-07 2018-06-13 Cargotec Patenter AB A vehicle and a method for a vehicle, with presentation of maximal load range limitation
JP2019172409A (en) * 2018-03-27 2019-10-10 株式会社タダノ Work vehicle
JP2020093877A (en) * 2018-12-11 2020-06-18 株式会社アイチコーポレーション Safety apparatus for work vehicle
US10717631B2 (en) 2016-11-22 2020-07-21 Manitowoc Crane Companies, Llc Optical detection and analysis of crane hoist and rope
JP2021080040A (en) * 2019-11-15 2021-05-27 株式会社アイチコーポレーション Working vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103281B (en) * 2009-12-16 2014-11-26 剑扬股份有限公司 Liquid crystal panel device with embedded element and design method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5271049A (en) * 1975-12-08 1977-06-14 Shin Meiwa Ind Co Ltd Device for indicating turning orbit of swivel slide of crane car
JPS54115855A (en) * 1978-03-01 1979-09-08 Hitachi Ltd Position controller for loader
JP2001315601A (en) * 2000-05-09 2001-11-13 Nec Corp Vehicle side monitoring device
JP2002020074A (en) * 2000-07-04 2002-01-23 Tadano Ltd Forward viewing device for crane truck
JP2003063340A (en) * 2001-08-28 2003-03-05 Aisin Seiki Co Ltd Drive auxiliary device
JP2005204143A (en) * 2004-01-16 2005-07-28 Denso Corp On-vehicle device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5271049A (en) * 1975-12-08 1977-06-14 Shin Meiwa Ind Co Ltd Device for indicating turning orbit of swivel slide of crane car
JPS54115855A (en) * 1978-03-01 1979-09-08 Hitachi Ltd Position controller for loader
JP2001315601A (en) * 2000-05-09 2001-11-13 Nec Corp Vehicle side monitoring device
JP2002020074A (en) * 2000-07-04 2002-01-23 Tadano Ltd Forward viewing device for crane truck
JP2003063340A (en) * 2001-08-28 2003-03-05 Aisin Seiki Co Ltd Drive auxiliary device
JP2005204143A (en) * 2004-01-16 2005-07-28 Denso Corp On-vehicle device

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402881B1 (en) 2012-09-27 2014-06-27 구우식 A locating machine of outrigger for industrial construction vehicle
US9580961B2 (en) 2012-10-17 2017-02-28 Iveco Magirus Ag Utility vehicle with monitoring system for monitoring the position of the vehicle
EP2722302A1 (en) * 2012-10-17 2014-04-23 Iveco Magirus Ag Utility vehicle with monitoring system for monitoring the position of the outriggers
CN104812694A (en) * 2012-10-17 2015-07-29 依维柯马基路斯公司 Utility vehicle with monitoring system for monitoring the position of the vehicle
WO2014060476A1 (en) * 2012-10-17 2014-04-24 Iveco Magirus Ag Utility vehicle with monitoring system for monitoring the position of the vehicle
JP2016500602A (en) * 2012-10-17 2016-01-14 イヴェコ・マギルス・アー・ゲーIveco Magirus Ag Work vehicle equipped with a monitoring system for monitoring the position of the vehicle
RU2638659C2 (en) * 2012-10-17 2017-12-15 Ивеко Магирус Аг Technological vehicle with monitoring system for observing vehicle position
EP2801393A1 (en) * 2013-05-07 2014-11-12 Iveco Magirus Ag Utility vehicle with assistance system for positioning lateral ground supports
CN104139766A (en) * 2013-05-07 2014-11-12 依维柯马基路斯公司 Utility vehicle with assistance system for positioning lateral ground supports
JP2014237430A (en) * 2013-05-07 2014-12-18 イフェコ マギルス アーゲー Utility vehicle with assistance system for positioning lateral ground supports
CN104139766B (en) * 2013-05-07 2018-10-26 依维柯马基路斯公司 With the public traffic tool for the oriented side earthward auxiliary system of support element
RU2651371C2 (en) * 2013-05-07 2018-04-19 Ивеко Магирус Аг Utility vehicle with assistance system for positioning lateral ground supports
EP2952467A1 (en) * 2014-06-03 2015-12-09 Palfinger Platforms GmbH Method for visualising the support position and/or the range of at least one support of a vehicle, as well as vehicle with at least one support
JP2016013890A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
JP2016013887A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
EP3037135A1 (en) * 2014-12-23 2016-06-29 Iveco Magirus Ag Utility vehicle with visual assistance system for positioning the vehicle, and method for positioning an utility vehicle
US10544012B2 (en) 2016-01-29 2020-01-28 Manitowoc Crane Companies, Llc Visual outrigger monitoring system
EP3202701A1 (en) * 2016-01-29 2017-08-09 Manitowoc Crane Companies, LLC Visual outrigger monitoring system
WO2017164781A1 (en) * 2016-03-23 2017-09-28 Cargotec Patenter Ab Load handling assembly
JP2018039477A (en) * 2016-09-09 2018-03-15 株式会社タダノ Image display system
US11130658B2 (en) 2016-11-22 2021-09-28 Manitowoc Crane Companies, Llc Optical detection and analysis of a counterweight assembly on a crane
US11124392B2 (en) 2016-11-22 2021-09-21 Manitowoc Crane Companies, Llc Optical detection and analysis for boom angles on a crane
US10829347B2 (en) 2016-11-22 2020-11-10 Manitowoc Crane Companies, Llc Optical detection system for lift crane
US10717631B2 (en) 2016-11-22 2020-07-21 Manitowoc Crane Companies, Llc Optical detection and analysis of crane hoist and rope
WO2018103928A1 (en) 2016-12-07 2018-06-14 Cargotec Patenter Ab A vehicle, and a method for a vehicle, including target marker on an overview image
WO2018103929A1 (en) 2016-12-07 2018-06-14 Cargotec Patenter Ab A vehicle and a method for a vehicle, with presentation of maximal load range limitation
EP3333114A1 (en) 2016-12-07 2018-06-13 Cargotec Patenter AB A vehicle and a method for a vehicle, with presentation of maximal load range limitation
EP3333113A1 (en) 2016-12-07 2018-06-13 Cargotec Patenter AB A vehicle, and a method for a vehicle, including target marker on an overview image
JP2019172409A (en) * 2018-03-27 2019-10-10 株式会社タダノ Work vehicle
JP7106929B2 (en) 2018-03-27 2022-07-27 株式会社タダノ work vehicle
JP2020093877A (en) * 2018-12-11 2020-06-18 株式会社アイチコーポレーション Safety apparatus for work vehicle
JP2021080040A (en) * 2019-11-15 2021-05-27 株式会社アイチコーポレーション Working vehicle
JP7337669B2 (en) 2019-11-15 2023-09-04 株式会社アイチコーポレーション work vehicle

Also Published As

Publication number Publication date
JP5091447B2 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
JP5091447B2 (en) Peripheral monitoring support device for work equipment-equipped vehicles
JP5876679B2 (en) Performance line display device
JP5462008B2 (en) Image display system
US9667923B2 (en) Camera attitude detection device and work region line display device
JP6167042B2 (en) Ambient monitoring equipment for self-propelled industrial machines
CN107922171B (en) Periphery display device of mobile crane
JP6306552B2 (en) Remote control device and guidance system
JP6202670B2 (en) Remote control system for work machines
US11292699B2 (en) Remote operation terminal and work vehicle provided with remote operation terminal
CN109661813B (en) Bird&#39;s-eye view image system, bird&#39;s-eye view image display method, and computer-readable recording medium storing program
JP5926315B2 (en) Work vehicle periphery monitoring system and work vehicle
JP2015170141A (en) Designated range monitoring system
JP6766516B2 (en) Obstacle detector
JP6162481B2 (en) Work area line display device
JP2017049792A (en) Designated range monitoring system
JP7114950B2 (en) Remote control terminal and work vehicle
JP6421451B2 (en) Camera posture detection device
JP2018039477A (en) Image display system
JP6528474B2 (en) Image display device
JP6756554B2 (en) Image display system
JP2019218198A (en) Operation support system
JP3374547B2 (en) Monitoring device for remote operation
JP7107447B2 (en) Crane information display system
JP2011046496A (en) Jib control device in crane device
EP4036047A1 (en) Crane information display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5091447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250