JP2008074594A - Periphery monitor of vehicle having work machine - Google Patents
Periphery monitor of vehicle having work machine Download PDFInfo
- Publication number
- JP2008074594A JP2008074594A JP2006258618A JP2006258618A JP2008074594A JP 2008074594 A JP2008074594 A JP 2008074594A JP 2006258618 A JP2006258618 A JP 2006258618A JP 2006258618 A JP2006258618 A JP 2006258618A JP 2008074594 A JP2008074594 A JP 2008074594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- position information
- vehicle
- work machine
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 103
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 58
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 241000905137 Veronica schmidtiana Species 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 35
- 238000009434 installation Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 1
Images
Landscapes
- Jib Cranes (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
Description
本発明は、作業機搭載車両の周辺監視装置に関するものである。 The present invention relates to a periphery monitoring device for a work machine-equipped vehicle.
車両の周辺監視装置として、車両の後方に車両の後方を撮影する後方監視カメラを備えるとともに、後方監視カメラで撮影した画像を表示する表示装置を運転席に備え、表示装置に後方監視カメラで撮影した画像を表示するにあたって、自車両から所定の距離位置間隔で目盛りを付したマーカーを表示装置に表示した撮影画像に重畳表示させ、後退するときに自車両に近接する後方の障害物との距離をマーカーと対比することで、自車両と障害物との干渉を目安的に判断できるようにした技術が公知である。(例えば特許文献1参照)
ところで、作業機搭載車両として図3に図示するような移動式クレーンが知られている。この移動式クレーンは、車両1上に旋回台2を旋回駆動可能にする旋回装置5を配置し、旋回台2に伸縮ブーム3を起伏駆動可能に配置している。そして伸縮ブーム3の基端側にウインチ(図示しない)を配置し、このウインチ(図示しない)により繰出したワイヤロープ(図示しない)を伸縮ブーム3の先端部を経過させ、ワイヤロープの先端に吊具を介して吊荷を係止させ、吊荷を吊上げて目的の位置に移動させるクレーン作業を行うようにしている。
このような移動式クレーンは、吊上げた吊荷を安定に支持するために車両1から側方に張出すアウトリガ4装置を備えている。アウトリガ装置4は、車両1の前後左右にそれぞれ4組備えられ、作業時には側方に張出されアウトリガ装置4に備えたジャッキ(図示しない)により車両1を地面に支持させるようにしている。したがって、移動式クレーンは吊荷を吊上げる際に、このアウトリガ装置4により転倒しないよう安定に支持させる機能を持たせているものである。
また、移動式クレーンは、旋回装置5により旋回台2を旋回させるようにしているが、旋回台2の後端にカウンタウエイト(錘)5aを配置している。このカウンタウエイト5aも伸縮ブーム3の先端部で吊上げた吊荷による転倒モーメントに対して反転倒モーメントを発生させるために配置されたものである。このカウンタウエイト5aは、旋回台3を旋回させ伸縮ブーム3を側方に向ける際に、図3にカウンタウエイト5aの移動軌跡を鎖線で示す通り、カウンタウエイト5aの角部が大幅に車両1より後方および側方に突出する。
このように移動式クレーンに配置されたアウトリガ装置4および旋回装置5は、いずれもクレーン作業時に車両1から突出させるものである。したがって、オペレータは移動式クレーンで作業する際に、移動式クレーンを設置する作業現場の周辺に障害物がないことを確認し、障害物がない設置場所を作業現場として決定する必要がある。すなわち、アウトリガ装置4を張出し、旋回装置5を旋回させても支障のない設置場所を決定しなければならない。そして決定に際しては、車両1の左側方および後方は、運転席6から確認できないので、一旦運転席6から降りて確認する必要があり、煩わしいものとなっていた。
そこで前述した特開2005−112267号公報の技術を適用し、運転席6から降りなくても確認できるようにすることが考えられる。すなわち、車両1の側方および後方に監視カメラを配置し、監視カメラで撮影した画像を運転席6に配置した表示装置で表示し、表示装置に監視カメラで撮影した画像を表示するにあたって、車両1から所定の距離位置間隔で目盛りを付したマーカーを表示装置に表示した撮影画像に重畳表示させる。そして表示装置に監視カメラで撮影された画像を表示させ、表示画像の中に障害物の存在を確認するのであるが、表示画像中の障害物が目盛りを付したマーカーにより車両1との距離は判るものの、アウトリガ4の張出し位置や、旋回装置5の旋回位置との関係が即判断できるものでない。
すなわち、アウトリガ装置4については車両1からの張出し長さを予めオペレータが覚えておき、覚えておいた長さ位置を表示装置で表示されるマーカーから確認し、その位置に障害物が存在していないか判断する必要がある。また、同様に旋回装置5についても旋回台2の旋回位置(カウンタウエイト5aの角部の移動軌跡)を覚えておき、その位置に障害物が存在していないか判断する必要がある。また、旋回装置5の旋回位置については、旋回移動軌跡との関係であるので目盛りを付したマーカーだけでは判断しにくいところがある。
By the way, a mobile crane as shown in FIG. 3 is known as a working machine-equipped vehicle. In this mobile crane, a
Such a mobile crane is provided with an
In the mobile crane, the
Thus, both the
Therefore, it is conceivable to apply the technique disclosed in Japanese Patent Application Laid-Open No. 2005-112267 described above so that the user can check without getting off the driver's
That is, for the
本発明は、このような点を考慮して作業機を設置させる場合に運転席から降りて周辺を確認しなくても、運転席から周辺を確実に確認できるようにする作業機搭載車両の周辺監視支援装置を提供することを目的とする。 In the present invention, when the work implement is installed in consideration of such points, the periphery of the vehicle equipped with the work implement can be surely confirmed from the driver seat without getting out of the driver seat and confirming the periphery. An object is to provide a monitoring support device.
上記の目的を達成するため、本発明の請求項1記載に係る作業機搭載車両の周辺監視支援装置は、車両上に搭載した作業機で作業を行う作業機搭載車両に、作業機搭載車両の周辺を撮影する監視カメラと、運転席に配置され該カメラで撮影した画像を表示する表示装置とを備えた作業機搭載車両の周辺監視支援装置において、前記監視カメラは同一画面に作業機搭載車両の周辺の他に作業機の可動部状態も撮影する位置に取付けられ、監視カメラからの撮影画像信号は表示装置に画像処理装置を介して送られるようにし、画像処理装置に作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部と監視カメラで撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部とを備え、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とするものである。
In order to achieve the above object, a work equipment-equipped vehicle periphery monitoring support device according to
本発明の請求項2記載に係る作業機搭載車両の周辺監視支援装置は、請求項1において、前記画像処理装置に、監視カメラからの撮影画像信号を鳥瞰画像に変換する鳥瞰画像変換部を備え、前記画像処理装置の可動部状態位置情報記憶部は作業機の可動部状態位置情報を記憶し鳥瞰画像に変換して可動部状態位置情報画像信号として出力あるいは作業機の可動部状態位置情報を鳥瞰画像に変換して記憶し可動部状態位置情報画像信号として出力するようにし、前記画像処理装置の合成処理部は鳥瞰画像変換部で変換した画像と可動部状態位置情報画像を重畳させるようにし、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した鳥瞰画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とするものである。 According to a second aspect of the present invention, the periphery monitoring support device for a work machine-equipped vehicle according to the first aspect includes a bird's-eye image conversion unit that converts a captured image signal from a monitoring camera into a bird's-eye image in the image processing device. The movable part state position information storage unit of the image processing device stores the movable part state position information of the work machine, converts it into a bird's-eye view image, and outputs it as a movable part state position information image signal or the movable part state position information of the work machine. The image is converted into a bird's-eye image, stored, and output as a movable part state position information image signal, and the composition processing unit of the image processing device superimposes the image converted by the bird's eye image converter and the movable part state position information image. The movable unit state position information image of the work implement is superimposed on the bird's-eye image obtained by photographing the periphery of the work implement-equipped vehicle with the monitoring camera in a state where the movable unit of the work implement is not moved. It is characterized in that so as to shown.
本発明の請求項3記載に係る作業機搭載車両の周辺監視支援装置は、請求項2において、前記監視カメラを複数配置し、前記鳥瞰画像変換部は複数の監視カメラからの撮影画像信号を合成して鳥瞰画像に変換するよう構成したことを特徴とするものである。 According to a third aspect of the present invention, there is provided a work equipment-equipped vehicle periphery monitoring support device according to the second aspect, wherein a plurality of the monitoring cameras are arranged, and the bird's-eye image conversion unit synthesizes captured image signals from the plurality of monitoring cameras. Then, it is configured to convert to a bird's-eye view image.
本発明の請求項4記載に係る作業機搭載車両の周辺監視支援装置は、請求項1乃至請求項3において、前記作業機の可動部は、作業機搭載車両の前後左右に配置されたアウトリガ装置の張出格納可動部であることを特徴とするものである。 According to a fourth aspect of the present invention, in the periphery monitoring support device for a work implement-equipped vehicle, in the first to third aspects, the movable portion of the work implement is disposed on the front, rear, left and right of the work implement equipped vehicle. This is a projecting and retracting movable part.
本発明の請求項5記載に係る作業機搭載車両の周辺監視支援装置は、請求項1乃至請求項3において、前記作業機の可動部は、車両上に作業機を旋回可能に配置した旋回装置の旋回可動部であることを特徴とするものである。 According to a fifth aspect of the present invention, there is provided a work equipment-equipped vehicle periphery monitoring support device according to the first to third aspects, wherein the movable portion of the work machine is arranged so that the work machine can turn on the vehicle. It is characterized by being a turning movable part.
請求項1に係る本発明の作業機搭載車両の周辺監視支援装置は、作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたものであるから、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を表示装置で確認でき、作業機を設置させる場合に運転席から降りて周辺を確認しなくても、運転席から周辺を確実に確認できる。しかも作業機の可動部を実際に可動しなくても障害物と可動部状態位置との関係が確認できるので、障害物に可動部が干渉すると判断されると、作業機搭載車両の設置場所を即変更できる。 According to a first aspect of the present invention, there is provided an apparatus for monitoring the periphery of a work machine-equipped vehicle according to the present invention. Since the part state position information image is superimposed and displayed on the display device, the relationship between the obstacle photographed by the surveillance camera and the movable part state position information image can be confirmed on the display device. Even if the driver does not need to get out of the driver's seat and check the surroundings, the driver can check the surroundings reliably. Moreover, since the relationship between the obstacle and the movable part state position can be confirmed without actually moving the movable part of the work implement, if it is determined that the movable part interferes with the obstacle, the installation location of the vehicle with the work implement is set. It can be changed immediately.
請求項2記載に係る作業機搭載車両の周辺監視支援装置は、監視カメラで撮影した画像と可動部状態位置情報画像とを鳥瞰画像に変換して表示装置に表示させるようにしたものであるから、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認でき、確認判断を容易にすることができる。
Since the periphery monitoring support device for a work machine-equipped vehicle according to
請求項3記載に係る作業機搭載車両の周辺監視支援装置は、監視カメラを複数配置し、前記鳥瞰画像変換部は複数の監視カメラからの撮影画像信号を合成して鳥瞰画像に変換するようにしたものであるから、広範囲にわたる周辺の状況を鳥瞰画像で表示することができ、監視カメラで撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認する確認判断を一層容易にすることができる。 The periphery monitoring support device for a work machine-equipped vehicle according to claim 3 is provided with a plurality of monitoring cameras, and the bird's-eye image conversion unit synthesizes photographed image signals from the plurality of monitoring cameras and converts them into a bird's-eye image. As a result, it is possible to display a wide range of surrounding conditions as a bird's-eye view image, making it easier to confirm and confirm the relationship between the obstacle photographed by the surveillance camera and the moving part state position information image using the bird's-eye view image. Can be.
請求項4記載に係る作業機搭載車両の周辺監視支援装置は、作業機の可動部としてアウトリガ装置を備えた作業機搭載車両に適用し、監視カメラで撮影された障害物とアウトリガの張出し位置情報を可動部状態位置情報画像として表示装置で表示し両者の関係を確認できるようにしたものであるから、作業機を設置させる場合に運転席から降りてアウトリガ張出し位置周辺を確認しなくても、運転席から周辺を確実に確認できる。しかもアウトリガ装置を実際に張出さなくても障害物とアウトリガ装置の張出し位置との関係が確認できる。したがってアウトリガ装置の張出し位置に障害物が干渉すると判断されると、実際にアウトリガ装置を張出していないので作業機搭載車両の設置場所を即変更できる。
The periphery monitoring support device for a work machine-equipped vehicle according to
請求項5記載に係る作業機搭載車両の周辺監視支援装置は、作業機の可動部として作業機を旋回させる旋回装置を備えた作業機搭載車両に適用し、監視カメラで撮影された障害物と旋回位置情報を可動部状態位置情報画像として表示装置で表示し両者の関係を確認できるようにしたものであるから、作業機を設置させる場合に運転席から降りて作業機の旋回位置周辺を確認しなくても、運転席から周辺を確実に確認できる。しかも作業機を実際に旋回さなくても障害物と旋回装置の旋回位置との関係が確認できる。したがって旋回装置の旋回位置に障害物が干渉すると判断されると、実際に旋回装置を旋回していないので作業機搭載車両の設置場所を即変更できる。
The periphery monitoring support device for a work machine-equipped vehicle according to
以下本発明に係る作業機搭載車両の周辺監視支援装置の実施形態について、作業機搭載車両として図3に図示し説明した移動式クレーンに適用した場合の実施形態を以下に説明する。従って移動式クレーンを説明する際に上述で使用した符号1〜符号6および5aを以下の説明でも同じものとして使用しここでの説明を省略する。
In the following, an embodiment of the periphery monitoring support device for a work machine-equipped vehicle according to the present invention will be described as applied to the mobile crane shown and described in FIG. 3 as a work machine-equipped vehicle. Therefore, the
本発明に係る作業機搭載車両の周辺監視支援装置は、作業機搭載車両の周辺を撮影する監視カメラ10,11と、運転席6に配置され該カメラ10,11で撮影した画像を表示する表示装置12とを備えている。監視カメラ10は、図4に示すように、移動式クレーンの伸縮ブーム3の先端部に、車両1の左側方周辺を撮影するように取付けており、同一画面に移動式クレーンの左側方周辺の他に、車両1の左側に配置した前記アウトリガ装置4の可動部状態も撮影する位置に取付けている。監視カメラ11は、旋回台2の左側上部に車両1の左側方周辺を撮影するように取付けている。
The periphery monitoring support device for a work implement-equipped vehicle according to the present invention includes
監視カメラ10,11からの撮影画像信号は、図1に図示するように表示装置12に画像処理装置13を介して送られるようにしている。画像処理装置13は、作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部14と監視カメラ10,11で撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部15とを備えている。
Captured image signals from the
可動部状態位置情報記憶部14は、アウトリガの張出位置情報記憶部14aと、旋回台の旋回位置情報記憶部14bとを備えている。アウトリガの張出位置情報記憶部14aは、各アウトリガ装置4の張出し状態位置情報を記憶するとともに、記憶した張出し状態位置情報を監視カメラ10で撮影した画像中にその張出し状態位置情報を重畳して表示できる画像信号を出力するようになっている。すなわち、図5および図6で図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーaとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。
The movable part state position
旋回台の旋回位置情報記憶部14bは、旋回装置5の旋回位置情報を記憶するもので、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡を記憶しているもので、記憶した旋回位置情報を監視カメラ11で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。すなわち、図7および図8で図示するように、旋回台2を旋回した際にカウンタウエイト5の角部が移動する移動軌跡を旋回台の旋回位置情報としてマーカーcを、監視カメラ11で撮影した画像中に重畳して表示できる画像信号を出力するようになっている。
The turning position
合成処理部15は、監視カメラ10で撮影した撮影画像に可動部状態位置情報記憶部14のアウトリガの張出位置情報記憶部14aからのマーカーaとマーカーbの画像信号を重畳して表示するよう合成処理し合成した画像信号を出力したり、監視カメラ11で撮影した撮影画像に可動部状態位置情報記憶部14の旋回台の旋回位置情報記憶部14bからのマーカーcの画像信号を重畳して表示するよう合成処理し合成した画像信号を出力する処理部である。
The
画像処理装置13の入出力部には、それぞれ画像信号入力インターフェイス16と画像信号出力インターフェイス17を備えており、それぞれ接続される機器との入出力を適合させている。
The input / output unit of the
なお、表示装置12に、監視カメラ10により撮影された画像を表示させるか、監視カメラ11により撮影された画像を表示させるか、選択するスイッチで構成した選択手段18を備えている。この選択手段18からの選択信号を画像信号入力インターフェイス16に入力し、画像信号入力インターフェイス16では選択信号により監視カメラ10あるいは監視カメラ11からの画像信号を切換えて合成処理部15に出力するようになっている。
Note that the
また、可動部状態位置情報記憶部14では、選択手段18からの選択信号を受けて選択された側の合成用の画像信号(アウトリガの張出位置情報記憶部14aあるいは旋回台の旋回位置情報記憶部14bからのいずれかの画像信号)を合成処理部15に出力するようにしている。
Further, the movable part state position
このように構成した本発明に係る作業機搭載車両の周辺監視支援装置は、次のように作用する。オペレータは移動式クレーンを設置して作業する場所に移動させる。そして監視カメラ10による撮影画像を表示装置12で表示するよう選択手段18により選択する。すると表示装置12は、図5に図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーaと、アウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した車両1の左側方周辺の画像中に重畳して表示する。
The periphery monitoring support device for a work implement-equipped vehicle according to the present invention configured as described above operates as follows. The operator installs the mobile crane and moves it to the place where it works. Then, the
オペレータは、表示装置12に表示された画像中に障害物があるか否かを確認し、障害物が確認されたときに、アウトリガ装置4を最大張出し状態で作業しょうとしている場合には車両1からマーカーa間に障害物が位置していないか確認する。また、アウトリガ装置4を中間張出し状態で作業しょうとしている場合には車両1からマーカーb間に障害物が位置していないか確認する。そして障害物が位置していない場合には、選択手段18を監視カメラ11による撮影画像を表示装置12で表示するよう選択する。
The operator confirms whether or not there is an obstacle in the image displayed on the
すると表示装置12は、図7に図示するように、旋回台2を旋回させたときにカウンタウエイト5の角部が移動して描く移動奇跡であるマーカーcを、監視カメラ11で撮影した車両1の左側方周辺の画像中に重畳して表示する。そしてマーカーc内に障害物が位置していない場合は、アウトリガ装置4を伸長させる。すると表示画面12には、図8に図示するようなアウトリガ装置4を伸長させた画像が表示される。また、選択手段18を監視カメラ10による撮影画像を表示装置12で表示するよう選択すると、図6に図示するようなアウトリガ装置4を伸長させた画像が表示される。
Then, as illustrated in FIG. 7, the
なお、車両1からマーカー間に障害物が存在している場合には、移動式クレーンを別設置場所に移動させて再度同じことをして確認し、安全が確認されればその場所で移動式クレーンを設置して作業を開始するものである。
If there is an obstacle between the
以上のように本発明に係る作業機搭載車両の周辺監視支援装置は、作用するものであるから、監視カメラ10で撮影された障害物とアウトリガ装置4の張出し位置情報画像との関係や、監視カメラ11で撮影された障害物と旋回台2の旋回位置情報画像との関係を表示装置12で確認でき、移動式クレーンを設置させる場合に運転席6から降りて周辺を確認しなくても、運転席6から周辺を確実に確認できる。しかもアウトリガ装置4や旋回台2を実際に可動しなくても障害物とアウトリガ装置4の張出し位置および旋回台の旋回位置との関係が確認できるので、障害物にそれぞれの可動部が干渉すると判断されると、移動式クレーンの設置場所を即変更できるのである。
As described above, since the periphery monitoring support device for a work machine-equipped vehicle according to the present invention operates, the relationship between the obstacle photographed by the monitoring
また、上記実施形態では、図5および図6で図示するように、監視カメラ10で撮影した画像中にアウトリガ装置4を最大に張出した状態位置情報としてのマーカーaとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーbとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようにしたが、図9に図示するように、アウトリガ装置4を最大に張出した状態位置情報としてのマーカーdとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーeとを、監視カメラ10で撮影した画像中に重畳して表示できる画像信号を出力するようにしてもよい。すなわち、アウトリガ装置4の張出し移動軌跡を表示させるものである。このように表示することで、前アウトリガ装置4と後アウトリガ装置4間に障害物が確認されたときに、図8による画面でマーカーcから外れていれば、障害物が障害とならないことが確認でき、より効果的に確認判断ができるようになる。
Moreover, in the said embodiment, as shown in FIG. 5 and FIG. 6, the marker a and the
更に、上記実施形態では、車両1の左側方を監視する監視カメラとして10、11を配置したが、車両1の後方を監視する監視カメラを配置し、同様に旋回台2の後方側での旋回位置情報を表示させるようにしてもよい。
Furthermore, in the above embodiment, 10 and 11 are arranged as monitoring cameras for monitoring the left side of the
次に、上記実施形態では、監視カメラ10,11で撮影した画像に可動部状態位置情報を重畳させるようにしたものであるが、直接監視カメラで撮影した画像を表示せずに監視カメラで撮影した画像を鳥瞰画像に変換し、変換した画像に同じく鳥瞰画像に変換した可動部状態位置情報を重畳させるようにしてもよい。以下この場合の実施形態を第2実施形態として図2に図示し以下に説明する。
Next, in the above embodiment, the movable part state position information is superimposed on the images taken by the
図2に図示する本発明に係る作業機搭載車両の周辺監視装置は、図1に図示し説明したものと画像処理装置23が異なっているが、監視カメラ10,11および表示装置12については同じものであるのでこれらについての説明は省略する。画像処理装置23は、鳥瞰画像変換部29と、可動部状態位置情報記憶部24と、合成処理部25とを備えている。鳥瞰画像変換部29は、監視カメラ10,11からの撮影画像は予め決めた固定角度範囲で撮影するようにしていることから、撮影された各画像信号を座標変換し合成した一つの鳥瞰画像に変換する変換部である。可動部状態位置情報記憶部24は、アウトリガの張出位置情報記憶部24aと、旋回台の旋回位置情報記憶部24bと、鳥瞰画像変換部24cとを備えている。
2 is different from that illustrated and described in FIG. 1 in the periphery monitoring device for a work machine-equipped vehicle according to the present invention, but the
アウトリガの張出位置情報記憶部24aは、各アウトリガ装置4の張出し状態位置情報を記憶している。旋回台の旋回位置情報記憶部24bは、旋回装置5の旋回位置情報を記憶するもので、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡を旋回位置情報として記憶している。鳥瞰画像変換部24cは、アウトリガの張出位置情報記憶部24aで記憶した各アウトリガ装置4の張出し状態位置情報と旋回台の旋回位置情報記憶部24bで記憶した旋回装置5の旋回位置情報を、前記合成した一つの鳥瞰画像に重畳して表示できる画像信号を出力するようになっている。
The outrigger overhang position
すなわち、鳥瞰画像変換部29は、図10に実線で図示するように移動式クレーンの鳥瞰図と移動式クレーンの左側方の周辺を鳥瞰図で表示するもので、図10には図示していないが移動式クレーンの左側方の周辺に障害物が存在していればその障害物も鳥瞰図に現れる。また、鳥瞰画像変換部24cは、図10に図示するように、アウトリガの張出位置情報記憶部24aで記憶した各アウトリガ装置4の張出し状態位置情報として、アウトリガ装置4を最大に張出した状態位置のマーカーfとアウトリガ装置4を中間に張出した状態位置のマーカーgとを鳥瞰画像変換部29で変換した鳥瞰図に重畳して表示できる画像信号を出力する。更に、鳥瞰画像変換部24cは、図10に図示するように、旋回台の旋回位置情報記憶部24bで記憶した旋回装置5の旋回位置情報として、旋回台2を旋回した際にカウンタウエイト5aの角部が移動する移動軌跡のマーカーhを鳥瞰画像変換部29で変換した鳥瞰図に重畳して表示できる画像信号を出力する。
That is, the bird's-eye
合成処理部25は、鳥瞰画像変換部29で変換した画像と可動部状態位置情報記憶部24の鳥瞰画像変換部24cで変換した画像とを重畳して図10に図示する画像信号を出力する。画像処理装置23の入出力部には、それぞれ画像信号入力インターフェイス26と画像信号出力インターフェイス27を備えており、それぞれ接続される機器との入出力を適合させている。
The
このように構成した本発明に係る作業機搭載車両の周辺監視支援装置の第2実施形態では、次のように作用する。オペレータは移動式クレーンを設置して作業する場所に移動させる。そして監視カメラ10、11による撮影画像を表示装置12で表示させる。この場合、表示装置12には、図10に図示するように、移動式クレーンの左側方の鳥瞰図とアウトリガ装置4を最大に張出した状態位置情報としてのマーカーfとアウトリガ装置4を中間に張出した状態位置情報としてのマーカーgと、旋回台2を旋回させたときにカウンタウエイト5aの角部が移動して描く移動奇跡であるマーカーhとが表示される。
The second embodiment of the periphery monitoring support device for a work machine-equipped vehicle according to the present invention configured as described above operates as follows. The operator installs the mobile crane and moves it to the place where it works. Then, the images taken by the
オペレータは、表示装置12に表示された画像中に障害物が存在するか否かを確認し、障害物が確認されたときに、アウトリガ装置4を最大張出し状態で作業しょうとしている場合には車両1からマーカーf間に障害物が存在していないか確認する。アウトリガ装置4を中間張出し状態で作業しょうとしている場合には車両1からマーカーg間に障害物が存在していないか確認する。またマーカーh内に障害物が存在するか否かも確認する。いずれにも障害物が存在していない場合は、アウトリガ装置4を伸長させる。すると表示画面12には、図11に図示するようなアウトリガ装置4を伸長させた画像が表示される。なお、車両1からマーカー間に障害物障害物が存在している場合には、移動式クレーンを別設置場所に移動させて再度同じことをして確認し、安全が確認されればその場所で移動式クレーンを設置して作業を開始するものである。
The operator checks whether or not there is an obstacle in the image displayed on the
以上のように本発明に係る作業機搭載車両の周辺監視支援装置は、作用するものであるから、監視カメラ10、11で撮影された障害物とアウトリガ装置4の張出し位置情報画像との関係や、監視カメラ10、11で撮影された障害物と旋回装置5の旋回位置情報画像との関係を表示装置12で確認でき、移動式クレーンを設置させる場合に運転席6から降りて周辺を確認しなくても、運転席6から周辺を確実に確認できる。しかもアウトリガ装置4や旋回装置5を実際に可動しなくても障害物とアウトリガ装置4の張出し位置および旋回装置5の旋回位置との関係が確認できるので、障害物にそれぞれの可動部が干渉すると判断されると、移動式クレーンの設置場所を即変更できるのである。
As described above, since the periphery monitoring support device for a work machine-equipped vehicle according to the present invention operates, the relationship between the obstacle photographed by the
特に第2実施形態の場合は、監視カメラ10,11で撮影した画像と可動部状態位置情報画像とを鳥瞰画像に変換して表示装置12に表示させるようにしたものであるから、監視カメラ10,11で撮影された障害物と可動部状態位置情報画像との関係を鳥瞰画像で確認でき、確認判断を容易にすることができる。
In particular, in the case of the second embodiment, the image captured by the
なお、上記第2実施形態の可動部状態位置情報記憶部24では、各アウトリガ装置4の張出し状態位置情報をアウトリガの張出位置情報記憶部24aで記憶させ、鳥瞰画像変換部24cで各アウトリガ装置4の張出し状態位置情報を鳥瞰画像に変換するようにしているが、アウトリガの張出位置情報記憶部24aで各アウトリガ装置4の張出し状態位置情報を鳥瞰画像に変換して記憶するようにしてもよい。同様に、旋回台2のカウンタウエイト5aの角部が旋回にともなって移動する移動軌跡である旋回装置5の旋回位置情報を旋回台の旋回位置情報記憶部24bで記憶させ、鳥瞰画像変換部24cで旋回装置5の旋回位置情報を鳥瞰画像に変換するようにしているが、旋回台の旋回位置情報記憶部24bで旋回装置5の旋回位置情報を鳥瞰画像に変換して記憶するようにしてもよい。
In the movable part state position
また、上記第2実施形態では、監視カメラ10,11を配置して鳥瞰画像に変換させるようにしたが、更に移動式クレーンの周囲に適宜監視カメラを増設して、図12に図示するように移動式クレーン全体の鳥瞰画像ならびに移動式クレーンの全周辺の状況を鳥瞰画像で表示させるようにしてもよい。
In the second embodiment, the
更に、上記実施形態では作業機搭載車両として移動式クレーンに適用した場合について説明したが、作業機を可動させると車両から突出して車両周辺の障害物と干渉するようになる作業機搭載車両に適用されること勿論であり、高所作業車、穴掘建柱車、等の作業機に適用される。 Furthermore, in the above embodiment, the case where the working machine is applied to a mobile crane has been described. However, when the working machine is moved, the working machine is applied to a working machine-equipped vehicle that protrudes from the vehicle and interferes with obstacles around the vehicle. Of course, the present invention is applied to working machines such as an aerial work vehicle and an excavated pillar car.
次に、上記実施形態では、表示装置12には作業機の周辺を撮影した画像にマーカーを重畳表示させるようにしたが、表示装置12に表示される周囲の画像は、走行時に車両1の周辺を確認するためにも使用することができる。この時にマーカーを重畳表示させるとかえってマーカーが邪魔になることから、重畳表示しないようにするとよい。すなわち、オペレータによって手動操作できるスイッチを設け、このスイッチによりマーカーを重畳表示させるか否かを選択できるようにしておけば、走行中に表示装置12にマーカーを重畳表示させないようにすることができ、表示装置12により走行中の障害物の確認をするときに、マーカーが邪魔になるのを防止でき、設置場所を決定する時に重畳表示するように選択するようにすればよい。
Next, in the above embodiment, the marker is superimposed on the image obtained by photographing the periphery of the work machine on the
1 車両
4 アウトリガ装置
5 旋回装置
10 監視カメラ
11 監視カメラ
12 表示装置
13 画像処理装置
15 合成処理部
14 可動部状態位置情報記憶部
23 画像処理装置
24 可動部状態位置情報記憶部
25 合成処理部
29 鳥瞰画像変換部
DESCRIPTION OF
Claims (5)
前記監視カメラは同一画面に作業機搭載車両の周辺の他に作業機の可動部状態も撮影する位置に取付けられ、監視カメラからの撮影画像信号は表示装置に画像処理装置を介して送られるようにし、画像処理装置に作業機の可動部状態位置情報を記憶し可動部状態位置情報画像信号を出力する可動部状態位置情報記憶部と監視カメラで撮影した撮影画像に可動部状態位置情報画像を重畳させる合成処理部とを備え、
作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とする作業機搭載車両の周辺監視支援装置。 A work machine-equipped vehicle that performs work using a work machine mounted on the vehicle includes a monitoring camera that captures the periphery of the work machine-equipped vehicle, and a display device that is disposed in a driver's seat and displays an image captured by the camera. In the periphery monitoring support device for a work machine-equipped vehicle,
The monitoring camera is mounted on the same screen at a position for shooting the state of the movable part of the work machine in addition to the periphery of the work machine-equipped vehicle, and the captured image signal from the monitoring camera is sent to the display device via the image processing device. In the image processing apparatus, the movable unit state position information is stored in the movable unit state position information storage unit that outputs the movable unit state position information image signal and outputs the movable unit state position information image signal. A superimposing processing unit,
The movable unit state position information image of the work implement is superimposed on the image obtained by photographing the periphery of the vehicle equipped with the work implement with the monitoring camera while the movable portion of the work implement is not moved, and is displayed on the display device. A peripheral monitoring support device for a work machine-equipped vehicle, characterized by
作業機の前記可動部を可動させていない状態で作業機搭載車両の周辺を前記監視カメラで撮影した鳥瞰画像に作業機の可動部状態位置情報画像を重畳させて表示装置に表示させるようにしたことを特徴とする作業機搭載車両の周辺監視支援装置。 2. The image processing apparatus according to claim 1, further comprising a bird's-eye image conversion unit that converts a captured image signal from a monitoring camera into a bird's-eye image, wherein the movable unit state position information storage unit of the image processing device is a movable unit state of a work machine. The position information is stored and converted into a bird's-eye image and output as a movable part state position information image signal, or the movable part state position information of the work implement is converted and stored as a bird's-eye image and output as a movable part state position information image signal. The composition processing unit of the image processing device superimposes the image converted by the bird's eye image conversion unit and the movable unit state position information image,
The movable unit state position information image of the work implement is superimposed on the bird's-eye view image obtained by photographing the periphery of the vehicle equipped with the work implement with the monitoring camera in a state where the movable portion of the work implement is not moved, and is displayed on the display device. A peripheral monitoring support device for a vehicle equipped with a work machine.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006258618A JP5091447B2 (en) | 2006-09-25 | 2006-09-25 | Peripheral monitoring support device for work equipment-equipped vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006258618A JP5091447B2 (en) | 2006-09-25 | 2006-09-25 | Peripheral monitoring support device for work equipment-equipped vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008074594A true JP2008074594A (en) | 2008-04-03 |
JP5091447B2 JP5091447B2 (en) | 2012-12-05 |
Family
ID=39347049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006258618A Active JP5091447B2 (en) | 2006-09-25 | 2006-09-25 | Peripheral monitoring support device for work equipment-equipped vehicles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5091447B2 (en) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2722302A1 (en) * | 2012-10-17 | 2014-04-23 | Iveco Magirus Ag | Utility vehicle with monitoring system for monitoring the position of the outriggers |
KR101402881B1 (en) | 2012-09-27 | 2014-06-27 | 구우식 | A locating machine of outrigger for industrial construction vehicle |
EP2801393A1 (en) * | 2013-05-07 | 2014-11-12 | Iveco Magirus Ag | Utility vehicle with assistance system for positioning lateral ground supports |
EP2952467A1 (en) * | 2014-06-03 | 2015-12-09 | Palfinger Platforms GmbH | Method for visualising the support position and/or the range of at least one support of a vehicle, as well as vehicle with at least one support |
JP2016013890A (en) * | 2014-07-01 | 2016-01-28 | 株式会社タダノ | Obstacle notification system of crane vehicle |
JP2016013887A (en) * | 2014-07-01 | 2016-01-28 | 株式会社タダノ | Obstacle notification system of crane vehicle |
EP3037135A1 (en) * | 2014-12-23 | 2016-06-29 | Iveco Magirus Ag | Utility vehicle with visual assistance system for positioning the vehicle, and method for positioning an utility vehicle |
EP3202701A1 (en) * | 2016-01-29 | 2017-08-09 | Manitowoc Crane Companies, LLC | Visual outrigger monitoring system |
WO2017164781A1 (en) * | 2016-03-23 | 2017-09-28 | Cargotec Patenter Ab | Load handling assembly |
JP2018039477A (en) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | Image display system |
EP3333113A1 (en) | 2016-12-07 | 2018-06-13 | Cargotec Patenter AB | A vehicle, and a method for a vehicle, including target marker on an overview image |
EP3333114A1 (en) | 2016-12-07 | 2018-06-13 | Cargotec Patenter AB | A vehicle and a method for a vehicle, with presentation of maximal load range limitation |
JP2019172409A (en) * | 2018-03-27 | 2019-10-10 | 株式会社タダノ | Work vehicle |
JP2020093877A (en) * | 2018-12-11 | 2020-06-18 | 株式会社アイチコーポレーション | Safety apparatus for work vehicle |
US10717631B2 (en) | 2016-11-22 | 2020-07-21 | Manitowoc Crane Companies, Llc | Optical detection and analysis of crane hoist and rope |
JP2021080040A (en) * | 2019-11-15 | 2021-05-27 | 株式会社アイチコーポレーション | Working vehicle |
JP7518664B2 (en) | 2020-05-27 | 2024-07-18 | 株式会社アイチコーポレーション | Work vehicle |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103281B (en) * | 2009-12-16 | 2014-11-26 | 剑扬股份有限公司 | Liquid crystal panel device with embedded element and design method thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5271049A (en) * | 1975-12-08 | 1977-06-14 | Shin Meiwa Ind Co Ltd | Device for indicating turning orbit of swivel slide of crane car |
JPS54115855A (en) * | 1978-03-01 | 1979-09-08 | Hitachi Ltd | Position controller for loader |
JP2001315601A (en) * | 2000-05-09 | 2001-11-13 | Nec Corp | Vehicle side monitoring device |
JP2002020074A (en) * | 2000-07-04 | 2002-01-23 | Tadano Ltd | Forward viewing device for crane truck |
JP2003063340A (en) * | 2001-08-28 | 2003-03-05 | Aisin Seiki Co Ltd | Drive auxiliary device |
JP2005204143A (en) * | 2004-01-16 | 2005-07-28 | Denso Corp | On-vehicle device |
-
2006
- 2006-09-25 JP JP2006258618A patent/JP5091447B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5271049A (en) * | 1975-12-08 | 1977-06-14 | Shin Meiwa Ind Co Ltd | Device for indicating turning orbit of swivel slide of crane car |
JPS54115855A (en) * | 1978-03-01 | 1979-09-08 | Hitachi Ltd | Position controller for loader |
JP2001315601A (en) * | 2000-05-09 | 2001-11-13 | Nec Corp | Vehicle side monitoring device |
JP2002020074A (en) * | 2000-07-04 | 2002-01-23 | Tadano Ltd | Forward viewing device for crane truck |
JP2003063340A (en) * | 2001-08-28 | 2003-03-05 | Aisin Seiki Co Ltd | Drive auxiliary device |
JP2005204143A (en) * | 2004-01-16 | 2005-07-28 | Denso Corp | On-vehicle device |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101402881B1 (en) | 2012-09-27 | 2014-06-27 | 구우식 | A locating machine of outrigger for industrial construction vehicle |
US9580961B2 (en) | 2012-10-17 | 2017-02-28 | Iveco Magirus Ag | Utility vehicle with monitoring system for monitoring the position of the vehicle |
EP2722302A1 (en) * | 2012-10-17 | 2014-04-23 | Iveco Magirus Ag | Utility vehicle with monitoring system for monitoring the position of the outriggers |
CN104812694A (en) * | 2012-10-17 | 2015-07-29 | 依维柯马基路斯公司 | Utility vehicle with monitoring system for monitoring the position of the vehicle |
WO2014060476A1 (en) * | 2012-10-17 | 2014-04-24 | Iveco Magirus Ag | Utility vehicle with monitoring system for monitoring the position of the vehicle |
JP2016500602A (en) * | 2012-10-17 | 2016-01-14 | イヴェコ・マギルス・アー・ゲーIveco Magirus Ag | Work vehicle equipped with a monitoring system for monitoring the position of the vehicle |
RU2638659C2 (en) * | 2012-10-17 | 2017-12-15 | Ивеко Магирус Аг | Technological vehicle with monitoring system for observing vehicle position |
EP2801393A1 (en) * | 2013-05-07 | 2014-11-12 | Iveco Magirus Ag | Utility vehicle with assistance system for positioning lateral ground supports |
CN104139766A (en) * | 2013-05-07 | 2014-11-12 | 依维柯马基路斯公司 | Utility vehicle with assistance system for positioning lateral ground supports |
JP2014237430A (en) * | 2013-05-07 | 2014-12-18 | イフェコ マギルス アーゲー | Utility vehicle with assistance system for positioning lateral ground supports |
CN104139766B (en) * | 2013-05-07 | 2018-10-26 | 依维柯马基路斯公司 | With the public traffic tool for the oriented side earthward auxiliary system of support element |
RU2651371C2 (en) * | 2013-05-07 | 2018-04-19 | Ивеко Магирус Аг | Utility vehicle with assistance system for positioning lateral ground supports |
EP2952467A1 (en) * | 2014-06-03 | 2015-12-09 | Palfinger Platforms GmbH | Method for visualising the support position and/or the range of at least one support of a vehicle, as well as vehicle with at least one support |
JP2016013890A (en) * | 2014-07-01 | 2016-01-28 | 株式会社タダノ | Obstacle notification system of crane vehicle |
JP2016013887A (en) * | 2014-07-01 | 2016-01-28 | 株式会社タダノ | Obstacle notification system of crane vehicle |
EP3037135A1 (en) * | 2014-12-23 | 2016-06-29 | Iveco Magirus Ag | Utility vehicle with visual assistance system for positioning the vehicle, and method for positioning an utility vehicle |
US10544012B2 (en) | 2016-01-29 | 2020-01-28 | Manitowoc Crane Companies, Llc | Visual outrigger monitoring system |
EP3202701A1 (en) * | 2016-01-29 | 2017-08-09 | Manitowoc Crane Companies, LLC | Visual outrigger monitoring system |
WO2017164781A1 (en) * | 2016-03-23 | 2017-09-28 | Cargotec Patenter Ab | Load handling assembly |
JP2018039477A (en) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | Image display system |
US11130658B2 (en) | 2016-11-22 | 2021-09-28 | Manitowoc Crane Companies, Llc | Optical detection and analysis of a counterweight assembly on a crane |
US11124392B2 (en) | 2016-11-22 | 2021-09-21 | Manitowoc Crane Companies, Llc | Optical detection and analysis for boom angles on a crane |
US10829347B2 (en) | 2016-11-22 | 2020-11-10 | Manitowoc Crane Companies, Llc | Optical detection system for lift crane |
US10717631B2 (en) | 2016-11-22 | 2020-07-21 | Manitowoc Crane Companies, Llc | Optical detection and analysis of crane hoist and rope |
WO2018103929A1 (en) | 2016-12-07 | 2018-06-14 | Cargotec Patenter Ab | A vehicle and a method for a vehicle, with presentation of maximal load range limitation |
WO2018103928A1 (en) | 2016-12-07 | 2018-06-14 | Cargotec Patenter Ab | A vehicle, and a method for a vehicle, including target marker on an overview image |
EP3333114A1 (en) | 2016-12-07 | 2018-06-13 | Cargotec Patenter AB | A vehicle and a method for a vehicle, with presentation of maximal load range limitation |
EP3333113A1 (en) | 2016-12-07 | 2018-06-13 | Cargotec Patenter AB | A vehicle, and a method for a vehicle, including target marker on an overview image |
JP2019172409A (en) * | 2018-03-27 | 2019-10-10 | 株式会社タダノ | Work vehicle |
JP7106929B2 (en) | 2018-03-27 | 2022-07-27 | 株式会社タダノ | work vehicle |
JP2020093877A (en) * | 2018-12-11 | 2020-06-18 | 株式会社アイチコーポレーション | Safety apparatus for work vehicle |
JP2021080040A (en) * | 2019-11-15 | 2021-05-27 | 株式会社アイチコーポレーション | Working vehicle |
JP7337669B2 (en) | 2019-11-15 | 2023-09-04 | 株式会社アイチコーポレーション | work vehicle |
JP7518664B2 (en) | 2020-05-27 | 2024-07-18 | 株式会社アイチコーポレーション | Work vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP5091447B2 (en) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5091447B2 (en) | Peripheral monitoring support device for work equipment-equipped vehicles | |
JP5876679B2 (en) | Performance line display device | |
JP5462008B2 (en) | Image display system | |
JP6167042B2 (en) | Ambient monitoring equipment for self-propelled industrial machines | |
CN107922171B (en) | Periphery display device of mobile crane | |
JP6306552B2 (en) | Remote control device and guidance system | |
US20160119589A1 (en) | Camera attitude detection device and work region line display device | |
JP6202670B2 (en) | Remote control system for work machines | |
CN109661813B (en) | Bird's-eye view image system, bird's-eye view image display method, and computer-readable recording medium storing program | |
JP6486596B2 (en) | Specified range monitoring system | |
JP7114950B2 (en) | Remote control terminal and work vehicle | |
JP7107447B2 (en) | Crane information display system | |
JP5926315B2 (en) | Work vehicle periphery monitoring system and work vehicle | |
JP6766516B2 (en) | Obstacle detector | |
JP2017049792A (en) | Designated range monitoring system | |
JP6162481B2 (en) | Work area line display device | |
JP2018039477A (en) | Image display system | |
JP6421451B2 (en) | Camera posture detection device | |
JP2018039476A (en) | Image display system | |
JP6756554B2 (en) | Image display system | |
JP6528474B2 (en) | Image display device | |
JP2019218198A (en) | Operation support system | |
JP3374547B2 (en) | Monitoring device for remote operation | |
US12030751B2 (en) | Crane information display system | |
JP2011046496A (en) | Jib control device in crane device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5091447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |