JP2008163719A - 作業機械の周囲監視装置 - Google Patents

作業機械の周囲監視装置 Download PDF

Info

Publication number
JP2008163719A
JP2008163719A JP2007000454A JP2007000454A JP2008163719A JP 2008163719 A JP2008163719 A JP 2008163719A JP 2007000454 A JP2007000454 A JP 2007000454A JP 2007000454 A JP2007000454 A JP 2007000454A JP 2008163719 A JP2008163719 A JP 2008163719A
Authority
JP
Japan
Prior art keywords
obstacle
image
stationary
moving
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007000454A
Other languages
English (en)
Other versions
JP4996928B2 (ja
Inventor
Hidefumi Ishimoto
英史 石本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2007000454A priority Critical patent/JP4996928B2/ja
Publication of JP2008163719A publication Critical patent/JP2008163719A/ja
Application granted granted Critical
Publication of JP4996928B2 publication Critical patent/JP4996928B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】作業機械の周囲の障害物の状況を運転者に適切に報知する。
【解決手段】作業機械71の周囲の障害物の作業機械に対する相対位置を検出する障害物検出手段31〜34と、障害物検出手段31〜34により検出された障害物を、所定時間以上停止している場合に静止障害物と判定し、所定時間以上停止していない場合には移動障害物と判定する障害物判定手段41と、障害物検出手段31〜34による検出結果と障害物判定手段41による判定結果とに基づき、静止障害物70に対応した静止障害物画像90、移動障害物72,73に対応した移動障害物画像92,93、および作業機械71に対応した作業機械画像91を、運転室内に設けられた表示用モニタに互いに異なった形態で表示する監視コントローラ40,45とを備える。
【選択図】図3

Description

本発明は、作業機械の周囲の障害物を監視する周囲監視装置に関する。
この種の周囲監視装置として、機体に複数の近接センサとカメラを搭載し、近接センサによって障害物が検出されると、その近接センサに対応するカメラによって撮像された画像を運転室内のモニタに表示するようにした装置が知られている(例えば特許文献1参照)。
特開2002−327470号公報
しかしながら、上記特許文献1記載の装置のように障害物の検出時にカメラ画像を表示しただけでは、作業機械の周囲に複数の障害物が存在する場合に、その周囲の障害物の状況を運転者に適切に報知できない。
本発明は、作業機械の周囲の障害物を監視する周囲監視装置において、作業機械に対する障害物の相対位置を検出する障害物検出手段と、障害物検出手段により検出された障害物を、所定時間以上停止している場合に静止障害物と判定し、所定時間以上停止していない場合には移動障害物と判定する障害物判定手段と、障害物検出手段による検出結果と障害物判定手段による判定結果とに基づき、静止障害物に対応した静止障害物画像、移動障害物に対応した移動障害物画像、および作業機械に対応した作業機械画像を、運転室内に設けられた表示用モニタに互いに異なった形態で表示する監視コントローラとを備えることを特徴とする。
障害物検出手段により検出された障害物が、障害物判定手段により移動障害物から静止障害物になったと判定される場合、この障害物に対応する移動障害物画像を静止障害物画像に変更し、障害物判定手段により静止障害物が移動障害物になったと判定される場合には、この障害物に対応する静止障害物画像を移動障害物画像に変更する表示変更手段を設けるようにしてもよい。
この場合、監視コントローラが、障害物検出手段により検出された障害物が人であるか否かを判別する判別手段を有し、判別手段により障害物が人と判定される場合には、障害物検出手段により検出された障害物が移動障害物から静止障害物になったと判定されても、表示変更手段による静止障害物画像への表示変更を行わないことが好ましい。
作業機械の周囲の動画を撮影する撮影手段を有し、静止障害物画像および移動障害物画像に、撮影手段で撮影された画像を重ねて表示することもできる。
本発明によれば、作業機械の周囲の障害物が静止障害物か移動障害物かを判定し、移動障害物画像と静止障害物画像を異なる形態で表示用モニタに表示するようにしたので、作業機械の周囲に複数の障害物が存在する場合に、その周囲の障害物の状況を運転者に適切に報知できる。
−第1の実施の形態−
以下、図1〜図16を参照して本発明による作業機械の周囲監視装置の第1の実施の形態について説明する。
図1は、本発明の第1の実施の形態に係る周囲監視装置が適用される作業機械としての油圧ショベルの一例を示す斜視図である。油圧ショベルは、フロント作業機10と車体20とを有する。車体20は、左右一対の下部走行体21と、下部走行体21の上方に旋回可能に搭載された上部旋回体22とを備え、上部旋回体22には運転室23が設けられている。
フロント作業機10は、上部旋回体22の前部に回動可能に軸支されたブーム11と、ブーム先端部に回動可能に軸支されたアーム12と、アーム先端部に回動可能に軸支されたバケット13とを有する。ブーム11、アーム12、バケット13はそれぞれブームシリンダ14、アームシリンダ15、バケットシリンダ16により支持され、各シリンダ14〜16の伸縮によってそれぞれ車幅方向に対し垂直面内で回動する。左右の下部走行体21は、それぞれ走行用油圧モータ24,25(図2)の駆動により走行し、上部旋回体22は、旋回用油圧モータ26(図2)の駆動により旋回する。
図2は、図1の油圧ショベルを上方から見た外観図である。図1,2に示すように上部旋回体22の左右側面および前後面にはそれぞれ障害物検出器31〜34が設けられている。障害物検出器31〜34は、周囲の作業員や構造物などの障害物を検出し、その距離と方向から障害物の位置(相対位置)を得るセンサであり、例えばレーザレーダにより構成される。図2には、障害物検出器31〜34による監視可能な範囲(監視範囲)31a〜34aを示す。監視範囲31a〜34a内には警報を発生する範囲(警報範囲)31b〜34bがそれぞれ設定されている。なお、障害物検出器31〜33は上部旋回体22の左右側面および後面のほぼ中央に、障害物検出器34はブーム11を挟んで運転室23の反対側に設けられている。
各障害物検出器31〜34の上方には、それぞれ障害物検出器31〜34に対応して監視カメラ35〜38が搭載されている。監視カメラ35〜38は、例えばCCDなどの撮像素子を有するビデオカメラであり、電源オン時に常時油圧ショベルの周囲の動画を撮影する。監視カメラ35〜38は障害物検出器31〜34の検出方向と同一方向を向いており、障害物検出器31〜34によって検出された障害物の画像を監視カメラ35〜38で撮影できる。
図3は、第1の形態に係る周囲監視装置の制御システム構成を示すブロック図である。周囲監視装置は監視コントローラ40と車体コントローラ50とを備える。監視コントローラ40は障害物判定部41と画像生成部42と地図生成部43とを有し、車体コントローラは50は車体制御部51を有する。なお、コントローラ40,50は、CPU,ROM,RAM,その他の周辺回路などを有する演算処理装置を含んで構成される。
車体制御部51には、ブーム11の回動角を検出する角度検出器52と、アーム12の回動角を検出する角度検出器53と、バケット13の回動角を検出する角度検出器54と、上部旋回体22の旋回角を検出する旋回角検出器55と、走行速度を検出する走行速度検出器56と、油圧アクチュエータ14〜16,24〜26に駆動指令を入力する操作レバー57〜60からの信号がそれぞれ入力される。
操作レバー57〜60は例えば電気レバーにより構成され、操作レバー57,58の操作量に応じてシリンダ14〜16と旋回モータ24が制御され、操作レバー59,60の操作量に応じて走行モータ25,26が制御される。車体制御部51には、予め作業機械の形状や寸法などの幾何学情報が記憶されている。車体制御部51は、各検出器50〜56からの信号と作業機械の幾何学情報とに基づき車体姿勢を演算し、姿勢情報を監視コントローラ40に送信する。
障害物判定部41は、障害物検出器31〜34の検出した障害物位置情報に基づき、静止障害物か移動障害物かを判定するとともに、移動障害物が警報範囲31b〜34b(図2)内に存在するか否かを判定する。そして、その判定結果に応じて警報音発生装置44に制御信号を出力し、運転室内に警報を発生する。
地図生成部43は、障害物判定部41から静止障害物の位置情報を入力し、この位置情報に基づき周囲地図を作成する。
画像生成部42は、地図生成部43で作成した周囲地図、障害物判定部41で取得した障害物位置情報、車体コントローラ50からの姿勢情報、および監視カメラ35〜38からのカメラ画像に基づき、監視画像を得るための画像信号を生成する。そして、この画像信号を表示装置45に出力し、運転室内の表示モニタに監視画像を表示する。
上述の監視コントローラ40における処理を図を用いて説明する。図4は、障害物判定部41における処理の一例を示すフローチャートである。このフローチャートは、例えば上部旋回体22が旋回を停止し、かつ下部走行体21が走行を停止している状態において、障害物検出器31〜34により監視範囲31a〜34a内への障害物の侵入が検出されるとスタートし、所定の周期で繰り返される。ステップS101では、障害物検出器31〜34により検出された障害物位置情報を取得する。ここで取得した障害物位置情報は一定時間tコントローラ40に記憶される。
ステップS102では、地図生成部43で作成した周囲地図を読み出し、周囲地図と障害物位置情報とを比較する。そして、比較の結果、両者に差分があれば新たな障害物として抽出する。ステップS103では、抽出された障害物が過去の一定時間tにさかのぼって同様に存在し続けているか否かを判定する。ステップS103が肯定されるとステップS104に進み、抽出した障害物を静止障害物と判定し、この障害物位置情報を地図生成部43に出力し、処理を終了する。
ステップS103が否定されるとステップS105に進み、抽出した障害物を移動障害物と判定し、この障害物位置情報を画像生成部42に出力する。ステップS106では、移動障害物が警報範囲31b〜34bの内側に存在するか否かを判定する。ステップS106が肯定されるとステップS107に進み、否定されると処理を終了する。ステップS107では、警報音発生装置44に制御信号を出力し、警報音を発生させる。なお、ステップS107で車体コントローラ50に制御指令を出力し、警報音の発生と同時に油圧アクチュエータ14〜16,24〜26の駆動を制限し、障害物との接触を回避するようにしてもよい。
図5は、地図生成部43における処理の一例を示すフローチャートである。このフローチャートは、例えばエンジンキースイッチのオンによりスタートし、所定の周期で繰り返される。ステップS201では、後述のステップS203で得られた周囲地図を障害物判定部41に出力する(ステップS102に対応)。ステップS202では、障害物判定部41からの信号(ステップS104)により静止障害物が検出されたか否かを判定する。
ステップS202が肯定されるとステップS203に進み、否定されるとステップS203をパスしてステップS204に進む。ステップS203では、静止障害物位置情報を周囲地図に追加する。なお、エンジンキースイッチオン直後の初期状態では、地図生成部43は周囲地図の情報を有しておらず、その後、障害物判定部41から出力される静止障害物位置情報(ステップS104)により周囲地図が作成される。周囲地図が作成された後、静止障害物情報が新たに追加されると、周囲地図は修正される。ステップS204では、画像生成部42に周囲地図を出力し、処理を終了する。
図6は、画像生成部42における処理の一例を示すフローチャートである。このフローチャートは、例えばエンジンキースイッチのオンによりスタートし、所定の周期で繰り返される。ステップS301では、地図生成部43から周囲地図を取得する(ステップS204に対応)。ステップS302では、障害物判定部41から移動障害物位置情報を取得する(ステップS105に対応)。ステップS303では、車体コントローラ50からの姿勢情報を取得する。ステップS304では、監視カメラ35〜38からカメラ画像を取得する。ステップS305では、ステップS301〜ステップS304で取得した周囲地図、移動障害物位置情報、姿勢情報、およびカメラ画像に基づき画像信号を生成し、この画像信号を表示装置45に出力して処理を終了する。
ここで、例えば図7に示すように作業現場で作業をする場合に、表示装置45に表示される監視画像について説明する。図7では、作業現場がブロックなどの仕切り70によって区画されており、この作業現場内で油圧ショベル71が土砂の掘削や積み込み作業を行う。作業現場には作業員72や積み込み土砂運搬のためのトラック73が出入りする。
図8は、表示装置45のモニタに表示される監視画像の一例を示す図である。モニタは複数の画面に分割され、画面中心の表示領域61には、油圧ショベル71を中心としたその周囲の平面視の画像(イラスト画像)が表示される。イラスト画像の左側、下側、右側、上側の各表示領域62〜65には、それぞれ監視カメラ35〜38からのカメラ画像がそのまま表示される。
表示領域61のイラスト画像について詳しく説明する。イラスト画像の表示は時間経過に伴い変化する。図9は、作業現場内で油圧ショベル71を始動した直後のイラスト画像を示す図である。表示領域61の中央には油圧ショベル71のイラスト91が表示される。油圧ショベル71の始動直後は、地図生成部43は周囲地図の情報を有していない。また、障害物の検出から一定時間tが経過するまでは、障害物検出器31〜34で検出した障害物(仕切り70)は移動障害物と判定される(ステップS105)。このため、初期状態では図9に示すように仕切り70は移動障害物を表すマーク80(太線)で表示される。この移動障害物のマーク80は静止障害物のマーク90(図10)よりも強調して表示される。
その後、一定時間tが経過すると、障害物判定部41により仕切り70は静止障害物と判定され(ステップS104)、地図生成部43では油圧ショベル71から見て仕切り70の奥方の領域を静止障害物とした周囲地図が作成される(ステップS203)。これにより図10に示すように表示領域61には、仕切り70を境にした静止障害物のマーク90(ハッチング)が周囲地図として表示される。
この状態で、油圧ショベル71の上部旋回体22が左に90°旋回すると、表示領域61の監視画像は図11に示すようになる。図11では、上部旋回体22のイラスト91aを固定とし、下部走行体21のイラスト91bおよび周囲地図を表す静止障害物のマーク90が旋回方向と逆方向に回転している。すなわち上部旋回体22の旋回中は障害物判定部41での処理が行われないため、旋回前の周囲地図の画像が上部旋回体22を基準として90°回転した状態でそのまま表示される。この場合、図11のように上部旋回体22の向きを固定した画像とすることで、運転室内の作業員を基準にしたイラスト画像が得られる。
図10の状態において、例えば油圧ショベル71の後方に作業員72が接近すると、障害物検出器31〜34は作業員72を検出し、障害物判定部41は移動障害物ありと判定する(ステップS105)。これにより図12に示すように、油圧ショベルのイラスト91の後方に、移動障害物を表すマーク92(太線)が表示される。この場合、障害物検出器31〜34で検出された障害物の位置座標を太線で表示するため、マーク92は油圧ショベル71に面した作業員72の輪郭に相当する形状となる。
作業員72が障害物検出器31〜34により検出された後、さらに作業員72が警報範囲31b〜34b内に侵入すると、安全装置が作動して警報音発生装置44から警報が発生するととともに、車体制御部51での処理により油圧ショベルの動作が制限される。
また、図10の状態において、例えば油圧ショベルの側方にトラック73が接近すると、障害物検出器31〜34はトラック73を検出し、障害物判定部41は移動障害物ありと判定する。これにより図13に示すように、油圧ショベルのイラスト91の側方に、移動障害物を表すマーク93(太線)が表示される。このマーク93は油圧ショベル71に面したトラック73の輪郭を表し、マーク93の表示範囲は図12のマーク92の表示範囲よりも広い。
トラック73が土砂等の積み込み待ちで停車し、図13の状態が一定時間t継続すると、障害物判定部41はトラック73を静止障害物と判定する。これにより静止障害物情報が新たに周囲地図に追加され、図14に示すように周囲地図の画像90の形状が変化する。その後、土砂等を積み込むため、油圧ショベル71が左方向に90°旋回すると、図15に示すように周囲地図が90°回転して表示される。
土砂の積み込みが終わり、トラック73が動き出すと、トラック73は障害物判定部41により移動障害物と判定される。これにより図16に示すように周囲地図の画像90から静止障害物としてのトラック73の画像が取り除かれ、表示領域61には新たに移動障害物を示すマーク93が表示される。
以上の第1の実施の形態によれば、以下のような作用効果を奏することができる。
(1)障害物検出器31〜34によって検出された障害物が静止障害物か移動障害物かを判定し、これら障害物の画像90,92,93を油圧ショベル71のイラスト91の周囲に表示するとともに、静止障害物と移動障害物とで表示形態を変更するようにした。これにより作業機械の周囲に複数の障害物が存在している場合に、その障害物の状況を適切に報知できる。その結果、運転者は各障害物の接近状態等を即座に判断することができ、作業時の安全性が高まる。
(2)移動障害物を表すマーク92,93を、静止障害物を表すマーク90よりも強調して表示するようにしたので、移動障害物の接近時には運転者により一層の注意を喚起できる。
(3)監視範囲内でトラック73が一定時間以上停車していると、静止障害物と判定し、障害物のマーク表示を変更するようにした。これによりトラック73が油圧ショベル71に接近しないで停車している場合には、運転者はトラック73の存在に対し過大な注意を払う必要がなく、運転者の負担が軽減し、作業効率が向上する。
(4)表示装置45のモニタに監視画像とともにカメラ画像を併せて表示するようにしたので、検出された障害物が何であるかを運転者は容易に認識できる。
なお、第1の実施の形態において、障害物検出器31〜34によって検出された障害物が作業員72であるか否かを障害物判定部41で判別し、作業員72と判別された場合には、常に移動障害物のマーク92で表すようにし、静止状態が一定時間以上継続しても静止障害物のマーク90に表示を変更しないようにしてもよい。これにより運転者は常に作業員72の存在を認識して作業を行うことができるため、安全性が向上する。障害物検出器31〜34によって検出された障害物が作業員か否かの判別は、例えば障害物検出器31〜34によって検出される作業員の輪郭のパターンを予めコントローラ40に記憶し、このパターンと検出された障害物情報とを比較して行えばよい。GPS受信機を作業員72に携帯させてGPS受信機からの信号により作業員の位置情報を取得し、この位置情報を障害物検出器31〜34の検出結果に照合して作業員の判別を行うようにしてもよい。
−第2の実施の形態−
図17を参照して本発明による作業機械の周囲監視装置の第2の実施の形態について説明する。
第2の実施の形態が第1の実施の形態と異なるのは、表示装置45のモニタに表示される監視画像の構成である。すなわち、第1の実施の形態では、イラスト画像の周囲にカメラ画像を表示したが、第2の実施の形態ではイラスト画像にカメラ画像を重ねて表示する。なお、以下では第1の実施の形態との相違点を主に説明する。
第2の実施の形態に係る周囲監視装置による監視画像の一例を図17に示す。第2の実施の形態では、第1の実施の形態のように表示領域を複数に分割しておらず、監視画像は一画面に拡大して表示される。監視カメラ35〜38で取得したカメラ画像は、画像生成部42での処理により、油圧ショベルの上方から視た画像である俯瞰視点画像に変換される。例えば、仕切り70とトラック73を静止障害物、作業員72を移動障害物とした場合は、図17に示すように俯瞰視点画像は、周囲地図の画像90と移動障害物のマーク92に重ね合わせて表示される。
このように第2の実施の形態では、カメラ画像を俯瞰視点変換した画像をイラスト画像に重ねて表示するので、静止障害物が何であるか、移動障害物が何であるかを運転者は容易に認識できる。このため、周囲の状況を的確に把握でき、作業安全性が向上する。
なお、上記実施の形態では、レーザレーダにより障害物を検出したが、ミリ波レーダ、超音波センサや赤外線センサなどの近接センサ、画像処理などによって車体周囲の障害物を検出してもよく、障害物検出手段は上述したものに限らない。障害物判定部41での処理により移動障害物と静止障害物を判定したが、障害物が所定時間以上停止していると静止障害物と判定し、所定時間以上停止していないと移動障害物と判定するのであれば、障害物判定手段の構成はいかなるものでもよい。
上記実施の形態では、障害物検出器31〜34により障害物の位置を検出するとともに、障害物検出器31〜34からの信号により障害物が移動障害物か固定障害物かを判定し、監視コントローラ40での処理により表示装置45のモニタに作業機械のイラスト91と静止障害物のマークと移動障害物のマークを表示させるようにしたが、障害物の検出結果と障害物の判定結果に基づき、静止障害物画像、移動障害物画像、および作業機械画像を互いに異なった形態で表示するのであれば、監視コントローラの構成は上述したものに限らない。
上記実施の形態では、移動障害物(例えばトラック73)が一定時間静止すると、移動障害物のマーク93から静止障害物のマーク90へと表示を変更するようにしたが、この表示変更を時間経過に伴い段階的に行うようにしてもよい。例えば、時間経過により表示を徐々に薄くする、あるいは表示カラーを徐々に濃い色から薄い色に変更するようにしてもよい。移動障害物から静止障害物へ変化したと判定された際に、静止障害物のマーク表示を点滅するようにしてもよく、この場合には時間経過に伴い点滅の周期を徐々に早めるようにすればよい。移動障害物が静止障害物になったと判定されたときも、同様に段階的に表示を変更してもよい。すなわち表示変更手段としてのコントローラ40の構成は上述したものに限らない。
障害物検出器31〜34の上方に監視カメラ35〜38を設けて動画を撮影するようにしたが、作業機械の周囲の動画を撮影するのであれば撮影手段の構成はこれに限らない。上記実施の形態では、油圧ショベルに本発明を適用した場合について説明したが、他の作業機械にも同様に本発明を適用可能である。すなわち、本発明の特徴、機能を実現できる限り、本発明は実施の形態の周囲監視装置に限定されない。
本発明の実施の形態に係る周囲監視装置が適用される油圧ショベルの一例を示す側面図。 図1の油圧ショベルを上方から見た外観図。 本発明の第1の形態に係る周囲監視装置の制御システム構成を示すブロック図。 図3の障害物判定部における処理の一例を示すフローチャート。 図3の地図生成部における処理の一例を示すフローチャート。 図3の画像生成部における処理の一例を示すフローチャート。 作業現場状況の一例を示す図。 表示装置の監視画面を示す図。 第1の実施の形態に係る周囲監視装置による監視画像の一例を示す図。 図9の状態から所定時間が経過した状態の監視画像を示す図。 図10の状態からさらに上部旋回体が90°回転した状態の監視画像を示す図。 作業機械の後方に作業員が存在する場合の監視画像を示す図。 作業機械の側方にトラックが存在する場合の監視画像を示す図。 図13の状態から所定時間が経過した状態の監視画像を示す図。 図14の状態からさらに上部旋回体が90°回転した状態の監視画像を示す図。 トラックが移動を開始した状態の監視画像を示す図。 第2の実施の形態に係る周囲監視装置による監視画像の一例を示す図。
符号の説明
31〜34 障害物検出器
35〜38 監視カメラ
40 監視コントローラ
41 障害物判定部
42 画像生成部
43 地図生成部
45 表示装置
90 静止障害物
92 移動障害物(作業員)
93 移動障害物(トラック)

Claims (4)

  1. 作業機械の周囲の障害物を監視する周囲監視装置において、
    作業機械に対する障害物の相対位置を検出する障害物検出手段と、
    前記障害物検出手段により検出された障害物を、所定時間以上停止している場合に静止障害物と判定し、所定時間以上停止していない場合には移動障害物と判定する障害物判定手段と、
    前記障害物検出手段による検出結果と前記障害物判定手段による判定結果とに基づき、前記静止障害物に対応した静止障害物画像、前記移動障害物に対応した移動障害物画像、および前記作業機械に対応した作業機械画像を、運転室内に設けられた表示用モニタに互いに異なった形態で表示する監視コントローラとを備えることを特徴とする作業機械の周囲監視装置。
  2. 請求項1に記載の作業機械の周囲監視装置において、
    前記監視コントローラは、前記障害物検出手段により検出された障害物が、前記障害物判定手段により前記移動障害物から前記静止障害物になったと判定される場合に、この障害物に対応する前記移動障害物画像を前記静止障害物画像に変更し、前記障害物判定手段により前記静止障害物が前記移動障害物になったと判定される場合には、この障害物に対応する前記静止障害物画像を前記移動障害物画像に変更する表示変更手段を有することを特徴とする作業機械の周囲監視装置。
  3. 請求項2に記載の作業機械の周囲監視装置において、
    前記監視コントローラは、前記障害物検出手段により検出された障害物が人であるか否かを判別する判別手段を有し、
    前記判別手段により障害物が人と判定される場合には、前記障害物検出手段により検出された障害物が前記移動障害物から前記静止障害物になったと判定されても、前記表示変更手段による前記静止障害物画像への表示変更を行わないことを特徴とする作業機械の周囲監視装置。
  4. 請求項1〜3のいずれか1項に記載の作業機械の周囲監視装置において、
    作業機械の周囲の動画を撮影する撮影手段を有し、
    前記監視コントローラは、前記静止障害物画像および前記移動障害物画像に、前記撮影手段で撮影された画像を重ねて表示することを特徴とする作業機械の周囲監視装置。
JP2007000454A 2007-01-05 2007-01-05 作業機械の周囲監視装置 Expired - Fee Related JP4996928B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007000454A JP4996928B2 (ja) 2007-01-05 2007-01-05 作業機械の周囲監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007000454A JP4996928B2 (ja) 2007-01-05 2007-01-05 作業機械の周囲監視装置

Publications (2)

Publication Number Publication Date
JP2008163719A true JP2008163719A (ja) 2008-07-17
JP4996928B2 JP4996928B2 (ja) 2012-08-08

Family

ID=39693541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007000454A Expired - Fee Related JP4996928B2 (ja) 2007-01-05 2007-01-05 作業機械の周囲監視装置

Country Status (1)

Country Link
JP (1) JP4996928B2 (ja)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
JP2012001995A (ja) * 2010-06-18 2012-01-05 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
WO2012043522A1 (ja) * 2010-09-29 2012-04-05 日立建機株式会社 作業機械の周囲監視装置
JP2012127059A (ja) * 2010-12-13 2012-07-05 Toho Gas Co Ltd 工事車両支援システム
JP2013073514A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 画像生成方法、画像生成装置、及び操作支援システム
WO2013112016A1 (ko) * 2012-01-27 2013-08-01 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
KR20130087361A (ko) * 2012-01-27 2013-08-06 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
WO2013145878A1 (ja) 2012-03-29 2013-10-03 住友建機株式会社 作業機械用周辺監視装置
KR101322201B1 (ko) * 2013-03-28 2013-10-28 (주)영신디엔씨 건설용 중장비 접근 감시 시스템
WO2014045459A1 (ja) * 2012-09-21 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
JP2014133560A (ja) * 2014-04-07 2014-07-24 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP2014173258A (ja) * 2013-03-06 2014-09-22 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械の始動許可装置、建設機械の始動許可方法
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2014222877A (ja) * 2014-06-04 2014-11-27 株式会社小松製作所 作業車両の周辺監視装置
JP2015021246A (ja) * 2013-07-17 2015-02-02 日立建機株式会社 作業機械の周囲監視装置
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
JP2015229836A (ja) * 2014-06-03 2015-12-21 住友重機械工業株式会社 建設機械用物体検知システム
EP2631374A4 (en) * 2010-10-22 2016-01-20 Hitachi Construction Machinery DEVICE FOR PERIPHERAL CONTROL OF WORKING MACHINE
JP2016169595A (ja) * 2016-04-11 2016-09-23 日立建機株式会社 作業機械の周囲監視装置
US9457719B2 (en) 2012-09-21 2016-10-04 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
CN106436790A (zh) * 2016-12-06 2017-02-22 林东星 一种装载挖掘一体机
CN107079089A (zh) * 2015-03-31 2017-08-18 株式会社小松制作所 作业机械的周边监视装置
JP2017193959A (ja) * 2017-08-03 2017-10-26 住友建機株式会社 ショベル
WO2017188230A1 (ja) * 2016-04-28 2017-11-02 コベルコ建機株式会社 建設機械
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
US9956915B2 (en) 2011-06-07 2018-05-01 Komatsu Ltd. Dump truck periphery monitoring apparatus
JPWO2017033991A1 (ja) * 2015-08-26 2018-06-14 住友建機株式会社 ショベルの計測装置
CN108608980A (zh) * 2018-06-05 2018-10-02 徐工集团工程机械有限公司 工程车辆及其控制方法
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置
JP2018160783A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラム
JP2018159194A (ja) * 2017-03-22 2018-10-11 コベルコ建機株式会社 建設機械
JP2019007347A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル
JP2019007348A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル
WO2019059089A1 (ja) * 2017-09-22 2019-03-28 株式会社日立国際電気 映像監視システム
JP2019525039A (ja) * 2016-07-27 2019-09-05 キャタピラー トリンブル コントロール テクノロジーズ、 エルエルシー 掘削器具の機首方位制御
WO2020012911A1 (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020056301A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
JP2020056169A (ja) * 2018-09-28 2020-04-09 東起業株式会社 地上及び地下での接近報知機能を備え、かつ新規埋設物の施工デ−タを取得可能な建設機械
JP2020056302A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
JP2020056300A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
KR20200133719A (ko) * 2018-03-26 2020-11-30 스미토모 겐키 가부시키가이샤 쇼벨
JP2021055381A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 領域設定支援システムおよびこれを搭載した作業車両
WO2022059334A1 (ja) * 2020-09-15 2022-03-24 株式会社小松製作所 作業車両
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
WO2022202855A1 (ja) * 2021-03-22 2022-09-29 住友建機株式会社 建設機械及び建設機械用支援装置
WO2023190704A1 (ja) * 2022-03-30 2023-10-05 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP2002327470A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 作業機械の表示装置
JP2003030627A (ja) * 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2004356845A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006252389A (ja) * 2005-03-14 2006-09-21 Aisin Seiki Co Ltd 周辺監視装置
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP2002327470A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 作業機械の表示装置
JP2003030627A (ja) * 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2004356845A (ja) * 2003-05-28 2004-12-16 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006252389A (ja) * 2005-03-14 2006-09-21 Aisin Seiki Co Ltd 周辺監視装置
WO2006106685A1 (ja) * 2005-03-31 2006-10-12 Hitachi Construction Machinery Co., Ltd. 作業機械の周囲監視装置

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP5395266B2 (ja) * 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
JP2012001995A (ja) * 2010-06-18 2012-01-05 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
US9332229B2 (en) 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JPWO2011158955A1 (ja) * 2010-06-18 2013-08-19 日立建機株式会社 作業機械の周囲監視装置
WO2012043522A1 (ja) * 2010-09-29 2012-04-05 日立建機株式会社 作業機械の周囲監視装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
EP2631374A4 (en) * 2010-10-22 2016-01-20 Hitachi Construction Machinery DEVICE FOR PERIPHERAL CONTROL OF WORKING MACHINE
JP2012127059A (ja) * 2010-12-13 2012-07-05 Toho Gas Co Ltd 工事車両支援システム
EP2712969A4 (en) * 2011-05-13 2015-04-29 Hitachi Construction Machinery DEVICE FOR MONITORING THE AREA OF A WORKING MACHINE
US10321097B2 (en) 2011-06-07 2019-06-11 Komatsu Ltd. Perimeter monitoring device for work vehicle
US9497422B2 (en) 2011-06-07 2016-11-15 Komatsu Ltd. Perimeter monitoring device for work vehicle
JP2016035791A (ja) * 2011-06-07 2016-03-17 株式会社小松製作所 作業車両の周辺監視装置
US9956915B2 (en) 2011-06-07 2018-05-01 Komatsu Ltd. Dump truck periphery monitoring apparatus
JP2014180046A (ja) * 2011-06-07 2014-09-25 Komatsu Ltd 作業車両の周辺監視装置
JP2013073514A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 画像生成方法、画像生成装置、及び操作支援システム
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
KR20130087361A (ko) * 2012-01-27 2013-08-06 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
KR102023196B1 (ko) * 2012-01-27 2019-09-19 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
WO2013112016A1 (ko) * 2012-01-27 2013-08-01 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
US20140118533A1 (en) * 2012-01-27 2014-05-01 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
CN103649426A (zh) * 2012-01-27 2014-03-19 斗山英维高株式会社 建筑机械的操作安全性提高装置
EP2808455A4 (en) * 2012-01-27 2016-01-27 Doosan Infracore Co Ltd DEVICE IMPROVING THE OPERATING STABILITY OF WORKPLACE MACHINERY
JP2013159930A (ja) * 2012-02-02 2013-08-19 Sumitomo Heavy Ind Ltd 周囲監視装置
US9715015B2 (en) 2012-03-29 2017-07-25 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Periphery-monitoring device for working machines
WO2013145878A1 (ja) 2012-03-29 2013-10-03 住友建機株式会社 作業機械用周辺監視装置
US9457719B2 (en) 2012-09-21 2016-10-04 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
CN103827942A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
CN103827942B (zh) * 2012-09-21 2015-07-08 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
WO2014045459A1 (ja) * 2012-09-21 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP2014094580A (ja) * 2012-09-21 2014-05-22 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
US9415722B2 (en) 2012-09-21 2016-08-16 Komatsu Ltd. Working vehicle perimeter monitoring system and working vehicle
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
JP2014173258A (ja) * 2013-03-06 2014-09-22 Sumitomo (Shi) Construction Machinery Co Ltd 建設機械の始動許可装置、建設機械の始動許可方法
KR101322201B1 (ko) * 2013-03-28 2013-10-28 (주)영신디엔씨 건설용 중장비 접근 감시 시스템
JP2015021246A (ja) * 2013-07-17 2015-02-02 日立建機株式会社 作業機械の周囲監視装置
JP2014133560A (ja) * 2014-04-07 2014-07-24 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP2014161087A (ja) * 2014-04-17 2014-09-04 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
JP2015229836A (ja) * 2014-06-03 2015-12-21 住友重機械工業株式会社 建設機械用物体検知システム
JP2014222877A (ja) * 2014-06-04 2014-11-27 株式会社小松製作所 作業車両の周辺監視装置
CN107079089B (zh) * 2015-03-31 2020-04-17 株式会社小松制作所 作业机械的周边监视装置
CN107079089A (zh) * 2015-03-31 2017-08-18 株式会社小松制作所 作业机械的周边监视装置
US11288827B2 (en) 2015-08-26 2022-03-29 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Measurement device of shovel
US10679371B2 (en) 2015-08-26 2020-06-09 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Measurement device of shovel
JP2019214933A (ja) * 2015-08-26 2019-12-19 住友建機株式会社 ショベル、ショベルの計測装置、及びショベルの管理装置
CN113463721A (zh) * 2015-08-26 2021-10-01 住友建机株式会社 挖土机、挖土机的测量装置及管理装置
JPWO2017033991A1 (ja) * 2015-08-26 2018-06-14 住友建機株式会社 ショベルの計測装置
JP2016169595A (ja) * 2016-04-11 2016-09-23 日立建機株式会社 作業機械の周囲監視装置
WO2017188230A1 (ja) * 2016-04-28 2017-11-02 コベルコ建機株式会社 建設機械
US10876275B2 (en) 2016-04-28 2020-12-29 Kobelco Construction Machinery Co., Ltd. Construction machine
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械
JP2019525039A (ja) * 2016-07-27 2019-09-05 キャタピラー トリンブル コントロール テクノロジーズ、 エルエルシー 掘削器具の機首方位制御
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
US10907324B2 (en) 2016-07-28 2021-02-02 Kobe Steel, Ltd. Construction machine
WO2018020950A1 (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
CN106436790A (zh) * 2016-12-06 2017-02-22 林东星 一种装载挖掘一体机
CN106436790B (zh) * 2016-12-06 2018-07-13 林东星 一种装载挖掘一体机
JP2018157449A (ja) * 2017-03-21 2018-10-04 株式会社フジタ 建設機械用俯瞰画像表示装置
JP2018160783A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラム
JP2018159194A (ja) * 2017-03-22 2018-10-11 コベルコ建機株式会社 建設機械
JP2017193959A (ja) * 2017-08-03 2017-10-26 住友建機株式会社 ショベル
JPWO2019059089A1 (ja) * 2017-09-22 2020-09-17 株式会社日立国際電気 映像監視システム
WO2019059089A1 (ja) * 2017-09-22 2019-03-28 株式会社日立国際電気 映像監視システム
KR20200133719A (ko) * 2018-03-26 2020-11-30 스미토모 겐키 가부시키가이샤 쇼벨
KR102638315B1 (ko) * 2018-03-26 2024-02-16 스미토모 겐키 가부시키가이샤 쇼벨
CN108608980A (zh) * 2018-06-05 2018-10-02 徐工集团工程机械有限公司 工程车辆及其控制方法
JP7091896B2 (ja) 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020007867A (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
US11946228B2 (en) 2018-07-12 2024-04-02 Kobelco Construction Machinery Co., Ltd. Safety device for revolving-type work machine
WO2020012911A1 (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020056169A (ja) * 2018-09-28 2020-04-09 東起業株式会社 地上及び地下での接近報知機能を備え、かつ新規埋設物の施工デ−タを取得可能な建設機械
JP2019007347A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル
JP2019007348A (ja) * 2018-10-09 2019-01-17 住友建機株式会社 ショベル
JP2022040146A (ja) * 2018-10-09 2022-03-10 住友建機株式会社 ショベル
JP2021055381A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 領域設定支援システムおよびこれを搭載した作業車両
JP7321047B2 (ja) 2019-09-30 2023-08-04 日立建機株式会社 作業車両
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP2020056300A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
JP2020056302A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
JP2020056301A (ja) * 2019-12-12 2020-04-09 住友建機株式会社 ショベル
WO2022059334A1 (ja) * 2020-09-15 2022-03-24 株式会社小松製作所 作業車両
KR20230045076A (ko) 2020-09-15 2023-04-04 가부시키가이샤 고마쓰 세이사쿠쇼 작업 차량
DE112021003621T5 (de) 2020-09-15 2023-04-27 Komatsu Ltd. Arbeitsfahrzeug
WO2022202855A1 (ja) * 2021-03-22 2022-09-29 住友建機株式会社 建設機械及び建設機械用支援装置
WO2023190704A1 (ja) * 2022-03-30 2023-10-05 住友重機械建機クレーン株式会社 作業機械の周囲監視装置

Also Published As

Publication number Publication date
JP4996928B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4996928B2 (ja) 作業機械の周囲監視装置
JP4776491B2 (ja) 作業機械の周囲監視装置
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
KR101895830B1 (ko) 작업 기계의 주변 감시 장치
JP6727971B2 (ja) 作業車
JP6267972B2 (ja) 作業機械の周囲監視装置
JP5227841B2 (ja) 周囲監視装置
JP2010112100A (ja) 作業機械の監視装置
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
JP2008179940A (ja) 作業機械の周囲監視装置
KR20140083137A (ko) 건설기계의 감지 장치 및 방법
JP6352797B2 (ja) 作業機械の周囲監視装置
JP7058582B2 (ja) 作業機械
JP2020012323A (ja) 作業機械
WO2019187560A1 (ja) 作業機械操縦装置
JP7009063B2 (ja) 作業機械用周辺監視システム
JP5032416B2 (ja) 運転支援装置
JP2023181369A (ja) 建設機械の障害物検出装置
JP7283070B2 (ja) 作業機械用周辺監視装置
JP7207127B2 (ja) 作業機械の周囲監視装置
CN114503549A (zh) 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
KR20140119911A (ko) 센서를 이용한 굴삭기의 후방 확인장치
JP7145137B2 (ja) 作業機械の制御装置
WO2021090678A1 (ja) 作業機械の周囲監視装置
JP7399836B2 (ja) 作業車両

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4996928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees