JP2010059653A - Visual field assisting device of working machine - Google Patents

Visual field assisting device of working machine Download PDF

Info

Publication number
JP2010059653A
JP2010059653A JP2008225178A JP2008225178A JP2010059653A JP 2010059653 A JP2010059653 A JP 2010059653A JP 2008225178 A JP2008225178 A JP 2008225178A JP 2008225178 A JP2008225178 A JP 2008225178A JP 2010059653 A JP2010059653 A JP 2010059653A
Authority
JP
Japan
Prior art keywords
image
traveling direction
visual field
display
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008225178A
Other languages
Japanese (ja)
Other versions
JP4977667B2 (en
Inventor
Hidefumi Ishimoto
英史 石本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2008225178A priority Critical patent/JP4977667B2/en
Publication of JP2010059653A publication Critical patent/JP2010059653A/en
Application granted granted Critical
Publication of JP4977667B2 publication Critical patent/JP4977667B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a visual field assisting device which enables an operator to easily grasp traveling-direction situations regardless of the revolving state of a revolving superstructure. <P>SOLUTION: This visual field assisting device includes: a plurality of imaging means 13a-13g which are provided in the revolving superstructure 1d revolvable with respect to travelling bodies 111L and 111R, and photograph an image of the periphery of a machine body in mutually different directions; determination means 4a-4d and 8a-8d for determining the traveling direction of the machine body on the basis of the revolving superstructure 1d; and a display control means 20 which displays the image through one of the imaging means 13a-13g photographing the image in the traveling direction determined by the determination means 4a-4d and 8a-8d among the plurality of imaging means 13a-13g, on a display monitor 50 provided in an operator's cab. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、作業機械の周囲の画像を表示する作業機械の視野補助装置に関する。   The present invention relates to a view assisting device for a work machine that displays an image around the work machine.

油圧ショベル等の旋回作業機械においては、旋回体に複数のカメラを搭載し、これらカメラによって撮像された画像を運転室内のモニタに表示するようにした装置が知られている(例えば特許文献1参照)。この特許文献1記載の装置では、旋回体に後方監視用のカメラと側方監視用のカメラを搭載し、旋回用操作レバーの非操作時に後方監視用のカメラの画像をモニタに表示し、旋回用操作レバーの操作時に後方監視用のカメラの画像から側方監視用のカメラの画像に画像表示を切り換える。   In a turning work machine such as a hydraulic excavator, a device is known in which a plurality of cameras are mounted on a turning body and images captured by these cameras are displayed on a monitor in a driver's cab (see, for example, Patent Document 1). ). In the apparatus described in Patent Document 1, a rear monitoring camera and a side monitoring camera are mounted on a revolving structure, and an image of the rear monitoring camera is displayed on the monitor when the turning operation lever is not operated. When the operation lever is operated, the image display is switched from the image of the rear monitoring camera to the image of the side monitoring camera.

特開2001−140286号公報JP 2001-140286 A

しかしながら、上記特許文献1記載の装置では、例えば旋回体が90°旋回している状態で走行する際には、モニタには機体の進行方向とは異なる後方監視用のカメラの画像が表示されるため、運転者は進行方向の状況を容易に把握することができない。   However, in the apparatus described in Patent Document 1, for example, when the revolving body travels in a state where the revolving body is rotated 90 °, an image of a rear monitoring camera different from the traveling direction of the airframe is displayed on the monitor. Therefore, the driver cannot easily grasp the situation in the traveling direction.

本発明による作業機械の視野補助装置は、走行体に対して旋回可能な旋回体に設けられ、機体の周囲の互いに異なる方向を撮像する複数の撮像手段と、旋回体を基準とした機体の進行方向を判定する判定手段と、複数の撮像手段のうち、判定手段で判定された進行方向を撮像する撮像手段からの画像を、運転室内に設けられた表示用モニタに表示する表示制御手段とを備える。   The visual field assisting device for a work machine according to the present invention is provided in a revolving body that can turn relative to a traveling body, and includes a plurality of imaging means for imaging different directions around the airframe, and the progress of the airframe based on the revolving body. A determination unit that determines a direction; and a display control unit that displays an image from an imaging unit that images a traveling direction determined by the determination unit among a plurality of imaging units on a display monitor provided in a driver's cab. Prepare.

本発明によれば、機体の進行方向を撮像する撮像手段からの画像を運転室内に設けられた表示用モニタに表示するようにしたので、運転者は進行方向の状況を容易に把握することができる。   According to the present invention, since the image from the imaging means for imaging the traveling direction of the aircraft is displayed on the display monitor provided in the driver's cab, the driver can easily grasp the situation in the traveling direction. it can.

−第1の実施の形態−
以下、図1〜図11を参照して本発明による作業機械の視野補助装置の第1の実施の形態について説明する。
図1は、第1の実施の形態に係る視野補助装置が適用される作業機械の一例としての油圧ショベルの外観を示す斜視図である。なお、以下では図示のように機体の前後左右方向を定義する。油圧ショベルは、フロント作業機1Aと車体1Bとを有する。車体1Bは、左右一対の下部走行体1eと、下部走行体1eの上方に旋回可能に搭載された上部旋回体1dとを備え、上部旋回体1dには運転室1fが設けられている。
-First embodiment-
A first embodiment of a visual field assisting device for a work machine according to the present invention will be described below with reference to FIGS.
FIG. 1 is a perspective view showing an appearance of a hydraulic excavator as an example of a work machine to which the visual field assisting apparatus according to the first embodiment is applied. In the following, the front-rear and left-right directions of the aircraft are defined as shown in the figure. The hydraulic excavator has a front work machine 1A and a vehicle body 1B. The vehicle body 1B includes a pair of left and right lower traveling bodies 1e and an upper swinging body 1d that is turnably mounted above the lower traveling body 1e. The upper swinging body 1d is provided with a cab 1f.

フロント作業機1Aは、上部旋回体1dの前部に回動可能に軸支されたブーム1aと、ブーム先端部に回動可能に軸支されたアーム1bと、アーム先端部に回動可能に軸支されたバケット1cとを有する。ブーム1a、アーム1b、バケット1cはそれぞれブームシリンダ3a、アームシリンダ3b、バケットシリンダ3cにより支持され、各シリンダ3a〜3cの伸縮によってそれぞれ車幅方向に対し垂直面内で回動する。左右の下部走行体1eは、それぞれ走行用油圧モータ3d,3e(図3)の駆動により走行し、上部旋回体1dは、旋回用油圧モータ3f(図3)の駆動により旋回する。   The front work machine 1A has a boom 1a that is pivotally supported at the front portion of the upper swing body 1d, an arm 1b that is pivotally supported at the tip of the boom, and is rotatable at the tip of the arm. The bucket 1c is pivotally supported. The boom 1a, the arm 1b, and the bucket 1c are supported by the boom cylinder 3a, the arm cylinder 3b, and the bucket cylinder 3c, respectively, and rotate in a vertical plane with respect to the vehicle width direction by expansion and contraction of the cylinders 3a to 3c. The left and right lower traveling bodies 1e travel by driving the traveling hydraulic motors 3d and 3e (FIG. 3), respectively, and the upper swing body 1d rotates by driving the turning hydraulic motor 3f (FIG. 3).

図2は、図1の油圧ショベルを上方から見た外観図である。図2に示すように上部旋回体1dの周囲には、機体の周囲を監視するための複数(図では7台)の監視用カメラ13a〜13gが取り付けられている。これらカメラ13a〜13gは、例えばCCDなどの撮像素子を有するビデオカメラであり、図1に示すように旋回体1dの上部に斜め下方に向けて取り付けられ、電源オン時に常時油圧ショベルの周囲の動画を撮影する。   FIG. 2 is an external view of the excavator of FIG. 1 as viewed from above. As shown in FIG. 2, a plurality of (seven in the figure) monitoring cameras 13a to 13g for monitoring the surroundings of the airframe are attached around the upper swing body 1d. These cameras 13a to 13g are video cameras having an image sensor such as a CCD, for example, and are attached obliquely downward to the upper part of the revolving body 1d as shown in FIG. Shoot.

図2に示すように、隣接するカメラ13a〜13g同士の水平方向の角度、例えばカメラ13aと13b、カメラ13bと13cの角度は45度づつ異なっている。各カメラ13a〜13gの視野範囲は図中の14a〜14gに示す通りであり、カメラ13a〜13gにより、前方を除く旋回体1dの周囲全体を撮影できる。すなわちカメラ13aにより旋回体1dの右前側方を、カメラ13bにより右側方を、カメラ13cにより右後側方を、カメラ13dにより後方を、カメラ13eにより左後側方を、カメラ13fにより左側方を、カメラ13gにより左前側方をそれぞれ撮影できる。なお、前方は運転者が直接目視可能であるので、前方にカメラは設けられていない。   As shown in FIG. 2, the horizontal angles between adjacent cameras 13 a to 13 g, for example, the angles of the cameras 13 a and 13 b and the cameras 13 b and 13 c are different by 45 degrees. The visual field range of each camera 13a-13g is as shown to 14a-14g in a figure, and the whole circumference | surroundings of the turning body 1d except the front can be image | photographed with the cameras 13a-13g. That is, the right front side of the swivel body 1d by the camera 13a, the right side by the camera 13b, the right rear side by the camera 13c, the rear side by the camera 13d, the left rear side by the camera 13e, and the left side by the camera 13f. The left front side can be photographed by the camera 13g. Since the driver can directly see the front, no camera is provided in front.

図3は、第1の実施の形態に係る視野補助装置の制御システム構成を示すブロック図である。視野補助装置は表示コントローラ20と車体コントローラ30とを備える。表示コントローラ20は、入力画像処理部21と出力画像生成部22とを有し、車体コントローラ30は、車体制御部31を有する。なお、各コントローラ20,30は、CPU,ROM,RAM,その他の周辺回路などを有する演算処理装置を含んで構成される。   FIG. 3 is a block diagram showing a control system configuration of the visual field assisting apparatus according to the first embodiment. The visual field assist device includes a display controller 20 and a vehicle body controller 30. The display controller 20 includes an input image processing unit 21 and an output image generation unit 22, and the vehicle body controller 30 includes a vehicle body control unit 31. Each of the controllers 20 and 30 includes an arithmetic processing unit having a CPU, ROM, RAM, and other peripheral circuits.

車体制御部31には、ブーム1aの回動角を検出する角度検出器8aと、アーム1bの回動角を検出する角度検出器8bと、バケット1cの回動角を検出する角度検出器8cと、上部旋回体1dの走行体1eに対する旋回角を検出する旋回角検出器8dと、油圧アクチュエータ3a〜3fに駆動指令を入力する操作レバー4a〜4d(例えば電気レバー)からの信号がそれぞれ入力される。   The vehicle body controller 31 includes an angle detector 8a that detects the rotation angle of the boom 1a, an angle detector 8b that detects the rotation angle of the arm 1b, and an angle detector 8c that detects the rotation angle of the bucket 1c. Then, signals from the turning angle detector 8d for detecting the turning angle of the upper turning body 1d with respect to the traveling body 1e and the operation levers 4a to 4d (for example, electric levers) for inputting drive commands to the hydraulic actuators 3a to 3f are respectively input. Is done.

操作レバー4a〜4dの操作信号は車体制御部31にて処理され、それぞれの操作量に応じて、対応するアクチュエータ3a〜3fが駆動される。車体制御部31には、予め作業機械の形状や寸法などの幾何学情報が記憶されており、車体制御部31は、操作レバー4a〜4dからの信号と角度検出器8a〜8dからの信号と作業機械の幾何学情報とを合わせた車体情報39を、表示コントローラ20に送信する。   The operation signals of the operation levers 4a to 4d are processed by the vehicle body control unit 31, and the corresponding actuators 3a to 3f are driven according to the respective operation amounts. The vehicle body control unit 31 stores in advance geometric information such as the shape and dimensions of the work machine. The vehicle body control unit 31 receives signals from the operation levers 4a to 4d and signals from the angle detectors 8a to 8d. The vehicle body information 39 combined with the geometric information of the work machine is transmitted to the display controller 20.

入力画像処理部21は、カメラ13a〜13gが撮影した画像を取り込み、処理を加えて出力画像生成部22に送信する。   The input image processing unit 21 captures images captured by the cameras 13 a to 13 g, adds the processing, and transmits the processed images to the output image generation unit 22.

出力画像生成部22は、入力画像処理部21から送信されたカメラ画像と、車体コントローラ30から送信された車体情報39とに基づき画像信号を生成する。そして、この画像信号を運転室内の表示装置50に出力し、表示装置50の表示用モニタに後述する機体の周囲の画像を表示する。   The output image generation unit 22 generates an image signal based on the camera image transmitted from the input image processing unit 21 and the vehicle body information 39 transmitted from the vehicle body controller 30. Then, this image signal is output to the display device 50 in the cab, and an image around the machine body described later is displayed on the display monitor of the display device 50.

図4は、走行状態における表示装置50の画面構成を示す図である。図4に示すように表示画像100は、作業機械を上方から見た外観画像110と、機体の周囲の俯瞰合成カメラ画像120と、複数のカメラ画像130a〜130gとにより構成される。   FIG. 4 is a diagram illustrating a screen configuration of the display device 50 in the traveling state. As shown in FIG. 4, the display image 100 includes an appearance image 110 when the work machine is viewed from above, an overhead composite camera image 120 around the machine body, and a plurality of camera images 130 a to 130 g.

外観画像110は、作業機械の機種毎に予め設定されたビットマップ画像により構成され、旋回体1dを表す旋回体画像を含む。外観画像110には、走行体1eを表す走行体画像111L,111Rが重ねて表示される。外観画像110は固定画像であるのに対し、走行体画像111L,111Rは、旋回体1dの旋回に伴い旋回中心113を中心に回転する。外観画像110には、機体の進行方向を矢印で表す矢印画像112が重ねて表示される。矢印画像112は、走行体画像111L,111Rとともに回転する。   The appearance image 110 is configured by a bitmap image set in advance for each model of the work machine, and includes a revolving body image representing the revolving body 1d. In the appearance image 110, traveling body images 111L and 111R representing the traveling body 1e are displayed in an overlapping manner. The appearance image 110 is a fixed image, while the traveling body images 111L and 111R rotate around the turning center 113 as the turning body 1d turns. On the appearance image 110, an arrow image 112 that represents the advancing direction of the aircraft with an arrow is displayed in an overlapping manner. The arrow image 112 rotates together with the traveling body images 111L and 111R.

俯瞰合成カメラ画像120は、各カメラ13a〜13gが撮影した画像を、機体の上方から見た画像である俯瞰視点画像に視点変換し、さらにこれらを繋ぎ合わせた画像であり、入力画像処理部21での処理によって得られる。この俯瞰合成カメラ画像120は、外観画像110に縮尺を合わせた状態で、外観画像110の周囲に重ねて表示される。   The overhead view composite camera image 120 is an image obtained by converting the images captured by the cameras 13 a to 13 g into an overhead view viewpoint image that is an image viewed from above the aircraft, and connecting these images. The input image processing unit 21 Is obtained by processing in The overhead view composite camera image 120 is displayed so as to be superimposed on the periphery of the appearance image 110 in a state where the scale is adjusted to the appearance image 110.

カメラ画像130a〜130gは、各カメラ13a〜13gが撮影した画像であり、各カメラ13a〜13gの取付位置に対応して、俯瞰合成カメラ画像120の周囲に表示される。すなわち旋回体画像113を基準にして右前側方(画面の右上)にカメラ13aからの画像130aが、右側方(画面の右)にカメラ13bからの画像130bが、右後側方(画面の右下)にカメラ13cからの画像130cが、後方(画面の下)にカメラ13dからの画像130dが、左後側方(画面の左下)にカメラ13eからの画像130eが、左側方(画面の左)にカメラ13fからの画像130fが、左前側方(画面の左上)にカメラ13gからの画像130gがそれぞれ表示される。なお、図4では全てのカメラ画像130a〜130gを示しているが、走行時には後述するように所定のカメラ画像のみが表示される。   The camera images 130a to 130g are images taken by the cameras 13a to 13g, and are displayed around the overhead view composite camera image 120 corresponding to the attachment positions of the cameras 13a to 13g. That is, the image 130a from the camera 13a is located on the right front side (upper right of the screen), the image 130b from the camera 13b is located on the right side (right of the screen), and the right rear side (right of the screen). The image 130c from the camera 13c is displayed on the lower side, the image 130d from the camera 13d is displayed rearward (bottom of the screen), the image 130e from the camera 13e is displayed on the left rear side (lower left of the screen), and the left side (left of the screen). ), An image 130f from the camera 13f is displayed on the left front side (upper left of the screen), and an image 130g from the camera 13g is displayed. Although all camera images 130a to 130g are shown in FIG. 4, only predetermined camera images are displayed during traveling as described later.

さらに各カメラ画像130a〜130gは進行方向に合わせて回転して表示される。例えば進行方向が右前方であるときは、走行体画像111L,111Rが右前方(画面上は右上)に向けて回転して表示されるが、これに合わせてカメラ画像130aも回転して表示される。   Furthermore, each camera image 130a-130g is rotated and displayed according to the advancing direction. For example, when the traveling direction is right front, the traveling body images 111L and 111R are rotated and displayed toward the right front (upper right on the screen), and the camera image 130a is also rotated and displayed accordingly. The

図5は、非走行状態における表示装置50の画面構成を示す図である。この場合の表示画像101は、作業機械を上方から見た外観画像110と、機体の周囲の俯瞰合成カメラ画像120と、車体情報を表示する車体情報画像190とにより構成される。外観画像110と俯瞰合成カメラ画像120は図4に示したものと同様であり、図5ではカメラ画像130a〜130gの代わりに車体情報画像190が表示される。   FIG. 5 is a diagram illustrating a screen configuration of the display device 50 in the non-running state. The display image 101 in this case includes an appearance image 110 of the work machine viewed from above, a bird's-eye synthesized camera image 120 around the machine body, and a vehicle body information image 190 that displays vehicle body information. The appearance image 110 and the overhead view composite camera image 120 are the same as those shown in FIG. 4, and in FIG. 5, a vehicle body information image 190 is displayed instead of the camera images 130a to 130g.

車体情報画像190は、エンジン回転数や燃料残量などの車体情報を表す画像であり、図示しないセンサからの信号によって取得した車体情報を、例えば俯瞰合成カメラ画像120の下方に表示する。なお、車体情報画像190の表示形態には、数値をメータで表示したり、バー目盛りで表示したり、数値そのものをデジタル表示したりするなど種々のものがある。   The vehicle body information image 190 is an image representing vehicle body information such as the engine speed and the remaining amount of fuel. The vehicle body information acquired by a signal from a sensor (not shown) is displayed below the overhead camera image 120, for example. There are various display forms of the vehicle body information image 190, such as displaying numerical values with a meter, displaying them on a bar scale, or displaying the numerical values themselves digitally.

図6は、図3の出力画像生成部22での処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばエンジンキースイッチのオンにより開始される。ステップS1では、予め記憶された機体の幾何学情報に基づき外観画像110に対応した画像信号を生成する。   FIG. 6 is a flowchart illustrating an example of processing in the output image generation unit 22 of FIG. The process shown in this flowchart is started, for example, when an engine key switch is turned on. In step S1, an image signal corresponding to the appearance image 110 is generated based on the geometric information of the aircraft stored in advance.

ステップS2では、車体コントローラ30より取得した角度検出器8dからの信号、すなわち旋回体1dの旋回角に基づいて、走行体画像111L,111Rに対応した画像信号および矢印画像120に対応した画像信号を生成する。   In step S2, an image signal corresponding to the traveling body images 111L and 111R and an image signal corresponding to the arrow image 120 are obtained based on the signal from the angle detector 8d acquired from the vehicle body controller 30, that is, the turning angle of the turning body 1d. Generate.

ステップS3では、入力画像処理部21から取得した信号に基づき、俯瞰合成カメラ画像120に対応した画像信号を生成する。   In step S <b> 3, an image signal corresponding to the overhead view composite camera image 120 is generated based on the signal acquired from the input image processing unit 21.

ステップS4では、車体コントローラ30より取得した操作レバー4a〜4dからの信号に基づいて、走行指令がなされているか否かを判定する。ステップS4が肯定されるとステップS5に、否定されるとステップS6に進む。   In step S4, based on the signals from the operation levers 4a to 4d acquired from the vehicle body controller 30, it is determined whether or not a travel command has been issued. If step S4 is affirmed, the process proceeds to step S5. If negative, the process proceeds to step S6.

ステップS5では、操作レバー4a〜4dと角度検出器8dからの信号に基づいて機体の進行方向を判定し、進行方向を向いているカメラ13a〜13gからの画像、および進行方向反対側を向いているカメラ13a〜13gからの画像をそれぞれ選択する。そして、このカメラ画像130a〜130gに対応した画像信号を生成する。   In step S5, the advancing direction of the airframe is determined based on signals from the operation levers 4a to 4d and the angle detector 8d, and images from the cameras 13a to 13g facing the advancing direction and facing the opposite side of the advancing direction. The images from the cameras 13a to 13g are selected. Then, an image signal corresponding to the camera images 130a to 130g is generated.

この場合、カメラ13a〜13gは45度おきに設けられているため、旋回角に幅を持たせ、例えば旋回角が0±22.5度の範囲にあるときはカメラ13dの画像を選択する。旋回角が45±22.5度の範囲にあるときは、カメラ13aおよび13eの画像を選択する。旋回角が90±22.5度の範囲にあるときは、カメラ13bおよび13fの画像を選択する。旋回角が135±22.5度の範囲にあるときは、カメラ13cおよび13gの画像を選択する。旋回角が180±22.5度の範囲にあるときは、進行方向側のカメラ13dの画像を選択する。旋回角が−45±22.5度の範囲にあるときは、カメラ13gおよび13cの画像を選択する。旋回角が−90±22.5度の範囲にあるときは、カメラ13bおよび13fの画像を選択する。旋回角が−135±22.5度の範囲にあるときは、カメラ13eおよび13aの画像を選択する。旋回角が−180±22.5度の範囲にあるときは、カメラ13dの画像を選択する。   In this case, since the cameras 13a to 13g are provided every 45 degrees, the turning angle is widened. For example, when the turning angle is in the range of 0 ± 22.5 degrees, the image of the camera 13d is selected. When the turning angle is in the range of 45 ± 22.5 degrees, the images of the cameras 13a and 13e are selected. When the turning angle is in the range of 90 ± 22.5 degrees, the images of the cameras 13b and 13f are selected. When the turning angle is in the range of 135 ± 22.5 degrees, the images of the cameras 13c and 13g are selected. When the turning angle is in the range of 180 ± 22.5 degrees, the image of the camera 13d on the traveling direction side is selected. When the turning angle is in the range of −45 ± 22.5 degrees, the images of the cameras 13g and 13c are selected. When the turning angle is in the range of −90 ± 22.5 degrees, the images of the cameras 13b and 13f are selected. When the turning angle is in the range of −135 ± 22.5 degrees, the images of the cameras 13e and 13a are selected. When the turning angle is in the range of −180 ± 22.5 degrees, the image of the camera 13d is selected.

ステップS6では、車体コントローラ30より取得した車体情報39に基づき、車体情報画像190に対応した画像信号を生成する。   In step S <b> 6, an image signal corresponding to the vehicle body information image 190 is generated based on the vehicle body information 39 acquired from the vehicle body controller 30.

ステップS7では、以上の画像信号を合成し、表示装置50に出力する。これにより表示装置50に外観画像110が表示され、この外観画像110に走行体画像111L,111Rと矢印画像120が重ねて表示されるとともに、外観画像110の周囲に俯瞰合成カメラ画像120が表示される。さらに、走行指令時には、俯瞰合成カメラ画像120の周囲に進行方向および進行方向逆側のカメラ画像130a〜130gが表示され、非走行指令時には、俯瞰合成カメラ画像120の下方に車体情報画像190が表示される。以上の処理は繰り返し実行される。   In step S <b> 7, the above image signals are combined and output to the display device 50. As a result, the appearance image 110 is displayed on the display device 50, and the traveling body images 111 </ b> L and 111 </ b> R and the arrow image 120 are superimposed on the appearance image 110, and the overhead view composite camera image 120 is displayed around the appearance image 110. The Further, when the driving command is issued, the camera images 130a to 130g in the traveling direction and the opposite direction of the traveling direction are displayed around the overhead view synthesized camera image 120, and the vehicle body information image 190 is displayed below the overhead view synthesized camera image 120 when the non-traveling command is issued. Is done. The above processing is repeatedly executed.

表示装置50に表示される表示画像の具体例を説明する。図7は、旋回角が0度のときに前進走行が指令された場合の表示画像102の例である。この場合は、表示装置50に後方のカメラ画像130dが表示される。   A specific example of a display image displayed on the display device 50 will be described. FIG. 7 is an example of the display image 102 when the forward traveling is instructed when the turning angle is 0 degree. In this case, the rear camera image 130d is displayed on the display device 50.

図8は、旋回角が45度のときに前進走行が指令された場合の表示画像103の例である。この場合は、図示のように走行体画像111と矢印画像112が外観画像110に対し回転して表示されるとともに、表示装置50にカメラ画像130aとカメラ画像130eが同時に表示される。   FIG. 8 is an example of the display image 103 when the forward traveling is instructed when the turning angle is 45 degrees. In this case, the traveling body image 111 and the arrow image 112 are rotated and displayed with respect to the appearance image 110 as shown, and the camera image 130a and the camera image 130e are simultaneously displayed on the display device 50.

図9は、旋回角が90度のときに前進走行が指令された場合の表示画像104の例である。この場合は、図示のように走行体画像111と矢印画像112が外観画像110に対し回転して表示されるとともに、表示装置50にカメラ画像130bとカメラ画像130fが同時に表示される。   FIG. 9 is an example of the display image 104 when the forward traveling is instructed when the turning angle is 90 degrees. In this case, the traveling body image 111 and the arrow image 112 are rotated and displayed with respect to the appearance image 110 as shown in the figure, and the camera image 130b and the camera image 130f are simultaneously displayed on the display device 50.

図10は、旋回角が135度のときに前進走行が指令された場合の表示画像105の例である。この場合は、図示のように走行体画像111と矢印画像112が外観画像110に対し回転して表示されるとともに、表示装置50にカメラ画像130cとカメラ画像130gが同時に表示される。   FIG. 10 is an example of the display image 105 when the forward traveling is instructed when the turning angle is 135 degrees. In this case, the traveling body image 111 and the arrow image 112 are rotated and displayed with respect to the appearance image 110 as shown, and the camera image 130c and the camera image 130g are simultaneously displayed on the display device 50.

図11は、旋回角が180度のときに前進走行が指令された場合の表示画像106の例である。この場合は、図示のように矢印画像112が回転して表示されるとともに、表示装置50にカメラ画像130dが表示される。   FIG. 11 is an example of the display image 106 when the forward travel is commanded when the turning angle is 180 degrees. In this case, the arrow image 112 is rotated and displayed as shown, and the camera image 130d is displayed on the display device 50.

第1の実施の形態によれば以下のような作用効果を奏することができる。
(1)旋回体1dの周囲に互いに異なる方向を撮像する複数のカメラ13a〜13gを取り付けるとともに、操作レバー4a〜4dと角度検出器8dからの信号に基づき旋回体1dを基準とした機体の進行方向を判定し、進行方向を撮像するカメラ13a〜13gからの画像を運転室内の表示装置50に選択的に表示するようにした。これにより運転者に対して好適な視野情報を提供することができ、進行方向の状況を常に運転者が認識することができる。
According to 1st Embodiment, there can exist the following effects.
(1) A plurality of cameras 13a to 13g that capture different directions from each other are attached around the swivel body 1d, and the aircraft travels based on the swivel body 1d based on signals from the operation levers 4a to 4d and the angle detector 8d. The direction is determined, and images from the cameras 13a to 13g that capture the traveling direction are selectively displayed on the display device 50 in the cab. Thereby, suitable visual field information can be provided to the driver, and the driver can always recognize the situation in the traveling direction.

(2)機体の進行方向を表す矢印画像112を併せて表示するようにしたので、進行方向を容易に認識することができ、操作レバー4a〜4dの前後方向の誤操作を防止できる。
(3)外観画像110の周囲に俯瞰合成カメラ画像120を表示し、その周囲にカメラ画像130a〜130gを表示するようにしたので、機体の周囲全体の状況を認識しつつ、進行方向についてはより遠方の状況まで認識することができる。
(4)機体の進行方向に応じて俯瞰合成カメラ画像120の周囲のカメラ画像130a〜130gの表示位置を変更するようにしたので、運転者は一見して進行方向を把握することができる。
(2) Since the arrow image 112 representing the advancing direction of the aircraft is displayed together, the advancing direction can be easily recognized, and erroneous operation in the front-rear direction of the operation levers 4a to 4d can be prevented.
(3) Since the overhead view composite camera image 120 is displayed around the appearance image 110 and the camera images 130a to 130g are displayed around the appearance image 110, the direction of travel is further recognized while recognizing the entire surroundings of the aircraft. Recognize even distant situations.
(4) Since the display positions of the camera images 130a to 130g around the overhead view composite camera image 120 are changed according to the traveling direction of the aircraft, the driver can grasp the traveling direction at a glance.

(5)機体の進行方向に応じてカメラ画像130a〜130gを回転して表示するようにしたので、進行方向とカメラ画像130a〜130gの向きが一致し、進行方向の状況を運転者が容易に把握できる。
(6)進行方向だけでなく進行方向の反対側のカメラ画像130a〜130gも同時に表示するようにしたので、進行方向反対側の状況も同時に把握することができ、前進走行と後進走行を繰り返して行うような作業を迅速に行うことができる。また、前後方向の安全を同時に確認して作業を行うことができ、安全性が高まる。
(7)進行方向に応じたカメラ画像130a〜130gと旋回体画像(外観画像)110と走行体画像111L,111Rを同時に表示し、走行体画像111L,111Rを旋回体画像110に対し相対回転させて表示するようにしたので、運転者は旋回体1dの旋回状態を容易に把握することができ、進行方向の把握が容易である。
(5) Since the camera images 130a to 130g are rotated and displayed according to the traveling direction of the aircraft, the traveling direction matches the direction of the camera images 130a to 130g, and the driver can easily determine the situation in the traveling direction. I can grasp.
(6) Since not only the traveling direction but also the camera images 130a to 130g on the opposite side of the traveling direction are displayed at the same time, the situation on the opposite side of the traveling direction can be grasped at the same time, and the forward traveling and the backward traveling are repeated. The work to be performed can be performed quickly. In addition, it is possible to confirm the safety in the front-rear direction at the same time, and work can be performed, which increases safety.
(7) The camera images 130a to 130g corresponding to the traveling direction, the revolving body image (appearance image) 110, and the traveling body images 111L and 111R are displayed simultaneously, and the traveling body images 111L and 111R are rotated relative to the revolving body image 110. Thus, the driver can easily grasp the turning state of the revolving structure 1d and can easily grasp the traveling direction.

−第2の実施の形態−
図12〜図16を参照して本発明による作業機械の視野補助装置の第2の実施の形態について説明する。
第2の実施の形態が第1の実施の形態と異なるのは、走行指令時におけるカメラ画像130a〜130gの例である。すなわち第1の実施の形態では、進行方向に向かうカメラ13a〜13gからの画像と進行方向反対側に向かうカメラ13a〜13gからの画像をそれぞれ1つづつ選択して表示装置50に表示するようにしたが、第2の実施の形態では、このカメラ13a〜13gからの画像を複数選択して表示する。なお、以下では第1の実施の形態との相違点を主に説明する。
-Second Embodiment-
With reference to FIGS. 12-16, 2nd Embodiment of the visual field assistance apparatus of the working machine by this invention is described.
The second embodiment differs from the first embodiment in examples of camera images 130a to 130g at the time of a travel command. That is, in the first embodiment, the images from the cameras 13a to 13g heading in the traveling direction and the images from the cameras 13a to 13g heading to the opposite side of the traveling direction are selected one by one and displayed on the display device 50. However, in the second embodiment, a plurality of images from the cameras 13a to 13g are selected and displayed. In the following description, differences from the first embodiment will be mainly described.

図12は、第2の実施の形態に係る視野補助装置による表示画像202の一例を示す図であり、旋回角が0度のときに前進走行が指令された場合の例である。第2の実施の形態では、第1の実施のカメラ画像に加え、その左右両側のカメラ画像も同時に表示する。すなわち、図12では、進行方向にカメラは設けられていないため、その両側のカメラ画像130a,130gが表示されるとともに、進行方向反対側の複数のカメラ画像130c〜130eが同時に表示される。   FIG. 12 is a diagram showing an example of the display image 202 by the visual field assisting apparatus according to the second embodiment, and is an example in the case where forward traveling is commanded when the turning angle is 0 degree. In the second embodiment, in addition to the camera images of the first embodiment, the left and right camera images are also displayed simultaneously. That is, in FIG. 12, since no camera is provided in the traveling direction, camera images 130a and 130g on both sides thereof are displayed and a plurality of camera images 130c to 130e on the opposite side in the traveling direction are displayed simultaneously.

図13は、旋回角が45度のときに前進走行が指令された場合の表示画像203の例である。この場合は、進行方向の複数のカメラ画像130a,130bが表示されるとともに、進行方向反対側の複数のカメラ画像130d〜130fが同時に表示される。   FIG. 13 is an example of the display image 203 when the forward traveling is instructed when the turning angle is 45 degrees. In this case, a plurality of camera images 130a and 130b in the traveling direction are displayed, and a plurality of camera images 130d to 130f on the opposite side in the traveling direction are displayed simultaneously.

図14は、旋回角が90度のときに前進走行が指令された場合の表示画像204の例である。この場合は、進行方向の複数のカメラ画像130a〜130cが表示されるとともに、進行方向反対側の複数のカメラ画像130e〜130gが同時に表示される。   FIG. 14 is an example of the display image 204 when the forward traveling is instructed when the turning angle is 90 degrees. In this case, a plurality of camera images 130a to 130c in the traveling direction are displayed, and a plurality of camera images 130e to 130g on the opposite side in the traveling direction are displayed at the same time.

図15は、旋回角が135度のときに前進走行が指令された場合の表示画像205の例である。この場合は、進行方向の複数のカメラ画像130b〜130dが表示されるとともに、進行方向反対側の複数のカメラ画像130g,130fが同時に表示される。   FIG. 15 is an example of a display image 205 when forward traveling is commanded when the turning angle is 135 degrees. In this case, a plurality of camera images 130b to 130d in the traveling direction are displayed, and a plurality of camera images 130g and 130f on the opposite side in the traveling direction are displayed simultaneously.

図16は、旋回角が180度のときに前進走行が指令された場合の表示画像206の例である。この場合は、進行方向の複数のカメラ画像130c〜130eが表示されるとともに、進行方向反対側の複数のカメラ画像130a,130gが同時に表示される。   FIG. 16 is an example of a display image 206 when forward traveling is commanded when the turning angle is 180 degrees. In this case, a plurality of camera images 130c to 130e in the traveling direction are displayed, and a plurality of camera images 130a and 130g on the opposite side in the traveling direction are displayed simultaneously.

このように第2の実施の形態では、進行方向および進行方向反対側の複数のカメラ画像を表示するようにしたので、運転者は進行方向およびその反対側のより広い範囲の状況を容易に認識することができる。   As described above, in the second embodiment, a plurality of camera images on the traveling direction and the opposite side of the traveling direction are displayed, so that the driver can easily recognize the wider direction of the traveling direction and the opposite side. can do.

−第3の実施の形態−
図17〜図22を参照して本発明による作業機械の視野補助装置の第3の実施の形態について説明する。
第3の実施の形態が第1の実施の形態と異なるのは、表示装置上のカメラ画像130a〜130gの表示形態である。すなわち第1の実施の形態では、俯瞰合成カメラ画像120の外側に、俯瞰合成カメラ画像120と重なることなくカメラ画像130a〜130gを表示したが、第3の実施の形態では、カメラ画像130a〜130gを重ねて表示する。なお、以下では第1の実施の形態との相違点を主に説明する。
-Third embodiment-
With reference to FIGS. 17-22, 3rd Embodiment of the visual field assistance apparatus of the working machine by this invention is described.
The third embodiment differs from the first embodiment in the display form of the camera images 130a to 130g on the display device. That is, in the first embodiment, the camera images 130a to 130g are displayed outside the overhead view composite camera image 120 without overlapping the overhead view composite camera image 120. However, in the third embodiment, the camera images 130a to 130g are displayed. Are displayed in layers. In the following description, differences from the first embodiment will be mainly described.

図17は、第3の実施の形態における表示装置50の画面構成を示す図であり、俯瞰合成カメラ画像120に重ねてカメラ画像130a〜130gの表示位置が設定されている。   FIG. 17 is a diagram illustrating a screen configuration of the display device 50 according to the third embodiment, and the display positions of the camera images 130 a to 130 g are set so as to overlap the overhead view composite camera image 120.

図18は、旋回角が0度のときに前進走行が指令された場合の表示画像302の例である。この場合は、進行方向反対側のカメラ画像130dが俯瞰合成カメラ画像120に重ねて表示される。   FIG. 18 is an example of the display image 302 when the forward traveling is instructed when the turning angle is 0 degree. In this case, the camera image 130d on the opposite side in the traveling direction is displayed superimposed on the overhead view composite camera image 120.

図19は、旋回角が45度のときに前進走行が指令された場合の表示画像303の例である。この場合は、進行方向のカメラ画像130aと進行方向反対側のカメラ画像130eがそれぞれ俯瞰合成カメラ画像120に重ねて表示される。   FIG. 19 is an example of the display image 303 when the forward traveling is commanded when the turning angle is 45 degrees. In this case, the camera image 130a in the traveling direction and the camera image 130e on the opposite side in the traveling direction are displayed superimposed on the overhead view composite camera image 120, respectively.

図20は、旋回角が90度のときに前進走行が指令された場合の表示画像304の例である。この場合は、進行方向のカメラ画像130bと進行方向反対側のカメラ画像130fがそれぞれ俯瞰合成カメラ画像120に重ねて表示される。   FIG. 20 is an example of a display image 304 when a forward travel is commanded when the turning angle is 90 degrees. In this case, the camera image 130b in the traveling direction and the camera image 130f on the opposite side in the traveling direction are displayed superimposed on the overhead view composite camera image 120, respectively.

図21は、旋回角が135度のときに前進走行が指令された場合の表示画像305の例である。この場合は、進行方向のカメラ画像130cと進行方向反対側のカメラ画像130gがそれぞれ俯瞰合成カメラ画像120に重ねて表示される。   FIG. 21 is an example of a display image 305 in a case where forward traveling is commanded when the turning angle is 135 degrees. In this case, the camera image 130c in the traveling direction and the camera image 130g on the opposite side in the traveling direction are displayed superimposed on the overhead view composite camera image 120, respectively.

図22は、旋回角が180度のときに前進走行が指令された場合の表示画像306の例である。この場合は、進行方向のカメラ画像130dが俯瞰合成カメラ画像120に重ねて表示される。   FIG. 22 is an example of a display image 306 when forward travel is commanded when the turning angle is 180 degrees. In this case, the camera image 130d in the traveling direction is displayed so as to be superimposed on the overhead view composite camera image 120.

このように第3の実施の形態では、カメラ画像130a〜130gを俯瞰合成カメラ画像120に重ねて表示するようにしたので、画像全体の表示領域を小さくすることができ、表示装置50を小型化できる。また、表示装置50上の余剰スペースを増大することができ、この余剰スペースに必要に応じて他の情報を表示することができる。この場合、カメラ画像130a〜130gを俯瞰合成カメラ画像120に重ねて表示するので、俯瞰合成カメラ画像120から得られる機体周囲の情報は少なくなるが、それと同一の機体周囲の情報はカメラ画像130a〜130gによって得られるため、問題はない。   As described above, in the third embodiment, since the camera images 130a to 130g are displayed so as to be superimposed on the overhead view composite camera image 120, the display area of the entire image can be reduced, and the display device 50 can be downsized. it can. Further, the surplus space on the display device 50 can be increased, and other information can be displayed in the surplus space as necessary. In this case, since the camera images 130a to 130g are displayed so as to be superimposed on the overhead view composite camera image 120, the information around the aircraft obtained from the overhead view composite camera image 120 is reduced, but the same information around the aircraft is obtained from the camera images 130a to 130a. Since it is obtained by 130g, there is no problem.

なお、上記実施の形態では、俯瞰合成カメラ画像120の周囲にカメラ画像130a〜130gを表示するようにしたが、図23に示すように俯瞰合成カメラ画像120を省略して表示画像401を構成してもよい。表示制御手段としての表示コントローラ20での処理により、進行方向とその反対側のカメラ画像130a〜130gを表示するようにしたが、進行方向のみのカメラ画像を表示するのでもよい。カメラ画像130a〜130gを表示位置に合わせて回転して表示させるようにしたが、回転させずに表示してもよい。   In the above embodiment, the camera images 130a to 130g are displayed around the overhead view composite camera image 120. However, the display image 401 is configured by omitting the overhead view composite camera image 120 as shown in FIG. May be. Although the camera image 130a to 130g on the opposite side to the traveling direction is displayed by the processing in the display controller 20 as the display control means, the camera image only in the traveling direction may be displayed. Although the camera images 130a to 130g are rotated and displayed according to the display position, they may be displayed without being rotated.

機体の進行方向に応じてカメラ画像130a〜130gの表示位置を変更して表示するようにしたが、進行方向を撮像するカメラ13a〜13gからの画像を表示するのであれば、表示位置を変更しなくてもよい。例えば図24に示すように外観画像110と走行体画像111L,111Rと矢印画像120を画面の上側に表示し、画面の下側に進行方向のカメラ13a〜13g(この例ではカメラ13e)からの画像130を表示して表示画像402を構成してもよい。なお、図23にはカメラ画像130の具体例を併せて示している。   The display positions of the camera images 130a to 130g are changed according to the traveling direction of the machine body. However, if the images from the cameras 13a to 13g that capture the traveling direction are displayed, the display position is changed. It does not have to be. For example, as shown in FIG. 24, an appearance image 110, traveling body images 111L and 111R, and an arrow image 120 are displayed on the upper side of the screen, and from the cameras 13a to 13g in the traveling direction (camera 13e in this example) on the lower side of the screen. The display image 402 may be configured by displaying the image 130. FIG. 23 also shows a specific example of the camera image 130.

上記実施の形態では、進行方向に合わせて外観画像110上で走行体画像111L,111Rと矢印画像120の向きを回転させることにより進行方向を表示するようにしたが、進行方向表示画像の表示形態はこれに限らない。例えば図25に示すように進行方向のカメラ画像130を画面全体に表示させ、このカメラ画像上に進行方向を表す矢印画像112を表示して表示画像403を構成するようにしてもよい。すなわち外観画像110と走行体画像111L,111Rを省略してもよい。矢印以外の進行方向表示画像を用いてもよい。   In the above embodiment, the traveling direction is displayed by rotating the directions of the traveling body images 111L and 111R and the arrow image 120 on the appearance image 110 in accordance with the traveling direction, but the traveling direction display image is displayed. Is not limited to this. For example, as shown in FIG. 25, a camera image 130 in the traveling direction may be displayed on the entire screen, and an arrow image 112 representing the traveling direction may be displayed on the camera image to constitute the display image 403. That is, the appearance image 110 and the traveling body images 111L and 111R may be omitted. A traveling direction display image other than an arrow may be used.

上記実施の形態では、旋回体の上方にCCDなどの撮像素子を有するカメラ13a〜13gを設けて動画を撮影するようにしたが、作業機械の周囲の動画を撮影するのであれば撮影手段の構成はこれに限らない。操作レバー4a〜4dからの信号と、旋回角を検出する角度検出器8dからの信号により旋回体1dを基準とした進行方向を判定したが、判定手段はこれに限らない。表示装置50に表示される表示画像の形態は上述したものに限らない。例えば走行体画像111L,111Rを外観画像110に重ねて表示したが、走行体画像11L,11Rを半透明で表示してもよい。   In the above embodiment, the cameras 13a to 13g having an image sensor such as a CCD are provided above the swivel body to shoot a moving image. However, if a moving image around the work machine is to be shot, the configuration of the shooting means Is not limited to this. Although the traveling direction based on the swivel body 1d is determined based on the signals from the operation levers 4a to 4d and the signal from the angle detector 8d that detects the turning angle, the determination means is not limited to this. The form of the display image displayed on the display device 50 is not limited to that described above. For example, the traveling body images 111L and 111R are displayed so as to overlap the appearance image 110, but the traveling body images 11L and 11R may be displayed in a translucent manner.

上記実施の形態では、油圧ショベルに本発明を適用した場合について説明したが、他の作業機械にも同様に本発明を適用可能である。すなわち、本発明の特徴、機能を実現できる限り、本発明は実施の形態の作業機械の視野補助装置に限定されない。   Although the case where the present invention is applied to a hydraulic excavator has been described in the above embodiment, the present invention can be similarly applied to other work machines. That is, as long as the features and functions of the present invention can be realized, the present invention is not limited to the visual field assist device for the work machine according to the embodiment.

本発明の実施の形態に係る視野補助装置が適用される油圧ショベルの一例を示す側面図。The side view which shows an example of the hydraulic shovel to which the visual field assistance apparatus which concerns on embodiment of this invention is applied. 図1の油圧ショベルに設けられたカメラの撮影範囲を示す図。The figure which shows the imaging | photography range of the camera provided in the hydraulic shovel of FIG. 本発明の第1の形態に係る視野補助装置の制御システム構成を示すブロック図。The block diagram which shows the control system structure of the visual field assistance apparatus which concerns on the 1st form of this invention. 第1の実施の形態に係る視野補助装置による画面構成の例を示す図。The figure which shows the example of the screen structure by the visual field assistance apparatus which concerns on 1st Embodiment. 非走行指令時における表示画像の例を示す図。The figure which shows the example of the display image at the time of a non-running command. 図1の表示コントローラにおける処理の一例を示すフローチャート。The flowchart which shows an example of the process in the display controller of FIG. 第1の実施の形態に係る視野補助装置による旋回角が0度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 1st Embodiment is 0 degree | times. 第1の実施の形態に係る視野補助装置による旋回角が45度における表示画像の一例を示す図。The figure which shows an example of the display image in the turning angle of 45 degrees by the visual field assistance apparatus which concerns on 1st Embodiment. 第1の実施の形態に係る視野補助装置による旋回角が90度における表示画像の一例を示す図。The figure which shows an example of the display image in 90 degrees of turning angles by the visual field assistance apparatus which concerns on 1st Embodiment. 第1の実施の形態に係る視野補助装置による旋回角が135度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 1st Embodiment is 135 degree | times. 第1の実施の形態に係る視野補助装置による旋回角が180度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 1st Embodiment is 180 degree | times. 第2の実施の形態に係る視野補助装置による旋回角が0度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 2nd Embodiment is 0 degree | times. 第2の実施の形態に係る視野補助装置による旋回角が45度における表示画像の一例を示す図。The figure which shows an example of the display image in the turning angle of 45 degrees by the visual field assistance apparatus which concerns on 2nd Embodiment. 第2の実施の形態に係る視野補助装置による旋回角が90度における表示画像の一例を示す図。The figure which shows an example of the display image in 90 degrees of turning angles by the visual field assistance apparatus which concerns on 2nd Embodiment. 第2の実施の形態に係る視野補助装置による旋回角が135度における表示画像の一例を示す図。The figure which shows an example of the display image in which the turning angle by the visual field assistance apparatus which concerns on 2nd Embodiment is 135 degree | times. 第2の実施の形態に係る視野補助装置による旋回角が180度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 2nd Embodiment is 180 degree | times. 第3の実施の形態に係る視野補助装置による画面構成の一例を示す図。The figure which shows an example of the screen structure by the visual field assistance apparatus which concerns on 3rd Embodiment. 第3の実施の形態に係る視野補助装置による旋回角が0度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 3rd Embodiment is 0 degree | times. 第3の実施の形態に係る視野補助装置による旋回角が45度における表示画像の一例を示す図。The figure which shows an example of the display image in 45 degrees of turning angles by the visual field assistance apparatus which concerns on 3rd Embodiment. 第3の実施の形態に係る視野補助装置による旋回角が90度における表示画像の一例を示す図。The figure which shows an example of the display image in 90 degrees of turning angles by the visual field assistance apparatus which concerns on 3rd Embodiment. 第3の実施の形態に係る視野補助装置による旋回角が135度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 3rd Embodiment is 135 degree | times. 第3の実施の形態に係る視野補助装置による旋回角が180度における表示画像の一例を示す図。The figure which shows an example of the display image in case the turning angle by the visual field assistance apparatus which concerns on 3rd Embodiment is 180 degree | times. 本発明の表示画像の変形例を示す図。The figure which shows the modification of the display image of this invention. 本発明の表示画像の他の変形例を示す図。The figure which shows the other modification of the display image of this invention. 本発明の表示画像のさらに別の変形例を示す図。The figure which shows another modification of the display image of this invention.

符号の説明Explanation of symbols

4a〜4d 操作レバー
8a〜8d 角度検出器
13a〜13g 監視カメラ
20 表示コントローラ
22 出力画像生成部
50 表示装置
110 外観画像
111L,111R 走行体画像
112 矢印画像
120 俯瞰合成カメラ画像
130a〜130g カメラ画像
4a to 4d Operation levers 8a to 8d Angle detectors 13a to 13g Monitoring camera 20 Display controller 22 Output image generation unit 50 Display device 110 Appearance image 111L, 111R Traveling body image 112 Arrow image 120 Overhead composite camera image 130a to 130g Camera image

Claims (7)

走行体に対して旋回可能な旋回体に設けられ、機体の周囲の互いに異なる方向を撮像する複数の撮像手段と、
前記旋回体を基準とした機体の進行方向を判定する判定手段と、
前記複数の撮像手段のうち、前記判定手段で判定された進行方向を撮像する撮像手段からの画像を、運転室内に設けられた表示用モニタに表示する表示制御手段とを備えることを特徴とする作業機械の視野補助装置。
A plurality of imaging means provided in a revolving body capable of revolving with respect to the traveling body, for imaging different directions around the airframe;
Determining means for determining a traveling direction of the airframe based on the revolving body;
And a display control means for displaying an image from the imaging means for imaging the traveling direction determined by the determination means among the plurality of imaging means, on a display monitor provided in a driver's cab. Vision assist device for work machines.
請求項1に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記機体の進行方向を表す進行方向表示画像を併せて前記表示用モニタに表示することを特徴とする作業機械の視野補助装置。
The visual field assisting device for a work machine according to claim 1,
The visual field assisting device for a work machine, wherein the display control means also displays a traveling direction display image representing a traveling direction of the machine body on the display monitor.
請求項1または2に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記判定手段で判定された進行方向に応じて、前記撮像手段からの画像の前記表示用モニタ上の表示位置を変更することを特徴とする作業機械の視野補助装置。
In the visual field assistance apparatus of the working machine according to claim 1 or 2,
The visual field assisting device for a working machine, wherein the display control means changes a display position of the image from the imaging means on the display monitor according to the traveling direction determined by the determination means.
請求項1〜3のいずれか1項に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記判定手段で判定された進行方向に応じて、前記撮像手段からの画像を回転して表示させることを特徴とする作業機械の視野補助装置。
In the visual field assistance apparatus of the working machine according to any one of claims 1 to 3,
The visual field assisting device for a working machine, wherein the display control means rotates and displays an image from the imaging means according to the traveling direction determined by the determination means.
請求項1〜4のいずれか1項に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記複数の撮像手段のうち、前記判定手段で判定された進行方向の反対側を撮像する撮像手段からの画像を前記表示用モニタに併せて表示することを特徴とする作業機械の視野補助装置。
In the visual assistance apparatus of the working machine of any one of Claims 1-4,
The display control means displays, together with the display monitor, an image from an image pickup means that picks up the opposite side of the traveling direction determined by the determination means among the plurality of image pickup means. Machine vision assist device.
請求項1〜5のいずれか1項に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記走行体の外観を表す走行体画像および前記旋回体の外観を表す旋回体画像を前記表示用モニタに併せて表示するとともに、前記判定手段で判定された進行方向に応じて、前記旋回体画像に対し前記走行体画像を相対回転させて表示することを特徴とする作業機械の視野補助装置。
In the visual assistance apparatus of the working machine according to any one of claims 1 to 5,
The display control means displays a traveling body image representing the appearance of the traveling body and a turning body image representing the appearance of the turning body together with the display monitor, and according to the traveling direction determined by the determination means. A visual field assisting device for a working machine, wherein the traveling body image is displayed while being relatively rotated with respect to the revolving body image.
請求項1〜6のいずれか1項に記載の作業機械の視野補助装置において、
前記表示制御手段は、前記複数の撮像手段からの画像を前記旋回体の上方視点からの画像に変換して合成する画像処理手段を有し、この画像処理手段で得られた画像を前記表示用モニタに併せて表示することを特徴とする作業機械の視野補助装置。
In the visual assistance apparatus of the working machine according to any one of claims 1 to 6,
The display control means includes an image processing means for converting and synthesizing images from the plurality of imaging means into an image from an upper viewpoint of the revolving body, and an image obtained by the image processing means is used for the display. A visual field assist device for a work machine, characterized by being displayed together with a monitor.
JP2008225178A 2008-09-02 2008-09-02 Visual aid for work machine Expired - Fee Related JP4977667B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008225178A JP4977667B2 (en) 2008-09-02 2008-09-02 Visual aid for work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008225178A JP4977667B2 (en) 2008-09-02 2008-09-02 Visual aid for work machine

Publications (2)

Publication Number Publication Date
JP2010059653A true JP2010059653A (en) 2010-03-18
JP4977667B2 JP4977667B2 (en) 2012-07-18

Family

ID=42186742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008225178A Expired - Fee Related JP4977667B2 (en) 2008-09-02 2008-09-02 Visual aid for work machine

Country Status (1)

Country Link
JP (1) JP4977667B2 (en)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074929A (en) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd Circumference monitor of work machine
JP2012082608A (en) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd Monitoring device of work machine
JP2012107395A (en) * 2010-11-15 2012-06-07 Sumitomo (Shi) Construction Machinery Co Ltd Monitor device of construction machine
JP2012112108A (en) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd Periphery monitoring device for work machine
WO2013038874A1 (en) * 2011-09-16 2013-03-21 日立建機株式会社 Surroundings monitoring device for work machine
KR20130088051A (en) * 2012-01-30 2013-08-07 두산인프라코어 주식회사 Monitor display apparatus in construction machinery
WO2013183674A1 (en) * 2012-06-07 2013-12-12 日立建機株式会社 Display device for self-propelled industrial machine
JP2013253402A (en) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd Surrounding monitoring device for work machine
JPWO2012053105A1 (en) * 2010-10-22 2014-02-24 日立建機株式会社 Work machine periphery monitoring device
CN104380724A (en) * 2012-06-08 2015-02-25 日立建机株式会社 Display device for self-propelled industrial machine
JP2015055095A (en) * 2013-09-11 2015-03-23 住友建機株式会社 Construction machine
CN104509103A (en) * 2012-08-03 2015-04-08 日立建机株式会社 Conveyance vehicle surveillance device
WO2015083963A1 (en) * 2013-12-06 2015-06-11 두산인프라코어 주식회사 Apparatus and method for selecting screen mode
CN105100702A (en) * 2014-05-22 2015-11-25 F·波尔希名誉工学博士公司 Method for presenting a vehicle's environment, display apparatus, system, and computer program
JP2016113892A (en) * 2015-12-28 2016-06-23 住友重機械工業株式会社 Shovel
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
JP2016211149A (en) * 2015-04-29 2016-12-15 日立建機株式会社 Construction machine
JP2017081238A (en) * 2015-10-23 2017-05-18 株式会社小松製作所 Display system and work vehicle
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
CN107406035A (en) * 2015-03-31 2017-11-28 株式会社小松制作所 Working machine
EP3099065A4 (en) * 2014-01-23 2018-01-24 Hitachi Construction Machinery Co., Ltd. Periphery monitoring device for work machine
JP2018035669A (en) * 2017-11-14 2018-03-08 住友重機械工業株式会社 Shovel and surrounding image generating device of the same
WO2018047954A1 (en) * 2016-09-09 2018-03-15 株式会社タダノ Bird's-eye view image system, bird's-eye view image display method and program
EP3174291A4 (en) * 2014-07-25 2018-03-21 Hitachi Construction Machinery Co., Ltd. Surroundings display device for turning operation machine
WO2018061454A1 (en) * 2016-09-28 2018-04-05 日立建機株式会社 Work machine
WO2018079878A1 (en) * 2016-10-27 2018-05-03 볼보 컨스트럭션 이큅먼트 에이비 Driver's field of vision assistance apparatus for excavator
US20180274206A1 (en) * 2017-03-22 2018-09-27 Kobelco Construction Machinery Co., Ltd. Construction machine
WO2019131955A1 (en) * 2017-12-27 2019-07-04 住友建機株式会社 Shovel and output device of shovel
JP2019173407A (en) * 2018-03-28 2019-10-10 日立建機株式会社 Work machine
JP2020002773A (en) * 2019-09-11 2020-01-09 住友重機械工業株式会社 Shovel and shovel peripheral image generation device
WO2020153315A1 (en) * 2019-01-23 2020-07-30 株式会社小松製作所 System and method for working machine
WO2020218455A1 (en) * 2019-04-26 2020-10-29 住友建機株式会社 Excavator
JP2020176460A (en) * 2019-04-19 2020-10-29 コベルコ建機株式会社 Surroundings monitoring device for work machine
JP2020188474A (en) * 2019-01-28 2020-11-19 住友重機械工業株式会社 Shovel
US20200399861A1 (en) * 2018-03-23 2020-12-24 Kobelco Construction Machinery Co., Ltd. Construction machine
WO2022230939A1 (en) * 2021-04-28 2022-11-03 株式会社小松製作所 Display control device, display control method, and work machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140286A (en) * 1999-11-10 2001-05-22 Hitachi Constr Mach Co Ltd Monitoring camera system of construction equipment
JP2004161215A (en) * 2002-11-15 2004-06-10 Auto Network Gijutsu Kenkyusho:Kk Vehicle-mounted camera system
JP2008095307A (en) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd Circumference monitor of work machine
JP2009227076A (en) * 2008-03-21 2009-10-08 Komatsu Ltd Working vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001140286A (en) * 1999-11-10 2001-05-22 Hitachi Constr Mach Co Ltd Monitoring camera system of construction equipment
JP2004161215A (en) * 2002-11-15 2004-06-10 Auto Network Gijutsu Kenkyusho:Kk Vehicle-mounted camera system
JP2008095307A (en) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd Circumference monitor of work machine
JP2009227076A (en) * 2008-03-21 2009-10-08 Komatsu Ltd Working vehicle

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012074929A (en) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd Circumference monitor of work machine
JP2012082608A (en) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd Monitoring device of work machine
JPWO2012053105A1 (en) * 2010-10-22 2014-02-24 日立建機株式会社 Work machine periphery monitoring device
JP5667638B2 (en) * 2010-10-22 2015-02-12 日立建機株式会社 Work machine periphery monitoring device
JP2012107395A (en) * 2010-11-15 2012-06-07 Sumitomo (Shi) Construction Machinery Co Ltd Monitor device of construction machine
JP2012112108A (en) * 2010-11-22 2012-06-14 Hitachi Constr Mach Co Ltd Periphery monitoring device for work machine
US20140354813A1 (en) * 2011-09-16 2014-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings Monitoring Device for Work Machine
CN103797789A (en) * 2011-09-16 2014-05-14 日立建机株式会社 Surroundings monitoring device for work machine
JP2013066010A (en) * 2011-09-16 2013-04-11 Hitachi Constr Mach Co Ltd Surrounding monitoring device for work machine
WO2013038874A1 (en) * 2011-09-16 2013-03-21 日立建機株式会社 Surroundings monitoring device for work machine
KR20130088051A (en) * 2012-01-30 2013-08-07 두산인프라코어 주식회사 Monitor display apparatus in construction machinery
KR102007535B1 (en) * 2012-01-30 2019-08-05 두산인프라코어 주식회사 Monitor display apparatus in construction machinery
JP2013253402A (en) * 2012-06-06 2013-12-19 Hitachi Constr Mach Co Ltd Surrounding monitoring device for work machine
WO2013183674A1 (en) * 2012-06-07 2013-12-12 日立建機株式会社 Display device for self-propelled industrial machine
JP2013253426A (en) * 2012-06-07 2013-12-19 Hitachi Constr Mach Co Ltd Display device for self-propelled industrial machine
US20170072857A1 (en) * 2012-06-08 2017-03-16 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine
CN104380724A (en) * 2012-06-08 2015-02-25 日立建机株式会社 Display device for self-propelled industrial machine
US20150116495A1 (en) * 2012-06-08 2015-04-30 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine
CN104380724B (en) * 2012-06-08 2017-09-12 日立建机株式会社 The display device of self-propelled industrial machinery
US20150203034A1 (en) * 2012-08-03 2015-07-23 Hitachi Construction Machinery Co., Ltd. Surveillance apparatus for transportation vehicle
CN104509103A (en) * 2012-08-03 2015-04-08 日立建机株式会社 Conveyance vehicle surveillance device
US20170274824A1 (en) * 2012-08-03 2017-09-28 Hitachi Construction Machinery Co., Ltd. Surveillance apparatus for transportation vehicle
JP2015055095A (en) * 2013-09-11 2015-03-23 住友建機株式会社 Construction machine
WO2015083963A1 (en) * 2013-12-06 2015-06-11 두산인프라코어 주식회사 Apparatus and method for selecting screen mode
CN105793496A (en) * 2013-12-06 2016-07-20 斗山英维高株式会社 Apparatus and method for selecting screen mode
KR102123127B1 (en) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 Apparatus for selecting screen mode and method
KR20150066212A (en) * 2013-12-06 2015-06-16 두산인프라코어 주식회사 Apparatus for selecting screen mode and method
US9903099B2 (en) 2013-12-06 2018-02-27 Doosan Infracore Co., Ltd. Apparatus and method for selecting screen mode
EP3099065A4 (en) * 2014-01-23 2018-01-24 Hitachi Construction Machinery Co., Ltd. Periphery monitoring device for work machine
CN105100702A (en) * 2014-05-22 2015-11-25 F·波尔希名誉工学博士公司 Method for presenting a vehicle's environment, display apparatus, system, and computer program
EP3174291A4 (en) * 2014-07-25 2018-03-21 Hitachi Construction Machinery Co., Ltd. Surroundings display device for turning operation machine
US10145087B2 (en) 2014-07-25 2018-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings display device for swing working machine
US10060098B2 (en) * 2015-03-16 2018-08-28 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
CN107406035A (en) * 2015-03-31 2017-11-28 株式会社小松制作所 Working machine
US10781572B2 (en) 2015-03-31 2020-09-22 Komatsu Ltd. Working machine
JP2016211149A (en) * 2015-04-29 2016-12-15 日立建機株式会社 Construction machine
US11208040B2 (en) 2015-10-23 2021-12-28 Komatsu Ltd. Display system and work vehicle
JP2017081238A (en) * 2015-10-23 2017-05-18 株式会社小松製作所 Display system and work vehicle
JP2016113892A (en) * 2015-12-28 2016-06-23 住友重機械工業株式会社 Shovel
WO2018047954A1 (en) * 2016-09-09 2018-03-15 株式会社タダノ Bird's-eye view image system, bird's-eye view image display method and program
EP3512194A4 (en) * 2016-09-09 2020-04-01 Tadano Ltd. Bird's-eye view image system, bird's-eye view image display method and program
JP2018042207A (en) * 2016-09-09 2018-03-15 株式会社タダノ Overviewing picture system, overviewing picture display method, and program
WO2018061454A1 (en) * 2016-09-28 2018-04-05 日立建機株式会社 Work machine
CN108699817A (en) * 2016-09-28 2018-10-23 日立建机株式会社 Engineering machinery
JP2018053537A (en) * 2016-09-28 2018-04-05 日立建機株式会社 Work machine
CN108699817B (en) * 2016-09-28 2021-02-12 日立建机株式会社 Construction machine
EP3412839A4 (en) * 2016-09-28 2019-09-25 Hitachi Construction Machinery Co., Ltd Work machine
US10590628B2 (en) 2016-09-28 2020-03-17 Hitachi Construction Machinery Co., Ltd. Work machine
WO2018079878A1 (en) * 2016-10-27 2018-05-03 볼보 컨스트럭션 이큅먼트 에이비 Driver's field of vision assistance apparatus for excavator
JP2017110492A (en) * 2017-02-06 2017-06-22 住友建機株式会社 Shovel
US10876273B2 (en) * 2017-03-22 2020-12-29 Kobelco Construction Machinery Co., Ltd. Construction machine
CN108625426B (en) * 2017-03-22 2022-03-22 神钢建机株式会社 Construction machine
CN108625426A (en) * 2017-03-22 2018-10-09 神钢建机株式会社 Engineering machinery
US20180274206A1 (en) * 2017-03-22 2018-09-27 Kobelco Construction Machinery Co., Ltd. Construction machine
JP2018035669A (en) * 2017-11-14 2018-03-08 住友重機械工業株式会社 Shovel and surrounding image generating device of the same
US11781290B2 (en) 2017-12-27 2023-10-10 Sumitomo Construction Machinery Co., Ltd. Shovel and output device of shovel
CN111108250A (en) * 2017-12-27 2020-05-05 住友建机株式会社 Shovel and shovel output device
WO2019131955A1 (en) * 2017-12-27 2019-07-04 住友建機株式会社 Shovel and output device of shovel
JPWO2019131955A1 (en) * 2017-12-27 2021-01-14 住友建機株式会社 Excavator and excavator output device
EP3739131A4 (en) * 2018-03-23 2021-03-24 Kobelco Construction Machinery Co., Ltd. Construction machine
US20200399861A1 (en) * 2018-03-23 2020-12-24 Kobelco Construction Machinery Co., Ltd. Construction machine
JP2019173407A (en) * 2018-03-28 2019-10-10 日立建機株式会社 Work machine
JP7160701B2 (en) 2019-01-23 2022-10-25 株式会社小松製作所 Work machine system and method
JP2020117914A (en) * 2019-01-23 2020-08-06 株式会社小松製作所 System and method for work machine
WO2020153315A1 (en) * 2019-01-23 2020-07-30 株式会社小松製作所 System and method for working machine
AU2020211868B2 (en) * 2019-01-23 2023-03-09 Komatsu Ltd. System and method for work machine
JP2020188474A (en) * 2019-01-28 2020-11-19 住友重機械工業株式会社 Shovel
JP2020176460A (en) * 2019-04-19 2020-10-29 コベルコ建機株式会社 Surroundings monitoring device for work machine
WO2020218455A1 (en) * 2019-04-26 2020-10-29 住友建機株式会社 Excavator
CN113728141A (en) * 2019-04-26 2021-11-30 住友建机株式会社 Excavator
CN113728141B (en) * 2019-04-26 2024-04-09 住友建机株式会社 Excavator
JP2020002773A (en) * 2019-09-11 2020-01-09 住友重機械工業株式会社 Shovel and shovel peripheral image generation device
WO2022230939A1 (en) * 2021-04-28 2022-11-03 株式会社小松製作所 Display control device, display control method, and work machine
KR20230159892A (en) 2021-04-28 2023-11-22 가부시키가이샤 고마쓰 세이사쿠쇼 Indication control devices, indication control methods and working machines

Also Published As

Publication number Publication date
JP4977667B2 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
JP4977667B2 (en) Visual aid for work machine
JP4996928B2 (en) Work machine ambient monitoring device
JP4740890B2 (en) Construction machine and backward movement guidance method for construction machine
CN104584540B (en) The surroundings monitoring apparatus of Work machine
JP4776491B2 (en) Work machine ambient monitoring device
JP5546427B2 (en) Work machine ambient monitoring device
JP5750344B2 (en) Ambient monitoring device for work equipment
JP6545430B2 (en) Shovel
JP5775283B2 (en) Work machine monitoring device
JP5473870B2 (en) Construction machine monitoring equipment
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP5809988B2 (en) Travel support device for work machine
KR101859229B1 (en) Apparatus and method for displaying operation guide information of construction equipment
JP2010112100A (en) Monitoring device for working machine
JP2013253402A (en) Surrounding monitoring device for work machine
JP5066198B2 (en) Work machine monitoring device
JP2010121270A (en) Monitoring equipment of working machine
JP6352797B2 (en) Work machine ambient monitoring device
JP2019060228A (en) Periphery monitoring device for work machine
JP6852026B2 (en) Excavator
JP2012001126A (en) Vehicle surroundings monitoring device
CN111903122B (en) Engineering machinery operating device
JP5143481B2 (en) Monitoring equipment for construction machinery
JP7207127B2 (en) Surrounding monitoring device for working machine
JP7283070B2 (en) Perimeter monitoring device for working machines

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4977667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees