JP2019007139A - Remote control system for construction machinery - Google Patents
Remote control system for construction machinery Download PDFInfo
- Publication number
- JP2019007139A JP2019007139A JP2017120648A JP2017120648A JP2019007139A JP 2019007139 A JP2019007139 A JP 2019007139A JP 2017120648 A JP2017120648 A JP 2017120648A JP 2017120648 A JP2017120648 A JP 2017120648A JP 2019007139 A JP2019007139 A JP 2019007139A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- unit
- construction machine
- remote control
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 96
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000000926 separation method Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Operation Control Of Excavators (AREA)
- Component Parts Of Construction Machinery (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、作業を実行する建設機械と、建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムに関する。 The present invention relates to a construction machine remote operation system including a construction machine that performs work and an operation unit that allows an operator to remotely operate the construction machine.
油圧ショベル等の建設機械による作業は、通常、操作者が建設機械の運転室に搭乗し、操作レバーを操作することで行われるが、人の立ち入りが好ましくない作業現場、例えば災害復旧現場などの作業現場では、遠隔操作技術が使用されることがある。 Work with construction machines such as hydraulic excavators is usually carried out by the operator getting into the cab of the construction machine and operating the operation lever, but at work sites where people are not allowed to enter, such as disaster recovery sites, etc. Remote operation techniques may be used at the work site.
このような作業現場での遠隔操作技術を使用したものとして、作業現場に無人の建設機械を配備し、作業現場から離れた遠隔地に設けた操作部から建設機械を遠隔操作する建設機械遠隔操作システムが提案されている（例えば、特許文献１及び特許文献２参照）。 Construction machine remote control that uses unmanned construction machinery at the work site and remotely operates the construction machine from the operation part provided at a remote location away from the work site, using such remote control technology at the work site Systems have been proposed (see, for example, Patent Document 1 and Patent Document 2).
特許文献１の建設機械遠隔操作システムは、作業現場に配備した建設機械にマイクを設け、該マイクで集音した音を無線で作業現場から離れた遠隔地にある操作部のスピーカから流し、音を操作部内の操作者に伝えるものである。 In the construction machine remote control system of Patent Document 1, a microphone is provided in a construction machine deployed at a work site, and a sound collected by the microphone is wirelessly transmitted from a speaker of an operation unit at a remote location away from the work site. Is transmitted to the operator in the operation unit.
特許文献２の建設機械遠隔操作システムは、作業現場に配備した建設機械にひずみゲージ等からなる作業力検出器を設け、該作業力検出器で検出した作業力に応じて生じる振動を、作業現場から離れた遠隔地にある操作部の振動出力装置を介して操作者に伝えるものである。 The construction machine remote control system of Patent Document 2 is provided with a work force detector composed of a strain gauge or the like in a construction machine deployed at a work site, and generates vibrations generated according to the work force detected by the work force detector. The information is transmitted to the operator via the vibration output device of the operation unit located at a remote place away from the operator.
操作者は音や振動等を体感し、これらの音や振動等を考慮しながら建設機械を操作することで作業性を向上させることができる。ところで、操作者が、音や振動等を体感して臨場感をもって建設機械を操作するときには、操作者ごとに、掘削、荷吊り及び移動等の作業内容に応じて注目する音や振動等が異なる。また、操作者ごとに、これらの音や振動等の組み合わせで操作タイミングを判断している。 The operator can experience the sound and vibration, and can improve workability by operating the construction machine while taking these sound and vibration into consideration. By the way, when an operator operates a construction machine with a sense of reality by experiencing sound, vibration, etc., the sound, vibration, etc. to be noticed differ depending on the work contents such as excavation, load hanging and movement for each operator. . Further, for each operator, the operation timing is determined based on a combination of these sounds and vibrations.
このように、操作者ごとに感性が異なり個体差があるため、音や振動等を一律に出力して操作者に伝えていたのでは、作業性を向上させるための操作者ごとの最適な環境に合わせることが難しい。 In this way, each operator has different sensibility and there are individual differences, so if sound and vibration etc. are output uniformly and communicated to the operator, the optimum environment for each operator to improve workability It is difficult to match.
しかし、特許文献１及び特許文献２の建設機械遠隔操作システムでは、操作部内の音、振動等を一律に出力して操作者に伝えるため、作業内容に応じて操作者の好みに合わせて音や振動等を調整し、操作者ごとの最適な環境にすることができない。 However, in the construction machine remote control systems of Patent Document 1 and Patent Document 2, sound, vibration, and the like in the operation unit are uniformly output and transmitted to the operator. It is not possible to adjust the vibration etc. and make an optimum environment for each operator.
本発明は、以上の点に鑑み、操作部内の音や振動等の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者の好みに合わせて調整できる建設機械遠隔操作システムを提供することを目的とする。 In view of the above, the present invention is a construction machine remote operation capable of adjusting the necessity of output of non-image information such as sound and vibration in the operation unit and the level of non-image information output level according to the preference of the operator. The purpose is to provide a system.
[１]上記目的を達成するため、本発明の建設機械遠隔操作システムは、
作業を実行する建設機械と、該建設機械を操作者が遠隔操作する操作部とからなる建設機械遠隔操作システムであって、
前記建設機械は、該建設機械周囲及び作業部の画像情報を取得するカメラと、前記画像情報とは異なる前記建設機械周囲及び前記作業部の複数種類の非画像情報を取得するセンサ部と、前記画像情報及び前記非画像情報を前記操作部へ送信する情報送信部とを備え、
前記操作部は、前記情報送信部によって送信された前記画像情報及び前記非画像情報を受信する受信部と、受信した前記画像情報を表示する表示部と、複数種類の前記非画像情報に対するゲインを種類別に調整する調整部と、調整された前記非画像情報を出力する非画像情報出力部とを備えることを特徴とする。
[1] To achieve the above object, the construction machine remote control system of the present invention comprises:
A construction machine remote operation system comprising a construction machine for performing work and an operation unit for an operator to remotely operate the construction machine,
The construction machine includes a camera that acquires image information about the construction machine and the working unit, a sensor unit that acquires a plurality of types of non-image information about the construction machine and the working unit that are different from the image information, An information transmission unit that transmits image information and the non-image information to the operation unit;
The operation unit includes a receiving unit that receives the image information and the non-image information transmitted by the information transmitting unit, a display unit that displays the received image information, and gains for a plurality of types of the non-image information. It is characterized by comprising an adjusting unit for adjusting by type and a non-image information output unit for outputting the adjusted non-image information.
本発明によれば、建設機械のセンサ部で取得した非画像情報を情報送信部から操作部に送る。操作部の受信部で受信された非画像情報は、ゲインを種類別に調整する調整部で調整され、非画像情報出力部から出力される。操作部は、複数種類の非画像情報に対するゲインを種類別に調整する調整部を備えるので、操作部内の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者の好みに合わせて調整することができる。 According to the present invention, the non-image information acquired by the sensor unit of the construction machine is sent from the information transmission unit to the operation unit. The non-image information received by the receiving unit of the operation unit is adjusted by an adjusting unit that adjusts the gain for each type, and is output from the non-image information output unit. Since the operation unit includes an adjustment unit that adjusts gains for a plurality of types of non-image information for each type, the necessity of outputting the non-image information in the operation unit and the strength of the output level of the non-image information can be set according to the preference of the operator. It can be adjusted together.
[２]また、本発明においては、前記操作部は、前記操作者が入力する入力部を備え、
前記調整部は、前記入力部に入力された入力情報に基づいて、前記非画像情報の種類別の出力の要否の指定、及び前記非画像情報の種類別の出力レベルの指定、の一方又は両方により前記ゲインを調整することが好ましい。操作部は、操作者が入力する入力部を備えるので、非画像情報の出力の要否、及び非画像情報の出力レベルを、操作者が入力部に直接入力して調整することができる。
[2] In the present invention, the operation unit includes an input unit for input by the operator,
The adjustment unit, based on the input information input to the input unit, one of the designation of the necessity of output for each type of the non-image information and the designation of the output level for each type of the non-image information, It is preferable to adjust the gain by both. Since the operation unit includes an input unit that is input by the operator, the operator can directly adjust the necessity of outputting the non-image information and the output level of the non-image information by directly inputting to the input unit.
[３]また、本発明においては、前記入力情報は、前記建設機械が行う作業内容であり、
前記調整部は、前記作業内容を認識して、認識された前記作業内容に応じて前記ゲインを変更する作業内容認識部を備えることが好ましい。建設機械が行う作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部を備えるので、作業内容に適したゲインの変更を容易に行うことできる。
[3] Further, in the present invention, the input information is details of work performed by the construction machine,
The adjustment unit preferably includes a work content recognition unit that recognizes the work content and changes the gain according to the recognized work content. Since the work content recognition unit for recognizing the work content performed by the construction machine and changing the gain according to the recognized work content, the gain suitable for the work content can be easily changed.
[４]また、本発明においては、前記入力部は、前記操作部に設けられた操作レバーであり、前記作業内容は、前記操作レバーの操作に応じて判別されることが好ましい。操作レバーの操作に応じて作業内容が判別されるので、操作者が意識することなく作業内容に応じたゲインの変更がなされ、無意識に適切な非画像情報を得ることができる。 [4] In the present invention, it is preferable that the input unit is an operation lever provided in the operation unit, and the work content is determined according to an operation of the operation lever. Since the work content is determined according to the operation of the operation lever, the gain is changed according to the work content without the operator being conscious, and appropriate non-image information can be obtained unconsciously.
[５]また、本発明においては、前記センサ部は、複数種類の前記非画像情報ごとに複数の異なったセンサを備えることが好ましい。複数種類の異なったセンサを備えるので、例えば、センサをエンジン音用マイク、アタッチメントの周辺音用マイク、振動センサ等とすることで、より複数種類の非画像情報を精度よく取得することができる。 [5] In the present invention, it is preferable that the sensor unit includes a plurality of different sensors for each of the plurality of types of non-image information. Since a plurality of different types of sensors are provided, for example, a plurality of types of non-image information can be acquired with high accuracy by using sensors such as engine sound microphones, attachment peripheral sound microphones, and vibration sensors.
[６]また、本発明においては、前記センサ部は、複数種類の前記非画像情報を取得する１つのセンサを備え、前記調整部は、１つの前記センサによって取得された、複数の前記非画像情報を解析する情報解析部と、解析された複数の前記非画像情報を分離する非画像情報分離部とを備えることが好ましい。調整部は、１つのセンサによって取得された、複数の非画像情報を解析する情報解析部を有するので、複数の非画像情報を取得する場合でもセンサを１つにすることができる。さらに情報解析部に加えて、解析された複数の非画像情報を分離する非画像情報分離部を備えるので、例えば、１つのセンサをマイク装置とし、取得した音から、建設機械特有のエンジン音、油圧パイプ音、油圧リリース音等を解析・分離して、これらの音を別々に調整することができる。 [6] In the present invention, the sensor unit includes one sensor that acquires a plurality of types of non-image information, and the adjustment unit includes a plurality of the non-images acquired by the one sensor. It is preferable to include an information analysis unit that analyzes information and a non-image information separation unit that separates the plurality of analyzed non-image information. Since the adjustment unit includes an information analysis unit that analyzes a plurality of non-image information acquired by one sensor, even when a plurality of non-image information is acquired, one sensor can be provided. Furthermore, in addition to the information analysis unit, since it includes a non-image information separation unit that separates a plurality of analyzed non-image information, for example, one sensor is used as a microphone device, and from the acquired sound, engine sound peculiar to construction machinery, It is possible to analyze and separate hydraulic pipe sounds, hydraulic release sounds, etc., and adjust these sounds separately.
[７]また、本発明においては、前記操作部は、前記操作者が入力する入力部を備え、前記非画像情報出力部は、前記入力部に入力された入力情報に基づいて、複数種類の前記非画像情報のそれぞれに対する出力形態を認識し、複数種類の前記非画像情報のそれぞれを認識された出力形態で出力することが好ましい。操作者が入力部にどの出力形態にするかの入力情報を入力することで非画像情報の出力形態を選ぶことができるので、例えば、非画像情報としての音や匂いを、非画像情報出力部としての表示部からメータ表示する出力形態を選び、操作者が非画像情報を認識し易い環境を作ることができる。 [7] Further, in the present invention, the operation unit includes an input unit that is input by the operator, and the non-image information output unit includes a plurality of types based on input information input to the input unit. It is preferable to recognize an output form for each of the non-image information and output each of a plurality of types of the non-image information in a recognized output form. Since the operator can select the output form of the non-image information by inputting the input information indicating which output form is to be input to the input unit, for example, the sound or smell as the non-image information is converted into the non-image information output unit. By selecting an output form for meter display from the display unit, an environment in which the operator can easily recognize non-image information can be created.
[８]また、本発明においては、前記入力部は、複数の前記非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とすることが好ましい。操作者が任意の組合せのセットを選択することで、簡単に操作者の好みに応じた非画像情報を認識する環境を作ることができる。 [8] In the present invention, the input unit selects any combination set from a plurality of combinations of one or both of necessity and output level of the plurality of non-image information. Preferably it is possible. By selecting an arbitrary combination set, the operator can easily create an environment for recognizing non-image information according to the operator's preference.
[９]また、本発明においては、前記組合せのセットの情報を、外部のサーバに送信することで該外部のサーバに記憶させ、該外部のサーバに記録された前記組合せのセットの情報が呼び出し可能であることが好ましい。該外部のサーバから記憶させた組合せの情報を呼び出すので、建設機械や操作部の場所を変えても、操作者が任意の組合せのセットの情報を呼び出して好みの非画像情報を認識する環境を作ることができる。 [9] In the present invention, the combination set information is transmitted to an external server to be stored in the external server, and the combination set information recorded in the external server is called up. Preferably it is possible. Since the information of the combination stored from the external server is called, even if the location of the construction machine or the operation unit is changed, the operator can call the information of the set of any combination and recognize the preferred non-image information. Can be made.
（第１実施形態）
図を参照して、本発明の第１実施形態の建設機械遠隔操作システム１を詳しく説明する。図１に示すように、建設機械遠隔操作システム１は、作業を実行する建設機械１０と、該建設機械１０を操作者２（図２参照）が遠隔操作する操作部５０とからなる。
(First embodiment)
The construction machine remote control system 1 according to the first embodiment of the present invention will be described in detail with reference to the drawings. As shown in FIG. 1, the construction machine remote operation system 1 includes a construction machine 10 that performs work, and an operation unit 50 that allows an operator 2 (see FIG. 2) to remotely operate the construction machine 10.
建設機械１０は、油圧ショベルであり、下部走行体１２と、下部走行体１２上に旋回軸１３を介して旋回可能に設けられた上部旋回体１４と、上部旋回体１４に設けられた作業装置１５とを備えている。上部旋回体１４の前横部にはキャブ１６が搭載され、上部旋回体１４の後部には機械室１７に配置されたエンジンやカウンタウエイト１８が搭載されている。 The construction machine 10 is a hydraulic excavator, and includes a lower traveling body 12, an upper revolving body 14 that is turnable on the lower traveling body 12 via a revolving shaft 13, and a work device that is provided on the upper revolving body 14. 15. A cab 16 is mounted on the front lateral portion of the upper swing body 14, and an engine and a counterweight 18 disposed in the machine room 17 are mounted on the rear portion of the upper swing body 14.
上部走行体１４には、ブーム２１及びこのブーム２１を回動するブームシリンダ２２が回動可能に軸支されている。ブームシリンダ２２の先端部はピン２２ａを介してブーム２１に回動可能に連結されている。ブーム２１の先端には、アーム２３がアームシリンダ２４により回動されるように軸支されている。アーム２３には、先端アタッチメントであるバケット２５がリンク部２６を介してバケットシリンダ２７により回動されるように軸支されている。 A boom 21 and a boom cylinder 22 that rotates the boom 21 are rotatably supported on the upper traveling body 14. The tip of the boom cylinder 22 is rotatably connected to the boom 21 via a pin 22a. An arm 23 is pivotally supported at the tip of the boom 21 so as to be rotated by an arm cylinder 24. A bucket 25 as a tip attachment is pivotally supported on the arm 23 so as to be rotated by a bucket cylinder 27 via a link portion 26.
キャブ１６には、建設機械１０周囲の画像情報を取得する第１のカメラ２８が設けられ、上部旋回体１４の後部には、建設機械１０後方の画像情報を取得する第２のカメラ２９が設けられている。 The cab 16 is provided with a first camera 28 that acquires image information around the construction machine 10, and a second camera 29 that acquires image information behind the construction machine 10 is provided at the rear of the upper swing body 14. It has been.
また、建設機械１０には、画像情報とは異なる建設機械１０周囲及び作業部３の複数種類の非画像情報を取得するセンサ部３０と、画像情報及び非画像情報を操作設備５０へ送信する情報送信部４０と、センサ部３０、第１のカメラ２８、第２のカメラ２９及び情報送信部４０を制御する制御部４１とを備えている。 The construction machine 10 includes a sensor unit 30 that acquires a plurality of types of non-image information around the construction machine 10 and the work unit 3 that is different from the image information, and information that transmits the image information and the non-image information to the operation facility 50 A transmission unit 40, a sensor unit 30, a first camera 28, a second camera 29, and a control unit 41 that controls the information transmission unit 40 are provided.
非画像情報は、音、振動、傾き、慣性及び匂いなどである。具体的には、非画像情報は、機械室１７のエンジンから生じる音、ブーム２１、アーム２３等の作業部３全体からの音及びバケット２５から生じる音等の音、キャブ１６に伝わる振動、水平面に対するキャブ１６の傾き、上部旋回体１４の旋回時に上部旋回体１４等に加わる慣性、建設機械１０及び建設機械１０周辺から生じる匂いの少なくともいずれか1つを含む。 Non-image information includes sound, vibration, tilt, inertia, smell, and the like. Specifically, the non-image information includes sound generated from the engine of the machine room 17, sound from the entire working unit 3 such as the boom 21 and the arm 23, and sound generated from the bucket 25, vibration transmitted to the cab 16, horizontal plane At least one of the inclination of the cab 16 with respect to the inclination, the inertia applied to the upper swing body 14 and the like when the upper swing body 14 turns, and the odor generated from the construction machine 10 and the periphery of the construction machine 10.
センサ部３０は、機械室１７に設けられ主にエンジン音を集音するエンジン音用マイク３１と、ブーム２１に設けられ主にブーム２１、アーム２３等の作業部３の構造体から発する音を集音する作業部周辺音用マイク３２と、アーム２３に設けられ主にバケット２５から生じる作業音を集音する先端アタッチメントの周辺音用マイク３３とを備えている。 The sensor unit 30 is provided with an engine sound microphone 31 that is provided in the machine room 17 and mainly collects engine sounds, and a sound that is provided on the boom 21 and mainly generated from the structure of the working unit 3 such as the boom 21 and the arm 23. A working part peripheral sound microphone 32 that collects sound and a peripheral sound microphone 33 that is provided on the arm 23 and collects work sound mainly generated from the bucket 25 are provided.
また、センサ部３０は、キャブ１６に設けられ該キャブ１６に伝わる振動を検知する振動センサ３４と、キャブ１６に設けられ水平面に対するキャブ１６の傾きを検知する傾斜センサ３５とを備えている。さらには、図示しないが、上部旋回体１４に設けられ旋回時に該上部旋回体１４に加わる慣性を検知する慣性センサや、キャブ１６に設けられ建設機械１０周囲の匂いを検知する匂いセンサ等を備えてもよい。 The sensor unit 30 includes a vibration sensor 34 that is provided on the cab 16 and detects vibration transmitted to the cab 16, and an inclination sensor 35 that is provided on the cab 16 and detects the inclination of the cab 16 with respect to a horizontal plane. Further, although not shown, an inertial sensor that is provided on the upper swing body 14 and detects inertia applied to the upper swing body 14 during turning, an odor sensor that is provided on the cab 16 and detects the odor around the construction machine 10, and the like. May be.
図２に示すように、操作部５０は、操作者２が着座するシート５１と、該シート５１の前方に配置され建設機械１０（図１参照）を操作する操作レバー５２と、情報送信部４０（図１参照）によって送信された画像情報及び非画像情報を受信する受信部５３とを備えている。 As illustrated in FIG. 2, the operation unit 50 includes a seat 51 on which the operator 2 is seated, an operation lever 52 that is disposed in front of the seat 51 and operates the construction machine 10 (see FIG. 1), and an information transmission unit 40. And a receiving unit 53 that receives the image information and the non-image information transmitted by (see FIG. 1).
また、操作部５０は、操作者２の前方に配置され受信した画像情報を表示する表示部５４と、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５と、調整された非画像情報を出力する非画像情報出力部６０と、操作レバー５２の近傍に配置され操作者２が出力レベル等を入力する入力部７０とを備えている。 In addition, the operation unit 50 includes a display unit 54 that displays image information arranged and received in front of the operator 2, an adjustment unit 55 that adjusts gains for a plurality of types of non-image information, and adjusted non-images. A non-image information output unit 60 that outputs information and an input unit 70 that is disposed in the vicinity of the operation lever 52 and that the operator 2 inputs an output level and the like are provided.
非画像情報出力部６０は、エンジン音を出力するエンジン音用スピーカ６１、ブーム２１、アーム２３等の作業部３全体からの音を出力する作業部周辺音用スピーカ６２と、アタッチメントであるバケット２５から生じる音を出力する先端アタッチメントの周辺音用スピーカ６３と、キャブ１６に伝わる振動を出力する振動出力装置６４と、水平面に対するキャブ１６の傾きを出力する傾き出力装置６５とを備えている。 The non-image information output unit 60 includes an engine sound speaker 61 that outputs engine sound, a work unit peripheral sound speaker 62 that outputs sound from the entire work unit 3 such as the boom 21 and the arm 23, and a bucket 25 that is an attachment. The peripheral sound speaker 63 for the tip attachment that outputs the sound generated from the sound, the vibration output device 64 that outputs the vibration transmitted to the cab 16, and the inclination output device 65 that outputs the inclination of the cab 16 with respect to the horizontal plane.
さらには、図示しないが、非画像情報出力部６０は、上部旋回体１４の旋回時に該上部旋回体１４に加わる慣性を出力する慣性出力装置や、建設機械１０周囲の匂いを任意成分の項目や数値で示す等で匂いをいわゆる見える化し出力する匂い出力装置等を備えても差し支えない。 Further, although not shown, the non-image information output unit 60 outputs an inertial output device that outputs the inertia applied to the upper swing body 14 when the upper swing body 14 is turned, and an odor around the construction machine 10 as an optional component item. There may be provided an odor output device or the like that visualizes and outputs the odor by numerically indicating it.
エンジン音用スピーカ６１は操作者２の後方に配置され、作業部周辺音用スピーカ６２及び周辺音用スピーカ６３は操作者２の前方に配置されている。また、振動出力装置６４及び傾き出力装置６５はシート５１及び操作レバー５２を含むシート周辺部５１ａに設けられている。なお、実施形態では、振動出力装置６４及び傾き出力装置６５をシート周辺部５１ａに設けて、シート５１及び操作レバー５２部分を同じ振動系の中に置くようにしたが、これに限定されず、振動出力装置６４及び傾き出力装置６５を操作部５０に設け、操作部５０全体を同じ振動系の中に置くようにしてもよい。 The engine sound speaker 61 is disposed behind the operator 2, and the working unit peripheral sound speaker 62 and the peripheral sound speaker 63 are disposed in front of the operator 2. The vibration output device 64 and the tilt output device 65 are provided in the sheet peripheral portion 51 a including the sheet 51 and the operation lever 52. In the embodiment, the vibration output device 64 and the tilt output device 65 are provided in the seat peripheral portion 51a, and the seat 51 and the operation lever 52 are placed in the same vibration system. The vibration output device 64 and the tilt output device 65 may be provided in the operation unit 50, and the entire operation unit 50 may be placed in the same vibration system.
次に構成をブロック図で説明する。図３に示すように、建設機械１０側では、センサ部３０のエンジン音用マイク３１、作業部周辺音用マイク３２、周辺音用マイク３３、振動センサ３４及び傾斜センサ３５が、情報送信部４０に接続されており、センサ部３０で取得した非画像情報は情報送信部４０に送られる。 Next, the configuration will be described with reference to a block diagram. As shown in FIG. 3, on the construction machine 10 side, the engine sound microphone 31, the working portion peripheral sound microphone 32, the peripheral sound microphone 33, the vibration sensor 34, and the tilt sensor 35 of the sensor unit 30 are included in the information transmission unit 40. The non-image information acquired by the sensor unit 30 is sent to the information transmission unit 40.
また、第１のカメラ２８及び第２のカメラ２９は、情報送信部４０に接続されており、第１のカメラ２８及び第２のカメラ２９で取得した画像情報は情報送信部４０に送られる。また、情報送信部４０には制御部４１が接続されており、制御部４１により情報送信部４０等が制御され、画像情報及び非画像情報は情報送信部４０から受信部５３に送信される。 The first camera 28 and the second camera 29 are connected to the information transmission unit 40, and the image information acquired by the first camera 28 and the second camera 29 is sent to the information transmission unit 40. A control unit 41 is connected to the information transmission unit 40, and the information transmission unit 40 and the like are controlled by the control unit 41, and image information and non-image information are transmitted from the information transmission unit 40 to the reception unit 53.
操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０のエンジン音用スピーカ６１、作業部周辺音用スピーカ６２、周辺音用スピーカ６３、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。調整部５５には、入力部７０も接続されている。 On the operation unit 50 side, the operation lever 52, the display unit 54, and the adjustment unit 55 are connected to the reception unit 53, and the engine sound speaker 61, the working unit peripheral sound speaker 62 of the non-image information output unit 60, and the periphery The sound speaker 63, the vibration output device 64, and the tilt output device 65 are connected to the adjustment unit 55. An input unit 70 is also connected to the adjustment unit 55.
入力部７０では、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を異ならせるスイッチ、つまみ等（図４参照）を備えている。受信部５３で受信した画像情報は表示部５４に送られる。また、受信部５３で受信した非画像情報は、調整部５５に送られる。調整部５５では、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報に対するゲインを種類別に調整し、調整された非画像情報は非画像情報出力部６０に送られる。 The input unit 70 includes switches, knobs, and the like (see FIG. 4) that make it necessary to output non-image information and the level of non-image information output level. The image information received by the receiving unit 53 is sent to the display unit 54. Further, the non-image information received by the receiving unit 53 is sent to the adjusting unit 55. The adjustment unit 55 adjusts gains for a plurality of types of non-image information for each type based on the input information input to the input unit 70, and the adjusted non-image information is sent to the non-image information output unit 60.
また、情報送信部４０と受信部５３とは、双方向通信が可能であり、操作レバー５２の操作に応じて発生する操作情報は、受信部５３に送られ、さらに受信部５３から情報送信部４０に送られて制御部４１を介して、建設機械１０の各部の動作が制御される。 The information transmission unit 40 and the reception unit 53 can perform two-way communication, and operation information generated in response to the operation of the operation lever 52 is sent to the reception unit 53, and further, the reception unit 53 transmits the information transmission unit. The operation of each part of the construction machine 10 is controlled via the control unit 41.
次に入力部７０について説明する。図４に示すように、入力部７０は、タッチパネルであり、エンジン音、先端アタッチメント周辺音、ブーム２１、アーム２３等の作業部３全体からの発生する音、振動及び傾き等からなる非画像情報の項目欄７１と、非画像情報の要否を変更するスイッチ欄７２と、非画像情報の出力レベルの強弱を異ならせるつまみ欄７３とを備えている。非画像情報の各項目では、スイッチ欄７２がチェックのＯＮ、ＯＦＦで出力の要否を切り替えることができ、つまみ欄７３のスライダー７４を任意の位置にスライドさせることで出力レベルをＭＩＮ（最小）からＭＡＸ（最大）までの間で選択することができる。 Next, the input unit 70 will be described. As illustrated in FIG. 4, the input unit 70 is a touch panel, and includes non-image information including engine sound, tip attachment peripheral sound, sound generated from the entire work unit 3 such as the boom 21 and the arm 23, vibration, and inclination. Item column 71, a switch column 72 for changing whether or not non-image information is necessary, and a knob column 73 for varying the output level of the non-image information. For each item of non-image information, the necessity of output can be switched by checking ON / OFF of the switch column 72, and the output level is set to MIN (minimum) by sliding the slider 74 of the knob column 73 to an arbitrary position. To MAX (maximum).
入力部７０をタッチパネルとし、該タッチパネルの表示を制御するソフトウェアを変更することで、項目を増減させることや、スイッチ欄７２、つまみ欄７３等の形態を変更することができる。なお、実施形態では、入力部７０をタッチパネルとしたが、これに限定されず、物理的なつまみ等を使用してもよい。 By using the input unit 70 as a touch panel and changing the software for controlling the display of the touch panel, the number of items can be increased or decreased, and the form of the switch column 72, the knob column 73, and the like can be changed. In the embodiment, the input unit 70 is a touch panel. However, the present invention is not limited to this, and a physical knob or the like may be used.
次に、以上に述べた操作部５０の作用をフローチャートに基づいて説明する。図５に示すように、ＳＴＥＰ１で、入力部７０の各項目でのゲインによる非画像情報の出力の要否、出力レベルの強弱を設定値として入力する。ＳＴＥＰ２で、調整部５５に出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ３で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。 Next, the operation of the operation unit 50 described above will be described based on a flowchart. As shown in FIG. 5, in STEP 1, necessity / unnecessity of outputting non-image information based on gain in each item of the input unit 70 and the strength of the output level are input as setting values. In STEP2, the adjustment unit 55 reads the output target that is necessary among the items of the non-image information depending on the necessity of output. In STEP 3, the gain in the non-image information to be output is read into the adjustment unit 55.
ＳＴＥＰ４で、調整部５５に受信部５３からの非画像情報が読み込まれる。ＳＴＥＰ５で、調整部５５での出力対象が選別される。ＳＴＥＰ６で、出力対象の強弱が調整される。ＳＴＥＰ７で、出力対象に選別され且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。 In STEP 4, the non-image information from the receiving unit 53 is read into the adjusting unit 55. In STEP5, the output target in the adjustment unit 55 is selected. In STEP 6, the strength of the output target is adjusted. In STEP 7, non-image information that is selected as an output target and whose strength is adjusted is output from the non-image information output unit 60.
操作部５０の受信部５３で受信された非画像情報は、ゲインを種類別に調整する調整部５５で調整され、非画像情報出力部から出力される。操作部５０は、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５を備えるので、操作部内の非画像情報の出力の要否及び非画像情報の出力レベルの強弱を、操作者２の好みに合わせて調整することができる。 The non-image information received by the receiving unit 53 of the operation unit 50 is adjusted by the adjusting unit 55 that adjusts the gain for each type, and is output from the non-image information output unit. Since the operation unit 50 includes an adjustment unit 55 that adjusts gains for a plurality of types of non-image information according to types, the necessity of output of non-image information in the operation unit and the strength of the output level of non-image information are determined by the operator 2. Can be adjusted to your liking.
さらに、操作部５０は、操作者２が入力する入力部７０を備えるので、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を、操作者２が入力部７０に直接入力して調整することができる。さらに、複数種類の異なったセンサ３１、３２、３３、３４、３５を備えるので、例えば、センサをエンジン音用マイク３１、アタッチメントの周辺音用マイク３３、振動センサ３４等とすることで、より複数種類の非画像情報を効率よく取得することができる。 Furthermore, since the operation unit 50 includes an input unit 70 that the operator 2 inputs, the operator 2 directly inputs the necessity of outputting non-image information and the strength of the output level of the non-image information to the input unit 70. Can be adjusted. Furthermore, since a plurality of different types of sensors 31, 32, 33, 34, and 35 are provided, for example, the sensor may be an engine sound microphone 31, an attachment ambient sound microphone 33, a vibration sensor 34, and the like. Kinds of non-image information can be acquired efficiently.
非画像情報出力部６０は、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報のそれぞれに対する出力形態を認識し、複数種類の非画像情報のそれぞれを認識された出力形態で出力する。操作者２が入力部７０にどの出力形態にするかの入力情報を入力することで非画像情報の出力形態を選ぶことができるので、例えば、非画像情報としての音や匂いを、非画像情報出力部６０としての表示部５４からメータ表示する出力形態を選び、操作者２が非画像情報を認識し易い環境を作ることができる。 The non-image information output unit 60 recognizes an output form for each of a plurality of types of non-image information based on the input information input to the input unit 70, and an output form in which each of the plurality of types of non-image information is recognized. To output. The operator 2 can select the output form of the non-image information by inputting the input information indicating which output form is to be input to the input unit 70. For example, the sound or smell as the non-image information can be changed to the non-image information. An output form for meter display can be selected from the display unit 54 as the output unit 60, and an environment in which the operator 2 can easily recognize non-image information can be created.
入力部７０は、複数の非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とする。操作者２が任意の組合せのセットを選択することで、簡単に操作者の好みに応じた非画像情報を認識する環境を作ることができる。組合せのセットの情報は、例えば操作部５０内の調整部５５や入力部７０などのローカル環境に記憶させて、入力部７０から選択することができる。 The input unit 70 makes it possible to select an arbitrary set of combinations from a plurality of combinations of one or both of necessity and output level of output for a plurality of non-image information. By selecting an arbitrary combination set, the operator 2 can easily create an environment for recognizing non-image information according to the preference of the operator. Information on the set of combinations can be selected from the input unit 70 by being stored in a local environment such as the adjustment unit 55 or the input unit 70 in the operation unit 50.
組合せのセットの情報を、外部のサーバ（不図示）に送信することで該外部のサーバに記憶させ、該外部のサーバに記録された組合せのセットの情報が呼び出し可能である。具体的には、操作者２毎のユーザＩＤ、作業種類毎の作業ＩＤ、作業者２が所属するグループ毎のグループＩＤ等を設定し、これらのＩＤに基づいていわゆるクラウドと呼ばれる外部のサーバにアクセスして、組合せのセットの情報を送受信する。さらに、組合せのセットの情報は編集も可能である。このような構成とすることで、該外部のサーバから記憶させた組合せの情報を呼び出すので、建設機械や操作部の場所を変えても、操作者が任意の組合せのセットの情報を呼び出して好みの非画像情報を認識する環境を作ることができる。さらには、例えば、ＩＣカード、スマホ等のデバイスを使って、ここにユーザごとの組み合わせセット情報を記憶させ、これをショベル側で読み込むことでも、建設機械や操作部の場所によらず、操作者が好みの非画像情報を認識する環境を作ることができる。 The combination set information is transmitted to an external server (not shown) to be stored in the external server, and the combination set information recorded in the external server can be called. Specifically, a user ID for each operator 2, a work ID for each work type, a group ID for each group to which the worker 2 belongs, and the like are set, and an external server called a so-called cloud is set based on these IDs. Access and send / receive information on sets of combinations. Furthermore, the information of the combination set can be edited. With such a configuration, the stored combination information is called from the external server, so that even if the location of the construction machine or the operation unit is changed, the operator can call the desired combination set information and change the preference. It is possible to create an environment for recognizing non-image information. Further, for example, by using a device such as an IC card or a smartphone, the combination set information for each user is stored here, and this can be read on the shovel side, regardless of the location of the construction machine or the operation unit. Can create an environment that recognizes favorite non-image information.
（第２実施形態）
次に、第２実施形態の建設機械遠隔操作システム１を図６〜図９に基づいて説明する。なお、第２実施形態の建設機械遠隔操作システム１において第１実施形態の建設機械遠隔操作システム１と同一の構成については第１実施形態と同じ符号を付して詳しい説明を省略する。
(Second Embodiment)
Next, the construction machine remote control system 1 according to the second embodiment will be described with reference to FIGS. In the construction machine remote control system 1 of the second embodiment, the same components as those of the construction machine remote control system 1 of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and detailed description thereof is omitted.
図６に示すように、キャブ１６には、複数種類の非画像情報として、音を取得する１つのセンサ３６が備えられている。１つのセンサ３６は、マイク装置である（以下、１つのセンサ３６をマイク装置３６という）。詳細には、マイク装置３６は、マイクロホンアレーであり、複数のマイクロホンを用いた収音装置であると共に、空間中の特定方向の音源からの音を選択的に取り出したり、特定方向の音源の音を抑圧したり，音源の方向を推定したりすることができる。 As shown in FIG. 6, the cab 16 includes one sensor 36 that acquires sound as a plurality of types of non-image information. One sensor 36 is a microphone device (hereinafter, one sensor 36 is referred to as a microphone device 36). Specifically, the microphone device 36 is a microphone array, and is a sound collection device using a plurality of microphones. The microphone device 36 selectively picks up sound from a sound source in a specific direction in the space or sounds of a sound source in a specific direction. Can be suppressed, and the direction of the sound source can be estimated.
図７に示すように、非画像情報出力部６０は、操作者２の前方に配置される前側スピーカ６６と、操作者２の後方に配置される後側スピーカ６７とを備えている。調整部５５には、マイク装置３６によって取得された、複数の非画像情報である音を音源分離技術により分離し、解析する情報解析部５６と、解析された複数の非画像情報である音を分離する非画像情報分離部５７とを備えている。 As shown in FIG. 7, the non-image information output unit 60 includes a front speaker 66 disposed in front of the operator 2 and a rear speaker 67 disposed behind the operator 2. In the adjustment unit 55, the information analysis unit 56 that separates and analyzes the sound, which is a plurality of non-image information, acquired by the microphone device 36 using the sound source separation technique, and the sound, which is the plurality of analyzed non-image information, And a non-image information separation unit 57 for separation.
情報解析部５６により、マイク装置３６（図６参照）で集音された音が、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音、エンジン音等の音であると解析される。解析された音は、それぞれに分離されて複数の非画像情報としての音となる。 The sound collected by the microphone device 36 (see FIG. 6) by the information analysis unit 56 is a sound from the entire working unit 3 such as the boom 21 and the arm 23, a sound generated from the bucket 25 as an attachment, an engine sound, and the like. It is analyzed as sound. The analyzed sounds are separated into the sounds as a plurality of non-image information.
前側スピーカ６６は、主に、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音等のように、建設機械１０の前側由来の音を出力する。後側スピーカ６７は、主に、エンジン音等のように、建設機械１０の後側由来の音を出力する。 The front speaker 66 mainly outputs sounds derived from the front side of the construction machine 10 such as sound from the entire working unit 3 such as the boom 21 and the arm 23, sound generated from the bucket 25 as an attachment, and the like. The rear speaker 67 mainly outputs sounds derived from the rear side of the construction machine 10 such as engine sounds.
次に第２実施形態の構成をブロック図で説明する。図８に示すように、建設機械１０側では、マイク装置３６、振動センサ３４及び傾斜センサ３５が、情報送信部４０に接続されており、センサ部３０で取得した非画像情報は情報送信部４０に送られる。 Next, the configuration of the second embodiment will be described with reference to a block diagram. As shown in FIG. 8, on the construction machine 10 side, the microphone device 36, the vibration sensor 34, and the tilt sensor 35 are connected to the information transmission unit 40, and the non-image information acquired by the sensor unit 30 is the information transmission unit 40. Sent to.
また、第１のカメラ２８及び第２のカメラ２９は、情報送信部４０に接続されており、第１のカメラ２８及び第２のカメラ２９で取得した画像情報は情報送信部４０に送られる。また、情報送信部４０には制御部４１が接続されており、制御部４１により情報送信部４０等が制御され、画像情報及び非画像情報は情報送信部４０から受信部５３に送信される。 The first camera 28 and the second camera 29 are connected to the information transmission unit 40, and the image information acquired by the first camera 28 and the second camera 29 is sent to the information transmission unit 40. A control unit 41 is connected to the information transmission unit 40, and the information transmission unit 40 and the like are controlled by the control unit 41, and image information and non-image information are transmitted from the information transmission unit 40 to the reception unit 53.
操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０の前側スピーカ６６、後側スピーカ６７、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。調整部５５には、入力部７０も接続されている。 On the operation unit 50 side, the operation lever 52, the display unit 54, and the adjustment unit 55 are connected to the reception unit 53, and the front speaker 66, the rear speaker 67, the vibration output device 64, and the tilt of the non-image information output unit 60 are tilted. An output device 65 is connected to the adjustment unit 55. An input unit 70 is also connected to the adjustment unit 55.
入力部７０では、非画像情報の出力の要否、及び非画像情報の出力レベルの強弱を異ならせるスイッチ、つまみ等（図４参照）を備えている。受信部５３で受信した画像情報は表示部５４に送られる。また、受信部５３で受信した非画像情報であるマイク装置３６で集音された音情報は、調整部５５に送られる。 The input unit 70 includes switches, knobs, and the like (see FIG. 4) that make it necessary to output non-image information and the level of non-image information output level. The image information received by the receiving unit 53 is sent to the display unit 54. The sound information collected by the microphone device 36 that is non-image information received by the receiving unit 53 is sent to the adjusting unit 55.
調整部５５では、マイク装置３６で集音された音情報が、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音、エンジン音等の音であると解析されて、それぞれに分離されて複数の非画像情報としての音となる。そして、入力部７０に入力された入力情報に基づいて、複数種類の非画像情報に対するゲインを種類別に調整し、調整された非画像情報が非画像情報出力部６０に送られる。前側スピーカ６６は、主に、ブーム２１、アーム２３等の作業部３全体からの音、アタッチメントであるバケット２５から生じる音を出力する。後側スピーカ６７は、主に、エンジン音を出力する。 The adjustment unit 55 analyzes that the sound information collected by the microphone device 36 is a sound from the entire working unit 3 such as the boom 21 and the arm 23, a sound generated from the bucket 25 that is an attachment, and a sound such as an engine sound. Thus, the sound is separated into a plurality of pieces of non-image information. Based on the input information input to the input unit 70, the gain for a plurality of types of non-image information is adjusted for each type, and the adjusted non-image information is sent to the non-image information output unit 60. The front speaker 66 mainly outputs sounds from the entire working unit 3 such as the boom 21 and the arm 23 and sounds generated from the bucket 25 which is an attachment. The rear speaker 67 mainly outputs engine sound.
次に、以上に述べた第２実施形態の操作部５０の作用をフローチャートに基づいて説明する。図９に示すように、ＳＴＥＰ８で、入力部７０の各項目でのゲインによる非画像情報の出力の要否、出力レベルの強弱を設定値として入力する。ＳＴＥＰ９で、調整部５５に出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ１０で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。 Next, the operation of the operation unit 50 of the second embodiment described above will be described based on a flowchart. As shown in FIG. 9, in STEP 8, the necessity of outputting non-image information by the gain in each item of the input unit 70 and the strength of the output level are input as set values. In STEP 9, the adjustment unit 55 reads the output target that is required among the items of the non-image information depending on the necessity of output. In STEP 10, the gain in the non-image information to be output is read into the adjustment unit 55.
ＳＴＥＰ１１で、調整部５５に受信部５３からのマイク装置３６の音情報及び該音情報以外の非画像情報が読み込まれる。ＳＴＥＰ１２で、マイク装置３６で集音された音情報が、ブーム２１、アーム２３等の作業部３全体からの音、先端アタッチメントであるバケット２５から生じる音、エンジン音等の音に音源分離技術を用いて分離、解析されて複数の非画像情報としての音となる。ＳＴＥＰ１３で、調整部５５での出力対象が選別される。ＳＴＥＰ１４で、出力対象の強弱が調整される。ＳＴＥＰ１５で、出力対象に選ばれ且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。 In STEP 11, the sound information of the microphone device 36 from the receiving unit 53 and the non-image information other than the sound information are read into the adjusting unit 55. In STEP 12, the sound information collected by the microphone device 36 is applied to the sound from the entire working unit 3 such as the boom 21 and the arm 23, the sound generated from the bucket 25 as the tip attachment, and the sound of the engine, etc. The sound is separated and analyzed by using the sound as a plurality of non-image information. In STEP 13, the output target in the adjustment unit 55 is selected. In STEP14, the strength of the output target is adjusted. In STEP 15, non-image information selected as an output target and adjusted in strength is output from the non-image information output unit 60.
調整部５５は、１つのセンサによって取得された、複数の非画像情報を解析する情報解析部５６を有するので、複数の非画像情報を取得する場合でもセンサを１つにすることができる。さらに情報解析部５６に加えて、解析された複数の非画像情報を分離する非画像情報分離部５７を備えるので、例えば、１つのセンサをマイク装置３６とし、取得した音から、建設機械特有のエンジン音、油圧パイプ音、油圧リリーフ音等を解析・分離して、これらの音を別々に調整することができる。 Since the adjustment unit 55 includes the information analysis unit 56 that analyzes a plurality of pieces of non-image information acquired by one sensor, even when a plurality of pieces of non-image information are acquired, one sensor can be provided. Furthermore, in addition to the information analysis unit 56, a non-image information separation unit 57 that separates a plurality of analyzed non-image information is provided. For example, one sensor is used as the microphone device 36, and the acquired sound is unique to the construction machine. Engine sound, hydraulic pipe sound, hydraulic relief sound, etc. can be analyzed and separated, and these sounds can be adjusted separately.
（第３実施形態）
次に、第３実施形態の建設機械遠隔操作システム１を図１０〜図１３に基づいて説明する。なお、第３実施形態の建設機械遠隔操作システム１において第１実施形態の建設機械遠隔操作システム１と同一の構成については第１実施形態と同じ符号を付して詳しい説明を省略する。
(Third embodiment)
Next, the construction machine remote control system 1 according to the third embodiment will be described with reference to FIGS. In the construction machine remote control system 1 of the third embodiment, the same components as those of the construction machine remote control system 1 of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and detailed description thereof is omitted.
図１０に示すように、操作部５０は、シート５１の前方に配置され建設機械１０（図１参照）を操作する操作レバー５２と、複数種類の非画像情報に対するゲインを種類別に調整する調整部５５と、調整された非画像情報を出力する非画像情報出力部６０とを備えている。 As shown in FIG. 10, the operation unit 50 includes an operation lever 52 that is disposed in front of the seat 51 and operates the construction machine 10 (see FIG. 1), and an adjustment unit that adjusts gains for a plurality of types of non-image information. 55 and a non-image information output unit 60 for outputting the adjusted non-image information.
調整部５５に送られる入力情報は、建設機械１０が行う作業内容である。調整部５５は、作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部５８を備えている。作業内容は、操作レバー５２の操作に応じて判別される。 The input information sent to the adjustment unit 55 is details of work performed by the construction machine 10. The adjustment unit 55 includes a work content recognition unit 58 that recognizes the work content and changes the gain according to the recognized work content. The work content is determined according to the operation of the operation lever 52.
次に第３実施形態の構成をブロック図で説明する。図１１に示すように、操作部５０側では、操作レバー５２、表示部５４及び調整部５５が、受信部５３に接続されており、非画像情報出力部６０のエンジン音用スピーカ６１、作業部周辺音用スピーカ６２、周辺音用スピーカ６３、振動出力装置６４及び傾き出力装置６５が、調整部５５に接続されている。さらに、調整部５５と操作レバー５２の間には、作業内容認識部５８が接続されている。 Next, the configuration of the third embodiment will be described with reference to a block diagram. As shown in FIG. 11, on the operation unit 50 side, an operation lever 52, a display unit 54, and an adjustment unit 55 are connected to the reception unit 53, the engine sound speaker 61 of the non-image information output unit 60, the working unit. The ambient sound speaker 62, the ambient sound speaker 63, the vibration output device 64, and the tilt output device 65 are connected to the adjustment unit 55. Further, a work content recognition unit 58 is connected between the adjustment unit 55 and the operation lever 52.
作業内容認識部５８は、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できる形式ものと、操作レバー５２の操作に応じて作業内容を判別する形式のものがある。 The work content recognition unit 58 includes a type in which work contents registered in advance, such as when moving, excavation, and loading, can be selected, and a type in which the work content is determined according to the operation of the operation lever 52.
図１２に示すように、予め登録された作業内容が選択できる形式では、作業内容認識部５８は、例えばタッチパネルであり、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できるようになっている。例えば、掘削時を選択することでタッチパネルの掘削時の部分が選択中と分かるように表示される。なお、タッチパネル形式に限定されず、ボタン形式など、作業内容を選択できれば態様は問わない。 As shown in FIG. 12, in a format in which pre-registered work contents can be selected, the work content recognition unit 58 is, for example, a touch panel, and pre-registered work contents such as when moving, excavating, and when loading are selected. It can be done. For example, by selecting the time of excavation, the portion of the touch panel during excavation is displayed so that it can be seen that it is being selected. Note that the present invention is not limited to the touch panel format, and any mode can be used as long as the work content can be selected, such as a button format.
作業内容認識部５８に搭載されたメモリ等に、作業内容に応じた各非画像情報の出力の要否、出力レベルの強弱の設定値をテーブルとして持たせ、このテーブルから作業内容に応じて設定値が引き出される。 A memory or the like mounted on the work content recognition unit 58 is provided with a table indicating whether or not each non-image information is output according to the work content, and a setting value of the output level strength, and is set according to the work content from this table. The value is derived.
また、操作レバー５２の操作に応じて作業内容を判別する形式では、作業内容に応じて操作レバー５２の動作パターンが記憶されている。操作レバー５２を操作し、任意の動作パターンと認識することで作業内容が選択され、上述のテーブルから作業内容に応じた設定が引き出される。 In the format in which the work content is determined according to the operation of the operation lever 52, the operation pattern of the operation lever 52 is stored according to the work content. The operation content is selected by operating the operation lever 52 and recognizing an arbitrary operation pattern, and settings corresponding to the operation content are extracted from the above-described table.
次に、以上に述べた第３実施形態の操作部５０の作用をフローチャートに基づいて説明する。図１３に示すように、ＳＴＥＰ１６で、作業内容認識部５８では、タッチパネルから作用内容を選択するか、又は操作レバー５２の動作パターンにより、作業内容が認識される。ＳＴＥＰ１７で、調整部５５では、認識された作業内容に応じてテーブルからゲインの設定値が読み込まれる。 Next, the operation of the operation unit 50 according to the third embodiment described above will be described based on a flowchart. As shown in FIG. 13, in STEP 16, the work content recognition unit 58 recognizes the work content by selecting the action content from the touch panel or by the operation pattern of the operation lever 52. In STEP 17, the adjustment unit 55 reads the gain setting value from the table according to the recognized work content.
ＳＴＥＰ１８で、調整部５５では、出力の要否により非画像情報の各項目のうち必要となった出力対象が読み込まれる。ＳＴＥＰ１９で、調整部５５に出力対象の非画像情報におけるゲインが読み込まれる。 In STEP 18, the adjustment unit 55 reads the output target that is required among the items of the non-image information depending on the necessity of output. In STEP 19, the gain in the non-image information to be output is read into the adjustment unit 55.
ＳＴＥＰ２０で、調整部５５に受信部５３からの非画像情報が読み込まれる。ＳＴＥＰ２１で、調整部５５での出力対象が選別される。ＳＴＥＰ２２で、出力対象の強弱が調整される。ＳＴＥＰ２３で、出力対象に選別され且つ強弱が調整された非画像情報が非画像情報出力部６０から出力される。 In STEP 20, the non-image information from the receiving unit 53 is read into the adjusting unit 55. In STEP 21, the output target in the adjustment unit 55 is selected. In STEP 22, the strength of the output target is adjusted. In STEP 23, non-image information that is selected as an output target and whose strength is adjusted is output from the non-image information output unit 60.
このように、建設機械１０が行う作業内容を認識して、認識された作業内容に応じてゲインを変更する作業内容認識部５８を備えるので、作業内容に適したゲインの変更を容易に行うことできる。さらに、操作レバー５２の操作に応じて作業内容が判別されるので、操作者２が意識することなく作業内容に応じたゲインの変更がなされ、無意識に適切な非画像情報を得ることができる。 As described above, since the work content recognition unit 58 that recognizes the work content performed by the construction machine 10 and changes the gain according to the recognized work content, the gain suitable for the work content can be easily changed. it can. Furthermore, since the work content is determined according to the operation of the operation lever 52, the gain is changed according to the work content without the operator 2 being conscious, and appropriate non-image information can be obtained unconsciously.
なお、第３実施形態では、作業内容認識部５８は、移動時、掘削時、荷吊り時等、予め登録された作業内容が選択できる形式のものと、操作レバー５２の操作に応じて作業内容を判別する形式のものとしたが、これに限定されない。 In the third embodiment, the work content recognition unit 58 can select a work content registered in advance, such as when moving, excavating, or hanging a load, and the work content according to the operation of the operation lever 52. However, the present invention is not limited to this.
例えば、建設機械遠隔操作システム１は、建設機械１０と操作部５０の他に、いわゆるクラウド等に無線で情報を記録できるようにし、任意の操作者２の建設機械１０に対する操作や、複数種類の非画像情報に対するゲインの調整を記録させ、離れた場所にある別の建設機械１０を使用した場合であっても、クラウドに記録された任意の操作者２の記録を引き出して使用するようにしても差し支えない。このようなクラウドを含めた構成にすることで、場所や建設機械１０にとらわれず、任意の操作者２にとって、最適な作業環境を提供することできる。 For example, the construction machine remote operation system 1 enables information to be recorded wirelessly in a so-called cloud or the like in addition to the construction machine 10 and the operation unit 50, so that an arbitrary operator 2 can operate the construction machine 10, The gain adjustment for non-image information is recorded, and even when another construction machine 10 at a remote location is used, the record of any operator 2 recorded in the cloud is pulled out and used. There is no problem. By adopting a configuration including such a cloud, it is possible to provide an optimal work environment for any operator 2 regardless of the location and the construction machine 10.
１ 建設機械遠隔操作システム
２ 操作者
１０ 建設機械
２８ 第１のカメラ
２９ 第２のカメラ
３０ センサ部
３１ エンジン音用マイク
３２ 作業部周辺音用マイク
３３ 周辺音用マイク
３４ 振動センサ
３５ 傾斜センサ
３６ １つのセンサ（マイク装置）
４０ 情報送信部
５０ 操作部
５２ 操作レバー
５３ 受信部
５４ 表示部
５５ 調整部
５６ 情報解析部
５７ 非画像情報分離部
５８ 作業内容認識部
６０ 非画像情報出力部
６１ エンジン音用スピーカ
６２ 作業部周辺音用スピーカ
６３ 周辺音用スピーカ
６４ 振動出力装置
６５ 傾き出力装置
６６ 前側スピーカ
６７ 後側スピーカ
７０ 入力部
DESCRIPTION OF SYMBOLS 1 Construction machine remote control system 2 Operator 10 Construction machine 28 1st camera 29 2nd camera 30 Sensor part 31 Microphone for engine sound 32 Microphone for peripheral sound of working part 33 Microphone for peripheral sound 34 Vibration sensor 35 Tilt sensor 36 1 Sensors (microphone device)
40 Information transmission unit 50 Operation unit 52 Operation lever 53 Reception unit 54 Display unit 55 Adjustment unit 56 Information analysis unit 57 Non-image information separation unit 58 Work content recognition unit 60 Non-image information output unit 61 Engine sound speaker 62 Work unit peripheral sound Speaker 63 ambient sound speaker 64 vibration output device 65 tilt output device 66 front speaker 67 rear speaker 70 input unit
Claims (9)
前記建設機械は、該建設機械周囲の画像情報を取得するカメラと、前記画像情報とは異なる前記建設機械周囲及び前記作業部の複数種類の非画像情報を取得するセンサ部と、前記画像情報及び前記非画像情報を前記操作部へ送信する情報送信部とを備え、
前記操作部は、前記情報送信部によって送信された前記画像情報及び前記非画像情報を受信する受信部と、受信した前記画像情報を表示する表示部と、複数種類の前記非画像情報に対するゲインを種類別に調整する調整部と、調整された前記非画像情報を出力する非画像情報出力部とを備えることを特徴とする建設機械遠隔操作システム。 A construction machine remote operation system comprising a construction machine for performing work and an operation unit for an operator to remotely operate the construction machine,
The construction machine includes a camera that obtains image information around the construction machine, a sensor unit that obtains a plurality of types of non-image information around the construction machine and the working unit that is different from the image information, and the image information and An information transmission unit that transmits the non-image information to the operation unit,
The operation unit includes a receiving unit that receives the image information and the non-image information transmitted by the information transmitting unit, a display unit that displays the received image information, and gains for a plurality of types of the non-image information. A construction machine remote control system comprising: an adjustment unit that adjusts by type; and a non-image information output unit that outputs the adjusted non-image information.
前記操作部は、前記操作者が入力する入力部を備え、
前記調整部は、前記入力部に入力された入力情報に基づいて、前記非画像情報の種類別の出力の要否の指定、及び前記非画像情報の種類別の出力レベルの指定、の一方又は両方により前記ゲインを調整することを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to claim 1,
The operation unit includes an input unit for input by the operator,
The adjustment unit, based on the input information input to the input unit, one of the designation of the necessity of output for each type of the non-image information and the designation of the output level for each type of the non-image information, A construction machine remote control system, wherein the gain is adjusted by both.
前記入力情報は、前記建設機械が行う作業内容であり、
前記調整部は、前記作業内容を認識して、認識された前記作業内容に応じて前記ゲインを変更する作業内容認識部を備えることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to claim 2,
The input information is a work content performed by the construction machine,
The adjustment unit includes a work content recognizing unit that recognizes the work content and changes the gain according to the recognized work content.
前記入力部は、前記操作部に設けられた操作レバーであり、
前記作業内容は、前記操作レバーの操作に応じて判別されることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to claim 3,
The input unit is an operation lever provided in the operation unit,
The construction machine remote operation system according to claim 1, wherein the work content is determined according to an operation of the operation lever.
前記センサ部は、複数種類の前記非画像情報ごとに複数の異なったセンサを備えることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to any one of claims 1 to 4,
The construction machine remote control system, wherein the sensor unit includes a plurality of different sensors for each of a plurality of types of non-image information.
前記センサ部は、複数種類の前記非画像情報を取得する１つのセンサを備え、
前記調整部は、１つの前記センサによって取得された、複数の前記非画像情報を解析する情報解析部と、解析された複数の前記非画像情報を分離する非画像情報分離部とを備えることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to any one of claims 1 to 4,
The sensor unit includes one sensor that acquires a plurality of types of non-image information,
The adjustment unit includes an information analysis unit that analyzes a plurality of the non-image information acquired by one sensor, and a non-image information separation unit that separates the plurality of analyzed non-image information. The construction machine remote control system features.
前記操作部は、前記操作者が入力する入力部を備え、
前記非画像情報出力部は、前記入力部に入力された入力情報に基づいて、複数種類の前記非画像情報のそれぞれに対する出力形態を認識し、複数種類の前記非画像情報のそれぞれを認識された出力形態で出力することを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to any one of claims 1 to 6,
The operation unit includes an input unit for input by the operator,
The non-image information output unit recognizes an output form for each of a plurality of types of the non-image information based on the input information input to the input unit, and each of the plurality of types of the non-image information is recognized. A construction machine remote control system that outputs in an output form.
前記入力部は、複数の前記非画像情報に対する出力の要否及び出力レベルの一方又は両方の複数の組合せのセットの中から任意の該組合せのセットを選択可能とすることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to claim 2,
The input unit is capable of selecting an arbitrary set of combinations from a plurality of combinations of one or both of necessity and output level of output for a plurality of the non-image information. Remote control system.
前記組合せのセットの情報を、外部のサーバに送信することで該外部のサーバに記憶させ、
該外部のサーバに記録された前記組合せのセットの情報が呼び出し可能であることを特徴とする建設機械遠隔操作システム。 The construction machine remote control system according to claim 8,
Sending the information of the set of combinations to an external server by sending it to the external server;
A construction machine remote control system characterized in that information on the set of combinations recorded in the external server can be called.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120648A JP6885212B2 (en) | 2017-06-20 | 2017-06-20 | Construction machinery remote control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120648A JP6885212B2 (en) | 2017-06-20 | 2017-06-20 | Construction machinery remote control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019007139A true JP2019007139A (en) | 2019-01-17 |
| JP6885212B2 JP6885212B2 (en) | 2021-06-09 |
Family
ID=65028519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017120648A Active JP6885212B2 (en) | 2017-06-20 | 2017-06-20 | Construction machinery remote control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6885212B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020158157A1 (en) * | 2019-01-28 | 2020-08-06 | コベルコ建機株式会社 | Work machine |
| JP2020143520A (en) * | 2019-03-07 | 2020-09-10 | コベルコ建機株式会社 | Remote control system |
| WO2020203170A1 (en) * | 2019-04-05 | 2020-10-08 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| WO2020203169A1 (en) * | 2019-04-05 | 2020-10-08 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| WO2021166475A1 (en) * | 2020-02-18 | 2021-08-26 | コベルコ建機株式会社 | Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method |
| WO2021230090A1 (en) * | 2020-05-14 | 2021-11-18 | コベルコ建機株式会社 | Remote operation assistance device and remote operation assistance method |
| EP4060129A1 (en) * | 2021-03-19 | 2022-09-21 | Kobelco Construction Machinery Co., Ltd. | Remote operation support system and remote operation support method |
| JP7366472B1 (en) | 2022-07-05 | 2023-10-23 | 吉谷土木株式会社 | Planting support methods and field work support systems, etc. |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09217382A (en) * | 1996-02-09 | 1997-08-19 | Hitachi Constr Mach Co Ltd | Remote controller excavator |
| JP2005077731A (en) * | 2003-08-29 | 2005-03-24 | Univ Waseda | Sound source separating method and system therefor, and speech recognizing method and system therefor |
| JP2005354479A (en) * | 2004-06-11 | 2005-12-22 | Hitachi Constr Mach Co Ltd | Radio remote control system of operating machine |
| US20140188333A1 (en) * | 2012-12-27 | 2014-07-03 | Caterpillar Inc. | Augmented Reality Implement Control |
-
2017
- 2017-06-20 JP JP2017120648A patent/JP6885212B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09217382A (en) * | 1996-02-09 | 1997-08-19 | Hitachi Constr Mach Co Ltd | Remote controller excavator |
| JP2005077731A (en) * | 2003-08-29 | 2005-03-24 | Univ Waseda | Sound source separating method and system therefor, and speech recognizing method and system therefor |
| JP2005354479A (en) * | 2004-06-11 | 2005-12-22 | Hitachi Constr Mach Co Ltd | Radio remote control system of operating machine |
| US20140188333A1 (en) * | 2012-12-27 | 2014-07-03 | Caterpillar Inc. | Augmented Reality Implement Control |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113348286A (en) * | 2019-01-28 | 2021-09-03 | 神钢建机株式会社 | Working machine |
| JP2020117994A (en) * | 2019-01-28 | 2020-08-06 | コベルコ建機株式会社 | Work machine |
| JP7206956B2 (en) | 2019-01-28 | 2023-01-18 | コベルコ建機株式会社 | working machine |
| CN113348286B (en) * | 2019-01-28 | 2023-08-08 | 神钢建机株式会社 | Work machine |
| WO2020158157A1 (en) * | 2019-01-28 | 2020-08-06 | コベルコ建機株式会社 | Work machine |
| US11821171B2 (en) | 2019-01-28 | 2023-11-21 | Kobelco Construction Machinery Co., Ltd. | Work machine |
| JP2020143520A (en) * | 2019-03-07 | 2020-09-10 | コベルコ建機株式会社 | Remote control system |
| JP7225935B2 (en) | 2019-03-07 | 2023-02-21 | コベルコ建機株式会社 | remote control system |
| JP2020170475A (en) * | 2019-04-05 | 2020-10-15 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| CN113614771A (en) * | 2019-04-05 | 2021-11-05 | 神钢建机株式会社 | Skill information presentation system and skill information presentation method |
| JP7302244B2 (en) | 2019-04-05 | 2023-07-04 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| CN113678160A (en) * | 2019-04-05 | 2021-11-19 | 神钢建机株式会社 | Skill information presentation system and skill information presentation method |
| JP2020170474A (en) * | 2019-04-05 | 2020-10-15 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| WO2020203169A1 (en) * | 2019-04-05 | 2020-10-08 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| WO2020203170A1 (en) * | 2019-04-05 | 2020-10-08 | コベルコ建機株式会社 | Skill information presentation system and skill information presentation method |
| JP7363560B2 (en) | 2020-02-18 | 2023-10-18 | コベルコ建機株式会社 | Remote control device, remote control support server, remote control support system, and remote control support method |
| WO2021166475A1 (en) * | 2020-02-18 | 2021-08-26 | コベルコ建機株式会社 | Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method |
| EP4130400A4 (en) * | 2020-05-14 | 2023-09-13 | Kobelco Construction Machinery Co., Ltd. | Remote operation assistance device and remote operation assistance method |
| WO2021230090A1 (en) * | 2020-05-14 | 2021-11-18 | コベルコ建機株式会社 | Remote operation assistance device and remote operation assistance method |
| JP7367606B2 (en) | 2020-05-14 | 2023-10-24 | コベルコ建機株式会社 | Remote operation support device and remote operation support method |
| EP4060129A1 (en) * | 2021-03-19 | 2022-09-21 | Kobelco Construction Machinery Co., Ltd. | Remote operation support system and remote operation support method |
| JP7366472B1 (en) | 2022-07-05 | 2023-10-23 | 吉谷土木株式会社 | Planting support methods and field work support systems, etc. |
| JP2024007317A (en) * | 2022-07-05 | 2024-01-18 | 吉谷土木株式会社 | Planting support method, field work support system and the like |
| JP7438516B2 (en) | 2022-07-05 | 2024-02-27 | 吉谷土木株式会社 | Planting support methods and field work support systems, etc. |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6885212B2 (en) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019007139A (en) | Remote control system for construction machinery | |
| KR101797261B1 (en) | Device for monitoring area around work machine | |
| CN109906198A (en) | Remote control device for crane, construction machinery and/or industrial truck | |
| CN114729522B (en) | Excavator management system, portable terminal for excavator, and program for portable terminal for excavator | |
| WO2021024553A1 (en) | Work machine | |
| JP2015226094A (en) | Remote control system for work machine | |
| WO2020250558A1 (en) | Remote operation system and remote operation server | |
| CN104583884B (en) | Measurement for size and the measurement apparatus of characteristic parameter with independent control device | |
| KR102559166B1 (en) | A shovel and a support device cooperating with the shovel | |
| WO2019187561A1 (en) | Working machine control device | |
| JP2021088835A (en) | Remote control support server and remote control support system | |
| US11993922B2 (en) | Remote operation system | |
| JP7472578B2 (en) | REMOTE OPERATION SUPPORT SERVER, REMOTE OPERATION SUPPORT SYSTEM, AND REMOTE OPERATION SUPPORT METHOD | |
| US11732440B2 (en) | Remote operation system and remote operation server | |
| JP6732361B2 (en) | Shovel operating device, shovel operating method, shovel, and shovel operating program | |
| JP7021502B2 (en) | Visual expansion system for construction machinery | |
| JP7287047B2 (en) | Remote control system and remote control server | |
| US11952747B2 (en) | Teleoperation device for construction machinery | |
| JP2020101087A (en) | Shovel operation device, shovel operation method, shovel, and program for shovel operation | |
| CN115516175A (en) | Remote operation support device and remote operation support method | |
| EP4060129A1 (en) | Remote operation support system and remote operation support method | |
| US20220250638A1 (en) | Remote operation support system, remote operation support method and remote operation supporting complex system | |
| KR20150123000A (en) | Apparatus and method for setting electrical joystick of construction equipment | |
| JP7415480B2 (en) | Work support server and work support system | |
| JP2023034766A (en) | Construction machine work support device and construction machine work support program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6885212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |