JP2016089388A - Work support image generation device and work machine remote control system equipped with the same - Google Patents
Work support image generation device and work machine remote control system equipped with the same Download PDFInfo
- Publication number
- JP2016089388A JP2016089388A JP2014221906A JP2014221906A JP2016089388A JP 2016089388 A JP2016089388 A JP 2016089388A JP 2014221906 A JP2014221906 A JP 2014221906A JP 2014221906 A JP2014221906 A JP 2014221906A JP 2016089388 A JP2016089388 A JP 2016089388A
- Authority
- JP
- Japan
- Prior art keywords
- work machine
- image
- relative position
- transport vehicle
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Operation Control Of Excavators (AREA)
Abstract
Description
本発明は、作業機械を遠隔操縦して積込作業を行う際に、操作者に対して積込作業を支援するための画像を提供する作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システムに関する。 The present invention relates to a work support image generation device that provides an image for assisting a loading operation to an operator when the work machine is remotely controlled to perform the loading operation, and a work machine including the same. It relates to a remote control system.
油圧ショベルやホイールローダなどに代表される作業機械は、通常、操作者が搭乗し、各種レバーやハンドルなどを操作することによって所望の作業を実現する。ただし、これらの作業機械が、例えば崖の崩壊のおそれのある場所などで用いられる場合、無人の作業機械を遠隔地に設置された操縦設備から操作者が操縦するという、遠隔操縦システムが用いられることがある。 A work machine represented by a hydraulic excavator, a wheel loader, or the like usually achieves a desired work by an operator boarding and operating various levers and handles. However, when these work machines are used in places where there is a possibility of cliff collapse, for example, a remote control system in which an operator operates an unmanned work machine from a control facility installed in a remote place is used. Sometimes.
作業機械の遠隔操縦システムでは、作業機械に取付けられたカメラによって撮影された映像を、遠隔地の操縦設備へ有線又は無線通信によって伝送し、操縦設備内のモニタにその映像が映し出される。操作者は、モニタ上の映像を見ながら、操縦設備内の操作レバーなどの入力装置を操り、入力装置によって指示される操作信号を作業機械へ伝送する。こうして、遠隔操縦による運搬車両への積込作業が行われる。 In a remote control system for a work machine, an image captured by a camera attached to the work machine is transmitted to a remote control facility by wired or wireless communication, and the image is displayed on a monitor in the control facility. The operator operates an input device such as an operation lever in the steering equipment while watching the image on the monitor, and transmits an operation signal instructed by the input device to the work machine. In this way, the loading operation to the transport vehicle by remote control is performed.
また、カメラが撮像した画像から擬似的な三次元画像を生成してモニタに表示する遠隔操縦システムの技術が特許文献１により公知である。この特許文献１には、「遠隔操縦される作業機の作業部には多眼カメラが設置され、多眼カメラは作業対象である被写体を所定の視差をもって２つの白黒画像を撮像する。２つの撮像画像は、距離画像生成部により所定の視差をもとに距離画像を生成し、各画素毎、距離に応じた色を割り当てる。画像合成部は、１つの白黒画像の各画素に対応する画素に割り当てられた色を着色することにより、白黒画像と距離画像とを重ね合わせ、擬似的な三次元画像である合成画像を生成し、遠隔操縦装置側に伝送する。遠隔操縦装置では、この伝送された合成画像を画像モニタに表示出力し、遠隔操作者の遠隔操縦を支援する。」ことが記載されている（要約参照）。 Patent Document 1 discloses a technology of a remote control system that generates a pseudo three-dimensional image from an image captured by a camera and displays it on a monitor. According to Patent Document 1, “a multi-view camera is installed in a working unit of a remotely operated work machine, and the multi-view camera captures two monochrome images with a predetermined parallax from a subject that is a work target. For the captured image, a distance image is generated based on a predetermined parallax by a distance image generation unit, and a color corresponding to the distance is assigned to each pixel, and the image composition unit is a pixel corresponding to each pixel of one monochrome image. The black and white image and the distance image are superimposed to generate a composite image that is a pseudo three-dimensional image and transmitted to the remote control device side. The resultant composite image is displayed and output on an image monitor to support remote control of the remote operator ”(see summary).
作業機械で掘削した土砂、鉱石等の掘削物をダンプトラック等の運搬車両に積込む作業を遠隔操縦にて行う場合、作業機械が運搬車両に衝突しないように慎重な操縦が要求される。ところが、特許文献１では、掘削対象である被写体の擬似的な三次元画像を生成することはできるが、作業機械と運搬車両との相対的な位置関係を考慮した画像を生成することはできない。 When the work of loading excavated materials such as earth and sand and ore excavated by a work machine onto a transport vehicle such as a dump truck is performed by remote control, careful control is required so that the work machine does not collide with the transport vehicle. However, in Patent Document 1, a pseudo three-dimensional image of a subject to be excavated can be generated, but an image in consideration of the relative positional relationship between the work machine and the transport vehicle cannot be generated.
そのため、カメラを搭載した車を現場に配置し、そのカメラで作業機械と運搬車両の側方映像を取得し、その取得した映像データを遠隔地にあるモニタに映し出すことにより、操作者に遠隔操縦の支援を行う必要がある。 For this reason, a vehicle equipped with a camera is placed on-site, the side images of the work machine and the transport vehicle are acquired with the camera, and the acquired video data is displayed on a monitor at a remote location, thereby allowing the operator to perform remote control. It is necessary to provide support.
即ち、特許文献１では、専用のカメラ搭載車を現場に配置しない限り、作業機械と運搬車両との相対位置に関する情報（相対位置情報）を提供することができず、遠隔操縦する操作者に対して支援が十分ではないという課題がある。 That is, in Patent Document 1, unless a dedicated camera-equipped vehicle is arranged on the site, information on the relative position between the work machine and the transport vehicle (relative position information) cannot be provided, and the remote-operated operator is not provided. However, there is a problem that support is not enough.
本発明は、上記した実状に鑑みてなされたものであり、その目的は、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ作業機械と運搬車両との相対位置情報を含む支援画像を生成することのできる作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システムを提供することにある。 The present invention has been made in view of the above-described actual situation, and an object of the present invention is to support an operator's work without arranging a dedicated camera-equipped vehicle on the site and to provide a relative relationship between the work machine and the transport vehicle. An object of the present invention is to provide a work support image generation apparatus capable of generating a support image including position information, and a work machine remote control system including the work support image generation apparatus.
上記目的を達成するために、本発明は、作業機械を遠隔操縦して運搬車両に積込作業を行う操作者に対して、前記積込作業を支援するための支援画像を提供する作業支援画像生成装置であって、前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、前記作業機械の作業部の姿勢情報、及び前記作業機械と前記運搬車両との相対位置に関する情報であって、前記作業機械に設けられた撮像装置で前記運搬車両を撮像した撮像データまたは前記運搬車両に設けられた撮像装置で前記作業機械を撮像した撮像データに基づいて演算された相対位置情報を受け付ける入力部と、前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、前記支援画像生成部にて生成された前記支援画像を表示するモニタと、を備えることを特徴としている。 In order to achieve the above-described object, the present invention provides a work support image that provides a support image for supporting the loading operation to an operator who remotely controls the work machine and loads the vehicle. An image data storage unit that is a generation device and stores in advance a plurality of work machine image data in the loading operation of the work machine and at least one transport vehicle image data of the transport vehicle, and a work unit of the work machine And information regarding the relative position between the work machine and the transport vehicle, the image data obtained by capturing the transport vehicle with the image pickup device provided in the work machine or the image pickup device provided in the transport vehicle An input unit that receives relative position information calculated based on imaging data obtained by imaging the work machine, and a plurality of work machine image data based on the posture information. A support image generation unit that extracts the work machine image data and arranges the work machine image data and the one transport vehicle image data according to the relative position information to generate the support image; and the support image generation unit And a monitor for displaying the support image generated in (1).
本発明によれば、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ作業機械と運搬車両との相対位置情報を含む支援画像を生成することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 ADVANTAGE OF THE INVENTION According to this invention, without arrange | positioning a dedicated camera mounting vehicle on the spot, an operator's operation | work can be supported and the assistance image containing the relative position information of a working machine and a transport vehicle can be produced | generated. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
以下、図面を参照しながら本発明の実施の形態を説明する。図１は本発明の実施形態に係る作業支援画像生成装置が適用される作業機械の遠隔操縦システムの全体構成図であり、図２は図１に示す作業機械の遠隔操縦システムの構成を示すブロック図、図３は図２に示す画像データ記憶部の詳細図、図４〜６は本発明の実施形態に係る作業支援画像生成装置にて生成される支援画像の具体例を示す図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an overall configuration diagram of a remote control system for a work machine to which a work support image generation apparatus according to an embodiment of the present invention is applied, and FIG. 2 is a block diagram illustrating a configuration of the remote control system for the work machine shown in FIG. 3 is a detailed diagram of the image data storage unit shown in FIG. 2, and FIGS. 4 to 6 are diagrams showing specific examples of support images generated by the work support image generating apparatus according to the embodiment of the present invention.
図１に示すように、本実施形態に係る作業機械の遠隔操縦システムは、主に遠隔操縦の対象である油圧ショベル（作業機械）１と、遠隔地に設けられ操作者が実際に操縦するために必要な各部品を備える遠隔操縦設備３とを構成要素として持つ。また、図１には油圧ショベル１の掘削物を積み込むためのトラック（運搬車両）４を図示している。 As shown in FIG. 1, the remote control system for a work machine according to the present embodiment is mainly provided with a hydraulic excavator (work machine) 1 that is a target of remote control and an operator that is actually provided at a remote place. The remote control equipment 3 including the parts necessary for the operation is included as a component. Further, FIG. 1 shows a truck (transportation vehicle) 4 for loading the excavated material of the hydraulic excavator 1.
油圧ショベル１は、一般的な油圧ショベルと同様に、上部旋回体１１と、クローラを含む下部走行体１２と、掘削などの作業を行うフロント部（作業部）５を構成するブーム１３、アーム１４、バケット１５、ブーム１３を駆動するブームシリンダ１６、アーム１４を駆動するアームシリンダ１７、及びバケット１５を駆動するバケットシリンダ１８と、を備えて構成されている。 Similar to a general excavator, the hydraulic excavator 1 includes an upper swing body 11, a lower traveling body 12 including a crawler, and a boom 13 and an arm 14 that constitute a front part (working part) 5 that performs work such as excavation. , A bucket 15, a boom cylinder 16 that drives the boom 13, an arm cylinder 17 that drives the arm 14, and a bucket cylinder 18 that drives the bucket 15.
上部旋回体１１は下部走行体１２に回転可能に支持されており、図示されていない旋回モータによって、上部旋回体１１は下部走行体１２に対して相対的に回転駆動される。ブーム１３の一端は上部旋回体１１に回転可能に支持されており、ブームシリンダ１６の伸縮に応じてブーム１３が上部旋回体１１に対して相対的に回転駆動される。アーム１４の一端はブーム１３へ回転可能に支持されており、アームシリンダ１７の伸縮に応じてアーム１４がブーム１３に対して相対的に回転駆動される。バケット１５はアーム１４へ回転可能に支持されており、バケットシリンダ１８の伸縮に応じてバケット１５がアーム１４に対して相対的に回転駆動される。また、下部走行体１２は、図示されていない走行モータによって駆動する。 The upper swing body 11 is rotatably supported by the lower travel body 12, and the upper swing body 11 is driven to rotate relative to the lower travel body 12 by a swing motor (not shown). One end of the boom 13 is rotatably supported by the upper swing body 11, and the boom 13 is driven to rotate relative to the upper swing body 11 according to the expansion and contraction of the boom cylinder 16. One end of the arm 14 is rotatably supported by the boom 13, and the arm 14 is driven to rotate relative to the boom 13 in accordance with the expansion and contraction of the arm cylinder 17. The bucket 15 is rotatably supported by the arm 14, and the bucket 15 is rotationally driven relative to the arm 14 according to the expansion and contraction of the bucket cylinder 18. Further, the lower traveling body 12 is driven by a traveling motor (not shown).
このような構成である油圧ショベル１は、旋回モータやブームシリンダ１６、アームシリンダ１７、バケットシリンダ１８を適切な位置に駆動することにより、バケット１５を任意の位置、姿勢に制御し、所望の作業を行うことができる。旋回モータや各シリンダ１６，１７，１８は車体コントロールユニット２６によって制御されており、車体コントロールユニット２６に各部の操作を指示するレバー信号を与えることにより、旋回モータや各シリンダ１６，１７，１８を動かすことができる（図２参照）。 The hydraulic excavator 1 having such a configuration controls the bucket 15 to an arbitrary position and posture by driving the swing motor, the boom cylinder 16, the arm cylinder 17, and the bucket cylinder 18 to appropriate positions, and performs a desired work. It can be performed. The turning motor and the cylinders 16, 17, and 18 are controlled by the vehicle body control unit 26. By giving the vehicle body control unit 26 a lever signal that instructs operation of each part, the turning motor and the cylinders 16, 17, and 18 are controlled. Can be moved (see FIG. 2).
また、図１及び図２に示すように、本実施形態における油圧ショベル１は、これらの構成以外に、上部旋回体１１に配設され機体から見える映像を取得するカメラ（撮像装置）２０、上部旋回体１１に対するブーム１３の角度を計測するブーム角度センサ２１、ブーム１３に対するアーム１４の角度を計測するアーム角度センサ２２、アーム１４に対するバケット１５の角度を計測するバケット角度センサ２３、これらのセンサ信号を取得、処理する車体側遠隔コントロールユニット（Ｃ／Ｕ）２５、無線通信アンテナ２４を備えている。 As shown in FIGS. 1 and 2, the hydraulic excavator 1 according to the present embodiment has a camera (imaging device) 20 that is arranged on the upper swing body 11 and obtains an image that can be seen from the machine body. A boom angle sensor 21 that measures the angle of the boom 13 with respect to the swing body 11, an arm angle sensor 22 that measures the angle of the arm 14 with respect to the boom 13, a bucket angle sensor 23 that measures the angle of the bucket 15 with respect to the arm 14, and these sensor signals A vehicle body side remote control unit (C / U) 25 and a wireless communication antenna 24 are provided.
なお、ブーム１３、アーム１４、バケット１５のそれぞれの角度の計測は、角度センサではなくフロント部５の各シリンダ１６，１７，１８の伸縮を計測し、各シリンダ１６，１７，１８の伸び量から幾何学的に角度を算出するものであってもよい。また、カメラ２０は単眼カメラである。 Note that the angles of the boom 13, the arm 14, and the bucket 15 are measured by measuring the expansion and contraction of the cylinders 16, 17, and 18 of the front portion 5, not the angle sensor, and from the amount of expansion of each cylinder 16, 17, and 18. The angle may be calculated geometrically. The camera 20 is a monocular camera.
車体側遠隔コントロールユニット２５は、カメラ２０で撮像された映像データ（撮像データ）に基づいて油圧ショベル１とトラック４との相対位置を演算する相対位置演算部４６と、各角度センサ２１，２２，２３にて検出されたセンサデータ及び相対位置演算部４６にて演算された相対位置の演算結果を外部に出力する出力部４５と、を備える。 The vehicle body side remote control unit 25 includes a relative position calculation unit 46 that calculates a relative position between the excavator 1 and the track 4 based on video data (image data) captured by the camera 20, and each angle sensor 21, 22. An output unit 45 for outputting the sensor data detected at 23 and the calculation result of the relative position calculated by the relative position calculation unit 46 to the outside.
相対位置演算部４６は、カメラ２０からの映像データに基づきトラック４がカメラ２０の撮像範囲内にあるか否かを判断し、撮像範囲内にある場合には、油圧ショベル１に対するトラック４の相対位置を演算する。そして、出力部４５は、この相対位置の演算結果に関する情報（相対位置情報）を、無線通信アンテナ２４を介して遠隔操縦設備３へ送信する。また、出力部４５は、フロント部５の姿勢（ブーム１３、アーム１４、バケット１５のそれぞれの角度）に関する情報（姿勢情報）、即ち、各角度センサ２１，２２，２３からのセンサデータを同様に遠隔操縦設備３へ送信する。 The relative position calculation unit 46 determines whether or not the track 4 is within the imaging range of the camera 20 based on the video data from the camera 20. If the track 4 is within the imaging range, the relative position of the track 4 to the hydraulic excavator 1 is determined. Calculate the position. And the output part 45 transmits the information regarding the calculation result of this relative position (relative position information) to the remote control equipment 3 via the wireless communication antenna 24. The output unit 45 similarly applies information (posture information) on the posture of the front unit 5 (the angles of the boom 13, the arm 14, and the bucket 15), that is, sensor data from the angle sensors 21, 22, and 23 in the same manner. Transmit to the remote control facility 3.
なお、本実施形態では油圧ショベル１と遠隔操縦設備３との間を、無線通信を用いて情報のやり取りを行う構成としているが、両者の距離が近ければ有線通信を用いてもよい。その場合、伝送可能な情報量が増えるため、より時間遅れの少ない映像や、より高解像度の映像などの送受信が可能となる。 In the present embodiment, information is exchanged between the excavator 1 and the remote control facility 3 using wireless communication. However, if the distance between the two is close, wired communication may be used. In that case, since the amount of information that can be transmitted increases, it is possible to transmit and receive video with less time delay and video with higher resolution.
一方、遠隔操縦設備３は、図１に示すように、操作者が着座する座席３１、旋回モータや各シリンダ１６，１７，１８の動きを入力するフロント操作レバー３２、走行モータの動きを入力する走行操作レバー３３、モニタ３４、コントロールボックス３５、無線通信アンテナ３７を備えている。 On the other hand, as shown in FIG. 1, the remote control facility 3 inputs the movement of the seat 31 on which the operator is seated, the front operation lever 32 that inputs the movement of the turning motor and each of the cylinders 16, 17, and 18, and the traveling motor. A travel operation lever 33, a monitor 34, a control box 35, and a wireless communication antenna 37 are provided.
コントロールボックス３５内には、無線通信アンテナ３７を介して車体側遠隔コントロールユニット２５との情報通信、操作レバー３２，３３の情報取得、タッチ画面を有するモニタ３４への映像情報の出力を行う操縦側遠隔コントロールユニット（Ｃ／Ｕ）３６が設けられている。 In the control box 35, the control side performs information communication with the vehicle body side remote control unit 25 through the wireless communication antenna 37, obtains information on the operation levers 32 and 33, and outputs video information to the monitor 34 having a touch screen. A remote control unit (C / U) 36 is provided.
操縦側遠隔コントロールユニット３６は、油圧ショベル１の積込作業における複数の画像データ（作業機械画像データ）及びトラック４の画像データ（運搬車両画像データ）が予め記憶された画像データ記憶部４０と、車体側遠隔コントロールユニット２５から送られてくる油圧ショベル１とトラック４との相対位置に関する演算結果及び各角度センサ２１，２２，２３のセンサデータを受け付ける入力部４１と、操作者に提供する仮想画像（支援画像Ｓ１〜Ｓ３を生成する支援画像生成部４２と、モニタ３４の表示制御を行う表示制御部４３と、を備えている。なお、操縦側遠隔コントロールユニット３６と操作レバー３２，３３やモニタ３４とは配線によって接続されている。 The control-side remote control unit 36 includes an image data storage unit 40 in which a plurality of image data (work machine image data) and loading data of the truck 4 (transported vehicle image data) in the loading operation of the hydraulic excavator 1 are stored in advance. An input unit 41 for receiving a calculation result regarding the relative position between the hydraulic excavator 1 and the truck 4 and the sensor data of each angle sensor 21, 22, 23 sent from the vehicle body side remote control unit 25, and a virtual image provided to the operator (A support image generation unit 42 that generates the support images S1 to S3 and a display control unit 43 that performs display control of the monitor 34. The control-side remote control unit 36, the operation levers 32 and 33, and the monitor are provided. 34 is connected by wiring.
画像データ記憶部４０には、積込開始から積込終了までの一連の積込作業における油圧ショベル１の多数の側面画像データ、三次元画像データ（斜視画像データ）、上面画像データが記憶されている。より詳細には、図３に示すように、ブーム角度センサ２１、アーム角度センサ２２、バケット角度センサ２３の各データ（Ａ１〜Ａｎ、Ｂ１〜Ｂｎ、Ｃ１〜Ｃｎ）に関連付けられて油圧ショベル１の画像データがＮｏ．１〜Ｎｏ．ｎまでデータテーブルに記憶されている。さらに、図示しないが、画像データ記憶部４０には、トラック４の側面画像データ、三次元画像データ（斜視画像データ）、上面画像データも予め記憶されている。 The image data storage unit 40 stores a large number of side surface image data, three-dimensional image data (perspective image data), and top surface image data of the excavator 1 in a series of loading operations from loading start to loading end. Yes. More specifically, as shown in FIG. 3, the hydraulic excavator 1 is associated with each data (A1 to An, B1 to Bn, C1 to Cn) of the boom angle sensor 21, the arm angle sensor 22, and the bucket angle sensor 23. The image data is No. 1-No. n are stored in the data table. Further, although not shown, the image data storage unit 40 also stores in advance side image data, three-dimensional image data (perspective image data), and top image data of the track 4.
モニタ３４は、カメラ２０によって得られた映像を映し出す遠隔モニタ３４ａ、操縦側遠隔コントロールユニット３６によって生成された仮想画像Ｓ１〜Ｓ３を映し出す仮想モニタ３４ｂを備えている。遠隔モニタ３４ａには、カメラ２０からの映像がリアルタイムで表示される。また、仮想モニタ３４ｂには、詳しくは後述する仮想画像Ｓ１〜Ｓ３が表示され、操作者はタッチ画面５０をタッチ操作することで仮想画像Ｓ１〜Ｓ３の表示を切り替えることができる構成となっている。なお、操縦側遠隔コントロールユニット３６及びモニタ３４は、本発明に係る作業支援画像生成装置に相当する。 The monitor 34 includes a remote monitor 34 a that displays an image obtained by the camera 20, and a virtual monitor 34 b that displays virtual images S <b> 1 to S <b> 3 generated by the control-side remote control unit 36. The video from the camera 20 is displayed in real time on the remote monitor 34a. Further, virtual images S1 to S3, which will be described in detail later, are displayed on the virtual monitor 34b, and the operator can switch the display of the virtual images S1 to S3 by touching the touch screen 50. . The control-side remote control unit 36 and the monitor 34 correspond to the work support image generation apparatus according to the present invention.
遠隔操縦設備３は、無線通信アンテナ３７を介して操縦側遠隔コントロールユニット３６に、油圧ショベル１から伝送される映像、フロント部５のブーム１３、アーム１４、バケット１５のそれぞれの角度、油圧ショベル１とトラック４との相対位置に関する情報を取りこむことができる。また、操縦側遠隔コントロールユニット３６は、映像をモニタ３４へ出力すると同時に、フロント操作レバー３２、走行操作レバー３３の操作量信号を取得して、無線通信アンテナ３７を介して車体側遠隔コントロールユニット２５へ送信する。 The remote control equipment 3 transmits images transmitted from the excavator 1 to the control side remote control unit 36 via the wireless communication antenna 37, the angles of the boom 13, arm 14, and bucket 15 of the front unit 5, the hydraulic excavator 1. And information on the relative position of the track 4 can be captured. In addition, the steering-side remote control unit 36 outputs an image to the monitor 34, and simultaneously acquires operation amount signals of the front operation lever 32 and the travel operation lever 33, and the vehicle-body-side remote control unit 25 via the wireless communication antenna 37. Send to.
車体側遠隔コントロールユニット２５は、無線通信アンテナ２４を介して操縦側遠隔コントロールユニット３６から送られてきた各操作レバーの操作量信号を、車体コントロールユニット２６へ出力し、車体コントロールユニット２６は得られた操作量信号をもとに旋回モータや各シリンダ１６，１７，１８を適切に制御する。 The vehicle body side remote control unit 25 outputs the operation amount signal of each operation lever sent from the operation side remote control unit 36 via the wireless communication antenna 24 to the vehicle body control unit 26, and the vehicle body control unit 26 is obtained. Based on the manipulated variable signal, the swing motor and each cylinder 16, 17, 18 are appropriately controlled.
このような構成により、操作者は遠隔操縦設備３内の座席３１に着座し、モニタ３４に映し出される映像を見ながら、フロント操作レバー３２及び走行操作レバー３３を操作することで、油圧ショベル１を操縦することが可能となっている。 With such a configuration, the operator sits on the seat 31 in the remote control facility 3 and operates the front operation lever 32 and the traveling operation lever 33 while viewing the image displayed on the monitor 34, so that the hydraulic excavator 1 is operated. It is possible to steer.
次に、仮想画像Ｓ１〜Ｓ３の生成処理について説明する。まず、車体側遠隔コントロールユニット２５は、油圧ショベル１の角度センサ２１，２２，２３からのデータを用いて油圧ショベル１のフロント部５の姿勢を計測する。次に、車体側遠隔コントロールユニット２５の相対位置演算部４６は、カメラ２０の情報をもとに油圧ショベル１とトラック４との相対位置を演算する。 Next, generation processing of the virtual images S1 to S3 will be described. First, the vehicle body side remote control unit 25 measures the attitude of the front portion 5 of the excavator 1 using data from the angle sensors 21, 22, and 23 of the excavator 1. Next, the relative position calculation unit 46 of the vehicle body side remote control unit 25 calculates the relative position between the excavator 1 and the track 4 based on the information of the camera 20.
単眼カメラであるカメラ２０によって油圧ショベル１とトラック４との相対位置を演算する方法としては、例えば、予めトラック４の三次元形状モデルを車体側遠隔コントロールユニット２５に持たせておき、カメラ２０から取得された画像からトラック４の範囲をエッジなどの画像特徴量をもとに切り出し、切り出されたトラック４の画像と三次元形状とが重なるよう、三次元モデルの位置姿勢を収束計算させる方法を用いることができる。 As a method of calculating the relative position between the hydraulic excavator 1 and the track 4 by the camera 20 which is a monocular camera, for example, the vehicle body side remote control unit 25 is previously provided with the three-dimensional shape model of the track 4 and the camera 20 A method in which the range of the track 4 is cut out from the acquired image based on the image feature quantity such as an edge, and the position and orientation of the three-dimensional model is converged and calculated so that the cut-out image of the track 4 and the three-dimensional shape overlap. Can be used.
カメラ２０の取り付け位置と角度を予め知っておくことで、上記の収束計算で得られたカメラ座標系での三次元モデルの位置座標を、油圧ショベル１のある基準点に設けた油圧ショベル座標系に変換することができる。三次元モデルがトラック４そのものであるから、三次元モデルの油圧ショベル座標系での位置が、トラック４に対する油圧ショベル１の相対位置となる。このようにして、相対位置演算部４６は、油圧ショベル１とトラック４との相対位置を演算する。 A hydraulic excavator coordinate system in which the position coordinates of the three-dimensional model in the camera coordinate system obtained by the above convergence calculation are provided at a reference point of the hydraulic excavator 1 by knowing the mounting position and angle of the camera 20 in advance. Can be converted to Since the three-dimensional model is the track 4 itself, the position of the three-dimensional model in the excavator coordinate system is the relative position of the excavator 1 with respect to the track 4. In this way, the relative position calculation unit 46 calculates the relative position between the excavator 1 and the track 4.
ここで、作業現場に種類の異なる複数のトラック４が存在する場合、これら複数のトラック４のそれぞれと油圧ショベル１との相対位置を演算するために、全てのトラック４の種類についての三次元形状の情報を予め用意しておく必要がある。そして、相対位置演算部４６は、トラック４の種類を判別し、その判別したトラック４に対応する三次元形状を用いて油圧ショベル１とトラック４との相対位置を演算しなければならない。 Here, when there are a plurality of different types of trucks 4 at the work site, in order to calculate the relative position between each of the plurality of trucks 4 and the hydraulic excavator 1, the three-dimensional shape of all the types of trucks 4 is obtained. It is necessary to prepare the information in advance. Then, the relative position calculation unit 46 must determine the type of the track 4 and calculate the relative position between the excavator 1 and the track 4 using the three-dimensional shape corresponding to the determined track 4.
この場合に、トラック４の種類を判別する方法としては、例えば、トラック４の色情報で判断したり、トラック４と油圧ショベル１とが近接した場合に無線通信を行い、トラック４の種別を油圧ショベル１へ知らせたり、作業現場全体の全てのトラック４の位置を、ＧＰＳなどを用いてサーバで一元管理し、サーバから油圧ショベル１へトラック４の種別を知らせるなど、様々な方法により対応すれば良い。 In this case, as a method of discriminating the type of the truck 4, for example, judgment is made based on the color information of the truck 4, or when the truck 4 and the excavator 1 are close to each other, wireless communication is performed, and the type of the truck 4 is set to the hydraulic pressure. Various methods can be used such as informing the excavator 1 or centrally managing the positions of all trucks 4 in the entire work site using a server such as GPS, and informing the excavator 1 of the type of the truck 4 from the server. good.
こうして得られた油圧ショベル１とトラック４との相対位置（相対位置情報）、及び油圧ショベル１のフロント部５の各部（即ち、ブーム１３、アーム１４、及びバケット１５）のそれぞれの角度データ（姿勢情報）は出力部４５から操縦側遠隔コントロールユニット３６に送られる。操縦側遠隔コントロールユニット３６では、入力部４１がこれらの情報を受け付ける。 The relative position (relative position information) between the excavator 1 and the track 4 obtained in this way, and the angle data (attitude) of each part of the front part 5 of the excavator 1 (that is, the boom 13, the arm 14, and the bucket 15). Information) is sent from the output unit 45 to the control side remote control unit 36. In the control-side remote control unit 36, the input unit 41 receives these pieces of information.
そして、支援画像生成部４２が画像データ記憶部４０に予め記憶されている油圧ショベル１の複数の画像データＮｏ．１〜Ｎｏ．ｎ（ｎは正数）の中から、各角度センサ２１，２２，２３からの姿勢情報に対応するまたは最も近い画像データを選択する。例えば、ブーム角度センサ２１の値がＡ１、アーム角度センサ２２の値がＢ１、バケット角度センサ２３の値がＣ１の場合、これらの値に対応する油圧ショベル１の画像データＮｏ．１を選択する（図３参照）。 Then, the support image generation unit 42 stores a plurality of image data Nos. Of the excavator 1 stored in the image data storage unit 40 in advance. 1-No. Image data corresponding to or closest to the posture information from each of the angle sensors 21, 22, 23 is selected from n (n is a positive number). For example, when the value of the boom angle sensor 21 is A1, the value of the arm angle sensor 22 is B1, and the value of the bucket angle sensor 23 is C1, the image data No. 1 of the excavator 1 corresponding to these values. 1 is selected (see FIG. 3).
支援画像生成部４２は、例えば図４〜図６に示すように、油圧ショベル１の画像データとトラック４の画像データとの相対位置が、カメラ２０から得られた相対位置に従うようにして両画像データを配置した仮想画像Ｓ１〜Ｓ３を生成する。生成された仮想画像Ｓ１〜Ｓ３は、表示制御部４３によって仮想モニタ３４ｂに表示される。勿論、仮想側面画像Ｓ１には油圧ショベル１及びトラック４のそれぞれの側面画像が、仮想三次元画像Ｓ２には両者のそれぞれの三次元画像が、仮想上面画像Ｓ３には両者のそれぞれの上面画像が画面上に配置されるように、支援画像生成部４２は各仮想画像Ｓ１〜Ｓ３を生成する。 For example, as shown in FIGS. 4 to 6, the support image generation unit 42 sets both images so that the relative position between the image data of the excavator 1 and the image data of the track 4 follows the relative position obtained from the camera 20. Virtual images S1 to S3 in which data are arranged are generated. The generated virtual images S1 to S3 are displayed on the virtual monitor 34b by the display control unit 43. Of course, the side images of the hydraulic excavator 1 and the truck 4 are displayed in the virtual side image S1, the three-dimensional images of both are displayed in the virtual three-dimensional image S2, and the respective top images of both are displayed in the virtual top image S3. The support image generation unit 42 generates the virtual images S1 to S3 so as to be arranged on the screen.
ここで、支援画像生成部は、入力部４１が受け付けた新たな情報に基づいて所定の周期（例えば、０．１秒毎）で新たな仮想画像Ｓ１〜Ｓ３を生成する。よって、常時、最新の仮想画像Ｓ１〜Ｓ３が仮想モニタ３４ｂに表示されるようになっている。なお、仮想画像Ｓ１〜Ｓ３の更新表示の制御は、表示制御部４３により行われる。 Here, the support image generation unit generates new virtual images S1 to S3 at a predetermined cycle (for example, every 0.1 second) based on the new information received by the input unit 41. Therefore, the latest virtual images S1 to S3 are always displayed on the virtual monitor 34b. The display control unit 43 controls the update display of the virtual images S1 to S3.
次に、操作者の積込作業を支援するための仮想画像Ｓ１〜Ｓ３の詳細について図を参照しながら説明する。本実施形態では、操縦側遠隔コントロールユニット３６により、側面、三次元、上面の３種類の仮想画像が生成可能である。図４は仮想モニタ３４ｂに表示される仮想側面画像Ｓ１の詳細を示す図、図５は仮想モニタ３４ｂに表示される仮想三次元画像Ｓ２の詳細を示す図、図６は仮想モニタ３４ｂに表示される仮想上面画像Ｓ３の詳細を示す図である。 Next, details of the virtual images S1 to S3 for assisting the operator's loading operation will be described with reference to the drawings. In the present embodiment, the control-side remote control unit 36 can generate three types of virtual images of side, three-dimensional, and top. 4 is a diagram showing details of the virtual side image S1 displayed on the virtual monitor 34b, FIG. 5 is a diagram showing details of the virtual three-dimensional image S2 displayed on the virtual monitor 34b, and FIG. 6 is displayed on the virtual monitor 34b. It is a figure which shows the detail of the virtual upper surface image S3.
図４に示すように、仮想モニタ３４ｂには、油圧ショベル１の側面画像１ａとトラック４の側面画像４ａとによる仮想側面画像（支援画像）Ｓ１が表示される。油圧ショベル１の側面画像１ａは、得られたフロント部５の各部１３，１４，１５の角度データに基づいて選択された画像データであるため、実際のフロント部５の姿勢と仮想モニタ３４ｂに表示されるフロント部５の画像とは殆ど同じものとなる。 As shown in FIG. 4, the virtual monitor 34 b displays a virtual side image (support image) S <b> 1 including a side image 1 a of the excavator 1 and a side image 4 a of the track 4. Since the side image 1a of the excavator 1 is image data selected based on the obtained angle data of the respective parts 13, 14, and 15 of the front unit 5, the actual posture of the front unit 5 and the virtual monitor 34b are displayed. The image of the front part 5 is almost the same.
このような側面画像１ａ，４ａにより、専用のカメラ搭載車を用いずとも作業現場全体の側方視点の映像に近い情報量のものを操作者へ提示することが可能となる。 By using such side images 1a and 4a, it is possible to present to the operator an amount of information close to the side view image of the entire work site without using a dedicated camera-equipped vehicle.
なお、フロント部５の画像は、ブーム１３、アーム１４、バケット１５のそれぞれの単体側面画像を、得られたフロント部５の各部１３，１４，１５の角度データをもとに正しいフロント部５の姿勢となるよう調整した側面画像を生成するようにしても良い。 In addition, the image of the front part 5 is the correct side of the front part 5 based on the angle data of each part 13, 14, 15 of the front part 5 obtained from the single side images of the boom 13, the arm 14, and the bucket 15. You may make it produce | generate the side image adjusted so that it might become an attitude | position.
さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、バケット１５の爪先とトラック４のベッセル底面との垂直距離３８ａ、油圧ショベル１からバケット１５の爪先までの水平距離３８ｂ、油圧ショベル１とトラック４との垂直距離３８ｃ、油圧ショベル１とトラック４の水平距離３８ｄに関する情報が、側面画像１ａ，４ａに重ねて表示される。上述したように、側面画像１ａ，４ａはリアルタイムで更新されていくため、フロント部５の姿勢が変化すると、その変化に伴ってフロント部５の仮想側面の画像が変化し、各距離情報３８ａ〜ｄの数値も変化する。 Further, as numerical information regarding the relative position between the excavator 1 and the truck 4, the vertical distance 38a between the toe of the bucket 15 and the bottom surface of the vessel 4 of the bucket 4, the horizontal distance 38b from the excavator 1 to the toe of the bucket 15, the excavator 1 The information about the vertical distance 38c between the truck 4 and the horizontal distance 38d between the excavator 1 and the truck 4 is displayed superimposed on the side images 1a and 4a. As described above, since the side images 1a and 4a are updated in real time, when the posture of the front unit 5 changes, the image of the virtual side of the front unit 5 changes with the change, and the distance information 38a to 38a. The numerical value of d also changes.
操作者は、仮想モニタ３４ｂに表示される側面画像１ａ，４ａと各距離情報３８ａ〜ｄを見ながら掘削物をトラック４に積込む作業を遠隔操縦にて行う。このとき、油圧ショベル１とトラック４との各距離が側面視で正確に分かるから、油圧ショベル１のバケット１５がトラック４に衝突するか否かの確認が容易となる。即ち、操作者は、仮想モニタ３４ｂを見ただけで、積込作業に必要な情報を正確かつ迅速に確認できる。よって、油圧ショベル１がトラック４と衝突するのを回避して、安全かつ効率良く積込作業を行うことができる。 The operator performs the operation of loading the excavated material on the truck 4 by remote control while viewing the side images 1a and 4a and the distance information 38a to 38d displayed on the virtual monitor 34b. At this time, since each distance between the hydraulic excavator 1 and the truck 4 can be accurately known in a side view, it is easy to confirm whether or not the bucket 15 of the hydraulic excavator 1 collides with the truck 4. That is, the operator can confirm the information necessary for the loading operation accurately and quickly only by looking at the virtual monitor 34b. Therefore, it is possible to avoid the collision of the excavator 1 with the truck 4 and perform the loading operation safely and efficiently.
仮想側面画像Ｓ１より仮想三次元画像Ｓ２の方が好ましい場合には、操作者がタッチ画面５０を操作することにより、図５に示すように、油圧ショベル１の三次元画像１ｂとトラック４の三次元画像４ｂとによる仮想三次元画像（支援画像）Ｓ２が仮想モニタ３４ｂに表示される。さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、バケット１５の爪先とトラック４のベッセル底面との垂直距離３８ａ、油圧ショベル１からバケット１５の爪先までの水平距離３８ｂ、バケット１５の爪先の軌跡３８ｅに関する情報が、三次元画像１ｂ，４ｂに重ねて表示される。 When the virtual three-dimensional image S2 is more preferable than the virtual side image S1, the operator operates the touch screen 50, so that the three-dimensional image 1b of the excavator 1 and the tertiary of the track 4 are shown in FIG. A virtual three-dimensional image (support image) S2 based on the original image 4b is displayed on the virtual monitor 34b. Furthermore, as numerical information regarding the relative position between the excavator 1 and the truck 4, the vertical distance 38a between the toe of the bucket 15 and the bottom surface of the vessel 4 of the bucket 4, the horizontal distance 38b from the excavator 1 to the toe of the bucket 15, Information relating to the toe locus 38e is displayed superimposed on the three-dimensional images 1b and 4b.
また、仮想三次元画像Ｓ２より仮想上面画像Ｓ３の方が好ましい場合には、操作者がさらにタッチ画面５０を操作することにより、図６に示すように、油圧ショベル１の上面画像１ｃとトラック４の上面画像４ｃとによる仮想上面画像（支援画像）Ｓ３が仮想モニタ３４ｂに表示される。さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、油圧ショベル１の旋回角度３８ｆ、バケット１５の爪先とトラック４のベッセル中央までの角度３８ｇ、油圧ショベル１とトラック４の角度３８ｈに関する情報が、上面画像１ｃ，４ｃに重ねて表示される。 When the virtual upper surface image S3 is more preferable than the virtual three-dimensional image S2, the operator further operates the touch screen 50, so that the upper surface image 1c and the track 4 of the excavator 1 are operated as shown in FIG. A virtual top image (support image) S3 based on the top image 4c is displayed on the virtual monitor 34b. Further, as numerical information regarding the relative position between the excavator 1 and the truck 4, the swing angle 38f of the excavator 1, the angle 38g between the tip of the bucket 15 and the center of the vessel 4 and the angle 38h of the excavator 1 and the truck 4 are related. Information is displayed superimposed on the top images 1c and 4c.
以上説明したように、本実施形態によれば、専用のカメラ搭載車を用いることなく、油圧ショベル１とトラック４との相対関係が分かる仮想画像Ｓ１〜Ｓ３を生成して操作者に提供することができる。そのため、低コストで安全かつ効率良く積込作業を行うことができる。 As described above, according to the present embodiment, the virtual images S1 to S3 showing the relative relationship between the excavator 1 and the truck 4 can be generated and provided to the operator without using a dedicated camera-equipped vehicle. Can do. Therefore, the loading operation can be performed safely and efficiently at a low cost.
なお、上述した実施形態は本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。例えば、本発明は、油圧ショベル以外の作業機械であるホイールローダ等を遠隔操縦する場合にも適用することができる。 In addition, embodiment mentioned above is the illustration for description of this invention, and is not the meaning which limits the scope of the present invention only to those embodiment. Those skilled in the art can implement the present invention in various other modes without departing from the gist of the present invention. For example, the present invention can be applied to a case where a wheel loader that is a working machine other than a hydraulic excavator is remotely controlled.
また、遠隔操縦設備３のモニタ３４に仮想画像Ｓ１〜Ｓ３を表示する実施形態を説明したが、本発明を、例えば操作者が運転室（キャブ）内に搭乗してフロント部５を操作する有人の油圧ショベル等の有人作業機械に適用して、運転室内にある表示モニタに上記した仮想画像を表示することもできる。この場合であっても、操作者は運転室内において仮想画像を参考にしながら、安全かつ効率良く積込作業を行うことができる。 Moreover, although embodiment which displays virtual image S1-S3 on the monitor 34 of the remote control equipment 3 was described, the operator boarded in the driver's cab (cab), for example, manned who operates the front part 5 The above-described virtual image can be displayed on a display monitor in the cab by applying to a manned work machine such as a hydraulic excavator. Even in this case, the operator can perform the loading operation safely and efficiently while referring to the virtual image in the cab.
また、本実施形態では、油圧ショベル１に取り付けたカメラ２０で撮影した映像データをもとに相対位置を演算しているが、本発明では油圧ショベル１とトラック４との相対位置が分かれば良いので、単眼カメラ１２０をトラック４に取り付けても良い（図１参照）。この場合、カメラ１２０で撮影した映像データを操縦側遠隔コントロールユニット３６に無線通信回線を介して送信すれば良い。ただし、油圧ショベル１のカメラ２０は遠隔操縦するためにトラック４を映さなければならないため、当該カメラ２０は必要となる。 In the present embodiment, the relative position is calculated based on video data captured by the camera 20 attached to the hydraulic excavator 1, but in the present invention, the relative position between the hydraulic excavator 1 and the track 4 may be known. Therefore, the monocular camera 120 may be attached to the track 4 (see FIG. 1). In this case, video data captured by the camera 120 may be transmitted to the control-side remote control unit 36 via a wireless communication line. However, since the camera 20 of the excavator 1 must project the track 4 for remote control, the camera 20 is necessary.
なお、カメラ２０，１２０は単眼カメラではなくステレオカメラなどの複眼カメラでもよく、ステレオカメラを用いればトラック４の三次元形状情報を持たずとも視差によって距離を取得することができ、距離情報から相対位置を用意に演算可能である。 The cameras 20 and 120 may be compound eye cameras such as a stereo camera instead of a monocular camera. If a stereo camera is used, the distance can be obtained by parallax without having the three-dimensional shape information of the track 4, and relative distance can be obtained from the distance information. The position can be calculated.
また、カメラ２０に加えてレーザ距離計などの非接触距離センサを油圧ショベル１に配設することにより、ステレオカメラよりも精度のよい距離情報を取得することが可能である。作業現場全体の作業機械や運搬車両の位置を、ＧＰＳなどを用いて一元管理しているような現場では、作業機械や運搬車両の絶対位置を把握できるため、これらの位置情報をもとに仮想画像を生成することも可能である。 Further, by disposing a non-contact distance sensor such as a laser distance meter in the hydraulic excavator 1 in addition to the camera 20, it is possible to acquire distance information with higher accuracy than a stereo camera. At the work site where the position of the work machine and transport vehicle in the entire work site is centrally managed using GPS etc., the absolute position of the work machine and transport vehicle can be ascertained. It is also possible to generate an image.
また、本実施形態では、油圧ショベル１の三次元画像データを予め記憶し、操作者の好みに応じて仮想側面画像Ｓ１、仮想三次元画像Ｓ２、仮想上面画像Ｓ３の３種類の仮想画像を生成するようにしたが、二次元の仮想画像で十分な場合には、油圧ショベル１の二次元データのみを予め記憶しておけば、データ容量の低減、制御処理の負担軽減となる。 In this embodiment, the three-dimensional image data of the excavator 1 is stored in advance, and three types of virtual images, a virtual side image S1, a virtual three-dimensional image S2, and a virtual top surface image S3, are generated according to the operator's preference. However, if a two-dimensional virtual image is sufficient, storing only the two-dimensional data of the excavator 1 in advance reduces the data capacity and the burden of control processing.
また、本実施形態では、車体側遠隔コントロールユニット２５が油圧ショベル１に対するトラック４の相対位置を演算し、この演算結果に関する情報を、無線通信アンテナ２４を介して遠隔操縦設備３へ送信する構成としたが、この構成に代えて、車体側遠隔コントロールユニット２５は、単に映像データを操縦側遠隔コントロールユニット３６に送信し、操縦側遠隔コントロールユニット３６内で油圧ショベル１に対するトラック４の相対位置を演算する構成としても良い。 In the present embodiment, the vehicle body side remote control unit 25 calculates the relative position of the truck 4 with respect to the hydraulic excavator 1, and transmits information related to the calculation result to the remote control facility 3 via the wireless communication antenna 24. However, instead of this configuration, the vehicle body side remote control unit 25 simply transmits video data to the pilot side remote control unit 36 and calculates the relative position of the truck 4 with respect to the excavator 1 in the pilot side remote control unit 36. It is good also as composition to do.
また、本実施形態では、カメラ座標系での三次元モデルの位置座標を油圧ショベル１の油圧ショベル座標系に変換して相対位置を演算する例について説明したが、相対位置の算出は上記の例に限定されない。例えば、トラック４と油圧ショベル１との距離ｄｘが既知の状態で、積込作業時に油圧ショベル１からトラック４を見た状態（例えばトラック４を後ろから見た状態）で撮像した画像から、トラック４が撮像された範囲（トラック４の背面が撮像された画像領域）を抽出する。 In this embodiment, the example in which the position coordinate of the three-dimensional model in the camera coordinate system is converted to the hydraulic shovel coordinate system of the hydraulic excavator 1 and the relative position is calculated has been described. It is not limited to. For example, from the image captured in a state where the distance dx between the truck 4 and the hydraulic excavator 1 is known and the truck 4 is viewed from the hydraulic excavator 1 during the loading operation (for example, the state where the truck 4 is viewed from behind), A range where 4 is imaged (an image area where the back surface of the track 4 is imaged) is extracted.
そして、距離ｄｘで撮像されたトラック４の画像領域内に含まれる画像サイズを示すピクセル数Ｐｘ（画像領域全体のピクセル数でもよいし、画像領域の対角線上のピクセル数でもよい。）をキャリブレーションデータとして記憶しておく。そして、積込作業時に撮像した画像からトラック４の画像領域を抽出し、その抽出した画像領域の画像サイズがＰ１である場合、距離ｄｘ×（Ｐ１／Ｐｘ）を演算することにより、撮像時におけるトラック４と油圧ショベル１との間の距離、即ち相対位置を算出することができる。 Then, the number of pixels Px indicating the image size included in the image area of the track 4 imaged at the distance dx (the number of pixels in the entire image area or the number of pixels on the diagonal line of the image area may be used) is calibrated. Store it as data. Then, the image area of the track 4 is extracted from the image captured during the loading operation, and when the image size of the extracted image area is P1, the distance dx × (P1 / Px) is calculated to obtain The distance between the truck 4 and the hydraulic excavator 1, that is, the relative position can be calculated.
１ 油圧ショベル（作業機械）
１ａ 油圧ショベルの側面画像
１ｂ 油圧ショベルの三次元画像
１ｃ 油圧ショベルの上面画像
４ トラック（運搬車両）
４ａ トラックの側面画像
４ｂ トラックの三次元画像
４ｃ トラックの上面画像
５ フロント部（作業部）
２０ カメラ（撮像装置）
２１ ブーム角度センサ（センサ）
２２ アーム角度センサ（センサ）
２３ バケット角度センサ（センサ）
２５ 車体側遠隔コントロールユニット
３４ モニタ（作業支援画像生成装置）
３６ 操縦側遠隔コントロールユニット（作業支援画像生成装置）
３８ａ〜ｈ 数値情報
４０ 画像データ記憶部
４１ 入力部
４２ 支援画像生成部
４３ 表示制御部
４５ 出力部
４６ 相対位置演算部
１２０ カメラ（撮像装置）
Ｓ１ 仮想側面画像（支援画像）
Ｓ２ 仮想三次元画像（支援画像）
Ｓ３ 仮想上面画像（支援画像）
1 Excavator (work machine)
1a Side view of excavator 1b Three-dimensional image of excavator 1c Top view of excavator 4 Truck (transportation vehicle)
4a Side view of the truck 4b Three-dimensional image of the truck 4c Top view of the truck 5 Front part (working part)
20 Camera (imaging device)
21 Boom angle sensor (sensor)
22 Arm angle sensor (sensor)
23 Bucket angle sensor (sensor)
25 Vehicle body side remote control unit 34 Monitor (work support image generation device)
36 Pilot side remote control unit (work support image generator)
38a to h Numerical information 40 Image data storage unit 41 Input unit 42 Support image generation unit 43 Display control unit 45 Output unit 46 Relative position calculation unit 120 Camera (imaging device)
S1 Virtual side image (support image)
S2 Virtual 3D image (support image)
S3 Virtual top view image (support image)
Claims (5)
前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、
前記作業機械の作業部の姿勢情報、及び前記作業機械と前記運搬車両との相対位置に関する情報であって、前記作業機械に設けられた撮像装置で前記運搬車両を撮像した撮像データまたは前記運搬車両に設けられた撮像装置で前記作業機械を撮像した撮像データに基づいて演算された相対位置情報を受け付ける入力部と、
前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、
前記支援画像生成部にて生成された前記支援画像を表示するモニタと、
を備えることを特徴とする作業支援画像生成装置。 A work support image generating device that provides a support image for supporting the loading operation to an operator who performs a loading operation on a transport vehicle by remotely controlling a work machine,
A plurality of work machine image data in the loading operation of the work machine, and an image data storage unit that stores in advance at least one transport vehicle image data of the transport vehicle;
The posture information of the working unit of the work machine and the information on the relative position between the work machine and the transport vehicle, the image data obtained by capturing the transport vehicle with the image pickup device provided in the work machine or the transport vehicle An input unit that receives relative position information calculated based on imaging data obtained by imaging the work machine with an imaging device provided in
One work machine image data is extracted from the plurality of work machine image data based on the posture information, and the work machine image data and one transport vehicle image data are arranged according to the relative position information. A support image generation unit for generating the support image;
A monitor for displaying the support image generated by the support image generation unit;
A work support image generation apparatus comprising:
前記支援画像生成部は、前記支援画像として、前記作業機械と前記運搬車両との相対位置を前記作業機械と前記運搬車両のそれぞれの側面画像を用いて表した仮想側面画像、前記相対位置を前記作業機械と前記運搬車両のそれぞれの三次元画像を用いて表した仮想三次元画像、及び前記相対位置を前記作業機械と前記運搬車両のそれぞれの上面画像を用いて表した仮想上面画像、のうちの少なくとも１つを生成することを特徴とする作業支援画像生成装置。 In claim 1,
The support image generation unit includes, as the support image, a virtual side image representing a relative position between the work machine and the transport vehicle using side images of the work machine and the transport vehicle, and the relative position as the relative position. A virtual three-dimensional image represented using a three-dimensional image of each of the work machine and the transport vehicle, and a virtual top image representing the relative position using a top image of each of the work machine and the transport vehicle. A work support image generating apparatus that generates at least one of the following.
前記モニタの表示を制御する表示制御部をさらに備え、
前記表示制御部は、前記入力部に入力された前記相対位置情報としての数値情報を前記支援画像上に重畳して表示するよう制御することを特徴とする作業支援画像生成装置。 In claim 1,
A display control unit for controlling the display of the monitor;
The work control image generating apparatus, wherein the display control unit controls to display numerical information as the relative position information input to the input unit so as to be superimposed on the support image.
前記モニタの表示を制御する表示制御部をさらに備え、
前記支援画像生成部は、前記入力部に入力された新たな前記姿勢情報及び前記相対位置情報に基づいて新たな前記支援画像を周期的に生成し、
前記表示制御部は、前記モニタに表示されている前記支援画像を前記新たな支援画像に更新する
ことを特徴とする作業支援画像生成装置。 In claim 1,
A display control unit for controlling the display of the monitor;
The support image generation unit periodically generates a new support image based on the new posture information and the relative position information input to the input unit,
The display control unit updates the support image displayed on the monitor to the new support image.
前記作業機械は、
前記積込作業を行うフロント部と、
前記フロント部の姿勢を検出するセンサと、
前記運搬車両を撮像する撮像装置と、
前記撮像装置で撮像された撮像データに基づいて前記作業機械と前記運搬車両との相対位置を演算する相対位置演算部と、
前記センサにて検出された前記フロント部の姿勢情報、及び前記相対位置演算部にて演算された前記作業機械と前記運搬車両との相対位置情報を外部に出力する出力部と、を備え、
前記作業支援画像生成装置は、
前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、
前記出力部から出力された、前記姿勢情報及び前記相対位置情報を受け付ける入力部と、
前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、
前記支援画像生成部にて生成された前記支援画像を表示するモニタと、
を備えることを特徴とする作業機械の遠隔操縦システム。 A work machine comprising: a work machine for loading excavated material into a transport vehicle; and a work support image generating device for providing a support image for assisting a loading operation to an operator who remotely controls the work machine. A remote control system,
The work machine is
A front part for performing the loading operation;
A sensor for detecting the posture of the front part;
An imaging device for imaging the transport vehicle;
A relative position calculation unit that calculates a relative position between the work machine and the transporting vehicle based on imaging data captured by the imaging device;
An output unit that outputs to the outside the posture information of the front part detected by the sensor and the relative position information of the work machine and the transport vehicle calculated by the relative position calculation unit;
The work support image generation device includes:
A plurality of work machine image data in the loading operation of the work machine, and an image data storage unit that stores in advance at least one transport vehicle image data of the transport vehicle;
An input unit that receives the posture information and the relative position information output from the output unit;
One work machine image data is extracted from the plurality of work machine image data based on the posture information, and the work machine image data and one transport vehicle image data are arranged according to the relative position information. A support image generation unit for generating the support image;
A monitor for displaying the support image generated by the support image generation unit;
A remote control system for a work machine, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014221906A JP6407663B2 (en) | 2014-10-30 | 2014-10-30 | Work support image generation apparatus and work machine control system including the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014221906A JP6407663B2 (en) | 2014-10-30 | 2014-10-30 | Work support image generation apparatus and work machine control system including the same |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016089388A true JP2016089388A (en) | 2016-05-23 |
| JP2016089388A5 JP2016089388A5 (en) | 2017-11-24 |
| JP6407663B2 JP6407663B2 (en) | 2018-10-17 |
Family
ID=56019059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014221906A Active JP6407663B2 (en) | 2014-10-30 | 2014-10-30 | Work support image generation apparatus and work machine control system including the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6407663B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107816079A (en) * | 2017-10-20 | 2018-03-20 | 中国人民解放军陆军工程大学 | Pose measurement and Load-aware device for unmanned earthmoving machinery |
| WO2019054003A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社小松製作所 | Display system, display method, and display device |
| JP2019054465A (en) * | 2017-09-15 | 2019-04-04 | 株式会社小松製作所 | Display system, display method, and display device |
| JP2020012810A (en) * | 2018-05-09 | 2020-01-23 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Aiding maneuvering of obscured objects |
| WO2020054413A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for wheel loader, and control method for display system |
| WO2020054412A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Work-machine display system and control method therefor |
| WO2020054411A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for work machine, and method for controlling display system |
| WO2020065738A1 (en) * | 2018-09-25 | 2020-04-02 | 日立建機株式会社 | Outer profile measurement system for operating machine, outer profile display system for operating machine, control system for operating machine, and operating machine |
| WO2020090985A1 (en) * | 2018-10-31 | 2020-05-07 | 株式会社小松製作所 | Display control system and display control method |
| KR20200130331A (en) * | 2018-03-20 | 2020-11-18 | 스미도모쥬기가이고교 가부시키가이샤 | Shovel |
| WO2021010489A1 (en) * | 2019-07-17 | 2021-01-21 | 住友建機株式会社 | Work machine and assistance device that assists work using work machine |
| JPWO2019189013A1 (en) * | 2018-03-26 | 2021-03-18 | 住友建機株式会社 | Excavator |
| WO2021054436A1 (en) * | 2019-09-18 | 2021-03-25 | 住友重機械工業株式会社 | Excavator |
| WO2021059823A1 (en) * | 2019-09-26 | 2021-04-01 | コベルコ建機株式会社 | Container measurement system |
| KR20210120056A (en) | 2019-04-26 | 2021-10-06 | 가부시키가이샤 고마쓰 세이사쿠쇼 | Regeneration apparatus, analysis support system and method of reproduction |
| WO2021210665A1 (en) * | 2020-04-17 | 2021-10-21 | 株式会社小松製作所 | Control system and control method |
| WO2022190484A1 (en) * | 2021-03-08 | 2022-09-15 | コベルコ建機株式会社 | Container measurement system |
| WO2023189216A1 (en) * | 2022-03-31 | 2023-10-05 | 日立建機株式会社 | Work assistance system |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6149035A (en) * | 1984-08-14 | 1986-03-10 | Komatsu Ltd | Displayer for construction machinery |
| JPH07230597A (en) * | 1994-02-16 | 1995-08-29 | Fujita Corp | Operation control system for work machine |
| JPH11213154A (en) * | 1998-01-27 | 1999-08-06 | Komatsu Ltd | Remote control assisting device |
| JP2001055762A (en) * | 1999-08-13 | 2001-02-27 | Hitachi Constr Mach Co Ltd | Automatic-operation construction machine and calibrating method for its position measuring means |
| JP2002105989A (en) * | 2000-09-28 | 2002-04-10 | Komatsu Ltd | Construction site management system |
| JP2004107925A (en) * | 2002-09-17 | 2004-04-08 | Hitachi Constr Mach Co Ltd | Digging work teaching device for construction machine |
| JP2008223479A (en) * | 1998-03-05 | 2008-09-25 | Caterpillar Inc | Method for determining and displaying position of truck during material transfer |
| JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
| JP2012062707A (en) * | 2010-09-17 | 2012-03-29 | Hitachi Constr Mach Co Ltd | Display system of work machine |
| WO2012053105A1 (en) * | 2010-10-22 | 2012-04-26 | 日立建機株式会社 | Work machine peripheral monitoring device |
| WO2013065415A1 (en) * | 2011-11-04 | 2013-05-10 | 株式会社小松製作所 | Loading system and conveyor |
| WO2014054194A1 (en) * | 2012-10-05 | 2014-04-10 | 株式会社小松製作所 | Display system for excavation machine, and excavation machine |
| WO2014123228A1 (en) * | 2013-02-08 | 2014-08-14 | 日立建機株式会社 | Surroundings monitoring device for slewing-type work machine |
| JP2014173949A (en) * | 2013-03-07 | 2014-09-22 | Hitachi Constr Mach Co Ltd | Load measuring device of work machine |
-
2014
- 2014-10-30 JP JP2014221906A patent/JP6407663B2/en active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6149035A (en) * | 1984-08-14 | 1986-03-10 | Komatsu Ltd | Displayer for construction machinery |
| JPH07230597A (en) * | 1994-02-16 | 1995-08-29 | Fujita Corp | Operation control system for work machine |
| JPH11213154A (en) * | 1998-01-27 | 1999-08-06 | Komatsu Ltd | Remote control assisting device |
| JP2008223479A (en) * | 1998-03-05 | 2008-09-25 | Caterpillar Inc | Method for determining and displaying position of truck during material transfer |
| JP2001055762A (en) * | 1999-08-13 | 2001-02-27 | Hitachi Constr Mach Co Ltd | Automatic-operation construction machine and calibrating method for its position measuring means |
| JP2002105989A (en) * | 2000-09-28 | 2002-04-10 | Komatsu Ltd | Construction site management system |
| JP2004107925A (en) * | 2002-09-17 | 2004-04-08 | Hitachi Constr Mach Co Ltd | Digging work teaching device for construction machine |
| JP2010117882A (en) * | 2008-11-13 | 2010-05-27 | Hitachi Constr Mach Co Ltd | On-site monitoring system |
| JP2012062707A (en) * | 2010-09-17 | 2012-03-29 | Hitachi Constr Mach Co Ltd | Display system of work machine |
| WO2012053105A1 (en) * | 2010-10-22 | 2012-04-26 | 日立建機株式会社 | Work machine peripheral monitoring device |
| WO2013065415A1 (en) * | 2011-11-04 | 2013-05-10 | 株式会社小松製作所 | Loading system and conveyor |
| WO2014054194A1 (en) * | 2012-10-05 | 2014-04-10 | 株式会社小松製作所 | Display system for excavation machine, and excavation machine |
| WO2014123228A1 (en) * | 2013-02-08 | 2014-08-14 | 日立建機株式会社 | Surroundings monitoring device for slewing-type work machine |
| JP2014173949A (en) * | 2013-03-07 | 2014-09-22 | Hitachi Constr Mach Co Ltd | Load measuring device of work machine |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11280062B2 (en) | 2017-09-15 | 2022-03-22 | Komatsu Ltd. | Display system, display method, and display device |
| WO2019054003A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社小松製作所 | Display system, display method, and display device |
| JP2019054465A (en) * | 2017-09-15 | 2019-04-04 | 株式会社小松製作所 | Display system, display method, and display device |
| JP2019054464A (en) * | 2017-09-15 | 2019-04-04 | 株式会社小松製作所 | Display system, display method, and display device |
| AU2018333193B2 (en) * | 2017-09-15 | 2021-03-18 | Komatsu Ltd. | Display system, display method, and display device |
| US11230825B2 (en) | 2017-09-15 | 2022-01-25 | Komatsu Ltd. | Display system, display method, and display apparatus |
| CN107816079A (en) * | 2017-10-20 | 2018-03-20 | 中国人民解放军陆军工程大学 | Pose measurement and Load-aware device for unmanned earthmoving machinery |
| KR20200130331A (en) * | 2018-03-20 | 2020-11-18 | 스미도모쥬기가이고교 가부시키가이샤 | Shovel |
| KR102602384B1 (en) * | 2018-03-20 | 2023-11-14 | 스미도모쥬기가이고교 가부시키가이샤 | shovel |
| JP7383599B2 (en) | 2018-03-26 | 2023-11-20 | 住友建機株式会社 | excavator |
| JPWO2019189013A1 (en) * | 2018-03-26 | 2021-03-18 | 住友建機株式会社 | Excavator |
| JP2020012810A (en) * | 2018-05-09 | 2020-01-23 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Aiding maneuvering of obscured objects |
| WO2020054411A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for work machine, and method for controlling display system |
| WO2020054412A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Work-machine display system and control method therefor |
| WO2020054413A1 (en) | 2018-09-14 | 2020-03-19 | 株式会社小松製作所 | Display system for wheel loader, and control method for display system |
| CN112204198A (en) * | 2018-09-14 | 2021-01-08 | 株式会社小松制作所 | Display system for working machine and control method thereof |
| WO2020065738A1 (en) * | 2018-09-25 | 2020-04-02 | 日立建機株式会社 | Outer profile measurement system for operating machine, outer profile display system for operating machine, control system for operating machine, and operating machine |
| CN111226009A (en) * | 2018-09-25 | 2020-06-02 | 日立建机株式会社 | External shape measuring system for working machine, external shape display system for working machine, control system for working machine, and working machine |
| KR102231510B1 (en) * | 2018-09-25 | 2021-03-24 | 히다찌 겐끼 가부시키가이샤 | Work machine shape measurement system, work machine shape display system, work machine control system and work machine |
| KR20200037285A (en) * | 2018-09-25 | 2020-04-08 | 히다찌 겐끼 가부시키가이샤 | Measurement system of external shape of work machine, display system of external shape of work machine, control system of work machine and working machine |
| JPWO2020065738A1 (en) * | 2018-09-25 | 2021-01-07 | 日立建機株式会社 | Work machine outer shape measurement system, work machine outer shape display system, work machine control system and work machine |
| US11434623B2 (en) | 2018-09-25 | 2022-09-06 | Hitachi Construction Machinery Co., Ltd. | Work-implement external-shape measurement system, work-implement external-shape display system, work-implement control system and work machine |
| CN111226009B (en) * | 2018-09-25 | 2022-03-04 | 日立建机株式会社 | External shape measuring system for working machine, external shape display system for working machine, control system for working machine, and working machine |
| WO2020090985A1 (en) * | 2018-10-31 | 2020-05-07 | 株式会社小松製作所 | Display control system and display control method |
| US11772556B2 (en) | 2018-10-31 | 2023-10-03 | Komatsu Ltd. | Display control system and display control method |
| US11893694B2 (en) | 2019-04-26 | 2024-02-06 | Komatsu Ltd. | Reproduction apparatus, analysis assistance system, and reproduction method for synchronizing reproduction of a construction machine model |
| DE112020000512T5 (en) | 2019-04-26 | 2021-10-14 | Komatsu Ltd. | Reproduction device, analysis support system and reproduction process |
| KR20210120056A (en) | 2019-04-26 | 2021-10-06 | 가부시키가이샤 고마쓰 세이사쿠쇼 | Regeneration apparatus, analysis support system and method of reproduction |
| CN114080481A (en) * | 2019-07-17 | 2022-02-22 | 住友建机株式会社 | Construction machine and support device for supporting work performed by construction machine |
| WO2021010489A1 (en) * | 2019-07-17 | 2021-01-21 | 住友建機株式会社 | Work machine and assistance device that assists work using work machine |
| CN114080481B (en) * | 2019-07-17 | 2024-01-16 | 住友建机株式会社 | Construction machine and support device for supporting work by construction machine |
| CN114174596A (en) * | 2019-09-18 | 2022-03-11 | 住友重机械工业株式会社 | Excavator |
| CN114174596B (en) * | 2019-09-18 | 2024-03-08 | 住友重机械工业株式会社 | Excavator |
| WO2021054436A1 (en) * | 2019-09-18 | 2021-03-25 | 住友重機械工業株式会社 | Excavator |
| WO2021059823A1 (en) * | 2019-09-26 | 2021-04-01 | コベルコ建機株式会社 | Container measurement system |
| CN114521228A (en) * | 2019-09-26 | 2022-05-20 | 神钢建机株式会社 | Container measuring system |
| JP2021056543A (en) * | 2019-09-26 | 2021-04-08 | コベルコ建機株式会社 | Container measurement system |
| CN115380144A (en) * | 2020-04-17 | 2022-11-22 | 株式会社小松制作所 | Control system and control method |
| WO2021210665A1 (en) * | 2020-04-17 | 2021-10-21 | 株式会社小松製作所 | Control system and control method |
| JP7469127B2 (en) | 2020-04-17 | 2024-04-16 | 株式会社小松製作所 | Control system and control method |
| WO2022190484A1 (en) * | 2021-03-08 | 2022-09-15 | コベルコ建機株式会社 | Container measurement system |
| JP7452473B2 (en) | 2021-03-08 | 2024-03-19 | コベルコ建機株式会社 | Container measuring system |
| WO2023189216A1 (en) * | 2022-03-31 | 2023-10-05 | 日立建機株式会社 | Work assistance system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6407663B2 (en) | 2018-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6407663B2 (en) | Work support image generation apparatus and work machine control system including the same | |
| JP6474905B2 (en) | Remote operation system and operation support system | |
| AU2018333191B2 (en) | Display system, display method, and display apparatus | |
| JP6807781B2 (en) | Display system, display method, and remote control system | |
| JP7166108B2 (en) | Image processing system, display device, image processing method, trained model generation method, and training data set | |
| JP2020159192A (en) | Display system, construction machine, and display method | |
| CN103890282A (en) | Device for monitoring surroundings of machinery | |
| CN103797789A (en) | Surroundings monitoring device for work machine | |
| JP7151392B2 (en) | Remote control device for construction machinery | |
| JPH11211473A (en) | Topographic form measuring device | |
| JPH06317090A (en) | Three-dimensional display device | |
| JP7420733B2 (en) | Display control system and display control method | |
| JP7080750B2 (en) | Display control system, remote control system, display control device, and display control method | |
| US20220316188A1 (en) | Display system, remote operation system, and display method | |
| WO2021131161A1 (en) | Work assisting server and method for selecting imaging device | |
| JP2020134319A (en) | Image sensor information correction method and moving body | |
| US20230237806A1 (en) | Object detection vision system | |
| WO2021020292A1 (en) | Display system, remote operation system, and display method | |
| JP7390991B2 (en) | Work machines and construction support systems | |
| US20210395980A1 (en) | System and method for work machine | |
| WO2023100533A1 (en) | Image display system, remote operation assistance system, and image display method | |
| JP2024043268A (en) | Image generation device, operation support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171013 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6407663 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |