JP2022054138A

JP2022054138A - Work simulation device and learning device

Info

Publication number: JP2022054138A
Application number: JP2020161163A
Authority: JP
Inventors: 亮介小林; Ryosuke Kobayashi; 孝一黒澤; Koichi Kurosawa; 一平石塚; Ippei Ishizuka; 廉守中; Tadashi Morinaka; 克彦平野; Katsuhiko Hirano; 洋関; Hiroshi Seki; 隆浩長井; Takahiro Nagai
Original assignee: Hitachi GE Nuclear Energy Ltd
Current assignee: Hitachi GE Nuclear Energy Ltd
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2022-04-06
Anticipated expiration: 2040-09-25
Also published as: JP7422043B2

Abstract

To provide a work simulation device capable of simulating a work device that includes incidental items.SOLUTION: A work simulation device (display unit 200) includes an estimation unit 213 that estimates a state of work equipment after the movement of the work equipment corresponding to operation information from the state of the work equipment including incidental items and operation information instructing the work device to move, which is input from the operation device.SELECTED DRAWING: Figure 9

Description

本発明は、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置に関する。 The present invention relates to a work simulation device and a learning device that simulate a work device provided with an accessory.

プラントの現地工事への一般的な対応としては、事前取得できる作業環境の条件などから作業装置の仕様を設定し、作業装置の設計・製作、現地作業環境を模擬したモックアップ設備の準備、それら装置や設備を利用したトレーニングを経て現地作業を行う。
一方、原子力発電所の建設、改造、廃炉など工事は、数年、数十年にわたる長期、かつ複雑なプロジェクトである。このような工事には不確定要素の多い作業が含まれることが多い。周辺環境や作業対象物が不確定で変化する場合には、事前取得できる情報が限定的であり、現地の状況を全て反映したモックアップ設備を準備することは困難である。また、現地の作業進捗に応じて作業装置やモックアップ設備の更新や新規製作・準備が頻繁に発生すると予想される。 As a general response to the on-site construction of the plant, the specifications of the work equipment are set based on the conditions of the work environment that can be acquired in advance, the design and manufacture of the work equipment, the preparation of mockup equipment that simulates the on-site work environment, and so on. Perform on-site work after training using equipment and facilities.
On the other hand, construction, remodeling, decommissioning, etc. of nuclear power plants are long-term and complicated projects that last for several years or decades. Such works often include work with many uncertainties. When the surrounding environment and work objects change uncertainly, the information that can be obtained in advance is limited, and it is difficult to prepare mockup equipment that reflects all the local conditions. In addition, it is expected that work equipment and mockup equipment will be updated and new production / preparation will occur frequently according to the progress of local work.

このことから、作業に必要な現物を全て用意することなく、一部模擬データを仮想的に発生させることで現地作業と同等のトレーニング効果が期待されるシステムが、特許文献１に記載されている。特許文献１によれば、実機と同様の配管などを用いることなく実際の試験と同様の操作による超音波探傷試験を仮想的に行うことを目的として、「超音波探傷試験の適用対象を模擬するダミー試験体と、当該ダミー試験体を対象として仮想的に行われる超音波探傷試験の探触子として用いられる模擬探触子と、ダミー試験体の外表面上における模擬探触子の位置を特定するための位置情報を取得する位置計測装置と、ダミー試験体の外表面上の位置座標毎の探傷波形のデータが収録された探傷波形データベースと、位置計測装置によって取得された位置情報に基づく模擬探触子のダミー試験体の外表面上における位置に対応するものとして探傷波形データベースから読み込まれた探傷波形のデータに基づく探傷波形が表示される表示装置の表示部とを有することを特徴とする仮想超音波探傷試験システム」が提案されている。 For this reason, Patent Document 1 describes a system in which a training effect equivalent to that of on-site work can be expected by virtually generating a part of simulated data without preparing all the actual items necessary for the work. .. According to Patent Document 1, "simulating the application target of the ultrasonic flaw detection test" for the purpose of virtually performing an ultrasonic flaw detection test by the same operation as the actual test without using the same piping as the actual machine. Identify the position of the dummy test piece, the simulated probe used as the probe of the ultrasonic flaw detector that is virtually performed on the dummy test piece, and the simulated probe on the outer surface of the dummy test piece. A position measuring device that acquires position information for performing, a flaw detection waveform database that contains data on flaw detection waveforms for each position coordinate on the outer surface of a dummy test piece, and a simulation based on the position information acquired by the position measurement device. It is characterized by having a display unit of a display device that displays the flaw detection waveform based on the flaw detection waveform data read from the flaw detection waveform database as corresponding to the position on the outer surface of the dummy test piece of the probe. A "virtual ultrasonic testing system" has been proposed.

特開２０１６－０５７１０４号公報Japanese Unexamined Patent Publication No. 2016-057104

特許文献１に開示の手法は、その分野において一定程度以上の効果を奏することができるものである。しかしながら、単に複雑、長期というだけではなく、作業自体に不確定要素が多い作業について、この手法のみでは対応が困難である。
例えば、過酷事故が発生した原子力発電所の廃炉作業においては、炉内構造物や燃料デブリの加工計画（加工作業）、加工した対象物の搬出計画（搬出作業）、搬出物の建屋間移送計画（移送作業）、現地作業者の配置計画（人による現地作業）を策定し、計画を遂行する。これらの計画に係る目的関数を最小化／最大化することで、作業全体を効率的に進めることが一般的に求められている。しかしながら、廃炉作業のケースでは不確定要素が多く、最適な計画／作業を決めるのが困難である。 The method disclosed in Patent Document 1 can exert an effect of a certain degree or more in the field. However, it is difficult to deal with work that is not only complicated and long-term, but also has many uncertainties in the work itself, by this method alone.
For example, in the decommissioning work of a nuclear power plant where a severe accident occurred, the processing plan (processing work) of the internal structure and fuel debris, the carry-out plan (carry-out work) of the processed object, and the transfer of the carried-out material between buildings. Formulate a plan (transfer work) and a plan for allocating local workers (on-site work by humans), and carry out the plan. It is generally required to efficiently proceed with the entire work by minimizing / maximizing the objective functions related to these plans. However, in the case of decommissioning work, there are many uncertainties and it is difficult to determine the optimum plan / work.

原子力発電所の廃炉作業では燃料デブリを取り出すことに関連して、業務を取り巻く環境が高線量、暗所、高湿度、かつ場所によっては数値が不定（例えば、測定が不可能）であり、対象原子炉によっても状況が異なる。このため、作業ごとに作業装置（ロボット、例えばアームを備えた移動体）やモックアップ設備を全て準備して作業装置の動作確認、性能確認、作業性確認を行うことや、事前に作業員のトレーニングを行うことは多くの時間と費用を要することが想定される。 In the decommissioning work of a nuclear power plant, the environment surrounding the work is high dose, dark place, high humidity, and the numerical value is indefinite (for example, measurement is impossible) in some places in relation to the extraction of fuel debris. The situation also differs depending on the target reactor. For this reason, work equipment (robots, for example, moving objects equipped with arms) and mockup equipment are all prepared for each work to check the operation, performance, and workability of the work equipment, and to check the workability of the workers in advance. It is expected that training will take a lot of time and money.

作業装置が遠隔操作される場合、無線ではなく有線で作業信号が送受信される場合がある。また、作業装置自体（クローラを備えた移動体）やアームなどのアクチュエータは、電気駆動に限らずエア駆動や水圧駆動である場合がある。このような場合、作業装置にはケーブルやホースが接続され、作業装置の移動にともないケーブルやホースが引きずられて移動することになる。
作業現場には、建物や設備などの構造物の他に崩れた構造物（瓦礫）などもあり、このような障害物によるケーブルやホースに対する影響を考慮した作業装置の動作確認、性能確認、作業性確認をしながら、作業員はレーニングを行う。ケーブルやホースに限らず、トレーラ・台車・荷車のような被牽引物を牽引する作業装置（トラクタ）においても、作業員は、同様に障害物による被牽引物（貨物部分）への影響を考慮する。 When the work equipment is operated remotely, work signals may be transmitted and received by wire instead of wirelessly. Further, the actuators such as the working device itself (moving body provided with a crawler) and the arm are not limited to electric drive but may be air driven or hydraulically driven. In such a case, cables and hoses are connected to the work device, and the cables and hoses are dragged and moved as the work device moves.
At the work site, in addition to structures such as buildings and equipment, there are also collapsed structures (rubble), and operation check, performance check, work of work equipment considering the influence of such obstacles on cables and hoses. Workers perform laning while confirming sex. Not only for cables and hoses, but also for work equipment (tractors) that pull towed objects such as trailers, trolleys, and carts, workers also consider the effects of obstacles on towed objects (cargo parts). do.

このため、不確定要素が多い現場で利用される作業装置に対しては、作業装置に備わるケーブルやホース、被牽引物などの付帯物まで考慮した作業装置の動作確認、性能確認、作業性確認、および作業員のトレーニングを支援する作業支援システムが望まれる。
本発明は、このような背景を鑑みてなされたものであり、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置を提供することを課題とする。 For this reason, for work equipment used in the field where there are many uncertainties, operation check, performance check, and workability check of the work equipment considering the cables, hoses, towed objects, and other incidental items provided in the work equipment. , And a work support system that supports the training of workers is desired.
The present invention has been made in view of such a background, and an object of the present invention is to provide a work simulation device and a learning device that simulate a work device provided with an accessory.

前記した課題を解決するため、作業シミュレーション装置は、付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とから、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を推定する推定部を備える。 In order to solve the above-mentioned problems, the work simulation device corresponds to the operation information from the state of the work device provided with an accessory and the operation information input from the operation device to instruct the work device to move. It is provided with an estimation unit that estimates the state of the work device after the work device is moved.

また、学習装置は、付帯物を備えた作業装置の状態と、操作装置から入力された当該作業装置に対して移動を指示する操作情報とを入力データとして含み、当該操作情報に対応する当該作業装置の移動後における当該作業装置の状態を出力データとして含む教師データを用いて機械学習モデルを訓練する学習部を備える。 Further, the learning device includes the state of the work device provided with an accessory and the operation information input from the operation device for instructing the work device to move as input data, and the work corresponding to the operation information. It is provided with a learning unit for training a machine learning model using teacher data including the state of the working device as output data after the device is moved.

本発明によれば、付帯物が備わる作業装置を模擬する作業シミュレーション装置および学習装置を提供することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide a work simulation device and a learning device that simulate a work device provided with an accessory.
Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.

作業現場での作業装置（ロボット）を利用した作業を説明するための図である。It is a figure for demonstrating work using a work apparatus (robot) at a work site. 本実施形態に係る教師データ収集・学習システムの全体構成図である。It is an overall block diagram of the teacher data collection / learning system which concerns on this embodiment. 本実施形態に係る特徴量収集・学習装置の機能ブロック図である。It is a functional block diagram of the feature quantity collection / learning apparatus which concerns on this embodiment. 本実施形態に係る学習モデルと教師データとを説明するための図である。It is a figure for demonstrating the learning model and teacher data which concerns on this embodiment. 本実施形態に係るケーブル・ホース類の特徴点を説明するための図である。It is a figure for demonstrating the characteristic point of the cable / hose which concerns on this embodiment. 本実施形態に係る教師データの収集手順のフローチャートである。It is a flowchart of the teacher data collection procedure which concerns on this embodiment. 本実施形態に係る特徴量収集・学習装置が実行する学習処理のフローチャートである。It is a flowchart of the learning process executed by the feature amount collection / learning apparatus which concerns on this embodiment. 本実施形態に係る訓練システムの全体構成図である。It is an overall block diagram of the training system which concerns on this embodiment. 本実施形態に係る表示装置の機能ブロック図である。It is a functional block diagram of the display device which concerns on this embodiment. 本実施形態に係る表示装置が実行する画像生成処理のフローチャートである。It is a flowchart of the image generation processing executed by the display device which concerns on this embodiment. 本実施形態の変形例に係る訓練システムの全体構成図である。It is an overall block diagram of the training system which concerns on the modification of this embodiment. 本実施形態の変形例に係る表示装置が実行する画像生成処理のフローチャートである。It is a flowchart of the image generation processing executed by the display device which concerns on the modification of this Embodiment. 本実施形態の変形例に係る特徴量収集・学習装置の機能ブロック図である。It is a functional block diagram of the feature quantity collecting / learning apparatus which concerns on the modification of this embodiment.

本発明を実施するための形態（実施形態）における教師データ収集・学習システム１０（後記する図２参照）および訓練システム２０（後記する図８参照）を説明する前に、作業装置の概要を説明する。 Before explaining the teacher data acquisition / learning system 10 (see FIG. 2 described later) and the training system 20 (see FIG. 8 described later) in the embodiment (embodiment) for carrying out the present invention, an outline of the working apparatus will be described. do.

≪作業現場・作業装置の概要≫
図１は、作業現場８８０での作業装置８１０（ロボット）を利用した作業を説明するための図である。作業現場８８０は、例えば事故が発生した原子力発電所の廃炉作業の現場であって、瓦礫８８８が散乱している。作業装置８１０は、クローラ８１１とアーム８１５を備えて移動可能であって、現地オペレーションセンタ８８５から遠隔操作される。作業装置８１０は、作業員の操作指示に従って瓦礫８８８の撤去や燃料デブリ（不図示）の取り出し・搬出などの現地での作業を行う。なお、ここでのクローラ８１１は、一対の無限軌道（クローラ）とこの無限軌道を自在に駆動させる駆動装置を内蔵した本体とを含んで構成される移動体部分（アーム８１５が載置される台車部分）を指している。 ≪Overview of work site / work equipment≫
FIG. 1 is a diagram for explaining work using a work device 810 (robot) at a work site 880. The work site 880 is, for example, the site of decommissioning work of a nuclear power plant where an accident occurred, and rubble 888 is scattered. The working apparatus 810 is mobile with the crawler 811 and the arm 815 and is remotely controlled from the local operation center 885. The work device 810 performs on-site work such as removal of rubble 888 and removal / removal of fuel debris (not shown) according to the operation instructions of the worker. The crawler 811 here is a moving body portion (a bogie on which the arm 815 is mounted) including a pair of endless tracks (crawlers) and a main body having a drive device for freely driving the endless tracks. Part).

現地オペレーションセンタ８８５は、カメラ操作・表示装置８４０、操作装置８５０、および制御装置８５５を備える。作業員は、カメラ操作・表示装置８４０に接続され、作業現場８８０に設置されたカメラ８３０を操作しながら、作業装置８１０を含め作業現場８８０をモニタする。なお、図１ではカメラ８３０は１台であるが、複数台であってもよい。また、三脚などによって定点に設置されたものでなくともよい。 The local operation center 885 includes a camera operation / display device 840, an operation device 850, and a control device 855. The worker monitors the work site 880 including the work device 810 while operating the camera 830 connected to the camera operation / display device 840 and installed at the work site 880. Although the number of cameras 830 is one in FIG. 1, a plurality of cameras may be used. Further, it does not have to be installed at a fixed point by a tripod or the like.

操作装置８５０は、作業員が作業装置８１０を操作するための装置であって、クローラ８１１の移動やアーム８１５の操作に係る指示を入力する装置である。操作装置８５０に入力された操作指示（操作内容、操作情報）は、制御装置８５５において制御信号に変換されてケーブル・ホース類８２０を介して作業装置８１０に送られる。クローラ８１１に対する操作指示の内容として、例えば、最大速度で前進や４５度右回転などがある。また、制御信号に対して作業装置８１０からフィードバックが返る場合がある。例えば、５０ｃｍ前進という制御信号に対して４０ｃｍしか進まなかったというフィードバックである。 The operation device 850 is a device for a worker to operate the work device 810, and is a device for inputting instructions related to the movement of the crawler 811 and the operation of the arm 815. The operation instructions (operation contents, operation information) input to the operation device 850 are converted into control signals in the control device 855 and sent to the work device 810 via the cables and hoses 820. The contents of the operation instruction to the crawler 811 include, for example, forward movement at the maximum speed and 45-degree right rotation. In addition, feedback may be returned from the working device 810 to the control signal. For example, it is feedback that only 40 cm has advanced with respect to the control signal of 50 cm advance.

なお、クローラ８１１やアーム８１５は、電気駆動やエア駆動、水圧駆動などであり、電力やエア、水などもケーブル・ホース類８２０を通じて作業装置８１０に送られる。このような場合、ケーブル・ホース類８２０は、重く、曲がりにくくなり、移動するクローラ８１１に対する負荷が大きくなることがある。 The crawler 811 and the arm 815 are electrically driven, air driven, hydraulically driven, and the like, and electric power, air, water, and the like are also sent to the working device 810 through cables and hoses 820. In such a case, the cables and hoses 820 are heavy and difficult to bend, and the load on the moving crawler 811 may be large.

作業現場８８０にある作業装置８１０（クローラ８１１）が、操作装置８５０に入力された指示どおりに移動するとは限らない。作業現場８８０が濡れてクローラ８１１がスリップしたり、ケーブル・ホース類８２０が瓦礫８８８に引っかかってクローラ８１１の移動を妨げたりする場合がある。このため、作業員は、作業装置８１０の移動先への最短経路を通る移動の指示を出すのではなく、瓦礫８８８とケーブル・ホース類８２０とが干渉しないように、移動先への経路を決めて作業装置８１０を操作することが求められる。
従って、作業現場８８０で実際の作業を行う（作業装置８１０を操作する）前に、作業員は作業装置８１０の操作を訓練する。訓練時の瓦礫８８８の位置や大きさについては、作業予定時点での瓦礫８８８の位置や大きさに限らず、将来予想される位置や大きさを含めて、様々な位置や大きさを設定して訓練することが望ましい。 The work device 810 (crawler 811) at the work site 880 does not always move according to the instruction input to the operation device 850. The work site 880 may get wet and the crawler 811 may slip, or the cables and hoses 820 may get caught in the rubble 888 and hinder the movement of the crawler 811. Therefore, the worker does not give an instruction to move the work device 810 through the shortest path to the destination, but decides the route to the destination so that the rubble 888 and the cables and hoses 820 do not interfere with each other. It is required to operate the working device 810.
Therefore, before performing the actual work (operating the work device 810) at the work site 880, the worker trains the operation of the work device 810. Regarding the position and size of the rubble 888 during training, various positions and sizes are set, including not only the position and size of the rubble 888 at the time of scheduled work, but also the position and size expected in the future. It is desirable to train.

≪訓練システム、教師データ収集・学習システムの概要≫
訓練システム２０（後記する図８参照）は、作業装置８１０を操作する作業員が、作業装置８１０の操作訓練を行うためのシステムである。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。教師データ収集・学習システム１０（後記する図２参照）は、仮想的なケーブル・ホース類８２０Ｂの画像を生成するための機械学習モデル（後記する図３および図９記載の学習モデル１３０参照）を生成するシステムである。以下、教師データ収集・学習システム１０、訓練システム２０の順に、詳細に説明する。 ≪Overview of training system, teacher data collection / learning system≫
The training system 20 (see FIG. 8 described later) is a system for a worker who operates the work device 810 to perform operation training of the work device 810. The worker is trained by operating the virtual work device 810B via the operation device 850B while viewing the image of the virtual work site 880B generated by the training system 20. The teacher data collection / learning system 10 (see FIG. 2 described later) provides a machine learning model (see the learning model 130 described in FIGS. 3 and 9 described later) for generating an image of virtual cables / hoses 820B. It is a system to generate. Hereinafter, the teacher data collection / learning system 10 and the training system 20 will be described in detail in this order.

≪教師データ収集・学習システムの全体構成≫
図２は、本実施形態に係る教師データ収集・学習システム１０の全体構成図である。教師データ収集・学習システム１０および訓練システム２０の管理者は、瓦礫８８８の替わりとなる干渉物８８９を試験設備エリア８８０Ａに配置して、試験設備エリア８８０Ａで実機の作業装置８１０を操作する。この作業装置８１０の操作は、学習モデル１３０の教師データを収集する作業の一部である。
管理者が作業装置８１０を操作している間に、教師データ収集・学習システム１０は、カメラ８３０が取得した干渉物８８９や作業装置８１０、ケーブル・ホース類８２０の位置や作業装置８１０の操作内容から特徴量を取得して教師データを生成する。続いて、教師データ収集・学習システム１０は、生成した教師データを用いて学習モデル１３０（後記する図３および図９参照）を訓練して生成する。 ≪Overall configuration of teacher data collection / learning system≫
FIG. 2 is an overall configuration diagram of the teacher data collection / learning system 10 according to the present embodiment. The manager of the teacher data collection / learning system 10 and the training system 20 arranges the interfering material 889, which is a substitute for the rubble 888, in the test equipment area 880A, and operates the working device 810 of the actual machine in the test equipment area 880A. The operation of the working device 810 is a part of the work of collecting the teacher data of the learning model 130.
While the administrator is operating the work device 810, the teacher data collection / learning system 10 uses the position of the interfering object 889, the work device 810, the cables / hoses 820 acquired by the camera 830, and the operation contents of the work device 810. The feature quantity is acquired from and the teacher data is generated. Subsequently, the teacher data collection / learning system 10 trains and generates a learning model 130 (see FIGS. 3 and 9 described later) using the generated teacher data.

教師データ収集・学習システム１０は、試験設備オペレーションセンタ８８５Ａに設置され、特徴量収集・学習装置１００、操作装置８５０Ａ、および制御装置８５５Ａを含んで構成される。操作装置８５０Ａおよび制御装置８５５Ａは、操作装置８５０および制御装置８５５（図１参照）とそれぞれ同様であって、試験設備エリア８８０Ａにある作業装置８１０への操作指示を受け付けて、作業装置８１０に制御信号を送る。なお、操作装置８５０Ａおよび制御装置８５５Ａは、操作内容（操作信号）や制御内容（制御信号）を後記する特徴量収集・学習装置１００に送信する。 The teacher data collection / learning system 10 is installed in the test facility operation center 885A and includes a feature quantity collection / learning device 100, an operation device 850A, and a control device 855A. The operation device 850A and the control device 855A are similar to the operation device 850 and the control device 855 (see FIG. 1), respectively, and receive an operation instruction to the work device 810 in the test equipment area 880A and control the work device 810. Send a signal. The operation device 850A and the control device 855A transmit the operation content (operation signal) and the control content (control signal) to the feature amount collection / learning device 100 described later.

≪特徴量収集・学習装置の構成≫
図３は、本実施形態に係る特徴量収集・学習装置１００の機能ブロック図である。特徴量収集・学習装置１００は、コンピュータであって、制御部１１０、記憶部１２０、入出力部１６０、およびカメラ操作部１７０を備える。入出力部１６０は、カメラ８３０、操作装置８５０Ａ、制御装置８５５Ａとの信号を送受信する。また、入出力部１６０にはディスプレイ（不図示）が接続され、カメラ８３０の撮影画像が表示される。カメラ操作部１７０は、カメラ８３０に対する操作を受け付け、入出力部１６０を介して操作信号をカメラ８３０に送る。 ≪Structure of feature collection / learning device≫
FIG. 3 is a functional block diagram of the feature amount collecting / learning device 100 according to the present embodiment. The feature amount collecting / learning device 100 is a computer and includes a control unit 110, a storage unit 120, an input / output unit 160, and a camera operation unit 170. The input / output unit 160 transmits / receives signals to / from the camera 830, the operating device 850A, and the control device 855A. Further, a display (not shown) is connected to the input / output unit 160, and a captured image of the camera 830 is displayed. The camera operation unit 170 receives an operation on the camera 830 and sends an operation signal to the camera 830 via the input / output unit 160.

記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などから構成される。記憶部１２０には、プログラム１２１、学習モデル１３０、および教師データ１４０が記憶される。プログラム１２１には、学習処理（後記する図７参照）を含む特徴量収集・学習装置１００が実行する処理の手順が記述される。 The storage unit 120 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), an SSD (Solid State Drive), and the like. The storage unit 120 stores the program 121, the learning model 130, and the teacher data 140. The program 121 describes a procedure of processing executed by the feature amount collecting / learning device 100 including a learning process (see FIG. 7 described later).

≪学習モデル・教師データ≫
図４は、本実施形態に係る学習モデル１３０と教師データ１４０とを説明するための図である。学習モデル１３０は、干渉物８８９（図２参照）の位置（所在とも記す）、クローラ８１１の操作内容、操作前のクローラ８１１の位置、および操作前のケーブル・ホース類８２０の位置を入力とする。学習モデル１３０は、当該入力から、操作後のクローラ８１１の位置、および操作後のケーブル・ホース類８２０の位置を推定する機械学習モデルである。 ≪Learning model / teacher data≫
FIG. 4 is a diagram for explaining the learning model 130 and the teacher data 140 according to the present embodiment. The learning model 130 inputs the position (also referred to as the location) of the interfering object 889 (see FIG. 2), the operation content of the crawler 811, the position of the crawler 811 before the operation, and the position of the cables / hoses 820 before the operation. .. The learning model 130 is a machine learning model that estimates the position of the crawler 811 after the operation and the position of the cables and hoses 820 after the operation from the input.

なお、学習モデル１３０は、機械学習モデルであって、機械学習モデルを示すパラメータの集合体であるが、クローラ８１１（作業装置８１０）やケーブル・ホース類８２０の位置を推定するプログラム／機能部と見なすこともできる。このため、学習モデル１３０が、操作前のクローラ８１１やケーブル・ホース類８２０の位置から、操作後のクローラ８１１やケーブル・ホース類８２０の位置を推定すると記載する場合がある。 The learning model 130 is a machine learning model, which is a set of parameters indicating the machine learning model, but is a program / functional unit that estimates the positions of the crawler 811 (working device 810) and cables / hoses 820. You can also see it. Therefore, it may be described that the learning model 130 estimates the position of the crawler 811 or the cable hose 820 after the operation from the position of the crawler 811 or the cable hose 820 before the operation.

学習モデル１３０に対する教師データ１４０の入力データ１４１は、干渉物８８９の位置、クローラ８１１の操作内容、操作前のクローラ８１１の位置、および操作前のケーブル・ホース類８２０の位置である。また、教師データ１４０の出力データ１４２（正解データ、推定結果）は、操作後のクローラ８１１の位置、および操作後のケーブル・ホース類８２０の位置となる。
干渉物８８９の位置とは、試験設備エリア８８０Ａにおける干渉物８８９の位置である。例えば、干渉物８８９の位置は、試験設備エリア８８０Ａをメッシュ状に領域へ分割し、干渉物８８９が占める領域を示す情報である。なお、以下で領域とは、特に断りがない場合には、メッシュ状に分割された試験設備エリア８８０Ａ（後記する仮想的な作業現場８８０Ｂや訓練設備エリア８８０Ｃを含む）の領域のことである。 The input data 141 of the teacher data 140 with respect to the learning model 130 is the position of the interfering object 889, the operation content of the crawler 811, the position of the crawler 811 before the operation, and the position of the cables / hoses 820 before the operation. Further, the output data 142 (correct answer data, estimation result) of the teacher data 140 is the position of the crawler 811 after the operation and the position of the cables and hoses 820 after the operation.
The position of the interfering object 889 is the position of the interfering material 889 in the test equipment area 880A. For example, the position of the interfering material 889 is information indicating the area occupied by the interfering material 889 by dividing the test equipment area 880A into regions in a mesh shape. In the following, the area is the area of the test equipment area 880A (including the virtual work site 880B and the training equipment area 880C described later) divided into a mesh shape, unless otherwise specified.

操作前のクローラ８１１およびケーブル・ホース類８２０の位置とは、クローラ８１１を操作する前で、クローラ８１１が移動する前のクローラ８１１およびケーブル・ホース類８２０の位置のことである。この位置は、例えば、クローラ８１１やケーブル・ホース類８２０が占める領域を示す情報である。なお、クローラ８１１の位置には、クローラ８１１の向きを示す情報、例えば、クローラ８１１の前部の位置（前部がある領域を示す情報）が含まれる。 The position of the crawler 811 and the cables and hoses 820 before the operation is the position of the crawler 811 and the cables and hoses 820 before the crawler 811 is operated and before the crawler 811 moves. This position is information indicating, for example, the area occupied by the crawler 811 and the cables / hoses 820. The position of the crawler 811 includes information indicating the direction of the crawler 811, for example, the position of the front portion of the crawler 811 (information indicating a region where the front portion is located).

クローラ８１１の操作内容（操作情報）は、クローラ８１１に対する移動指示の内容を示す情報である。例えば、操作内容は、クローラ８１１（クローラ８１１の前部）の移動後の領域や当該領域に到達するまでの時間などを示す情報である。また、操作内容は、クローラ８１１（クローラ８１１の前部）の回転後の領域や当該回転に要する時間などを示す情報であってもよい。クローラ８１１の移動方向や移動距離、移動速度、移動に要する時間を示す情報（例えば、３０ｃｍ前進、低速で５秒前進）であってもよいし、回転の向きや角度、速度（例えば、３０度右回転）であってもよい。 The operation content (operation information) of the crawler 811 is information indicating the content of the movement instruction to the crawler 811. For example, the operation content is information indicating a region after the crawler 811 (the front portion of the crawler 811) has been moved, a time until the crawler 811 is reached, and the like. Further, the operation content may be information indicating a region after rotation of the crawler 811 (front part of the crawler 811), a time required for the rotation, and the like. Information indicating the moving direction, moving distance, moving speed, and time required for the crawler 811 (for example, 30 cm forward, 5 seconds forward at low speed) may be used, or the direction, angle, and speed of rotation (for example, 30 degrees) may be used. It may be clockwise rotation).

操作後のケーブル・ホース類８２０およびクローラ８８１の位置は、クローラ８１１を操作した後で、クローラ８１１が移動した後のクローラ８１１およびケーブル・ホース類８２０の位置であって、例えば、領域を示す情報である。なお、クローラ８１１の位置には、クローラ８１１の向きを示す情報が含まれる。
なお、ケーブル・ホース類８２０の位置の例として、ケーブル・ホース類８２０が占める領域を示す情報があるが、ケーブル・ホース類８２０の特徴点の位置（特徴点が存在する領域を示す情報）であってもよい。 The positions of the cables and hoses 820 and the crawler 881 after the operation are the positions of the crawler 811 and the cables and hoses 820 after the crawler 811 is moved after the crawler 811 is operated, and are, for example, information indicating an area. Is. The position of the crawler 811 includes information indicating the direction of the crawler 811.
As an example of the position of the cables / hoses 820, there is information indicating the area occupied by the cables / hoses 820, but the position of the feature points of the cables / hoses 820 (information indicating the area where the feature points exist). There may be.

図５は、本実施形態に係るケーブル・ホース類８２０の特徴点を説明するための図である。特徴点は、ケーブル・ホース類８２０の形状（曲がり具合）を示すために設けられたケーブル・ホース類８２０上の特定の点であり、例えば、所定間隔で並んだケーブル・ホース類８２０上の点である。図５に記載のケーブル・ホース類８２０上の白い円が、特徴点である。 FIG. 5 is a diagram for explaining the feature points of the cables and hoses 820 according to the present embodiment. The feature points are specific points on the cables and hoses 820 provided to show the shape (bending condition) of the cables and hoses, for example, points on the cables and hoses 820 arranged at predetermined intervals. Is. The white circle on the cables and hoses 820 shown in FIG. 5 is a feature point.

≪特徴量収集・学習装置の構成：制御部≫
図３に戻って、制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、制御信号解析部１１１、操作信号解析部１１２、画像解析部１１３、教師データ生成部１１４、および学習部１１５を備える。
制御信号解析部１１１は、制御装置８５５Ａから入力された作業装置８１０への制御信号を解析して、制御内容を取得する。操作信号解析部１１２は、操作装置８５０Ａから入力された操作信号を解析して、操作内容（操作情報）を取得する。画像解析部１１３は、カメラ８３０からの画像を解析して、干渉物８８９やクローラ８１１、ケーブル・ホース類８２０の位置（領域）を取得する。 << Configuration of feature collection / learning device: Control unit >>
Returning to FIG. 3, the control unit 110 includes a CPU (Central Processing Unit), and includes a control signal analysis unit 111, an operation signal analysis unit 112, an image analysis unit 113, a teacher data generation unit 114, and a learning unit 115. To prepare for.
The control signal analysis unit 111 analyzes the control signal input from the control device 855A to the work device 810 and acquires the control content. The operation signal analysis unit 112 analyzes the operation signal input from the operation device 850A and acquires the operation content (operation information). The image analysis unit 113 analyzes the image from the camera 830 to acquire the positions (regions) of the interfering object 889, the crawler 811 and the cables / hoses 820.

教師データ生成部１１４は、管理者による試験設備エリア８８０Ａでの実機の作業装置８１０の操作によって取得された操作内容、干渉物８８９やクローラ８１１、ケーブル・ホース類８２０の位置から教師データ１４０を生成する。学習部１１５は、教師データ１４０（図４参照）を用いて学習モデル１３０を訓練して生成する。学習モデル１３０は、入力データ１４１から推定結果となる出力データ１４２を出力する機械学習モデルとなる。 The teacher data generation unit 114 generates teacher data 140 from the operation contents acquired by the operation of the working device 810 of the actual machine in the test equipment area 880A by the administrator, the positions of the interfering object 889, the crawler 811 and the cables / hoses 820. do. The learning unit 115 trains and generates the learning model 130 using the teacher data 140 (see FIG. 4). The learning model 130 is a machine learning model that outputs output data 142, which is an estimation result, from input data 141.

≪教師データの収集手順≫
図６は、本実施形態に係る教師データ１４０の収集手順のフローチャートである。図６を参照して、管理者が実行する教師データの収集手順を説明する。
ステップＳ１１において管理者は、試験設備エリア８８０Ａにある干渉物８８９の配置を変えながらステップＳ１２～Ｓ１４を繰り返す。
ステップＳ１２において管理者は、試験設備エリア８８０Ａ内のクローラ８１１（作業装置８１０）の移動先を変えながらステップＳ１３～Ｓ１４を繰り返す。 ≪Procedure for collecting teacher data≫
FIG. 6 is a flowchart of the procedure for collecting teacher data 140 according to the present embodiment. The procedure for collecting teacher data executed by the administrator will be described with reference to FIG.
In step S11, the manager repeats steps S12 to S14 while changing the arrangement of the interfering material 889 in the test equipment area 880A.
In step S12, the administrator repeats steps S13 to S14 while changing the destination of the crawler 811 (working device 810) in the test equipment area 880A.

ステップＳ１３において管理者は、移動先への移動経路を変えながらステップＳ１４を繰り返す。
ステップＳ１４において管理者は、移動経路に沿ってクローラ８１１の操作を繰り返す。詳しくは、管理者はクローラ８１１が移動経路に沿って移動するように、２０ｃｍ前進、３０度右回転など、クローラ８１１の操作を繰り返す。
なお、教師データ収集後に管理者は、特徴量収集・学習装置１００に対して学習モデル１３０を生成するように指示する。 In step S13, the administrator repeats step S14 while changing the movement route to the movement destination.
In step S14, the administrator repeats the operation of the crawler 811 along the movement path. Specifically, the administrator repeats the operation of the crawler 811 such as moving forward by 20 cm and rotating 30 degrees to the right so that the crawler 811 moves along the movement path.
After collecting the teacher data, the administrator instructs the feature amount collecting / learning device 100 to generate the learning model 130.

≪学習処理≫
図７は、本実施形態に係る特徴量収集・学習装置１００が実行する学習処理のフローチャートである。図７を参照しながら、ステップＳ１４（図６参照）のクローラ８１１の操作中に実行される教師データ１４０の生成処理を含めた学習処理を説明する。
ステップＳ２１において制御部１１０は、クローラ８１１の操作ごとにステップＳ２２～Ｓ２７を繰り返す。この繰り返しは、管理者が教師データ１４０を収集する間（図６参照）繰り返される。
ステップＳ２２において操作信号解析部１１２は、操作内容を取得する。 ≪Learning process≫
FIG. 7 is a flowchart of the learning process executed by the feature amount collecting / learning device 100 according to the present embodiment. The learning process including the generation process of the teacher data 140 executed during the operation of the crawler 811 in step S14 (see FIG. 6) will be described with reference to FIG. 7.
In step S21, the control unit 110 repeats steps S22 to S27 for each operation of the crawler 811. This repetition is repeated while the administrator collects the teacher data 140 (see FIG. 6).
In step S22, the operation signal analysis unit 112 acquires the operation content.

ステップＳ２３において画像解析部１１３は、干渉物８８９の位置（領域）、向きを含めたクローラ８１１（作業装置８１０）の位置、およびケーブル・ホース類８２０の位置を取得する。
ステップＳ２４において制御部１１０は、クローラ８１１が停止するまでステップＳ２５を繰り返す。詳しくは、操作指示に対する制御信号を受けてクローラ８１１が移動を開始して停止するまで制御部１１０は、所定のタイミング（例えば所定周期）でステップＳ２５を繰り返す。 In step S23, the image analysis unit 113 acquires the position (region) of the interfering object 889, the position of the crawler 811 (working device 810) including the direction, and the position of the cables / hoses 820.
In step S24, the control unit 110 repeats step S25 until the crawler 811 is stopped. Specifically, the control unit 110 repeats step S25 at a predetermined timing (for example, a predetermined cycle) until the crawler 811 starts moving and stops in response to the control signal for the operation instruction.

ステップＳ２５は、ステップＳ２３と同様である。
ステップＳ２６において教師データ生成部１１４は、ステップＳ２５の繰り返し回数に応じて、ステップＳ２２で取得した操作内容を分割する。操作内容が３０ｃｍ前進であって、ステップＳ２５の繰り返し回数が１０だとすると、教師データ生成部１１４は、例えば、操作内容を３ｃｍ前進が１０回に分割する。操作内容が低速で１０秒前進であって、ステップＳ２５の繰り返し回数が２０だとすると、教師データ生成部１１４は、例えば、操作内容を低速で０．５秒前進が２０回に分割する。繰り返し回数が５で、操作内容が５つ先（隣）の領域への移動だとすると、例えば、１つずつ先（隣）の領域への移動が５回に分割してもよいし、他の分割手法であってもよい。 Step S25 is the same as step S23.
In step S26, the teacher data generation unit 114 divides the operation content acquired in step S22 according to the number of repetitions of step S25. Assuming that the operation content is 30 cm forward and the number of repetitions of step S25 is 10, the teacher data generation unit 114 divides the operation content into, for example, 3 cm advance 10 times. Assuming that the operation content is slow and 10 seconds forward and the number of repetitions of step S25 is 20, the teacher data generation unit 114 divides the operation content into, for example, 20 low speed 0.5 seconds forwards. Assuming that the number of repetitions is 5 and the operation content is to move to the area 5 ahead (next), for example, the move to the area 5 ahead (next) may be divided into 5 times, or another division. It may be a method.

ステップＳ２７において教師データ生成部１１４は、教師データ１４０を生成する。詳しくは、教師データ生成部１１４は、ステップＳ２６で分割した操作内容ごとに、ステップＳ２３，Ｓ２５で取得した位置を加えて、繰り返し回数（分割数）分の教師データ１４０を生成する。
繰り返し回数が１０だとする。１つ目の教師データ１４０の入力データ１４１（図４参照）は、ステップＳ２３で取得された干渉物８８９、クローラ８１１、およびケーブル・ホース類８２０の位置および分割された操作内容である。出力データ１４２（正解ラベル）は、１０回繰り返されるステップＳ２５のうち１回目で取得されたクローラ８１１、およびケーブル・ホース類８２０の位置である。 In step S27, the teacher data generation unit 114 generates teacher data 140. Specifically, the teacher data generation unit 114 adds the positions acquired in steps S23 and S25 for each operation content divided in step S26, and generates teacher data 140 for the number of repetitions (division number).
It is assumed that the number of repetitions is 10. The input data 141 (see FIG. 4) of the first teacher data 140 is the position and the divided operation contents of the interfering object 889, the crawler 811, and the cables / hoses 820 acquired in step S23. The output data 142 (correct label) is the position of the crawler 811 and the cables / hoses 820 acquired in the first step S25 repeated 10 times.

２つ目の教師データ１４０の入力データ１４１は、１０回繰り返されるステップＳ２５のうち１回目で取得された干渉物８８９、クローラ８１１、およびケーブル・ホース類８２０の位置および分割された操作内容である。出力データ１４２は、１０回繰り返されるステップＳ２５のうち２回目で取得されたクローラ８１１、およびケーブル・ホース類８２０の位置である。教師データ生成部１１４は、このようにして繰り返し回数分の教師データ１４０を生成する。
ステップＳ２８において学習部１１５は、管理者の指示を受けて、ステップＳ２７で生成された教師データ１４０を用いて学習モデル１３０を訓練して生成する。 The input data 141 of the second teacher data 140 is the position and the divided operation contents of the interfering object 889, the crawler 811, and the cables / hoses 820 acquired in the first step S25 repeated 10 times. .. The output data 142 is the position of the crawler 811 and the cables / hoses 820 acquired in the second step S25 repeated 10 times. The teacher data generation unit 114 generates teacher data 140 for the number of repetitions in this way.
In step S28, the learning unit 115 trains and generates the learning model 130 using the teacher data 140 generated in step S27 in response to the instruction of the administrator.

≪教師データ収集・学習システムの全体構成≫
図８は、本実施形態に係る訓練システム２０の全体構成図である。作業員は、訓練システム２０が生成した仮想的な作業現場８８０Ｂの画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。作業現場８８０Ｂの画像には、仮想的な作業装置８１０Ｂに限らず、仮想的な瓦礫（仮想的な干渉物８８９Ｂ）や仮想的なケーブル・ホース類８２０Ｂが含まれる。なお、以下の説明では、混同が起きない場合には、「仮想的な」を省略する。例えば、仮想的な作業装置８１０Ｂや仮想的なケーブル・ホース類８２０Ｂを、単に作業装置８１０Ｂやケーブル・ホース類８２０Ｂと記す。ちなみに、符号の末尾のＢは、訓練／仮想に係ることを示すものである。 ≪Overall configuration of teacher data collection / learning system≫
FIG. 8 is an overall configuration diagram of the training system 20 according to the present embodiment. The worker is trained by operating the virtual work device 810B via the operation device 850B while viewing the image of the virtual work site 880B generated by the training system 20. The image of the work site 880B includes not only the virtual work device 810B but also virtual rubble (virtual interfering material 889B) and virtual cables / hoses 820B. In the following description, if confusion does not occur, "virtual" is omitted. For example, the virtual work device 810B and the virtual cables and hoses 820B are simply referred to as the work device 810B and the cables and hoses 820B. By the way, B at the end of the code indicates that it is related to training / virtual.

訓練システム２０は、訓練設備オペレーションセンタ８８５Ｂに設置され、表示装置２００、操作装置８５０Ｂ、および制御装置８５５Ｂを含んで構成される。操作装置８５０Ｂおよび制御装置８５５Ｂは、教師データ収集・学習システム１０（図２参照）の操作装置８５０Ａおよび制御装置８５５Ａとそれぞれ同様である。なお、作業装置８１０Ｂは、仮想的な作業装置であって、制御装置８５５Ｂが生成した制御信号が送られることはない。操作装置８５０Ｂおよび制御装置８５５Ｂは、操作内容（操作信号）や制御内容（制御信号）を後記する表示装置２００に送信する。 The training system 20 is installed in the training equipment operation center 885B and includes a display device 200, an operation device 850B, and a control device 855B. The operation device 850B and the control device 855B are the same as the operation device 850A and the control device 855A of the teacher data acquisition / learning system 10 (see FIG. 2), respectively. The work device 810B is a virtual work device, and the control signal generated by the control device 855B is not transmitted. The operation device 850B and the control device 855B transmit the operation content (operation signal) and the control content (control signal) to the display device 200 described later.

≪表示装置の構成≫
図９は、本実施形態に係る表示装置２００の機能ブロック図である。表示装置２００は、コンピュータであって、制御部２１０、記憶部２２０、入出力部２６０、およびカメラ操作部２７０を備える。入出力部２６０は、操作装置８５０Ｂ、制御装置８５５Ｂとの信号を送受信する。また、入出力部２６０にはディスプレイ（不図示）が接続される。なお、ディスプレイは卓上型に限らずヘッドマウント型のディスプレイを含む。カメラ操作部２７０は、仮想的なカメラ８３０Ｂに対する操作を受け付ける。 ≪Display device configuration≫
FIG. 9 is a functional block diagram of the display device 200 according to the present embodiment. The display device 200 is a computer and includes a control unit 210, a storage unit 220, an input / output unit 260, and a camera operation unit 270. The input / output unit 260 transmits / receives signals to / from the operation device 850B and the control device 855B. Further, a display (not shown) is connected to the input / output unit 260. The display is not limited to the desktop type, but includes a head mount type display. The camera operation unit 270 accepts an operation on the virtual camera 830B.

記憶部２２０は、ＲＯＭやＲＡＭ、ＳＳＤなどから構成される。記憶部２２０には、プログラム２２１、および学習モデル１３０が記憶される。プログラム２２１には、画像生成処理（後記する図１０参照）を含む表示装置２００が実行する処理の手順が記述される。学習モデル１３０は、特徴量収集・学習装置１００（図３参照）が訓練して生成した学習モデル１３０である。記憶部２２０には、仮想的な干渉物８８９Ｂの位置（領域）の設定情報が記憶される。 The storage unit 220 is composed of a ROM, a RAM, an SSD, and the like. The program 221 and the learning model 130 are stored in the storage unit 220. The program 221 describes a procedure of processing executed by the display device 200 including an image generation processing (see FIG. 10 described later). The learning model 130 is a learning model 130 trained and generated by the feature quantity collecting / learning device 100 (see FIG. 3). The storage unit 220 stores the setting information of the position (area) of the virtual interfering object 889B.

制御部２１０は、ＣＰＵなどから構成され、制御信号解析部２１１、操作信号解析部２１２、推定部２１３、および画像合成部２１４を備える。制御信号解析部２１１および操作信号解析部２１２は、特徴量収集・学習装置１００（図３参照）の制御信号解析部１１１および操作信号解析部１１２とそれぞれ同様である。
推定部２１３は、学習モデル１３０を用いて操作後のクローラ（作業装置）やケーブル・ホース類の位置を推定する。詳しくは、推定部２１３は、学習モデル１３０に干渉物８８９Ｂの位置、クローラ８１１Ｂ（作業装置８１０Ｂ）に対する操作内容、操作前のクローラ８１１Ｂの位置、および操作前のケーブル・ホース類８２０Ｂの位置を入力する。続いて、推定部２１３は、学習モデル１３０から当該入力に対する出力データである操作後のクローラ８１１Ｂの位置、および操作後のケーブル・ホース類８２０Ｂの位置を推定結果として取得する。 The control unit 210 is composed of a CPU and the like, and includes a control signal analysis unit 211, an operation signal analysis unit 212, an estimation unit 213, and an image composition unit 214. The control signal analysis unit 211 and the operation signal analysis unit 212 are the same as the control signal analysis unit 111 and the operation signal analysis unit 112 of the feature quantity collection / learning device 100 (see FIG. 3), respectively.
The estimation unit 213 estimates the positions of crawlers (working devices) and cables / hoses after operation using the learning model 130. Specifically, the estimation unit 213 inputs the position of the interfering object 889B, the operation content with respect to the crawler 811B (working device 810B), the position of the crawler 811B before the operation, and the position of the cables / hoses 820B before the operation into the learning model 130. do. Subsequently, the estimation unit 213 acquires the position of the crawler 811B after the operation, which is the output data for the input, and the position of the cables / hoses 820B after the operation as the estimation result from the learning model 130.

画像合成部２１４は、推定結果である操作後のクローラ８１１Ｂの位置、操作後のケーブル・ホース類８２０Ｂの位置、および設定情報である干渉物８８９Ｂの位置から、クローラ８１１Ｂ、ケーブル・ホース類８２０Ｂ、および干渉物８８９Ｂの画像を合成して、入出力部２６０に接続されたディスプレイ（不図示）に表示する。 From the position of the crawler 811B after the operation, which is the estimation result, the position of the cables / hoses 820B after the operation, and the position of the interfering object 889B which is the setting information, the image compositing unit 214 sets the crawler 811B and the cables / hoses 820B. And the image of the interfering object 889B is combined and displayed on a display (not shown) connected to the input / output unit 260.

≪画像生成処理≫
図１０は、本実施形態に係る表示装置２００が実行する画像生成処理のフローチャートである。図１０を参照しながら、作業装置８１０の操作訓練中における表示装置２００の処理内容を説明する。なお、作業員は、入出力部２６０に接続されたディスプレイ（不図示）に表示される仮想的な作業現場８８０Ｂ（図８参照）の画像を見ながら、操作装置８５０Ｂを介して、仮想的な作業装置８１０Ｂを操作することで訓練を受ける。 ≪Image generation processing≫
FIG. 10 is a flowchart of an image generation process executed by the display device 200 according to the present embodiment. With reference to FIG. 10, the processing contents of the display device 200 during the operation training of the work device 810 will be described. The worker virtually sees the image of the virtual work site 880B (see FIG. 8) displayed on the display (not shown) connected to the input / output unit 260 through the operation device 850B. Trained by operating the work device 810B.

ステップＳ４１において制御部２１０は、訓練開始時における干渉物８８９Ｂ、作業装置８１０Ｂ（クローラ８１１Ｂ）、ケーブル・ホース類８２０Ｂの位置を初期位置として設定する。制御部２１０は、初期位置を作業員に問い合わせて設定してもよいし、予め決められている複数の候補から選択して設定してもよい。
ステップＳ４２において画像合成部２１４は、初期位置にある干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像を作業現場８８０Ｂの画像に重ねた画像を合成してディスプレイに出力する。 In step S41, the control unit 210 sets the positions of the interfering object 889B, the working device 810B (crawler 811B), and the cables / hoses 820B at the start of training as initial positions. The control unit 210 may inquire of the worker to set the initial position, or may select and set from a plurality of predetermined candidates.
In step S42, the image synthesizing unit 214 synthesizes the images of the interfering object 889B, the working device 810B, and the cables / hoses 820B at the initial position, and synthesizes the image superimposed on the image of the work site 880B and displays it on the display. Output.

ステップＳ４３において制御部２１０は、作業員による作業装置８１０Ｂの操作ごとにステップＳ４４～Ｓ４９を繰り返す。この繰り返しは、作業員が訓練を受ける間、作業装置８１０Ｂを操作するたびに繰り返される。
ステップＳ４４において操作信号解析部２１２は、操作内容を取得する。
ステップＳ４５において操作信号解析部２１２は、ステップＳ４４で取得した操作内容を分割する。分割の手法は、教師データ生成部１１４が行うステップＳ２６（図７参照）における分割と同様である。なお、ステップＳ２６においては、ステップＳ２５の繰り返し回数に応じて分割しているが、操作信号解析部２１２は、分割単位の大きさに応じて分割する。詳しくは、ステップＳ２６における分割単位の平均値に近くなるように、操作信号解析部２１２は、操作内容を分割する。 In step S43, the control unit 210 repeats steps S44 to S49 for each operation of the work apparatus 810B by the worker. This repetition is repeated every time the working apparatus 810B is operated while the worker is trained.
In step S44, the operation signal analysis unit 212 acquires the operation content.
In step S45, the operation signal analysis unit 212 divides the operation content acquired in step S44. The method of division is the same as the division in step S26 (see FIG. 7) performed by the teacher data generation unit 114. In step S26, the division is performed according to the number of repetitions of step S25, but the operation signal analysis unit 212 divides according to the size of the division unit. Specifically, the operation signal analysis unit 212 divides the operation content so as to be close to the average value of the division units in step S26.

例えば、前進操作についてステップＳ２６における分割単位の平均値が３ｃｍであったら、操作信号解析部２１２は、５ｃｍ前進という操作を３ｃｍ前進と２ｃｍ前進とに分割する。２．５ｃｍ前進を２回に分割してもよい。また、例えば、低速で前進操作についてステップＳ２６における分割単位の平均値が０．５秒であったら、操作信号解析部２１２は、低速で３秒前進という操作を低速で０．５秒前進を６回に分割してもよい。また、５つ先（隣）の領域への移動であったら、操作信号解析部２１２は、１つ先（隣）の領域への移動を５回に分割してもよい。 For example, if the average value of the division units in step S26 for the forward operation is 3 cm, the operation signal analysis unit 212 divides the operation of 5 cm forward into 3 cm forward and 2 cm forward. The 2.5 cm advance may be divided into two parts. Further, for example, if the average value of the division units in step S26 for the forward operation at low speed is 0.5 seconds, the operation signal analysis unit 212 performs the operation of moving forward at low speed for 3 seconds and moving forward at low speed for 0.5 seconds. It may be divided into times. Further, if the movement is to the area five ahead (next to), the operation signal analysis unit 212 may divide the movement to the area one ahead (next to) into five times.

ステップＳ４６において制御部２１０は、ステップＳ４５で分割された操作内容ごとにステップＳ４７～Ｓ４９を繰り返す。
ステップＳ４７において推定部２１３は、干渉物８８９Ｂ、作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの現在の位置（表示されている位置）を取得する。
ステップＳ４８において推定部２１３は、ステップＳ４７で取得した位置、および分割された操作内容から、学習モデル１３０を用いて操作後の作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの位置を推定する。 In step S46, the control unit 210 repeats steps S47 to S49 for each operation content divided in step S45.
In step S47, the estimation unit 213 acquires the current position (displayed position) of the interfering object 889B, the working device 810B, and the cables / hoses 820B.
In step S48, the estimation unit 213 estimates the positions of the operation device 810B and the cables / hoses 820B after the operation using the learning model 130 from the positions acquired in step S47 and the divided operation contents.

ステップＳ４９において画像合成部２１４は、初期位置にある干渉物８８９Ｂ、およびステップＳ４８で推定された位置にある作業装置８１０Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像を作業現場８８０Ｂの画像に重ねた画像を合成してディスプレイに出力する。 In step S49, the image synthesizing unit 214 synthesizes an image of the interfering object 889B at the initial position, the work device 810B at the position estimated in step S48, and the cables and hoses 820B, and combines the image with the image of the work site 880B. The image superimposed on the image is combined and output to the display.

≪特徴量収集・学習装置と表示装置の特徴≫
表示装置２００は、作業員が操作対象となる作業装置８１０Ｂだけではなく、作業装置８１０Ｂに接続されていて、作業装置８１０Ｂの移動にともない、引きずられて移動するケーブル・ホース類８２０Ｂを含めて画像を合成して表示する。作業装置８１０Ｂは、クローラ８１１Ｂを備え、直接の操作対象（移動指示を出す対象）であり、操作後の位置を特定しやすい。一方、ケーブル・ホース類８２０Ｂは、自力で移動するのではなく作業装置８１０Ｂに引きずられて移動する上に、変形（曲がり具合が変化）するために、クローラ８１１Ｂの移動後の、曲がり具合を含めたケーブル・ホース類８２０Ｂの位置は、予想が困難である。さらに、ケーブル・ホース類８２０Ｂは、干渉物８８９Ｂと干渉するため、さらに予想するのが困難となる。 ≪Features of feature amount collection / learning device and display device≫
The display device 200 is connected to the work device 810B as well as the work device 810B to be operated by the worker, and includes an image including cables and hoses 820B that are dragged and moved as the work device 810B moves. Is combined and displayed. The work device 810B includes a crawler 811B and is a direct operation target (a target for issuing a movement instruction), so that it is easy to specify a position after the operation. On the other hand, the cables and hoses 820B do not move by themselves, but are dragged by the working device 810B and are deformed (the bending condition changes), so that the bending condition after the movement of the crawler 811B is included. The position of the cables and hoses 820B is difficult to predict. Further, the cables and hoses 820B interfere with the interfering material 889B, which makes it more difficult to predict.

表示装置２００は、操作前（移動前）の作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂの位置と作業装置８１０Ｂの操作内容（移動指示の内容、操作情報）とから、機械学習技術を用いて、操作後の作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂの位置（作業装置の状態）を推定し、画像を表示する。このように、表示装置２００は、作業装置８１０Ｂだけではなく、一般には予想が困難であるケーブル・ホース類８２０Ｂの移動を含めた画像を表示することができるようになる。 The display device 200 is operated by using machine learning technology from the positions of the work device 810B and cables / hoses 820B before the operation (before the movement) and the operation contents (contents of the movement instruction, operation information) of the work device 810B. The positions (state of the working equipment) of the later working equipment 810B and cables / hoses 820B are estimated, and an image is displayed. In this way, the display device 200 can display not only the work device 810B but also an image including the movement of the cables and hoses 820B, which is generally difficult to predict.

作業員は、作業現場８８０（図１参照）において、ケーブル・ホース類８２０が瓦礫８８８と干渉することなく、作業装置８１０がスムーズに移動するように操作することが求められている。学習モデル１３０は、瓦礫８８８の替わりに干渉物８８９（図２参照）が存在する試験設備エリア８８０Ａにおけるケーブル・ホース類８２０が接続された作業装置８１０の操作に対する移動前後の作業装置８１０（クローラ８１１）およびケーブル・ホース類８２０の位置を教師データとしている。このため、学習モデル１３０は、瓦礫８８８のある作業現場８８０における、操作（移動指示）に対する作業装置８１０およびケーブル・ホース類８２０の移動を推定でき、画像が表示される。従って、表示装置２００を用いることで、作業員は、作業現場８８０における作業装置８１０の操作の訓練（模擬操作、シミュレーション）が行えるようになる。 Workers are required to operate the work equipment 810 so that the cables and hoses 820 do not interfere with the rubble 888 at the work site 880 (see FIG. 1) so that the work equipment 810 moves smoothly. The learning model 130 is a work device 810 (crawler 811) before and after the movement with respect to the operation of the work device 810 to which the cables and hoses 820 are connected in the test facility area 880A in which the interfering object 889 (see FIG. 2) is present instead of the rubble 888. ) And the positions of cables and hoses 820 are used as teacher data. Therefore, the learning model 130 can estimate the movement of the work apparatus 810 and the cables / hoses 820 with respect to the operation (movement instruction) at the work site 880 with the rubble 888, and the image is displayed. Therefore, by using the display device 200, the worker can perform training (simulation operation, simulation) of the operation of the work device 810 at the work site 880.

≪変形例：訓練時に実物の作業装置≫
上記した実施形態では、表示装置２００は、仮想的な作業現場８８０Ｂの画像に、仮想的な干渉物８８９Ｂ、作業装置８１０Ｂおよびケーブル・ホース類８２０Ｂを重ねた画像を合成して表示している。作業現場８８０Ｂと作業装置８１０Ｂとを実物に置き換えてもよい。 ≪Transformation example: Actual work equipment during training≫
In the above-described embodiment, the display device 200 combines and displays an image of the virtual work site 880B on which the virtual interfering object 889B, the work device 810B, and the cables and hoses 820B are superimposed. The work site 880B and the work device 810B may be replaced with the actual ones.

図１１は、本実施形態の変形例に係る訓練システム２０の全体構成図である。図８と比較すると、仮想的な作業現場８８０Ｂ、作業装置８１０Ｂ、カメラ８３０Ｂが、それぞれ実物の訓練設備エリア８８０Ｃ、作業装置８１０、カメラ８３０に替わっている。また、作業装置８１０には実物のケーブル８２０Ｃが接続されており、後記する図１２で説明するように表示装置２００の指示する操作内容に従って制御装置８５５Ｂから対応する制御信号が送られる。操作装置８５０Ｂに入力された操作指示が、制御装置８５５Ｂを介して作業装置８１０に送られることはなく、操作指示は、表示装置２００に送られる。 FIG. 11 is an overall configuration diagram of the training system 20 according to a modified example of the present embodiment. Compared with FIG. 8, the virtual work site 880B, the work device 810B, and the camera 830B are replaced with the actual training equipment area 880C, the work device 810, and the camera 830, respectively. Further, an actual cable 820C is connected to the working device 810, and a corresponding control signal is sent from the control device 855B according to the operation content instructed by the display device 200 as described later with reference to FIG. The operation instruction input to the operation device 850B is not sent to the work device 810 via the control device 855B, and the operation instruction is sent to the display device 200.

実物の訓練設備エリア８８０Ｃで操作の訓練に使われる作業装置８１０は、作業現場８８０で作業をする場合と、異なる装置構成であっても良い。例えば、バッテリなどの駆動源を搭載していてもよい。この場合、ケーブル８２０Ｃは、操作内容を含む制御信号を送るためのケーブルであり、電力やエア、水など送るケーブル・ホース類８２０と比較して軽量で柔軟である。さらにケーブル８２０Ｃに干渉する実物の干渉物が訓練設備エリア８８０Ｃにはないので、作業装置８１０（クローラ８１１）がケーブル８２０Ｃを引きずる負荷は小さい。このため、同じ制御信号を送った場合、ケーブル８２０Ｃが接続された作業装置８１０とケーブル・ホース類８２０が接続された作業装置８１０とでは、移動量が異なる場合がある。例えば、低速で１０秒前進と指示した場合に、ケーブル８２０Ｃが接続された作業装置８１０は、高速で１０秒前進する場合がある。 The work equipment 810 used for operation training in the actual training equipment area 880C may have a different equipment configuration from the case of working at the work site 880. For example, a drive source such as a battery may be mounted. In this case, the cable 820C is a cable for transmitting a control signal including the operation content, and is lighter and more flexible than the cables and hoses 820 for transmitting electric power, air, water, and the like. Further, since there is no actual interference object that interferes with the cable 820C in the training equipment area 880C, the load that the working device 810 (crawler 811) drags the cable 820C is small. Therefore, when the same control signal is sent, the amount of movement may differ between the working device 810 to which the cable 820C is connected and the working device 810 to which the cables and hoses 820 are connected. For example, when instructed to move forward for 10 seconds at a low speed, the working device 810 to which the cable 820C is connected may move forward for 10 seconds at a high speed.

図１２は、本実施形態の変形例に係る表示装置２００が実行する画像生成処理のフローチャートである。
ステップＳ６１～Ｓ６８は、ステップＳ４１～Ｓ４８（図１０参照）とそれぞれ同様である。但し、ステップＳ６２において、作業装置８１０Ｂの画像は生成せず、画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、当該画像をカメラ８３０が撮像した作業装置８１０を含む訓練設備エリア８８０Ｃの画像に重ねてディスプレイに出力する。なお、画像合成部２１４は、カメラ８３０が撮像した画像にケーブル８２０Ｃが含まれないように画像処理を行う。 FIG. 12 is a flowchart of an image generation process executed by the display device 200 according to the modified example of the present embodiment.
Steps S61 to S68 are the same as steps S41 to S48 (see FIG. 10), respectively. However, in step S62, the image of the working device 810B is not generated, and the image synthesizing unit 214 synthesizes the images of the interfering object 889B and the cables / hoses 820B, and includes the working device 810 in which the image is captured by the camera 830. The image of the training equipment area 880C is superimposed and output to the display. The image composition unit 214 performs image processing so that the image captured by the camera 830 does not include the cable 820C.

ステップＳ６９において、操作情報送信部としての制御部２１０は、ステップＳ６８で推定された作業装置８１０の位置に対応する制御信号を作業装置８１０に送る。詳しくは、制御部２１０は、ステップＳ６８で推定された作業装置８１０の位置に移動を指示する操作内容を制御装置８５５Ｂに送信する。制御装置８５５Ｂは、対応する制御信号を作業装置８１０に送る。
ステップＳ７０において画像合成部２１４は、干渉物８８９Ｂ、ケーブル・ホース類８２０Ｂの画像を合成し、カメラ８３０が撮像した訓練設備エリア８８０Ｃの画像からケーブル８２０Ｃを除いた画像に、合成した画像を重ねてディスプレイに出力する。なお、画像合成部２１４は、訓練設備エリア８８０Ｃの画像に含まれる作業装置８１０に接続されているように見えるようにケーブル・ホース類８２０Ｂの画像を合成する。 In step S69, the control unit 210 as the operation information transmission unit sends a control signal corresponding to the position of the work device 810 estimated in step S68 to the work device 810. Specifically, the control unit 210 transmits to the control device 855B the operation content instructing the movement to the position of the work device 810 estimated in step S68. The control device 855B sends the corresponding control signal to the work device 810.
In step S70, the image synthesizing unit 214 synthesizes the images of the interfering material 889B and the cables and hoses 820B, and superimposes the combined image on the image of the training equipment area 880C captured by the camera 830 excluding the cable 820C. Output to the display. The image synthesizing unit 214 synthesizes the images of the cables and hoses 820B so as to appear to be connected to the working device 810 included in the image of the training equipment area 880C.

上記した変形例では、作業装置を実物としたが干渉物（瓦礫）を実物としてもよいし、作業装置と干渉物とを実物としてもよい。また、ケーブル８２０Ｃに替わり無線で操作内容を作業装置に送るようにしてもよい。 In the above-mentioned modification, the working device is the real thing, but the interfering object (rubble) may be the real thing, or the working device and the interfering object may be the real thing. Further, instead of the cable 820C, the operation content may be wirelessly sent to the work device.

≪変形例：教師データ収集時の操作≫
上記した実施形態において、管理者が作業装置８１０を操作して教師データを収集している。この操作作業を特徴量収集・学習装置が行ってもよい。
図１３は、本実施形態の変形例に係る特徴量収集・学習装置１００Ａの機能ブロック図である。特徴量収集・学習装置１００（図３参照）と比較して、制御部１１０には、移動先取得部１１６、移動経路生成部１１７、および操作信号生成部１１８がさらに備わる。 ≪Variation example: Operation when collecting teacher data≫
In the above-described embodiment, the administrator operates the working device 810 to collect teacher data. The feature quantity collecting / learning device may perform this operation work.
FIG. 13 is a functional block diagram of the feature amount collecting / learning device 100A according to the modified example of the present embodiment. Compared with the feature amount collecting / learning device 100 (see FIG. 3), the control unit 110 further includes a movement destination acquisition unit 116, a movement route generation unit 117, and an operation signal generation unit 118.

移動先取得部１１６は、作業装置８１０の移動先を取得する。移動先取得部１１６は、管理者に問い合わせて移動先を取得してもよいし、予め設定してある移動先から選択してもよいし、試験設備エリア８８０Ａのなかで干渉物８８９が存在しない位置を移動先として選択してもよい。
移動経路生成部１１７は、移動先取得部１１６が取得した移動先まで作業装置８１０が移動する経路を生成する。 The move destination acquisition unit 116 acquires the move destination of the work device 810. The move destination acquisition unit 116 may contact the administrator to acquire the move destination, or may select from preset move destinations, and the interfering object 889 does not exist in the test equipment area 880A. The position may be selected as the destination.
The movement route generation unit 117 generates a route for the work apparatus 810 to move to the movement destination acquired by the movement destination acquisition unit 116.

操作信号生成部１１８は、移動経路生成部１１７が生成した経路に沿って作業装置８１０が移動する操作内容を生成して、操作内容に対応する操作信号を制御装置８５５Ａ（図２参照）に送る。例えば、操作信号生成部１１８は、５０ｃｍ前進、４５度右回転、３０ｃｍ前進といった操作内容（操作情報）を生成する。次に操作信号生成部１１８は、５０ｃｍ前進に対応する操作信号を制御装置８５５に送る。続いて、操作信号生成部１１８は、カメラ８３０の画像から作業装置８１０が５０ｃｍ前進して移動が完了したことを確認した後に、次の操作信号を送る。操作信号生成部１１８は、作業装置８１０が移動先に到達するまで、この処理を繰り返す。 The operation signal generation unit 118 generates an operation content in which the work device 810 moves along the path generated by the movement route generation unit 117, and sends an operation signal corresponding to the operation content to the control device 855A (see FIG. 2). .. For example, the operation signal generation unit 118 generates operation contents (operation information) such as 50 cm forward, 45 degree clockwise rotation, and 30 cm forward. Next, the operation signal generation unit 118 sends an operation signal corresponding to the 50 cm advance to the control device 855. Subsequently, the operation signal generation unit 118 sends the next operation signal after confirming from the image of the camera 830 that the work device 810 has advanced by 50 cm and the movement has been completed. The operation signal generation unit 118 repeats this process until the working device 810 reaches the moving destination.

このような特徴量収集・学習装置１００Ａを利用することで、管理者は作業装置８１０を操作する手間を削減することができ、教師データを収集する作業を効率化することができる。延いては、管理者は、より多くの教師データ１４０を収集でき、推定精度が高い学習モデル１３０を生成することができるようになる。 By using such a feature amount collecting / learning device 100A, the administrator can reduce the time and effort to operate the working device 810, and the work of collecting teacher data can be streamlined. As a result, the administrator can collect more teacher data 140 and generate a learning model 130 with high estimation accuracy.

≪変形例：トラクタとしての作業装置≫
上記した実施形態では、作業装置８１０には付帯物としてケーブル・ホース類８２０が接続され、作業装置８１０はケーブル・ホース類８２０を引きずって移動する。ケーブル・ホース類８２０の替わりに１つ以上のトレーラ・台車・荷車のような被牽引物が接続され、作業装置８１０はトラクタとして被牽引物を牽引してもよい。ケーブル・ホース類８２０と同様に被牽引物は、自力で移動するのではなく作業装置８１０に引きずられて移動する上に、作業装置８１０と被牽引物、被牽引物間の接続は固定されていないので、作業装置８１０の移動後の、曲がり具合を含めた被牽引物の位置は、予想が困難である。
表示装置２００は、一般には予想が困難である被牽引物の移動を含めた画像を表示することができ、作業装置８１０Ｂの操作の訓練（模擬操作、シミュレーション）が行えるようになる。 << Modification example: Working equipment as a tractor >>
In the above-described embodiment, the cable / hose 820 is connected to the working device 810 as an accessory, and the working device 810 moves by dragging the cable / hose 820. Instead of cables and hoses 820, one or more towed objects such as trailers, carts, and carts may be connected, and the working device 810 may tow the towed object as a tractor. Like the cables and hoses 820, the towed object does not move by itself but is dragged by the working device 810, and the connection between the working device 810 and the towed object and the towed object is fixed. Therefore, it is difficult to predict the position of the towed object including the degree of bending after the work device 810 is moved.
The display device 200 can display an image including the movement of the towed object, which is generally difficult to predict, and can perform training (simulation operation, simulation) of the operation of the work device 810B.

≪変形例：床面情報≫
ケーブル・ホース類の移動や曲がり具合は、作業現場の状況（濡れや滑りやすさなど）やケーブル・ホース類の属性（ホース径、材質、弾性など）によって異なる。教師データ１４０の入力データ１４１として、これらの作業現場の状況やケーブル・ホース類の属性を加えて教師データを収集して、学習モデルを生成するようにしてもよい。訓練時には、設定情報として推定時（図１０記載のステップＳ４８参照）に学習モデルの入力データに加える。 ≪Variation example: Floor information≫
The movement and bending of cables and hoses vary depending on the conditions at the work site (wetness, slipperiness, etc.) and the attributes of cables and hoses (hose diameter, material, elasticity, etc.). As the input data 141 of the teacher data 140, the teacher data may be collected by adding the conditions of these work sites and the attributes of cables and hoses to generate a learning model. At the time of training, it is added to the input data of the learning model at the time of estimation (see step S48 shown in FIG. 10) as setting information.

≪その他の変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えば、上記した実施形態では、移動後の作業装置の状態として、作業装置およびケーブル・ホース類の位置を推定している。作業装置がバッテリ駆動の場合に、作業装置の状態として位置の他にバッテリ残量を推定するようにしてもよい。教師データに移動前後のバッテリ残量を加えることで、作業員は、訓練時において操作（移動）に伴うバッテリの減り具合を体感することができるようになる。 ≪Other variants≫
Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. For example, in the above-described embodiment, the positions of the working device and the cables / hoses are estimated as the state of the working device after the movement. When the working device is battery-powered, the remaining battery level may be estimated in addition to the position as the state of the working device. By adding the remaining battery level before and after the movement to the teacher data, the worker can experience how the battery is depleted due to the operation (movement) during training.

上記した実施形態では、作業装置が移動した後のケーブル・ホース類の曲がり具合を含めた位置を、機械学習技術を用いて推定している。別の手法を用いてもよい。例えば、表示装置の推定部は、有限要素法や有限セグメントモデルなどの数値解析手法を用いて推定してもよい。
本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 In the above-described embodiment, the position including the bending condition of the cables and hoses after the working device is moved is estimated by using the machine learning technique. Another method may be used. For example, the estimation unit of the display device may be estimated by using a numerical analysis method such as a finite element method or a finite segment model.
The present invention can take various other embodiments, and further, various modifications such as omission and substitution can be made without departing from the gist of the present invention. These embodiments and variations thereof are included in the scope and gist of the invention described in the present specification and the like, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１００，１００Ａ特徴量収集・学習装置（学習装置）
１１０制御部
１１３画像解析部
１１４教師データ生成部
１１５学習部
１１６移動先取得部
１１７移動経路生成部
１１８操作信号生成部
１３０学習モデル（機械学習モデル）
１４０教師データ
１４１入力データ
１４２出力データ（正解ラベル、推定結果）
２００表示装置（作業シミュレーション装置）
２１０制御部（操作情報送信部）
２１３推定部
２１４画像合成部
８１０作業装置（ロボット）
８１０Ｂ作業装置（仮想的な作業装置、ロボット）
８２０ケーブル・ホース類（付帯物）
８２０Ｂケーブル・ホース類（仮想的なケーブル・ホース類、付帯物）
８８９干渉物
８８９Ｂ干渉物（仮想的な干渉物）
８５０Ａ，８５０Ｂ操作装置
８５５Ａ，８５５Ｂ制御装置 100,100A Feature collection / learning device (learning device)
110 Control unit 113 Image analysis unit 114 Teacher data generation unit 115 Learning unit 116 Movement destination acquisition unit 117 Movement route generation unit 118 Operation signal generation unit 130 Learning model (machine learning model)
140 Teacher data 141 Input data 142 Output data (correct label, estimation result)
200 Display device (work simulation device)
210 Control unit (operation information transmission unit)
213 Estimating unit 214 Image composition unit 810 Working equipment (robot)
810B work equipment (virtual work equipment, robot)
820 Cables and hoses (incidental items)
820B cables and hoses (virtual cables and hoses, accessories)
889 Interfering material 889B Interfering material (virtual interfering material)
850A, 850B Operation device 855A, 855B Control device

Claims

From the state of the work device provided with an accessory and the operation information input from the operation device to instruct the work device to move, the state of the work device after the work device corresponding to the operation information is moved. A work simulation device characterized by having an estimation unit for estimating.

The estimation unit
A machine learning model trained using teacher data that includes the state of the work device and the operation information as input data and includes the state of the work device after the movement of the work device corresponding to the operation information as output data. The work simulation apparatus according to claim 1, wherein the work simulation apparatus is estimated by using.

The work simulation apparatus according to claim 1, further comprising an image synthesis unit that generates an image of the state of the work device estimated by the estimation unit.

The work device is a mobile robot and
The accessory is at least one of the cables and hoses connected to the working device.
The state of the working equipment includes the location of the ancillary items.
The work simulation apparatus according to claim 3, wherein the image synthesizing unit generates an image of the accessory.

The work device is a mobile robot and
The accessory is at least one of the cables and hoses connected to the working device.
The state of the working device includes the location of the working device.
The work simulation device according to claim 3, wherein the image synthesizing unit generates an image of the work device.

The work device is a mobile robot and
The accessory is a towed object towed by the working device.
The state of the working apparatus includes the location of the towed object.
The work simulation apparatus according to claim 3, wherein the image synthesizing unit generates an image of the accessory.

Equipped with an operation information transmitter
The work device is a mobile robot and
The accessory is at least one of the cables and hoses connected to the working device.
The state of the working device includes the location of the working device and the location of the accessory.
The operation information transmitting unit sends the operation information instructing the movement to the location of the work device to the work device.
The work simulation device according to claim 3, wherein the image synthesizing unit generates an image of the accessory so as to appear to be connected to the work device included in the captured image.

The state of the work device provided with an accessory and the operation information input from the operation device for instructing the work device to move are included as input data, and the work device corresponding to the operation information is said to be moved after the movement. A learning device including a learning unit that trains a machine learning model using teacher data including the state of the working device as output data.

A camera that captures an image of the working device is connected to the learning device.
An image analysis unit that detects the state of the working device from the image captured by the camera, and
The learning device according to claim 8, further comprising a teacher data generation unit that generates the teacher data from the detected state of the work device and the operation information.

A movement route generator that generates a movement route to the specified movement destination of the work device, and a movement route generation unit.
Further, an operation signal generation unit for generating the operation information instructing the work apparatus to move along the movement path is provided.
The learning device according to claim 8, wherein the learning unit trains the machine learning model using teacher data including the operation information as input data.