JP2020140251A - Driving motion simulation device and driving motion simulation method - Google Patents

Driving motion simulation device and driving motion simulation method Download PDF

Info

Publication number
JP2020140251A
JP2020140251A JP2019033255A JP2019033255A JP2020140251A JP 2020140251 A JP2020140251 A JP 2020140251A JP 2019033255 A JP2019033255 A JP 2019033255A JP 2019033255 A JP2019033255 A JP 2019033255A JP 2020140251 A JP2020140251 A JP 2020140251A
Authority
JP
Japan
Prior art keywords
unit
simulation
image
display unit
operation screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019033255A
Other languages
Japanese (ja)
Other versions
JP7200004B2 (en
Inventor
吉田　順
Jun Yoshida
順 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2019033255A priority Critical patent/JP7200004B2/en
Publication of JP2020140251A publication Critical patent/JP2020140251A/en
Application granted granted Critical
Publication of JP7200004B2 publication Critical patent/JP7200004B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)

Abstract

To provide a driving motion simulation device and a driving motion simulation method that can confirm a state in which the device is being operated on site from various angles according to a state of operation.SOLUTION: Provided are: an operation screen generation unit that generates an operation screen of a drive motion simulation device; an operation unit that accepts an operation on the operation screen; a first simulation unit that simulates a motion of a machine to be simulated according to the operation; a second simulation unit which simulates the motion of the machine according to the operation by a three-dimensional image based on the result of the simulation performed by the first simulation unit, changes a display angle of the three-dimensional image of the motion of the machine according to the operation, and displays a simulated motion of the machine on an image display unit; and the mage display unit that displays the image of the operation screen and the three-dimensional image.SELECTED DRAWING: Figure 1

Description

本発明は、運転動作模擬装置および運転動作模擬方法に関する。 The present invention relates to a driving motion simulating device and a driving motion simulating method.

プラント等で使用されている装置を開発や運用するには、装置が動作している状態を理解する必要がある。例えば核物質を扱う原子力発電所等の場合は、施設に搬入された装置が遮蔽体に覆われている。さらに装置は、設置されている場所から離れた場所から遠隔操作される。このため、現地納入後、作業者や設計者は、装置に近寄ることができず、見たり触れる等ができなくなるため、装置の詳細を理解するために大変な労力が必要になる。このため、作業者や設計者は、二次元の機械図面の読み込み、実機の運転による経験を積み重ねて対応している。ところが、二次元図面から装置動作を理解するのは難しく、経験の積み重ねには時間がかかりすぎる。作業者や設計者からは、実機に近づくことができない装置の装置動作の理解や運転訓練や教育において、現場で装置が運転されている状態を操作状態に応じて色々な角度から見たいという要求がある。 In order to develop and operate the equipment used in plants, it is necessary to understand the operating state of the equipment. For example, in the case of a nuclear power plant that handles nuclear materials, the equipment brought into the facility is covered with a shield. In addition, the device is remotely controlled from a location away from where it is installed. For this reason, after delivery to the site, the worker or the designer cannot approach the device and cannot see or touch the device, which requires a great deal of labor to understand the details of the device. For this reason, workers and designers have accumulated experience in reading two-dimensional mechanical drawings and operating actual machines. However, it is difficult to understand the device operation from the two-dimensional drawing, and it takes too much time to accumulate experience. Workers and designers request that they want to see the state in which the device is being operated at the site from various angles according to the operating state in understanding the device operation of the device that cannot approach the actual machine and in operation training and education. There is.

これに対して、プラントに設置されている装置の動作を、装置用のプログラムに基づいてプラント装置の運転をシミュレーションすることが提案されている（例えば特許文献１参照）。特許文献１に記載の技術では、シーケンスプログラムと、プラントシミュレータと、シーケンスシミュレータを用いて、仮想プラントを運転させている。ここで、シーケンスシミュレータとは、シーケンスプログラムを実行してプログラマブルロジックコントローラ（ＰＬＣ）で制御される各デバイスへのシーケンス制御を再現するものである。プラントシミュレータとは、定常シミュレータ（プロセスシミュレータ）よりもプラントの動きを忠実に再現するものである。 On the other hand, it has been proposed to simulate the operation of the device installed in the plant based on the program for the device (see, for example, Patent Document 1). In the technique described in Patent Document 1, a virtual plant is operated by using a sequence program, a plant simulator, and a sequence simulator. Here, the sequence simulator reproduces the sequence control to each device controlled by the programmable logic controller (PLC) by executing the sequence program. A plant simulator is one that more faithfully reproduces the movement of a plant than a stationary simulator (process simulator).

また、ＣＧ（コンピュータグラフィック）による仮想空間表示により訓練環境を構築して複数の訓練者に提示し、訓練者それぞれが操作した結果を他の訓練者に同報することで複数の訓練者が訓練を行える訓練装置が提案されている（例えば特許文献２参照）。特許文献２に記載の技術では、利用者は仮想空間ＣＧ画面を見ながら現場訓練を行う。そして、特許文献２に記載の技術では、仮想空間ＣＧ画面には、訓練環境となる仮想空間に訓練者の分身であるアバタが表示される。この構成によって、各訓練者のクライアント計算機の画面上では他の訓練者の状態が適宜更新され、仮想空間内の状況が全訓練者及び教師間で共有される。 In addition, a training environment is constructed by virtual space display by CG (computer graphic), presented to multiple trainers, and the results of operations by each trainer are broadcast to other trainers for training by multiple trainers. A training device capable of performing the above has been proposed (see, for example, Patent Document 2). In the technique described in Patent Document 2, the user performs on-site training while looking at the virtual space CG screen. Then, in the technique described in Patent Document 2, the avatar, which is the alter ego of the trainee, is displayed on the virtual space CG screen as the training environment. With this configuration, the states of other trainees are updated as appropriate on the screen of each trainee's client computer, and the situation in the virtual space is shared among all trainees and teachers.

特開２０１４−３５７１０号公報Japanese Unexamined Patent Publication No. 2014-35710 特開２００２−３６６０２１号公報Japanese Unexamined Patent Publication No. 2002-366821

しかしながら、特許文献１に記載の技術では、シーケンスプログラムに基づいて仮想プラントの運転をシミュレーションできても、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができなかった。また、特許文献２に記載の技術でも、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができなかった。 However, with the technique described in Patent Document 1, even if the operation of the virtual plant can be simulated based on the sequence program, the state in which the device is operated in the field can be confirmed from various angles according to the operation state. There wasn't. Further, even with the technique described in Patent Document 2, it is not possible to confirm the state in which the device is being operated at the site from various angles according to the operating state.

本発明は、上記の問題点に鑑みてなされたものであって、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができる運転動作模擬装置および運転動作模擬方法を提供することを目的とする。 The present invention has been made in view of the above problems, and is a driving motion simulating device and a driving motion simulating device that can confirm the state in which the device is being operated in the field from various angles according to the operating state. The purpose is to provide a method.

上記目的を達成するため、本発明の一態様に係る運転動作模擬装置（１，１Ａ）は、操作画面を生成する操作画面生成部（１５２１）と、前記操作画面に対する操作を受け付ける操作部（１１、１２）と、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬部（１５１）と、前記第１模擬部が模擬を行った結果に基づいて、操作に応じた前記機械の動作を三次元画像で模擬を行い、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬部（１５２）と、前記操作画面の画像と前記三次元画像を表示する画像表示部（１６，１６Ａ）と、を備える。
このような構成によれば、実機に近づくことができない装置の動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、このような構成によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。 In order to achieve the above object, the operation motion simulating device (1,1A) according to one aspect of the present invention includes an operation screen generation unit (1521) for generating an operation screen and an operation unit (11) for receiving an operation on the operation screen. , 12), the first simulated unit (151) that simulates the operation of the machine to be simulated according to the operation, and the machine according to the operation based on the result of the simulation performed by the first simulated unit. With a second simulation unit (152) that simulates the operation with a three-dimensional image, changes the display angle of the three-dimensional image for the operation of the machine according to the operation, and displays the simulated operation of the machine on the image display unit. An image display unit (16, 16A) for displaying the image of the operation screen and the three-dimensional image is provided.
With such a configuration, it is possible to see the operation of the device that cannot approach the actual machine and the state in which the device is operated at the site according to the operating state. Further, according to this configuration, the operation of the device that cannot approach the actual machine can be seen from various angles. As a result, according to such a configuration, it is possible to perform operation training and education of a device that cannot approach the actual machine due to, for example, contamination.

また、本発明の一態様に係る運転動作模擬装置において、前記第１模擬部は、前記機械で用いられるプログラムを用いて、操作に応じた前記機械の動作の模擬を行い、前記第２模擬部は、前記機械の三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ用いて操作に応じた前記機械の動作を三次元画像の模擬を行うようにしてもよい。
このような構成によれば、資産を流用することで設計思想や表示内容を新たに検討したり製作せずにすむので、運転動作模擬装置の開発時間を短縮でき、運転動作模擬装置の開発コストを低減することができる。 Further, in the operation operation simulating device according to one aspect of the present invention, the first simulating unit simulates the operation of the machine according to the operation by using the program used in the machine, and the second simulating unit. May simulate the operation of the machine according to the operation by using the three-dimensional CAD (Computer-Aided Design) data of the machine to simulate a three-dimensional image.
According to such a configuration, it is not necessary to newly consider or manufacture the design concept and the display contents by diverting the assets, so that the development time of the operation operation simulation device can be shortened and the development cost of the operation operation simulation device can be shortened. Can be reduced.

また、本発明の一態様に係る運転動作模擬装置において、前記画像表示部は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであり、前記操作部は、前記画像表示部に取り付けられ、利用者の視線を検出することによって前記操作画面に対する操作を受け付けるようにしてもよい。
このような構成によれば、利用者に高い没入感を与えることができ、通常は不可能な体験や困難な事象の疑似体験することができる。また、ＶＲゴーグルを用いた場合は、利用者が見たい方向に頭を向けたり、のぞき込む動作を行うことで、その動作に応じて利用者が所望している角度の画像を提供することできる。 Further, in the driving operation simulation device according to one aspect of the present invention, the image display unit is VR (Virtual Reality) goggles, and the operation unit is attached to the image display unit to detect the line of sight of the user. This may allow the operation on the operation screen to be accepted.
According to such a configuration, it is possible to give a high immersive feeling to the user, and it is possible to experience an experience that is normally impossible or a simulated experience of a difficult event. Further, when the VR goggles are used, by turning the head in the direction that the user wants to see or performing an action of looking into the goggles, it is possible to provide an image of an angle desired by the user according to the action.

また、本発明の一態様に係る運転動作模擬装置において、前記画像表示部は、第１の表示部と第２の表示部を備え、前記操作画面を前記第１の表示部に表示させ、前記三次元画像を前記第２の表示部に表示させるようにしてもよい。
このような構成によれば、利用者は操作画面の設定状態を確認しながら、装置の動作状態を確認することができる。 Further, in the driving operation simulating device according to one aspect of the present invention, the image display unit includes a first display unit and a second display unit, and the operation screen is displayed on the first display unit. The three-dimensional image may be displayed on the second display unit.
According to such a configuration, the user can check the operating state of the device while checking the setting state of the operation screen.

上記目的を達成するため、本発明の一態様に係る運転動作模擬方法は、操作画面生成部が、操作画面を生成する操作画面生成手順と、操作部が、前記操作画面に対する操作を受け付ける操作手順と、第１模擬部が、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬手順と、第２模擬部が、前記第１模擬部によって模擬が行われた結果に基づいて、操作に応じた前記機械の動作を三次元画像の模擬を行う手順と、前記第２模擬部が、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬手順と、前記画像表示部が、前記操作画面の画像と前記三次元画像を表示する画像表示手順と、を含む。 In order to achieve the above object, the operation simulation method according to one aspect of the present invention includes an operation screen generation procedure in which the operation screen generation unit generates an operation screen and an operation procedure in which the operation unit accepts an operation on the operation screen. Based on the first simulation procedure in which the first simulation unit simulates the operation of the machine to be simulated according to the operation and the result in which the second simulation unit simulates the operation by the first simulation unit. A procedure for simulating a three-dimensional image of the operation of the machine according to the operation, and a second simulation unit for simulating the operation of the machine by changing the display angle of the three-dimensional image according to the operation. The second simulated procedure for displaying the operation on the image display unit, and the image display procedure for the image display unit to display the image of the operation screen and the three-dimensional image are included.

本発明によれば、現場で装置が運転されている状態を操作状態に応じて色々な角度から確認することができる。 According to the present invention, it is possible to confirm the state in which the device is being operated in the field from various angles according to the operating state.

実施形態に係る運転動作模擬装置の構成例を示す図である。It is a figure which shows the configuration example of the operation operation simulation apparatus which concerns on embodiment. 実施形態に係る操作プログラム記憶部が記憶するプログラムの例を示す図である。It is a figure which shows the example of the program which the operation program storage part which concerns on embodiment stores. 実施形態に係る画像表示部に表示される画像例を示す図である。It is a figure which shows the image example which is displayed on the image display part which concerns on embodiment. 実施形態に係る運転動作模擬装置の処理手順例のフローチャートを示す図である。It is a figure which shows the flowchart of the processing procedure example of the operation operation simulation apparatus which concerns on embodiment. 実施形態に係る運転動作模擬装置の他の構成例を示すブロック図である。It is a block diagram which shows the other configuration example of the operation operation simulation apparatus which concerns on embodiment.

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本実施形態に係る運転動作模擬装置１の構成例を示す図である。図１に示すように、運転動作模擬装置１は、操作部１１と、センサ１２（操作部）と、操作プログラム記憶部１３と、ＤＢ１４と、模擬部１５（第１模擬部、第２模擬部）と、画像表示部１６を備える。
また、模擬部１５は、第１模擬部１５１と第２模擬部１５２を備える。第１模擬部１５１は、アクチュエータ模擬部１５１１とエミュレーション部１５１２を備える。第２模擬部１５２は、操作画面模擬部１５２１（操作画面生成部）と運転状態画像模擬部１５２２を備える。画像表示部１６は、運転画像表示部１６１（第２の表示部）と操作画面表示部１６２（第１の表示部）を備える。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration example of the driving operation simulating device 1 according to the present embodiment. As shown in FIG. 1, the driving operation simulation device 1 includes an operation unit 11, a sensor 12 (operation unit), an operation program storage unit 13, a DB 14, and a simulation unit 15 (first simulation unit, second simulation unit). ) And an image display unit 16.
Further, the simulation unit 15 includes a first simulation unit 151 and a second simulation unit 152. The first simulation unit 151 includes an actuator simulation unit 1511 and an emulation unit 1512. The second simulation unit 152 includes an operation screen simulation unit 1521 (operation screen generation unit) and an operation state image simulation unit 1522. The image display unit 16 includes a driving image display unit 161 (second display unit) and an operation screen display unit 162 (first display unit).

運転動作模擬装置１は、プラント等で運用される装置の操作画面を利用者（作業者、設計者等）に提示する。運転動作模擬装置１は、利用者が操作画面を操作した操作結果に応じて装置の運転状態を三次元（３Ｄ）画像で模擬（シミュレーション）を行って、模擬を行った装置の３Ｄ画像を利用者に提示する。運転動作模擬装置１は、利用者からの指示に応じて利用者が見たい角度（方向）の装置の運用状態画像の模擬を行って、模擬を行った利用者が見たい角度（方向）の装置の運用状態画像を利用者に提示する。なお、三次元（３Ｄ）画像は、実機の機械やスイッチやセンサの動作してるアニメーション（動画）画像である。 The operation operation simulation device 1 presents the operation screen of the device operated in the plant or the like to the user (worker, designer, etc.). The driving motion simulation device 1 simulates (simulates) the operating state of the device with a three-dimensional (3D) image according to the operation result of the user operating the operation screen, and uses the 3D image of the simulated device. Present to the person. The driving motion simulating device 1 simulates an operation state image of the device at an angle (direction) that the user wants to see in response to an instruction from the user, and simulates the angle (direction) that the simulated user wants to see. Present the operation status image of the device to the user. The three-dimensional (3D) image is an animation (moving) image in which the actual machine, switches, and sensors are operating.

操作部１１は、例えば画像表示部１６の画面上に設けられているタッチパネルセンサー、マウス、キーボード、触覚グローブである。操作部１１は、利用者の操作結果を検出し、検出した操作結果を模擬部１５に出力する。操作結果には、操作画面を操作した結果を示す情報、または利用者が見たい角度（方向）を示す指示（角度指示）の少なくとも１つが含まれている。また、操作部１１は、画像表示部１６に取り付けられている視線入力装置であってもよい。操作部１１が視線入力装置の場合、例えば操作部１１は、例えば利用者の視線が所定時間、所定位置に静止した場合に、その位置に該当するスイッチ画像が選択されたと検出する。 The operation unit 11 is, for example, a touch panel sensor, a mouse, a keyboard, and a tactile glove provided on the screen of the image display unit 16. The operation unit 11 detects the operation result of the user and outputs the detected operation result to the simulation unit 15. The operation result includes at least one of information indicating the result of operating the operation screen or an instruction (angle instruction) indicating an angle (direction) desired to be viewed by the user. Further, the operation unit 11 may be a line-of-sight input device attached to the image display unit 16. When the operation unit 11 is a line-of-sight input device, for example, the operation unit 11 detects that, for example, when the user's line of sight is stationary at a predetermined position for a predetermined time, the switch image corresponding to that position is selected.

センサ１２は、例えば加速度センサ、ジャイロセンサ等である。センサ１２は、画像表示部１６がＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルの場合、画像表示部１６に設けられ、利用者の頭の動きを検出する。センサ１２は検出した検出結果（角度指示）を模擬部１５に出力する。または、画像表示部１６が、例えばパソコン用の表示装置の場合、センサ１２は、利用者の頭や手に取り付けられていてもよい。 The sensor 12 is, for example, an acceleration sensor, a gyro sensor, or the like. When the image display unit 16 is a VR (Virtual Reality) goggles, the sensor 12 is provided in the image display unit 16 and detects the movement of the user's head. The sensor 12 outputs the detected detection result (angle indication) to the simulation unit 15. Alternatively, when the image display unit 16 is, for example, a display device for a personal computer, the sensor 12 may be attached to the user's head or hand.

操作プログラム記憶部１３は、装置を動作させるためのプログラム等を記憶する。プログラムは、例えばラダー言語で記述されている。なお、装置を動作させるためのプログラムは、プラントで用いられる装置で使用されるプログラムと同じか同等のものである。 The operation program storage unit 13 stores a program or the like for operating the device. The program is written in, for example, a ladder language. The program for operating the device is the same as or equivalent to the program used in the device used in the plant.

ＤＢ（データベース）１４は、装置の３ＤのＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）データを格納する。 The DB (database) 14 stores 3D CAD (Computer-Aided Design) data of the device.

模擬部１５は、操作部１１が出力する操作結果に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、装置の運転状態の３Ｄ画像の模擬を行う。模擬部１５は、操作部１１が出力する操作結果またはセンサ１２が出力する検出結果に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、利用者が見たい角度の装置の運転状態の３Ｄ画像の模擬を行う。 Based on the operation result output by the operation unit 11, the simulation unit 15 simulates the 3D image of the operating state of the device by using the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13. Do. The simulation unit 15 uses the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the operation result output by the operation unit 11 or the detection result output by the sensor 12, and the user. Simulates a 3D image of the operating state of the device at the angle you want to see.

第１模擬部１５１は、装置の運転状態の模擬を行う。
アクチュエータ模擬部１５１１は、プログラムに基づいて、装置が有するアクチュエータ（モータ）の動作状態、センサの動作状態、センサの検出値、スイッチの状態等の模擬を行う。ここで、装置が有するセンサは、例えばモータに取り付けられているエンコーダ、接触状態検出センサ等である。
エミュレーション部１５１２は、操作部１１が出力する操作結果に基づいて、装置の３Ｄ ＣＡＤデータとプログラムとアクチュエータ模擬部１５１１が模擬を行った結果を用いて、装置の運転状態の３Ｄ画像の模擬を行う。エミュレーション部１５１２は、操作部１１が出力する操作結果またはセンサ１２が出力する検出結果に基づいて、装置の３Ｄ ＣＡＤデータとプログラムを用いて、利用者が見たい角度の装置の運転状態の３Ｄ画像の模擬を行う。 The first simulation unit 151 simulates the operating state of the device.
The actuator simulation unit 1511 simulates the operating state of the actuator (motor), the operating state of the sensor, the detected value of the sensor, the state of the switch, etc. of the device based on the program. Here, the sensor included in the device is, for example, an encoder attached to the motor, a contact state detection sensor, or the like.
The emulation unit 1512 simulates a 3D image of the operating state of the device by using the 3D CAD data of the device, the program, and the result simulated by the actuator simulation unit 1511 based on the operation result output by the operation unit 11. .. The emulation unit 1512 uses the 3D CAD data and the program of the device based on the operation result output by the operation unit 11 or the detection result output by the sensor 12, and 3D image of the operating state of the device at the angle desired by the user. To simulate.

第２模擬部１５２は、操作画面の画像と、装置の運転状態の３Ｄ画像の模擬を行う。
操作画面模擬部１５２１は、操作部１１が出力する操作結果と、アクチュエータ模擬部１５１１が模擬を行ったセンサの状態や検出値を取得する。操作画面模擬部１５２１は、取得した操作結果とセンサの状態や検出値に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像の模擬を行う。
運転状態画像模擬部１５２２は、操作部１１が出力する操作結果と、アクチュエータ模擬部１５１１が模擬を行ったセンサの状態や検出値を取得する。運転状態画像模擬部１５２２は、取得した操作結果とセンサの状態や検出値に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、装置が有するＰＬＣ（プログラマブルロジックコントローラ）の動作の模擬を行うことで装置の運転状態の３Ｄ画像の模擬を行う。運転状態画像模擬部１５２２は、取得した角度指示とセンサの状態や検出値に基づいて、装置の３Ｄ ＣＡＤデータとプログラムを用いて、装置が有するＰＬＣの動作の模擬を行うことで利用者が見たい角度における装置の運転状態の３Ｄ画像の模擬を行う。 The second simulation unit 152 simulates the image of the operation screen and the 3D image of the operating state of the device.
The operation screen simulation unit 1521 acquires the operation result output by the operation unit 11 and the state and the detected value of the sensor simulated by the actuator simulation unit 1511. The operation screen simulation unit 1521 uses the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the acquired operation result and the state and the detected value of the sensor to display the image of the operation screen. Simulate.
The operation state image simulation unit 1522 acquires the operation result output by the operation unit 11 and the state and the detected value of the sensor simulated by the actuator simulation unit 1511. The operation state image simulation unit 1522 uses the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the acquired operation result and the state and the detected value of the sensor, and the PLC of the device is used. By simulating the operation of (programmable logic controller), a 3D image of the operating state of the device is simulated. The operating state image simulating unit 1522 is viewed by the user by simulating the operation of the PLC of the device by using the 3D CAD data and the program of the device based on the acquired angle indication and the state and detected value of the sensor. A 3D image of the operating state of the device at a desired angle is simulated.

画像表示部１６は、例えば液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ− Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、またはＶＲゴーグルである。操作画面と、装置の運転状態の３Ｄ画像を表示する。画像表示部１６は、１つの表示装置であってもよく、複数の表示装置で構成されていてもよい。
運転画像表示部１６１は、運転状態画像模擬部１５２２が模擬を行った装置の運転状態の３Ｄ画像を表示する。
操作画面表示部１６２は、操作画面模擬部１５２１が模擬を行った操作画面の画像を表示する。 The image display unit 16 is, for example, a liquid crystal display device, an organic EL (Electro-Lumisense) display device, or VR goggles. The operation screen and the 3D image of the operating state of the device are displayed. The image display unit 16 may be one display device or may be composed of a plurality of display devices.
The operation image display unit 161 displays a 3D image of the operation state of the device simulated by the operation state image simulation unit 1522.
The operation screen display unit 162 displays an image of the operation screen simulated by the operation screen simulation unit 1521.

次に、操作プログラム記憶部１３が記憶するプログラムの例を説明する。
図２は、本実施形態に係る操作プログラム記憶部１３が記憶するプログラムの例を示す図である。図２に示すプログラムは、シーケンスプログラムの一例であり、ＰＬＣを制御するプログラムである。また、図２に示すプログラムは、ラダー言語で記述されている。なお、図２に示したプログラムは一例であり、プログラムは装置に応じたものであればよい。また、プログラム言語は、ラダー言語に限らず他の言語であってもよい。 Next, an example of the program stored in the operation program storage unit 13 will be described.
FIG. 2 is a diagram showing an example of a program stored in the operation program storage unit 13 according to the present embodiment. The program shown in FIG. 2 is an example of a sequence program and is a program that controls PLC. The program shown in FIG. 2 is written in a ladder language. The program shown in FIG. 2 is an example, and the program may be suitable for the device. Further, the programming language is not limited to the ladder language and may be another language.

次に、画像表示部１６に表示される画像例を説明する。
図３は、本実施形態に係る画像表示部１６に表示される画像例を示す図である。図３において、符号ｇ１は画像表示部１６に表示される画像であり、符号ｇ１１は装置の運転状態の３Ｄ画像であり、符号ｇ１２は操作画面の画像である。なお、符号ｇ１１の装置の運転状態の３Ｄ画像は、利用者の操作に応じて、表示される角度が任意に変化する。また、符号ｇ１２に示すように、操作画面には、運転状態、スイッチの状態、センサの状態、センサの検出値などが含まれている。このように、本実施形態によれば、利用者は操作画面の設定状態を確認しながら、装置の動作状態を色々な角度から確認することができる。
なお、図３に示した図は一例であり、装置の運転状態の３Ｄ画像と操作画面の画像は縦に並べて表示されていてもよい。また、仮想空間上に３Ｄ画像と操作画面が表示されるようにしてもよい。 Next, an example of an image displayed on the image display unit 16 will be described.
FIG. 3 is a diagram showing an example of an image displayed on the image display unit 16 according to the present embodiment. In FIG. 3, reference numeral g1 is an image displayed on the image display unit 16, reference numeral g11 is a 3D image of an operating state of the device, and reference numeral g12 is an image of an operation screen. The displayed angle of the 3D image of the operating state of the device of reference numeral g11 changes arbitrarily according to the operation of the user. Further, as shown by reference numeral g12, the operation screen includes an operating state, a switch state, a sensor state, a sensor detection value, and the like. As described above, according to the present embodiment, the user can check the operating state of the device from various angles while checking the setting state of the operation screen.
The figure shown in FIG. 3 is an example, and the 3D image of the operating state of the device and the image of the operation screen may be displayed vertically side by side. Further, the 3D image and the operation screen may be displayed on the virtual space.

次に、運転動作模擬装置１の処理手順例を説明する。
図４は、本実施形態に係る運転動作模擬装置１の処理手順例のフローチャートを示す図である。 Next, an example of the processing procedure of the operation operation simulation device 1 will be described.
FIG. 4 is a diagram showing a flowchart of a processing procedure example of the operation operation simulating device 1 according to the present embodiment.

（ステップＳ１）模擬部１５は、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像と、装置の３Ｄ画像の模擬を行う。
（ステップＳ２）画像表示部１６は、操作画面の画像と、装置の３Ｄ画像を表示する。 (Step S1) The simulation unit 15 simulates an image of the operation screen and a 3D image of the device by using the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13.
(Step S2) The image display unit 16 displays an image of the operation screen and a 3D image of the device.

（ステップＳ３）模擬部１５は、操作部１１が操作画面を操作した操作結果を検出したか否かを判別する。模擬部１５は、操作部１１が操作画面を操作した操作結果を検出したと判別した場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理に進める。模擬部１５は、操作部１１が操作画面を操作した操作結果を検出していないと判別した場合（ステップＳ３；ＮＯ）、ステップＳ３の処理を繰り返す。 (Step S3) The simulation unit 15 determines whether or not the operation unit 11 has detected the operation result of operating the operation screen. When the simulation unit 15 determines that the operation result of operating the operation screen has been detected by the operation unit 11 (step S3; YES), the simulation unit 15 proceeds to the process of step S4. When the simulation unit 15 determines that the operation result of operating the operation screen has not been detected by the operation unit 11 (step S3; NO), the simulation unit 15 repeats the process of step S3.

（ステップＳ４）模擬部１５は、操作画面が操作された操作結果を取得する。
（ステップＳ５）模擬部１５は、操作画面が操作された操作結果に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像と装置の運転状態の３Ｄ画像の模擬を行う。 (Step S4) The simulation unit 15 acquires an operation result in which the operation screen is operated.
(Step S5) The simulation unit 15 uses the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the operation result in which the operation screen is operated, and uses the image of the operation screen and the device. A 3D image of the operating state of is simulated.

（ステップＳ６）画像表示部１６は、操作画面が操作された操作結果に基づいて模擬を行った操作画面の画像と装置の運転状態の３Ｄ画像を表示する。 (Step S6) The image display unit 16 displays an image of the operation screen simulated based on the operation result of the operation screen and a 3D image of the operating state of the device.

（ステップＳ７）模擬部１５は、利用者が見たい角度である角度指示を検出したか否かを判別する。模擬部１５は、操角度指示を検出したと判別した場合（ステップＳ７；ＹＥＳ）、ステップＳ８の処理に進める。模擬部１５は、角度指示を検出していないと判別した場合（ステップＳ７；ＮＯ）、ステップＳ３に処理を戻す。 (Step S7) The simulation unit 15 determines whether or not an angle instruction, which is an angle desired by the user, has been detected. When the simulation unit 15 determines that the steering angle instruction has been detected (step S7; YES), the simulation unit 15 proceeds to the process of step S8. When the simulation unit 15 determines that the angle instruction has not been detected (step S7; NO), the process returns to step S3.

（ステップＳ８）模擬部１５は、角度指示を取得する。
（ステップＳ９）模擬部１５は、角度指示に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、運転状態の３Ｄ画像の模擬を行う。 (Step S8) The simulation unit 15 acquires an angle instruction.
(Step S9) The simulation unit 15 simulates a 3D image of the operating state by using the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the angle instruction.

（ステップＳ１０）画像表示部１６は、角度指示に基づいて模擬を行った装置の運転状態の３Ｄ画像を表示する。画像表示部１６は、処理後、ステップ３に処理を戻す。 (Step S10) The image display unit 16 displays a 3D image of the operating state of the device simulated based on the angle instruction. After the processing, the image display unit 16 returns the processing to step 3.

運転動作模擬装置１は、運転動作模擬装置１の電源がオフ状態にされるかシミュレーションがオフ状態にされるまでステップＳ３〜Ｓ１０の処理を繰り返す。 The operation simulation device 1 repeats the processes of steps S3 to S10 until the power of the operation simulation device 1 is turned off or the simulation is turned off.

なお、上述した例では、図３に示したように、装置の３Ｄ画像と、操作画面の画像を並べて表示する例を説明したが、これに限らない。例えば、図４のステップＳ７以降、操作画面において操作が所定時間以上行われず角度指示のみが検出される場合、画像表示部１６は、操作画面の画像を表示せずに装置の３Ｄ画像のみを表示するようにしてもよい。また、ステップＳ７以降、操作画面において操作が所定時間以上行われず角度指示のみが検出される場合、画像表示部１６は、装置の３Ｄ画像内に縮小した操作画面の画像を重ねて表示するようにしてもよい。 In the above-mentioned example, as shown in FIG. 3, an example in which the 3D image of the device and the image of the operation screen are displayed side by side has been described, but the present invention is not limited to this. For example, after step S7 in FIG. 4, when the operation is not performed for a predetermined time or more and only the angle instruction is detected on the operation screen, the image display unit 16 displays only the 3D image of the device without displaying the image on the operation screen. You may try to do it. Further, after step S7, when the operation is not performed on the operation screen for a predetermined time or more and only the angle instruction is detected, the image display unit 16 superimposes the image of the reduced operation screen on the 3D image of the device. You may.

以上のように、本実施形態では、実際の装置で使用されるプログラムを用いて、装置の運転状態を模擬するようにした。そして、本実施形態では、装置の運転状態に基づいて、装置の３Ｄ ＣＡＤデータを用いて、装置の運転状態の３Ｄ画像の模擬を行うようにした。本実施形態では、操作画面を操作された結果に基づいて、装置の３Ｄ画像を変化させるようにした。さらに、本実施形態では、利用者が見たい角度を指示した際、その角度に装置の３Ｄ画像を変化させるようにした。 As described above, in the present embodiment, the operating state of the device is simulated by using the program used in the actual device. Then, in the present embodiment, the 3D image of the operating state of the device is simulated by using the 3D CAD data of the device based on the operating state of the device. In the present embodiment, the 3D image of the device is changed based on the result of operating the operation screen. Further, in the present embodiment, when the user instructs the desired angle, the 3D image of the device is changed to that angle.

この構成によれば、実機に近づくことができない装置の動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、本実施形態によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。 According to this configuration, it is possible to see the operation of the device that cannot approach the actual machine and the state in which the device is operated at the site according to the operating state. Further, according to this configuration, the operation of the device that cannot approach the actual machine can be seen from various angles. As a result, according to the present embodiment, it is possible to perform operation training and education of a device that cannot approach the actual machine due to, for example, contamination.

なお、センサ１２の出力値が例えばオン状態とオフ状態の２値の場合、指示されてから所定時間後に状態が切り替わる場合もあり得る。このような場合、模擬部１５は、オン状態とオフ状態の中間状態も３Ｄ画像として模擬するようにしてもよい。これにより、利用者は、より装置の動作を理解することができる。 When the output value of the sensor 12 is, for example, two values, an on state and an off state, the state may be switched after a predetermined time after being instructed. In such a case, the simulating unit 15 may also simulate the intermediate state between the on state and the off state as a 3D image. As a result, the user can better understand the operation of the device.

また、本実施形態によれば、実機で用いられるプログラムを装置の動作の模擬に用い、実機の３Ｄ ＣＡＤデータを装置の３Ｄ画像の模擬に用いている。これにより、本実施形態によれば、資産を流用することで設計思想や表示内容を新たに検討したり製作せずにすむので、運転動作模擬装置１の開発時間を短縮でき、運転動作模擬装置１の開発コストを低減することができる。 Further, according to the present embodiment, the program used in the actual machine is used for simulating the operation of the device, and the 3D CAD data of the actual machine is used for simulating the 3D image of the device. As a result, according to the present embodiment, it is not necessary to newly examine or manufacture the design concept and the display contents by diverting the assets, so that the development time of the driving motion simulating device 1 can be shortened, and the driving motion simulating device 1 can be shortened. The development cost of 1 can be reduced.

また、本実施形態において、画像表示部１６にＶＲゴーグルを用いた場合は、利用者に高い没入感を与えることができ、通常は不可能な体験や困難な事象の疑似体験することができる。また、ＶＲゴーグルを用いた場合は、利用者が見たい方向に頭を向けたり、のぞき込む動作を行うことで、その動作に応じて利用者が所望している角度の画像を提供することできる。 Further, in the present embodiment, when the VR goggles are used for the image display unit 16, it is possible to give the user a high immersive feeling, and it is possible to experience an experience that is normally impossible or a simulated experience of a difficult event. Further, when the VR goggles are used, by turning the head in the direction that the user wants to see or performing an action of looking into the goggles, it is possible to provide an image of an angle desired by the user according to the action.

＜運転動作模擬装置１の他の構成例＞
次に、運転動作模擬装置１の他の構成例を説明する。
図５は、本実施形態に係る運転動作模擬装置の他の構成例を示すブロック図である。図５に示すように、運転動作模擬装置１Ａは、操作プログラム記憶部１３と、ＤＢ１４と、装置模擬装置１５Ａ１（第１模擬部）と、画像模擬装置１５Ａ２（第２模擬部）と、画像表示装置１６Ａを備えている。
また、装置模擬装置１５Ａ１は、第１模擬部１５１と通信部１５３を備えている。画像模擬装置１５Ａ２は、操作部１１と、第２模擬部１５２と、通信部１５４を備えている。画像表示装置１６Ａは、センサ１２（操作部）と、通信部１６３と、画像表示部１６４を備えている。第１模擬部１５１は、アクチュエータ模擬部１５１１とエミュレーション部１５１２を備える。第２模擬部１５２は、操作画面模擬部１５２１（操作画面生成部）と運転状態画像模擬部１５２２を備える。画像表示部１６４は、運転画像表示部１６１と操作画面表示部１６２を備える。
なお、運転動作模擬装置１が備えている機能部と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。 <Other configuration example of driving operation simulation device 1>
Next, another configuration example of the driving operation simulation device 1 will be described.
FIG. 5 is a block diagram showing another configuration example of the driving operation simulating device according to the present embodiment. As shown in FIG. 5, the operation operation simulation device 1A includes an operation program storage unit 13, a DB 14, a device simulation device 15A1 (first simulation unit), an image simulation device 15A2 (second simulation unit), and an image display. The device 16A is provided.
Further, the device simulation device 15A1 includes a first simulation unit 151 and a communication unit 153. The image simulation device 15A2 includes an operation unit 11, a second simulation unit 152, and a communication unit 154. The image display device 16A includes a sensor 12 (operation unit), a communication unit 163, and an image display unit 164. The first simulation unit 151 includes an actuator simulation unit 1511 and an emulation unit 1512. The second simulation unit 152 includes an operation screen simulation unit 1521 (operation screen generation unit) and an operation state image simulation unit 1522. The image display unit 164 includes a driving image display unit 161 and an operation screen display unit 162.
The same reference numerals are used for the functional units having the same functions as the functional units included in the driving operation simulation device 1, and the description thereof will be omitted.

なお、装置模擬装置１５Ａ１と画像模擬装置１５Ａ２は、有線回線または無線回線で接続されている。また、画像模擬装置１５Ａ２と画像表示装置１６Ａは、有線回線または無線回線で接続されている。 The device simulation device 15A1 and the image simulation device 15A2 are connected by a wired line or a wireless line. Further, the image simulation device 15A2 and the image display device 16A are connected by a wired line or a wireless line.

装置模擬装置１５Ａ１は、例えばパーソナルコンピュータである。装置模擬装置１５Ａ１は、画像模擬装置１５Ａ２が出力する操作結果に基づいて装置の運転状態を模擬し、模擬した結果を画像模擬装置１５Ａ２に出力する。 The device simulation device 15A1 is, for example, a personal computer. The device simulating device 15A1 simulates the operating state of the device based on the operation result output by the image simulating device 15A2, and outputs the simulated result to the image simulating device 15A2.

第１模擬部１５１は、画像模擬装置１５Ａ２が出力する操作結果に基づいて、操作プログラム記憶部１３が記憶するプログラムを用いて、装置の運転状態の模擬を行い、模擬を行った結果を通信部１５３に出力する。 The first simulation unit 151 simulates the operating state of the device using the program stored in the operation program storage unit 13 based on the operation result output by the image simulation device 15A2, and the simulated result is the communication unit. Output to 153.

通信部１５３は、第１模擬部１５１が出力した模擬が行われた装置の運転状態の情報を画像模擬装置１５Ａ２に送信する。通信部１５３は、画像模擬装置１５Ａ２が送信した操作結果を受信し、受信した操作結果を第１模擬部１５１に出力する。 The communication unit 153 transmits the information on the operating state of the simulated device output by the first simulation unit 151 to the image simulation device 15A2. The communication unit 153 receives the operation result transmitted by the image simulation device 15A2, and outputs the received operation result to the first simulation unit 151.

画像模擬装置１５Ａ２は、例えばパーソナルコンピュータである。画像模擬装置１５Ａ２は、操作画面の画像と、装置の運転状態の３Ｄ画像の模擬を行う。操作画面に対して操作された操作結果を装置模擬装置１５Ａ１に送信する。 The image simulation device 15A2 is, for example, a personal computer. The image simulation device 15A2 simulates an image of the operation screen and a 3D image of the operating state of the device. The operation result operated on the operation screen is transmitted to the device simulation device 15A1.

第２模擬部１５２は、装置模擬装置１５Ａ１が送信した模擬が行われた装置の運転状態の情報を受信する。第２模擬部１５２は、模擬が行われた装置の運転状態の情報と、取得した操作結果に基づいて、ＤＢ１４が格納する装置の３Ｄ ＣＡＤデータと操作プログラム記憶部１３が記憶するプログラムを用いて、操作画面の画像の模擬を行う。運転状態画像模擬部１５２２は、取得した角度指示とセンサの状態や検出値に基づいて、装置の３Ｄ ＣＡＤデータとプログラムを用いて、装置が有するＰＬＣの動作の模擬を行うことで利用者が見たい角度における装置の運転状態の３Ｄ画像の模擬を行う。また、第２模擬部１５２は、操作画面の画像と装置の運転状態の３Ｄ画像を通信部１５４に出力する。 The second simulation unit 152 receives the information on the operating state of the simulated device transmitted by the device simulation device 15A1. The second simulation unit 152 uses the 3D CAD data of the device stored in the DB 14 and the program stored in the operation program storage unit 13 based on the information on the operating state of the simulated device and the acquired operation result. , Simulate the image of the operation screen. The operating state image simulation unit 1522 is viewed by the user by simulating the operation of the PLC of the device by using the 3D CAD data and the program of the device based on the acquired angle indication and the state and detected value of the sensor. A 3D image of the operating state of the device at a desired angle is simulated. Further, the second simulation unit 152 outputs an image of the operation screen and a 3D image of the operating state of the device to the communication unit 154.

通信部１５４は、第２模擬部１５２が出力する操作画面の画像と装置の運転状態の３Ｄ画像を画像表示装置１６Ａに送信する。 The communication unit 154 transmits the image of the operation screen output by the second simulation unit 152 and the 3D image of the operating state of the device to the image display device 16A.

操作部１１は、例えば視線入力装置または触覚グローブである。操作部１１は、利用者の操作結果を第２模擬部１５２に出力する。操作部１１が視線入力装置の場合、例えば操作部１１は、例えば利用者の視線が所定時間、所定位置に静止した場合に、その位置に該当するスイッチ画像が選択されたと検出する。 The operation unit 11 is, for example, a line-of-sight input device or a tactile glove. The operation unit 11 outputs the operation result of the user to the second simulation unit 152. When the operation unit 11 is a line-of-sight input device, for example, the operation unit 11 detects that, for example, when the user's line of sight is stationary at a predetermined position for a predetermined time, the switch image corresponding to that position is selected.

画像表示装置１６Ａは、例えばＶＲゴーグルである。画像模擬装置１５Ａ２が送信する操作画面の画像と装置の運転状態の３Ｄ画像を表示する。画像表示装置１６Ａは、センサ１２が検出した角度指示を画像模擬装置１５Ａ２に送信する。
センサ１２は、利用者の頭の動きを検出し、検出した検出結果（角度指示）を通信部１６３に出力する。なお、センサ１２の検出値は、仮想空間内での位置や方向検出用のトラッキング機能に用いられる。 The image display device 16A is, for example, VR goggles. The image of the operation screen transmitted by the image simulation device 15A2 and the 3D image of the operating state of the device are displayed. The image display device 16A transmits the angle instruction detected by the sensor 12 to the image simulation device 15A2.
The sensor 12 detects the movement of the user's head and outputs the detected detection result (angle instruction) to the communication unit 163. The detected value of the sensor 12 is used for the tracking function for detecting the position and direction in the virtual space.

通信部１６３は、センサ１２が出力する角度指示を画像模擬装置１５Ａ２に送信する。通信部１６３は、画像模擬装置１５Ａ２が送信した操作画面の画像と装置の運転状態の３Ｄ画像を受信し、受信した操作画面の画像と装置の運転状態の３Ｄ画像を画像表示部１６４に出力する。 The communication unit 163 transmits the angle instruction output by the sensor 12 to the image simulation device 15A2. The communication unit 163 receives the image of the operation screen transmitted by the image simulation device 15A2 and the 3D image of the operating state of the device, and outputs the received image of the operation screen and the 3D image of the operating state of the device to the image display unit 164. ..

画像表示部１６４は、通信部１６３が出力する操作画面の画像と装置の運転状態の３Ｄ画像を表示する。
操作画面表示部１６２は、操作画面の画像を表示する。
運転画像表示部１６１は、装置の３Ｄ画像（アニメーション）を表示する。画像表示装置１６ＡがＶＲゴーグルの場合は、仮想空間上に運転画像表示部１６１、操作画面表示部１６２が表示させる。 The image display unit 164 displays an image of the operation screen output by the communication unit 163 and a 3D image of the operating state of the device.
The operation screen display unit 162 displays an image of the operation screen.
The driving image display unit 161 displays a 3D image (animation) of the device. When the image display device 16A is VR goggles, the operation image display unit 161 and the operation screen display unit 162 display the image display unit 16A on the virtual space.

以上のように、本実施形態の他の構成では、装置模擬装置１５Ａ１が実機のＰＬＣのソフトを用いて、画像模擬装置１５Ａ２から受信した操作結果に応じた実機のメカ装置の模擬を行って動作演算を行い、演算結果を画像模擬装置１５Ａ２に送信するようにした。そして、本実施形態の他の構成では、画像模擬装置１５Ａ２が、実機のメカ装置の３Ｄ−ＣＡＤモデルと、装置模擬装置１５Ａ１から受信した演算結果を用いて画像表示装置１６Ａ（ＶＲデバイス）への表示内容の模擬を行って演算するようにした。そして、本実施形態の他の構成では、画像表示装置１６Ａが、メカ装置の３Ｄモデル表示（装置の３Ｄ画像）、運転監視画面（操作画面）を表示するようにした。また、本実施形態の他の構成では、利用者の操作結果を、例えば利用者の視線の動きによって周知の手法で検出し、検出した操作結果を画像模擬装置１５Ａ２に送信するようにした。さらに本実施形態の他の構成では、画像表示装置１６Ａが備えるセンサ１２が、利用者の頭の動きを検出して、検出した結果を角度指示として画像模擬装置１５Ａ２に送信するようにした。そして、本実施形態の他の構成では、画像模擬装置１５Ａ２が、画像表示装置１６Ａから受信した角度情報に基づいて、仮想空間内での位置・方向検出用のトラッキングを行い、さらに利用者が見たい角度の３Ｄ画像の模擬を行って画像表示装置１６Ａに表示させるようにした。 As described above, in the other configuration of the present embodiment, the device simulating device 15A1 operates by simulating the mechanical device of the actual machine according to the operation result received from the image simulating device 15A2 by using the software of the PLC of the actual machine. The calculation is performed, and the calculation result is transmitted to the image simulation device 15A2. Then, in another configuration of the present embodiment, the image simulation device 15A2 uses the 3D-CAD model of the mechanical device of the actual machine and the calculation result received from the device simulation device 15A1 to the image display device 16A (VR device). The display contents are simulated and calculated. Then, in another configuration of the present embodiment, the image display device 16A displays the 3D model display (3D image of the device) and the operation monitoring screen (operation screen) of the mechanical device. Further, in another configuration of the present embodiment, the operation result of the user is detected by a well-known method, for example, by the movement of the line of sight of the user, and the detected operation result is transmitted to the image simulation device 15A2. Further, in another configuration of the present embodiment, the sensor 12 included in the image display device 16A detects the movement of the user's head and transmits the detected result to the image simulation device 15A2 as an angle instruction. Then, in another configuration of the present embodiment, the image simulation device 15A2 performs tracking for position / direction detection in the virtual space based on the angle information received from the image display device 16A, and is further viewed by the user. A 3D image at a desired angle was simulated and displayed on the image display device 16A.

この構成によれば、実機に近づくことができない装置の装置動作を、操作状態に応じた現場で装置が運転されている状態を見ることができる。また、この構成によれば、実機に近づくことができない装置の動作を、色々な角度から見ることができる。この結果、本実施形態によれば、例えば汚染される等の理由で実機に近づくことができない装置の運転訓練や教育が可能となる。 According to this configuration, it is possible to see the device operation of the device that cannot approach the actual machine and the state in which the device is operated at the site according to the operating state. Further, according to this configuration, the operation of the device that cannot approach the actual machine can be seen from various angles. As a result, according to the present embodiment, it is possible to perform operation training and education of a device that cannot approach the actual machine due to, for example, contamination.

なお、本発明における運転動作模擬装置１（または１Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運転動作模擬装置１（または１Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing all or part of the functions of the driving operation simulation device 1 (or 1A) in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is recorded on the computer system. All or part of the processing performed by the operation operation simulating device 1 (or 1A) may be performed by reading and executing the operation. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. In addition, the "computer system" shall also include a WWW system provided with a homepage providing environment (or display environment). Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.

１，１Ａ…運転動作模擬装置、
１１…操作部、
１２…センサ、
１３…操作プログラム記憶部、
１４…ＤＢ、
１５…模擬部、
１５Ａ１…装置模擬装置、
１５Ａ２…画像模擬装置、
１６…画像表示部、
１６Ａ…画像表示装置、
１５１…第１模擬部、
１５２…第２模擬部
１５３…通信部、
１５４…通信部、
１５１１…アクチュエータ模擬部、
１５１２…エミュレーション部、
１５２１…操作画面模擬部、
１５２２…運転状態画像模擬部、
１６１…運転画像表示部、
１６２…操作画面表示部、
１６３…通信部、
１６４…画像表示部、 1,1A ... Driving operation simulation device,
11 ... Operation unit,
12 ... Sensor,
13 ... Operation program storage unit,
14 ... DB,
15 ... Simulated part,
15A1 ... Device simulation device,
15A2 ... Image simulation device,
16 ... Image display unit,
16A ... Image display device,
151 ... First simulation part,
152 ... 2nd simulation unit 153 ... Communication unit,
154 ... Communication Department,
1511 ... Actuator simulation unit,
1512 ... Emulation section,
1521 ... Operation screen simulation unit,
1522 ... Driving state image simulation unit,
161 ... Driving image display unit,
162 ... Operation screen display unit,
163 ... Communication Department,
164 ... Image display unit,

Claims (5)

操作画面を生成する操作画面生成部と、
前記操作画面に対する操作を受け付ける操作部と、
操作に応じた模擬対象の機械の動作の模擬を行う第１模擬部と、
前記第１模擬部が模擬を行った結果に基づいて、操作に応じた前記機械の動作を三次元画像の模擬を行い、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬部と、
前記操作画面の画像と前記三次元画像を表示する画像表示部と、
を備える運転動作模擬装置。 The operation screen generator that generates the operation screen and
An operation unit that accepts operations on the operation screen,
The first simulation unit that simulates the operation of the machine to be simulated according to the operation, and
Based on the result of the simulation performed by the first simulation unit, the operation of the machine according to the operation is simulated as a three-dimensional image, and the operation of the machine is changed by changing the display angle of the three-dimensional image according to the operation. A second simulated unit that causes the simulated operation of the machine to be displayed on the image display unit,
An image of the operation screen, an image display unit for displaying the three-dimensional image, and
A driving motion simulation device including. 前記第１模擬部は、前記機械で用いられるプログラムを用いて、操作に応じた前記機械の動作の模擬を行い、
前記第２模擬部は、前記機械の三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ用いて操作に応じた前記機械の動作を三次元画像で模擬を行う、請求項１に記載の運転動作模擬装置。 The first simulation unit simulates the operation of the machine according to the operation by using the program used in the machine.
The operation operation simulation device according to claim 1, wherein the second simulation unit simulates the operation of the machine according to the operation by using the three-dimensional CAD (Computer-Aided Design) data of the machine with a three-dimensional image. 前記画像表示部は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであり、
前記操作部は、前記画像表示部に取り付けられ、利用者の視線を検出することによって前記操作画面に対する操作を受け付ける、請求項１または請求項２に記載の運転動作模擬装置。 The image display unit is VR (Virtual Reality) goggles.
The driving operation simulating device according to claim 1 or 2, wherein the operation unit is attached to the image display unit and accepts an operation on the operation screen by detecting the line of sight of the user. 前記画像表示部は、第１の表示部と第２の表示部を備え、
前記操作画面を前記第１の表示部に表示させ、前記三次元画像を前記第２の表示部に表示させる、請求項３に記載の運転動作模擬装置。 The image display unit includes a first display unit and a second display unit.
The driving operation simulating device according to claim 3, wherein the operation screen is displayed on the first display unit, and the three-dimensional image is displayed on the second display unit. 操作画面生成部が、操作画面を生成する操作画面生成手順と、
操作部が、前記操作画面に対する操作を受け付ける操作手順と、
第１模擬部が、操作に応じた模擬対象の機械の動作の模擬を行う第１模擬手順と、
第２模擬部が、前記第１模擬部によって模擬が行われた結果に基づいて、操作に応じた前記機械の動作を三次元画像の模擬を行う手順と、
前記第２模擬部が、操作に応じて前記機械の動作を前記三次元画像の表示角度を変化させ、前記機械の模擬動作を画像表示部に表示させる第２模擬手順と、
前記画像表示部が、前記操作画面の画像と前記三次元画像を表示する画像表示手順と、
を含む運転動作模擬方法。 The operation screen generation procedure for the operation screen generator to generate the operation screen,
An operation procedure in which the operation unit accepts an operation on the operation screen,
The first simulation procedure in which the first simulation unit simulates the operation of the machine to be simulated according to the operation, and
A procedure in which the second simulation unit simulates a three-dimensional image of the operation of the machine according to the operation based on the result of the simulation performed by the first simulation unit.
A second simulation procedure in which the second simulation unit changes the display angle of the three-dimensional image for the operation of the machine according to an operation, and displays the simulation operation of the machine on the image display unit.
An image display procedure in which the image display unit displays an image of the operation screen and the three-dimensional image, and
Driving behavior simulation method including.
JP2019033255A 2019-02-26 2019-02-26 DRIVING MOTION SIMULATOR AND DRIVING MOTION SIMULATION METHOD Active JP7200004B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019033255A JP7200004B2 (en) 2019-02-26 2019-02-26 DRIVING MOTION SIMULATOR AND DRIVING MOTION SIMULATION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019033255A JP7200004B2 (en) 2019-02-26 2019-02-26 DRIVING MOTION SIMULATOR AND DRIVING MOTION SIMULATION METHOD

Publications (2)

Publication Number Publication Date
JP2020140251A true JP2020140251A (en) 2020-09-03
JP7200004B2 JP7200004B2 (en) 2023-01-06

Family

ID=72265068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019033255A Active JP7200004B2 (en) 2019-02-26 2019-02-26 DRIVING MOTION SIMULATOR AND DRIVING MOTION SIMULATION METHOD

Country Status (1)

Country Link
JP (1) JP7200004B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314318A (en) * 1993-04-30 1994-11-08 Hitachi Ltd Method and device for supporting design of control panel
JP2001042907A (en) * 1999-07-30 2001-02-16 Ricoh Co Ltd Sequence controller
JP2004148434A (en) * 2002-10-30 2004-05-27 Honda Motor Co Ltd Simulation device
JP2006107043A (en) * 2004-10-04 2006-04-20 Toyoda Mach Works Ltd Machine tool controller
JP2015093345A (en) * 2013-11-11 2015-05-18 株式会社安川電機 Robot simulation device, robot simulation method, and robot simulation program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6314318B2 (en) 2013-10-15 2018-04-25 パナソニックＩｐマネジメント株式会社 Lens barrel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06314318A (en) * 1993-04-30 1994-11-08 Hitachi Ltd Method and device for supporting design of control panel
JP2001042907A (en) * 1999-07-30 2001-02-16 Ricoh Co Ltd Sequence controller
JP2004148434A (en) * 2002-10-30 2004-05-27 Honda Motor Co Ltd Simulation device
JP2006107043A (en) * 2004-10-04 2006-04-20 Toyoda Mach Works Ltd Machine tool controller
JP2015093345A (en) * 2013-11-11 2015-05-18 株式会社安川電機 Robot simulation device, robot simulation method, and robot simulation program

Also Published As

Publication number Publication date
JP7200004B2 (en) 2023-01-06

Similar Documents

Publication Publication Date Title
KR101262848B1 (en) Apparatus of reconfigurable platform for virtual reality based training simulator
US10751877B2 (en) Industrial robot training using mixed reality
Hilfert et al. First person virtual reality for evaluation and learning of construction site safety
NL2002841C2 (en) Immersive collaborative environment using motion capture, head mounted display, and cave.
Ihemedu-Steinke et al. Virtual reality driving simulator based on head-mounted displays
US20160293037A1 (en) Method and system for generating an interactive training scenario based on a recorded real time simulation
WO2009113867A1 (en) Simulator system and method
JP6159217B2 (en) Plant operation training apparatus, control method, program, and plant operation training system
US9472119B2 (en) Computer-implemented operator training system and method of controlling the system
US20080278484A1 (en) Systems and methods for implementing haptic systems and simulated environments
CN112105486B (en) Augmented reality for industrial robots
CN111183401B (en) Monitoring system and monitoring method
KR20160020136A (en) Training system for treating disaster using virtual reality and role playing game
US20110109628A1 (en) Method for producing an effect on virtual objects
KR102165692B1 (en) Military equipment maintenance training system using a virtual reality and operating method of thereof
EP3278322A1 (en) Method and system for customizing a recorded real time simulation based on simulation metadata
Crespo et al. Virtual reality simulator for robotics learning
JP2008134373A (en) Method and system of preparing biological data for operation simulation, operation simulation method, and operation simulator
KR100936090B1 (en) The semi-immersive multi computerized numuerical control machine tools simulation system
Ye et al. Robot-assisted immersive kinematic experience transfer for welding training
JP4122434B2 (en) Usability evaluation processing system using virtual users
Wang et al. Reflections on using a game engine to develop a virtual training system for construction excavator operators
Nainggolan et al. Design of interactive virtual reality for erection steel construction simulator system using senso gloves
JP7200004B2 (en) DRIVING MOTION SIMULATOR AND DRIVING MOTION SIMULATION METHOD
Wang et al. Heavy equipment operator training via virtual modeling technologies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7200004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150