KR102093356B1

KR102093356B1 - Power plant training system using VR

Info

Publication number: KR102093356B1
Application number: KR1020190097249A
Authority: KR
Inventors: 박봉성; 노홍관; 조경남; 최성욱; 강순두; 김석배; 장미성
Original assignee: (주)포미트; 한국중부발전(주)
Priority date: 2019-08-09
Filing date: 2019-08-09
Publication date: 2020-05-29

Abstract

The present invention relates to a power plant training system using VR, capable of allowing a subject to perform training on the basis of virtual reality similar to the field through 3D immersive interactive content regarding working conditions of a power plant that can be operated by the subject; testing the work ability of the subject; and improving the work ability through repetitive virtual training. The power plant training system using VR according to the present invention includes a VR HMD (100), a VR controller (200), a simulator interface server (300), a simulator OPC client (400), a simulator OPC server (500), a HMI (600), a PLM (700), and a supervisor display (800).

Description

Power plant training system using VR

본 발명은 발전소의 근무현상에 대한 피험자가 조작 가능한 3차원 입체 실감형 인터렉티브 콘텐츠를 통해 피험자가 현장과 유사한 형태의 가상현실 기반에서 훈련을 수행할 수 있고, 피험자의 작업능력을 테스트할 수 있으며, 반복적인 가상훈련을 통해 작업능력을 향상시킬 수 있도록 한 VR을 이용한 발전소 훈련 시스템에 관한 것이다.The present invention enables the subject to perform training on the basis of a virtual reality based on a form similar to the field through the 3D stereoscopic interactive content that can be manipulated by the subject for the working phenomenon of the power plant, and to test the work ability of the subject, It is related to a power plant training system using VR that can improve work capacity through repetitive virtual training.

일반적으로 발전소 시뮬레이터 OPC 서버는 발전소 설계 또는 운전 데이터를 이용하여 운전 훈련용으로 활용되거나 디지털 제어 시스템의 적용 전 제어 로직 시험과 인터록 시험, HMI(Human Machine Interface) 시험, 제어 로직 개선 시험 등 제어 검증용으로 활용되고 있다.In general, the power plant simulator OPC server is used for driving training using power plant design or operation data, or for control verification such as control logic test and interlock test, HMI (Human Machine Interface) test, control logic improvement test before application of digital control system It is being utilized as.

이러한 시뮬레이터 OPC 서버는 원자력 발전소, 화력 발전소 등에 적용되어 운전 훈련용 또는 제어 검증용으로 활용되고 있다.This simulator OPC server is applied to nuclear power plants and thermal power plants, and is used for driving training or control verification.

시뮬레이터 OPC 서버의 충실도를 판단하는 인수시험은 냉간/열간 기동 시험, 정상 상태(steady state) 시험, 정지 시험, 기동 전 상태점검, 고장 모사 시험, 원격 기능시험, 외부 파라미터 시험, 과도(transient) 상태 시험(부하변동, malfunction, 런백, 덤프시험 등), 강사 조작반 시험 등으로 이루어진다.Acceptance tests to determine the fidelity of the simulator OPC server include cold / hot start test, steady state test, stop test, pre-start state check, failure simulation test, remote function test, external parameter test, and transient state It consists of tests (load fluctuation, malfunction, runback, dump test, etc.) and instructor control panel tests.

그리고 인수시험에서는 시뮬레이터 OPC 서버에서 계산된 값과 기준 데이터의 정확도를 계산하여 시뮬레이터 OPC 서버의 성능 기준이라고 할 수 있는 충실도를 체크한다.Also, in the acceptance test, the accuracy calculated by the simulator OPC server and the accuracy of the reference data are calculated to check the fidelity, which can be called the performance standard of the simulator OPC server.

시뮬레이터 OPC 서버의 충실도는 크게 정상 상태 연산(steady-state operation)과 과도 상태 연산(transient operation)으로 구분할 수 있다.The fidelity of the simulator OPC server can be largely divided into a steady-state operation and a transient operation.

정상 상태 연산(steady-state operation)에서의 모델 충실도는 발전소 기준 데이터가 이용 가능한 100% 부하와 25% 이상의 중간 부하대에서 시뮬레이션된 계산값과 발전소의 기준 데이터와의 모델 정확도에 기반하여 판단한다.Model fidelity in steady-state operation is determined based on the model accuracy of the simulated calculations at 100% load and 25% or more intermediate loads where plant reference data is available and the plant's reference data.

그러나 이와 같은 종래 기술의 발전소 시뮬레이터 OPC 서버는 운전조작방법을 익힐 수는 있으나 설비에서 일어나는 실질적 반응과 현상을 제시하지 못하는 한계가 있다.However, such a power plant simulator OPC server of the prior art can learn how to operate the operation, but has limitations in that it cannot present a substantial reaction and phenomenon occurring in a facility.

또한 일반적으로, 발전소는 방대한 공간상에 다양한 종류의 설비들이 복잡하게 밀집되어 있다. 이러한 발전소 운전에 필요한 기준서인 운전절차서는 인쇄물 또는 단순 스캔 형태의 문서로 보존되어 있어, 복합적으로 이루어지는 시스템의 상호연계에 따른 운전절차의 다양한 운전조건에 대응하여 학습을 하는 데에는 많은 어려움이 있다. Also, in general, a power plant is a complex space of various types of facilities. The operating procedure, which is a standard required for the operation of such a power plant, is preserved as a printed document or a document in a simple scan format, and thus has many difficulties in learning in response to various operating conditions of the operating procedure according to interconnection of a complex system.

더욱이 수년~수십 년의 근무 경력을 가진 숙련된 근무자의 경우 복잡한 기동/정지 절차 및 상세한 조작 사항을 숙지하고 있으며, 복잡한 내부 제어 로직을 이해하고 있으나 대부분의 근무자는 수시로 관련 참고 도서(운전 절차서, 공급자의 설계자료, 내부 도서 등)를 봐야 하는데 이러한 방식의 환경은 신속한 조치를 요하는 기동/정지 상황에서 플랜트의 안정적인 운전에 있어 대단히 취약할 수밖에 없는 환경이다. Moreover, skilled workers with several to several decades of work experience are familiar with complicated start / stop procedures and detailed operation, and understand the complicated internal control logic, but most workers frequently refer to related reference books (driving procedures, suppliers Design data, internal books, etc.). This type of environment is inevitably vulnerable to stable operation of the plant in a start / stop situation that requires prompt action.

따라서 발전소의 근무현장에 대한 영상을 통해 피험자가 훈련을 수행하여, 피험자의 작업능력을 테스트할 수 있고 반복적인 훈련에 의해 작업능력을 향상시킬 수 있는 발전소 훈련용 시뮬레이터 OPC 서버의 개발이 절실히 요구되고 있는 실정이다. Therefore, it is urgently needed to develop a power plant training simulator OPC server that can test the work ability of the subject through training on the work site of the power plant, and improve the work ability through repetitive training. That is true.

본 발명의 배경기술은 등록특허공보 제10-1621434호가 2016년05월10일자로 대한민국 특허청에 등록되어 있다. Background art of the present invention is registered in the Republic of Korea Patent Office No. 10-1621434 on May 10, 2016.

본 발명이 해결하고자 하는 과제는, 피험자가 조작 가능한 3차원 입체 실감형 인터렉티브 콘텐츠를 통해 피험자가 현장과 유사한 형태의 가상현실 기반에서 훈련을 수행할 수 있고, 피험자의 작업능력을 테스트할 수 있으며, 반복적인 가상훈련을 통해 작업능력을 향상시킬 수 있는 VR을 이용한 발전소 훈련 시스템을 제공하는 것이다.The problem to be solved by the present invention is that the subject can perform training on the basis of a virtual reality based on a form similar to the field through the 3D stereoscopic interactive content that can be manipulated by the subject, and test the work ability of the subject, It is to provide a power plant training system using VR that can improve work capacity through repetitive virtual training.

본 발명의 다른 해결과제는 VR HMD에게 제공되는 발전설비에 대한 훈련 데이터로는 발전소의 실시간 운전 데이터를 기반으로 사용하며 시뮬레이터 인터페이스 서버에서 VR 컨트롤러에게 제공되는 대용량의 훈련 데이터는 시뮬레이터 OPC 클라이언트 및 시뮬레이터 OPC 서버를 통해서 제공되고, HMI의 발전설비 운전화면은 소켓통신으로 시뮬레이터 인터페이스 서버에게 제공되어 안정적인 교육환경을 제공할 수 있는 VR을 이용한 발전소 훈련 시스템을 제공하는 것이다.Another problem of the present invention is based on real-time operation data of a power plant as training data for a power generation facility provided to a VR HMD, and a large amount of training data provided to a VR controller in a simulator interface server is a simulator OPC client and a simulator OPC. It is provided through the server, and the operation screen of the power generation equipment of HMI is provided to the simulator interface server through socket communication to provide a power plant training system using VR that can provide a stable educational environment.

본 발명에 따른 VR을 이용한 발전소 훈련 시스템은, VR 컨트롤러(200)로부터 발전소의 실사영상, 발전설비의 3D 모델, 조작영상의 훈련영상과 훈련 데이터, 훈련용 운전화면 등의 훈련 콘텐츠를 수신받아 화면에 표시하고, 훈련시에 피험자의 조작으로 발전설비의 훈련 데이터가 변경되면 VR 컨트롤러(200)에게 제공되며, VR 컨트롤러(200)로부터 업데이트된 VR 훈련 콘텐츠를 수신받아 화면에 표시하는 VR HMD(100)와; 발전소의 실사영상, 발전설비의 3D 모델, 조작영상의 VR 훈련영상을 저장하면서 시뮬레이터 인터페이스 서버(300)로부터 발전설비의 훈련 데이터와 훈련용 운전화면의 훈련 콘텐츠를 수신받아 VR HMD(100)와 감독관이 확인할 수 있도록 감독관 디스플레이(800)에게 제공하고, 훈련시에 VR HMD(100)에서 피험자에 의해 발전설비의 훈련 데이터가 조작 데이터로 변경되면 변경된 조작 데이터를 수신받아 시뮬레이터 인터페이스 서버(300)에게 제공하고, 시뮬레이터 인터페이스 서버(300)로부터 발전설비 조작 테이터가 업데이트된 훈련 데이터와 훈련용 운전화면을 수신받아 다시 VR HMD(100)와 감독관 디스플레이(800)에게 제공하는 VR 컨트롤러(200)와; 시뮬레이터 OPC 서버(400)로부터 발전설비에 대한 훈련 데이터를 수신받고 HMI(600)로부터 훈련용 운전화면을 수신받아 VR 컨트롤러(200)에게 제공하며, 훈련시에 VR 컨트롤러(200)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 시뮬레이터 OPC 클라이언트(400)에게 제공하고, 다시 시뮬레이터 OPC 클라이언트(400)로부터 발전설비의 조작 데이터가 업데이트된 훈련 데이터와 HMI(600)로부터 업데이트된 훈련용 운전화면을 수신받아 VR 컨트롤러(200)에게 제공하는 시뮬레이터 인터페이스 서버(300)와; 시뮬레이터 OPC 서버(500)로부터 발전소의 훈련 데이터를 수신받아 시뮬레이터 인터페이스 서버(300)에게 제공하고, 훈련시에 시뮬레이터 인터페이스 서버(300)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 시뮬레이터 OPC 서버(500)에게 제공하며, 다시 시뮬레이터 OPC 서버(500)로부터 발전설비의 조작 데이터가 업데이트된 훈련 데이터를 수신받으면 시뮬레이터 인터페이스 서버(300)에게 제공하는 시뮬레이터 OPC 클라이언트(400)와; 각각의 발전설비에 대한 훈련 데이터를 생성하여 시뮬레이터 OPC 클라이언트(400)와 HMI(600)에게 제공하고, 훈련시에 시뮬레이터 인터페이스 서버(300)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 발전설비의 훈련 데이터를 업데이트한 후에 업데이트된 훈련 데이터를 시뮬레이터 OPC 클라이언트(400)와 HMI(600)에게 제공하는 시뮬레이터 OPC 서버(500)와; VR 컨트롤러(200)에게 제공되는 발전설비 운전화면을 관리하며 시뮬레이터 OPC 서버(500)로부터 발전설비의 훈련 데이터를 제공받으면 발전설비 운전화면에 업데이트되도록 표시하고, 발전설비 운전화면을 VR HMD(100)에 표시되도록 시뮬레이터 인터페이스 서버(300)와 감독관 디스플레이(800)에게 제공하는 HMI(600)와; 발전설비에 대한 기본정보를 등록하고 VR HMD(100)에서 발전설비가 선택되면 해당 발전설비에 대한 기본정보를 감독관 디스플레이(800)에게 제공하는 PLM(700)과; VR 컨트롤러(200)로부터 화면에 표시되는 훈련영상과 HMI(600)의 발전설비 운전화면을 제공받고, PLM(700)으로부터 발전설비에 대한 기본정보를 제공받아 화면에 표시하는 감독관 디스플레이(800);를 포함하는 것을 특징으로 한다.The power plant training system using VR according to the present invention receives a training content such as a live image of a power plant, a 3D model of a power generation facility, a training image of an operation image, training data, and a training driving screen from the VR controller 200. VR HMD (100) displayed on the screen and provided to the VR controller 200 when the training data of the power generation facility is changed by the manipulation of the subject during training, and receives the updated VR training content from the VR controller 200 and displays it on the screen. )Wow; The VR HMD 100 and the supervisor receive training data of the power generation facility and training driving screens from the simulator interface server 300 while saving the actual image of the power plant, the 3D model of the power generation facility, and the VR training video of the operation image. Provided to the supervisor display 800 to check this, and when the training data of the power generation facility is changed into operation data by the subject in VR HMD 100 during training, the changed operation data is received and provided to the simulator interface server 300 And a VR controller 200 receiving the training data and training driving screen for which the power generation facility operation data is updated from the simulator interface server 300 and providing the VR HMD 100 and the supervisor display 800 again; The training data for the power generation facility is received from the simulator OPC server 400, the training driving screen is received from the HMI 600, and provided to the VR controller 200, which is changed by the subject from the VR controller 200 during training. Receiving the operation data of the power generation facility, providing it to the simulator OPC client 400, receiving the training data of the operation data of the power generation facility updated from the simulator OPC client 400 and the updated training driving screen from the HMI 600 again. A simulator interface server 300 provided to the VR controller 200; The simulator OPC server 500 receives the training data of the power plant from the simulator OPC server 500 and provides it to the simulator interface server 300, receives the operation data changed by the subject from the simulator interface server 300 at the time of training, and the simulator OPC server 500 ), And the simulator OPC client 400 that provides the simulator interface server 300 with training data updated with operation data of the power generation facility from the simulator OPC server 500 again; The training data for each power generation facility is generated and provided to the simulator OPC client 400 and the HMI 600. During training, the power generation facility operation data changed by the subject is received from the simulator interface server 300 during training. A simulator OPC server 500 that provides updated simulator data to the simulator OPC client 400 and the HMI 600 after updating the training data; Manages the power generation facility operation screen provided to the VR controller 200 and receives training data of the power generation facility from the simulator OPC server 500 so that it is displayed on the power generation facility operation screen and displays the power generation facility operation screen in the VR HMD 100 HMI 600 to provide to the simulator interface server 300 and the supervisor display 800 to be displayed on; A PLM 700 that registers basic information on the power generation facility and provides basic information on the power generation facility to the supervisor display 800 when the power generation facility is selected in the VR HMD 100; A supervisor display 800 that receives a training image displayed on the screen from the VR controller 200 and a power generation facility operation screen of the HMI 600, and receives basic information about the power generation facility from the PLM 700 and displays it on the screen; It characterized in that it comprises.

바람직하게, VR 컨트롤러(200)는, 발전소의 외부, 내부 및 발전설비에 대한 360도 파노라마 실사영상이 저장되며 발전설비의 설비명이 태그로 표시되도록 매칭되는 발전소 실사영상 등록부(201)와; 피험자가 선택할 수 있는 발전설비를 포함하는 발전소의 구조를 미니맵으로 저장하는 미니맵 등록부(202)와; 발전소에서 운영되는 발전설비의 3D 모델을 저장하면서 파노라마 실사영상을 발전설비에 매칭시키는 발전설비 3D 모델 등록부(203)와; 발전설비의 데이터를 변경시킬 수 있는 운전영상을 저장하면서 발전설비 3D 모델에 매칭시키는 발전설비 조작영상 등록부(204)와; 발전설비의 운전시 내부의 운전상태에 대한 영상을 저장하고 발전설비 3D 모델에 매칭시키는 발전설비 내부영상 등록부(205)와; 피험자의 VR HMD(100)의 화면으로 저장된 발전소의 파노라마 실사영상을 출력시키는 파노라마 실사영상 출력부(206)와; 피험자에 의해 VR HMD(100)의 화면에 표시되는 파노라마 실사영상의 발전설비가 선택되면 선택된 발전설비로 매칭된 3D 모델을 실사영상의 위치에 팝업으로 출력하는 3D 모델 출력부(207)와; 피험자에 의해 VR HMD(100)의 화면에서 표시되는 발전설비의 3D 모델을 선택하고 내부영상을 요청받으면 등록된 해당 발전설비의 내부 운전영상을 VR HMD(100)의 화면에 팝업시켜 표시하는 내부영상 출력부(208)와; 피험자에 의해 VR HMD(100)의 화면에 표시되는 발전설비의 태그가 선택되면 시뮬레이터 인터페이스 서버(300)로 발전설비의 훈련 데이터를 요청하고 시뮬레이터 인터페이스 서버(300)에서 제공된 훈련 데이터를 VR HMD(100)의 화면에 정보창을 팝업시키면서 표시하는 발전설비 데이터 출력부(209)와; 피험자에 의해 VR HMD(100)의 화면에서 훈련 데이터가 표시되는 정보창의 동작메뉴가 선택되면 표시되는 매칭된 발전설비의 조작영상을 팝업으로 출력하는 조작영상 출력부(210)와; 피험자에 의해 VR HMD(100)의 화면에 출력되는 조작영상이 조작되면 변경된 발전설비 조작 데이터를 시뮬레이터 인터페이스 서버(300)에게 제공하는 조작데이터 제공부(211)와; VR HMD(100)의 화면에 표시되는 훈련영상을 감독관 디스플레이(800)에 표시하는 훈련영상 제공부(212);를 포함하는 것을 특징으로 한다. Preferably, the VR controller 200 includes a power plant inspection image registration unit 201 that is matched so that a 360-degree panoramic inspection image of the outside, interior and power generation facilities of the power plant is stored and the facility name of the power generation facility is displayed with a tag; A mini-map registration unit 202 for storing a structure of a power plant including a power generation facility selectable by a subject as a mini-map; A power generation facility 3D model registration unit 203 for matching a panoramic photorealistic image to a power generation facility while storing a 3D model of the power generation facility operated at the power plant; A power generation facility operation image registration unit 204 that matches the 3D model of the power generation facility while storing an operation image capable of changing data of the power generation facility; A power generation facility internal image registration unit 205 that stores an image of an internal operation state during operation of the power generation facility and matches it to the 3D model of the power generation facility; A panoramic photorealistic image output unit 206 for outputting a panoramic photorealistic image of the power plant stored as a screen of the subject's VR HMD 100; A 3D model output unit 207 for outputting a 3D model matched with the selected power generation equipment as a pop-up to the location of the live-action image when the power generation facility of the panoramic photorealistic image displayed on the screen of the VR HMD 100 is selected by the subject; When the 3D model of the power generation facility displayed on the screen of the VR HMD 100 is selected by the subject and an internal video is requested, the internal driving image of the registered power generation facility is popped up on the screen of the VR HMD 100 and displayed. An output unit 208; When the tag of the power generation facility displayed on the screen of the VR HMD 100 is selected by the subject, the training data of the power generation facility is requested from the simulator interface server 300 and the training data provided by the simulator interface server 300 is applied to the VR HMD 100 ) Pops up the information window on the screen, and displays the power generation facility data output unit 209; An operation image output unit 210 for outputting, as a pop-up, the operation image of the matched power generation facility displayed when the operation menu of the information window displaying the training data is selected on the screen of the VR HMD 100 by the subject; An operation data providing unit 211 for providing changed operation equipment operation data to the simulator interface server 300 when the operation image output on the screen of the VR HMD 100 is manipulated by the subject; And a training image providing unit 212 displaying a training image displayed on the screen of the VR HMD 100 on the supervisor display 800.

본 발명에 의하면 발전소의 근무현장을 피험자가 조작 가능한 3차원 입체 실감형 인터렉티브 콘텐츠를 통해 피험자가 현장과 유사한 형태의 가상현실 기반에서 훈련을 수행할 수 있고, 피험자의 작업능력을 테스트할 수 있으며, 반복적인 가상훈련을 통해 작업능력을 향상시킬 수 있는 효과가 있다.According to the present invention, the subject can perform training on the basis of a virtual reality based on a form similar to the field through the 3D stereoscopic interactive content that can be manipulated by the subject at the work site of the power plant, and test the work ability of the subject, It has the effect of improving work ability through repetitive virtual training.

또한, VR HMD에게 제공되는 발전설비에 대한 훈련 데이터로는 발전소의 실시간 운전 데이터를 기반으로 사용하며 시뮬레이터 인터페이스 서버에서 VR 컨트롤러에게 제공되는 대용량의 훈련 데이터는 시뮬레이터 OPC 클라이언트 및 시뮬레이터 OPC 서버를 통해서 제공되고, HMI의 발전설비 운전화면은 소켓통신으로 시뮬레이터 인터페이스 서버에게 제공되어 안정적인 교육환경을 제공할 수 있는 효과가 있다.In addition, the training data for the power generation facilities provided to the VR HMD is based on real-time operation data of the power plant, and a large amount of training data provided to the VR controller in the simulator interface server is provided through the simulator OPC client and simulator OPC server. , The operation screen of the power generation equipment of HMI is provided to the simulator interface server through socket communication, thereby providing a stable educational environment.

도 1은 본 발명에 따른 VR을 이용한 발전소 훈련 시스템의 개략도.
도 2는 본 발명에 따른 VR을 이용한 발전소 훈련 시스템의 훈련장소 예시도.
도 3은 본 발명에 따른 발전설비 운전화면의 예시도.
도 4는 본 발명에 따른 VR 컨트롤러의 블록도.
도 5는 본 발명에 따른 VR HMD에 출력되는 발전설비의 실사영상의 예시도.
도 6은 본 발명에 따른 VR HMD에 출력되는 미니맵의 예시도.
도 7은 본 발명에 따른 VR HMD에 출력되는 3D 모델의 예시도.
도 8은 본 발명에 따른 VR HMD에 출력되는 발전설비의 내부영상 예시도.
도 9a, 9b는 본 발명에 따른 VR HMD에 출력되는 데이터 정보창의 예시도.
도 10a, 10b는 본 발명에 따른 VR HMD에 출력되는 발전설비의 조작영상 예시도.1 is a schematic diagram of a power plant training system using VR according to the present invention.
Figure 2 is an exemplary training place of a power plant training system using VR according to the present invention.
3 is an exemplary view of a power generation facility operation screen according to the present invention.
4 is a block diagram of a VR controller according to the present invention.
5 is an exemplary view of a live-action image of the power generation equipment output to the VR HMD according to the present invention.
6 is an exemplary view of a minimap output to a VR HMD according to the present invention.
7 is an exemplary view of a 3D model output to a VR HMD according to the present invention.
8 is an example of an internal image of a power generation facility output to a VR HMD according to the present invention.
9A and 9B are exemplary views of a data information window output to a VR HMD according to the present invention.
10A and 10B are exemplary views of an operation image of a power generation facility output to a VR HMD according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 대하여 자세히 살펴본다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1에 도시된 바와 같이, 본 발명에 따른 VR을 이용한 발전소 훈련 시스템은 VR HMD(100), VR 컨트롤러(200), 시뮬레이터 인터페이스 서버(300), 시뮬레이터 OPC 클라이언트(400), 시뮬레이터 OPC 서버(500), HMI(600), PLM(700), 감독관 디스플레이(800)를 포함한다.As shown in FIG. 1, a power plant training system using VR according to the present invention includes a VR HMD 100, a VR controller 200, a simulator interface server 300, a simulator OPC client 400, and a simulator OPC server 500. ), HMI 600, PLM 700, and supervisor display 800.

VR HMD(100)는 VR 컨트롤러(200)로부터 발전소의 실사영상, 발전설비의 3D 모델, 조작영상의 훈련영상과 훈련 데이터, 훈련용 운전화면 등의 VR 훈련 콘텐츠를 수신받아 화면에 표시하고, 훈련시에 피험자의 조작으로 발전설비가 조작되면 조작 데이터를 VR 컨트롤러(200)에게 제공하며, VR 컨트롤러(200)로부터 발전설비의 조작 데이터가 업데이트된 VR 훈련 콘텐츠를 수신받는다. The VR HMD 100 receives VR training contents such as a live image of a power plant, a 3D model of a power generation facility, a training image of an operation image, training data, and a driving screen for training, from the VR controller 200, and displays it on the screen. When the power generation facility is operated by the subject's manipulation, the operation data is provided to the VR controller 200, and the VR training content updated with the operation data of the power generation facility is received from the VR controller 200.

VR 컨트롤러(200)는 발전소의 실사영상, 발전설비의 3D 모델, 조작영상의 VR 훈련영상을 저장하면서 시뮬레이터 인터페이스 서버(300)로부터 발전설비의 훈련 데이터와 훈련용 운전화면의 훈련 콘텐츠를 수신받아 VR HMD(100)와 감독관이 확인할 수 있도록 감독관 디스플레이(800)에게 제공한다. 또한, VR 컨트롤러(200)는 훈련시에 VR HMD(100)에서 피험자에 의해 발전설비의 훈련 데이터가 조작 데이터로 변경되면 변경된 조작 데이터를 수신받아 시뮬레이터 인터페이스 서버(300)에게 제공하고, 시뮬레이터 인터페이스 서버(300)로부터 발전설비 조작 테이터가 업데이트된 훈련 데이터와 훈련용 운전화면을 수신받아 다시 VR HMD(100)와 감독관 디스플레이(800)에게 제공한다. 이러한 VR 컨트롤러(200)는 하나의 VR HMD(100)가 연결되거나 또는 다수개의 VR HMD(100)가 연결될 수 있다. 또한 VR 컨트롤러(200)는 하나의 감독관 디스플레이(800)가 연결되거나 또는 다수개의 감독관 디스플레이(800)가 연결될 수 있다. The VR controller 200 receives the training data of the power generation facility and the training content of the training screen from the simulator interface server 300 while storing the VR image of the power plant, the 3D model of the power generation facility, and the operation image of the power plant VR. It is provided to the supervisor display 800 for the HMD 100 and the supervisor to check. In addition, the VR controller 200 receives the changed operation data when the training data of the power generation facility is changed into operation data by the subject in the VR HMD 100 during training, and provides the changed operation data to the simulator interface server 300, and the simulator interface server The power generation facility operation data is received from 300 and updated training data and a driving screen for training are provided to the VR HMD 100 and the supervisor display 800 again. One VR HMD 100 may be connected to the VR controller 200 or a plurality of VR HMDs 100 may be connected. In addition, the VR controller 200 may be connected to one supervisor display 800 or multiple supervisor displays 800.

시뮬레이터 인터페이스 서버(300)는 시뮬레이터 OPC 서버(400)로부터 발전설비에 대한 훈련 데이터를 수신받고 HMI(600)로부터 훈련용 운전화면을 수신받아 VR 컨트롤러(200)에게 제공한다. 또한 시뮬레이터 인터페이스 서버(300)는 훈련시에 VR 컨트롤러(200)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 시뮬레이터 OPC 클라이언트(400)에게 제공하고, 다시 시뮬레이터 OPC 클라이언트(400)로부터 발전설비의 조작 데이터가 업데이트된 훈련 데이터와 HMI(600)로부터 업데이트된 훈련용 운전화면을 수신받아 VR 컨트롤러(200)에게 제공한다. 시뮬레이터 인터페이스 서버(300)는 다수개의 VR 컨트롤러(200)가 사용되면 각각에 동일한 훈련 데이터를 제공하거나 또는 각각 별도의 훈련 데이터를 제공할 수 있다.The simulator interface server 300 receives training data for a power generation facility from the simulator OPC server 400 and receives a training driving screen from the HMI 600 and provides it to the VR controller 200. In addition, the simulator interface server 300 receives the operation data of the power generation facility changed by the subject from the VR controller 200 during training and provides it to the simulator OPC client 400, and again operates the power generation facility from the simulator OPC client 400. The training data for which the data is updated and the updated driving screen for training are received from the HMI 600 and provided to the VR controller 200. When multiple VR controllers 200 are used, the simulator interface server 300 may provide the same training data to each or separate training data.

시뮬레이터 OPC 클라이언트(400)는 시뮬레이터 OPC 서버(500)로부터 발전소의 훈련 데이터를 수신받아 시뮬레이터 인터페이스 서버(300)에게 제공하고, 훈련시에 시뮬레이터 인터페이스 서버(300)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 시뮬레이터 OPC 서버(500)에게 제공한다. 그리고, 다시 시뮬레이터 OPC 서버(500)로부터 발전설비의 조작 데이터가 업데이트된 훈련 데이터를 수신받으면 시뮬레이터 인터페이스 서버(300)에게 제공한다.The simulator OPC client 400 receives the training data of the power plant from the simulator OPC server 500 and provides it to the simulator interface server 300, and receives the power generation facility operation data changed by the subject from the simulator interface server 300 during training. Received and provided to the simulator OPC server 500. Then, when the training data of the operation data of the power generation facility is received from the simulator OPC server 500 again, it is provided to the simulator interface server 300.

시뮬레이터 OPC 서버(500)는 실제 발전소의 발전설비와 매우 유사하게 생성된 가상의 훈련 데이터를 생성하여 시뮬레이터 OPC 클라이언트(400)와 HMI(600)에게 제공하고, 훈련시에 시뮬레이터 인터페이스 서버(300)로부터 피험자에 의해 변경된 발전설비 조작 데이터를 수신받아 발전설비의 훈련 데이터를 업데이트한 후에 업데이트된 훈련 데이터를 시뮬레이터 OPC 클라이언트(400)와 HMI(600)에게 제공한다. 이때, 시뮬레이터 OPC 서버(500)는 다수의 VR HMD(100)에서 그룹으로 훈련이 진행되면 하나의 훈련 데이터를 사용하여 관리하거나 또는 VR HMD(100) 마다 별도로 구분하여 훈련 데이터를 사용하여 관리할 수 있다.The simulator OPC server 500 generates virtual training data generated very similar to the power plant of a real power plant and provides it to the simulator OPC client 400 and the HMI 600, and from the simulator interface server 300 during training. After receiving the operation data of the power generation facility changed by the subject and updating the training data of the power generation facility, the updated training data is provided to the simulator OPC client 400 and the HMI 600. At this time, the simulator OPC server 500 may be managed by using one training data when training is performed in a group in a plurality of VR HMDs 100 or separately using training data separately for each VR HMD 100. have.

HMI(600)는 VR 컨트롤러(200)에게 제공되는 발전설비 운전화면을 관리하며 시뮬레이터 OPC 서버(500)로부터 발전설비의 훈련 데이터를 제공받으면 발전설비 운전화면에 업데이트되도록 표시하고, 발전설비 운전화면을 VR HMD(100)에 표시되도록 시뮬레이터 인터페이스 서버(300)와 감독관 디스플레이(800)에게 제공한다. 도 3에 도시된 바와 같이, HMI(600)의 발전설비 운전화면에는 마크가 발전설비에 레이업되면서 표시되어 피험자가 발전설비를 선택하면 VR HMD(100)의 화면에 표시되도록 하는 것이 바람직하다. 즉, 피험자에 발전설비 운전화면의 마크가 선택되면 VR 컨트롤러(200)는 선택된 발전설비의 실사영상을 VR HMD(100)와 감독관 디스플레이(800)에 표시되도록 제공하게 된다. 이때, HMI(600)는 시뮬레이터 인터페이스 서버(300)에 소켓통신으로 연결되어 발전설비 운전화면을 제공하는 것이 바람직하다. HMI 600 manages the power generation facility operation screen provided to the VR controller 200, and when training data of the power generation facility is provided from the simulator OPC server 500, the HMI 600 displays the power generation facility operation screen to be updated and displays the power generation facility operation screen. It is provided to the simulator interface server 300 and the supervisor display 800 to be displayed on the VR HMD 100. As shown in FIG. 3, it is preferable that a mark is displayed on the power generation facility operation screen of the HMI 600 while being laid up on the power generation facility, and displayed on the screen of the VR HMD 100 when the subject selects the power generation facility. That is, when a mark of the power generation facility operation screen is selected for the subject, the VR controller 200 provides a live image of the selected power generation facility to be displayed on the VR HMD 100 and the supervisor display 800. At this time, the HMI 600 is preferably connected to the simulator interface server 300 through socket communication to provide a power generation facility operation screen.

PLM(700)은 발전설비에 대한 도면, 메뉴얼 등의 기본정보가 등록되어 있으며 VR HMD(100)에서 발전설비가 선택되면 해당 발전설비에 대한 기본정보를 감독관 디스플레이(800)에게 제공된다.In the PLM 700, basic information such as drawings and manuals for power generation facilities are registered, and when power generation facilities are selected in the VR HMD 100, the basic information about the power generation facilities is provided to the supervisor display 800.

감독관 디스플레이(800)는 VR 컨트롤러(200)로부터 화면에 표시되는 훈련영상과 HMI(600)의 발전설비 운전화면을 제공받아 화면에 표시한다. 또한, 감독관 디스플레이(800)는 PLM(700)으로부터 발전설비에 대한 기본정보를 제공받아 화면에 함께 표시하는 것이 바람직하다. 이에 따라 훈련 감독관은 피험자의 VR HMD(100)의 화면에 표시되는 영상을 실시간으로 확인하여 피험자가 발전설비를 정확하게 조작하였는지 부정확하게 조작하였는지 판단할 수 있다. The supervisor display 800 receives the training image displayed on the screen from the VR controller 200 and the operation screen of the power generation facility of the HMI 600 and displays it on the screen. In addition, it is preferable that the supervisor display 800 receives basic information about the power generation facility from the PLM 700 and displays it together on the screen. Accordingly, the training supervisor can determine whether the subject has correctly or incorrectly operated the power generation facility by checking the image displayed on the screen of the subject's VR HMD 100 in real time.

도 4에 도시된 바와 같이, 본 발명의 VR 컨트롤러(200)는 발전소 실사영상 등록부(201), 미니맵 등록부(202), 발전설비 3D 모델 등록부(203), 발전설비 조작영상 등록부(204), 발전설비 내부영상 등록부(205), 파노라마 실사영상 출력부(206), 3D 모델 출력부(207), 내부영상 출력부(208), 발전설비 데이터 출력부(209), 조작영상 출력부(210), 조작데이터 제공부(211), 훈련영상 제공부(212)를 포함한다.As shown in FIG. 4, the VR controller 200 of the present invention includes a power plant live image registration unit 201, a minimap registration unit 202, a power generation facility 3D model registration unit 203, and a power generation facility operation image registration unit 204, Power generation facility internal image registration unit 205, panoramic photorealistic image output unit 206, 3D model output unit 207, internal image output unit 208, power generation facility data output unit 209, operation image output unit 210 , An operation data providing unit 211 and a training image providing unit 212.

발전소 실사영상 등록부(201)는 발전소의 외부, 내부 및 발전설비에 대한 360도 파노라마 실사영상을 저장한다. 그리고, 발전소 360도 파노라마 실사영상의 발전설비는 발전설비의 설비명이 태그로 표시되고, 설비상태 보기메뉴가 표시된다. 이러한 발전소의 실사영상을 통해 발전소 현장을 직접 걸어다니는 것과 같은 생생한 현장감을 제공하여 교육 효과를 높일 수 있게 된다. 360도 파노라마 실사영상은 360도 파노라마 실사영상 제작장비를 이용하여 제작되며 발전소의 외부 및 내부 전경과 보일러, 터빈 주요계통의 밸브 등의 발전설비를 포함한다. The power plant due diligence image registration unit 201 stores a 360 degree panoramic due diligence image of the outside, inside and power generation facilities of the power plant. In addition, the power generation facility of the 360-degree panoramic photorealistic image of the power plant is displayed with a tag of the facility name of the power generation facility, and a view menu of the facility status is displayed. Through this live-action video of the power plant, it is possible to increase the educational effect by providing a vivid sense of reality such as walking directly on the power plant site. The 360-degree panoramic photorealistic image is produced using the 360-degree panoramic photorealistic image production equipment, and includes power generation facilities such as the exterior and interior views of the power plant and valves of boilers and turbine main systems.

미니맵 등록부(202)는 피험자가 선택할 수 있는 발전설비를 포함하는 발전소의 구조를 미니맵으로 저장한다. 미니맵은 층별로 구분되어 있으며 피험자가 미니맵의 층을 선택하고 특정 위치를 선택하면 VR HMD(100)의 화면에 선택된 위치의 실사영상이 표시된다. 또한, 피험자가 미니맵의 발전설비를 선택하면 발전설비의 훈련 데이터가 표시되는 정보창이 팝업되면서 표시된다.The minimap registration unit 202 stores a structure of a power plant including a power generation facility that can be selected by a subject as a minimap. The minimap is divided into layers, and when a subject selects a layer of the minimap and selects a specific location, a photorealistic image of the selected location is displayed on the screen of the VR HMD 100. In addition, when the subject selects the power generation facility of the mini-map, an information window displaying training data of the power generation facility pops up and is displayed.

발전설비 3D 모델 등록부(203)는 발전소에서 운영되는 발전설비의 3D 모델을 저장하면서 파노라마 실사영상의 발전설비에 매칭시킨다.The power generation facility 3D model registration unit 203 stores the 3D model of the power generation facility operated in the power plant and matches it with the power generation facility of the panoramic photorealistic image.

발전설비 조작영상 등록부(204)는 발전설비의 데이터를 변경시킬 수 있는 운전영상을 저장하면서 발전설비 3D 모델에 매칭시킨다. The power generation facility operation image registration unit 204 stores the operation image capable of changing the data of the power generation facility and matches it with the 3D model of the power generation facility.

발전설비 내부영상 등록부(205)는 발전설비의 운전시 내부의 운전상태에 대한 영상을 저장하고 발전설비 3D 모델에 매칭시킨다. 이때, 내부영상은 3D로 작성되거나 또는 2D 영상으로 작성될 수 있다. The power generation facility internal image registration unit 205 stores an image of the internal operation state during operation of the power generation facility and matches it to the 3D model of the power generation facility. At this time, the internal image may be created in 3D or 2D image.

파노라마 실사영상 출력부(206)는 피험자의 VR HMD(100)의 화면으로 저장된 발전소의 파노라마 실사영상을 출력시킨다(도 5 참조). 이때, 발전소 파노라마 실사영상 출력부(206)는 파노라마 실사영상과 함께 미니맵도 함께 출력시키는 것이 바람직하다(도 6 참조). 피험자가 미니맵의 층을 선택하고 특정 위치를 선택하면 VR HMD(100)의 화면에 선택된 위치의 실사영상이 표시되게 된다.The panoramic photorealistic image output unit 206 outputs a panoramic photorealistic image of the power plant stored as a screen of the subject's VR HMD 100 (see FIG. 5). At this time, it is preferable that the power plant panoramic photorealistic image output unit 206 outputs a minimap together with the panoramic photorealistic image (see FIG. 6). When the subject selects a layer of the minimap and selects a specific location, the live image of the selected location is displayed on the screen of the VR HMD 100.

3D 모델 출력부(207)는 피험자에 의해 VR HMD(100)의 화면에 표시되는 파노라마 실사영상의 발전설비의 설비상태보기 메뉴가 선택되면 선택된 발전설비로 매칭된 3D 모델을 실사영상의 위치에 팝업으로 출력한다(도 7 참조). 이에 따라 피험자는 발전설비의 3D 모델을 이용하여 발전설비의 모습을 자세히 확인할 수 있게 된다.The 3D model output unit 207 pops up the 3D model matched with the selected power generation equipment to the location of the live image if the menu for viewing the facility status of the power generation facility of the panoramic photorealistic image displayed on the screen of the VR HMD 100 is selected by the subject. Output (see FIG. 7). Accordingly, the subject can use the 3D model of the power generation facility to check the state of the power generation facility in detail.

내부영상 출력부(208)는 피험자에 의해 VR HMD(100)의 화면에서 표시되는 발전설비의 3D 모델을 선택하고 내부영상을 요청받으면 등록된 해당 발전설비의 내부 운전영상을 VR HMD(100)의 화면에 팝업시켜 표시한다(도 8 참조). 이에 따라 피험자는 발전설비의 내부에서 운전되는 모습을 자세히 확인할 수 있게 된다.The internal image output unit 208 selects the 3D model of the power generation facility displayed on the screen of the VR HMD 100 by the subject and when the internal image is requested, displays the internal driving image of the registered power generation facility in the VR HMD 100. It is displayed by popping up on the screen (see FIG. 8). Accordingly, the subject can check the operation of the power generation facility in detail.

발전설비 데이터 출력부(209)는 피험자에 의해 VR HMD(100)의 화면에 표시되는 발전설비의 태그가 선택되거나 또는 미니맵으로 표시되는 발전설비가 선택되면 시뮬레이터 인터페이스 서버(300)로 발전설비의 훈련 데이터를 요청하고 시뮬레이터 인터페이스 서버(300)에서 제공된 훈련 데이터를 VR HMD(100)의 화면에 정보창을 팝업시키면서 표시한다(도 9a 참조). 이때, 발전설비의 훈련 데이터는 훈련시점에서는 시뮬레이터 인터페이스 서버(300)에서 생성된 기본 데이터가 사용되고, 훈련과정에서 변경된 경우에는 변경된 조작 데이터가 업데이트되어 사용된다. When the power generation facility data output unit 209 selects the power generation facility tag displayed on the screen of the VR HMD 100 or the power generation facility indicated by the minimap by the subject, the simulator interface server 300 displays the power generation facility data. Request training data and display the training data provided from the simulator interface server 300 while popping up an information window on the screen of the VR HMD 100 (see FIG. 9A). At this time, as the training data of the power generation facility, the basic data generated by the simulator interface server 300 is used at the time of training, and when the training process is changed, the changed operation data is updated and used.

조작영상 출력부(210)는 피험자에 의해 VR HMD(100)의 화면에서 훈련 데이터가 표시되는 정보창의 동작메뉴가 선택되면 표시되는 매칭된 발전설비의 조작영상을 팝업으로 출력한다(도 10a, 도 10b 참조). 이에 따라 피험자는 조작컨트롤러를 사용하여 조작할 수 있게 된다. The manipulation image output unit 210 outputs, as a pop-up, the manipulation image of the matched power generation facility displayed when the operation menu of the information window displaying the training data is selected by the subject on the screen of the VR HMD 100 (FIG. 10A, FIG. 10b). Accordingly, the subject can be operated using the operation controller.

조작데이터 제공부(211)는 피험자에 의해 VR HMD(100)의 화면에 출력되는 조작영상이 조작되면 변경된 발전설비 조작 데이터를 시뮬레이터 인터페이스 서버(300)에게 제공한다. 이때, 정보창이 함께 팝업되는 경우에 정보창의 데이터도 조작 데이터로 실시간으로 변경하는 것이 바람직하다. 이러한 발전설비의 조작으로 데이터가 변경되면 변경된 조작 데이터는 시뮬레이터 인터페이스 서버(300)와 시뮬레이터 OPC 클라이언트(400)를 거쳐 시뮬레이터 OPC 서버(500)에게 제공되어 훈련 데이터를 업데이트하게 되며, 시뮬레이터 OPC 서버(500)에서 업데이트된 훈련 데이터는 다시 시뮬레이터 OPC 클라이언트(400)와 시뮬레이터 인터페이스 서버(300)를 거쳐 VR 컨트롤러(200)에게 제공되게 된다.The operation data providing unit 211 provides the simulator interface server 300 with the changed power generation facility operation data when the operation image output on the screen of the VR HMD 100 is manipulated by the subject. At this time, when the information window pops up together, it is preferable to change the data of the information window in real time as the manipulation data. When the data is changed by the operation of the power generation facility, the changed operation data is provided to the simulator OPC server 500 through the simulator interface server 300 and the simulator OPC client 400 to update training data, and the simulator OPC server 500 ), The updated training data is provided to the VR controller 200 through the simulator OPC client 400 and the simulator interface server 300 again.

훈련영상 제공부(212)는 VR HMD(100)의 화면에 표시되는 훈련영상을 감독관 디스플레이(800)에 표시한다. 이에 따라 훈련 감독관은 피험자의 VR에 표시되는 영상을 실시간으로 확인하여 피험자가 발전설비를 정확하게 조작하였는지 부정확하게 조작하였는지 판단할 수 있다. The training image providing unit 212 displays the training image displayed on the screen of the VR HMD 100 on the supervisor display 800. Accordingly, the training supervisor can determine whether the subject has correctly or incorrectly operated the power generation facility by checking the image displayed on the subject's VR in real time.

이러한 VR을 이용한 발전소 훈련 시스템에 의해서 발전소의 발전설비를 교육받는 피험자는 VR HMD(100)에게 제공되는 발전소의 실사영상을 따라 이동하면서 발전소의 구조, 발전설비의 설치위치 등을 파악할 수 있게 되며, 실사영상의 발전설비를 선택하면 출력되는 발전설비의 3D 모델을 운전조작하여 반영되는 발전소의 운전상황을 확인할 수 있어 교육 효과를 증가시킬 수 있게 된다. 또한, 피험자가 조작한 조작 데이터에 따라 발전설비의 3D 모델이 조작되는 현상을 확인할 수 있어 교육 효과를 증가시킬 수 있게 된다.Subjects who are trained in the power generation facilities of the power plant by the power plant training system using the VR can follow the live image of the power plant provided to the VR HMD 100 and grasp the structure of the power plant, the installation location of the power generation facilities, and the like. When the power generation facility of the live-action image is selected, the operation status of the reflected power plant can be checked by operating the 3D model of the output power generation facility, thereby increasing the educational effect. In addition, it is possible to confirm the phenomenon in which the 3D model of the power generation facility is operated according to the manipulation data manipulated by the subject, thereby increasing the educational effect.

이러한 본 발명에 따른 VR을 이용한 발전소 훈련 시스템의 교육과정에 대하여 살펴본다.The curriculum of the power plant training system using VR according to the present invention will be described.

먼저, 시뮬레이터 OPC 서버(500)에는 발전소의 발전설비가 포함된 가상모델과 각각의 발전설비에 대한 데이터가 저장되어 있으며 발전설비의 훈련 데이터로 사용된다. 그리고, VR 컨트롤러(200)에는 발전소의 실사영상, 발전설비의 3D 모델, 조작영상의 VR 훈련영상 등이 저장되어 있다.First, the simulator OPC server 500 stores a virtual model including power generation facilities of the power plant and data for each power generation facility, and is used as training data of the power generation facility. In addition, the VR controller 200 stores a live-action image of a power plant, a 3D model of a power generation facility, and a VR training image of an operation image.

발전소에 대한 훈련이 시작되면 피험자가 착용한 VR HMD(100)의 화면에 VR 컨트롤러(200)로부터 수신된 발전소의 360도 파노라마 실사영상이 표시되고(도 5 참조), 전체 발전소의 파노라마 실사영상이 미니맵으로도 함께 표시된다(도 6참조). 또한, VR 컨트롤러(200)로부터 수신된 훈련용 운전화면이 표시된다. 이때, 피험자는 미니맵의 파노라마 실사영상에 표시되는 태그를 선택하여 VR HMD(100)의 화면에 표시되는 발전소의 위치를 변경할 수 있다. 이에 따라 피험자는 VR HMD(100)의 화면에 표시되는 발전소의 실시영상을 따라 이동하면서 발전소의 구조, 설치된 발전설비의 위치를 확인할 수 있게 된다. When training for the power plant starts, a 360-degree panoramic photorealistic image of the power plant received from the VR controller 200 is displayed on the screen of the VR HMD 100 worn by the subject (see FIG. 5), and the panoramic real-time image of the entire power plant is displayed. Also displayed as a mini-map (see FIG. 6). In addition, a training driving screen received from the VR controller 200 is displayed. At this time, the subject can change the position of the power station displayed on the screen of the VR HMD 100 by selecting a tag displayed on the panoramic photorealistic image of the minimap. Accordingly, the subject can check the structure of the power plant and the location of the installed power generation facility while moving along the implementation image of the power plant displayed on the screen of the VR HMD 100.

또한, 발전소에 대한 훈련이 시작되면 감독관이 확인할 수 있도록 감독관 디스플레이(800)는 VR 컨트롤러(200)로부터 화면에 표시되는 영상을 제공받고, HMI(600)로부터 발전설비 운전화면을 제공받고, PLM(700)로부터 발전설비에 대한 도면, 매뉴얼 등의 기본정보를 제공받아 화면에 표시하게 된다(도 2참조). 이때, 감독관 디스플레이(800)는 2개로 구분되어 일측화면에는 VR HMD(100)에서 출력되는 영상이 표시되고, 타측화면에는 PLM(700)에 저장된 발전설비의 기본정보가 표시되는 것이 바람직하다(도 9b 참조).In addition, the supervisor display 800 receives the image displayed on the screen from the VR controller 200 so that the supervisor can check when the training for the power plant is started, receives the operation screen of the power generation facility from the HMI 600, and the PLM ( 700) is provided with basic information such as drawings and manuals for the power generation facility and displayed on the screen (see FIG. 2). At this time, it is preferable that the supervisor display 800 is divided into two, and an image output from the VR HMD 100 is displayed on one screen and basic information of the power generation facility stored in the PLM 700 is displayed on the other screen (FIG. See 9b).

그리고, 피험자가 VR HMD(100)의 화면에 표시되는 실사영상의 발전설비에 매칭된 설비상태보기 메뉴를 선택하면 VR 컨트롤러(200)는 대응되도록 저장된 3D 모델이 실사영상의 발전설비에 오버랩되면서 표시하게 된다. 이에 따라 피험자는 발전설비의 3D 모델을 이용하여 다양한 위치에서 발전설비의 모습을 자세히 확인할 수 있게 된다(도 7 참조).Then, when the subject selects the facility status view menu matched with the power generation facility of the photorealistic image displayed on the screen of the VR HMD 100, the VR controller 200 displays the 3D model stored so as to overlap with the power generation facility of the photorealistic image. Is done. Accordingly, the subject can use the 3D model of the power generation facility to check the shape of the power generation facility in various locations in detail (see FIG. 7).

또한, 피험자에 의해 VR HMD(100)의 화면에서 표시되는 발전설비의 3D 모델을 선택하고 내부작동상태 메뉴가 선택되면 등록된 해당 발전설비의 내부 운전영상을 VR HMD(100)의 화면에 팝업시켜 표시한다. 이에 따라 피험자는 발전설비의 내부에서 운전되는 모습을 자세히 확인할 수 있게 된다(도 8 참조).In addition, when the 3D model of the power generation facility displayed on the screen of the VR HMD 100 is selected by the subject and the internal operation state menu is selected, the registered internal operation image of the generated power generation facility is popped up on the screen of the VR HMD 100. Display. Accordingly, the subject can check in detail the state of operation inside the power generation facility (see FIG. 8).

한편, 피험자가 VR HMD(100)의 화면에 표시되는 발전설비의 운전정보를 확인하고자 하는 경우에 화면에 표시되는 발전설비의 설비명이 표시되는 태그를 선택하거나 또는 미니맵으로 표시되는 발전설비를 선택하면 VR 컨트롤러(200)는 실시간으로 시뮬레이터 인터페이스 서버(300)에 해당 발전설비의 훈련 데이터를 요청하고 시뮬레이터 인터페이스 서버(300)로부터 수신된 훈련 데이터를 정보창으로 팝업시키면서 표시한다(도 9a 참조). 이때, 훈련 데이터는 VR 컨트롤러(200), 시뮬레이터 인터페이스 서버(300), 시뮬레이터 OPC 클라이언트(400), 시뮬레이터 OPC 서버(500)를 통해서 실시간으로 제공받게 된다. 이에 따라 피험자는 VR HMD(100)의 화면에 표시되는 발전설비의 훈련 데이터를 확인할 수 있다. On the other hand, when the subject wants to check the operation information of the power generation facility displayed on the screen of the VR HMD 100, select the tag displaying the facility name of the power generation facility displayed on the screen or select the power generation facility displayed by the minimap. When the VR controller 200 requests the training data of the power generation facility to the simulator interface server 300 in real time and displays the training data received from the simulator interface server 300 as a pop-up to the information window (see FIG. 9A). At this time, the training data is provided in real time through the VR controller 200, the simulator interface server 300, the simulator OPC client 400, and the simulator OPC server 500. Accordingly, the subject can check the training data of the power generation facility displayed on the screen of the VR HMD 100.

그리고, 피험자가 발전설비를 운전하고자 하는 경우에 피험자가 VR HMD(100) 화면에서 표시되는 정보창의 동작메뉴가 선택되면 표시되는 매칭된 발전설비의 조작영상이 팝업으로 출력된다(도 10a, 도 10b 참조).And, when the subject wants to operate the power generation facility, when the operation menu of the information window displayed on the VR HMD 100 screen is selected, an operation image of the matched power generation facility displayed is output as a pop-up (FIGS. 10A and 10B). Reference).

그 후, 피험자에 의해 VR HMD(100)의 화면에 출력되는 조작영상이 조작되면 변경된 발전설비 조작 데이터는 VR 컨트롤러(200)에게 제공되고 순차적으로 시뮬레이터 OPC 서버(500)에게 제공되어 훈련 데이터로 업데이트된다. 이때, 조작 데이터는 VR 컨트롤러(200), 시뮬레이터 인터페이스 서버(300), 시뮬레이터 OPC 클라이언트(400)를 거쳐 시뮬레이터 OPC 서버(500)에게 제공되어 훈련 데이터로 업데이트되어 반영되며, 업데이트된 훈련데이터는 다시 시뮬레이터 OPC 서버(500)에서 시뮬레이터 OPC 클라이언트(400), 시뮬레이터 인터페이스 서버(300), VR 컨트롤러(200)를 거쳐 VR HMD(100)에게 제공된다. 그리고, 시뮬레이터 OPC 서버(500)에서 업데이트된 훈련 데이터는 HMI(600)에게 제공되어 훈련용 운전화면에 표시되게 된다.Then, when the manipulation image output on the screen of the VR HMD 100 is manipulated by the subject, the changed power generation facility operation data is provided to the VR controller 200 and sequentially provided to the simulator OPC server 500 to be updated with training data. do. At this time, the operation data is provided to the simulator OPC server 500 through the VR controller 200, the simulator interface server 300, and the simulator OPC client 400 and updated and reflected as training data, and the updated training data is again simulator The OPC server 500 is provided to the VR HMD 100 through the simulator OPC client 400, the simulator interface server 300, and the VR controller 200. Then, the training data updated in the simulator OPC server 500 is provided to the HMI 600 to be displayed on the driving screen for training.

이러한 과정을 통해서 VR HMD의 피험자는 발전소의 360도 파노라마 실사용상을 확인하면서 걸어서 이동하거나 또는 미니맵으로 표시되는 태그를 선택하여 이동하면서 발전소의 구조를 확인하고 설치된 발전설비의 3D 모델과 조작영상을 확인하여 용이하게 숙지할 수 있으며 감독관은 감독관 디스플레이에 표시되는 피험자의 VR HMD에 출력되는 영상을 확인하면서 피험자의 교육상태를 확인할 수 있게 된다.Through this process, the VR HMD test subject moves through the 360-degree panoramic view of the power plant while walking, or checks the structure of the power plant while moving by selecting a tag displayed as a mini-map, and displays the 3D model and operation image of the installed power generation facility. It can be easily understood by checking, and the supervisor can check the education status of the subject while checking the image output on the subject's VR HMD displayed on the supervisor's display.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will appreciate that the present invention may be implemented in other specific forms without changing its technical spirit or essential characteristics. Therefore, the embodiments described above are illustrative in all respects and should be understood as non-limiting, and the scope of the present invention is indicated by the following claims rather than the detailed description, and the meaning and scope of the claims and their equivalent concepts It should be interpreted that any altered or modified form derived from is included in the scope of the present invention.

100 : VR HMD 200 : VR 컨트롤러
201 : 발전소 실사영상 등록부 202 : 미니맵 등록부
203 : 발전설비 3D 모델 등록부 204 : 발전설비 조작영상 등록부
205 : 발전설비 내부영상 등록부 206 : 파노라마 실사영상 출력부
207 : 3D 모델 출력부 208 : 내부영상 출력부
209 : 발전설비 데이터 출력부 210 : 조작영상 출력부
211 : 조작데이터 제공부 212 : 훈련영상 제공부
300 : 시뮬레이터 인터페이스 서버
400 : 시뮬레이터 OPC 클라이언트
500 : 시뮬레이터 OPC 서버 600 : HMI
700 : PLM 800 : 감독관 디스플레이100: VR HMD 200: VR controller
201: Power plant live image registration unit 202: Minimap registration unit
203: 3D model register for power generation equipment 204: Operation video registration for power generation equipment
205: power generation facility internal image registration unit 206: panoramic photorealistic image output unit
207: 3D model output unit 208: internal image output unit
209: power generation facility data output unit 210: operation image output unit
211: operation data providing unit 212: training video providing unit
300: simulator interface server
400: simulator OPC client
500: simulator OPC server 600: HMI
700: PLM 800: Supervisor display

Claims

The VR controller 200 receives the actual image of the power plant, the 3D model of the power generation facility, the training image of the operation image, the training data of the training image, and the training content of the training driving screen, displays it on the screen, and generates the power generation facility by operating the subject during training. VR HMD (100) for providing the VR controller 200 with the training data, and receiving updated VR training content from the VR controller 200 and displaying it on the screen;
The VR HMD 100 and the supervisor receive training data of the power generation facility and training driving screens from the simulator interface server 300 while saving the actual image of the power plant, the 3D model of the power generation facility, and the VR training video of the operation image. Provided to the supervisor display 800 to check this, and when the training data of the power generation facility is changed into operation data by the subject in VR HMD 100 during training, the changed operation data is received and provided to the simulator interface server 300 And a VR controller 200 receiving the training data and training driving screen for which the power generation facility operation data is updated from the simulator interface server 300 and providing the VR HMD 100 and the supervisor display 800 again;
It receives training data for power generation equipment from the simulator OPC server 500, receives a training driving screen from the HMI 600, provides it to the VR controller 200, and is changed by the subject from the VR controller 200 during training. Receiving the operation data of the power generation facility, providing it to the simulator OPC client 400, receiving the training data of the operation data of the power generation facility updated from the simulator OPC client 400 and the updated driving screen for training from the HMI 600. A simulator interface server 300 provided to the VR controller 200;
The simulator OPC server 500 receives the training data of the power plant from the simulator OPC server 500 and provides it to the simulator interface server 300, receives the operation data changed by the subject from the simulator interface server 300 at the time of training, and the simulator OPC server 500 ), And the simulator OPC client 400 that provides the simulator interface server 300 with training data updated with operation data of the power generation facility from the simulator OPC server 500 again;
The training data for each power generation facility is generated and provided to the simulator OPC client 400 and the HMI 600. During training, the power generation facility operation data changed by the subject is received from the simulator interface server 300 during training. A simulator OPC server 500 that provides updated simulator data to the simulator OPC client 400 and the HMI 600 after updating the training data;
Manages the power generation facility operation screen provided to the VR controller 200 and receives training data of the power generation facility from the simulator OPC server 500 so that it is displayed on the power generation facility operation screen and displays the power generation facility operation screen in the VR HMD 100 HMI 600 to provide to the simulator interface server 300 and the supervisor display 800 to be displayed on;
A PLM 700 that provides basic information about the power generation facility to the supervisor display 800 when the power generation facility is registered and the power generation facility is selected in the VR HMD 100;
A supervisor display 800 that receives a training image displayed on the screen from the VR controller 200 and a power generation facility operation screen of the HMI 600, and receives basic information about the power generation facility from the PLM 700 and displays it on the screen; Power plant training system using VR, characterized in that it comprises a.

The method according to claim 1, VR controller 200,
A power plant inspection image registration unit 201 that stores 360-degree panoramic inspection images of the outside, interior, and power generation facilities of the power plant and matches such that the facility name is displayed as a tag on the power generation facility;
A mini-map registration unit 202 for storing a structure of a power plant including a power generation facility selectable by a subject as a mini-map;
A power generation facility 3D model registration unit 203 that matches the power generation facility of the panoramic photorealistic image while storing the 3D model of the power generation facility operated at the power plant;
A power generation facility operation image registration unit 204 that matches the 3D model of the power generation facility while storing an operation image capable of changing data of the power generation facility;
A power generation facility internal image registration unit 205 that stores an image of an internal operation state during operation of the power generation facility and matches it to the 3D model of the power generation facility;
A panoramic photorealistic image output unit 206 for outputting a panoramic photorealistic image of the power plant stored as a screen of the subject's VR HMD 100;
A 3D model output unit 207 for outputting a 3D model matched with the selected power generation equipment as a pop-up to the location of the live-action image when the power generation facility of the panoramic photorealistic image displayed on the screen of the VR HMD 100 is selected by the subject;
When the 3D model of the power generation facility displayed on the screen of the VR HMD 100 is selected by the subject and an internal video is requested, the internal driving image of the registered power generation facility is popped up on the screen of the VR HMD 100 and displayed. An output unit 208;
When the tag of the power generation facility displayed on the screen of the VR HMD 100 is selected by the subject, the training data of the power generation facility is requested from the simulator interface server 300 and the training data provided by the simulator interface server 300 is applied to the VR HMD 100 ) Pops up the information window on the screen, and displays the power generation facility data output unit 209;
An operation image output unit 210 for outputting, as a pop-up, the operation image of the matched power generation facility displayed when the operation menu of the information window displaying the training data is selected on the screen of the VR HMD 100 by the subject;
An operation data providing unit 211 for providing changed operation equipment operation data to the simulator interface server 300 when the operation image output on the screen of the VR HMD 100 is manipulated by the subject;
Power plant training system using VR, characterized in that it comprises; training image providing unit 212 for displaying the training image displayed on the screen of the VR HMD (100) on the supervisor display (800).

The method according to claim 1 or claim 2, HMI (600) is connected to the simulator interface server (300) through socket communication to provide a power generation facility operation screen, a power plant training system using VR.

The method according to claim 2, The power plant panoramic photorealistic image output unit 206 also outputs a mini-map together with the panoramic photorealistic image, and the power generation facility data output unit 209 is displayed on the screen of the VR HMD 100 by the subject. Power plant training system using VR, characterized in that when the power generation equipment is selected from the map, the simulator interface server 300 requests training data of the power generation equipment.

The method according to claim 2, The mini-map is divided into layers, and when a subject selects a layer of the mini-map and selects a specific location, a live image of the selected location is displayed on the screen of the VR HMD 100. Power plant training system.

The method according to claim 2, The operation image output unit 210 is a power plant training system using VR, characterized in that also pops up an information window displaying the operation data of the real-time power generation equipment.

The method according to claim 1 or claim 2, VR controller 200 is one VR HMD (100) is connected or a plurality of VR HMD (100) is connected to the power plant training system using VR.

The method according to claim 1 or claim 2, The simulator OPC server 500 manages using one training data when training is performed in a group in a plurality of VR HMD (100) or separately training data for each VR HMD (100) Power plant training system using VR, characterized in that using the management.