KR101279869B1 - Apparatus and method for displaying flight simulator image using head mounted display - Google Patents

Apparatus and method for displaying flight simulator image using head mounted display Download PDF

Info

Publication number
KR101279869B1
KR101279869B1 KR1020120029934A KR20120029934A KR101279869B1 KR 101279869 B1 KR101279869 B1 KR 101279869B1 KR 1020120029934 A KR1020120029934 A KR 1020120029934A KR 20120029934 A KR20120029934 A KR 20120029934A KR 101279869 B1 KR101279869 B1 KR 101279869B1
Authority
KR
South Korea
Prior art keywords
image
environment image
mounted display
real environment
head mounted
Prior art date
Application number
KR1020120029934A
Other languages
Korean (ko)
Inventor
김성호
이준규
황승희
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020120029934A priority Critical patent/KR101279869B1/en
Application granted granted Critical
Publication of KR101279869B1 publication Critical patent/KR101279869B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PURPOSE: A flight simulator video presentation device and a method thereof using a head mounted display device are provided to minimize a physical installation space, to facilitate movement, and to improve the reality of and concentration on the simulation. CONSTITUTION: A flight simulator video presentation device using a head mounted display (HMD) includes a head mounted display (110), a real environment image generation unit (130) for processing a real image photographed from an image input device installed in the HMD and generating a real environment image, a virtual environment image generation unit (120) for generating a virtual environment image including a region in which a dashboard image and the real environment image are projected regarding location information inputted from a tracker. The flight simulator video presentation device includes a mixer overlapping the virtual environment image inputted from the virtual environment image generation unit with the real environment image inputted from the real environment image generation unit and a video processor (160) aligning the overlapped image outputted from the mixer to be presented in the HMD and outputting to the HMD. [Reference numerals] (120) Virtual environment image generation unit; (122) Left virtual environment image generating unit; (124) Right virtual environment image generating unit; (130) Real environment image generation unit; (140) Left image mixer; (150) Right image mixer; (160) Video processor

Description

두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법 {APPARATUS AND METHOD FOR DISPLAYING FLIGHT SIMULATOR IMAGE USING HEAD MOUNTED DISPLAY}Flight simulator image display device and method using head mounted display {APPARATUS AND METHOD FOR DISPLAYING FLIGHT SIMULATOR IMAGE USING HEAD MOUNTED DISPLAY}

본 발명은 두부 장착형 디스플레이를 이용하여 비행 시뮬레이터의 영상을 시현하는 장치 및 방법에 관한 것이다. 더 구체적으로는, 본 발명은 안경처럼 머리에 쓰고 영상을 볼 수 있는 두부 장착형 디스플레이(Head Mounted Display)를 비행 시뮬레이터에 적용한 것으로서, 가상의 시뮬레이션 환경과 함께 사용자가 바라보고 있는 계기판의 실제 영상을 두부 장착형 디스플레이에 시현하여 시뮬레이터 운용시 실제 비행하는 것과 같은 현실감과 몰입감을 향상시키기 위한 비행 시뮬레이터 영상 시현 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for displaying an image of a flight simulator using a head mounted display. More specifically, the present invention is a head-mounted display that can be worn on the head like a pair of glasses to view the image to the flight simulator, the head with the virtual simulation environment to view the actual image of the instrument panel that the user is looking at The present invention relates to a flight simulator image display apparatus and method for improving the realism and immersion, such as flying in a simulator while operating on a mounted display.

일반적으로 비행 시뮬레이터는 실제 조종석과 동일하게 계기판과 조종간이 구비되고 전방에 시뮬레이터의 영상을 시연하기 위한 영상 시현 장치가 설치되어 있다. 현재 비행 시뮬레이터의 영상 시현 장치로는 돔형 프로젝터, 후면투사방식의 프로젝터, 모니터 등의 여러 디스플레이가 사용되고 있다. 그러나, 이러한 시현 장치는 설치를 위한 물리적 공간이 필요하고, 고정식으로 설치되어 이전 설치시 재설치에 따르는 비용 및 일정 문제 등으로 인해 장비 운용의 유연성이 부족한 실정이다.In general, a flight simulator is equipped with an instrument panel and a steering wheel in the same manner as a real cockpit, and an image display device for demonstrating an image of the simulator in front is installed. Currently, various displays such as a dome-type projector, a rear projection projector, and a monitor are used as a video display device of a flight simulator. However, such a display device requires physical space for installation, and is fixedly installed, and thus lacks flexibility in equipment operation due to cost and schedule problems associated with re-installation during a previous installation.

이러한 기존의 고정식 영상 시현 장치는 크기에 비례한 물리적 운용 공간이 필요하고 장치별 FOR(Field of Regard) 범위에 한계가 있다. 돔형 프로젝트의 경우 360° FOR을 제공하기 위해서는 넓은 물리적 공간이 필요하며, 후면투사방식이나 모니터의 경우 돔형에 비해 상대적으로 좁은 공간에도 운용이 가능하지만 360° FOR을 제공하지 못한다. This conventional fixed image display device requires a physical operating space proportional to the size and has a limitation in the FOR (Field of Regard) range for each device. In the case of dome type project, a large physical space is needed to provide 360 ° FOR. In the case of rear projection type or monitor, it is possible to operate in a relatively narrow space compared to the dome type, but it cannot provide 360 ° FOR.

본 발명은 이러한 종래의 비행 시뮬레이터 시현장치의 문제점을 해결하기 위하여 안출된 것으로서, 물리적인 설치공간을 최소로 하면서 이동이 용이하고 360° FOR이 가능한 동시에 실제 비행하는 것과 같은 현실감과 몰입감을 향상시킬 수 있는 비행 시뮬레이터의 영상을 시현하는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the problems of the conventional flight simulator display device, it is possible to improve the realism and immersion like the actual flight at the same time easy to move and 360 ° FOR while minimizing the physical installation space. An object of the present invention is to provide an apparatus and method for displaying an image of a flight simulator.

본 발명의 일실시예에 따른 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치는, 착용자의 머리 움직임을 추적하는 트래커와 착용자의 시선방향을 촬영하는 영상입력장치가 설치된 두부 장착형 디스플레이;와, 상기 두부 장착형 디스플레이에 설치된 영상입력장치로부터 촬영된 실제 영상을 처리하여 현실환경 영상을 생성하는 현실환경 영상 생성부;와, 상기 트래커로부터 입력되는 위치정보에 맞추어, 계기판 이미지와 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상을 생성하는 가상환경 영상 생성부;와, 상기 가상환경 영상 생성부로부터 입력되는 가상환경 영상과 상기 현실환경 영상 생성부로부터 입력되는 현실환경 영상을 오버랩 처리하는 믹서; 및 상기 믹서에서 출력된 오버랩 영상을 상기 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하여 상기 두부 장착형 디스플레이에 출력하는 비디오 프로세서;를 구비한다.Flight simulator image display apparatus using a head mounted display (HMD) according to an embodiment of the present invention, the head mounted display is installed with a tracker for tracking the movement of the wearer's head and an image input device for photographing the wearer's eye direction; and A real environment image generating unit configured to process a real image photographed from an image input apparatus installed in the head mounted display and generate a real environment image; and a dashboard image and a real environment image are projected according to position information input from the tracker. A virtual environment image generation unit generating a virtual environment image including a region; and a mixer configured to overlap the virtual environment image input from the virtual environment image generation unit and the real environment image input from the real environment image generation unit; And a video processor for arranging the overlapped image output from the mixer to be displayed on the head mounted display and outputting the overlapped image to the head mounted display.

바람직하게는 상기 트래커는 3축 헤드 트래커이고, 영상입력장치는 상기 두부 장착형 디스플레이의 전면부에 좌/우측 두개가 설치되어, 상기 현실환경 영상 생성부는 상기 영상입력장치로부터 입력되는 좌측 및 우측의 실제 영상을 처리하여 좌측 및 우측의 현실환경 영상을 생성할 수 있다.Preferably, the tracker is a three-axis head tracker, and the image input device is provided with two left and right sides on the front of the head mounted display, and the real environment image generating unit is configured to actually input the left and right sides of the image input device. The image may be processed to generate a real environment image of left and right sides.

또한, 가상환경 영상 생성부는 좌측 및 우측의 가상환경 영상을 생성하여 믹서로 출력하고, 믹서는 상기 가상환경 영상과 상기 현실환경 영상을 좌측은 좌측끼리 그리고 우측은 우측끼리 오버랩 처리하며, 비디오 프로세서는 상기 믹서에서 오버랩된 좌측 영상과 우측 영상을 정렬하는 것이 바람직하다.In addition, the virtual environment image generating unit generates a virtual environment image of the left and right and outputs to the mixer, the mixer overlaps the virtual environment image and the real environment image to the left and right to the left, the video processor In the mixer, it is preferable to align the overlapped left and right images.

본 발명의 바람직한 일실시예에서 상기 계기판 이미지는 상기 트래커로부터 입력되는 위치정보에 따라 상기 가상환경 영상에서의 위치 및 형상이 변하도록 3D 그래픽 처리되고, 상기 현실환경이 투영될 영역은 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어, 상기 현실환경 영상생성부에서 생성된 현실환경 영상은 상기 유효하게 정의된 현실환경 투영영역에만 투영된다. 여기서 '유효하게 정의된' 또는 "유효하게" 또는 "유효한"이란 용어는, 위치와 크기가 고정된 현실환경 영상이 투영될 영역과 그리고 트래커로부터 입력되는 위치정보(즉, HMD 착용자의 머리움직임)에 따라 상기 가상환경 영상에서의 위치 및 형상이 다이나믹하게 변하는 3D 그래픽 계기판 이미지가 겹치는 부분에서만 상기 현실환경 영상이 투영될 영역이 정의되고 그 이외의 부분에서는 현실환경 영상이 투영될 영역이 정의되지 않는다는 의미를 갖는다. In a preferred embodiment of the present invention, the instrument panel image is processed in 3D graphics so that the position and shape in the virtual environment image is changed according to the position information input from the tracker, and the area to which the real environment is projected is the 3D graphic instrument panel. It is effectively defined only in the image, and the real environment image generated by the real environment image generating unit is projected only on the effectively defined real environment projection area. Here, the term 'effectively defined' or 'effectively' or 'effective' refers to the area where the real-world image having a fixed position and size is projected, and the positional information input from the tracker (ie, the head movement of the HMD wearer). According to the present invention, an area to which the real environment image is projected is defined only at a portion where the 3D graphic dashboard image of which the position and shape of the virtual environment image is dynamically changed overlaps, and an area to which the real environment image is projected is not defined at other portions. Has meaning.

현실환경이 투영될 영역이 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되도록 하기 위하여 상기 현실환경 영상이 투영될 영역에 크로마키 영상 처리기술이 적용되는데, 본 발명의 바람직한 일실시예에서는, 스탠실 버퍼 기능을 사용하여 상기 3D 그래픽 계기판 이미지와 상기 현실환경 영상이 투영될 영역이 겹쳐지는 부분에만 상기 현실환경 영상이 투영되도록 구성할 수 있다.The chroma key image processing technique is applied to an area to which the real environment image is projected so that the area to be projected in the real environment is effectively defined only in the 3D graphic instrument panel image. In one preferred embodiment of the present invention, a stencil buffer By using the function, the 3D graphic instrument panel image and the real environment image may be configured to be projected only at a portion where the area where the real environment image is projected overlaps.

한편, 믹서는 좌측 믹서와 우측 믹서로 분리될 수 있고, 또는 일체로 병합될 수도 있다.On the other hand, the mixer may be separated into a left mixer and a right mixer, or may be merged integrally.

본 발명의 바람직한 일실시예에 따른 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법은, (a) 착용자의 시선 방향을 촬영하도록 상기 두부 장착형 디스플레이에 설치된 영상입력장치로부터 촬영된 실제 영상을 처리하여 현실환경 영상을 생성하고, 이와 함께 착용자의 머리 움직임을 추적하도록 상기 두부 장착형 디스플레이에 설치된 트래커로부터 입력되는 위치정보에 맞추어 계기판 이미지 및 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상을 생성하는 영상 생성 단계;와, (b) 상기 현실환경 영상과 상기 가상환경 영상을 오버랩 처리하는 단계; 및 (c) 상기 오버랩된 영상을 상기 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하여 상기 두부 장착형 디스플레이에 출력하는 단계;를 구비한다.Flight simulator image display method using a head-mounted display (HMD) according to an embodiment of the present invention, (a) processing the actual image taken from the image input device installed on the head-mounted display to photograph the wearer's gaze direction To generate a virtual environment image, and to generate a virtual environment image including an area on which the dashboard image and the real environment image are projected according to the position information input from the tracker installed in the head mounted display to track the movement of the wearer. Generating an image; and (b) overlapping the real environment image with the virtual environment image; And (c) arranging the overlapped image to be displayed on the head mounted display and outputting the overlapped image to the head mounted display.

바람직하게는, 단계(a)에서, 상기 영상입력장치는 상기 두부 장착형 디스플레이의 전면부에 좌/우측 두개가 설치되어, 상기 영상입력장치로부터 입력되는 좌측 및 우측의 실제 영상을 처리하여 좌측 및 우측의 현실환경 영상을 생성하고, 이와 함께 가상환경 영상도 좌측 및 우측의 2개의 가상환경 영상을 생성하며, 상기 단계(b)에서, 상기 가상환경 영상과 상기 현실환경 영상은 좌측은 좌측끼리 그리고 우측은 우측끼리 오버랩 처리하고, 상기 단계(c)에서, 상기 오버랩된 좌측 영상과 우측 영상을 정렬한다.Preferably, in the step (a), the left and right two are installed on the front of the head-mounted display, and the left and right by processing the actual image of the left and right input from the image input device And generate a virtual environment image of the virtual environment image and two virtual environment images of left and right sides, and in the step (b), the virtual environment image and the real environment image are left to left and right. Are overlapped to the right, and in the step (c), the overlapped left image and the right image are aligned.

또한, 바람직하게는, 상기 단계(a)에서, 상기 계기판 이미지는 상기 트래커로부터 입력되는 위치정보에 따라 상기 가상환경 영상에서의 위치 및 형상이 변하도록 3D 그래픽 처리되고, 상기 가상환경 영상에서 상기 현실환경 영상이 투영될 영역은 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 겹쳐지는 것이 바람직하다.Also, in the step (a), the instrument panel image is processed in 3D graphics so that the position and shape in the virtual environment image is changed according to the position information input from the tracker, and the reality in the virtual environment image. It is preferable that the area to which the environment image is projected to overlap effectively only in the 3D graphic instrument panel image.

본 발명의 바람직한 일실시예에서는 스탠실 버퍼 기능을 사용하여 상기 현실환경 영상이 투영될 영역과 상기 3D 그래픽 계기판 이미지가 겹쳐지는 부분에만 현실환경 영상이 투영되도록 한다.In a preferred embodiment of the present invention, the real environment image is projected only on a portion where the real environment image is projected and the 3D graphic instrument panel image overlaps using a stencil buffer function.

본 발명의 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법에 따르면, HMD를 비행 시뮬레이터에 적용했을 경우 현실 환경을 보기 위해 HMD를 벗는 번거로움을 줄이고 햅틱 인터페이스 등의 추가적인 장비를 구비하지 않아도 되므로 설치공간의 최소화와 용이한 이동성을 확보하면서 비행 시뮬레이션의 현실감과 몰입감을 증가시킬 수 있다.According to the flight simulator image display apparatus and method using the head mounted display (HMD) of the present invention, when the HMD is applied to the flight simulator, it is not necessary to take off the HMD to view the real environment and to provide additional equipment such as a haptic interface. This eliminates the need for installation space and ensures easy mobility, increasing the realism and immersion of flight simulation.

또한 본 발명의 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법에 따르면, 가상환경 영상 내에서 다이나믹하게 변하는 3D 조종석 이미지를 통해 계기 위치를 쉽게 식별할 수 있으며 또한 360°FOR을 제공하여 비행 시뮬레이터 조작자에게 넓은 시야를 제공할 수 있다. In addition, according to the flight simulator image display apparatus and method using the head mounted display (HMD) of the present invention, the position of the instrument can be easily identified through the 3D cockpit image that dynamically changes within the virtual environment image, and also provides a 360 ° FOR It can give the flight simulator operator a wide field of view.

도 1은 본 발명의 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치의 바람직한 일실시예를 나타내는 시스템 구성도이다.
도 2는 본 발명의 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 방법의 바람직한 일실시예를 나타내는 흐름도이다.
도 3은 가상환경 영상생성부에서 생성되는 가상환경의 기본영상을 나타내는 도면이다.
도 4는 도 3의 가상환경의 기본영상에 현실환경 영상이 투영될 영역이 포함된 것을 나타내는 도면이다.
도 5는 가상환경의 기본영상에 3D 그래픽 계기판 이미지가 포함된 것을 나타내는 도면이다.
도 6은 현실환경 영상이 투영될 영역이 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되는 것을 나타내는 도면이다.
도 7 내지 도 10은 트래커로부터 입력되는 위치정보에 맞추어 3D 그래픽 계기판 이미지의 위치와 형상이 다이나믹하게 변하며, 이에 맞추어 현실환경 영상 투영의 유효정의영역이 다양하게 변하는 것을 나타내는 도면들이다.
도 11은 크로마키 처리된 좌/우측 가상환경 영상에 현실환경 영상(1101)을 오버랩시키는 것을 나타내는 도면이다
도 12는 오버랩된 좌/우측 영상을 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하는 것을 나타내는 도면이다.1 is a system configuration diagram showing an embodiment of a flight simulator image display apparatus using a head mounted display of the present invention.
Figure 2 is a flow chart showing a preferred embodiment of the flight simulator image display method using a head mounted display of the present invention.
3 is a diagram illustrating a basic image of a virtual environment generated by the virtual environment image generator.
FIG. 4 is a diagram illustrating that a region to which a real environment image is projected is included in the base image of the virtual environment of FIG. 3.
5 is a diagram illustrating that a 3D graphic instrument panel image is included in a basic image of a virtual environment.
FIG. 6 is a diagram illustrating that an area to which a real environment image is projected is effectively defined only in a 3D graphic dashboard image.
7 to 10 are views showing that the position and shape of the 3D graphic instrument panel image dynamically changes according to the position information input from the tracker, and the effective definition region of the projection of the real environment image varies in accordance with the position information.
FIG. 11 is a diagram illustrating overlapping of a real environment image 1101 to a chroma key-processed left / right virtual environment image.
FIG. 12 is a diagram illustrating alignment of overlapped left and right images to be displayed on a head mounted display.

이하 첨부도면을 참조하면서 본 발명의 바람직한 일실시예를 설명한다. 본 발명을 설명함에 있어서 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일·유사한 부재 또는 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. In describing the present invention, in order to facilitate the overall understanding, the same reference numerals will be used for the same or similar members or means regardless of the reference numerals.

기존의 고정식 영상 시현 장치의 단점을 해결하기 위하여 본 발명은 두부 장착형 디스플레이(Head Mounted Display; HMD)를 사용한다. 그런데, 두부 장착형 디스플레이를 이용한 비행 시뮬레이터의 경우 비행 시뮬레이터에서 제공하는 가상환경을 보기 위해 두부 장착형 디스플레이를 머리에 착용했다가 현실의 실제 환경을 보기 위하여 두부 장착형 디스플레이를 벗거나, 장갑 등의 추가적인 햅틱(haptic) 인터페이스를 사용하여야 한다. 이는 비행 시뮬레이터를 사용하는 사용자가 느끼는 현실감과 몰입감을 저하시키고 추가적인 비용이 발생한다.In order to solve the shortcomings of the conventional fixed image display apparatus, the present invention uses a head mounted display (HMD). However, in the case of a flight simulator using a head mounted display, the head mounted display is worn on the head to see the virtual environment provided by the flight simulator, but the head mounted display is taken off or an additional haptic (glove) such as a glove is used to see the actual environment. haptic) interface should be used. This reduces the realism and immersion felt by the user using the flight simulator and incurs additional costs.

본 발명은 이러한 점을 감안하여 사용자가 계기 조작 등을 이유로 현실 환경을 보기 위해 두부 장착형 디스플레이를 벗는 번거로움이 없도록 비디오 씨스루(Video See-Through) 방식의 두부 장착형 디스플레이를 시뮬레이터에 적용한 것이다.In view of the above, the present invention applies a video see-through type head mounted display to a simulator so that a user does not have to take off the head mounted display in order to view a real environment for reasons such as instrument operation.

도 1은 본 발명의 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치의 바람직한 일실시예를 나타내는 시스템 구성도이다.1 is a system configuration diagram showing an embodiment of a flight simulator image display apparatus using a head mounted display of the present invention.

도 1을 참조하면, 본 발명의 비행 시뮬레이터 영상 시현 장치는 가상환경 영상 생성부(120)와, 현실환경 영상 생성부(130)와, 가상환경 영상 생성부(120)에서 생성된 가상환경 영상과 현실환경 영상 생성부(130)에서 생성된 현실환경 영상을 하나의 영상으로 합치는 믹서(140, 150)와, 믹서(140, 150)로부터 출력되는 영상을 처리하는 비디오 프로세서(160)와 비디오 프로세서로부터 출력되는 영상을 시현하는 두부 장착형 디스플레이(110)를 구비한다.Referring to FIG. 1, the flight simulator image display apparatus includes a virtual environment image generator 120, a real environment image generator 130, and a virtual environment image generated by the virtual environment image generator 120. Mixer (140, 150) to combine the real-world image generated by the real-world image generating unit 130 into a single image, a video processor 160 and a video processor for processing the image output from the mixer (140, 150) It is provided with a head-mounted display 110 for displaying the image output from.

두부 장착형 디스플레이(110)에는 사용자 머리 움직임을 식별하기 위한 트래커(Head-Tracker; 112)와 사용자가 바라보는 현실환경을 실시간으로 촬영하는 비디오 카메라 등의 영상입력장치(114)가 설치된다. 트래커(112)와 영상입력장치(114)는 바람직하게는 사용자가 바라보는 방향을 향하도록 두부 장착형 디스플레이(110)의 전방에 설치되는데, 영상입력장치(114)는 좌측 영상을 촬영하기 위한 좌측 영상입력장치(114a)와 우측 영상을 촬영하기 위한 우측 영상입력장치(114b)가 한쌍으로 두부 장착형 디스플레이(110)의 전방에 설치되는 것이 바람직하다. 또한, 트래커는 3축 헤드 트래커일 수 있다.The head mounted display 110 is provided with a head-tracker 112 for identifying a user's head movement and an image input device 114 such as a video camera for photographing a real environment viewed by the user in real time. The tracker 112 and the image input device 114 are preferably installed in front of the head mounted display 110 so as to face the user's viewing direction. The image input device 114 includes a left image for capturing a left image. Preferably, the input device 114a and the right image input device 114b for capturing the right image are installed in front of the head mounted display 110 in pairs. The tracker may also be a three-axis head tracker.

현실환경 영상 생성부(130)은 두부 장착형 디스플레이에 설치된 영상입력장치로부터 촬영된 실제 영상을 처리하여 현실환경 영상을 생성하여 믹서(140, 150)로 출력한다.The real environment image generating unit 130 processes the real image photographed from the image input apparatus installed in the head mounted display, generates a real environment image, and outputs the real environment image to the mixers 140 and 150.

가상환경 영상 생성부(120)는 비행 시뮬레이터에서 요구되는 가상환경 영상을 생성하는데, 좌측의 가상환경 영상을 생성하는 좌측 가상환경 영상 생성부(122)와 우측의 가상환경 영상을 생성하는 우측 가상환경 영상 생성부(124)를 포함한다. 좌측 가상환경 영상 생성부(122)는 트래커(112)로부터 입력되는 위치정보에 맞추어, 비행체의 계기판 이미지와 현실환경 영상이 투영될 영역을 포함하는 좌측 가상환경 영상을 생성한다. 마찬가지로 우측 가상환경 영상 생성부(124)는 트래커(112)로부터 입력되는 위치정보에 맞추어, 비행체의 계기판 이미지와 현실환경 영상이 투영될 영역을 포함하는 우측 가상환경 영상을 생성한다. The virtual environment image generator 120 generates a virtual environment image required by the flight simulator. The virtual environment image generator 122 generates a virtual environment image on the left side and the right virtual environment generates a virtual environment image on the right side. And an image generator 124. The left virtual environment image generating unit 122 generates a left virtual environment image including an area on which the instrument panel image and the real environment image of the aircraft are projected according to the position information input from the tracker 112. Similarly, the right virtual environment image generation unit 124 generates a right virtual environment image including the instrument panel image of the aircraft and the area to which the real environment image is projected, in accordance with the position information input from the tracker 112.

본 발명의 바람직한 일실시예에서 비행체의 계기판 이미지는 3D 그래픽처리되어 상기 트래커로부터 입력되는 위치정보에 따라 상기 가상환경 영상에서의 위치 및 형상이 다이나믹하게 변하는 것에 대응되도록 하고, 상기 현실환경이 투영될 영역은 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어, 상기 현실환경 영상생성부에서 생성된 현실환경 영상은 상기 유효하게 정의된 현실환경 투영영역에 오버랩된다. 여기서 '유효하게 정의된' 또는 "유효하게" 또는 "유효한"이란 용어는, 위치와 크기가 고정된 현실환경 영상이 투영될 영역과 그리고 트래커로부터 입력되는 위치정보(즉, HMD 착용자의 머리움직임)에 따라 상기 가상환경 영상에서의 위치 및 형상이 다이나믹하게 변하는 3D 그래픽 계기판 이미지가 겹치는 부분에서만 상기 현실환경 영상이 투영될 영역이 정의되고 그 이외의 부분에서는 현실환경 영상이 투영될 영역이 정의되지 않는다는 의미를 갖는다. In a preferred embodiment of the present invention, the instrument panel image of the aircraft is processed in 3D graphics to correspond to the position and shape of the virtual environment image is dynamically changed according to the position information input from the tracker, the real environment is projected An area is effectively defined only within the 3D graphic instrument panel image, and the real environment image generated by the real environment image generation unit overlaps the effectively defined real environment projection area. Here, the term 'effectively defined' or 'effectively' or 'effective' refers to the area where the real-world image having a fixed position and size is projected, and the positional information input from the tracker (ie, the head movement of the HMD wearer). According to the present invention, an area to which the real environment image is projected is defined only at a portion where the 3D graphic dashboard image of which the position and shape of the virtual environment image is dynamically changed overlaps, and an area to which the real environment image is projected is not defined at other portions. Has meaning.

위와 같이 현실환경이 투영될 영역이 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되도록 하기 위하여 상기 현실환경 영상이 투영될 영역에 크로마키 영상 처리기술이 적용되는데, 본 발명의 바람직한 일실시예에서는, 스탠실 버퍼 기능을 사용하여 상기 3D 그래픽 계기판 이미지와 상기 현실환경 영상이 투영될 영역이 겹쳐지는 부분에만 상기 현실환경 영상이 투영되도록 구성할 수 있다.The chroma key image processing technique is applied to an area to which the real environment image is projected so that the area to which the real environment is projected is effectively defined only within the 3D graphic instrument panel image. In one preferred embodiment of the present invention, The real environment image may be configured to be projected only on a portion where the 3D graphic instrument panel image and the region to which the real environment image is projected are overlapped using a real buffer function.

이와 같이 본 발명은 트래커(112)로부터 입력되는 위치정보에 맞추어 3D 그래픽 계기판 이미지의 위치와 형상이 다이나믹하게 변하기 때문에, 3D 그래픽 계기판 이미지 내에서 유효하게 정의되는 현실환경 영상 투영 영역은 그 위치와 크기가 고정되어 있더라도 사용자에게는 3D 그래픽 계기판 이미지 내에서 그 위치와 크기가 변하는 것처럼 보일 수 있다. 이와 같이 현실환경 영상이 투영될 영역이 유효하게 정의되는 결과, 사용자는 영상입력장치(114)로부터 촬영되어 현실환경 영상생성부에서 생성된 현실환경 영상을 3D 그래픽 계기판 이미지 내에서만 볼 수 있는데, 이때 현실환경 영상은 3D 그래픽 계기판 이미지 내의 유효하게 정의된 영역에 일치하는 형상으로 나타나게 된다. Thus, since the present invention dynamically changes the position and shape of the 3D graphic instrument panel image in accordance with the positional information input from the tracker 112, the reality image projection area effectively defined within the 3D graphic instrument panel image is the position and size. Even if is fixed, it may appear to the user to change its position and size within the 3D graphics dashboard image. As a result of the effective definition of the area where the real environment image is projected, the user can view the real environment image captured by the image input device 114 and generated by the real environment image generator only in the 3D graphic dashboard image. The real world image will appear in a shape that matches a validly defined area within the 3D graphical dashboard image.

좌측 및 우측 영상 믹서(140, 150)은 가상환경 영상 생성부(120)에서 생성된 좌/우측 가상환경 영상과 현실환경 영상 생성부(130)에서 생성된 좌/우측 현실환경 영상을 좌측은 좌측끼리 우측은 우측끼리 오버랩시켜서 하나의 영상으로 합친다.The left and right image mixers 140 and 150 have a left / right virtual environment image generated by the virtual environment image generator 120 and a left / right real environment image generated by the real environment image generator 130. The right side and the right side overlap each other and combine into one image.

비디오 프로세서(160)는 좌측 및 우측 믹서(140, 150)로부터 출력되는 좌/우측 오버랩 영상을 두부 장착형 디스플레이(110)에서 시현될 수 있도록 정렬하여 두부 장착형 디스플레이(110)로 출력하고, 두부 장착형 디스플레이(110)는 이 영상을 시현한다.The video processor 160 arranges the left and right overlap images output from the left and right mixers 140 and 150 so as to be displayed on the head mounted display 110 and outputs the head mounted display 110 to the head mounted display 110. 110 displays this image.

이하, 본 발명의 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법을 설명한다.Hereinafter, a flight simulator image display method using a head mounted display (HMD) of the present invention will be described.

도 2를 참조하면, 본 발명의 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법은 현실환경 영상과 가상환경 영상을 생성하는 단계(S210)와, 현실환경 영상과 상기 가상환경 영상을 오버랩 처리하는 단계(S220)와, 오버랩된 영상을 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하여 두부 장착형 디스플레이에 출력하는 단계(S230)을 구비하는데, 구체적으로 설명하면 다음과 같다.Referring to FIG. 2, the flight simulator image display method using the head mounted display (HMD) of the present invention may include generating a real environment image and a virtual environment image (S210), and overlapping the real environment image and the virtual environment image. And a step (S230) of arranging the overlapped images to be displayed on the head mounted display and outputting them to the head mounted display (S230).

먼저, 단계 S210에서, 두부 장착형 디스플레이(110)에 설치된 영상입력장치(114a, 114b)로부터 촬영된 실제 영상을 현실환경 영상 생성부(130)에서 처리하여 현실환경 영상을 생성한다. 영상입력장치(114a, 114b)는 예컨대 비디오 카메라일 수 있으며 두부 장착형 디스플레이(110)를 착용하고 있는 사용자의 시선 방향을 촬영하도록 두부 장착형 디스플레이(110)의 전방 좌측과 우측에 각각 하나씩 설치되는 것이 바람직하다. First, in operation S210, the real image captured by the image input apparatuses 114a and 114b installed in the head mounted display 110 is processed by the real environment image generator 130 to generate a real environment image. The image input apparatuses 114a and 114b may be, for example, video cameras, and each of the image input apparatuses 114a and 114b may be installed at each of the front left and right sides of the head mounted display 110 so as to photograph the eyeline direction of the user wearing the head mounted display 110. Do.

현실환경 영상 생성과 함께, 단계 S210에서, 트래커(112)로부터 입력되는 위치정보에 맞추어 계기판 이미지 및 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상이 가상환경 영상 생성부(120)에서 생성된다. 트래커(112)는 착용자의 머리 움직임을 추적하도록 두부 장착형 디스플레이(110)의 전방에 설치되는 것이 바람직하다. In addition to generating the real environment image, in operation S210, the virtual environment image including the area on which the dashboard image and the real environment image are projected is generated in the virtual environment image generator 120 in accordance with the position information input from the tracker 112. . The tracker 112 is preferably installed in front of the head mounted display 110 to track the head movement of the wearer.

단계 S210의 가상환경 영상 생성시, 계기판 이미지는 트래커(112)로부터 입력되는 위치정보에 따라 가상환경 영상에서의 위치 및 형상이 변하도록 3D 그래픽 처리되며, 현실환경 영상이 투영될 영역은 이 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어, 현실환경 영상생성부에서 생성된 현실환경 영상은 이 유효하게 정의된 현실환경 투영영역에 오버랩된다. 현실환경 투영영역은 가상환경 영상에 포함된 3D 그래픽 계기판 이미지와 영상입력장치로부터 입력된 현실환경 영상을 오버랩시키기 위하여 도입된 것으로서, 크로마키 영상 처리를 위한 영역이다. 따라서, 현실환경 투영영역은 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어야 하며 실시간으로 보이는 모양이 트래커(112)로부터 입력되는 위치정보(사용자의 머리 움직임)에 맞추어 3D 그래픽 계기판 이미지와 함께 다이나믹하게 변하여야 한다. 본 발명은 그래픽 처리 기법 중 스탠실 버퍼를 사용하여 3D 그래픽 계기판 이미지와 현실환경 투영영역을 오버랩시켜서 실시간으로 다이나믹한 모양으로 크로마키 가능하도록 구성한다.When generating the virtual environment image of step S210, the instrument panel image is processed in 3D graphics so that the position and shape in the virtual environment image change according to the position information input from the tracker 112, and the area to which the real environment image is projected is the 3D graphic. The real environment image, which is effectively defined only in the dashboard image, is generated by the real environment image generation unit, and overlaps the valid defined real environment projection area. The real environment projection area is introduced to overlap the 3D graphic instrument panel image included in the virtual environment image and the real environment image input from the image input device, and is a region for chroma key image processing. Therefore, the real-world projection area must be effectively defined only within the 3D graphic instrument panel image and the shape shown in real time must be changed dynamically with the 3D graphic instrument panel image in accordance with the position information (movement of the user's head) input from the tracker 112. do. The present invention uses a stencil buffer among graphic processing techniques to overlap the 3D graphic instrument panel image and the real-projection projection area so as to enable chroma keying in a dynamic shape in real time.

도 3은 가상환경 영상생성부에서 생성되는 가상환경의 기본영상을 나타내는 도면이고, 도 4는 도 3의 가상환경의 기본영상에 현실환경 영상이 투영될 영역이 포함된 것을 나타내는 도면이고, 도 5는 가상환경의 기본영상에 3D 그래픽 계기판 이미지가 포함된 것을 나타내는 도면이고, 도 6은 현실환경 영상이 투영될 영역이 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되는 것을 나타내는 도면이다. FIG. 3 is a diagram illustrating a basic image of a virtual environment generated by the virtual environment image generator, and FIG. 4 is a diagram illustrating a region to which a real environment image is projected in the base image of the virtual environment of FIG. 3. FIG. 6 is a diagram illustrating that a 3D graphic instrument panel image is included in a basic image of a virtual environment, and FIG. 6 is a diagram showing that an area to which a real environment image is projected is effectively defined only within a 3D graphic instrument panel image.

가상환경 영상 생성부(120)에서 계기판 이미지 및 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상을 생성하는 과정을 나타내는 도 3 내지 도 6을 참조하면, 먼저 가상환경 영상 생성부(120)는 도 3에 나타낸 좌/우측 가상환경의 기본영상(301)을 생성한다. 이 가상환경의 기본영상(301)은 트래커(112)로부터 입력되는 위치정보(즉, 사용자의 머리 움직임)에 맞추어 변하여야 하는데, 일실시예로서 가상환경 영상 생성부(120)에 미리 저장시켜둔 영상들 중에서 선택되도록 할 수 있다. 이 가상환경의 기본영상(301)에 도 4에 도시된 바와 같이 현실환경 영상이 투영될 영역(401)이 포함되는데, 이 영역은 크로마키 영상처리를 위한 것으로서 가상환경의 기본영상(301) 내에서 그 위치와 형상이 고정되어 있다. 또한 가상환경의 기본영상(301)에는 도 5에 도시된 바와 같이 그래픽 계기판 이미지(501)가 포함되는데, 그래픽 계기판 이미지(501)는 바람직하게는 3D 그래픽처리되어, 트래커(112)로부터 입력되는 위치정보(즉, 사용자의 머리 움직임)에 맞추어 가상환경의 기본영상(301) 내에서 그 위치와 크기 등이 다이나믹하게 실시간으로 변할 수 있다. 도 6은 현실환경 영상이 투영될 영역이 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되는 것을 나타내는 도면이다. 도 6의 좌측 상단 그림은 도 4와 마찬가지로 가상환경의 기본영상(301)에 현실환경 영상이 투영될 영역(401)이 포함된 것을 나타내고 있고, 도 6의 좌측 하단 그림은 도 5와 마찬가지로 가상환경의 기본영상(301)에 3D 그래픽 계기판 이미지(501)가 포함된 것을 나타내고 있다. 도 6에서 알 수 있는 바와 같이, 현실환경 영상이 투영될 영역(401)이 포함된 좌측 상단 그림과 3D 그래픽 계기판 이미지(501)가 포함된 좌측 하단 그림을 단순히 오버랩시키면 도 6의 우측 그림과 달리, 현실환경 영상이 투영될 영역(401)의 일부는 3D 그래픽 계기판 이미지(501)의 바깥쪽에 정의되어 버림으로써, 불필요하게 가상환경 영상을 차지할 뿐만 아니라 이 불필요한 영상에 의해 사용자의 비행 시뮬레이션에 대한 현실감이나 몰입감을 감소시키는 문제점이 있을 수 있다. 본 발명에서는, 이를 방지하기 위하여, 현실환경이 투영될 영역(401)이 도 6의 우측 그림과 같이 3D 그래픽 계기판 이미지(501) 내에서만 유효하게 정의되도록 구성하고 있다. 이를 위하여 현실환경 영상이 투영될 영역(401)에 크로마키 영상 처리기술이 적용되는데, 본 발명의 바람직한 일실시예에서는, 스탠실 버퍼 기능을 사용하여 3D 그래픽 계기판 이미지(501)와 현실환경 영상이 투영될 영역(401)이 겹쳐지는 부분에만 현실환경 영상이 투영되도록 구성한다.3 to 6 illustrating a process of generating a virtual environment image including a region to which the dashboard image and the real environment image are projected by the virtual environment image generator 120, first, the virtual environment image generator 120 A basic image 301 of the left / right virtual environment shown in FIG. 3 is generated. The basic image 301 of the virtual environment should be changed in accordance with the position information (that is, the movement of the user's head) input from the tracker 112. In one embodiment, the basic image 301 of the virtual environment is stored in advance in the virtual environment image generating unit 120. It can be selected from the images. As shown in FIG. 4, the base image 301 of the virtual environment includes an area 401 to which the real environment image is projected, which is for chroma key image processing, and within the base image 301 of the virtual environment. Its position and shape are fixed. In addition, the basic image 301 of the virtual environment includes a graphical instrument panel image 501 as shown in FIG. 5, where the graphical instrument panel image 501 is preferably 3D graphics and is input from the tracker 112. In accordance with the information (ie, the movement of the user's head), the position and size of the virtual image in the basic image 301 of the virtual environment may be dynamically changed in real time. FIG. 6 is a diagram illustrating that an area to which a real environment image is projected is effectively defined only in a 3D graphic dashboard image. 6 shows that the area 401 to which the real environment image is projected is included in the base image 301 of the virtual environment as in FIG. 4, and the bottom left picture of FIG. 6 shows the virtual environment as in FIG. 5. 3D graphics instrument panel image 501 is included in the basic image 301 of FIG. As can be seen in FIG. 6, if the upper left picture including the area 401 to which the real-world image is projected and the lower left picture including the 3D graphic instrument panel image 501 are simply overlapped, unlike the right picture of FIG. Since part of the region 401 to which the real environment image is projected is defined outside the 3D graphic instrument panel image 501, it not only takes up the virtual environment image unnecessarily, but also the reality of the user's flight simulation by this unnecessary image. However, there may be a problem of reducing immersion. In the present invention, in order to prevent this, the area 401 to which the real environment is projected is configured to be effectively defined only in the 3D graphic instrument panel image 501 as shown in the right figure of FIG. 6. To this end, a chroma key image processing technique is applied to a region 401 where a real environment image is to be projected. In a preferred embodiment of the present invention, a 3D graphic instrument panel image 501 and a real environment image are generated using a stencil buffer function. It is configured such that the real environment image is projected only on a portion where the region 401 to be projected overlaps.

도 7 내지 도 10은 트래커로부터 입력되는 위치정보에 맞추어 3D 그래픽 계기판 이미지의 위치와 형상이 다이나믹하게 변하며, 이에 맞추어 현실환경 영상 투영의 유효정의영역이 다양하게 변하는 것을 나타내는 도면들이다.7 to 10 are views showing that the position and shape of the 3D graphic instrument panel image dynamically changes according to the position information input from the tracker, and the effective definition region of the projection of the real environment image varies in accordance with the position information.

도 7은 현실환경 영상의 투영영역(401)이 3D 그래픽 계기판 이미지(501)의 상부에 유효하게 정의되어 있는 것을 나타낸다. 이때, 사용자가 머리를 좌측으로 돌리면 도 8에 도시된 바와 같이 현실환경 영상의 투영영역(401)이 3D 그래픽 계기판 이미지(501)의 좌측 상부에 정의된다. 또한, 사용자가 머리를 우측 하방으로 살짝 돌리면 도 9에 도시된 바와 같이 현실환경 영상의 투영영역(401)은 3D 그래픽 계기판 이미지(501)의 중간부분에 정의된다. 그리고 사용자가 머리를 들어 위쪽을 바라보게 되면 현실환경 영상의 투영영역(401)과 3D 그래픽 계기판 이미지(501)가 겹치는 영역(즉, 유효정의영역)이 없기 때문에 도 10에 도시된 바와 같이 3D 그래픽 계기판 이미지(501)만 가상환경의 기본영상(301)에 포함된다.7 shows that the projection area 401 of the real environment image is effectively defined on top of the 3D graphic instrument panel image 501. In this case, when the user turns the head to the left side, as shown in FIG. 8, the projection area 401 of the real environment image is defined on the upper left side of the 3D graphic instrument panel image 501. In addition, when the user slightly turns the head to the lower right side, as shown in FIG. 9, the projection area 401 of the real environment image is defined in the middle of the 3D graphic instrument panel image 501. When the user raises his head and looks upward, since there is no overlapping area (ie, an effective definition area) between the projection area 401 of the real environment image and the 3D graphic instrument panel image 501, as shown in FIG. Only the dashboard image 501 is included in the base image 301 of the virtual environment.

지금까지 현실환경 영상과 가상환경 영상을 생성하는 단계(S210)에 대하여 설명하였다. 이어서 현실환경 영상과 상기 가상환경 영상을 오버랩 처리하는 단계(S220)를 도 11을 참조하면서 설명한다.So far, the step of generating a real environment image and a virtual environment image (S210) has been described. Next, the step S220 of overlapping the real environment image and the virtual environment image will be described with reference to FIG. 11.

도 11은 크로마키 처리된 좌/우측 가상환경 영상에 현실환경 영상(1101)을 오버랩시키는 것을 나타내는 도면이다FIG. 11 is a diagram illustrating overlapping of a real environment image 1101 to a chroma key-processed left / right virtual environment image.

도 11에 도시된 바와 같이, 3D 그래픽 계기판 이미지(501) 내에서만 유효하게 정의되도록 크로마키 처리된 좌/우측의 현실환경 영상의 투영영역(401)에 현실환경 영상(1101)을 오버랩시킨다.As shown in FIG. 11, the real environment image 1101 overlaps the projection area 401 of the left / right chromaticized real environment image so as to be effectively defined only in the 3D graphic instrument panel image 501.

도 12는 오버랩된 좌/우측 영상을 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하는 것을 나타내는 도면이다.FIG. 12 is a diagram illustrating alignment of overlapped left and right images to be displayed on a head mounted display.

도 12를 참조하면, 단계(S230)에서는, 3D 그래픽 계기판 이미지(501) 내에서만 유효하게 정의되도록 크로마키 처리된 좌측의 현실환경 영상의 투영영역(401)에 현실환경 영상(1101)을 오버랩시킨 좌측 영상(1201)과 우측의 현실환경 영상의 투영영역(401)에 현실환경 영상(1101)을 오버랩시킨 좌측 영상(1202)을 비디오 프로세서(160)에서 정렬시킨다. 영상 정렬시, 예를 들어 좌측 영상에서는 가로방향으로 좌측으로부터 1/3되는 부분까지 잘라버리고 우측 영상에서는 가로방향으로 우측으로부터 1/3되는 부분까지 잘라버리고 합침으로써 도 12의 우측과 같은 영상(1203)을 얻을 수 있는데, 사용자는 두부 장착형 디스플레이(110)에서 도 12의 우측 영상(1203)을 보게 된다.Referring to FIG. 12, in step S230, the real environment image 1101 is overlapped with the projection area 401 of the left real environment image which is chroma keyed to be effectively defined only in the 3D graphic instrument panel image 501. The video processor 160 aligns the left image 1202, which overlaps the real environment image 1101 with the projection area 401 of the left image 1201 and the right environment image. When aligning the images, for example, the left image is cut to the one-third from the left in the horizontal direction and the right image is cut to the third to the third from the right in the horizontal direction and merged to form the image 1203 as shown in FIG. 12. ), The user sees the right image 1203 of FIG. 12 on the head mounted display 110.

상술한 바와 같이, 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되는 현실환경 영상 투영 영역은 그 위치와 크기가 고정되어 있더라도 사용자에게는 3D 그래픽 계기판 이미지 내에서 그 위치와 크기가 변하는 것처럼 보일 수 있다. 이와 같이 현실환경 영상이 투영될 영역이 유효하게 정의되는 결과, 사용자는 영상입력장치(114)로부터 촬영되어 현실환경 영상생성부에서 생성된 현실환경 영상을 3D 그래픽 계기판 이미지 내에서만 볼 수 있는데, 이때 현실환경 영상은 3D 그래픽 계기판 이미지 내의 유효하게 정의된 영역에 일치하는 형상으로 나타나게 된다.As described above, the real-time image projection area that is effectively defined only in the 3D graphic instrument panel image may appear to the user to change its position and size in the 3D graphic instrument panel image even if its position and size are fixed. As a result of the effective definition of the area where the real environment image is projected, the user can view the real environment image captured by the image input device 114 and generated by the real environment image generator only in the 3D graphic dashboard image. The real world image will appear in a shape that matches a validly defined area within the 3D graphical dashboard image.

상기한 본 발명의 바람직한 실시예는 예시적인 것일 뿐이고 본 발명을 특정한 실시 형태로 한정하기 위한 것은 아니며, 아래의 특허청구범위로부터 해석되는 본 발명의 기술적 사상과 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Preferred embodiments of the present invention described above are merely illustrative and are not intended to limit the present invention to specific embodiments, and all modifications, equivalents, and the like included in the technical spirit and scope of the present invention, which are interpreted from the following claims. It should be understood to include substitutes.

110: 두부 장착형 디스플레이
112: 트래커
114: 영상입력장치
120: 가상환경 영상 생성부
130: 현실환경 영상 생성부
140, 150: 믹서
160: 비디오 프로세서110: head mounted display
112: tracker
114: video input device
120: virtual environment image generation unit
130: real environment image generation unit
140, 150: mixer
160: video processor

Claims (11)

두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치로서,
착용자의 머리 움직임을 추적하는 트래커와 착용자의 시선방향을 촬영하는 영상입력장치가 설치된 두부 장착형 디스플레이;
상기 두부 장착형 디스플레이에 설치된 영상입력장치로부터 촬영된 실제 영상을 처리하여 현실환경 영상을 생성하는 현실환경 영상 생성부;
상기 트래커로부터 입력되는 위치정보에 맞추어, 계기판 이미지와 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상을 생성하는 가상환경 영상 생성부;
상기 가상환경 영상 생성부로부터 입력되는 가상환경 영상과 상기 현실환경 영상 생성부로부터 입력되는 현실환경 영상을 오버랩 처리하는 믹서; 및
상기 믹서에서 출력된 오버랩 영상을 상기 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하여 상기 두부 장착형 디스플레이에 출력하는 비디오 프로세서;를 구비하는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.A flight simulator image display device using a head mounted display (HMD),
A head mounted display provided with a tracker for tracking a wearer's head movement and an image input device for photographing the wearer's eyeline;
A real environment image generation unit configured to generate a real environment image by processing a real image photographed from an image input apparatus installed in the head mounted display;
A virtual environment image generation unit configured to generate a virtual environment image including an area on which an instrument panel image and a real environment image are projected according to the position information input from the tracker;
A mixer configured to overlap the virtual environment image input from the virtual environment image generator and the real environment image input from the real environment image generator; And
And a video processor for arranging the overlapped images output from the mixer so as to be displayed on the head mounted display and outputting the overlapped images to the head mounted display. 제1항에 있어서,
상기 트래커는 3축 헤드 트래커이고,
상기 영상입력장치는 상기 두부 장착형 디스플레이의 전면부에 좌/우측 두개가 설치되어, 상기 현실환경 영상 생성부는 상기 영상입력장치로부터 입력되는 좌측 및 우측의 실제 영상을 처리하여 좌측 및 우측의 현실환경 영상을 생성하고,
상기 가상환경 영상 생성부는 좌측 및 우측의 가상환경 영상을 생성하여 상기 믹서로 출력하고, 상기 믹서는 상기 가상환경 영상과 상기 현실환경 영상을 좌측은 좌측끼리 그리고 우측은 우측끼리 오버랩 처리하고,
상기 비디오 프로세서는 상기 믹서에서 오버랩된 좌측 영상과 우측 영상을 정렬하는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.The method of claim 1,
The tracker is a three-axis head tracker,
The image input apparatus has two left and right sides installed at the front of the head mounted display, and the real environment image generating unit processes the left and right real images inputted from the image input apparatus, and displays the left and right real environment images. Creates a,
The virtual environment image generating unit generates a virtual environment image of the left and right and outputs to the mixer, the mixer overlaps the virtual environment image and the real environment image with the left side and the right side overlap,
The video processor is a flight simulator image display device using a head-mounted display (HMD) to align the left and right images overlapped in the mixer. 제2항에 있어서,
상기 계기판 이미지는 상기 트래커로부터 입력되는 위치정보에 따라 상기 가상환경 영상에서의 위치 및 형상이 변하도록 3D 그래픽 처리되고,
상기 현실환경이 투영될 영역은 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어,
상기 현실환경 영상생성부에서 생성된 현실환경 영상은 상기 유효하게 정의된 현실환경 투영영역에만 투영되는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.The method of claim 2,
The instrument panel image is processed in 3D graphics to change the position and shape in the virtual environment image according to the position information input from the tracker,
The area to which the real environment is projected is effectively defined only in the 3D graphic instrument panel image,
And a flight simulator image display apparatus using a head mounted display (HMD) projected on the effectively defined real environment projection area. 제3항에 있어서,
상기 현실환경이 투영될 영역이 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되도록 하기 위하여 상기 현실환경 영상이 투영될 영역에 크로마키 영상 처리기술이 적용되는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.The method of claim 3,
Flight simulator image display using a head mounted display (HMD) to which chroma key image processing technology is applied to an area to which the real environment image is projected so that the area to which the real environment is projected is effectively defined only in the 3D graphic instrument panel image. Device. 제4항에 있어서,
스탠실 버퍼 기능을 사용하여 상기 3D 그래픽 계기판 이미지와 상기 현실환경 영상이 투영될 영역이 겹쳐지는 부분에만 상기 현실환경 영상이 투영되도록 구성된 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.5. The method of claim 4,
A flight simulator image display apparatus using a head mounted display (HMD) configured to project the real environment image only to a portion where the 3D graphic instrument panel image and the real environment image are overlapped using a stencil buffer function. 제5항에 있어서,
상기 믹서는 좌측 믹서와 우측 믹서로 분리되어 있는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 장치.The method of claim 5,
The mixer is a flight simulator image display device using a head-mounted display (HMD) divided into a left mixer and a right mixer. 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법으로서,
(a) 착용자의 시선 방향을 촬영하도록 상기 두부 장착형 디스플레이에 설치된 영상입력장치로부터 촬영된 실제 영상을 처리하여 현실환경 영상을 생성하고, 이와 함께 착용자의 머리 움직임을 추적하도록 상기 두부 장착형 디스플레이에 설치된 트래커로부터 입력되는 위치정보에 맞추어 계기판 이미지 및 현실환경 영상이 투영될 영역을 포함하는 가상환경 영상을 생성하는 영상 생성 단계;
(b) 상기 현실환경 영상과 상기 가상환경 영상을 오버랩 처리하는 단계; 및
(c) 상기 오버랩된 영상을 상기 두부 장착형 디스플레이에서 시현될 수 있도록 정렬하여 상기 두부 장착형 디스플레이에 출력하는 단계;를 구비하는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법.A flight simulator image display method using a head mounted display (HMD),
(a) a tracker installed in the head mounted display to process a real image photographed from an image input device installed in the head mounted display so as to photograph the wearer's gaze, and to track the movement of the head of the wearer. An image generation step of generating a virtual environment image including a region to which the dashboard image and the real environment image are projected according to the position information input from the image information;
(b) overlapping the real environment image with the virtual environment image; And
(c) arranging the overlapped image to be displayed on the head mounted display and outputting the overlapped image to the head mounted display. 제7항에 있어서,
상기 단계(a)에서, 상기 영상입력장치는 상기 두부 장착형 디스플레이의 전면부에 좌/우측 두개가 설치되어, 상기 영상입력장치로부터 입력되는 좌측 및 우측의 실제 영상을 처리하여 좌측 및 우측의 현실환경 영상을 생성하고, 이와 함께 가상환경 영상도 좌측 및 우측의 2개의 가상환경 영상을 생성하며,
상기 단계(b)에서, 상기 가상환경 영상과 상기 현실환경 영상은 좌측은 좌측끼리 그리고 우측은 우측끼리 오버랩 처리하고,
상기 단계(c)에서, 상기 오버랩된 좌측 영상과 우측 영상을 정렬하는, 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법.The method of claim 7, wherein
In the step (a), the image input device is provided with two left / right sides on the front of the head-mounted display, processing the actual image of the left and right input from the image input device to the left and right real environment Generate an image, and together with the virtual environment image, generate two virtual environment images on the left and right sides,
In the step (b), the virtual environment image and the real environment image is overlapped with the left side and the right side of the right,
In the step (c), the overlapping left image and the right image, the flight simulator image display method using a head mounted display (HMD). 제7항 또는 제8항에 있어서,
상기 단계(a)에서,
상기 계기판 이미지는 상기 트래커로부터 입력되는 위치정보에 따라 상기 가상환경 영상에서의 위치 및 형상이 변하도록 3D 그래픽 처리되고,
상기 현실환경 영상이 투영될 영역은 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되어,
상기 현실환경 영상생성부에서 생성된 현실환경 영상은 상기 유효하게 정의된 현실환경 투영영역에 오버랩되는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법.9. The method according to claim 7 or 8,
In the step (a)
The instrument panel image is processed in 3D graphics to change the position and shape in the virtual environment image according to the position information input from the tracker,
The area to which the real environment image is projected is effectively defined only in the 3D graphic instrument panel image.
And a flight simulator image display using a head mounted display (HMD) that overlaps the effectively defined real environment projection area. 제9항에 있어서,
상기 현실환경이 투영될 영역이 상기 3D 그래픽 계기판 이미지 내에서만 유효하게 정의되도록 하기 위하여 상기 현실환경 영상이 투영될 영역에 크로마키 영상 처리기술이 적용되는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법.10. The method of claim 9,
Flight simulator image display using a head mounted display (HMD) to which chroma key image processing technology is applied to an area to which the real environment image is projected so that the area to which the real environment is projected is effectively defined only in the 3D graphic instrument panel image. Way. 제10항에 있어서,
스탠실 버퍼 기능을 사용하여 상기 현실환경 영상이 투영될 영역과 상기 3D 그래픽 계기판 이미지가 겹쳐지는 부분에만 현실환경 영상이 투영되도록 하는 두부 장착형 디스플레이(HMD)를 이용한 비행 시뮬레이터 영상 시현 방법.The method of claim 10,
A flight simulator image display method using a head mounted display (HMD) that uses a stencil buffer function to project the real environment image only to an area where the real environment image is projected and the 3D graphic instrument panel image overlaps.
KR1020120029934A 2012-03-23 2012-03-23 Apparatus and method for displaying flight simulator image using head mounted display KR101279869B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120029934A KR101279869B1 (en) 2012-03-23 2012-03-23 Apparatus and method for displaying flight simulator image using head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029934A KR101279869B1 (en) 2012-03-23 2012-03-23 Apparatus and method for displaying flight simulator image using head mounted display

Publications (1)

Publication Number Publication Date
KR101279869B1 true KR101279869B1 (en) 2013-06-28

Family

ID=48867850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029934A KR101279869B1 (en) 2012-03-23 2012-03-23 Apparatus and method for displaying flight simulator image using head mounted display

Country Status (1)

Country Link
KR (1) KR101279869B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475207B1 (en) * 2013-09-27 2014-12-22 삼성중공업 주식회사 Simulation device used for trainning of robot control
KR20160043705A (en) * 2014-10-14 2016-04-22 (주)세이프텍리서치 Remote navigating simulation system for unmanned vehicle
KR20160095614A (en) 2015-02-03 2016-08-11 (주)이노시뮬레이션 System and method for remote simulating vehicles using head mounted displa
CN106710362A (en) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 Flight training method implemented by using virtual reality equipment
US20170171538A1 (en) * 2015-12-10 2017-06-15 Cynthia S. Bell Ar display with adjustable stereo overlap zone
KR101751257B1 (en) * 2016-11-29 2017-06-27 최인석 Pilot simulator providing system for self-study
KR101772431B1 (en) * 2015-02-09 2017-08-30 (주)디지털인터랙티브 driving simulation systems by HMD and chroma key
KR101787371B1 (en) * 2016-02-17 2017-10-19 한국항공우주산업 주식회사 Integrated helmet mounted display system for aircraft
KR101889394B1 (en) * 2016-06-09 2018-09-28 대한민국 Display device of cultivator virtual reality, cultivator simulated driving system using display device and cultivator simulated driving method using the system
KR20200052693A (en) 2018-11-07 2020-05-15 주식회사 인디고엔터테인먼트 Virtual reality player and integrated management system for monitoring thereof
KR20200098312A (en) * 2019-02-12 2020-08-20 한국항공우주산업 주식회사 Multi-model flight training simulator using VR
KR20200138063A (en) * 2019-05-30 2020-12-09 (주)이노시뮬레이션 System for estimating driver's drive intention and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (en) 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method
JP2002112286A (en) 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc Composite reality providing device and its method, and storage medium
KR20080010502A (en) * 2006-07-27 2008-01-31 한국전자통신연구원 Face mounted display apparatus and method for mixed reality environment
KR20100086128A (en) * 2009-01-22 2010-07-30 서경대학교 산학협력단 A situational training system based on the mixed reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (en) 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method
JP2002112286A (en) 2000-09-27 2002-04-12 Mixed Reality Systems Laboratory Inc Composite reality providing device and its method, and storage medium
KR20080010502A (en) * 2006-07-27 2008-01-31 한국전자통신연구원 Face mounted display apparatus and method for mixed reality environment
KR20100086128A (en) * 2009-01-22 2010-07-30 서경대학교 산학협력단 A situational training system based on the mixed reality

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475207B1 (en) * 2013-09-27 2014-12-22 삼성중공업 주식회사 Simulation device used for trainning of robot control
KR20160043705A (en) * 2014-10-14 2016-04-22 (주)세이프텍리서치 Remote navigating simulation system for unmanned vehicle
KR101683275B1 (en) * 2014-10-14 2016-12-06 (주)세이프텍리서치 Remote navigating simulation system for unmanned vehicle
KR20160095614A (en) 2015-02-03 2016-08-11 (주)이노시뮬레이션 System and method for remote simulating vehicles using head mounted displa
KR101892238B1 (en) * 2015-02-03 2018-09-28 (주)이노시뮬레이션 System and method for remote simulating vehicles using head mounted displa
KR101772431B1 (en) * 2015-02-09 2017-08-30 (주)디지털인터랙티브 driving simulation systems by HMD and chroma key
US10147235B2 (en) * 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
US20170171538A1 (en) * 2015-12-10 2017-06-15 Cynthia S. Bell Ar display with adjustable stereo overlap zone
KR101787371B1 (en) * 2016-02-17 2017-10-19 한국항공우주산업 주식회사 Integrated helmet mounted display system for aircraft
KR101889394B1 (en) * 2016-06-09 2018-09-28 대한민국 Display device of cultivator virtual reality, cultivator simulated driving system using display device and cultivator simulated driving method using the system
KR101751257B1 (en) * 2016-11-29 2017-06-27 최인석 Pilot simulator providing system for self-study
CN106710362A (en) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 Flight training method implemented by using virtual reality equipment
KR20200052693A (en) 2018-11-07 2020-05-15 주식회사 인디고엔터테인먼트 Virtual reality player and integrated management system for monitoring thereof
KR20200098312A (en) * 2019-02-12 2020-08-20 한국항공우주산업 주식회사 Multi-model flight training simulator using VR
KR102188313B1 (en) * 2019-02-12 2020-12-08 한국항공우주산업 주식회사 Multi-model flight training simulator using VR
KR20200138063A (en) * 2019-05-30 2020-12-09 (주)이노시뮬레이션 System for estimating driver's drive intention and method thereof
KR102362101B1 (en) 2019-05-30 2022-02-11 (주)이노시뮬레이션 System for estimating driver's drive intention and method thereof

Similar Documents

Publication Publication Date Title
KR101279869B1 (en) Apparatus and method for displaying flight simulator image using head mounted display
US7804507B2 (en) Face-mounted display apparatus for mixed reality environment
EP3379525B1 (en) Image processing device and image generation method
US9210413B2 (en) System worn by a moving user for fully augmenting reality by anchoring virtual objects
US10235808B2 (en) Communication system
WO2013171731A1 (en) A system worn by a moving user for fully augmenting reality by anchoring virtual objects
JP2016095779A (en) Head-mounted type display device, method of controlling head-mounted type display device, and computer program
KR20120044461A (en) The simulated training apparatus and method using mixed reality
US20160148429A1 (en) Depth and Chroma Information Based Coalescence of Real World and Virtual World Images
KR20110070326A (en) Apparatus and method for presenting display of 3d image using head tracking
US10672311B2 (en) Head tracking based depth fusion
JP2006285609A (en) Image processing method, image processor
JP2011010126A (en) Image processing apparatus, and image processing method
CN106126145A (en) A kind of display packing and electronic equipment
US20220060680A1 (en) Head mounted display apparatus
US10296098B2 (en) Input/output device, input/output program, and input/output method
US10567744B1 (en) Camera-based display method and system for simulators
US20210314557A1 (en) Information processing apparatus, information processing method, and program
WO2021182124A1 (en) Information processing device and information processing method
RU2592458C2 (en) Method for generating augmented reality images ensuring correct perception of virtual objects removal
WO2017161792A1 (en) Liquid crystal display screen, system for presenting virtual reality image, and head mounted display device
JP2018088604A (en) Image display device, image display method, and system
WO2020137088A1 (en) Head-mounted display, display method, and display system
JP6562371B1 (en) Display device, display processing device, and display processing program
CA3018454A1 (en) Camera-based display method and system for simulators

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 5