KR101623300B1 - Head Mount Display Apparatus and Operation Method Thereof - Google Patents

Head Mount Display Apparatus and Operation Method Thereof Download PDF

Info

Publication number
KR101623300B1
KR101623300B1 KR1020150031073A KR20150031073A KR101623300B1 KR 101623300 B1 KR101623300 B1 KR 101623300B1 KR 1020150031073 A KR1020150031073 A KR 1020150031073A KR 20150031073 A KR20150031073 A KR 20150031073A KR 101623300 B1 KR101623300 B1 KR 101623300B1
Authority
KR
South Korea
Prior art keywords
screen
displayed
partial image
image
side screen
Prior art date
Application number
KR1020150031073A
Other languages
Korean (ko)
Inventor
성연식
곽정훈
양덕규
송재영
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020150031073A priority Critical patent/KR101623300B1/en
Application granted granted Critical
Publication of KR101623300B1 publication Critical patent/KR101623300B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to a head-mounted display apparatus and a method for operating the apparatus. The head-mounted display apparatus according to an embodiment of the present invention includes: a communication unit which receives a shot image and movement information of an unmanned airplane from the unmanned airplane in timeslot unit; a display unit which includes a forward screen divided into a plurality of sections, and additionally includes at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen which are connected to the left side, the right side, the upper side and the lower side, respectively, of the forward screen; and a control unit which divides the shot image received in the current time slot into multiple partial images, displays the partial images on the forward screen and displays some of the partial images displayed on the forward screen in the previous time slot on at least one among the side screens. In this way, according to the present invention, it is capable of solving the problem of a narrow visual field of the image shot by the unmanned airplane, thereby providing the shot image with a wide visual field by using the head-mounted display apparatus and the method for operating the apparatus. In addition, the present invention is capable of evading, by anticipating, a collision that may occur during the movement of the unmanned airplane.

Description

헤드 마운트 디스플레이 장치 및 그 동작 방법{Head Mount Display Apparatus and Operation Method Thereof}[0001] The present invention relates to a head mount display device and a method of operating the same,

본 발명은 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 무인항공기 운행중의 충돌을 예방할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head mount display device and an operation method thereof, and more particularly, to a head mount display device and a method of operating the same, which can prevent a collision during operation of a UAV by solving a narrow vision problem of a video shot by a UAV .

무인항공기는 조종사가 탑승하지 않고 지상에서 원격으로 조종하거나 사전에 입력된 임무 프로그램으로 비행체가 주위환경을 인식하고 판단하여 스스로 비행하는 비행체를 의미한다. 무인항공기는 벌이 윙윙거린다는 의미로 드론(drone)이라고도 불리고, 사람이 기체에 탑승하지 않고 지상에서 원격으로 조종한다는 점을 강조하여 UAV(Unmanned Aerial Vehicle)이라고 지칭하기도 한다. Unmanned aerial vehicles are aircraft that are piloted from the ground remotely without pilots, or pre-entered mission programs, in which the aircraft recognizes and judges the surrounding environment and flies by itself. Unmanned aerial vehicles (UAVs) are also referred to as UAVs, emphasizing the fact that humans operate remotely from the ground without boarding the aircraft.

무인항공기는 제2차 세계대전 직후 수명을 다한 낡은 유인 항공기를 공중 표적용 무인기로 재활용한 것에서 시작되었으며, 기술이 발달함에 따라 기체에 원격탐지장치, 위성제어장치 등의 최첨단 장비를 장착하여 활용하기도 한다. 그리고 무인항공기는 적외선 카메라, GPS, 열 또는 움직임 감지 센서 등을 통하여 지형, 지물, 사람 등의 동향을 실시간으로 파악할 수도 있다. Unmanned aircrafts started with the recycling of old manned aircraft, which had reached the end of World War II, with airborne unmanned aerial vehicles (UAVs). With the development of technology, advanced technologies such as remote sensing devices and satellite control devices do. Unmanned aerial vehicles can also detect trends of terrain, objects, and people in real time through an infrared camera, GPS, heat or motion sensor.

또한 무인항공기는 광역 영상 및 신호를 수집할 수 있고, 감시 및 정찰 업무를 수행할 수 있으며, 통신을 중계할 수도 있다. 또한 무인항공기는 사람이 접근하기 어려운 오염 지역 또는 넓은 지역의 화재나 자연재난에 대한 정보 수집에 활용될 수 있다. Unmanned aerial vehicles can also collect wide-area images and signals, perform surveillance and reconnaissance operations, and relay communications. Unmanned aerial vehicles can also be used to collect information on fires or natural disasters in polluted areas or large areas that are difficult for human access.

초기의 무인항공기는 대부분 군사용으로 활용되어 왔으나, 지속적인 기술 발전에 따라 현재에는 기상 관측, 환경 및 산불 감시, 국경, 해안, 도로 감시, 재난 지원 통신 중계 및 원격 탐사 등의 민간분야에서도 활용되고 있다. 그리고 무인항공기는 1인칭 시야(FPV, First Person View) 기술을 이용하여 게임분야에서도 활용되고 있다. 여기서 FPV 기술은 무인항공기에 장착된 카메라가 촬영한 영상 정보를 사용자에게 1인칭 시점으로 제공하는 기술을 의미한다. Although the early unmanned aerial vehicles have been mostly used for military use, they are now being used in civilian fields such as weather observation, environment and forest fire monitoring, border, coast, road surveillance, disaster relief communication relay and remote exploration. And unmanned aerial vehicles are also used in games by using first person view (FPV) technology. Here, FPV technology refers to a technique of providing first-person viewpoints of image information taken by a camera mounted on a UAV.

또한 무인항공기를 조정하는 컨트롤러인 Skycontroller는 무인항공기의 카메라가 촬영한 영상 정보를 변환하여 FPV 고글에 전송하고, 사용자는 FPV 고글의 영상을 보면서 무인항공기를 조정할 수 있다. FPV를 이용하여 사용자는 무인항공기의 비행 장면을 1인칭 시야로 볼 수 있으며, 직접 하늘을 비행하는 듯한 경험을 할 수 있다. 이를 통하여 무인항공기 조정시의 몰입감과 실감을 높일 수 있다. 이때, FPV 기술의 몰입감과 현장감을 더욱 극대화하기 위해서는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결해야 한다. In addition, Skycontroller, which is a controller for adjusting an unmanned airplane, converts the image information taken by the camera of the UAV into the FPV goggles, and the user can adjust the UAV while watching the image of the FPV goggles. Using FPV, the user can see the unmanned airplane's flight scenes in a first-person view, and can experience a direct flight to the sky. Through this, it is possible to increase the feeling of immersion and realism when adjusting the unmanned airplane. At this time, in order to further maximize the immersion feeling and the sense of presence of FPV technology, it is necessary to solve the narrow vision problem of the image taken by the unmanned aerial vehicle.

그리고, 무인항공기 주변의 상황을 인식하여 무인항공기의 충돌을 회피할 수 있도록 무인항공기에 장착된 카메라의 좁은 시야 문제를 해결해야 한다. Also, it is necessary to solve the narrow vision problem of the camera mounted on the UAV so as to avoid the collision of the UAV by recognizing the situation around the UAV.

본 발명의 배경이 되는 기술은 한국등록특허 제10-1417498호(2014.07.08 공고)에 개시되어 있다.The technology of the background of the present invention is disclosed in Korean Patent No. 10-1417498 (published on Jul. 08, 2014).

본 발명은 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 무인항공기 운행중의 충돌을 예방할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공하는데 목적이 있다.The present invention relates to a head-mounted display device and a method of operating the same, and more particularly, to a head-mounted display device and a method of operating the same, which can prevent collision during operation of an unmanned air vehicle by solving the narrow- The purpose is to provide.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는 상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 통신부, 복수의 부분으로 나누어진 전방 화면을 포함하며, 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면을 더 포함하는 디스플레이부, 현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 상기 전방 화면에 표시하도록 하고, 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 측면 화면 중에서 적어도 하나에 표시하도록 하는 제어부를 포함한다. According to an aspect of the present invention, there is provided a head-mounted display apparatus including a communication unit for receiving the photographed image and the movement information of the unmanned aerial vehicle from time-slot units from the unmanned air vehicle, A display unit further including at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen, which are respectively connected to left, right, upper and lower sides of the front screen, And displaying a partial image displayed on the front screen on at least one of the side screens in a previous time slot by dividing the captured image into a plurality of partial images and displaying the divided images on the front screen.

또한, 상기 제어부는, 상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하도록 할 수 있다. The controller may display the first partial image displayed on the leftmost portion of the front screen on the left side screen in the previous time slot if the unmanned airplane is detected to advance below the first reference speed, A second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side screen, and aa partial image displayed on the uppermost portion of the front screen in the previous time slot is displayed on the upper side And display the b-th partial image displayed on the lower-most portion of the front screen in the previous time slot on the lower side screen.

또한, 상기 제어부는, 상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면, 상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하도록 하며, 상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하도록 할 수 있다. If the unmanned airplane is detected to advance at a speed faster than the first reference speed, the control unit controls the first partial image and the at least one third partial image adjacent to the first partial image in the previous time slot, And displays at least one fourth partial image adjacent to the second partial image in the second partial image and the second partial image in the right side image, And displaying one or more c-th partial images adjacent to the a-th partial image in the previous time slot on the upper side picture, and displaying one or more d-parts So that the image can be displayed on the lower side screen.

또한, 상기 제어부는, 상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고, 상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하며, 상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고, 상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 할 수 있다. The control unit may display the third partial image at a position closer to the front screen than the first partial image and display the fourth partial image at a position closer to the front screen than the second partial image The c-th partial image may be displayed at a position closer to the front screen than the a-th partial image, and the d-th partial image may be displayed at a position closer to the front screen than the b-th partial image.

또한, 상기 제어부는, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하도록 할 수 있다. In addition, when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the current time slot, the control unit displays the left side screen, the right side screen, the upper side screen, and the lower side screen in a blank state .

또한, 사용자의 머리 움직임을 감지하는 이동 감지부를 더 포함하며, 상기 제어부는, 상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동되어 표시되도록 하고, 상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동되어 표시되도록 할 수 있다. The apparatus may further include a movement sensing unit for sensing a movement of the user's head, wherein, when the head of the user is sensed to move to the left, the controller displays the image displayed on the left side screen in the previous time slot, So that an image displayed on the front screen is displayed on the right side screen, and the upper side side screen and the lower side screen are moved to the right by a distance corresponding to an image displayed on the left side screen, The image displayed on the right side screen is displayed on the front screen in the previous time slot and the image displayed on the front screen is displayed on the left side screen when the user's head is detected as moving to the right, The upper side side screen and the lower side side screen are displayed on the right side screen The displayed image can be shifted to the left as much as the moved image is displayed.

본 발명의 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법은 상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 단계, 현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하는 단계, 그리고 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계를 포함한다.A method of operating a head-mounted display device according to another embodiment of the present invention includes the steps of: receiving the photographed image and the movement information of the unmanned airplane in units of time slots from the unmanned airplane; And displaying a partial image displayed on the front screen in a previous time slot on the left side screen, the right side screen, the upper side and the lower side connected to the left, right, upper and lower sides of the front screen, respectively, And displaying at least one side screen among the side screen and the lower side screen.

따라서 본 발명에 따르면 헤드 마운트 디스플레이 장치 및 그 동작 방법을 이용함으로써, 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 넓은 시야의 촬영 영상을 제공할 수 있다. Therefore, according to the present invention, by using the head-mounted display device and the operation method thereof, it is possible to solve the narrow visual field problem of the image photographed by the unmanned aerial vehicle, and to provide the photographed image of wide view.

또한, 무인항공기 이동 시 발생할 수 있는 충돌을 예측하여 회피할 수 있다. In addition, it is possible to predict and avoid collisions that can occur when moving the UAV.

도 1은 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 디스플레이부의 화면 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5a 및 5b는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 전방, 좌측 측면 및 우측 측면 화면 구성을 나타낸 도면이다.
도 6a 내지 도 6d는 무인항공기가 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 7a 내지 7d는 무인항공기가 제1 기준 속도보다 빠른 속도로 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 8a 내지 8d는 사용자가 머리를 좌측으로 움직일 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 9a 및 9b는 무인항공기가 이동 방향을 변경할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 1 is a block diagram illustrating a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a block diagram showing a configuration of a head-mounted display device according to an embodiment of the present invention.
3 is a diagram illustrating a screen configuration of a display unit according to an embodiment of the present invention.
4 is a flowchart illustrating a method of operating a head-mounted display device according to an embodiment of the present invention.
FIGS. 5A and 5B are views showing the front, left side, and right side side screen configurations of the head-mounted display device according to the embodiment of the present invention.
6A to 6D are diagrams showing the screen configuration of the head-mounted display device when the UAV is going straight.
7A to 7D are views showing a screen configuration of the head-mounted display device when the UAV is advanced at a speed faster than the first reference speed.
8A to 8D are diagrams showing a screen configuration of the head-mounted display device when the user moves the head to the left.
9A and 9B are diagrams showing the screen configuration of the head-mounted display device when the UAV changes its moving direction.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템을 설명하기 위한 구성도이다. 1 is a block diagram illustrating a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention.

도 1과 같이, 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템은 무인항공기(100) 및 헤드 마운트 디스플레이 장치(200)를 포함한다. 1, a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention includes an unmanned air vehicle 100 and a head-mounted display device 200. As shown in FIG.

도 1에 도시한 바와 같이, 무인항공기(100)와 헤드 마운트 디스플레이 장치(200)는 직접 연결될 수 있다. As shown in Fig. 1, the UAV 100 and the head-mounted display device 200 can be directly connected.

또한, 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템은 컴퓨터, 노트북, 태블릿, 스마트폰 등의 전자기기(미도시)를 더 포함할 수 있으며, 전자기기는 무인항공기(100)와 헤드 마운트 디스플레이 장치(200)와 연결될 수 있다. In addition, the head mount display system using the UAV according to the embodiment of the present invention may further include an electronic device (not shown) such as a computer, a notebook computer, a tablet, and a smart phone, And can be connected to the head mount display device 200.

먼저, 무인항공기(100)는 원격 조작에 의하여 조종되는 비행체를 의미하며, 사용자의 조작 또는 사전에 입력된 프로그램에 따라 비행하거나, 스스로 비행체 주변의 상황을 인식하고 판단하여 자율비행 할 수 있다. 이때, 사용자는 스마트폰이나 태블릿에 설치된 전용 애플리케이션을 이용하여 무인항공기(100)의 고도와 회전, 기울기, 전후 좌우 동작 등을 제어할 수 있다. First, the UAV 100 refers to a flight controlled by a remote operation. The UAV 100 can fly according to a user's operation, a program inputted in advance, or can recognize the situation around the flight body itself, and can autonomously fly. At this time, the user can control the altitude, the rotation, the inclination, and the lateral movement of the UAV 100 by using a dedicated application installed in the smartphone or the tablet.

그리고 무인항공기(100)는 촬영장치를 포함하여 비행하는 동안 사진 또는 동영상을 촬영할 수 있으며, 촬영된 영상을 컴퓨터, 노트북, 태블릿, 스마트폰 등의 다른 기기로 전송할 수 있다. 또한 무인항공기(100) Oculus Rift, Zeiss Cinemizer, Epson Moverio, Sony Personal Viewer 등과 같은 헤드 마운트 디스플레이 장치로 촬영한 영상을 전송할 수도 있다. The unmanned airplane 100 may include a photographing device to photograph a photograph or a moving image while flying, and may transmit the photographed image to another device such as a computer, a notebook, a tablet, or a smart phone. It is also possible to transmit an image shot by a head mount display device such as a UAV (100) Oculus Rift, a Zeiss Cinemizer, an Epson Moverio, or a Sony Personal Viewer.

이때, 무인항공기(100)는 micro-USB 연결을 통하여 촬영된 영상을 다른 기기로 전송할 수도 있고, Wi-Fi, LTE 등의 무선통신을 이용하여 실시간으로 지상에 있는 다른 기기로 촬영된 영상을 전송할 수 있다. At this time, the UAV 100 can transmit an image captured through a micro-USB connection to another device, or transmit an image captured by another device on the ground in real time using wireless communication such as Wi-Fi or LTE .

또한, 무인항공기(100)는 복수개의 안테나를 이용하여 2.4GHz와 5GHz 2가지 대역을 이용할 수 있는 IEEE802.11ac 무선랜과 MIMO(Multiple-Input Multiple-Output)를 지원할 수도 있다. Also, the UAV 100 may support IEEE802.11ac wireless LAN and MIMO (Multiple-Input Multiple-Output) using two bands of 2.4 GHz and 5 GHz using a plurality of antennas.

그리고 무인항공기(100)는 GNSS 칩셋을 탑재하여 GPS, GLONASS, 갈릴레오 등을 이용할 수도 있고, 3축 가속도 센서, 자이로스코프, 자력계, 초음파 센서 및 압력계 등을 구비하여 무인항공기(100)의 위치, 고도, 이동 속도, 이동 방향 등의 이동 정보를 감지할 수 있다. 무인항공기(100)는 감지된 이동 정보를 촬영 영상과 함께 헤드 마운트 디스플레이 장치(200)로 전송할 수 있다. The unmanned airplane 100 may be equipped with a GNSS chipset and may use GPS, GLONASS, Galileo, etc., or may be provided with a three-axis acceleration sensor, a gyroscope, a magnetometer, an ultrasonic sensor, , The moving speed, the moving direction, and the like. The UAV 100 may transmit the sensed movement information to the head mount display device 200 together with the captured image.

다음으로 헤드 마운트 디스플레이 장치(200)(HMD, Head Mounted Display)는 사용자의 머리나 눈 부분에 장착해 사용자의 눈 앞에 직접 영상을 제시하는 디스플레이 장치이다. 헤드 마운트 디스플레이 장치(200)는 사용자가 현장감 있는 영상을 즐길 수 있도록 지원하는 웨어러블 영상 표시 단말의 일종이며, 주로 헬멧 전면에 디스플레이를 장착하여 입체 영상을 표시한다. Next, the head mounted display device 200 (HMD, Head Mounted Display) is a display device which is mounted on a head or eye portion of a user and presents an image directly in front of the user's eyes. The head mount display device 200 is a kind of wearable image display terminal that supports a user to enjoy a realistic image, and mainly displays a stereoscopic image by mounting a display on the front surface of the helmet.

그리고 헤드 마운트 디스플레이 장치(200)는 사용자가 각종 콘텐츠를 역동적으로 경험할 수 있도록 가상 현실(VR, Virtual Reality) 및 증강 현실(Augmented Reality)을 구현할 수 있다. 또한, 헤드 마운트 디스플레이 장치(200)는 현실 공간처럼 사용자가 머리를 상하좌우로 돌릴 때마다 다른 장면이 나타나도록 하는 기술인 360도 헤드 트래킹 기술, 좌우 시차를 이용한 3D 시야, 110도 이상의 넓은 시야각, 사용자 위치 파악 기술(Positional Tracking) 등을 적용할 수도 있다. The head mount display device 200 may implement a virtual reality (VR) and augmented reality so that a user can dynamically experience various contents. The head-mounted display device 200 includes a 360-degree head tracking technology, a 3D view using left and right parallax, a wide viewing angle of 110 degrees or more, Positional Tracking can also be applied.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 촬영된 영상을 수신하고, 좁은 시야 문제를 해결하도록 수신된 촬영 영상을 가공하여 사용자에게 제공한다. 이때, 헤드 마운트 디스플레이 장치(200)는 직전 타임 슬롯에 촬영된 영상의 일부를 현재 촬영된 영상에 삽입하여 넓은 시야의 출력 영상을 생성할 수 있다. The head-mounted display device 200 according to the embodiment of the present invention receives an image photographed from the UAV 100 and processes the received photographed image to provide a user with a view to solve a narrow view problem. At this time, the head mount display device 200 can insert a part of the image photographed in the immediately preceding time slot into the currently photographed image to generate an output image having a wide field of view.

또한 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 무인항공기(100)의 이동 정보를 촬영 영상과 함께 수신할 수 있으며, 수신된 이동 정보에 대응하는 방법으로 촬영 영상을 가공할 수도 있다. 그리고 헤드 마운트 디스플레이 장치(200)는 각종 센서를 이용하여 사용자의 머리 움직임을 검출할 수 있으며, 검출된 사용자의 머리 움직임을 이용하여 사용자가 머리를 움직인 방향의 시각으로 촬영된 영상 정보를 제공할 수 있다. Also, the head mount display device 200 can receive the movement information of the UAV 100 from the UAV 100 together with the captured image, and process the captured image in a manner corresponding to the received movement information. The head-mounted display device 200 can detect a user's head movement using various sensors, and provides the photographed image information at the time of the direction in which the user moves the head using the detected head movement of the user .

도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 디스플레이부의 화면 구성을 나타낸 도면이다. FIG. 2 is a block diagram illustrating a configuration of a head-mounted display apparatus according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a screen configuration of a display unit according to an embodiment of the present invention.

도 2에 나타낸 것처럼, 헤드 마운트 디스플레이 장치(200)는 통신부(210), 이동 감지부(220), 제어부(230) 및 디스플레이부(240)를 포함한다. 2, the head-mounted display device 200 includes a communication unit 210, a movement detection unit 220, a control unit 230, and a display unit 240.

먼저, 통신부(210)는 무인항공기(100)로부터 타임 슬롯 단위로 상기 촬영 영상 및 무인항공기의 이동정보를 수신한다. 통신부(210)는 무인항공기(100)가 촬영한 촬영 영상을 실시간으로 수신할 수 있으며, 해당 촬영 영상이 촬영될 때의 무인항공기(100) 이동정보를 촬영 영상과 함께 수신할 수 있다. First, the communication unit 210 receives the photographed image and movement information of the unmanned airplane from the unmanned airplane 100 on a time slot basis. The communication unit 210 can receive the captured image captured by the UAV 100 in real time and receive the UAV 100 movement information when the captured image is captured together with the captured image.

여기서 촬영 영상은 무인항공기(100)가 비행할 때, 무인항공기(100)에 구비된 촬영장치를 이용하여 촬영한 것이다. 그리고 이동정보는 무인항공기(100)의 위치, 이동방향, 속도, 고도 등의 정보를 의미하며, 무인항공기(100)는 속도계, 자이로스코프, 자력계 등 복수개의 3축 센서를 이용하여 이동정보를 감지할 수 있다. Here, the photographed image is obtained by using the photographing apparatus provided in the UAV 100 when the UAV 100 is in flight. The movement information refers to information on the position, movement direction, speed, and altitude of the UAV 100. The UAV 100 detects movement information using a plurality of three-axis sensors such as a speedometer, a gyroscope, can do.

그리고 이동 감지부(220)는 사용자의 머리 움직임을 감지한다. 이동 감지부(220)는 한 축을 기준으로 단위시간에 사용자의 머리가 회전한 각도인 각속도의 값을 수치로 알려주는 3축 자이로센서, 3축 가속도계, 3축 자력계를 포함하는 헤드 트래커(Head Tracker)를 이용하여 사용자의 머리 움직임을 감지할 수 있다. The movement detection unit 220 detects the head movement of the user. The movement detector 220 includes a three-axis gyroscope, a three-axis accelerometer, and a three-axis magnetometer for notifying a value of an angular velocity, which is an angle at which a user's head is rotated, ) Can be used to detect the head movement of the user.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 이동 감지부(220)가 감지한 사용자의 머리 움직임에 대응하는 촬영 영상을 사용자에게 제공할 수 있다. 예를 들어, 이동 감지부(220)가 사용자의 머리가 왼쪽으로 돌려진 것으로 감지하면 좌측에서 볼 수 있는 촬영 영상을 사용자에게 제공하고, 머리가 우측으로 돌려진 것으로 감지되면 우측에서 볼 수 있는 촬영 영상을 제공할 수 있다. The head-mounted display device 200 according to the embodiment of the present invention can provide the user with an image corresponding to the head movement of the user sensed by the movement sensing unit 220. [ For example, if the movement detection unit 220 detects that the user's head is turned to the left, the user can provide a photographed image that can be viewed from the left side. If the head is detected as being rotated to the right side, Can provide images.

다음으로 제어부(230)는 현재 타임 슬롯에서 수신된 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하도록 디스플레이부(240)를 제어하고, 이전 타임 슬롯에 전방 화면에 표시된 일부 부분 영상을 좌측 측면 화면 및 우측 측면 화면에 표시하도록 디스플레이부(240)를 제어한다. Next, the control unit 230 controls the display unit 240 to divide the photographed image received in the current time slot into a plurality of partial images and displays the partial images on the front screen, And controls the display unit 240 to display on the side screen and the right side screen.

이때, 제어부(230)는 무인항공기(100)로부터 수신된 이동정보 또는 이동 감지부(220)가 감지한 사용자의 머리 움직임에 대응하도록 전방 화면, 좌측 측면 화면 및 우측 측면 화면에 표시할 촬영 영상을 제어할 수 있다. At this time, the controller 230 controls the moving image received from the UAV 100 or the captured image to be displayed on the front screen, the left side screen, and the right side screen so as to correspond to the head movement of the user sensed by the movement sensing unit 220 Can be controlled.

제어부(230)는 무인항공기(100)가 제1 기준 속도 이하로 전진하는 경우, 제1 기준 속도보다 빠른 속도로 전진하는 경우, 무인항공기(100)의 이동 방향이 변경된 것으로 감지된 경우 및 사용자의 머리가 움직인 것으로 감지된 경우로 나누어 각각의 경우에 대응하는 촬영 영상을 디스플레이부(240)가 출력하도록 제어할 수 있다. When the UAV 100 moves to a speed lower than the first reference speed and then moves at a speed higher than the first reference speed, when the movement direction of the UAV 100 is detected as being changed, It is possible to control the display unit 240 to output a photographed image corresponding to each case.

마지막으로 디스플레이부(240)는 제어부(230)의 제어에 따라 촬영 영상을 표시한다. 디스플레이부(240)는 복수의 부분으로 나누어진 전방 화면을 포함하며, 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 하나 이상의 측면 화면을 더 포함한다. 이때, 디스플레이부(240)는 전방 화면 및 복수의 측면 화면 중에서 일부 또는 전체의 화면에 영상을 표시할 수 있다. Finally, the display unit 240 displays the photographed image under the control of the controller 230. The display unit 240 includes a front screen divided into a plurality of portions and includes at least one of a left side screen, a right side screen, an upper side screen, and a lower side screen, which are connected to the left, right, Screen. At this time, the display unit 240 can display an image on a part or all of the screen of the front screen and the plurality of side screens.

도 3에 도시한 바와 같이, 디스플레이부(240)는 X자 모양으로 나뉘어 4 개의 측면 화면으로 구분될 수 있다. 설명의 편의상, 디스플레이부(240)가 X자 모양으로 구분되는 것으로 설명하였으나, 십(十)자 모양으로 구분될 수도 있다. As shown in FIG. 3, the display unit 240 may be divided into four side screens divided into X-shaped shapes. For convenience of explanation, the display unit 240 is described as being divided into an X-shaped shape, but may be divided into ten (ten) shapes.

그리고 도 3에서, 빨간색은 영상이 출력되는 디스플레이부(240)의 영역을 나타낸 것이고, 빨간색 바깥쪽 부분은 이전 타임 슬롯의 부분 영상들이 채워진 영역이며, 현재의 타임 슬롯에 디스플레이부(240)에서 출력되지는 않는 부분이고, 파란색은 무인항공기(100)로부터 수신된 촬영 영상의 영역을 나타낸 것이다. 3, red indicates an area of the display unit 240 in which an image is output, red is an area in which the partial images of the previous time slot are filled, and the display unit 240 outputs And blue indicates the area of the photographed image received from the UAV 100.

무인항공기(100) 이동 정보가 변경되거나 사용자의 머리가 움직인 경우 제어부(230)는 빨간색 바깥쪽 부분의 부분 영상들 중에서 전방 화면 및 각각의 측면 화면에 출력될 영상으로 선택할 수 있다. When the movement information of the UAV 100 is changed or the head of the user is changed, the controller 230 can select the front image and the image to be outputted on each side image among the partial images of the red outer part.

도 3에 나타낸 것처럼, 무인항공기(100)로부터 수신된 촬영 영상 영역(300)은 시야가 좁으며, 무인항공기(100)로부터 수신된 촬영 영상은 헤드 마운트 디스플레이 장치(200)의 디스플레이부(240) 영역보다 작다. 따라서, 헤드 마운트 디스플레이 장치(200)의 전방 화면에만 수신된 촬영 영상이 출력되고, 헤드 마운트 디스플레이 장치(200)의 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면에는 촬영 영상이 출력되지 않는다. 3, the photographed image area 300 received from the UAV 100 has a narrow field of view and the photographed image received from the UAV 100 is displayed on the display unit 240 of the head mounted display device 200, Area. Thus, the photographed image is received only on the front screen of the head-mounted display device 200, and the photographed image is not output on the left side image, the right side image, the upper side image, and the lower side image of the head- Do not.

또한, 디스플레이부(240)는 제어부(230)의 제어에 따라 구비된 복수의 측면 화면 중에서 일부 또는 전체에만 촬영 영상을 표시할 수 있다. In addition, the display unit 240 may display a photographed image only in a part or all of a plurality of side screens provided in accordance with the control of the controller 230.

이하에서는 도 4 내지 도 9b를 통하여 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법에 대하여 더욱 상세하게 설명한다. 설명의 편의상, 헤드 마운트 디스플레이 장치(200)가 측면 화면으로 좌측 측면 화면 및 우측 측면 화면만 구비한 경우로 예를 들어 설명한다. Hereinafter, an operation method of the head-mounted display device according to the embodiment of the present invention will be described in detail with reference to FIGS. 4 to 9B. For convenience of explanation, the case where the head mount display device 200 has only the left side screen and the right side screen as the side screens will be described as an example.

도 4는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다. 4 is a flowchart illustrating a method of operating a head-mounted display device according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 촬영 영상 및 무인항공기(100)의 이동정보를 수신한다(S410). 4, the head-mounted display apparatus 200 receives the photographed image and the movement information of the UAV 100 from the UAV 100 (S410).

헤드 마운트 디스플레이 장치(200)는 타임 슬롯별로 촬영 영상을 수신하며, 무인항공기(100)가 해당 촬영 영상을 촬영할 때 무인항공기(100)의 이동 정보를 촬영 영상과 함께 수신한다. The head mount display device 200 receives the photographed image for each time slot and receives movement information of the UAV 100 together with the photographed image when the UAV 100 photographs the photographed image.

다음으로 헤드 마운트 디스플레이 장치(200)는 수신된 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시한다(S420). Next, the head-mounted display device 200 divides the received photographed image into a plurality of partial images and displays them on the front screen (S420).

도 5a 및 5b는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 전방, 좌측 측면 및 우측 측면 화면 구성을 나타낸 도면이다. 도 5a는 헤드 마운트 디스플레이 장치(200)의 영상이 출력되는 화면을 전방에서 바라본 도면이고, 도 5b는 헤드 마운트 디스플레이 장치(200)의 영상이 출력되는 화면을 위에서 바라본 도면이다. FIGS. 5A and 5B are views showing the front, left side, and right side side screen configurations of the head-mounted display device according to the embodiment of the present invention. 5A is a front view of a screen on which an image of the head-mounted display device 200 is output, and FIG. 5B is a top view of a screen on which an image of the head-mounted display device 200 is output.

도 5a와 같이, 헤드 마운트 디스플레이 장치(200)는 복수 개의 부분 영상으로 촬영 영상을 분할한다. 이때, 분할된 부분 영상은 짝수 개 이고, 각각의 부분 영상의 크기는 동일할 수 있다. 5A, the head-mounted display device 200 divides the captured image into a plurality of partial images. In this case, the number of divided partial images is an even number, and the size of each partial image may be the same.

그리고 헤드 마운트 디스플레이 장치(200)는 촬영 영상을 전방 화면에 표시한다. 이때, 헤드 마운트 디스플레이 장치(200)는 분할된 복수의 부분 영상을 전방 화면에 표시하거나, S410 단계에서 수신된 촬영 영상을 그대로 전방 화면에 표시할 수 있다. The head mount display device 200 displays the photographed image on the front screen. At this time, the head-mounted display device 200 may display a plurality of segmented partial images on the front screen, or may display the shot images received in step S410 directly on the front screen.

도 5b에서 빨간색은 헤드 마운트 디스플레이 장치(200)에서 영상이 출력되는 영역을 나타낸 것이고, 파란색은 무인항공기(100)가 촬영한 영상의 영역을 나타낸 것이다. 도 5b에 나타낸 것처럼, 사용자는 전방 화면에서 무인항공기(100)가 촬영한 촬영 영상을 볼 수 있다. In FIG. 5B, red indicates the area where the image is output from the head-mounted display device 200, and blue indicates the area of the image captured by the UAV 100. FIG. As shown in FIG. 5B, the user can view the photographed image photographed by the UAV 100 on the front screen.

마지막으로 헤드 마운트 디스플레이 장치(200)는 이전 타임슬롯의 일부 부분 영상을 좌측 및 우측 측면 화면에 표시한다(S430). Finally, the head mount display apparatus 200 displays a partial image of the previous time slot on the left and right side screens (S430).

이하에서는 도 5a 내지 도 9b를 통하여 무인항공기(100)로부터 무인항공기(100)가 직진하고 있다는 이동 정보를 촬영 영상과 함께 수신한 경우, 헤드 마운트 디스프레이 장치(200)의 동작 방법에 대하여 설명한다. Hereinafter, an operation method of the head mount display apparatus 200 will be described with reference to FIGS. 5A and 9B, when movement information indicating that the UAV 100 is traveling straight from the UAV 100 is received together with the captured image.

첫 번째 타임 슬롯에 무인항공기(100)가 제1 기준 속도 이하로 직진하는 것으로 감지되고, 도 5a와 같이 부분 영상 1, 3, 5, 6, 4, 2를 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 장치(200)는 도 5b와 같이 수신된 촬영 영상을 전방 화면에 출력한다. 그리고 좌측 측면 화면 및 우측 측면 화면에는 출력할 영상이 없으므로 검정 화면을 출력할 수 있다. When the UAV 100 is detected as being traveling straight below the first reference speed in the first time slot and the photographed image including the partial images 1, 3, 5, 6, 4 and 2 is received as shown in FIG. 5A, The head mount apparatus 200 outputs the received shot image on the front screen as shown in FIG. 5B. Since there is no image to be output on the left side screen and the right side screen, a black screen can be outputted.

도 6a 내지 도 6d는 무인항공기가 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 6A to 6D are diagrams showing the screen configuration of the head-mounted display device when the UAV is going straight.

두 번째 타임 슬롯에 도 6a와 같이 부분 영상 7, 9, 11, 12, 10, 8을 포함하는 촬영 영상을 수신하면, 헤드 마운트 디스플레이 장치(200)는 도 6b와 같이 전방 화면에 수신된 촬영 영상을 출력하고, 좌측 측면 화면에는 이전 타임 슬롯인 첫 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 제1 부분 영상인 부분 영상 1을 전방 화면과 가장 인접한 좌측 측면 화면에 출력한다. 그리고 우측 측면 화면에는 첫 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 제2 부분 영상인 부분 영상 2를 전방 화면과 가장 인접한 우측 측면 화면에 출력한다. 6A, the head-mounted display device 200 displays the photographed image including the partial images 7, 9, 11, 12, 10, and 8 in the second time slot as shown in FIG. And outputs the partial image 1, which is the first partial image displayed on the leftmost portion of the front screen in the first time slot, which is the previous time slot, to the left side screen closest to the front screen, on the left side screen. On the right side screen, the partial image 2, which is the second partial image displayed in the rightmost portion of the front screen in the first time slot, is output to the right side screen nearest to the front screen.

이처럼 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 두 번째 타임 슬롯의 좌측 및 우측 측면 화면에 이전 타임 슬롯에 수신한 촬영 영상의 일부를 출력함으로써, 사용자에게 더 넓은 시야의 촬영 영상을 제공할 수 있으며, 사용자는 전방뿐만 아니라 측면의 영상도 확인할 수 있다. As described above, the head-mounted display device 200 according to the embodiment of the present invention displays a part of the shot image received in the previous time slot on the left and right side screens of the second time slot, And the user can check the images on the side as well as the front side.

그리고 세 번째 타임 슬롯에 도 6c와 같이 부분 영상 13, 15, 17, 18, 16, 14를 포함하는 촬영 영상을 수신하면, 헤드 마운트 디스플레이 장치(200)는 도 6d와 같이 전방 화면에 수신된 촬영 영상을 출력하고, 좌측 측면 화면에는 이전 타임 슬롯인 두 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 제1 부분 영상인 부분 영상 7을 전방 화면과 가장 인접한 좌측 측면 화면에 출력한다. 그리고 우측 측면 화면에는 두 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 제2 부분 영상인 부분 영상 8을 전방 화면과 가장 인접한 우측 측면 화면에 출력한다. 6C, the head-mounted display device 200 displays the captured image including the partial images 13, 15, 17, 18, 16, and 14 in the third time slot, And outputs the partial image 7, which is the first partial image displayed on the leftmost portion of the front screen in the second time slot, which is the previous time slot, to the left side screen closest to the front screen, on the left side screen. On the right side screen, the partial image 8, which is the second partial image displayed in the rightmost portion of the front screen in the second time slot, is output to the right side screen nearest to the front screen.

도 7a 내지 7d는 무인항공기가 제1 기준 속도보다 빠른 속도로 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 7A to 7D are views showing a screen configuration of the head-mounted display device when the UAV is advanced at a speed faster than the first reference speed.

다음으로 네 번째 타임 슬롯에, 무인항공기(100)가 제1 기준 속도보다 빠른 속도로 직진 하고 있다는 이동 정보를 수신하고, 도 7a와 같이 부분 영상 19, 21, 23, 24, 22, 20을 포함하는 촬영 영상을 수신하였다. 따라서 네 번째 타임 슬롯에서는 도 7b와 같이 전방 화면에는 부분 영상 19, 21, 23, 24, 22, 20이 출력되고, 좌측 측면 화면에는 부분 영상 13이, 우측 측면 화면에는 부분 영상 14가 출력된다. Next, in the fourth time slot, movement information indicating that the UAV 100 is traveling at a speed faster than the first reference speed is received, and the partial images 19, 21, 23, 24, 22, and 20 . Therefore, in the fourth time slot, the partial images 19, 21, 23, 24, 22, and 20 are output to the front screen as shown in FIG. 7B, and the partial image 13 is output to the left side screen and the partial image 14 is output to the right side screen.

이어서 다섯 번째 타임 슬롯에 도 7c와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 도 7d와 같이 다섯 번째 타임 슬롯에 수신된 촬영 영상을 전방 화면에 출력한다. 7C, the head-mounted display device 200 displays the shot image including the partial images 25, 27, 29, 30, 28 and 26 in the fifth time slot in the fifth time slot as shown in FIG. And outputs the received photographed image to the front screen.

그리고 이전 타임 슬롯인 네 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 부분 영상 19를 제1 부분 영상으로 선택하고, 제1 부분 영상에 인접한 부분 영상 21을 제3 부분 영상으로 선택한다. 이때, 헤드 마운트 디스플레이 장치(200)는 선택된 제3 부분 영상을 제1 부분 영상보다 전방 화면에 더 근접한 위치에 표시한다. In the fourth time slot, which is the previous time slot, the partial image 19 displayed on the leftmost portion of the front screen is selected as the first partial image, and the partial image 21 adjacent to the first partial image is selected as the third partial image. At this time, the head-mounted display device 200 displays the selected third partial image at a position closer to the front screen than the first partial image.

또한 헤드 마운트 디스플레이 장치(200)는 네 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 부분 영상 20을 제2 부분 영상으로 선택하고, 제2 부분 영상에 인접한 부분 영상 22를 제4 부분 영상으로 선택하며, 제4 부분 영상을 제2 부분 영상보다 전방 화면에 더 근접한 위치에 표시되도록 한다. In addition, the head mount display apparatus 200 selects the partial image 20, which was displayed in the rightmost portion of the front screen in the fourth time slot, as the second partial image, and selects the partial image 22 adjacent to the second partial image as the fourth partial image And displays the fourth partial image at a position closer to the front screen than the second partial image.

따라서 다섯 번째 타임 슬롯에서는 도 7d와 같이 좌측 측면 화면에는 부분 영상 19와 부분 영상 21이 겹쳐서 출력되고, 우측 측면 화면에는 부분 영상 20과 부분 영상 22가 겹쳐서 출력된다. 이때, 부분 영상이 겹치는 부분은 전방 화면과 가장 인접한 부분 영상의 부분이 우선적으로 출력된다. Therefore, in the fifth time slot, the partial image 19 and the partial image 21 are superimposed on the left side image and the partial image 20 and the partial image 22 are superimposed on the right side image. At this time, the portion of the partial image that is the closest to the front screen is preferentially outputted.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 제1 기준 속도보다 빠른 속도로 무인항공기(100)가 직진하는 경우, 전방 화면에 출력되는 영상과 좌측 측면 및 우측 측면 화면에 출력되는 영상 사이의 공백을 해결하기 위하여, 제3 부분 영상 및 제4 부분 영상을 이용하여 좌측 및 우측 측면 화면에 영상을 출력한다. The head-mounted display apparatus 200 according to the embodiment of the present invention is configured such that, when the UAV 100 linearly moves at a speed faster than the first reference speed, the head-mounted display apparatus 200 displays images output on the front screen, The third partial image and the fourth partial image are used to output images on the left and right side screens.

설명의 편의상, 헤드 마운트 디스플레이 장치(200)가 제1 내지 제4 부분 영상을 선택하여 좌측 측면 및 우측 측면 화면에 영상을 출력하는 것으로 설명하였으나 이에 한정하지 않고, 제1 기준 속도보다 큰 값을 갖는 제2 기준 속도를 설정하여 무인항공기(100)의 속도가 제2 기준 속도보다 클 경우 복수의 부분 영상을 더 선택하여 좌측 측면 및 우측 측면 화면에 출력할 수 있도록 구현할 수 있다. For convenience of explanation, it has been described that the head mount display device 200 selects the first through fourth partial images and outputs the images to the left side and right side screens. However, the present invention is not limited to this, When the speed of the UAV 100 is higher than the second reference speed, the plurality of partial images may be further selected and output to the left side and right side screens by setting the second reference speed.

도 8a 내지 8d는 사용자가 머리를 좌측으로 움직일 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.8A to 8D are diagrams showing a screen configuration of the head-mounted display device when the user moves the head to the left.

또한, 네 번째 타임 슬롯에 사용자의 머리가 좌측으로 움직였다고 감지되고, 도 8a와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 좌측 측면 화면에 출력될 부분 영상 1, 7, 13 중에서 일부의 부분 영상을 전방 화면에 출력시킨다. 따라서 헤드 마운트 디스플레이 장치(200)는 도 8b와 같이 감지된 사용자의 머리 움직임 각도에 비례하여 네 번째 타임 슬롯에 수신된 촬영 영상의 일부와 이전의 타임 슬롯에 전방 화면 및 좌측 화면에 출력되었던 부분 영상을 이용하여 네 번째 타임 슬롯에 전방 화면에 출력할 영상을 생성하여 출력한다. When the user's head is detected to move to the left in the fourth time slot and the shot image including the partial images 25, 27, 29, 30, 28 and 26 is received as shown in FIG. 8A, 200 outputs partial images of partial images 1, 7, and 13 to be output on the left side screen to the front screen. 8B, the head-mounted display apparatus 200 displays a part of the photographed image received in the fourth time slot, a front image in the previous time slot and a partial image And generates and outputs an image to be output to the front screen in the fourth time slot.

예를 들어 사용자가 머리를 작은 각도로 움직인 경우, 도 8a에 나타낸 것처럼 헤드 마운트 디스플레이 장치(200)는 부분 영상 13, 19, 21, 23, 24, 22를 전방 화면에 출력하고, 부분 영상 7을 좌측 측면 화면에 출력하며, 부분 영상 20을 우측 측면 화면에 출력할 수 있다. 8A, the head-mounted display device 200 outputs the partial images 13, 19, 21, 23, 24, and 22 to the front screen, and the partial images 7 To the left side screen, and the partial image 20 to the right side screen.

또한, 사용자가 머리를 큰 각도로 회전한 경우, 도 8c와 같이, 헤드 마운트 장치(200)는 부분 영상 7, 13, 19, 21, 23, 24를 전방 화면에 출력하고, 부분 영상 1을 좌측 측면 화면에 출력하며, 부분 영상 22을 우측 측면 화면에 출력할 수 있다. 따라서 헤드 마운트 디스플레이 장치(200)는 도 8d와 같이, 사용자가 머리를 작은 각도로 회전한 도 8b의 경우보다 더 많은 수의 좌측 측면 화면에 출력될 부분 영상을 전방 화면에 출력한다. 8C, the head mount apparatus 200 outputs the partial images 7, 13, 19, 21, 23, and 24 on the front screen, and the partial image 1 is displayed on the left side And outputs the partial image 22 to the right side screen. 8D, the head-mounted display apparatus 200 outputs a partial image to be output to the front screen, which is to be output on the left side screen in a larger number than in the case of FIG. 8B in which the user rotates the head at a small angle.

도 9a 및 9b는 무인항공기가 이동 방향을 변경할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.9A and 9B are diagrams showing the screen configuration of the head-mounted display device when the UAV changes its moving direction.

다섯 번째 타임 슬롯에 무인항공기(100)가 이동 방향을 변경하였다는 이동 정보를 수신하고, 도 9a와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 다섯 번째 타임 슬롯에 수신된 촬영 영상을 전방 화면에 출력한다. 그리고 무인항공기(200)가 이동 방향을 변경한 경우에는 이전 타임 슬롯에 수신된 촬영 영상을 이용하여 현재 타임 슬롯의 좌측 및 우측 측면 영상을 생성할 수가 없으므로, 도 9b와 같이 좌측 측면 및 우측 측면 화면에 출력할 부분 영상을 초기화하여 빈 화면을 출력한다.9A, when the photographed image including the partial images 25, 27, 29, 30, 28, and 26 is received in the fifth time slot, the movement information indicating that the UAV 100 has changed its moving direction is received. The head mount display device 200 outputs the shot image received in the fifth time slot on the front screen. When the unmanned airplane 200 changes its moving direction, the left and right side images of the current time slot can not be generated using the shot image received in the previous time slot. Therefore, And outputs a blank screen.

설명의 편의상, 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)의 디스플레이부(240)가 좌측 측면 화면 및 우측 측면 화면을 구비한 경우로 예를 들어 설명하였으나, 이에 한정하지 않고, 상측 측면 화면 및 하측 측면 화면을 더 포함할 수 있다. 또한, 디스플레이부(240)는 좌측 측면 화면 및 우측 측면 화면을 포함하지 않고, 전방 화면, 상측 측면 화면, 우측 측면화면으로 구성될 수도 있다. For convenience of explanation, the display unit 240 of the head-mounted display device 200 according to the embodiment of the present invention is provided with the left side screen and the right side screen. However, the present invention is not limited thereto, Screen and a lower side screen. In addition, the display unit 240 may not include the left side screen and the right side screen, but may be a front screen, an upper side screen, and a right side screen.

헤드 마운트 디스플레이 장치(200)가 상측 측면 화면 및 우측 측면 화면을 포함하는 경우, 무인항공기(100)가 제1 기준 속도 이하로 전진하면 디스플레이 장치(200)는 이전 타임 슬롯에서 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상측 측면 화면에 표시하고, 이전 타임 슬롯에서 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 하측 측면 화면에 표시한다. When the head mount display device 200 includes the upper side surface and the right side surface, if the UAV 100 advances below the first reference speed, the display device 200 displays the uppermost portion of the front screen And displays the b-th partial image displayed on the lowermost portion of the front screen on the lower side screen in the previous time slot.

또한, 무인항공기(100)가 제1 기준 속도보다 빠른 속도로 전진하면 헤드 마운트 디스플레이 장치(200)는 제a 부분 영상 및 이전 타임 슬롯에서 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상측 측면 화면에 표시하고, 제b 부분 영상 및 이전 타임 슬롯에서 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 하측 측면 화면에 표시한다. When the UAV 100 advances at a speed higher than the first reference speed, the head mount display apparatus 200 displays one or more c-th partial images adjacent to the a-th partial image and the a- And display one or more d-th partial images adjacent to the b-th partial image and the b-th partial image in the previous time slot on the lower side screen.

그리고 사용자의 머리가 어느 한 방향으로 움직인 경우, 이전 타임 슬롯에서 상측 측면 화면 및 하측 측면 화면을 사용자의 머리가 움직인 쪽으로 이동시켜 표시한다. 이때, 전면 화면이 이동되는 만큼 상측 측면 화면 및 하측 측면 화면도 이동된다. When the user's head moves in one direction, the upper side and lower side screens are shifted to the side where the user's head moves in the previous time slot. At this time, the upper side side screen and the lower side side screen are moved as the front side screen is moved.

이와 같이 본 발명의 실시예에 따르면 헤드 마운트 디스플레이 장치 및 그 동작 방법을 이용함으로써, 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 넓은 시야의 촬영 영상을 제공할 수 있다. 또한, 무인항공기 이동 시 발생할 수 있는 충돌을 예측하여 회피할 수 있다.As described above, according to the embodiment of the present invention, by using the head-mounted display device and the operation method thereof, it is possible to solve the narrow visual field problem of the image photographed by the unmanned aerial vehicle, thereby providing a wide- In addition, it is possible to predict and avoid collisions that can occur when moving the UAV.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, Of the right.

100 : 무인항공기 200 : 헤드 마운트 디스플레이 장치
210 : 통신부 220 : 이동 감지부
230 : 제어부 240 : 디스플레이부
300 : 무인항공기로부터 수신된 촬영 영상 영역
410 : 출력 화면 영역 420 : 좌측 측면 화면
430 : 우측 측면 화면100: Unmanned aerial vehicle 200: Head-mounted display device
210: communication unit 220:
230: Control section 240:
300: photographed image area received from the unmanned airplane
410: output screen area 420: left side screen
430: Right side screen

Claims (12)

무인항공기로부터 촬영 영상을 수신하여 사용자에게 제공하는 헤드 마운트 디스플레이 장치에 있어서,
상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 통신부,
복수의 부분으로 나누어진 전방 화면을 포함하며, 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면을 더 포함하는 디스플레이부, 그리고
현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 상기 전방 화면에 표시하도록 하고, 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 측면 화면 중에서 적어도 하나에 표시하되, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하도록 하는 제어부를 포함하는 헤드 마운트 디스플레이 장치. A head-mounted display device for receiving a photographed image from an unmanned aerial vehicle and providing the photographed image to a user,
A communication unit for receiving the photographed image and the movement information of the unmanned airplane in units of time slots from the unmanned airplane,
And further includes at least one side screen including a left side screen, a right side screen, an upper side screen and a lower side screen which are connected to the left, right, upper and lower sides of the front screen, respectively, And
Dividing the photographed image received in the current time slot into a plurality of partial images and displaying the divided partial images on the front screen, displaying a partial image displayed on the front screen in a previous time slot on at least one of the side screens, And a control unit for displaying the left side screen, the right side screen, the upper side screen and the lower side screen in a blank state when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the slot, . 제1항에 있어서,
상기 제어부는,
상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면,
상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하도록 하는 헤드 마운트 디스플레이 장치.The method according to claim 1,
Wherein,
If it is detected that the unmanned airplane is advancing below the first reference speed,
A first partial image displayed on the leftmost portion of the front screen in the previous time slot is displayed on the left side screen and a second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side And displaying the aa partial image displayed on the uppermost portion of the front screen in the previous time slot on the upper side screen, And displays the partial image on the lower side screen. 제2항에 있어서,
상기 제어부는,
상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면,
상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고,
상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하도록 하며,
상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하도록 하고,
상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하도록 하는 헤드 마운트 디스플레이 장치.3. The method of claim 2,
Wherein,
If it is detected that the UAV is advancing at a speed higher than the first reference speed,
Display one or more third partial images adjacent to the first partial image and the first partial image on the left side screen in the previous time slot,
Display one or more fourth partial images adjacent to the second partial image and the second partial image in the previous time slot on the right side screen,
And displaying one or more c-th partial images adjacent to the a-th partial image and the a-th partial image in the previous time slot on the upper side screen,
And displays the b-th partial image and the at least one d-th partial image adjacent to the b-th partial image in the previous time slot on the lower side screen. 제3항에 있어서,
상기 제어부는,
상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고,
상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하며,
상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고,
상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하는 헤드 마운트 디스플레이 장치.The method of claim 3,
Wherein,
The third partial image is displayed at a position closer to the front screen than the first partial image,
The fourth partial image is displayed at a position closer to the front screen than the second partial image,
The c-th partial image is displayed at a position closer to the front screen than the a-th partial image,
And displays the d-th partial image at a position closer to the front screen than the b-th partial image. 삭제delete 제1항에 있어서,
사용자의 머리 움직임을 감지하는 이동 감지부를 더 포함하며,
상기 제어부는,
상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동되어 표시되도록 하고,
상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동되어 표시되도록 하는 헤드 마운트 디스플레이 장치. The method according to claim 1,
And a movement detecting unit for detecting a movement of the user's head,
Wherein,
When the head of the user is detected as moving to the left, the image displayed on the left side screen in the previous time slot is displayed on the front screen, and the image displayed on the front screen is displayed on the right side screen , The upper side side screen and the lower side side screen are moved to the right by the amount of movement of the image displayed on the left side screen,
When the head of the user is sensed to move to the right, an image displayed on the right side screen in the previous time slot is displayed on the front screen, and an image displayed on the front screen is displayed on the left side screen And the upper side side screen and the lower side side screen are displayed to be shifted to the left as far as the image displayed on the right side side screen is moved. 무인항공기로부터 촬영 영상을 수신하여 사용자에게 제공하는 헤드 마운트 디스플레이 장치의 동작 방법에 있어서,
상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 단계,
현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하는 단계, 그리고
이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나에 표시하되, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하는 단계를 포함하는 헤드 마운트 디스플레이 장치의 동작 방법. A method of operating a head-mounted display device for receiving a photographed image from an unmanned aerial vehicle and providing the photographed image to a user,
Receiving the photographed image and the movement information of the unmanned aerial vehicle on a time slot basis from the unmanned aerial vehicle,
Dividing the photographed image received in the current time slot into a plurality of partial images and displaying the divided images on a front screen, and
A partial image displayed on the front screen in a previous time slot is displayed on at least one of a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, And displaying the left side image, the right side image, the upper side image, and the lower side image in a blank state when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the slot How it works. 제7항에 있어서,
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면,
상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 8. The method of claim 7,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
If it is detected that the unmanned airplane is advancing below the first reference speed,
A first partial image displayed on the leftmost portion of the front screen in the previous time slot is displayed on the left side screen and a second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side screen And displaying a first partial image on the upper side of the front screen in the previous time slot and a second partial image displayed on the lower most side of the front screen in the previous time slot, And displays the image on the lower side screen. 제8항에 있어서,
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면,
상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하고,
상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하며,
상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하고,
상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 9. The method of claim 8,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
If it is detected that the UAV is advancing at a speed higher than the first reference speed,
Displaying the first partial image and one or more third partial images adjacent to the first partial image in the previous time slot on the left side screen,
The second partial image and one or more fourth partial images adjacent to the second partial image in the previous time slot on the right side screen,
And displaying one or more c-th partial images adjacent to the a-th partial image and the a-th partial image in the previous time slot on the upper side screen,
And displays the b-th partial image and at least one d-th partial image adjacent to the b-th partial image in the previous time slot on the lower side screen. 제9항에 있어서,
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하고,
상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하며,
상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하고,
상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 10. The method of claim 9,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
Displaying the third partial image at a position closer to the front screen than the first partial image,
The fourth partial image is displayed at a position closer to the front screen than the second partial image,
And displaying the c-th partial image at a position closer to the front screen than the a-th partial image,
And displays the d-th partial image at a position closer to the front screen than the b-th partial image. 삭제delete 제8항에 있어서,
사용자의 머리 움직임을 감지하는 단계를 더 포함하며,
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동하여 표시하고,
상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동하여 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 9. The method of claim 8,
Further comprising detecting a head movement of the user,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
When the head of the user is detected as moving to the left, the image displayed on the left side screen in the previous time slot is displayed on the front screen, the image displayed on the front screen is displayed on the right side screen, The upper side side screen and the lower side side screen are moved to the right by the amount of movement of the image displayed on the left side screen,
When the head of the user is sensed to move to the right, an image displayed on the right side screen in the previous time slot is displayed on the front screen, an image displayed on the front screen is displayed on the left side screen, The upper side side screen and the lower side side screen are moved to the left side as much as the image displayed on the right side side screen is moved and displayed.
KR1020150031073A 2015-03-05 2015-03-05 Head Mount Display Apparatus and Operation Method Thereof KR101623300B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150031073A KR101623300B1 (en) 2015-03-05 2015-03-05 Head Mount Display Apparatus and Operation Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150031073A KR101623300B1 (en) 2015-03-05 2015-03-05 Head Mount Display Apparatus and Operation Method Thereof

Publications (1)

Publication Number Publication Date
KR101623300B1 true KR101623300B1 (en) 2016-05-23

Family

ID=56104372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150031073A KR101623300B1 (en) 2015-03-05 2015-03-05 Head Mount Display Apparatus and Operation Method Thereof

Country Status (1)

Country Link
KR (1) KR101623300B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105839A1 (en) * 2016-12-06 2018-06-14 주식회사 상화 Simulating apparatus
CN111580546A (en) * 2020-04-13 2020-08-25 深圳蚁石科技有限公司 Automatic returning method and device for unmanned aerial vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105839A1 (en) * 2016-12-06 2018-06-14 주식회사 상화 Simulating apparatus
CN111580546A (en) * 2020-04-13 2020-08-25 深圳蚁石科技有限公司 Automatic returning method and device for unmanned aerial vehicle

Similar Documents

Publication Publication Date Title
US11106203B2 (en) Systems and methods for augmented stereoscopic display
US11733692B2 (en) Systems and methods for controlling an unmanned aerial vehicle
US9738382B2 (en) Drone immersion-piloting system
EP3446190B1 (en) Systems and methods for coordinating device actions
CN104781873B (en) Image display device, method for displaying image, mobile device, image display system
EP3494443B1 (en) Systems and methods for controlling an image captured by an imaging device
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
US9648313B1 (en) Aviation display system and method
CN107871405B (en) Detection and assessment of air crash threats using visual information
US20160313732A1 (en) System for piloting a drone in immersion
CN108769531B (en) Method for controlling shooting angle of shooting device, control device and remote controller
CN105763790A (en) Video System For Piloting Drone In Immersive Mode
US9269239B1 (en) Situational awareness system and method
US9830713B1 (en) Surveillance imaging system and method
JP2020508615A (en) Multi-gimbal assembly
US20180143636A1 (en) Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle
JP2019507924A (en) System and method for adjusting UAV trajectory
WO2014007873A9 (en) Image monitoring and display from unmanned vehicle
JP2003267295A (en) Remote operation system
KR101662032B1 (en) UAV Aerial Display System for Synchronized with Operators Gaze Direction
KR101796478B1 (en) Unmanned air vehicle capable of 360 degree picture shooting
KR101623300B1 (en) Head Mount Display Apparatus and Operation Method Thereof
KR20180025416A (en) Drone flying control system and method using motion recognition and virtual reality
WO2018209557A1 (en) Method and device for controlling device, and computer readable storage medium
US11262749B2 (en) Vehicle control system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190508

Year of fee payment: 4