KR20180010891A - 360 degree opera imaging providing method by VR devices - Google Patents

360 degree opera imaging providing method by VR devices Download PDF

Info

Publication number
KR20180010891A
KR20180010891A KR1020160093750A KR20160093750A KR20180010891A KR 20180010891 A KR20180010891 A KR 20180010891A KR 1020160093750 A KR1020160093750 A KR 1020160093750A KR 20160093750 A KR20160093750 A KR 20160093750A KR 20180010891 A KR20180010891 A KR 20180010891A
Authority
KR
South Korea
Prior art keywords
image
opera
server
degree
camera
Prior art date
Application number
KR1020160093750A
Other languages
Korean (ko)
Inventor
황기현
오세준
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020160093750A priority Critical patent/KR20180010891A/en
Publication of KR20180010891A publication Critical patent/KR20180010891A/en

Links

Images

Classifications

    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention comprises: a 360-degree camera (100) installed in an opera house (10) and transmitting a 360-degree image to a server (200) in real time; a server (200) receiving and managing a 360-degree image on the 360-degree camera (100); and a virtual reality (VR) device (300) receiving a 360-degree image from the server (200), extracting an image for each direction, and providing the images through a display part (350) to be shown to a wearer. A method for providing a 360-degree opera image through the VR device has remarkable effects of providing a song or performance performed at an opera house in real time, and when an opera performance is watched from a position far away from an opera stage inside the opera house, allowing a watcher with poor sight to watch a 360-degree image on the opera stage through the VR device.

Description

VR기기를 통한 360도 오페라 영상 제공방법 { 360 degree opera imaging providing method by VR devices }The present invention relates to a 360 degree opera image providing method using VR devices,

본 발명 VR기기를 통한 360도 오페라 영상 제공방법에 관한 것으로, 더욱 상세하게는 실시간으로 오페라 공연장에서 하는 노래 또는 공연을 시청자에게 제공하고, 오페라 공연장 내부에서 오페라 무대와 멀리 떨어진 위치에서 오페라 연극을 관람을 할 경우, 시력이 약한 관찰자가 VR기기를 통해 오페라 무대를 360˚ 영상으로 관찰할 수 있는 VR기기를 통한 360도 오페라 영상 제공방법에 관한 것이다.The present invention relates to a method for providing a 360-degree opera image through a VR device, and more particularly, to providing a song or a performance performed in an opera performance hall in real time to viewers, and to view opera plays far away from the opera stage in an opera performance hall A method of providing a 360-degree opera image through a VR device in which an observer with low vision can observe an opera stage through a VR device with a 360 ° image.

일반적으로 공연장의 관객들이 공연장에서 오페라 공연을 보게 될 경우에, 오페라 무대 전방으로 준비된 관람석들에 앉아서 공연을 보게 된다.Generally, when audiences in a theater see an opera in a theater, they sit on the seats prepared in front of the opera stage.

상기 관람석들은 오페라 무대와 가까운 관람석도 있으나, 반대로 오페라 무대로부터 먼 관람석이 있으며, 무대로부터 먼 관람석은 1층에서도 무대로부터 일정거리 이상 위치나 2층 이상의 관람석 등이 있으며, 무대로부터 먼 관람석에서 관객들이 무대를 보게 될 경우에는 잘 보이지 않는 경우가 발생한다.On the other hand, there are auditoriums close to the opera stage. On the other hand, there are auditoriums far from the opera stage. On the first floor, there are auditoriums located on the second floor or above. If you see the stage, you may not see it well.

특히, 시력이 좋지 못한 관객은 오페라 공연을 관람하지 못하게 된다.Especially, the audience with poor eyesight will not be able to watch opera performances.

종래기술로서 공개특허공보 공개번호 제10-2016-0021706호의 360도 공간영상 재생방법 및 그 시스템에 있어서, 서버가 단말기로부터 동영상 선택신호를 기다리는 대기단계; 서버가 상기 동영상 선택신호에 따라 선택된 동영상을 상기 단말기로 전송하고 단말기가 상기 선택된 동영상을 재생하는 재생단계; 상기 단말기의 앵글 변화 신호에 따라 다른 각도의 동영상으로 전환하는 앵글변화 단계;를 포함하는 것을 특징으로 하는 360도 공간영상 재생방법이라고 기재되어 있다.As a conventional technique, a 360-degree spatial image playback method and system of the Japanese Laid-Open Patent Publication No. 10-2016-0021706 disclose a standby stage in which a server waits for a video selection signal from a terminal; A reproducing step of the server transmitting the selected moving image to the terminal according to the moving image selecting signal and the terminal reproducing the selected moving image; And an angle changing step of converting the moving image into moving images having different angles according to the angle changing signal of the terminal.

다른 종래기술로서 등록특허공고 등록번호 제10-1603227호의 6D-360도 실감미디어 동영상정보를 이용한 실내공간 정보 제공방법에 있어서,(a) 구조물의 실내공간 내에 적어도 하나 이상의 기준점을 설정하는 단계; (b) 위치와 이동 경로를 측정하는 센서모듈이 구비된 360도 카메라를 이용하여 기준점에서 출발하여 입체동영상정보 및 360도 카메라의 위치정보를 수집하는 단계; (c) 상기 입체동영상정보 및 위치정보를 메인서버에 전송하는 단계; (d) 메인서버가 데이터베이스에 저장된 실내공간 도면을 요청하여 전송받는 단계; (e) 메인서버에서 실내공간 도면에 상기 (a) 단계에서 설정된 기준점 위치를 매칭하는 단계; (f) 메인서버에서 실내공간 도면의 스케일에 따라 상기 실내공간 도면에 상기 위치정보 및 입체동영상정보를 매핑하여 실감미디어 정보를 생성하는 단계; (g) 상기 실감미디어 정보를 데이터베이스에 저장하는 단계; (h) 사용자의 스마트 디바이스에서 메인서버에 특정 위치의 실감미디어 정보를 요청하는 단계; (i) 메인서버에서 데이터베이스로부터 특정 위치의 실감미디어 정보를 전달받아 사용자의 스마트 디바이스에 전송하여 상기 스마트 디바이스에 구비된 실감미디어 UI에 특정 위치에서의 실감미디어 정보를 구현하되, 사용자 스마트 디바이스의 실감미디어 UI에서 실감미디어 정보 중 기준점 정보를 확인하고 스마트 디바이스의 영상 촬영 수단에 의해 실제 기준점 영상 정보를 검출하여 스마트 디바이스의 위치를 실감미디어 정보의 위치 정보와 매칭시키는 단계; 를 포함하고, 상기 실감미디어 정보에는 실내공간 및 실내공간 내에 구비되는 객체들의 부가정보가 객체의 마커 정보와 연결되어 포함되고, 상기 사용자의 스마트 디바이스에는 마커를 검출하는 검출부가 구비되어, 상기 (i) 단계에서 검출부에 의해 인식된 마커에 대응되는 객체의 부가정보를 메인서버(400)가 실감미디어 UI에 전송하여 디스플레이하는 것을 특징으로 하는 6D-360도 실감미디어 동영상이라고 기재되어 있다.As another conventional art, there is provided a method for providing indoor spatial information using 6D-360 degrees real moving picture moving picture information of Registration No. 10-1603227, comprising the steps of: (a) setting at least one reference point in an indoor space of a structure; (b) collecting stereoscopic video information and position information of a 360-degree camera from a reference point using a 360-degree camera equipped with a sensor module for measuring a position and a movement path; (c) transmitting the stereoscopic moving image information and the position information to a main server; (d) requesting and receiving an indoor space drawing stored in the database by the main server; (e) matching the reference point position set in the step (a) to the indoor space diagram in the main server; (f) generating sensible media information by mapping the position information and the stereoscopic moving picture information to the indoor space drawing according to a scale of the indoor space drawing in the main server; (g) storing the sensible media information in a database; (h) requesting actual media information at a specific location from the smart device of the user to the main server; (i) the main server receives actual sensed media information at a specific location from a database and transmits the real sensed media information to a user's smart device, thereby realizing sensible media information at a specific location in the sensible media UI provided in the smart device, Matching the location of the smart device with the location information of the sensed media information by checking the reference point information in the sensible media information in the media UI and detecting the actual reference point image information by the image photographing means of the smart device; Wherein the sensible media information includes additional information of objects included in the indoor space and the indoor space in association with marker information of the object, and the smart device of the user is provided with a detection unit for detecting a marker, The main server 400 transmits the additional information of the object corresponding to the marker recognized by the detection unit to the sensible media UI and displays the additional information on the sensible media UI.

그러나 상기와 같은 종래에는 실시간으로 오페라공연을 보여주지 못하며, 시력이 약한 관찰자가 오페라를 하는 무대에서 진행하는 오페라 연극을 오페라 무대에서 멀리 떨어진 위치에서는 관람하기 어려운 단점이 있었다.However, the above-mentioned conventionally has a disadvantage that it is difficult to observe an opera performed on a stage where an observer with weak eyesight performs an opera in a real time and can not show an opera performance at a distance from an opera stage.

본 발명 VR기기를 통한 360도 오페라 영상 제공방법을 통하여, 실시간으로 오페라 공연장에서 하는 노래 또는 공연을 시청자에게 제공하고, 오페라 공연장 내부에서 오페라 무대와 멀리 떨어진 위치에서 오페라 연극을 관람을 할 경우, 시력이 약한 관찰자가 VR기기를 통해 오페라 무대를 360˚ 영상으로 관찰할 수 있는 VR기기를 통한 360도 오페라 영상 제공방법을 제공하고자 하는 것이다.The present invention provides a 360-degree opera image providing method through a VR device to provide a viewer with a song or performance performed at an opera performance site in real time, and when viewing an opera performance far away from the opera performance stage within the opera performance hall, This weak observer is trying to provide a 360 degree opera image providing method through a VR device which can observe an opera stage through a VR device with a 360 degree image.

본 발명은 오페라 공연장(10)에 설치되며 서버(200)로 360° 영상을 실시간으로 전송하는 360° 카메라(100)와; 상기 360° 카메라(100)의 360° 영상을 전송받아 관리하는 서버(200)와; 상기 서버(200)에서 360° 영상을 전송받아 방향에 따른 영상을 추출하여 착용자에게 보이도록 디스플레이부(350)를 통해 제공하는 VR기기(300); 로 이루어지는 것을 특징으로 한다.A 360 ° camera 100 installed in an opera house 10 for transmitting a 360 ° image in real time to a server 200; A server 200 for receiving and managing a 360 ° image of the 360 ° camera 100; A VR device 300 for receiving a 360 ° image from the server 200 and extracting an image according to a direction and providing the 360 ° image to a wearer through a display unit 350; .

본 발명 VR기기를 통한 360도 오페라 영상 제공방법은 실시간으로 오페라 공연장에서 하는 노래 또는 공연을 시청자에게 제공하고, 오페라 공연장 내부에서 오페라 무대와 멀리 떨어진 위치에서 오페라 연극을 관람을 할 경우, 시력이 약한 관찰자가 VR기기를 통해 오페라 무대를 360˚ 영상으로 관찰할 수 있는 현저한 효과가 있다.The present invention provides a method for providing 360-degree opera video through a VR device, which provides a viewer with a song or performance performed in an opera performance hall in real time, and when viewing an opera performance far away from the opera stage in the opera performance hall, There is a remarkable effect that an observer can observe an opera stage through a VR device with a 360 degree image.

도 1은 본 발명의 시스템 구성도
도 2는 본 발명의 시스템 개념도1 is a system configuration diagram of the present invention;
2 is a system conceptual diagram of the present invention

본 발명은 오페라 공연장(10)에 설치되며 서버(200)로 360° 영상을 실시간으로 전송하는 360° 카메라(100)와; 상기 360° 카메라(100)의 360° 영상을 전송받아 관리하는 서버(200)와; 상기 서버(200)에서 360° 영상을 전송받아 방향에 따른 영상을 추출하여 착용자에게 보이도록 디스플레이부(350)를 통해 제공하는 VR기기(300); 로 이루어지는 것을 특징으로 한다.A 360 ° camera 100 installed in an opera house 10 for transmitting a 360 ° image in real time to a server 200; A server 200 for receiving and managing a 360 ° image of the 360 ° camera 100; A VR device 300 for receiving a 360 ° image from the server 200 and extracting an image according to a direction and providing the 360 ° image to a wearer through a display unit 350; .

또한, 상기 오페라 공연장(10) 내부에서 오페라 무대(11)에서 떨어진 위치에서 관람자가 오페라 연극을 진행하는 오페라 무대(11)를 보게 될 경우, 무대가 잘 보이지 않는 관찰자가 VR기기(300)를 사용하여 오페라 무대(11)를 볼 수 있는 것을 특징으로 한다.When an observer looks at an opera stage 11 where opera plays are performed at a position apart from the opera stage 11 in the opera venue 10, an observer who does not see the stage visually uses the VR device 300 So that the opera stage 11 can be seen.

또한, 상기 VR기기(300)는 안경 형상의 몸체와; 상기 몸체에 내장되어 서버(200)로부터 360° 영상을 전송받는 기기통신부(320)와; 상기 몸체에 내장되어 착용자가 보는 방향을 판단할 수 있도록 방향을 감지하는 센서부(330)와; 상기 기기통신부(320)로부터 수신한 360° 영상과 센서부(330)의 감지된 방향을 통해 사용자가 볼 수 있도록 해당 방향의 영상으로 변환하는 기기제어부(340)와; 상기 기기제어부(340)로부터 변환된 해당 방향의 영상을 착용자가 볼 수 있도록 출력하는 디스플레이부(350); 로 이루어지는 것을 특징으로 한다.Further, the VR device 300 includes a body having an eyeglass shape; A device communication unit 320 installed in the body and receiving a 360 ° image from the server 200; A sensor unit 330 built in the body and sensing a direction so as to determine a direction of the wearer; A device controller 340 for converting a 360 ° image received from the device communication unit 320 and an image of a corresponding direction so as to be viewed by the user through the sensed direction of the sensor unit 330; A display unit 350 for outputting the image of the corresponding direction converted by the device control unit 340 so that the image can be seen by the wearer; .

본 발명을 첨부 도면에 의해 상세히 설명하면 다음과 같다.The present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 시스템 구성도, 도 2는 본 발명의 시스템 개념도이다.Fig. 1 is a system configuration diagram of the present invention, and Fig. 2 is a system conceptual diagram of the present invention.

본 발명에 대해 구체적으로 기술하면, 본 발명은 오페라 공연장(10)에 설치되며 서버(200)로 360° 영상을 실시간으로 전송하는 360° 카메라(100)와; 상기 360° 카메라(100)의 360° 영상을 전송받아 관리하는 서버(200)와; 상기 서버(200)에서 360° 영상을 전송받아 방향에 따른 영상을 추출하여 착용자에게 보이도록 디스플레이부(350)를 통해 제공하는 VR기기(300); 로 이루어지는 것이다.More specifically, the present invention relates to a 360 ° camera 100 installed in an opera house 10 for transmitting a 360 ° image in real time to a server 200; A server 200 for receiving and managing a 360 ° image of the 360 ° camera 100; A VR device 300 for receiving a 360 ° image from the server 200 and extracting an image according to a direction and providing the 360 ° image to a wearer through a display unit 350; .

상기 오페라 공연장(10) 내부에서 오페라 무대(11)에서 떨어진 위치에서 관람자가 오페라 연극을 진행하는 오페라 무대(11)를 보게 될 경우, 무대가 잘 보이지 않는 관찰자가 VR(Virture Reality)기기(300)를 사용하여 오페라 무대(11)를 볼 수 있는 것이다.When a spectator sees an opera stage 11 where an opera is performed at a position apart from the opera stage 11 within the opera performance site 10, an observer who does not see the stage visually displays a virtual reality (VR) So that the opera stage 11 can be seen.

상기 360° 카메라(100)는 다수 개의 카메라 센서를 통해 각각의 영상을 촬영할 수 있는 영상입력부(110)와; 상기 영상입력부(110)에서 입력되는 다수 개의 영상을 360° 영상으로 합성하는 카메라제어부(120)와; 상기 카메라제어부(120)에서 합성된 영상을 360° 영상을 VR기기(300)로 전송하는 카메라통신부(130); 로 이루어지는 것이다.The 360 ° camera 100 includes an image input unit 110 capable of capturing respective images through a plurality of camera sensors; A camera controller 120 for synthesizing a plurality of images input from the image input unit 110 into a 360 ° image; A camera communication unit 130 for transmitting a 360 ° image from the camera control unit 120 to the VR device 300; .

상기 영상입력부(110)는 각 방향을 촬영하는 다수 개의 센서로 이루어지는 것으로, 상기 영상입력부(110)의 다수 개의 카메라 센서를 통해 각각 영상을 촬영하고, 상기 영상입력부(110)에서 촬영된 각각의 영상을 카메라제어부(120)에서 360° 영상으로 합성하는 것이다.The image input unit 110 includes a plurality of sensors for capturing images in respective directions. The image input unit 110 captures an image through a plurality of camera sensors of the image input unit 110, and displays each image captured by the image input unit 110 Is synthesized into a 360 ° image by the camera controller 120.

더욱 상세하게 설명하면, 상기 영상입력부(110)는 서로 정반대방향을 감지하는 두 개의 카메라 센서를 통해 전방의 180°를 촬영한 영상과 후방의 180°를 촬영한 영상을 각각 촬영하고, 두 개의 카메라 센서에서 촬영된 각각의 영상을 카메라제어부(120)에서 합성하여 360° 영상을 획득 할 수 있는 것이다.More specifically, the image input unit 110 photographs an image of 180 ° in front and an image of 180 ° in the rear through two camera sensors that detect the opposite directions, Each of the images photographed by the sensor can be combined by the camera control unit 120 to obtain a 360 ° image.

이는 두 개의 카메라 센서에 한정되지 않고, 다수 개의 카메라 센서를 통해 360° 영상을 촬영할 수 있음을 나타낸다.This means that it is not limited to two camera sensors but can capture a 360 ° image through a plurality of camera sensors.

상기 다수 개의 카메라 센서는 각각 다른 방향을 보도록 설치되며, 특히 다수 개의 카메라 센서를 통해 촬영된 모든 영상에서 360° 영상으로 합성하기 위해서는 각 방향의 영상을 모두 포함하고 있어야 한다.The plurality of camera sensors are installed to view different directions. In particular, all images captured through a plurality of camera sensors must include images in all directions in order to synthesize 360 degrees images.

상기 360° 카메라(100)의 카메라통신부(130)는 서버(200)의 서버통신부(210)와 통신을 하여 360° 영상을 전송할 수 있는 것이다.The camera communication unit 130 of the 360 ° camera 100 can communicate with the server communication unit 210 of the server 200 to transmit a 360 ° image.

상기 서버(200)는 360° 카메라(100)와 통신하여 360° 영상을 수신하거나, 또는 VR기기(300)와 통신하여 360° 영상을 전송하는 서버통신부(210)와; 상기 서버통신부(210)를 통해 360° 카메라(100)에서 수신된 360° 영상을 저장하는 영상저장부(220)와; 상기 360° 카메라(100)에서 수신된 360° 영상을 VR기기(300)로 전송하며, 상기 360° 영상을 영상저장부(220)에 저장할 수 있도록 제어하는 서버제어부(230); 로 이루어지는 것이다.The server 200 includes a server communication unit 210 for communicating with the 360 ° camera 100 to receive a 360 ° image or communicating with the VR device 300 to transmit a 360 ° image; An image storage unit 220 for storing a 360 ° image received by the 360 ° camera 100 through the server communication unit 210; A server controller 230 for transmitting the 360 ° image received by the 360 ° camera 100 to the VR device 300 and controlling the 360 ° image to be stored in the image storage 220; .

상기 영상저장부(220)는 360° 카메라(100)에서 수신한 360° 영상을 서버제어부(230)에 의해 카메라통신부(130)로부터 전달받아 저장하는 것으로, 상기 360° 영상을 저장할 시 시간순서대로 저장되는 것이다.The image storage unit 220 receives and stores a 360 ° image received by the 360 ° camera 100 from the camera communication unit 130 by the server control unit 230 and stores the 360 ° image in a time order And stored.

상기 영상저장부(220)에 저장된 360° 영상은 서버제어부(230)의 제어에 의해 카메라통신부(130)로 전달한 후 VR기기(300)로 전송하는 것이다.The 360 ° image stored in the image storage unit 220 is transferred to the camera communication unit 130 and then transmitted to the VR device 300 under the control of the server control unit 230.

이때, 상기 서버(200)로부터 360° 영상을 수신하는 VR기기(300)는 다수 개가 될 수 있으며, 각각의 VR기기(300)에서 360° 영상을 볼 수 있는 것이다.At this time, there may be a plurality of VR devices 300 receiving 360 ° images from the server 200, and each VR device 300 can view 360 ° images.

상기 VR기기(300)는 안경 형상의 몸체와; 상기 몸체에 내장되어 서버(200)로부터 360° 영상을 전송받는 기기통신부(320)와; 상기 몸체에 내장되어 착용자가 보는 방향을 판단할 수 있도록 방향을 감지하는 센서부(330)와; 상기 기기통신부(320)로부터 수신한 360° 영상과 센서부(330)의 감지된 방향을 통해 사용자가 볼 수 있도록 해당 방향의 영상으로 변환하는 기기제어부(340)와; 상기 기기제어부(340)로부터 변환된 해당 방향의 영상을 착용자가 볼 수 있도록 출력하는 디스플레이부(350); 로 이루어진다.The VR apparatus 300 includes a body having an eyeglass shape; A device communication unit 320 installed in the body and receiving a 360 ° image from the server 200; A sensor unit 330 built in the body and sensing a direction so as to determine a direction of the wearer; A device controller 340 for converting a 360 ° image received from the device communication unit 320 and an image of a corresponding direction so as to be viewed by the user through the sensed direction of the sensor unit 330; A display unit 350 for outputting the image of the corresponding direction converted by the device control unit 340 so that the image can be seen by the wearer; .

상기 몸체는 안경 형상으로 관찰자가 착용할 수 있는 것이다.The body may be worn by an observer in the form of an eyeglass.

상기 기기통신부(320)는 서버(200)에서 360° 영상을 전송받아 기기제어부(340)로 전송하는 것이다.The device communication unit 320 receives the 360 ° image from the server 200 and transmits the 360 ° image to the device control unit 340.

상기 센서부(330)는 착용자가 보는 방향에 따라 몸체가 움직이는 것을 감지하여 현재 착용자가 보는 방향을 방향데이터로 변환한 후 기기제어부(340)로 보내는 것으로, 특히, 자이로 센서를 사용할 수 있는 것이다. The sensor unit 330 senses the movement of the body according to the direction of the wearer, converts the direction of the wearer's current view into direction data, and sends the direction data to the device controller 340. In particular, the gyro sensor can be used.

상기 기기제어부(340)는 서버(200)에서 수신받은 360° 영상과 센서부(330)의 방향데이터를 통해 사용자가 현실처럼 제한된 공간을 볼 수 있도록 360° 영상의 영상 중 해당 방향의 제한된 범위의 영상을 추출하는 것이다.The device controller 340 controls the camera 360 to display a 360 ° image of a limited range in a 360 ° image so that the user can see a limited space through the 360 ° image received from the server 200 and the direction data of the sensor 330. And extracts the image.

더욱 상세하게 설명하면, 상기 기기제어부(340)는 360° 영상을 몸체에 내장된 센서부(330)의 방향과 매칭하여 상기 몸체를 착용한 관찰자가 고개를 돌리는 방향에 따라 해당 방향의 영상만 따로 추출한다.More specifically, the device control unit 340 matches the 360 ° image with the direction of the sensor unit 330 built in the body, so that only the image in the corresponding direction is displayed separately according to the direction in which the observer wearing the body turns the head .

그리고 상기 기기제어부(340)에서 추출된 영상을 디스플레이부(350)에 출력할 수 있도록 하되, 상기 디스플레이부(350)를 통해 모든 360° 영상이 아닌, 현실의 사람이 볼 수 있는 정도의 범위를 가지는 추출된 영상을 볼 수 있게 함으로써, 관찰자는 현실감이 높은 영상을 볼 수 있게 된다.In addition, it is possible to output the image extracted by the device control unit 340 to the display unit 350, and it is possible to display a range of the degree of viewable by a person other than the 360 ° image through the display unit 350 By making the extracted image visible, the observer can see the realistic image.

이때, 상기 몸체를 착용한 착용자가 고개를 돌리는 방향에 따라 영상도 변하게 됨으로써 무대 위만 아니라, 무대에서 보이는 관객들의 반응 또한 확인할 수 있는 것이다.At this time, since the image changes according to the direction in which the wearer wearing the body turns the head, not only the stage but also the reaction of the audience in the stage can be confirmed.

상기 360° 카메라(100)와 서버(200), 또는 서버(200)와 VR기기(300)는 각각의 통신부를 통해 서로 wi-fi, bluetooth 등의 무선통신을 하거나, 또는 유선케이블을 통해 유선통신을 하는 것이다.The 360 ° camera 100 and the server 200 or the server 200 and the VR device 300 can communicate with each other through wireless communication such as wi-fi and bluetooth via respective communicating units or via wired communication .

그리고 상기 서버(200)에 저장되는 360° 영상은 즉시 서버에 연결된 하나 이상의 VR기기에 전송되어 다수 개의 VR기기에서 각각의 관찰자가 확인할 수 있다.The 360 ° image stored in the server 200 is immediately transmitted to one or more VR devices connected to the server and can be confirmed by each observer in the plurality of VR devices.

상기 VR기기에는 추가적으로 상,하,좌,우로 디스플레이부에 출력되는 영상을 회전시킬 수 있는 회전 버튼부가 더 구비되어, 상기 회전버튼부를 통해 관찰자가 자리에 앉은 상태에서 불편하게 고개를 돌리지 않아도 보여지는 영상을 회전하도록 할 수 있는 것이다.The VR device is further provided with a rotation button portion for rotating an image output to the display portion in addition, upward, downward, leftward, and rightward. The VR device can be viewed without an uncomfortable head turning while the observer is seated through the rotation button portion So that the image can be rotated.

더욱 상세하게 설명하면, 상기 VR기기의 회전 버튼부에는 상,하,좌,우 버튼이 구비되되, 상기 버튼을 누른 방향으로 디스플레이부에 출력되는 화면이 회전되어 보이게 된다.More specifically, the VR device includes a rotation button portion having upper, lower, left, and right buttons, and a screen displayed on the display portion in a direction in which the button is pressed is rotated.

그러므로 상기 VR기기를 사용하는 관찰자는 방향이 맞지 않게 보이는 상황에도 회전 버튼부를 통해 디스플레이부에 출력되는 영상의 방향을 조절하여 원하는 방향을 볼 수 있도록 세부조절을 할 수 있다.Therefore, the observer who uses the VR device can adjust the direction of the image outputted to the display unit through the rotation button unit so that the user can see the desired direction even in a situation where the direction does not match.

그리고 상기 세부조절을 통해 사용자는 VR기기를 통해 고개를 돌린 상태로 있어 목에 부담을 주는 상황과, 정면이 아닌 다른 방향을 계속 보고 있게 되어 주변의 사람들에게 이상하게 보이게되는 상황을 방지한다.Through the detailed adjustment, the user can turn the head of the VR device over the neck, thereby preventing the user from being burdened with the neck and the situation in which the user continues to look in a direction other than the front and becomes strangely visible to the people around him.

또한, 상기 VR기기에는 추가적으로 서버에 입력되는 360°영상 중 하나를 선택할 수 있는 영상변경 버튼부가 더 구비되고, 상기 360° 카메라(100)는 오페라 공연장(10)에 다수 개가 설치될 수 있는 것으로, 상기 영상변경 버튼부를 통해 관찰자가 다수 개의 360° 카메라에서 촬영되어 서버(200)로 전송되는 360°영상 중 하나의 360° 영상을 선택할 수 있는 것이다.In addition, the VR device is further provided with an image change button portion for selecting one of 360 ° images input to the server, and the 360 ° camera 100 can be installed in the opera performance site 10, The viewer can select one 360 ° image from 360 ° images taken by a plurality of 360 ° cameras and transmitted to the server 200 through the image change button unit.

따라서 본 발명 VR기기를 통한 360도 오페라 영상 제공방법은 실시간으로 오페라 공연장에서 하는 노래 또는 공연을 시청자에게 제공하고, 오페라 공연장 내부에서 오페라 무대와 멀리 떨어진 위치에서 오페라 연극을 관람을 할 경우, 시력이 약한 관찰자가 VR기기를 통해 오페라 무대를 360˚ 영상으로 관찰할 수 있는 현저한 효과가 있다.Accordingly, the present invention provides a method for providing 360-degree opera images through a VR device, which provides a viewer with a song or a performance performed in an opera performance hall in real time, and when viewing an opera performance far away from the opera stage in the opera performance hall, There is a remarkable effect that a weak observer can observe an opera stage with a 360 ° image through a VR device.

10 : 오페라 공연장 11 : 오페라 무대
100 : 360° 카메라
110 : 영상입력부 120 : 카메라제어부 130 : 카메라통신부
200 : 서버
210 : 서버통신부 220 : 영상저장부 230 : 서버제어부
300 : VR기기
320 : 기기통신부 330 : 센서부 340 : 기기제어부
350 : 디스플레이부10: Opera Theater 11: Opera Theater
100: 360 ° camera
110: video input unit 120: camera control unit 130: camera communication unit
200: Server
210: server communication unit 220: image storage unit 230: server control unit
300: VR device
320: device communication unit 330: sensor unit 340:
350:

Claims (3)

오페라 공연장(10)에 설치되며 서버(200)로 360° 영상을 실시간으로 전송하는 360° 카메라(100)와; 상기 360° 카메라(100)의 360° 영상을 전송받아 관리하는 서버(200)와; 상기 서버(200)에서 360° 영상을 전송받아 방향에 따른 영상을 추출하여 착용자에게 보이도록 디스플레이부(350)를 통해 제공하는 VR기기(300); 로 이루어지는 것을 특징으로 하는 VR기기를 통한 360도 오페라 영상 제공방법A 360 ° camera 100 installed in the opera house 10 for transmitting a 360 ° image in real time to the server 200; A server 200 for receiving and managing a 360 ° image of the 360 ° camera 100; A VR device 300 for receiving a 360 ° image from the server 200 and extracting an image according to a direction and providing the 360 ° image to a wearer through a display unit 350; A method for providing a 360-degree opera image through a VR device 제 1항에 있어서, 상기 오페라 공연장(10) 내부에서 오페라 무대(11)에서 떨어진 위치에서 관람자가 오페라 연극을 진행하는 오페라 무대(11)를 보게 될 경우, 무대가 잘 보이지 않는 관찰자가 VR기기(300)를 사용하여 오페라 무대(11)를 볼 수 있는 것을 특징으로 하는 VR기기를 통한 360도 오페라 영상 제공방법The method according to claim 1, wherein, when the viewer views the opera stage (11) where the opera is performed at a position apart from the opera stage (11) within the opera venue (10) 300) is used to view an opera stage (11). A method of providing a 360-degree opera image through a VR device 제 1항에 있어서, 상기 VR기기(300)는 안경 형상의 몸체와; 상기 몸체에 내장되어 서버(200)로부터 360° 영상을 전송받는 기기통신부와; 상기 몸체에 내장되어 착용자가 보는 방향을 판단할 수 있도록 방향을 감지하는 센서부(330)와; 상기 기기통신부로부터 수신한 360° 영상과 센서부(330)의 감지된 방향을 통해 사용자가 볼 수 있도록 해당 방향의 영상으로 변환하는 기기제어부(340)와; 상기 기기제어부(340)로부터 변환된 해당 방향의 영상을 착용자가 볼 수 있도록 출력하는 디스플레이부(350); 로 이루어지는 것을 특징으로 하는 VR기기를 통한 360도 오페라 영상 제공방법The apparatus of claim 1, wherein the VR device (300) comprises: a body having an eyeglass shape; A device communication unit built in the body and adapted to receive a 360 ° image from the server 200; A sensor unit 330 built in the body and sensing a direction so as to determine a direction of the wearer; A device controller 340 for converting the 360 ° image received from the device communication unit and the detected direction of the sensor unit 330 into an image of a corresponding direction so that the user can view the 360 ° image; A display unit 350 for outputting the image of the corresponding direction converted by the device control unit 340 so that the image can be seen by the wearer; A method for providing a 360-degree opera image through a VR device
KR1020160093750A 2016-07-22 2016-07-22 360 degree opera imaging providing method by VR devices KR20180010891A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160093750A KR20180010891A (en) 2016-07-22 2016-07-22 360 degree opera imaging providing method by VR devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160093750A KR20180010891A (en) 2016-07-22 2016-07-22 360 degree opera imaging providing method by VR devices

Publications (1)

Publication Number Publication Date
KR20180010891A true KR20180010891A (en) 2018-01-31

Family

ID=61083308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160093750A KR20180010891A (en) 2016-07-22 2016-07-22 360 degree opera imaging providing method by VR devices

Country Status (1)

Country Link
KR (1) KR20180010891A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941947B1 (en) 2018-07-13 2019-01-24 주식회사 유니브이알 Virtual reality video service system using virtual reality experience device
KR102083907B1 (en) 2019-10-28 2020-03-03 주식회사 스톤인테그리티 VR device synchronization system
EP3730787A1 (en) 2019-04-24 2020-10-28 TE Connectivity Germany GmbH Control device for a compressor, a compressor with the same, and an air conditioning system including control device and compressor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141571A (en) * 2001-10-30 2003-05-16 Canon Inc Compound reality feeling device and compound reality feeling game device
JP2011010126A (en) * 2009-06-26 2011-01-13 Canon Inc Image processing apparatus, and image processing method
JP2012048597A (en) * 2010-08-30 2012-03-08 Univ Of Tokyo Mixed reality display system, image providing server, display device and display program
KR20130136569A (en) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 System for the rendering of shared digital interfaces relative to each user's point of view
KR101613284B1 (en) * 2015-10-08 2016-04-18 김영덕 System for providing shopping information based on augmented reality and control method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141571A (en) * 2001-10-30 2003-05-16 Canon Inc Compound reality feeling device and compound reality feeling game device
JP2011010126A (en) * 2009-06-26 2011-01-13 Canon Inc Image processing apparatus, and image processing method
JP2012048597A (en) * 2010-08-30 2012-03-08 Univ Of Tokyo Mixed reality display system, image providing server, display device and display program
KR20130136569A (en) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 System for the rendering of shared digital interfaces relative to each user's point of view
KR101613284B1 (en) * 2015-10-08 2016-04-18 김영덕 System for providing shopping information based on augmented reality and control method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941947B1 (en) 2018-07-13 2019-01-24 주식회사 유니브이알 Virtual reality video service system using virtual reality experience device
EP3730787A1 (en) 2019-04-24 2020-10-28 TE Connectivity Germany GmbH Control device for a compressor, a compressor with the same, and an air conditioning system including control device and compressor
KR102083907B1 (en) 2019-10-28 2020-03-03 주식회사 스톤인테그리티 VR device synchronization system

Similar Documents

Publication Publication Date Title
US11379173B2 (en) Method of maintaining accuracy in a 3D image formation system
JP6725038B2 (en) Information processing apparatus and method, display control apparatus and method, program, and information processing system
US10554883B2 (en) VR system, communication method, and non-transitory computer-readable medium
RU2683262C2 (en) Information processing device, information processing method and program
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
KR101822471B1 (en) Virtual Reality System using of Mixed reality, and thereof implementation method
CN102907105A (en) Video camera providing videos with perceived depth
JP2009071478A (en) Information communication terminal and information communication system
JP2011010126A (en) Image processing apparatus, and image processing method
KR20180010891A (en) 360 degree opera imaging providing method by VR devices
JP2007501950A (en) 3D image display device
JP6649010B2 (en) Information processing device
JP2018163461A (en) Information processing apparatus, information processing method, and program
WO2017163649A1 (en) Image processing device
JP6921204B2 (en) Information processing device and image output method
US10902617B2 (en) Data processing for position detection using optically detectable indicators
JP3206874B2 (en) Image system for remote construction support
US9989762B2 (en) Optically composited augmented reality pedestal viewer
CN112887663A (en) Image display method, image communication system, image capturing apparatus, and storage medium
JP2022015647A (en) Information processing apparatus and image display method
JP2019139697A (en) Display device, video display system, and video display method
EP4325842A1 (en) Video display system, information processing device, information processing method, and program
JP7403256B2 (en) Video presentation device and program
CN116830563A (en) Information processing apparatus, information processing method, and information processing system
CN113286039A (en) Image display device, image communication system, image display method, and imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application