KR102112074B1 - Method, apparatus and program for providing virtual reality event including unique venue - Google Patents

Method, apparatus and program for providing virtual reality event including unique venue Download PDF

Info

Publication number
KR102112074B1
KR102112074B1 KR1020190128660A KR20190128660A KR102112074B1 KR 102112074 B1 KR102112074 B1 KR 102112074B1 KR 1020190128660 A KR1020190128660 A KR 1020190128660A KR 20190128660 A KR20190128660 A KR 20190128660A KR 102112074 B1 KR102112074 B1 KR 102112074B1
Authority
KR
South Korea
Prior art keywords
virtual reality
information
participant
terminals
avatar
Prior art date
Application number
KR1020190128660A
Other languages
Korean (ko)
Other versions
KR20200017373A (en
Inventor
김보언
Original Assignee
김보언
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김보언 filed Critical 김보언
Priority to KR1020190128660A priority Critical patent/KR102112074B1/en
Publication of KR20200017373A publication Critical patent/KR20200017373A/en
Application granted granted Critical
Publication of KR102112074B1 publication Critical patent/KR102112074B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨터에 의하여 수행되는 방법으로서, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 포함하는, 가상현실 이벤트 제공방법이 개시된다.A method performed by a computer, the method comprising: receiving user information from one or more virtual reality terminals, classifying the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals, and a background for generating virtual reality images Obtaining information, person information and object information, wherein the person information includes user information received from the one or more participant terminals, generating a virtual reality image using the acquired background information, person information and object information Disclosed is a method for providing a virtual reality event, comprising providing the generated virtual reality image to the one or more virtual reality terminals.

Description

유니크베뉴를 포함하는 가상현실 이벤트 제공방법, 장치 및 프로그램{METHOD, APPARATUS AND PROGRAM FOR PROVIDING VIRTUAL REALITY EVENT INCLUDING UNIQUE VENUE}Method, device and program for providing virtual reality events including Unique Venue {METHOD, APPARATUS AND PROGRAM FOR PROVIDING VIRTUAL REALITY EVENT INCLUDING UNIQUE VENUE}

본 발명은 유니크베뉴를 포함하는 가상현실 이벤트 제공방법, 장치 및 프로그램에 관한 것이다. The present invention relates to a method, apparatus and program for providing a virtual reality event including a unique venue.

가상현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 인위적으로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 가상현실이란 말은 인공현실(artificial reality), 사이버 공간(cyberspace), 가상세계(virtual worlds), 가상환경(virtual environment), 합성환경(synthetic environment), 인공환경(artificial environment), 증강현실(augmented reality), 혼합현실(mixed reality) 등의 용어로 혼용되기도 한다.Virtual reality refers to an interface between a human and a computer that artificially creates a specific environment or situation, making it as if the person using it is interacting with the actual surroundings and environment. The terms virtual reality are artificial reality, cyberspace, virtual worlds, virtual environment, synthetic environment, artificial environment, and augmented reality. It may be used interchangeably with terms such as reality and mixed reality.

가상현실의 사용 목적은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 것으로서, 그 응용분야는 교육, 원격조작, 원격위성 표면탐사, 탐사자료분석, 과학적 시각화(scientific visualization) 등이다.The purpose of the use of virtual reality is to allow people to show and operate as if they are in the environment without having to directly experience the environment that is difficult to experience on a daily basis. Its application fields are education, remote operation, remote satellite surface exploration, and exploration. Data analysis, scientific visualization, etc.

MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.MICE is an abbreviated term in English for corporate meetings, incentive trips, conventions, exhibitions and events, and in a narrow sense, a promising industry centered on international conferences and exhibitions. Means a convergence industry that includes participant-oriented reward tourism and mega events.

공개특허공보 제10-2018-0062045호, 2018.06.08 공개Published Patent Publication No. 10-2018-0062045, published on June 8, 2018

본 발명이 해결하고자 하는 과제는 가상현실 이벤트 제공방법, 장치 및 프로그램을 제공하는 것이다.The problem to be solved by the present invention is to provide a method, device and program for providing a virtual reality event.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공방법은, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101), 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102), 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103), 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104) 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105)를 포함한다.A method for providing a virtual reality event according to an aspect of the present invention for solving the above-described problem is a step of receiving user information from one or more virtual reality terminals (S101), the one or more virtual reality terminals and one or more participant terminals and one Classifying as the above observer terminal (S102), obtaining background information, person information and object information for generating a virtual reality image, wherein the person information includes user information received from the one or more participant terminals, ( S103), generating a virtual reality image using the acquired background information, person information, and object information (S104) and providing the generated virtual reality image to the one or more virtual reality terminals (S105). do.

또한, 상기 배경정보를 획득하는 단계는, 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 포함하고, 상기 단계(S104)는, 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 포함할 수 있다.In addition, the step of acquiring the background information includes the step of obtaining information on one or more unique veneers (S106), and the step (S104) is a virtual reality setting at least one of the one or more unique venues as a background. It may include the step of generating an image (S107).

또한, 상기 단계(S104)는, 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108) 및 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 포함할 수 있다.In addition, the step (S104) may include the step of generating an avatar corresponding to each of the one or more participant terminals (S108) and a step of generating a virtual reality image including the generated avatar (S109).

또한, 상기 단계(S105)는, 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110) 및 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 포함할 수 있다.In addition, in the step S105, the virtual reality image is provided to the one or more participant terminals, and the viewpoint of the virtual reality image provided to the one or more participant terminals includes the avatar corresponding to each of the one or more participant terminals. Step (S110) fixed to a position, and providing the virtual reality image to the one or more observer terminals, wherein the viewpoint of the virtual reality image provided to the one or more observer terminals is set to be changed by a user, step ( S111).

또한, 상기 단계(S104)는, 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112), 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113) 및 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 포함하고, 상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.In addition, in step S104, when the first observer terminal, which is one of the one or more observer terminals, satisfies a preset condition, generating an avatar corresponding to the first observer terminal (S112). And generating a virtual reality image including an avatar corresponding to the observer terminal (S113) and providing the virtual reality image generated in the step (S113) to the one or more user terminals (S114). In operation S114, the viewpoint of the virtual reality image provided to the first observer terminal may be fixed to the location of the avatar corresponding to the first observer terminal.

또한, 상기 단계(S103)는, 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 포함하고, 상기 단계(S104)는, 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 포함할 수 있다.In addition, the step (S103), the information about the event that is actually going on, but the information about the event includes the step (S115), including the image taken at the actual event site, the step In operation S104, a virtual reality image including the captured image may be generated (S116).

또한, 상기 단계(S116)는, 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117), 상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118), 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119), 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120), 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121) 및 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 포함하고, 상기 단계(S105)는, 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123), 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124), 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125), 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126), 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127) 및 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 포함할 수 있다.In addition, the step (S116), the step of obtaining information on the background, people and objects included in the captured image (S117), based on information on the background, people and objects obtained in the step (S117) Modeling the background, the person and the object (S118), identifying the participant in the event from among the persons included in the captured image (S119), and based on information on the modeled person, the step Generating a first avatar corresponding to the site participants identified in (S119) (S120), generating a second avatar corresponding to each of the one or more participant terminals (S121) and the modeled background, object, person And generating a virtual reality image including the first avatar and the second avatar (S122), wherein the step (S105) is a first field participant corresponding to the first avatar from the captured image. of Obtaining operation information (S123), determining the operation of the first avatar based on the acquired operation information (S124), and obtaining reaction information for a virtual reality image from the one or more participant terminals ( S125), determining the operation of the second avatar based on the reaction information (S126), and determining the interaction between the first avatar and the second avatar based on the operation of the first avatar and the second avatar It may include the step (S127) and the step of giving a predetermined effect to the virtual reality image based on the interaction (S128).

또한, 상기 단계(S128)는, 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129), 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130), 상기 추출된 텍스트를 번역하는 단계(S131), 상기 번역된 텍스트를 음성으로 변환하는 단계(S132), 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133), 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134), 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135), 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136), 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137) 및 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 포함할 수 있다.In addition, the step (S128), the step of obtaining the voice of the first field participant from the terminal of the first field participant (S129), extracting text from the voice of the first field participant (S130), the Translating the extracted text (S131), converting the translated text into speech (S132), transmitting the converted speech to a first participant terminal corresponding to the second avatar (S133), the Generating a speech bubble image including translated text (S134), displaying the speech bubble image on a virtual reality image provided to the first participant terminal (S135), and searching for information corresponding to the translated text Step (S136), generating one or more responses to the translated text based on the searched information (S137) and the searched information and the one or more responses to the first participant stage It may include the step of providing to the horse (S138).

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 수행할 수 있다.An apparatus for providing a virtual reality event according to an aspect of the present invention for solving the above-described problem includes a memory for storing one or more instructions and a processor for executing the one or more instructions stored in the memory, wherein the processor is the one By executing the above instructions, receiving user information from one or more virtual reality terminals, classifying the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals, background information for generating a virtual reality image, Obtaining person information and object information, wherein the person information includes user information received from the at least one participant terminal, generating a virtual reality image using the acquired background information, person information and object information And the generated virtual reality image. Providing to the one or more virtual reality terminal may be performed.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 가상현실 이벤트 제공방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.In accordance with an aspect of the present invention for solving the above-described problems, a computer program stored in a recording medium readable by a computer is provided so as to perform a method for providing a virtual reality event according to the disclosed embodiment.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific matters of the present invention are included in the detailed description and drawings.

개시된 실시 예에 따르면, 가상현실을 이용하여 대규모 회의 등 MICE 서비스를 제공함으로써, 사용자들의 접근성을 높이고 비용을 절약할 수 있으며, 시간과 공간의 제약 없이 자유로운 MICE 서비스를 제공할 수 있도록 하는 효과가 있다. According to the disclosed embodiment, by providing a MICE service such as a large-scale conference using virtual reality, it is possible to increase accessibility of users and to save money, and to provide a free MICE service without limitation of time and space. .

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.
도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.
도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.
도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.
도 11은 일 실시 예에 따른 장치의 구성도이다. 1 is a diagram illustrating a system according to an embodiment.
2 is a diagram showing a virtual reality event participation method according to an embodiment.
3 is a flowchart illustrating a method for providing a virtual reality event according to an embodiment.
4 is a flowchart illustrating a method of providing a virtual reality event set in the background of a unique venue according to an embodiment.
5 is a flowchart illustrating a method for providing a virtual reality event including an avatar according to an embodiment.
6 is a flowchart illustrating a method for processing a viewpoint of a virtual reality event according to an embodiment.
7 is a flowchart illustrating a method of generating an observer avatar according to an embodiment.
8 is a flowchart illustrating a method of providing a virtual reality event based on an actual event according to an embodiment.
9 is a flowchart illustrating a method of processing interaction between avatars according to an embodiment.
10 is a flowchart illustrating a method for assisting a virtual reality event according to an embodiment.
11 is a configuration diagram of an apparatus according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and are common in the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and / or “comprising” does not exclude the presence or addition of one or more other components other than the components mentioned. Throughout the specification, the same reference numerals refer to the same components, and “and / or” includes each and every combination of one or more of the components mentioned. Although "first", "second", etc. are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings commonly understood by those skilled in the art to which the present invention pertains. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless explicitly defined.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.The term "part" or "module" as used in the specification refers to a hardware component such as software, FPGA, or ASIC, and "part" or "module" performs certain roles. However, "part" or "module" is not meant to be limited to software or hardware. The "unit" or "module" may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, "part" or "module" means components, processes, functions, attributes, such as software components, object-oriented software components, class components and task components. Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables. The functionality provided within components and "parts" or "modules" can be combined into a smaller number of components and "parts" or "modules" or into additional components and "parts" or "modules" Can be further separated.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc., are as shown in the figure. It can be used to easily describe a correlation between a component and other components. Spatially relative terms should be understood as terms including different directions of components in use or operation in addition to the directions shown in the drawings. For example, if a component shown in the drawing is turned over, a component described as "below" or "beneath" of another component will be placed "above" the other component. Can be. Accordingly, the exemplary term “below” can include both the directions below and above. The component can also be oriented in other directions, so that spatially relative terms can be interpreted according to the orientation.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In the present specification, the computer means all kinds of hardware devices including at least one processor, and may be understood as a meaning encompassing software configurations operating in the corresponding hardware device according to embodiments. For example, a computer may be understood as meaning including, but not limited to, a smart phone, a tablet PC, a desktop, a laptop, and a user client and application running on each device.

본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.In the present specification, virtual reality and virtual reality images are not limited to VR (Virtual Reality) and VR images, but Virtual Reality (VR) and Virtual Reality images, Augmented Reality (AR) and Augmented Reality images. , Mixed Reality (MR) and Mixed Reality images and general images, and is not limited thereto, and is used as a meaning to include all kinds of images of reality, virtual and reality and virtual mixed.

또한, 본 명세서에 개시된 가상현실 장비를 활용하는 방법에 대한 실시 예들은 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 및 일반 영상 모두에 적용가능함은 본 기술분야의 통상의 기술자라면 자명하게 이해할 수 있다.In addition, embodiments of the method using the virtual reality equipment disclosed herein are applied to both virtual reality (VR), augmented reality (AR, Augmented Reality), mixed reality (MR, Mixed Reality), and general images. The possibility is obvious to those skilled in the art.

본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.In the present specification, virtual reality and virtual reality images are not limited to VR (Virtual Reality) and VR images, but Virtual Reality (VR) and Virtual Reality images, Augmented Reality (AR) and Augmented Reality images. , Mixed Reality (MR) and Mixed Reality images and general images, and is not limited thereto, and is used as a meaning to include all kinds of images of reality, virtual and reality and virtual mixed.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and according to an embodiment, at least some of the steps may be performed in different devices.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.1 is a diagram illustrating a system according to an embodiment.

도 1을 참조하면, 하나 이상의 사용자(10, 20 및 30)와 각 사용자의 가상현실 단말(12, 22, 및 32), 그리고 각 사용자의 사용자 단말(14, 24 및 34)이 각각 도시되어 있다.Referring to FIG. 1, one or more users 10, 20, and 30, each user's virtual reality terminals 12, 22, and 32, and each user's user terminals 14, 24, and 34 are shown, respectively. .

일 실시 예에서, 가상현실 단말(12, 22 및 32)은 HMD(Head Mount Display)형태로 구성될 수 있으나, 이에 제한되는 것은 아니다.In one embodiment, the virtual reality terminals 12, 22, and 32 may be configured in the form of a Head Mount Display (HMD), but are not limited thereto.

일 실시 예에서, 사용자 단말(14, 24 및 34)은 스마트폰일 수 있으나, 이에 제한되지 않으며, 적어도 하나의 프로세서를 포함하는 모든 종류의 컴퓨팅 장치를 포함할 수 있다.In one embodiment, the user terminals 14, 24, and 34 may be smart phones, but are not limited thereto, and may include all types of computing devices including at least one processor.

도 1을 참조하면, 서버(100)가 도시되어 있다. 서버(100)는 클라우드 서버일 수도 있다.Referring to Figure 1, the server 100 is shown. The server 100 may be a cloud server.

일 실시 예에서, 각각의 사용자(10, 20 및 30)는 서버(100)를 통하여 가상현실 이벤트를 제공받는다. 일 실시 예에서, 가상현실 이벤트는 가상 공간에서 제공되는 모든 종류의 이벤트를 포함할 수 있으며, 실시 예에 따라 가상 공간에서 제공되는 다양한 MICE 행사를 포함할 수 있다.In one embodiment, each user 10, 20 and 30 is provided with a virtual reality event through the server 100. In one embodiment, the virtual reality event may include all kinds of events provided in the virtual space, and may include various MICE events provided in the virtual space according to the embodiment.

MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.MICE is an abbreviated term in English for corporate meetings, incentive trips, conventions, exhibitions and events, and in a narrow sense, a promising industry centered on international conferences and exhibitions. Means a convergence industry that includes participant-oriented reward tourism and mega events.

일 실시 예에서, 가상현실 이벤트는 가상 공간에서만 이루어지는 이벤트일 수도 있고, 현실 공간에서 이루어지는 이벤트와 함께 진행될 수도 있다. 이 경우, 가상 공간은 현실 공간의 이벤트 현장에 기초하여 생성될 수 있다.In one embodiment, the virtual reality event may be an event that occurs only in virtual space or may be performed together with an event that occurs in real space. In this case, the virtual space can be created based on the event site in the real space.

일 실시 예에서, 사용자(10, 20 및 30) 의 적어도 일부는 가상현실 이벤트를 통해 제공되는 가상현실 공간에서 서로의 아바타를 확인할 수 있다. 아바타는 각 사용자와 같은 형상을 할 수도 있으나, 특정 캐릭터나 타인의 형상 등 다양한 형상을 취할 수 있다.In one embodiment, at least some of the users 10, 20, and 30 may identify each other's avatars in the virtual reality space provided through the virtual reality event. The avatar may have the same shape as each user, but may take various shapes such as a specific character or another person.

일 실시 예에서, 가상현실 이벤트는 가상현실 공간에서 진행되는 컨퍼런스를 의미할 수 있다. 이 경우, 가상현실 이벤트는 컨퍼런스에 직접 참여하는 참여자와, 컨퍼런스를 참관하는 참관자를 포함할 수 있다. In one embodiment, the virtual reality event may refer to a conference held in the virtual reality space. In this case, the virtual reality event may include a participant directly participating in the conference and an observer attending the conference.

일 실시 예에서, 사용자들(10, 20 및 30) 중 적어도 일부는 참여자가 될 수 있고, 나머지 일부는 참관자가 될 수 있다. 일 실시 예에서, 가상현실 공간 내에는 참여자 및 참관자의 아바타가 모두 표시될 수 있다. 하지만, 가상현실 공간에서 대규모 컨퍼런스가 진행되는 경우, 참관자의 수가 매우 많을(예를 들어, 수백, 수천명 이상) 수 있다. 따라서, 이 경우 가상현실 공간에는 참여자만이 표시되고, 참관자는 원하는 시점 또는 지정된 시점에서 해당 가상현실 공간에서 진행되는 이벤트를 참관할 수 있다.In one embodiment, at least some of the users 10, 20 and 30 can be participants, and the other part can be observers. In one embodiment, both the participant and the observer's avatar may be displayed in the virtual reality space. However, if a large-scale conference is being held in a virtual reality space, the number of visitors may be very large (for example, hundreds or thousands). Therefore, in this case, only the participants are displayed in the virtual reality space, and the observer can observe an event proceeding in the corresponding virtual reality space at a desired time point or a designated time point.

일 실시 예에서, 사용자 단말(14, 24 및 34)은 서버(100)로부터 가상현실 이벤트에 대응하는 가상현실 영상을 수신하고, 수신된 가상현실 영상을 가상현실 기기(12, 22 및 32)를 이용하여 표시할 수 있다.In one embodiment, the user terminals 14, 24 and 34 receive the virtual reality image corresponding to the virtual reality event from the server 100, and the received virtual reality image to the virtual reality devices (12, 22 and 32). Can be displayed.

일 실시 예에서, 가상현실 이벤트가 제공되는 가상현실 공간의 배경은 다양한 유니크 베뉴(Unique Vanue)로 구성될 수 있다. 유니크 베뉴는 '유니크(unique: 독특한)'와 '베뉴(vanue: 장소)'의 합성어로, 고유 지역의 문화, 특색을 테마로 한 고택, 박물관, 마을 등의 장소를 의미하고, 예를 들어 유명 관광지 등을 포함할 수 있다.In one embodiment, the background of the virtual reality space in which the virtual reality event is provided may be composed of various unique vanues. Unique Venue is a compound word of 'unique (unique)' and 'venue (venue)', and refers to places such as houses, museums, villages, etc., which are themed around the culture and characteristics of unique regions. And tourist attractions.

단, 유니크 베뉴의 정의는 상술한 바에 제한되는 것은 아니고, 각 지역의 일상적인 배경이나 풍경 등을 포함할 수 있다. 또한, 유니크 베뉴는 현대뿐 아니라 각 지역의 과거의 시대상이나 역사적 배경을 반영한 가상의 배경을 포함할 수 있다. 또한, 유니크 베뉴는 이외에도 각 지역의 도시계획에 따라 예상되는 미래의 배경을 포함할 수 있고, 또한 상상에 의하여 창조된 다양한 가상의 배경들을 포함할 수 있으며, 특정한 종류에 제한되지 않는다.However, the definition of Unique Venue is not limited to the above, and may include a daily background or a landscape of each region. In addition, the unique veneer may include a virtual background reflecting the historical or historical background of each region as well as the present. In addition, the unique venue may include, in addition, a future background expected according to a city plan of each region, and may also include various virtual backgrounds created by imagination, and is not limited to a specific kind.

국제 컨퍼런스의 경우, 회의 외에도 해당 지역에 대한 외국 인사들을 위한 관광이나 기타 MICE 행사가 포함되는 경우가 많다. 단, 국제 컨퍼런스를 가상현실 공간에서 진행하는 경우, 해당 지역을 실제로 방문할 필요가 없어지므로, 전체 일정이 가상현실로 대체될 수 있다. 이 경우, 가상현실을 이용한 회의 중에 배경에 다양한 유니크 베뉴들을 표시하면, 해당 지역에 실제로 방문하지 않더라도 간접 체험이 가능하도록 할 수 있다.International conferences often include, in addition to meetings, tourism or other MICE events for foreigners in the area. However, if an international conference is held in a virtual reality space, there is no need to actually visit the area, so the entire schedule can be replaced by virtual reality. In this case, if a variety of unique venues are displayed in the background during a meeting using virtual reality, indirect experiences can be made even without actually visiting the corresponding area.

또한, 배경은 특정 지역 외에도 다양하게 설정될 수 있으며, 가상현실로 전 일정이 대체되는 경우 동선상의 문제가 해소되므로, 거리나 동선과 무관하게 선호도만을 기초로 하여 장소들을 선택하여 그룹핑하고, 해당 장소들을 가상현실 영상의 배경에 표시함으로써 구성원들이 선호하는 많은 장소들을 간접적으로 방문하는 효과를 줄 수 있다.In addition, the background can be set in various ways in addition to a specific area, and if the entire schedule is replaced by virtual reality, the problem on the moving line is resolved, so places are selected and grouped based on preference only regardless of distance or moving line, and the corresponding place By displaying them on the background of a virtual reality video, it is possible to indirectly visit many places that members prefer.

일 실시 예에서, 실제 MICE 행사의 일부가 가상현실 이벤트로 대체될 수도 있다.In one embodiment, a part of the actual MICE event may be replaced with a virtual reality event.

예를 들어, MICE 행사는 하나 이상의 행사 및 이에 대응하는 장소를 포함하는 그룹으로 구성될 수 있으며, 컴퓨터는 그룹에 포함된 하나 이상의 장소 중 적어도 일부에 대한 가상현실 대체여부를 결정할 수 있다.For example, the MICE event may be composed of a group including one or more events and a corresponding place, and the computer may determine whether to replace virtual reality for at least some of the one or more places included in the group.

예를 들어, MICE 행사가 직원에 대한 포상 관광일 때, 특정 관광지가 공사중이거나 입장이 불가능한 경우가 있을 수 있고, 구성원의 선호도가 높은 장소이나 동선이나 시간관계상 방문이 어려울 수 있다. 이 경우, 컴퓨터는 해당 장소를 가상현실로 대체할 것을 결정할 수 있다.For example, when the MICE event is a reward tour for employees, there may be a case where a certain tourist site is under construction or impossible to enter, and it may be difficult to visit a place where the members' preference is high or because of travel or time relations. In this case, the computer can decide to replace the place with virtual reality.

또한, 국제회의를 주최하고자 하는 경우 참가인원이 너무 많거나, 서로 멀리 떨어져 있는 경우, 예산이 부족한 경우 등에 회의를 가상현실로 대체하는 방안을 고려할 수 있다. 이 경우, 굳이 해당 국가에 방문할 필요가 없으므로, 전체 일정이 가상현실로 대체될 수 있다. In addition, if you want to host an international conference, you can consider replacing the conference with virtual reality, such as when there are too many participants, if you are far from each other, or if you have insufficient budget. In this case, there is no need to visit the country, so the entire schedule can be replaced with virtual reality.

또한, 관광 중에 가상현실 서비스를 이용하여 방문하여야 하는 일정이 포함되어 있는 경우, 해당 일정은 이동 중(버스 안 등) 또는 일정을 마무리한 후 숙소 등에서 디스플레이 장치를 이용하여 가상현실 서비스로서 제공될 수 있다. 또한, 컴퓨터는 해당 장소에서 구매할 수 있는 특산품이나 기념품을 구매할 수 있는 페이지를 제공하며, 주문한 상품은 주문자의 숙소로 배송하도록 할 수 있다.In addition, if a schedule to be visited using the virtual reality service is included during the tour, the schedule may be provided as a virtual reality service using a display device at a lodging or the like while traveling (in the bus) or after finishing the schedule. have. In addition, the computer provides a page for purchasing special products or souvenirs that can be purchased at the corresponding place, and the ordered product can be delivered to the orderer's accommodation.

또한, 컴퓨터는 상기 선택된 그룹에 대한 정보 및 상기 가상현실 서비스에 대한 정보를 포함하는 MICE 패키지 정보를 생성할 수 있다.In addition, the computer may generate MICE package information including information on the selected group and information on the virtual reality service.

예를 들어, 상술한 방법에 의하여 하나 이상의 행사 및 장소가 그룹핑되고, 세부사항이 설정되며, 가상현실 대체여부 등이 설정된 정보를 포함하는 MICE 패키지가 생성될 수 있다. 컴퓨터는 각 설정을 저장하여 추후에 재활용하거나, 다른 사용자에게도 추천할 수 있다.For example, one or more events and places are grouped, details are set by the above-described method, and a MICE package including information on whether virtual reality is replaced can be generated. The computer can save each setting for later reuse or recommend it to other users.

또한, 컴퓨터는 상기 MICE 패키지 정보를 게시할 수 있으며, 예를 들어 컴퓨터는 쇼핑몰이나 게시판과 같은 온라인상 공간에서 네트워크를 통해 MICE 패키지 정보를 게시할 수 있고, 신청을 통해 각 MICE 패키지에 대한 신청 및 예약을 받을 수 있다.In addition, the computer may post the MICE package information, for example, the computer may post MICE package information through a network in an online space such as a shopping mall or bulletin board, and apply for each MICE package through application. You can get a reservation.

또한, 가상현실 일정이 포함되거나, 전 일정이 가상현실로 구성된 MICE 패키지의 경우, 가상현실로 구성된 일부 일정에 대해서만 신청 및 예약을 받을 수도 있으며, 인원수의 제한 없이(예를 들어, 1명부터 다수까지 모두 가능) 신청 및 예약을 받을 수도 있다.In addition, in the case of a MICE package that includes a virtual reality schedule or the entire schedule is composed of virtual reality, you can apply for and make reservations only for some schedules composed of virtual reality, and there is no limit on the number of people (for example, from one person to many) You can also apply and make reservations.

대규모 국제회의의 경우 수천, 수만 명의 참가자가 있을 수도 있으며, 전 산업분야에 걸쳐서 주제별 연간 수천, 수만 건의 회의가 개최될 수 있다. 따라서, 개시된 실시 예에 따른 컴퓨터는 기 설정된 MICE 패키지에 기초하여 다양한 실제 및 가상현실 MICE 서비스를 중개, 판매 및 제공할 수 있는 플랫폼 서비스를 제공할 수 있다.For large international conferences, there may be thousands or tens of thousands of participants, and thousands or tens of thousands of conferences per year per topic across all industries. Accordingly, the computer according to the disclosed embodiment may provide a platform service capable of brokering, selling, and providing various real and virtual reality MICE services based on a preset MICE package.

*일 실시 예에서, 가상현실 이벤트는 실제 MICE 행사의 사전답사에도 이용될 수 있다.* In one embodiment, the virtual reality event may also be used for pre-exploration of the actual MICE event.

예를 들어, MICE 행사를 위한 각 장소에 대한 예약 및 기획단계 이전에, 사용자는 가상현실 영상을 통해 각 장소에 실제로 가지 않고도 필요한 정보를 수집할 수 있다.For example, prior to the reservation and planning stage for each place for the MICE event, the user can collect necessary information through virtual reality video without actually going to each place.

예를 들어, 컴퓨터는 가상현실을 통해 MICE 행사에 포함된 장소들을 가상으로 방문 및 체험할 수 있도록 하고, 실시간 정보를 반영하여 가상현실 영상을 업데이트할 수 있다. 예를 들어, 특정 장소가 공사중이거나, 도로가 통제중이거나, 식당이 휴업 또는 폐업하였거나, 호텔의 예약사항이 변경되는 경우 등 변동사항을 실시간으로 수집 및 반영하여, 사용자가 최신의 정보를 획득할 수 있도록 함으로써 실제 답사를 대체할 수 있도록 하는 서비스를 제공할 수 있다.For example, the computer can virtually visit and experience places included in the MICE event through virtual reality, and update the virtual reality image by reflecting real-time information. For example, users can obtain the latest information by collecting and reflecting changes in real time, such as when a specific place is under construction, roads are under control, restaurants are closed or closed, or hotel reservations are changed. By doing so, it is possible to provide a service that can replace the actual exploration.

일 실시 예에서, 가상현실 공간에서 컨퍼런스가 진행되는 경우, 해당 컨퍼런스를 통해 교류되는 정보는 인공지능에 의하여 정리 및 기록될 수 있고, 실시 예에 따라 컨퍼런스의 내용이 외부의 참관자들에 공개될 수도 있다. 예를 들어, 실제 컨퍼런스의 경우 참가인원이 제한될 수 있으나, 가상현실을 이용한 컨퍼런스의 경우 참가자 외의 참관자들이나 수행원들이 해당 공간에서 진행되는 컨퍼런스 영상을 시청할 수 있다.In one embodiment, when a conference is held in a virtual reality space, information exchanged through the conference may be organized and recorded by artificial intelligence, and according to an embodiment, the content of the conference may be disclosed to external observers have. For example, in the case of a real conference, the number of participants may be limited, but in the case of a conference using a virtual reality, observers or attendees other than the participant can watch the conference video in the corresponding space.

일 실시 예에서, 서버(100)는 가상현실 이벤트를 제공하는 주체에 의하여 관리될 수도 있으며, 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리될 수도 있다. In one embodiment, the server 100 may be managed by a subject providing a virtual reality event, or may be managed by a subject providing a platform or solution for providing a virtual reality event.

서버(100)가 가상현실 이벤트를 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 참여자들 및 참관자들에게 가상현실 이벤트 참여를 위한 요금의 지불을 요청할 수 있다. 요금의 지불방식은 제한되지 않으며, 실시 예에 따라 참여자 및 참관자의 가상현실 기기 혹은 사용자 단말에서 서버(100)에 대하여 결제를 수행하도록 구성될 수도 있다.When the server 100 is managed by a subject providing a virtual reality event, the subject providing the virtual reality event may request participants and observers to pay a fee for participating in the virtual reality event. The payment method of the fee is not limited, and may be configured to perform payment for the server 100 in a virtual reality device or a user terminal of a participant and observer according to an embodiment.

요금 지불방식은 제한되지 않으나, 예를 들어 가상현실 이벤트의 세션별로 요금이 책정될 수도 있고, 날짜별로 요금이 책정될 수도 있으며, 접속시간 및 횟수에 기초하여 요금이 책정될 수도 있다.The payment method is not limited, but may be, for example, charged for each session of the virtual reality event, charged for each day, or charged based on the access time and number of times.

서버(100)가 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 상술한 실시 예와 마찬가지로 참여자 및 참관자들에게 요금을 받을 수 있으나, 그 일부 혹은 기 계약된 금액을 플랫폼 사용에 따른 수수료로써 서버(100)를 관리하는 주체에 지급할 수도 있다.When the server 100 is managed by a subject providing a platform or solution for providing a virtual reality event, the subject providing the virtual reality event may be charged by participants and observers, as in the above-described embodiment, The partial or pre-contracted amount may be paid to a subject who manages the server 100 as a fee for using the platform.

*도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.* FIG. 2 is a diagram illustrating a method for participating in a virtual reality event according to an embodiment.

도 2를 참조하면, 가상현실 이벤트를 제공하는 시스템은 서버(100)와, 참여자(200) 및 참관자(300)를 포함할 수 있다. 예를 들어, 상술한 바와 같이 가상현실 컨퍼런스 이벤트에 있어서, 참여자(200)는 가상현실 영상에 표시되며, 참관자(300)는 가상현실 영상에 표시되지는 않지만, 특정 시점 혹은 임의의 시점에서 가상현실 컨퍼런스를 참관할 수 있다.Referring to FIG. 2, a system for providing a virtual reality event may include a server 100, a participant 200, and an observer 300. For example, in the virtual reality conference event as described above, the participant 200 is displayed on the virtual reality image, and the observer 300 is not displayed on the virtual reality image, but the virtual reality at a specific time point or at any point in time You can observe the conference.

일 실시 예에서, 참여자(200)중 일부가 참관자(300)로 전환될 수도 있고, 참관자(300)중 일부가 참여자(200)로 전환될 수도 있다.In one embodiment, some of the participants 200 may be converted to the observer 300, and some of the participants 300 may be converted to the participant 200.

참여자(200)가 참관자(300)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 더 이상 표시되지 않는다.When the participant 200 is converted to the observer 300, the user 400 to be switched is no longer displayed in the virtual reality space.

반대로 참관자(300)가 참여자(200)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 표시된다.Conversely, when the observer 300 is converted to the participant 200, the user 400 to be switched is displayed in the virtual reality space.

예를 들어, 회의 참여자나 강연자가 담당한 부분을 마치고 참관자로 돌아갈 수 있으며, 참관자 중 일부가 질문을 하거나 회의에 참여할 수도 있고, 참관자로서 컨퍼런스를 참관하며 대기하던 참관자(300)가 자신의 차례에서 강연을 위해 참여자(200)로 전환되어 강연을 수행할 수도 있다.For example, a participant or lecturer may return to an observer after completing a part, and some of the observers may ask questions or participate in the meeting, and the observer 300 waiting for the conference as an observer at his turn For the lecture, it may be converted into a participant 200 to perform the lecture.

일 실시 예에서, 가상현실 이벤트를 통해 강연이나 프레젠테이션을 제공할 수 있으며, 이를 위한 별도의 공간이 생성될 수도 있다.In one embodiment, a lecture or presentation may be provided through a virtual reality event, and a separate space may be created for this.

예를 들어, 기존의 가상현실 컨퍼런스에서 강연자가 참여자들 중 하나로서 가상현실 공간에 마련된 무대에 올라 강연을 할 수도 있으나, 강연이나 프레젠테이션을 위하여 특화된 별도의 공간에서 강연을 진행할 수도 있다.For example, in an existing virtual reality conference, the lecturer may perform a lecture on a stage provided in the virtual reality space as one of the participants, but the lecture may be conducted in a separate space specialized for the lecture or presentation.

예를 들어, 강연자는 강연을 위한 별도의 가상현실 공간을 생성할 수 있으며, 해당 공간이 생성되었음을 가상현실 컨퍼런스의 참여자들 및 참관자들에게 알릴 수 있고, 실시 예에 따라 가상현실 컨퍼런스에 참여하고 있지 않은 외부인들에게도 네트워크를 통해 가상현실 공간의 생성사실을 알릴 수 있다.For example, the lecturer can create a separate virtual reality space for the lecture, notify participants and observers of the virtual reality conference that the space has been created, and participate in the virtual reality conference according to the embodiment. Even outsiders can be informed of the creation of the virtual reality space through the network.

알림을 수신한 사용자들 중 가상현실 공간에 입장할 것을 선택한 사용자의 가상현실 기기에는 가상현실 공간이 표시되며, 강연자는 해당 가상현실 공간에서 강연을 수행할 수 있다. 가상현실 공간에는 강연자의 아바타만이 표시될 수 있으며, 청중들은 표시되지 않을 수 있으나, 실시 예에 따라 청중들의 아바타 또한 표시될 수 있으며, 도 2와 관련하여 설명한 바와 같이 질문을 하거나 강연에 참여하는 청중의 경우 일시적으로 아바타가 표시될 수 있다.A virtual reality space is displayed on a virtual reality device of a user who has chosen to enter the virtual reality space among users who have received a notification, and the lecturer can perform a lecture in the virtual reality space. In the virtual reality space, only the lecturer's avatar may be displayed, and the audience may not be displayed, but according to an embodiment, the audience's avatar may also be displayed, and as described in connection with FIG. 2, ask a question or participate in the lecture. In the case of an audience, the avatar may be displayed temporarily.

강연은 실시간으로 진행될 수도 있으나, 이미 녹화된 강연이 가상현실 공간에서 표시될 수도 있다. 상술한 실시 예에서 설명된 강연의 종류는 제한되지 않으며, 강의, 강연, 프레젠테이션, 투자설명, IR 등 다양한 종류의 강연이 가상현실 공간을 통해 제공될 수 있다.The lecture may be conducted in real time, but the already recorded lecture may be displayed in the virtual reality space. The types of lectures described in the above-described embodiments are not limited, and various types of lectures such as lectures, lectures, presentations, investment explanations, and IRs may be provided through a virtual reality space.

각 가상현실 공간의 구조 및 배경은 강연자에 의하여 생성 및 수정될 수 있으며, 실시 예에 따라 강연의 내용에 기초하여 적합한 구조 및 배경이 자동으로 생성될 수도 있다.The structure and background of each virtual reality space may be created and modified by the lecturer, and an appropriate structure and background may be automatically generated based on the content of the lecture according to an embodiment.

이하에서는, 상술한 시스템에 기초하여 각 실시 예의 구체적인 구성을 도면을 참조하여 설명한다.Hereinafter, a specific configuration of each embodiment will be described with reference to the drawings based on the above-described system.

도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다. 3 is a flowchart illustrating a method for providing a virtual reality event according to an embodiment.

도 3 내지 도 10에 도시된 방법들은 도 1에 도시된 서버(100)에서 수행될 수 있으나, 이에 제한되지 않는다. 이하에서는 각 단계들이 컴퓨터에 의하여 수행되는 것으로 설명하나, 각 단계들의 일부 또는 전부가 다른 주체에 의하여 수행되는 것도 가능하다.The methods illustrated in FIGS. 3 to 10 may be performed in the server 100 illustrated in FIG. 1, but are not limited thereto. Hereinafter, each step is described as being performed by a computer, but it is also possible that some or all of the steps are performed by another subject.

단계 S101에서, 컴퓨터는 하나 이상의 가상현실 단말로부터 사용자 정보를 수신한다. In step S101, the computer receives user information from one or more virtual reality terminals.

일 실시 예에서, 사용자 정보는 도 1 및 도 2에 도시된 바와 같이 참여자와 참관자를 포함할 수 있다.In one embodiment, the user information may include participants and observers as shown in FIGS. 1 and 2.

단계 S102에서, 컴퓨터는 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류한다.In step S102, the computer classifies the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals.

단계 S103에서, 컴퓨터는 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함한다.In step S103, the computer acquires background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the one or more participant terminals.

일 실시 예에서, 배경정보는 가상현실 영상의 배경이 될 이미지 또는 이미지를 생성하기 위한 정보를 포함할 수 있다.In one embodiment, the background information may include information for generating an image or an image to be a background of a virtual reality image.

또한, 인물정보는 가상현실 영상에 포함될 인물들, 즉 참여자에 대한 정보를 포함할 수 있다.Also, the person information may include persons to be included in the virtual reality image, that is, information about participants.

또한, 객체정보는 가상현실 영상에 포함될 객체들에 대한 정보를 포함할 수 있다.Also, the object information may include information about objects to be included in the virtual reality image.

단계 S104에서, 컴퓨터는 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성한다.In step S104, the computer generates a virtual reality image using the acquired background information, person information, and object information.

일 실시 예에서, 컴퓨터는 가상현실 공간에 배경을 설정하고, 인물 및 객체를 배치함으로써 가상현실 영상을 생성한다. 생성된 가상현실 영상은 다양한 시점으로 관찰될 수 있으며, 가상현실 영상에 포함된 배경, 인물 및 객체의 변화를 실시간으로 반영한다.In one embodiment, the computer generates a virtual reality image by setting a background in a virtual reality space and placing people and objects. The generated virtual reality image can be observed from various viewpoints and reflects changes in the background, people and objects included in the virtual reality image in real time.

단계 S105에서, 컴퓨터는 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.In step S105, the computer provides the generated virtual reality image to the one or more virtual reality terminals.

도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다. 4 is a flowchart illustrating a method of providing a virtual reality event set in the background of a unique venue according to an embodiment.

상술한 단계(S103)의 배경정보를 획득하는 단계에서, 컴퓨터는 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 수행할 수 있다.In the step of obtaining the background information of step S103 described above, the computer may perform step S106 of obtaining information about one or more unique venues.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 수행할 수 있다.In the above-described step (S104), the computer may perform a step (S107) of generating a virtual reality image with at least one of the one or more unique venues as a background.

일 실시 예에서, 컴퓨터는 상술한 바와 같이 다양한 종류의 유니크 베뉴를 배경으로 하는 가상현실 이벤트를 제공할 수 있다.In one embodiment, the computer may provide a virtual reality event set against various types of unique venues as described above.

도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다. 5 is a flowchart illustrating a method for providing a virtual reality event including an avatar according to an embodiment.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108)를 수행할 수 있다.In the above-described step (S104), the computer may perform the step (S108) of generating avatars respectively corresponding to the one or more participant terminals.

또한, 컴퓨터는 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 수행할 수 있다.In addition, the computer may perform the step of generating a virtual reality image including the generated avatar (S109).

아바타의 종류는 제한되지 않으며, 컴퓨터는 가상현실 영상에 표시되어야 하는 참여자들에 대응하는 아바타를 생성하여, 각 참여자의 위치에 아바타를 배치할 수 있다.The type of the avatar is not limited, and the computer can create an avatar corresponding to the participants to be displayed on the virtual reality image, and place the avatar at the location of each participant.

도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.6 is a flowchart illustrating a method for processing a viewpoint of a virtual reality event according to an embodiment.

상술한 단계(S105)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110)를 수행할 수 있다.In the above-described step (S105), the computer provides the virtual reality image to the one or more participant terminals, and the viewpoint of the virtual reality image provided to the one or more participant terminals includes the avatar corresponding to the one or more participant terminals, respectively. It is fixed to the position of, it is possible to perform the step (S110).

또한, 컴퓨터는 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 수행할 수 있다.In addition, the computer provides the virtual reality image to the one or more observer terminals, but the viewpoint of the virtual reality image provided to the one or more observer terminals is set to be changed by the user, step S111 may be performed. have.

일 실시 예에서, 각 참여자의 시점은 혼동을 막기 위하여 실제로 각 참여자의 아바타가 배치된 위치로 고정될 수 있다. 구체적으로, 아바타가 인간형이나 동물형, 캐릭터형 등으로 눈을 포함하는 경우, 아바타의 눈의 위치로 시점이 고정될 수 있으며, 다만 아바타의 눈의 위치가 이동하는 경우 시점 또한 이에 따라 이동할 수 있다.In one embodiment, the viewpoint of each participant may be actually fixed to a position where the avatars of each participant are arranged to prevent confusion. Specifically, when the avatar includes an eye in a human, animal, or character form, the viewpoint may be fixed to the position of the avatar's eyes, but when the position of the avatar's eyes moves, the viewpoint may also move accordingly. .

각 참여자에 대해서는 고정된 시점에 기초한 가상현실 영상이 제공된다.For each participant, a virtual reality image based on a fixed viewpoint is provided.

또한, 참관자의 경우 가상현실 영상에 표시되지 않으므로, 원하는 시점에서 가상현실 이벤트를 참관할 수 있다. 실시 예에 따라서, 참관자의 시점은 범위로서 제한될 수도 있으며, 시점을 배치할 수 없는 위치의 범위 또한 설정될 수 있다.In addition, since the observer is not displayed on the virtual reality image, the virtual reality event can be observed at a desired time point. Depending on the embodiment, the viewpoint of the observer may be limited as a range, and a range of positions where the viewpoint cannot be arranged may also be set.

예를 들어, 컴퓨터는 외부인에게 공개되기 어려운 정보를 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다. 또한, 컴퓨터는 가상현실 영상 생성 및 시청의 부하를 줄이기 위하여 가상현실 이벤트 진행에 불필요한 부분에 대한 렌더링을 하지 않을 수 있으며, 해당 부분을 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다.For example, the computer may calculate a range of viewpoints at which information that is difficult to be disclosed to outsiders can be viewed, and the observer's viewpoint shift to the ranges may be prohibited. In addition, the computer may not render a portion unnecessary for the progress of the virtual reality event in order to reduce the load of generating and viewing the virtual reality image, calculate a range of viewpoints at which to view the portion, and observers for the range It is possible to prohibit the moving of the viewpoint.

또한, 각 참관자에게는 각 참관자의 권한별로 상이한 가상현실 영상이 제공될 수 있다. 예를 들어, 권한이 큰 참관자에게 제공되는 가상현실 영상일수록 더 넓은 시점범위의 선택권한이 주어질 수 있고, 특정 정보에 대한 접근권한이 없는 사용자에 대해서는 해당 정보가 블라인드 처리되거나, 해당 정보를 바라볼 수 있는 시점범위가 차단된 가상현실 영상이 제공될 수 있다.In addition, different virtual reality images may be provided to each observer according to the authority of each observer. For example, the more virtual reality video that is provided to observers with high authority, the wider the range of viewing rights can be given, and for users who do not have access to specific information, the information is blinded or viewed. A virtual reality image in which a range of viewpoints that can be blocked may be provided.

도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.7 is a flowchart illustrating a method of generating an observer avatar according to an embodiment.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112)를 수행할 수 있다.In the above-described step (S104), when the first observer terminal, which is one of the one or more observer terminals, satisfies a preset condition, the computer performs the step (S112) of generating an avatar corresponding to the first observer terminal. Can be.

또한, 컴퓨터는 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113)를 수행할 수 있다.In addition, the computer may perform a step (S113) of generating a virtual reality image including an avatar corresponding to the first observer terminal.

또한, 컴퓨터는 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 수행할 수 있다.In addition, the computer may perform step S114 of providing the virtual reality image generated in step S113 to the one or more user terminals.

상술한 단계(S114)에서, 컴퓨터는 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.In the above-described step (S114), the computer may fix the viewpoint of the virtual reality image provided to the first observer terminal to the location of the avatar corresponding to the first observer terminal.

즉, 도 2에서 설명한 바와 같이 일부 참관자가 참여자로 변경될 수 있으며, 이 경우 참여자로 변경된 사용자의 아바타가 생성되어, 가상현실 영상에 표시될 수 있다.That is, as described in FIG. 2, some observers may be changed to participants, and in this case, an avatar of a user who has been changed to a participant may be generated and displayed on the virtual reality image.

이 경우, 참관자는 기존 시점위치에서 가상현실 영상 내에 아바타가 표시될 위치로 즉시 이동하고, 참관자의 시점 또한 즉시 이동할 수 있다. 다른 실시 예에서, 참관자의 시점은 기존 시점위치에서 이동목표 위치로 이동할 수 있고, 참관자의 시점이 기 설정된 범위(예를 들어, 무대 위 혹은 강단 등)에 진입하는 경우 해당 참관자의 아바타를 생성하고, 생성된 아바타를 해당 참관자의 시점위치에 표시할 수 있다. 이후, 아바타는 참관자의 시점위치를 따라 이동할 수 있다. 참관자가 기 설정된 범위를 벗어나는 경우, 참관자의 아바타는 가상현실 영상에서 제거될 수 있다.In this case, the observer can immediately move from the existing viewpoint location to the location where the avatar will be displayed in the virtual reality image, and the observer's viewpoint can also move immediately. In another embodiment, the observer's viewpoint may move from an existing viewpoint position to a moving target position, and when the observer's viewpoint enters a preset range (for example, on a stage or a pulpit, etc.), an avatar of the observer is generated and , The created avatar can be displayed at the viewpoint position of the corresponding observer. Thereafter, the avatar may move along the viewpoint position of the observer. If the observer is outside the preset range, the observer's avatar may be removed from the virtual reality image.

도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.8 is a flowchart illustrating a method of providing a virtual reality event based on an actual event according to an embodiment.

상술한 단계(S103)에서, 컴퓨터는 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 수행할 수 있다.In the above-described step (S103), the computer obtains information about an event that is actually going on, but the information on the event may include step (S115), which includes an image captured at the actual event site. .

상술한 단계(S104)에서, 컴퓨터는 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 수행할 수 있다.In the above-described step (S104), the computer may perform a step (S116) of generating a virtual reality image including the captured image.

일 실시 예에서, 컴퓨터는 실제 이벤트 현장에서 촬영된 360도 영상을 획득할 수 있다. 컴퓨터는 360도 영상에 기초하여 가상현실 영상의 구축을 위한 3D 렌더링을 수행하여, 3D 가상현실 공간을 구축할 수 있다.In one embodiment, the computer may acquire a 360-degree image captured at an actual event site. The computer may construct a 3D virtual reality space by performing 3D rendering for the construction of a virtual reality image based on a 360-degree image.

다른 실시 예에서, 컴퓨터는 실제 촬영된 360도 영상을 배경이자 원경으로 하고, 각 가상현실 영상의 시청자 시점 및 시청자의 주변 객체 및 인물을 근경에 포함하는 가상현실 영상을 생성할 수도 있다.In another embodiment, the computer may generate a virtual reality image including a 360-degree image actually photographed as a background and a remote view, and including a viewer's viewpoint of each virtual reality image and a viewer's surrounding objects and people in the vicinity.

즉, 컴퓨터는 가상현실 공간에서, 실제 진행되는 이벤트에 가상의 객체 및 인물을 추가한 혼합현실 영상을 생성하고, 생성된 영상을 제공할 수 있다. 이 경우, 실제로 진행되는 이벤트를 가상현실을 이용하여 참여할 수 있다.That is, the computer may generate a mixed reality image in which virtual objects and people are added to an actual event in a virtual reality space, and provide the generated image. In this case, virtual events can be used to participate in actual events.

이 경우, 실제 이벤트를 진행하는 사용자의 경우에도 증강현실 기기를 착용하여 가상 공간에서 진행되는 이벤트 정보를 획득할 수 있고, 가상 공간의 참여자 및 참관자와 인터렉션을 수행할 수 있다.In this case, even in the case of a user conducting an actual event, the augmented reality device may be worn to obtain event information proceeding in the virtual space, and interaction with participants and observers in the virtual space may be performed.

도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.9 is a flowchart illustrating a method of processing interaction between avatars according to an embodiment.

상술한 단계(S116)에서, 컴퓨터는 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117)를 수행할 수 있다.In the above-described step (S116), the computer may perform the step (S117) of acquiring information on the background, people and objects included in the captured image.

상술한 단계(S117)에서, 컴퓨터는 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118)를 수행할 수 있다. 즉, 컴퓨터는 촬영된 실제 이벤트 영상으로부터 3D 가상공간 모델링을 위한 정보를 획득하고, 3D 가상공간을 모델링할 수 있다.In the above-described step (S117), the computer may perform the step (S118) of modeling the background, person and object based on the acquired background, person and object information. That is, the computer may acquire information for 3D virtual space modeling from the captured actual event image and model the 3D virtual space.

또한, 컴퓨터는 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119)를 수행할 수 있다. 컴퓨터는 영상분석을 활용하여, 실제 이벤트의 현장에서 이벤트에 참여중인 참여자를 식별할 수 있다.In addition, the computer may perform a step (S119) of identifying a participant in the event among the persons included in the captured image. The computer can identify participants participating in the event in the field of the actual event by using the video analysis.

또한, 컴퓨터는 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120)를 수행할 수 있다. 즉, 컴퓨터는 실제 현장참여자에 대응하는 아바타를 생성하고, 해당 아바타를 가상현실 영상에 표시할 수 있다. 현장참여자가 증강현실 장비를 이용하여 가상현실 이벤트를 확인하는 경우, 시점은 제1 아바타의 시점으로 고정될 수 있다.In addition, the computer may perform the step (S120) of generating a first avatar corresponding to the field participant identified in the step (S119), based on the information on the modeled person. That is, the computer can generate an avatar corresponding to an actual field participant, and display the avatar on a virtual reality image. When a field participant confirms a virtual reality event using augmented reality equipment, the viewpoint may be fixed to the viewpoint of the first avatar.

또한, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121)를 수행할 수 있다.In addition, the computer may perform the step of generating a second avatar corresponding to each of the one or more participant terminals (S121).

또한, 컴퓨터는 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 수행할 수 있다.In addition, the computer may perform the step (S122) of generating a virtual reality image including the modeled background, object, person, and the first avatar and the second avatar.

상술한 단계(S105)에서, 컴퓨터는 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123)를 수행할 수 있다.In the above-described step (S105), the computer may perform a step (S123) of obtaining operation information of a first field participant corresponding to the first avatar from the captured image.

또한, 컴퓨터는 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124)를 수행할 수 있다.In addition, the computer may perform the step (S124) of determining the operation of the first avatar based on the acquired operation information.

즉, 컴퓨터는 촬영된 영상을 분석하여 촬영된 영상에 포함된 현장참여자의 동작을 인식하고, 판단할 수 있다.That is, the computer may analyze the captured image and recognize and determine the motion of a field participant included in the captured image.

또한, 컴퓨터는 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125)를 수행할 수 있다.In addition, the computer may perform the step (S125) of obtaining reaction information for the virtual reality image from the one or more participant terminals.

또한, 컴퓨터는 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126)를 수행할 수 있다. Also, the computer may perform an operation (S126) of determining the operation of the second avatar based on the reaction information.

즉, 컴퓨터는 가상현실 기기 사용자의 리액션을 분석함으로써, 가상현실 공간에 표시되는 제2 아바타의 동작을 결정할 수 있다.That is, the computer may determine the action of the second avatar displayed in the virtual reality space by analyzing the reaction of the user of the virtual reality device.

또한, 컴퓨터는 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127)를 수행할 수 있다.In addition, the computer may perform the step of determining the interaction between the first avatar and the second avatar based on the operation of the first avatar and the second avatar (S127).

또한, 컴퓨터는 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 수행할 수 있다.In addition, the computer may perform the step of giving a predetermined effect to the virtual reality image based on the interaction (S128).

예를 들어, 제1 아바타와 제2 아바타가 접촉하거나, 서로 손을 들어 질문하거나, 서로 대화를 하는 등 인터렉션이 판단되는 경우, 이에 따른 효과를 가상현실 영상에 부여할 수 있다.For example, when an interaction is determined, such as a first avatar and a second avatar contacting each other, raising hands, asking a question, or having a conversation with each other, the effect accordingly may be given to the virtual reality image.

일 예로, 제1 아바타와 제2 아바타가 접촉하는 경우, 가상현실 영상에서 접촉부위가 빛나도록 표시할 수 있다.For example, when the first avatar and the second avatar are in contact, the contact area may be displayed to shine in the virtual reality image.

다른 예로, 제1 아바타와 제2 아바타가 대화를 하는 경우, 제1 아바타와 제2 아바타를 빛나도록 표시하고, 제1 아바타와 제2 아바타의 목소리의 출력을 높일 수 있다.As another example, when the first avatar and the second avatar have a conversation, the first avatar and the second avatar may be displayed to shine, and the output of the voices of the first avatar and the second avatar may be increased.

또한, 실시 예에 따라 제1 아바타의 움직임에 따라 상기 제1 아바타가 지목하는 특정 참관자를 선택하고, 해당 참관자가 이에 동작이나 음성 등으로 응답하는 경우, 해당 참관자를 참여자로 전환하여 아바타를 생성하고, 가상현실 영상에 표시할 수 있다.In addition, according to an embodiment, according to the movement of the first avatar, a specific observer selected by the first avatar is selected, and when the observer responds to the motion or voice, the observer is converted into a participant to generate an avatar. , It can be displayed on the virtual reality image.

도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.10 is a flowchart illustrating a method for assisting a virtual reality event according to an embodiment.

상술한 단계(S128)에서, 컴퓨터는 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129)를 수행할 수 있다.In the above-described step (S128), the computer may perform the step (S129) of acquiring the voice of the first field participant from the terminal of the first field participant.

또한, 컴퓨터는 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130)를 수행할 수 있다.In addition, the computer may perform a step (S130) of extracting text from the voice of the first field participant.

또한, 컴퓨터는 상기 추출된 텍스트를 번역하는 단계(S131)를 수행할 수 있다.In addition, the computer may perform the step of translating the extracted text (S131).

또한, 컴퓨터는 상기 번역된 텍스트를 음성으로 변환하는 단계(S132)를 수행할 수 있다.In addition, the computer may perform the step of converting the translated text into speech (S132).

또한, 컴퓨터는 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133)를 수행할 수 있다.In addition, the computer may perform the step (S133) of transmitting the converted voice to the first participant terminal corresponding to the second avatar.

즉, 컴퓨터는 현장 참여자의 음성을 번역하여 가상현실 이벤트의 참여자에게 전달할 수 있다.That is, the computer can translate the voice of the field participant and transmit it to the participant of the virtual reality event.

또한, 컴퓨터는 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134)를 수행할 수 있다.In addition, the computer may perform a step (S134) of generating a speech bubble image including the translated text.

또한, 컴퓨터는 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135)를 수행할 수 있다.In addition, the computer may perform the step (S135) of displaying the balloon image on the virtual reality image provided to the first participant terminal.

즉, 컴퓨터는 가상현실 공간 상에서 제1 참여자가 말하는 내용을 번역하여 가상현실 영상에 표시함으로써, 발화주체의 인식을 용이하게 하고, 언어의 문제없이 그 내용을 파악할 수 있도록 한다.That is, the computer translates the content of the first participant in the virtual reality space and displays it on the virtual reality image, thereby facilitating recognition of the subject and grasping the content without language problems.

또한, 컴퓨터는 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136)를 수행할 수 있다.In addition, the computer may perform a step (S136) of searching for information corresponding to the translated text.

예를 들어, 컴퓨터는 번역된 텍스트로부터 하나 이상의 키워드를 추출할 수도 있고, 자연어처리(NLP)를 이용하여 번역된 텍스트의 내용을 판단할 수 있다.For example, the computer may extract one or more keywords from the translated text, and may determine the content of the translated text using natural language processing (NLP).

또한, 컴퓨터는 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137)를 수행할 수 있다. 예를 들어, 컴퓨터는 번역된 텍스트에 포함된 키워드에 기초하여 응답을 생성하거나, 번역된 텍스트에 포함된 질문이 인식되는 경우, 이에 대응하는 응답을 생성할 수 있다.In addition, the computer may perform step S137 of generating one or more responses to the translated text based on the searched information. For example, the computer may generate a response based on a keyword included in the translated text, or generate a response corresponding to the question included in the translated text.

또한, 컴퓨터는 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 수행할 수 있다.In addition, the computer may perform the step (S138) of providing the searched information and the one or more responses to the first participant terminal.

일 실시 예에서, 컴퓨터는 발화내용에 포함된 키워드에 대한 의미 또는 관련 이슈 등 정보를 검색하여 가상현실 영상에 표시할 수 있다.In one embodiment, the computer may search for information such as meaning or related issues for keywords included in the utterance, and display the information on the virtual reality image.

즉, 컴퓨터는 가상공간이나 현실공간 내 발화자의 발화내용을 번역 및 표시하며, 가상현실 공간에 이에 대응하는 응답 또한 표시할 수 있다. 컴퓨터는 표시된 응답 중 적어도 하나에 대한 선택 입력이 수신되는 경우, 해당 응답을 번역하여 발화자에게 전달할 수 있다.That is, the computer can translate and display the utterance contents of the speaker in the virtual space or the real space, and can also display a response corresponding thereto in the virtual reality space. When a selection input for at least one of the displayed responses is received, the computer can translate the corresponding response and deliver it to the talker.

도 11은 일 실시 예에 따른 장치의 구성도이다.11 is a configuration diagram of an apparatus according to an embodiment.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The processor 102 may include one or more cores (not shown) and a connection passage (for example, a bus) for transmitting and receiving signals to and from a graphic processing unit (not shown) and / or other components. .

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 3 내지 도 10과 관련하여 설명된 방법을 수행한다.The processor 102 according to an embodiment performs the methods described with respect to FIGS. 3 to 10 by executing one or more instructions stored in the memory 104.

예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하고, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하고, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하고, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하고, 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.For example, the processor 102 receives user information from one or more virtual reality terminals by executing one or more instructions stored in the memory, and classifies the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals, Background information, person information, and object information for generating a virtual reality image are acquired, but the person information includes user information received from the one or more participant terminals, and uses the acquired background information, person information, and object information To generate a virtual reality image, and provide the generated virtual reality image to the one or more virtual reality terminals.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다. On the other hand, the processor 102 is a RAM (Random Access Memory, not shown) and a ROM (Read-Only Memory) that temporarily and / or permanently stores signals (or data) processed inside the processor 102. , Not shown). Further, the processor 102 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processing unit, RAM, and ROM.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.Programs (one or more instructions) for processing and controlling the processor 102 may be stored in the memory 104. Programs stored in the memory 104 may be divided into a plurality of modules according to functions.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, a software module executed by hardware, or a combination thereof. The software modules may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer readable recording medium well known in the art.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention may be implemented as a program (or application) to be executed in combination with a hardware computer, and stored in a medium. The components of the present invention can be implemented in software programming or software components, and similarly, embodiments include C, C ++, including various algorithms implemented in a combination of data structures, processes, routines or other programming components. , Can be implemented in programming or scripting languages such as Java, assembler, etc. Functional aspects can be implemented with algorithms running on one or more processors.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. The embodiments of the present invention have been described with reference to the accompanying drawings, but a person skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing its technical spirit or essential features. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive.

10, 20 및 30 : 사용자
12, 22 및 32 : 가상현실 단말
14, 24 및 34 : 사용자 단말
100 : 서버10, 20 and 30: User
12, 22 and 32: Virtual reality terminal
14, 24 and 34: User terminal
100: server

Claims (1)

컴퓨터에 의하여 수행되는 방법으로서,
하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101);
상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102);
가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103);
상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104); 및
상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105); 를 포함하고,
상기 단계(S104)는,
상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하고, 상기 하나 이상의 참관자 단말에 각각 대응하는 아바타를 생성하지 않는 단계(S108); 및
상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109); 를 포함하고,
상기 단계(S105)는,
상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110); 및
상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 하나 이상의 참관자 단말에 대응되는 하나 이상의 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111); 를 포함하고,
상기 하나 이상의 참관자 단말에 제공되는 가상 현실 영상의 시점은, 상기 하나 이상의 참관자 단말에 대응되는 참관자의 권한별로 상이하게 설정되고, 특정 정보에 대한 접근 권한이 없는 참관자에 대하여는 상기 특정 정보가 블라인드 처리되거나 상기 특정 정보를 바라볼 수 있는 시점 범위가 차단되는 것을 특징으로 하고,
상기 단계(S104)는,
상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112);
상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113); 및
상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114); 를 포함하고,
상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정되고,
상기 단계(S104)는,
상기 하나 이상의 참여자 단말 중 하나인 제1 참여자 단말이 기 설정된 조건을 만족하는 경우, 상기 단계(S108)에서 생성된 상기 제1 참여자 단말에 대응하는 아바타에 대한 정보를 획득하는 단계; 및
상기 단계(S109)에서 생성된 가상현실 영상 중, 상기 제1 참여자 단말에 대응하는 아바타를 표시하지 않는 단계; 를 포함하고,
상기 단계(S103)는,
실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115); 를 포함하고,
상기 단계(S104)는,
상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116); 를 포함하고,
상기 단계(S116)는,
상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117);
상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118);
상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119);
상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120);
상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121); 및
상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122); 를 포함하고,
상기 단계(S105)는,
상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123);
상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124);
상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125);
상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126);
상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127); 및
상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128); 를 포함하고,
상기 단계(S128)는,
상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129);
상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130);
상기 추출된 텍스트를 번역하는 단계(S131);
상기 번역된 텍스트를 음성으로 변환하는 단계(S132);
상기 변환된 음성을 상기 제2 아바타에 대응하는 제2 참여자 단말에 전달하는 단계(S133);
상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134);
상기 말풍선 이미지를 상기 제2 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135);
상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136);
상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137); 및
상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제2 참여자 단말에 제공하는 단계(S138); 를 포함하고,
상기 가상현실 영상은 360도 영상에 기초하여 가상현실 영상의 구축을 위한 3D 렌더링을 수행하여 생성된 3D 가상현실 영상이고,
상기 제1 참여자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참여자 단말에 대응되는 사용자에 의하여 변경될 수 있도록 설정되고,
상기 기 설정된 조건은 상기 하나 이상의 참여자 단말의 사용자가 참여자에서 참관자로 변경되는 조건 또는 상기 하나 이상의 참관자 단말의 사용자가 참관자에서 참여자로 변경되는 조건인 것을 특징으로 하고,
상기 가상현실 영상은 강연을 위한 컨퍼런스에 대한 가상현실 영상이되, 상기 참여자 단말은 강연을 수행하는 강연자에 대응되는 단말이고, 상기 제1 참관자 단말은 강연에 참여하는 청중에 대응되는 단말이고, 상기 제1 참관자 단말에 대응되는 청중이 상기 가상현실 영상 내에서 강연자에게 질문하는 경우, 상기 단계(S112)에 의해 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 것을 특징으로 하고,
상기 배경정보를 획득하는 단계는,
하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106); 를 포함하고,
상기 단계(S104)는,
상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107); 를 포함하는,
가상현실 이벤트 제공방법.As a method performed by a computer,
Receiving user information from one or more virtual reality terminals (S101);
Classifying the one or more virtual reality terminals into one or more participant terminals and one or more observer terminals (S102);
Obtaining background information, person information, and object information for generating a virtual reality image, wherein the person information includes user information received from the one or more participant terminals (S103);
Generating a virtual reality image using the acquired background information, person information, and object information (S104); And
Providing the generated virtual reality image to the one or more virtual reality terminals (S105); Including,
The step (S104),
Generating an avatar corresponding to each of the one or more participant terminals, and not generating avatars corresponding to the one or more observer terminals (S108); And
Generating a virtual reality image including the generated avatar (S109); Including,
The step (S105),
Step (S110) of providing the virtual reality image to the one or more participant terminals, and the viewpoint of the virtual reality image provided to the one or more participant terminals is fixed to the positions of the avatars respectively corresponding to the one or more participant terminals (S110). ; And
Providing the virtual reality image to the one or more observer terminals, wherein the viewpoint of the virtual reality image provided to the one or more observer terminals is set to be changed by one or more users corresponding to the one or more observer terminals (step S111); Including,
The viewpoint of the virtual reality image provided to the one or more observer terminals is set differently according to the authority of the observers corresponding to the one or more observer terminals, and the specific information is blinded or processed for observers who do not have access to specific information. Characterized in that the range of viewpoints from which the specific information can be viewed is blocked,
The step (S104),
Generating an avatar corresponding to the first observer terminal when the first observer terminal, which is one of the one or more observer terminals, satisfies a preset condition (S112);
Generating a virtual reality image including an avatar corresponding to the first observer terminal (S113); And
Providing a virtual reality image generated in step S113 to the one or more user terminals (S114); Including,
In the step (S114), the viewpoint of the virtual reality image provided to the first observer terminal is fixed to the position of the avatar corresponding to the first observer terminal,
The step (S104),
Obtaining information on an avatar corresponding to the first participant terminal generated in step S108 when the first participant terminal, one of the one or more participant terminals, satisfies a preset condition; And
Not displaying an avatar corresponding to the first participant terminal among the virtual reality images generated in step S109; Including,
The step (S103),
Obtaining information about an event that is actually going on, but the information about the event includes an image captured at the actual event site, step S115; Including,
The step (S104),
Generating a virtual reality image including the captured image (S116); Including,
The step (S116),
Obtaining information about a background, a person, and an object included in the captured image (S117);
Modeling the background, people and objects based on information on the background, people and objects obtained in step S117 (S118);
Identifying a site participant of the event among the persons included in the captured image (S119);
Generating a first avatar corresponding to the field participant identified in the step S119 (S120) based on the information on the modeled person;
Generating second avatars respectively corresponding to the one or more participant terminals (S121); And
Generating a virtual reality image including the modeled background, object, person, and the first avatar and the second avatar (S122); Including,
The step (S105),
Obtaining operation information of a first field participant corresponding to the first avatar from the captured image (S123);
Determining an operation of the first avatar based on the acquired operation information (S124);
Obtaining reaction information for a virtual reality image from the one or more participant terminals (S125);
Determining an operation of the second avatar based on the reaction information (S126);
Determining an interaction between the first avatar and the second avatar based on the operation of the first avatar and the second avatar (S127); And
Giving a preset effect to the virtual reality image based on the interaction (S128); Including,
The step (S128),
Obtaining a voice of the first field participant from the terminal of the first field participant (S129);
Extracting text from the voice of the first field participant (S130);
Translating the extracted text (S131);
Converting the translated text into speech (S132);
Transmitting the converted voice to a second participant terminal corresponding to the second avatar (S133);
Generating a speech bubble image including the translated text (S134);
Displaying the balloon image on a virtual reality image provided to the second participant terminal (S135);
Searching for information corresponding to the translated text (S136);
Generating one or more responses to the translated text based on the searched information (S137); And
Providing the searched information and the one or more responses to the second participant terminal (S138); Including,
The virtual reality image is a 3D virtual reality image generated by performing 3D rendering for the construction of a virtual reality image based on a 360 degree image,
The viewpoint of the virtual reality image provided to the first participant terminal is set to be changed by the user corresponding to the first participant terminal,
The preset condition is characterized in that the user of the one or more participant terminals is changed from a participant to an observer, or a user is changed from an observer to a participant.
The virtual reality image becomes a virtual reality image for a conference for a lecture, the participant terminal is a terminal corresponding to the lecturer performing the lecture, and the first observer terminal is a terminal corresponding to an audience participating in the lecture, and the When the audience corresponding to the first observer terminal asks a lecturer in the virtual reality image, it is characterized in that by generating the avatar corresponding to the first observer terminal by the step (S112),
The step of obtaining the background information,
Obtaining information about one or more unique venues (S106); Including,
The step (S104),
Generating a virtual reality image having at least one of the one or more unique venues as a background (S107); Containing,
How to provide virtual reality events.
KR1020190128660A 2019-10-16 2019-10-16 Method, apparatus and program for providing virtual reality event including unique venue KR102112074B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190128660A KR102112074B1 (en) 2019-10-16 2019-10-16 Method, apparatus and program for providing virtual reality event including unique venue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190128660A KR102112074B1 (en) 2019-10-16 2019-10-16 Method, apparatus and program for providing virtual reality event including unique venue

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092631A Division KR102035841B1 (en) 2018-08-08 2018-08-08 Method, apparatus and program for providing virtual reality event

Publications (2)

Publication Number Publication Date
KR20200017373A KR20200017373A (en) 2020-02-18
KR102112074B1 true KR102112074B1 (en) 2020-05-18

Family

ID=69638682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190128660A KR102112074B1 (en) 2019-10-16 2019-10-16 Method, apparatus and program for providing virtual reality event including unique venue

Country Status (1)

Country Link
KR (1) KR102112074B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364144B (en) * 2020-11-26 2024-03-01 北京汇钧科技有限公司 Interaction method, device, equipment and computer readable medium
KR20240002828A (en) * 2022-06-30 2024-01-08 주식회사 와이엠엑스 Real-time virtual reality conference system for sharing a memo interlocked with a pointed location on 3D object in virtual space and method thereof
KR20240002829A (en) * 2022-06-30 2024-01-08 주식회사 와이엠엑스 Real-time virtual reality conference system for sharing of pointed location on 3D object in virtual space and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842657B1 (en) 2017-04-26 2018-03-27 김동현 Method for providing VR SNS

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100369640B1 (en) * 2000-03-03 2003-01-29 신유진 Exhibition system in three dimensional virtual reality space and method thereof
KR20110074191A (en) * 2009-12-24 2011-06-30 주식회사 손노리 Apparatus and method for issuing quest
KR20180062045A (en) 2016-11-30 2018-06-08 에릭슨엘지엔터프라이즈 주식회사 Method and apparatus for realizing virtual conference

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101842657B1 (en) 2017-04-26 2018-03-27 김동현 Method for providing VR SNS

Also Published As

Publication number Publication date
KR20200017373A (en) 2020-02-18

Similar Documents

Publication Publication Date Title
KR102035841B1 (en) Method, apparatus and program for providing virtual reality event
Israel et al. Presenting hotels in virtual reality: does it influence the booking intention?
KR102112074B1 (en) Method, apparatus and program for providing virtual reality event including unique venue
KR102219367B1 (en) Method, apparatus, and system of online virtual 3d exhibition
IL281669A (en) System and method for augmented and virtual reality
Façanha et al. O&M indoor virtual environments for people who are blind: A systematic literature review
DE112021001301T5 (en) DIALOGUE-BASED AI PLATFORM WITH RENDERED GRAPHIC OUTPUT
KR102180765B1 (en) Method, device, and program for providing unique venue based on member information
EP2930671A1 (en) Dynamically adapting a virtual venue
Dalton Reality check: How immersive technologies can transform your business
CN109314802A (en) Game based on position in game is carried out with application
KR101972552B1 (en) Method, appartus and program for selecting location and providing information
CN112418903A (en) System and method for continuous quality-based telemetry and tracking in the digital reality domain
KR102276308B1 (en) Method, device, and program for providing unique venue based on participant terminal and observer terminal
Barbera et al. A case study for the design and implementation of immersive experiences in support of Sicilian cultural heritage
KR102118707B1 (en) Method, apparatus and program for selecting location based on clustering
KR102061624B1 (en) Method, device, and program for providing unique venue
Jayawardena et al. A framework for mixed reality application development: a case study on Yapahuwa archaeological site
Hunter Social VR and the continuing reinvention of local in theatre and performance
Lo et al. Interactive virtual reality touring system: a case study of Shulin Ji’an Temple in Taiwan
Bhimani Feasibility of using virtual reality in requirements elicitation process
Langer Media Innovations AR and VR: Success Factors for the Development of Experiences
KR102276306B1 (en) Method, device, and program for providing unique venue classified based on accommodation availability
KR102118708B1 (en) Method, apparatus and program for providing information using augmented reality
KR102118709B1 (en) Method, apparatus and program for selecting location based on clustering and providing augmented reality related the selected location

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant