KR20150105058A - Mixed reality type virtual performance system using online - Google Patents

Mixed reality type virtual performance system using online Download PDF

Info

Publication number
KR20150105058A
KR20150105058A KR1020140027246A KR20140027246A KR20150105058A KR 20150105058 A KR20150105058 A KR 20150105058A KR 1020140027246 A KR1020140027246 A KR 1020140027246A KR 20140027246 A KR20140027246 A KR 20140027246A KR 20150105058 A KR20150105058 A KR 20150105058A
Authority
KR
South Korea
Prior art keywords
information
performance
image information
performer
audience
Prior art date
Application number
KR1020140027246A
Other languages
Korean (ko)
Inventor
장순철
장석희
장순호
홍태수
Original Assignee
이모션웨이브 주식회사
장석희
홍태수
장순철
장순호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이모션웨이브 주식회사, 장석희, 홍태수, 장순철, 장순호 filed Critical 이모션웨이브 주식회사
Priority to KR1020140027246A priority Critical patent/KR20150105058A/en
Publication of KR20150105058A publication Critical patent/KR20150105058A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

The present invention relates to a mixed reality type virtual performance system using online. According to the present invention, the mixed reality type virtual performance system includes: a performer photographing unit for acquiring image information of a performer in which a performer is existed to include information on chromakey background image by photographing a performer in a chromakey space; a voice recording unit for acquiring voice information by recording a voice occurred during a performance of a performer; a directed screen generating unit for generating a media file of a performer by combining the image information and the voice information, and generating performance image information by combining information on chromakey background image in the media file of a performer with information on virtual stage image; a streaming server for receiving the performance image information, and streaming the performance image information when a request of the performance image information is existed; and an audience terminal for outputting the performance image information by requesting to stream the performance image information to the streaming server by linking to the streaming server.

Description

온라인을 이용한 혼합현실형 가상 공연 시스템{MIXED REALITY TYPE VIRTUAL PERFORMANCE SYSTEM USING ONLINE}MIXED REALITY TYPE VIRTUAL PERFORMANCE SYSTEM USING ONLINE

본 발명은 온라인을 이용한 혼합현실형 가상 공연 시스템에 관한 것으로, 보다 상세하게는 일반적으로 무대가 마련되어 공연자와 관객이 한 공간내에 집합하여 이루어지던 종래 공연 시스템과는 달리, 공연자가 특정 공간에서 공연을 시행하여 공연 영상을 생성하고, 관객이 온라인상에서 상기 공연 영상을 시청하되 공연 영상내에 공연자와 관객이 입체감 있게 모두 표현되도록 하여 실제 공연장과 같은 분위기가 연출되도록 하는 온라인을 이용한 혼합현실형 가상 공연 시스템에 관한 것이다.
The present invention relates to a mixed reality virtual performance system using on-line, and more particularly, to a virtual reality performance system using on-line, in which unlike a conventional performance system in which a stage is provided and performers and spectators are gathered in one space, Real-time virtual performance system using on-line that allows the audience to view the performance video on-line and display the performer and audience in a three-dimensional manner in the performance video, .

일반적으로, 종래 공연 시스템은 공연자와 관객이 실내나 실외의 하나의 공간에 밀집된 상태에서 공연을 감상하는 경우가 대부분이다.Generally, in the conventional performance system, most performers and audiences enjoy performances in a state where they are concentrated in one room, indoor or outdoor.

따라서, 종래 공연 시스템은 한 공간에서 공연자와 관객이 모두 모여 있어야 하기 때문에, 공연장을 대관해야만 하는 문제점과 공연장의 무대 및 음향연출을 위한 시스템이 필수적으로 수반되어야 하기 때문에 개인이나 소수의 그룹이 이에 관한 제반 비용을 감당하기에는 많은 무리가 따르고 있다.Therefore, in the conventional performance system, since both performers and audiences must be gathered in one space, it is necessary to have a problem of having to pay for the performance hall and a system for stage and sound production of the performance hall. There is a lot of pressure to cover all costs.

최근에는 인터넷의 발달로 인하여 개인이나 소수의 그룹이 공연 영상을 촬영하고, 촬영된 동영상을 인터넷에 공유시켜 해당 동영상을 관객들이 온라인상에서 볼 수 있도록 하고 있다.Recently, due to the development of the Internet, a group of individuals or a small number of people have taken a video of a performance and have shared the video with the Internet so that the audience can watch the video online.

하지만, 이와 같이 공연자가 자신의 공연 동영상을 촬영하여 인터넷상에 배포하는 기술은 공연자와 관객이 실시간으로 소통하기 어렵기 때문에 실질적인 공연이라고는 볼 수 없다.However, the technique of distributing the performance video of the performer to the internet on the Internet is not a real performance because it is difficult for the performer and the audience to communicate in real time.

이러한 문제점을 해결하기 위한 종래 선행기술로써, 대한민국 공개특허 제10-2009-0016234호인 가상현실 공연 시스템 및 그 방법은 가상 공연 서버가 데이터베이스에 저장된 다수의 공연 정보 중에서 원하는 공연 정보를 선택하기 위한 공연 선택 신호, 및 원하는 객석을 선택하기 위한 객석 선택 신호를 입력 장치로부터 수신하는 단계; 상기 가상 공연 서버가 수신된 상기 공연 선택 신호에 기초하여 상기 데이터베이스에 저장된 상기 다수의 공연 정보 중에서 상기 공연 선택 신호에 상응하는 공연 정보를 독출하기 위한 독출 신호를 상기 데이터베이스로 출력하는 단계; 및 상기 가상 공연 서버가 상기 독출 신호에 응답하여 상기 데이터베이스로부터 독출되는 상기 공연 정보를 수신하고, 수신된 상기 공연정보를 상기 객석 선택 신호에 기초하여 발생된 객석 제어 신호, 및 상기 공연 선택 신호에 기초하여 발생된 공연 제어 신호에 기초하여 상기 원하는 객석 위치에 상응하는 공연 정보로 변환하고, 변환된 상기 공연 정보를 대응되는 출력 장치로 출력하는 단계를 구비하는 해결수단에 의해 온라인상에서 동영상 시청에서 동영상을 시청하는 사용자가 관객처럼 느껴지도록 함으로써 현실 공연과 유사한 환경을 구축하는 효과를 발휘하고 있다.As a conventional prior art for solving such a problem, Korean Patent Laid-Open No. 10-2009-0016234 discloses a virtual reality performance system and a virtual reality performance system in which a virtual performance server selects performances for selecting desired performance information from a plurality of performance information stored in a database Receiving a signal from the input device and an audience selection signal for selecting a desired audience; Outputting, to the database, a read signal for reading performance information corresponding to the performance selection signal from the plurality of performance information stored in the database based on the performance selection signal received by the virtual performance server; And the virtual performance server receives the performance information read out from the database in response to the readout signal, and transmits the received performance information to the virtual performance server based on the audience control signal generated based on the audience selection signal, And outputting the converted performance information to a corresponding output device. According to an aspect of the present invention, there is provided a display device for displaying a movie, By making the user who watches feel like a spectator, it has an effect of establishing an environment similar to a reality performance.

하지만, 이와 같은 종래 선행기술은 온라인상에서 이루어진다고는 하나, 공연 영상을 관객에게 배포시에 관객이 객석이 구비된 위치에 이동해야만 해야만 하는 문제점을 내포하고 있다.However, although such conventional prior arts are performed on-line, there is a problem that the audience must move to a place where the audience seats when the performance video is distributed to the audience.

특히, 종래 선행기술은 공연자의 영상에 관객이 참여할 수 없어 실제 무대와 같은 연출효과가 떨어지는 문제점을 내포하고 있다.
Particularly, the conventional art has a problem that the audience can not participate in the image of the performer, and the effect of the presentation like the actual stage falls.

대한민국 공개 특허 제10-2009-0016234호(2009. 02. 13 공개)Korean Patent Publication No. 10-2009-0016234 (published on Mar. 13, 2009) 대한민국 공개 특허 제10-2009-0000550호(2009. 01. 08 공개)Korean Patent Publication No. 10-2009-0000550 (disclosed on Jan. 08, 2009)

본 발명은 관객이 자신의 통신단말기를 이용하여 공연자의 공연을 온라인상에서 시청가능하고, 관객이 공연자의 공연을 온라인상에서 시청시에 실제 공연장과 같은 분위기 연출되도록 하고, 공연자와 관객이 온라인상에서 전송된 화면에 모두 표현되도록 하는 온라인을 이용한 혼합현실형 가상 공연 시스템을 제공하는 데 있다.
The present invention enables an audience to view performances of performers on-line using their own communication terminals, to allow an audience to create an atmosphere similar to an actual performance hall when watching the performance of performers on-line, And to provide a mixed reality virtual performance system using on-line which is displayed on the screen.

상기한 기술적 과제를 달성하기 위한 본 발명의 온라인을 이용한 혼합현실형 가상 공연 시스템은 크로마키공간에서 공연자를 촬영하여 크로마키배경영상정보가 포함되도록 상기 공연자가 존재하는 공연자의 동영상정보를 획득하는 공연자 촬영부; 상기 공연자의 공연중에 발생되는 음성을 녹음하여 음성정보를 획득하는 공연자 음성기록부; 상기 동영상정보와 상기 음성정보를 합성하여 공연자 미디어파일을 생성하되, 상기 공연자 미디어파일 가운데 상기 크로마키배경영상정보에 가상의 무대영상정보를 합성하여 공연영상정보를 생성하는 연출화면 생성부; 상기 공연영상정보를 입력받고, 상기 공연영상정보의 요청이 있는 경우 상기 공연영상정보를 스트리밍하는 스트리밍서버; 및, 상기 스트리링서버와 연동하며, 상기 스트링서버에 상기 공연영상정보를 스트리밍요청하여 상기 공연영상정보를 출력하는 관객단말; 을 포함하며, 상기 연출화면 생성부는 상기 무대영상정보의 생성시에 관객영상정보를 더 생성하여 상기 공연영상정보를 생성하며, 상기 스트리밍서버는 상기 관객단말이 상기 공연영상정보를 스트리밍 요청하는 경우, 상기 관객단말로부터 식별정보를 입력받고, 상기 식별정보를 상기 관객영상정보에 출력함으로써, 상기 관객단말이 상기 공연영상정보를 스트리밍하여 출력하는 경우 상기 식별정보를 상기 공연영상정보에 출력할 수 있다.According to another aspect of the present invention, there is provided a virtual reality virtual reality system using an on-line virtual reality performance system, which includes a co-performer who captures a performer in a chroma key space and acquires video information of a performer in which the co- A photographing unit; A performer voice recorder for recording voice generated during performance of the performer to obtain voice information; A production screen generating unit for generating a performer media file by synthesizing the moving image information and the audio information, and synthesizing virtual stage image information with the chroma key background image information among the performer media files to generate performance image information; A streaming server for receiving the performance image information and streaming the performance image information when the performance image information is requested; And a viewer terminal coupled to the streaming server for requesting streaming of the performance image information to the string server and outputting the performance image information; And the streaming server generates the performance image information by further generating audience image information at the time of generating the stage image information, and when the audience terminal requests streaming the performance image information, And outputting the identification information to the performance image information when the audience terminal streams and outputs the performance image information by receiving the identification information from the audience terminal and outputting the identification information to the audience image information.

또한, 상기 온라인을 이용한 혼합현실형 가상 공연 시스템은 공연자단말 및 디스플레이장치를 더 포함하며, 이 경우, 상기 공연자단말은 상기 스트리밍서버와 연동하며, 상기 공연영상정보를 스트리밍받아 출력하고, 상기 디스플레이장치는 상기 크로마키공간에 구비되며, 상기 공연자단말과 연동하여 상기 공연영상정보를 입력받아 디스플레이할 수 있다.In addition, the mixed reality type virtual performance system using on-line may further include a performer terminal and a display device. In this case, the performer terminal may interwork with the streaming server, streaming and outputting the performance image information, Is provided in the chroma key space, and can input and display the performance image information in cooperation with the performer terminal.

나아가, 상기 연출화면 생성부는 움직임분석부, 아바타영상 생성부 및, 공연영상생성부를 더 포함하여 구성될 수 있다.Furthermore, the directing screen generating unit may further include a motion analyzing unit, an avatar image generating unit, and a performance image generating unit.

이 경우, 상기 움직임분석부는 상기 동영상정보를 바탕으로 상기 동영상정보에 포함된 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하고, 상기 기준위치정보를 토대로 상기 공연자의 움직임을 분석하고, 상기 아바타영상 생성부는 인물에 관한 아바타정보를 적어도 하나 이상 포함하며, 상기 움직임분석부에서 생성된 기준위치정보를 토대로 상기 공연자의 움직임과 일치하도록 상기 아바타정보의 움직임을 구현하여 상기 아바타정보의 움직임에 관한 아바타동영상정보를 생성하며, 상기 공연영상 생성부는 상기 아바타영상 생성부와 연동하며, 상기 아바타영상정보에 상기 무대영상정보 및 상기 관객영상 정보를 합성하여 상기 공연영상정보를 생성하고, 이 경우, 상기 스트리밍서버는 상기 관객단말이 상기 공연영상정보를 스트리밍 요청하는 경우, 상기 공연자의 움직임으로 움직이는 아바타동영상정보가 포함된 상기 공연영상정보를 상기 관객단말에 출력할 수 있다.In this case, the motion analyzing unit may generate reference position information based on the moving picture information so that the body of the performer included in the moving picture information is divided into a predetermined section, analyze the movement of the performer based on the reference position information, The avatar image generating unit includes at least one avatar information about the person and implements the movement of the avatar information so as to coincide with the motion of the performer based on the reference position information generated by the motion analyzing unit, Wherein the performance image generating unit is operable with the avatar image generating unit to generate the performance image information by combining the stage image information and the viewer image information with the avatar image information, The streaming server receives the performance image information from the audience terminal When reaming request, may output the image performance information containing the video information, the avatar moving in the movement of the performer to the audience terminal.

이때, 상기 공연자 촬영부는 복수 개의 카메라를 상기 크로마키공간내에 배치하여 서로 다른 각도에서 촬영되는 복수 개의 동영상정보를 생성하며, 상기 움직임분석부는 서로 간에 다른 각도에서 촬영된 상기 동영상정보 각각에 대한 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하고, 상기 기준위치정보들이 서로 간에 취합되도록 보간을 시행하여 통합기준위치정보를 생성하며, 상기 통합기준위치정보를 바탕으로 상기 공연자의 움직임과 일치하는 상기 아바타동영상정보를 생성할 수 있다.At this time, the performer photographing section arranges a plurality of cameras in the chroma key space to generate a plurality of pieces of moving picture information photographed at different angles, and the motion analyzing section generates a plurality of pieces of moving picture information Generating reference position information by dividing the body into predetermined sections and interpolating the reference position information so that the reference position information is collected with each other to generate integrated reference position information; The avatar moving picture information can be generated.

또한, 상기 스트리밍서버는 상기 관객단말이 상기 공연영상정보를 스트리밍 요청하여 상기 관객단말로 상기 공연영상정보를 스트리밍하는 경우, 상기 관객단말에 하이퍼링크정보가 포함된 정보안내창을 생성하여 전송하고, 상기 관객단말은 상기 정보안내창의 하이퍼링크정보를 선택하여 상기 정보안내창에 관한 웹페이지를 출력하되, 상기 웹페이지는 상기 공연영상정보에 관련한 공연정보, 공연스케줄, 공연결제정보, 상기 공연정보와는 다른 공연정보 및, 상기 공연정보의 스트리밍순위 가운데 적어도 어느 하나의 정보를 포함할 수 있다.The streaming server generates and transmits an information guidance window including hyperlink information to the audience terminal when the audience terminal requests streaming the performance image information and streams the performance image information to the audience terminal, Wherein the viewer terminal selects a hyperlink information of the information guide window and outputs a web page related to the information guide window, wherein the web page includes performance information related to the performance image information, a performance schedule, performance payment information, May include at least one of other performance information and a streaming order of the performance information.

나아가, 상기 스트리밍서버는 상기 관객단말이 상기 공연영상정보를 스트리밍 요청하여 상기 관객단말로 상기 공연영상정보를 스트리밍하는 경우, 상기 관객단말에 채팅창을 출력하고, 상기 관객단말은 상기 채팅창에 메시지를 입력하는 경우, 상기 메시지는 상기 스트리밍서버로 전송되고, 상기 스트리밍서버는 상기 공연영상정보를 스트리밍하고 있는 모든 관객단말로 상기 메시지를 전송할 수 있다.Further, the streaming server outputs a chat window to the audience terminal when the audience terminal requests streaming the performance image information and streams the performance image information to the audience terminal, and the audience terminal sends a message The message is transmitted to the streaming server, and the streaming server can transmit the message to all the audience terminals that are streaming the performance image information.

더불어, 상기 온라인 가사 시스템은 관객용마이크를 더 포함할 수 있으며, 이 경우, 상기 관객용마이크는 상기 관객단말과 연동하며, 음성을 관객음성신호를 변환하여 상기 관객단말로 전송할 수 있으며, 상기 관객단말은 상기 관객음성신호를 상기 스트리밍서버로 전송하고, 상기 스트리밍서버는 상기 관객음성신호를 상기 공연영상정보를 스트리밍하고 있는 모든 관객단말로 상기 관객음성신호를 전송할 수 있다.
In addition, the online loudspeaker system may further include a microphone for audiences. In this case, the audiovisual microphone may be interlocked with the audience terminal, convert the audiovisual audio signal to transmit the audiovisual signal to the audience terminal, The terminal transmits the audiovisual audio signal to the streaming server, and the streaming server can transmit the audiovisual audio signal to all the audience terminals that are streaming the performance image information.

본 발명은 관객이 관객단말을 이용하여 공연영상정보를 온라인상에서 스트리밍받아 가상의 공간에서 공연을 관람할 수 있으며, 관객이 공연자의 공연을 온라인상에서 시청시에 가사무대정보가 출력되므로 실제 공연장과 같은 분위기 연출되고, 공연자의 영상뿐만 아니라 식별력이 있는 관객영상정보를 공연자의 영상정보와 함께 출력하여 공연자와 관객이 함께하는 분위기를 연출할 수 있도록 하는 효과가 있다.The present invention enables an audience to view performance in a virtual space by streaming the performance video information on-line using the audience terminal, and since the stage information is outputted when the audience watches the performances of the performers on-line, So that not only the image of the performer but also the image information of the audience having the discriminating power is outputted together with the image information of the performer so that the atmosphere where the performer and the audience together can be produced.

또한, 본 발명은 크로마키공간안에 구비되는 디스플레이장치를 통해 공연자에게 자신의 무대 영상을 모니터링할 수 있도록 보여 줌으로써, 공연자가 자신의 모습을 보고 다양한 연출을 시행할 수 있는 효과가 있다.Further, the present invention can display the stage image of the performer to the performer through the display device provided in the chroma key space, thereby enabling the performer to perform his / her own appearance and perform various performances.

또한, 본 발명은 전술한 실시예에서 공연자의 실사이미지가 합성된 공연영상정보를 생성할 수 있을 뿐만 아니라, 아바타영상정보가 합성된 공연영상정보를 생성할 수 있는 효과가 있다.In addition, the present invention is not only capable of generating the performance image information in which the real image of the performer is synthesized in the above-described embodiment, but also has the effect of generating the performance image information in which the avatar image information is synthesized.

또한, 본 발명은 복수 개의 카메라를 이용하여 각기 다른 방향에 촬영된 공연자동영상정보에서 각 기준위치정보를 생성하고, 각 기준위치정보를 연산하여 통합기준위치정보를 생성하여 이를 통해 아바타동영상정보를 생성하기 때문에, 하나의 카메라로 촬영되는 경우 공연자의 기준위치정보가 불분명하게 생성되는 빈도를 줄일 수 있도록 하여 공연자의 움직임과 아바타정보의 움직임을 보다 정확히 매칭시킬 수 있도록 하는 효과가 있다.In addition, the present invention generates each reference position information from performer video information photographed in different directions using a plurality of cameras, generates integrated reference position information by calculating each reference position information, and generates avatar video information Therefore, when the camera is photographed with a single camera, the frequency with which the reference position information of the performer is unclearly generated can be reduced, so that the movement of the performer and the movement of the avatar information can be more accurately matched.

또한, 본 발명은 온라인상에서 공연영상정보를 시청하고 있는 모든 관객에게 안내창을 통한 안내정보를 제공하여 관객들이 유용한 정보을 얻을 수 있도록 하며, 온라인상에서 공연영상정보를 시청하고 있는 모든 관객들이 채팅창을 통해 메시지를 주고받을 수 있도록 하고 음성신호도 주고받을 수 있도록 하여 관객들간의 소통이 실시간으로 이루어질 수 있도록 하는 효과가 있다.In addition, the present invention provides guide information through a guide window to all viewers watching live video information on-line, so that viewers can obtain useful information, and all the viewers watching live video information on-line can display a chat window So that the communication between audiences can be performed in real time.

도 1은 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템을 블록도.
도 2는 도 1에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템의 크로마키공간상에 공연자가 위치한 상태의 구성도.
도 3은 도 1 및 도 2에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템을 이용하는 경우의 관객단말에 출력되는 화면의 일 예에 관한 예시도.
도 4는 도 1에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템의 아바타정보 생성을 위한 연출화면 생성부의 블록도이다.
도 5는 관객단말의 화면에 안내창이 생성된 상태의 예시도.
도 6은 관객단말의 화면에 채팅창이 생성된 상태의 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a mixed reality virtual performance system using on-line according to an embodiment of the present invention; FIG.
FIG. 2 is a block diagram of a state in which performers are placed on the chroma key space of the mixed reality type virtual performance system using online shown in FIG. 1;
FIG. 3 is an exemplary view of an example of a screen displayed on the audience terminal in the case of using the online mixed real-life virtual performance system shown in FIGS. 1 and 2. FIG.
FIG. 4 is a block diagram of a production screen generating unit for generating avatar information of the mixed reality type virtual performance system using online shown in FIG. 1. FIG.
5 is an example of a state in which a guide window is created on the screen of the audience terminal;
6 is an exemplary view showing a state where a chat window is created on the screen of the audience terminal;

이하, 상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.Hereinafter, other objects and features of the present invention will be apparent from the following description of embodiments with reference to the accompanying drawings.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하에서는, 본 발명의 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템을 첨부된 도 1 및 도 6을 참조하여 상세히 설명한다.Hereinafter, a mixed reality virtual performance system using on-line according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 6. FIG.

도 1은 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템을 블록도이다. 도 2는 도 1에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템의 크로마키공간상에 공연자가 위치한 상태의 구성도이다. 도 3은 도 1 및 도 2에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템을 이용하는 경우의 관객단말에 출력되는 화면의 일 예이다.1 is a block diagram of a mixed reality virtual performance system using on-line according to an embodiment of the present invention. FIG. 2 is a block diagram of a state where performers are placed on the chroma key space of the mixed real-life virtual performance system using on-line shown in FIG. FIG. 3 is an example of a screen displayed on the audience terminal in the case of using the online mixed reality virtual performance system shown in FIGS. 1 and 2. FIG.

먼저, 이하에서는 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템을 이루는 각각의 구성들에 대해 상세히 설명하기로 한다.First, each of the components constituting the mixed reality virtual performance system using on-line according to an embodiment of the present invention will be described in detail.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 공연자 촬영부(10), 공연자 음성기록부(20), 연출화면 생성부(30), 스트리밍서버(40) 및, 관객단말(50)을 포함한다.1 to 3, the mixed reality type virtual performance system using on-line according to an embodiment of the present invention includes a performer capturing unit 10, a performer voice recording unit 20, a production screen generating unit 30, A streaming server 40, and a viewer terminal 50. [

상기 공연자 촬영부(10)는 크로마키공간(1)에서 공연자를 촬영하여 크로마키배경영상정보가 존재하도록 공연자가 존재하는 공연자의 동영상정보(2)를 획득하는 구성이다. 이러한 공연자 촬영부(10)는 카메라와 같은 화상 촬영 장치로 이루어질 수 있다. 한편, 크로마키공간(1)은 공연자 촬영부(1)가 촬영하는 경우에 영상정보의 배경이 단색계열로 이루어지도록 특정 단색 색상으로 이루어진 영역 전체 또는 영억의 일부에 해당한다.The performer photographing unit 10 photographs a performer in the chroma key space 1 to acquire the motion picture information 2 of the performer in which the performer exists so that the chroma background image information exists. The performer photographing unit 10 may be an image photographing apparatus such as a camera. On the other hand, the chroma key space 1 corresponds to a whole of a monochromatic hue or a part of hundred million yen so that the background of the image information is composed of a monochrome sequence when the performer photographing unit 1 photographs.

상기 공연자 음성기록부(20)는 공연자의 공연중에 발생되는 음성을 녹음하여 음성정보를 획득하는 구성이다. 이러한 공연자 음성기록부(20)는 마이크와 같이 음성을 음성전기신호로 변환하는 장치와 마이크의 음성을 증폭하거나 각 주파수의 음량을 조절하는 음성믹서와 같은 장치로 구성될 수 있다.The performer voice recording section 20 is a configuration for acquiring voice information by recording a voice generated during performance of a performer. The performer voice recording unit 20 may be constituted by a device such as a microphone for converting voice into a voice electric signal and a device such as a voice mixer for amplifying the voice of the microphone or adjusting the volume of each frequency.

상기 연출화면 생성부(30)는 공연자 촬영부(10)에서 획득한 동영상정보와 공연자 음성기록부(20)에서 획득한 음성정보를 입력받고, 공연자 촬영부(10)에서 획득한 동영상정보와 공연자 음성기록부(20)에서 획득한 음성정보를 합성하여 공연자 미디어파일을 생성하게 된다. 또한, 연출화면 생성부(30)는 공연자 미디어파일에 포함된 크로마키배경영상정보에 가상의 무대영상정보(3)를 합성하여 공연영상정보(4)를 생성하게 된다. 여기서, 무대영상정보(3)는 3차원 디자인 프로그램에 의해 생성되는 정보이다. 이 경우, 연출화면 생성부(30)는 크로마키배경영상정보에 무대영상정보(3)를 합성하기 위하여 무대영상정보(3)DB를 구비하게 되는데, 이때, 연출화면 생성부(30)는 공연자 또는 관리자에 의해 무대영상정보(3)DB 가운데 선택되는 어느 하나의 무대영상정보(3)를 이용하여 크로마키배경영상정보에 가상의 무대영상정보(3)를 합성하여 공연영상정보(4)를 생성시킬 수 있다. 여기서, 연출화면 생성부(30)는 공연영상정보(4)의 파일용량을 줄이고, 후술하는 관객단말(50)과의 호환을 위하여 AVI, MPEG, FLV, MKV와 같은 동영상 파일타입으로 파일을 압축할 수 있다.The directing picture generating unit 30 receives the moving picture information obtained by the performer photographing unit 10 and the voice information obtained from the performer voice recording unit 20 and outputs the video information obtained by the performer photographing unit 10 and the voice of the performer And synthesizes the voice information acquired by the recording unit 20 to generate a performer media file. In addition, the directing screen generating unit 30 generates the performance visual information 4 by synthesizing the virtual stage video information 3 with the chroma key background video information included in the performer media file. Here, the stage image information 3 is information generated by the three-dimensional design program. In this case, the directing screen generating unit 30 is provided with the stage video information (3) DB in order to combine the stage video information 3 with the chroma background video information. At this time, the directing screen generating unit 30, Alternatively, the virtual stage image information 3 is synthesized with the chroma key background image information using any one of the stage image information 3 selected from the DB of the stage image information 3 by the manager to output the performance image information 4 Can be generated. The presentation screen generating unit 30 reduces the file capacity of the performance image information 4 and compresses the file into a video file type such as AVI, MPEG, FLV, or MKV for compatibility with the audience terminal 50 can do.

상기 스트리밍서버(40)는 연출화면 생성부(30)와 연동하며, 연출화면 생성부(30)로부터 공연영상정보(4)를 입력받아 DB형태로 저장하여 기록 관리하고, 공연영상정보(4)의 요청이 있는 경우 공연영상정보(4)를 스트리밍하게 된다. The streaming server 40 interlocks with the directing screen generating unit 30 and receives the performance video information 4 from the directing screen generating unit 30 and records and manages it in the form of a DB to record the performance video information 4, The performance image information 4 is streamed.

상기 관객단말(50)은 피씨 또는 스마트폰과 같은 통신단말로써, 스트리밍서버(40)와 연동하며, 스트리밍서버(40)에 공연영상정보(4)를 스트리밍요청하여 공연영상정보(4)를 화면에 출력하는 장치이다.
The audience terminal 50 is a communication terminal such as a PC or a smart phone and is interlocked with the streaming server 40. The audience terminal 50 requests streaming video information 4 to the streaming server 40 to stream the performance video information 4 .

이하에서는 상기한 구성으로 이루어지는 본 발명의 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템의 구동 및 그에 따른 작용효과를 설명하기로 한다.Hereinafter, the driving of the mixed reality virtual performance system using on-line and the operation and effect according to the embodiment of the present invention will be described.

먼저, 공연자는 공연을 시작하기 위하여 크로마키공간(1)상에 위치한 상태로 공연을 시작하게 된다.First, the performer starts the performance in the state of being located on the chroma key space (1) in order to start the performance.

이 경우, 공연자의 모습은 공연자 촬영부(10)에 의해 촬영되어 동영상정보로 변환되며, 공연자의 음성은 공연자 음성기록부(20)에 의해 음성정보로 변환된다.In this case, the figure of the performer is photographed by the performer photographing section 10 and converted into the motion picture information, and the voice of the performer is converted into the voice information by the performer voice recording section 20. [

이때, 연출화면 생성부(30)는 공연자 촬영부(10)에서 획득한 동영상정보와 공연자 음성기록부(20)에서 획득한 음성정보를 입력받고, 공연자 촬영부(10)에서 획득한 동영상정보와 공연자 음성기록부(20)에서 획득한 음성정보를 합성하여 공연자 미디어파일을 생성하며, 공연자 미디어파일에 포함된 크로마키배경영상정보에 가상의 무대영상정보(3)를 합성하여 공연영상정보(4)를 생성하게 된다.At this time, the directing picture generating unit 30 receives the moving picture information obtained by the performer photographing unit 10 and the voice information obtained from the performer voice recording unit 20, and outputs the moving picture information obtained by the performer photographing unit 10 and the co- Synthesizes the audio information acquired by the sound recording unit 20 to generate a performer media file, synthesizes the virtual stage image information 3 with the chroma key background image information included in the performer media file, and outputs the performance image information 4 Respectively.

또한, 연출화면 생성부(30)는 공연영상정보(4)의 생성 하기전에 무대영상정보(3)를 합성하는 경우, 무대영상정보(3)에 관객영상정보(5)를 더 생성하여 공연영상정보(4)를 생성하게 된다.When the stage image information 3 is synthesized before generation of the performance image information 4, the presentation image generating section 30 further generates the audience image information 5 in the stage image information 3, Information 4 is generated.

여기서, 관객영상정보(5)는 실사 또는 애니메이션과 같은 특정 캐릭터에 관한 영상이미지일 수 있다.Here, the viewer image information 5 may be a video image related to a specific character such as a real image or an animation.

이와 같이, 연출화면 생성부(30)에 생성된 공연영상정보(4)는 관객단말(50)이 스트리밍서버(40)에 접속하여 요청하는 경우, 관객단말(50)로 스트리밍된다.As described above, the performance image information 4 generated in the production screen generating unit 30 is streamed to the audience terminal 50 when the audience terminal 50 connects to the streaming server 40 and requests it.

이 경우, 스트리밍서버(40)는 관객단말(50)로부터 식별정보(8)를 입력받게 된다. 여기서, 관객단말(50)로부터 입력되는 식별정보(8)는 관객의 ID 또는 관객의 이름과 같은 정보이다.In this case, the streaming server 40 receives the identification information 8 from the audience terminal 50. Here, the identification information 8 input from the audience terminal 50 is information such as the ID of the audience or the name of the audience.

다음, 스트리밍서버(40)는 관객단말(50)로부터 식별정보(8)를 입력받고, 입력된 식별정보(8)를 관객영상정보(5)에 출력하게 된다.Next, the streaming server 40 receives the identification information 8 from the audience terminal 50 and outputs the inputted identification information 8 to the audience image information 5.

이로 인해, 관객단말(50)은 공연영상정보(4)를 스트리밍하여 출력하는 경우 자체의 식별정보(8)를 공연영상정보(4)에 출력할 수 있게 된다.This allows the audience terminal 50 to output the identification information 8 itself to the performance image information 4 when the performance image information 4 is streamed and output.

따라서, 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 관객이 관객단말(50)을 이용하여 공연영상정보(4)를 온라인상에서 스트리밍받아 가상의 공간에서 공연을 관람할 수 있으며, 관객이 공연자의 공연을 온라인상에서 시청시에 가사무대정보가 출력되므로 실제 공연장과 같은 분위기 연출되고, 공연자의 영상뿐만 아니라 식별력이 있는 관객영상정보(5)를 공연자의 영상정보와 함께 출력하여 공연자와 관객이 함께하는 분위기를 연출할 수 있게 된다.
Therefore, the mixed reality type virtual performance system using on-line according to the embodiment of the present invention allows a viewer to view the performance in a virtual space by streaming the performance image information 4 by using the audience terminal 50 , The lyric stage information is outputted when the audience watches the performance of the performer on-line, so that an atmosphere similar to that of the actual theater is produced and the audience image information 5 having the discriminating power as well as the image of the performer is output together with the image information of the performer, And the audience will be able to direct the atmosphere together.

한편, 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 공연자단말(60) 및 디스플레이장치(70)를 더 포함할 수 있다.Meanwhile, the mixed reality virtual performance system using on-line according to an embodiment of the present invention may further include a performer terminal 60 and a display device 70.

상기 공연자단말(60)은 피씨와 같은 통신단말장치로써, 스트리밍서버(40)와 연동하며, 스트리밍서버(40)에서 공연영상정보(4)를 스트리밍받아 출력하는 장치이다.The performer terminal 60 is a communication terminal device such as a PC and is a device for interfacing with the streaming server 40 and streaming and outputting the performance image information 4 from the streaming server 40.

상기 디스플레이장치(70)는 모니터 또는 빔프로젝트와 같은 영상출력장치로써, 크로마키공간(1)에 설치되어 이용된다. 이러한 디스플레이장치(70)는 공연자단말(60)과 연동하여 공연영상정보(4)를 입력받아 디스플레이하게 된다.The display device 70 is installed in the chroma key space 1 as a video output device such as a monitor or a beam project. The display device 70 receives the performance image information 4 in cooperation with the performer terminal 60 and displays the same.

이와 같이, 본 발명의 일 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 크로마키공간(1)안에 구비되는 디스플레이장치(70)를 통해 공연자에게 자신의 무대 영상을 모니터링할 수 있도록 보여 줌으로써, 공연자가 자신의 모습을 보고 다양한 연출을 시행할 수 있게 된다.
As described above, according to the embodiment of the present invention, the mixed reality virtual performance system using on-line can display the stage image of the performer to the performer through the display device 70 provided in the chroma key space 1 , The performer will be able to see various aspects of his / her performance.

도 4는 도 1에 도시된 온라인을 이용한 혼합현실형 가상 공연 시스템의 아바타정보 생성을 위한 연출화면 생성부(30)의 블록도이다.FIG. 4 is a block diagram of a production screen generating unit 30 for generating avatar information of the mixed reality virtual entertainment system using on-line shown in FIG.

한편, 상기한 바와 같은 본 발명의 다른 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 상기한 바와 같이, 공연자 촬영부(10)에 의해 공연자의 실사 동영상정보를 생성한 후, 이를 무대영상정보(3)와 합성하여 공연영상정보(4)를 생성할 수 있을 뿐만 아니라, 인기가수 또는 인기캐릭터의 3차원 캐릭터정보에 관한 아바타정보를 이용하여 공연자의 움직임에 따른 아바타정보를 출력시킬 수 도 있다.Meanwhile, as described above, the mixed reality type virtual performance system using on-line according to another embodiment of the present invention, as described above, generates the live-action video information of the performer by the performer photographing unit 10, Not only the performance image information 4 can be generated by synthesizing with the information 3 but also the avatar information according to the movement of the performer can be outputted by using the avatar information related to the three-dimensional character information of the popular singer or the popular character have.

이를 위하여 연출화면 생성부(30)는 움직임분석부(31), 아바타영상 생성부(32) 및, 공연영상 생성부(33)를 더 포함할 수 있다.For this purpose, the directed screen generating unit 30 may further include a motion analyzing unit 31, an avatar image generating unit 32, and a performance image generating unit 33.

상기 움직임분석부(31)는 공연자 촬영부(10)에 의해 생성된 동영상정보를 바탕으로 동영상정보에 포함된 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하게 된다. 여기서, 기준위치정보는 공연자 촬영부(10)에서 획득한 공연자의 신체 이미지를 토대로 머리, 상체, 다리, 팔등으로 구분하고 머리의 중앙지점, 상체의 중앙지점, 다리의 각 관절마다의 중앙지점, 팔의 각 관절마다의 중앙지점을 연산하여 위치좌표인 기준위치정보를 획득하여 공연자의 움직임을 분석하게 된다.The motion analyzing unit 31 generates reference position information based on the moving image information generated by the cooperative photographing unit 10 so that the body of the performer included in the moving image information is divided into predetermined regions. Here, the reference position information is divided into head, upper body, leg, and arm on the basis of the body image of the performer acquired by the performer photographing section 10, and the center position of the head, the center point of the upper body, The center point of each joint of the arm is calculated and the reference position information as the position coordinate is obtained to analyze the movement of the performer.

상기 아바타영상 생성부(32)는 인물에 관한 아바타정보를 적어도 하나 이상 포함한다. 즉, 아바타영상 생성부(32)는 인물에 관한 인기가수 이미지나 인기 캐릭터 이미지에 관한 다수 정보를 3차원 그래픽자료로 구비하고, 이 가운데 선택되는 아바타를 이용하게 된다. 이 경우, 각 아바타정보에는 아바타의 신체 이미지를 토대로 머리, 상체, 다리, 팔등으로 머리의 중앙지점, 상체의 중앙지점, 다리의 각 관절마다의 중앙지점, 팔의 각 관절마다의 중앙지점을 연산하여 위치좌표인 아바타기준위치정보를 포함하고 있다. 이러한 특정 아바타가 선택된 이후에, 아바타영상 생성부(32)는 움직임분석부(31)에서 생성된 기준위치정보를 움직임분석부(31)로부터 입력받고, 기준위치정보를 아바타기준위치정보에 반영하여 아바타의 움직임이 공연자의 움직임과 일치하도록 아바타정보의 움직임을 구현하게 된다. 이때, 아바타영상 생성부(32)는 공연자의 움직임에 의해 아바타가 움직이는 경우의 아바타정보에 관한 영상을 녹화하여 아바타동영상정보로 생성하게 된다.The avatar image generating unit 32 includes at least one avatar information about a person. That is, the avatar image generating unit 32 includes a plurality of pieces of information related to a popular vocal image and a popular character image about a person as three-dimensional graphic data, and uses the selected avatar. In this case, each avatar information is calculated based on the body image of the avatar by calculating the center point of the head, the center of the head, the center point of the upper body, the center point of each joint of the leg, and the center point of each arm of the arm based on the head, upper body, And the avatar reference position information which is the position coordinate. After the specific avatar is selected, the avatar image generating unit 32 receives the reference position information generated by the motion analyzing unit 31 from the motion analyzing unit 31, reflects the reference position information in the avatar reference position information The movement of the avatar information is realized so that the movement of the avatar coincides with the movement of the performer. At this time, the avatar image generating unit 32 generates an avatar video information by recording an image related to the avatar information when the avatar moves by the movement of the performer.

상기 공연영상 생성부(33)는 아바타영상 생성부(32)와 연동하며, 아바타영상 생성부(32)로부터 아바타영상정보를 입력받고, 아바타영상정보에 무대영상정보(3) 및 관객영상 정보를 합성하여 공연영상정보(4)를 생성하게 된다.The performance image generating unit 33 interlocks with the avatar image generating unit 32 and receives the avatar image information from the avatar image generating unit 32 and outputs the stage image information 3 and viewer image information to the avatar image information And generates the performance image information (4).

이와 같이 아바타영상정보가 생성된 공연영상정보(4)는 전술한 실시예에 동일하게 스트리밍서버(40)에 의해 이루어질 수 있는데, 이 경우, 스트리밍서버(40)는 관객단말(50)이 공연영상정보(4)를 스트리밍 요청하는 경우, 공연자의 움직임으로 움직이는 아바타동영상정보가 포함된 공연영상정보(4)를 관객단말(50)에 출력함으로써, 관객이 아바타동영상정보를 볼 수 있도록 하게 된다.In this case, the streaming server 40 can transmit the performance image information 4 generated by the avatar image information to the audience terminal 50 in the same manner as in the above- In the case of requesting the streaming of the information 4, the performance image information 4 including the avatar movie information moving by the movement of the performer is outputted to the audience terminal 50 so that the viewer can view the avatar movie information.

따라서, 본 발명의 다른 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 전술한 실시예에서 공연자의 실사이미지가 합성된 공연영상정보(4)를 생성할 수 있을 뿐만 아니라, 아바타영상정보가 합성된 공연영상정보(4)를 생성할 수 있다.Accordingly, the mixed reality virtual performance system using on-line according to another embodiment of the present invention can not only generate the performance image information 4 in which the live-action image of the performer is synthesized in the above-described embodiment, The synthesized performance image information 4 can be generated.

한편, 상기한 바와 같이, 움직임분석부(31)가 공연자의 움직임에 관한 기준위치정보를 생성하게 되는 경우, 하나의 동영상정보만으로 기준위치정보가 불특정하게 생성되는 경우가 발생되는 것을 줄이기 위하여, 공연자 촬영부(10)는 복수 개의 카메라를 크로마키공간(1)내에 배치하여 서로 다른 각도에서 촬영되는 복수 개의 동영상정보를 생성하고, 이 경우, 움직임분석부(31)는 서로 간에 다른 각도에서 촬영된 상기 동영상정보 각각에 대한 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하게 된다. 여기서, 기준위치정보는 전술한 바와 같이, 머리, 상체, 다리, 팔등의 중앙지점 또는 각 관절의 중앙지점에 해당한다. 이와 같이, 움직임분석부(31)는 각기 다른 위치에서 촬영한 동영상정보를 토대로 각 기준위치정보를 생성한 이후, 기준위치정보들이 서로 간에 취합되도록 산술평균한 후, 이에 관한 보간을 시행하여 통합기준위치정보를 생성하게 된다.As described above, in order to reduce the occurrence of the case where the reference position information is generated irregularly using only one moving image information when the motion analyzing unit 31 generates the reference position information on the motion of the performer, The photographing unit 10 arranges a plurality of cameras in the chroma key space 1 to generate a plurality of pieces of moving image information photographed at different angles. In this case, The reference position information is generated so that the body of the performer for each of the moving picture information is divided into a predetermined section. Here, the reference position information corresponds to the center point of the head, the upper body, the legs, the arms, or the central point of each joint, as described above. In this manner, the motion analyzer 31 generates the reference position information based on the moving picture information photographed at different positions, and then arithmetically averages the reference position information so that the reference position information is combined with each other. Thereafter, Location information is generated.

이와 같이, 통합기준위치정보가 생성되면, 아바타영상 생성부(32)는 기준위치정보를 토대로 아바타정보에 반영하여 아바타영상정보를 생성하고, 공연영상 생성부(33)는 아바타영상정보를 바탕으로 무대영상정보(3) 및 관객영상정보(5)가 합성된 공연영상정보(4)를 생성하게 된다.When the integrated reference position information is generated, the avatar image generating unit 32 generates the avatar image information by reflecting the avatar information based on the reference position information, and the performance image generating unit 33 generates the avatar image information based on the avatar image information The stage image information 3 and the audience image information 5 are combined to generate the performance image information 4.

따라서, 본 발명의 다른 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 복수 개의 카메라를 이용하여 각기 다른 방향에 촬영된 공연자동영상정보에서 각 기준위치정보를 생성하고, 각 기준위치정보를 연산하여 통합기준위치정보를 생성하여 이를 통해 아바타동영상정보를 생성하기 때문에, 하나의 카메라로 촬영되는 경우 공연자의 기준위치정보가 불분명하게 생성되는 빈도를 줄일 수 있도록 하여 공연자의 움직임과 아바타정보의 움직임을 보다 정확히 매칭시킬 수 있게 된다.
Accordingly, the mixed reality type virtual performance system using on-line according to another embodiment of the present invention generates each reference position information from performer moving picture information photographed in different directions using a plurality of cameras, In addition, since the avatar video information is generated through the combined reference position information, it is possible to reduce the frequency with which the reference position information of the performer is unclear when photographed with one camera, so that the movement of the performer and the movement of the avatar information So that it can be more accurately matched.

한편, 상기한 바와 같이, 온라인을 이용한 혼합현실형 가상 공연 시스템은 공연자에 온라인을 통해 공연을 시행하고, 관객들이 온라인상에서 공연자의 공연을 볼 수 있도록 하는 구동을 하는 과정중에 관객들에게 각종정보를 제공하기 위하여 다음과 같은 기술적 특징을 구비하게 된다.Meanwhile, as described above, the mixed reality virtual performance system using on-line performs various kinds of information to the audience during the process of performing the performance on the performer online and allowing the audience to view the performance of the performer on- The following technical features will be provided.

이를 위하여 스트리밍서버(40)에서는 관객단말(50)이 공연영상정보(4)를 스트리밍 요청하여 관객단말(50)로 공연영상정보(4)를 스트리밍하는 경우, 도 5에 도시된 바와 같이, 관객단말(50)에 하이퍼링크정보가 포함된 정보안내창(6)을 일시적으로 생성하여 전송하게 된다.To this end, in the streaming server 40, when the audience terminal 50 requests streaming of the performance image information 4 and streams the performance image information 4 to the audience terminal 50, as shown in FIG. 5, An information guidance window 6 including hyperlink information is temporarily generated and transmitted to the terminal 50. [

이 경우, 관객단말(50)은 정보안내창(6)의 하이퍼링크정보를 선택하게 되고, 관객단말(50)은 정보안내창(6)에 관한 웹페이지를 출력하게 된다.In this case, the audience terminal 50 selects the hyperlink information of the information guide window 6, and the audience terminal 50 outputs the web page related to the information guide window 6. [

이때, 관객단말(50)에 출력되는 웹페이지는 공연영상정보(4)에 관련한 공연정보, 공연스케줄, 공연결제정보, 공연정보와는 다른 공연정보 및, 공연정보의 스트리밍순위 가운데 적어도 어느 하나의 정보를 포함할 수 있다.At this time, the web page output to the audience terminal 50 may include at least any one of performance information related to the performance image information 4, performance schedule, performance payment information, performance information different from the performance information, and streaming order of performance information Information.

따라서, 관객들은 공연자의 공연영상정보(4)를 시청하는 도중에 스트리밍서버(40)에서 되는 정보안내창(6)을 보고, 해당 공연의 정보, 공연스케줄, 공연 결제정보, 또 다른 공연정보, 현재 스트리밍되고 있는 공연들의 인기순위등의 정보를 알 수 있게 된다.
Therefore, the audience sees the information guide window 6 in the streaming server 40 while watching the performance video information 4 of the performer, and displays information on the performance, a performance schedule, performance payment information, another performance information, The popularity ranking of the performances being streamed, and the like.

또한, 상기한 바와 같이, 본 발명의 다른 실시예에 따른 온라인을 이용한 혼합현실형 가상 공연 시스템은 온라인상에 공연이 이루어지는 중에, 관객들간의 소통을 돕기 위하여 채팅기능을 구현할 수 있다.In addition, as described above, the mixed reality virtual performance system using on-line according to another embodiment of the present invention can implement a chat function to facilitate communication among audiences while performing on-line.

이를 위하여 스트리밍서버(40)는 관객단말(50)이 공연영상정보(4)를 스트리밍 요청하여 관객단말(50)로 공연영상정보(4)를 스트리밍하는 경우, 도 6에 도시된 바와 같이, 관객단말(50)에 채팅창(7)을 출력하게 된다.6, when the audience terminal 50 requests streaming of the performance image information 4 and streams the performance image information 4 to the audience terminal 50, the streaming server 40 transmits the stream information 4 to the audience terminal 50, And outputs the chat window 7 to the terminal 50.

이때, 관객단말(50)에서 채팅창(7)에 메시지를 입력하는 경우, 메시지는 스트리밍서버(40)로 전송된다.At this time, when the viewer terminal 50 inputs a message to the chat window 7, the message is transmitted to the streaming server 40.

다음, 스트리밍서버(40)는 상기 공연영상정보(4)를 스트리밍하고 있는 모든 관객단말(50)로 메시지를 전송하게 된다.Next, the streaming server 40 transmits a message to all the audience terminals 50 streaming the performance image information 4.

따라서, 현재 온라인상에서 공연영상정보(4)를 시청하고 있는 모든 관객들은 채팅창(7)을 통해 메시지를 주고받을 수 있도록 하여, 관객들간의 소통이 실시간으로 이루어질 수 있게 된다.Accordingly, all the viewers currently watching the performance image information 4 online can exchange messages through the chat window 7, so that the communication between the viewers can be performed in real time.

이와 같은 채팅기능은 관객의 기호에 따라 기능을 비활성시키거나, 특정 관객단말(50)을 선택하여 특정 그룹만 이용할 수 있음은 물론이다.
It is needless to say that such a chat function can be used only for a specific group by selecting a specific audience terminal 50 or deactivating the function according to the taste of the audience.

이와 같이, 온라인을 이용한 혼합현실형 가상 공연 시스템은 채팅기능에 의해 관객들간에 소통을 시행할 수 있을 뿐만 아니라, 음성기능을 통해서도 소통을 시행할 수 있다.As described above, the mixed reality virtual performance system using on-line can communicate not only between the audiences through the chat function but also through the voice function.

이를 위하여 관객단말(50)에는 관객단말(50)과 연동하며 음성을 관객음성신호를 변환하여 관객단말(50)로 전송하는 관객용마이크(80)가 더 구비될 수 있으며, 이 경우, 관객단말(50)은 관객용마이크(80)를 통해 입력되는 관객음성신호를 스트리밍서버(40)로 전송하게 된다.To this end, the audience terminal 50 may further include an audience microphone 80 interfacing with the audience terminal 50 to convert the voice into an audience voice signal and transmit the converted voice to the audience terminal 50. In this case, (50) transmits the audience voice signal input through the audience microphone (80) to the streaming server (40).

그러면, 스트리밍서버(40)는 공연영상정보(4)를 스트리밍하고 있는 모든 관객단말(50)로 관객음성신호를 전송할 수 있게 된다.Then, the streaming server 40 can transmit the audience voice signal to all the audience terminals 50 streaming the performance image information 4.

따라서, 현재 공연자의 공연영상정보(4)를 스트리밍하고 있는 모든 관객들은 음성신호를 통해 콘서트 현장과 같은 분위기를 연출할 수 있게 된다.Therefore, all the viewers who are currently streaming the performance video information 4 of the performer can produce an atmosphere similar to the concert scene through the audio signal.

이 경우, 관객단말(50)은 기호에 따라 음성신호의 수신기능을 비활성시키거나 또는 자신이 대화하고자 원하는 관객단말(50)들을 선택하여 그룹으로 이용할 수 있음은 물론이다.
In this case, it is needless to say that the audience terminal 50 may disable the receiving function of the voice signal according to the preference or use the audience terminals 50 desired by the audience terminal 50 as a group.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

1 ; 크로마키공간 2 ; 공연자의 동영상정보
3 ; 가상의 무대영상정보 4 ; 공연영상정보
5 ; 관객영상정보 6 ; 정보안내창
7 ; 채팅창 8 ; 식별정보
10 ; 공연자 촬영부 20 ; 공연자 음성기록부
30 ; 연출화면 생성부 40 ; 스트리밍서버
50 ; 관객단말 60 ; 공연자단말
70 ; 디스플레이장치 31 ; 움직임분석부
32 ; 아바타영상 생성부 33 ; 공연영상 생성부One ; Chromakey space 2; About the performer's video
3; Virtual stage image information 4; Performance video information
5; Audience image information 6; Information window
7; Chat window 8; Identification information
10; Performer shooting section 20; Performer voice record
30; A production screen generating unit 40; Streaming server
50; Audience terminal 60; Performer terminal
70; A display device 31; The motion analysis unit
32; An avatar image generating unit 33; The performance-

Claims (7)

크로마키공간(1)에서 공연자를 촬영하여 크로마키배경영상정보가 포함되도록 상기 공연자가 존재하는 공연자의 동영상정보(2)를 획득하는 공연자 촬영부(10);
상기 공연자의 공연중에 발생되는 음성을 녹음하여 음성정보를 획득하는 공연자 음성기록부(20);
상기 동영상정보와 상기 음성정보를 합성하여 공연자 미디어파일을 생성하되, 상기 공연자 미디어파일 가운데 상기 크로마키배경영상정보에 가상의 무대영상정보(3)를 합성하여 공연영상정보(4)를 생성하는 연출화면 생성부(30);
상기 공연영상정보(4)를 입력받고, 상기 공연영상정보(4)의 요청이 있는 경우 상기 공연영상정보(4)를 스트리밍하는 스트리밍서버(40); 및,
상기 스트리링서버와 연동하며, 상기 스트링서버에 상기 공연영상정보(4)를 스트리밍요청하여 상기 공연영상정보(4)를 출력하는 관객단말(50); 을 포함하며,
상기 연출화면 생성부(30)는 상기 무대영상정보(3)의 생성시에 관객영상정보(5)를 더 생성하여 상기 공연영상정보(4)를 생성하며,
상기 스트리밍서버(40)는 상기 관객단말(50)이 상기 공연영상정보(4)를 스트리밍 요청하는 경우, 상기 관객단말(50)로부터 식별정보(8)를 입력받고, 상기 식별정보(8)를 상기 관객영상정보(5)에 출력함으로써, 상기 관객단말(50)이 상기 공연영상정보(4)를 스트리밍하여 출력하는 경우 상기 식별정보(8)를 상기 공연영상정보(4)에 출력하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
A coiffure photographing unit (10) for photographing a performer in the chroma key space (1) and acquiring the moving picture information (2) of the performer in which the co-performer exists so that the chroma key background image information is included;
A performer voice recording unit (20) for recording voice produced during performance of the performer to acquire voice information;
(4) is generated by synthesizing the virtual stage image information (3) with the chroma key background image information among the performer media files by synthesizing the moving image information and the audio information, A screen generating unit 30;
A streaming server (40) for receiving the performance image information (4) and streaming the performance image information (4) when the performance image information (4) is requested; And
A viewer terminal (50) interlocked with the streaming server, requesting streaming of the performance image information (4) to the string server and outputting the performance image information (4); / RTI >
The presentation screen generating unit 30 generates audience image information 5 at the time of generating the stage image information 3 to generate the performance image information 4,
The streaming server 40 receives the identification information 8 from the audience terminal 50 and transmits the identification information 8 to the streaming server 40 when the audience terminal 50 requests the streaming video information 4 to stream And outputs the identification information (8) to the performance image information (4) when the audience terminal (50) streams and outputs the performance image information (4) Mixed Reality Virtual Performance System Using Online.
제1항에 있어서,
상기 스트리밍서버(40)와 연동하며, 상기 공연영상정보(4)를 스트리밍받아 출력하는 공연자단말(60); 및,
상기 크로마키공간(1)에 구비되며, 상기 공연자단말(60)과 연동하여 상기 공연영상정보(4)를 입력받아 디스플레이하는 디스플레이장치(70); 를 더 포함하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
The method according to claim 1,
A co-performer terminal (60) interworking with the streaming server (40), streaming the performance image information (4) and outputting the same; And
A display device (70) provided in the chroma key space (1) for receiving and displaying the performance image information (4) in cooperation with the performer terminal (60); A virtual reality system based on mixed reality using online.
제1항에 있어서,
상기 연출화면 생성부(30)는
상기 동영상정보를 바탕으로 상기 동영상정보에 포함된 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하고, 상기 기준위치정보를 토대로 상기 공연자의 움직임을 분석하는 움직임분석부(31); 및,
인물에 관한 아바타정보를 적어도 하나 이상 포함하며, 상기 움직임분석부(31)에서 생성된 기준위치정보를 토대로 상기 공연자의 움직임과 일치하도록 상기 아바타정보의 움직임을 구현하여 상기 아바타정보의 움직임에 관한 아바타동영상정보를 생성하는 아바타영상 생성부(32); 및,
상기 아바타영상 생성부(32)와 연동하며, 상기 아바타영상정보에 상기 무대영상정보(3) 및 상기 관객영상 정보를 합성하여 상기 공연영상정보(4)를 생성하는 공연영상 생성부(33); 를 포함하며,
상기 스트리밍서버(40)는 상기 관객단말(50)이 상기 공연영상정보(4)를 스트리밍 요청하는 경우, 상기 공연자의 움직임으로 움직이는 아바타동영상정보가 포함된 상기 공연영상정보(4)를 상기 관객단말(50)에 출력하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
The method according to claim 1,
The presentation screen generating unit 30
A motion analyzer (31) for generating reference position information so that the body of the performer included in the moving picture information is divided according to a predetermined section based on the moving picture information, and analyzing the movement of the performer based on the reference position information; And
The avatar information includes at least one avatar information about the character. The avatar information includes movement of the avatar information according to movement of the performer based on the reference position information generated by the motion analyzer 31, An avatar image generating unit 32 for generating moving image information; And
A performance image generating unit (33) interlocked with the avatar image generating unit (32), synthesizing the stage image information (3) and the viewer image information to the avatar image information to generate the performance image information (4); / RTI >
The streaming server 40 transmits the performance image information 4 including the avatar movie information moving by the movement of the performer to the audience terminal 50 in the case where the audience terminal 50 requests streaming of the performance image information 4, (50). The system according to claim 1 or 2, further comprising:
제3항에 있어서,
상기 공연자 촬영부(10)는 복수 개의 카메라를 상기 크로마키공간(1)내에 배치하여 서로 다른 각도에서 촬영되는 복수 개의 동영상정보를 생성하며,
상기 움직임분석부(31)는 서로 간에 다른 각도에서 촬영된 상기 동영상정보 각각에 대한 공연자의 신체를 일정구간별로 나누어지도록 기준위치정보를 생성하고, 상기 기준위치정보들이 서로 간에 취합되도록 보간을 시행하여 통합기준위치정보를 생성하며, 상기 통합기준위치정보를 바탕으로 상기 공연자의 움직임과 일치하는 상기 아바타동영상정보를 생성하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
The method of claim 3,
The performer photographing unit 10 arranges a plurality of cameras in the chroma key space 1 to generate a plurality of pieces of moving picture information photographed at different angles,
The motion analyzer 31 generates reference position information so that the body of the performer for each of the moving picture information photographed at different angles from each other is divided into a predetermined section and interpolates the reference position information so that the reference position information is collected And generates the avatar moving image information corresponding to the movement of the performer based on the integrated reference position information.
제1항에 있어서,
상기 스트리밍서버(40)는 상기 관객단말(50)이 상기 공연영상정보(4)를 스트리밍 요청하여 상기 관객단말(50)로 상기 공연영상정보(4)를 스트리밍하는 경우, 상기 관객단말(50)에 하이퍼링크정보가 포함된 정보안내창(6)을 생성하여 전송하고,
상기 관객단말(50)은 상기 정보안내창(6)의 하이퍼링크정보를 선택하여 상기 정보안내창(6)에 관한 웹페이지를 출력하되,
상기 웹페이지는 상기 공연영상정보(4)에 관련한 공연정보, 공연스케줄, 공연결제정보, 상기 공연정보와는 다른 공연정보 및, 상기 공연정보의 스트리밍순위 가운데 적어도 어느 하나의 정보를 포함하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
The method according to claim 1,
When the audience terminal 50 requests streaming of the performance image information 4 and streams the performance image information 4 to the audience terminal 50, the streaming server 40 transmits the performance image information 4 to the audience terminal 50, An information guide window 6 including hyperlink information is generated and transmitted,
The viewer terminal 50 selects hyperlink information of the information guidance window 6 and outputs a web page related to the information guidance window 6,
The web page includes at least any one of performance information related to the performance image information 4, performance schedule, performance payment information, performance information different from the performance information, and streaming order of the performance information Mixed Reality Virtual Performance System Using Online.
제1항에 있어서,
상기 스트리밍서버(40)는 상기 관객단말(50)이 상기 공연영상정보(4)를 스트리밍 요청하여 상기 관객단말(50)로 상기 공연영상정보(4)를 스트리밍하는 경우, 상기 관객단말(50)에 채팅창(7)을 출력하고,
상기 관객단말(50)은 상기 채팅창(7)에 메시지를 입력하는 경우, 상기 메시지는 상기 스트리밍서버(40)로 전송되고,
상기 스트리밍서버(40)는 상기 공연영상정보(4)를 스트리밍하고 있는 모든 관객단말(50)로 상기 메시지를 전송하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.
The method according to claim 1,
When the audience terminal 50 requests streaming of the performance image information 4 and streams the performance image information 4 to the audience terminal 50, the streaming server 40 transmits the performance image information 4 to the audience terminal 50, The chat window 7 is displayed on the screen,
When the viewer terminal 50 inputs a message to the chat window 7, the message is transmitted to the streaming server 40,
Wherein the streaming server (40) transmits the message to all the audience terminals (50) streaming the performance image information (4).
제1항에 있어서,
상기 관객단말(50)과 연동하며, 음성을 관객음성신호를 변환하여 상기 관객단말(50)로 전송하는 관객용마이크(80);
상기 관객단말(50)은 상기 관객음성신호를 상기 스트리밍서버(40)로 전송하고,
상기 스트리밍서버(40)는 상기 관객음성신호를 상기 공연영상정보(4)를 스트리밍하고 있는 모든 관객단말(50)로 상기 관객음성신호를 전송하는 것을 특징으로 하는 온라인을 이용한 혼합현실형 가상 공연 시스템.The method according to claim 1,
An audience microphone (80) interlocked with the audience terminal (50) for converting the voice of the audience into a voice signal and transmitting the voice signal to the audience terminal (50);
The audience terminal 50 transmits the audience voice signal to the streaming server 40,
Wherein the streaming server (40) transmits the audience voice signal to all the audience terminals (50) streaming the performance image information (4) .
KR1020140027246A 2014-03-07 2014-03-07 Mixed reality type virtual performance system using online KR20150105058A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140027246A KR20150105058A (en) 2014-03-07 2014-03-07 Mixed reality type virtual performance system using online

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140027246A KR20150105058A (en) 2014-03-07 2014-03-07 Mixed reality type virtual performance system using online

Publications (1)

Publication Number Publication Date
KR20150105058A true KR20150105058A (en) 2015-09-16

Family

ID=54244564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140027246A KR20150105058A (en) 2014-03-07 2014-03-07 Mixed reality type virtual performance system using online

Country Status (1)

Country Link
KR (1) KR20150105058A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047845A (en) * 2016-11-01 2018-05-10 주식회사 케이티 System and method for automating release of live channel and server for providing automation template
KR102035841B1 (en) * 2018-08-08 2019-10-24 김보언 Method, apparatus and program for providing virtual reality event
KR20190126518A (en) 2018-05-02 2019-11-12 (주)포트러시 Virtual reality viewing method and virtual reality viewing system
KR20200110693A (en) * 2018-01-19 2020-09-24 이에스비 랩스, 인코퍼레이티드. Virtual interactive audience interface
KR20210003739A (en) * 2018-05-31 2021-01-12 라인플러스 주식회사 A method and system for exposing a personalized background using chroma key in a broadcasting audience, and a non-transitory computer-readable recording medium
WO2021256808A1 (en) * 2020-06-16 2021-12-23 이근호 Remote viewing management system
US11321892B2 (en) * 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
KR20220073990A (en) * 2020-11-27 2022-06-03 (주)올댓퍼포먼스아이앤씨 System for creating performance content having visual effect
KR102555962B1 (en) * 2022-01-25 2023-07-14 미디어락시스템(주) Hybrid server and hybrid server operation method for providing videotelephony service
KR102583323B1 (en) * 2023-01-04 2023-09-26 박건웅 BusKing System Using Metabus System
KR102599521B1 (en) * 2022-12-13 2023-11-07 주식회사 테아트룸 A method for generating a performance video content and a server for performing the same
KR102657002B1 (en) * 2022-12-08 2024-04-15 주식회사 테아트룸 A method for generating a performance video content and an apparatus for performing the same

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047845A (en) * 2016-11-01 2018-05-10 주식회사 케이티 System and method for automating release of live channel and server for providing automation template
KR20200110693A (en) * 2018-01-19 2020-09-24 이에스비 랩스, 인코퍼레이티드. Virtual interactive audience interface
KR20190126518A (en) 2018-05-02 2019-11-12 (주)포트러시 Virtual reality viewing method and virtual reality viewing system
KR20210003739A (en) * 2018-05-31 2021-01-12 라인플러스 주식회사 A method and system for exposing a personalized background using chroma key in a broadcasting audience, and a non-transitory computer-readable recording medium
KR102035841B1 (en) * 2018-08-08 2019-10-24 김보언 Method, apparatus and program for providing virtual reality event
WO2020032469A1 (en) * 2018-08-08 2020-02-13 김보언 Method, device, and program for providing virtual reality event
US11321892B2 (en) * 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
WO2021256808A1 (en) * 2020-06-16 2021-12-23 이근호 Remote viewing management system
KR20220073990A (en) * 2020-11-27 2022-06-03 (주)올댓퍼포먼스아이앤씨 System for creating performance content having visual effect
KR102555962B1 (en) * 2022-01-25 2023-07-14 미디어락시스템(주) Hybrid server and hybrid server operation method for providing videotelephony service
KR20230114739A (en) * 2022-01-25 2023-08-01 미디어락시스템(주) Hybrid server and hybrid server operation method for providing videotelephony service
US11924493B2 (en) 2022-01-25 2024-03-05 Mediarak System Inc. Hybrid server for providing videophone service and method of operating the same
KR102657002B1 (en) * 2022-12-08 2024-04-15 주식회사 테아트룸 A method for generating a performance video content and an apparatus for performing the same
KR102599521B1 (en) * 2022-12-13 2023-11-07 주식회사 테아트룸 A method for generating a performance video content and a server for performing the same
KR102583323B1 (en) * 2023-01-04 2023-09-26 박건웅 BusKing System Using Metabus System

Similar Documents

Publication Publication Date Title
KR20150105058A (en) Mixed reality type virtual performance system using online
JP7135141B2 (en) Information processing system, information processing method, and information processing program
US8819130B2 (en) System and method for group to group entertainment
JP5777185B1 (en) All-round video distribution system, all-round video distribution method, communication terminal device, and control method and control program thereof
TWI530157B (en) Method and system for displaying multi-view images and non-transitory computer readable storage medium thereof
US20070122786A1 (en) Video karaoke system
Pereira MPEG-4: Why, what, how and when?
CN106792228A (en) A kind of living broadcast interactive method and system
CN102340690A (en) Interactive television program system and realization method
CN113518232B (en) Video display method, device, equipment and storage medium
JP6695482B1 (en) Control server, distribution system, control method and program
KR101915786B1 (en) Service System and Method for Connect to Inserting Broadcasting Program Using an Avata
CN113395540A (en) Virtual broadcasting system, virtual broadcasting implementation method, device and equipment, and medium
JP2006041886A (en) Information processor and method, recording medium, and program
KR100901111B1 (en) Live-Image Providing System Using Contents of 3D Virtual Space
US20090153550A1 (en) Virtual object rendering system and method
KR20190031220A (en) System and method for providing virtual reality content
CN116761009A (en) Video playing method and device in meta-universe panoramic live broadcast scene and live broadcast system
JP6473262B1 (en) Distribution server, distribution program, and terminal
KR102568021B1 (en) Interactive broadcasting system and method for providing augmented reality broadcasting service
KR101221540B1 (en) Interactive media mapping system and method thereof
KR102646491B1 (en) Multimedia video production system for sns
JP5111405B2 (en) Content production system and content production program
KR100703320B1 (en) Imaginary broadcasting system
KR102462863B1 (en) Method of operating open market platform that matches users with sellers who automatically recommend products to users based on artificial intelligence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right