KR101295976B1 - 3d video conference system - Google Patents

3d video conference system Download PDF

Info

Publication number
KR101295976B1
KR101295976B1 KR1020120059960A KR20120059960A KR101295976B1 KR 101295976 B1 KR101295976 B1 KR 101295976B1 KR 1020120059960 A KR1020120059960 A KR 1020120059960A KR 20120059960 A KR20120059960 A KR 20120059960A KR 101295976 B1 KR101295976 B1 KR 101295976B1
Authority
KR
South Korea
Prior art keywords
data
command
video
client
server
Prior art date
Application number
KR1020120059960A
Other languages
Korean (ko)
Inventor
류관희
정지성
김종오
주성연
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020120059960A priority Critical patent/KR101295976B1/en
Application granted granted Critical
Publication of KR101295976B1 publication Critical patent/KR101295976B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Abstract

PURPOSE: A 3D video conference system is provided to offer realistic service to a user to feel that the meeting is held in the real spot, by providing 3D virtual reality space images. CONSTITUTION: More than two clients (100) are worn to the user participating the video conference, and photographs the user. The client transmits video data and voice data to a server (200), and outputs the voice data transmitted from the server, and converts and displays the video transmitted from the server to 3D virtual reality space. The server classifies and manages the clients according to sessions, and broadcasts the video data and the voice data received from the client to connected clients in the same session. [Reference numerals] (10) Wire/wireless communication network; (100,AA,BB) Client; (200) Server

Description

3Ｄ 화상 회의 시스템 {3D video conference system}3D video conference system {3D video conference system}

본 발명은 화상 회의 시스템에 관한 것으로서, 더욱 상세하게는 기존의 2D 화상 회의 시스템과 달리 3D 가상 객체에 자신의 영상을 가시화하여 회의를 진행 할 수 있으며, 가시화된 영상을 HMD(Head Mounted Display)를 통해 사용자들에게 디스플레이함으로써 공간의 제약을 받지 않고, 현실감을 증대시킬 수 있는 화상 회의 시스템에 관한 것이다.
The present invention relates to a video conferencing system. More specifically, unlike a conventional 2D video conferencing system, the present invention can visualize one's own image on a 3D virtual object and proceed with a meeting. The present invention relates to a video conferencing system that can increase realism without being constrained by space by displaying to users.

일반적으로 화상 회의 시스템은 복수의 단말기로부터 입력된 화상과 음성을 게이트웨이 등에서 전송받아, 서로 다른 단말기에 입력된 화상과 음성을 재전송 또는 중계하여 복수의 단말기를 사용하는 각각의 사용자가 상대방의 얼굴을 바라보면서 서로 정보를 교환하는 쌍방향 통신 시스템을 말한다.In general, a video conferencing system receives video and audio input from a plurality of terminals at a gateway or the like, and retransmits or relays video and audio input to different terminals so that each user who uses the plurality of terminals faces the other's face. A two-way communication system that exchanges information with each other while watching.

기존의 디스플레이 장비를 통한 화상 회의 시스템은 디스플레이 장비가 설치 되어있는 곳에서 이용해야만 하는 공간적인 제약이 따른다. 즉, 기존의 화상 회의 시스템은 고정된 카메라에 자신의 모습을 촬영해야 하기 때문에 사용자의 움직임에 많은 제약이 있다.Video conferencing systems using existing display equipment have spatial constraints that must be used where the display equipment is installed. That is, the existing video conferencing system has a lot of restrictions on the user's movement because the user must take a picture of himself in a fixed camera.

또한, 최근 초고속 인터넷 망이 확대되면서 실시간 화상 회의 시스템이 설치 운용되고 있지만, 기존 2D 기반 화상 회의 시스템은 단순히 사용자의 얼굴 영상과 음성만을 전달하는 면 대 면 위주로 되어 있기 때문에 현장감이 떨어진다는 단점이 있다.
In addition, although the real-time video conferencing system has been installed and operated as the high-speed internet network has recently been expanded, the existing 2D-based video conferencing system has a disadvantage in that the realism is inferior because it is mainly face-to-face delivering only the user's face image and voice. .

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 3D 가상 현실 공간 영상을 제공하여 사용자가 실제 현장에서 회의가 이루어지는 것과 같은 실감나는 서비스를 제공할 뿐만 아니라, 회의에 필요한 문서, 음성 등의 자료를 실시간으로 공유할 수 있는 3D 화상 회의 시스템을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, by providing a 3D virtual reality space image to provide a realistic service, such as the user is a meeting in the real field, as well as documents, voice, etc. required for the meeting The purpose is to provide a 3D video conferencing system that can share data in real time.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명은 3차원 가상 현실 공간을 제공하는 3D 화상 회의 시스템에서, 화상 회의에 참여하는 사용자에게 각각 착용되며, 착용 중인 사용자를 촬영하고, 사용자를 촬영한 영상 데이터와 사용자의 음성 데이터를 서버에 전송하고, 서버로부터 전송된 음성 데이터를 출력하고, 서버로부터 전송된 영상을 3D(dimension) 가상 현실 공간으로 변환하여 디스플레이하는 2대 이상의 클라이언트 및 상기 클라이언트들을 세션(session)별로 구분하여 관리하며, 상기 클라이언트로부터 수신한 영상 데이터 및 음성 데이터를 동일 세션 내의 접속하는 클라이언트들에게 브로드캐스팅(broadcasting)하는 서버를 포함한다.In order to achieve the above object, the present invention is a 3D video conferencing system that provides a three-dimensional virtual reality space, which is worn by each user participating in a video conference, photographs the user who is wearing the image data and the user Two or more clients and the clients for each session, which transmits the audio data of the server to the server, outputs the audio data transmitted from the server, and converts and displays the image transmitted from the server into a 3D virtual reality space. It is classified and managed, and includes a server for broadcasting (broadcasting) the video data and audio data received from the client to the clients connecting in the same session.

상기 클라이언트는 음성 데이터, 영상 데이터 및 상기 클라이언트의 동작을 제어하기 위한 명령 데이터를 입출력하기 위한 입출력 모듈 및 상기 음성 데이터, 영상 데이터 및 명령 데이터를 가공하여 상기 서버로 전송하고, 서버로부터 수신한 데이터를 처리하는 전송 및 처리 모듈을 포함할 수 있다.The client processes an input / output module for inputting / outputting audio data, video data, and command data for controlling the operation of the client, and processes the audio data, video data, and command data to the server, and transmits the data received from the server. It may include a transmitting and processing module for processing.

상기 입출력 모듈은 사용자를 촬영하기 위한 카메라, 사용자의 음성 데이터를 기록하기 위한 마이크, 로그인, 세션 생성, 세션 입장, 3D 오브젝트 이동, 시점 전환 및 회의 자료 업로드를 포함하는 상기 클라이언트의 동작을 제어하기 위한 명령 데이터를 상기 서버에 전달하기 위한 본체, 상기 전송 및 처리 모듈로부터 수신한 3D 가상 현실 공간 영상을 디스플레이하기 위한 디스플레이부 및 상기 전송 및 처리 모듈로부터 수신한 음성 데이터를 출력하기 위한 스피커를 포함할 수 있다.The input / output module includes a camera for photographing a user, a microphone for recording a user's voice data, a login, a session creation, a session entry, a 3D object movement, a viewpoint changeover, and a meeting data upload. A main body for transmitting command data to the server, a display unit for displaying a 3D virtual reality space image received from the transmission and processing module, and a speaker for outputting voice data received from the transmission and processing module. have.

상기 전송 및 처리 모듈은 상기 카메라를 통해 들어온 영상 데이터와 상기 마이크를 통해 들어온 음성 데이터를 인코딩(encoding)하기 위한 인코더부, 상기 명령 데이터를 인코딩하기 위한 제1 명령 인코더부, 상기 인코더부와 제1 명령 인코더부에서 인코딩된 데이터를 상기 서버에 송신하기 위한 제1 송신부, 상기 서버로부터 수신한 데이터를 영상 데이터, 음성 데이터 및 명령 데이터로 각각 구분하기 위한 수신부, 상기 수신부에서 전달받은 영상 데이터 및 음성 데이터를 클라이언트 정보에 따라 각각 분류하고, 분류된 영상 데이터 및 음성 데이터를 디코딩(decoding)하기 위한 디코더부, 상기 수신부에서 전달받은 명령 데이터를 디코딩하여 명령의 종류와 그에 따른 데이터로 구분하고, 해당 명령의 종류에 따라 명령을 수행하기 위한 제1 명령 디코더부, 상기 디코더부에서 전달받은 영상 데이터를 3D 가상 현실 공간으로 맵핑(mapping)하고, 상기 제1 명령 디코더부에서 전달받은 명령에 따라 3D 가상 현실 공간을 변화시키는 방식으로 3D 영상을 생성하는 3D 가상공간부 및 동일 세션 내에 접속해 있는 클라이언트의 수만큼 오디오 버퍼를 생성하고, 상기 디코더부에서 전달받은 음성 데이터를 임시 저장하여 상기 스피커에 전달하는 오디오 버퍼를 포함할 수 있다.The transmitting and processing module includes an encoder unit for encoding the image data input through the camera and the voice data input through the microphone, a first command encoder unit for encoding the command data, the encoder unit and the first module. A first transmitter for transmitting the data encoded by the command encoder to the server, a receiver for dividing the data received from the server into video data, audio data and command data, and video and audio data transmitted from the receiver Are classified according to the client information, the decoder unit decodes the classified image data and the audio data, decodes the command data received from the receiving unit, and classifies the command into data types and corresponding data. A first command decoder for executing a command according to a type, A 3D virtual space unit which maps the image data received from the decoder unit to a 3D virtual reality space and generates a 3D image by changing the 3D virtual reality space according to the command received from the first command decoder unit. And an audio buffer for generating as many audio buffers as the number of clients connected in the same session, and temporarily storing voice data received from the decoder and delivering the same to the speaker.

상기 인코더부는 H.264 코덱을 이용하여 인코딩하고, 상기 디코더부는 H.264 코덱을 이용하여 디코딩할 수 있다.The encoder unit may encode using the H.264 codec, and the decoder unit may decode using the H.264 codec.

상기 제1 송신부는 UDP(user datagram protocol) 프로토콜을 이용하여 상기 영상 데이터 및 음성 데이터를 상기 서버에 송신할 수 있다.The first transmitter may transmit the image data and the audio data to the server by using a user datagram protocol (UDP) protocol.

상기 제1 송신부는 TCP(transmission control protocol) 프로토콜을 이용하여 상기 명령 데이터를 상기 서버에 송신할 수 있다.The first transmitter may transmit the command data to the server using a transmission control protocol (TCP) protocol.

상기 클라이언트는 HMD(Head Mounted Display) 장치일 수 있다.The client may be a head mounted display (HMD) device.

상기 서버는 상기 클라이언트들과 통신하기 위한 포트, 상기 클라이언트들로부터 전송된 데이터를 수집하고, 각 클라이언트 별로 영상 데이터, 음성 데이터 및 명령 데이터를 구분하는 데이터 수집 모듈, 상기 데이터 수집 모듈로부터 전달받은 명령 데이터에 해당하는 동작을 실행하는 데이터 실행 모듈 및 상기 데이터 실행 모듈의 명령 데이터에 따라 통합된 영상 데이터를 동일 세션 내의 클라이언트들에 송신하는 데이터 전송 모듈을 포함할 수 있다.The server may include a port for communicating with the clients, a data collection module for collecting data transmitted from the clients, and classifying image data, audio data, and command data for each client, and command data received from the data collection module. It may include a data execution module for executing an operation corresponding to and a data transmission module for transmitting the integrated image data to the clients in the same session according to the command data of the data execution module.

상기 데이터 수집 모듈은 각각의 클라이언트에 대응되어 해당 클라이언트의 정보를 기반으로 수신된 데이터를 클라이언트별로 구분하기 위한 정보수집부, 상기 정보수집부를 통해 구분된 영상 데이터를 순차적으로 저장하기 위한 비디오 버퍼 및 상기 정보수집부를 통해 구분된 명령 데이터를 명령의 종류와 그에 필요한 데이터로 구분하기 위한 제2 명령 디코더를 포함할 수 있다.The data collection module corresponds to each client and includes an information collecting unit for dividing the received data based on the information of the corresponding client for each client, a video buffer for sequentially storing the divided image data through the information collecting unit, and It may include a second command decoder for classifying the command data divided by the information collecting unit into the type of the command and the data required therefor.

상기 데이터 실행 모듈은 동일 세션 내에 접속된 클라이언트들의 비디오 버퍼에서 영상 데이터를 추출하고 통합하여 상기 데이터 전송 모듈로 전송하기 위한 비디오 수집부 및 상기 제2 명령 디코더에서 전달받은 명령 데이터에 따라 해당 명령에 따른 동작을 실행하며, 실행에 따른 결과를 해당 클라이언트에 전달하거나, 실행에 따른 명령 데이터를 생성하여 상기 데이터 전송 모듈로 전달하기 위한 명령실행기를 포함할 수 있다.The data execution module extracts image data from the video buffers of the clients connected in the same session, integrates the data according to the command according to the command data received from the video collector and the second command decoder for transmission to the data transmission module. It may include an command executor for executing an operation, delivering a result of execution to a corresponding client, or generating command data according to execution and transmitting the result to the data transmission module.

상기 데이터 전송 모듈은 상기 명령실행기의 실행에 따른 결과 명령 또는 전달 명령을 명령 종류에 따른 데이터로 구분하기 위한 제2 명령 인코더, 상기 비디오 수집부에서 통합된 영상 데이터를 동일 세션 내에 접속된 클라이언트 정보와 함께 통신을 위한 패킷으로 변환하는 비디오 패킷 인코더 및 상기 제2 명령 인코더 및 상기 비디오 패킷 인코더의 데이터를 동일 세션에 접속된 클라이언트들에 송신하기 위한 제2 송신부를 포함할 수 있다.The data transmission module may include a second command encoder for dividing a result command or a transfer command according to execution of the command executor into data according to a command type, and client information connected in the same session with the image data integrated by the video collector. A video packet encoder for converting together into a packet for communication, and a second transmitter for transmitting data of the second command encoder and the video packet encoder to the clients connected to the same session.

상기 제2 송신부는 UDP(user datagram protocol) 프로토콜을 이용하여 상기 영상 데이터 및 음성 데이터를 클라이언트에 송신하고, TCP(transmission control protocol) 프로토콜을 이용하여 상기 명령 데이터를 클라이언트에 송신할 수 있다.
The second transmitter may transmit the image data and the audio data to the client using a user datagram protocol (UDP) protocol, and transmit the command data to the client using a transmission control protocol (TCP) protocol.

본 발명에 의하면 화상 회의 시스템에서 3D 가상 현실 공간 영상을 제공하여 사용자가 실제 현장에서 회의가 이루어지는 것과 같은 실감나는 서비스를 제공할 뿐만 아니라, 회의에 필요한 문서, 음성 등의 자료를 실시간으로 공유할 수 있는 효과가 있다. According to the present invention, by providing a 3D virtual reality space image in a video conference system, a user can not only provide a realistic service such as a meeting in a real field, but also can share documents, voice, etc. necessary for a meeting in real time. It has an effect.

또한, 본 발명의 HMD(Head Mounted Display)를 활용한 화상 회의 시스템의 경우, 기존의 화상 회의의 단점인 한 곳에 고정되어 설치되어 있는 장비를 활용해야 하는 공간적인 제약을 해결할 수 있다.In addition, in the video conferencing system using the head mounted display (HMD) of the present invention, it is possible to solve the spatial constraints that need to utilize equipment fixedly installed in one place which is a disadvantage of the existing video conferencing.

그리고, 본 발명에 의하면 기존 화상 회의 시스템에서 현장감이 떨어지는 면 대 면 위주의 단점을 보완하여 실감나는 회의를 진행시킬 수 있는 효과가 있다. In addition, according to the present invention, the existing video conferencing system has an effect that can make a realistic meeting by compensating for the disadvantages of face-to-face, which is inferior in realism.

또한, HMD 하드웨어 상에 설치된 카메라를 이용하여 사용자가 자유롭게 움직이면서 화상 회의를 진행할 수 있는 효과가 있다.
In addition, by using a camera installed on the HMD hardware there is an effect that the user can move freely and proceed with the video conference.

도 1은 본 발명의 일 실시예에 따른 3D 화상 회의 시스템의 네트워크를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 클라이언트의 내부 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 서버의 내부 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 3D 화상 회의 시스템에서 화상 회의 방법을 보여주는 흐름도이다.1 is a diagram illustrating a network of a 3D video conferencing system according to an embodiment of the present invention.
2 is a block diagram showing an internal configuration of a client according to an embodiment of the present invention.
3 is a block diagram illustrating an internal configuration of a server according to an embodiment of the present invention.
4 is a flowchart illustrating a video conferencing method in a 3D video conferencing system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Also, throughout this specification, when a component is referred to as "comprising ", it means that it can include other components, aside from other components, .

도 1은 본 발명의 일 실시예에 따른 3D 화상 회의 시스템의 네트워크를 도시한 도면이다.1 is a diagram illustrating a network of a 3D video conferencing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 3D 화상 회의 시스템은 2대 이상의 다수의 클라이언트(100)와 서버(200)를 포함하여 이루어진다. 본 발명에서 클라이언트(100)와 서버(200)는 유무선 통신망(10)을 통해 서로 통신한다. 유무선 통신망(10)은 유선 통신망 및 무선 통신망을 모두 포함하며, 예를 들어 인터넷 등이 될 수 있다.Referring to FIG. 1, the 3D video conferencing system of the present invention includes two or more clients 100 and a server 200. In the present invention, the client 100 and the server 200 communicate with each other via the wired or wireless communication network 10. The wired / wireless communication network 10 includes both a wired communication network and a wireless communication network, and may be, for example, the Internet.

클라이언트(100)는 화상 회의에 참여하는 사용자에게 각각 착용되며, 착용 중인 사용자를 촬영하고, 사용자를 촬영한 영상 데이터와 사용자의 음성 데이터를 서버(200)에 전송하고, 서버(200)로부터 전송된 음성 데이터를 출력하고, 서버(200)로부터 전송된 영상을 3D(dimension) 가상 현실 공간으로 변환하여 디스플레이한다.The client 100 is worn by a user participating in a video conference, and photographs a user who is wearing, and transmits the image data and the user's voice data photographing the user to the server 200, and is transmitted from the server 200. The audio data is output, and the image transmitted from the server 200 is converted into a 3D virtual reality space and displayed.

서버(200)는 클라이언트들을 세션(session)별로 구분하여 관리하며, 클라이언트(100)로부터 수신한 영상 데이터 및 음성 데이터를 동일 세션 내의 접속하는 클라이언트들에게 브로드캐스팅(broadcasting)한다.The server 200 divides and manages clients by session, and broadcasts the video data and the audio data received from the client 100 to clients accessing the same session.

본 발명의 일 실시예에서 클라이언트(100)는 HMD 장치로 구현될 수 있다. In one embodiment of the present invention, the client 100 may be implemented as an HMD device.

HMD는 Head Mounted Display의 약자로써 안경처럼 착용하고 사용하는 모니터의 종류를 총칭한다. 디스플레이(Display)를 기준으로 크게 CRT방식과 LCD방식으로 구분된다. 현재 판매되고 있는 제품을 마이크로(Micro) LCD의 성능을 기준으로 분석하면 그 대부분이, LCOS방식, RGB3판식, BLU방식의 LCD를 사용하고 있다. 또한, 광 구조기술을 기준으로 분석하면 See-Close Type과 See-Through Type 등이 있다.
HMD stands for Head Mounted Display and refers to the type of monitor that is worn and used like glasses. Based on the display, it is divided into CRT and LCD. When analyzing current products based on the performance of Micro LCD, most of them use LCOS, RGB3, BLU type LCD. In addition, if the analysis based on the optical structure technology, there are See-Close Type and See-Through Type.

도 2는 본 발명의 일 실시예에 따른 클라이언트의 내부 구성을 보여주는 블록도이다.2 is a block diagram showing an internal configuration of a client according to an embodiment of the present invention.

도 2를 참조하면, 클라이언트(100)는 크게 입출력 모듈(110)과 처리 및 전송 모듈(120)로 구분할 수 있다.Referring to FIG. 2, the client 100 may be largely divided into an input / output module 110 and a processing and transmission module 120.

입출력 모듈(110)은 음성 데이터, 영상 데이터 및 상기 클라이언트의 동작을 제어하기 위한 명령 데이터를 입출력한다.The input / output module 110 inputs / outputs audio data, video data, and command data for controlling the operation of the client.

처리 및 전송 모듈(120)은 음성 데이터, 영상 데이터 및 명령 데이터를 가공하여 서버(200)로 전송하고, 서버(200)로부터 수신한 데이터를 처리한다.The processing and transmission module 120 processes the audio data, the image data, and the command data to transmit them to the server 200, and processes the data received from the server 200.

입출력 모듈(110)은 카메라(111), 마이크(112), 본체(113), 디스플레이부(114), 스피커(115)를 포함하여 이루어진다. The input / output module 110 includes a camera 111, a microphone 112, a main body 113, a display unit 114, and a speaker 115.

카메라(111)는 클라이언트를 착용하고 있는 해당 사용자를 촬영한다.The camera 111 photographs the corresponding user wearing the client.

마이크(112)는 클라이언트를 착용하고 있는 해당 사용자의 음성 데이터를 기록한다.The microphone 112 records voice data of the corresponding user wearing the client.

본체(113)는 로그인, 세션 생성, 세션 입장, 3D 오브젝트 이동, 시점 전환 및 회의 자료 업로드를 포함하는 클라이언트의 동작을 제어하기 위한 명령 데이터를 서버(200)에 전달하는 역할을 한다. The main body 113 delivers command data to the server 200 to control the operation of the client including login, session creation, session entry, 3D object movement, viewpoint switching, and uploading conference data.

디스플레이부(114)는 전송 및 처리 모듈(120)로부터 수신한 3D 가상 현실 공간 영상을 디스플레이하는 역할을 한다. The display 114 displays a 3D virtual reality space image received from the transmission and processing module 120.

스피커(115)는 전송 및 처리 모듈(120)로부터 수신한 음성 데이터를 출력하는 역할을 한다. The speaker 115 serves to output voice data received from the transmission and processing module 120.

전송 및 처리 모듈(120)은 인코더부(121), 제1 명령 인코더부(122), 제1 송신부(123), 수신부(124), 디코더부(125), 제1 명령 디코더부(126), 3D 가상공간부(127), 오디오 버퍼(128)를 포함한다.The transmitting and processing module 120 may include an encoder 121, a first command encoder 122, a first transmitter 123, a receiver 124, a decoder 125, a first command decoder 126, The 3D virtual space unit 127 and the audio buffer 128 are included.

인코더부(121)는 카메라(111)를 통해 들어온 영상 데이터와 마이크(112)를 통해 들어온 음성 데이터를 인코딩(encoding)하는 역할을 한다. 본 발명의 일 실시예에서 인코더부(121)는 H.264 코덱을 이용하여 인코딩할 수 있다.The encoder unit 121 encodes image data input through the camera 111 and voice data input through the microphone 112. In an embodiment of the present invention, the encoder 121 may encode using the H.264 codec.

제1 명령 인코더부(122)는 명령 데이터를 인코딩하는 역할을 한다.The first command encoder 122 serves to encode command data.

제1 송신부(123)는 인코더부(121)와 제1 명령 인코더부(122)에서 인코딩된 데이터를 서버(200)에 송신하는 역할을 한다. 본 발명의 일 실시예에서 제1 송신부(123)는 UDP(user datagram protocol) 프로토콜을 이용하여 영상 데이터 및 음성 데이터를 서버(200)에 송신할 수 있다. 또한, 본 발명의 일 실시예에서 제1 송신부(123)는 TCP(transmission control protocol) 프로토콜을 이용하여 명령 데이터를 서버(200)에 송신할 수 있다. The first transmitter 123 transmits the data encoded by the encoder 121 and the first command encoder 122 to the server 200. In an embodiment of the present invention, the first transmitter 123 may transmit the image data and the audio data to the server 200 by using a user datagram protocol (UDP) protocol. In addition, in an embodiment of the present invention, the first transmitter 123 may transmit command data to the server 200 using a transmission control protocol (TCP) protocol.

수신부(124)는 서버(200)로부터 수신한 데이터를 영상 데이터, 음성 데이터 및 명령 데이터로 각각 구분한다.The receiver 124 divides the data received from the server 200 into image data, audio data, and command data, respectively.

디코더부(125)는 수신부(124)에서 전달받은 영상 데이터 및 음성 데이터를 클라이언트 정보에 따라 각각 분류하고, 분류된 영상 데이터 및 음성 데이터를 디코딩(decoding)하는 역할을 한다. 본 발명의 일 실시예에서 디코더부(125)는 H.264 코덱을 이용하여 디코딩할 수 있다. The decoder 125 classifies the video data and the audio data received from the receiver 124 according to the client information, and decodes the classified video data and the audio data. In one embodiment of the present invention, the decoder unit 125 may decode using the H.264 codec.

제1 명령 디코더부(126)는 수신부(124)에서 전달받은 명령 데이터를 디코딩하여 명령의 종류와 그에 따른 데이터로 구분하고, 해당 명령의 종류에 따라 명령을 수행하는 역할을 한다. The first command decoder 126 decodes the command data received from the receiver 124, divides the command data into types of data and corresponding data, and performs a command according to the type of the command.

3D 가상공간부(127)는 디코더부(125)에서 전달받은 영상 데이터를 3D 가상 현실 공간으로 맵핑(mapping)하고, 제1 명령 디코더부(126)에서 전달받은 명령에 따라 3D 가상 현실 공간을 변화시키는 방식으로 3D 영상을 생성한다. The 3D virtual space unit 127 maps the image data received from the decoder unit 125 to the 3D virtual reality space, and changes the 3D virtual reality space according to the command received from the first command decoder unit 126. To generate a 3D image.

오디오 버퍼(128)는 동일 세션 내에 접속해 있는 클라이언트의 수만큼 오디오 버퍼를 생성하고, 디코더부(125)에서 전달받은 음성 데이터를 임시 저장하여 스피커(115)에 전달하는 역할을 한다.
The audio buffer 128 generates an audio buffer as many as the number of clients connected in the same session, and temporarily stores voice data received from the decoder unit 125 and delivers the audio data to the speaker 115.

도 3은 본 발명의 일 실시예에 따른 서버의 내부 구성을 보여주는 블록도이다.3 is a block diagram illustrating an internal configuration of a server according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 서버(200)는 포트(210), 데이터 수집 모듈(220), 데이터 실행 모듈(220), 데이터 전송 모듈(230)를 포함한다. Referring to FIG. 3, the server 200 of the present invention includes a port 210, a data collection module 220, a data execution module 220, and a data transmission module 230.

포트(210)는 클라이언트들과 통신하기 위해 사용되는 포트이다.Port 210 is a port used to communicate with clients.

데이터 수집 모듈(220)은 클라이언트들로부터 전송된 데이터를 수집하고, 각 클라이언트 별로 영상 데이터, 음성 데이터 및 명령 데이터를 구분하는 역할을 한다.The data collection module 220 collects the data transmitted from the clients and distinguishes the image data, the audio data, and the command data for each client.

데이터 실행 모듈(230)은 데이터 수집 모듈(220)로부터 전달받은 명령 데이터에 해당하는 동작을 실행한다.The data execution module 230 executes an operation corresponding to the command data received from the data collection module 220.

데이터 전송 모듈(240)은 데이터 실행 모듈(230)의 명령 데이터에 따라 통합된 영상 데이터를 동일 세션 내의 클라이언트들에 송신하는 역할을 한다. The data transmission module 240 transmits the integrated image data to clients in the same session according to the command data of the data execution module 230.

본 발명에서 데이터 수집 모듈(220)은 정보 수집부(221), 비디오 버퍼(222), 명령 디코더(223)를 포함한다.In the present invention, the data collection module 220 includes an information collector 221, a video buffer 222, and a command decoder 223.

정보수집부(221)는 각각의 클라이언트에 대응되어 해당 클라이언트의 정보를 기반으로 수신된 데이터를 클라이언트별로 구분하는 역할을 한다.The information collecting unit 221 corresponds to each client and serves to classify the received data for each client based on the information of the corresponding client.

비디오 버퍼(222)는 정보수집부(221)를 통해 구분된 영상 데이터를 순차적으로 저장하는 역할을 한다. 예를 들어, 클라이언트(100)가 HMD 장치인 경우, 비디오 버퍼(222)는 실시간으로 수신되는 HMD의 비디오 데이터를 순차적으로 저장하는 큐(queue) 역할을 할 수 있다.The video buffer 222 sequentially stores the image data divided by the information collector 221. For example, when the client 100 is an HMD device, the video buffer 222 may serve as a queue for sequentially storing video data of the HMD received in real time.

제2 명령 디코더(223)는 정보수집부(221)를 통해 구분된 명령 데이터를 명령의 종류와 그에 필요한 데이터로 구분하는 역할을 한다. The second command decoder 223 serves to classify the command data divided by the information collecting unit 221 into types of commands and data required for the command data.

본 발명에서 데이터 실행 모듈(230)은 명령 실행기(231), 비디오 수집부(232)를 포함한다. In the present invention, the data execution module 230 includes a command executor 231 and a video collector 232.

명령 실행기(231)는 제2 명령 디코더(223)에서 전달받은 명령 데이터에 따라 해당 명령에 따른 동작을 실행하며, 실행에 따른 결과를 해당 클라이언트에 전달하거나, 실행에 따른 명령 데이터를 생성하여 데이터 전송 모듈(240)로 전달하는 역할을 한다. The command executor 231 executes an operation according to the command according to the command data received from the second command decoder 223, and transmits the result of execution to the corresponding client, or generates command data according to the execution and transmits the data. It serves to deliver to the module 240.

비디오 수집부(232)는 동일 세션 내에 접속된 클라이언트들의 비디오 버퍼에서 영상 데이터를 추출하고 통합하여 데이터 전송 모듈(240)로 전송하는 역할을 한다.The video collector 232 extracts and integrates image data from video buffers of clients connected in the same session and transmits the image data to the data transmission module 240.

본 발명에서 데이터 전송 모듈(240)은 제2 명령 인코더(241), 비디오 패킷 인코더(242), 제2 송신부(243)를 포함한다. In the present invention, the data transmission module 240 includes a second command encoder 241, a video packet encoder 242, and a second transmitter 243.

제2 명령 인코더(241)는 명령실행기(231)의 실행에 따른 결과 명령 또는 전달 명령을 명령 종류에 따른 데이터로 구분하는 역할을 한다. The second command encoder 241 divides the result command or the transfer command according to the execution of the command executor 231 into data according to the command type.

비디외 패킷 인코더(242)는 비디오 수집부에서 통합된 영상 데이터를 동일 세션 내에 접속된 클라이언트 정보와 함께 통신을 위한 패킷으로 변환하는 역할을 한다. The video packet encoder 242 converts the image data integrated in the video collector into a packet for communication with the client information connected in the same session.

제2 송신부(243)는 제2 명령 인코더(241) 및 비디오 패킷 인코더(242)의 데이터를 동일 세션에 접속된 클라이언트들에 송신하는 역할을 한다.The second transmitter 243 transmits data of the second command encoder 241 and the video packet encoder 242 to clients connected to the same session.

본 발명의 일 실시예에서 제2 송신부(243)는 UDP(user datagram protocol) 프로토콜을 이용하여 영상 데이터 및 음성 데이터를 클라이언트(100)에 송신할 수 있다. 또한, 제2 송신부는 TCP(transmission control protocol) 프로토콜을 이용하여 명령 데이터를 클라이언트(100)에 송신할 수 있다.
According to an embodiment of the present invention, the second transmitter 243 may transmit image data and audio data to the client 100 by using a user datagram protocol (UDP) protocol. Also, the second transmitter may transmit command data to the client 100 using a transmission control protocol (TCP) protocol.

도 4는 본 발명의 일 실시예에 따른 3D 화상 회의 시스템에서 화상 회의 방법을 보여주는 흐름도이다.4 is a flowchart illustrating a video conferencing method in a 3D video conferencing system according to an embodiment of the present invention.

도 4를 참조하면, 클라이언트(100)의 카메라(111)를 통해 영상 데이터를 기록하고, 마이크(112)를 통해 음성 데이터를 기록한다(S401).Referring to FIG. 4, image data is recorded through the camera 111 of the client 100, and voice data is recorded through the microphone 112 (S401).

그리고, 클라이언트(100)는 기록된 영상 데이터 및 음성 데이터를 인코딩한다(S403).Then, the client 100 encodes the recorded video data and audio data (S403).

인코딩된 데이터를 서버(200)에 전송한다(S405).The encoded data is transmitted to the server 200 (S405).

서버(200)는 수신한 데이터를 각 섹션별로 구분한다(S407).The server 200 classifies the received data into sections (S407).

서버(200)는 각 섹션별로 구분한 데이터를 각 섹션에 연결된 클라이언트에 전송한다(S409).The server 200 transmits the data divided for each section to the client connected to each section (S409).

클라이언트(100)는 전송받은 영상 데이터 및 음성 데이터를 디코딩하여 영상 데이터와 음성 데이터로 분류한다(S411, S413).The client 100 decodes the received video data and audio data and classifies the video data into audio data (S411 and S413).

그리고, 클라이언트(100)는 영상 데이터를 3D 가상 환경의 사용자 모델로 맵핑(mapping)한다(S415).The client 100 maps the image data to the user model of the 3D virtual environment (S415).

클라이언트(100)는 3D 영상을 디스플레이부(114)를 통해 디스플레이하고, 서버(200)로부터 수신한 음성 데이터를 스피커(115)를 통해 출력한다(S417).
The client 100 displays the 3D image through the display 114 and outputs the audio data received from the server 200 through the speaker 115 (S417).

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

100 클라이언트 200 서버
110 입출력 모듈 120 처리 및 전송 모듈
111 카메라 112 마이크
113 본체 114 디스플레이부
115 스피커 121 인코더부
122 제1 명령 인코더부 123 제1 송신부
124 수신부 125 디코더부
126 제1 명령 디코더부 127 3D 가상공간부
128 오디오 버퍼 210 포트
220 데이터 수집 모듈 230 데이터 실행 모듈
240 데이터 전송 모듈100 clients 200 servers
110 Input / Output Module 120 Processing and Transmission Module
111 camera 112 microphone
113 Main Unit 114 Display
115 Speaker 121 Encoder
122 First Command Encoder 123 First Transmitter
124 Receiver 125 Decoder
126 First command decoder 127 3D virtual space
128 audio buffers with 210 ports
220 Data Acquisition Module 230 Data Execution Module
240 data transmission module

Claims (15)

3차원 가상 현실 공간을 제공하는 3D 화상 회의 시스템에서,
화상 회의에 참여하는 사용자에게 각각 착용되며, 착용 중인 사용자를 촬영하고, 사용자를 촬영한 영상 데이터와 사용자의 음성 데이터를 서버에 전송하고, 서버로부터 전송된 음성 데이터를 출력하고, 서버로부터 전송된 영상을 3D(dimension) 가상 현실 공간으로 변환하여 디스플레이하는 2대 이상의 클라이언트; 및
상기 클라이언트들을 세션(session)별로 구분하여 관리하며, 상기 클라이언트로부터 수신한 영상 데이터 및 음성 데이터를 동일 세션 내의 접속하는 클라이언트들에게 브로드캐스팅(broadcasting)하는 서버를 포함하는 3D 화상 회의 시스템.
In a 3D video conferencing system that provides a three-dimensional virtual reality space,
It is worn by each user who participates in the video conference, photographs the user who is wearing it, transmits the image data of the user and the voice data of the user to the server, outputs the audio data transmitted from the server, and the image transmitted from the server. Two or more clients for converting and displaying the image into a 3D virtual reality space; And
And a server configured to manage the clients by session and to broadcast the video data and the audio data received from the client to clients accessing the same session.
제1항에 있어서,
상기 클라이언트는,
음성 데이터, 영상 데이터 및 상기 클라이언트의 동작을 제어하기 위한 명령 데이터를 입출력하기 위한 입출력 모듈; 및
상기 음성 데이터, 영상 데이터 및 명령 데이터를 가공하여 상기 서버로 전송하고, 서버로부터 수신한 데이터를 처리하는 전송 및 처리 모듈을 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 1,
The client includes:
An input / output module for inputting / outputting audio data, video data, and command data for controlling the operation of the client; And
And a transmission and processing module for processing the audio data, the video data, and the command data and transmitting the processed data to the server and processing the data received from the server.
제2항에 있어서,
상기 입출력 모듈은,
사용자를 촬영하기 위한 카메라;
사용자의 음성 데이터를 기록하기 위한 마이크;
로그인, 세션 생성, 세션 입장, 3D 오브젝트 이동, 시점 전환 및 회의 자료 업로드를 포함하는 상기 클라이언트의 동작을 제어하기 위한 명령 데이터를 상기 서버에 전달하기 위한 본체;
상기 전송 및 처리 모듈로부터 수신한 3D 가상 현실 공간 영상을 디스플레이하기 위한 디스플레이부; 및
상기 전송 및 처리 모듈로부터 수신한 음성 데이터를 출력하기 위한 스피커를 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 2,
The input / output module,
A camera for photographing the user;
A microphone for recording voice data of a user;
A main body for delivering command data to the server for controlling the operation of the client, including login, session creation, session entry, 3D object movement, point of view switching, and uploading conference data;
A display unit for displaying a 3D virtual reality space image received from the transmission and processing module; And
And a speaker for outputting voice data received from the transmitting and processing module.
제3항에 있어서,
상기 전송 및 처리 모듈은,
상기 카메라를 통해 들어온 영상 데이터와 상기 마이크를 통해 들어온 음성 데이터를 인코딩(encoding)하기 위한 인코더부;
상기 명령 데이터를 인코딩하기 위한 제1 명령 인코더부;
상기 인코더부와 제1 명령 인코더부에서 인코딩된 데이터를 상기 서버에 송신하기 위한 제1 송신부;
상기 서버로부터 수신한 데이터를 영상 데이터, 음성 데이터 및 명령 데이터로 각각 구분하기 위한 수신부;
상기 수신부에서 전달받은 영상 데이터 및 음성 데이터를 클라이언트 정보에 따라 각각 분류하고, 분류된 영상 데이터 및 음성 데이터를 디코딩(decoding)하기 위한 디코더부;
상기 수신부에서 전달받은 명령 데이터를 디코딩하여 명령의 종류와 그에 따른 데이터로 구분하고, 해당 명령의 종류에 따라 명령을 수행하기 위한 제1 명령 디코더부;
상기 디코더부에서 전달받은 영상 데이터를 3D 가상 현실 공간으로 맵핑(mapping)하고, 상기 제1 명령 디코더부에서 전달받은 명령에 따라 3D 가상 현실 공간을 변화시키는 방식으로 3D 영상을 생성하는 3D 가상공간부; 및
동일 세션 내에 접속해 있는 클라이언트의 수만큼 오디오 버퍼를 생성하고, 상기 디코더부에서 전달받은 음성 데이터를 임시 저장하여 상기 스피커에 전달하는 오디오 버퍼를 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 3,
The transmission and processing module,
An encoder unit for encoding the image data input through the camera and the audio data input through the microphone;
A first command encoder unit for encoding the command data;
A first transmitter for transmitting the data encoded by the encoder and the first command encoder to the server;
A receiving unit for dividing the data received from the server into image data, audio data and command data, respectively;
A decoder unit for classifying the video data and the audio data received from the receiver according to the client information, and decoding the classified video data and the audio data;
A first command decoder to decode the command data received from the receiver into a type of command and data according to the command, and to perform a command according to the type of the command;
A 3D virtual space unit which maps the image data received from the decoder unit to a 3D virtual reality space and generates a 3D image by changing the 3D virtual reality space according to the command received from the first command decoder unit. ; And
And an audio buffer for generating as many audio buffers as the number of clients connected in the same session, and temporarily storing the audio data received from the decoder and transmitting the audio buffer to the speaker.
제4항에 있어서,
상기 인코더부는 H.264 코덱을 이용하여 인코딩하는 것을 특징으로 하는 3D 화상 회의 시스템.
5. The method of claim 4,
3D video conferencing system, characterized in that the encoder encodes using the H.264 codec.
제4항에 있어서,
상기 디코더부는 H.264 코덱을 이용하여 디코딩하는 것을 특징으로 하는 3D 화상 회의 시스템.
5. The method of claim 4,
And the decoder unit decodes using an H.264 codec.
제4항에 있어서,
상기 제1 송신부는 UDP(user datagram protocol) 프로토콜을 이용하여 상기 영상 데이터 및 음성 데이터를 상기 서버에 송신하는 것을 특징으로 하는 3D 화상 회의 시스템.
5. The method of claim 4,
And the first transmitter transmits the video data and the audio data to the server using a UDP (user datagram protocol) protocol.
제4항에 있어서,
상기 제1 송신부는 TCP(transmission control protocol) 프로토콜을 이용하여 상기 명령 데이터를 상기 서버에 송신하는 것을 특징으로 하는 3D 화상 회의 시스템.
5. The method of claim 4,
And the first transmitter transmits the command data to the server using a transmission control protocol (TCP) protocol.
제1항에 있어서,
상기 클라이언트는 HMD(Head Mounted Display) 장치인 것임을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 1,
And the client is a head mounted display (HMD) device.
제1항에 있어서,
상기 서버는,
상기 클라이언트들과 통신하기 위한 포트;
상기 클라이언트들로부터 전송된 데이터를 수집하고, 각 클라이언트 별로 영상 데이터, 음성 데이터 및 명령 데이터를 구분하는 데이터 수집 모듈;
상기 데이터 수집 모듈로부터 전달받은 명령 데이터에 해당하는 동작을 실행하는 데이터 실행 모듈; 및
상기 데이터 실행 모듈의 명령 데이터에 따라 통합된 영상 데이터를 동일 세션 내의 클라이언트들에 송신하는 데이터 전송 모듈을 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 1,
The server comprises:
A port for communicating with the clients;
A data collection module which collects data transmitted from the clients and classifies image data, audio data, and command data for each client;
A data execution module executing an operation corresponding to the command data received from the data collection module; And
And a data transmission module for transmitting the integrated video data to the clients in the same session according to the command data of the data execution module.
제10항에 있어서,
상기 데이터 수집 모듈은,
각각의 클라이언트에 대응되어 해당 클라이언트의 정보를 기반으로 수신된 데이터를 클라이언트별로 구분하기 위한 정보수집부;
상기 정보수집부를 통해 구분된 영상 데이터를 순차적으로 저장하기 위한 비디오 버퍼; 및
상기 정보수집부를 통해 구분된 명령 데이터를 명령의 종류와 그에 필요한 데이터로 구분하기 위한 제2 명령 디코더를 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 10,
The data collection module,
An information collection unit corresponding to each client to classify the received data for each client based on the information of the corresponding client;
A video buffer for sequentially storing the image data divided by the information collecting unit; And
And a second command decoder for dividing the command data divided by the information collecting unit into types of commands and data necessary for the command data.
제11항에 있어서,
상기 데이터 실행 모듈은,
동일 세션 내에 접속된 클라이언트들의 비디오 버퍼에서 영상 데이터를 추출하고 통합하여 상기 데이터 전송 모듈로 전송하기 위한 비디오 수집부; 및
상기 제2 명령 디코더에서 전달받은 명령 데이터에 따라 해당 명령에 따른 동작을 실행하며, 실행에 따른 결과를 해당 클라이언트에 전달하거나, 실행에 따른 명령 데이터를 생성하여 상기 데이터 전송 모듈로 전달하기 위한 명령실행기를 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
12. The method of claim 11,
The data execution module,
A video collector for extracting and integrating image data from video buffers of clients connected in the same session and transmitting the same to the data transmission module; And
An instruction executor for executing an operation according to a corresponding command according to the command data received from the second command decoder, delivering a result of execution to a corresponding client, or generating command data according to the execution to the data transmission module. 3D video conferencing system comprising a.
제12항에 있어서,
상기 데이터 전송 모듈은,
상기 명령실행기의 실행에 따른 결과 명령 또는 전달 명령을 명령 종류에 따른 데이터로 구분하기 위한 제2 명령 인코더;
상기 비디오 수집부에서 통합된 영상 데이터를 동일 세션 내에 접속된 클라이언트 정보와 함께 통신을 위한 패킷으로 변환하는 비디오 패킷 인코더; 및
상기 제2 명령 인코더 및 상기 비디오 패킷 인코더의 데이터를 동일 세션에 접속된 클라이언트들에 송신하기 위한 제2 송신부를 포함하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 12,
Wherein the data transmission module comprises:
A second instruction encoder for dividing a result instruction or a transfer instruction according to execution of the instruction executor into data according to an instruction type;
A video packet encoder converting the image data integrated in the video collecting unit into a packet for communication with the client information connected in the same session; And
And a second transmitter for transmitting data of the second command encoder and the video packet encoder to clients connected to the same session.
제13항에 있어서,
상기 제2 송신부는 UDP(user datagram protocol) 프로토콜을 이용하여 상기 영상 데이터 및 음성 데이터를 클라이언트에 송신하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 13,
And the second transmitter transmits the video data and audio data to a client by using a user datagram protocol (UDP) protocol.
제13항에 있어서,
상기 제2 송신부는 TCP(transmission control protocol) 프로토콜을 이용하여 상기 명령 데이터를 클라이언트에 송신하는 것을 특징으로 하는 3D 화상 회의 시스템.
The method of claim 13,
And the second transmitter transmits the command data to a client using a transmission control protocol (TCP) protocol.
KR1020120059960A 2012-06-04 2012-06-04 3d video conference system KR101295976B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120059960A KR101295976B1 (en) 2012-06-04 2012-06-04 3d video conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120059960A KR101295976B1 (en) 2012-06-04 2012-06-04 3d video conference system

Publications (1)

Publication Number Publication Date
KR101295976B1 true KR101295976B1 (en) 2013-08-13

Family

ID=49220424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120059960A KR101295976B1 (en) 2012-06-04 2012-06-04 3d video conference system

Country Status (1)

Country Link
KR (1) KR101295976B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046688A1 (en) * 2013-09-26 2015-04-02 주식회사 모브릭 Helmet for shooting multi-angle image and shooting method
KR101670815B1 (en) * 2016-02-11 2016-10-31 (주)건우애듀 Method for providing real-time contents sharing service based on virtual reality and augment reality
KR20230083468A (en) * 2021-12-03 2023-06-12 한예은 Metaverse-based video chat service system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010013590A (en) * 1998-04-10 2001-02-26 요트.게.아. 롤페즈 Group-wise video conferencing uses 3d-graphics model of broadcast event
KR20040030081A (en) * 2001-08-15 2004-04-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 3D video conferencing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010013590A (en) * 1998-04-10 2001-02-26 요트.게.아. 롤페즈 Group-wise video conferencing uses 3d-graphics model of broadcast event
KR20040030081A (en) * 2001-08-15 2004-04-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 3D video conferencing system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046688A1 (en) * 2013-09-26 2015-04-02 주식회사 모브릭 Helmet for shooting multi-angle image and shooting method
KR101670815B1 (en) * 2016-02-11 2016-10-31 (주)건우애듀 Method for providing real-time contents sharing service based on virtual reality and augment reality
KR20230083468A (en) * 2021-12-03 2023-06-12 한예은 Metaverse-based video chat service system and method
KR102642001B1 (en) * 2021-12-03 2024-02-27 한예은 Metaverse-based video chat service system and method

Similar Documents

Publication Publication Date Title
EP3510768B1 (en) Three-dimensional telepresence system
US6583808B2 (en) Method and system for stereo videoconferencing
KR101656172B1 (en) Enhanced communication between remote participants using augmented and virtual reality
US20220264068A1 (en) Telepresence system and method
US20160234475A1 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
US20060210045A1 (en) A method system and apparatus for telepresence communications utilizing video avatars
Müller et al. PanoVC: Pervasive telepresence using mobile phones
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
CN108322474B (en) Virtual reality system based on shared desktop, related device and method
US20170294044A1 (en) Shared experience of virtual environments
JP2020522926A (en) Method and system for providing virtual reality content using captured 2D landscape images
KR20130124188A (en) System and method for eye alignment in video
US20150244984A1 (en) Information processing method and device
JP2020065229A (en) Video communication method, video communication device, and video communication program
Taleb et al. Vr-based immersive service management in b5g mobile systems: A uav command and control use case
KR101295976B1 (en) 3d video conference system
Viola et al. Vr2gather: A collaborative social vr system for adaptive multi-party real-time communication
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
CN112558761A (en) Remote virtual reality interaction system and method for mobile terminal
Blackwell et al. 54‐6: Holographic 3D Telepresence System with Light Field 3D Displays and Depth Cameras over a LAN
CN116744027A (en) Meta universe live broadcast system
Wolff et al. Communicating eye gaze across a distance without rooting participants to the spot
JP2020115299A (en) Virtual space information processing device, method and program
US9979930B2 (en) Head-wearable apparatus, 3D video call system and method for implementing 3D video call
CN100486140C (en) Three-D vedio monitoring method and system based on internet

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee