KR100847147B1 - Apparatus and method for controlling video conference - Google Patents

Apparatus and method for controlling video conference Download PDF

Info

Publication number
KR100847147B1
KR100847147B1 KR1020070037946A KR20070037946A KR100847147B1 KR 100847147 B1 KR100847147 B1 KR 100847147B1 KR 1020070037946 A KR1020070037946 A KR 1020070037946A KR 20070037946 A KR20070037946 A KR 20070037946A KR 100847147 B1 KR100847147 B1 KR 100847147B1
Authority
KR
South Korea
Prior art keywords
data
user
information
image
voice
Prior art date
Application number
KR1020070037946A
Other languages
Korean (ko)
Inventor
서정철
최창식
최영우
박완기
김만수
한인탁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070037946A priority Critical patent/KR100847147B1/en
Application granted granted Critical
Publication of KR100847147B1 publication Critical patent/KR100847147B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

A method and an apparatus for controlling a video conference are provided to configure a video screen and voice data requested by each person by using image and voice data generated from each video conference application of the participants of a video conference. A data processing unit(120) decodes compressed data inputted from a video conference application of a user to extract image and voice data of each person participating in a video conference, and encodes image and voice data to be provided to the application. An image processing unit(130) generates image data for configuring a video screen according to video screen requesting information generated according to a user request by using the extracted image data. A voice processing unit(140) configures voice data according to voice control information generated according to a user request by using the extracted voice data.

Description

화상회의 제어 방법 및 그 장치{Apparatus and method for controlling video conference}Method and apparatus for controlling video conferences {Apparatus and method for controlling video conference}

도 1은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 구성을 나타낸 블록도,1 is a block diagram showing the configuration of a videoconferencing control apparatus according to an embodiment of the present invention;

도 2는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치가 제공하는 화상화면 모드를 나타낸 도면,2 is a view showing a video screen mode provided by a videoconferencing control apparatus according to an embodiment of the present invention;

도 3은 본 발명의 바람직한 다른 실시예에 따른 화상회의 제어 장치가 제공하는 화상화면 모드를 나타낸 도면,3 is a view showing a video screen mode provided by a videoconferencing control apparatus according to another embodiment of the present invention;

도 4는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 믹싱부를 나타낸 도면,4 is a view showing a mixing unit of a videoconferencing control device according to an embodiment of the present invention;

도 5는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 동작을 나타낸 순서 흐름도,5 is a flowchart illustrating operations of a videoconferencing control apparatus according to an embodiment of the present invention;

도 6은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 화상화면 구성 방법을 나타낸 순서 흐름도, 그리고6 is a flowchart illustrating a method of configuring a video screen of a videoconferencing control device according to an embodiment of the present invention; and

도 7은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 음성 데이터 구성 방법을 나타낸 순서 흐름도이다.7 is a flowchart illustrating a method of configuring audio data in a videoconferencing control apparatus according to an embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

100 : 화상회의 제어 장치 110 : 데이터 입력부100: video conference control device 110: data input unit

120 : 데이터 처리부 130 : 영상 처리부120: data processing unit 130: image processing unit

140 : 음성 처리부 150 : 믹싱부140: voice processing unit 150: mixing unit

160 : 데이터 출력부160: data output unit

본 발명은 화상회의 제어 방법 및 그 장치에 관한 것으로, 특히 다자간 화상회의에서 애플리케이션과 독립적인 운영으로 사용자별 화면구성 및 음성 제어를 지원하는 화상회의 제어 방법 및 그 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a videoconferencing control method and apparatus, and more particularly, to a videoconferencing control method and apparatus for supporting user-specific screen configuration and voice control in an application-independent operation in multi-party videoconferencing.

일반적으로 화상회의 서비스는 원격지의 다자간이 화상, 음성 등의 다양한 정보들을 네트워크상에서 쌍방향으로 주고받도록 하는 서비스를 일컫는다.In general, video conferencing service refers to a service that allows a multi-party remotely to exchange various information such as video and voice on a network in two directions.

이와 같은 화상회의 서비스를 구현하는 현재의 다자간 화상회의 시스템은, 고가의 화상 장비를 포함하는 통신 중계서버가 특정 장소에 설치되도록 하고, 화상회의에 참여한 다자의 화상 장치로부터 발생되는 영상 및 음성을 입력받아 종합적으로 재분배하는 다지점 제어 유닛(Multipoint Control Unit) 등의 부가 시스템을 더 구비하고 있다.The current multi-party video conferencing system that implements such a video conferencing service allows a communication relay server including expensive video equipment to be installed at a specific place, and inputs video and audio generated from a multi-party video device participating in the video conference. It is further provided with additional systems, such as a multipoint control unit, which receive and redistribute comprehensively.

그런데, 현재 다자간 화상회의 시스템은 다지점 제어 유닛에 의해 재분배된 동일한 영상 및 음성이 다자에게 제공되도록 함에 따라, 다자의 화상 장치가 제한적인 기능 범위 내에서만 애플리케이션을 구현하도록 하고 있다.However, the current multi-party video conferencing system allows the same video and audio redistributed by the multi-point control unit to be provided to the multi party, so that the multi party video device implements the application only within a limited range of functions.

즉, 화상회의에 참여하는 다자의 화상 장치는 다지점 제어 유닛로부터 동일하게 재분배된 영상 및 음성을 제공받음에 따라, 해당 사용자가 개별적으로 요구하는 화면 구성 및 음성 제어를 실행할 애플리케이션을 구현할 수 없는 것이다.That is, the multi-party video device participating in the video conference is not able to implement an application to execute the screen configuration and voice control required by the corresponding user, as the same redistributed video and audio are provided from the multi-point control unit. .

그리고, 현재 다자간 화상회의 시스템은 고가의 화상 장비를 포함한 통신 중계서버를 포함함에 따라, 화상회의 서비스 구현에 따른 경제적 부담을 포함하고 있다.In addition, the current multi-party video conferencing system includes a communication relay server including expensive video equipment, and thus includes the economic burden of implementing the video conferencing service.

상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은 화상회의에 참여한 다자 각각의 요구에 따라 제어된 화상화면 및 음성을 제공하기 위한 화상회의 제어 방법 및 그 장치를 제공하는데 있다.A first object of the present invention for solving the above problems is to provide a videoconferencing control method and apparatus for providing a video screen and a voice controlled according to the needs of each party involved in the videoconferencing.

그리고, 상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은 화상회의 서비스를 구현함에 있어서, 고가의 부가 시스템 설치비용을 절감하기 위한 화상회의 제어 방법 및 그 장치를 제공하는데 있다.In addition, a second object of the present invention for solving the above problems is to provide a videoconferencing control method and apparatus for reducing an expensive additional system installation cost in implementing a videoconferencing service.

상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 화상회의 제어 장치는, 사용자의 화상회의용 애플리케이션(Application)으로부터 입력되는 압축된 데이터를 디코딩하여 화상회의에 참가한 다자의 영상 및 음성 데이터를 추출하고, 상기 애플리케이션으로 제공할 영상 및 음성 데이터를 인코딩하는 데이터 처리부; 상기 추출된 영상 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 화상화면 요구 정보에 따른 화상화면을 구성하기 위한 영상 데이터를 생성하는 영상 처리부; 상기 추출된 음성 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 음성 제어 정보에 따른 음성 데이터를 구성하는 음성 처리부를 포함한다.According to an embodiment of the present invention, a videoconferencing control apparatus includes a multi-party video that participates in a videoconference by decoding compressed data input from a user's videoconferencing application. A data processor which extracts audio data and encodes video and audio data to be provided to the application; An image processor configured to generate image data for configuring an image screen according to image screen request information generated from the user request by using the extracted image data; And a voice processor configured to use the extracted voice data to construct voice data according to voice control information generated from the user request.

상기 화상화면 요구 정보는, 사용자가 자신의 화상 장치로 디스플레이(Display)하고자 하는 영상 정보, 화상화면 모드 정보 및 디스플레이 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.The image screen request information may include at least one of image information, image screen mode information, and display area information that the user wants to display on his own image device.

상기 영상 처리부는, 상기 화상화면 요구 정보의 영상 정보에 따라 다자의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 사용자 영상 데이터만을 활성화하고, 상기 화상화면 모드 정보에 따라 해당 사용자가 요구하는 화상화면 모드를 선택한 후, 상기 활성화된 각 영상 데이터가 상기 디스플레이 영역 정보에 참조되어 상기 선택된 화상화면 모드의 각 디스플레이 영역에 대응되도록 하는 것을 특징으로 한다.The image processor is configured to activate only user image data that a corresponding user wants to display among multi-party image data according to the image information of the image screen request information, and select an image screen mode requested by the user according to the image screen mode information. Thereafter, the activated image data is referred to the display area information so as to correspond to each display area of the selected picture screen mode.

상기 음성 제어 정보는, 사용자가 자신의 화상 장치로 플레이(Play)하고자 요구하는 음성 믹싱 정보, 뮤트 정보 및 볼륨 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.The voice control information may include at least one of voice mixing information, mute information, and volume information that a user requests to play on his own image device.

상기 음성 처리부는, 상기 음성 제어 정보의 음성 믹싱 정보에 따라 상기 다자의 음성 데이터 중 해당 사용자가 플레이하고자 하는 사용자 음성 데이터만을 믹싱하고, 상기 믹싱된 음성 데이터를 상기 뮤트 정보에 따라 뮤트 온/오프(ON/OFF) 설정하며, 상기 뮤트 오프된 음성 데이터에 대하여 상기 볼륨 정보에 따른 볼륨을 설정하는 것을 특징으로 한다.The voice processing unit may mix only user voice data that the corresponding user wants to play among the multiparty voice data according to voice mixing information of the voice control information, and mute on / off the mixed voice data according to the mute information. ON / OFF), and sets the volume according to the volume information for the muted off voice data.

상기 음성 처리부는, 다수의 믹서로 구성되는 믹싱부를 포함하고, 상기 믹싱부를 통해 상기 사용자가 요구하는 음성 데이터 믹싱을 수행하는 것을 특징으로 한다.The voice processing unit may include a mixing unit including a plurality of mixers, and performs voice data mixing required by the user through the mixing unit.

바람직하게 상기 화상회의 제어 장치는, 상기 사용자의 화상회의용 애플리케이션으로부터 출력되는 압축된 다자의 데이터를 입력받는 데이터 입력부; 상기 데이터 처리부로부터 인코딩된 영상 및 음성 데이터를 상기 사용자 화상회의용 애플리케이션으로 출력하는 데이터 출력부를 더 포함하는 것을 특징으로 한다.Preferably, the videoconferencing control device includes a data input unit for receiving compressed multi-party data output from the videoconferencing application of the user; The apparatus may further include a data output unit configured to output the encoded video and audio data from the data processor to the user video conferencing application.

상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 화상회의 제어 장치의 화상회의 제어 방법은, 사용자의 화상회의용 애플리케이션으로부터 출력되는 압축된 다자의 데이터를 입력받아 디코딩하는 단계; 상기 디코딩된 데이터로부터 화상회의에 참가한 다자의 영상 및 음성 데이터를 추출하는 단계; 상기 추출된 영상 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 화상화면 요구 정보에 따른 화상화면을 구성하기 위한 영상 데이터를 생성하는 단계; 상기 추출된 음성 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 음성 제어 정보에 따른 음성 데이터를 구성하는 단계; 상기 구성된 화상화면 및 음성의 영상 및 음성 데이터를 인코딩하여 상기 사용자 화상 회의용 애플리케이션으로 제공하는 단계를 포함한다.According to another aspect of the present invention, a videoconferencing control method of a videoconferencing control device includes: receiving and decoding compressed multi-party data output from a videoconferencing application of a user; Extracting video and audio data of multiple parties participating in a video conference from the decoded data; Generating image data for configuring an image screen according to the image screen request information generated from the user request by using the extracted image data; Constructing voice data according to voice control information generated from the user request using the extracted voice data; And encoding the video and audio data of the configured video screen and audio to the user video conferencing application.

상기 화상화면 구성 정보를 획득하는 단계는, 상기 사용자가 디스플레이하고자 하는 영상 정보, 화상화면 모드 정보 및 디스플레이 영역 정보 중 적어도 하나가 포함된 화상화면 요구 정보를 획득하는 것을 특징으로 한다.The acquiring of the image screen configuration information may include obtaining image screen request information including at least one of image information, image screen mode information, and display area information that the user wants to display.

상기 사용자가 요구하는 화상화면을 구성하는 단계는, 상기 화상화면 요구 정보의 영상 정보에 따라, 상기 다자의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 사용자 영상 데이터만을 활성화하는 단계; 상기 화상화면 모드 정보에 따라 해당 사용자가 요구하는 화상화면 모드를 선택하는 단계; 상기 활성화된 각 영상 데이터가 상기 디스플레이 영역 정보에 참조되어 상기 선택된 화상화면 모드의 각 디스플레이 영역에 대응되도록 하는 단계를 포함하는 것을 특징으로 한다.The configuring of the image screen requested by the user may include: activating only user image data that the corresponding user intends to display among the multi-party image data according to the image information of the image screen request information; Selecting an image screen mode requested by the corresponding user according to the image screen mode information; And allowing the activated image data to correspond to each display area of the selected picture screen mode by referring to the display area information.

상기 음성 제어 정보를 획득하는 단계는, 상기 사용자가 플레이하고자 하는 음성 믹싱 정보, 뮤트 정보 및 볼륨 정보 중 적어도 하나가 포함된 음성 제어 정보를 획득하는 것을 특징으로 한다.The acquiring of the voice control information may include acquiring voice control information including at least one of voice mixing information, mute information, and volume information to be played by the user.

상기 사용자가 요구하는 음성 데이터를 구성하는 단계는, 상기 음성 제어 정보의 음성 믹싱 정보에 따라, 상기 다자의 음성 데이터 중 해당 사용자가 플레이하고자 하는 사용자 음성 데이터만을 믹싱하는 단계; 상기 믹싱된 음성 데이터를 상기 뮤트 정보에 따라 뮤트 온/오프 설정하는 단계; 상기 볼륨 정보에 따라 상기 뮤트 오프 설정된 음성 데이터 볼륨을 조절하는 단계를 포함하는 것을 특징으로 한다.The configuring of the voice data requested by the user may include: mixing only voice data of a user, which the corresponding user intends to play, among voice data of the multiparty according to voice mixing information of the voice control information; Muting on / off the mixed voice data according to the mute information; And adjusting the mute-off voice data volume according to the volume information.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.In addition, the same reference numerals are used for parts having similar functions and functions throughout the drawings.

도 1은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a videoconferencing control apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 화상회의 제어 장치(100)는 데이터 입력부(110), 데이터 처리부(120), 영상 처리부(130), 음성 처리부(140) 및 데이터 출력부(160)를 포함할 수 있다.As shown in FIG. 1, the video conference control device 100 may include a data input unit 110, a data processor 120, an image processor 130, an audio processor 140, and a data output unit 160. have.

이와 같은 구성을 갖는 화상회의 제어 장치(100)에 대하여, 먼저 화상회의용 애플리케이션(Application)은 화상회의에 참여한 다자로부터 전송되는 다수의 압축된(일예로, MPEG2TS, MPEG2PS, MPEG4) 영상 및 음성 데이터를 구성하는 버퍼로 입력받은 후, 입력받은 압축 영상 및 음성 데이터를 상기 화상회의 제어 장치(100)의 데이터 입력부(110)로 출력한다.With respect to the videoconferencing control device 100 having such a configuration, first, a videoconferencing application is configured to receive a plurality of compressed (eg, MPEG2TS, MPEG2PS, MPEG4) video and audio data transmitted from multiple parties participating in the videoconference. After receiving the inputted buffer, the compressed video and audio data are outputted to the data input unit 110 of the video conference control apparatus 100.

이에, 화상회의 제어 장치(100)의 데이터 입력부(110)는 애플리케이션으로부 터 출력되는 압축 영상 및 음성 데이터를 입력받아 데이터 처리부(120)에 제공하며, 데이터 처리부(120)는 제공된 압축 데이터를 디코딩(Decoding)한 후, 디코딩된 데이터로부터 다자의 영상 및 음성 데이터를 추출한다. Accordingly, the data input unit 110 of the video conference control apparatus 100 receives the compressed video and audio data output from the application and provides the compressed video and audio data to the data processing unit 120, and the data processing unit 120 decodes the provided compressed data. After decoding, video and audio data of multiple parties are extracted from the decoded data.

그리고, 데이터 처리부(120)는 추출된 다자의 영상 및 음성 데이터를 영상 처리부(130) 및 음성 처리부(140)로 각각 제공한 후, 이에 대응하여 처리된 영상 및 음성 데이터를 영상 처리부(130) 및 음성 처리부(140)로부터 각각 제공받아 이를 다시 인코딩(Encoding)하는 기능을 수행한다.Then, the data processor 120 provides the extracted multi-party video and audio data to the image processor 130 and the audio processor 140, respectively, and then processes the video and audio data processed corresponding thereto. Each of them is provided from the voice processor 140 and performs a function of encoding the data again.

영상 처리부(130)는 데이터 처리부(120)로부터 추출된 다자의 영상 데이터를 이용하여 상기 애플리케이션 사용자가 요구하는 화상화면을 구성한다. 즉, 영상 처리부(130)는 다자의 영상 데이터를 이용하여 상기 애플리케이션 사용자가 요구하는 화상화면을 구성하기 위한 하나의 영상 데이터를 생성한다. 음성 처리부(140)는 데이터 처리부(120)로부터 추출된 다자의 음성 데이터를 이용하여 상기 애플리케이션 사용자가 요구하는 음성 데이터를 구성할 수 있다. The image processor 130 constructs an image screen requested by the application user by using multi-party image data extracted from the data processor 120. That is, the image processor 130 generates one image data for configuring an image screen requested by the application user by using the image data of multiple parties. The voice processor 140 may configure voice data requested by the application user by using the multi-party voice data extracted from the data processor 120.

여기서, 음성 처리부(140)는 사용자 요구에 따른 음성 데이터를 구성함에 있어서, 다수의 믹서로 구성되는 믹싱부(150)를 포함하여 데이터 처리부(120)로부터 추출된 음성 데이터가 상기 믹싱부(150)를 통해 믹싱되도록 할 수 있다.Here, the voice processing unit 140 includes a mixing unit 150 composed of a plurality of mixers in constructing the voice data according to a user's request, and the voice data extracted from the data processing unit 120 includes the mixing unit 150. Can be mixed through.

데이터 출력부(150)는 데이터 처리부(120)에 의해 디코딩된 데이터를 애플리케이션으로 출력하는 기능을 수행한다.The data output unit 150 outputs the data decoded by the data processing unit 120 to the application.

다음으로, 이와 같은 구성을 갖는 화상회의 제어 장치(100)의 구성 동작에 대해 살펴보도록 한다.Next, a description will be given of the configuration operation of the videoconferencing control device 100 having such a configuration.

먼저 화상회의 제어 장치(100)는 화상회의에 참여한 사용자의 화상회의용 애 플리케이션으로부터 출력되는 압축된 다자의 영상 및 음성 데이터를 입력부(110)를 통해 입력받는다. 여기서, 압축된 다자의 영상 및 음성 데이터는 애플리케이션 사용자의 영상 및 음성 데이터가 포함된 데이터일 수 있다.First, the videoconferencing control device 100 receives the compressed multi-party video and audio data output from the videoconferencing application of the user who participated in the videoconferencing through the input unit 110. Here, the compressed multi-view video and audio data may be data including video and audio data of an application user.

이에, 데이터 입력부(110)는 애플리케이션으로부터 입력된 압축 데이터를 데이터 처리부(120)로 제공하고, 데이터 처리부(120)는 제공된 압축 데이터를 디코딩하여 다자의 영상 및 음성 데이터를 추출한다.Accordingly, the data input unit 110 provides the compressed data input from the application to the data processing unit 120, and the data processing unit 120 decodes the provided compressed data to extract the multi-view video and audio data.

그리고, 데이터 처리부(120)는 디코딩된 데이터로부터 추출된 다자의 영상 및 음성 데이터를 영상 처리부(130) 및 음성 처리부(140)로 각각 제공한다.In addition, the data processor 120 may provide the image processor and the audio processor 140 to the image processor 130 and the audio processor 140, respectively.

영상 처리부(130)는 데이터 처리부(120)로부터 영상 데이터가 제공되면, 제공된 영상 데이터를 이용하여 상기 애플리케이션 사용자가 요구하는 화상화면을 구성하기 위한 영상 데이터를 생성한다. 여기서, 영상 처리부(130)는 애플리케이션으로부터 발생되는 상기 사용자의 화상화면 요구 정보를 데이터 입력부(110) 및 데이터 처리부(120)를 통해 제공받고, 이로부터 사용자 요구에 따른 화상화면을 구성할 수 있으며, 사용자의 화상화면 요구 정보는 사용자가 자신의 화상 장치로 디스플레이하고자 하는 영상 정보, 화상화면 모드 정보 및 디스플레이 영역 정보 중 적어도 하나를 포함할 수 있다.When image data is provided from the data processor 120, the image processor 130 generates image data for configuring an image screen requested by the application user by using the provided image data. Here, the image processor 130 may receive the image screen request information of the user generated from the application through the data input unit 110 and the data processor 120, and may configure the image screen according to the user's request. The image screen request information of the user may include at least one of image information, image screen mode information, and display area information that the user wants to display on his own image device.

이에, 영상 처리부(130)는 사용자 요구에 따른 화상화면을 구성함에 있어서, 다자의 영상 데이터 중 해당 사용자가 요구하는 영상 정보만을 활성화하고, 해당 사용자가 요구하는 화상화면 모드의 디스플레이 영역에 상기 활성화된 영상 정보를 대응시킨 화상화면을 구성할 수 있다. Accordingly, in configuring an image screen according to a user's request, the image processor 130 activates only image information required by the user among multi-party image data, and activates the image area in the display area of the image screen mode requested by the user. An image screen in which video information is associated can be configured.

즉, 영상 처리부(130)는 상기 화상화면 요구 정보의 영상 정보에 따라 다자 의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 사용자 영상 데이터만을 활성화하고, 상기 화상화면 모드 정보에 따라 해당 사용자가 요구하는 화상화면 모드를 선택한 후, 상기 활성화된 각 영상 데이터가 상기 디스플레이 영역 정보에 참조되어 상기 선택된 화상화면 모드의 각 디스플레이 영역에 대응되도록 하여, 사용자가 요구하는 화상화면을 구성할 수 있다.That is, the image processing unit 130 activates only user image data that the user wants to display among the multiple image data according to the image information of the image screen request information, and the image screen requested by the user according to the image screen mode information. After selecting a mode, the activated image data may be referred to the display region information so as to correspond to each display region of the selected image screen mode, thereby configuring an image screen requested by the user.

다음으로, 영상 처리부(130)는 사용자 요구에 따라 화면 구성된 영상 데이터를 데이터 처리부(120)로 다시 제공한다.Next, the image processor 130 provides the image data, which is screen-configured, back to the data processor 120 according to a user's request.

한편, 음성 처리부(140)는 데이터 처리부(120)로부터 음성 데이터가 제공되면, 제공된 음성 데이터를 이용하여 상기 애플리케이션 사용자가 요구하는 음성 데이터를 구성한다. 여기서, 음성 처리부(140)는 애플리케이션으로부터 발생되는 상기 사용자의 음성 제어 정보를 데이터 입력부(110) 및 데이터 처리부(120)를 통해 제공받고, 이로부터 사용자 요구에 따른 음성 데이터 구성을 처리할 수 있으며, 사용자의 음성 제어 정보는 사용자가 자신의 화상 장치로 플레이(Play)하고자 요구하는 음성 믹싱 정보, 뮤트 정보 및 볼륨 정보 중 적어도 하나를 포함할 수 있다.Meanwhile, when voice data is provided from the data processor 120, the voice processor 140 configures voice data requested by the application user by using the provided voice data. Here, the voice processor 140 may receive the voice control information of the user generated from the application through the data input unit 110 and the data processor 120, and process the voice data configuration according to the user's request. The voice control information of the user may include at least one of voice mixing information, mute information, and volume information that the user requests to play with his own image device.

이에, 음성 처리부(140)는 사용자 요구에 따른 음성 데이터를 구성함에 있어서, 다자의 음성 데이터 중 해당 사용자가 요구하는 음성 데이터만을 믹싱부(150)로 믹싱하고, 상기 믹싱된 음성이 사용자 요구에 따라 뮤트 온/오프(ON/OFF) 및 볼륨 조절되도록 처리할 수 있다.Accordingly, in configuring voice data according to a user's request, the voice processor 140 mixes only voice data required by the corresponding user among multi-party voice data into the mixing unit 150, and the mixed voice is in accordance with a user's request. It can be processed to mute ON / OFF and volume control.

즉, 음성 처리부(140)는 상기 음성 제어 정보의 음성 믹싱 정보에 따라 상기 다자의 음성 데이터 중 해당 사용자가 플레이하고자 하는 사용자 음성 데이터만을 믹싱하고, 상기 믹싱된 음성 데이터를 상기 뮤트 정보에 따라 뮤트 온/오프를 설정하며, 뮤트 오프된 음성 데이터에 대하여 상기 볼륨 정보에 따른 볼륨을 설정한 음성 데이터를 구성할 수 있다.That is, the voice processor 140 mixes only user voice data that the corresponding user wants to play among the multi-party voice data according to the voice mixing information of the voice control information, and mutes on the mixed voice data according to the mute information. It is possible to configure voice data in which volume is set according to the volume information with respect to the muted off voice data.

다음으로, 음성 처리부(140)는 사용자 요구에 따라 구성된 음성 데이터를 데이터 처리부(120)로 다시 제공하여, 데이터 처리부(120)가 상기 영상 처리부(140)로부터 제공받은 영상 데이터와 더불어 해당 음성 데이터를 인코딩하도록 한다.Next, the voice processor 140 provides the voice data configured according to a user's request back to the data processor 120 so that the data processor 120 provides the voice data together with the image data provided from the image processor 140. Encode it.

이에, 데이터 처리부(120)는 상기 인코딩된 영상 및 음성 데이터가 데이터 출력부(160)를 통해 상기 화상회의용 애플리케이션으로 출력되도록 한다.Accordingly, the data processor 120 outputs the encoded video and audio data to the video conferencing application through the data output unit 160.

한편, 상기 출력된 영상 및 음성 데이터는 애플리케이션으로부터 디코딩된 후, 해당 애플리케이션과 연결된 표시화면 및 스피커를 통해 디스플레이 및 음성 출력될 수 있다. Meanwhile, the output video and audio data may be decoded from an application and then displayed and output through a display screen and a speaker connected to the application.

다음으로, 화상회의 제어 장치(100)의 화상화면 구성 및 음성 데이터 구성 방법에 대해 자세히 살펴보도록 한다.Next, the video screen configuration and audio data configuration method of the videoconferencing control device 100 will be described in detail.

도 2는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 화상화면 구성 방법을 나타낸 도면이다.2 is a diagram illustrating a method of configuring an image screen of a video conference control apparatus according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 2자간의 화상회의에서 제 1 화자와 제 2 화자는 2자간의 화상회의에 따른 영상 및 음성 데이터를 상호간에 송수신하면서 본 발명의 화상회의 제어 장치(100)를 이용한 2자 화상화면(a), PIP(picture in picture) 화상화면(b) 및 1자 화상화면(c)을 각자의 표시화면으로 디스플레이할 수 있다.As illustrated in FIG. 2, in a video conference between two parties, the first speaker and the second speaker use the video conference control apparatus 100 of the present invention while transmitting and receiving video and audio data according to the video conference between the two parties. A two-character picture screen (a), a picture in picture (PIP) picture screen (b), and a one-character picture screen (c) can be displayed as their display screens.

제 1 화자 또는 제 2 화자는 화상회의를 위한 화면을 구성함에 있어서, 자신의 영상 데이터를 상대 화자에게 전송하여, 이를 전송받은 상대 화자가 2자의 영상 데이터를 화상회의 제어 장치(100)로 출력한 후, 화상회의 제어 장치(100)를 통해 디스플레이하고자 하는 2자의 화상화면이 구성되도록 할 수 있다.When the first speaker or the second speaker constructs a screen for video conferencing, the first speaker or the second speaker transmits his / her video data to the other speaker, and the counterpart speaker receives the two-person video data to the video conference control device 100. Thereafter, the video conference control device 100 may configure a two-character video screen to be displayed.

이에, 화상회의 제어 장치(100)는 해당 화자의 요구에 따라 2자 화상화면(a) 또는 PIP(picture in picture) 화상화면(b)을 구성한 후, 구성된 화상화면의 영상 데이터를 해당 화자의 화상회의용 애플리케이션으로 출력할 수 있다.Accordingly, the video conferencing control device 100 configures a two-character picture screen (a) or a picture in picture (PIP) picture screen (b) according to the request of the talker, and then the video data of the configured picture screen is displayed. Output to meeting applications.

즉, 화상회의 제어 장치(100)는 해당 화자의 요구에 따라 애플리케이션으로부터 발생되는 화상화면 요구 정보를 참조하여, 도 2에 도시된 화상화면 모드(2자 화상화면(a), PIP(picture in picture) 화상화면(b)) 중 하나의 화상화면 모드를 선택하고, 2자의 각 영상 데이터가 해당 화자의 요구에 따른 위치에 배치되도록 구성한 화상화면의 영상 데이터를 해당 화자의 애플리케이션으로 출력하는 것이다.That is, the video conferencing control device 100 refers to the picture screen request information generated from the application according to the request of the corresponding speaker, and the picture screen mode (two-character picture screen a) and PIP (picture in picture) shown in FIG. ) One of the image screen modes of the image screen (b)) is selected, and the video data of the image screen configured so that each of the two character video data is arranged at a position according to the request of the speaker is outputted to the application of the speaker.

이로부터, 2자 화상화면(a) 또는 PIP(picture in picture) 화상화면(b)의 영상 데이터를 화상회의 제어 장치(100)로부터 입력받은 화자는, 2자 화상화면(a) 또는 PIP(picture in picture) 화상화면(b)의 영상 데이터를 상대 화자에게 전송하여, 이를 전송받은 상대 화자가 화상회의 제어 장치(100)를 통해 디스플레이하고자 하는 2자의 화상화면을 구성할 수 있다.From this, the speaker who has received the video data of the two-character image screen a or the picture in picture (PIP) image screen b from the videoconferencing control apparatus 100 is the two-character image screen a or PIP (picture). in picture) By transmitting the image data of the picture screen (b) to the other party, the other party who has received this can configure a video screen of the two parties to be displayed through the video conference control device (100).

한편, 제 1 화자 또는 제 2 화자는 화상회의를 위한 화면을 구성함에 있어서, 자신의 영상 데이터 또는 상대 화자의 영상 데이터만을 이용하여 자신의 1자 화상화면(c) 또는 상대의 1자 화상화면(c)이 화상회의 제어 장치(100)를 통해 구성 되도록 할 수 있다.On the other hand, when the first speaker or the second speaker constructs a screen for video conferencing, the first speaker or the second speaker uses his or her own video data or the other speaker's video data only (c) or his / her one-person video screen ( c) can be configured through the videoconferencing control device 100.

이와 같이, 화상회의에 참여한 다자 각각은 사용하는 화상회의용 애플리케이션과는 별개인 화상회의 제어 장치(100)를 통해 디스플레이하고자 하는 다양한 화상화면을 구성할 수 있다. As described above, each of the parties to the video conference may configure various video screens to be displayed through the video conference control apparatus 100 separate from the video conference application.

도 3은 본 발명의 바람직한 다른 실시예에 따른 화상회의 제어 장치의 화상화면 구성 방법을 나타낸 도면이다.3 is a diagram illustrating a method of configuring an image screen of a videoconferencing control device according to another exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 화상회의 제어 장치(100)는 4자간의 화상회의에서 3자 화상화면(a), 2자 화상화면(b), POP(picture on picture) 화상화면(c), 4자 화상화면(d), PIP 화상화면(e) 및 1자 화상화면(f) 모드를 제공할 수 있다.As shown in FIG. 3, the video conferencing control device 100 includes a three-character picture screen (a), a two-character picture screen (b), a picture on picture (POP) picture screen (c), and a four-way video conference. The four-character image screen d, the PIP image screen e, and the one-character image screen f can be provided.

이에, 4자간의 화상회의에서 각 화자는 상대 화자로부터 전송되는 각 영상 데이터를 화상회의 제어 장치(100)에 출력하여, 3자 화상화면(a), 2자 화상화면(b), POP(picture on picture) 화상화면(c), 4자 화상화면(d), PIP 화상화면(e) 및 1자 화상화면(f) 중 자신이 디스플레이하고자 하는 화상화면이 화상회의 제어 장치(100)를 통해 구성되도록 할 수 있다.Thus, in a four-way video conference, each speaker outputs each video data transmitted from the other party to the video conference control device 100, so that the three-way video screen a, the two-way video screen b, and the POP (picture) On the picture screen (c), the four-character picture screen (d), the PIP picture screen (e) and the one-character picture screen (f) of the video screen that you want to display is configured through the video conferencing control device 100 You can do that.

더하여, 4자간의 화상회의에서 각 화자는 전술된 화상화면 외에 더 구성하고자 하는 화상화면을 화상회의 제어 장치(100)에 요청하여, 이를 화상회의 제어 장치(100)로부터 제공받을 수 있다.In addition, in a four-way video conference, each speaker may request the video conference control device 100 for a video screen to be configured in addition to the above-described video screen, and may be provided from the video conference control device 100.

도 4는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 믹싱부를 나타낸 도면이다.4 is a diagram illustrating a mixing unit of a videoconferencing control device according to an embodiment of the present invention.

화상회의 제어 장치(100)에서 음성 처리부(140)는, 도 4에 도시된 바와 같이 다수의 믹서(151 내지 158)로 구성되는 믹싱부(150)를 이용하여 다자간 화상회의 참가자들로부터 발생되는 음성 믹싱 정보에 따른 음성 데이터 믹싱을 수행할 수 있다.In the videoconferencing control device 100, the voice processing unit 140 generates voices from the participants in the multiparty videoconference using the mixing unit 150 including the plurality of mixers 151 to 158 as shown in FIG. 4. Voice data mixing according to the mixing information may be performed.

여기서, 도 4는 믹싱부(150)가 다수의 믹서(151 내지 158)를 이용하여 4자간의 화상회의 음성 데이터를 믹싱함에 있어서, 일 실시예로 4자간 화상회의 참가자들로부터 자신의 음성을 제외한 나머지 3자의 음성 데이터를 요구하는 음성 믹싱 정보가 발생된 경우에 대한 음성 믹싱 방법을 나타내고 있다. 4 illustrates an example in which the mixing unit 150 mixes four-way video conferencing voice data using a plurality of mixers 151 to 158. A voice mixing method for a case where voice mixing information for requesting the remaining three characters of voice data is generated is shown.

이에, 믹싱부(150)는 상기 음성 믹싱 정보에 따라 음성 데이터를 제어함에 있어서, 도 4에 도시된 바와 같이 제 1 믹서 내지 제 8 믹서(151 내지 158)를 사용하여 서로 다른 3자의 음성 데이터를 믹싱하고, 각 믹싱된 음성 데이터에 대하여 믹싱에서 제외된 음성 데이터를 발생시킨 사용자 애플리케이션으로 제공되도록 할 수 있다.Thus, in the mixing unit 150 to control the voice data according to the voice mixing information, as shown in Figure 4, using the first mixer to the eighth mixer (151 to 158) different from the third party's voice data And to the user application that generated the voice data excluded from the mixing for each of the mixed voice data.

즉, 믹싱부(150)는 제 1, 2, 3 및 4 사용자 각각으로부터 발생된 제 1 음성(A), 제 2 음성(B), 제 3 음성(C) 및 제 4 음성(D) 데이터를 이용하여 제 1 사용자로 제공하고자 하는 음성 데이터를 발생하는 경우, 먼저 제 4 믹서(154)를 제어하여 제 2 음성(B)과 제 3 음성(C) 데이터를 믹싱하고, 제 8 믹서(158)를 제어하여 상기 믹싱된 음성(BC)과 제 4 음성(D) 데이터를 믹싱함으로, 최종적으로 제 2, 3 및 4 음성(BCD) 데이터를 발생할 수 있다.In other words, the mixing unit 150 may generate the first voice A, the second voice B, the third voice C, and the fourth voice D generated from each of the first, second, third, and fourth users. When generating the voice data to be provided to the first user by using the first, the fourth mixer 154 is controlled to mix the second voice B and the third voice C data, and then the eighth mixer 158. By controlling to mix the mixed voice (BC) and the fourth voice (D) data, it is possible to finally generate the second, third and fourth voice (BCD) data.

이와 같은 믹싱부(150)는 제 2 사용자로 제공하고자 하는 음성 데이터를 발 생하는 경우, 먼저 제 3 믹서(153)를 제어하여 제 1 음성(A)과 제 3 음성(C) 데이터를 믹싱하고, 제 7 믹서(157)를 제어하여 상기 믹싱된 음성(AC)과 제 4 음성(D) 데이터를 믹싱함으로, 제 1, 3 및 4 음성(ACD) 데이터를 발생할 수 있다. When the mixing unit 150 generates voice data to be provided to the second user, the mixing unit 150 first controls the third mixer 153 to mix the first voice A and the third voice C data. By controlling the seventh mixer 157 to mix the mixed voice AC and the fourth voice D data, first, third and fourth voice data may be generated.

또한, 믹싱부(150)는 제 3 사용자로 제공하고자 하는 음성 데이터를 발생하는 경우, 먼저 제 2 믹서(152)를 제어하여 제 1 음성(A)과 제 2 음성(B) 데이터를 믹싱하고, 제 6 믹서(156)를 제어하여 상기 믹싱된 음성(AB)과 제 4 음성(D) 데이터를 믹싱함으로, 제 1, 2 및 4 음성(ABD) 데이터를 발생할 수 있으며, 제 4 사용자로 제공하고자 하는 음성 데이터를 발생하는 경우, 제 1 믹서(151)를 제어하여 제 1 음성(A)과 제 2 음성(B) 데이터를 믹싱한 후, 제 5 믹서(155)를 제어하여 상기 믹싱된 음성(AB)과 제 3 음성(C) 데이터를 믹싱함으로, 제 1, 2 및 3 음성(ABC) 데이터를 발생할 수 있다.In addition, when the mixing unit 150 generates the voice data to be provided to the third user, the mixing unit 150 first controls the second mixer 152 to mix the first voice A and the second voice B data. By controlling the sixth mixer 156 to mix the mixed voice AB and the fourth voice D data, first, second and fourth voice data may be generated and provided to a fourth user. When generating the voice data, the first mixer 151 is controlled to mix the first voice A and the second voice B data, and then the fifth mixer 155 is controlled to control the mixed voice ( By mixing the AB) and the third voice (C) data, first, second and third voice (ABC) data can be generated.

이에, 음성 처리부(140)는 믹싱부(150)에 의해 믹싱 제어되어 최종 발생되는 각 사용자별 음성 데이터에 대하여, 각 사용자가 요구하는 뮤트 및 볼륨이 설정되도록 하고, 해당 뮤트 및 볼륨이 설정된 각 사용자별 음성 데이터가 데이터 처리부(120) 및 데이터 출력부(160)를 거쳐 각 사용자별 화상회의용 애플리케이션으로 제공되도록 할 수 있다.Accordingly, the voice processing unit 140 is controlled by the mixing unit 150 so that the mute and volume required by each user are set for the voice data generated by each user, and each user whose mute and volume are set. The voice data may be provided to the video conferencing application for each user via the data processor 120 and the data output unit 160.

도 5는 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 동작을 나타낸 순서 흐름도이다.5 is a flowchart illustrating the operation of the videoconferencing control apparatus according to the preferred embodiment of the present invention.

도 5에 도시된 바와 같이, 화상회의 제어 장치(100)는 먼저 화상회의에 참여 한 사용자의 화상회의용 애플리케이션으로부터 압축된 다자의 영상 및 음성 데이터가 입력되는 경우(S101), 상기 입력된 데이터를 디코딩하여(S102) 사용자별 영상 및 음성 데이터를 분리 및 추출한다(S103).As illustrated in FIG. 5, the video conferencing control device 100 first decodes the inputted data and audio data from a video conferencing application of a user who participated in the video conferencing (S101). (S102) user and image and audio data are separated and extracted (S103).

이와 같이 영상 및 음성 데이터를 추출한 화상회의 제어 장치(100)는 사용자의 요구를 확인한 후(S104), 추출된 영상 및 음성 데이터를 이용하여 해당 사용자가 요구하는 화상화면 및 음성을 각각 구성한 영상 및 음성 데이터를 생성한다(S105).The video conferencing control device 100 extracting the video and audio data as described above confirms the user's request (S104), and then uses the extracted video and audio data to construct the video and audio required by the user, respectively. Generate data (S105).

그리고, 화상회의 제어 장치(100)는 사용자 요구에 따라 생성한 영상 및 음성 데이터를 인코딩하고(S106), 인코딩된 데이터를 해당 사용자의 화상회의용 애플리케이션으로 출력한다(S107).The videoconferencing control apparatus 100 encodes video and audio data generated according to a user's request (S106), and outputs the encoded data to the videoconferencing application of the corresponding user (S107).

도 6은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 화상화면 구성 방법을 나타낸 순서 흐름도이다.6 is a flowchart illustrating a method of configuring an image screen of a video conference control apparatus according to an exemplary embodiment of the present invention.

도 6을 참조하면, 화상회의 제어 장치(100)는 디코딩된 데이터로부터 획득되는 다자의 영상 데이터를 이용하여 사용자가 요구하는 화상화면을 구성함에 있어서, 먼저 다자의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 영상 데이터만을 활성화한다(S201).Referring to FIG. 6, when the video conferencing control device 100 configures a video screen requested by a user using multi-party video data obtained from the decoded data, the video conference control apparatus 100 first displays a video of the multi-party video data. Only image data is activated (S201).

그리고, 화상회의 제어 장치(100)는 해당 사용자가 요구하는 화상화면 모드를 설정하고(S202), 해당 화상화면 모드에 대한 디스플레이 영역을 설정하여(S203), 설정된 화상호면 모드의 디스플레이 영역에 상기 활성화된 영상 정보가 사용자 요구에 따라 대응되도록 한다(S204). The video conferencing control device 100 sets a video screen mode requested by the user (S202), sets a display area for the video screen mode (S203), and activates the display area of the set video hopping mode. The image information is made to correspond according to a user's request (S204).

도 7은 본 발명의 바람직한 일 실시예에 따른 화상회의 제어 장치의 음성 데이터 구성 방법을 나타낸 순서 흐름도이다.7 is a flowchart illustrating a method of configuring audio data in a videoconferencing control apparatus according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 화상회의 제어 장치(100)는 디코딩된 데이터로부터 획득되는 다자의 음성 데이터를 이용하여, 사용자가 요구하는 음성 데이터를 구성함에 있어서, 먼저 사용자가 요구하는 음성 데이터만을 믹싱한다(S301).As shown in FIG. 7, the videoconferencing control device 100 mixes only the voice data requested by the user in constructing the voice data requested by the user using the multi-party voice data obtained from the decoded data. (S301).

그리고, 화상회의 제어 장치(100)는 믹싱된 음성 데이터에 대하여, 사용자 요구에 따라 뮤트 온/오프(ON/OFF)를 설정한 후(S302), 뮤트 오프인 경우에 대하여 사용자 요구에 따른 볼륨을 설정한다(S303).Then, the videoconferencing control apparatus 100 sets mute on / off according to the user's request for the mixed voice data (S302), and then adjusts the volume according to the user's request in the case of mute off. (S303).

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those skilled in the art.

상기한 바와 같은 본 발명에 따른 화상회의 제어 방법 및 그 장치는, 화상회의에 참여한 다자의 각 화상회의용 애플리케이션으로부터 발생되는 영상 및 음성 데이터를 이용하여 다자 각각이 요구하는 화상화면 및 음성 데이터를 구성함으로, 다양한 화상회의 서비스 구현에 따른 사용자 만족도를 극대화하는 효과를 가진다. The videoconferencing control method and apparatus according to the present invention as described above are configured by using the video and audio data generated from each videoconferencing application of the multiple parties participating in the videoconference to configure the video screen and audio data required by each party. This has the effect of maximizing user satisfaction by implementing various video conferencing services.

그리고, 상기와 같은 본 발명에 따른 화상회의 제어 방법 및 그 장치는, 화상회의에서 각 화상회의용 애플리케이션과 독립적으로 영상 및 음성 데이터를 구성하고 제어함으로, 화상회의 영상 및 음성 데이터 제어에 따른 부가 시스템의 설치비용을 절감하는 효과를 가진다.In addition, the videoconferencing control method and apparatus according to the present invention as described above, by configuring and controlling the video and audio data independently of each videoconferencing application in the videoconferencing, the additional system according to the videoconferencing video and audio data control It has the effect of reducing the installation cost.

Claims (12)

사용자의 화상회의용 애플리케이션(Application)으로부터 입력되는 압축된 데이터를 디코딩하여 화상회의에 참가한 다자의 영상 및 음성 데이터를 추출하고, 상기 애플리케이션으로 제공할 영상 및 음성 데이터를 인코딩하는 데이터 처리부;A data processor which decodes compressed data input from a user's video conferencing application, extracts video and audio data of multiple parties participating in the video conference, and encodes video and audio data to be provided to the application; 상기 추출된 영상 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 화상화면 요구 정보에 따른 화상화면을 구성하기 위한 영상 데이터를 생성하는 영상 처리부; 및 An image processor configured to generate image data for configuring an image screen according to image screen request information generated from the user request by using the extracted image data; And 상기 추출된 음성 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 음성 제어 정보에 따른 음성 데이터를 구성하는 음성 처리부를 포함하는 화상회의 제어 장치.And a voice processing unit configured to use the extracted voice data to construct voice data according to voice control information generated from the user request. 제1항에 있어서,The method of claim 1, 상기 화상화면 요구 정보는,The image screen request information, 사용자가 자신의 화상 장치로 디스플레이(Display)하고자 하는 영상 정보, 화상화면 모드 정보 및 디스플레이 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 화상회의 제어 장치.And at least one of image information, image screen mode information, and display area information that a user wants to display on his / her own image device. 제2항에 있어서,The method of claim 2, 상기 영상 처리부는,The image processor, 상기 화상화면 요구 정보의 영상 정보에 따라 다자의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 사용자 영상 데이터만을 활성화하고, 상기 화상화면 모드 정보에 따라 해당 사용자가 요구하는 화상화면 모드를 선택한 후, 상기 활성화된 각 영상 데이터가 상기 디스플레이 영역 정보에 참조되어 상기 선택된 화상화면 모드의 각 디스플레이 영역에 대응되도록 하는 것을 특징으로 하는 화상회의 제어 장치.According to the image information of the image screen request information, only the user image data that the user wants to display among the multi-party image data is selected, and after selecting the image screen mode requested by the user according to the image screen mode information, the activated And each image data is referred to the display area information so as to correspond to each display area of the selected picture screen mode. 제1항에 있어서,The method of claim 1, 상기 음성 제어 정보는,The voice control information, 사용자가 자신의 화상 장치로 플레이(Play)하고자 요구하는 음성 믹싱 정보, 뮤트 정보 및 볼륨 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 화상회의 제어 장치.And at least one of audio mixing information, mute information, and volume information that a user requests to play with his own video device. 제4항에 있어서,The method of claim 4, wherein 상기 음성 처리부는,The voice processing unit, 상기 음성 제어 정보의 음성 믹싱 정보에 따라 상기 다자의 음성 데이터 중 해당 사용자가 플레이하고자 하는 사용자 음성 데이터만을 믹싱하고, 상기 믹싱된 음성 데이터를 상기 뮤트 정보에 따라 뮤트 온/오프(ON/OFF) 설정하며, 상기 뮤트 오프된 음성 데이터에 대하여 상기 볼륨 정보에 따른 볼륨을 설정하는 것을 특징으로 하는 화상회의 제어 장치.Mix only the user's voice data that the user wants to play among the multi-party voice data according to the voice mixing information of the voice control information, and set the mute on / off according to the mute information. And setting a volume according to the volume information with respect to the muted off voice data. 제5항에 있어서,The method of claim 5, 상기 음성 처리부는,The voice processing unit, 다수의 믹서로 구성되는 믹싱부를 포함하고, 상기 믹싱부를 통해 상기 사용자가 요구하는 음성 데이터 믹싱을 수행하는 것을 특징으로 하는 화상회의 제어 장치.And a mixing unit comprising a plurality of mixers, and performing the mixing of voice data requested by the user through the mixing unit. 제1항에 있어서,The method of claim 1, 상기 사용자의 화상회의용 애플리케이션으로부터 출력되는 압축된 다자의 데이터를 입력받는 데이터 입력부; 및A data input unit configured to receive compressed multi-party data output from the video conferencing application of the user; And 상기 데이터 처리부로부터 인코딩된 영상 및 음성 데이터를 상기 사용자 화상회의용 애플리케이션으로 출력하는 데이터 출력부를 더 포함하는 것을 특징으로 하는 화상회의 제어 장치.And a data output unit for outputting the encoded video and audio data from the data processing unit to the user video conferencing application. 사용자의 화상회의용 애플리케이션으로부터 출력되는 압축된 다자의 데이터를 입력받아 디코딩하는 단계;Receiving and decoding compressed multi-party data output from a video conferencing application of a user; 상기 디코딩된 데이터로부터 화상회의에 참가한 다자의 영상 및 음성 데이터를 추출하는 단계;Extracting video and audio data of multiple parties participating in a video conference from the decoded data; 상기 추출된 영상 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 화상화면 요구 정보에 따른 화상화면을 구성하기 위한 영상 데이터를 생성하는 단계;Generating image data for configuring an image screen according to the image screen request information generated from the user request by using the extracted image data; 상기 추출된 음성 데이터를 이용하여, 상기 사용자 요구로부터 발생되는 음성 제어 정보에 따른 음성 데이터를 구성하는 단계; 및Constructing voice data according to voice control information generated from the user request using the extracted voice data; And 상기 구성된 화상화면 및 음성의 영상 및 음성 데이터를 인코딩하여 상기 사용자 화상 회의용 애플리케이션으로 제공하는 단계를 포함하는 화상회의 제어 장치의 화상회의 제어 방법.And encoding and providing video and audio data of the configured video screen and audio to the user video conferencing application. 제8항에 있어서,The method of claim 8, 사용자 요구로부터 발생되는 화상화면 요구 정보를 제공받는 단계를 더 포함하며,Receiving the picture screen request information generated from the user request, further comprising: 상기 화상화면 요구 정보는 상기 사용자가 디스플레이하고자 하는 영상 정보, 화상화면 모드 정보 및 디스플레이 영역 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 화상회의 제어 방법.And the image screen request information includes at least one of image information, image screen mode information, and display area information to be displayed by the user. 제9항에 있어서,The method of claim 9, 상기 사용자가 요구하는 화상화면을 구성하는 단계는,Comprising the image screen requested by the user, 상기 화상화면 요구 정보의 영상 정보에 따라, 상기 다자의 영상 데이터 중 해당 사용자가 디스플레이하고자 하는 사용자 영상 데이터만을 활성화하는 단계;Activating only user image data to be displayed by a corresponding user among the multi-party image data according to the image information of the image screen request information; 상기 화상화면 모드 정보에 따라 해당 사용자가 요구하는 화상화면 모드를 선택하는 단계; 및 Selecting an image screen mode requested by the corresponding user according to the image screen mode information; And 상기 활성화된 각 영상 데이터가 상기 디스플레이 영역 정보에 참조되어 상기 선택된 화상화면 모드의 각 디스플레이 영역에 대응되도록 하는 단계를 포함하는 것을 특징으로 하는 화상회의 제어 방법.And causing the activated image data to correspond to each display area of the selected picture screen mode by referring to the display area information. 제8항에 있어서,The method of claim 8, 사용자 요구로부터 발생되는 음성 제어 정보를 제공받는 단계를 더 포함하며,Receiving voice control information generated from a user request; 상기 음성 제어 정보는 상기 사용자가 플레이하고자 하는 음성 믹싱 정보, 뮤트 정보 및 볼륨 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 화상회의 제어 방법.And the voice control information includes at least one of voice mixing information, mute information, and volume information to be played by the user. 제11항에 있어서,The method of claim 11, 상기 사용자가 요구하는 음성 데이터를 구성하는 단계는,Comprising the voice data required by the user, 상기 음성 제어 정보의 음성 믹싱 정보에 따라, 상기 다자의 음성 데이터 중 해당 사용자가 플레이하고자 하는 사용자 음성 데이터만을 믹싱하는 단계;Mixing only user voice data that a corresponding user intends to play among the multiparty voice data according to voice mixing information of the voice control information; 상기 믹싱된 음성 데이터를 상기 뮤트 정보에 따라 뮤트 온/오프 설정하는 단계; 및Muting on / off the mixed voice data according to the mute information; And 상기 볼륨 정보에 따라 상기 뮤트 오프 설정된 음성 데이터 볼륨을 조절하는 단계를 포함하는 것을 특징으로 하는 화상회의 제어 방법.And adjusting the mute-off voice data volume according to the volume information.
KR1020070037946A 2007-04-18 2007-04-18 Apparatus and method for controlling video conference KR100847147B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070037946A KR100847147B1 (en) 2007-04-18 2007-04-18 Apparatus and method for controlling video conference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070037946A KR100847147B1 (en) 2007-04-18 2007-04-18 Apparatus and method for controlling video conference

Publications (1)

Publication Number Publication Date
KR100847147B1 true KR100847147B1 (en) 2008-07-18

Family

ID=39824807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070037946A KR100847147B1 (en) 2007-04-18 2007-04-18 Apparatus and method for controlling video conference

Country Status (1)

Country Link
KR (1) KR100847147B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427278B1 (en) 2008-07-18 2014-08-06 엘지전자 주식회사 Video conference server and video conference terminal and video conference method using the same
KR101559170B1 (en) 2008-09-11 2015-10-12 엘지전자 주식회사 A display apparatus and method for controllong thesame
KR101561371B1 (en) 2011-07-14 2015-10-26 가부시키가이샤 리코 Multipoint connection apparatus and communication system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0138862B1 (en) * 1994-12-14 1998-05-15 양승택 Selective audio synthesize module for audio and visual conference
KR0141319B1 (en) * 1994-11-16 1998-06-15 김준성 Multi-point control unit architecture for video conference
KR0162435B1 (en) * 1995-01-16 1998-12-15 구자홍 Apparatus for displaying semi-dynamic picture image multi-screen of a television receiver
KR20060058835A (en) * 2004-11-26 2006-06-01 한국전자통신연구원 Method and system for control of multilateral multimedia conference service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0141319B1 (en) * 1994-11-16 1998-06-15 김준성 Multi-point control unit architecture for video conference
KR0138862B1 (en) * 1994-12-14 1998-05-15 양승택 Selective audio synthesize module for audio and visual conference
KR0162435B1 (en) * 1995-01-16 1998-12-15 구자홍 Apparatus for displaying semi-dynamic picture image multi-screen of a television receiver
KR20060058835A (en) * 2004-11-26 2006-06-01 한국전자통신연구원 Method and system for control of multilateral multimedia conference service

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427278B1 (en) 2008-07-18 2014-08-06 엘지전자 주식회사 Video conference server and video conference terminal and video conference method using the same
KR101559170B1 (en) 2008-09-11 2015-10-12 엘지전자 주식회사 A display apparatus and method for controllong thesame
KR101561371B1 (en) 2011-07-14 2015-10-26 가부시키가이샤 리코 Multipoint connection apparatus and communication system

Similar Documents

Publication Publication Date Title
JP5781441B2 (en) Subscription for video conferencing using multi-bitrate streams
KR100748700B1 (en) Video conference system and method using white board
CN101731008B (en) Devices, methods for providing multi-point video conferencing unit functions
EP2749021B1 (en) Method, computer- readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal
US8379075B2 (en) Method, device, and computer-readable medium for processing images during video conferencing
US10715764B2 (en) System and method for scalable media switching conferencing
KR101577986B1 (en) System for generating two way virtual reality
US20140125755A1 (en) User-defined content magnification and multi-point video conference system, method and logic
US10230848B2 (en) Method and system for controlling communications for video/audio-conferencing
US7962740B2 (en) Method and apparatus for synchronizing audio and video in encrypted videoconferences
US8717408B2 (en) Conducting a private videoconference within a videoconference via an MCU
WO2015154608A1 (en) Method, system and apparatus for sharing video conference material
US8717409B2 (en) Conducting a direct private videoconference within a videoconference
WO2012000297A1 (en) Multi-point sound mixing and long distance view showing method, device and system
KR100847147B1 (en) Apparatus and method for controlling video conference
KR101918674B1 (en) Videoconferencing Server for Providing Multi-Screen Videoconferencing by Using Plural Videoconferencing Terminals and Audio Echo-Cancelling Method therefor
WO2014177082A1 (en) Video conference video processing method and terminal
JP2007135108A (en) Network conference support program and network conference support server
CN116320514A (en) Live broadcast method, system, electronic equipment and medium for audio and video conference
KR101861561B1 (en) Videoconferencing Server for Providing Multi-Screen Videoconferencing by Using Plural Videoconferencing Terminals and Method therefor
KR100949233B1 (en) Apparatus and method for document sharing by using standard video terminal and ip tv
KR20020014068A (en) Image conference system and method for constructing call environment therefor
CN116636201A (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence of remote terminals using RTCP feedback
JP2022116906A (en) Program, Terminal, Server Device, Terminal Processing Method, Server Device Processing Method, and Conference System
KR20100009429A (en) Video conference server and video conference terminal and video conference method using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee