KR20200045205A

KR20200045205A - Method for service video conference and apparatus for executing the method

Info

Publication number: KR20200045205A
Application number: KR1020180125954A
Authority: KR
Inventors: 정지원; 윤희태; 강준호; 김상범; 김대우; 안호성; 김재구
Original assignee: 삼성에스디에스 주식회사
Priority date: 2018-10-22
Filing date: 2018-10-22
Publication date: 2020-05-04
Also published as: KR102501233B1

Abstract

Disclosed are a method for a video conference service and a computing device for performing the same to allow conference participants to smoothly share a conference agenda. The computing device according to one embodiment of the present disclosure comprises: one or more processors; and a memory storing one or more programs executed by the one or more processors. The computing device of a participant participating in a video conference includes: a monitoring unit monitoring at least one of a network state of the computing device and resource performance of the computing device; and a determination unit determining one or more of a transmission mode and a transmission method of voice data among video conference data according to one or more of the network state of the computing device and the resource performance of the computing device.

Description

METHOD FOR SERVICE VIDEO CONFERENCE AND APPARATUS FOR EXECUTING THE METHOD}

본 발명의 실시예는 화상 회의 기술과 관련된다.Embodiments of the invention relate to video conferencing technology.

화상 회의(Video conference)란 2인 이상의 회의 참석자가 디스플레이 및 카메라를 이용하여 원격에서 회의를 수행하는 원격 통신 시스템이다. 이러한 화상 회의를 이용할 경우 서로 다른 장소에 있는 사람들이 편리하게 협업을 수행할 수 있다.A video conference is a telecommunications system in which two or more conference attendees conduct a conference remotely using a display and a camera. With these video conferencing, people in different locations can collaborate conveniently.

화상 회의 중 특정한 회의 참석자 단말의 네트워크 환경이 영상 및 음성 데이터의 송수신을 위한 필요 수준을 만족하지 못하는 경우, 해당 회의 참석자는 화상 회의 내용을 원활하게 공유할 수 없게 된다. 특히, 영상 및 음성 데이터는 데이터의 실시간성 보장이 중요하기 때문에, 전송 속도가 상대적으로 빠른 비 전송 보장 방식으로 데이터를 보내는 경우가 많다. When a network environment of a specific conference participant terminal does not satisfy a required level for transmitting and receiving video and audio data during a video conference, the conference participants cannot smoothly share the video conference content. In particular, since it is important to guarantee real-time data, video and audio data are often transmitted in a non-transmission guarantee method with a relatively high transmission speed.

이때, 회의 참석자 단말의 네트워크 환경에서 패킷의 손실, 패킷의 지연, 사용 가능 대역폭 감소, 패킷의 순서 변경 등이 발생하여 영상 및 음성 데이터의 송수신을 위한 필요 수준을 만족하지 못하게 되면, 회의 참석자는 수 초간 인지할 수 없는 정도의 영상 및 음성 데이터를 공유 받게 되거나, 아예 영상 및 음성 데이터를 받지 못하는 경우도 발생하게 된다.At this time, if packet loss, packet delay, usable bandwidth reduction, packet order change, etc. occur in the network environment of the conference attendant terminal, and the required level for transmitting and receiving video and audio data is not satisfied, the number of conference participants The video and audio data of an unrecognizable degree may be shared for a second, or a video or audio data may not be received at all.

특히, 참석자 한 명이 발화 중일 때 음성 데이터의 수 초간의 손실은 회의 내용의 맥락을 이해할 수 있는 중요한 정보의 누락으로 이어져 화상 회의의 효율성을 떨어뜨리는 요인이 된다. In particular, when a participant is speaking, the loss of a few seconds of voice data leads to the omission of important information that can understand the context of the meeting, which is a factor that decreases the efficiency of the video conference.

한국공개특허공보 제10-2014-0098573호(2014.08.08)Korean Patent Publication No. 10-2014-0098573 (2014.08.08)

개시되는 실시예들은 네트워크 환경이 열악한 경우에도 회의 참석자들이 회의 내용을 원활히 공유할 수 있도록 하는 화상 회의 서비스 방법 및 이를 수행하기 위한 장치를 제공하기 위한 것이다. Disclosed embodiments are to provide a video conferencing service method and an apparatus for performing the video conferencing service method so that conference participants can smoothly share conference content even when the network environment is poor.

개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서, 상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 모니터링부; 및 상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 결정부를 포함한다.A computing device according to one disclosed embodiment includes one or more processors, and a memory storing one or more programs executed by the one or more processors, the computing device of an attendee attending a video conference, the computing A monitoring unit that monitors one or more of a device's network status and resource performance of the computing device; And a determination unit that determines one or more of a transmission type and a transmission method of voice data among video conference data according to one or more of network status and resource performance of the computing device.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 통신부를 더 포함할 수 있다.The computing device may further include a communication unit that transmits the voice data to the relay server of the video conference in a non-transmission guarantee method when the network state of the computing device is greater than or equal to a predetermined level.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 변환부; 및 상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 통신부를 더 포함할 수 있다.The computing device may include a converter configured to convert the voice data into text data when the network state of the computing device is less than a preset level and the resource performance of the computing device is greater than or equal to a preset level; And a communication unit transmitting the converted text data to the relay server of the video conference in a transmission guarantee method.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 요청부; 및 상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 통신부를 더 포함할 수 있다.The computing device requests the relay server of the video conference to convert the voice data into text data when the network state of the computing device is less than a preset level and the resource performance of the computing device is less than a preset level. Requesting unit; And it may further include a communication unit for transmitting the voice data to the relay server in a transmission guarantee method.

상기 모니터링부는, 상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고, 상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인할 수 있다.The monitoring unit checks whether the network status of the computing device is at a level capable of transmitting voice data among the video conference data to the relay server of the video conference, and the resource performance of the computing device is STT (Speech to Text) operation. You can check whether it is a level that can perform.

개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치로서, 상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 모니터링부; 및 상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 결정부를 포함한다.A computing device according to another disclosed embodiment includes a memory for storing one or more processors, and one or more programs executed by the one or more processors, the computing device of a participant attending a video conference, the computing Monitoring unit for monitoring the network status of the device; And a determining unit for determining at least one of a reception mode and a reception method of voice data among the video conference data according to at least one of a network state of the computing device and a data reception type of the relay server of the video conference.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.The computing device includes: a requesting unit requesting the relay server to transmit the voice data in a non-transfer guarantee method when the network state of the computing device is equal to or higher than a predetermined level; And a communication unit that receives the voice data from the relay server in a non-transfer guarantee method when the relay server is receiving the voice data from another computing device.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부를 더 포함하고, 상기 요청부는, 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청할 수 있다.The computing device further includes a requesting unit requesting the relay server to transmit the voice data in a non-transfer guarantee method when the network state of the computing device is higher than a predetermined level, and the requesting unit comprises: When receiving the voice data as text data from another computing device, the relay server may request to transmit the voice data in a text data and transmission guarantee method.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.The computing device may include a requesting unit requesting the relay server to transmit the voice data in a text data and a transmission guarantee method when the network state of the computing device is less than a predetermined level; And a communication unit receiving the text data from the relay server in a transmission guarantee scheme when the relay server is receiving the voice data as text data from another computing device.

상기 컴퓨팅 장치는, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 요청부를 더 포함하고, 상기 요청부는, 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하며, 상기 컴퓨팅 장치는, 상기 중계 서버로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신하는 통신부를 더 포함할 수 있다.The computing device further includes a requesting unit requesting the relay server to transmit the voice data in the form of text data and a transmission guarantee method when the network state of the computing device is less than a predetermined level. When the relay server is receiving the voice data from another computing device, converts the voice data into text data, transmits a request to transmit the converted text data in a transmission guarantee method to the relay server, and the computing device The communication unit may further include a communication unit that receives the converted text data from the relay server in a transmission guarantee method.

개시되는 일 실시예에 따른 화상 회의 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서, 상기 컴퓨팅 장치의 네트워크 상태 및 상기 컴퓨팅 장치의 자원 성능 중 하나 이상을 모니터링 하는 단계; 및 상기 컴퓨팅 장치의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정하는 단계를 포함한다.A video conferencing service method according to an disclosed embodiment includes one or more processors and a memory storing one or more programs executed by the one or more processors, and is performed by a computing device of an attendee who has attended the video conference A method comprising: monitoring one or more of a network condition of the computing device and resource performance of the computing device; And determining one or more of a transmission type and a transmission method of voice data among video conference data according to one or more of network conditions and resource performance of the computing device.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함할 수 있다.The video conferencing service method may further include the step of transmitting the voice data to the relay server of the video conference in a non-transfer guarantee method when the network status of the computing device is equal to or higher than a predetermined level.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 이상인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하는 단계; 및 상기 변환된 텍스트 데이터를 전송 보장 방식으로 상기 화상 회의의 중계 서버로 송신하는 단계를 더 포함할 수 있다.The video conferencing service method includes: when the network state of the computing device is less than a preset level, and the resource performance of the computing device is greater than a preset level, converting the voice data into text data; And transmitting the converted text data to a relay server of the video conference in a transmission guarantee method.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만이고, 상기 컴퓨팅 장치의 자원 성능이 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 상기 화상 회의의 중계 서버로 요청하는 단계; 및 상기 음성 데이터를 전송 보장 방식으로 상기 중계 서버로 송신하는 단계를 더 포함할 수 있다.In the video conferencing service method, when the network state of the computing device is less than a predetermined level, and the resource performance of the computing device is less than a predetermined level, the relay server of the video conference is configured to convert the voice data into text data. Requesting; And transmitting the voice data to the relay server in a transmission guarantee method.

상기 모니터링 하는 단계는, 상기 컴퓨팅 장치의 네트워크 상태가 상기 화상 회의 데이터 중 음성 데이터를 상기 화상 회의의 중계 서버로 전송할 수 있는 수준인지 여부를 확인하고, 상기 컴퓨팅 장치의 자원 성능이 STT(Speech to Text) 작업을 수행할 수 있는 수준인지 여부를 확인할 수 있다.In the monitoring step, it is determined whether the network status of the computing device is a level capable of transmitting voice data among the video conference data to the relay server of the video conference, and the resource performance of the computing device is STT (Speech to Text). ) You can check whether it is at a level that can perform the task.

개시되는 다른 실시예에 따른 화상 회의 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하며, 화상 회의에 참석한 참석자의 컴퓨팅 장치에서 수행되는 방법으로서, 상기 컴퓨팅 장치의 네트워크 상태를 모니터링 하는 단계; 및 상기 컴퓨팅 장치의 네트워크 상태 및 상기 화상 회의의 중계 서버의 데이터 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정하는 단계를 포함한다.A video conferencing service method according to another disclosed embodiment includes one or more processors and a memory storing one or more programs executed by the one or more processors, and is performed by a computing device of an attendee who has attended the video conference A method comprising: monitoring a network condition of the computing device; And determining at least one of a reception type and a reception method of voice data among the video conference data according to at least one of a network state of the computing device and a data reception type of the relay server of the video conference.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 중계 서버로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.The video conferencing service method includes: when the network state of the computing device is higher than a predetermined level, requesting the relay server to transmit the voice data in a non-transfer guarantee method; And when the relay server is receiving the voice data from another computing device, receiving the voice data from the relay server in a non-transmission guarantee method.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 이상인 경우, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.The video conferencing service method includes: when the network state of the computing device is higher than a predetermined level, requesting the relay server to transmit the voice data in a non-transfer guarantee method; When the relay server is receiving the voice data as text data from another computing device, requesting the relay server to transmit the voice data in a text data and transmission guarantee method; And receiving the text data from the relay server in a transmission guarantee method.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 및 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 텍스트 형태의 데이터로 수신 중인 경우, 상기 중계 서버로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.The video conferencing service method includes: when the network state of the computing device is less than a predetermined level, requesting the relay server to transmit the voice data in the form of text data and a transmission guarantee method; And when the relay server is receiving the voice data as text data from another computing device, receiving the text data from the relay server in a transmission guarantee method.

상기 화상 회의 서비스 방법은, 상기 컴퓨팅 장치의 네트워크 상태가 기 설정된 수준 미만인 경우, 상기 음성 데이터를 텍스트 형태의 데이터 및 전송 보장 방식으로 전송해줄 것을 상기 중계 서버로 요청하는 단계; 상기 중계 서버가 다른 컴퓨팅 장치로부터 상기 음성 데이터를 수신 중인 경우, 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 상기 중계 서버로 전송하는 단계; 및 상기 중계 서버로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신하는 단계를 더 포함할 수 있다.The video conferencing service method includes: when the network state of the computing device is less than a predetermined level, requesting the relay server to transmit the voice data in the form of text data and a transmission guarantee method; If the relay server is receiving the voice data from another computing device, converting the voice data into text data and transmitting a request to transmit the converted text data in a transmission guarantee method to the relay server; And receiving the converted text data from the relay server in a transmission guarantee method.

개시되는 실시예에 의하면, 화상 회의 참석자의 단말기의 네트워크 상태에 따라 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 전송해줌으로써, 화상 회의의 다른 참석자가 발화 내용의 손실 없이 회의 내용을 지속적으로 공유할 수 있게 된다.According to the disclosed embodiment, by converting and transmitting voice data among the video conference data to text data according to the network status of the video conference attendee's terminal, other participants in the video conference continuously share the contents of the conference without losing speech. I can do it.

또한, STT 작업이 참석자의 단말기에서 수행될 수 없는 상태에서는 중계 서버로 대체 수행을 요청하고, 데이터 전송 방식을 비 전송 보장 방식에서 전송 보장 방식으로 변경함으로써, 음성 데이터의 원본 데이터를 보존하여 STT 작업의 정확도를 향상시킬 수 있게 된다.In addition, when the STT operation cannot be performed at the attendee's terminal, the relay server requests an alternative performance, and by changing the data transmission method from a non-transmission guarantee method to a transmission guarantee method, the original data of the voice data is preserved to perform the STT operation It is possible to improve the accuracy of.

도 1은 본 발명의 일 실시예에 따른 화상 회의 시스템의 구성을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 제1 클라이언트 장치의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 제2 클라이언트 장치의 구성을 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 화상 회의 방법을 설명하기 위한 흐름도
도 5는 본 발명의 다른 실시예에 따른 화상 회의 방법을 설명하기 위한 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a view showing the configuration of a video conference system according to an embodiment of the present invention
2 is a block diagram showing the configuration of a first client device according to an embodiment of the present invention
3 is a block diagram showing the configuration of a second client device according to an embodiment of the present invention
4 is a flowchart illustrating a video conference method according to an embodiment of the present invention
5 is a flowchart illustrating a video conferencing method according to another embodiment of the present invention
6 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is only for describing embodiments of the present invention and should not be limiting. Unless expressly used otherwise, a singular form includes a plural form. In this description, expressions such as “comprising” or “equipment” are intended to indicate certain characteristics, numbers, steps, actions, elements, parts or combinations thereof, and one or more other than described. It should not be interpreted to exclude the presence or possibility of other characteristics, numbers, steps, actions, elements, or parts or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, the terms “transmission”, “communication”, “transmission”, “reception” and the like of the signal or information are not only those in which a signal or information is transmitted directly from one component to another. This includes passing through other components. In particular, "transmitting" or "transmitting" a signal or information to a component indicates the final destination of the signal or information, not a direct destination. The same is true for the "reception" of a signal or information. Also, in this specification, when two or more pieces of data or information are “related” means that acquiring one piece of data (or information) can acquire at least part of the other piece of data (or information) based on it.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Further, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may also be referred to as a first component.

개시되는 실시예들에서는, 화상 회의 중 네트워크 환경이 열악한 클라이언트 장치들도 화상 회의 내용을 공유할 수 있도록 하기 위해, STT(Speech to Text) 기술 및 TTS(Text to Speech) 기술을 활용한다. 예를 들어, 발신 측 클라이언트 장치는 화상 회의 데이터 중 음성 데이터를 STT 기술을 통해 텍스트 데이터로 변환하여 중계 서버로 전송할 수 있다. 텍스트 데이터는 음성 데이터와 비교하여 용량이 매우 적다. 따라서 음성 데이터를 텍스트 데이터로 변환하여 전송할 경우 음성 데이터에 비해 사용 네트워크 대역폭을 줄일 수 있으며, 화상 회의 데이터의 송수신 시 발생하는 패킷 손실 등으로 인한 대화 내용의 불완전성을 보완할 수 있게 된다. 텍스트 형태로 변환된 데이터는 이후 수신측 클라이언트 장치에서 TTS 기술을 통해 음성 데이터로 변환되어 재생됨에 따라, 화상 회의 참석자들이 음성 대화를 진행하는 것과 같은 경험을 제공할 수 있게 된다. In the disclosed embodiments, STT (Speech to Text) technology and Text to Speech (TTS) technology are used to allow client devices having a poor network environment during video conference to share video conference content. For example, the calling-side client device may convert voice data among video conference data into text data through STT technology and transmit it to a relay server. Text data has a very small capacity compared to voice data. Therefore, when the voice data is converted into text data and transmitted, the network bandwidth used can be reduced compared to the voice data, and the incompleteness of the conversation content due to packet loss during transmission and reception of video conference data can be compensated. As the data converted into the text form is then converted and played back into voice data through the TTS technology on the receiving client device, it is possible to provide an experience such as video conferencing participants having a voice conversation.

STT 기술을 통한 데이터 변환 작업은 정확도 향상을 위해 딥 러닝(Deep Learning) 등과 같이 자원 소모가 큰 알고리즘이 필요하게 된다. 따라서, 발신 측 클라이언트 장치의 자원 성능 수준 등을 고려하여 상기 데이터 변환 작업은 클라이언트 장치가 아닌 중계 서버에서 대체 수행되도록 할 수 있다. Data conversion through STT technology requires algorithms with high resource consumption, such as deep learning, to improve accuracy. Therefore, considering the resource performance level of the originating client device, the data conversion operation may be performed by the relay server instead of the client device.

STT 기술을 통한 데이터 변환 작업을 중계 서버에서 대체 수행하도록 하는 경우, 발신측 클라이언트 장치는 중계 서버로 음성 데이터를 전송하게 되는데, 이때 음성 데이터의 보존이 중요해진다. 즉, 음성 데이터가 네트워크 환경의 악화로 인해 전송 도중 유실되거나 손실되는 경우, 중계 서버에서 STT를 통한 데이터 변환 작업은 그 정확도가 떨어지게 된다. 따라서, STT에 의한 데이터 변환 작업을 중계 서버에서 대체 수행하도록 하는 경우에는, 음성 데이터의 전송 방식을 전송 보장 방식으로 전환하여 전송함으로써, 음성 데이터를 비 전송 보장 방식에 의해 전송하는 경우보다 속도는 느려진다 하여도 STT를 통한 데이터 변환 작업의 정확성을 높일 수 있도록 한다.When the relay server is to perform the data conversion operation through STT technology, the calling client device transmits the voice data to the relay server, where preservation of the voice data becomes important. That is, when voice data is lost or lost during transmission due to deterioration of the network environment, the accuracy of the data conversion operation through the STT in the relay server is deteriorated. Therefore, in the case where the relay server performs the data conversion operation by STT, the transmission speed of the voice data is slower than when the voice data is transmitted by the non-transmission guarantee method by switching the transmission method of the voice data to the transmission guarantee method. Even so, it is possible to improve the accuracy of data conversion through STT.

도 1은 본 발명의 일 실시예에 따른 화상 회의 시스템의 구성을 나타낸 블록도이다. 도 1을 참조하면, 화상 회의 시스템(100)은 제1 클라이언트 장치(102), 제2 클라이언트 장치(104), 및 중계 서버(106)를 포함할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 통신 네트워크(150)를 통해 중계 서버(106)와 통신 가능하게 연결된다. 몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.1 is a block diagram showing the configuration of a video conference system according to an embodiment of the present invention. Referring to FIG. 1, the video conference system 100 may include a first client device 102, a second client device 104, and a relay server 106. The first client device 102 and the second client device 104 are communicatively connected to the relay server 106 through the communication network 150. In some embodiments, communication network 150 may be the Internet, one or more local area networks, wide area networks, cellular networks, mobile networks, other types of networks, or such networks. It can include a combination of.

제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의에 참가하는 참석자의 단말이다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의에 필요한 카메라, 마이크, 스피커 등의 장비를 구비할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 중계 서버(106)에 접속하여 화상 회의를 수행할 수 있는 다양한 컴퓨팅 장치(예를 들어, 스마트 폰, 랩탑, 태블릿 PC 등)를 포함할 수 있다.The first client device 102 and the second client device 104 are terminals of participants who participate in a video conference. The first client device 102 and the second client device 104 may include equipment such as a camera, a microphone, and a speaker required for a video conference. The first client device 102 and the second client device 104 include various computing devices (eg, smart phones, laptops, tablet PCs, etc.) that can connect to the relay server 106 and perform video conferences. can do.

제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 각각 화상 회의 중 사용되는 기능에 따라 화상 회의 데이터를 송신할 수도 있고 수신할 수도 있다. 즉, 화상 회의의 특성상 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)는 화상 회의 데이터의 송수신 기능을 모두 포함하게 된다. 다만 이하에서는 설명의 편의상, 제1 클라이언트 장치(102)를 화상 회의 데이터를 송신하는 장치로 하고, 제2 클라이언트 장치(104)를 화상 회의 데이터를 수신하는 장치로 하여 설명하기로 한다. Each of the first client device 102 and the second client device 104 may transmit or receive video conference data according to a function used during a video conference. That is, due to the nature of the video conference, the first client device 102 and the second client device 104 include both the functions of transmitting and receiving video conference data. However, hereinafter, for convenience of description, the first client device 102 will be described as a device for transmitting video conference data, and the second client device 104 will be described as a device for receiving video conference data.

제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식을 결정하고, 결정된 송신 형태 및 송신 방식에 따라 중계 서버(106)로 해당 데이터를 송신할 수 있다. The first client device 102 determines the transmission mode and transmission method of voice data among the video conference data based on the network status of the first client device 102 and the resource performance of the first client device 102, and the determined transmission The data can be transmitted to the relay server 106 according to the form and transmission method.

구체적으로, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. Specifically, the first client device 102 relays the voice data in the video conference data in a non-transfer guaranteed manner based on the network status of the first client device 102 and the resource performance of the first client device 102. 106).

또한, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 텍스트 형태의 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. In addition, the first client device 102 converts the voice data from the video conference data into text data based on the network status of the first client device 102 and the resource performance of the first client device 102, and converts The transmitted text data can be transmitted to the relay server 106 in a transmission guarantee method.

또한, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태 및 제1 클라이언트 장치(102)의 자원 성능에 기초하여 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신하되, 송신되는 음성 데이터를 텍스트 데이터로 변환해줄 것을 중계 서버(106)에 요청할 수 있다. In addition, the first client device 102 relays the voice data in the video conference data based on the network status of the first client device 102 and the resource performance of the first client device 102 in a guaranteed manner to the relay server 106 However, it is possible to request the relay server 106 to convert the transmitted voice data into text data.

제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기초하여 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식을 결정하고, 결정된 수신 형태 및 수신 방식에 따라 중계 서버(106)로부터 해당 데이터를 수신할 수 있다. The second client device 104 determines the reception form and reception method of the audio data in the video conference data based on the network state of the second client device 102 and the data reception form of the relay server 106, and the determined reception form And corresponding data from the relay server 106 according to the reception method.

구체적으로, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기반하여 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로부터 수신할 수 있다. Specifically, the second client device 104 relays the voice data in the video conference data in a non-transfer guarantee manner based on the network status of the second client device 102 and the data reception form of the relay server 106. ).

또한, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(102)의 네트워크 상태 및 중계 서버(106)의 데이터 수신 형태에 기반하여 화상 회의 데이터 중 음성 데이터를 텍스트 데이터 형태로 전송 보장 방식으로 중계 서버(106)로부터 수신할 수 있다. 제1 클라이언트 장치(102) 및 제2 클라이언트 장치(104)의 구성 및 동작에 대한 자세한 설명은 도 2 및 도 3을 참조하여 후술하기로 한다. In addition, the second client device 104 relays the voice data in the video conference data in the form of text data, based on the network status of the second client device 102 and the data reception form of the relay server 106, in a relay server (106). A detailed description of the configuration and operation of the first client device 102 and the second client device 104 will be described later with reference to FIGS. 2 and 3.

중계 서버(106)는 제1 클라이언트 장치(102)와 제2 클라이언트 장치(104) 간 화상 회의를 중계하는 장치이다. 중계 서버(106)는 제1 클라이언트 장치(102)로부터 화상 회의 데이터(예를 들어, 영상 및 음성 데이터)를 수신하여 제2 클라이언트 장치(104)로 송신할 수 있다. 중계 서버(106)는 제1 클라이언트 장치(102) 또는 제2 클라이언트 장치(104)의 요청에 따라 음성 데이터를 텍스트 데이터로 변환할 수 있다. 중계 서버(106)는 제1 클라이언트 장치(102)에서 제2 클라이언트 장치(104)로 전달되어야 하는 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식을 기록 및 관리할 수 있다. The relay server 106 is a device that relays a video conference between the first client device 102 and the second client device 104. The relay server 106 may receive video conference data (eg, video and audio data) from the first client device 102 and transmit it to the second client device 104. The relay server 106 may convert voice data into text data at the request of the first client device 102 or the second client device 104. The relay server 106 may record and manage the transmission form and transmission method of voice data among video conference data to be transmitted from the first client device 102 to the second client device 104.

도 2는 본 발명의 일 실시예에 따른 제1 클라이언트 장치(102)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 제1 클라이언트 장치(102)는 제1 모니터링부(111), 제1 결정부(113), 제1 요청부(115), 제1 변환부(117), 및 제1 통신부(119)를 포함할 수 있다.2 is a block diagram showing the configuration of a first client device 102 according to an embodiment of the present invention. Referring to FIG. 2, the first client device 102 includes a first monitoring unit 111, a first determination unit 113, a first request unit 115, a first conversion unit 117, and a first communication unit (119).

제1 모니터링부(111)는 제1 클라이언트 장치(102)의 네트워크 상태를 모니터링할 수 있다. 제1 모니터링부(111)는 제1 클라이언트 장치(102)와 중계 서버(106) 간의 네트워크 상태를 모니터링할 수 있다. 제1 모니터링부(111)는 화상 회의 중 주기적으로 제1 클라이언트 장치(102)의 네트워크 상태를 모니터링할 수 있다. The first monitoring unit 111 may monitor the network status of the first client device 102. The first monitoring unit 111 may monitor the network status between the first client device 102 and the relay server 106. The first monitoring unit 111 may periodically monitor the network status of the first client device 102 during a video conference.

제1 모니터링부(111)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준(예를 들어, 음성 데이터를 송신할 수 있는 수준) 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제1 모니터링부(111)는 사용 가능 대역폭 감소, 패킷 손실, 패킷 지연, 및 패킷 순서 변경 등의 발생 여부에 따라 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인할 수 있다.The first monitoring unit 111 may check whether the network status of the first client device 102 is higher than a preset level (for example, a level capable of transmitting voice data). In an exemplary embodiment, the first monitoring unit 111 has a network level of the first client device 102 greater than or equal to a predetermined level according to whether available bandwidth reduction, packet loss, packet delay, and packet order change occur. You can check whether it is.

또한, 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능을 모니터링할 수 있다. 제1 모니터링부(111)는 화상 회의 중 주기적으로 제1 클라이언트 장치(102)의 CPU 사용량, 메모리 사용량 등의 자원 성능을 모니터링할 수 있다. 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제1 모니터링부(111)는 제1 클라이언트 장치(102)의 자원 성능이 STT(Speech to Text)를 수행할 수 있는 수준인지 여부를 모니터링할 수 있다. Also, the first monitoring unit 111 may monitor resource performance of the first client device 102. The first monitoring unit 111 may periodically monitor resource performance such as CPU usage and memory usage of the first client device 102 during a video conference. The first monitoring unit 111 may check whether the resource performance of the first client device 102 is greater than or equal to a preset level. In an exemplary embodiment, the first monitoring unit 111 may monitor whether the resource performance of the first client device 102 is at a level capable of performing speech to text (STT).

제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태 및 자원 성능 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 송신 형태 및 송신 방식 중 하나 이상을 결정할 수 있다. The first determining unit 113 may determine one or more of a transmission type and a transmission method of voice data among video conference data according to one or more of network status and resource performance of the first client device 102.

구체적으로, 제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인 경우, 화상 회의 데이터 중 음성 데이터를 별도의 변환 없이 그대로 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 음성 데이터를 비 전송 보장 방식으로 송신할 것으로 결정할 수 있다. 여기서, 비 전송 보장 방식은 예를 들어, UDP(User Datagram Protocol) 등과 같은 RTP(Real Time Protocol)을 이용하여 데이터를 전송하는 방식일 수 있다. 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터(원래 형태의 음성 데이터)를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.Specifically, when the network status of the first client device 102 is greater than or equal to a preset level, the first decision unit 113 may determine that the voice data among the video conference data is to be transmitted without conversion. In this case, the first determination unit 113 may decide to transmit the voice data in a non-transmission guarantee method. Here, the non-transmission guarantee method may be, for example, a method of transmitting data using a Real Time Protocol (RTP) such as User Datagram Protocol (UDP). The first communication unit 119 may transmit the voice data (original voice data) among the video conference data to the relay server 106 in a non-transfer guarantee method.

제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만이고, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준(예를 들어, STT(Speech to Text)를 수행할 수 있는 수준) 이상인 경우, 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 텍스트 데이터를 전송 보장 방식으로 송신할 것으로 결정할 수 있다. 여기서, 전송 보장 방식은 예를 들어, TCP(Transmission Control Protocol) 등을 이용하여 데이터를 전송하는 방식일 수 있다. 즉, 제1 통신부(119)는 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 전송할 수 있다. The first determination unit 113 has a network state of the first client device 102 is less than a preset level, and a resource performance of the first client device 102 is a preset level (eg, Speech to Text (STT)) If the level is higher than or equal to), it may be determined that the audio data is converted into text data and then transmitted. In this case, the first determination unit 113 may decide to transmit the text data in a transmission guarantee method. Here, the transmission guarantee method may be a method of transmitting data using, for example, Transmission Control Protocol (TCP). That is, the first communication unit 119 may transmit the voice data converted into the text form to the relay server 106 in a transmission guarantee method.

제1 결정부(113)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만이고, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 미만인 경우, 화상 회의 데이터 중 음성 데이터를 그대로 송신할 것으로 결정할 수 있다. 이 경우, 제1 결정부(113)는 상기 음성 데이터를 전송 보장 방식으로 송신할 것으로 결정할 수 있다. When the network status of the first client device 102 is less than a preset level, and the resource performance of the first client device 102 is less than a preset level, the first decision unit 113 retains the voice data of the video conference data as it is. You can decide to send. In this case, the first determination unit 113 may decide to transmit the voice data in a transmission guarantee method.

제1 요청부(115)는 제1 결정부(113)에서 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신하는 것으로 결정하는 경우, 음성 데이터를 텍스트 데이터로 변환할 것을 중계 서버(106)에 요청할 수 있다. When the first requesting unit 115 determines that the first decision unit 113 transmits the audio data among the video conference data to the relay server 106 in a transmission guarantee method, it relays to convert the audio data into text data. Server 106 can be requested.

제1 변환부(117)는 제1 결정부(113)의 결정에 따라 음성 데이터를 텍스트 데이터로 변환할 수 있다. 즉, 제1 결정부(113)에서 화상 회의 데이터 중 음성 데이터를 텍스트 형태의 데이터로 전송할 것으로 결정하는 경우, 제1 변환부(117)는 상기 음성 데이터를 텍스트 데이터로 변환할 수 있다. 이를 위해, 제1 변환부(117)는 STT(Speech to Text) 모듈을 구비할 수 있다. The first conversion unit 117 may convert voice data into text data according to the determination of the first determination unit 113. That is, when it is determined that the first decision unit 113 transmits voice data among the video conference data as text data, the first conversion unit 117 may convert the voice data into text data. To this end, the first conversion unit 117 may include a speech to text (STT) module.

제1 통신부(119)는 중계 서버(106)와 통신 가능하게 연결된다. 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. 또한, 제1 통신부(119)는 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다. 또한, 제1 통신부(119)는 화상 회의 데이터 중 음성 데이터를 전송 보장 방식으로 중계 서버(106)로 송신할 수 있다.The first communication unit 119 is communicatively connected to the relay server 106. The first communication unit 119 may transmit the audio data among the video conference data to the relay server 106 in a non-transmission guarantee method. In addition, the first communication unit 119 may transmit the voice data converted into text form to the relay server 106 in a transmission guarantee method. Also, the first communication unit 119 may transmit the audio data among the video conference data to the relay server 106 in a transmission guarantee method.

도 3은 본 발명의 일 실시예에 따른 제2 클라이언트 장치(104)의 구성을 나타낸 블록도이다.3 is a block diagram showing the configuration of a second client device 104 according to an embodiment of the present invention.

도 3을 참조하면, 제2 클라이언트 장치(104)는 제2 모니터링부(121), 제2 결정부(123), 제2 요청부(125), 제2 변환부(127), 및 제2 통신부(129)를 포함할 수 있다.Referring to FIG. 3, the second client device 104 includes a second monitoring unit 121, a second determination unit 123, a second request unit 125, a second conversion unit 127, and a second communication unit (129).

제2 모니터링부(121)는 제2 클라이언트 장치(104)의 네트워크 상태를 모니터링할 수 있다. 제2 모니터링부(121)는 제2 클라이언트 장치(104)와 중계 서버(106) 간의 네트워크 상태를 모니터링할 수 있다. 제2 모니터링부(121)는 화상 회의 중 주기적으로 제2 클라이언트 장치(104)의 네트워크 상태를 모니터링할 수 있다. The second monitoring unit 121 may monitor the network status of the second client device 104. The second monitoring unit 121 may monitor the network status between the second client device 104 and the relay server 106. The second monitoring unit 121 may periodically monitor the network status of the second client device 104 during the video conference.

제2 모니터링부(121)는 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준(예를 들어, 음성 데이터를 수신할 수 있는 수준) 이상인지 여부를 확인할 수 있다. 예시적인 실시예에서, 제2 모니터링부(121)는 사용 가능 대역폭 감소, 패킷 손실, 패킷 지연, 및 패킷 순서 변경 등의 발생 여부에 따라 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인할 수 있다.The second monitoring unit 121 may check whether the network status of the second client device 104 is higher than a preset level (for example, a level capable of receiving voice data). In an exemplary embodiment, the second monitoring unit 121 has a network level of the second client device 104 is greater than or equal to a predetermined level according to whether there is a decrease in available bandwidth, packet loss, packet delay, and packet order change. You can check whether it is.

제2 결정부(123)는 제2 클라이언트 장치(104)의 네트워크 상태 및 중계 서버(106)의 데이터의 수신 형태 중 하나 이상에 따라 화상 회의 데이터 중 음성 데이터의 수신 형태 및 수신 방식 중 하나 이상을 결정할 수 있다. The second determination unit 123 may select one or more of a reception form and a reception method of voice data from the video conference data according to one or more of a network state of the second client device 104 and a reception form of the data of the relay server 106. Can decide.

구체적으로, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인 경우, 제2 결정부(123)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신할 것으로 결정할 수 있다. 이 경우, 제2 결정부(123)는 상기 음성 데이터를 비 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 이 경우 제2 요청부(125)는 화상 데이터 중 음성 데이터를 비 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다. Specifically, when the network status of the second client device 104 is greater than or equal to a predetermined level, the second determination unit 123 determines that the audio data of the video conference data from the relay server 106 is to be received in the original form of the audio data. You can. In this case, the second determination unit 123 may determine to receive the voice data in a non-transmission guarantee method. In this case, the second requesting unit 125 may transmit a request to transmit the audio data among the image data in a non-transmission guarantee method to the relay server 106.

여기서, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하고 있는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신할 수 있다. Here, when the relay server 106 receives audio data among the image data from the first client device 102 in the original form of the audio data, the second client device 104 receives the audio data from the relay server 106. It can be received in a non-transmission guaranteed manner.

만약, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 텍스트 형태의 데이터로 수신하고 있는 경우, 제2 결정부(123)는 화상 데이터 중 음성 데이터를 텍스트 데이터로 수신할 것으로 결정할 수 있다. 이 경우 제2 결정부(123)는 상기 텍스트 데이터를 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 이에 따라, 제2 요청부(125)는 화상 데이터 중 음성 데이터를 텍스트 데이터 형태로 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다. If the relay server 106 is receiving the audio data among the image data from the first client device 102 as text data, the second determination unit 123 receives the audio data among the image data as text data. You can decide to do it. In this case, the second determination unit 123 may determine to receive the text data in a transmission guarantee method. Accordingly, the second requesting unit 125 may transmit a request to transmit the voice data in the form of text data in a transmission guarantee method to the relay server 106 of the image data.

제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제2 결정부(123)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 형태로 수신할 것으로 결정할 수 있다. 이 경우, 제2 결정부(123)는 상기 텍스트 데이터를 전송 보장 방식으로 수신할 것으로 결정할 수 있다. 제2 요청부(125)는 화상 데이터 중 음성 데이터를 텍스트 데이터로 전송해주고 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다. When the network status of the second client device 104 is less than a predetermined level, the second determination unit 123 may determine to receive the voice data from the video conference data in the form of text from the relay server 106. In this case, the second determination unit 123 may determine to receive the text data in a transmission guarantee method. The second requesting unit 125 may transmit voice data as text data among the image data, and transmit a request to the transmission server 106 for transmission in a transmission guarantee method.

여기서, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 텍스트 데이터로 수신하고 있는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신할 수 있다. Here, when the relay server 106 is receiving audio data among text data from the first client device 102 as text data, the second client device 104 is guaranteed to transmit the text data from the relay server 106 Method.

만약, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하고 있는 경우, 제2 요청부(125)는 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송할 수 있다. 이에 따라 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신할 수 있다. If the relay server 106 receives the audio data from the first client device 102 in the form of original audio data, the second requesting unit 125 converts the audio data into text data, The relay server 106 may transmit a request to transmit the converted text data in a transmission guarantee method. Accordingly, the second client device 104 may receive the converted text data from the relay server 106 in a transmission guarantee method.

제2 변환부(127)는 중계 서버(106)로부터 수신한 텍스트 데이터를 음성 데이터로 변환할 수 있다. 이를 위해, 제2 변환부(127)는 TTS(Text to Speech) 모듈을 구비할 수 있다. 제2 클라이언트 장치(104)는 변환된 음성 데이터를 스피커로 출력할 수 있다. The second conversion unit 127 may convert text data received from the relay server 106 into voice data. To this end, the second conversion unit 127 may include a text to speech (TTS) module. The second client device 104 may output the converted voice data to a speaker.

제2 통신부(129)는 중계 서버(106)와 통신 가능하게 연결된다. 제2 통신부(129)는 중계 서버(106)로부터 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 수신할 수 있다. 또한, 제2 통신부(129)는 중계 서버(106)로부터 텍스트 형태로 변환된 음성 데이터를 전송 보장 방식으로 수신할 수 있다. The second communication unit 129 is communicatively connected to the relay server 106. The second communication unit 129 may receive voice data from the video conference data from the relay server 106 in a non-transfer guarantee method. In addition, the second communication unit 129 may receive the voice data converted to the text form from the relay server 106 in a transmission guarantee method.

도 4는 본 발명의 일 실시예에 따른 화상 회의 서비스 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a video conferencing service method according to an embodiment of the present invention. In the illustrated flow chart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed by reversing the order, combined with other steps, omitted, or divided into detailed steps, or not shown. One or more steps can be performed in addition.

도 4를 참조하면, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인한다(S 101). 예시적인 실시예에서, 상기 네트워크 상태의 기 설정된 수준은 제1 클라이언트 장치(102)가 화상 회의 데이터의 음성 데이터를 중계 서버(106)로 송신할 수 있는 수준으로 설정될 수 있다. Referring to FIG. 4, the first client device 102 checks whether the network status of the first client device 102 is greater than or equal to a predetermined level (S101). In an exemplary embodiment, the predetermined level of the network status may be set to a level at which the first client device 102 can transmit voice data of video conference data to the relay server 106.

단계 S 101의 확인 결과, 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 이상인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 비 전송 보장 방식으로 중계 서버(106)로 송신한다(S 103).As a result of the check in step S 101, when the network status of the first client device 102 is greater than or equal to a preset level, the first client device 102 sends the voice data of the video conference data to the relay server 106 in a non-transfer guarantee method. Transmit (S 103).

단계 S 101의 확인 결과, 제1 클라이언트 장치(102)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제1 클라이언트 장치(102)는 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인지 여부를 확인한다(S 105). 예시적인 실시예에서, 상기 자원 성능의 기 설정된 수준은 제1 클라이언트 장치(102)가 STT를 수행할 수 있는 수준으로 설정될 수 있다. As a result of checking in step S 101, when the network status of the first client device 102 is less than a predetermined level, the first client device 102 determines whether the resource performance of the first client device 102 is greater than or equal to a preset level. Confirm (S 105). In an exemplary embodiment, the preset level of resource performance may be set to a level at which the first client device 102 can perform STT.

단계 S 105의 확인 결과, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 이상인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 텍스트 데이터로 변환한다(S 107). 즉, 제1 클라이언트 장치(102)는 STT 기술을 이용하여 음성 데이터를 텍스트 데이터로 변환할 수 있다. As a result of checking in step S 105, when the resource performance of the first client device 102 is higher than or equal to a preset level, the first client device 102 converts the audio data of the video conference data into text data (S 107). That is, the first client device 102 may convert voice data into text data using STT technology.

다음으로, 제1 클라이언트 장치(102)는 변환된 텍스트 데이터를 전송 보장 방식으로 중계 서버(106)로 송신한다(S 109).Next, the first client device 102 transmits the converted text data to the relay server 106 in a transmission guarantee method (S109).

단계 S 105의 확인 결과, 제1 클라이언트 장치(102)의 자원 성능이 기 설정된 수준 미만인 경우, 제1 클라이언트 장치(102)는 화상 회의 데이터의 음성 데이터를 전송 보장 방식으로 송신한다(S 111). As a result of checking in step S 105, when the resource performance of the first client device 102 is less than a predetermined level, the first client device 102 transmits voice data of the video conference data in a transmission guarantee method (S 111).

다음으로, 제1 클라이언트 장치(102)는 상기 음성 데이터를 텍스트 데이터로 변환해줄 것을 중계 서버(106)로 요청한다(S 113). 그러면, 중계 서버(106)는 제1 클라이언트 장치(102)로부터 수신한 음성 데이터를 텍스트 데이터로 변환할 수 있다. 단계 S 111과 S 113은 동시에 이루어질 수 있다. Next, the first client device 102 requests the relay server 106 to convert the voice data into text data (S 113). Then, the relay server 106 may convert the voice data received from the first client device 102 into text data. Steps S 111 and S 113 can be performed simultaneously.

도 5는 본 발명의 다른 실시예에 따른 화상 회의 서비스 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.5 is a flowchart illustrating a video conferencing service method according to another embodiment of the present invention. In the illustrated flow chart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed by reversing the order, combined with other steps, omitted, or divided into detailed steps, or not shown. One or more steps can be performed in addition.

도 5를 참조하면, 제2 클라이언트 장치(104)는 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인지 여부를 확인한다(S 201). 예시적인 실시예에서, 상기 네트워크 상태의 기 설정된 수준은 제2 클라이언트 장치(104)가 중계 서버(106)로부터 화상 회의 데이터의 음성 데이터를 수신할 수 있는 수준으로 설정될 수 있다. Referring to FIG. 5, the second client device 104 checks whether the network status of the second client device 104 is greater than or equal to a predetermined level (S 201). In an exemplary embodiment, the predetermined level of the network status may be set to a level at which the second client device 104 can receive voice data of video conference data from the relay server 106.

단계 S 201의 확인 결과, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 이상인 경우, 화상 회의 데이터 중 음성 데이터를 비 전송 보장 방식으로 수신할 것으로 결정하고, 상기 음성 데이터를 비 전송 보장 방식으로 전송해줄 것을 중계 서버(106)로 요청한다(S 203). As a result of the check in step S 201, when the network status of the second client device 104 is greater than or equal to a predetermined level, it is determined that audio data among video conference data is to be received in a non-transfer guarantee method, and the voice data is non-transfer guarantee method Request to the relay server 106 to transmit to (S 203).

다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하는지 여부를 확인한다(S 205).Next, the second client device 104 confirms whether the relay server 106 receives the audio data in the original form of the audio data from the video conference data from the first client device 102 (S205).

단계 S 205의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태로 수신하는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 음성 데이터를 비 전송 보장 방식으로 수신한다(S 207).As a result of the check in step S 205, when the relay server 106 receives the audio data among the video conference data from the first client device 102 in the original form of the audio data, the second client device 104 transmits the relay server 106 From the voice data is received in a non-transfer guarantee method (S 207).

단계 S 205의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 음성 데이터 원래 형태가 아닌 텍스트 데이터로 수신하는 경우, 제2 클라이언트 장치(104)는 상기 텍스트 데이터를 전송 보장 방식으로 전송해줄 것을 요청한다(S 209).As a result of the check in step S 205, when the relay server 106 receives the audio data in the video conference data from the first client device 102 as text data other than the original form of the audio data, the second client device 104 may It is requested to transmit text data in a transmission guarantee method (S209).

다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신한다(S 211). 제2 클라이언트 장치(104)는 수신한 텍스트 데이터를 음성 데이터로 변환(TTS)하여 출력할 수 있다. Next, the second client device 104 receives the text data from the relay server 106 in a transmission guarantee method (S 211). The second client device 104 may convert and output the received text data into voice data (TTS).

한편, 단계 S 201의 확인 결과, 제2 클라이언트 장치(104)의 네트워크 상태가 기 설정된 수준 미만인 경우, 제2 클라이언트 장치(104)는 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 변환하여 전송 보장 방식으로 수신할 것으로 결정하고, 상기 텍스트 데이터를 전송 보장 방식으로 전송해줄 것을 중계 서버(106)로 요청한다(S 213).On the other hand, as a result of the check in step S 201, when the network status of the second client device 104 is less than a preset level, the second client device 104 converts voice data into video data among video conference data in a transmission guarantee method. It decides to receive, and requests the relay server 106 to transmit the text data in a transmission guarantee method (S213).

다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 수신하는지 여부를 확인한다(S 215).Next, the second client device 104 checks whether the relay server 106 receives audio data among the video conference data from the first client device 102 as text data (S215).

단계 S 215의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터로 수신하는 경우, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 텍스트 데이터를 전송 보장 방식으로 수신한다(S 217).As a result of the check in step S215, when the relay server 106 receives the audio data of the video conference data from the first client device 102 as text data, the second client device 104 receives the data from the relay server 106. Text data is received in a transmission guarantee method (S 217).

단계 S 215의 확인 결과, 중계 서버(106)가 제1 클라이언트 장치(102)로부터 화상 회의 데이터 중 음성 데이터를 텍스트 데이터가 아닌 음성 데이터 원래 형태로 수신하는 경우, 제2 클라이언트 장치(104)는 상기 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전송 보장 방식으로 전송해달라는 요청을 중계 서버(106)로 전송한다(S 219). 중계 서버(106)는 제2 클라이언트 장치(104)의 요청에 따라 제1 클라이언트 장치(102)로부터 수신한 음성 데이터를 텍스트 데이터로 변환 할 수 있다.As a result of the check in step S215, when the relay server 106 receives the voice data among the video conference data from the first client device 102 in the original form of the voice data instead of the text data, the second client device 104 may The voice data is converted into text data, and a request to transmit the converted text data in a transmission guarantee method is transmitted to the relay server 106 (S 219). The relay server 106 may convert the voice data received from the first client device 102 into text data at the request of the second client device 104.

다음으로, 제2 클라이언트 장치(104)는 중계 서버(106)로부터 상기 변환된 텍스트 데이터를 전송 보장 방식으로 수신한다(S 221). 제2 클라이언트 장치(104)는 수신한 텍스트 데이터를 음성 데이터로 변환(TTS)하여 출력할 수 있다. Next, the second client device 104 receives the converted text data from the relay server 106 in a transmission guarantee method (S221). The second client device 104 may convert and output the received text data into voice data (TTS).

도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.6 is a block diagram illustrating and illustrating a computing environment 10 that includes a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 화상 회의에 참석하는 참석자의 단말기(예를 들어, 제1 클라이언트 장치(102) 또는 제2 클라이언트 장치(104))일 수 있다. 또한, 컴퓨팅 장치(12)는 화상 회의를 중계하는 서버 컴퓨팅 장치(예를 들어, 중계 서버(106))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be a terminal of an attendee attending a video conference (eg, first client device 102 or second client device 104). Further, the computing device 12 may be a server computing device (eg, relay server 106) that relays a video conference.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer readable storage medium 16 and a communication bus 18. The processor 14 can cause the computing device 12 to operate in accordance with the exemplary embodiment mentioned above. For example, processor 14 may execute one or more programs stored on computer readable storage medium 16. The one or more programs can include one or more computer-executable instructions, which, when executed by the processor 14, configure the computing device 12 to perform operations according to an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable types of information. The program 20 stored on the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 is a memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, other types of storage media that can be accessed by the computing device 12 and store desired information, or any suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including a processor 14 and a computer-readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more I / O interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more I / O devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 through the input / output interface 22. Exemplary input / output devices 24 include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touch pads or touch screens), voice or sound input devices, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The exemplary input / output device 24 is a component constituting the computing device 12 and may be included in the computing device 12 or connected to the computing device 12 as a separate device distinct from the computing device 12. It might be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those skilled in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention. . Therefore, the scope of rights of the present invention should not be limited to the described embodiments, and should be determined not only by the claims to be described later, but also by the claims and equivalents.

100 : 화상 회의 시스템
102 : 제1 클라이언트 장치
104 : 제2 클라이언트 장치
106 : 중계 서버
111 : 제1 모니터링부
113 : 제1 결정부
115 : 제1 요청부
117 : 제1 변환부
119 : 제1 통신부
121 : 제2 모니터링부
123 : 제2 결정부
125 : 제2 요청부
127 : 제2 변환부
129 : 제2 통신부100: video conference system
102: first client device
104: second client device
106: relay server
111: first monitoring unit
113: first decision unit
115: first request unit
117: first conversion unit
119: first communication unit
121: second monitoring unit
123: second decision unit
125: second request unit
127: second conversion unit
129: second communication unit

Claims

One or more processors, and
A memory device for storing one or more programs executed by the one or more processors, comprising: a computing device of an attendee attending a video conference;
A monitoring unit monitoring one or more of a network state of the computing device and resource performance of the computing device; And
And a determining unit that determines one or more of a transmission type and a transmission method of voice data among video conference data according to one or more of network conditions and resource performance of the computing device.

The method according to claim 1,
The computing device,
And a communication unit transmitting the voice data to the relay server of the video conference in a non-transmission guarantee method when the network status of the computing device is equal to or higher than a predetermined level.

The method according to claim 1,
The computing device,
A conversion unit for converting the voice data into text data when the network state of the computing device is less than a preset level and the resource performance of the computing device is greater than a preset level; And
And a communication unit transmitting the converted text data to a relay server of the video conference in a transmission guarantee method.

The method according to claim 1,
The computing device,
A requesting unit requesting the relay server of the video conference to convert the voice data into text data when the network status of the computing device is less than a preset level and the resource performance of the computing device is less than a preset level; And
And a communication unit transmitting the voice data to the relay server in a transmission guarantee method.

The method according to claim 1,
The monitoring unit,
Check whether the network status of the computing device is a level capable of transmitting voice data among the video conference data to the relay server of the video conference,
Computing device to determine whether the resource performance of the computing device is a level capable of performing a STT (Speech to Text) operation.

One or more processors, and
A memory device for storing one or more programs executed by the one or more processors, comprising: a computing device of an attendee attending a video conference;
A monitoring unit monitoring a network state of the computing device; And
And a determination unit that determines one or more of a reception type and a reception method of voice data among the video conference data according to one or more of a network state of the computing device and a data reception type of the relay server of the video conference.

The method according to claim 6,
The computing device,
A requesting unit requesting the relay server to transmit the voice data in a non-transmission guarantee method when the network state of the computing device is equal to or higher than a predetermined level; And
When the relay server is receiving the voice data from another computing device, further comprising a communication unit for receiving the voice data from the relay server in a non-transfer guarantee method.

The method according to claim 6,
The computing device,
When the network state of the computing device is greater than or equal to a predetermined level, a request unit further requesting the relay server to transmit the voice data in a non-transmission guarantee method,
The request unit,
When the relay server is receiving the voice data as text data from another computing device, requesting the relay server to transmit the voice data in a text data and transmission guarantee method.

The method according to claim 6,
The computing device,
A requesting unit requesting the relay server to transmit the voice data in the form of text data and a transmission guarantee method when the network state of the computing device is less than a predetermined level; And
When the relay server is receiving the voice data as text data from another computing device, further comprising a communication unit for receiving the text data from the relay server in a transmission guarantee method.

The method according to claim 6,
The computing device,
When the network state of the computing device is less than a predetermined level, further comprising a request unit for requesting the relay server to transmit the voice data in the form of text data and a transmission guarantee method,
The request unit,
When the relay server is receiving the voice data from another computing device, the computing device converts the voice data into text data and transmits a request to transmit the converted text data in a transmission guarantee manner to the relay server.

One or more processors, and
A method having a memory for storing one or more programs executed by the one or more processors, and is performed on a computing device of an attendee attending a video conference,
Monitoring one or more of a network condition of the computing device and resource performance of the computing device; And
And determining one or more of a transmission type and a transmission method of voice data among video conference data according to one or more of network conditions and resource capabilities of the computing device.

The method according to claim 11,
The video conference service method,
And when the network state of the computing device is equal to or higher than a predetermined level, transmitting the voice data to a relay server of the video conference in a non-transmission guarantee method.

The method according to claim 11,
The video conference service method,
Converting the voice data into text data when the network status of the computing device is less than a preset level and the resource performance of the computing device is greater than or equal to a preset level; And
And transmitting the converted text data to a relay server of the video conference in a transmission guarantee method.

The method according to claim 11,
The video conference service method,
Requesting a relay server of the video conference to convert the voice data into text data when the network state of the computing device is less than a preset level and the resource performance of the computing device is less than a preset level; And
And transmitting the voice data to the relay server in a transmission guarantee method.

The method according to claim 11,
The monitoring step,
Check whether the network status of the computing device is a level capable of transmitting voice data among the video conference data to the relay server of the video conference,
A video conferencing service method for checking whether the resource performance of the computing device is at a level capable of performing a speech to text (STT) operation.

One or more processors, and
A method having a memory for storing one or more programs executed by the one or more processors, and is performed on a computing device of an attendee attending a video conference,
Monitoring a network condition of the computing device; And
And determining one or more of a reception type and a reception method of voice data among the video conference data according to one or more of a network state of the computing device and a data reception type of the relay server of the video conference.

The method according to claim 16,
The video conference service method,
If the network state of the computing device is higher than a predetermined level, requesting the relay server to transmit the voice data in a non-transmission guarantee method; And
And when the relay server is receiving the voice data from another computing device, receiving the voice data from the relay server in a non-transfer guarantee method.

The method according to claim 16,
The video conference service method,
If the network state of the computing device is higher than a predetermined level, requesting the relay server to transmit the voice data in a non-transmission guarantee method;
When the relay server is receiving the voice data as text data from another computing device, requesting the relay server to transmit the voice data in a text data and transmission guarantee method; And
And receiving the text data from the relay server in a transmission guarantee method.

The method according to claim 16,
The video conference service method,
If the network state of the computing device is less than a predetermined level, requesting the relay server to transmit the voice data in a text data and a transmission guarantee method; And
And when the relay server is receiving the voice data as text data from another computing device, receiving the text data from the relay server in a transmission guarantee method.

The method according to claim 16,
The video conference service method,
If the network state of the computing device is less than a predetermined level, requesting the relay server to transmit the voice data in a text data and a transmission guarantee method;
If the relay server is receiving the voice data from another computing device, converting the voice data into text data and transmitting a request to transmit the converted text data in a transmission guarantee method to the relay server; And
And receiving the converted text data from the relay server in a transmission guarantee method.