KR102055198B1

KR102055198B1 - Recording medium recording program for method of providing augmented reality contents during video call service, and apparatus teherfor

Info

Publication number: KR102055198B1
Application number: KR1020150004019A
Authority: KR
Inventors: 김지훈; 강상철
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2015-01-12
Filing date: 2015-01-12
Publication date: 2019-12-12
Also published as: KR20160086560A

Abstract

본 발명은 영상 통화 서비스에 관한 것으로, 더욱 상세하게는 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있는 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치에 관한 것이다.
이를 위한 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램은 단말이 영상 통화를 수행하고자 하는 상대 단말로 영상 통화 호 요청 메시지를 전송하는 단계, 상기 상대 단말과의 영상 통화 호가 연결되면, 상기 단말이 네트워크 상황 정보를 확인하는 단계 및 상기 확인 결과, 상기 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우, 상기 단말이 촬영되는 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성한 후 생성된 상기 증강 현실 컨텐츠를 상기 영상 데이터와 함께 상기 상대 단말로 전송하는 단계 등을 실행할 수 있다. The present invention relates to a video call service, and more particularly, to a computer-readable recording medium recording a program for a method for providing augmented reality content during a video call that can provide augmented reality content during a video call, and an apparatus therefor. .
A program for a method of providing augmented reality content during a video call according to an embodiment of the present invention for transmitting a video call call request message to a counterpart terminal to which a video call is to be performed, the video call with the counterpart terminal. When the call is connected, when the terminal checks the network status information and as a result of the checking, when the network situation information is capable of transmitting augmented reality content, the terminal generates augmented reality content corresponding to the image data photographed and generated. Transmitting the augmented reality content to the counterpart terminal together with the image data.

Description

A computer-readable recording medium recording a program for providing augmented reality content during a video call, and a device therefor.

본 발명은 영상 통화 서비스에 관한 것으로, 더욱 상세하게는 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있는 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치에 관한 것이다. The present invention relates to a video call service, and more particularly, to a computer-readable recording medium recording a program for a method for providing augmented reality content during a video call that can provide augmented reality content during a video call, and an apparatus therefor. .

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute a prior art.

최근 국내 이동통신은 LTE(Long Term Evolution) 네트워크의 성장으로 3G 서비스인 WCDMA에서 그 중심이 LTE로 이동하고 있다.Recently, domestic mobile communication is shifting from 3G service WCDMA to LTE due to the growth of Long Term Evolution (LTE) network.

LTE 네트워크는 엔터티 간의 all-IP를 지원하는 네트워크이므로, 사용자의 단말이 기지국인 eNodeB에 접속하는 무선 링크부터 서비스 엔티티로 연결해주는 PDN(Packet Data Network)까지의 트래픽 흐름은 모두 IP 기반으로 동작하게 된다. Since the LTE network supports all-IP between entities, all traffic flows from a radio link connecting a user terminal to an eNodeB, a base station, to a packet data network (PDN) connecting to a service entity, is operated based on IP. .

그러나, 단말이 LTE 네트워크에 접속된 상태에서 음성 호(Voice Call)가 발생하는 경우, CS 폴백(Circuit Switched Fallback) 방식에 따라 회선 교환 방식으로 음성 통화 서비스를 제공한다는 문제점이 있다. However, when a voice call occurs while the terminal is connected to an LTE network, there is a problem in that a voice call service is provided through a circuit switched method according to a CS fallback scheme.

이러한 문제점을 해결하기 위해, 최근에는 기존의 음성 통화와 비교하여 빠른 호 연결 및 깨끗한 음질의 서비스 제공이 가능한 VoLTE 서비스가 주목받고 있다. In order to solve this problem, recently, VoLTE service, which provides fast call connection and clear sound quality, has been attracting attention compared to existing voice calls.

VoLTE(Voice over LTE)는 LTE 네트워크에서 패킷 베어러(Packet Bearer)를 이용하여 음성 및 영상 통화까지 지원하는 서비스로, 단말은 LTE 네트워크에 접속(attach)하여 가입자 정보 인증 단계를 거쳐 가입자 위치 및 상태정보를 업데이트한 이후에, 멀티미디어 서비스를 위한 세션(Session) 설정 및 베어러(Bearer) 할당을 받고 해당 가입자에게 허용되는 적절한 QoS(Quality of Service) 수준에 따라서 패킷 기반 음성 및 영상 통화 서비스를 제공받게 된다. Voice over LTE (VoLTE) is a service that supports voice and video calls using a packet bearer in an LTE network, and the terminal attaches to the LTE network and passes through the subscriber information authentication step. After updating, the user receives a session setup and bearer allocation for a multimedia service and receives packet-based voice and video call service according to an appropriate quality of service level.

그러나, 현재까지의 VoLTE 기반 영상 통화 서비스는 단순히 발신자와 수신자에 의해 제어되는 촬영 영상 데이터 및 음성 데이터의 송수신만을 지원할 뿐, 다양한 부가 서비스를 지원하지 못한다는 문제점이 있다. However, the VoLTE-based video telephony service up to now only supports transmission and reception of photographed video data and audio data controlled by the sender and receiver, and does not support various additional services.

한국공개특허 제10-2012-0030540호, 2012년 3월 28일 공개 (명칭: 이동통신방법, 이동통신시스템, 가입자 관리 서버 장치 및 교환국)Korean Patent Publication No. 10-2012-0030540, published on March 28, 2012 (Name: mobile communication method, mobile communication system, subscriber management server device and switching center)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있는 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치를 제공하는 데 목적이 있다. The present invention has been proposed to solve the above-described problems, and a computer-readable recording medium and apparatus for recording a program for a method for providing augmented reality content during a video call capable of providing augmented reality content during a video call. The purpose is to provide.

특히, 본 발명은 영상 통화에 따른 영상 데이터 및 음성 데이터와 영상 데이터에 대응하여 생성된 증강 현실 컨텐츠를 동일한 액세스 포인트 명(Access Point Name)의 서로 다른 베어러를 통해 각각 전송함으로써, 고품질의 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있는 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치를 제공하는 데 그 목적이 있다. In particular, the present invention transmits augmented reality content corresponding to video data and audio data and video data according to a video call through different bearers of the same access point name, respectively, An object of the present invention is to provide a computer-readable recording medium recording a program for a method for providing augmented reality content during a video call capable of providing augmented reality content, and an apparatus therefor.

또한, 본 발명은 영상 통화 중 증강 현실 컨텐츠 제공 시 네트워크 상황에 따라 생성 주체를 결정하거나, 추적 객체 또는 사용자 설정에 따라 증강 현실 컨텐츠를 동적으로 생성함으로써, 영상 통화 중 보다 다양한 방식으로 증강 현실 컨텐츠를 제공하는 데 그 목적이 있다. In addition, the present invention determines the subject of creation according to the network conditions when providing augmented reality content during a video call, or by dynamically generating augmented reality content according to the tracking object or user settings, augmented reality content in a variety of ways during the video call The purpose is to provide.

그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above object, and other objects not mentioned will be clearly understood from the following description.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체는 단말이 영상 통화를 수행하고자 하는 상대 단말로 영상 통화 호 요청 메시지를 전송하는 단계; 상기 상대 단말과의 영상 통화 호가 연결되면, 상기 단말이 네트워크 상황 정보를 확인하는 단계; 및 상기 확인 결과, 상기 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우, 상기 단말이 촬영되는 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성한 후 생성된 상기 증강 현실 컨텐츠를 상기 영상 데이터와 함께 상기 상대 단말로 전송하는 단계;를 포함하여 이뤄질 수 있다. A computer-readable recording medium recording a program for a method for providing augmented reality content during a video call according to an embodiment of the present invention for achieving the above object is a request for a video call call to a counterpart terminal for which the terminal is to perform a video call Sending a message; Checking, by the terminal, network status information when a video call with the counterpart terminal is connected; And when the network situation information is capable of transmitting augmented reality content, the counterpart terminal is generated with the augmented reality content generated after the augmented reality content is generated in response to the image data captured by the terminal. Sending to; can be made, including.

이때, 상기 네트워크 상황 정보를 확인하는 단계는 상기 단말이 품질 관리 서버로부터 네트워크 상황 정보를 수신하여 확인할 수 있다. In this case, the checking of the network status information may be performed by the terminal receiving network status information from a quality management server.

또한, 상기 상대 단말로 전송하는 단계에서, 상기 확인 결과, 상기 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 불가능한 경우, 상기 단말이 촬영되는 영상 데이터를 상기 상대 단말로 전송할 수 있다. In addition, in the step of transmitting to the counterpart terminal, when the network situation information cannot transmit augmented reality content as a result of the checking, image data photographed by the terminal may be transmitted to the counterpart terminal.

또한, 상기 상대 단말로 전송하는 단계는 상기 확인 결과, 상기 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우, 상기 단말이 카메라 모듈을 구동시켜 구동된 상기 카메라 모듈을 통해 실시간 촬영되는 영상 데이터에서 기 설정된 객체를 추적 및 인식하는 단계; 상기 단말이 상기 기 설정된 객체를 추적 및 인식함에 따라 상기 기 설정된 객체에 대한 증강 현실 컨텐츠를 생성하는 단계; 및 상기 단말이 상기 생성된 증강 현실 컨텐츠를 상기 영상 데이터와 함께 상기 상대 단말로 전송하는 단계;를 포함하여 이뤄질 수 있다. The transmitting of the information to the counterpart terminal may include setting the preset data from image data captured in real time through the camera module, which is driven by driving the camera module when the network condition information is capable of transmitting augmented reality content. Tracking and recognizing the object; Generating augmented reality content for the preset object as the terminal tracks and recognizes the preset object; And transmitting, by the terminal, the generated augmented reality content to the counterpart terminal together with the image data.

또한, 상기 영상 통화 호 요청 메시지를 전송하는 단계는 상기 단말이 지정된 액세스 포인트 명(Access Point Name)의 지정된 베어러를 통해 상기 영상 통화 호 요청 메시지를 전송하며, 상기 상대 단말로 전송하는 단계에서, 상기 단말이 상기 액세스 포인트 명의 상기 영상 통화 호 요청 메시지가 전송된 베어러와 동일한 베어러 또는 상기 액세스 포인트 명의 증강 현실 컨텐츠 송수신으로 지정된 베어러를 통해 상기 상대 단말로 상기 증강 현실 컨텐츠를 전송할 수 있다. The transmitting of the video call request message may include: transmitting, by the terminal, the video call request message through a designated bearer of a designated access point name, and transmitting to the counterpart terminal; The terminal may transmit the augmented reality content to the counterpart terminal through the same bearer as the bearer to which the video call call request message of the access point name is transmitted, or a bearer designated to transmit and receive augmented reality content of the access point name.

또한, 상기 상대 단말로 전송하는 단계에서, 상기 단말이 상기 네트워크 상황 정보에 따라 상기 증강 현실 컨텐츠의 비트 레이트를 가변적으로 조정하여 상기 상대 단말로 전송할 수 있다. In addition, in the transmitting to the counterpart terminal, the terminal may variably adjust the bit rate of the augmented reality content according to the network context information and transmit the variable rate to the counterpart terminal.

아울러, 상기 증강 현실 컨텐츠는 컨텐츠 타입, 컨텐츠 표시 좌표, 컨텐츠 전송 타입, 컨텐츠 품질, 컨텐츠 전송 정보 중 적어도 하나 이상의 필드를 포함할 수 있다. In addition, the augmented reality content may include at least one field of content type, content display coordinates, content delivery type, content quality, content delivery information.

또한, 상기 단말이 품질 관리 서버의 네트워크 상황 정보에 따른 제어에 따라, 영상 통화 호가 연결된 상대 단말이 전송한 영상 데이터를 수신하거나, 영상 데이터와 상기 영상 데이터에 대응하여 생성된 증강 현실 컨텐츠를 함께 수신하는 단계;를 더 포함하여 이뤄질 수 있다. In addition, the terminal receives the video data transmitted from the other terminal connected to the video call call, or the video data and the augmented reality content generated corresponding to the video data according to the control according to the network status information of the quality management server It may be made to include more.

이때, 상기 상대 단말로부터 영상 데이터를 수신하는 경우, 상기 단말이 상기 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성하는 단계;를 더 포함하여 이뤄질 수 있다. In this case, when receiving image data from the counterpart terminal, the terminal may generate augmented reality content corresponding to the image data.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 지원하는 장치는 영상 통화를 수행하고자 하는 상대 단말과 영상 통화 호가 연결되면, 네트워크 상황 정보를 확인하여 증강 현실 컨텐츠 전송이 가능한 경우, AR 컨텐츠 생성 모듈에 요청하여 전달되는 증강 현실 컨텐츠를 상기 영상 데이터와 함께 상기 상대 단말로 전송되도록 제어하는 호 처리 모듈; 및 상기 호 처리 모듈의 요청에 따라 상기 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성하는 AR 컨텐츠 생성 모듈;을 포함하여 구성될 수 있다. The apparatus supporting the method for providing augmented reality content during a video call according to an embodiment of the present invention for achieving the above object, if the video call call is connected to the counterpart terminal to perform a video call, by checking the network status information A call processing module for controlling augmented reality content to be transmitted to the counterpart terminal together with the image data when the AR content generation module is transmitted, when augmented reality content transmission is possible; And an AR content generation module configured to generate augmented reality content in response to the image data according to a request of the call processing module.

본 발명의 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 의하면, 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있게 된다. According to the computer-readable recording medium recording a program for a method for providing augmented reality content during a video call of the present invention, it is possible to provide augmented reality content during a video call.

아울러, 본 발명에 의하면 영상 통화에 따른 영상 데이터 및 음성 데이터와 영상 데이터에 대응하여 생성된 증강 현실 컨텐츠를 동일한 액세스 포인트 명(Access Point Name)의 서로 다른 베어러를 통해 각각 전송함으로써, 고품질의 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있다. In addition, according to the present invention by transmitting the augmented reality content corresponding to the video data and audio data and video data according to the video call through different bearers of the same access point name (Access Point Name), respectively, Augmented reality content can be provided.

또한, 본 발명에 의하면, 네트워크 상황에 따라 발신 단말, 서버, 또는 수신 단말이 증강 현실 컨텐츠를 생성함으로써, 보다 유동적으로 고품질의 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있게 된다. In addition, according to the present invention, the originating terminal, the server, or the receiving terminal generates augmented reality content in accordance with the network situation, it is possible to provide augmented reality content in a high-quality video call more fluidly.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above-described effects may be directly or implicitly disclosed in the detailed description according to the embodiment of the present invention to be described later.

도 1은 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법이 적용되는 통신 시스템에 대한 개략적인 구성도이다.
도 2는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 품질 관리 서버의 주요 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 초기 호 접속 절차를 개략적으로 도시한 데이터 흐름도이다.
도 5는 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 데이터 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 데이터 흐름도이다. 1 is a schematic configuration diagram of a communication system to which a method for providing augmented reality content during a video call is applied according to an exemplary embodiment of the present invention.
2 is a block diagram showing a main configuration of a terminal according to an embodiment of the present invention.
3 is a block diagram showing a main configuration of a quality control server according to an embodiment of the present invention.
4 is a data flow diagram schematically illustrating an initial call connection procedure according to an embodiment of the present invention.
5 is a flowchart illustrating a method of providing augmented reality content during a video call according to an embodiment of the present invention.
6 is a data flow diagram illustrating a method of providing augmented reality content during a video call according to an embodiment of the present invention.
7 is a data flowchart illustrating a method of providing augmented reality content during a video call according to another embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것은 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing in detail the operating principle of the preferred embodiment of the present invention, if it is determined that the detailed description of the related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. This is to more clearly communicate without obscure the core of the present invention by omitting unnecessary description. In addition, the present invention may be modified in various ways and may have various embodiments, but specific embodiments are illustrated in the drawings and described in detail in the detailed description, which is not intended to limit the present invention to specific embodiments. It is to be understood that all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention are included.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.In addition, terms including ordinal numbers, such as first and second, are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. In addition, when a component is referred to as being "connected" or "connected" to another component, it means that it may be connected or connected logically or physically. In other words, although a component may be directly connected or connected to other components, it should be understood that other components may exist in the middle, and may be connected or connected indirectly.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In addition, the terms "comprises" or "having" described herein are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or the same. It is to be understood that the present invention does not exclude in advance the possibility of the presence or the addition of other features, numbers, steps, operations, components, parts, or a combination thereof.

이제 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치에 대하여 도면을 참조하여 상세하게 설명하도록 한다. 이때, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용하며, 이에 대한 중복되는 설명은 생략하기로 한다.Now, a computer-readable recording medium recording a program for a method for providing augmented reality content during a video call and an apparatus therefor according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this case, the same reference numerals are used for parts having similar functions and functions throughout the drawings, and redundant description thereof will be omitted.

아울러, 설명의 편의를 위해 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법은 LTE(Long Term Evolution) 통신 시스템에서 그 동작이 이뤄지는 것을 예로 들어 설명하도록 한다. 그러나, 본 발명의 영상 통화 중 증강 현실 컨텐츠 제공 방법은 상기의 LTE 통신 시스템에 한정되는 것은 아니며, 이와 동등한 또는 다른 어떠한 통신 시스템에도 적용될 수 있음은 자명하다. In addition, for convenience of description, the method for providing augmented reality content during a video call according to an embodiment of the present invention will be described by taking an example of an operation performed in a long term evolution (LTE) communication system. However, the method of providing augmented reality content during a video call of the present invention is not limited to the above LTE communication system, and it is obvious that the present invention may be applied to any equivalent or any other communication system.

이하, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법이 적용되는 통신 시스템에 대해 설명하도록 한다. Hereinafter, a communication system to which a method for providing augmented reality content during a video call according to an embodiment of the present invention is applied will be described.

도 1은 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법이 적용되는 통신 시스템에 대한 개략적인 구성도이다. 1 is a schematic configuration diagram of a communication system to which a method for providing augmented reality content during a video call is applied according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법이 적용되는 시스템(1000)은 단말(100), 접속망(access network) 및 코어망(core network) 간의 연동을 통해 이뤄질 수 있다. Referring to FIG. 1, a system 1000 to which a method for providing augmented reality content is provided during a video call according to an exemplary embodiment of the present invention may be connected through a connection between a terminal 100, an access network, and a core network. Can be done.

여기서, 단말(100a, 100b, 이하 별도의 구분이 필요 없을 경우 100으로 지칭하도록 함)은 사용자의 조작에 따라 영상 통화를 수행할 수 있는 사용자의 장치를 의미한다. 이러한 단말(100)은 접속망(510a, 510b, 이하 별도의 구분이 필요 없을 경우 510으로 지칭하도록 함) 및 코어망(520)을 경유하여 음성 또는 데이터 통신을 수행할 수 있으며, 외부의 공용망, 즉 인터넷 망인 PDN(Packet Data Network, 530)을 통해 품질 관리 서버(200)와 연동하여 다양한 정보를 송수신할 수 있다. 이를 위한 본 발명의 단말(100)은 정보의 송수신을 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있으며, 특히 본 발명의 실시 예에 따른 영상 통화 서비스를 이용하기 위한 세션 연결 모듈, 예컨대 VoLTE 모듈을 포함하여 구현될 수 있다. Herein, terminals 100a and 100b (hereinafter, referred to as 100 if no separate classification is required) refer to a user's device capable of performing a video call according to a user's manipulation. The terminal 100 may perform voice or data communication via the access networks 510a and 510b (hereinafter, referred to as 510 when no separate classification is required) and the core network 520. That is, various information may be transmitted and received by interworking with the quality management server 200 through a PDN (Packet Data Network) 530, which is an internet network. The terminal 100 of the present invention for this purpose may include a browser for transmitting and receiving information, a memory for storing programs and protocols, a microprocessor for executing and controlling various programs, and the like, in particular an embodiment of the present invention. It may be implemented including a session connection module, for example, a VoLTE module for using the video call service according to.

이러한 단말(100)에 있어서, 발신 단말인 단말(100a)은 수신 단말인 상대 단말(100b)로 VoLTE 서비스 기반의 영상 통화 호 연결을 요청하고, 수신 단말인 상대 단말(100b)이 이를 수락하는 경우, 상대 단말(100b)과 영상 통화 서비스를 이용할 수 있게 된다. In such a terminal 100, when the calling terminal 100a requests a video call call connection based on a VoLTE service to the receiving terminal 100b, and the receiving terminal 100b accepts it. In addition, the video call service can be used with the counterpart terminal 100b.

이러한 과정을 지원하는 본 발명의 통신망은 접속망(510) 및 코어망(520)을 포함하여 구성될 수 있다. 여기서, 접속망(510)은 발신측 접속망(510a)과 수신측 접속망(510b)을 구분하였으며, 코어망(520)은 동일한 코어망(520)을 이용하는 것을 가정하여 설명하도록 하나, 코어망(520) 또한 발신측과 수신측으로 구분되어 구성될 수 있다. The communication network of the present invention supporting this process may include an access network 510 and a core network 520. Here, the access network 510 distinguishes the originating access network 510a and the receiving access network 510b, and assumes that the core network 520 uses the same core network 520. However, the core network 520 is described. In addition, it may be configured to be divided into a sender and a receiver.

여기서, 접속망(510)은 각 단말(100)과의 통신을 지원하는 사용자 접속망으로, 바람직하게는 무선 액세스 네트워크가 될 수 있다. 또한, 코어망(520)은 접속망(510)에 접속된 단말(100)에 대한 VoLTE 서비스를 제공하기 위한 코어 시스템으로, 접속망(510)에 접속된 단말(100)간 통신을 지원할 수 있다. 그리고 코어망(520)은 외부의 패킷 데이터 네트워크인 PDN(530)과의 연결을 지원한다. 예컨대, 코어망(520)은 PDN(530)을 통해 연결된 품질 관리 서버(200)로 패킷 데이터를 업로드하고, PDN(530)으로부터 단말(100)로 패킷 데이터를 다운로드하도록 지원할 수 있다. Here, the access network 510 is a user access network supporting communication with each terminal 100, and preferably, may be a radio access network. In addition, the core network 520 is a core system for providing a VoLTE service for the terminal 100 connected to the access network 510, and may support communication between the terminals 100 connected to the access network 510. The core network 520 supports the connection with the PDN 530 which is an external packet data network. For example, the core network 520 may upload packet data to the quality control server 200 connected through the PDN 530, and may download the packet data from the PDN 530 to the terminal 100.

상기의 각 네트워크에 대해 보다 더 구체적으로 설명하면, 먼저 접속망(510)은 다수의 기지국인 eNB(511)를 포함하여 이루어질 수 있다. 다수의 eNB(511)는 LTE 등 차세대기술 및 서비스를 지원하는 장비로 전송신호의 RF(radio frequency)화 및 송수신 신호세기 및 품질측정, 기저대역 신호처리, 채널 카드(channel card) 자원관리 등의 기능을 수행한다. 이러한 eNB(511)는 다수의 단말(100)과의 안정적인 연결을 보장한다. 예컨대, eNB(511)는 지역적으로 분산 배치되어 통신 가능 거리내에 존재하는 단말(100)의 접속을 지원할 수 있으며, 특히 무선 통신 방식에 따라 단말(100)의 접속 요청을 처리할 수 있다. In more detail with respect to each of the networks described above, first, the access network 510 may include an eNB 511 that is a plurality of base stations. The plurality of eNBs 511 supports next-generation technologies and services, such as LTE, such as radio frequency (RF) conversion, transmission / reception signal strength and quality measurement, baseband signal processing, channel card resource management, and the like. Perform the function. The eNB 511 ensures stable connection with the plurality of terminals 100. For example, the eNB 511 may be locally distributed and support the connection of the terminal 100 existing within the communication range, and in particular, may process the connection request of the terminal 100 according to a wireless communication scheme.

더불어, eNB(511)은 단말(100)로부터 현재의 셀과 인접한 셀들의 채널 측정 결과 정보를 수집하고 분석하여, 핸드오버를 결정하고 핸드오버를 명령할 수 있다. 이를 위해, eNB(511)은 무선 자원 관리와 관련된 라디오 자원 관리 프로토콜(Radio Resource Control Protocol) 등의 제어 프로토콜을 지원할 수 있다.In addition, the eNB 511 may collect and analyze channel measurement result information of cells adjacent to the current cell from the terminal 100 to determine the handover and command the handover. To this end, the eNB 511 may support a control protocol such as a radio resource control protocol related to radio resource management.

코어망(520)은 구체적으로, 호 처리, 접속망(510) 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 다양한 기능 요소들로 구현될 수 있으며, 예를 들어, 도 1에 도시된 바와 같이, 패킷 데이터 네트워크 게이트웨이(Packet Data Network Gateway; PDN GW 또는 P-GW)(523), 서빙 게이트웨이(Serving Gateway; Serving GW; S-GW)(522)와, 이동성 관리 장치(Mobility Management Entity; MME)(521) 등을 포함하여 구성될 수 있다. 상술한 기능 요소들은 하나의 서버 장치로 구현될 수 있고, 도면에 도시된 바와 같이 별도의 독립된 장치로 각각 구현될 수도 있다.Specifically, the core network 520 is a network system that performs main functions for mobile communication services such as call processing, mobility control and switching between the access networks 510, and may be implemented with various functional elements. 1, a packet data network gateway (PDN GW or P-GW) 523, a serving gateway (Serving GW; S-GW) 522, and mobility management The device may include a Mobility Management Entity (MME) 521 or the like. The above-described functional elements may be implemented in one server device, or may be implemented in separate independent devices as shown in the drawings.

먼저, MME(521)는 단말(100)의 이동을 관리하기 위한 기능 요소로서, 예를 들어, 유휴 모드(idle mode)의 단말(100)을 관리하고, 상기 단말(100)의 가입자 정보, 특히 액세스 포인트 명(APN; Access Point Name) 정보에 따라 단말(100)과의 연결을 지원할 S-GW(522) 및 P-GW(523)을 선택하고, 선택된 S-GW(522) 및 P-GW(523)을 통해 단말(100)의 세션 및 베어러가 설정되도록 제어할 수 있다. 예를 들어, 단말(100)이 일반 LTE 서비스에 가입된 사용자일 경우, MME(521)는 HSS(미도시)와 연동하여 일반 LTE 서비스에 해당하는 APN을 확인하고, 해당 LTE 데이터 세션을 처리할 S-GW(522) 및 P-GW(523)을 선택할 수 있으며, 단말(100)이 VoLTE 서비스에 가입된 사용자일 경우, MME(521)는 해당 VoLTE 데이터 세션을 처리할 S-GW(522) 및 P-GW(523)을 선택하고, 선택된 S-GW(522) 및 P-GW(523)을 통해 단말(100)에 필요한 세션 및 베어러가 설정되도록 제어한다. 이후, 단말(100)은 MME(521)의 제어에 따라 할당된 LTE 데이터 세션(예컨대, APN :lte.sktelecom.com) 또는 VoLTE 데이터 세션(예컨대, APN : volte.sktelecom.com 또는 ims.sktelecom.com)을 통해 필요한 정보를 전송할 수 있으며, 단말(100)로부터 발생되는 요청은 MME(521)를 통해 선택된 해당 S-GW(522) 및 P-GW(523)에서 처리될 수 있다. First, the MME 521 is a functional element for managing the movement of the terminal 100. For example, the MME 521 manages the terminal 100 in an idle mode, and the subscriber information of the terminal 100, in particular, Select the S-GW 522 and the P-GW 523 to support the connection with the terminal 100 according to the Access Point Name (APN) information, and select the selected S-GW 522 and P-GW Through operation 523, the session and the bearer of the terminal 100 may be controlled. For example, when the terminal 100 is a user subscribed to a general LTE service, the MME 521 checks an APN corresponding to a general LTE service in association with an HSS (not shown) and processes the corresponding LTE data session. The S-GW 522 and the P-GW 523 may be selected, and if the terminal 100 is a user subscribed to the VoLTE service, the MME 521 may process the S-GW 522 to process the corresponding VoLTE data session. And the P-GW 523, and controls the session and bearer necessary for the terminal 100 to be set through the selected S-GW 522 and the P-GW 523. Thereafter, the terminal 100 is allocated an LTE data session (eg APN: lte.sktelecom.com) or a VoLTE data session (eg APN: volte.sktelecom.com or ims.sktelecom.) Under the control of the MME 521. com) necessary information may be transmitted, and a request generated from the terminal 100 may be processed by the corresponding S-GW 522 and the P-GW 523 selected through the MME 521.

아울러, 본 발명의 MME(521)는 세션 및 베어러 설정 시 단말(100)이 증강 현실 지원이 가능한 VoLTE 서비스에 가입된 사용자일 경우, 증강 현실 컨텐츠 송수신을 위한 별도의 베어러가 설정되도록 제어할 수도 있다. In addition, the MME 521 of the present invention may control to set up a separate bearer for transmitting and receiving augmented reality content when the terminal 100 is a user subscribed to a VoLTE service capable of supporting augmented reality when establishing a session and a bearer. .

이 외에도, MME(521)는 단말(100)에 대한 로밍(Roaming) 및 인증(Authentication) 관련 기능을 수행할 수 있다. 또한 MME(521)는 단말(100)에서 발생하는 베어러 시그널을 처리할 수 있다. 여기서, 단말(100) 및 MME(521) 간에 송수신되는 메시지는 NAS(Non Access Stratum) 메시지를 의미한다. In addition, the MME 521 may perform a function related to roaming and authentication for the terminal 100. In addition, the MME 521 may process a bearer signal generated by the terminal 100. Here, the message transmitted and received between the terminal 100 and the MME 521 means a Non Access Stratum (NAS) message.

또한, MME(521)는 여러 개의 TAI(Tracking Area Identity)들을 지원하며, TAI들을 개별적으로 지원하는 eNB(511)와 연결된다. 이를 통해, 동일한 TAI를 지원하는 eNB(511)들은 동일한 MME(521)과 연결되며, 상이한 TAI를 지원하는 eNB(511)들은 상이한 MME(521)와 연결될 수 있다. In addition, the MME 521 supports a plurality of Tracking Area Identity (TAI), and is connected to the eNB 511 that individually supports the TAIs. Through this, eNBs 511 supporting the same TAI may be connected to the same MME 521, and eNBs 511 supporting different TAI may be connected to different MME 521.

S-GW(522)는 다수의 eNB(511)에 대한 트래픽을 처리하는 서빙 게이트웨이를 의미한다. 또한, P-GW(523)와 연동하며, 단말(100)에 대한 데이터 송수신을 지원한다. 즉, 코어망(520)에 접속된 단말(100)에서 발생되는 패킷 데이터, 예컨대 영상 통화 호 요청 메시지는 접속망(510)의 eNB(511), 코어망(520)의 S-GW(522) 및 P-GW(523)를 거쳐 전달되며, 패킷 데이터 송수신 시 MME(521)는 관여하지 않는다. The S-GW 522 refers to a serving gateway that processes traffic for a plurality of eNBs 511. In addition, interworking with the P-GW 523, and supports data transmission and reception for the terminal 100. That is, the packet data generated from the terminal 100 connected to the core network 520, for example, a video call call request message, includes an eNB 511 of the access network 510, an S-GW 522 of the core network 520, and the like. The packet is transmitted through the P-GW 523 and the MME 521 is not involved in packet data transmission and reception.

P-GW(523)은 단말(100)의 IP(Internet Protocol) 주소를 할당한다. 그리고 P-GW(523)은 코어 망(520)의 패킷 데이터 관련 기능을 수행한다. 더하여, P-GW(523)은 단말(100) 가입자에게 제공할 베어러 대역을 결정한다. 아울러, P-GW(523)은 패킷 데이터에 대한 포워딩(Forwarding) 및 라우팅(Routing) 기능을 담당할 수 있으며, 또한 단말(100)별로 가입된 서비스 종류에 따라 서로 다른 QoS 정책을 수행하고, 트래픽 등을 제어하는 역할을 수행하게 된다.The P-GW 523 assigns an IP (Internet Protocol) address of the terminal 100. The P-GW 523 performs packet data related functions of the core network 520. In addition, the P-GW 523 determines a bearer band to be provided to the subscriber of the terminal 100. In addition, the P-GW 523 may be in charge of forwarding and routing functions for packet data, perform different QoS policies according to the type of service subscribed to each terminal 100, and perform traffic It is to control the back.

여기서, eNB(511)와 MME(521)는 S1-MME 인터페이스로 연결될 수 있다. 그리고 eNB(511)와 S-GW(522)는 S1-U 인터페이스로 연결될 수 있다. 또한 S-GW(522)와 P-GW(523)은 S5 인터페이스로 연결될 수 있다.Here, the eNB 511 and the MME 521 may be connected to the S1-MME interface. In addition, the eNB 511 and the S-GW 522 may be connected to an S1-U interface. In addition, the S-GW 522 and the P-GW 523 may be connected to the S5 interface.

아울러, 본 발명의 일 실시 예에 따른 코어망(520)은 MME(521), S-GW(522) 및 P-GW(523)의 엔티티로 구현되는 것을 예로 들어 설명하나, 상기 엔티티 이외의 PCEF(Policy and Charging Enforcement Function) 장치와 같인 정책 및 과금을 시행하는 장치, 홈 가입자 관리 장치(Home Subscriber Sever; HSS) 등을 더 포함하여 구성될 수 있다. 이때, 홈 가입자 관리 장치(HSS)는 단말(100)별 가입자 정보(subscription information)를 저장하고 관리하며, 단말(100)의 최초 호 접속 절차 시 MME(521)의 요청에 따라, MME(521)로 가입자 정보, 특히 가입된 VoLTE의 지정된 APN에 대한 정보를 MME(521)로 전달하여, 해당 APN에 따라 세션 및 베어러가 할당되도록 지원할 수 있다. In addition, the core network 520 according to an embodiment of the present invention is described as an example of being implemented as an entity of the MME 521, the S-GW 522 and the P-GW 523, PCEF other than the entity described above Policy and Charging Enforcement Function (Policy and Charging Enhancement Function) It may be configured to further include a device for enforcing a policy and billing, a Home Subscriber Sever (HSS), and the like. At this time, the home subscriber management device (HSS) stores and manages subscription information for each terminal 100, and at the request of the MME 521 during the initial call access procedure of the terminal 100, the MME 521. As a result, subscriber information, in particular, information on a designated APN of a subscribed VoLTE may be transmitted to the MME 521, thereby supporting session and bearer allocation according to the APN.

아울러, PDN(530)을 통해 연결되는 품질 관리 서버(200)는 발신 단말인 단말(100a)과 수신 단말이 상대 단말(100b)간의 영상 통화 호가 연결됨에 따라, 네트워크 상황 정보를 모니터링하고, 증강 현실 컨텐츠 생성의 주체를 결정하는 역할을 지원할 수 있다. In addition, the quality management server 200 connected through the PDN 530 monitors network status information as the video call between the originating terminal 100a and the receiving terminal is connected to the counterpart terminal 100b, and augmented reality. It can support the role of determining the subject of content creation.

이러한 시스템(1000)에 있어서, 발신 단말인 단말(100a)은 수신 단말인 상대 단말(100b)로 영상 통화 호 설정 요청을 전송하고, 상대 단말(100b)이 수락함에 따라 영상 통화 호가 설정되면, 촬영되는 영상 데이터를 인식하여 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성한 후, 생성된 증강 현실 컨텐츠를 발신측 접속망(510a) 및 코어망(520), 그리고 수신측 접속망(510b)을 거쳐 상대 단말(100b)로 전송하게 된다. In such a system 1000, the terminal 100a, which is the originating terminal, transmits a video call call setup request to the counterpart terminal 100b, which is the receiving terminal, and when the video call is established according to the acceptance of the counterpart terminal 100b, photographing. After generating the augmented reality content corresponding to the image data by recognizing the image data to be generated, the counterpart terminal (a) through the originating access network (510a) and core network 520, and the receiving side access network (510b) 100b).

여기서, 증강 현실 컨텐츠는 영상 데이터 및 음성 데이터와 동일한 APN을 통해 전달되나 전달되는 베어러는 각각 서로 다른 경로를 통해 전달되게 된다. 또한 본 발명의 증강 현실 컨텐츠는 품질 관리 서버(200)의 제어에 따라 그 비트 레이트가 가변적으로 조정되어 전송되거나, 단말(100a)은 음성 데이터 및 영상 데이터만을 상대 단말(100b)로 전송하고, 품질 관리 서버(200)가 증강 현실 컨텐츠를 생성하여 상대 단말(100b)로 전송하거나, 상대 단말(100b)에서 증강 현실 컨텐츠가 생성될 수도 있다. Here, the augmented reality content is delivered through the same APN as the image data and the audio data, but the bearers to be delivered are delivered through different paths. In addition, the bit rate of the augmented reality content of the present invention is controlled by the control of the quality management server 200 is transmitted or transmitted, or the terminal 100a transmits only voice data and video data to the other terminal (100b), The management server 200 may generate and transmit the augmented reality content to the counterpart terminal 100b or the augmented reality content may be generated in the counterpart terminal 100b.

보다 구체적인 단말(100)에서의 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해서는 후술하도록 하며, 본 발명의 시스템(1000)을 구성하는 각 장치에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.More specifically, the method for providing augmented reality content during a video call in the terminal 100 will be described later. A processor mounted in each device constituting the system 1000 of the present invention may execute a program command for executing the method according to the present invention. Can be processed. In one implementation, this processor may be a single-threaded processor, and in other implementations, the processor may be a multithreaded processor. Furthermore, the processor is capable of processing instructions stored on memory or storage devices.

이하, 본 발명의 실시 예에 따른 단말(100)의 주요 구성 및 동작 방법에 대해 설명하도록 한다. Hereinafter, the main configuration and operation method of the terminal 100 according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.2 is a block diagram showing a main configuration of a terminal according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 단말(100)은 통신부(10), 입력부(20), 제어부(30), 영상 촬영부(40), 저장부(50) 및 출력부(60)를 포함하여 구성될 수 있다. 1 and 2, the terminal 100 according to an embodiment of the present invention includes a communication unit 10, an input unit 20, a control unit 30, an image photographing unit 40, a storage unit 50, and an output unit. It may be configured to include a portion 60.

각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저, 통신부(10)는 영상 통화 서비스를 위한 세션 연결 모듈(11)을 포함하며, 접속망(510)을 거쳐 코어망(520)에 접속하기 위한 절차, 상대 단말(100b)과 영상 통화를 수행하기 위한 절차 등 다양한 절차에서 발생되는 다양한 정보의 송수신을 지원할 수 있다. In more detail with respect to each component, first, the communication unit 10 includes a session connection module 11 for a video call service, the procedure for accessing the core network 520 via the access network 510, It may support the transmission and reception of various information generated in various procedures such as a procedure for performing a video call with the counterpart terminal 100b.

입력부(20)는 사용자로부터 입력되는 숫자 및 문자 정보 등의 다양한 정보, 각종 기능 설정 및 단말(100)의 기능 제어와 관련하여 입력되는 신호를 제어부(30)로 전달한다. 특히, 본 발명의 입력부(20)는 증강 현실 컨텐츠 생성이 가능한 영상 통화 서비스를 실행하기 위한 별도의 어플리케이션을 실행하기 위한 사용자 입력, 또는 영상 통화를 수행하기 위해 상대 단말(100b)의 번호를 입력하는 행위 등을 지원할 수 있다. 또한, 본 발명의 입력부(20)는 마이크와 같은 사용자의 음성 신호를 처리하여 음성 데이터를 생성할 수 있는 모듈을 포함하며, 영상 통화 시 사용자로부터 입력되는 음성 데이터를 제어부(30)로 전달할 수 있다. The input unit 20 transmits various information such as numeric and text information input from a user, a signal input in connection with various function settings and function control of the terminal 100, to the controller 30. In particular, the input unit 20 of the present invention inputs a user input for executing a separate application for executing a video call service capable of generating augmented reality content, or inputs the number of the counterpart terminal 100b for performing a video call. Support behavior, etc. In addition, the input unit 20 of the present invention may include a module for generating voice data by processing a voice signal of a user such as a microphone, and may transmit voice data input from the user to the controller 30 during a video call. .

이러한 입력부(20)는 상술한 바와 같이, 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치 패드와 같은 터치 입력 수단, 음성 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서와 근접 센서, 제스처 입력 수단, 음성 입력 수단 등을 포함할 수도 있다.As described above, the input unit 20 includes a key input means such as a keyboard or a keypad, a touch input means such as a touch sensor or a touch pad, a voice input means, a gyro sensor, a geomagnetic sensor, an acceleration sensor and a proximity sensor, and a gesture input means. And voice input means.

이 외에도 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단이 포함될 수 있다.In addition, it may include all types of input means that are currently under development or may be developed in the future.

제어부(30)는 단말(100)의 전반적인 제어를 수행하는 것으로, 하드웨어적으로 CPU(Central Processing Unit)/MPU(Micro Processing Unit)를 포함하는 적어도 하나 이상의 프로세서와 적어도 하나 이상의 메모리 로딩 데이터가 로딩되는 실행 메모리(예컨대, 레지스터 및/또는 RAM(Random Access Memory)) 및 상기 프로세서와 메모리로 적어도 하나 이상의 데이터들을 입출력하는 버스(BUS)를 포함하여 이루어질 수 있다. 또한 소프트웨어적으로 단말(100)에 정의된 기능(예컨대, 영상 통화 중 증강 현실 컨텐츠 생성 기능)을 수행하기 위해 소정의 기록매체로부터 상기 실행 메모리로 로딩되어 상기 프로세서에 의해 연산 처리되는 소정의 프로그램 루틴(Routine) 또는 프로그램 데이터를 포함하여 이루어질 수 있다. 다시 말해, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 생성 방법을 처리하기 위해 단말(100)에 구비되는 기능 중 소프트웨어적으로 처리가 가능한 구성 요소를 제어부(30)의 기능으로 판단할 수 있다. The controller 30 performs overall control of the terminal 100, in which at least one processor and at least one memory loading data including a central processing unit (CPU) and a micro processing unit (MPU) are loaded in hardware. It may include an execution memory (eg, a register and / or random access memory (RAM)) and a bus (BUS) for inputting and outputting at least one or more data into the processor and the memory. In addition, a predetermined program routine which is loaded into the execution memory from a predetermined recording medium and computed by the processor to perform a function defined in the terminal 100 (eg, augmented reality content generation function during a video call) by software. (Routine) or program data can be included. In other words, among the functions provided in the terminal 100 to process a method of generating augmented reality content during a video call according to an embodiment of the present invention, a component that can be processed by software may be determined as a function of the controller 30. have.

이러한, 본 발명의 제어부(30)는 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 생성 방법을 지원하기 위해 구비되는 적어도 하나 이상의 구성 요소와 기능적으로 연결된다. 즉, 제어부(30)는 통신부(10), 입력부(20), 영상 촬영부(40), 저장부(50) 및 출력부(60)와 기능적으로 연결되며, 상기 각 구성 요소에 전원 공급 및 기능 수행을 위한 신호의 흐름을 제어하게 된다.Such, the control unit 30 of the present invention is functionally connected with at least one component provided to support a method for generating augmented reality content during a video call according to an embodiment of the present invention. That is, the controller 30 is functionally connected to the communication unit 10, the input unit 20, the image capturing unit 40, the storage unit 50, and the output unit 60, and supplies power and functions to each of the components. It controls the flow of signals for execution.

특히, 본 발명의 제어부(30)는 접속망(510)을 거쳐 코어망(520)에 접속하기 위한 초기 호 접속 절차를 수행할 수 있다. 그리고, 사용자의 요청에 따라 수신 단말인 상대 단말(100b)로 영상 통화 호 연결 요청 메시지를 전송하고, 상대 단말(100b)에서 이를 수락하여 영상 통화 호 연결이 이뤄지면, 영상 촬영부(40)의 카메라 모듈(41)을 구동시켜 카메라 모듈(41)을 통해 촬영되는 영상 데이터에서 기 설정된 객체를 추적 및 인식하여 증강 현실 컨텐츠를 생성하고, 생성된 증강 현실 컨텐츠를 상대 단말(100b)로 전송되는 과정을 지원할 수 있다. In particular, the controller 30 of the present invention may perform an initial call connection procedure for accessing the core network 520 via the access network 510. In response to the user's request, the video call call connection request message is transmitted to the counterpart terminal 100b, which is the receiving terminal, and the counterpart terminal 100b accepts the video call call connection. Process of driving the camera module 41 to generate and augmented reality content by tracking and recognizing a predetermined object in the image data captured by the camera module 41, and transmits the generated augmented reality content to the counterpart terminal (100b) Can support

이러한 본 발명의 제어부(30)의 동작은 후술하는 흐름도를 통해 명확하게 이해될 수 있으며, 본 발명의 제어부(30)는 호 처리 모듈(31) 및 AR 컨텐츠 생성 모듈(32)을 포함하여 구성될 수 있다. The operation of the control unit 30 of the present invention can be clearly understood through the flow chart described below, the control unit 30 of the present invention includes a call processing module 31 and AR content generation module 32 to be configured Can be.

여기서, 호 처리 모듈(31)은 접속망(510)에 연결되는 과정, 코어망(520)에 연결되는 과정, 상대 단말(100b)과 영상 통화 호가 연결되는 과정을 처리하게 된다. AR 컨텐츠 생성 모듈(32)은 상대 단말(100b)과 영상 통화 호가 설정됨에 따라 촬영되는 영상 데이터에서 기 설정된 객체를 추적 및 인식하고, 이에 대응하는 증강 현실 컨텐츠를 생성하고, 이를 호 처리 모듈(31)로 전달하여, 호 처리 모듈(310)을 통해 상대 단말(100b)로 전달되는 과정을 지원할 수 있다. Here, the call processing module 31 processes a process of connecting to the access network 510, a process of connecting to the core network 520, and a process of connecting a video call call to the counterpart terminal 100b. The AR content generation module 32 tracks and recognizes a predetermined object in the image data photographed as the video call is established with the counterpart terminal 100b, generates augmented reality content corresponding thereto, and calls the module 31. ) To support the process of being delivered to the counterpart terminal 100b through the call processing module 310.

영상 촬영부(40)는 카메라 모듈(41)을 포함하여 구성되며, 제어부(30)의 제어에 따라 카메라 모듈(41)을 구동시켜, 영상을 촬영하여 영상 데이터를 생성하는 역할을 수행한다. The image capturing unit 40 includes a camera module 41, and drives the camera module 41 under the control of the controller 30 to capture images and generate image data.

저장부(50)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 그 응용 프로그램 실행 중에 발생되는 다양한 데이터를 일시적으로 저장할 수 있다. 이러한, 저장부(50)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.The storage unit 50 may temporarily store various data generated while executing the application program, including an application program required for operating a function according to an embodiment of the present invention. The storage unit 50 may include a flash memory, a hard disk, a memory of a multimedia card micro type (eg, SD or XD memory), a RAM, a ROM, or the like. ROM) and a storage medium.

출력부(60)는 단말(100)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 표시한다. 특히, 본 발명의 출력부(60)는 영상 통화 화면을 출력하기 위한 표시 모듈(미도시) 및 사용자의 음성 신호를 변환하여 생성된 음성 데이터를 출력하는 음성 출력 모듈(미도시)을 포함하여 구성될 수 있다. The output unit 60 displays information on a series of operation states and operation results that occur during the functioning of the terminal 100. In particular, the output unit 60 of the present invention includes a display module (not shown) for outputting a video call screen and a voice output module (not shown) for outputting voice data generated by converting a user's voice signal. Can be.

이와 같이, 도 2를 통해 본 발명의 단말(100)의 주요 구성요소에 대해 설명하였다. 이러한 본 발명의 단말(100)은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말(100)은 UE(User Equipment), 이동국(Mobile Station, MS), 이동 단말(Mobile Terminal, MT), 가입자국(Subscriber Station, SS), 휴대 가입자국(Portable Subscriber Station, PSS), 접근 단말(Access Terminal, AT) 등을 지칭할 수도 있고, 이동 단말, 가입자국, 휴대 가입자국 등의 전부 또는 일부의 기능을 포함할 수도 있다. 또한, 단말(100)는 그 구현 형태에 따라 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등으로 구분될 수도 있다. As such, the main components of the terminal 100 of the present invention have been described with reference to FIG. 2. The terminal 100 of the present invention may be implemented in various forms. For example, the terminal 100 described herein includes a user equipment (UE), a mobile station (MS), a mobile terminal (MT), a subscriber station (SS), a mobile subscriber station ( It may refer to a Portable Subscriber Station (PSS), an Access Terminal (AT), or the like, and may include all or a part of functions of a mobile terminal, a subscriber station, a portable subscriber station, and the like. In addition, the terminal 100 may be classified into a smart phone, a tablet PC, a personal digital assistant (PDA), a portable multimedia player (PMP), and the like, according to an implementation form thereof.

이하, 본 발명의 실시 예에 따른 품질 관리 서버(200)의 주요 구성 및 동작 방법에 대해 설명하도록 한다. Hereinafter, the main configuration and operation method of the quality control server 200 according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 품질 관리 서버의 주요 구성을 도시한 블록도이다. 3 is a block diagram showing a main configuration of a quality control server according to an embodiment of the present invention.

도 1 및 도 3을 참조하면, 본 발명의 실시 예에 따른 품질 관리 서버(300)는 서버 통신부(210), 서버 제어부(220) 및 서버 저장부(230)를 포함하여 구성될 수 있다. 1 and 3, the quality control server 300 according to an exemplary embodiment of the present invention may include a server communication unit 210, a server control unit 220, and a server storage unit 230.

각 구성 요소에 대해 보다 구체적으로 설명하면, 먼저 서버 통신부(210)는 PDN(530)을 통해 연결되며 영상 통화 호가 연결된 단말(100a) 및 상대 단말(100b) 간의 세션에 대한 네트워크 상황 정보를 모니터링하는 역할을 수행한다. In more detail with respect to each component, first, the server communication unit 210 is connected via the PDN 530 and monitors the network status information on the session between the terminal 100a and the counterpart terminal 100b to which the video call call is connected. Play a role.

서버 제어부(220)는 서버 통신부(210)를 통해 모니터링된 네트워크 상황 정보에 따라 단말(100)이 증강 현실 컨텐츠를 생성하는 것이 적합한 지 여부를 판단하여, 이에 따른 정보를 서버 통신부(210)를 거쳐 단말(100)로 전송하는 역할을 지원할 수 있다. 아울러, 서버 제어부(220)는 일정 주기 단위로 네트워크 상황 정보를 모니터링하고 모니터링된 네트워크 상황 정보를 발신 단말인 단말(100a)로 전달하여 단말(100a)이 증강 현실 컨텐츠 생성 시 비트 레이트를 가변적으로 조정하여 생성하도록 지원하는 역할을 수행할 수 있다. 또한, 서버 제어부(220)는 단말(100)이 증강 현실 컨텐츠를 생성하는 것이 부적합할 경우 자신이 직접 증강 현실 컨텐츠를 생성할 수 있으며, 생성된 증강 현실 컨텐츠를 네트워크 상황 정보에 따라 비트 레이트를 조정하여 수신 단말이 상대 단말(100b)로 전송되는 과정을 지원할 수 있다. The server controller 220 determines whether it is suitable for the terminal 100 to generate augmented reality content according to the network condition information monitored by the server communication unit 210, and transmits the information according to the server communication unit 210. It may support the role of transmitting to the terminal 100. In addition, the server controller 220 monitors the network status information at regular intervals and transmits the monitored network status information to the terminal 100a as the originating terminal to variably adjust the bit rate when the terminal 100a generates augmented reality content. It can play the role of supporting creation. In addition, when it is inappropriate for the terminal 100 to generate the augmented reality content, the server controller 220 may directly generate the augmented reality content, and adjust the bit rate of the generated augmented reality content according to the network context information. By doing so, the receiving terminal may support a process of transmitting to the counterpart terminal 100b.

여기서, 네트워크 상황 정보는 네트워크 연결 상태, 통신 대역폭, 부하 정보 등 접속망(510) 및 코어망(520), 그리고 PDN(530) 상에 발생될 수 있는 다양한 정보를 포함하는 개념이 될 수 있다. Here, the network status information may be a concept including various information that may be generated on the access network 510, the core network 520, and the PDN 530, such as network connection status, communication bandwidth, and load information.

아울러, 본 발명의 서버 제어부(220)는 도면에는 도시하지 않았으나 단말(100)간의 영상 통화 호 처리 과정을 지원하는 호 처리 모듈(미도시) 및 단말(100)간 송수신되는 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성할 수 있는 AR 컨텐츠 생성 모듈(미도시)을 포함하여 구성될 수 있다. In addition, although not shown in the drawings, the server controller 220 of the present invention enhances a call processing module (not shown) that supports a video call call processing process between the terminals 100 and image data transmitted and received between the terminals 100. It may be configured to include an AR content generation module (not shown) that can generate the actual content.

서버 저장부(230)는 본 발명의 실시 예에 따른 각종 정보를 저장하는 역할을 수행한다. 예컨대, 서버 저장부(230)는 증강 현실 컨텐츠 생성을 위해 필요한 AR 엔진과 관련된 정보를 저장할 수 있다. The server storage unit 230 stores a variety of information according to an embodiment of the present invention. For example, the server storage unit 230 may store information related to an AR engine required for generating augmented reality content.

이상으로 본 발명의 실시 예에 따른 품질 관리 서버(200)의 주요 구성 및 동작 방법에 대해 설명하였다.The main configuration and operation method of the quality control server 200 according to the embodiment of the present invention have been described above.

한편, 단말(100) 및 품질 관리 서버(200) 등 본 발명의 구현을 위한 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the memory mounted in each device for implementing the present invention, such as the terminal 100 and the quality control server 200, stores information in the device. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

아울러, 본 발명의 실시 예에서 사용되는 '~모듈'이라는 용어는 소프트웨어 구성요소를 의미하며, '~모듈'은 어떤 역할들을 수행한다. 일 예로서 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 구성요소들과 '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~모듈'들로 결합되거나 추가적인 구성요소들과 '~모듈'들로 더 분리될 수 있다.In addition, the term '~ module' used in the embodiment of the present invention refers to a software component, '~ module' plays a role. By way of example, a '~ module' may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and subs. Routines, segments of program code, drivers, data, databases, data structures, tables, arrays, and variables. In addition, the functions provided in the components and '~ modules' may be combined into a smaller number of components and '~ modules' or further separated into additional components and '~ modules'.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module. The computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.

이하, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해 설명하도록 한다. Hereinafter, a method of providing augmented reality content during a video call according to an embodiment of the present invention will be described.

먼저, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기에 앞서, 이를 위한 초기 호 접속 절차에 대해 도 4를 참조하여 개략적으로 설명하도록 한다. First, before describing a method for providing augmented reality content during a video call according to an embodiment of the present invention, an initial call connection procedure for this will be described with reference to FIG. 4.

도 4는 본 발명의 실시 예에 따른 초기 호 접속 절차를 개략적으로 도시한 데이터 흐름도이다. 4 is a data flow diagram schematically illustrating an initial call connection procedure according to an embodiment of the present invention.

도 4를 참조하여 설명하기에 앞서, 도 4에 도시된 초기 호 접속 절차는 본 발명을 설명하기 위해 필요한 단계들을 개략적으로 도시한 것으로, 실질적인 동작 단계에서는 도시된 단계 이외의 다양한 단계들이 초기 호 접속 절차 단계에서 수행될 수 있음을 유의해야 한다. Prior to the description with reference to FIG. 4, the initial call connection procedure shown in FIG. 4 schematically shows the steps necessary to explain the present invention. In the actual operation step, various steps other than the steps shown are initial call connection. It should be noted that this may be done at the procedural stage.

도 4를 참조하면, 초기 호 접속 절차에서, 단말(100)은 eNB(511)와 RRC 연결 설정 과정을 수행하게 된다(S101). 예컨대, 단말(100)은 일정 반경 내 위치하는 eNB(511)를 탐색하여 탐색된 eNB(511)와 무선 링크 동기를 설정하고, RRC 연결 요청(RRC Connection Request) 메시지를 eNB(511)로 전달하고, 이에 대한 응답으로 단말(100)은 eNB(511)로부터 RRC 연결 셋업(RRC Connection Setup) 메시지를 수신할 수 있다. 이러한 절차를 거쳐 RRC 연결 수립이 완료되면, 단말(100)은 자신의 단말 ID를 IMSI(International Mobile Subscriber Identity)로 설정하고, 단말(100)이 지원하는 네트워크 성능에 대한 정보를 포함하는 어태치 요청(attach request) 메시지를 MME(521)로 전달한다(S103). Referring to FIG. 4, in an initial call access procedure, the terminal 100 performs an RRC connection establishment process with an eNB 511 (S101). For example, the terminal 100 searches for an eNB 511 located within a predetermined radius, establishes radio link synchronization with the discovered eNB 511, and transmits an RRC Connection Request message to the eNB 511. In response, the terminal 100 may receive an RRC connection setup message from the eNB 511. When the RRC connection establishment is completed through this procedure, the terminal 100 sets its terminal ID to IMSI (International Mobile Subscriber Identity), and attach request including information on network performance supported by the terminal 100. The attach request message is transmitted to the MME 521 (S103).

그리고, eNB(511)는 초기 접속(Initial UE) 메시지를 MME(521)로 전송하고(S105), 이를 수신한 MME(521)는 해당 단말(100)에 대응하여 자신이 관리하는 식별 정보인 MME S1AP UE ID를 할당하여 eNB(511)와 MME(521) 간에 S1 시그널링 연결이 설정되게 된다. 아울러, 단말(100)로부터 어태치 요청 메시지를 통해 단말(100)의 IMSI와 네트워크 성능에 대한 정보를 확인한 MME(521)는 이를 이용하여 가입자 인증 절차를 수행하게 된다(S107). 여기서, MME(521)에 의한 가입자 인증 절차는 도면에는 도시되어 있지 않으나 HSS(미도시)로부터 가입자에 대한 인증 벡터(authentication vector)를 획득하는 단계와, MME(521)와 UE(100) 간에 상호 인증을 수행하는 단계를 통해 이뤄질 수 있다. 구체적인 가입자 인증 절차는 공지된 가입자 인증 절차를 따르므로, 이에 대해서는 생략하도록 한다. In addition, the eNB 511 transmits an initial UE message to the MME 521 (S105), and the MME 521 which receives the MUE is an identification information managed by the eNB 511 in response to the corresponding UE 100. S1 signaling connection is established between the eNB 511 and the MME 521 by assigning an S1AP UE ID. In addition, the MME 521 which has confirmed the information on the IMSI and the network performance of the terminal 100 through the attach request message from the terminal 100 performs the subscriber authentication procedure using this (S107). Here, although the subscriber authentication procedure by the MME 521 is not shown in the figure, obtaining an authentication vector for the subscriber from the HSS (not shown), and mutually between the MME 521 and the UE 100. This can be done through the step of performing authentication. Since the specific subscriber authentication procedure follows a known subscriber authentication procedure, it will be omitted.

이후, MME(521)는 망에 가입자인 단말(100)을 등록시키고 사용자가 어떤 서비스를 이용할 수 있는 지 파악하기 위해, HSS(미도시)와의 위치 등록 절차를 수행하게 된다(S109). 즉, MME(521)는 단말(100)이 자신에게 접속해서 자신이 관리하는 영역에 위치하고 있음을 알리는 위치 등록 요청(Update location request) 메시지를 HSS(미도시)로 전송하고, HSS(미도시)로부터 APN 정보를 포함하는 가입자 정보를 위치 등록 답변(Update Location Answer) 메시지를 통해 수신하게 된다(S111). Thereafter, the MME 521 registers the terminal 100 as a subscriber to the network and performs a location registration procedure with the HSS (not shown) to determine what services the user can use (S109). That is, the MME 521 transmits an update location request message to the HSS (not shown) indicating that the terminal 100 is connected to itself and is located in an area managed by the MME 521, and the HSS (not shown). Subscriber information including APN information is received from an Update Location Answer message (S111).

이러한 과정을 통해 MME(521)는 단말(100)이 가입한 서비스 정보를 확인할 수 있으며, 확인된 APN 정보에 따라 단말(100)이 가입한 서비스를 제공할 수 있도록, S-GW(522) 및 P-GW(523)가 세션 설정 및 베어러 설정 절차가 수행되도록 제어하게 된다. 예컨대, MME(521)는 단말(100)에 대한 EPS 베어러 ID를 할당하고, 확인된 APN으로 접속하기 위해 P-GW(523)을 결정하게 된다. Through this process, the MME 521 may check the service information subscribed to the terminal 100, and the S-GW 522 and the terminal 100 to provide the subscribed service according to the confirmed APN information. The P-GW 523 controls to perform the session establishment and bearer establishment procedure. For example, the MME 521 allocates an EPS bearer ID for the terminal 100 and determines the P-GW 523 to access the confirmed APN.

본 발명의 실시 예에 따른 단말(100)은 VoLTE 서비스를 지원하는 LTE Second APN에 가입된 상태이므로, MME(521)는 상기 APN에 해당하는 서비스를 처리할 수 있는 P-GW(523)를 결정하고, 해당 P-GW(523)와 연결되기 위한 S-GW(522)을 선택한다. 이후, MME(521)는 선택된 해당 S-GW(522)로 세션 설정 요청(create session request) 메시지를 전송하고(S113), 이를 수신한 S-GW(522)는 P-GW(523)로 세션 설정 요청 메시지를 전송한다. 이러한 과정을 거쳐 P-GW(523)와 S-GW(522)는 하향 트래픽을 전송할 수 있는 터널이 설정되고, P-GW(523)는 단말(100)이 APN을 이용할 때 사용할 IP 주소를 할당하게 된다. 아울러, P-GW(523)는 도면에는 도시되어 있지 않으나 PCRF(미도시)와 연동하여 가입자 프로파일 확인 절차를 더 수행할 수 있으며, 모든 관련 절차를 거쳐 세션 설정이 완료되면 P-GW(523)은 S-GW(522)로 세션 설정 완료(create session response) 메시지를 전송하고(S117), S-GW(522)는 MME(521)로 세션 설정 완료 메시지를 전송한다(S119). Since the terminal 100 is subscribed to the LTE Second APN supporting the VoLTE service, the MME 521 determines the P-GW 523 capable of processing the service corresponding to the APN. Then, the S-GW 522 to be connected with the corresponding P-GW 523 is selected. Thereafter, the MME 521 transmits a session setup request message to the selected corresponding S-GW 522 (S113), and the S-GW 522 receiving the session sends a session to the P-GW 523. Send setup request message. Through this process, the P-GW 523 and the S-GW 522 establish a tunnel for transmitting downlink traffic, and the P-GW 523 allocates an IP address to be used when the terminal 100 uses the APN. Done. In addition, although the P-GW 523 is not shown in the drawing, the P-GW 523 may further perform a subscriber profile checking procedure in connection with a PCRF (not shown). When the session setup is completed through all the related procedures, the P-GW 523 may be used. The S-GW 522 transmits a session establishment completion message to the S-GW 522 (S117), and the S-GW 522 transmits a session establishment completion message to the MME 521 (S119).

이후, MME(521)는 eNB(511)로 초기 접속 요청/응답(Initial Context Setup request/response) 메시지를 송수신함에 따라, 초기 접속 과정을 완료하게 된다(S123). Thereafter, the MME 521 transmits and receives an Initial Context Setup request / response message to the eNB 511, thereby completing the initial access process (S123).

아울러, 본 발명의 실시 예에서 MME(521)는 S-GW(522) 및 P-GW(523)을 제어하여 세션 설정 및 베어러 할당 시 VoLTE 서비스를 위한 3가지의 기본 베어러를 설정할 수 있다. 예컨대, 영상 데이터 송수신을 위한 베어러, 음성 데이터 송수신을 위한 베어러 및 IMS 시그널링을 위한 베어러를 설정할 수 있으며, 이 중 IMS 시그널링을 위한 베어러를 통해 본 발명의 증강 현실 컨텐츠가 전송될 수 있으며, MME(521)의 시스템 설계 구현 방식에 따라, 상기 3가지의 기본 베어러 이외의 증강 현실 컨텐츠 송수신을 위한 추가적인 베어러를 할당할 수도 있다. In addition, according to an embodiment of the present invention, the MME 521 may control the S-GW 522 and the P-GW 523 to configure three basic bearers for VoLTE service at session establishment and bearer allocation. For example, a bearer for transmitting / receiving image data, a bearer for transmitting / receiving voice data, and a bearer for IMS signaling may be configured, and among the bearers for IMS signaling, the augmented reality content of the present invention may be transmitted, and the MME 521 Depending on the system design implementation method of the), additional bearers for transmitting and receiving augmented reality content other than the three basic bearers may be allocated.

이러한 과정을 거치게 되면, 이후 단말(100)은 지정된 S-GW(522) 및 P-GW(523)을 거쳐 상대 단말과 영상 통화를 수행할 수 있게 된다. 이때 단말(100)은 초기 호 접속 절차에서 지정된 VoLTE 서비스를 위해 지정된 APN의 지정된 베어러를 통해 영상 데이터, 음성 데이터 및 증강 현실 컨텐츠를 상대 단말로 전송할 수 있게 된다. After this process, the terminal 100 can perform a video call with the counterpart terminal through the designated S-GW 522 and the P-GW 523. In this case, the terminal 100 may transmit image data, voice data, and augmented reality content to the counterpart terminal through a designated bearer of the APN designated for the designated VoLTE service in the initial call access procedure.

이러한, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해 설명하도록 한다. Such a method of providing augmented reality content during a video call according to an exemplary embodiment of the present invention will be described.

도 5는 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a method of providing augmented reality content during a video call according to an embodiment of the present invention.

도 1 및 도 5를 참조하여 설명하기 앞서, 단말(100a)과 상대 단말(100b)을 구분하여 설명하도록 하며, 이때의 단말(100a)은 영상 통화를 수행하고자 하는 발신 단말이며, 상대 단말(100b)은 수신 단말인 것을 가정하여 설명하도록 한다. 아울러, 단말(100a) 및 상대 단말(100b) 모두 VoLTE 서비스에 가입된 가입자의 단말이며, 도 4를 참조하여 설명한 바와 같이 코어망(520)에 접속된 상태인 것을 가정하여 설명하도록 한다. Before describing with reference to FIGS. 1 and 5, the terminal 100a and the counterpart terminal 100b are divided and described. The terminal 100a is an originating terminal for performing a video call and the counterpart terminal 100b. ) Is assumed to be a receiving terminal. In addition, it will be described on the assumption that both the terminal 100a and the counterpart terminal 100b are subscriber terminals subscribed to the VoLTE service and are connected to the core network 520 as described with reference to FIG. 4.

단말(100a)은 영상 통화를 수행하고자 하는 상대 단말(100b)을 선택하고, 선택된 상대 단말(100b)로 영상 통화 호 요청 메시지를 전송하게 된다(S201). 여기서, 전달되는 영상 통화 호 요청 메시지는 VoLTE 서비스를 위해 지정된 APN의 IMS 시그널링 송수신을 위한 베어러를 통해 상대 단말(100b)로 전송될 수 있으며, 단말측 eNB(511a), S-GW(522), P-GW(523) 및 상대 단말측 eNB(511b)를 거쳐 상대 단말(100b)로 전송되나, 이러한 과정에 대해서는 생략하여 설명하도록 한다. The terminal 100a selects the counterpart terminal 100b to conduct a video call and transmits a video call request message to the selected counterpart terminal 100b (S201). Here, the transferred video call request message may be transmitted to the counterpart terminal 100b through a bearer for transmitting / receiving IMS signaling of the APN designated for the VoLTE service, the terminal side eNB 511a, the S-GW 522, Although transmitted to the counterpart terminal 100b via the P-GW 523 and the counterpart terminal side eNB 511b, this process will be omitted.

이를 수신한 상대 단말(100b)는 사용자의 요청에 따라 영상 통화 호 연결을 수락하거나 거절할 수 있다. 이때, 상대 단말(100b)에서 단말(100a)로부터 전달되는 영상 통화 호를 수락한 경우(S203), 단말(100a)과 상대 단말(100b) 간에 영상 통화 호 연결이 완료된다. The counterpart terminal 100b receiving the request may accept or reject the video call call connection at the user's request. At this time, when the counterpart terminal 100b accepts the video call call transmitted from the terminal 100a (S203), the video call call connection is completed between the terminal 100a and the counterpart terminal 100b.

단말(100a)은 상대 단말(100b)과 영상 통화 호 연결이 완료됨에 따라 카메라 모듈을 구동하여 카메라 모듈을 통해 촬영되는 영상 데이터를 생성할 수 있으며, 네트워크 상황 정보를 확인하여(S205), 증강 현실 컨텐츠 전송 여부를 결정할 수 있다. When the terminal 100a completes the video call call connection with the counterpart terminal 100b, the terminal 100a may drive the camera module to generate image data photographed through the camera module, and check network information (S205). It may be determined whether to transmit the content.

즉, 단말(100a)은 일정 주기 단위로 네트워크 상황 정보를 품질 관리 서버(200)로부터 수신하여 확인할 수 있으며, 확인된 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우인지 여부를 판단하게 된다(S207).That is, the terminal 100a may receive and confirm the network status information from the quality control server 200 at regular intervals, and determine whether the confirmed network status information is capable of augmented reality content transmission (S207). .

단말(100a)은 품질 관리 서버(200)로부터 수신된 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우로 판단되면, 카메라 모듈을 통해 실시간 촬영되는 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성하고(S209), 생성된 증강 현실 컨텐츠를 영상 데이터와 함께 상대 단말(100b)로 전송할 수 있다(S211). If it is determined that the network condition information received from the quality management server 200 is capable of transmitting augmented reality content, the terminal 100a generates augmented reality content in response to image data captured in real time through the camera module (S209). In operation S211, the generated augmented reality content may be transmitted to the counterpart terminal 100b together with the image data.

반면, S207 단계에서 단말(100a)은 품질 관리 서버(200)로부터 수신된 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 불가능한 경우로 판단되면, 단말(100a)은 영상 데이터만을 상대 단말(100b)로 전송할 수 있으며(S213), 이 경우, 수신단의 네트워크 상황에 따라 품질 관리 서버(200) 또는 상대 단말(100b)이 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성할 수 있다. On the contrary, if it is determined in step S207 that the network condition information received from the quality management server 200 is impossible to transmit augmented reality content, the terminal 100a may transmit only image data to the counterpart terminal 100b. In this case, in this case, the quality management server 200 or the counterpart terminal 100b may generate augmented reality content corresponding to the image data according to the network condition of the receiver.

아울러, 단말(100a)이 상대 단말(100b)로 영상 데이터 또는 영상 데이터와 생성된 증강 현실 컨텐츠를 전송하는 것을 예로 들어 설명하였으나, 사용자로부터 음성 신호가 입력되어 음성 데이터가 생성되는 경우, 생성된 음성 데이터를 함께 상대 단말(100b)로 전송할 수도 있다. In addition, the terminal 100a has been described as an example of transmitting the image data or the image data and the generated augmented reality content to the counterpart terminal 100b. However, when the voice signal is input from the user to generate the voice data, the generated voice The data may be transmitted to the counterpart terminal 100b together.

아울러, 본 발명의 실시 예에 따른 단말(100a)은 영상 통화 호가 연결된 상태에서, 상대 단말(100b)로 영상 데이터와 음성 데이터, 영상 데이터에 대응하는 증강 현실 컨텐츠를 VoTLE 서비스를 위해 지정된 동일 APN의 서로 다른 베어러를 통해 각각 전송할 수 있다. 이때, 증강 현실 컨텐츠가 전송되는 베어러는 초기 호 접속 절차에서 시그널링을 위해 할당된 기본 베어러를 이용할 수 있으며, 시스템 구현 방식에 따라 증강 현실 컨텐츠 송수신을 위해 추가적으로 할당된 베어러를 이용할 수 있다. In addition, the terminal 100a according to an embodiment of the present invention transmits the augmented reality content corresponding to the image data, the audio data, and the image data to the counterpart terminal 100b while the video call is connected to the same APN. Each can transmit on different bearers. In this case, a bearer to which augmented reality content is transmitted may use a default bearer allocated for signaling in an initial call access procedure, and may use a bearer additionally allocated to transmit and receive augmented reality content according to a system implementation.

상대 단말(100b)은 서로 다른 베어러를 통해 전달되는 데이터들을 결합하여 출력할 수 있으며, 단말(100a)로부터 영상 데이터 또는 영상 데이터와 음성 데이터만을 수신하는 경우, 전술한 바와 같이 상대 단말(100b)이 직접 단말(100a)로부터 전송된 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성하여 출력할 수도 있다. The counterpart terminal 100b may combine and output data transmitted through different bearers, and when only the video data or the video data and the audio data are received from the terminal 100a, the counterpart terminal 100b may be configured as described above. The augmented reality content corresponding to the image data transmitted directly from the terminal 100a may be generated and output.

이러한, 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해 도 6 및 도 7을 참조하여 보다 구체적으로 설명하도록 한다. Such a method of providing augmented reality content during a video call according to an exemplary embodiment of the present invention will be described in more detail with reference to FIGS. 6 and 7.

도 6은 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 데이터 흐름도이다. 6 is a data flow diagram illustrating a method of providing augmented reality content during a video call according to an embodiment of the present invention.

도 6을 참조하여 설명하기에 앞서, 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법은 발신 단말인 단말(100a)이 증강 현실 컨텐츠를 생성하여 수신 단말인 상대 단말(100b)로 전송하는 과정을 중심으로 설명하도록 한다. Before describing with reference to FIG. 6, in the method for providing augmented reality content during a video call according to an embodiment of the present invention, the terminal 100a as the originating terminal generates the augmented reality content to the counterpart terminal 100b as the receiving terminal. The description will focus on the transmission process.

아울러, 단말(100a) 및 상대 단말(100b) 간의 정보의 송수신은 접속망(510)의 eNB(511) 및 코어망(520)의 여러 엔티티를 거쳐 송수신될 수 있으나, 설명의 편의를 위해 이에 대해서는 생략하도록 한다. 다만, PDN(530)을 통해 연결되는 품질 관리 서버(200)의 개입에 대해서는 설명하도록 한다. In addition, transmission and reception of information between the terminal 100a and the counterpart terminal 100b may be transmitted and received through various entities of the eNB 511 and the core network 520 of the access network 510, but the description thereof is omitted for convenience of description. Do it. However, the intervention of the quality management server 200 connected through the PDN 530 will be described.

먼저, 단말(100a)은 상대 단말(100b)을 선택하고, 선택된 상대 단말(100b)로 영상 통화 호 요청 메시지를 전송한다(S301). 이때, 전송되는 영상 통화 호 요청 메시지는 도 4를 참조하여 설명한 바와 같이, 초기 호 접속 절차에서 사전에 지정된(dedicated) APN의 IMS 시그널링 베어러를 통해 전송되게 된다. 그리고, 상대 단말(100b)로부터 영상 통화 수락 메시지가 전송되면(S303), 단말(100a) 및 상대 단말(100b)은 영상 통화 호가 연결된 상태이며, 영상 통화 호가 연결됨에 따라 품질 관리 서버(200)는 단말(100a) 및 상대 단말(100b) 측의 네트워크 상황 정보에 대해 모니터링하게 된다(S305). First, the terminal 100a selects the counterpart terminal 100b and transmits a video call call request message to the selected counterpart terminal 100b (S301). In this case, the video call call request message transmitted is transmitted through the IMS signaling bearer of the APN, which is dedicated in the initial call connection procedure, as described with reference to FIG. 4. When the video call acceptance message is transmitted from the counterpart terminal 100b (S303), the terminal 100a and the counterpart terminal 100b are connected to the video call call, and the quality management server 200 is connected to the video call call. The network status information of the terminal 100a and the counterpart terminal 100b is monitored (S305).

아울러, 단말(100a)은 영상 통화 호가 연결됨에 따라, 카메라 모듈을 구동시켜(S307), 카메라 모듈을 통해 촬영되는 영상 데이터에서 기 설정된 객체를 추적, 인식하게 된다(S309). In addition, as the video call is connected, the terminal 100a drives the camera module (S307) to track and recognize a predetermined object in the image data photographed through the camera module (S309).

이때, 단말(100a)은 촬영되는 영상 데이터에 다수 개의 객체가 존재하는 경우, 다수 개의 객체를 각각 인식하고, 인식된 객체 중 단말(100a)의 사용자로 지정된 객체 또는 설정된 객체, 또는 인식이 가장 용이한 객체를 기 설정된 객체로 판단하여 해당 객체만을 추적 및 인식하는 과정을 수행할 수 있다. 예를 들어, 단말(100a)의 카메라 모듈을 통해 촬영되는 영상 데이터에 단말(100a)의 사용자와 단말(100a)의 사용자 이외의 다른 사용자가 함께 존재하는 경우, 단말(100a)은 사용자로 지정된 객체만을 인식하여 추적할 수 있다. 또 다른 예를 들어, 카메라 모듈을 통해 촬영되는 영상 데이터에 기 설정된 광고 객체가 존재하는 경우, 해당 광고 객체만을 추적 및 인식할 수 있다. 여기서 기 설정된 광고 객체는 사용자에 의해 설정되거나 품질 관리 서버(200)를 통해 설정될 수 있는 정보이다. 또 다른 예를 들어, 영상 데이터에 복수의 객체가 존재하는 경우, 가장 앞에 있어 인식이 용이한 객체만을 추적 및 인식할 수 있게 된다. In this case, when a plurality of objects exist in the image data to be photographed, the terminal 100a recognizes the plurality of objects, and among the recognized objects, the object designated as the user of the terminal 100a or the set object, or the recognition is most easily. One object may be determined as a preset object, and a process of tracking and recognizing only the corresponding object may be performed. For example, when a user other than the user of the terminal 100a and the user of the terminal 100a exist together in the image data photographed through the camera module of the terminal 100a, the terminal 100a is an object designated as a user. Only recognize and track. As another example, when a preset advertisement object exists in the image data photographed through the camera module, only the corresponding advertisement object may be tracked and recognized. The preset advertisement object is information that may be set by the user or through the quality control server 200. For another example, when a plurality of objects exist in the image data, only the object that is at the forefront and easily recognized may be tracked and recognized.

이후에, 단말(100a)은 추적 및 인식되는 기 설정된 객체에 대한 증강 현실 컨텐츠를 생성하게 된다(S311). 여기서, 생성되는 증강 현실 컨텐츠는 구현 형태에 따라 이미지, 비디오, 애니메이션 등 다양한 형태의 컨텐츠가 증강 현실 컨텐츠로 생성될 수 있다. 또한, 컨텐츠 내용에 따라 단말(100a) 사용자와 관련된 주요 이벤트(예컨대, 생일, 미팅 일정 등)를 안내하는 정보를 증강 현실 컨텐츠로 생성할 수 있으며, 최근의 커뮤니케이션 이력(예컨대, 통화 이력, 메시지 송수신 이력)에 대한 간략한 정보를 증강 현실 컨텐츠로 생성할 수 있다. 여기서, 사용자와 관련된 주요 이벤트, 최근의 커뮤니케이션 이력은 단말(100a)에 저장된 정보를 활용하여 생성될 수 있다. Thereafter, the terminal 100a generates the augmented reality content for the preset object to be tracked and recognized (S311). Here, the generated augmented reality content may be generated as augmented reality content of various types of content such as an image, a video, an animation according to the implementation form. In addition, according to the contents of the content can be generated as augmented reality content information for guiding a major event (eg, birthday, meeting schedule, etc.) related to the user of the terminal (100a), the recent communication history (for example, call history, message transmission and reception) Brief information on the history) may be generated as augmented reality content. Here, the main event related to the user and the recent communication history may be generated by using the information stored in the terminal 100a.

단말(100a)이 증강 현실 컨텐츠를 생성하는 중에 품질 관리 서버(200)는 일정 주기 단위로 지속적으로 네트워크 상황 정보를 모니터링하고(S305), 이에 대한 정보를 단말(100a)로 안내할 수 있다. While the terminal 100a generates the augmented reality content, the quality control server 200 may continuously monitor the network status information at predetermined intervals (S305) and guide the information to the terminal 100a.

이를 수신한 단말(100a)은 네트워크 상황 정보에 따라 증강 현실 컨텐츠의 비트 레이트를 가변적으로 조절할 수 있으며(S315), 가변적으로 조절되는 증강 현실 컨텐츠를 영상 데이터, 음성 데이터와 함께 상대 단말(100b)로 전송하게 된다(S317). 여기서, 영상 데이터, 음성 데이터 및 영상 데이터에 대응하는 증강 현실 컨텐츠는 동일 APN의 서로 다른 각각의 베어러를 통해 상대 단말(100b)로 전송되며, 증강 현실 컨텐츠가 전달되는 베어러는 IMS 시그널링을 위한 베어러를 이용하거나 또는 증강 현실 컨텐츠 송수신을 위해 추가로 할당된 베어러를 통해 전송될 수 있다. Upon receiving this, the terminal 100a may variably adjust the bit rate of the augmented reality content according to the network situation information (S315), and adjust the augmented reality content that is variably adjusted to the counterpart terminal 100b together with the image data and the audio data. It is to be transmitted (S317). Here, the augmented reality content corresponding to the image data, the audio data, and the image data is transmitted to the counterpart terminal 100b through different bearers of the same APN, and the bearer to which the augmented reality content is delivered receives a bearer for IMS signaling. Or via a bearer additionally allocated for augmented reality content transmission and reception.

이후에, 상대 단말(100b)은 수신되는 영상 데이터, 음성 데이터 및 증강 현실 컨텐츠를 영상 통화 화면을 통해 출력하게 된다(S319). 아울러, 단말(100a)의 영상 통화 화면을 통해서도 출력될 수 있다. Thereafter, the counterpart terminal 100b outputs the received video data, audio data, and augmented reality content through the video call screen (S319). In addition, it may be output through the video call screen of the terminal (100a).

여기서, 영상 데이터에 대응되어 생성된 증강 현실 컨텐츠는 컨텐츠 타입, 컨텐츠 표시 좌표, 컨텐츠 전송 타입, 컨텐츠 품질, 컨텐츠 전송 정보의 필드를 포함하여 구성된다. 컨텐츠 타입은 생성된 증강 현실 컨텐츠의 타입(type)(예컨대, 이미지, 동영상, 3D 애니메이션, 오디오 등)을 의미하며, 1byte의 정수(integer) 값을 가질 수 있다. 또한, 컨텐츠 표시 좌표는 영상 데이터에 대응하여 증강 현실 컨텐츠를 매핑시키기 위한 좌표 값을 의미하며, x, y 좌표 각각 4byte 씩 총 8byte의 정수(integer) 값을 가질 수 있다. 여기서, 좌표 값을 보낼 필요가 없는 경우, 널(null) 값으로 설정될 수 있다. 또한, 컨텐츠 전송 타입은 1byte의 정수(integer) 값을 가질 수 있는 데, PDN(530)을 통해 연결된 외부 서버(미도시)로부터 증강 현실 컨텐츠를 가져오는 경우, 이에 따른 정보를 컨텐츠 전송 정보 필드에 기재하며, 이때의 컨텐츠 전송 타입 필드에 이에 대한 정보를 기재하게 된다. 아울러, 컨텐츠 품질을 1byte의 정수(integer) 값을 가지며, 품질 관리 서버(200)로부터 수신되는 네트워크 상황 정보에 따라 가변적으로 조정될 수 있는 정보를 의미한다. 이때의 컨텐츠 품질은 0부터 255 사이에 값을 가질 수 있으며, 숫자가 작을수록 고품질을 의미하게 된다. Here, the augmented reality content generated corresponding to the image data is configured to include fields of content type, content display coordinates, content delivery type, content quality, and content delivery information. The content type refers to a type (eg, image, video, 3D animation, audio, etc.) of the generated augmented reality content, and may have an integer value of 1 byte. In addition, the content display coordinates may refer to coordinate values for mapping augmented reality content corresponding to the image data, and may have an integer value of 8 bytes in total each of 4 bytes of x and y coordinates. Here, if it is not necessary to send the coordinate value, it can be set to a null value. In addition, the content transmission type may have an integer value of 1 byte, and when augmented reality content is obtained from an external server (not shown) connected through the PDN 530, the information according to the content transmission information field is input. In this case, information on the content transmission type field will be described. In addition, the content quality refers to information having an integer value of 1 byte and which can be variably adjusted according to network status information received from the quality management server 200. At this time, the content quality may have a value between 0 and 255. The smaller the number, the higher the quality.

아울러, 단말(100a)은 상대 단말(100b)로부터 상대 단말(100b)에 의해 촬영되는 영상 데이터, 음성 데이터 및 증강 현실 컨텐츠를 수신하여 출력할 수도 있다. In addition, the terminal 100a may receive and output image data, audio data, and augmented reality content photographed by the counterpart terminal 100b from the counterpart terminal 100b.

즉, 단말(100a)을 통해 보여지는 영상 통화 화면은 상대 단말(100b)의 영상을 확인할 수 있는 영역과, 자신의 영상을 확인할 수 있는 영역으로 구분되며, 자신의 영상을 확인할 수 있는 영역에서는 단말(100a)을 통해 촬영되는 영상 데이터 및 이에 대응하는 증강 현실 컨텐츠를 출력할 수 있으며, 상대의 영상을 확인할 수 있는 영역을 통해 상대 단말(100b)로부터 수신되는 영상 데이터 및 이에 대응하는 증강 현실 컨텐츠를 출력하게 된다. 반면 단말(100a)은 상대 단말(100b)로부터 영상 데이터만을 수신할 수 있으며, 수신되는 영상 데이터에서 단말(100a)이 증강 현실 컨텐츠를 생성할 수도 있다. That is, the video call screen shown through the terminal 100a is divided into an area where an image of the other terminal 100b can be checked and an area where an own video can be checked, and a terminal in an area where an own video can be checked. The image data photographed through the 100a and the augmented reality content corresponding thereto may be output, and the image data received from the counterpart terminal 100b and the augmented reality content corresponding thereto may be output through an area for checking the image of the opponent. Will print. On the other hand, the terminal 100a may receive only image data from the counterpart terminal 100b, and the terminal 100a may generate augmented reality content from the received image data.

이하에서는, 본 발명의 다른 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해 설명하도록 한다. Hereinafter, a method of providing augmented reality content during a video call according to another embodiment of the present invention will be described.

도 7은 본 발명의 다른 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 설명하기 위한 데이터 흐름도이다. 7 is a data flowchart illustrating a method of providing augmented reality content during a video call according to another embodiment of the present invention.

도 7을 참조하여 설명하기에 앞서, 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법은 발신 단말인 단말(100a)이 영상 통화에 따른 영상 데이터(또는 영상 데이터와 음성 데이터)를 수신 단말인 상대 단말(100b)로 전송하고, 품질 관리 서버(200) 또는 상대 단말(100b)에서 증강 현실 컨텐츠를 생성하는 과정을 중심으로 설명하도록 한다. Before describing with reference to FIG. 7, in the method for providing augmented reality content during a video call according to an embodiment of the present invention, the terminal 100a serving as the calling terminal receives the video data (or video data and audio data) according to the video call. The process of transmitting to the counterpart terminal 100b as a receiving terminal and generating augmented reality content in the quality management server 200 or the counterpart terminal 100b will be described.

아울러, 도 6을 참조하여 설명한 바와 같이 마찬가지로, 단말(100a) 및 상대 단말(100b) 간의 정보의 송수신은 접속망(510)의 eNB(511) 및 코어망(520)의 여러 엔티티를 거쳐 송수신될 수 있으나, 설명의 편의를 위해 이에 대해서는 생략하도록 한다. 다만, PDN(530)을 통해 연결되는 품질 관리 서버(200)의 개입에 대해서는 설명하도록 한다. In addition, as described with reference to FIG. 6, transmission and reception of information between the terminal 100a and the counterpart terminal 100b may be transmitted and received through various entities of the eNB 511 and the core network 520 of the access network 510. However, for convenience of description, this will be omitted. However, the intervention of the quality management server 200 connected through the PDN 530 will be described.

먼저, 단말(100a)은 상대 단말(100b)을 선택하고, 선택된 상대 단말(100b)로 영상 통화 호 요청 메시지를 전송한다(S401). 이때, 전송되는 영상 통화 호 요청 메시지는 도 4를 참조하여 설명한 바와 같이, 초기 호 접속 절차에서 사전에 지정된(dedicated) APN의 IMS 시그널링 베어러를 통해 전송되게 된다. 그리고, 상대 단말(100b)로부터 영상 통화 수락 메시지가 전송되면(S403), 단말(100a) 및 상대 단말(100b)은 영상 통화 호가 연결된 상태이며, 영상 통화 호가 연결됨에 따라 품질 관리 서버(200)는 단말(100a) 및 상대 단말(100b) 측의 네트워크 상황 정보에 대해 모니터링하게 된다(S405). First, the terminal 100a selects the counterpart terminal 100b and transmits a video call call request message to the selected counterpart terminal 100b (S401). In this case, the video call call request message transmitted is transmitted through the IMS signaling bearer of the APN, which is dedicated in the initial call connection procedure, as described with reference to FIG. 4. When the video call acceptance message is transmitted from the counterpart terminal 100b (S403), the terminal 100a and the counterpart terminal 100b are connected to the video call call, and as the video call call is connected, the quality management server 200 The network status information of the terminal 100a and the counterpart terminal 100b is monitored (S405).

그리고, 품질 관리 서버(200)는 주기적으로 단말(100a)로 모니터링된 네트워크 상황 정보를 전송할 수 있다(S407). 여기서 품질 관리 서버(200)는 영상 통화 호를 요청한 발신 단말로만 네트워크 상황 정보를 전송하거나, 영상 통화 호에 연결된 모든 단말로 동시에 네트워크 상황 정보를 전송할 수도 있다. In addition, the quality management server 200 may periodically transmit the monitored network status information to the terminal 100a (S407). The quality management server 200 may transmit the network status information only to the calling terminal requesting the video call, or may simultaneously transmit the network status information to all the terminals connected to the video call.

이를 수신한 단말(100a)은 품질 관리 서버(200)로부터 수신된 네트워크 상황 정보를 확인하여, 현재의 네트워크 상황이 증강 현실 컨텐츠 전송이 불가능한 상황일 경우, 단말(100a)은 영상 통화 호가 연결됨에 따라 구동된 카메라 모듈을 통해 촬영되는 영상 데이터를 생성하고, 이와 함께 사용자로부터 음성 신호가 인가되는 경우 음성 데이터를 함께 생성한 후(S411), 영상 데이터와, 음성 데이터만을 상대 단말(100b)로 전송하게 된다(S413).Upon receiving this, the terminal 100a checks the network situation information received from the quality management server 200, and when the current network situation is a situation in which augmented reality content transmission is impossible, the terminal 100a is connected to the video call call. After generating the image data to be photographed through the driven camera module, and together with the voice signal from the user to generate the audio data (S411), and transmits only the video data and the audio data to the other terminal (100b) (S413).

반면, 네트워크 상황이 증강 현실 컨텐츠 전송이 가능한 상황일 경우,도 6을 참조하여 설명한 바와 같이 단말(100a)은 증강 현실 컨텐츠를 생성하여 전송할 수 있다. On the other hand, when the network situation is a situation that can transmit the augmented reality content, as described with reference to Figure 6, the terminal 100a may generate and transmit the augmented reality content.

한편, 단말(100a)이 영상 통화 호가 연결된 상대 단말(100b)로 전송하는 모든 정보는 품질 관리 서버(200)를 거쳐 전송될 수 있다. 품질 관리 서버(200)는 단말(100a)로부터 영상 데이터(또는 영상 데이터와 음성 데이터가 전송되면, 상대 단말(100b)의 네트워크 상황을 확인한다. Meanwhile, all information transmitted from the terminal 100a to the counterpart terminal 100b to which the video call is connected may be transmitted through the quality control server 200. When the video data (or the video data and the audio data are transmitted from the terminal 100a), the quality management server 200 checks the network status of the counterpart terminal 100b.

확인 결과, 상대 단말(100b)의 네트워크 상황이 증강 현실 컨텐츠 전송이 불가능한 상황일 경우, 최소한의 패킷 데이터만을 전달하는 것이 바람직하므로 품질 관리 서버(200)는 단말(100a)이 전달하는 영상 데이터와 음성 데이터를 그대로 상대 단말(100b)로 전달되도록 제어할 수 있다(S417). 이때, 품질 관리 서버(200)가 전달하는 각 데이터는 동일 APN의 서로 다른 베어러를 통해 전송될 수 있다. As a result of the check, when the network situation of the counterpart terminal 100b is impossible to transmit the augmented reality content, it is preferable to deliver only the minimum packet data. The data may be controlled to be transmitted to the counterpart terminal 100b as it is (S417). In this case, each data transmitted by the quality management server 200 may be transmitted through different bearers of the same APN.

이를 수신한 상대 단말(100b)은 영상 데이터에 기 설정된 객체를 추적 인식하고, 기 설정된 객체에 대한 증강 현실 컨텐츠를 생성하게 된다(S419 ~ S421). The counterpart terminal 100b having received the information tracks and recognizes a preset object in the image data, and generates augmented reality content for the preset object (S419 to S421).

예컨대, 상대 단말(100b)은 단말(100a)로부터 수신되는 영상 데이터에 다수 개의 객체가 존재하는 경우, 다수 개의 객체를 각각 인식하고, 인식된 객체 중 단말(100a)의 사용자로 지정된 객체 또는 설정된 객체, 또는 인식이 가장 용이한 객체를 기 설정된 객체로 판단하여 해당 객체만을 추적 및 인식하는 과정을 수행할 수 있다. 예를 들어, 단말(100a)로부터 품질 관리 서버(200)를 거쳐 전달되는 영상 데이터에 단말(100a)의 사용자와 단말(100a)의 사용자 이외의 다른 사용자가 함께 존재하는 경우, 상대 단말(100b)은 단말(100a) 사용자로 지정된 객체만을 인식하여 추적할 수 있다. 또 다른 예를 들어, 카메라 모듈을 통해 촬영되는 영상 데이터에 기 설정된 광고 객체가 존재하는 경우, 해당 광고 객체만을 추적 및 인식할 수 있다. 또 다른 예를 들어, 복수의 사용자가 촬영되는 경우, 가장 앞에 있어 인식이 용이한 객체만을 추적 및 인식할 수 있게 된다. For example, when a plurality of objects exist in the image data received from the terminal 100a, the counterpart terminal 100b recognizes the plurality of objects, and among the recognized objects, an object designated as a user of the terminal 100a or a set object Alternatively, the process of tracking and recognizing only the corresponding object may be performed by determining the most easily recognized object as a preset object. For example, when there is a user other than the user of the terminal 100a and the user of the terminal 100a together in the image data transmitted from the terminal 100a through the quality control server 200, the counterpart terminal 100b The UE may recognize and track only an object designated as a user of the terminal 100a. As another example, when a preset advertisement object exists in the image data photographed through the camera module, only the corresponding advertisement object may be tracked and recognized. As another example, when a plurality of users are photographed, only the object that is at the front and easily recognized may be tracked and recognized.

이후에, 상대 단말(100b)은 추적 및 인식되는 기 설정된 객체에 대한 증강 현실 컨텐츠를 생성하게 된다(S421). 여기서, 생성되는 증강 현실 컨텐츠는 이미지, 비디오, 애니메이션 등 다양한 컨텐츠가 증강 현실 컨텐츠로 생성될 수 있다. 또한, 구현 방식에 따라 상대 단말(100b)에 미리 저장된 단말(100a) 사용자와 관련된 주요 이벤트(예컨대, 생일, 미팅 일정 등)를 안내하는 정보를 증강 현실 컨텐츠로 생성할 수 있으며, 최근의 커뮤니케이션 이력(예컨대, 통화 이력, 메시지 송수신 이력)에 대한 간략한 정보를 증강 현실 컨텐츠로 생성할 수 있다. 여기서, 사용자와 관련된 주요 이벤트, 최근의 커뮤니케이션 이력은 상대 단말(100b)에 저장된 정보를 활용하여 생성될 수 있다. Thereafter, the counterpart terminal 100b generates augmented reality content for a preset object that is tracked and recognized (S421). Here, the generated augmented reality content may be a variety of content, such as images, video, animation may be generated as augmented reality content. In addition, according to an implementation method, information for guiding a major event (eg, a birthday, a meeting schedule, etc.) related to a user of the terminal 100a pre-stored in the counterpart terminal 100b may be generated as augmented reality content, and recent communication history Brief information about the call history and the message transmission / reception history may be generated as the augmented reality content. Here, the main event related to the user and the recent communication history may be generated by using information stored in the counterpart terminal 100b.

그리고, 상대 단말(100b)은 영상 데이터, 음성 데이터 및 증강 현실 컨텐츠를 영상 통화 화면을 통해 출력하게 된다(S427). The counterpart terminal 100b outputs the video data, the audio data, and the augmented reality content through the video call screen in operation S427.

아울러, S415 단계에서, 상대 단말(100b)의 네트워크 상황이 양호한 경우, 품질 관리 서버(200)는 직접 단말(100a)이 전송한 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성한 후(S425), 생성된 증강 현실 컨텐츠와, 영상 데이터 및 음성 데이터를 상대 단말(100b)로 각각 전송되도록 제어할 수 있다(S425). 이를 통해 단말에 비해 시스템 성능이 더 우수한 품질 관리 서버(200)가 증강 현실 컨텐츠를 생성함으로써, 보다 다양한 고품질의 증강 현실 컨텐츠 제공이 가능할 수 있다. In addition, in step S415, when the network situation of the other terminal (100b) is good, the quality management server 200 generates the augmented reality content corresponding to the image data transmitted directly from the terminal (100a) (S425) The augmented reality content, the image data and the audio data may be controlled to be transmitted to the counterpart terminal 100b, respectively (S425). Through this, the quality management server 200 having better system performance than the terminal generates augmented reality content, thereby providing a variety of high quality augmented reality content.

아울러, 품질 관리 서버(200)에 의해 증강 현실 컨텐츠가 생성되는 경우, 상대 단말(100b) 측 네트워크 상황 정보에 따라 가변적으로 비트 레이트를 조절하여 상대 단말(100b)로 생성된 증강 현실 컨텐츠를 전송할 수도 있다. In addition, when the augmented reality content is generated by the quality management server 200, the augmented reality content may be transmitted to the counterpart terminal 100b by variably adjusting the bit rate according to the network context information of the counterpart terminal 100b. have.

아울러, 본 발명의 일 실시예에서는 품질 관리 서버(200)가 발신측과 수신측의 네트워크 상황을 모니터링하여 증강 현실 컨텐츠의 생성 주체를 제어하며, 생성 주체에 따라 증강 현실 컨텐츠의 종류가 달라지는 것을 예로 들어 설명하였다. 예컨대, 단말(100)이 자신의 카메라 모듈을 통해 촬영되는 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성하는 경우, 또는 상대 단말로부터 수신되는 영상 데이터에 대응하는 증강 현실 컨텐츠를 생성하는 경우, 단말(100)에 저장된 정보를 이용하여 증강 현실 컨텐츠를 생성할 수 있으며, 품질 관리 서버(200)에서 증강 현실 컨텐츠를 생성하는 경우, 단말(100)에 저장된 정보와 무관하게 외부 서버와 연동하여 추적되는 객체와 관련된 공개된 다양한 정보를 이용하여 증강 현실 컨텐츠를 생성할 수 있다. In addition, according to an embodiment of the present invention, the quality management server 200 monitors the network conditions of the sender and the receiver to control the creator of the augmented reality content, and the type of augmented reality content varies according to the creator. It explained. For example, when the terminal 100 generates augmented reality content corresponding to the image data photographed through its camera module or when generating the augmented reality content corresponding to the image data received from the counterpart terminal, the terminal 100 Augmented reality content using the information stored in the), when the augmented reality content is generated in the quality management server 200, regardless of the information stored in the terminal 100 and the object tracked in conjunction with the external server Augmented reality content can be generated using a variety of related publicly available information.

반면, 품질 관리 서버(200)는 증강 현실 컨텐츠의 종류에 따라 생성 주체를 제어할 수도 있다. 예를 들어, 영상 데이터에 대응하여 생성되는 증강 현실 컨텐츠가 단말(100) 내 저장된 컨텐츠를 활용하도록 설정된 경우(예컨대, 커뮤니케이션 이력을 반영한 증강 현실 컨텐츠를 생성하는 경우), 품질 관리 서버(200)는 네트워크 상황이 증강 현실 컨텐츠의 송수신이 어려운 상황이더라도, 단말(100) 자체적으로 증강 현실 컨텐츠를 생성하도록 지원하며, 네트워크 상황에 따라 생성되는 증강 현실 컨텐츠의 전송 비트 레이트만을 조절하도록 제어할 수 있다. 반면, 증강 현실 컨텐츠가 단말(100) 내 저장된 컨텐츠와 무관하게 생성되도록 설정되는 경우, 외부의 여러 서비스 서버(미도시)와 연동하여 서버 측에서 다양한 종류의 증강 현실 컨텐츠가 생성되도록 지원할 수 있다. On the other hand, the quality management server 200 may control the creator according to the type of augmented reality content. For example, when the augmented reality content generated corresponding to the image data is set to utilize the content stored in the terminal 100 (eg, when generating the augmented reality content reflecting the communication history), the quality management server 200 Even when the network situation is difficult to transmit and receive the augmented reality content, the terminal 100 itself supports to generate the augmented reality content, it can be controlled to adjust only the transmission bit rate of the augmented reality content generated according to the network situation. On the other hand, when the augmented reality content is set to be generated irrespective of the content stored in the terminal 100, it may be supported to generate various types of augmented reality content on the server side by interworking with various external service servers (not shown).

이상으로 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법에 대해 설명하였다. In the above, the method for providing augmented reality content during a video call according to an exemplary embodiment of the present invention has been described.

도 5 내지 도 7을 참조하여 설명한 본 발명의 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법은 도면에 도시된 바와 같이 순차적으로 진행될 수 있으나, 일부 단계는 경우에 따라 동시에 이뤄지거나 역순으로 이뤄질 수도 있다. 예컨대, 단말(100)이 품질 관리 서버(200)로부터 네트워크 상황 정보를 수신하는 경우, 단말(100)에서의 동작과 무관하게 영상 통화 호가 연결된 상태에서 일정 주기 단위로 수신될 수 있다. The method of providing augmented reality content during a video call according to an embodiment of the present invention described with reference to FIGS. 5 to 7 may be sequentially performed as shown in the drawing, but some steps may be performed simultaneously or in reverse order. have. For example, when the terminal 100 receives network status information from the quality management server 200, the terminal 100 may be received in a unit of a certain period while the video call is connected regardless of the operation in the terminal 100.

아울러, 상술한 바와 같은 본 발명의 영상 통화 중 증강 현실 컨텐츠 제공 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 영상 통화 중 증강 현실 컨텐츠 제공 방법을 구현하기 위한 기록매체에 기록되는 프로그램은 단말이 영상 통화를 수행하고자 하는 상대 단말로 영상 통화 호 요청 메시지를 전송하는 단계, 상기 상대 단말과의 영상 통화 호가 연결되면, 상기 단말이 네트워크 상황 정보를 확인하는 단계 및 상기 확인 결과, 상기 네트워크 상황 정보가 증강 현실 컨텐츠 전송이 가능한 경우, 상기 단말이 촬영되는 영상 데이터에 대응하여 증강 현실 컨텐츠를 생성한 후 생성된 상기 증강 현실 컨텐츠를 상기 영상 데이터와 함께 상기 상대 단말로 전송하는 단계 등을 실행할 수 있다. In addition, the method for providing augmented reality content during a video call as described above may be provided in the form of a computer readable medium suitable for storing computer program instructions and data. A program recorded on a recording medium for implementing an augmented reality content providing method during a video call according to an embodiment of the present invention, the terminal transmitting a video call call request message to the counterpart terminal to perform a video call, the counterpart When the video call call is connected with the terminal, the terminal confirms the network status information, and if the network context information is transmitted as a result of the checking, the augmented reality content corresponding to the image data captured by the terminal And generating the augmented reality content along with the image data to the counterpart terminal.

이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다. In this case, the program recorded in the recording medium may be read from a computer, installed and executed to execute the above functions.

여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. Herein, in order for a computer to read a program recorded on a recording medium and execute functions implemented as a program, the above-described program may include C, C ++, and the like, which the computer's processor (CPU) can read through the computer's device interface. Code may be coded in a computer language such as JAVA or machine language.

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.Such code may include a function code associated with a function or the like that defines the above-described functions, and may include execution procedure-related control code necessary for a processor of the computer to execute the above-described functions according to a predetermined procedure. In addition, the code may further include memory reference-related code for additional information or media required for a processor of the computer to execute the above-described functions at which location (address address) of the computer's internal or external memory. . In addition, if the processor of the computer needs to communicate with any other computer or server on the remote in order to execute the above functions, the code may be used to determine which computer the processor of the computer uses the communication module of the computer on the remote. It may further include communication-related codes such as how to communicate with other computers or servers, and what information or media should be transmitted and received during communication.

이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. Such computer-readable media suitable for storing computer program instructions and data include, for example, recording media comprising magnetic media, such as hard disks, floppy disks, and magnetic tape, and compact disk read only memory (CD-ROM). , Optical media such as Digital Video Disk (DVD), magneto-optical media such as Floppy Disk, and ROM (Read Only Memory), RAM And a semiconductor memory such as a random access memory, a flash memory, an erasable programmable ROM (EPROM), and an electrically erasable programmable ROM (EEPROM). The processor and memory can be supplemented by or integrated with special purpose logic circuitry.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, a functional program for implementing the present invention, codes and code segments associated therewith may be used in consideration of a system environment of a computer that reads a recording medium and executes the program. It may be easily inferred or changed by.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although the specification includes numerous specific implementation details, these should not be construed as limiting to any invention or the scope of the claims, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It must be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while features may operate in a particular combination and may be depicted as such initially claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination. Or a combination of subcombinations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. Moreover, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.

본 발명에 의하면, 영상 통화에 따른 영상 데이터 및 음성 데이터와 영상 데이터에 대응하여 생성된 증강 현실 컨텐츠를 서로 다른 베어러를 통해 각각 전송함으로써, 고품질의 영상 통화 중 증강 현실 컨텐츠를 제공할 수 있으며, 이를 통해 영상 통화 서비스 산업의 발전에 이바지할 수 있다.According to the present invention, the augmented reality content of the video call and the augmented reality content generated in response to the video data and the video data corresponding to the video data through the different bearers, respectively, can provide a high quality augmented reality content during the video call, This will contribute to the development of the video call service industry.

더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.In addition, the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

100: 단말 10: 통신부
11: 세션 연결 모듈 20: 입력부
30: 제어부 31: 호처리 모듈
32: AR 컨텐츠 생성 모듈 40: 영상 촬영부
41: 카메라 모듈 50: 저장부
60: 출력부 510: 접속망
511: eNB 520: 코어망
521: MME 522: S-GW
523: P-GW 530: PDN
200: 품질 관리 서버100: terminal 10: communication unit
11: session connection module 20: input unit
30: control unit 31: call processing module
32: AR content generation module 40: Image capturing unit
41: camera module 50: storage unit
60: output unit 510: connection network
511: eNB 520: core network
521: MME 522: S-GW
523: P-GW 530: PDN
200: quality management server

Claims

Transmitting, by the terminal, a video call call request message to a counterpart terminal to which a video call is to be made through a designated bearer of a designated access point name;
Checking, by the terminal, network status information when a video call with the counterpart terminal is connected; And
As a result of the check, when the network context information is capable of transmitting augmented reality content, the terminal calls the video call request for the augmented reality content generated after generating the augmented reality content corresponding to the image data captured by the terminal. Transmitting to the counterpart terminal together with the video data through a bearer identical to the bearer to which the message is transmitted or a bearer designated for transmitting and receiving augmented reality content in the name of the access point;
Computer-readable recording medium recording a program for a method of providing augmented reality content during a video call comprising a.

According to claim 1,
Confirming the network status information
And recording, by the terminal, a program for a method of providing augmented reality content during a video call by receiving network status information from a quality management server.

According to claim 1,
In the step of transmitting to the counterpart terminal,
As a result of the check, when the network condition information cannot transmit augmented reality content, the computer reads a program for providing an augmented reality content method during a video call, wherein the terminal transmits the captured image data to the counterpart terminal. Possible recording media.

According to claim 1,
The step of transmitting to the counterpart terminal
As a result of the checking, when the network context information is capable of transmitting augmented reality content, tracking and recognizing a preset object in image data captured in real time through the camera module driven by the terminal by driving the camera module;
Generating augmented reality content for the preset object as the terminal tracks and recognizes the preset object; And
Transmitting, by the terminal, the generated augmented reality content to the counterpart terminal together with the image data;
Computer-readable recording medium recording a program for a method of providing augmented reality content during a video call comprising a.

delete

According to claim 1,
In the step of transmitting to the counterpart terminal,
And the terminal variably adjusts the bit rate of the augmented reality content according to the network context information and transmits the bit rate of the augmented reality content to the counterpart terminal.

According to claim 1,
The augmented reality content is
A computer-readable recording medium recording a program for a method of providing augmented reality content during a video call, comprising at least one field of a content type, a content display coordinate, a content delivery type, a content quality, and content delivery information.

According to claim 1,
Receiving, by the terminal, image data transmitted from a counterpart terminal to which a video call is connected according to control according to network status information of a quality management server, or receiving image data and augmented reality content generated corresponding to the image data together; ;
Computer-readable recording medium recording a program for a method of providing augmented reality content during a video call further comprising.

The method of claim 8,
Generating, by the terminal, augmented reality content corresponding to the image data when receiving the image data from the counterpart terminal;
Computer-readable recording medium recording a program for a method of providing augmented reality content during a video call further comprising.

When the video call is connected through the designated bearer of the called terminal and the designated access point name, the network content information is checked and the AR content generation module is requested when the augmented reality content transmission is possible. A call for controlling the transmitted augmented reality content to be transmitted to the counterpart terminal together with the image data through a bearer identical to the bearer to which the video call call request message of the access point name is transmitted or a bearer designated for transmitting and receiving augmented reality content of the access point name. Processing module; And
An AR content generation module configured to generate augmented reality content in response to the image data at the request of the call processing module;
Apparatus for supporting augmented reality content providing method during a video call comprising a.