KR101476281B1 - System and method for handing over multimedia streams among heterogenous devices for n-screen service - Google Patents

System and method for handing over multimedia streams among heterogenous devices for n-screen service Download PDF

Info

Publication number
KR101476281B1
KR101476281B1 KR1020130045282A KR20130045282A KR101476281B1 KR 101476281 B1 KR101476281 B1 KR 101476281B1 KR 1020130045282 A KR1020130045282 A KR 1020130045282A KR 20130045282 A KR20130045282 A KR 20130045282A KR 101476281 B1 KR101476281 B1 KR 101476281B1
Authority
KR
South Korea
Prior art keywords
server
handover
multimedia
screen
video
Prior art date
Application number
KR1020130045282A
Other languages
Korean (ko)
Other versions
KR20140126955A (en
Inventor
박채민
이석영
김새한솔
Original Assignee
주식회사 바른기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바른기술 filed Critical 주식회사 바른기술
Priority to KR1020130045282A priority Critical patent/KR101476281B1/en
Publication of KR20140126955A publication Critical patent/KR20140126955A/en
Application granted granted Critical
Publication of KR101476281B1 publication Critical patent/KR101476281B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client

Abstract

본 발명은 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법에 관한 것으로서, N-스크린 서비스의 멀티미디어 콘텐츠 이용자는 주택, 사무실 또는 차량을 포함한 실내외의 이동뿐만 아니라 주택 내에서도 거실, 부엌, 방으로 핸드오버 영역을 나누어, N-스크린 서버 소프트웨어 프로그램이 탑재된 N-스크린 서버를 사용하여 N-스크린이 가능한 다양한 이기종 디바이스로 멀티미디어 스트림을 선택적으로 입출력할 수 있게 함으로써 사용자로 하여금 보다 양질의 디바이스를 통해 멀티미디어 스트림을 끊김없이 편리하게 이용할 수 있게 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법에 관한 것이다.The present invention relates to a heterogeneous device handover system and method for a multimedia stream for an N-screen service, wherein a user of a multimedia content of an N-screen service not only moves indoor and outdoor including a house, an office or a vehicle, By using the N-Screen server equipped with N-Screen Server software program to divide the handover area into the kitchen and the room, it is possible to selectively input and output the multimedia stream to various N-screen capable heterogeneous devices, The present invention relates to a heterogeneous device handover system and method for a multimedia stream for an N-screen service that enables seamless use of a multimedia stream through a device of the device.

Description

N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법{SYSTEM AND METHOD FOR HANDING OVER MULTIMEDIA STREAMS AMONG HETEROGENOUS DEVICES FOR N-SCREEN SERVICE}[0001] SYSTEM AND METHOD FOR HANDLING OVER MULTIMEDIA STREAMS [0002] AMONG HETEROGENOUS DEVICES FOR N-SCREEN SERVICE [

본 발명은 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 N-스크린 서비스의 콘텐츠 이용자가 주택, 사무실 또는 차량을 포함한 실내외에서 이동시에 핸드오버 기술을 이용하여 N-스크린이 가능한 이기종의 스마트 디바이스로 연속적으로 멀티미디어 스트림을 입출력할 수 있게 함으로써, N-스크린 서비스 이용자로 하여금 보다 양질의 디바이스를 통해서 멀티미디어를 끊김없이 편리하게 이용할 수 있게 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법에 관한 것이다.The present invention relates to a heterogeneous device handover system and method for a multimedia stream for an N-screen service, and more particularly, N-screen service enables users to seamlessly use multimedia through a higher quality device by allowing users to input and output multimedia streams continuously with different types of N-screen capable smart devices using N- To a heterogeneous device handover system and method for a multimedia stream for screen services.

N-스크린 서비스라 함은 스마트폰, 스마트 TV, PDA, 테블릿 PC를 포함한 다양한 스마트 디바이스의 확산을 통한 통신환경의 변화 속에서 등장한 서비스로, 방송 및 통신 네트워크에 연결되어 네트워크 서비스를 이용할 수 있는 스마트폰, 모바일 디바이스, 컴퓨터(PC), 스마트 TV, 및 차량의 멀티미디어 디바이스와 같은 다양한 이기종 멀티미디어 단말 장치들이 마치 하나의 스크린을 공유한 것처럼, 사용자가 이동 중인 상황에서도 각 상황마다 최적의 기기를 통해 끊김없이 콘텐츠를 이용할 수 있도록 하는 서비스를 말한다. 이러한 N-스크린 서비스를 위해서는 휴대 단말이 이동하는 상황에서도 끊김없는 서비스를 제공할 수 있는 이종망간 IP 제어 기술, 이종망간 핸드오버 기술, 고속 무선 전송기술, 적응형 미디어 지원기술과 같은 핵심기술들이 요구 된다.The N-screen service is a service that emerges in the changing communication environment through the spread of various smart devices including smart phones, smart TVs, PDAs, and tablet PCs. It can connect to broadcasting and communication networks and use network services Various heterogeneous multimedia terminal devices such as a smart phone, a mobile device, a computer (PC), a smart TV, and a multimedia device of a vehicle share a single screen, and even when a user is moving, A service that makes content available seamlessly. In order to provide such N-screen services, core technologies such as heterogeneous IP control technology, heterogeneous network handover technology, high-speed wireless transmission technology, and adaptive media support technology, which can provide seamless services even in the case of mobile terminals, do.

이와 같은 핵심 기술 중에서 핸드오버 기술이라 함은 N-스크린 서비스의 이용자가 네트워크에 접속된 상태에서 N-스크린 서비스의 도중에도 통신 채널, 회선, 연결 포트 또는 이들의 조합에 대한 교환을 수행하여 통신 중인 서비스 상태가 계속 유지되도록 하는 기술을 말한다.Among these core technologies, the handover technology refers to a technique in which a user of an N-screen service exchanges a communication channel, a line, a connection port, or a combination thereof while the N-screen service is in a state of being connected to a network, And the service state is maintained.

상기와 같이 N-스크린 서비스의 핵심기술인 이종망간 핸드오버 기술도 또한 요구되고 있는 바, IEEE(국제전기전자기술자협회)에서는 IEEE 802.21 WG(Working Group)표준화 위원회를 두어 서비스 질의 저하 없이 다양한 접속 시스템을 연동할 수 있는 매체 무관 핸드오버(Media Independent Handover) 기술 표준을 제안하여 국제표준으로 연구하고 있다. 또한 N-스크린 관련 기술로 콘텐츠 제공 서버에서 콘텐츠를 수신 받아 재생하던 도중, 단말기 변경 서비스가 요청되면 재생 중지된 이후의 콘텐츠를 변경된 단말기로 단절 없이(seamless) 연속적으로 제공 받아 재생하게 하는 특허가 “콘텐츠 수신 단말기 변경 서비스 제공 장치 및 방법”(공개번호: 10-2011-0026650)이라는 명칭으로 출원되어져 있다.As described above, the heterogeneous network handover technology, which is a core technology of N-screen service, is also required. In IEEE (International Institute of Electrical and Electronics Engineers), the IEEE 802.21 WG (Working Group) standardization committee is provided. We are proposing a media independent handover technology standard that can be interworked and study it as an international standard. In addition, when receiving a content from a content providing server using a N-screen related technology and playing the content, if a terminal change service is requested, a patent to cause the content after playback stop is seamlessly and continuously provided to the changed terminal, And a content receiving terminal change service providing apparatus and method "(publication number: 10-2011-0026650).

하지만 이러한 제안된 표준과 기술들에는 다양한 멀티미디어 콘텐츠의 N-스크린 서비스에서 멀티미디어 스트림의 종류에 따른 디바이스분리형 핸드오버 기술을 제공 하지는 않는다. 예를 들어 화상전화와 같은 음성 영상 서비스에 있어서 음성은 더 고음질의 음성지원 멀티미디어 디바이스에서, 영상은 더 고화질의 영상지원 멀티미디어 디바이스에서 이용자가 선택적으로 이용할 수 있게 하는 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 기술은 제공하지 않는 실정이다.However, these proposed standards and technologies do not provide a device separable handover technique according to the type of multimedia stream in the N-screen service of various multimedia contents. For audio video services such as video telephony, for example, voice may be used in a higher quality audio supporting multimedia device, and video may be used in a multimedia stream, which enables a user to selectively use in a higher quality video supporting multimedia device. Is not provided.

또한 N-스크린 서비스의 핸드오버 영역 설정에 있어서, 핸드오버 영역내의 특정 멀티미디어 디바이스를 중심으로 핸드오버 영역을 이용자가 자유롭게 설정할 수 있는 기술이 아직 구체적으로 제안되지 않았다.In addition, in the setting of the handover area of the N-screen service, a technique for allowing a user to freely set the handover area around a specific multimedia device in the handover area has not been specifically proposed yet.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, N-스크린 서버 기능을 소프트웨어로 설계 및 구현하여, 스마트폰, 스마트 TV, 컴퓨터를 포함한 인터넷에 접속 가능한 멀티미디어 단말기에 탑재할 수 있어, 모바일 디바이스를 포함한 상기 단말기들로 하여금 N-스크린 서버로 사용 가능하게 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to design and implement an N-screen server function with software, and to mount it on a multimedia terminal connectable to the Internet including a smart phone, a smart TV, The present invention provides a heterogeneous device handover system and method for a multimedia stream for an N-screen service that enables the terminals including a device to be used as an N-screen server.

또한 본 발명은 사용자 핸드오버 시점 인지 방법에 있어서, GPS 위치 정보, 와이파이 특정 서비스 세트 식별자(SSID: Service Set IDentifier) 정보, 와이파이 신호 세기 정보, 와이파이 위치인식 기반 서비스 정보, 다양한 종류의 접근 감지 센서 정보 및 이들의 조합으로 N-스크린 서비스 이용자의 핸드오버 시점을 파악함으로써 보다 유연하게 핸드오버를 할 수 있도록 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다. According to another aspect of the present invention, there is provided a method of recognizing a user handover time, the method comprising the steps of: receiving GPS position information, Wi-Fi specific service set identifier (SSID) information, Wi-Fi signal strength information, Wi- Screen service by allowing a handover of the N-screen service user to be performed more flexibly by grasping the handover point of the N-screen service user. The purpose.

또한 본 발명은 복수의 핸드오버 영역에서, 각 영역마다 존재하는 N-스크린 서비스가 가능한 디바이스를 중심으로 핸드오버 영역을 이용자가 자유롭게 설정할 수 있도록 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.In addition, the present invention provides a handover method for an N-screen service, which enables a user to freely set a handover area around a device capable of N-screen service available for each area in a plurality of handover areas, Over system and method therefor.

또한 본 발명은 N-스크린 서비스의 품질을 극대화하기 위해서, 음성과 영상의 분리 핸드오버를 지원하도록 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.In order to maximize the quality of the N-screen service, the present invention also provides a heterogeneous device handover system and method for a multimedia stream for an N-screen service that supports separate handover of voice and video .

또한 본 발명은 음악, 뮤직 비디오, 인터넷 콘텐츠, CCTV 영상, 영상통화, 화상채팅을 포함한 모든 멀티미디어 콘텐츠에 이종 디바이스 간 핸드오버 기술을 적용할 수 있도록 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.The present invention also relates to a method and apparatus for inter-disparate device-to-device communication between a heterogeneous device of a multimedia stream for N-screen service, which enables application of heterogeneous device handover technology to all multimedia contents including music, music video, Internet contents, CCTV image, video call, A handover system and a method thereof are provided.

본 발명의 일 측면에 따른 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템은 적어도 하나 이상의 멀티미디어 디바이스; 적어도 하나 이상의 멀티미디어 디바이스; 적어도 하나 이상의 N-스크린 서버; 적어도 하나 이상의 클라이언트, 멀티미디어 서버 혹은 이들의 조합; 및 모바일 멀티미디어 디바이스를 포함하는 멀티미디어 디바이스, 클라이언트, 멀티미디어 서버, N-스크린 서버 간의 핸드오버 제어 기능을 갖는 적어도 하나 이상의 핸드오버 서버;를 포함하는 것을 특징으로 한다. 또한 상기 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템은 상기 N-스크린 서버가 상기 멀티미디어 디바이스, N-스크린 서포트 디바이스, 클라이언트, 또는 멀티미디어 서버 사이에서 N-스크린 서비스를 제공하고, 상기 적어도 하나 이상의 멀티미디어 디바이스 중 하나가 N-스크린 서버 기능을 수행하는 소프트웨어를 탑재하여 N-스크린 릴레이 서버의 기능을 수행함으로써, 상기 멀티미디어 디바이스, N-스크린 서포트 디바이스, 클라이언트, 멀티미디어 서버 또는 이들의 조합간에 N-스크린 서비스를 제공하며, 상기 적어도 하나 이상의 멀티미디어 디바이스 중 하나가 3G, 4G, Wibro, LTE를 포함하는 이동통신망과 와이파이망 사이에서 동시에 링크 세션을 설정하지 못하는 경우, 적어도 하나 이상의 프락시 서버를 추가로 구비하여 상기 이동통신망과 와이파이망 사이에서 핸드오버를 수행하는 것을 특징으로 하고, GPS 위치 정보, 와이파이 특정 서비스 세트 식별자(SSID) 정보, 와이파이 신호 세기 정보, 와이파이 위치인식 기반 서비스 정보, 복수의 종류의 접근 감지 센서 정보 또는 이들의 조합으로 N-스크린 서비스 이용자의 핸드오버 시점을 파악함으로서 보다 유연하게 핸드오버를 할 수 있도록 하며, 복수의 핸드오버 영역에서, 각 영역마다 존재하는 N-스크린 서비스 가능한 디바이스를 중심으로 핸드오버 영역을 이용자가 자유롭게 설정할 수 있도록 하며, N-스크린 서비스의 품질을 극대화하기 위해서, 음성과 영상의 분리 핸드오버를 지원하도록 하고, 음악, 뮤직 비디오, 인터넷 콘텐츠, CCTV 영상, 영상통화, 화상채팅을 포함한 모든 멀티미디어 콘텐츠에 이종 디바이스간 핸드오버 기술을 적용할 수 있도록 하는 것을 특징으로 한다.
A heterogeneous inter-device handover system of a multimedia stream for an N-screen service in accordance with an aspect of the present invention includes at least one multimedia device; At least one multimedia device; At least one N-screen server; At least one client, a multimedia server, or a combination thereof; And at least one handover server having a handover control function between a multimedia device including a mobile multimedia device, a client, a multimedia server, and an N-screen server. Also, the heterogeneous device handover system of the multimedia stream for the N-screen service may provide the N-screen service between the multimedia device, the N-screen support device, the client, or the multimedia server, Screen server device, a client, a multimedia server, or a combination thereof, by loading one of the at least one multimedia device with software that performs an N-screen server function and performing a function of an N-screen relay server Screen service, and when one of the at least one multimedia devices fails to establish a link session between the mobile communication network including 3G, 4G, Wibro, and LTE and the Wi-Fi network at the same time, at least one proxy server is added To (SSID) information, Wi-Fi signal strength information, Wi-Fi location-based service information, and a plurality of types of accesses Screen service user by detecting the handover time of the N-screen service user by using the information on the N-screen service in the plurality of handover areas, In order to maximize the quality of the N-screen service, it is necessary to support a separate handover of voice and video, and to provide a handover area of music, music video, Internet contents, CCTV video, video call , All multimedia content including video chat, Handover technique can be applied.

아울러 본 발명의 또 다른 일 실시예에 의한 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법은 적어도 하나 이상의 멀티미디어 디바이스, 클라이언트 또는 이들의 조합을 핸드오버 서버에 등록하는 단계; N-스크린 서버에 상기 멀티미디어 디바이스의 등록정보를 전달하는 단계; 핸드오버 서버는 멀티미디어 디바이스에 상기 멀티미디어 서버의 위치정보에 따라 바로 INVITE 요청하며, 멀티미디어 서버로 INVITE 요청하고, 클라이언트로부터는 INVITE 받는 단계; 핸드오버 서버와 멀티미디어 디바이스 사이에서 멀티미디어 디바이스 RTP 스트리밍을 수행하고, 핸드오버 서버와 클라이언트 또는 핸드오버 서버와 멀티미디어 서버 사이에서 클라이언트 RTP 스트리밍을 수행하는 단계;를 포함하는 것을 특징으로 한다. 또한 상기 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법은 멀티미디어 디바이스에서 N-스크린 서버로 멀티미디어 디바이스의 위치를 등록하고, 다시 N-스크린 서버에서 핸드오버 서버로 멀티미디어 디바이스의 위치를 등록하는 단계; N-스크린 서버에서 핸드오버 서버로 UDP 포트를 전달하고, 핸드오버 서버에서 N-스크린 서버로 홀펀칭하는 단계; 및 N-스크린 서버에서 N-스크린 서포트 디바이스로 비디오 RTP 세션을 오픈할 것을 요구하고, N-스크린 서포트 디바이스가 N-스크린 서버에 비디오 RTP 세션을 생성하는 단계;를 더 포함하고, N-스크린 서버와 N-스크린 서포트 디바이스 간에 비디오 RTP 스트리밍을 수행하고, N-스크린 서버와 핸드오버 서버 간에 오디오와 비디오 RTP 스트리밍을 수행하는 단계;를 더 포함하며, N-스크린 서버에서 멀티미디어 디바이스로 오디오 RTP 세션을 오픈할 것을 요구하고, 멀티미디어 디바이스로부터 N-스크린 서버에 오디오 RTP 세션을 생성하는 단계; 및 N-스크린 서버와 멀티미디어 디바이스 간에 오디오 RTP 스트리밍을 수행하는 단계;를 더 포함하고, N-스크린 서버에서 핸드오버 서버로 멀티미디어 디바이스의 RTP 세션을 종료(destroy)할 것을 요구하고, 다시 N-스크린 서버는 멀티미디어 단말의 RTP 세션을 종료할 것을 요구하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of inter-device handover of a multimedia stream for N-screen service, comprising: registering at least one multimedia device, client, or combination thereof in a handover server; Transmitting registration information of the multimedia device to the N-screen server; The handover server requests an INVITE to the multimedia device immediately according to the location information of the multimedia server, and requests an INVITE to the multimedia server and receives an INVITE from the client; Performing RTP streaming of the multimedia device between the handover server and the multimedia device, and performing client RTP streaming between the handover server and the client or between the handover server and the multimedia server. In addition, the method for inter-device handover of a multimedia stream for the N-screen service includes registering the location of the multimedia device in the multimedia device to the N-screen server, registering the location of the multimedia device in the N- ; Transmitting a UDP port from the N-screen server to the handover server and performing hole punching from the handover server to the N-screen server; Screen support device to open a video RTP session from the N-screen server to the N-screen support device, and the N-screen support device to create a video RTP session to the N-screen server, Screen support device, and performing audio and video RTP streaming between the N-screen server and the handover server, and performing an audio RTP session from the N-screen server to the multimedia device Requesting to open and creating an audio RTP session from the multimedia device to the N-screen server; And performing audio RTP streaming between the N-screen server and the multimedia device, requesting the N-screen server to destroy the RTP session of the multimedia device from the handover server, And the server is required to terminate the RTP session of the multimedia terminal.

본 발명은 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법을 제공하는 것으로, 음악, 영화, 뮤직비디오, 인터넷 콘텐츠, CCTV 영상, 영상통화, 화상채팅을 포함하는 다양한 멀티미디어 콘텐츠를 재생함에 있어, N-스크린 서버 소프트웨어를 탑재한 인터넷에 접속 가능한 모바일 디바이스를 포함한 멀티미디어 단말기에서 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통하여 핸드오버 시점을 인지하고, 멀티미디어 콘텐츠에 따라 상황에 맞게 멀티미디어 디바이스 간의 핸드오버 서비스를 이용하게 하여 언제 어디서나 이기종 디바이스 간의 N-스크린 서비스를 즐길 수 있도록 하는 효과가 있다.DISCLOSURE OF THE INVENTION The present invention provides a heterogeneous device handover system and method for a multimedia stream for an N-screen service, which is applicable to various multimedia contents including music, movies, music videos, Internet contents, CCTV images, video calls, , The multimedia terminal including the mobile device having the N-screen server software installed on the internet can transmit the GPS position information, the SSID of the Wi-Fi system, the Wi-Fi signal strength information, the Bluetooth signal strength information, Screen service can be enjoyed at anytime and anywhere by recognizing the handover point and using the handover service between multimedia devices according to the situation according to the multimedia contents.

도 1은 본 발명의 일 실시예에 따른 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버를 설명하기 위한 시스템의 전체 구성을 나타내는 구성도.
도 2는 본 발명의 일 실시예에 따른 N-스크린 서포트 디바이스의 N-스크린 서버 등록절차를 설명하기 위한 흐름도.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠의 오디오, 비디오 동시 핸드오버 절차를 설명하기 위한 흐름도.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠의 오디오, 비디오 분리형 핸드오버 절차를 설명하기 위한 흐름도.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 서버 기반 콘텐츠의 오디오, 비디오 분리형 핸드오버 절차를 순차적으로 설명하기 위한 흐름도.
도 6은 본 발명의 일 실시예에 따른 전체적인 실시 시나리오를 순차적으로 설명하기 위한 순서도.
도 7은 본 발명의 일 실시예에 따른 음악감상 시나리오의 실내 핸드오버 영역 간의 흐름을 순차적으로 설명하기 위한 순서도.
도 8은 본 발명의 일 실시예에 따른 이동통신망과 와이파이망 간의 핸드오버를 수행하기 위한 개념도.FIG. 1 is a block diagram illustrating an overall configuration of a system for explaining heterogeneous device handover of a multimedia stream for an N-screen service according to an exemplary embodiment of the present invention; FIG.
2 is a flowchart illustrating an N-screen server registration procedure of an N-screen support device according to an exemplary embodiment of the present invention;
3 is a flowchart illustrating an audio and video simultaneous handover procedure of multimedia contents according to an embodiment of the present invention.
4 is a flowchart illustrating an audio and video separation type handover procedure of multimedia contents according to an exemplary embodiment of the present invention.
FIG. 5 is a flowchart sequentially illustrating an audio and video separation type handover procedure of a multimedia server-based content according to an embodiment of the present invention; FIG.
FIG. 6 is a flowchart for sequentially illustrating an overall implementation scenario according to an embodiment of the present invention; FIG.
FIG. 7 is a flowchart sequentially illustrating flows between indoor handover regions of a music listening scenario according to an embodiment of the present invention; FIG.
8 is a conceptual diagram for performing handover between a mobile communication network and a Wi-Fi network according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템 및 그 방법의 일 실시예를 설명한다. Hereinafter, an embodiment of a heterogeneous device handover system and method of a multimedia stream for an N-screen service according to the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버를 설명하기 위한 시스템의 전체 구성을 나타내는 구성도이다.FIG. 1 is a configuration diagram illustrating an overall configuration of a system for explaining heterogeneous device handover of a multimedia stream for N-screen service according to an exemplary embodiment of the present invention. Referring to FIG.

도 1에 도시된 바와 같이, 본 발명에 의한 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템은 핸드오버 서버(H/O Server)(120), 적어도 하나 이상의 모바일 멀티미디어 디바이스(MMD: Mobile Multimedia Device, 예: Smartphone)(100), N-스크린 서버(N-Screen Server)(110), N-스크린 서포트 디바이스(N-Screen Support Device)(150~154)들과 클라이언트(Client)(140), 적어도 하나 이상의 멀티미디어 서버(M/M(Multimedia) Server)(130)로 구성된다.1, a heterogeneous device handover system for a multimedia stream for an N-screen service according to the present invention includes a handover server 120, at least one mobile multimedia device (MMD) 120, Screen support device 150 to 154 and a client (client) (e.g., a mobile multimedia device such as a smartphone) 100, an N-screen server 110, 140, and at least one multimedia server (M / M (Multimedia Server) 130).

상기 핸드오버 서버(120)는 모바일 멀티미디어 디바이스(100), 클라이언트(140), N-스크린 서버(110) 간의 핸드오버 제어 기능을 갖는 서버를 말하며, 또한 핸드오버 서버는 클라이언트와 멀티미디어 디바이스를 등록하는 역할을 수행하며, 등록된 멀티미디어 디바이스의 등록정보를 N-스크린 서버에 전달하는 기능을 담당한다.The handover server 120 is a server having a handover control function between the mobile multimedia device 100, the client 140 and the N-screen server 110, and the handover server registers the client and the multimedia device And transmits the registration information of the registered multimedia device to the N-screen server.

상기 N-스크린 서버(110)는 모바일 멀티미디어 디바이스(100), 멀티미디어 서버(130) 및 클라이언트(140), N-스크린 서포트 디바이스(150~154)를 상호 연결하는 장치를 말하며, N-스크린 서버 소프트웨어를 탑재하여 N-스크린 릴레이 서버로서의 동작을 한다.The N-screen server 110 is a device for interconnecting the mobile multimedia device 100, the multimedia server 130 and the client 140 and the N-screen support devices 150 to 154, And operates as an N-screen relay server.

모바일 멀티미디어 디바이스(100)란 사용자가 휴대 가능한 멀티미디어 재생 장치로서, 사용자의 위치를 인지하여 핸드오버 시점을 결정하는데 사용되는 디바이스를 말한다. 예를 들어 스마트폰 및 태블릿 PC가 모바일 멀티미디어 디바이스(100)가 될 수 있다. 이러한 모바일 멀티미디어 디바이스(100)는 N-스크린 서버 소프트웨어를 탑재하여 N-스크린 서버로 동작 할 수도 있으며, 이 경우 상기 N-스크린 서버(110)는 N-스크린 릴레이 서버가 된다.The mobile multimedia device 100 refers to a device that is used by a user to determine a handover point by recognizing the location of a user, which is a portable multimedia playback device. For example, a smartphone and a tablet PC can be a mobile multimedia device 100. Such a mobile multimedia device 100 may be operated as an N-screen server by loading N-screen server software, in which case the N-screen server 110 becomes an N-screen relay server.

상기 N-스크린 서포트 디바이스(150~154)는 N-스크린 서버(110)로부터 전송 받은 멀티미디어 콘텐츠를 출력하는 장치로서, 인터넷 연결이 가능하여 N-스크린 서비스가 지원되는 디스플레이 디바이스 및 멀티미디어 디바이스를 말한다.The N-screen support devices 150 to 154 are devices for outputting the multimedia contents received from the N-screen server 110, and are display devices and multimedia devices capable of connecting to the Internet and supporting the N-screen service.

상기 클라이언트(140)는 화상전화나 영상채팅 또는 멀티미디어 콘텐츠를 제공하는 상대편 디바이스이며, 멀티미디어 서버(130)는 VOD(Video On Demand)와 같은 멀티미디어 스트리밍 서비스 또는 이러한 서비스를 위한 멀티미디어 콘텐츠를 공급하는 서버를 말한다. 또한 가정의 핸드오버 영역과 마찬가지로 자동차 등에서도 차량 내의 오디오 디바이스(153) 또는 디스플레이 디바이스(154)들도 N-스크린 서포트 디바이스가 된다. 이때는 모바일 멀티미디어 디바이스(100)가 N-스크린 릴레이 서버로 동작하여 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버를 수행 한다.The client 140 is a counterpart device that provides video telephony, video chat, or multimedia content. The multimedia server 130 may include a multimedia streaming service such as VOD (Video On Demand) or a server for supplying multimedia contents for the service It says. The audio device 153 or the display device 154 in the vehicle also becomes an N-screen support device in an automobile or the like as in the home handover area. At this time, the mobile multimedia device 100 operates as an N-screen relay server to perform handover between heterogeneous devices of a multimedia stream for an N-screen service.

따라서 N-스크린 서버와 모바일 멀티미디어 디바이스 사이의 연결 관계는 가정의 핸드오버 영역(home H/O Zone) 내에서 모바일 멀티미디어 디바이스가 클라이언트나 멀티미디어 서버로부터 콘텐츠를 출력하고 있다가, N-스크린 서포트 디바이스와 가까워지면 N-스크린 서버의 지원을 받아 오디오 혹은 비디오를 보다 고음질 혹은 고화질의 오디오나 스마트 TV 등을 통해서 서비스 받을 수 있다. 여기서 오디오만 있을 경우, 고음질의 오디오는 N-스크린 서포트 디바이스인 오디오를 통해서 출력하고, 영상은 계속하여 모바일 멀티미디어 디바이스(예: 스마트폰)을 통해서 출력하도록 할 수 있다. 즉, 오디오와 비디오를 분리한 N-스크린 서비스가 가능한 것이다. 마찬가지로 스마트 TV등 고화질의 비디오 장치로서의 N-스크린 서포트 디바이스만 있는 경우, 모바일 멀티미디어 디바이스로는 오디오를 출력하고, 스마트 TV로는 영상을 출력하도록 하는 것이 가능하다. Therefore, the connection relationship between the N-screen server and the mobile multimedia device is such that the mobile multimedia device outputs the content from the client or the multimedia server in the home H / O zone, When it is near, it can receive service of audio or video through high-quality or high-definition audio or smart TV with support of N-screen server. If there is only audio, high-quality audio can be output via audio, which is an N-screen support device, and the video can continue to be output through a mobile multimedia device (e.g., a smart phone). That is, an N-screen service that separates audio and video is possible. Similarly, when there is only an N-screen support device as a high-definition video device such as a smart TV, it is possible to output audio to a mobile multimedia device and output an image to a smart TV.

상기와 같은 시스템 구성은 어디까지나 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템의 개략적인 구성을 예시로 나타낸 것이다. 따라서 이러한 모형과 개념을 이용하여 통상의 기술자가 핸드오버와 N-스크린 서비스를 변형하여 제공하는 것이 가능할 것이므로, 이러한 개념을 가진 변형 사용은 당연히 본원 발명의 기술적 범위에 포함된다고 할 수 있을 것이다.The above system configuration is merely an example of a schematic configuration of a heterogeneous device handover system of a multimedia stream for an N-screen service. Accordingly, it is possible that a normal technician can provide a handover and an N-screen service by using these models and concepts, so that the use of the modification having such a concept is naturally included in the technical scope of the present invention.

도 2는 본 발명의 일 실시예에 따른 N-스크린 서포트 디바이스의 N-스크린 서버 등록절차를 설명하기 위한 흐름도로서, 이에 도시되어 있는 바와 같이 상기 본 발명에 의한 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템은 N-스크린 서버(110)가 N-스크린 서비스를 시작할 때 가정 내의 N-스크린 서포트 디바이스(150~152)들의 등록 정보 명세를 요청한다(S201). 이때 N-스크린 서포트 디바이스(150~152)는 디바이스의 등록 정보를 N-스크린 서버(110)에 송신하여 디바이스의 등록을 완료하여(S202), N-스크린 서포트 디바이스(150~152)의 핸드오버 영역 및 정보들을 관리한다. 이는 N-스크린 서버가 N-스크린 서포트 디바이스의 해상도와 같은 기기의 상세한 목록을 관리함으로써 해당 디바이스에 최적화된 형태의 콘텐츠를 서비스 할 수 있는 것이다.FIG. 2 is a flowchart illustrating an N-screen server registration procedure of an N-screen support device according to an embodiment of the present invention. As shown in FIG. 2, The heterogeneous device handover system requests the registration information specification of N-screen support devices 150 to 152 in the home when the N-screen server 110 starts the N-screen service (S201). At this time, the N-screen support devices 150 to 152 transmit the registration information of the device to the N-screen server 110 to complete the registration of the device (S202), and the handover of the N-screen support devices 150 to 152 Areas and information. This is because the N-screen server manages a detailed list of devices, such as the resolution of the N-screen support device, so that the content can be optimized for that device.

도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠의 오디오, 비디오 동시 핸드오버 절차를 설명하기 위한 흐름도로서, 이에 도시되어 있는 바와 같이 오디오와 비디오가 동시에 스트리밍 되는 뮤직비디오, 영화와 같은 멀티미디어 콘텐츠를 N-스크린 서비스 이용자가 콘텐츠를 제공하는 클라이언트(140)와 연결하여 서비스를 이용할 때, 클라이언트(140)와 연결하는 N-스크린 서비스 이용자의 모바일 멀티미디어 디바이스(100)는 등록 정보를 최초로 핸드오버 서버(120)에 등록(Registration) 요청한다(S301). 여기서 모바일 멀티미디어 디바이스(100)는 일반적으로 스마트폰과 같은 모바일 멀티미디어 디바이스를 말하며, 모바일 멀티미디어 디바이스는 3G 또는 4G 및 와이브로(Wibro), 와이맥스(WiMax) 등의 이동통신 망에 접속함에 따라 바로 등록을 요청할 수 있다. FIG. 3 is a flowchart illustrating an audio and video simultaneous handover procedure of multimedia contents according to an exemplary embodiment of the present invention. As shown in FIG. 3, multimedia contents such as music video and movie, in which audio and video are simultaneously streamed, When the N-screen service user uses the service in connection with the client 140 providing the content, the N-screen service user's mobile multimedia device 100 connecting with the client 140 first registers the registration information in the handover server 120 (S301). Here, the mobile multimedia device 100 generally refers to a mobile multimedia device such as a smart phone, and the mobile multimedia device requests registration immediately upon accessing a mobile communication network such as 3G or 4G and Wibro, WiMax, .

이후 핸드오버 서버(120)는 인증 및 등록 수행을 마친 후 핸드오버 서버(120)에 등록된 모바일 멀티미디어 디바이스(100)의 등록 정보를 N-스크린 서버(110)에게 전달한다(S302). 이후 클라이언트(140)가 모바일 멀티미디어 디바이스(100)와의 연결을 위해 핸드오버 서버(120)에게 INVITE를 요청하면 핸드오버 서버(120)가 해당하는 모바일 멀티미디어 디바이스(100)에게 INVITE를 요청한다(S303). 정상적으로 INVITE에 대한 응답이 이루어지면 핸드오버 서버(120)를 통하여 RTP 미디어 스트림(media stream) 전송을 시작하여 모바일 멀티미디어 디바이스(100)와 클라이언트(140) 간의 멀티미디어 스트림이 전송된다(S304).The handover server 120 then transmits the registration information of the mobile multimedia device 100 registered in the handover server 120 to the N-screen server 110 (S302). When the client 140 requests the handover server 120 to connect to the mobile multimedia device 100, the handover server 120 requests the corresponding mobile multimedia device 100 for INVITE (S303) . If a response to the INVITE is normally made, the RTP media stream starts to be transmitted through the handover server 120 and the multimedia stream between the mobile multimedia device 100 and the client 140 is transmitted (S304).

이러한 멀티미디어 스트리밍 전송 중에 모바일 멀티미디어 디바이스(100)가 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통해 핸드오버 영역 이동이 감지되면(S313), 모바일 멀티미디어 디바이스(100)는 자신의 로컬 IP(Local IP) 및 사용 중인 포트 번호와 위치정보 같은 일련의 정보를 N-스크린 서버(110)에 등록하고 N-스크린서버(110)는 요청된 모바일 멀티미디어 디바이스 정보를 핸드오버 서버(120)에 업데이트하도록 요청한다(S305). 이때 N-스크린 서버(110)는 와이파이 감지로 핸드오버를 위해 사용할 새로운 UDP(User datagram Protocol) 포트를 생성하고 핸드오버 서버(120)에게 생성된 UDP 포트 번호를 전송한다(S306). 핸드오버 서버(120)는 전달받은 UDP 포트를 이용하여 홀 펀칭(Hole Punching)을 시도한다(S307). If the mobile multimedia device 100 detects movement of the handover area through the GPS module 100, the SSID of the Wi-Fi system, the Wi-Fi signal strength information, the Bluetooth signal strength information, and various approach detection sensor information during the multimedia streaming transmission (S313) The multimedia device 100 registers a set of information such as its local IP and the port number in use and location information with the N-screen server 110 and the N-screen server 110 transmits the requested information to the requested mobile multimedia device And requests the handover server 120 to update the information (S305). At this time, the N-screen server 110 generates a new UDP port to be used for handover by Wi-Fi detection and transmits the generated UDP port number to the handover server 120 (S306). The handover server 120 attempts hole punching using the received UDP port (S307).

참고로 UDP 홀 펀칭이란 NAT(Network Address Translation)에 대한 방법 중의 하나로서, 가정 내의 인터넷공유기에 연결되어 있는 여러 인터넷 연결 장치들 간의 사설 IP 방식의 네트워크 구성 때문에, 외부 네트워크 접근 시 공인 IP 망를 사용하는 몇몇 응용들의 사용 제약이 있어, NAT 환경 하에서도 기존 응용 프로그램(VoIP, 인터넷게임, Web Server, Telnet, FTP 등)을 공인 IP 네트워크와 같이 사용할 수 있게 하기 위한 NAT 통과 기술(Traversal Techniques)이다.For reference, UDP hole punching is one of the methods of NAT (Network Address Translation). Because of the network configuration of the private IP between Internet connection devices connected to Internet routers in the home, the public IP network is used when accessing the external network NAT traversal techniques are used to allow existing applications (VoIP, Internet game, Web Server, Telnet, FTP, etc.) to be used with a public IP network even in a NAT environment due to limited use of some applications.

이후 N-스크린 서버(110)는 자신에게 등록된 N-스크린 서포트 디바이스(150~152) 중 핸드오버 상에서 감지되어진 해당하는 디바이스에게 새로운 RTP 세션을 요청한다(S308). N-스크린 서버(110)는 N-스크린 서포트 디바이스(150~514)로부터 새로운 RTP 세션을 수신한다(S309).The N-screen server 110 then requests a corresponding RTP session to the corresponding device detected on the handover among the N-screen support devices 150 to 152 registered in the N-screen server 110 (S308). The N-screen server 110 receives a new RTP session from the N-screen support devices 150 to 514 (S309).

이때 모바일 멀티미디어 디바이스(100)가 기존의 3G, 4G 등의 이동통신 네트워크에서 사용 중이던 RTP 세션과 홀 펀칭된 새로운 RTP 세션으로 모바일 멀티미디어 디바이스(100)와 N-스크린 서포트 디바이스(150~152)에서 동시에 멀티미디어 스트림이 전송 될 수 있도록 처리한다. 이후 모바일 멀티미디어 디바이스(100)가 핸드오버 인지메시지 수신과 핸드오버 장치 선택 및 확인 완료를 하면 N-스크린 서버(110)가 핸드오버 서버(120)와의 RTP 미디어 스트림을 릴레이(Relay)하게 된다(S310). 이렇게 함으로서 N-스크린 서포트 디바이스 중 하나인 이기종 디바이스로 핸드오버 RTP 스트리밍이 전송되어지고, N-스크린 서버는 상기 핸드오버 서버에게 모바일 멀티미디어 디바이스 RTP 세션을 종료(destroy)하도록 요청한다(S311). 또한 N-스크린 서버(110)가 모바일 멀티미디어 디바이스(100)에게 모바일 멀티미디어 디바이스 RTP 세션을 종료(destroy)하도록 요청한다(S312).At this time, the mobile multimedia device 100 simultaneously transmits the RTP session which is being used in the mobile communication network such as 3G, 4G and the like and the new RTP session which is hole-punched in the mobile multimedia device 100 and the N-screen support device 150 to 152 simultaneously So that the multimedia stream can be transmitted. After the mobile multimedia device 100 completes handover, message reception and handover device selection and confirmation, the N-screen server 110 relays the RTP media stream with the handover server 120 (S310 ). In this way, the handover RTP stream is transmitted to the heterogeneous device, which is one of the N-screen support devices, and the N-screen server requests the handover server to destroy the mobile multimedia device RTP session (S311). The N-screen server 110 also requests the mobile multimedia device 100 to destroy the mobile multimedia device RTP session (S312).

도 4는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠의 오디오, 비디오 분리형 핸드오버 절차를 설명하기 위한 흐름도로서, 이에 도시되어 있는 바와 같이 화상통화와 같은 멀티미디어 서비스의 실행에 있어서, 오디오는 스마트폰으로, 비디오는 네트워크 카메라가 부착된 스마트TV 및 PC와 같은 N-스크린 디바이스를 통하여 서비스 이용할 수 있도록 하는 분리형 핸드오버 서비스의 흐름을 나타낸다.FIG. 4 is a flowchart illustrating an audio and video separation type handover procedure of multimedia contents according to an exemplary embodiment of the present invention. As shown in FIG. 4, in the execution of a multimedia service such as a video call, , And the video shows the flow of a separate handover service that makes it possible to use a service via an N-screen device such as a smart TV and a PC with a network camera.

먼저 오디오, 비디오 분리형 핸드오버를 하기 위하여 화상통화의 상대방인 클라이언트(140)와 이러한 클라이언트(140)와 화상통화를 연결하는 스마트폰과 같은 모바일 멀티미디어 디바이스(100)는 화상통화의 연결이 시작되기 위하여 정보를 핸드오버 서버(120)에 등록 한다(S401). 여기서 모바일 멀티미디어 디바이스(100)인 스마트폰은 3G, 4G 및 그 밖의 이동통신 망에 접속함에 따라 바로 핸드오버 서버(120)에 등록을 요청할 수 있다. 이후 핸드오버 서버(120)는 인증 및 등록 수행을 마친 후 핸드오버 서버(120)에 등록된 모바일 멀티미디어 디바이스(100)의 등록 정보를 N-스크린 서버(100)에게 전달한다(S402). 클라이언트(140)가 모바일 멀티미디어 디바이스(100)와의 연결을 위해 핸드오버 서버(120)에게 INVITE를 요청하면 핸드오버 서버(120)가 해당하는 모바일 멀티미디어 디바이스(100)에게 INVITE를 요청한다(S403). 정상적으로 INVITE에 대한 응답이 이루어지면 핸드오버 서버(120)로부터 모바일 멀티미디어 디바이스(100)와 그리고 핸드오버 서버(120)로부터 클라이언트(140) 간에 RTP 미디어 스트림 전송을 시작하여 클라이언트(140)와 모바일 멀티미디어 디바이스(100)인 스마트폰 간의 화상통화 서비스가 이루어진다(S404). 이때 N-스크린 서버(110)는 모바일 멀티미디어 디바이스(100)가 어떤 콘텐츠를 어디에서 서비스를 하고 있는지 위치 및 콘텐츠 정보를 업데이트한다. A mobile multimedia device 100, such as a smart phone, which connects a video call with a client 140, which is the other party of the video call, and a video call with the client 140 in order to perform audio and video separation handover, Information in the handover server 120 (S401). Here, the smartphone, which is the mobile multimedia device 100, can directly request registration to the handover server 120 by accessing 3G, 4G, and other mobile communication networks. The handover server 120 then transmits the registration information of the mobile multimedia device 100 registered in the handover server 120 to the N-screen server 100 (S402). When the client 140 requests the handover server 120 to connect to the mobile multimedia device 100, the handover server 120 requests the corresponding mobile multimedia device 100 for INVITE (S403). If a response to the INVITE is normally made, the RTP media stream is transmitted from the handover server 120 to the mobile multimedia device 100 and from the handover server 120 to the client 140, A video call service between the smartphone 100 and the smartphone 100 is performed (S404). At this time, the N-screen server 110 updates the location and content information of the mobile multimedia device 100 from which content the service is being provided.

이때 화상통화 중에 모바일 멀티미디어 디바이스(100)가 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통한 핸드오버 시점을 인지하고 감지되면(S415), 모바일 멀티미디어 디바이스(100)는 자신의 로컬 IP 및 사용 중인 포트 번호와 같은 일련의 정보를 N-스크린 서버(110)에 등록하고 N-스크린 서버(110)는 요청된 모바일 멀티미디어 디바이스 정보를 핸드오버 서버(120)에 업데이트하도록 요청한다(S405). 이때 N-스크린 서버(110)는 와이파이 감지로 핸드오버를 위해 사용할 새로운 UDP(User Datagram Protocol) 포트를 생성하여 핸드오버 서버(120)에게 사용할 UDP 포트 번호를 전송한다(S406). 상기 핸드오버 서버(120)는 전달받은 UDP 포트를 이용하여 홀 펀칭을 시도한다(S407). NAT 통과 솔루션인 UDP 홀 펀칭에 따라 N-스크린 서버(110)는 자신에게 등록된 N-스크린 서포트 디바이스(150~154) 중 해당하는 디바이스에게 새로운 비디오 RTP 세션을 요청한다(S408). 이후 N-스크린 서버(110)가 N-스크린 서포트 디바이스(150~154)로부터 새로운 비디오 RTP 세션을 수신한다(S409). 이때 핸드오버 서버(120)는 모바일 멀티미디어 디바이스(100)가 화상통화 사용 중인 네트워크에서의 RTP 세션과 홀 펀칭된 N-스크린 서포트 디바이스(150~154)의 새로운 RTP 세션으로 동시에 멀티미디어 스트림이 전송 될 수 있도록 처리한다(S409). 모바일 멀티미디어 디바이스(100)가 핸드오버 영역에서의 최적의 비디오 장치가 감지됨을 알리는 오디오, 비디오 분리형 핸드오버 인지메세지 수신과 핸드오버 장치 선택 및 확인 완료를 하면, N-스크린 서버(110)는 핸드오버 서버(120)와 선택된 비디오 전송용 N-스크린 디바이스와의 비디오 RTP 스트리밍을 송수신한다(S410). 이후 N-스크린 서버(110)는 모바일 멀티미디어 디바이스(100)에게 새로운 오디오 전용 RTP 세션을 요청한다(S411). 상기 모바일 멀티미디어 디바이스(100)가 핸드오버 서버(120)에게 새로운 오디오 RTP 세션 송수신한다(S412). 상기 모바일 멀티미디어 디바이스(100)와 핸드오버 서버(120)에서는 오디오 RTP 스트리밍을 송수신한다(S413). N-스크린 서버(110)는 핸드오버 서버(120)에게 모바일 멀티미디어 디바이스(100)의 비디오 RTP 세션의 종료를 요청하고 모바일 멀티미디어 디바이스(100)에게도 비디오 RTP 세션의 종료를 요구한다(S414). At this time, if the mobile multimedia device 100 recognizes and detects the handover time through the GPS position information, the SSID of the Wi-Fi system, the Wi-Fi signal strength information, the Bluetooth signal strength information, The multimedia device 100 registers a set of information such as its local IP and the port number in use with the N-screen server 110 and the N-screen server 110 transmits the requested mobile multimedia device information to the handover server 120 (S405). At this time, the N-screen server 110 generates a new UDP (User Datagram Protocol) port to be used for handover by Wi-Fi detection and transmits a UDP port number to be used to the handover server 120 (S406). The handover server 120 attempts hole punching using the received UDP port (S407). In accordance with UDP hole punching, which is a NAT passing solution, the N-screen server 110 requests a corresponding one of the N-screen support devices 150 to 154 registered therein to a new video RTP session (S408). The N-screen server 110 then receives a new video RTP session from the N-screen support devices 150 to 154 (S409). At this time, the handover server 120 can simultaneously transmit the multimedia stream to the RTP session in the network where the mobile multimedia device 100 is using the video call and the new RTP session of the hole-punched N-screen support device 150 to 154 (S409). When the mobile multimedia device 100 completes selection and confirmation of audio and video separation type handover, message reception and handover device notification that the optimal video device in the handover area is detected, the N-screen server 110 performs handover And transmits and receives video RTP streaming between the server 120 and the selected N-screen device for video transmission (S410). The N-screen server 110 then requests the mobile multimedia device 100 for a new audio-only RTP session (S411). The mobile multimedia device 100 transmits / receives a new audio RTP session to the handover server 120 (S412). The mobile multimedia device 100 and the handover server 120 transmit and receive audio RTP stream (S413). The N-screen server 110 requests the handover server 120 to terminate the video RTP session of the mobile multimedia device 100 and requests the mobile multimedia device 100 to terminate the video RTP session (S414).

상기와 같이 N-스크린 서비스에서 본 발명의 기술로 구현한 오디오와 비디오 분리형 스트림을 통한 핸드오버 절차를 설명하였다.As described above, the handover procedure through the separated audio and video streams implemented by the technique of the present invention in the N-screen service has been described.

도 5는 본 발명의 일 실시예에 따른 멀티미디어 서버 기반 콘텐츠의 오디오, 비디오 분리형 핸드오버 절차를 순차적으로 설명하기 위한 흐름도로서, 예를 들어 멀티미디어 서버(130)를 통한 VOD(Video on Demand)와 같은 서비스의 실행에 있어서 오디오는 스마트폰 또는 오디오 디바이스로, 비디오는 고화질의 스마트TV와 같은 N-스크린 서포트 디바이스(150~154)를 통하여 서비스 하는 멀티미디어 서버(130) 기반 분리형 핸드오버 서비스의 흐름을 나타낸다. 5 is a flowchart for sequentially illustrating an audio and video separation type handover procedure of a multimedia server based content according to an exemplary embodiment of the present invention. For example, the VOD (Video on Demand) through the multimedia server 130 In the execution of the service, the audio represents the flow of the multimedia server 130 based separable handover service through the N-screen support devices 150 to 154, such as a smart phone or an audio device, and the video is a high-definition smart TV .

이를 자세히 설명하면, 모바일 멀티미디어 디바이스(100)가 등록 정보를 핸드오버 서버(120)에 등록 요청한다(S501). 여기서 모바일 멀티미디어 디바이스(100)가 스마트폰일 때는 3G, 4G 이동통신 망에 접속함에 따라 바로 핸드오버 서버(120)에 등록을 요청할 수 있다. 핸드오버 서버(120)는 인증 및 등록 수행을 마친 후 핸드오버 서버에 등록된 모바일 멀티미디어 디바이스(100)의 등록 정보를 N-스크린 서버(110)에게 전달한다(S502). 다음으로 모바일 멀티미디어 디바이스(100)가 멀티미디어 서버(130)와 연결을 위해 핸드오버 서버(120)에게 INVITE를 요청하고 핸드오버 서버(120)는 멀티미디어 서버(130)에게 INVITE를 요청한다(S503). 이때 정상적으로 INVITE에 대한 응답이 이루어지면 핸드오버 서버(120)를 통하여 멀티미디어 서버(130)와 모바일 멀티미디어 디바이스(100) 간의 RTP 미디어 스트림 전송을 시작한다(S504). 이후 멀티미디어 스트리밍 중에 모바일 멀티미디어 디바이스(100)가 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통해 핸드오버 시점을 인지하고 감지되면(S515), 모바일 멀티미디어 디바이스(100)는 자신의 로컬 IP 및 사용 중인 포트 번호와 같은 일련의 정보를 N-스크린 서버(110)에 등록하고 N-스크린 서버(110)는 요청된 모바일 멀티미디어 디바이스 정보를 핸드오버 서버(120)에 업데이트하도록 요청한다(S505). N-스크린 서버(110)는 와이파이 감지로 핸드오버를 위해 사용할 새로운 UDP 포트를 생성하여 핸드오버 서버(120)에게 사용할 UDP 포트 번호를 전송한다(S506). 핸드오버 서버(120)는 전달받은 UDP 포트를 이용하여 홀 펀칭를 시도한다(S507). N-스크린 서버(110)는 자신에게 등록된 N-스크린 서포트 디바이스(150~154) 중 해당하는 N-스크린 서포트 디바이스에게 새로운 비디오 RTP 세션을 요청한다(S508). N-스크린 서버(110)가 N-스크린 서포트 디바이스(150~154)로부터 새로운 비디오 RTP 세션을 수신한다(S509). 이때 핸드오버 서버(120)는 모바일 멀티미디어 디바이스(100)가 멀티미디어 스트리밍 중인 네트워크에서의 RTP 세션과 홀 펀칭된 새로운 RTP 세션으로 동시에 멀티미디어 스트림이 전송 될 수 있도록 처리한다. 상기 모바일 멀티미디어 디바이스(100)가 핸드오버 영역에서의 최적의 비디오 장치가 감지됨을 알리는 오디오, 비디오 분리형 핸드오버 인지메세지 수신과 핸드오버 장치 선택 및 확인 완료 하면 N-스크린 서버(110)는 핸드오버 서버(120)와 선택된 비디오 전용 N-스크린 디바이스와의 비디오 RTP 스트리밍을 송수신한다.(S510). 이때 N-스크린 서버(110)가 모바일 멀티미디어 디바이스(100)에게 새로운 오디오 RTP 세션을 요청하고(S511), 모바일 멀티미디어 디바이스(100)가 N-스크린 서버(110)에게 새로운 비디오 RTP 세션을 보낸다(S512). 핸드오버 서버(120)로부터 N-스크린 서버(110)로 수신되는 RTP 스트리밍을 모바일 멀티미디어 디바이스(100)에게 전송한다.(S513). N-스크린 서버(110)는 모바일 멀티미디어 디바이스(100)와 핸드오버 서버에게 각각 모바일 멀티미디어 디바이스 RTP 스트리밍의 RTP 세션의 종료를 요청한다(S514).In more detail, the mobile multimedia device 100 requests registration of the registration information to the handover server 120 (S501). Here, when the mobile multimedia device 100 is a smart phone, the mobile multimedia device 100 can immediately request registration to the handover server 120 by connecting to the 3G or 4G mobile communication network. After completing authentication and registration, the handover server 120 transmits registration information of the mobile multimedia device 100 registered in the handover server to the N-screen server 110 (S502). Next, the mobile multimedia device 100 requests the handover server 120 to connect to the multimedia server 130, and the handover server 120 requests the multimedia server 130 for INVITE (S503). At this time, if a response to the INVITE is normally made, the RTP media stream transmission between the multimedia server 130 and the mobile multimedia device 100 is started through the handover server 120 (S504). If the mobile multimedia device 100 recognizes and detects the handover time through the GPS position information, the SSID of the Wi-Fi system, the Wi-Fi signal intensity information, the Bluetooth signal strength information, and various approach detection sensor information during the multimedia streaming (S515) The multimedia device 100 registers a set of information such as its local IP and the port number in use with the N-screen server 110 and the N-screen server 110 transmits the requested mobile multimedia device information to the handover server 120 in step S505. The N-screen server 110 generates a new UDP port to be used for handover by Wi-Fi detection and transmits a UDP port number to be used to the handover server 120 (S506). The handover server 120 attempts hole punching using the received UDP port (S507). The N-screen server 110 requests a new video RTP session to the corresponding N-screen support device among the N-screen support devices 150 to 154 registered in the N-screen server 110 (S508). The N-screen server 110 receives a new video RTP session from the N-screen support devices 150 to 154 (S509). At this time, the handover server 120 processes the multimedia multimedia device 100 so that the multimedia stream can be simultaneously transmitted through the RTP session in the multimedia streaming network and the new RTP session punched in the network. When the mobile multimedia device 100 completes selection and confirmation of audio and video separation type handover, message reception and handover device notification that the optimal video device in the handover area is detected, the N-screen server 110 transmits a handover Video RTP streaming with the selected video-only N-screen device 120 (S510). At this time, the N-screen server 110 requests the mobile multimedia device 100 for a new audio RTP session (S511), and the mobile multimedia device 100 sends a new video RTP session to the N-screen server 110 (S512 ). And transmits the RTP stream received from the handover server 120 to the N-screen server 110 to the mobile multimedia device 100 (S513). The N-screen server 110 requests the mobile multimedia device 100 and the handover server to terminate the RTP session of the mobile multimedia device RTP stream, respectively (S514).

도 6은 본 발명의 일 실시예에 따른 전체적인 실시 시나리오를 순차적으로 설명하기 위한 순서도이다.FIG. 6 is a flowchart for sequentially explaining an overall implementation scenario according to an embodiment of the present invention.

도 6에 도시되어 있는 바와 같이, 사용자가 스마트폰을 이용하여 CCTV영상 시청 또는 화상전화와 같은 멀티미디어 콘텐츠를 동작하며 이동하고 있다(S601). 이때 사용자가 스마트폰으로 영상을 보며 집 근처 또는 본인의 자동차 등으로 접근하면(S602), 사용자가 집 또는 본인의 자동차로 근처로 오고 있다는 것을 모바일 멀티미디어 디바이스(100)의 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통하여 가정 또는 차량의 핸드오버 영역을 인지한다(S603). 접근 장소와 ID, 콘텐츠 종류 와 같은 사용자 정보를 홈 N-스크린 서버(110) 또는 차량의 N-스크린 서버(110)로 전송한다(S604). 차량에서의 N-스크린 서비스에서는 모바일 멀티미디어 디바이스(100)가 N-스크린 서버(110)로 동작 되어 질수 있다. 이후 N-스크린 서버(110)가 집에 있는 핸드오버 디바이스를 동작시킨다. 또는 차량 내의 멀티미디어 디바이스를 동작시킨다(S605). 이때 스마트폰은 기존의 3G, 4G 등의 이동통신 네트워크에서 사용 중이던 RTP 세션과 홀 펀칭된 스마트 TV의 새로운 RTP 세션으로 동시에 멀티미디어 스트림이 동시에 영상이 재생된다(S606). 이때 핸드오버 서버(120)는 사용자 스마트폰으로 핸드오버에 대한 정보와 TV 세팅에 대한 결과를 전송하고 스마트 폰의 스트리밍을 종료할지, 또는 핸드오버를 수행하지 않을지를 묻는다(S607). 예를 들어 CCTV 콘텐츠에서는 “현재 디바이스의 영상전송을 종료하시겠습니까? Yes/No ” 영상통화 콘텐츠에서는 “현재 디바이스의 영상통화를 종료하시겠습니까? Yes/No or 영상만 종료”의 메시지가 수신되고 사용자가 스마트폰에서의 영상정지“Yes" 선택 시, 핸드오버 서버(120)는 스마트폰으로 영상 전송을 중지 한다. 또한 영상통화 서비스에서 스마트폰의 옵션 중 하나인 영상만 TV로 보내기를 선택할 시 사용자가 집에 들어온 후 거실에 있는 TV로 영상을 보며 스마트폰 마이크로 대화한다. 상기와 같이 콘텐츠에 따른 핸드오버 실행이 완료되면 사용자는 N-스크린 서버(110)를 통하여 멀티미디어 서비스를 끊김없이 계속 이용하게 된다.(S608) As shown in FIG. 6, the user operates a multimedia content such as a CCTV video or a video phone using a smart phone (S601). At this time, when the user views the video on the smartphone and approaches the home or his / her own vehicle (S602), it is determined that the user is coming to the home or his / her own car by using the GPS position information of the mobile multimedia device 100, SSID, WiFi signal strength information, Bluetooth signal strength information, and various approach detection sensor information (S603). Screen information to the home N-screen server 110 or the N-screen server 110 of the vehicle (S604). In the N-screen service in the vehicle, the mobile multimedia device 100 can be operated as the N-screen server 110. The N-screen server 110 then operates the handover device at home. Or operates the multimedia device in the vehicle (S605). At this time, the smartphone simultaneously reproduces the multimedia stream simultaneously with the RTP session being used in the existing 3G or 4G mobile communication network and the new RTP session of the hole-punched smart TV (S606). At this time, the handover server 120 transmits information on the handover and the result of the TV setting to the user smart phone, and inquires whether to end the streaming of the smart phone or not to perform the handover (S607). For example, in CCTV content, "Do you want to end the video transmission of the current device? Yes / No "For video call content," Do you want to end the video call of the current device? YES ", " Yes / No or video only end " is received, and the user selects the video stopping " Yes "on the smartphone, the handover server 120 stops the video transmission to the smartphone. When selecting to send only the video, which is one of the options of the user, to the TV in the living room after the user enters the home, the smartphone micro-conversation is performed. The multimedia service is continuously used continuously through the server 110. In operation S608,

도 7은 본 발명의 일 실시예에 따른 음악감상 시나리오의 실내 핸드오버 영역 간의 흐름을 순차적으로 설명하기 위한 순서도로서, 이에 도시되어 있는 바와 같이 사용자가 음악 스트리밍 서비스를 이용하면서 스마트폰에 이어폰을 끼고 음악을 들으며 집으로 들어오고 있다(S701). 이기종 간의 핸드오버를 하기위한 영역에 사용자가 진입을 하게 되면 스마트폰 화면에 핸드오버 영역에 들어왔음을 인지 시키는 방법으로 예를들어“오디오에서 음악을 재생하시겠습니까? Yes/No” 메세지 창이 나온다. 사용자는 핸드오버를 허용한다는 명령으로 “Yes”라는 버튼을 누르며 집에 들어 선다(S702). 상기와 같이 사용자가 핸드오버를 허용하면 거실에 있는 오디오가 켜지며 사용자가 스마트폰으로 듣던 음악이 거실 오디오에서 재생된다(S703). 거실에서 오디오 재생을 하다가 사용자가 스마트폰을 들고 부엌으로 이동하여 음악을 들으며 식사를 할 시(S708), 거실과 부엌의 핸드오버 영역이 설정되어 있다면 스마트폰 모바일 멀티미디어 디바이스(100)는 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 다양한 접근 감지 센서 정보를 통한 부엌의 핸드오버 시점을 인지하고, 스마트폰 화면에 핸드오버 영역에 들어왔음을 인지시키는 방법으로 예를 들어“부엌 오디오에서 음악을 재생하시겠습니까? Yes/No” 메시지 창이 나온다. 사용자는 핸드오버를 허용한다는 명령으로 “Yes”라는 버튼을 선택함으로써 핸드오버 서버(120)에게 핸드오버 디바이스 선택 메시지를 송출하면(S709) 부엌에 있는 핸드오버 디바이스에서 음악 스트리밍이 재생된다. 또는 “No"라는 버튼을 누르면 스마트폰의 디바이스에서 그대로 음악 스트리밍이 재생된다(S710). FIG. 7 is a flowchart for sequentially illustrating the flow between indoor handover areas of a music listening scenario according to an embodiment of the present invention. As shown in FIG. 7, when a user uses an music streaming service, He / she is coming into the house listening to music (S701). For example, if a user enters an area for handover between heterogeneous devices, the user may be informed that he / she has entered the handover area on the screen of the smartphone. Yes / No "message window appears. The user presses the " Yes " button at the command to allow handover and enters the home (S702). If the user permits the handover as described above, the audio in the living room is turned on and the music that the user hears with the smartphone is reproduced in the living room audio (S703). If the user moves to the kitchen while listening to music while playing the audio in the living room, the user can enjoy the music while listening to the music (S708). If the handover area of the living room and the kitchen is set, , The SSID of the Wi-Fi system, the Wi-Fi signal strength information, the Bluetooth signal strength information, various approach sensor information, and recognizes that the handover area has entered the smartphone screen. "Do you want to play music in kitchen audio? Yes / No "message window appears. When the user selects a button of " Yes " in response to an instruction to permit handover, the handover device selection message is transmitted to the handover server 120 (S709) and music streaming is reproduced in the handover device in the kitchen. Or " No "button is pressed, the music streaming is reproduced directly from the device of the smart phone (S710).

한편 거실에서 오디오 재생을 하다가 사용자가 스마트폰을 들고 화장실로 이동한다고 할 시(S711), 거실과 화장실의 핸드오버 영역이 설정되어 있다면 모바일 멀티미디어 디바이스(100)는 상기와 같은 방법으로 화장실의 핸드오버 영역을 인지하고, 스마트폰 화면에 핸드오버 영역에 들어왔음을 인지시키는 방법으로 예를 들어“화장실의 오디오에서 음악을 재생하시겠습니까? Yes/No” 메시지 창이 나온다(S712). 그러나 화장실에 N-스크린 서포트 디바이스(150~154)가 설치되어 있지 않으면 스마트폰에 핸드오버 영역에 적당한 N-스크린 서포트 디바이스(150~154)가 없음을 알리며, 스마트폰에서 음악 스트리밍 서비스가 재생된다(S713).If the user wishes to move the smartphone to the toilet while playing the audio in the living room (S711), if the handover area of the living room and the toilet is set, the mobile multimedia device 100 performs handover For example, if you recognize the area and recognize that you are in the handover area on the smartphone screen, for example, "Do you want to play music from the audio in the bathroom? Yes / No " message window is displayed (S712). However, if the N-screen support devices 150 to 154 are not installed in the toilet, the smartphone notifies that there is no suitable N-screen support device 150 to 154 in the handover area, and the music streaming service is reproduced in the smartphone (S713).

또는 거실 또는 부엌에서 오디오 재생을 하다가 사용자가 스마트폰을 들고 방으로 이동 한다고 할 시(S704), 거실과 부엌의 핸드오버 영역과 방의 핸드오버 영역이 설정되어 있다면 모바일 멀티미디어 디바이스는 상기와 같은 방법으로 핸드오버 영역을 인지하고, 스마트폰 화면에 핸드오버 영역에 들어왔음을 인지 시키는 방법으로“방의 오디오 또는 PC, TV에서 음악을 재생하시겠습니까? Yes/No” 메세지 창이 나온다(S705). 사용자는 핸드오버를 허용한다는 명령으로 적절한 디바이스를 선택 후“Yes”라는 버튼을 누르면 방에 있는 선택된 N-스크린 디바이스가 켜지고 스마트폰으로 듣던 음악이 PC에서 재생되며 스마트폰의 음악 재생이 종료된다(S706).If the user wishes to move to the room while holding the smartphone while playing audio in the living room or kitchen (S704), if the handover area of the living room and the kitchen and the handover area of the room are set, the mobile multimedia device By recognizing the handover area and recognizing that you entered the handover area on the smartphone screen, you can select "Do you want to play music in your room, PC or TV? Yes / No " message window is displayed (S705). When the user presses the "Yes" button after selecting the appropriate device with the command to allow handover, the selected N-screen device in the room is turned on, the music heard on the smartphone is played on the PC, and the music playback on the smartphone is ended S706).

본 발명에서는 모바일 멀티미디어 디바이스가 클라이언트 혹은 멀티미디어 서버 사이에서 핸드오버를 수행할 때, 모바일 멀티미디어 디바이스가 3G, 4G, Wibro, LTE를 포함하는 이동통신망과 와이파이망을 통해서 동시에 멀티미디어 세션을 오픈할 수 없는 경우, 중간에 프록시(proxy) 서버를 두어 상기 이동통신망과 와이파이망 간에 핸드오버를 지원하는 것이 가능하다.In the present invention, when a mobile multimedia device performs a handover between a client and a multimedia server, if the mobile multimedia device can not simultaneously open a multimedia session through a mobile communication network including 3G, 4G, Wibro, and LTE and a Wi-Fi network , And a proxy server is provided in the middle to support handover between the mobile communication network and the Wi-Fi network.

도 8은 본 발명의 일 실시예에 따른 이동통신망과 와이파이망 간의 핸드오버를 수행하기 위한 개념도이다.FIG. 8 is a conceptual diagram for performing a handover between a mobile communication network and a Wi-Fi network according to an embodiment of the present invention.

먼저 도 8의 (a)는 모바일 멀티미디어 디바이스(예: 스마트폰)와 클라이언트 혹은 멀티미디어 서버가 이동통신 및 와이파이 네트워크 인터페이스 카드(NIC)를 보유하고 있으나, 상기 모바일 멀티미디어 디바이스가 두 개의 링크 모두를 통해서 세션을 설정하지 못할 수 있으며, 이 경우에 두 개의 링크로 동시에 데이터를 송수신하는 것이 불가능한 경우를 개념적으로 설명한 것이다. 이러한 문제를 해결하기 위해서 도 8의 (b)와 같이 중간에 프록시 서버를 두어 이동통신망과 와이파이망 사이의 핸드오버를 수행할 수 있다. 즉, a-링크와 c-링크를 통해서 모바일 멀티미디어 디바이스와 클라이언트 혹은 멀티미디어 서버가 상호 데이터를 송수신하고 있는 상황에서, 모바일 멀티미디어 디바이스가 a-링크로 데이터를 송수신하다가 와이파이 영역으로 접근하는 경우(fade in), 프록시 서버는 a-링크와 c-링크를 통한 세션을 지속하고 있으면서 타이머를 작동(예: 2분)하여 원래의 세션을 일정기간 유지한다. 다음으로 모바일 멀티미디어 디바이스가 b-링크를 형성하고 프록시 서버로 이전 a-링크에 의한 세션에 대해서 핸드오버를 요청한다. 이 경우 프록시 서버는 세션의 고유 ID가 일치하면 a-링크에 의한 세션을 b-링크에 의한 세션으로 연결하여 연속적으로 이전의 로그인 정보를 변경함이 없이 끊김없이(seamless) 이기종망 간에 핸드오버를 완성할 수 있게 된다. 여기서 c-링크는 항상 살아있는(keep alive) 것으로 가정하며, 이러한 핸드오버의 개념은 본원 발명에서 모바일 멀티미디어 디바이스가 핸드오버를 지원하지 않는 경우에도 프록시 서버에서 핸드오버를 지원함으로써, 모든 모바일 멀티미디어 디바이스의 기종에 대해서 핸드오버를 지원할 수 있다.8 (a) shows a mobile multimedia device (e.g., smart phone) and a client or multimedia server having a mobile communication and a Wi-Fi network interface card (NIC) And in this case, it is conceptually impossible to simultaneously transmit and receive data with two links. In order to solve such a problem, a proxy server may be interposed between the mobile communication network and the Wi-Fi network as shown in FIG. 8 (b). That is, when the mobile multimedia device transmits and receives data through the a-link and then accesses the Wi-Fi area in the situation where the mobile multimedia device and the client or the multimedia server transmit and receive data through the a-link and the c- ), The proxy server keeps the original session for a period of time (for example, 2 minutes) while keeping the session over the a-link and the c-link. Next, the mobile multimedia device forms a b-link and requests handover to the session by the previous a-link to the proxy server. In this case, when the unique ID of the session is matched, the proxy server connects the a-link session to the b-link session and continuously performs handover between heterogeneous networks without changing the previous login information. It can be completed. Here, it is assumed that the c-link is always alive. The concept of this handover is that, in the present invention, even when the mobile multimedia device does not support handover, the handover is supported in the proxy server, Handover can be supported for the model.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand. Accordingly, the technical scope of the present invention should be defined by the following claims.

100:모바일 멀티미디어 디바이스 110:N-스크린 서버
120: 핸드오버 서버 130:멀티미디어 서버
140: 클라이언트
150~154: N-스크린 서포트 디바이스 100: mobile multimedia device 110: N-screen server
120: Handover server 130: Multimedia server
140: Client
150 ~ 154: N-screen support device

Claims (15)

멀티미디어 콘텐츠를 처리하는 적어도 하나 이상의 멀티미디어 디바이스,
N-스크린 서버로부터 전송된 멀티미디어 콘텐츠를 출력하는 장치인 적어도 하나 이상의 N-스크린 서포트 디바이스,
상기 멀티미디어 디바이스, N-스크린 서포트 디바이스, 클라이언트, 멀티미디어 서버 또는 이들의 조합 중 적어도 하나 이상의 사이에서 N-스크린 서비스를 제공하는 적어도 하나 이상의 N-스크린 서버,
화상전화, 영상채팅 또는 멀티미디어 콘텐츠를 제공하는 디바이스인 적어도 하나 이상의 클라이언트,
멀티미디어 콘텐츠를 공급하는 멀티미디어 서버, 또는 이들의 조합 중 적어도 하나 이상; 및
모바일 멀티미디어 디바이스를 포함하는 상기 멀티미디어 디바이스, 적어도 하나 이상의 N-스크린 서포트 디바이스, 상기 N-스크린 서버, 상기 클라이언트, 상기 멀티미디어 서버, 또는 이들의 조합 중 적어도 하나 이상 간의 핸드오버 제어 기능을 갖는 적어도 하나 이상의 핸드오버 서버;를 포함하며,
적어도 하나 이상의 멀티미디어 디바이스, 클라이언트 또는 이들의 조합을 핸드오버 서버에 등록하고,
N-스크린 서버에 상기 멀티미디어 디바이스의 등록정보를 전달하며,
핸드오버 서버는 클라이언트로부터 INVITE 받고 다시 멀티미디어 디바이스로 상기 멀티미디어 디바이스의 위치정보에 따라 바로 INVITE 요청하거나 멀티미디어 디바이스의 위치정보에 따라 멀티미디어 디바이스로부터 INVITE를 받고 다시 멀티미디어 서버로 INVITE를 요청하고,
핸드오버 서버를 통해서 멀티미디어 디바이스와 클라이언트 혹은 멀티미디어 서버 사이에 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP(Real-time Transport Protocol) 스트리밍을 수행하는 것을 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템.At least one multimedia device for processing multimedia content,
At least one N-screen support device which is an apparatus for outputting multimedia contents transmitted from an N-screen server,
At least one N-screen server for providing an N-screen service among at least one of the multimedia device, the N-screen support device, the client, the multimedia server,
At least one client that is a device that provides video telephony, video chat, or multimedia content,
A multimedia server for supplying multimedia contents, or a combination thereof; And
Having at least one handover control function between at least one of the multimedia device including a mobile multimedia device, at least one N-screen support device, the N-screen server, the client, the multimedia server, or a combination thereof And a handover server,
Registering at least one or more multimedia devices, clients, or a combination thereof, in a handover server,
Transmitting the registration information of the multimedia device to the N-screen server,
The handover server receives the INVITE from the client and requests the INVITE directly to the multimedia device according to the location information of the multimedia device, or receives the INVITE from the multimedia device according to the location information of the multimedia device, requests the INVITE to the multimedia server again,
Performing real-time transport protocol (RTP) streaming comprising at least one of video, audio, or a combination thereof between a multimedia device and a client or a multimedia server via a handover server, A heterogeneous handover system for multimedia streams for multimedia applications. 삭제delete 청구항 1에 있어서,
상기 적어도 하나 이상의 멀티미디어 디바이스 중 하나가 N-스크린 서버 기능을 수행하는 소프트웨어를 탑재하여 N-스크린 릴레이 서버의 기능을 수행함으로써, 상기 멀티미디어 디바이스, N-스크린 서포트 디바이스, 클라이언트, 멀티미디어 서버 또는 이들의 조합 간에 N-스크린 서비스를 제공하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템.The method according to claim 1,
The multimedia device, the N-screen support device, the client, the multimedia server, or a combination thereof may be implemented by one of the at least one multimedia device by installing software that performs an N-screen server function and performing a function of an N-screen relay server. Screen service between the different types of multimedia streams. 청구항 3에 있어서,
상기 적어도 하나 이상의 멀티미디어 디바이스 중 하나가 3G, 4G, Wibro, LTE 또는 이들의 조합을 포함하는 이동통신망과 와이파이망 사이에서 동시에 링크 세션을 설정하지 못하는 경우, 적어도 하나 이상의 프락시 서버를 추가로 구비하여 상기 이동통신망과 와이파이망 사이에서 핸드오버를 수행하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 시스템.The method of claim 3,
Wherein if at least one of the at least one multimedia device fails to simultaneously set up a link session between a mobile communication network including 3G, 4G, Wibro, LTE or a combination thereof and a Wi-Fi network, Handover between the mobile communication network and the Wi-Fi network. 청구항 1에 있어서,
GPS 위치 정보, 와이파이 특정 서비스 세트 식별자(SSID) 정보, 와이파이 신호 세기 정보, 와이파이 위치인식 기반 서비스 정보, 복수의 종류의 접근 감지 센서 정보 또는 이들의 조합으로 N-스크린 서비스 이용자의 핸드오버 시점을 파악함으로서 보다 유연하게 핸드오버를 할 수 있도록 하는 것을 특징으로 하는 N-스크린서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 제공 시스템.The method according to claim 1,
Screen service user's handover time is identified by using GPS position information, Wi-Fi specific service set identifier (SSID) information, Wi-Fi signal strength information, Wi-Fi location aware service information, So that the handover can be performed more flexibly. 청구항 1에 있어서,
복수의 핸드오버 영역에서, 각 영역마다 존재하는 N-스크린 서비스 가능한 디바이스를 중심으로 핸드오버 영역을 이용자가 자유롭게 설정할 수 있도록 하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 제공 시스템.The method according to claim 1,
Screen service capable of freely configuring a handover area around a device capable of N-screen service existing in each of a plurality of areas in a plurality of handover areas, Delivery system. 청구항 1에 있어서,
N-스크린 서비스의 품질을 극대화하기 위해서, 음성과 영상의 분리 핸드오버를 지원하도록 하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 제공 시스템.The method according to claim 1,
Characterized in that a separate handover of voice and video is supported in order to maximize the quality of the N-screen service. 청구항 1에 있어서,
음악, 뮤직 비디오, 인터넷 콘텐츠, CCTV 영상, 영상통화, 화상채팅 또는 이들의 조합을 포함한 멀티미디어 콘텐츠에 이기종 디바이스 간 핸드오버 기술을 적용할 수 있도록 하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 제공 시스템.The method according to claim 1,
Screen service to multimedia content including multimedia, music, music video, Internet content, CCTV video, video call, video chat, or a combination thereof. Handover between heterogeneous devices. 적어도 하나 이상의 멀티미디어 디바이스, 클라이언트 또는 이들의 조합을 핸드오버 서버에 등록하는 단계;
N-스크린 서버에 상기 멀티미디어 디바이스의 등록정보를 전달하는 단계;
핸드오버 서버는 클라이언트로부터 INVITE 받고, 다시 멀티미디어 디바이스로 상기 멀티미디어 디바이스의 위치정보에 따라 바로 INVITE 요청하거나, 멀티미디어 디바이스의 위치정보에 따라 멀티미디어 디바이스로부터 INVITE를 받고, 다시 멀티미디어 서버로 INVITE를 요청하는 단계; 및
핸드오버 서버를 통해서 멀티미디어 디바이스와 클라이언트 혹은 멀티미디어 서버 사이에 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP(Real-time Transport Protocol) 스트리밍을 수행하는 단계;를 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.Registering at least one or more multimedia devices, clients or a combination thereof at a handover server;
Transmitting registration information of the multimedia device to the N-screen server;
The handover server receives the INVITE from the client and directly requests the multimedia device to perform the INVITE according to the location information of the multimedia device or receives the INVITE from the multimedia device according to the location information of the multimedia device and requests the INVITE to the multimedia server again; And
Performing real-time transport protocol (RTP) streaming including at least one of video, audio, or a combination thereof between a multimedia device and a client or a multimedia server through a handover server, A heterogeneous handover method of a multimedia stream for screen services. 청구항 9에 있어서,
상기 스트리밍 중에 멀티미디어 디바이스가 GPS 위치정보, 와이파이 시스템의 SSID, 와이파이 신호 세기 정보, 블루투스 신호세기 정보, 복수의 접근 감지 센서 정보 또는 이들의 조합을 포함하는 정보를 통해 핸드오버 영역 이동이 감지되면,
멀티미디어 디바이스는 자신의 로컬 IP, 사용 중인 포트 번호, 위치정보 또는 이들의 조합을 포함하는 정보를 N-스크린 서버에 등록하고 N-스크린 서버는 요청된 멀티미디어 디바이스 정보를 핸드오버 서버에 업데이트하도록 요청하는 단계; 및
N-스크린 서버는 와이파이 감지로 핸드오버를 위해 사용할 새로운 UDP 포트를 생성하고 핸드오버 서버에게 생성된 UDP 포트 번호를 전송하며, 핸드오버 서버는 전달받은 UDP 포트를 이용하여 N-스크린 서버에 홀 펀칭을 시도하는 단계;를 더 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method of claim 9,
If the multimedia device detects movement of the handover area through the information including the GPS position information, the SSID of the Wi-Fi system, the Wi-Fi signal strength information, the Bluetooth signal strength information, the plurality of proximity sensor information, or a combination thereof during the streaming,
The multimedia device registers information with its N-screen server, including its local IP, port number in use, location information, or a combination thereof, and the N-screen server requests the handover server to update the requested multimedia device information step; And
The N-screen server creates a new UDP port to be used for handover by Wi-Fi detection and transmits the generated UDP port number to the handover server. The handover server uses a UDP port to perform hole punching The method of claim 1, further comprising the steps of: attempting to perform a handover of a multimedia stream for an N-screen service. 청구항 10에 있어서,
N-스크린 서버는 자신에게 등록된 N-스크린 서포트 디바이스 중 핸드오버 상에서 감지되어진 해당하는 디바이스에게 새로운 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 세션을 요청하고, 상기 N-스크린 서포트 디바이스로부터 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 새로운 RTP 세션을 수신하는 단계;를 더 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method of claim 10,
The N-screen server requests an RTP session including at least one of new video, audio, or a combination thereof to the corresponding device detected on the handover among the registered N-screen support devices, Further comprising receiving a new RTP session including at least one of video, audio, or a combination thereof from the at least one RTP session. 청구항 11에 있어서,
N-스크린 서버와 N-스크린 서포트 디바이스 간에 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트리밍을 수행하고, N-스크린 서버와 핸드오버 서버 간에 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트리밍을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method of claim 11,
Performing at least one of video, audio, or a combination thereof between the N-screen server and the N-screen support device, and performing at least one of video, audio, or a combination thereof between the N-screen server and the handover server And performing RTP streaming including the RTP stream including the RTP stream. 청구항 12에 있어서,
멀티미디어 디바이스가 3G, 4G, Wibro, LTE 또는 이들의 조합을 포함하는 이동통신 네트워크에서 사용 중이던 RTP 세션과 홀 펀칭된 새로운 RTP 세션으로 멀티미디어 디바이스와 N-스크린 서포트 디바이스에서 동시에 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트림이 전송 될 수 있도록 처리하는 단계; 및
멀티미디어 디바이스가 핸드오버 인지메시지 수신과 핸드오버 장치 선택 및 확인 완료를 하면 N-스크린 서버가 핸드오버 서버와의 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트림을 릴레이하게 됨으로써, N-스크린 서포트 디바이스 중 하나인 이기종 디바이스로 핸드오버된 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트리밍이 전송되는 단계;를 더 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method of claim 12,
Audio, or a combination thereof at the same time in a multimedia device and an N-screen support device with an RTP session being used in a mobile communication network including a 3G, 4G, Wibro, LTE or a combination thereof and a new hole- The RTP stream including at least one of the RTP streams; And
When the multimedia device performs handover, message reception, and handover device selection and confirmation completion, the N-screen server relays the RTP stream including at least one of video, audio, or a combination thereof with the handover server, And transmitting RTP streaming comprising at least one of video, audio, or a combination thereof handed over to a heterogeneous device that is one of the screen support devices. ≪ RTI ID = 0.0 & Device handover method. 청구항 12에 있어서,
N-스크린 서버가 멀티미디어 디바이스에게 새로운 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 세션을 요청하고, 멀티미디어 디바이스가 N-스크린 서버에게 새로운 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 세션을 보내며, 핸드오버 서버로부터 N-스크린 서버로 수신되는 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 스트리밍을 멀티미디어 디바이스에게 전송하는 단계;를 더 포함하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method of claim 12,
Screen server requests an RTP session that includes at least one of the new video, audio, or a combination thereof, and the multimedia device sends the N-screen server a new video, audio, or combination thereof Transmitting an RTP session to the multimedia device, the RTP stream including at least one of video, audio, or a combination thereof, received from the handover server to the N-screen server; A heterogeneous handover method of a multimedia stream for a service. 청구항 13 또는 청구항 14에 있어서,
N-스크린 서버에서 핸드오버 서버, 멀티미디어 디바이스 또는 이들의 조합으로 멀티미디어 디바이스의 비디오, 오디오 또는 이들의 조합 중 적어도 하나를 포함하는 RTP 세션을 종료(destroy)할 것을 요청하는 것을 특징으로 하는 N-스크린 서비스를 위한 멀티미디어 스트림의 이기종 디바이스 간 핸드오버 방법.The method according to claim 13 or 14,
Screen server to request the N-screen server to destroy an RTP session that includes at least one of video, audio, or a combination thereof of a multimedia device with a handover server, a multimedia device, or a combination thereof. A heterogeneous handover method of a multimedia stream for a service.
KR1020130045282A 2013-04-24 2013-04-24 System and method for handing over multimedia streams among heterogenous devices for n-screen service KR101476281B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130045282A KR101476281B1 (en) 2013-04-24 2013-04-24 System and method for handing over multimedia streams among heterogenous devices for n-screen service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130045282A KR101476281B1 (en) 2013-04-24 2013-04-24 System and method for handing over multimedia streams among heterogenous devices for n-screen service

Publications (2)

Publication Number Publication Date
KR20140126955A KR20140126955A (en) 2014-11-03
KR101476281B1 true KR101476281B1 (en) 2014-12-24

Family

ID=52451448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130045282A KR101476281B1 (en) 2013-04-24 2013-04-24 System and method for handing over multimedia streams among heterogenous devices for n-screen service

Country Status (1)

Country Link
KR (1) KR101476281B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101872326B1 (en) * 2016-06-20 2018-06-28 임송국 E-Commerce System Using Personal Internet Broadcasting Based on N-Screen Multimedia Book

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141333A (en) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd Access relay unit and network access method
KR20090127800A (en) * 2008-06-09 2009-12-14 충북대학교 산학협력단 Multimedia streaming system and service method thereof
KR20100106038A (en) * 2009-03-23 2010-10-01 에스케이텔레콤 주식회사 System, user device, server and method for providing seamless service of moving picture contents
KR20110026650A (en) * 2009-09-08 2011-03-16 엘지전자 주식회사 Apparatus and method for providing contents receiving device change service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141333A (en) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd Access relay unit and network access method
KR20090127800A (en) * 2008-06-09 2009-12-14 충북대학교 산학협력단 Multimedia streaming system and service method thereof
KR20100106038A (en) * 2009-03-23 2010-10-01 에스케이텔레콤 주식회사 System, user device, server and method for providing seamless service of moving picture contents
KR20110026650A (en) * 2009-09-08 2011-03-16 엘지전자 주식회사 Apparatus and method for providing contents receiving device change service

Also Published As

Publication number Publication date
KR20140126955A (en) 2014-11-03

Similar Documents

Publication Publication Date Title
US8797999B2 (en) Dynamically adjustable communications services and communications links
US10341610B2 (en) Method and apparatus using an integrated femtocell and residential gateway device
JP4370356B2 (en) Communication network control system, communication terminal, and communication network control method
WO2019242728A1 (en) Processing method, terminal and network element
US9900356B2 (en) Method and apparatus for transferring active communication session streams between devices
JP5220010B2 (en) Switching multimedia sessions from mobile terminals
US20140333713A1 (en) Video Calling and Conferencing Addressing
US8838694B2 (en) System and method for shared multimedia experiences across multiple subscriptions
EP2933982B1 (en) Media stream transfer method and user equipment
JP2006217592A (en) Video call method for providing image via third display device
KR20140011969A (en) Wireless communication system and method for offline participation in a display session
JP2007104163A (en) Communication terminal
CN109983777B (en) Method, client device and controller system for enabling media orchestration
CN102611871A (en) Method, system and mobile terminal for video communication and digital television receiving terminal
KR100936672B1 (en) Method and system for providing terminal-shifted service
US20190089754A1 (en) System and method for providing audio conference between heterogenious networks
WO2016169228A1 (en) Fusion equipment supporting multimedia telephony, communication method and user equipment
CN105122761A (en) Local control of additional media session for a packet based call
KR101844454B1 (en) Wearable device and method for servicing user convenience using the same
KR101476281B1 (en) System and method for handing over multimedia streams among heterogenous devices for n-screen service
JP2009147428A (en) Method of switching connection to wide area/narrow area network, mobile terminal, and program
US10122896B2 (en) System and method of managing transmission of data between two devices
EP2371103B1 (en) A method of and mobile user equipment for handling media types of a communication session in an ims communication system and an ims node
US8165566B2 (en) Functionality distribution for a mobile endpoint
KR20060103677A (en) Method for providing the additional multimedia contents during communication in sip

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 4