KR20160080929A - Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud - Google Patents

Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud Download PDF

Info

Publication number
KR20160080929A
KR20160080929A KR1020140193283A KR20140193283A KR20160080929A KR 20160080929 A KR20160080929 A KR 20160080929A KR 1020140193283 A KR1020140193283 A KR 1020140193283A KR 20140193283 A KR20140193283 A KR 20140193283A KR 20160080929 A KR20160080929 A KR 20160080929A
Authority
KR
South Korea
Prior art keywords
multimedia
quality
source
high definition
network
Prior art date
Application number
KR1020140193283A
Other languages
Korean (ko)
Inventor
문종배
김대원
김선욱
김성운
오병택
오수철
조정현
김학영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140193283A priority Critical patent/KR20160080929A/en
Publication of KR20160080929A publication Critical patent/KR20160080929A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Disclosed are an apparatus and a method of an adaptive ultra high definition multimedia streaming service based on cloud. The apparatus of an ultra high definition multimedia streaming service according to the present invention comprises: a request receiving unit which receives a service request from a user terminal; a service quality control unit which monitors the status of a network corresponding to the terminal and controls the quality of a multimedia source to be provided according to the user request; a virtual machine which receives a multimedia source in which the quality is controlled and executes the received multimedia source; an encoding unit which encodes an execution screen image of the multimedia source; and a service providing unit which transmits the encoded execution screen image to the terminal and provides a high definition multimedia streaming service. The present invention is designed to provide a high quality multimedia screaming service even in a low specification by using an ultra high definition multimedia streaming service apparatus based on cloud.

Description

클라우드 기반의 적응형 초고화질 멀티미디어 스트리밍 서비스 장치 및 방법 {APPARATUS AND METHOD OF ADAPTIVE ULTRA HIGH DEFINITION MULTIMEDIA STREAMING SERVICE BASED ON CLOUD}[0001] APPARATUS AND METHOD OF ADAPTIVE ULTRA HIGH DEFINITION MULTIMEDIA STREAMING SERVICE BASED ON CLOUD [0002]

본 발명은 클라우드 환경의 가상 머신을 이용하여 저사양의 모바일 사용자 단말 또는 품질이 좋지 않은 네트워크 환경에 속해있는 단말에게 초고화질(Ultra High Definition; UHD) 멀티미디어 영상을 제공할 수 있는 클라우드 기반의 적응형 초고화질 멀티미디어 스트리밍 서비스 기술에 관한 것이다.The present invention relates to a cloud-based adaptive wireless communication system capable of providing an ultra high definition (UHD) multimedia image to a low-end mobile user terminal or a terminal belonging to a poor quality network environment by using a virtual machine of a cloud environment. High-quality multimedia streaming service technology.

최근에 사실감과 현장감을 제공하기 위하여, Full-HD가 제공하는 화질보다 4배에서 16배 이상 선명한 초고화질 멀티미디어 영상을 볼 수 있는 UHD(Ultra High Definition) TV가 인기를 끌고 있다.In recent years, UHD (Ultra High Definition) TVs, which can display ultra-high-quality multimedia images that are 4 to 16 times brighter than the image quality provided by Full-HD, are gaining popularity in order to provide realism and realism.

UHD는 Full-HD의 해상도인 1902 X 1080보다 4배 높은 해상도를 갖는 4K(3840 X 2160 또는 4096 X 2160)와 16배 높은 해상도를 갖는 8K(7680 X 4320)으로 분류될 수 있다. Full-HD 보다 4배에서 16배 이상의 높은 해상도를 갖는 만큼 데이터양도 4배에서 16배 이상 높은 초고해상도(UHD) 멀티미디어 영상을 압축하지 않고 네트워크를 통해 전송하기 위해서는 큰 대역폭이 필요하게 된다. 8K-UHD 비디오를 기존 H.264|AVC를 이용하여 압축하여도 약 123 ~ 686Mbps로 여전히 대용량의 데이터이므로 UHD 서비스를 실현하기 위해서는 보다 높은 압축률의 부호화 기술이 요구된다.UHDs can be classified as 4K (3840 X 2160 or 4096 X 2160) with a resolution four times higher than the full-HD resolution 1902 X 1080 and 8K (7680 X 4320) with a 16 times higher resolution. Higher resolution (UHD) than 4x to 16x higher than Full-HD, which requires more bandwidth than 4x to 16x data transmission over the network without compression. Even if 8K-UHD video is compressed using existing H.264 | AVC, since it is still large capacity data at about 123 ~ 686Mbps, encoding technology with higher compression ratio is required to realize UHD service.

이에 따라 MPEG에서는 차세대 비디오 부호화 기술인 HEVC(High Efficiency Video Coding)/H.265 기술을 표준으로 발표하였다. 하지만 HEVC/H.265 부호화 방법은 압축률을 높여 초고해상도 멀티미디어 영상을 효율적으로 압축할 수 는 있지만, 역부호화 하는데 많은 리소스가 소모되는 단점이 있다. 따라서, 모바일 단말과 같은 저사양 단말에서 역부호화를 수행하기에는 단말의 특성상 어려운 점이 있다. 또한, 모바일 단말은 제공되는 전원에 비해 에너지 소모가 많으며 네트워크 대역폭도 크지 않다.As a result, MPEG has announced the next generation video coding technology, HEVC (High Efficiency Video Coding) / H.265 technology as a standard. However, the HEVC / H.265 encoding method can compress the ultra-high resolution multimedia image efficiently by increasing the compression rate, but there is a disadvantage that much resources are consumed for inverse encoding. Therefore, it is difficult to perform the reverse coding in a low-end terminal such as a mobile terminal due to the characteristics of the terminal. In addition, the mobile terminal consumes more energy than the provided power source and does not have a large network bandwidth.

따라서, 저사양의 단말이나 네트워크 대역폭이 크지 않은 환경의 단말을 위하여 클라우드의 가상화 서버에서 초고화질 멀티미디어 영상을 HEVC/H.265 코덱으로 렌더링하여 나온 화면만을 단말로 전송하는 가상 데스크탑 기술을 절실하게 대두된다. 이와 같은 가상 데스크탑 시스템은 단일 물리적 서버상에 가상화 기술을 사용하여 다수의 가상 머신을 실행하고, 이를 네트워크로 연결된 클라이언트에서 사용하는 기술이다. 이를 위해서 하이퍼바이저는 서버의 물리적 자원을 가상화 기술을 사용하여 논리적 자원으로 생성하여 가상 데스크탑에 제공한다. 대표적인 물리적 자원은 중앙처리장치(CPU), 메모리 및 디스크가 있다. 가상 데스크탑은 논리적 자원상에서 운용되며, 가상 데스크탑 전송 모듈을 통하여 클라이언트로 전달된다.Therefore, a virtual desktop technology for rendering only ultra-high-definition multimedia image to HEVC / H.265 codec in the cloud virtualization server for terminals of low-end or network bandwidth is required . Such a virtual desktop system is a technology in which a plurality of virtual machines are executed on a single physical server using virtualization technology and used by clients connected to the network. To do this, the hypervisor creates the server's physical resources as logical resources using virtualization technology and provides them to the virtual desktop. Typical physical resources include central processing unit (CPU), memory, and disk. The virtual desktop runs on logical resources and is delivered to the client through the virtual desktop transport module.

한국 등록 특허 제10-1173335호, 2012년 8월 6일 등록(명칭: 영상분할기반 초고해상도 비디오 부호화 및 복호화 장치, 및 그 제어 방법)Korean Registered Patent No. 10-1173335, August 6, 2012 (Name: Image division-based ultra-high resolution video encoding and decoding apparatus, and control method thereof)

본 발명의 목적은 클라우드 기반의 초고화질 멀티미디어 스트리밍 서비스 장치를 이용하여 저사양의 단말에서도 고품질 멀티미디어 스트리밍 서비스를 제공하는 것이다.It is an object of the present invention to provide a high-quality multimedia streaming service even in low-end terminals using a cloud-based ultra high-definition multimedia streaming service device.

또한, 본 발명의 목적은 클라이언트 단말과의 네트워크 환경을 고려하여 다양한 비트율을 가진 영상으로 서비스 함으로써 사용자에게 높은 QoE(Quality of Experience)를 제공하는 것이다.It is another object of the present invention to provide a high quality of experience (QoE) to a user by providing images with various bit rates in consideration of a network environment with a client terminal.

상기한 목적을 달성하기 위한 본 발명에 따른 초고화질 멀티미디어 스트리밍 서비스 장치는, 사용자의 단말로부터 서비스 요청을 수신하는 요청 수신부; 상기 단말에 상응하는 네트워크의 상태를 모니터링 하여 상기 사용자 요청에 따라 제공될 멀티미디어 소스의 품질을 조절하는 서비스 품질 조절부; 상기 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 상기 멀티미디어 소스를 실행하는 가상 머신; 상기 멀티미디어 소스의 실행 화면 이미지를 인코딩하는 인코딩부; 및 인코딩된 상기 실행 화면 이미지를 상기 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공하는 서비스 제공부를 포함한다.According to an aspect of the present invention, there is provided an ultra high definition multimedia streaming service apparatus comprising: a request receiving unit for receiving a service request from a user terminal; A service quality controller for monitoring a state of a network corresponding to the terminal and adjusting a quality of a multimedia source to be provided according to the user request; A virtual machine receiving the quality-controlled multimedia source and executing the received multimedia source; An encoding unit encoding an execution screen image of the multimedia source; And a service providing unit for transmitting the encoded execution screen image to the terminal and providing an ultra high definition multimedia streaming service.

이 때, 서비스 품질 조절부는 상기 서비스 요청에 상응하는 멀티미디어 소스를 상기 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 상기 단말에 상응하는 네트워크의 상태에 따라 상기 사용자 요청에 따른 멀티미디어 소스의 비트율을 이용하여 상기 품질을 조절할 수 있다.In this case, the service quality controller may control the bit rate of the multimedia source according to the user request according to the state of the network corresponding to the terminal, so that the multimedia source corresponding to the service request can be seamlessly transmitted through the network corresponding to the terminal So that the quality can be controlled.

이 때, 서비스 품질 조절부는 상기 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단할 수 있다.In this case, the quality of service controlling unit may include an ultra high definition (UHD) multimedia providing server based on Dynamic Adaptive Streaming over HTTP (DASH), which can control the streaming image quality according to the network, , It can be determined whether to dynamically adjust the bandwidth of the network corresponding to the ultra high definition multimedia providing server.

이 때, 서비스 품질 조절부는 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상기 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 상기 대역폭을 조절하여 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높일 수 있다.In this case, if the network quality corresponding to the ultra high definition multimedia providing server is lower than the network quality corresponding to the terminal, the service quality controller adjusts the bandwidth based on SR-IOV (Single Root Input / Output Virtualization) The network quality corresponding to the ultra high definition multimedia providing server can be improved.

이 때, 가상 머신은 상기 초고화질 멀티미디어 제공 서버로 상기 서비스 요청 및 상기 품질 중 적어도 하나에 상응하는 상기 멀티미디어 소스를 요청할 수 있다.At this time, the virtual machine may request the multimedia source corresponding to at least one of the service request and the quality to the ultra high definition multimedia providing server.

이 때, 초고화질 멀티미디어 스트리밍 서비스 장치는 상기 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 상기 초고화질 카메라로부터 수신되는 상기 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩하는 HEVC 멀티 인코더; 및 상기 복수 개의 멀티미디어 파일들을 저장하는 멀티미디어 데이터베이스를 더 포함할 수 있다.In this case, when the super high definition source providing apparatus is an ultra high definition camera, the super high definition multimedia streaming service apparatus applies a plurality of bit rates to the original image of the multimedia source received from the ultra high definition camera, An HEVC multi-encoder for encoding; And a multimedia database for storing the plurality of multimedia files.

이 때, 서비스 품질 조절부는 상기 복수 개의 멀티미디어 파일들 중 상기 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 상기 가상 머신으로 제공할 수 있다.In this case, the service quality controller may provide a multimedia file corresponding to the network quality corresponding to the terminal among the plurality of multimedia files to the virtual machine.

이 때, 인코딩부는 상기 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 상기 실행 화면 이미지를 인코딩할 수 있다.In this case, the encoding unit may encode the execution screen image using a codec that can be operated by the user terminal.

이 때, 가상 머신은 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 상기 품질이 조절된 멀티미디어 소스를 실행할 수 있다.At this time, the virtual machine can execute the quality-controlled multimedia source using a dynamic adaptive HEVC player (DAHP).

또한, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은, 사용자의 단말로부터 서비스 요청을 수신하는 단계; 상기 단말에 상응하는 네트워크의 상태를 모니터링 하여 상기 사용자의 요청에 따라 제공될 멀티미디어 소스의 품질을 조절하는 단계; 상기 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 상기 멀티미디어 소스를 실행하는 단계; 및 상기 멀티미디어 소스의 실행 화면 이미지를 인코딩하고, 인코딩된 상기 실행 화면 이미지를 상기 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공하는 단계를 포함한다.According to another aspect of the present invention, there is provided an ultra high definition multimedia streaming service method comprising: receiving a service request from a user terminal; Monitoring the state of the network corresponding to the terminal and adjusting the quality of the multimedia source to be provided according to the request of the user; Receiving the quality-controlled multimedia source and executing the received multimedia source; And encoding an execution screen image of the multimedia source and transmitting the encoded execution screen image to the terminal to provide an ultra high definition multimedia streaming service.

이 때, 품질을 조절하는 단계는 상기 서비스 요청에 상응하는 멀티미디어 소스를 상기 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 상기 단말에 상응하는 네트워크의 상태에 따라 상기 사용자 요청에 따른 멀티미디어 소스의 비트율을 이용하여 상기 품질을 조절할 수 있다.In this case, in the step of controlling the quality, the multimedia source corresponding to the user request may be transmitted in a seamless manner through the network corresponding to the terminal, The bit rate can be used to adjust the quality.

이 때, 서비스 품질을 조절하는 단계는 상기 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단할 수 있다.In this case, the step of adjusting the quality of service may include a step of providing an ultra high definition source providing device with the multimedia source to a UHD (Ultra High Definition) based on Dynamic Adaptive Streaming over HTTP (DASH) In the case of the multimedia providing server, it may be determined whether to dynamically adjust the bandwidth of the network corresponding to the ultra high definition multimedia providing server.

이 때, 서비스 품질을 조절하는 단계는 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상기 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 상기 대역폭을 조절하여 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높일 수 있다.In this case, if the quality of the network corresponding to the ultra-high-definition multimedia providing server is lower than the network quality corresponding to the terminal, the step of adjusting the quality of service may further include the step of, based on the Single Root Input / Output Virtualization (SR-IOV) So that the quality of the network corresponding to the ultra high definition multimedia providing server can be improved.

이 때, 가상 머신은 상기 초고화질 멀티미디어 제공 서버로 상기 서비스 요청 및 상기 품질 중 적어도 하나에 상응하는 상기 멀티미디어 소스를 요청할 수 있다.At this time, the virtual machine may request the multimedia source corresponding to at least one of the service request and the quality to the ultra high definition multimedia providing server.

이 때, 초고화질 멀티미디어 스트리밍 서비스 방법은 상기 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 상기 초고화질 카메라로부터 수신되는 상기 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩하는 단계; 및 상기 복수 개의 멀티미디어 파일들을 멀티미디어 데이터베이스에 저장하는 단계를 더 포함할 수 있다.In this case, when the super high definition source providing apparatus is an ultra high definition camera, the ultra high definition multimedia streaming service method comprises: applying a plurality of bit rates to the original image of the multimedia source received from the ultra high definition camera, Encoding; And storing the plurality of multimedia files in a multimedia database.

이 때, 품질을 조절하는 단계는 상기 복수 개의 멀티미디어 파일들 중 상기 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 상기 가상 머신으로 제공할 수 있다.In this case, the step of controlling the quality may provide a multimedia file corresponding to the network quality corresponding to the terminal among the plurality of multimedia files to the virtual machine.

이 때, 서비스를 제공하는 단계는 상기 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 상기 실행 화면 이미지를 인코딩할 수 있다.In this case, the step of providing the service may encode the execution screen image using a codec that can be operated by the user terminal.

이 때, 멀티미디어 소스를 실행하는 단계는 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 상기 품질이 조절된 멀티미디어 소스를 실행할 수 있다.At this time, the step of executing the multimedia source may execute the quality-controlled multimedia source using a dynamic adaptive HEVC player (DAHP).

본 발명에 따르면, 클라우드 기반의 초고화질 멀티미디어 스트리밍 서비스 장치를 이용하여 저사양의 단말에서도 고품질 멀티미디어 스트리밍 서비스를 제공할 수 있다.According to the present invention, it is possible to provide a high-quality multimedia streaming service even in low-end terminals using a cloud-based ultra high-definition multimedia streaming service device.

또한, 본 발명은 클라이언트 단말과의 네트워크 환경을 고려하여 다양한 비트율을 가진 영상으로 서비스 함으로써 사용자에게 높은 QoE(Quality of Experience)를 제공할 수 있다.In addition, the present invention can provide a high quality of experience (QoE) to a user by providing images with various bit rates in consideration of a network environment with a client terminal.

도 1은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 초고화질 멀티미디어 스트리밍 서비스 장치의 일예를 나타낸 블록도이다.
도 3은 다양한 비디오 포맷에 따른 데이터양을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템의 대표적인 구조를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 DASH 기반의 멀티미디어 소스 제공자에 의한 초고화질 멀티미디어 스트리밍 서비스 시스템의 구조를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 UHD 카메라 기반의 멀티미디어 소스 제공에 의한 초고화질 멀티미디어 스트리밍 서비스 시스템의 구조를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 8은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.
도 9는 본 발명의 일실시예에 따른 네트워크 품질 조절 과정을 나타낸 동작 흐름도이다.1 is a block diagram illustrating an ultra high definition multimedia streaming service system according to an embodiment of the present invention.
2 is a block diagram illustrating an example of the ultra high definition multimedia streaming service apparatus shown in FIG.
3 is a diagram illustrating the amount of data according to various video formats.
4 is a diagram illustrating a typical structure of an ultra high definition multimedia streaming service system according to an embodiment of the present invention.
5 is a diagram illustrating a structure of a super high definition multimedia streaming service system by a DASH-based multimedia source provider according to an embodiment of the present invention.
6 is a diagram illustrating a structure of an ultra high definition multimedia streaming service system by providing a multimedia source based on a UHD camera according to an embodiment of the present invention.
7 is a flowchart illustrating an ultra high definition multimedia streaming service method according to an exemplary embodiment of the present invention.
FIG. 8 is a detailed flowchart illustrating an ultra high definition multimedia streaming service method according to an exemplary embodiment of the present invention.
9 is a flowchart illustrating a network quality adjustment process according to an exemplary embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템을 나타낸 블록도이다.1 is a block diagram illustrating an ultra high definition multimedia streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템은 초고화질 멀티미디어 스트리밍 서비스 장치(110), 단말 장치들(120-1~ 120-N) 및 초고화질 소스 제공 장치들(130-1~ 130-N)을 포함할 수 있다.1, an ultra high definition multimedia streaming service system according to an embodiment of the present invention includes an ultra high definition multimedia streaming service device 110, terminal devices 120-1 to 120-N, (130-1 to 130-N).

초고화질 멀티미디어 스트리밍 서비스 장치(110)는 단말 장치들(120-1~ 120-N)로부터 서비스 요청을 수신할 수 있다. 이 때, 사용자가 단말 장치들(120-1~ 120-N)을 통해 원하는 서비스에 대한 입력을 수행하면, 단말 장치들(120-1~ 120-N)에 상응하는 네트워크를 통해 사용자 입력 정보를 초고화질 멀티미디어 스트리밍 서비스 장치(110)로 전송할 수 있다.The ultra-high-definition multimedia streaming service apparatus 110 may receive a service request from the terminal apparatuses 120-1 to 120-N. At this time, if the user performs an input on the desired service through the terminal devices 120-1 to 120-N, the user input information is transmitted through the network corresponding to the terminal devices 120-1 to 120-N To the ultra high definition multimedia streaming service apparatus 110.

또한, 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 단말 장치들(120-1~ 120-N)에 상응하는 네트워크의 상태를 모니터링 하여 사용자 요청에 따라 제공될 멀티미디어 소스의 품질을 조절할 수 있다. 이 때, 서비스 요청에 상응하는 멀티미디어 소스를 단말 장치들(120-1~ 120-N)에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 단말 장치들(120-1~ 120-N)에 상응하는 네트워크의 상태에 따라 사용자의 요청에 따른 멀티미디어 소스의 비트율을 이용하여 품질을 조절할 수 있다. 이 때, 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치들(130-1~ 130-N)이 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단할 수 있다. 이 때, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 단말 장치들(120-1~ 120-N)에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 대역폭을 조절하여 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높일 수 있다. 이 때, 멀티미디어 데이터베이스에 저장된 복수 개의 멀티미디어 파일들 중 단말 장치들(120-1~ 120-N)에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 가상 머신으로 제공할 수 있다.In addition, the ultra-high-definition multimedia streaming service apparatus 110 may monitor the status of the network corresponding to the terminal devices 120-1 to 120-N and adjust the quality of a multimedia source to be provided according to a user's request. At this time, in order to seamlessly transmit the multimedia source corresponding to the service request through the network corresponding to the terminal devices 120-1 to 120-N, the terminal devices 120-1 to 120- The quality can be controlled by using the bit rate of the multimedia source according to the user's request according to the state of the network. In this case, the ultra high definition source providing devices 130-1 to 130-N providing a multimedia source may be a dynamic high definition (DASH) based on a DASH (Stream Adaptive Streaming over HTTP) UHD) multimedia providing server, it is possible to determine whether to dynamically adjust the bandwidth of the network corresponding to the ultra-high quality multimedia providing server. In this case, when the network quality corresponding to the ultra-high quality multimedia providing server is lower than the network quality corresponding to the terminal devices 120-1 to 120-N, based on the Single Root Input / Output Virtualization (SR-IOV) By adjusting the bandwidth, the quality of the network corresponding to the server providing the ultra-high quality multimedia can be improved. At this time, a multimedia file corresponding to the network quality corresponding to the terminal devices 120-1 to 120-N among a plurality of multimedia files stored in the multimedia database can be provided to the virtual machine.

또한, 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 멀티미디어 소스를 실행할 수 있다. 이 때, 멀티미디어 소스를 실행하는 가상 머신은 초고화질 멀티미디어 제공 서버로 서비스 요청 및 품질 중 적어도 하나에 상응하는 멀티미디어 소스를 요청할 수 있다. 이 때, 가상 머신은 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 품질이 조절된 멀티미디어 소스를 실행할 수 있다.In addition, the ultra-high-definition multimedia streaming service device 110 may receive a quality-controlled multimedia source and execute the received multimedia source. At this time, the virtual machine executing the multimedia source can request the multimedia source corresponding to at least one of the service request and the quality to the ultra high definition multimedia providing server. At this time, the virtual machine can execute a quality-controlled multimedia source using a dynamic adaptive HEVC player (DAHP).

또한, 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 멀티미디어 소스의 실행 화면 이미지를 인코딩할 수 있다. 이 때, 단말 장치들(120-1~ 120-N)에서 구동할 수 있는 코덱을 이용하여 실행 화면 이미지를 인코딩할 수 있다.In addition, the ultra-high-definition multimedia streaming service apparatus 110 may encode an execution screen image of a multimedia source. At this time, an execution screen image can be encoded using a codec that can be driven by the terminal devices 120-1 to 120-N.

또한, 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 인코딩된 실행 화면 이미지를 단말 장치들(120-1~ 120-N)로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공할 수 있다. 이 때, 초고화질 멀티미디어 스트리밍 서비스 장치(110)의 전송수단이 단말 장치들(120-1~ 120-N)에 상응하는 네트워크를 통해서 인코딩된 실행 화면 이미지를 전송할 수 있다. In addition, the ultra-high-definition multimedia streaming service apparatus 110 may provide an ultra-high-quality multimedia streaming service by transmitting an encoded execution image to the terminal devices 120-1 to 120-N. At this time, the transmission means of the ultra high definition multimedia streaming service apparatus 110 can transmit the encoded execution screen image through the network corresponding to the terminal devices 120-1 to 120-N.

또한, 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 초고화질 소스 제공 장치들(130-1~ 130-N)이 초고화질 카메라일 경우에, 초고화질 카메라로부터 수신되는 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩할 수 있고, 복수 개의 멀티미디어 파일들을 멀티미디어 데이터베이스에 저장할 수 있다.In addition, the ultra-high-definition multimedia streaming service apparatus 110 may further include a plurality of bit-rate controllers 130-1 to 130-N for superimposing the source image of the multimedia source received from the ultra-high- May be applied to a plurality of multimedia files, and a plurality of multimedia files may be stored in a multimedia database.

단말 장치들(120-1~ 120-N)은 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(120-1~ 120-N)은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.The terminal devices 120-1 to 120-N are connected to a communication network and are capable of executing applications on the basis of a cloud computing system. The terminal devices 120-1 to 120-N are not limited to mobile communication terminals but may be any information communication devices, multimedia terminals, Terminal and an IP (Internet Protocol) terminal. The terminal devices 120-1 to 120-N may be a mobile phone, a portable multimedia player (PMP), a mobile internet device (MID), a smart phone, a tablet PC, , A netbook, a personal digital assistant (PDA), a smart TV, an information communication device, and the like.

초고화질 소스 제공 장치들(130-1~ 130-N)은 사용자의 요청에 따른 멀티미디어 소스를 제공하거나, 사용자 요청에 따른 멀티미디어 소스를 포함하고 있을 수 있다. 이 때, 초고화질(UHD)은 Full-HD의 해상도인 1902 X 1080보다 4배 높은 해상도를 갖는 4K(3840 X 2160 또는 4096 X 2160)와 16배 높은 해상도를 갖는 8K(7680 X 4320)으로 분류될 수 있다. Full-HD 보다 4배에서 16배 이상의 높은 해상도를 갖는 만큼 데이터양도 4배에서 16배 이상 높은 초고해상도(UHD) 멀티미디어 영상을 압축하지 않고 네트워크를 통해 전송하기 위해서는 큰 대역폭이 필요하게 된다.The ultra-high quality source providing devices 130-1 to 130-N may provide a multimedia source according to a request of a user, or may include a multimedia source according to a user's request. UHD is classified as 4K (3840 X 2160 or 4096 X 2160) with a resolution four times higher than that of Full HD (1902 X 1080) and 8K (7680 X 4320) with 16 times higher resolution . Higher resolution (UHD) than 4x to 16x higher than Full-HD, which requires more bandwidth than 4x to 16x data transmission over the network without compression.

또한, 단말 장치들(120-1~ 120-N)에 상응하는 네트워크 및 초고화질 소스 제공 장치들(130-1~ 130-N)에 상응하는 네트워크는 각각의 장치들 사이에서 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 단말 장치들(120-1~ 120-N) 및 초고화질 멀티미디어 스트리밍 서비스 장치(110)와 초고화질 소스 제공 장치들(130-1~ 130-N) 사이에 사용되는 네트워크는 단말 장치들(120-1~ 120-N) 상호간 및 초고화질 소스 제공 장치들(130-1~ 130-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.In addition, the network corresponding to the terminal devices 120-1 to 120-N and the network corresponding to the ultra-high definition source providing devices 130-1 to 130-N is a channel for transmitting data between the respective devices And is a concept that encompasses both existing networks and future developable networks. For example, the network may be a wired or wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile objects and mobile objects outside the mobile object, A satellite communication network, a wired / wireless communication network, or a combination of two or more. Meanwhile, the network transmission standard is not limited to the existing transmission standard but may include all transmission standard to be developed in the future. 1, the network used between the terminal devices 120-1 to 120-N and the ultra high definition multimedia streaming service device 110 and the ultra high definition source providing devices 130-1 to 130- May be the same or different from the network used between the devices 120-1 to 120-N and between the super-high definition source providing devices 130-1 to 130-N.

도 2는 도 1에 도시된 초고화질 멀티미디어 스트리밍 서비스 장치의 일예를 나타낸 블록도이다.2 is a block diagram illustrating an example of the ultra high definition multimedia streaming service apparatus shown in FIG.

도 2를 참조하면, 도 1에 도시된 초고화질 멀티미디어 스트리밍 서비스 장치(110)는 요청 수신부(210), 서비스 품질 조절부(220), 가상 머신(230), 인코딩부(240), 서비스 제공부(250), HEVC 멀티 인코더(260) 및 멀티미디어 데이터베이스(270)를 포함할 수 있다.2, the ultra high definition multimedia streaming service apparatus 110 shown in FIG. 1 includes a request receiving unit 210, a service quality controlling unit 220, a virtual machine 230, an encoding unit 240, An HEVC multi-encoder 260, and a multimedia database 270. The HEVC multi-

요청 수신부(210)는 사용자의 단말로부터 서비스 요청을 수신할 수 있다. 예를 들어, 사용자가 자신의 스마트폰 단말을 이용하여 초고화질 컨텐츠를 선택함으로써 컨텐츠의 실행에 상응하는 서비스를 요청하면, 초고화질 멀티미디어 스트리밍 서비스 장치(110)에서는 스마트폰 단말에 상응하는 네트워크를 통해 사용자로부터 입력된 서비스 요청을 수신할 수 있다.The request receiving unit 210 may receive a service request from a user terminal. For example, when a user requests a service corresponding to the execution of the content by selecting ultra-high-quality content using the smart phone terminal of the user, the ultra-high-definition multimedia streaming service apparatus 110 transmits, via the network corresponding to the smart- And can receive the service request inputted from the user.

서비스 품질 조절부(220)는 단말에 상응하는 네트워크의 상태를 모니터링 하여 사용자 요청에 따라 제공될 멀티미디어 소스의 품질을 조절할 수 있다.The service quality control unit 220 may monitor the status of the network corresponding to the terminal and adjust the quality of a multimedia source to be provided according to a user's request.

초고화질 멀티미디어 스트리밍 서비스 장치(110)에게 서비스를 요청하는 단말들은 그 수가 많고 동시다발적으로 서비스를 요청하는 경우도 자주 발생할 수 있다. 따라서, 다수의 단말들로부터 서비스 요청이 수신되고 해당 서비스가 제공되는데 사용되는 네트워크는 부하가 클 가능성이 높다. 따라서, 이와 같은 네트워크의 상태에 적합하게 사용자에게 제공될 멀티미디어 소스의 품질을 조절함으로써 보다 원활하게 서비스를 제공할 수 있다.The number of terminals requesting service to the ultra high definition multimedia streaming service apparatus 110 may frequently occur even when the number of terminals requesting the service is simultaneously large. Therefore, a network used for receiving a service request from a plurality of terminals and providing the corresponding service is highly likely to be overloaded. Therefore, it is possible to smoothly provide the service by adjusting the quality of the multimedia source to be provided to the user in accordance with the state of the network.

이 때, 서비스 요청에 상응하는 멀티미디어 소스를 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 단말에 상응하는 네트워크의 상태에 따라 사용자의 요청에 따른 멀티미디어 소스의 비트율을 이용하여 품질을 조절할 수 있다. 예를 들어, 단말에 상응하는 네트워크의 상태가 원활한 경우에는 비트율이 높은 멀티미디어 소스를 제공할 수 있도록 품질을 조절하고, 단말에 상응하는 네트워크의 상태가 원활하지 않은 경우에는 비트율이 낮은 멀티미디어 소스를 제공할 수 있도록 품질을 조절할 수 있다.In this case, the quality can be adjusted using the bit rate of the multimedia source according to the request of the user according to the state of the network corresponding to the terminal, so that the multimedia source corresponding to the service request can be seamlessly transmitted through the network corresponding to the terminal . For example, when the state of the network corresponding to the terminal is smooth, the quality is controlled so as to provide a multimedia source having a high bit rate. When the state of the network corresponding to the terminal is not smooth, a multimedia source having a low bit rate is provided You can adjust the quality so that you can do it.

이 때, 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단할 수 있다. In this case, when the ultra-high-quality source providing device for providing a multimedia source is an Ultra High Definition (UHD) multimedia providing server based on Dynamic Adaptive Streaming over HTTP (DASH) capable of adjusting the streaming image quality according to the network, It is possible to determine whether to dynamically adjust the bandwidth of the network corresponding to the multimedia providing server.

이 때, 네트워크 대역폭을 동적으로 조절할지 여부를 판단하는 기준은 단말에 상응하는 네트워크 품질과 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질의 비교 결과에 상응할 수 있다. 예를 들어, 단말에 상응하는 네트워크의 품질은 높지만 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상대적으로 낮다고 가정한다면, 일단 멀티미디어 소스의 품질 조절 시 단말에 상응하는 네트워크 품질에 따라 비트율이 높은 멀티미디어 소스가 초고화질 멀티미디어 스트리밍 서비스 장치로 수신되어야 한다. 그러나, 비트율이 높은 멀티미디어 소스를 초고화질 멀티미디어 스트리밍 서비스 장치로 전송하기 위한 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 낮다면, 비트율이 높은 멀티미디어 소스를 전송하는 과정에서 높은 부하가 발생하거나 또는 전송과정에서 지연이 발생할 수도 있다. 따라서, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭은 단말에 상응하는 네트워크 품질에 따라 동적으로 조절하여 멀티미디어 소스의 전송에 지연이 발생하지 않도록 관리할 수 있다.In this case, a criterion for determining whether to dynamically adjust the network bandwidth may correspond to a comparison result between the network quality corresponding to the terminal and the network quality corresponding to the ultra high definition multimedia providing server. For example, assuming that the quality of the network corresponding to the terminal is high but the network quality corresponding to the ultra high definition multimedia providing server is relatively low, once the quality of the multimedia source is controlled, Must be received by the ultra high definition multimedia streaming service device. However, if a network quality corresponding to a server providing an ultra-high-quality multimedia for transmitting a multimedia source having a high bit rate to an ultra-high-quality multimedia streaming service apparatus is low, a high load occurs in the process of transmitting a multimedia source having a high bit rate, A delay may occur. Therefore, the bandwidth of the network corresponding to the ultra high definition multimedia providing server can be dynamically adjusted according to the network quality corresponding to the terminal, so that the delay of the transmission of the multimedia source can be managed.

이 때, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 대역폭을 조절하여 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높일 수 있다.In this case, when the network quality corresponding to the ultra high definition multimedia providing server is lower than the network quality corresponding to the terminal, the bandwidth is adjusted based on the SR-IOV (Single Root Input / Output Virtualization) Thereby improving the quality of the network.

SR-IOV(Single Root Input/Output Virtualization)은 PCI-SIG(Special Interest Group) 표준기반의 PCI Express 카드를 가상화 시키는 기술로서, 예를 들어 뿌리(Physical)를 가지지만 줄기는 가상화를 통해 논리적으로 여러 개의 NIC(Network Interface Card) 또는 HBA(Host Bus Adapter) 로 만들어 쓸 수 있는 기술이다. SR-IOV 지원 카드는 하나의 Physical Function (PF) 을 가지고 있는데 이는 물리적인 PCI Express 카드를 나타내고, 이는 Virtual Function(VF) 이라고 하는 가상 PCI Express 카드를 생성할 수 있다. 이 때, Virtual Function(VF)도 일반적인 PCI Express 카드와 동일한 기능을 수행할 수 있지만, Virtual Function(VF)는 Physical Function (PF)에 설정된 기능 및 속성만을 사용할 수 있다는 제한이 있다. Single Root Input / Output Virtualization (SR-IOV) is a technology that virtualizes a PCI Express card based on the PCI-SIG (Special Interest Group) standard. For example, it has a physical, (Network Interface Card) or HBA (Host Bus Adapter). The SR-IOV support card has one physical function (PF), which represents a physical PCI Express card, which can create a virtual PCI Express card called Virtual Function (VF). At this time, although the virtual function (VF) can perform the same function as a general PCI Express card, there is a restriction that the virtual function (VF) can use only the functions and attributes set in the physical function (PF).

따라서, SR-IOV의 Virtual Function(VF) 네트워크의 대역폭을 동적으로 조절함으로써 사용자가 더 좋은 품질의 스트리밍 서비스를 받을 수 있도록 할 수 있다. Therefore, by dynamically adjusting the bandwidth of the Virtual Function (VF) network of the SR-IOV, the user can receive better quality streaming service.

가상 머신(230)은 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 멀티미디어 소스를 실행할 수 있다. The virtual machine 230 may receive the quality controlled multimedia source and may execute the received multimedia source.

이 때, 초고화질 멀티미디어 제공 서버로 서비스 요청 및 품질 중 적어도 하나에 상응하는 멀티미디어 소스를 요청할 수 있다. 예를 들어, 가상 머신(230)이 멀티미디어 소스를 제공하는 멀티미디어 소스 제공 장치에게 품질이 조절된 멀티미디어 소스를 요청하여 네트워크를 통해 전송 받을 수 있다. 또한, 멀티미디어 데이터베이스(270)에 저장된 멀티미디어 파일들 중 조절된 품질에 상응하는 멀티미디어 파일을 가져올 수도 있다.At this time, a multimedia source corresponding to at least one of a service request and a quality can be requested to the ultra high definition multimedia providing server. For example, the virtual machine 230 may request a multimedia source having a controlled quality to a multimedia source providing apparatus that provides a multimedia source and receive the multimedia source through the network. In addition, a multimedia file corresponding to the adjusted quality among the multimedia files stored in the multimedia database 270 may be imported.

이 때, 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 품질이 조절된 멀티미디어 소스를 실행할 수 있다. 가상 머신에서는 HTTP 기반 MPEG-DASH를 지원하는 동적 적응형 HEVC 플레이어를 제공할 수 있다. 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Player, DAHP)는 서비스 품질 조절부(220)에서 조절된 품질에 상응하는 초고화질 멀티미디어 소스를 요청하여 실행할 수 있다.At this time, it is possible to execute a quality-controlled multimedia source using a dynamic adaptive HEVC player (DAHP). In a virtual machine, a dynamic adaptive HEVC player supporting HTTP-based MPEG-DASH can be provided. The dynamic adaptive HEVC player (DAHP) can request and execute an ultra-high quality multimedia source corresponding to the quality controlled by the quality of service adjuster 220.

인코딩부(240)는 멀티미디어 소스의 실행 화면 이미지를 인코딩할 수 있다.The encoding unit 240 may encode an execution screen image of the multimedia source.

최근 스마트폰과 같은 이동통신 단말기의 사양이 많이 향상되었으나 아직 초고화질 멀티미디어 컨텐츠를 수신하여 실행하기에는 어려운 점이 있다. 모바일 단말과 같은 저사양 단말에서 높은 압축률로 인코딩된 영상을 디코딩하기에도 어렵고, 또한, 제공되는 전원에 비해 에너지 소모가 많으며 네트워크 대역폭도 크지 않다. 따라서, 이와 같은 저사양의 단말에서도 초고화질 멀티미디어 컨텐츠를 실행할 수 있도록 하기 위해 본 발명과 같은 초고화질 멀티미디어 스트리밍 서비스 장치(110)에서 대신 초고화질 멀티미디어 소스를 실행하고, 실행된 멀티미디어 소스의 실행 화면 이미지만을 인코딩하여 단말로 제공할 수 있다.Although the specifications of mobile communication terminals such as smart phones have recently been improved, it is still difficult to receive and execute ultra high-definition multimedia contents. It is difficult to decode an image encoded with a high compression ratio in a low-end terminal such as a mobile terminal, energy consumption is higher than that of a power supply, and the network bandwidth is not large. Therefore, in order to enable ultra-high-definition multimedia contents to be executed even in such a low-end terminal, the ultra-high-definition multimedia streaming service apparatus 110 instead of the ultra-high-definition multimedia streaming service apparatus 110 according to the present invention executes only the execution screen image of the multimedia source And provide it to the terminal.

이 때, 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 실행 화면 이미지를 인코딩할 수 있다. 인코딩된 실행 화면 이미지는 사용자 단말에서 다시 디코딩되어 사용자에게 제공되기 때문에, 인코딩 시 사용자 단말에서 구동 가능한 코덱을 사용하여 인코딩할 수 있다.At this time, an execution screen image can be encoded using a codec that can be driven by the user's terminal. Since the encoded execution screen image is decoded again by the user terminal and provided to the user, the encoded execution image can be encoded using a codec that can be driven by the user terminal during encoding.

서비스 제공부(250)는 인코딩된 실행 화면 이미지를 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공할 수 있다. 이 때, 초고화질 멀티미디어 스트리밍 서비스 장치(110)의 전송 프로토콜을 이용하여 인코딩된 실행 화면 이미지를 단말로 전송할 수 있다. The service providing unit 250 may provide an ultra-high-quality multimedia streaming service by transmitting the encoded execution screen image to the terminal. At this time, the encoded execution screen image can be transmitted to the terminal using the transmission protocol of the ultra high definition multimedia streaming service apparatus 110.

HEVC 멀티 인코더(260)는 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 초고화질 카메라로부터 수신되는 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩할 수 있다. 예를 들어, 초고화질 카메라를 이용하여 촬영된 원본 영상은 초고화질 카메라의 성능 및 설정에 따른 비트율로 생성될 수 있다. 따라서, 다양한 품질에 상응하도록 원본 영상을 다양한 비트율로 인코딩하여 여러 개의 멀티미디어 파일을 생성함으로써, 추후 품질 조절에 따른 적합한 멀티미디어 파일을 제공할 수 있다.The HEVC multi-encoder 260 can encode a plurality of multimedia files by applying a plurality of bit rates to the original image of the multimedia source received from the super-high-quality camera, when the super-high-quality source providing apparatus is an ultra-high quality camera. For example, an original image photographed using an ultra high resolution camera can be generated with a bit rate according to performance and setting of an ultra high resolution camera. Accordingly, it is possible to provide an appropriate multimedia file according to quality control by encoding the original image at various bit rates to generate various multimedia files corresponding to various qualities.

멀티미디어 데이터베이스(270)는 복수 개의 멀티미디어 파일들을 저장할 수 있다.The multimedia database 270 may store a plurality of multimedia files.

이 때, 서비스 품질 조절부(220)는 멀티미디어 데이터베이스(270)에 저장된 복수 개의 멀티미디어 파일들 중 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 가상 머신으로 제공할 수 있다. In this case, the quality of service controlling unit 220 may provide a multimedia file corresponding to the network quality among the plurality of multimedia files stored in the multimedia database 270 to the virtual machine.

도 3은 다양한 비디오 포맷에 따른 데이터양을 나타낸 도면이다.3 is a diagram illustrating the amount of data according to various video formats.

도 3을 참조하면, SD(Standard definition), HD(High Definition) 및 UHD(Ultra High Definition) 각각의 포맷에 따른 데이터 양을 확인할 수 있다.Referring to FIG. 3, the amount of data according to the standard definition (SD), high definition (HD), and ultra high definition (UHD) formats can be confirmed.

도 3을 확인하면 화소 정보가 YUV 4:2:0, 8bpp 및 30Hz로 동일한 각각의 비디오 포맷을 비교하면 데이터양은 SD, HD, 4K UHD 및 8K UHD의 순서에 따라 각각 124Mbps, 746Mbps, 3Gbps 및 12Gbps인 것을 알 수 있다. 이는 비고에서 확인할 수 있듯이 HD는 SD에 비해 약 6배의 데이터 양이며, 4K UHD와 8K UHD는 각각 HD의 4배와 16배에 달하는 데이터 양이다. Referring to FIG. 3, when comparing the video formats in which the pixel information is YUV 4: 2: 0, 8bpp and 30Hz, the data amount is 124Mbps, 746Mbps, 3Gbps and 12Gbps in the order of SD, HD, 4K UHD and 8K UHD, respectively . As can be seen in the remarks, HD is about 6 times as much data as SD, and 4K UHD and 8K UHD are 4 times and 16 times as high as HD, respectively.

이러한 데이터 양에 기반하여 UHD는 Full-HD보다 4배에서 16배 이상의 높은 해상도를 가질 수 있다. 그러나 멀티미디어 영상을 압축하지 않고 네트워크를 통해 전송하기 위해서는 그만큼 큰 대역폭이 필요하게 된다. 따라서, 이와 같은 UHD 화질의 멀티미디어 영상 서비스를 제공하기 위해서는 높은 압축률의 부호화 기술을 통한 서비스가 필요하다.Based on this amount of data, the UHD can have a resolution that is 4 to 16 times higher than Full-HD. However, in order to transmit the multimedia image through the network without compression, a large bandwidth is required. Therefore, in order to provide such a multimedia image service of UHD image quality, it is necessary to provide a service through a high compression rate encoding technique.

도 4는 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템의 대표적인 구조를 나타낸 도면이다.4 is a diagram illustrating a typical structure of an ultra high definition multimedia streaming service system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 시스템은 초고화질 멀티미디어 스트리밍 서비스 장치(410)에서 가상화 기술을 사용하여 다수의 가상 머신을 실행하고, 초고화질 멀티미디어 스트리밍 서비스 장치(410)의 CPU에서 에뮬레이트된 화면의 이미지를 생성하여 네트워크로 연결된 단말 장치(420-1, 420-2)에 전송하는 기술을 나타내고 있다. 이를 위해서 하이퍼바이저는 초고화질 멀티미디어 스트리밍 서비스 장치(410)의 물리적 자원을 가상화 기술을 사용하여 논리적 자원으로 생성하여 초고화질 멀티미디어 스트리밍 서비스 장치(410)에 제공할 수 있다. 대표적인 물리적 자원으로는 CPU, 메모리 및 디스크 등이 있을 수 있다. Referring to FIG. 4, an ultra high definition multimedia streaming service system according to an embodiment of the present invention executes a plurality of virtual machines using a virtualization technology in an ultra high definition multimedia streaming service device 410, An image of an emulated screen is generated by the CPU of the terminal 410 and transmitted to the terminal devices 420-1 and 420-2 connected to the network. For this purpose, the hypervisor may generate physical resources of the ultra high definition multimedia streaming service apparatus 410 as logical resources using the virtualization technology and provide the logical resources to the ultra high definition multimedia streaming service apparatus 410. Typical physical resources include CPU, memory and disk.

초고화질 멀티미디어 스트리밍 서비스 장치(410)는 논리적 자원 상에서 운용되며, 초고화질 멀티미디어 스트리밍 서비스 장치(410)의 전송 모듈을 이용하여 데이터를 단말 장치(420-1, 420-2)로 전송할 수 있다. The ultra high definition multimedia streaming service apparatus 410 is operated on a logical resource and can transmit data to the terminal apparatuses 420-1 and 420-2 using a transmission module of the ultra high definition multimedia streaming service apparatus 410. [

초고화질 멀티미디어 스트리밍 서비스 장치(410)에서는 초고화질 멀티미디어 소스를 전송 받을 때 QoE(Quality Of Experience) 수준에 맞는 멀티미디어 소스를 전송 받기 위하여, SR-IOV(Single Root Input/Output Virtualization) 기술을 이용하여 초고화질 소스 제공 서버(430-1)에 상응하는 네트워크 품질이 좋지 않을 때 동적으로 네트워크 대역폭을 조정할 수 있도록 할 수 있다.The ultra-high-definition multimedia streaming service device 410 uses a single root input / output virtualization (SR-IOV) technique to receive a multimedia source conforming to the quality of experience (QoE) It is possible to dynamically adjust the network bandwidth when the network quality corresponding to the high quality source providing server 430-1 is not good.

이와 같은 초고화질 멀티미디어 스트리밍 서비스는 2단계를 거쳐서 서비스 될 수 있다.Such ultra-high-quality multimedia streaming service can be served through two steps.

먼저 사용자의 서비스 요청에 따라 가상 머신은 HEVC/H.265 코덱을 이용하여 인코딩된 초고화질 멀티미디어 소스의 원본 영상을 전송 받아 실행시킬 수 있다. 그러면 초고화질 멀티미디어 스트리밍 서비스 장치(410)는 이를 단말 장치(420-1, 420-2)에서 구동할 수 있는 코덱을 이용하여 실행 화면 이미지를 인코딩하고, 초고화질 멀티미디어 스트리밍 서비스 장치(410)의 전송 프로토콜을 통해 인코딩된 실행 화면 이미지를 단말 장치(420-1, 420-2)로 전송할 수 있다.First, according to the service request of the user, the virtual machine can transmit and execute the original image of the ultra-high quality multimedia source encoded using the HEVC / H.265 codec. Then, the ultra-high-definition multimedia streaming service apparatus 410 encodes an execution screen image using a codec capable of driving the terminal apparatuses 420-1 and 420-2, The execution screen image encoded through the protocol can be transmitted to the terminal devices 420-1 and 420-2.

이에 가상 머신을 중심으로 초고화질 소스 제공 서버(430-1)나 초고화질 카메라(430-2)와 초고화질 멀티미디어 스트리밍 서비스 장치(410) 간의 네트워크 및 초고화질 멀티미디어 스트리밍 서비스 장치(410)와 단말 장치(420-1, 420-2) 간의 네트워크에 상응하는 양쪽의 네트워크 경로가 발생하고, 서로 네트워크의 환경이 달라지게 된다. 이 때, 서비스 제공자 즉, 초고화질 소스 제공 서버(430-1) 및 초고화질 카메라(430-2)가 제공하는 서비스 품질(Quality Of Service, QoS)과 사용자가 경험하고 인지하는 서비스 품질(Quality Of Experience, QoE)은 서로 다를 수 있다.The network between the super high definition source providing server 430-1 and the super high definition camera 430-2 and the super high definition multimedia streaming service apparatus 410 and the network between the super high definition multimedia streaming service apparatus 410 and the terminal Both of the network paths corresponding to the network between the nodes 420-1 and 420-2 are generated, and the environments of the networks are different from each other. At this time, the quality of service (QoS) provided by the service provider, that is, the ultra-high quality source providing server 430-1 and the ultra-high quality camera 430-2, and the quality of service Experience, QoE) can be different.

이러한 서비스의 차이를 좁히기 위해 초고화질 멀티미디어 스트리밍 서비스 장치(410)에서는 양 쪽의 네트워크를 지속적으로 모니터링하고 자동으로 적응하여 서비스의 품질을 조절하는 서비스 품질 조절부 또는 QoE 에이전트를 포함할 수 있다. 또한, 서비스 제공자의 경우에도 초고화질 멀티미디어 소스에 대한 다양한 비트율을 가진 소스들을 가지고 있으며 이를 동적으로 제공할 수 있도록 할 수 있다.In order to narrow the difference of these services, the ultra-high-quality multimedia streaming service apparatus 410 may include a service quality controller or a QoE agent that continuously monitors both networks and automatically adapts them to adjust the quality of service. In addition, the service provider has sources having various bit rates for an ultra-high-quality multimedia source and can dynamically provide them.

도 5는 본 발명의 일실시예에 따른 DASH 기반의 멀티미디어 소스 제공자에 의한 초고화질 멀티미디어 스트리밍 서비스 시스템의 구조를 나타낸 도면이다.5 is a diagram illustrating a structure of a super high definition multimedia streaming service system by a DASH-based multimedia source provider according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 따른 초고화질 멀티미디어 스트리밍 서비스 시스템에서는 초고화질 멀티미디어 소스를 기존에 구축되어 있는 다른 콘텐츠 제공자가 DASH 기반의 서비스를 제공하는 초고화질 멀티미디어 스트리밍 서비스 장치(510)로 전송하여 입력 받을 수 있다.Referring to FIG. 5, in an ultra-high-definition multimedia streaming service system according to the present invention, an ultra-high-quality multimedia source is transmitted to an ultra high-definition multimedia streaming service apparatus 510 providing another DASH- Input can be received.

초고화질 멀티미디어 스트리밍 서비스 장치(510)에 포함된 가상 머신에서는 HTTP 기반 MPEG-DASH를 지원하는 동적 적응형 HEVC 플레이어를 제공할 수 있다. 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Player, DAHP)는 초고화질 멀티미디어 스트리밍 서비스 장치(510)의 서비스 품질 조절부가 전달해주는 QoE 수준에 상응하는 초고화질 멀티미디어 소스를 UHD DASH 서버, 즉 초고화질 소스 제공 서버(530)에 요청하여 사용자에게 끊김 없는 고품질 스트리밍 서비스를 제공할 수 있다.In the virtual machine included in the ultra high definition multimedia streaming service apparatus 510, a dynamic adaptive HEVC player supporting HTTP based MPEG-DASH can be provided. A dynamic adaptive HEVC player (Dynamic Adaptive HEVC Player) (DAHP) is a high-quality multimedia streaming service device (510) that transmits an ultra-high-quality multimedia source corresponding to a QoE level delivered by a quality- Quality streaming service to the user by requesting the high-quality streaming service to the user 530.

이 때, 단말 장치(520-1, 520-2)와 초고화질 멀티미디어 스트리밍 서비스 장치(510) 간의 네트워크 품질은 좋지만 초고화질 멀티미디어 스트리밍 서비스 장치(510)와 초고화질 소스 제공 서버(530) 간의 네트워크 품질이 좋지 않으면, 서비스 품질 조절부는 SR-IOV의 VF(Virtual Function) 네트워크의 대역폭을 동적으로 조절하여 단말 장치(520-1, 520-2)가 더 좋은 품질의 스트리밍 서비스를 받을 수 있도록 할 수 있다.At this time, although the network quality between the terminal devices 520-1 and 520-2 and the ultra-high quality multimedia streaming service device 510 is good, the network quality between the ultra high quality multimedia streaming service device 510 and the ultra high quality source providing server 530 The quality of service controller may dynamically adjust the bandwidth of the VF (Virtual Function) network of the SR-IOV so that the terminal devices 520-1 and 520-2 can receive better quality streaming services .

도 6은 본 발명의 일실시예에 따른 UHD 카메라 기반의 멀티미디어 소스 제공에 의한 초고화질 멀티미디어 스트리밍 서비스 시스템의 구조를 나타낸 도면이다.6 is a diagram illustrating a structure of an ultra high definition multimedia streaming service system by providing a multimedia source based on a UHD camera according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 따른 초고화질 멀티미디어 스트리밍 서비스 시스템에서는 초고화질 카메라(630)를 통해 직접 입력 받은 원본 영상을 클라우드 환경에서 HEVC/H.265 코덱을 이용하여 다양한 비트율로 압축하고, 이와 같이 압축되어 생성된 초고화질 멀티미디어 소스를 초고화질 멀티미디어 스트리밍 서비스 장치(610)가 제공받을 수 있다.Referring to FIG. 6, in an ultra high definition multimedia streaming service system according to the present invention, an original image directly input through an ultra-high quality camera 630 is compressed at various bit rates using an HEVC / H.265 codec in a cloud environment, The ultra-high-definition multimedia streaming service apparatus 610 can receive the super-high-definition multimedia source compressed and generated.

초고화질 멀티미디어 스트리밍 서비스 장치(610)에서는 도 5와 마찬가지로 DAHP가 서비스 품질 조절부가 전달해주는 QoE 수준에 맞는 초고화질 멀티미디어 소스를 실행할 수 있다. 이 경우에는 HEVC/H.265 인코더, 즉 HEVC 멀티 인코더는 동일한 영상을 QoE를 위해 다양한 비트율을 적용한 여러 파일로 인코딩하여 데이터베이스에 저장할 수 있다. 서비스 품질 조절부는 초고화질 멀티미디어 스트리밍 서비스 장치(610)와 단말 장치(620-1, 620-2)사이의 네트워크 품질에 따른 비트율을 선정하여 가상 머신의 DAHP에 제공할 수 있다. In the ultra-high-definition multimedia streaming service apparatus 610, the DAHP can execute an ultra-high-quality multimedia source suited to the QoE level delivered by the service quality controller. In this case, the HEVC / H.265 encoder, that is, the HEVC multi-encoder, can encode the same image into various files with various bit rates for QoE and store it in the database. The service quality controller may select the bit rate according to the network quality between the ultra high resolution multimedia streaming service device 610 and the terminal devices 620-1 and 620-2 and provide the bit rate to the DAHP of the virtual machine.

도 7은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.7 is a flowchart illustrating an ultra high definition multimedia streaming service method according to an exemplary embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 사용자의 단말로부터 서비스 요청을 수신할 수 있다(S710). 예를 들어, 사용자가 자신의 스마트폰 단말을 이용하여 초고화질 컨텐츠를 선택함으로써 컨텐츠의 실행에 상응하는 서비스를 요청하면, 초고화질 멀티미디어 스트리밍 서비스 장치에서는 스마트폰 단말에 상응하는 네트워크를 통해 사용자로부터 입력된 서비스 요청을 수신할 수 있다.Referring to FIG. 7, an ultra high definition multimedia streaming service method according to an embodiment of the present invention can receive a service request from a user terminal (S710). For example, when a user requests a service corresponding to the execution of the content by selecting ultra-high-quality content using the smart phone terminal of the user, the ultra-high-definition multimedia streaming service device transmits, through the network corresponding to the smartphone terminal, Lt; / RTI > service request.

또한, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 단말에 상응하는 네트워크의 상태를 모니터링 하여 사용자의 요청에 따라 제공될 멀티미디어 소스의 품질을 조절할 수 있다(S720).In addition, the ultra high definition multimedia streaming service method according to an embodiment of the present invention monitors the state of the network corresponding to the terminal and controls the quality of a multimedia source to be provided according to a request of a user at step S720.

초고화질 멀티미디어 스트리밍 서비스 장치에게 서비스를 요청하는 단말들은 그 수가 많고 동시다발적으로 서비스를 요청하는 경우도 자주 발생할 수 있다. 따라서, 다수의 단말들로부터 서비스 요청이 수신되고 해당 서비스가 제공되는데 사용되는 네트워크는 부하가 클 가능성이 높다. 따라서, 이와 같은 네트워크의 상태에 적합하게 사용자에게 제공될 멀티미디어 소스의 품질을 조절함으로써 보다 원활하게 서비스를 제공할 수 있다.The number of terminals requesting service to the ultra high definition multimedia streaming service device may frequently occur when the number of terminals requesting service is simultaneously increased. Therefore, a network used for receiving a service request from a plurality of terminals and providing the corresponding service is highly likely to be overloaded. Therefore, it is possible to smoothly provide the service by adjusting the quality of the multimedia source to be provided to the user in accordance with the state of the network.

이 때, 서비스 요청에 상응하는 멀티미디어 소스를 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 단말에 상응하는 네트워크의 상태에 따라 사용자의 요청에 따른 멀티미디어 소스의 비트율을 이용하여 품질을 조절할 수 있다. 예를 들어, 단말에 상응하는 네트워크의 상태가 원활한 경우에는 비트율이 높은 멀티미디어 소스를 제공할 수 있도록 품질을 조절하고, 단말에 상응하는 네트워크의 상태가 원활하지 않은 경우에는 비트율이 낮은 멀티미디어 소스를 제공할 수 있도록 품질을 조절할 수 있다.In this case, the quality can be adjusted using the bit rate of the multimedia source according to the request of the user according to the state of the network corresponding to the terminal, so that the multimedia source corresponding to the service request can be seamlessly transmitted through the network corresponding to the terminal . For example, when the state of the network corresponding to the terminal is smooth, the quality is controlled so as to provide a multimedia source having a high bit rate. When the state of the network corresponding to the terminal is not smooth, a multimedia source having a low bit rate is provided You can adjust the quality so that you can do it.

이 때, 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단할 수 있다. In this case, when the ultra-high-quality source providing device for providing a multimedia source is an Ultra High Definition (UHD) multimedia providing server based on Dynamic Adaptive Streaming over HTTP (DASH) capable of adjusting the streaming image quality according to the network, It is possible to determine whether to dynamically adjust the bandwidth of the network corresponding to the multimedia providing server.

이 때, 네트워크 대역폭을 동적으로 조절할지 여부를 판단하는 기준은 단말에 상응하는 네트워크 품질과 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질의 비교 결과에 상응할 수 있다. 예를 들어, 단말에 상응하는 네트워크의 품질은 높지만 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상대적으로 낮다고 가정한다면, 일단 멀티미디어 소스의 품질 조절 시 단말에 상응하는 네트워크 품질에 따라 비트율이 높은 멀티미디어 소스가 초고화질 멀티미디어 스트리밍 서비스 장치로 수신되어야 한다. 그러나, 비트율이 높은 멀티미디어 소스를 초고화질 멀티미디어 스트리밍 서비스 장치로 전송하기 위한 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 낮다면, 비트율이 높은 멀티미디어 소스를 전송하는 과정에서 높은 부하가 발생하거나 또는 전송과정에서 지연이 발생할 수도 있다. 따라서, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭은 단말에 상응하는 네트워크 품질에 따라 동적으로 조절하여 멀티미디어 소스의 전송에 지연이 발생하지 않도록 관리할 수 있다.In this case, a criterion for determining whether to dynamically adjust the network bandwidth may correspond to a comparison result between the network quality corresponding to the terminal and the network quality corresponding to the ultra high definition multimedia providing server. For example, assuming that the quality of the network corresponding to the terminal is high but the network quality corresponding to the ultra high definition multimedia providing server is relatively low, once the quality of the multimedia source is controlled, Must be received by the ultra high definition multimedia streaming service device. However, if a network quality corresponding to a server providing an ultra-high-quality multimedia for transmitting a multimedia source having a high bit rate to an ultra-high-quality multimedia streaming service apparatus is low, a high load occurs in the process of transmitting a multimedia source having a high bit rate, A delay may occur. Therefore, the bandwidth of the network corresponding to the ultra high definition multimedia providing server can be dynamically adjusted according to the network quality corresponding to the terminal, so that the delay of the transmission of the multimedia source can be managed.

이 때, 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 대역폭을 조절하여 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높일 수 있다.In this case, when the network quality corresponding to the ultra high definition multimedia providing server is lower than the network quality corresponding to the terminal, the bandwidth is adjusted based on the SR-IOV (Single Root Input / Output Virtualization) Thereby improving the quality of the network.

SR-IOV(Single Root Input/Output Virtualization)은 PCI-SIG(Special Interest Group) 표준기반의 PIC 카드를 가상화 시키는 기술로서, 예를 들어 뿌리(Physical)를 가지지만 줄기는 가상화를 통해 논리적으로 여러 개의 NIC 또는 HBA 로 만들어 쓸 수 있는 기술이다. SR-IOV 지원 카드는 하나의 Physical Function (PF) 을 가지고 있는데 이는 물리적인 PCI 카드를 나타내고, 이는 Virtual Function(VF) 이라고 하는 가상 PCI 카드를 생성할 수 있다. 이 때, Virtual Function(VF)도 일반적인 PCI 카드와 동일한 기능을 수행할 수 있지만, Virtual Function(VF)는 Physical Function (PF)에 설정된 기능 및 속성만을 사용할 수 있다는 제한이 있다. Single Root Input / Output Virtualization (SR-IOV) is a technology that virtualizes a PIC card based on the PCI-SIG (Special Interest Group) standard. For example, it has a physical, It is a technology that can be written as NIC or HBA. The SR-IOV support card has one physical function (PF), which represents a physical PCI card, which can create a virtual PCI card called Virtual Function (VF). At this time, although the virtual function (VF) can perform the same function as a general PCI card, there is a restriction that the virtual function (VF) can use only the functions and attributes set in the physical function (PF).

따라서, SR-IOV의 Virtual Function(VF) 네트워크의 대역폭을 동적으로 조절함으로써 사용자가 더 좋은 품질의 스트리밍 서비스를 받을 수 있도록 할 수 있다.Therefore, by dynamically adjusting the bandwidth of the Virtual Function (VF) network of the SR-IOV, the user can receive better quality streaming service.

또한, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 멀티미디어 소스를 실행할 수 있다(S730).In addition, the ultra high definition multimedia streaming service method according to an embodiment of the present invention can receive a multimedia source whose quality is adjusted and execute the received multimedia source (S730).

이 때, 초고화질 멀티미디어 제공 서버로 서비스 요청 및 품질 중 적어도 하나에 상응하는 멀티미디어 소스를 요청할 수 있다. 예를 들어, 가상 머신이 멀티미디어 소스를 제공하는 멀티미디어 소스 제공 장치에게 품질이 조절된 멀티미디어 소스를 요청하여 네트워크를 통해 전송 받을 수 있다. 또한, 멀티미디어 데이터베이스에 저장된 멀티미디어 파일들 중 조절된 품질에 상응하는 멀티미디어 파일을 가져올 수도 있다.At this time, a multimedia source corresponding to at least one of a service request and a quality can be requested to the ultra high definition multimedia providing server. For example, a virtual machine may request a multimedia source that provides a multimedia source and a quality-controlled multimedia source to receive the multimedia source through a network. In addition, a multimedia file corresponding to a controlled quality among the multimedia files stored in the multimedia database may be fetched.

이 때, 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 품질이 조절된 멀티미디어 소스를 실행할 수 있다. 가상 머신에서는 HTTP 기반 MPEG-DASH를 지원하는 동적 적응형 HEVC 플레이어를 제공할 수 있다. 동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Player, DAHP)는 서비스 품질 조절부에서 조절된 품질에 상응하는 초고화질 멀티미디어 소스를 요청하여 실행할 수 있다.At this time, it is possible to execute a quality-controlled multimedia source using a dynamic adaptive HEVC player (DAHP). In a virtual machine, a dynamic adaptive HEVC player supporting HTTP-based MPEG-DASH can be provided. A dynamic adaptive HEVC player (DAHP) can request and execute an ultra-high quality multimedia source corresponding to the quality controlled by the quality of service controller.

또한, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 멀티미디어 소스의 실행 화면 이미지를 인코딩하고, 인코딩된 실행 화면 이미지를 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공할 수 있다(S740).In addition, the ultra high definition multimedia streaming service method according to an embodiment of the present invention can provide an ultra high definition multimedia streaming service by encoding an execution screen image of a multimedia source and transmitting an encoded execution screen image to the terminal (S740) .

최근 스마트폰과 같은 이동통신 단말기의 사양이 많이 향상되었으나 아직 초고화질 멀티미디어 컨텐츠를 수신하여 실행하기에는 어려운 점이 있다. 모바일 단말과 같은 저사양 단말에서 높은 압축률로 인코딩된 영상을 디코딩하기에도 어렵고, 또한, 제공되는 전원에 비해 에너지 소모가 많으며 네트워크 대역폭도 크지 않다. 따라서, 이와 같은 저사양의 단말에서도 초고화질 멀티미디어 컨텐츠를 실행할 수 있도록 하기 위해 본 발명과 같은 초고화질 멀티미디어 스트리밍 서비스 장치에서 대신 멀티미디어 소스를 실행하고, 실행된 멀티미디어 소스의 실행 화면 이미지만을 인코딩하여 단말로 제공할 수 있다.Although the specifications of mobile communication terminals such as smart phones have recently been improved, it is still difficult to receive and execute ultra high-definition multimedia contents. It is difficult to decode an image encoded with a high compression ratio in a low-end terminal such as a mobile terminal, energy consumption is higher than that of a power supply, and the network bandwidth is not large. Therefore, in order to enable ultra-high-definition multimedia contents to be executed even in such low-end terminals, an ultra-high-definition multimedia streaming service apparatus according to the present invention executes a multimedia source instead, encodes only an execution screen image of an executed multimedia source, can do.

이 때, 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 실행 화면 이미지를 인코딩할 수 있다. 인코딩된 실행 화면 이미지는 사용자 단말에서 다시 디코딩되어 사용자에게 제공되기 때문에, 인코딩 시 사용자 단말에서 구동 가능한 코덱을 사용하여 인코딩할 수 있다.At this time, an execution screen image can be encoded using a codec that can be driven by the user's terminal. Since the encoded execution screen image is decoded again by the user terminal and provided to the user, the encoded execution image can be encoded using a codec that can be driven by the user terminal during encoding.

이 때, 초고화질 멀티미디어 스트리밍 서비스 장치의 전송 프로토콜을 이용하여 인코딩된 실행 화면 이미지를 단말로 전송할 수 있다.At this time, the encoded execution screen image can be transmitted to the terminal using the transmission protocol of the ultra high definition multimedia streaming service apparatus.

또한, 도 7에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 초고화질 카메라로부터 수신되는 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩할 수 있다. 예를 들어, 초고화질 카메라를 이용하여 촬영된 원본 영상은 초고화질 카메라의 성능 및 설정에 따른 비트율로 생성될 수 있다. 따라서, 다양한 품질에 상응하도록 원본 영상을 다양한 비트율로 인코딩하여 여러 개의 멀티미디어 파일을 생성함으로써, 추후 품질 조절에 따른 적합한 멀티미디어 파일을 제공할 수 있다.In addition, although not shown in FIG. 7, in the ultra high definition multimedia streaming service method according to an embodiment of the present invention, when the super high definition source providing apparatus is an ultra high definition camera, the original image of the multimedia source received from the ultra high definition camera It is possible to encode a plurality of multimedia files by applying a plurality of bit rates. For example, an original image photographed using an ultra high resolution camera can be generated with a bit rate according to performance and setting of an ultra high resolution camera. Accordingly, it is possible to provide an appropriate multimedia file according to quality control by encoding the original image at various bit rates to generate various multimedia files corresponding to various qualities.

또한, 도 7에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 복수 개의 멀티미디어 파일들을 저장할 수 있다.Also, although not shown in FIG. 7, the ultra high definition multimedia streaming service method according to an embodiment of the present invention can store a plurality of multimedia files.

이 때, 멀티미디어 데이터베이스에 저장된 복수 개의 멀티미디어 파일들 중 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 가상 머신으로 제공할 수 있다.At this time, a multimedia file corresponding to the network quality corresponding to the terminal among the plurality of multimedia files stored in the multimedia database can be provided to the virtual machine.

도 8은 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.FIG. 8 is a detailed flowchart illustrating an ultra high definition multimedia streaming service method according to an exemplary embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 초고화질 멀티미디어 스트리밍 서비스 방법은 먼저 사용자가 단말을 통해 초고화질 멀티미디어 스트리밍 서비스를 요청할 수 있다(S810).Referring to FIG. 8, an ultra-high-definition multimedia streaming service method according to an embodiment of the present invention allows a user to request an ultra-high-definition multimedia streaming service through a terminal at step S810.

이 후, 서비스 요청을 수신한 초고화질 멀티미디어 스트리밍 서비스 장치는 서비스 요청에 상응하는 멀티미디어 소스의 위치를 확인할 수 있다(S820).After receiving the service request, the ultra-high-quality multimedia streaming service apparatus can confirm the location of the multimedia source corresponding to the service request (S820).

이 후, 초고화질 멀티미디어 스트리밍 서비스 장치는 단말에 상응하는 네트워크 품질 및 초고화질 소스 제공 장치에 상응하는 네트워크 품질을 모니터링 하여 확인하였는지 여부를 판단할 수 있다(S825).Thereafter, the ultra-high-definition multimedia streaming service apparatus can determine whether the network quality corresponding to the terminal and the network quality corresponding to the ultra-high-quality source providing apparatus have been monitored and confirmed (S825).

단계(S825)의 판단결과 확인하지 않았다면, 서비스 품질 조절부가 각각의 네트워크의 품질 테스트 및 테스트 결과를 반영하여 멀티미디어 소스의 품질을 조절할 수 있다.If it is not confirmed as a result of the determination in step S825, the quality of service adjuster may adjust the quality of the multimedia source by reflecting the quality test and the test result of each network.

단계(S825)의 판단결과 확인하였다면, 단말에 상응하는 네트워크 품질이 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질보다 좋은지 여부를 판단할 수 있다(S835).If it is determined in step S825 that the network quality corresponding to the terminal is better than the network quality corresponding to the ultra-high quality multimedia providing server in step S835,

또한, 단계(S825)의 판단결과 확인하지 않았다면, 네트워크 품질 테스트 결과를 초고화질 멀티미디어 스트리밍 서비스 장치에 반영한 뒤(S830), 단말에 상응하는 네트워크 품질이 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질보다 좋은지 여부를 판단할 수 있다(S835). If the result of the determination in step S825 is negative, the network quality test result is reflected in the ultra high resolution multimedia streaming service device (S830). If the network quality corresponding to the terminal is higher than the network quality corresponding to the ultra high definition multimedia providing server (S835).

단계(S835)의 판단결과 좋다면, 초고화질 멀티미디어 스트리밍 서비스 장치와 초고화질 멀티미디어 제공 서버 간의 네트워크 품질이 향상될 수 있도록 네트워크 대역폭을 동적으로 조절할 수 있다(S840).If it is determined in step S835 that the network quality can be improved, the network bandwidth may be dynamically adjusted in step S840 so that the network quality between the ultra high quality multimedia streaming service device and the ultra high quality multimedia server can be improved.

이 후, 초고화질 멀티미디어 스트리밍 서비스 장치의 가상 머신에서 DAHP를 이용하여 초고화질 멀티미디어 소스를 실행할 수 있다(S850).After that, the super high definition multimedia source can be executed using the DAHP in the virtual machine of the ultra high definition multimedia streaming service apparatus (S850).

단계(S835)의 판단결과 좋지 않다면, 바로 초고화질 멀티미디어 스트리밍 서비스 장치의 가상 머신에서 멀티미디어 소스를 실행할 수 있다(S850). If the result of the determination in step S835 is negative, the multimedia source may be executed in the virtual machine of the ultra high definition multimedia streaming service apparatus (S850).

이 후, 실행된 멀티미디어 소스의 실행 화면 이미지를 인코딩하고(S860), 인코딩된 실행 화면 이미지를 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공할 수 있다(S870).Thereafter, an execution screen image of the executed multimedia source is encoded (S860), and the encoded execution screen image is transmitted to the terminal to provide an ultra-high quality multimedia streaming service (S870).

도 9는 본 발명의 일실시예에 따른 네트워크 품질 조절 과정을 나타낸 동작 흐름도이다.9 is a flowchart illustrating a network quality adjustment process according to an exemplary embodiment of the present invention.

도 9를 참조하면, 본 발명의 일실시예에 따른 네트워크 품질 조절 과정은 먼저 초고화질 멀티미디어 스트리밍 서비스 장치가 사용자 요청을 수신함으로써 품질 조절부에 의한 네트워크 품질 확인 요청을 수신할 수 있다(S910).Referring to FIG. 9, in step S910, the ultra-high-definition multimedia streaming service apparatus receives a user request and receives a network quality check request by the quality control unit.

이 후, 초고화질 멀티미디어 스트리밍 서비스 장치와 단말 간의 네트워크 품질 및 초고화질 멀티미디어 스트리밍 서비스 장치와 초고화질 멀티미디어 제공 서버 간의 네트워크 품질을 테스트 및 모니터링 할 수 있다(S920).Thereafter, the network quality between the ultra high definition multimedia streaming service device and the terminal and the network quality between the ultra high definition multimedia streaming service device and the ultra high definition multimedia providing server can be tested and monitored (S920).

이 후, 초고화질 멀티미디어 스트리밍 서비스 장치와 단말 간의 네트워크 품질에 기반하여 초고화질 멀티미디어 제공 서버로부터 수신할 멀티미디어 소스의 품질 변경 여부를 확인할 수 있다(S930).Thereafter, it is determined whether the quality of the multimedia source to be received from the ultra-high quality multimedia providing server is changed based on the network quality between the ultra-high quality multimedia streaming service device and the terminal in operation S930.

이 후, 멀티미디어 소스의 품질과 네트워크 품질 테스트 결과를 초고화질 멀티미디어 스트리밍 서비스 장치에 반영할 수 있다(S940).
Thereafter, the quality of the multimedia source and the network quality test result may be reflected in the ultra-high-quality multimedia streaming service apparatus (S940).

이상에서와 같이 본 발명에 따른 클라우드 기반의 적응형 초고화질 멀티미디어 스트리밍 서비스 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method of the adaptive ultra high definition multimedia streaming service based on the cloud according to the present invention are not limited to the configuration and method of the above described embodiments, All or some of the embodiments may be selectively combined.

110, 410, 510, 610: 초고화질 멀티미디어 스트리밍 서비스 장치
120-1~ 120-N: 단말 장치들
130-1~ 130-N: 초고화질 멀티미디어 제공 장치들
210: 요청 수신부 220: 서비스 품질 조절부
230: 가상 머신 240: 인코딩부
250: 서비스 제공부 260: HEVC 멀티 인코더
270: 멀티미디어 데이터베이스
420-1, 420-2, 510-1, 510-2, 610-1, 610-2: 단말 장치
430-1, 530: 초고화질 소스 제공 서버
430-2, 630: 초고화질 카메라110, 410, 510, 610: ultra-high quality multimedia streaming service device
120-1 to 120-N:
130-1 to 130-N: ultra high definition multimedia providing apparatuses
210: request receiver 220: service quality controller
230: virtual machine 240: encoding section
250: Service provider 260: HEVC multi-encoder
270: Multimedia Database
420-1, 420-2, 510-1, 510-2, 610-1, and 610-2:
430-1, 530: an ultra-high-quality source server
430-2, 630: super high definition camera

Claims (18)

사용자의 단말로부터 서비스 요청을 수신하는 요청 수신부;
상기 단말에 상응하는 네트워크의 상태를 모니터링 하여 상기 사용자 요청에 따라 제공될 멀티미디어 소스의 품질을 조절하는 서비스 품질 조절부;
상기 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 상기 멀티미디어 소스를 실행하는 가상 머신;
상기 멀티미디어 소스의 실행 화면 이미지를 인코딩하는 인코딩부; 및
인코딩된 상기 실행 화면 이미지를 상기 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공하는 서비스 제공부
를 포함하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.A request receiving unit for receiving a service request from a user terminal;
A service quality controller for monitoring a state of a network corresponding to the terminal and adjusting a quality of a multimedia source to be provided according to the user request;
A virtual machine receiving the quality-controlled multimedia source and executing the received multimedia source;
An encoding unit encoding an execution screen image of the multimedia source; And
And transmits the encoded execution screen image to the terminal to provide an ultra high definition multimedia streaming service.
Wherein the multimedia streaming service is a multimedia streaming service. 청구항 1에 있어서,
상기 서비스 품질 조절부는
상기 서비스 요청에 상응하는 멀티미디어 소스를 상기 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 상기 단말에 상응하는 네트워크의 상태에 따라 상기 사용자 요청에 따른 멀티미디어 소스의 비트율을 이용하여 상기 품질을 조절하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method according to claim 1,
The quality of service adjuster
The quality is adjusted using the bit rate of the multimedia source according to the user request according to the state of the network corresponding to the terminal so that the multimedia source corresponding to the service request can be seamlessly transmitted through the network corresponding to the terminal Wherein the multimedia streaming service apparatus comprises: 청구항 2에 있어서,
상기 서비스 품질 조절부는
상기 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치. The method of claim 2,
The quality of service adjuster
In case of an ultra high definition (UHD) multimedia providing server based on Dynamic Adaptive Streaming over HTTP (DASH) capable of adjusting the streaming image quality according to a network, the ultra high definition source providing apparatus for providing the multimedia source, And determines whether to dynamically adjust the bandwidth of the network corresponding to the providing server. 청구항 3에 있어서,
상기 서비스 품질 조절부는
상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상기 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 상기 대역폭을 조절하여 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높이는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method of claim 3,
The quality of service adjuster
And controlling the bandwidth based on a Single Root Input / Output Virtualization (SR-IOV) technique when the network quality corresponding to the ultra high definition multimedia providing server is lower than the network quality corresponding to the terminal, And the corresponding network quality is improved. 청구항 4에 있어서,
상기 가상 머신은
상기 초고화질 멀티미디어 제공 서버로 상기 서비스 요청 및 상기 품질 중 적어도 하나에 상응하는 상기 멀티미디어 소스를 요청하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method of claim 4,
The virtual machine
Wherein the requesting unit requests the multimedia source corresponding to at least one of the service request and the quality to the ultra high definition multimedia providing server. 청구항 2에 있어서,
상기 초고화질 멀티미디어 스트리밍 서비스 장치는
상기 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 상기 초고화질 카메라로부터 수신되는 상기 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩하는 HEVC 멀티 인코더; 및
상기 복수 개의 멀티미디어 파일들을 저장하는 멀티미디어 데이터베이스를 더 포함하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method of claim 2,
The ultra high definition multimedia streaming service device
An HEVC multi-encoder for encoding an original image of the multimedia source received from the super-high-definition camera into a plurality of multimedia files by applying a plurality of bit rates when the super-high definition source providing apparatus is an ultra-high quality camera; And
Further comprising a multimedia database for storing the plurality of multimedia files. 청구항 6에 있어서,
상기 서비스 품질 조절부는
상기 복수 개의 멀티미디어 파일들 중 상기 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 상기 가상 머신으로 제공하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method of claim 6,
The quality of service adjuster
And provides the multimedia file corresponding to the network quality corresponding to the terminal among the plurality of multimedia files to the virtual machine. 청구항 1에 있어서,
상기 인코딩부는
상기 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 상기 실행 화면 이미지를 인코딩하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method according to claim 1,
The encoding unit
Wherein the encoding unit encodes the execution screen image using a codec that can be operated by the terminal of the user. 청구항 1에 있어서,
상기 가상 머신은
동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 상기 품질이 조절된 멀티미디어 소스를 실행하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 장치.The method according to claim 1,
The virtual machine
Characterized in that the multimedia source is controlled using the dynamic adaptive HEVC player (DAHP). 사용자의 단말로부터 서비스 요청을 수신하는 단계;
상기 단말에 상응하는 네트워크의 상태를 모니터링 하여 상기 사용자의 요청에 따라 제공될 멀티미디어 소스의 품질을 조절하는 단계;
상기 품질이 조절된 멀티미디어 소스를 수신하고, 수신된 상기 멀티미디어 소스를 실행하는 단계; 및
상기 멀티미디어 소스의 실행 화면 이미지를 인코딩하고, 인코딩된 상기 실행 화면 이미지를 상기 단말로 전송하여 초고화질 멀티미디어 스트리밍 서비스를 제공하는 단계
를 포함하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.Receiving a service request from a user terminal;
Monitoring the state of the network corresponding to the terminal and adjusting the quality of the multimedia source to be provided according to the request of the user;
Receiving the quality-controlled multimedia source and executing the received multimedia source; And
Encoding an execution screen image of the multimedia source, and transmitting the encoded execution screen image to the terminal to provide an ultra high definition multimedia streaming service
Wherein the multimedia streaming service is a multimedia streaming service. 청구항 10에 있어서,
상기 품질을 조절하는 단계는
상기 서비스 요청에 상응하는 멀티미디어 소스를 상기 단말에 상응하는 네트워크를 통해 끊김 없이 전송할 수 있도록, 상기 단말에 상응하는 네트워크의 상태에 따라 상기 사용자 요청에 따른 멀티미디어 소스의 비트율을 이용하여 상기 품질을 조절하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 10,
The step of adjusting the quality
The quality is adjusted using the bit rate of the multimedia source according to the user request according to the state of the network corresponding to the terminal so that the multimedia source corresponding to the service request can be seamlessly transmitted through the network corresponding to the terminal Wherein the multimedia streaming service is a multimedia streaming service. 청구항 11에 있어서,
상기 서비스 품질을 조절하는 단계는
상기 멀티미디어 소스를 제공하는 초고화질 소스 제공 장치가 네트워크에 따라 스트리밍 화질을 조절할 수 있는 DASH(Dynamic Adaptive Streaming over HTTP)기반의 초고화질(Ultra High Definition; UHD) 멀티미디어 제공 서버일 경우, 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크의 대역폭을 동적으로 조절할지 여부를 판단하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 11,
The step of adjusting the quality of service
In case of an ultra high definition (UHD) multimedia providing server based on Dynamic Adaptive Streaming over HTTP (DASH) capable of adjusting the streaming image quality according to a network, the ultra high definition source providing apparatus for providing the multimedia source, And determining whether to dynamically adjust the bandwidth of the network corresponding to the providing server. 청구항 12에 있어서,
상기 서비스 품질을 조절하는 단계는
상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질이 상기 단말에 상응하는 네트워크 품질보다 떨어지는 경우, SR-IOV(Single Root Input/Output Virtualization)기술을 기반으로 상기 대역폭을 조절하여 상기 초고화질 멀티미디어 제공 서버에 상응하는 네트워크 품질을 높이는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 12,
The step of adjusting the quality of service
And controlling the bandwidth based on a Single Root Input / Output Virtualization (SR-IOV) technique when the network quality corresponding to the ultra high definition multimedia providing server is lower than the network quality corresponding to the terminal, And the corresponding network quality is improved. 청구항 13에 있어서,
상기 가상 머신은
상기 초고화질 멀티미디어 제공 서버로 상기 서비스 요청 및 상기 품질 중 적어도 하나에 상응하는 상기 멀티미디어 소스를 요청하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.14. The method of claim 13,
The virtual machine
And requesting the multimedia source corresponding to at least one of the service request and the quality to the ultra high definition multimedia providing server. 청구항 12에 있어서,
상기 초고화질 멀티미디어 스트리밍 서비스 방법은
상기 초고화질 소스 제공 장치가 초고화질 카메라일 경우에, 상기 초고화질 카메라로부터 수신되는 상기 멀티미디어 소스의 원본 영상에 복수 개의 비트율들을 적용하여 복수 개의 멀티미디어 파일들로 인코딩하는 단계; 및
상기 복수 개의 멀티미디어 파일들을 멀티미디어 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 12,
The ultra high definition multimedia streaming service method
Encoding a source image of the multimedia source received from the super high definition camera into a plurality of multimedia files by applying a plurality of bit rates when the super high definition source providing apparatus is an ultra high definition camera; And
Further comprising the step of storing the plurality of multimedia files in a multimedia database. 청구항 15에 있어서,
상기 품질을 조절하는 단계는
상기 복수 개의 멀티미디어 파일들 중 상기 단말에 상응하는 네트워크 품질에 상응하는 멀티미디어 파일을 상기 가상 머신으로 제공하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.16. The method of claim 15,
The step of adjusting the quality
And providing a multimedia file corresponding to the network quality corresponding to the terminal among the plurality of multimedia files to the virtual machine. 청구항 10에 있어서,
상기 서비스를 제공하는 단계는
상기 사용자의 단말에서 구동할 수 있는 코덱을 이용하여 상기 실행 화면 이미지를 인코딩하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 10,
The step of providing the service
Wherein the execution screen image is encoded using a codec that can be operated by the terminal of the user. 청구항 10에 있어서,
상기 멀티미디어 소스를 실행하는 단계는
동적 적응형 HEVC 플레이어(Dynamic Adaptive HEVC Play, DAHP)를 이용하여 상기 품질이 조절된 멀티미디어 소스를 실행하는 것을 특징으로 하는 초고화질 멀티미디어 스트리밍 서비스 방법.The method of claim 10,
The step of executing the multimedia source
Characterized in that the multimedia source is controlled by using the dynamic adaptive HEVC player (DAHP).
KR1020140193283A 2014-12-30 2014-12-30 Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud KR20160080929A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140193283A KR20160080929A (en) 2014-12-30 2014-12-30 Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140193283A KR20160080929A (en) 2014-12-30 2014-12-30 Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud

Publications (1)

Publication Number Publication Date
KR20160080929A true KR20160080929A (en) 2016-07-08

Family

ID=56503248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140193283A KR20160080929A (en) 2014-12-30 2014-12-30 Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud

Country Status (1)

Country Link
KR (1) KR20160080929A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2020080873A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10817989B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10819993B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US10825205B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10950009B2 (en) 2018-10-19 2021-03-16 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
CN112868229A (en) * 2018-10-19 2021-05-28 三星电子株式会社 Method and apparatus for streaming data
US11395001B2 (en) 2019-10-29 2022-07-19 Samsung Electronics Co., Ltd. Image encoding and decoding methods and apparatuses using artificial intelligence
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
US11720998B2 (en) 2019-11-08 2023-08-08 Samsung Electronics Co., Ltd. Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101173335B1 (en) 2008-12-19 2012-08-10 한국전자통신연구원 Image partition based ultra-high definition video encoder and decoder and controlling method for the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101173335B1 (en) 2008-12-19 2012-08-10 한국전자통신연구원 Image partition based ultra-high definition video encoder and decoder and controlling method for the same

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10950009B2 (en) 2018-10-19 2021-03-16 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
US10817985B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10817989B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10817987B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US20200126185A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
US10819992B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US10817988B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
CN112868229A (en) * 2018-10-19 2021-05-28 三星电子株式会社 Method and apparatus for streaming data
US10817986B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11170534B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825204B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US10825205B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825206B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10825203B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10832447B2 (en) 2018-10-19 2020-11-10 Samsung Electronics Co., Ltd. Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
US10937197B2 (en) 2018-10-19 2021-03-02 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US10819993B2 (en) 2018-10-19 2020-10-27 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
WO2020080873A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US10825139B2 (en) 2018-10-19 2020-11-03 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11170472B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11170473B2 (en) 2018-10-19 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US20210358083A1 (en) 2018-10-19 2021-11-18 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11190782B2 (en) 2018-10-19 2021-11-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US11200702B2 (en) 2018-10-19 2021-12-14 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
US11288770B2 (en) 2018-10-19 2022-03-29 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11748847B2 (en) 2018-10-19 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
US11647210B2 (en) 2018-10-19 2023-05-09 Samsung Electronics Co., Ltd. Methods and apparatuses for performing encoding and decoding on image
US11663747B2 (en) 2018-10-19 2023-05-30 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US11688038B2 (en) 2018-10-19 2023-06-27 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US11405637B2 (en) 2019-10-29 2022-08-02 Samsung Electronics Co., Ltd. Image encoding method and apparatus and image decoding method and apparatus
US11395001B2 (en) 2019-10-29 2022-07-19 Samsung Electronics Co., Ltd. Image encoding and decoding methods and apparatuses using artificial intelligence
US11720998B2 (en) 2019-11-08 2023-08-08 Samsung Electronics Co., Ltd. Artificial intelligence (AI) encoding apparatus and operating method thereof and AI decoding apparatus and operating method thereof

Similar Documents

Publication Publication Date Title
KR20160080929A (en) Apparatus and method of adaptive ultra high definition multimedia streaming service based on cloud
JP6469788B2 (en) Using quality information for adaptive streaming of media content
US8804508B1 (en) Method and apparatus for using a network appliance to manage media communications
US9049271B1 (en) Switch-initiated congestion management method
CN107209693B (en) Buffer optimization
US8922665B2 (en) Rapidly initializing and dynamically adjusting media streams
CN105577819B (en) A kind of share system of virtualization desktop, sharing method and sharing apparatus
US8902967B2 (en) Systems and methods for distributed media stream transcoding and sharing
US20160029079A1 (en) Method and Device for Playing and Processing a Video Based on a Virtual Desktop
CN105262825A (en) SPICE cloud desktop transporting and displaying method and system on the basis of H.265 algorithm
US10869048B2 (en) Method, device and system for transmitting and receiving pictures using a hybrid resolution encoding framework
US10575008B2 (en) Bandwidth management in devices with simultaneous download of multiple data streams
US20180184089A1 (en) Target bit allocation for video coding
US20150341634A1 (en) Method, apparatus and system to select audio-video data for streaming
GB2556743A (en) Management of memory for storing display data
US20140226711A1 (en) System and method for self-adaptive streaming of multimedia content
US10609383B2 (en) Video compression using down-sampling patterns in two phases
WO2015085873A1 (en) Video code stream obtaining method and apparatus
WO2017160404A1 (en) User input based adaptive streaming
KR20160015128A (en) System for cloud streaming service, method of cloud streaming service based on type of image and apparatus for the same
WO2020257312A1 (en) Shared resource for transformation of data
KR20160093929A (en) System for cloud streaming service, method of image cloud streaming service using simultaneous encoding and apparatus for the same
Tang et al. Hybrid remote display protocol for mobile thin client computing
Bundulis et al. Use of H. 264 real-time video encoding to reduce display wall system bandwidth consumption
US20230031245A1 (en) Encoder changes

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination