KR20160120017A - System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same - Google Patents

System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same Download PDF

Info

Publication number
KR20160120017A
KR20160120017A KR1020150048951A KR20150048951A KR20160120017A KR 20160120017 A KR20160120017 A KR 20160120017A KR 1020150048951 A KR1020150048951 A KR 1020150048951A KR 20150048951 A KR20150048951 A KR 20150048951A KR 20160120017 A KR20160120017 A KR 20160120017A
Authority
KR
South Korea
Prior art keywords
image
compressed image
application execution
cloud streaming
execution screen
Prior art date
Application number
KR1020150048951A
Other languages
Korean (ko)
Other versions
KR102307539B1 (en
Inventor
김동국
Original Assignee
엔트릭스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔트릭스 주식회사 filed Critical 엔트릭스 주식회사
Priority to KR1020150048951A priority Critical patent/KR102307539B1/en
Publication of KR20160120017A publication Critical patent/KR20160120017A/en
Priority to KR1020210123428A priority patent/KR102426670B1/en
Application granted granted Critical
Publication of KR102307539B1 publication Critical patent/KR102307539B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Abstract

Disclosed are a cloud streaming service system, an image cloud streaming service method using process shortening, and an apparatus therefor. The cloud streaming server of the present invention may receive an application executed screen, capture images corresponding to a changed portion of the application executed screen, determine whether the process shortening is applied to at least some of the captured images, acquire a compressed image corresponding to the at least a portion of a compressed image cache without encoding a still image when the process shortening is applied, and transmit the compressed image to a terminal of a user. At an image cloud streaming service, a still image encoding process for an image is shortened, so that it is possible to save resources of a cloud streaming server and increase a concurrent connection rate.

Description

클라우드 스트리밍 서비스 시스템, 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 {SYSTEM FOR CLOUD STREAMING SERVICE, METHOD OF IMAGE CLOUD STREAMING SERVICE USING PROCESS SHORTERING AND APPARATUS FOR THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image cloud streaming service method and an image cloud streaming service method using the stream cloud service system,

본 발명은 이미지 기반의 클라우드 스트리밍 서비스 시, 스틸 이미지 인코딩된 이미지를 저장하는 캐시를 활용하여 스틸 이미지 인코딩에 해당하는 프로세스를 단축함으로써 서버의 리소스를 절약할 수 있는 클라우드 스트리밍 서비스 시스템, 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치에 관한 것이다.The present invention relates to a cloud streaming service system capable of saving resources of a server by shortening a process corresponding to still image encoding by utilizing a cache for storing still image encoded images in an image-based cloud streaming service, To an image cloud streaming service method and apparatus therefor.

인터넷의 급속한 발달은 개인의 통신 속도를 급격히 향상시키는 결과를 가져왔으며, 이러한 통신 속도의 향상은 원격지에 위치한 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경을 제공하고 있다.The rapid development of the Internet has resulted in a rapid increase in the communication speed of an individual. The improvement in the communication speed can be achieved by downloading or uploading a large amount of data by accessing a computer located at a remote place, or by using a remote computer control program, As well as providing an environment in which a remote computer can be used.

또한, 스마트폰과 같은 이동통신 단말에서 구동되는 어플리케이션이 다양하게 개발되면서, 비교적 낮은 성능의 사용자 단말에서 높은 성능을 필요로 하는 어플리케이션을 구동하기 위한 가상화 기술들이 많이 제안되고 있다. In addition, as a variety of applications have been developed for mobile communication terminals such as smart phones, many virtualization technologies have been proposed for driving applications requiring high performance in relatively low performance user terminals.

그 중에서 어플리케이션을 서버에서 구동시키고 구동화면은 비디오 인코딩(Encoding)을 통해 압축하여 클라이언트로 전송하고, 클라이언트는 전송된 비디오를 재생하여 마치 자신의 단말에서 어플리케이션이 구동되는 것과 같은 효과를 내는 화면 가상화 기반의 클라우드 스트리밍 서비스가 각광받고 있는 추세이다.Among them, the application is driven on the server, the driving screen is compressed through video encoding and transmitted to the client, and the client reproduces the transmitted video to generate a screen virtualization Cloud streaming service is becoming popular.

클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되었다. 그러나 메뉴 디스플레이와 같이 정적인 화면을 서비스 하는 경우에도 불필요하게 화면 전체를 캡처하고 비디오 코덱을 이용하여 동작하게 되어 시스템 전체적으로 비효율적인 측면이 존재하였다.The cloud streaming service basically adopts the cloud streaming method based on the video codec. However, even when a static screen such as a menu display is serviced, the entire screen is unnecessarily captured and operated using a video codec, which makes the overall system ineffective.

따라서, 정적인 화면의 이미지만을 캡처하여 서비스를 제공하되, 캡처된 이미지를 스틸 이미지 인코딩하여 저장하는 캐시를 이용하여 서비스를 제공하기 위한 전체 프로세스 중 스틸 이미지 인코딩을 수행하는 프로세스를 단축시킬 수 있는 이미지 기반의 클라우드 스트리밍 서비스 기술이 절실하게 대두된다.Therefore, an image that can shorten the process of performing still image encoding in the entire process for providing a service using a cache for capturing and storing a captured still image, Based cloud streaming service technology.

한국 공개 특허 제2014-0047916호, 2014년 04월 23일 공개 (명칭: 데이터 압축 장치 및 방법, 데이터 압축 장치를 포함하는 메모리 시스템)Korean Patent Publication No. 2014-0047916, published on Apr. 23, 2014 (name: data compression apparatus and method, memory system including data compression apparatus)

본 발명의 목적은, 이미지 기반의 클라우드 스트리밍 서비스 시 이미지에 대한 스틸 이미지 인코딩을 수행하는 과정을 단축함으로써 클라우드 스트리밍 서버의 리소스를 절약하는 것이다.An object of the present invention is to save resources of a cloud streaming server by shortening the process of performing still image encoding on an image in an image-based cloud streaming service.

또한, 본 발명의 목적은 사용자가 클라우드 스트리밍 서버에 접속하기 전에 어플리케이션의 실행화면들 중 접속률이 높은 화면을 미리 압축 이미지 캐시에 저장함으로써 보다 화질이 향상된 서비스를 제공하는 것이다.It is another object of the present invention to provide a service with improved image quality by storing a screen having a high connection rate in a compressed image cache in advance among execution screens of an application before a user accesses a cloud streaming server.

또한, 본 발명의 목적은 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공하는 것이다.It is another object of the present invention to provide a high-performance application execution screen even in a low-end terminal by processing only the changed image on the application execution screen and providing it to the user terminal.

상기한 목적을 달성하기 위한 본 발명에 따른 서버는, 어플리케이션 실행화면을 수신하는 수신부; 상기 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단하는 단축 적용 판단부; 상기 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 상기 적어도 일부에 상응하는 압축 이미지를 획득하는 프로세스 단축부; 및 상기 압축 이미지를 사용자의 단말로 전송하는 전송부를 포함한다.According to an aspect of the present invention, there is provided a server including: a receiving unit for receiving an application execution screen; An abbreviation application determining unit for capturing images corresponding to the changed portions in the application execution screen and determining whether or not process shortening is applied to at least a part of the captured images; A process abbreviation for obtaining a compressed image corresponding to the at least a portion in a compressed image cache without performing still image encoding when the process abbreviation is applied; And a transmission unit for transmitting the compressed image to a user terminal.

이 때, 단축 적용 판단부는 상기 적어도 일부의 해시 값을 계산하고, 상기 압축 이미지 캐시에 상기 해시 값에 상응하는 상기 압축 이미지가 존재하는 경우에 상기 프로세스 단축이 적용되는 것으로 판단할 수 있다.In this case, the shortening application determining unit may calculate the at least some hash value, and may determine that the process shortening is applied when the compressed image corresponding to the hash value exists in the compressed image cache.

이 때, 클라우드 스트리밍 서버는 어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 상기 압축 이미지 캐시에 저장하는 사전 압축 이미지 캐싱부를 더 포함할 수 있다.In this case, the cloud streaming server may further include a pre-compressed image caching unit for storing a still image encoding the at least one basic application execution screen among a plurality of application execution screens corresponding to the application, and storing the still image in the compressed image cache.

이 때, 사전 압축 이미지 캐싱부는 상기 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 상기 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 중 적어도 하나를 상기 압축 이미지 캐시의 캐시 테이블에 저장할 수 있다.At this time, the pre-compressed image caching unit may store at least one of the original image of the at least one basic application execution screen and the compressed image generated by still image encoding the at least one basic application execution screen in the cache table of the compressed image cache .

이 때, 단축 적용 판단부는 상기 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 상기 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 상기 참조 테이블 항목에 포함된 원본 이미지와 상기 적어도 일부를 비교하여 일치하는 경우에 상기 압축 이미지가 존재하는 것으로 판단할 수 있다.At this time, the short-term application determining unit searches for a reference table item having a table address corresponding to the hash value among at least one table item constituting the cache table, and determines whether the original image included in the reference table item It can be determined that the compressed image exists when they are compared with each other.

이 때, 프로세스 단축부는 상기 참조 테이블 항목에 포함된 상기 압축 이미지를 획득할 수 있다.At this time, the process shortening unit may obtain the compressed image included in the reference table item.

이 때, 전송부는 상기 프로세스 단축이 적용되지 않는 경우, 상기 이미지들에 대한 스틸 이미지 인코딩을 수행하여 상기 단말로 전송할 수 있다.In this case, if the process shortening is not applied, the transmitting unit may perform still image encoding on the images and transmit the still image to the terminal.

이 때, 클라우드 스트리밍 서버는 스틸 이미지 인코딩된 상기 이미지들을 단말로 전송하기 전에 상기 압축 이미지 캐시에 추가로 저장하는 추가 캐싱부를 더 포함할 수 있다.At this time, the cloud streaming server may further include an additional caching unit for storing the still image encoded images in the compressed image cache before transmitting them to the terminal.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면은 상기 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 상기 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 적어도 하나에 상응할 수 있다.At this time, at least one basic application execution screen may include an application execution screen corresponding to a connection count of the plurality of application execution screens equal to or greater than a preset reference number, and an access step of the plurality of application execution screens, And may correspond to at least one of the application execution screens corresponding to the upper level.

또한, 본 발명에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은, 어플리케이션 실행화면을 수신하는 단계; 상기 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단하는 단계; 상기 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 상기 적어도 일부에 상응하는 압축 이미지를 획득하는 단계; 및 상기 압축 이미지를 사용자의 단말로 전송하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image cloud streaming service method using a process shortening method, comprising: receiving an application execution screen; Capturing images corresponding to changed portions of the application execution screen and determining whether process shortening is applied to at least some of the captured images; Obtaining a compressed image corresponding to the at least a portion in a compressed image cache without performing still image encoding when the process shortening is applied; And transmitting the compressed image to a user's terminal.

이 때, 판단하는 단계는 상기 적어도 일부의 해시 값을 계산하고, 상기 압축 이미지 캐시에 상기 해시 값에 상응하는 상기 압축 이미지가 존재하는 경우에 상기 프로세스 단축이 적용되는 것으로 판단할 수 있다.At this time, the determining step may calculate the at least some hash value, and determine that the process shortening is applied when the compressed image corresponding to the hash value exists in the compressed image cache.

이 때, 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 상기 압축 이미지 캐시에 저장하는 단계를 더 포함할 수 있다.In this case, the image cloud streaming service method may further include a step of encoding a still image of at least one basic application execution screen among a plurality of application execution screens corresponding to the application and storing the still image in the compressed image cache.

이 때, 저장하는 단계는 상기 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 상기 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 중 적어도 하나를 상기 압축 이미지 캐시의 캐시 테이블에 저장할 수 있다.At this time, the storing step may store at least one of the original image of the at least one basic application execution screen and the compressed image generated by still image encoding the at least one basic application execution screen in the cache table of the compressed image cache have.

이 때, 판단하는 단계는 상기 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 상기 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 상기 참조 테이블 항목에 포함된 원본 이미지와 상기 적어도 일부를 비교하여 일치하는 경우에 상기 압축 이미지가 존재하는 것으로 판단할 수 있다.In this case, the determining step may include: searching a reference table item having a table address corresponding to the hash value among at least one table item constituting the cache table, and comparing the original image included in the reference table item with the at least a part It can be determined that the compressed image exists when they are compared with each other.

이 때, 압축 이미지를 획득하는 단계는 상기 참조 테이블 항목에 포함된 상기 압축 이미지를 획득할 수 있다.At this time, the step of acquiring the compressed image may acquire the compressed image included in the reference table item.

이 때, 전송하는 단계는 상기 프로세스 단축이 적용되지 않는 경우, 상기 이미지들에 대한 스틸 이미지 인코딩을 수행하여 상기 단말로 전송할 수 있다.In this case, if the process shortening is not applied, the transmitting step may perform still image encoding on the images and transmit the still image to the terminal.

이 때, 이미지 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 상기 이미지들을 단말로 전송하기 전에 상기 압축 이미지 캐시에 추가로 저장하는 단계를 더 포함할 수 있다.At this time, the image cloud streaming service method may further include storing the still image encoded images in the compressed image cache before transmitting them to the terminal.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면은 상기 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 상기 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 적어도 하나에 상응할 수 있다.At this time, at least one basic application execution screen may include an application execution screen corresponding to a connection count of the plurality of application execution screens equal to or greater than a preset reference number, and an access step of the plurality of application execution screens, And may correspond to at least one of the application execution screens corresponding to the upper level.

본 발명에 따르면, 이미지 기반의 클라우드 스트리밍 서비스 시 이미지에 대한 스틸 이미지 인코딩을 수행하는 과정을 단축함으로써 클라우드 스트리밍 서버의 리소스를 절약할 수 있다.According to the present invention, resources of a cloud streaming server can be saved by shortening the process of performing still image encoding on an image in an image-based cloud streaming service.

또한, 본 발명은 사용자가 클라우드 스트리밍 서버에 접속하기 전에 어플리케이션의 실행화면들 중 접속률이 높은 화면을 미리 압축 이미지 캐시에 저장함으로써 보다 화질이 향상된 서비스를 제공할 수 있다.In addition, the present invention can provide a service with improved image quality by storing a screen having a high connection rate among execution screens of an application beforehand in a compressed image cache before a user connects to a cloud streaming server.

또한, 본 발명은 어플리케이션 실행화면에서 변화된 이미지만을 처리하여 사용자 단말로 제공함으로써 저사양의 단말에서도 고사양의 어플리케이션 실행화면을 제공할 수 있다.In addition, according to the present invention, only the changed image is processed on the application execution screen and provided to the user terminal, thereby providing a high-performance application execution screen even in low-end terminals.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 압축 이미지 캐시의 캐시 테이블을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따라 프로세스 단축 적용 여부를 판단하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 어플리케이션 실행화면에서 이미지들을 캡처하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 상세하게 나타낸 동작 흐름도이다.
도 8은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 과정을 나타낸 도면이다.
1 is a block diagram illustrating a cloud streaming service system according to an embodiment of the present invention.
2 is a block diagram illustrating an example of the cloud streaming server shown in FIG.
3 is a diagram illustrating a cache table of a compressed image cache according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a process for determining whether or not a process shortening is applied according to an embodiment of the present invention.
5 is a diagram illustrating a process of capturing images on an application execution screen according to an embodiment of the present invention.
6 is a flowchart illustrating an image cloud streaming service method using a process shortening process according to an exemplary embodiment of the present invention.
7 is a detailed flowchart illustrating an image cloud streaming service method using a process shortening process according to an embodiment of the present invention.
8 is a flowchart illustrating an image cloud streaming service process using a process shortening process according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible. Also, the terms first, second, etc. are used for describing various components and are used only for the purpose of distinguishing one component from another component, and are not used to define the components.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a cloud streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 단말(120-1~ 120-N) 및 네트워크(130)를 포함한다.Referring to FIG. 1, a cloud streaming service system according to an embodiment of the present invention includes a cloud streaming server 110, terminals 120-1 to 120-N, and a network 130. FIG.

클라우드 스트리밍 서버(110)는 어플리케이션 실행화면을 수신한다.The cloud streaming server 110 receives an application execution screen.

또한, 클라우드 스트리밍 서버(110)는 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단한다.In addition, the cloud streaming server 110 captures images corresponding to the changed portions of the application execution screen, and determines whether or not process shortening is applied to at least some of the captured images.

이 때, 적어도 일부의 해시 값을 계산하고, 압축 이미지 캐시에 해시 값에 상응하는 압축 이미지가 존재하는 경우에 프로세스 단축이 적용되는 것으로 판단할 수 있다.At this time, it is possible to calculate at least some hash values, and judge that the process shortening is applied when there is a compressed image corresponding to the hash value in the compressed image cache.

캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 참조 테이블 항목에 포함된 원본 이미지와 적어도 일부를 비교하여 일치하는 경우에 압축 이미지가 존재하는 것으로 판단할 수 있다.A reference table entry having a table address corresponding to a hash value of at least one table entry constituting the cache table is searched and at least a part of the original image included in the reference table entry is compared to find that a compressed image exists .

또한, 클라우드 스트리밍 서버(110)는 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 적어도 일부에 상응하는 압축 이미지를 획득한다.In addition, the cloud streaming server 110 obtains a compressed image corresponding to at least a portion of the compressed image cache, without performing still image encoding when process shortening is applied.

이 때, 참조 테이블 항목에 포함된 압축 이미지를 획득할 수 있다.At this time, the compressed image contained in the reference table item can be obtained.

또한, 클라우드 스트리밍 서버(110)는 압축 이미지를 사용자의 단말(120-1~ 120-N)로 전송한다.In addition, the cloud streaming server 110 transmits the compressed image to the user terminals 120-1 to 120-N.

이 때, 프로세스 단축이 적용되지 않는 경우, 이미지들에 대한 스틸 이미지 인코딩을 수행하여 단말(120-1~ 120-N)로 전송할 수 있다.At this time, if the process shortening is not applied, still image encoding on the images may be performed and transmitted to the terminals 120-1 to 120-N.

또한, 클라우드 스트리밍 서버(110)는 어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 압축 이미지 캐시에 저장한다.In addition, the cloud streaming server 110 may still image-encode at least one of the plurality of application execution screens corresponding to the application and store the same in the compressed image cache.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 중 적어도 하나를 압축 이미지 캐시의 캐시 테이블에 저장할 수 있다.At this time, at least one of the original image of the at least one basic application execution screen and the compressed image generated by still image encoding of the at least one basic application execution screen may be stored in the cache table of the compressed image cache.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면은 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 적어도 하나에 상응할 수 있다.At this time, at least one basic application execution screen includes an application execution screen corresponding to a connection count of a plurality of application execution screens equal to or greater than a predetermined reference number, and an application execution screen corresponding to an access step among a plurality of application execution screens, Lt; RTI ID = 0.0 > application < / RTI >

또한, 클라우드 스트리밍 서버(110)는 스틸 이미지 인코딩된 이미지들을 단말로 전송하기 전에 압축 이미지 캐시에 추가로 저장할 수 있다.In addition, the cloud streaming server 110 may further store the still image encoded images in a compressed image cache prior to transmission to the terminal.

단말(120-1~ 120-N)은 클라우드 스트리밍 서버(110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행화면을 수신하여 사용자에게 제공한다.The terminals 120-1 to 120-N receive an application execution screen corresponding to the cloud streaming service from the cloud streaming server 110 and provide them to the user.

또한, 단말(120-1~ 120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말(120-1~ 120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.The terminals 120-1 to 120-N are connected to a communication network and are capable of executing applications on the basis of a cloud computing system. The terminals 120-1 to 120-N are not limited to the mobile communication terminal but may be any information communication device, multimedia terminal, A fixed terminal and an IP (Internet Protocol) terminal. Each of the terminals 120-1 to 120-N may be a mobile phone, a portable multimedia player (PMP), a mobile Internet device (MID), a smart phone, a desktop, a tablet PC, A mobile terminal having various mobile communication specifications such as a notebook computer, a notebook computer, a netbook, a personal digital assistant (PDA), a smart TV, and an information communication device.

또한, 단말(120-1~ 120-N)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말(120-1~ 120-N)의 기능 제어와 관련하여 입력되는 신호를 입력부를 통해 제어부로 전달할 수 있다. 또한, 단말(120-1~ 120-N)의 입력부는 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성할 수 있다. 이 때, 단말(120-1~ 120-N)의 입력부는 단말(120-1~ 120-N)의 표시부와 함께 하나의 터치패널(또는 터치 스크린(touch screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 단말(120-1~ 120-N)의 입력부는 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 입력부는 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드 하기 위한 입력 신호를 단말(120-1~ 120-N)의 제어부로 전달할 수 있다.The terminals 120-1 to 120-N receive various kinds of information such as numeric and character information, set various functions, and input signals related to the function control of the terminals 120-1 to 120-N And can be transmitted to the control unit through the input unit. The input unit of the terminals 120-1 to 120-N may include at least one of a keypad and a touchpad for generating an input signal according to a user's touch or operation. At this time, the input units of the terminals 120-1 to 120-N are configured in the form of one touch panel (or touch screen) together with the display units of the terminals 120-1 to 120-N, Display function can be performed at the same time. The input unit of the terminals 120-1 to 120-N may be any type of input unit that can be developed in addition to an input unit such as a keyboard, a keypad, a mouse, a joystick, and the like. In particular, the input units of the terminals 120-1 to 120-N according to the present invention can transmit input signals for uploading or downloading contents based on cloud computing to the control units of the terminals 120-1 to 120-N.

또한, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시할 수 있다. 또한, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 단말(120-1~ 120-N)의 표시부는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이 때, 단말(120-1~ 120-N)의 표시부가 터치스크린 형태로 구성된 경우, 단말(120-1~ 120-N)의 표시부는 단말(120-1~ 120-N)의 입력부의 기능 중 일부 또는 전부를 수행할 수 있다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 표시부는 클라우드 컴퓨팅 기반으로 제공되는 컨텐츠의 실행과 관련된 정보를 화면으로 표시할 수 있다.In addition, the display unit of the terminals 120-1 to 120-N can display information on a series of operation states, operation results, and the like that occur during the performance of the functions of the terminals 120-1 to 120-N. In addition, the display units of the terminals 120-1 to 120-N can display menus of the terminals 120-1 to 120-N and user data input by the user. The display units of the terminals 120-1 to 120-N may be a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), a light emitting diode (LED) An organic light emitting diode (OLED), an organic light emitting diode (AMOLED), an active matrix OLED, a retina display, a flexible display, and a three-dimensional display have. At this time, when the display units of the terminals 120-1 to 120-N are configured as touch screens, the display units of the terminals 120-1 to 120-N function as the input units of the terminals 120-1 to 120- Some or all of them. In particular, the display unit of the terminals 120-1 to 120-N according to the present invention can display information related to execution of content provided on a cloud computing basis on a screen.

또한, 단말(120-1~ 120-N)의 저장부는 데이터를 저장하기 위한 장치로, 주 기억장치 및 보조 기억장치를 포함하고, 단말(120-1~ 120-N)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 단말(120-1~ 120-N)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 단말(120-1~ 120-N)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명에 따른 단말(120-1~ 120-N)의 저장부는 단말(120-1~ 120-N)를 부팅시키는 운영체제, 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 하거나 다운로드하기 위한 프로그램 등을 저장할 수 있다. 또한, 단말(120-1~ 120-N)의 저장부는 다수의 컨텐츠를 저장하는 컨텐츠 DB와 단말(120-1~ 120-N)의 정보를 저장할 수 있다. 이 때, 컨텐츠 DB는 컨텐츠를 실행하기 위한 실행 데이터와 컨텐츠에 대한 속성 정보를 포함하고, 컨텐츠 실행에 따른 컨텐츠 사용 정보 등이 저장될 수 있다. 그리고, 단말(120-1~ 120-N)의 정보는 단말 사양 정보를 포함할 수 있다.The storage units of the terminals 120-1 to 120-N are devices for storing data, and include a main storage device and an auxiliary storage device, and are used for applications required for functional operations of the terminals 120-1 to 120- You can save the program. The storage units of these terminals 120-1 to 120-N may largely include a program area and a data area. Here, when the terminals 120-1 to 120-N activate the respective functions in response to a request from the user, the terminals 120-1 to 120-N provide the respective functions by executing the corresponding application programs under the control of the controller. In particular, the storage units of the terminals 120-1 to 120-N according to the present invention may store an operating system for booting the terminals 120-1 to 120-N, a program for uploading or downloading contents on the basis of cloud computing have. In addition, the storage units of the terminals 120-1 to 120-N may store information of a content DB storing a plurality of contents and information of the terminals 120-1 to 120-N. At this time, the content DB includes execution data for executing the content and attribute information about the content, and content usage information according to the execution of the content can be stored. The information of the terminals 120-1 to 120-N may include terminal specification information.

또한, 단말(120-1~ 120-N)의 통신부는 클라우드 스트리밍 서버(110)와 네트워크(130)을 통해 데이터를 송수신하기 위한 기능을 수행할 수 있다. 여기서 단말(120-1~ 120-N)의 통신부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함할 수 있다. 이러한 단말(120-1~ 120-N)의 통신부는 무선통신 모듈 및 유선통신 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 단말(120-1~ 120-N)이 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 클라우드 스트리밍 서버(110)로 송수신할 수 있다. 또한, 유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 네트워크(130)에 접속하여, 클라우드 스트리밍 서버(110)에 데이터를 송수신할 수 있다. 즉 단말(120-1~ 120-N)은 무선통신 모듈 또는 유선통신 모듈을 이용하여 네트워크(130)에 접속하며, 네트워크(130)을 통해 클라우드 스트리밍 서버(110)와 데이터를 송수신할 수 있다. 특히, 본 발명에 따른 네트워크(130)는 클라우드 스트리밍 서버(110) 또는 다른 단말(120-1~ 120-N)과 통신하여 클라우드 컴퓨팅 기반으로 컨텐츠를 업로드 또는 다운로드 하는데 필요한 데이터를 송수신할 수 있다.In addition, the communication units of the terminals 120-1 to 120-N may perform a function of transmitting and receiving data through the cloud streaming server 110 and the network 130. [ Here, the communication unit of the terminals 120-1 to 120-N may include RF transmitting means for up-converting and amplifying the frequency of the transmitted signal, RF receiving means for low-noise amplifying the received signal and down-converting the frequency . The communication units of the terminals 120-1 to 120-N may include at least one of a wireless communication module and a wired communication module. In the case where the terminals 120-1 to 120-N use wireless communication, the wireless communication module is a module for transmitting and receiving data according to a wireless communication method. The wireless communication module, the wireless LAN communication module, The data can be transmitted / received to / from the cloud streaming server 110 by using any one of them. The wired communication module is for transmitting / receiving data by wire. The wired communication module may connect to the network 130 through a wired network and transmit / receive data to / from the cloud streaming server 110. That is, the terminals 120-1 to 120-N access the network 130 using a wireless communication module or a wired communication module and transmit and receive data to and from the cloud streaming server 110 through the network 130. [ In particular, the network 130 according to the present invention can communicate with the cloud streaming server 110 or other terminals 120-1 to 120-N to transmit / receive data necessary for uploading or downloading content based on cloud computing.

또한, 단말 장치(120-1~ 120-N)의 제어부는 운영 체제((OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 클라우드 스트리밍 서버(110)에 접속하는 과정 전반을 제어할 수 있다. 별도의 서비스 어플리케이션을 통해 클라우드 스트리밍 서버(110)에 접속하는 경우, 사용자의 요청에 따라 서비스 어플리케이션을 실행되는 과정 전반을 제어할 수 있으며, 실행과 동시에 클라우드 스트리밍 서버(110)로 서비스 이용 요청이 전송되도록 제어할 수 있으며, 이때 사용자 인증에 필요한 단말(120-1~ 120-N)의 정보가 함께 전송되도록 제어할 수 있다.The control unit of the terminal devices 120-1 to 120-N may be an operating system (OS) and a process unit for driving each configuration. For example, the control unit may include a cloud streaming server 110, When accessing the cloud streaming server 110 through a separate service application, it is possible to control the entire process of executing the service application according to the request of the user, and at the same time, It is possible to control the streaming server 110 to transmit the service use request and control the information of the terminals 120-1 to 120-N necessary for user authentication to be transmitted together.

또한, 단말(120-1~ 120-N)의 제어부는 사용자의 요청에 따라 단말(120-1~ 120-N)의 저장부에 저장된 특정 컨텐츠를 실행할 수 있다. 이때, 제어부는 컨텐츠 실행에 따른 컨텐츠 사용 이력을 컨텐츠 사용 정보로 저장할 수 있다.In addition, the control units of the terminals 120-1 to 120-N can execute the specific contents stored in the storage units of the terminals 120-1 to 120-N according to the request of the user. At this time, the control unit may store the content usage history according to the execution of the content as the content usage information.

또한, 단말(120-1~ 120-N)의 제어부는 컨텐츠를 실행하기 위한 실행 데이터와, 컨텐츠에 대한 속성 정보를 포함하는 컨텐츠 정보와, 컨텐츠 사용 이력에 따른 정보인 컨텐츠 사용 정보를 함께 클라우드 스트리밍 서버(110)로 전송하여 업로드 할 수 있다. 이후, 제어부는 클라우드 스트리밍 서버(110)에 전송하여 업로드된 컨텐츠에 대해서는 사용자의 요청에 따라 단말(120-1~ 120-N)의 저장부에서 삭제할 수 있으며, 클라우드 스트리밍 서버(110)에 접속하여 클라우드 스트리밍 서버(110)를 통해 컨텐츠를 실행하여 이용할 수도 있다.In addition, the control unit of the terminals 120-1 to 120-N may execute execution data for executing the content, content information including attribute information about the content, and content usage information, which is information according to the content usage history, And uploaded to the server 110 for uploading. Then, the controller transmits the uploaded content to the cloud streaming server 110, deletes the uploaded content from the storage unit of the terminals 120-1 to 120-N according to the user's request, connects to the cloud streaming server 110 The content may be executed through the cloud streaming server 110 and used.

또한, 단말(120-1~ 120-N)의 제어부는 클라우드 스트리밍 서버(110)에 접속하여 다른 단말(120-1~ 120-N)로부터 컨텐츠를 다운로드한 후 저장부에 저장되도록 제어할 수도 있으며, 클라우드 스트리밍 서버(110)를 통해 컨텐츠 실행 시, 실행에 필요한 데이터만을 수신한 후 컨텐츠가 실행되도록 제어할 수도 있다.In addition, the control units of the terminals 120-1 to 120-N may access the cloud streaming server 110 to download the content from the other terminals 120-1 to 120-N and control the content to be stored in the storage unit , It is also possible to control the content to be executed after receiving only data necessary for execution at the time of executing the content through the cloud streaming server 110.

네트워크(130)는 클라우드 스트리밍 서버(110)및 단말(120-1~ 120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 클라우드 스트리밍 서버(110)와 단말(120-1~ 120-N) 사이에 사용되는 네트워크는 단말(120-1~ 120-N)들 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.The network 130 provides a path for transferring data between the cloud streaming server 110 and the terminals 120-1 to 120-N, and is a concept covering both existing networks and future developable networks . For example, the network 130 may be a wired / wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile objects and mobile objects outside the mobile object, Or a wired / wireless communication network, or a combination of two or more. Meanwhile, the transmission scheme standard of the network 130 is not limited to the existing transmission scheme standard, and may include all transmission scheme standards to be developed in the future. In addition, the network used between the cloud streaming server 110 and the terminals 120-1 to 120-N in FIG. 1 may be different from the network used between the terminals 120-1 to 120-N, It may be the same.

도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.2 is a block diagram illustrating an example of the cloud streaming server shown in FIG.

도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 수신부(210), 사전 압축 이미지 캐싱부(220), 단축 적용 판단부(230), 프로세스 단축부(240), 전송부(250), 추가 캐싱부(260) 및 저장부(270)를 포함한다.2, the cloud streaming server 110 shown in FIG. 1 includes a receiving unit 210, a pre-compressed image caching unit 220, a short-axis application determining unit 230, a process shortening unit 240, 250, an additional caching unit 260, and a storage unit 270.

수신부(210)는 어플리케이션 실행화면을 수신한다.The receiving unit 210 receives an application execution screen.

예를 들어, 도 1에 도시된 단말(120-1)을 통해 사용자가 키를 입력하면, 키 입력에 상응하는 정보를 어플리케이션 서버가 수신할 수 있다. 키 입력을 수신한 어플리케이션 서버는 어플리케이션을 실행할 수 있고, 이에 따라 생성되는 어플리케이션 실행화면을 수신부(210)를 통해 클라우드 스트리밍 서버(110)가 수신할 수 있다.For example, when the user inputs a key through the terminal 120-1 shown in FIG. 1, the application server can receive information corresponding to the key input. The application server receiving the key input can execute the application, and the cloud streaming server 110 can receive the generated application execution screen through the receiving unit 210.

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 단말의 키 입력을 획득하거나, 어플리케이션 서버로부터 어플리케이션 실행화면을 수신할 수 있다.At this time, a key input of the user terminal can be obtained through a communication network such as the network shown in FIG. 1, or an application execution screen can be received from the application server.

사전 압축 이미지 캐싱부(220)는 어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 압축 이미지 캐시에 저장한다. 예를 들어, 사용자가 클라우드 스트리밍 서버에 처음으로 접속한다고 가정한다면, 압축 이미지 캐시에 스틸 이미지 인코딩되어 저장된 압축 이미지가 없기 때문에 스틸 이미지 인코딩을 수행하여 서비스를 제공해야 할 수 있다. 이러한 경우에 시스템의 반응 속도가 느려질 수 있고 고화질의 이미지를 제공하기 어려운 환경일 수 있다.The pre-compressed image caching unit 220 performs still image encoding of at least one basic application execution screen among a plurality of application execution screens corresponding to the application, and stores the still image in the compressed image cache. For example, assuming that the user first connects to the cloud streaming server, since there is no compressed image stored as still image encoding in the compressed image cache, it may be necessary to perform still image encoding to provide the service. In such a case, the reaction speed of the system may be slow and it may be an environment where it is difficult to provide a high-quality image.

따라서, 사용자가 클라우드 스트리밍 서버에 처음 접속하기 이전에, 가상으로 사용자의 단말을 생성하는 방법을 통해 기본적인 어플리케이션 실행화면들을 압축 이미지 캐시에 캐싱할 수 있다. 이와 같이 사전에 기본적인 어플리케이션 실행화면들을 캐싱함으로써 사용자가 클라우드 스트리밍 서버에 처음 접속하여도 압축 이미지 캐시를 통해 프로세스 단축에 따른 서비스를 제공받을 수 있다. Thus, before the user first connects to the cloud streaming server, basic application execution screens can be cached in the compressed image cache by virtually creating a user terminal. By caching basic application execution screens in this way, even if the user first connects to the cloud streaming server, the service according to the process shortening can be provided through the compressed image cache.

또한, 가상으로 생성된 단말로 키 스크립트 입력을 통해 기본적인 어플리케이션 실행화면들을 스틸 이미지 인코딩할 때에는 실제로 사용자가 접속한 경우가 아니므로 스틸 이미지 인코딩 속도가 느려도 문제되지 않을 수 있다. 따라서, 스틸 이미지 인코딩을 느리게 수행하더라도 고화질로 이미지를 압축함으로써 압축 이미지 캐시에 고화질로 스틸 이미지 인코딩된 압축 이미지를 캐싱하여 사용자에게 제공할 수 있다.In addition, when still image encoding of basic application execution screens is performed through a key script input to a virtually created terminal, since the user is not actually connected, the still image encoding speed may be slow even if the speed is low. Therefore, even if the still image encoding is performed slowly, the image can be compressed with high image quality, so that the still image encoded high quality image can be cached in the compressed image cache and provided to the user.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩 방식으로 압축하여 압축 이미지 캐시에 저장할 수 있다. 또한, 스틸 이미지 인코딩 방식은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.At this time, at least one basic application execution screen can be compressed by the still image encoding method and stored in the compressed image cache. Also, the still image encoding method can be determined in consideration of the load generated in the cloud streaming server, the service speed, the image quality of the image, or the performance of the terminal receiving and rendering the encoded image. For example, to improve the speed of the cloud streaming service, you can compress the image with a palette PNG encoding method that has a high compression ratio and low load. In addition, if it is desired to provide a good image quality without regard to the load, the image can be compressed using the PNG 32-bit encoding method or the JPEG encoding method.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 적어도 하나를 압축 이미지 캐시의 캐시 테이블에 저장할 수 있다.At this time, at least one original image of the basic application execution screen and at least one compressed image generated by still image encoding of the basic application execution screen can be stored in the cache table of the compressed image cache.

이 때, 캐시 테이블은 기설정된 테이블 개수에 상응하게 원본 이미지와 압축 이미지를 저장할 수 있다. 또한, 기설정된 테이블 개수는 압축 이미지 캐시의 성능에 따라 캐시의 공간이 큰 경우 테이블 개수를 더 많이 저장할 수 있다.At this time, the cache table can store the original image and the compressed image corresponding to the preset number of tables. Also, the preset number of tables can store more tables if the cache space is large, depending on the performance of the compressed image cache.

또한, 원본 이미지와 압축 이미지를 각각 매칭하여 저장함으로써 해시 값을 이용하여 검색한 원본 이미지의 비교결과를 통해 압축 이미지를 수월하게 획득하도록 할 수 있다.In addition, the original image and the compressed image are matched and stored, respectively, so that the compressed image can be obtained easily through the comparison result of the original image retrieved using the hash value.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면은 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 적어도 하나에 상응할 수 있다. At this time, at least one basic application execution screen includes an application execution screen corresponding to a connection count of a plurality of application execution screens equal to or greater than a predetermined reference number, and an application execution screen corresponding to an access step among a plurality of application execution screens, Lt; RTI ID = 0.0 > application < / RTI >

즉, 기본 어플리케이션 실행화면은 사용자들이 해당 어플리케이션을 실행할 때 많이 접근하는 화면에 상응할 수 있다. 예를 들어, 어플리케이션을 실행하였을 때 제일 처음 나타나는 인덱스 화면이나 첫 페이지 화면이 이에 상응할 수 있다. 또한, 메뉴 항목을 접근 단계별로 나열하였을 때, 메뉴 항목에서 비교적 상위 단계에서 접근할 수 있는 화면이 기본 어플리케이션 실행화면에 상응할 수도 있다. That is, the basic application execution screen may correspond to a screen which is accessed a lot when users execute the application. For example, the first index screen or first page screen that appears when an application is launched may correspond. Also, when the menu items are listed in the approach step, the screen that can be accessed at a relatively high level in the menu item may correspond to the basic application execution screen.

따라서, 이미지 클라우드 스트리밍 서비스 사용자들에 의한 어플리케이션 실행화면 별 접속횟수를 카운트하고, 사용자들이 기설정된 기준 횟수 이상 접근했던 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수 있다. 또한, 메뉴 항목을 기반으로 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수도 있다.Accordingly, it is possible to count the number of connections for each application execution screen by the users of the image cloud streaming service, and to set the application execution screen accessed by the users more than a preset reference number as a default application execution screen. Also, the application execution screen corresponding to the upper level of the access step may be set as the basic application execution screen based on the menu item.

예를 들어, 접근 단계가 1 단계인 메뉴 1 항목을 통해 메뉴 2, 3, 4에 접근할 수 있고, 접근 단계가 2 단계인 메뉴 2 항목을 통해 메뉴 5, 6에 접근할 수 있다고 가정할 수 있다. 이 때, 기설정된 기준 단계가 2 단계라면, 접근 단계가 2 단계보다 상위 단계인 1 단계에 상응하는 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수 있다. 즉, 예시에서는 메뉴 1 항목에 상응하는 어플리케이션 실행화면만을 기본 어플리케이션 실행화면으로 설정할 수 있다.For example, suppose you can access menus 2, 3, and 4 through a menu item 1 with an access step of 1, and access menus 5 and 6 through a menu item 2 with an access step of 2 have. At this time, if the preset reference step is the second step, the application execution screen corresponding to the first step whose access step is higher than the second step can be set as the basic application execution screen. That is, in the example, only the application execution screen corresponding to the menu 1 item can be set as the basic application execution screen.

단축 적용 판단부(230)는 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단한다.The shortening application determining unit 230 captures images corresponding to changed portions in the application execution screen and determines whether or not the process shortening is applied to at least a part of the captured images.

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The cloud streaming technique based on the video codec can capture and encode all the frames corresponding to the screen on which the application operates. However, when the frame-to-frame change on the screen on which the application operates is not large, the still-image encoding is performed by capturing only the change area of the changed frame as compared with the previous frame like the image-based cloud streaming technique, It is possible to display the parts except for the change area in the same manner and display only the change area.

이 때, 수신된 어플리케이션 실행화면을 렌더링하고 렌더링된 어플리케이션 실행화면의 프레임들을 비교하여 변화된 부분에 상응하는 영역들을 이미지들로 캡처할 수 있다. 예를 들어, 현재 프레임과 이전 프레임을 비교하였을 때 현재 프레임이 이전 프레임과 비교하여 변화가 있다면, 현재 프레임의 화면 영역 중 변화된 영역을 이미지로 캡처할 수 있다. 또한, 캡처되는 이미지는 사용자의 단말에서 입력되는 입력신호에 따라 그 사이즈나 성질이 다양할 수 있다.At this time, it is possible to render the received application execution screen and to compare the frames of the rendered application execution screen and to capture the regions corresponding to the changed portion into the images. For example, if the current frame is compared with the previous frame when the current frame is compared with the previous frame, the changed area of the current frame can be captured as an image. In addition, the captured image may vary in size or quality according to an input signal input from a user terminal.

또한, 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 영역의 이미지를 캡처할 수 있다.In addition, it is possible to detect intervals in which the frames change little between frames, and to capture the images in the intervals where there is little change between frames. For example, it may be inefficient to provide an image-based cloud streaming service because there are a large number of images to be captured with a large number of frames between frames. Accordingly, in such a period, a service can be performed through a cloud streaming technique based on a video codec, and an image of a changed region can be captured in order to perform an image-based cloud streaming service only in a period in which there is little change between frames.

이 때, 이미지들 중 적어도 일부의 해시 값을 계산하고, 압축 이미지 캐시에 해시 값에 상응하는 압축 이미지가 존재하는 경우에 프로세스 단축이 적용되는 것으로 판단할 수 있다.At this time, it is possible to calculate the hash value of at least some of the images, and judge that the process shortening is applied when there is a compressed image corresponding to the hash value in the compressed image cache.

이 때, 해시 값은 키 값을 기억 장소의 주소로 변환하는데 사용하는 해싱 함수(hashing funcion)를 이용하여 계산할 수 있다. 즉, 압축 이미지 캐시에 압축 이미지를 저장할 테이블의 주소를 해시 값으로 산출할 수 있다. 따라서, 좋은 해싱 함수의 경우에는 계산이 빠르고 쉬우며, 계산된 주소의 중복이 적을 수 있다. 대표적인 해싱 함수로는 숫자 분석법(digit analysis), 제곱 중간법(mid-square), 나누는 방법(division), 접는 방법(folding) 및 기수 변환법(radix conversion) 등이 있을 수 있다. In this case, the hash value can be calculated using a hashing function used to convert the key value to the address of the storage location. That is, the address of the table to store the compressed image in the compressed image cache can be calculated as a hash value. Thus, for a good hashing function, the computation is fast and easy, and the computed address redundancy can be small. Representative hashing functions may include digit analysis, mid-square, division, folding, and radix conversion.

따라서, 본 발명에서는 캡처된 이미지들을 이용하여 해시 값을 계산하고, 만약 압축 이미지 캐시에 해시 값에 상응하는 압축 이미지가 존재하는 경우 해당 압축 이미지를 이용한 프로세스 단축을 적용할 수 있는 것으로 판단할 수 있다. 예를 들어, 이미지들 각각에 대해 특정 간격으로 비트들을 추출해서 XOR, SHIFT 비트 연산을 수행하는 해싱 알고리즘을 통해 해시 값을 계산할 수 있다. 따라서, 계산된 해시 값에 상응하는 테이블 주소를 따라 압축 이미지가 존재하는지 판단하여 프로세스 단축의 적용 여부를 판단할 수 있다.Therefore, in the present invention, it is possible to calculate the hash value using the captured images, and if the compressed image corresponding to the hash value exists in the compressed image cache, it can be determined that the process shortening using the compressed image can be applied . For example, a hash value can be calculated through a hashing algorithm that extracts bits at specific intervals for each of the images and performs XOR, SHIFT bit operations. Accordingly, it is possible to judge whether or not the process shortening is applied by judging whether a compressed image exists according to the table address corresponding to the calculated hash value.

이 때, 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 참조 테이블 항목에 포함된 원본 이미지와 적어도 일부를 비교하여 일치하는 경우에 압축 이미지가 존재하는 것으로 판단할 수 있다. At this time, a reference table entry having a table address corresponding to a hash value among at least one table entry constituting the cache table is searched, at least a part of the reference image entry included in the reference table entry is compared with the original image, It can be judged that there is a < / RTI >

예를 들어, 캐시 테이블을 구성하는 테이블 항목마다 원본 이미지와 함께 스틸 이미지 인코딩된 압축 이미지가 저장될 수 있다. 따라서, 이를 검색하기 위한 키 값에 상응하는 해시 값을 이용하여 테이블 항목 별로 각각 부여되는 테이블 주소를 검색할 수 있다. 이 때, 테이블 주소 값이 해시 값과 동일한 값일 수 있다. For example, a still image encoded compressed image may be stored together with the original image for each table item constituting the cache table. Therefore, the table address assigned to each table item can be retrieved by using the hash value corresponding to the key value for retrieving the table value. At this time, the table address value may be the same value as the hash value.

또한, 해시 값에 상응하는 참조 테이블 항목이 검색되어도, 참조 테이블 항목에 저장된 원본 이미지가 해시 값을 계산한 이미지와 일치하지 않을 수도 있다. 예를 들어, 해시 알고리즘의 종류나 방법에 따라 여러 이미지가 하나의 해시 값을 중복하여 사용할 수도 있다. 따라서, 해시 값에 상응하는 참조 테이블 항목을 검색한 뒤, 해당 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 캡처된 이미지를 비교하여 일치 여부를 확인하고, 일치하는 경우에만 캡처된 이미지의 압축 이미지가 존재하는 것으로 판단할 수 있다.Also, even if a reference table entry corresponding to the hash value is searched, the original image stored in the reference table entry may not match the image that calculated the hash value. For example, depending on the type and method of the hash algorithm, multiple images may use a single hash value. Therefore, after the reference table entry corresponding to the hash value is retrieved, the original image stored in the corresponding reference table item is compared with the captured image which computes the hash value, It can be determined that the image exists.

프로세스 단축부(240)는 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 이미지들 중 적어도 일부에 상응하는 압축 이미지를 획득한다. 즉, 이미지 기반의 클라우드 스트리밍 서비스의 전체 프로세스 과정 중에서 이미지를 스틸 이미지 인코딩하는 과정을 수행하지 않아도 압축 이미지 캐시를 통해 압축 이미지를 획득할 수 있다. 따라서, 프로세스 단축을 적용하여 압축 이미지를 획득하고, 이로 인해 클라우드 스트리밍 서버의 리소스를 절약할 수 있다.The process shortening unit 240 obtains a compressed image corresponding to at least a part of the images in the compressed image cache without performing still image encoding when process shortening is applied. That is, a compressed image can be obtained through a compressed image cache without performing a process of still image encoding in the entire process of the image-based cloud streaming service. Thus, the process shortening can be applied to obtain a compressed image, thereby saving the resources of the cloud streaming server.

이 때, 참조 테이블 항목에 포함된 압축 이미지를 획득할 수 있다. 캡처된 이미지를 이용하여 계산한 해시 값을 통해, 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 참조 테이블 항목에 저장된 압축 이미지를 획득할 수 있다. At this time, the compressed image contained in the reference table item can be obtained. Through the hash value calculated using the captured image, the reference table item having the table address corresponding to the hash value can be searched, and the compressed image stored in the reference table item can be obtained.

전송부(250)는 압축 이미지를 사용자의 단말로 전송한다.The transmission unit 250 transmits the compressed image to the user terminal.

이 때, 프로세스 단축이 적용되지 않는 경우, 이미지들에 대한 스틸 이미지 인코딩을 수행하여 단말로 전송할 수 있다. 즉, 압축 이미지 캐시에 캡처된 이미지에 상응하는 압축 이미지가 존재하지 않으면, 프로세서를 단축할 수 없기 때문에 캡처된 이미지를 스틸 이미지 인코딩하는 과정을 수행할 수 있다. 이 후, 스틸 이미지 인코딩을 수행하여 생성된 압축 이미지를 단말로 전송하여 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다.At this time, if the process shortening is not applied, still image encoding may be performed on the images to be transmitted to the terminal. That is, if there is no compressed image corresponding to the image captured in the compressed image cache, the process of still image encoding of the captured image can be performed since the processor can not be shortened. Thereafter, the still image encoding is performed and the generated compressed image is transmitted to the terminal to perform an image-based cloud streaming service.

추가 캐싱부(260)는 스틸 이미지 인코딩된 이미지들을 단말로 전송하기 전에 압축 이미지 캐시에 추가로 저장한다. 즉, 사용자의 사용 패턴에 따라 접속했던 경험이 있는 어플리케이션 실행화면을 압축 이미지 캐시에 추가로 캐싱함으로써, 다음에 사용자로부터 같은 어플리케이션 실행화면이 요청될 때 네트워크 소모량 및 전송시간을 단축하여 서비스를 제공할 수 있다.The additional caching unit 260 further stores the still image encoded images in the compressed image cache before transmitting them to the terminal. That is, by caching the application execution screen having experience of accessing according to the usage pattern of the user in the compressed image cache, when the same application execution screen is requested from the user next, the network consumption amount and the transmission time are shortened to provide the service .

저장부(270)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장한다.The storage unit 270 stores various information generated in the cloud streaming service process according to the embodiment of the present invention as described above.

실시예에 따라, 저장부(270)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(270)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage unit 270 may be configured independently of the cloud streaming server 110 to support a function for the cloud streaming service. At this time, the storage unit 270 may operate as a separate mass storage and may include a control function for performing operations.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server 110 configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the cloud streaming server 110 can store information in the memory on which the memory is mounted. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other embodiments, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may comprise, for example, a hard disk device, an optical disk device, or any other mass storage device.

도 3은 본 발명의 일실시예에 따른 압축 이미지 캐시의 캐시 테이블을 나타낸 도면이다.3 is a diagram illustrating a cache table of a compressed image cache according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 압축 이미지 캐시의 캐시 테이블(310)은 복수 개의 테이블 항목으로 구성될 수 있다. Referring to FIG. 3, the cache table 310 of the compressed image cache according to an exemplary embodiment of the present invention may include a plurality of table entries.

이 때, 복수 개의 테이블 항목 각각은 원본 이미지와 함께 압축 이미지를 매칭하여 저장할 수 있고, 복수 개의 테이블 항목 각각 마다 테이블 주소가 할당될 수 있다.At this time, each of the plurality of table items may be stored with the original image matching the compressed image, and a table address may be allocated to each of the plurality of table items.

도 3에 따르면, 본 발명에 따라 압축 이미지 캐시에서 압축 이미지를 검색하기 위해, 먼저 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처할 수 있다.According to FIG. 3, in order to retrieve a compressed image from the compressed image cache according to the present invention, it is first possible to capture images corresponding to the changed portion in the application execution screen.

이 후, 캡처한 이미지들 중 일부에 상응하는 이미지(320)를 이용하여 해시 값을 계산할 수 있다. Thereafter, the hash value may be computed using the image 320 corresponding to some of the captured images.

이 때, 해시 값은 키 값을 기억 장소의 주소로 변환하는데 사용하는 해싱 함수(hashing funcion), 즉 해시 알고리즘(330)을 이용하여 계산할 수 있다. 즉, 압축 이미지 캐시에 압축 이미지를 저장할 테이블의 주소를 해시 값으로 산출할 수 있다. In this case, the hash value can be calculated using a hashing function, i.e., the hash algorithm 330, which is used to convert the key value to the address of the storage location. That is, the address of the table to store the compressed image in the compressed image cache can be calculated as a hash value.

예를 들어, 이미지(320)에 대해 특정 간격으로 비트를 추출해서 XOR, SHIFT 비트 연산을 수행하는 해시 알고리즘(330)을 통해 해시 값을 계산할 수 있다.For example, a hash value may be computed through a hash algorithm 330 that extracts bits at a specific interval for image 320 and performs XOR, SHIFT bit operations.

이 후, 압축 이미지 캐시의 캐시 테이블을 구성하는 적어도 하나 이상의 테이블 항목 중 해시 값에 상응하는 주소를 갖는 참조 테이블 항목을 검색할 수 있다.  Thereafter, a reference table item having an address corresponding to a hash value among at least one table item constituting the cache table of the compressed image cache can be searched.

이 때, 캐시 테이블(310)에서 원본 이미지1과 압축 이미지1을 저장하는 공간이 하나의 테이블 항목에 상응할 수 있으며, 해당 테이블 항목은 고유의 테이블 주소를 할당받을 수 있다.In this case, the space for storing the original image 1 and the compressed image 1 in the cache table 310 may correspond to one table item, and the corresponding table item may be assigned a unique table address.

따라서, 해시 값을 테이블 주소로 할당받은 테이블 항목이 존재하는 여부를 검색하여 이미지(320)에 상응하는 압축 이미지가 압축 이미지 캐시에 저장되어 있는지 판단할 수 있다.Accordingly, it is possible to determine whether a compressed image corresponding to the image 320 is stored in the compressed image cache by searching whether a table item allocated with the table address is present.

도 4는 본 발명의 일실시예에 따라 프로세스 단축 적용 여부를 판단하는 과정을 나타낸 도면이다.FIG. 4 is a diagram illustrating a process for determining whether or not a process shortening is applied according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따라 프로세스 단축 적용 여부를 판단하는 과정은 클라우드 스트리밍 서버(410)의 수신부(413)에서 어플리케이션 실행화면을 수신하기 전에 먼저 기본 어플리케이션 실행화면을 수신할 수 있다.Referring to FIG. 4, in the process of determining whether to apply the process shortening according to an embodiment of the present invention, the receiving unit 413 of the cloud streaming server 410 receives a basic application execution screen .

이 때, 클라우드 스트리밍 서버(410)에서 가상의 단말을 생성하여 키 스크립트 입력을 수행함으로써 기본 어플리케이션 실행화면을 수신할 수 있다.At this time, the cloud streaming server 410 can receive a basic application execution screen by generating a virtual terminal and performing a key script input.

이 후, 사전 압축 이미지 캐싱부(411)에서 기본 어플리케이션 실행화면을 캡처 및 스틸 이미지 인코딩하여 압축 이미지를 생성하고, 생성된 압축 이미지를 압축 이미지 캐시에 저장할 수 있다. Thereafter, in the pre-compressed image caching unit 411, the basic application execution screen is captured and still image encoded to generate a compressed image, and the generated compressed image can be stored in the compressed image cache.

이와 같이 사용자가 클라우드 스트리밍 서버(410)에 접속하기 전에 미리 압축 이미지 캐시(412)에 기본 어플리케이션 실행화면에 상응하는 압축 이미지를 캐시함으로써 사용자가 클라우드 스트리밍 서버(410)에 처음 접속하여도 압축 이미지 캐시(412)를 통해 프로세스 단축에 따른 서비스를 제공받을 수 있다.Thus, even if the user first accesses the cloud streaming server 410 by caching the compressed image corresponding to the basic application execution screen in advance in the compressed image cache 412 before the user accesses the cloud streaming server 410, The service according to the shortening of the process can be provided through the process 412.

또한, 가상으로 생성된 단말로 키 스크립트 입력을 통해 기본적인 어플리케이션 실행화면들을 스틸 이미지 인코딩할 때에는 실제로 사용자가 접속한 경우가 아니므로 스틸 이미지 인코딩 속도가 느려도 문제되지 않을 수 있다. 따라서, 스틸 이미지 인코딩을 느리게 수행하더라도 고화질로 이미지를 압축함으로써 압축 이미지 캐시에 고화질로 스틸 이미지 인코딩된 압축 이미지를 캐싱하여 사용자에게 제공할 수 있다.In addition, when still image encoding of basic application execution screens is performed through a key script input to a virtually created terminal, since the user is not actually connected, the still image encoding speed may be slow even if the speed is low. Therefore, even if the still image encoding is performed slowly, the image can be compressed with high image quality, so that the still image encoded high quality image can be cached in the compressed image cache and provided to the user.

이 후, 사용자가 단말(420)을 통해 클라우드 스트리밍 서버(410)에 접속하고, 클라우드 스트리밍 서버(410)는 어플리케이션 서버(400)로부터 사용자 요청에 따른 어플리케이션 실행화면을 수신할 수 있다.Thereafter, the user accesses the cloud streaming server 410 through the terminal 420, and the cloud streaming server 410 can receive the application execution screen according to the user request from the application server 400. [

이 후, 단축 적용 판단부(414)에서 수신된 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단할 수 있다.Thereafter, the shortening application determining unit 414 may capture the images corresponding to the changed portions in the application execution screen received, and determine whether or not the process shortening is applied to at least a part of the captured images.

즉, 압축 이미지 캐시(412)에서 압축 이미지를 획득하여, 스틸 이미지 인코딩을 수행하지 않고도 단말(420)로 압축 이미지를 제공할 수 있는지, 즉 프로세스 단축의 적용 여부를 판단할 수 있다.That is, a compressed image can be obtained in the compressed image cache 412 to determine whether the compressed image can be provided to the terminal 420 without performing the still image encoding, that is, whether the process shortening is applied.

이 때, 단축 적용 판단부(414)에서는 이미지들 중 적어도 일부의 이미지에 대해서 해시 값을 계산하고, 압축 이미지 캐시(412)의 캐시 테이블을 구성하는 적어도 하나 이상의 테이블 항목 중 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목이 존재하는지 검색하여 프로세스 단축의 적용 여부를 판단할 수 있다.At this time, the short-axis application determining unit 414 calculates a hash value for at least some of the images, and calculates a hash value corresponding to the hash value among the at least one table item constituting the cache table of the compressed image cache 412 It is possible to judge whether or not the process shortening is applied by searching whether a reference table item having an address exists.

이 후, 프로세스 단축을 적용하는 경우에는 프로세스 단축부(415)가 압축 이미지 캐시(412)로부터 압축 이미지를 획득하고, 전송부(416)를 통해 압축 이미지를 단말(420)로 전송하여, 스틸 이미지 인코딩 과정을 단축된 이미지 클라우드 스트리밍 서비스를 제공할 수 있다.Thereafter, when the process shortening is applied, the process shortening unit 415 acquires a compressed image from the compressed image cache 412 and transmits the compressed image to the terminal 420 through the transmitting unit 416, The encoding process can provide a shortened image cloud streaming service.

또한, 만약 프로세스 단축을 적용하지 않는 경우에는 전송부(416)에서 이미지들을 스틸 이미지 인코딩하여 단말(420)로 전송할 수 있다.In addition, if the process shortening is not applied, the transmitting unit 416 may still image-encode the images and transmit them to the terminal 420.

이 때, 스틸 이미지 인코딩한 이미지들은 추가 캐싱부(417)를 통해 압축 이미지 캐시(412)에 추가로 저장할 수 있다.At this time, still image-encoded images may be additionally stored in the compressed image cache 412 through the additional caching unit 417. [

도 5는 본 발명의 일실시예에 따른 어플리케이션 실행화면에서 이미지들을 캡처하는 과정을 나타낸 도면이다.5 is a diagram illustrating a process of capturing images on an application execution screen according to an embodiment of the present invention.

도 5를 참조하면, 본 발명에 따라 이미지들을 캡처하는 과정은 먼저 사용자 요청에 따른 어플리케이션 실행화면에서 화면의 변화가 적은 부분의 프레임들을 획득할 수 있다.Referring to FIG. 5, in the process of capturing images according to the present invention, first, frames of a small change in the screen can be obtained in an application execution screen according to a user request.

이 때, 화면의 변화가 많은 부분에 대해서는 비디오 코덱 기반의 클라우드 스트리밍 서비스를 통해 사용자에게 어플리케이션 실행화면을 제공하는 것이 더 효율적일 수 있다.At this time, it may be more efficient to provide the application execution screen to the user through the cloud streaming service based on the video codec for the part where the screen changes much.

이 후, 변화가 적은 부분의 프레임들 중 현재 프레임(520)과 이전 프레임(510)을 비교할 수 있다. 예를 들어, 도 5에 나타낸 현재 프레임(520)과 이전 프레임(510)을 비교하면 두 프레임의 A 영역 및 B 영역에 대해서는 변화가 없으나, 이전 프레임(510)의 C 영역 및 D 영역이 현재 프레임(520)에서는 C'와 D'로 변한 것을 확인할 수 있다. Thereafter, the current frame 520 and the previous frame 510 among the frames of the small change portion can be compared. For example, when comparing the current frame 520 and the previous frame 510 shown in FIG. 5, there is no change in the A region and the B region of the two frames. However, the C region and the D region of the previous frame 510, (520), it can be confirmed that C 'and D'.

따라서, 클라우드 스트리밍 서버에서는 이와 같은 변화를 확인하고, 변화된 C' 영역과 D' 영역을 변화된 영역(530)으로 캡처할 수 있다. 즉, 클라우드 스트리밍 서버의 캡처단에서 변화된 영역(530)에 상응하는 이미지를 캡처할 수 있다. Thus, the cloud streaming server can identify such changes and capture the changed C 'and D' regions into the changed regions 530. That is, an image corresponding to the changed area 530 at the capture end of the cloud streaming server can be captured.

또한, 현재 프레임(520)과 이전 프레임(510)을 비교하였을 때, 변화된 영역(530)과 같이 변화된 부분이 여러 영역 확인되는 경우에는, 변화된 여러 영역을 모두 포함하는 하나의 영역을 변화된 영역(530)으로 인식하고 캡처할 수 있다. 또한, 변화된 여러 영역을 모두 각각 변화된 영역(530)으로 인식하고 복수 개의 변화된 영역(530)을 캡처하여 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수도 있다.When the current frame 520 and the previous frame 510 are compared with each other, if a plurality of regions are identified as the changed region 530, one region including all the changed regions is referred to as a changed region 530 ) Can be recognized and captured. In addition, it is also possible to recognize various changed areas as the changed areas 530 and to capture a plurality of changed areas 530 to perform an image-based cloud streaming service.

도 6은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.6 is a flowchart illustrating an image cloud streaming service method using a process shortening process according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션 실행화면을 수신한다(S610).Referring to FIG. 6, an image cloud streaming service method using a process shortening according to an embodiment of the present invention receives an application execution screen (S610).

예를 들어, 도 1에 도시된 단말(120-1)을 통해 사용자가 키를 입력하면, 키 입력에 상응하는 정보를 어플리케이션 서버가 수신할 수 있다. 키 입력을 수신한 어플리케이션 서버는 어플리케이션을 실행할 수 있고, 이에 따라 생성되는 어플리케이션 실행화면을 클라우드 스트리밍 서버가 수신할 수 있다.For example, when the user inputs a key through the terminal 120-1 shown in FIG. 1, the application server can receive information corresponding to the key input. The application server receiving the key input can execute the application and the cloud streaming server can receive the generated application execution screen.

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 단말의 키 입력을 획득하거나, 어플리케이션 서버로부터 어플리케이션 실행화면을 수신할 수 있다.At this time, a key input of the user terminal can be obtained through a communication network such as the network shown in FIG. 1, or an application execution screen can be received from the application server.

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 압축 이미지 캐시에 저장한다. 예를 들어, 사용자가 클라우드 스트리밍 서버에 처음으로 접속한다고 가정한다면, 압축 이미지 캐시에 스틸 이미지 인코딩되어 저장된 압축 이미지가 없기 때문에 스틸 이미지 인코딩을 수행하여 서비스를 제공해야 할 수 있다. 이러한 경우에 시스템의 반응 속도가 느려질 수 있고 고화질의 이미지를 제공하기 어려운 환경일 수 있다.6, an image cloud streaming service method using a process shortening method according to an exemplary embodiment of the present invention includes at least one application execution screen of a plurality of application execution screens corresponding to an application, And stores it in the compressed image cache. For example, assuming that the user first connects to the cloud streaming server, since there is no compressed image stored as still image encoding in the compressed image cache, it may be necessary to perform still image encoding to provide the service. In such a case, the reaction speed of the system may be slow and it may be an environment where it is difficult to provide a high-quality image.

따라서, 사용자가 클라우드 스트리밍 서버에 처음 접속하기 이전에, 가상으로 사용자의 단말을 생성하는 방법을 통해 기본적인 어플리케이션 실행화면들을 압축 이미지 캐시에 캐싱할 수 있다. 이와 같이 사전에 기본적인 어플리케이션 실행화면들을 캐싱함으로써 사용자가 클라우드 스트리밍 서버에 처음 접속하여도 압축 이미지 캐시를 통해 프로세스 단축에 따른 서비스를 제공받을 수 있다. Thus, before the user first connects to the cloud streaming server, basic application execution screens can be cached in the compressed image cache by virtually creating a user terminal. By caching basic application execution screens in this way, even if the user first connects to the cloud streaming server, the service according to the process shortening can be provided through the compressed image cache.

또한, 가상으로 생성된 단말로 키 스크립트 입력을 통해 기본적인 어플리케이션 실행화면들을 스틸 이미지 인코딩할 때에는 실제로 사용자가 접속한 경우가 아니므로 스틸 이미지 인코딩 속도가 느려도 문제되지 않을 수 있다. 따라서, 스틸 이미지 인코딩을 느리게 수행하더라도 고화질로 이미지를 압축함으로써 압축 이미지 캐시에 고화질로 스틸 이미지 인코딩된 압축 이미지를 캐싱하여 사용자에게 제공할 수 있다.In addition, when still image encoding of basic application execution screens is performed through a key script input to a virtually created terminal, since the user is not actually connected, the still image encoding speed may be slow even if the speed is low. Therefore, even if the still image encoding is performed slowly, the image can be compressed with high image quality, so that the still image encoded high quality image can be cached in the compressed image cache and provided to the user.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩 방식으로 압축하여 압축 이미지 캐시에 저장할 수 있다. 또한, 스틸 이미지 인코딩 방식은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.At this time, at least one basic application execution screen can be compressed by the still image encoding method and stored in the compressed image cache. Also, the still image encoding method can be determined in consideration of the load generated in the cloud streaming server, the service speed, the image quality of the image, or the performance of the terminal receiving and rendering the encoded image. For example, to improve the speed of the cloud streaming service, you can compress the image with a palette PNG encoding method that has a high compression ratio and low load. In addition, if it is desired to provide a good image quality without regard to the load, the image can be compressed using the PNG 32-bit encoding method or the JPEG encoding method.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 적어도 하나를 압축 이미지 캐시의 캐시 테이블에 저장할 수 있다.At this time, at least one original image of the basic application execution screen and at least one compressed image generated by still image encoding of the basic application execution screen can be stored in the cache table of the compressed image cache.

이 때, 캐시 테이블은 기설정된 테이블 개수에 상응하게 원본 이미지와 압축 이미지를 저장할 수 있다. 또한, 기설정된 테이블 개수는 압축 이미지 캐시의 성능에 따라 캐시의 공간이 큰 경우 테이블 개수를 더 많이 저장할 수 있다.At this time, the cache table can store the original image and the compressed image corresponding to the preset number of tables. Also, the preset number of tables can store more tables if the cache space is large, depending on the performance of the compressed image cache.

또한, 원본 이미지와 압축 이미지를 각각 매칭하여 저장함으로써 해시 값을 이용하여 검색한 원본 이미지의 비교결과를 통해 압축 이미지를 수월하게 획득하도록 할 수 있다.In addition, the original image and the compressed image are matched and stored, respectively, so that the compressed image can be obtained easily through the comparison result of the original image retrieved using the hash value.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면은 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 적어도 하나에 상응할 수 있다. At this time, at least one basic application execution screen includes an application execution screen corresponding to a connection count of a plurality of application execution screens equal to or greater than a predetermined reference number, and an application execution screen corresponding to an access step among a plurality of application execution screens, Lt; RTI ID = 0.0 > application < / RTI >

즉, 기본 어플리케이션 실행화면은 사용자들이 해당 어플리케이션을 실행할 때 많이 접근하는 화면에 상응할 수 있다. 예를 들어, 어플리케이션을 실행하였을 때 제일 처음 나타나는 인덱스 화면이나 첫 페이지 화면이 이에 상응할 수 있다. 또한, 메뉴 항목을 접근 단계별로 나열하였을 때, 메뉴 항목에서 비교적 상위 단계에서 접근할 수 있는 화면이 기본 어플리케이션 실행화면에 상응할 수도 있다. That is, the basic application execution screen may correspond to a screen which is accessed a lot when users execute the application. For example, the first index screen or first page screen that appears when an application is launched may correspond. Also, when the menu items are listed in the approach step, the screen that can be accessed at a relatively high level in the menu item may correspond to the basic application execution screen.

따라서, 이미지 클라우드 스트리밍 서비스 사용자들에 의한 어플리케이션 실행화면 별 접속횟수를 카운트하고, 사용자들이 기설정된 기준 횟수 이상 접근했던 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수 있다. 또한, 메뉴 항목을 기반으로 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수도 있다.Accordingly, it is possible to count the number of connections for each application execution screen by the users of the image cloud streaming service, and to set the application execution screen accessed by the users more than a preset reference number as a default application execution screen. Also, the application execution screen corresponding to the upper level of the access step may be set as the basic application execution screen based on the menu item.

예를 들어, 접근 단계가 1 단계인 메뉴 1 항목을 통해 메뉴 2, 3, 4에 접근할 수 있고, 접근 단계가 2 단계인 메뉴 2 항목을 통해 메뉴 5, 6에 접근할 수 있다고 가정할 수 있다. 이 때, 기설정된 기준 단계가 2 단계라면, 접근 단계가 2 단계보다 상위 단계인 1 단계에 상응하는 어플리케이션 실행화면을 기본 어플리케이션 실행화면으로 설정할 수 있다. 즉, 예시에서는 메뉴 1 항목에 상응하는 어플리케이션 실행화면만을 기본 어플리케이션 실행화면으로 설정할 수 있다.For example, suppose you can access menus 2, 3, and 4 through a menu item 1 with an access step of 1, and access menus 5 and 6 through a menu item 2 with an access step of 2 have. At this time, if the preset reference step is the second step, the application execution screen corresponding to the first step whose access step is higher than the second step can be set as the basic application execution screen. That is, in the example, only the application execution screen corresponding to the menu 1 item can be set as the basic application execution screen.

또한, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고(S620), 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단한다(S625).In addition, the image cloud streaming service method using the process shortening according to an embodiment of the present invention captures images corresponding to the changed portions in the application execution screen (S620), and determines whether the process shortening is applied to at least a part of the captured images (S625).

비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 이미지 기반의 클라우드 스트리밍 기법과 같이 이전 프레임과 비교하여 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The cloud streaming technique based on the video codec can capture and encode all the frames corresponding to the screen on which the application operates. However, when the frame-to-frame change on the screen on which the application operates is not large, the still-image encoding is performed by capturing only the change area of the changed frame as compared with the previous frame like the image-based cloud streaming technique, It is possible to display the parts except for the change area in the same manner and display only the change area.

이 때, 수신된 어플리케이션 실행화면을 렌더링하고 렌더링된 어플리케이션 실행화면의 프레임들을 비교하여 변화된 부분에 상응하는 영역들을 이미지들로 캡처할 수 있다. 예를 들어, 현재 프레임과 이전 프레임을 비교하였을 때 현재 프레임이 이전 프레임과 비교하여 변화가 있다면, 현재 프레임의 화면 영역 중 변화된 영역을 이미지로 캡처할 수 있다. 또한, 캡처되는 이미지는 사용자의 단말에서 입력되는 입력신호에 따라 그 사이즈나 성질이 다양할 수 있다.At this time, it is possible to render the received application execution screen and to compare the frames of the rendered application execution screen and to capture the regions corresponding to the changed portion into the images. For example, if the current frame is compared with the previous frame when the current frame is compared with the previous frame, the changed area of the current frame can be captured as an image. In addition, the captured image may vary in size or quality according to an input signal input from a user terminal.

또한, 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다. 예를 들어, 프레임간의 변화가 많은 구간은 캡처할 이미지의 수가 많아 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 비효율적일 수 있다. 따라서, 이와 같이 변화가 많은 구간은 비디오 코덱 기반의 클라우드 스트리밍 기법을 통해 서비스를 수행하고, 프레임간 변화가 적은 구간에서만 이미지 기반의 클라우드 스트리밍 서비스를 수행하기 위해 변화된 영역의 이미지를 캡처할 수 있다.In addition, it is possible to detect intervals in which the frames change little between frames, and to capture the images in the intervals where there is little change between frames. For example, it may be inefficient to provide an image-based cloud streaming service because there are a large number of images to be captured with a large number of frames between frames. Accordingly, in such a period, a service can be performed through a cloud streaming technique based on a video codec, and an image of a changed region can be captured in order to perform an image-based cloud streaming service only in a period in which there is little change between frames.

이 때, 이미지들 중 적어도 일부의 해시 값을 계산하고, 압축 이미지 캐시에 해시 값에 상응하는 압축 이미지가 존재하는 경우에 프로세스 단축이 적용되는 것으로 판단할 수 있다.At this time, it is possible to calculate the hash value of at least some of the images, and judge that the process shortening is applied when there is a compressed image corresponding to the hash value in the compressed image cache.

이 때, 해시 값은 키 값을 기억 장소의 주소로 변환하는데 사용하는 해싱 함수(hashing funcion)를 이용하여 계산할 수 있다. 즉, 압축 이미지 캐시에 압축 이미지를 저장할 테이블의 주소를 해시 값으로 산출할 수 있다. 따라서, 좋은 해싱 함수의 경우에는 계산이 빠르고 쉬우며, 계산된 주소의 중복이 적을 수 있다. 대표적인 해싱 함수로는 숫자 분석법(digit analysis), 제곱 중간법(mid-square), 나누는 방법(division), 접는 방법(folding) 및 기수 변환법(radix conversion) 등이 있을 수 있다. In this case, the hash value can be calculated using a hashing function used to convert the key value to the address of the storage location. That is, the address of the table to store the compressed image in the compressed image cache can be calculated as a hash value. Thus, for a good hashing function, the computation is fast and easy, and the computed address redundancy can be small. Representative hashing functions may include digit analysis, mid-square, division, folding, and radix conversion.

따라서, 본 발명에서는 캡처된 이미지들을 이용하여 해시 값을 계산하고, 만약 압축 이미지 캐시에 해시 값에 상응하는 압축 이미지가 존재하는 경우 해당 압축 이미지를 이용한 프로세스 단축을 적용할 수 있는 것으로 판단할 수 있다. 예를 들어, 이미지들 각각에 대해 특정 간격으로 비트들을 추출해서 XOR, SHIFT 비트 연산을 수행하는 해싱 알고리즘을 통해 해시 값을 계산할 수 있다. 따라서, 계산된 해시 값에 상응하는 테이블 주소를 따라 압축 이미지가 존재하는지 판단하여 프로세스 단축의 적용 여부를 판단할 수 있다.Therefore, in the present invention, it is possible to calculate the hash value using the captured images, and if the compressed image corresponding to the hash value exists in the compressed image cache, it can be determined that the process shortening using the compressed image can be applied . For example, a hash value can be calculated through a hashing algorithm that extracts bits at specific intervals for each of the images and performs XOR, SHIFT bit operations. Accordingly, it is possible to judge whether or not the process shortening is applied by judging whether a compressed image exists according to the table address corresponding to the calculated hash value.

이 때, 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 참조 테이블 항목에 포함된 원본 이미지와 적어도 일부를 비교하여 일치하는 경우에 압축 이미지가 존재하는 것으로 판단할 수 있다. At this time, a reference table entry having a table address corresponding to a hash value among at least one table entry constituting the cache table is searched, at least a part of the reference image entry included in the reference table entry is compared with the original image, It can be judged that there is a < / RTI >

예를 들어, 캐시 테이블을 구성하는 테이블 항목마다 원본 이미지와 함께 스틸 이미지 인코딩된 압축 이미지가 저장될 수 있다. 따라서, 이를 검색하기 위한 키 값에 상응하는 해시 값을 이용하여 테이블 항목 별로 각각 부여되는 테이블 주소를 검색할 수 있다. 이 때, 테이블 주소 값이 해시 값과 동일한 값일 수 있다. For example, a still image encoded compressed image may be stored together with the original image for each table item constituting the cache table. Therefore, the table address assigned to each table item can be retrieved by using the hash value corresponding to the key value for retrieving the table value. At this time, the table address value may be the same value as the hash value.

또한, 해시 값에 상응하는 참조 테이블 항목이 검색되어도, 참조 테이블 항목에 저장된 원본 이미지가 해시 값을 계산한 이미지와 일치하지 않을 수도 있다. 예를 들어, 해시 알고리즘의 종류나 방법에 따라 여러 이미지가 하나의 해시 값을 중복하여 사용할 수도 있다. 따라서, 해시 값에 상응하는 참조 테이블 항목을 검색한 뒤, 해당 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 캡처된 이미지를 비교하여 일치 여부를 확인하고, 일치하는 경우에만 캡처된 이미지의 압축 이미지가 존재하는 것으로 판단할 수 있다.Also, even if a reference table entry corresponding to the hash value is searched, the original image stored in the reference table entry may not match the image that calculated the hash value. For example, depending on the type and method of the hash algorithm, multiple images may use a single hash value. Therefore, after the reference table entry corresponding to the hash value is retrieved, the original image stored in the corresponding reference table item is compared with the captured image which computes the hash value, It can be determined that the image exists.

단계(S625)의 판단결과 프로세스 단축이 적용되면, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 적어도 일부에 상응하는 압축 이미지를 획득한다(S630). 즉, 이미지 기반의 클라우드 스트리밍 서비스의 전체 프로세스 과정 중에서 이미지를 스틸 이미지 인코딩하는 과정을 수행하지 않아도 압축 이미지 캐시를 통해 압축 이미지를 획득할 수 있다. 따라서, 프로세스 단축을 적용하여 압축 이미지를 획득하고, 이로 인해 클라우드 스트리밍 서버의 리소스를 절약할 수 있다.As a result of the judgment in the step S625, if the process shortening is applied, the image cloud streaming service method using the process shortening according to the embodiment of the present invention does not perform the still image encoding, (S630). That is, a compressed image can be obtained through a compressed image cache without performing a process of still image encoding in the entire process of the image-based cloud streaming service. Thus, the process shortening can be applied to obtain a compressed image, thereby saving the resources of the cloud streaming server.

이 때, 참조 테이블 항목에 포함된 압축 이미지를 획득할 수 있다. 캡처된 이미지를 이용하여 계산한 해시 값을 통해, 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 참조 테이블 항목에 저장된 압축 이미지를 획득할 수 있다.At this time, the compressed image contained in the reference table item can be obtained. Through the hash value calculated using the captured image, the reference table item having the table address corresponding to the hash value can be searched, and the compressed image stored in the reference table item can be obtained.

단계(S625)의 판단결과 프로세스 단축이 적용되지 않으면, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 이미지들에 대한 스틸 이미지 인코딩을 수행한다(S640). 즉, 압축 이미지 캐시에 캡처된 이미지에 상응하는 압축 이미지가 존재하지 않으면, 프로세서를 단축할 수 없기 때문에 캡처된 이미지를 스틸 이미지 인코딩하는 과정을 수행할 수 있다. 이 후, 스틸 이미지 인코딩을 수행하여 생성된 압축 이미지를 단말로 전송하여 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다.As a result of the determination in step S625, if the process shortening is not applied, the image cloud streaming service method using the process shortening according to the embodiment of the present invention performs still image encoding on the images (S640). That is, if there is no compressed image corresponding to the image captured in the compressed image cache, the process of still image encoding of the captured image can be performed since the processor can not be shortened. Thereafter, the still image encoding is performed and the generated compressed image is transmitted to the terminal to perform an image-based cloud streaming service.

또한, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 압축 이미지를 사용자의 단말로 전송한다(S650).In addition, the image cloud streaming service method using the process shortening according to an embodiment of the present invention transmits the compressed image to the user terminal (S650).

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 이미지들을 단말로 전송하기 전에 압축 이미지 캐시에 추가로 저장한다. 즉, 사용자의 사용 패턴에 따라 접속했던 경험이 있는 어플리케이션 실행화면을 압축 이미지 캐시에 추가로 캐싱함으로써, 다음에 사용자로부터 같은 어플리케이션 실행화면이 요청될 때 네트워크 소모량 및 전송시간을 단축하여 서비스를 제공할 수 있다.Also, although not shown in FIG. 6, the image cloud streaming service method using the process shortening according to an embodiment of the present invention further stores the still image encoded images in the compressed image cache before transmitting them to the terminal. That is, by caching the application execution screen having experience of accessing according to the usage pattern of the user in the compressed image cache, when the same application execution screen is requested from the user next, the network consumption amount and the transmission time are shortened to provide the service .

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장한다.Although not shown in FIG. 6, the image cloud streaming service method using the process shortening according to the embodiment of the present invention stores various information generated in the cloud streaming service process according to the embodiment of the present invention do.

실시예에 따라, 클라우드 스트리밍 서비스 과정에서 발생하는 다양한 정보를 저장하는 저장부는 클라우드 스트리밍 서버와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to the embodiment, the storage unit for storing various information generated in the cloud streaming service process may be configured independently of the cloud streaming server to support the function for the cloud streaming service. At this time, the storage unit may operate as a separate mass storage and may include a control function for performing operations.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the cloud streaming server can store information in the device by loading the memory. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other embodiments, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may comprise, for example, a hard disk device, an optical disk device, or any other mass storage device.

도 7은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법을 나타낸 상세하게 나타낸 동작 흐름도이다.7 is a detailed flowchart illustrating an image cloud streaming service method using a process shortening process according to an exemplary embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 먼저 가상의 단말을 통해 어플리케이션 서버로부터 기본 어플리케이션 실행화면을 수신한다(S702).Referring to FIG. 7, an image cloud streaming service method using a process shortening according to an embodiment of the present invention receives a basic application execution screen from an application server through a virtual terminal (S702).

이 때, 가상의 단말을 통해 키 스크립트 입력을 수행하여 기본 어플리케이션 실행화면을 수신할 수 있다. At this time, the basic script execution screen can be received by performing the key script input through the virtual terminal.

이 때, 기본 어플리케이션 실행화면은 사용자들이 해당 어플리케이션을 실행할 때 많이 접근하는 화면에 상응할 수 있다. 예를 들어, 어플리케이션을 실행하였을 때 제일 처음 나타나는 인덱스 화면이나 첫 페이지 화면이 이에 상응할 수 있다. At this time, the basic application execution screen may correspond to a screen which is accessed a lot when users execute the application. For example, the first index screen or first page screen that appears when an application is launched may correspond.

이 후, 기본 어플리케이션 실행화면을 캡처 및 스틸 이미지 인코딩하여 생성된 압축 이미지를 압축 이미지 캐시에 미리 캐싱한다(S704).Thereafter, the basic application execution screen is captured and still image encoded, and the generated compressed image is pre-cached in the compressed image cache (S704).

이 때, 실제로 사용자가 접속한 경우가 아니므로 스틸 이미지 인코딩 속도가 느려도 문제되지 않을 수 있다. 따라서, 스틸 이미지 인코딩을 느리게 수행하더라도 고화질로 이미지를 압축함으로써 압축 이미지 캐시에 고화질로 스틸 이미지 인코딩된 압축 이미지를 캐싱하여 사용자에게 제공할 수 있다.At this time, since the user is not actually connected, it may not be a problem even if the still image encoding speed is slow. Therefore, even if the still image encoding is performed slowly, the image can be compressed with high image quality, so that the still image encoded high quality image can be cached in the compressed image cache and provided to the user.

이 때, 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩 방식으로 압축하여 압축 이미지 캐시에 저장할 수 있다. 또한, 스틸 이미지 인코딩 방식은 클라우드 스트리밍 서버에서 발생하는 부하량, 서비스 속도, 이미지의 화질 또는 인코딩된 이미지를 수신하여 렌더링하는 단말의 성능 등을 고려하여 결정할 수 있다. 예를 들어, 클라우드 스트리밍 서비스의 속도를 향상시키기 위해서는 압축률이 높고 부하가 적게 발생하는 팔렛트 PNG 인코딩 방식으로 이미지를 압축할 수 있다. 또한, 부하량은 상관하지 않고 이미지의 화질을 좋게 제공하고 싶다면, PNG32bit 인코딩 방식 또는 JPEG 인코딩 방식 등을 이용하여 이미지를 압축할 수 있다.At this time, at least one basic application execution screen can be compressed by the still image encoding method and stored in the compressed image cache. Also, the still image encoding method can be determined in consideration of the load generated in the cloud streaming server, the service speed, the image quality of the image, or the performance of the terminal receiving and rendering the encoded image. For example, to improve the speed of the cloud streaming service, you can compress the image with a palette PNG encoding method that has a high compression ratio and low load. In addition, if it is desired to provide a good image quality without regard to the load, the image can be compressed using the PNG 32-bit encoding method or the JPEG encoding method.

이 후, 사용자 요청에 상응하는 어플리케이션 실행화면을 수신한다(S706).Thereafter, an application execution screen corresponding to the user request is received (S706).

이 때, 도 1에 도시된 네트워크와 같은 통신망을 통해 사용자 단말의 키 입력을 획득하거나, 어플리케이션 서버로부터 어플리케이션 실행화면을 수신할 수 있다.At this time, a key input of the user terminal can be obtained through a communication network such as the network shown in FIG. 1, or an application execution screen can be received from the application server.

이 후, 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처한다(S708). Thereafter, the images corresponding to the changed portions on the application execution screen are captured (S708).

이 때, 수신된 어플리케이션 실행화면을 렌더링하고 렌더링된 어플리케이션 실행화면의 프레임들을 비교하여 변화된 부분에 상응하는 영역들을 이미지들로 캡처할 수 있다.At this time, it is possible to render the received application execution screen and to compare the frames of the rendered application execution screen and to capture the regions corresponding to the changed portion into the images.

또한, 프레임들 중 프레임간의 변화가 적은 구간들을 검출하고, 프레임간의 변화가 적은 구간에서 이미지를 캡처할 수 있다.In addition, it is possible to detect intervals in which the frames change little between frames, and to capture the images in the intervals where there is little change between frames.

이 후, 캡처한 이미지들 중 적어도 일부의 해시 값을 계산한다(S710).Thereafter, a hash value of at least a part of the captured images is calculated (S710).

이 때, 해시 값은 키 값을 기억 장소의 주소로 변환하는데 사용하는 해싱 함수(hashing funcion)를 이용하여 계산할 수 있다. 즉, 압축 이미지 캐시에 압축 이미지를 저장할 테이블의 주소를 해시 값으로 산출할 수 있다. 예를 들어, 이미지들 각각에 대해 특정 간격으로 비트들을 추출해서 XOR, SHIFT 비트 연산을 수행하는 해싱 알고리즘을 통해 해시 값을 계산할 수 있다.In this case, the hash value can be calculated using a hashing function used to convert the key value to the address of the storage location. That is, the address of the table to store the compressed image in the compressed image cache can be calculated as a hash value. For example, a hash value can be calculated through a hashing algorithm that extracts bits at specific intervals for each of the images and performs XOR, SHIFT bit operations.

이 후, 압축 이미지 캐시를 구성하는 적어도 하나 이상의 테이블 항목 중 캐시 테이블에 계산한 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목이 존재하는지 여부를 판단한다(S712). 예를 들어, 캐시 테이블을 구성하는 테이블 항목마다 원본 이미지와 함께 스틸 이미지 인코딩된 압축 이미지가 저장될 수 있다. 따라서, 이를 검색하기 위한 키 값에 상응하는 해시 값을 이용하여 테이블 항목 별로 각각 부여되는 테이블 주소를 검색할 수 있다. 이 때, 테이블 주소 값이 해시 값과 동일한 값일 수 있다.Thereafter, it is determined whether a reference table item having a table address corresponding to the hash value calculated in the cache table among at least one table item constituting the compressed image cache exists (S712). For example, a still image encoded compressed image may be stored together with the original image for each table item constituting the cache table. Therefore, the table address assigned to each table item can be retrieved by using the hash value corresponding to the key value for retrieving the table value. At this time, the table address value may be the same value as the hash value.

단계(S712)의 판단결과 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목이 존재하면, 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 이미지가 일치하는지 여부를 판단한다(S714). If it is determined in step S712 that there is a reference table item having a table address corresponding to the hash value, it is determined whether the original image stored in the reference table item matches the image in which the hash value is calculated (step S714).

이 때, 해시 값에 상응하는 참조 테이블 항목이 검색되어도, 참조 테이블 항목에 저장된 원본 이미지가 해시 값을 계산한 이미지와 일치하지 않을 수도 있다. 예를 들어, 해시 알고리즘의 종류나 방법에 따라 여러 이미지가 하나의 해시 값을 중복하여 사용할 수도 있다. 따라서, 해시 값에 상응하는 참조 테이블 항목을 검색한 뒤, 해당 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 캡처된 이미지를 비교하여 일치 여부를 확인하고, 일치하는 경우에만 캡처된 이미지의 압축 이미지가 존재하는 것으로 판단할 수 있다.At this time, even if a reference table item corresponding to the hash value is searched, the original image stored in the reference table item may not match the image that has calculated the hash value. For example, depending on the type and method of the hash algorithm, multiple images may use a single hash value. Therefore, after the reference table entry corresponding to the hash value is retrieved, the original image stored in the corresponding reference table item is compared with the captured image which computes the hash value, It can be determined that the image exists.

단계(S714)의 판단결과 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 이미지가 일치하면, 스틸 이미지 인코딩을 수행하지 않고 원본 이미지와 매칭되어 참조 테이블 항목에 저장된 압축 이미지를 획득한다(S716). 즉, 이미지 기반의 클라우드 스트리밍 서비스의 전체 프로세스 과정 중에서 이미지를 스틸 이미지 인코딩하는 과정을 수행하지 않아도 압축 이미지 캐시를 통해 압축 이미지를 획득할 수 있다. 따라서, 프로세스 단축을 적용하여 압축 이미지를 획득하고, 이로 인해 클라우드 스트리밍 서버의 리소스를 절약할 수 있다.If it is determined in step S714 that the original image stored in the reference table item matches the image in which the hash value is calculated, the still image is not encoded and the compressed image stored in the reference table item is matched with the original image (S716) . That is, a compressed image can be obtained through a compressed image cache without performing a process of still image encoding in the entire process of the image-based cloud streaming service. Thus, the process shortening can be applied to obtain a compressed image, thereby saving the resources of the cloud streaming server.

또한, 단계(S712)의 판단결과 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목이 존재하지 않으면, 캡처된 이미지들을 스틸 이미지 인코딩하고(S718), 압축 이미지 캐시에 추가로 캐싱한다(S720). 즉, 압축 이미지 캐시에 캡처된 이미지에 상응하는 압축 이미지가 존재하지 않으면, 프로세서를 단축할 수 없기 때문에 캡처된 이미지를 스틸 이미지 인코딩하는 과정을 수행할 수 있다.If it is determined in step S712 that there is no reference table item having a table address corresponding to the hash value, still images are encoded in step S718 and cached in the compressed image cache in step S720. That is, if there is no compressed image corresponding to the image captured in the compressed image cache, the process of still image encoding of the captured image can be performed since the processor can not be shortened.

또한, 사용자의 사용 패턴에 따라 접속했던 경험이 있는 어플리케이션 실행화면을 압축 이미지 캐시에 추가로 캐싱함으로써, 다음에 사용자로부터 같은 어플리케이션 실행화면이 요청될 때 네트워크 소모량 및 전송시간을 단축하여 서비스를 제공할 수 있다.In addition, by caching the application execution screen having the experience of accessing according to the usage pattern of the user in the compressed image cache, when the same application execution screen is requested by the user, the network consumption amount and the transmission time are shortened to provide the service .

또한, 단계(S714)의 판단결과 참조 테이블 항목에 저장된 원본 이미지와 해시 값을 계산한 이미지가 일치하지 않으면, 해시 값이 중복되어 계산된 것으로 판단하고 해시 값의 오류를 수정하고(S722) 단계(S718)을 수행할 수 있다.If it is determined in step S714 that the original image stored in the reference table item does not match the image in which the hash value is calculated, it is determined that the hash value has been calculated to be duplicated, the error of the hash value is corrected in step S722, S718).

이 후, 압축 이미지 캐시에서 획득하거나 또는 스틸 이미지 인코딩되어 생성된 압축 이미지를 사용자의 단말로 전송한다(S724).Thereafter, the compressed image generated in the compressed image cache or still image encoded is transmitted to the user terminal (S724).

도 8은 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 과정을 나타낸 도면이다.8 is a flowchart illustrating an image cloud streaming service process using a process shortening process according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 과정은 먼저 클라우드 스트리밍 서버(820)가 사전 이미지 캐싱을 수행하기 위해 가상 단말을 생성한다(S802).Referring to FIG. 8, in step S802, the cloud streaming server 820 generates a virtual terminal to perform the pre-image caching in the image cloud streaming service process using the process shortening according to an embodiment of the present invention.

이 후, 가상 단말을 이용하여 어플리케이션 서버(810)로 키 입력을 수행한다(S804).Thereafter, key input is performed to the application server 810 using the virtual terminal (S804).

이 후, 어플리케이션 서버(810)는 키 입력에 상응하게 어플리케이션을 실행한다(S806).Thereafter, the application server 810 executes the application corresponding to the key input (S806).

이 후, 어플리케이션 서버(810)는 어플리케이션 실행으로 생성된 기본 어플리케이션 실행화면을 클라우드 스트리밍 서버(810)로 전송한다(S808).Thereafter, the application server 810 transmits the basic application execution screen generated by executing the application to the cloud streaming server 810 (S808).

이 후, 클라우드 스트리밍 서버(820)는 수신한 기본 어플리케이션 실행화면에 상응하는 이미지들을 캡처한다(S810).Thereafter, the cloud streaming server 820 captures images corresponding to the received basic application execution screen (S810).

이 후, 캡처한 이미지들을 스틸 이미지 인코딩 방식으로 압축하여(S812) 압축 이미지 캐시(630)에 사전 캐시를 수행한다(S814).Thereafter, the captured images are compressed by a still image encoding method (S812), and a pre-cache is performed on the compressed image cache 630 (S814).

이 후, 사용자의 단말(840)로부터 사용자 키 입력이 발생하면(S816), 어플리케이션 서버(810)는 사용자 키 입력에 상응하는 어플리케이션을 실행한다(S818).Thereafter, when a user key input is generated from the user terminal 840 (S816), the application server 810 executes an application corresponding to the user key input (S818).

이 후, 어플리케이션 서버(810)는 사용자 키 입력에 상응하는 어플리케이션 실행화면을 클라우드 스트리밍 서버(820)로 전송한다(S820).Thereafter, the application server 810 transmits an application execution screen corresponding to the user key input to the cloud streaming server 820 (S820).

이 후, 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고(S822), 캡처한 이미지들 중 적어도 일부의 해시 값을 계산한다(S824).Thereafter, the image corresponding to the changed portion in the application execution screen is captured (S822), and a hash value of at least a part of the captured images is calculated (S824).

이 후, 압축 이미지 캐시(830)의 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색한다(S826).Thereafter, a reference table item having a table address corresponding to a hash value of at least one table item constituting the cache table of the compressed image cache 830 is searched (S826).

이 후, 참조 테이블 항목에서 원본 이미지를 획득하여(S828) 해시 값을 계산한 이미지와 일치 여부를 확인하기 위해 비교한다(S830).Thereafter, the source image is obtained from the reference table item (S828), and the hash value is compared with the calculated image (S830).

이 후, 이미지가 일치하여(S832) 클라우드 스트리밍 서버(820)는 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시(830)는 압축 이미지를 클라우드 스트리밍 서버(820)로 전달한다(S834).Thereafter, the images are matched (S832), the cloud streaming server 820 does not perform the still image encoding, and the compressed image cache 830 transfers the compressed image to the cloud streaming server 820 (S834).

이 후, 클라우드 스트리밍 서버(820)는 압축 이미지를 단말(840)로 전송한다(S836).Thereafter, the cloud streaming server 820 transmits the compressed image to the terminal 840 (S836).

이 후, 단말(840)은 수신한 압축 이미지를 렌더링하여(S838) 사용자에게 디스플레이 한다(S840).Thereafter, the terminal 840 renders the received compressed image (S838) and displays it to the user (S840).

본 발명에 따른 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The image cloud streaming service method using the process shortening according to the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Includes all types of hardware devices that are specially configured to store and execute magneto-optical media and program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상에서와 같이 본 발명에 따른 클라우드 스트리밍 서비스 시스템, 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the cloud streaming service system, the image cloud streaming service method using the process shortening method, and the apparatus therefor according to the present invention are not limited to the configuration and method of the embodiments described above, The examples may be constructed by selectively combining all or a part of each embodiment so that various modifications can be made.

본 발명에 의하면 어플리케이션 실행화면을 수신하고, 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단하고, 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 적어도 일부에 상응하는 압축 이미지를 획득하고, 압축 이미지를 사용자의 단말로 전송할 수 있다. 나아가, 이미지 기반의 클라우드 스트리밍 서비스 시 클라우드 스트리밍 서버의 리소스 사용을 절약함으로써 동시에 더 많은 사용자들에게 동시에 서비스를 제공하는 것이 가능하며, 캐시에 저장된 고화질의 이미지를 통해 고화질의 서비스를 제공하는 것이 가능하다.According to the present invention, there is provided an image processing method including receiving an application execution screen, capturing images corresponding to changed portions in an application execution screen, determining whether or not process shortening is applied to at least a part of the captured images, It is possible to obtain a compressed image corresponding to at least a part of the compressed image cache without performing still image encoding and to transmit the compressed image to the user's terminal. Further, in the image-based cloud streaming service, it is possible to simultaneously provide services to more users at the same time by using resources of the cloud streaming server, and it is possible to provide a high-quality service through high-quality images stored in the cache .

110, 410, 820: 클라우드 스트리밍 서버
120-1~ 120-N, 420, 840: 단말
130: 네트워크 210, 413: 수신부
220, 411: 사전 압축 이미지 캐싱부
230, 414: 단축 적용 판단부 240, 415: 프로세스 단축부
250, 416: 전송부 260, 417: 추가 캐싱부
270: 저장부 310: 캐시 테이블
320: 이미지 330: 해시 알고리즘
400, 810: 어플리케이션 서버 412, 830: 압축 이미지 캐시
510: 이전 프레임 520: 현재 프레임
530: 캡처 이미지
110, 410, 820: Cloud streaming server
120-1 to 120-N, 420, and 840:
130: network 210, 413:
220, 411: Pre-compression image caching unit
230, 414: short axis application determining unit 240, 415:
250, 416: Transmitting unit 260, 417: Additional caching unit
270: storage unit 310: cache table
320: image 330: hash algorithm
400, 810: application server 412, 830: compressed image cache
510: previous frame 520: current frame
530: captured image

Claims (10)

어플리케이션 실행화면을 수신하는 수신부;
상기 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단하는 단축 적용 판단부;
상기 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 상기 적어도 일부에 상응하는 압축 이미지를 획득하는 프로세스 단축부; 및
상기 압축 이미지를 사용자의 단말로 전송하는 전송부
를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
A receiving unit for receiving an application execution screen;
An abbreviation application determining unit for capturing images corresponding to the changed portions in the application execution screen and determining whether or not process shortening is applied to at least a part of the captured images;
A process abbreviation for obtaining a compressed image corresponding to the at least a portion in a compressed image cache without performing still image encoding when the process abbreviation is applied; And
A transmission unit for transmitting the compressed image to a user terminal
Wherein the server comprises:
청구항 1에 있어서,
상기 단축 적용 판단부는
상기 적어도 일부의 해시 값을 계산하고, 상기 압축 이미지 캐시에 상기 해시 값에 상응하는 상기 압축 이미지가 존재하는 경우에 상기 프로세스 단축이 적용되는 것으로 판단하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method according to claim 1,
The shortening application determining unit
Wherein the determining step determines that the process shortening is applied when the compressed image corresponding to the hash value exists in the compressed image cache.
청구항 2에 있어서,
상기 클라우드 스트리밍 서버는
어플리케이션에 상응하는 복수 개의 어플리케이션 실행화면들 중 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 상기 압축 이미지 캐시에 저장하는 사전 압축 이미지 캐싱부를 더 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 2,
The cloud streaming server
Further comprising: a pre-compressed image caching unit that performs still image encoding of at least one basic application execution screen among a plurality of application execution screens corresponding to the application and stores the still image in the compressed image cache.
청구항 3에 있어서,
상기 사전 압축 이미지 캐싱부는
상기 적어도 하나 이상의 기본 어플리케이션 실행화면의 원본 이미지 및 상기 적어도 하나 이상의 기본 어플리케이션 실행화면을 스틸 이미지 인코딩하여 생성된 압축 이미지 중 적어도 하나를 상기 압축 이미지 캐시의 캐시 테이블에 저장하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 3,
The pre-compressed image caching unit
Wherein at least one of the at least one basic application execution screen and the at least one basic application execution screen is stored in the cache table of the compressed image cache. .
청구항 4에 있어서,
상기 단축 적용 판단부는
상기 캐시 테이블을 구성하는 적어도 하나의 테이블 항목 중 상기 해시 값에 상응하는 테이블 주소를 갖는 참조 테이블 항목을 검색하고, 상기 참조 테이블 항목에 포함된 원본 이미지와 상기 적어도 일부를 비교하여 일치하는 경우에 상기 압축 이미지가 존재하는 것으로 판단하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 4,
The shortening application determining unit
Searching for a reference table item having a table address corresponding to the hash value among at least one table item constituting the cache table, comparing the at least one part with the original image included in the reference table item, And determines that the compressed image exists.
청구항 5에 있어서,
상기 프로세스 단축부는
상기 참조 테이블 항목에 포함된 상기 압축 이미지를 획득하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 5,
The process shortening part
And obtains the compressed image included in the reference table item.
청구항 2에 있어서,
상기 전송부는
상기 프로세스 단축이 적용되지 않는 경우, 상기 이미지들에 대한 스틸 이미지 인코딩을 수행하여 상기 단말로 전송하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 2,
The transmitter
And if the process shortening is not applied, performs still image encoding on the images and transmits the still image to the terminal.
청구항 7에 있어서,
상기 클라우드 스트리밍 서버는
스틸 이미지 인코딩된 상기 이미지들을 단말로 전송하기 전에 상기 압축 이미지 캐시에 추가로 저장하는 추가 캐싱부를 더 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 7,
The cloud streaming server
Further comprising an additional caching unit for storing the still image encoded images in the compressed image cache before transmitting them to the terminal.
청구항 3에 있어서,
상기 적어도 하나 이상의 기본 어플리케이션 실행화면은
상기 복수 개의 어플리케이션 실행화면들 중 접속횟수가 기설정된 기준 횟수 이상에 상응하는 어플리케이션 실행화면 및 상기 복수 개의 어플리케이션 실행화면들 중 접근 단계가 기설정된 기준 단계보다 상위 단계에 상응하는 어플리케이션 실행화면 중 어느 하나에 상응하는 것을 특징으로 하는 클라우드 스트리밍 서버.
The method of claim 3,
The at least one basic application execution screen
An application execution screen corresponding to a connection count of the plurality of application execution screens corresponding to a preset reference number or more and an application execution screen corresponding to a higher level than an access step of the plurality of application execution screens, Of the cloud streaming server.
어플리케이션 실행화면을 수신하는 단계;
상기 어플리케이션 실행화면에서 변화된 부분에 상응하는 이미지들을 캡처하고, 캡처된 이미지들 중 적어도 일부에 프로세스 단축이 적용되는지 여부를 판단하는 단계;
상기 프로세스 단축이 적용되는 경우에 스틸 이미지 인코딩을 수행하지 않고, 압축 이미지 캐시에서 상기 적어도 일부에 상응하는 압축 이미지를 획득하는 단계; 및
상기 압축 이미지를 사용자의 단말로 전송하는 단계
를 포함하는 것을 특징으로 하는 프로세스 단축을 이용한 이미지 클라우드 스트리밍 서비스 방법.
Receiving an application execution screen;
Capturing images corresponding to changed portions of the application execution screen and determining whether process shortening is applied to at least some of the captured images;
Obtaining a compressed image corresponding to the at least a portion in a compressed image cache without performing still image encoding when the process shortening is applied; And
Transmitting the compressed image to a user terminal
The method comprising the steps of: (a)
KR1020150048951A 2015-04-07 2015-04-07 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same KR102307539B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150048951A KR102307539B1 (en) 2015-04-07 2015-04-07 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same
KR1020210123428A KR102426670B1 (en) 2015-04-07 2021-09-15 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150048951A KR102307539B1 (en) 2015-04-07 2015-04-07 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210123428A Division KR102426670B1 (en) 2015-04-07 2021-09-15 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same

Publications (2)

Publication Number Publication Date
KR20160120017A true KR20160120017A (en) 2016-10-17
KR102307539B1 KR102307539B1 (en) 2021-09-30

Family

ID=57250044

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150048951A KR102307539B1 (en) 2015-04-07 2015-04-07 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same
KR1020210123428A KR102426670B1 (en) 2015-04-07 2021-09-15 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210123428A KR102426670B1 (en) 2015-04-07 2021-09-15 System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same

Country Status (1)

Country Link
KR (2) KR102307539B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516724A (en) * 2021-07-13 2021-10-19 东软医疗系统股份有限公司 Image data transmission method and device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3129802B1 (en) * 2021-11-30 2023-12-15 Orange Method for encoding image partitions, and associated device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313545A1 (en) * 2007-06-13 2008-12-18 Microsoft Corporation Systems and methods for providing desktop or application remoting to a web browser
KR20110014342A (en) * 2009-08-05 2011-02-11 에스케이 텔레콤주식회사 System and method for service image transmission
EP2312464A1 (en) * 2009-10-14 2011-04-20 Amadeus S.A.S. Method of and apparatus for operating on data in a distributed client-server architecture comprising heterogeneous platforms
CN103118099A (en) * 2013-01-25 2013-05-22 福建升腾资讯有限公司 Hash algorithm based graphic image caching method
KR20140047916A (en) 2012-10-15 2014-04-23 삼성전자주식회사 Data compressor, memory system comprising the compress and method for compressing data
US20140362930A1 (en) * 2013-06-06 2014-12-11 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453743B1 (en) * 2010-08-16 2014-10-21 에스케이플래닛 주식회사 Pre-caching method for web application and device using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313545A1 (en) * 2007-06-13 2008-12-18 Microsoft Corporation Systems and methods for providing desktop or application remoting to a web browser
KR20110014342A (en) * 2009-08-05 2011-02-11 에스케이 텔레콤주식회사 System and method for service image transmission
EP2312464A1 (en) * 2009-10-14 2011-04-20 Amadeus S.A.S. Method of and apparatus for operating on data in a distributed client-server architecture comprising heterogeneous platforms
KR20140047916A (en) 2012-10-15 2014-04-23 삼성전자주식회사 Data compressor, memory system comprising the compress and method for compressing data
CN103118099A (en) * 2013-01-25 2013-05-22 福建升腾资讯有限公司 Hash algorithm based graphic image caching method
US20140362930A1 (en) * 2013-06-06 2014-12-11 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516724A (en) * 2021-07-13 2021-10-19 东软医疗系统股份有限公司 Image data transmission method and device
CN113516724B (en) * 2021-07-13 2023-10-27 东软医疗系统股份有限公司 Image data transmission method and device

Also Published As

Publication number Publication date
KR102426670B1 (en) 2022-07-29
KR102307539B1 (en) 2021-09-30
KR20210118781A (en) 2021-10-01

Similar Documents

Publication Publication Date Title
US9167054B2 (en) Remote browsing session management
US8213924B2 (en) Providing distributed online services for mobile devices
CN103782294B (en) Remote browsing session management
US8577963B2 (en) Remote browsing session between client browser and network based browser
US9183258B1 (en) Behavior based processing of content
KR102426670B1 (en) System for cloud streaming service, method of image cloud streaming service using process shortering and apparatus for the same
KR101888846B1 (en) System for cloud streaming service, method of image cloud streaming service using reciprocal cache and apparatus for the same
KR102442699B1 (en) System for cloud streaming service, method of image cloud streaming service using common cache and apparatus for the same
KR20160121982A (en) System for cloud streaming service, method of image cloud streaming service using shared web-container and apparatus for the same
KR102273144B1 (en) System for cloud streaming service, method of image cloud streaming service using division of the change area and apparatus for the same
KR20160109805A (en) System for cloud streaming service, method of image cloud streaming service using split of changed image and apparatus for the same
KR20160115566A (en) System for cloud streaming service, method of image cloud streaming service using separation of image and text and apparatus for the same
KR102306889B1 (en) System for cloud streaming service, method of image cloud streaming service using data substitution and apparatus for the same
CN111475843A (en) Data processing method and related device
KR20200115314A (en) User interface screen recovery method in cloud streaming service and apparatus therefor
KR102307863B1 (en) System for cloud streaming service, method of image cloud streaming service using reduction of encoding area and apparatus for the same
KR102313531B1 (en) System for cloud streaming service, method of cloud streaming service using single session multi-access and apparatus for the same
KR102053159B1 (en) Method for cloud streaming service using scalable cache image and apparatus for the same
KR20160109072A (en) System for cloud streaming service, method of image cloud streaming service based on optimum rendering and apparatus for the same
KR102063093B1 (en) System for cloud streaming service, method of compressing data for preventing memory bottleneck and apparatus for the same
KR102063089B1 (en) System for cloud streaming service, method of improving content picture quality and apparatus for the same
US9178955B1 (en) Managing network based content
KR20160109804A (en) System for cloud streaming service, method of image cloud streaming service using split screen and apparatus for the same
KR102272358B1 (en) System for cloud streaming service, method of image cloud streaming service using managed occupation of browser and method using the same
KR20160106346A (en) System for cloud streaming service, method of image cloud streaming service based on performance of terminal and apparatus for the same

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent