KR102247657B1 - System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same - Google Patents

System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same Download PDF

Info

Publication number
KR102247657B1
KR102247657B1 KR1020140134512A KR20140134512A KR102247657B1 KR 102247657 B1 KR102247657 B1 KR 102247657B1 KR 1020140134512 A KR1020140134512 A KR 1020140134512A KR 20140134512 A KR20140134512 A KR 20140134512A KR 102247657 B1 KR102247657 B1 KR 102247657B1
Authority
KR
South Korea
Prior art keywords
still image
processing unit
cloud streaming
encoding
unit
Prior art date
Application number
KR1020140134512A
Other languages
Korean (ko)
Other versions
KR20160040943A (en
Inventor
이동수
윤홍서
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140134512A priority Critical patent/KR102247657B1/en
Priority to JP2016575537A priority patent/JP2017529716A/en
Priority to EP15827254.2A priority patent/EP3177024B1/en
Priority to CN201580049450.2A priority patent/CN106717007B/en
Priority to PCT/KR2015/006950 priority patent/WO2016017952A1/en
Publication of KR20160040943A publication Critical patent/KR20160040943A/en
Priority to US15/420,030 priority patent/US10652591B2/en
Application granted granted Critical
Publication of KR102247657B1 publication Critical patent/KR102247657B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

클라우드 스트리밍 서비스 시스템, 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치가 개시된다. 클라우드 스트리밍 서버는 변화된 프레임에 포함된 변화 영역을 캡처하고, 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 클라우드 스트리밍 서비스 제공 시 인코딩 과정에 따른 프로세스 별로 인코딩 처리 유닛을 분리하여 인코딩을 수행함으로써 클라우드 스트리밍 서버의 자원을 절약하는 것이 가능하다.Disclosed are a cloud streaming service system, a cloud streaming service method and apparatus for the same by separating work of an encoding processing unit. The cloud streaming server captures the change region included in the changed frame, separates the encoding process for the change region into a plurality of unit processes, and at least one of the unit processes is in a Graphics Processing Unit (GPU). Allocate and allocate the remaining unit processes not assigned to the graphics processing unit to the Central Processing Unit (CPU) to perform the encoding process to encode the still image and transmit the still image-encoded change area to the user. Thus, a still image-based cloud streaming service can be performed. When providing a cloud streaming service, it is possible to save resources of the cloud streaming server by separating the encoding processing unit for each process according to the encoding process and performing encoding.

Description

클라우드 스트리밍 서비스 시스템, 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 {SYSTEM FOR CLOUD STREAMING SERVICE, METHOD OF CLOUD STREAMING SERVICE USING SEPARATE OPERATIONS OF THE ENCODING PROCESS UNIT AND APPARATUS FOR THE SAME}Cloud streaming service system, cloud streaming service method by separating the work of the encoding processing unit, and a device therefor {SYSTEM FOR CLOUD STREAMING SERVICE, METHOD OF CLOUD STREAMING SERVICE USING SEPARATE OPERATIONS OF THE ENCODING PROCESS UNIT AND APPARATUS FOR THE SAME}

본 발명은 클라우드 스트리밍 시 인코딩 과정에 따라 인코딩 처리 유닛을 프로세스 별로 분리하여 인코딩을 수행함으로써 서버의 자원을 절감할 수 있는 클라우드 스트리밍 서비스 시스템, 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법 및 장치에 관한 것이다.The present invention provides a cloud streaming service system capable of saving server resources by separating an encoding processing unit by process and performing encoding according to an encoding process during cloud streaming, and a cloud streaming service method and apparatus through separation of work of the encoding processing unit. About.

현대 인터넷의 급속한 발달로 인해 개인의 통신 속도는 급격하게 향상되었고, 이러한 통신 속도의 향상으로 원격지 컴퓨터에 접속하여 대용량의 데이터를 다운로드 또는 업로드 하거나, 원격지 컴퓨터 제어 프로그램을 사용하여 마치 원격지 컴퓨터에 로컬 로그인한 것과 같이 원격지 컴퓨터를 이용할 수 있는 환경이 조성되었다.Due to the rapid development of the modern Internet, the communication speed of individuals has rapidly improved. With this increase in communication speed, access to a remote computer and download or upload large amounts of data, or log in locally to the remote computer using a remote computer control program. As in the previous example, an environment in which remote computers can be used has been created.

또한, 어플리케이션을 서버에서 구동시키고 구동화면은 비디오 인코딩(Encoding)을 통해 압축하여 클라이언트로 전송하고, 클라이언트는 전송된 비디오를 재생하여 마치 자신의 단말에서 어플리케이션이 구동되는 것과 같은 효과를 내는 화면 가상화 기반의 클라우드 스트리밍 서비스가 각광받고 있다.In addition, the application is run on the server, and the driving screen is compressed through video encoding and transmitted to the client, and the client plays the transmitted video to create the same effect as running the application on its own terminal based on screen virtualization. Cloud streaming service is in the spotlight.

이와 같은 클라우드 스트리밍 서비스는 기본적으로 비디오 코덱 기반의 클라우드 스트리밍 기법이 적용되었다. 그러나 메뉴 디스플레이와 같이 정적인 화면을 서비스 하는 경우에도 불필요하게 화면 전체를 캡처하고 비디오 코덱을 이용하여 동작하기 때문에 클라우드 스트리밍 서비스 시스템을 운영함에 있어서 비효율적인 부분이 존재하였다.Cloud streaming services such as this basically applied a cloud streaming technique based on a video codec. However, even in the case of servicing a static screen such as a menu display, since the entire screen is unnecessarily captured and operated using a video codec, there is an inefficient part in operating the cloud streaming service system.

한국 공개 특허 제10-2014-0021388호, 2014년 2월 20일 공개 (명칭: 그래픽 프로세스 유닛 기반 JPEG2000 인코딩/디코딩 장치 및 방법)Korean Patent Publication No. 10-2014-0021388, published on February 20, 2014 (Name: JPEG2000 encoding/decoding apparatus and method based on graphic process unit)

본 발명의 목적은, 클라우드 스트리밍 서비스 제공 시 인코딩 과정에 따른 프로세스 별로 인코딩 처리 유닛을 분리하여 인코딩을 수행함으로써 클라우드 스트리밍 서버의 자원 사용을 절약하는 것이다.An object of the present invention is to save resource use of a cloud streaming server by separating an encoding processing unit for each process according to an encoding process and performing encoding when providing a cloud streaming service.

또한, 본 발명의 목적은 클라우드 스트리밍 서비스 제공 시 중앙 처리 유닛과 함께 그래픽 처리 유닛을 이용하여 서비스를 처리함으로써 서버의 부하로 발생할 수 있는 지연 상황을 감소시키는 것이다.In addition, an object of the present invention is to reduce a delay situation that may occur due to the load of the server by processing the service using a graphic processing unit together with a central processing unit when providing a cloud streaming service.

상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버는, 변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부; 상기 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부를 포함한다.Cloud streaming server according to the present invention for achieving the above object, the capture unit for capturing a change area included in the changed frame; The encoding process for the change area is divided into a plurality of unit processes, at least one or more of the unit processes are allocated to a graphics processing unit (GPU), and the remaining units not allocated to the graphics processing unit The processes include: an encoding unit that is allocated to a Central Processing Unit (CPU) and performs the encoding process to encode the change area as a still image; And a sending unit that transmits the still image-encoded change region to a user to perform a still image-based cloud streaming service.

이 때, 단위 프로세스들은 상기 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합 중 어느 하나에 상응할 수 있다.In this case, the unit processes may correspond to any one of image analysis corresponding to the change region, determination of a still image compression technique, still image compression, and compressed data collection.

이 때, 인코딩부는 상기 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 기반하여 상기 그래픽 처리 유닛에 상기 스틸 이미지 압축에 상응하는 단위 프로세스를 할당할 수 있다.In this case, the encoding unit may allocate a unit process corresponding to the still image compression to the graphic processing unit based on a processing result corresponding to the image analysis and determination of the still image compression technique.

이 때, 스틸 이미지 압축은 상기 변화 영역에 상응하는 이미지에 대하여 컬러 히스토그램 구성, 팔레트 생성, 팔레트 기반의 원본 컬러 양자화 및 팔레트 기반 인코딩 중 하나 이상의 과정을 포함할 수 있다.In this case, still image compression may include one or more of a color histogram configuration, palette generation, palette-based original color quantization, and palette-based encoding for the image corresponding to the change area.

이 때, 그래픽 처리 유닛은 상기 스틸 이미지 압축에 상응하는 프로세싱 결과를 상기 중앙 처리 유닛으로 전달할 수 있다.In this case, the graphic processing unit may transmit a processing result corresponding to the still image compression to the central processing unit.

이 때, 중앙 처리 유닛은 상기 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 상기 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 수 있다.In this case, the central processing unit may perform a unit process corresponding to the collection of the compressed data by using the processing result corresponding to the still image compression.

이 때, 중앙 처리 유닛은 상기 스틸 이미지 압축에 상응하는 단위 프로세스가 상기 그래픽 처리 유닛에 할당된 경우 상기 변화 영역에 상응하는 이미지 데이터를 상기 그래픽 처리 유닛으로 전달할 수 있다.In this case, when a unit process corresponding to compression of the still image is allocated to the graphic processing unit, the central processing unit may transmit image data corresponding to the change area to the graphic processing unit.

이 때, 캡처부는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.In this case, the capture unit may capture a changed area as the change area compared to a screen area corresponding to a previous frame of the changed frame among the screen areas corresponding to the changed frame.

이 때, 캡처부는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.In this case, the capture unit may detect a section in which the frame change is small among the entire frame section to be transmitted to the user's terminal device, and capture the change area in the section in which the frame change is small.

이 때, 캡처부는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.In this case, the capture unit may detect an event type of an application generated from the user's terminal device to detect a section in which the frame change is small.

또한, 본 발명에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은, 변화된 프레임에 포함된 변화 영역을 캡처하는 단계; 상기 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계를 포함한다.In addition, the cloud streaming service method by separating the work of the encoding processing unit according to the present invention includes: capturing a change area included in the changed frame; The encoding process for the change area is divided into a plurality of unit processes, at least one or more of the unit processes are allocated to a graphics processing unit (GPU), and the remaining units not allocated to the graphics processing unit The processes are allocated to a central processing unit (CPU) to perform the encoding process to encode the change area as a still image; And transmitting the still image-encoded change region to a user to perform a still image-based cloud streaming service.

이 때, 단위 프로세스들은 상기 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합 중 어느 하나에 상응할 수 있다.In this case, the unit processes may correspond to any one of image analysis corresponding to the change region, determination of a still image compression technique, still image compression, and compressed data collection.

이 때, 인코딩하는 단계는 상기 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 기반하여 상기 그래픽 처리 유닛에 상기 스틸 이미지 압축에 상응하는 단위 프로세스를 할당할 수 있다. In this case, in the encoding step, a unit process corresponding to the still image compression may be allocated to the graphic processing unit based on a processing result corresponding to the image analysis and determination of the still image compression technique.

이 때, 스틸 이미지 압축은 상기 변화 영역에 상응하는 이미지에 대하여 컬러 히스토그램 구성, 팔레트 생성, 팔레트 기반의 원본 컬러 양자화 및 팔레트 기반 인코딩 중 하나 이상의 과정을 포함할 수 있다.In this case, still image compression may include one or more of a color histogram configuration, palette generation, palette-based original color quantization, and palette-based encoding for the image corresponding to the change area.

이 때, 그래픽 처리 유닛은 상기 스틸 이미지 압축에 상응하는 프로세싱 결과를 상기 중앙 처리 유닛으로 전달할 수 있다.In this case, the graphic processing unit may transmit a processing result corresponding to the still image compression to the central processing unit.

이 때, 중앙 처리 유닛은 상기 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 상기 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 수 있다.In this case, the central processing unit may perform a unit process corresponding to the collection of the compressed data by using the processing result corresponding to the still image compression.

이 때, 중앙 처리 유닛은 상기 스틸 이미지 압축에 상응하는 단위 프로세스가 상기 그래픽 처리 유닛에 할당된 경우 상기 변화 영역에 상응하는 이미지 데이터를 상기 그래픽 처리 유닛으로 전달할 수 있다.In this case, when a unit process corresponding to compression of the still image is allocated to the graphic processing unit, the central processing unit may transmit image data corresponding to the change area to the graphic processing unit.

이 때, 캡처하는 단계는 상기 변화된 프레임에 상응하는 화면 영역 중 상기 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 상기 변화 영역으로 캡처할 수 있다.In this case, in the capturing step, the changed area may be captured as the change area by comparing with the screen area corresponding to the previous frame of the changed frame among the screen areas corresponding to the changed frame.

이 때, 캡처하는 단계는 상기 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 상기 프레임 변화가 적은 구간에서 상기 변화 영역을 캡처할 수 있다.In this case, in the capturing step, a section in which a frame change is small among the entire frame section to be transmitted to the user's terminal device may be detected, and the change region may be captured in a section with a small frame change.

이 때, 캡처하는 단계는 상기 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 상기 프레임 변화가 적은 구간을 검출할 수 있다.In this case, in the capturing step, an event type of an application generated from the user's terminal device may be detected and a section in which the frame change is small may be detected.

또한, 본 발명의 과제 해결을 위한 또 다른 수단으로써, 상술한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.In addition, as another means for solving the problem of the present invention, a computer program stored in a medium is provided in order to execute the above-described method.

또한, 본 발명에 따른 클라우드 스트리밍 서비스 시스템은 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및 상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말을 포함한다.In addition, the cloud streaming service system according to the present invention captures the change region included in the changed frame, divides the encoding process for the change region into a plurality of unit processes, and at least one of the unit processes is graphic processing. Allocate to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit are allocated to a central processing unit (CPU) to perform the encoding process to encode the change area into a still image. And a cloud streaming server for performing a still image-based cloud streaming service by transmitting the still image-encoded change area to a user; And a terminal receiving an application execution result screen corresponding to the cloud streaming service from the cloud streaming server.

본 발명에 따르면, 클라우드 스트리밍 서비스 제공 시 인코딩 과정에 따른 프로세스 별로 인코딩 처리 유닛을 분리하여 인코딩을 수행함으로써 클라우드 스트리밍 서버의 자원 사용을 절약할 수 있다.According to the present invention, when a cloud streaming service is provided, the encoding processing unit is separated for each process according to the encoding process to perform encoding, thereby saving resource use of the cloud streaming server.

또한, 본 발명은 클라우드 스트리밍 서비스 제공 시 중앙 처리 유닛과 함께 그래픽 처리 유닛을 이용하여 서비스를 처리함으로써 서버의 부하로 발생할 수 있는 지연 상황을 감소시킬 수 있다.In addition, the present invention can reduce a delay that may occur due to a server load by processing the service using a graphic processing unit together with a central processing unit when providing a cloud streaming service.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.
도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 인코딩 처리 유닛을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an example of a cloud streaming server shown in FIG. 1.
3 is a diagram showing a still image-based cloud streaming system.
4 is a diagram showing an encoding processing unit according to an embodiment of the present invention.
5 is a diagram illustrating a process of capturing a change area in a cloud streaming service according to an embodiment of the present invention.
6 is an operation flowchart illustrating a cloud streaming service method through separation of work of an encoding processing unit according to an embodiment of the present invention.
7 is an operation flowchart showing in detail a cloud streaming service method through job separation of an encoding processing unit according to an embodiment of the present invention.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that the same components are denoted by the same reference numerals as much as possible throughout the drawings.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.The terms or words used in the present specification and claims described below should not be construed as being limited to their usual or dictionary meanings, and the inventors are appropriate as the concept of terms for describing their own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention on the basis of the principle that it can be defined. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention. It should be understood that there may be equivalents and variations. In addition, terms such as first and second are used to describe various elements, and are only used for the purpose of distinguishing one element from other elements, and are not used to limit the elements.

도 1은 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스 시스템을 나타낸 블록도이다.1 is a block diagram showing a cloud streaming service system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 다른 클라우드 스트리밍 서비스 시스템은 클라우드 스트리밍 서버(110), 단말 장치들(120-1, ..., 120-N) 및 네트워크(130)를 포함한다.Referring to FIG. 1, a cloud streaming service system according to an embodiment of the present invention includes a cloud streaming server 110, terminal devices 120-1, ..., 120-N, and a network 130. .

클라우드 스트리밍 서버(110)는 단말 장치들(120-1, ..., 120-N)로부터 클라우드 스트리밍 서비스 요청을 받아 어플리케이션을 실행하고, 어플리케이션 실행 결과에 해당하는 실행 결과 화면을 단말 장치들(120-1, ..., 120-N)에게 제공한다.The cloud streaming server 110 executes an application by receiving a request for a cloud streaming service from the terminal devices 120-1, ..., 120-N, and displays an execution result screen corresponding to the application execution result to the terminal devices 120 -1, ..., 120-N).

클라우드 스트리밍 서버(110)는 변화된 프레임에 포함된 변화 영역을 캡처한다. 이 때, 변화된 프레임에 상응하는 화면 영역 중 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 이 때, 단말 장치들(120-1, ..., 120-N)로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. 이 때, 단말 장치들(120-1, ..., 120-N)로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다.The cloud streaming server 110 captures a change area included in the changed frame. In this case, among the screen areas corresponding to the changed frame, the changed area may be captured as the change area by comparing with the screen area corresponding to the previous frame of the changed frame. In this case, a section in which a frame change is small among the entire frame section to be transmitted to the terminal devices 120-1, ..., 120-N may be detected, and a change region may be captured in a section in which the frame change is small. In this case, an event type of an application generated from the terminal devices 120-1, ..., 120 -N may be detected to detect a section in which the frame change is small.

또한, 클라우드 스트리밍 서버(110)는 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩한다. 이 때, 단위 프로세스들은 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합 중 어느 하나에 상응할 수 있다. 이 때, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 기반하여 그래픽 처리 유닛에 스틸 이미지 압축에 상응하는 단위 프로세스를 할당할 수 있다. 이 때, 스틸 이미지 압축은 변화 영역에 상응하는 이미지에 대하여 컬러 히스토그램 구성, 팔레트 생성, 팔레트 기반의 원본 컬러 양자화 및 팔레트 기반 인코딩 중 하나 이상의 과정을 포함할 수 있다. 이 때, 그래픽 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 중앙 처리 유닛으로 전달할 수 있다. 이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 수 있다. 이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 단위 프로세스가 그래픽 처리 유닛에 할당된 경우 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달할 수 있다.In addition, the cloud streaming server 110 separates the encoding process for the change region into a plurality of unit processes, and at least one of the unit processes is allocated to a graphics processing unit (GPU), and a graphic processing unit The remaining unit processes that are not assigned to are assigned to a central processing unit (CPU) to perform an encoding process to encode a still image of the change area. In this case, the unit processes may correspond to any one of image analysis corresponding to the change area, determination of a still image compression technique, still image compression, and compressed data collection. In this case, a unit process corresponding to still image compression may be allocated to the graphic processing unit based on a processing result corresponding to image analysis and determination of a still image compression technique. In this case, still image compression may include one or more of a color histogram configuration, palette generation, palette-based original color quantization, and palette-based encoding for the image corresponding to the change area. In this case, the graphic processing unit may transmit a processing result corresponding to still image compression to the central processing unit. In this case, the central processing unit may perform a unit process corresponding to the collection of compressed data by using the processing result corresponding to the still image compression. In this case, when a unit process corresponding to still image compression is allocated to the graphic processing unit, the central processing unit may transmit image data corresponding to the change area to the graphic processing unit.

또한, 클라우드 스트리밍 서버(110)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다.In addition, the cloud streaming server 110 performs a still image-based cloud streaming service by transmitting the still image-encoded change region to the user.

단말 장치들(120-1, ..., 120-N)은 클라우드 스트리밍 서버(110)로부터 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하여 사용자에게 제공한다.The terminal devices 120-1, ..., 120-N receive an application execution result screen corresponding to the cloud streaming service from the cloud streaming server 110 and provide it to the user.

단말 장치들(120-1, ..., 120-N)은 각각 통신망에 연결되어 클라우드 컴퓨팅 시스템 기반으로 어플리케이션을 실행할 수 있는 장치로, 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말, 유선 단말, 고정형 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 단말 장치들(120-1, ..., 120-N)은 각각 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net Book), 개인휴대용 정보단말(Personal Digital Assistant; PDA), 스마트 TV 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.Terminal devices 120-1, ..., 120-N are devices that are connected to a communication network and can execute applications based on a cloud computing system, and are not limited to mobile communication terminals, and all information and communication devices and multimedia terminals , A wired terminal, a fixed terminal, and an Internet Protocol (IP) terminal. In addition, the terminal devices 120-1, ..., 120-N are mobile phones, portable multimedia played (PMP), mobile internet devices (MID), smart phones, desktops, and tablet computers, respectively. (Tablet PC), notebook (Note book), net book (Net Book), personal digital assistant (PDA), smart TV and information communication devices, such as mobile devices with various mobile communication specifications have.

네트워크(130)는 클라우드 스트리밍 서버(110)및 단말 장치들(120-1, ..., 120-N) 사이에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크(130)의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다. 또한, 도 1에서 클라우드 스트리밍 서버(110)와 단말 장치들(120-1, ..., 120-N) 사이에 사용되는 네트워크는 단말 장치들(120-1, ..., 120-N) 상호간에 사용되는 네트워크와 상이한 것일 수도 있고, 동일한 것일 수도 있다.The network 130 provides a path for transferring data between the cloud streaming server 110 and the terminal devices 120-1, ..., 120-N, and is a network that is used in the past and a network that can be developed in the future. It is a concept that encompasses all. For example, the network 130 is a wired/wireless local area communication network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobiles and the mobile and the outside of the mobile, and communicates between the earth station and the earth station using satellites. It may be a satellite communication network, a wired or wireless communication network, or a combination of two or more. Meanwhile, the transmission method standard of the network 130 is not limited to the existing transmission method standard, and may include all transmission method standards to be developed in the future. In addition, a network used between the cloud streaming server 110 and the terminal devices 120-1, ..., 120-N in FIG. 1 is the terminal devices 120-1, ..., 120-N. It may be different from a network used for each other, or may be the same.

도 2는 도 1에 도시된 클라우드 스트리밍 서버의 일 예를 나타낸 블록도이다.FIG. 2 is a block diagram illustrating an example of a cloud streaming server shown in FIG. 1.

도 2를 참조하면, 도 1에 도시된 클라우드 스트리밍 서버(110)는 캡처부(210), 인코딩부(220), 센딩부(230) 및 저장부(240)를 포함한다.Referring to FIG. 2, the cloud streaming server 110 illustrated in FIG. 1 includes a capture unit 210, an encoding unit 220, a sending unit 230, and a storage unit 240.

클라우드 스트리밍 서비스 시 변화 영역만을 검출하여 클라우드 스트리밍 서비스를 수행하는 이미지 클라우드 스트리밍에 있어서, 이미지 인코딩을 수행할 때 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하거나 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 인코딩을 수행할 수 있다. 이 때, 최적의 이미지 클라우드 스트리밍 서비스를 제공하기 위해서는 세분화된 인코딩 프로세스에 적절하게 중앙 처리 유닛과 그래픽 처리 유닛을 조합해서 사용해야 하지만 기존의 클라우드 스트리밍 서비스 제공 시에는 동일한 하나의 유닛으로만 인코딩이 처리되고 있는 실정이다. 따라서 본 발명에서는 클라우드 스트리밍 서비스를 위해 인코딩 프로세스를 단위 프로세스들로 세분화하고, 단위 프로세스 별로 각각 중앙 처리 유닛과 그래픽 처리 유닛이 프로세싱함으로써 보다 효율적으로 이미지 클라우드 스트리밍 서비스를 제공할 수 있는 구성을 제안하고자 한다.In image cloud streaming that performs a cloud streaming service by detecting only a change area during a cloud streaming service, a central processing unit (CPU) is used or a graphics processing unit (GPU) is used when image encoding is performed. Encoding can be performed using. In this case, in order to provide an optimal image cloud streaming service, a central processing unit and a graphic processing unit should be appropriately combined in a subdivided encoding process. However, when providing an existing cloud streaming service, encoding is processed with only one unit. There is a situation . Therefore, in the present invention, an encoding process is subdivided into unit processes for a cloud streaming service, and a central processing unit and a graphic processing unit respectively process each unit process to propose a configuration that can provide an image cloud streaming service more efficiently. .

캡처부(210)는 변화된 프레임에 포함된 변화 영역을 캡처한다. 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.The capture unit 210 captures a change area included in the changed frame. The video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to a screen on which an application is running. However, if the inter-frame change is not large on the screen where the application is running, only the change region of the changed frame is captured and still image encoding is performed. When displaying on the user's terminal device, the part except the change region is displayed identically and the change region Can only be displayed in a way that makes a difference.

이 때, 변화된 프레임에 상응하는 화면 영역 중 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 해상도나 변화 영역에 상응하는 이미지의 타입이 다양할 수 있다.In this case, among the screen areas corresponding to the changed frame, the changed area may be captured as the change area by comparing with the screen area corresponding to the previous frame of the changed frame. For example, if the changed area among the screen areas corresponding to the changed frame is the area A compared to the screen area corresponding to the previous frame of the changed frame, only the area A of the screen area corresponding to the changed frame may be captured as the change area. The change region may have various types of images corresponding to the resolution or change region according to an input signal input from the user's terminal device.

이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. In this case, a section in which a frame change is small among the entire frame section to be transmitted to the user's terminal device may be detected, and a change region may be captured in a section in which the frame change is small.

이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.In this case, by detecting an event type of an application generated from the user's terminal device, a section in which the frame change is small may be detected. For example, the event type of the application may be determined according to an input signal generated from the user's terminal device. Depending on the input signal, when an application is executed, such as a menu, an option, and a guide window, a static event with little change in frame or a dynamic event in which the frame frequently changes such as video playback and game play may occur. Accordingly, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, an interval in which the frame change is small among the entire frame interval corresponding to the event may be detected.

인코딩부(220)는 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩한다. The encoding unit 220 divides the encoding process for the change region into a plurality of unit processes, and at least one of the unit processes is allocated to a graphics processing unit (GPU), and is not allocated to the graphics processing unit. The remaining unit processes are allocated to a central processing unit (CPU) to perform an encoding process to encode a still image of the change area.

클라우드 스트리밍 서버에서 변화 영역에 상응하는 이미지를 인코딩할 때, 중앙 처리 유닛만을 사용하여 서비스를 수행하는 기존의 방식으로는 클라우드 스트리밍 서버의 전체 가용 자원을 사용하지 못하기 때문에 이미지 인코딩의 시간이 지연에 따라 서비스 품질이 저하될 수 있었다. 따라서, 본 발명에서는 인코딩 프로세스를 여러 개의 단위 프로세스들로 세분화하고, 각각의 단위 프로세스들을 중앙 처리 장치와 그래픽 처리 장치에 적절하게 할당하여 인코딩을 수행함으로써 기존의 방식에서 발생할 수 있었던 문제점을 해결할 수 있는 구성을 제시할 수 있다.When the cloud streaming server encodes the image corresponding to the change area, the image encoding time is delayed because the existing method of performing the service using only the central processing unit does not use the entire available resources of the cloud streaming server. Accordingly, the quality of service could be degraded. Therefore, in the present invention, the encoding process is subdivided into several unit processes, and each unit process is appropriately allocated to the central processing unit and the graphic processing unit to perform encoding, thereby solving the problems that may have occurred in the conventional method. Composition can be presented.

이 때, 단위 프로세스들은 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합 중 어느 하나에 상응할 수 있다. 이미지 분석은 변화 영역에 상응하는 이미지가 어떤 특성을 갖고 있는지 분석하는 과정일 수 있다. 예를 들어, 이미지의 사이즈나 해상도 및 타입 등의 이미지 특성을 분석하여 효율적인 인코딩을 수행하기 위한 데이터로 사용할 수 있다. In this case, the unit processes may correspond to any one of image analysis corresponding to the change area, determination of a still image compression technique, still image compression, and compressed data collection. Image analysis may be a process of analyzing what characteristics an image corresponding to a change area has. For example, it can be used as data for efficient encoding by analyzing image characteristics such as the size, resolution, and type of the image.

또한, 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스를 수행함으로써 변화 영역의 압축을 수행할 때 클라우드 스트리밍 서버의 자원을 보다 효율적으로 사용할 수 있다. 이 후, 변화 영역에 상응하는 적어도 하나 이상의 이미지들을 스틸 이미지 압축한 결과를 이용하여 최종적으로 압축 데이터 취합에 상응하는 프로세스를 수행할 수 있다. In addition, by performing a unit process corresponding to the determination of the still image compression technique, it is possible to more efficiently use the resources of the cloud streaming server when compressing the change region. Thereafter, a process corresponding to the collection of compressed data may be finally performed by using the result of compressing the still image of at least one or more images corresponding to the change area.

이 때, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 기반하여 그래픽 처리 유닛에 스틸 이미지 압축에 상응하는 단위 프로세스를 할당할 수 있다. 예를 들어, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과 변화 영역을 인코딩할 스틸 이미지 압축 기법으로 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법이 결정될 수 있다. 이 때, 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 스틸 이미지 인코딩을 수행하는 과정에는 단순한 계산의 반복이나 병렬로 처리하기 좋은 계산 과정이 포함될 수 있다. 따라서, 이와 같은 경우에는 단위 프로세스들 중 스틸 이미지 압축을 수행하는 단위 프로세스를 그래픽 처리 유닛에 할당함으로써 인코딩에 사용되는 시간을 절약하여 클라우드 스트리밍 서버의 자원을 효율적으로 사용할 수 있다.In this case, a unit process corresponding to still image compression may be allocated to the graphic processing unit based on a processing result corresponding to image analysis and determination of a still image compression technique. For example, a palletized PNG (portable network graphics) still image compression technique may be determined as a still image compression technique to encode a change region as a result of processing corresponding to image analysis and determination of a still image compression technique. In this case, a process of performing still image encoding using a palletized PNG still image compression technique may include a simple calculation repetition or a calculation process that is good for parallel processing. Accordingly, in this case, by allocating a unit process for performing still image compression among the unit processes to the graphic processing unit, time used for encoding can be saved, and resources of the cloud streaming server can be efficiently used.

또한, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 상관하지 않고 시스템 설정에 따라, 그래픽 처리 유닛을 이용하여 스틸 이미지 압축에 상응하는 단위 프로세스를 수행할 수도 있다. 클라우드 스트리밍 시스템이 중앙 처리 유닛만으로 구성된 경우에는 중앙 처리 유닛을 이용하여 모든 프로세스를 수행해야 하기 때문에, 사용자의 단말로 클라우드 스트리밍 서비스를 제공할 때 레이턴시 지연이 발생할 가능성이 높을 수 있다. 따라서, 중앙 처리 유닛을 하나 또는 복수로 구비하여 스틸 이미지 압축에 상응하는 단위 프로세스를 그래픽 처리 유닛으로 수행하고, 프로세싱 결과를 중앙 처리 유닛으로 재전달함으로써 클라우드 스트리밍 시스템의 관리 비용 절감 및 레이턴시 지연 감소의 효과를 달성할 수 있다.In addition, a unit process corresponding to still image compression may be performed using a graphic processing unit according to a system setting regardless of a processing result corresponding to image analysis and determination of a still image compression technique. When the cloud streaming system is composed of only the central processing unit, all processes must be performed using the central processing unit, and thus there is a high possibility that a latency delay may occur when a cloud streaming service is provided to a user's terminal. Therefore, by providing one or a plurality of central processing units to perform a unit process corresponding to still image compression to the graphic processing unit, and re-delivering the processing result to the central processing unit, the management cost of the cloud streaming system is reduced and latency delay is reduced. The effect can be achieved.

이 때, 스틸 이미지 압축은 변화 영역에 상응하는 이미지에 대하여 컬러 히스토그램 구성, 팔레트 생성, 팔레트 기반의 원본 컬러 양자화 및 팔레트 기반 인코딩 중 하나 이상의 과정을 포함할 수 있다. 컬러 히스토그램 구성은 변화 영역에 상응하는 이미지에 대한 팔렛트를 생성하기 위해 수행될 수 있다. 팔레트 생성은 컬러 히스토그램을 이용하여 원본 이미지, 즉 변화 영역에 상응하는 이미지 대비 최소 손실이 나는 팔레트를 생성하는 과정일 수 있다. 이렇게 생성한 팔레트를 기반으로 하여 변화 영역에 상응하는 이미지의 컬러를 팔레트에 상응하는 컬러로 치환하여 원본 컬러 양자화를 수행하고, 팔레트 기반 인코딩을 수행할 수 있다.In this case, still image compression may include one or more of a color histogram configuration, palette generation, palette-based original color quantization, and palette-based encoding for the image corresponding to the change area. The color histogram construction can be performed to create a pallet for the image corresponding to the change area. Palette generation may be a process of generating a palette with a minimum loss compared to an original image, that is, an image corresponding to a change area by using a color histogram. Based on the generated palette, original color quantization may be performed by substituting the color of an image corresponding to the change area with a color corresponding to the palette, and palette-based encoding may be performed.

이 때, 그래픽 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 중앙 처리 유닛으로 전달할 수 있다. 예를 들어, 복수 개의 변화된 프레임에 포함된 변화 영역들에 대해서 그래픽 처리 유닛에서 스틸 이미지 압축에 상응하는 단위 프로세스를 수행하고, 각각의 프로세싱 결과를 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 중앙 처리 유닛으로 전달할 수 있다. 이와 같이 인코딩 프로세스를 복수 개로 세분화하여 중앙 처리 유닛 및 그래픽 처리 유닛 중 어느 하나로 수행함에 따라 프로세싱 결과를 전달하는 자원 소모비용이 추가적으로 발생할 수 있지만, 인코딩 프로세스를 세분화하여 처리함으로써 얻을 수 있는 자원 효율이득이 추가적으로 발생할 수 있는 자원 소모비용보다 크기 때문에 보다 효과적인 인코딩 방법일 수 있다. In this case, the graphic processing unit may transmit a processing result corresponding to still image compression to the central processing unit. For example, a central processing that performs a unit process corresponding to still image compression in the graphics processing unit on the change areas included in a plurality of changed frames, and performs a unit process corresponding to the compression data collection for each processing result. Can be delivered to the unit. As the encoding process is subdivided into multiple pieces and performed by either the central processing unit or the graphic processing unit, the cost of resource consumption for delivering the processing result may be additionally incurred, but the resource efficiency gains obtained by subdividing the encoding process and processing it. Since it is larger than the additional resource consumption cost, it may be a more effective encoding method.

이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 수 있다. 예를 들어, 그래픽 처리 유닛을 통해 생성된 스틸 이미지 압축에 상응하는 프로세싱 결과가 복수일 경우에는 각각의 프로세싱 결과, 즉 압축 데이터들을 취합할 수 있다. 인코딩 프로세스를 수행하여 사용자의 단말 장치로 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 본 발명의 목적이기 때문에, 사용자의 단말 장치로 서비스를 제공할 수 있도록 복수의 압축 데이터를 취합하여 인코딩 프로세스를 수행할 수 있다.In this case, the central processing unit may perform a unit process corresponding to the collection of compressed data by using the processing result corresponding to the still image compression. For example, when there are a plurality of processing results corresponding to compression of a still image generated through the graphic processing unit, each processing result, that is, compressed data may be collected. Since the object of the present invention is to provide a still image-based cloud streaming service to the user's terminal device by performing the encoding process, the encoding process is performed by collecting a plurality of compressed data so that the service can be provided to the user's terminal device. can do.

이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 단위 프로세스가 그래픽 처리 유닛에 할당된 경우 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달할 수 있다. 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스의 프로세싱 결과에 따라 스틸 이미지 압축에 상응하는 단위 프로세스가 그래픽 처리 유닛에 할당되는지 여부가 결정될 수 있다. 예를 들어, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스의 프로세싱 결과 변화 영역에 상응하는 이미지를 팔렛티드 PNG 스틸 이미지 압축 기법으로 압축하는 경우에는 단순 계산을 반복하고 병렬 처리하기 좋은 계산이 존재하므로 그래픽 처리 유닛으로 스틸 이미지 압축을 수행하는 것이 중앙 처리 유닛으로 스틸 이미지 압축을 수행하는 것보다 효율적일 수 있다. 따라서, 상기와 같이 그래픽 처리 유닛에서 스틸 이미지 압축에 상응하는 단위 프로세스가 할당된 경우에는 압축될 이미지 데이터, 즉 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달할 수 있다.In this case, when a unit process corresponding to still image compression is allocated to the graphic processing unit, the central processing unit may transmit image data corresponding to the change area to the graphic processing unit. It may be determined whether a unit process corresponding to still image compression is allocated to the graphic processing unit according to a processing result of a unit process corresponding to image analysis and still image compression technique determination. For example, when the image corresponding to the processing result of the processing result of the unit process corresponding to the image analysis and determination of the still image compression method is compressed with the palletized PNG still image compression method, a simple calculation is repeated and the calculation is good for parallel processing. As it exists, performing still image compression with a graphics processing unit may be more efficient than performing still image compression with a central processing unit. Accordingly, when a unit process corresponding to still image compression is allocated in the graphic processing unit as described above, image data to be compressed, that is, image data corresponding to the change area may be transferred to the graphic processing unit.

센딩부(230)는 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다. 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.The sending unit 230 transmits the still image-encoded change region to the user to perform a still image-based cloud streaming service. By completing the encoding and transmitting the compressed change area to the user's terminal device, a cloud streaming service can be performed so that the user's terminal device can feel the application being executed.

저장부(240)는 상술한 바와 같이 본 발명의 실시예에 따른 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장한다.As described above, the storage unit 240 stores various types of information generated in the process of a cloud streaming service according to an embodiment of the present invention.

실시예에 따라, 저장부(240)는 클라우드 스트리밍 서버(110)와 독립적으로 구성되어 클라우드 스트리밍 서비스를 위한 기능을 지원할 수 있다. 이 때, 저장부(240)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage unit 240 may be configured independently of the cloud streaming server 110 to support a function for a cloud streaming service. In this case, the storage unit 240 may operate as a separate mass storage, and may include a control function for performing the operation.

또한, 상술한 바와 같이 구성되는 클라우드 스트리밍 서버(110)는 하나 이상의 서버로 구현될 수 있다.In addition, the cloud streaming server 110 configured as described above may be implemented as one or more servers.

한편, 클라우드 스트리밍 서버(110)는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the cloud streaming server 110 is equipped with a memory to store information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

도 3은 스틸 이미지 기반 클라우드 스트리밍 시스템을 나타낸 도면이다.3 is a diagram showing a still image-based cloud streaming system.

도 3을 참조하면, 서버(310)에서는 사용자의 단말 장치로부터 발생되는 사용자 입력(User Input)에 상응하는 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행할 수 있다. 이 때, 서버(300)는 클라우드 스트리밍 서버와 웹 어플리케이션 서버를 통칭하는 서버일 수 있다. 또한, 프로그램 화면(310)을 실행시켜 캡처(Screen Capture)를 수행하는 과정은 도 2에 도시된 캡처부(210)의 동작 흐름과 상응할 수 있다. Referring to FIG. 3, the server 310 may perform screen capture by executing a program screen 310 corresponding to a user input generated from a user's terminal device. In this case, the server 300 may be a server collectively referred to as a cloud streaming server and a web application server. In addition, a process of performing a screen capture by executing the program screen 310 may correspond to an operation flow of the capture unit 210 illustrated in FIG. 2.

서버(300)는 캡처(Screen Capture)된 프로그램 화면(310)을 스틸 이미지 압축 기법을 통해 인코딩(Image Encoding)(320)할 수 있다. 이 때, 인코딩 (Image Encoding)(320)을 수행하는 과정은 도 2에 도시된 인코딩부(220)의 동작 흐름과 상응할 수 있다.The server 300 may encode (Image Encoding) 320 the captured program screen 310 through a still image compression technique. In this case, the process of performing the encoding (Image Encoding) 320 may correspond to the operation flow of the encoding unit 220 shown in FIG. 2.

이 때, 변화된 프레임을 이전 프레임과 비교하여 변화된 영역만을 캡처할 수 있다. 또한, 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩할 수 있다.In this case, only the changed area may be captured by comparing the changed frame with the previous frame. In addition, the encoding process for the change area is divided into a plurality of unit processes, at least one or more of the unit processes are allocated to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit. They may be allocated to a Central Processing Unit (CPU) to perform an encoding process to encode a still image of the change region.

이 후, 서버(300)는 스틸 이미지 인코딩된 변화된 영역을 사용자의 단말 장치로 스트리밍(Streaming)(330)하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공할 수 있다. 이 때, 스트리밍(Streaming)(330)을 수행하는 과정은 도 2에 도시된 센딩부(230)의 동작 흐름과 상응할 수 있다.Thereafter, the server 300 may provide a still image-based cloud streaming service by streaming 330 of the changed region encoded with the still image to the user's terminal device. In this case, the process of performing the streaming 330 may correspond to the operation flow of the sending unit 230 shown in FIG. 2.

이 후, 사용자의 단말 장치에서는 수신한 데이터를 렌더링(Image Rendering)(340)함으로써 사용자 입력(User Input)에 의해 어플리케이션에서 실행된 프로그램 화면(310)이 마치 사용자의 단말 장치에서 실행된 것처럼 사용자에게 디스플레이 할 수 있다.Thereafter, the user's terminal device renders the received data (Image Rendering) 340 so that the program screen 310 executed in the application by the user input is sent to the user as if it was executed on the user's terminal device. Can be displayed.

도 4는 본 발명의 일실시예에 따른 인코딩 처리 유닛을 나타낸 도면이다.4 is a diagram showing an encoding processing unit according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 인코딩 처리 유닛은 중앙 처리 유닛(Central Processing Unit; CPU)(410)과 그래픽 처리 유닛(Graphics Processing Unit; GPU)(420)으로 구분할 수 있다.Referring to FIG. 4, an encoding processing unit according to an embodiment of the present invention may be divided into a central processing unit (CPU) 410 and a graphics processing unit (GPU) 420.

중앙 처리 유닛(410)은 컴퓨터의 가장 중요한 부분으로서 명령을 해독하고 산술논리연산이나 데이터 처리를 실행하는 장치일 수 있다. 따라서 컴퓨터의 계산속도나 한번에 다루는 데이터 량, 관리할 수 있는 주기억장치 영역의 크기 등은 중앙 처리 유닛의 성능에 의존하는 바가 클 수 있다. 이와 같은 중앙 처리 유닛(Central Processing Unit; CPU)을 이용하여 변화 영역을 인코딩하는 경우 인코딩할 데이터를 다른 유닛으로 전달하지 않고 바로 인코딩을 수행할 수 있기 때문에 데이터 전달에 따른 비용은 발생하지 않을 수 있다. 그러나 변화 영역에 상응하는 이미지를 인코딩하기 위한 과정 중 단순 계산의 반복 및 병렬 처리하기 좋은 계산 중 하나 이상이 포함된 경우에는 중앙 처리 유닛(410)을 이용하여 인코딩을 수행하는데 시간이 오래 걸릴 수 있다. 특히, 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법을 이용하여 인코딩을 수행하는 경우, 각각의 프레임 이미지에 대하여 컬러 히스토그램을 구성하고, 컬러 히스토그램을 기반으로 팔레트를 생성하여 컬러 양자화를 수행하기 때문에 인코딩 시간이 비효율적으로 길어질 수 있다.The central processing unit 410 may be a device that decodes instructions as the most important part of a computer and executes arithmetic and logic operations or data processing. Therefore, the computational speed of the computer, the amount of data handled at one time, the size of the main memory area that can be managed, etc. may depend on the performance of the central processing unit. In the case of encoding the change region using such a Central Processing Unit (CPU), the cost of data transmission may not be incurred because the encoding can be performed immediately without transmitting the data to be encoded to another unit. . However, when one or more of simple calculation repetition and parallel processing are included in the process of encoding the image corresponding to the change region, it may take a long time to perform encoding using the central processing unit 410. . In particular, when encoding is performed using a palletized PNG (portable network graphics) still image compression technique, color histogram is constructed for each frame image, and color quantization is performed by creating a palette based on the color histogram. The encoding time may be inefficiently lengthened.

그래픽 처리 유닛(420)은 3D 그래픽이 본격적으로 도입된 후, 디스플레이 화면을 보다 현실적으로 만들기 위한 각종 광원 효과 및 질감 표현 기법을 처리하기 위해 개발된 3D 그래픽 연산 전용의 프로세서이다. 이와 같은 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 변화 영역을 인코딩하는 경우에는 단순 계산의 반복이나 병렬 처리하기 좋은 계산 과정이 포함되어 있어도 그래픽 처리 장치의 처리능력을 통해 효과적으로 인코딩을 수행할 수 있다. 그러나, 그래픽 처리 유닛을 이용하여 변화 영역의 인코딩을 수행하기 위해서는 먼저 중앙 처리 유닛으로부터 인코딩할 데이터를 전달받고, 인코딩이 완료된 후에도 인코딩된 데이터를 다시 중앙 처리 유닛으로 전달해야 하기 때문에 추가적인 전달 비용이 발생할 수 있다.The graphic processing unit 420 is a processor dedicated to 3D graphic operation developed to process various light source effects and texture expression techniques for making the display screen more realistic after 3D graphics are introduced in earnest. In the case of encoding the change region using such a graphics processing unit (GPU), even if it includes simple calculation repetition or a calculation process that is good for parallel processing, the encoding can be effectively performed through the processing power of the graphics processing unit. I can. However, in order to perform encoding of the change region using the graphic processing unit, the data to be encoded is first received from the central processing unit, and the encoded data must be transmitted back to the central processing unit even after encoding is completed, which incurs additional transmission costs. I can.

이와 같은 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)은 도 4에서와 같이 서버(400)내에서 독립적으로 존재할 수 있다. 또는 도 4와는 다르게 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)이 하나의 장치 안에 혼합되어 존재하거나, 중앙 처리 유닛(410)안에 그래픽 처리 유닛(420)이 포함되는 등 다양한 형태로 구성될 수 있다.The central processing unit 410 and the graphic processing unit 420 may exist independently in the server 400 as shown in FIG. 4. Alternatively, unlike FIG. 4, the central processing unit 410 and the graphic processing unit 420 are mixed and present in one device, or the central processing unit 410 includes the graphic processing unit 420 in various forms. I can.

또한, 중앙 처리 유닛(410)과 그래픽 처리 유닛(420)은 상호간에 데이터를 송수신할 수 있도록 연결되어 있을 수 있다.In addition, the central processing unit 410 and the graphic processing unit 420 may be connected to each other to transmit and receive data.

도 5는 본 발명의 일실시예에 따른 클라우드 스트리밍 서비스에서 변화 영역을 캡처하는 과정을 나타낸 도면이다.5 is a diagram illustrating a process of capturing a change area in a cloud streaming service according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 스틸 이미지 기반 클라우드 스트리밍 서비스는 첫번째 프레임(510)과 두번째 프레임(520)을 비교하여 변화된 변화 영역(530)만을 캡처하여 인코딩할 수 있다.Referring to FIG. 5, the still image-based cloud streaming service according to an embodiment of the present invention may compare a first frame 510 and a second frame 520 to capture and encode only a changed region 530.

예를 들어, 첫번째 프레임(510)과 두번째 프레임(520)에서 B, C, D 및 E의 영역을 메뉴 디스플레이라고 가정하였을 때, 첫번째 프레임(510)에서는 C 영역에 커서가 위치함으로써 C 영역이 다른 B, D, 및 E 영역과 구별될 수 있도록 음영처리 되었고, 두번째 프레임(520)에서는 C 영역에서 D 영역으로 커서가 이동함으로써 D 영역이 다른 B, C 및 E 영역과 구별될 수 있도록 음영처리 될 수 있다.For example, assuming that the areas B, C, D, and E in the first frame 510 and the second frame 520 are menu displays, in the first frame 510, the cursor is positioned in the C area, so that the C area is different. It has been shaded so that it can be distinguished from areas B, D, and E, and in the second frame 520, the cursor is moved from area C to area D, so that area D is shaded so that it can be distinguished from other areas B, C, and E. I can.

이 때, 첫번째 프레임(510)과 두번째 프레임(520)을 비교하였을 때 변화된 영역인 C와 D 영역만을 변화 영역(530)으로 캡처할 수 있다. 또한, 변화 영역(530)에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역(530)을 스틸 이미지 인코딩할 수 있다.In this case, when comparing the first frame 510 and the second frame 520, only the changed regions C and D regions may be captured as the change region 530. In addition, the encoding process for the change region 530 is divided into a plurality of unit processes, at least one of the unit processes is allocated to a graphics processing unit (GPU), and is not allocated to a graphics processing unit. The remaining unit processes may be allocated to a central processing unit (CPU) to perform an encoding process to encode the change area 530 as a still image.

이와 같이 첫번째 프레임(510)과 두번째 프레임(520)은 분명 변화가 있는 프레임으로 기존의 클라우드 스트리밍 서비스 시에는 두 프레임을 포함하여 프레임 레이트에 상응하는 수의 프레임들을 모두 캡처하여 인코딩을 수행해야 할 수 있다. 하지만 스틸 이미지 기반 클라우드 스트리밍 서비스는 변화 영역(530)만을 캡처하여 스틸 이미지 압축 기법으로 인코딩하기 때문에, 불필요하게 많은 프레임과 프레임의 화면 전체를 캡처하는 기존의 클라우드 스트리밍 서비스 방법보다 서비스의 효율성을 향상시킬 수 있다.As described above, the first frame 510 and the second frame 520 are frames that are clearly changed, and in the case of the existing cloud streaming service, it may be necessary to capture all of the number of frames corresponding to the frame rate, including two frames, and perform encoding. have. However, since the still image-based cloud streaming service captures only the change area 530 and encodes it with a still image compression technique, the service efficiency can be improved compared to the existing cloud streaming service method that unnecessarily captures many frames and the entire screen. I can.

도 6은 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법을 나타낸 동작 흐름도이다.6 is a flowchart illustrating a cloud streaming service method through separation of work of an encoding processing unit according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은 변화된 프레임에 포함된 변화 영역을 캡처한다(S610). 비디오 코덱 기반의 클라우드 스트리밍 기법은 어플리케이션이 동작하는 화면에 상응하는 모든 프레임을 캡처하여 인코딩을 수행할 수 있다. 그러나 어플리케이션이 동작하는 화면 상에서 프레임간 변화가 크지 않은 경우에는 변화된 프레임의 변화 영역만을 캡처하여 스틸 이미지 인코딩을 수행하고, 사용자의 단말 장치에 디스플레이 할 때 변화 영역을 제외한 부분은 동일하게 보여주고 변화 영역만 변화를 주는 방식으로 디스플레이 할 수 있다.Referring to FIG. 6, the cloud streaming service method by separating the work of the encoding processing unit according to an embodiment of the present invention captures a change area included in a changed frame (S610). The video codec-based cloud streaming technique can perform encoding by capturing all frames corresponding to a screen on which an application is running. However, if the inter-frame change is not large on the screen where the application is running, only the change region of the changed frame is captured and still image encoding is performed. When displaying on the user's terminal device, the part except the change region is displayed identically and the change region Can only be displayed in a way that makes a difference.

이 때, 변화된 프레임에 상응하는 화면 영역 중 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역을 변화 영역으로 캡처할 수 있다. 예를 들어 변화된 프레임에 상응하는 화면 영역 중 변화된 프레임의 이전 프레임에 상응하는 화면 영역과 비교하여 변화된 영역이 A 영역이라면, 변화된 프레임에 상응하는 화면 영역 중 A 영역만을 변화 영역으로 캡처할 수 있다. 이러한 변화 영역은 사용자의 단말 장치에서 입력되는 입력 신호에 따라 해상도나 변화 영역에 상응하는 이미지의 타입이 다양할 수 있다.In this case, among the screen areas corresponding to the changed frame, the changed area may be captured as the change area by comparing with the screen area corresponding to the previous frame of the changed frame. For example, if the changed area among the screen areas corresponding to the changed frame is the area A compared to the screen area corresponding to the previous frame of the changed frame, only the area A of the screen area corresponding to the changed frame may be captured as the change area. The change region may have various types of images corresponding to the resolution or change region according to an input signal input from the user's terminal device.

이 때, 사용자의 단말 장치로 전송될 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출하고, 프레임 변화가 적은 구간에서 변화 영역을 캡처할 수 있다. In this case, a section in which a frame change is small among the entire frame section to be transmitted to the user's terminal device may be detected, and a change region may be captured in a section in which the frame change is small.

이 때, 사용자의 단말 장치로부터 발생하는 어플리케이션의 이벤트 유형을 감지하여 프레임 변화가 적은 구간을 검출할 수 있다. 예를 들어, 사용자의 단말 장치로부터 발생하는 입력신호에 따라 어플리케이션의 이벤트 유형이 결정될 수 있다. 입력신호에 따라 메뉴, 옵션, 안내 창과 같이 어플리케이션을 실행하였을 때 프레임의 변화가 적은 정적인 이벤트 또는 동영상 재생 및 게임 플레이와 같이 프레임이 자주 변하는 동적인 이벤트가 발생할 수 있다. 따라서, 사용자가 단말 장치를 통해 발생시키는 입력신호로 이벤트 유형을 감지하고, 이벤트 유형이 정적인 이벤트라면, 해당 이벤트에 상응하는 프레임 전체 구간 중 프레임 변화가 적은 구간을 검출할 수 있다.In this case, by detecting an event type of an application generated from the user's terminal device, a section in which the frame change is small may be detected. For example, the event type of the application may be determined according to an input signal generated from the user's terminal device. Depending on the input signal, when an application is executed, such as a menu, an option, and a guide window, a static event with little change in frame or a dynamic event in which the frame frequently changes such as video playback and game play may occur. Accordingly, when the user detects an event type with an input signal generated through the terminal device, and if the event type is a static event, an interval in which the frame change is small among the entire frame interval corresponding to the event may be detected.

또한, 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩한다(S620).In addition, the cloud streaming service method by separating the work of the encoding processing unit according to an embodiment of the present invention separates the encoding process for the change area into a plurality of unit processes, and at least one of the unit processes is a graphic processing unit. The remaining unit processes that are allocated to (Graphics Processing Unit; GPU) and not allocated to the graphics processing unit are allocated to a central processing unit (CPU) to perform an encoding process to encode a still image (S620). .

클라우드 스트리밍 서버에서 변화 영역에 상응하는 이미지를 인코딩할 때, 중앙 처리 유닛만을 사용하여 서비스를 수행하는 기존의 방식으로는 클라우드 스트리밍 서버의 전체 가용 자원을 사용하지 못하기 때문에 이미지 인코딩의 시간이 지연에 따라 서비스 품질이 저하될 수 있었다. 따라서, 본 발명에서는 인코딩 프로세스를 여러 개의 단위 프로세스들로 세분화하고, 각각의 단위 프로세스들을 중앙 처리 장치와 그래픽 처리 장치에 적절하게 할당하여 인코딩을 수행함으로써 기존의 방식에서 발생할 수 있었던 문제점을 해결할 수 있는 방안을 제시할 수 있다.When the cloud streaming server encodes the image corresponding to the change area, the image encoding time is delayed because the existing method of performing the service using only the central processing unit does not use the entire available resources of the cloud streaming server. Accordingly, the quality of service could be degraded. Therefore, in the present invention, the encoding process is subdivided into several unit processes, and each unit process is appropriately allocated to the central processing unit and the graphic processing unit to perform encoding, thereby solving the problems that may have occurred in the conventional method. Can suggest a plan.

이 때, 단위 프로세스들은 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합 중 어느 하나에 상응할 수 있다. 이미지 분석은 변화 영역에 상응하는 이미지가 어떤 특성을 갖고 있는지 분석하는 과정일 수 있다. 예를 들어, 이미지의 사이즈나 해상도 및 타입 등의 이미지 특성을 분석하여 효율적인 인코딩을 수행하기 위한 데이터로 사용할 수 있다. In this case, the unit processes may correspond to any one of image analysis corresponding to the change area, determination of a still image compression technique, still image compression, and compressed data collection. Image analysis may be a process of analyzing what characteristics an image corresponding to a change area has. For example, it can be used as data for efficient encoding by analyzing image characteristics such as the size, resolution, and type of the image.

또한, 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스를 수행함으로써 변화 영역의 압축을 수행할 때 클라우드 스트리밍 서버의 자원을 보다 효율적으로 사용할 수 있다. 이 후, 변화 영역에 상응하는 적어도 하나 이상의 이미지들을 스틸 이미지 압축한 결과를 이용하여 최종적으로 압축 데이터 취합에 상응하는 프로세스를 수행할 수 있다.In addition, by performing a unit process corresponding to the determination of the still image compression technique, it is possible to more efficiently use the resources of the cloud streaming server when compressing the change region. Thereafter, a process corresponding to the collection of compressed data may be finally performed by using the result of compressing the still image of at least one or more images corresponding to the change area.

이 때, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 기반하여 그래픽 처리 유닛에 스틸 이미지 압축에 상응하는 단위 프로세스를 할당할 수 있다. 예를 들어, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과 변화 영역을 인코딩할 스틸 이미지 압축 기법으로 팔렛티드 PNG(portable network graphics) 스틸 이미지 압축 기법이 결정될 수 있다. 이 때, 팔렛티드 PNG 스틸 이미지 압축 기법을 이용하여 스틸 이미지 인코딩을 수행하는 과정에는 단순한 계산의 반복이나 병렬로 처리하기 좋은 계산 과정이 포함될 수 있다. 따라서, 이와 같은 경우에는 단위 프로세스들 중 스틸 이미지 압축을 수행하는 단위 프로세스를 그래픽 처리 유닛에 할당함으로써 인코딩에 사용되는 시간을 절약하여 클라우드 스트리밍 서버의 자원을 효율적으로 사용할 수 있다.In this case, a unit process corresponding to still image compression may be allocated to the graphic processing unit based on a processing result corresponding to image analysis and determination of a still image compression technique. For example, a palletized PNG (portable network graphics) still image compression technique may be determined as a still image compression technique to encode a change region as a result of processing corresponding to image analysis and determination of a still image compression technique. In this case, a process of performing still image encoding using a palletized PNG still image compression technique may include a simple calculation repetition or a calculation process that is good for parallel processing. Accordingly, in this case, by allocating a unit process for performing still image compression among the unit processes to the graphic processing unit, time used for encoding can be saved, and resources of the cloud streaming server can be efficiently used.

또한, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 프로세싱 결과에 상관하지 않고 시스템 설정에 따라, 그래픽 처리 유닛을 이용하여 스틸 이미지 압축에 상응하는 단위 프로세스를 수행할 수도 있다. 클라우드 스트리밍 시스템이 중앙 처리 유닛만으로 구성된 경우에는 중앙 처리 유닛을 이용하여 모든 프로세스를 수행해야 하기 때문에, 사용자의 단말로 클라우드 스트리밍 서비스를 제공할 때 레이턴시 지연이 발생할 가능성이 높을 수 있다. 따라서, 중앙 처리 유닛을 하나 또는 복수로 구비하여 스틸 이미지 압축에 상응하는 단위 프로세스를 그래픽 처리 유닛으로 수행하고, 프로세싱 결과를 중앙 처리 유닛으로 재전달함으로써 클라우드 스트리밍 시스템의 관리 비용 절감 및 레이턴시 지연 감소의 효과를 달성할 수 있다.In addition, a unit process corresponding to still image compression may be performed using a graphic processing unit according to a system setting regardless of a processing result corresponding to image analysis and determination of a still image compression technique. When the cloud streaming system is composed of only the central processing unit, all processes must be performed using the central processing unit, and thus there is a high possibility that a latency delay may occur when a cloud streaming service is provided to a user's terminal. Therefore, by providing one or a plurality of central processing units to perform a unit process corresponding to still image compression to the graphic processing unit, and re-delivering the processing result to the central processing unit, the management cost of the cloud streaming system is reduced and latency delay is reduced. The effect can be achieved.

이 때, 스틸 이미지 압축은 변화 영역에 상응하는 이미지에 대하여 컬러 히스토그램 구성, 팔레트 생성, 팔레트 기반의 원본 컬러 양자화 및 팔레트 기반 인코딩 중 하나 이상의 과정을 포함할 수 있다. 컬러 히스토그램 구성은 변화 영역에 상응하는 이미지에 대한 팔렛트를 생성하기 위해 수행될 수 있다. 팔레트 생성은 컬러 히스토그램을 이용하여 원본 이미지, 즉 변화 영역에 상응하는 이미지 대비 최소 손실이 나는 팔레트를 생성하는 과정일 수 있다. 이렇게 생성한 팔레트를 기반으로 하여 변화 영역에 상응하는 이미지의 컬러를 팔레트에 상응하는 컬러로 치환하여 원본 컬러 양자화를 수행하고, 팔레트 기반 인코딩을 수행할 수 있다.In this case, still image compression may include one or more of a color histogram configuration, palette generation, palette-based original color quantization, and palette-based encoding for the image corresponding to the change area. The color histogram construction can be performed to create a pallet for the image corresponding to the change area. Palette generation may be a process of generating a palette with a minimum loss compared to an original image, that is, an image corresponding to a change area by using a color histogram. Based on the generated palette, original color quantization may be performed by substituting the color of an image corresponding to the change area with a color corresponding to the palette, and palette-based encoding may be performed.

이 때, 그래픽 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 중앙 처리 유닛으로 전달할 수 있다. 예를 들어, 복수 개의 변화된 프레임에 포함된 변화 영역들에 대해서 그래픽 처리 유닛에서 스틸 이미지 압축에 상응하는 단위 프로세스를 수행하고, 각각의 프로세싱 결과를 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 중앙 처리 유닛으로 전달할 수 있다. 이와 같이 인코딩 프로세스를 복수 개로 세분화하여 중앙 처리 유닛 및 그래픽 처리 유닛 중 어느 하나로 수행함에 따라 프로세싱 결과를 전달하는 자원 소모비용이 추가적으로 발생할 수 있지만, 인코딩 프로세스를 세분화하여 처리함으로써 얻을 수 있는 자원 효율이득이 추가적으로 발생할 수 있는 자원 소모비용보다 크기 때문에 보다 효과적인 인코딩 방법일 수 있다.In this case, the graphic processing unit may transmit a processing result corresponding to still image compression to the central processing unit. For example, the graphics processing unit performs a unit process corresponding to still image compression on the change areas included in a plurality of changed frames, and a central processing that performs a unit process corresponding to the compression data collection for each processing result. Can be delivered to the unit. As the encoding process is subdivided into multiple pieces and performed by either the central processing unit or the graphic processing unit, the cost of resource consumption for delivering the processing result may be additionally incurred. Since it is larger than the additional resource consumption cost, it may be a more effective encoding method.

이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 압축 데이터 취합에 상응하는 단위 프로세스를 수행할 수 있다. 예를 들어, 그래픽 처리 유닛을 통해 생성된 스틸 이미지 압축에 상응하는 프로세싱 결과가 복수일 경우에는 각각의 프로세싱 결과, 즉 압축 데이터들을 취합할 수 있다. 인코딩 프로세스를 수행하여 사용자의 단말 장치로 스틸 이미지 기반의 클라우드 스트리밍 서비스를 제공하는 것이 본 발명의 목적이기 때문에, 사용자의 단말 장치로 서비스를 제공할 수 있도록 복수의 압축 데이터를 취합하여 인코딩 프로세스를 수행할 수 있다.In this case, the central processing unit may perform a unit process corresponding to the collection of compressed data by using the processing result corresponding to the still image compression. For example, when there are a plurality of processing results corresponding to compression of a still image generated through the graphic processing unit, each processing result, that is, compressed data may be collected. Since the object of the present invention is to provide a still image-based cloud streaming service to the user's terminal device by performing the encoding process, the encoding process is performed by collecting a plurality of compressed data so that the service can be provided to the user's terminal device. can do.

이 때, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 단위 프로세스가 그래픽 처리 유닛에 할당된 경우 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달할 수 있다. 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스의 프로세싱 결과에 따라 스틸 이미지 압축에 상응하는 단위 프로세스가 그래픽 처리 유닛에 할당되는지 여부가 결정될 수 있다. 예를 들어, 이미지 분석 및 스틸 이미지 압축 기법 결정에 상응하는 단위 프로세스의 프로세싱 결과 변화 영역에 상응하는 이미지를 팔렛티드 PNG 스틸 이미지 압축 기법으로 압축하는 경우에는 단순 계산을 반복하고 병렬 처리하기 좋은 계산이 존재하므로 그래픽 처리 유닛으로 스틸 이미지 압축을 수행하는 것이 중앙 처리 유닛으로 스틸 이미지 압축을 수행하는 것보다 효율적일 수 있다. 따라서, 상기와 같이 그래픽 처리 유닛에서 스틸 이미지 압축에 상응하는 단위 프로세스가 할당된 경우에는 압축될 이미지 데이터, 즉 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달할 수 있다.In this case, when a unit process corresponding to still image compression is allocated to the graphic processing unit, the central processing unit may transmit image data corresponding to the change area to the graphic processing unit. It may be determined whether a unit process corresponding to still image compression is allocated to the graphic processing unit according to a processing result of a unit process corresponding to image analysis and still image compression technique determination. For example, when the image corresponding to the processing result of the processing result of the unit process corresponding to the image analysis and determination of the still image compression method is compressed with the palletized PNG still image compression method, a simple calculation is repeated and the calculation is good for parallel processing. As it exists, performing still image compression with a graphics processing unit may be more efficient than performing still image compression with a central processing unit. Accordingly, when a unit process corresponding to still image compression is allocated in the graphic processing unit as described above, image data to be compressed, that is, image data corresponding to the change area may be transferred to the graphic processing unit.

또한, 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행한다(S630). 인코딩을 완료함으로써 압축된 변화 영역을 사용자의 단말 장치로 전송함으로써, 사용자의 단말 장치에서 어플리케이션을 실행되는 느낌을 받을 수 있도록 클라우드 스트리밍 서비스를 수행할 수 있다.In addition, in the cloud streaming service method by separating the work of the encoding processing unit according to an embodiment of the present invention, a still image-based cloud streaming service is performed by transmitting a still image-encoded change region to a user (S630). By completing the encoding and transmitting the compressed change area to the user's terminal device, a cloud streaming service can be performed so that the user's terminal device can feel the application being executed.

또한, 도 6에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법은 클라우드 스트리밍 서비스 과정에서 발생되는 다양한 정보를 저장할 수 있다.In addition, although not shown in FIG. 6, the cloud streaming service method using the selective encoding processing unit according to an embodiment of the present invention may store various types of information generated during a cloud streaming service process.

도 7은 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법을 상세하게 나타낸 동작 흐름도이다.7 is an operation flowchart illustrating in detail a cloud streaming service method through job separation of an encoding processing unit according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은 먼저 이전 프레임과 비교하여 변화된 프레임에 포함된 변화 영역을 캡처한다(S710).Referring to FIG. 7, in the cloud streaming service method through job separation of an encoding processing unit according to an embodiment of the present invention, a change area included in a changed frame is first compared with a previous frame (S710).

이 후, 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리한다(S720).After that, the encoding process for the change area is divided into a plurality of unit processes (S720).

이 후, 중앙 처리 유닛을 이용하여 변화 영역에 상응하는 이미지를 분석한다(S730).After that, the image corresponding to the change area is analyzed using the central processing unit (S730).

이 후, 중앙 처리 유닛을 이용하여 변화 영역에 상응하는 스틸 이미지 압축 기법을 결정한다(S740).After that, a still image compression technique corresponding to the change area is determined using the central processing unit (S740).

이 후, 결정된 스틸 이미지 압축 기법에 따라 그래픽 처리 유닛에 스틸 이미지 압축에 상응하는 단위 프로세스를 할당한다(S750).Thereafter, a unit process corresponding to still image compression is allocated to the graphic processing unit according to the determined still image compression technique (S750).

이 후, 중앙 처리 유닛을 이용하여 변화 영역에 상응하는 이미지 데이터를 그래픽 처리 유닛으로 전달한다(S760).After that, the image data corresponding to the change area is transmitted to the graphic processing unit using the central processing unit (S760).

이 후, 그래픽 처리 유닛을 이용하여 스틸 이미지 압축을 수행하고, 스틸 이미지 압축에 상응하는 프로세싱 결과를 중앙 처리 유닛으로 전달한다(S770).Thereafter, still image compression is performed using the graphic processing unit, and a processing result corresponding to the still image compression is transmitted to the central processing unit (S770).

이 후, 중앙 처리 유닛은 스틸 이미지 압축에 상응하는 프로세싱 결과를 이용하여 압축 데이터 취합에 상응하는 단위 프로세스를 수행한다(S780).After that, the central processing unit performs a unit process corresponding to the collection of compressed data by using the processing result corresponding to the still image compression (S780).

이 후, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전달한다(S790).After that, the still image-encoded change area is transmitted to the user (S790).

본 발명에 따른 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The cloud streaming service method by separating the work of the encoding processing unit according to the present invention can be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes magneto-optical media, and any type of hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

이상에서와 같이 본 발명에 따른 클라우드 스트리밍 서비스 시스템, 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the cloud streaming service system according to the present invention, the cloud streaming service method by separating the work of the encoding processing unit, and an apparatus therefor are not limited to the configuration and method of the embodiments described as described above. , The above embodiments may be configured by selectively combining all or part of each of the embodiments so that various modifications can be made.

본 발명에 의하면 변화된 프레임에 포함된 변화 영역을 캡처하고, 그래픽 처리 유닛(Graphics Processing Unit; GPU)을 이용하여 변화 영역을 압축하고, 변화 영역에 대한 인코딩 프로세스를 복수 개의 단위 프로세스들로 분리하고, 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 인코딩 프로세스를 수행하여 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행할 수 있다. 나아가, 인코딩 처리 유닛의 프로세스 분리를 통한 클라우드 스트리밍 서비스를 통해서 클라우드 스트리밍 서버의 자원을 절약할 수 있어 클라우드 스트리밍 서비스를 제공하기 위한 전체적인 비용을 절감하는 효과를 기대할 수 있다.According to the present invention, the change region included in the changed frame is captured, the change region is compressed using a graphics processing unit (GPU), and the encoding process for the change region is separated into a plurality of unit processes, At least one of the unit processes is allocated to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit are allocated to a central processing unit (CPU) to perform the encoding process. Accordingly, the change region is encoded with a still image, and the still image-encoded change region is transmitted to the user to perform a still image-based cloud streaming service. Furthermore, it is possible to save resources of the cloud streaming server through the cloud streaming service through the process separation of the encoding processing unit, so that the effect of reducing the overall cost for providing the cloud streaming service can be expected.

110: 클라우드 스트리밍 서버 120-1~ 120-N: 단말 장치들
130: 네트워크 210: 캡처부
220: 인코딩부 230: 센딩부
240: 저장부 300, 400: 서버
310: 프로그램 화면 320: 이미지 인코딩
330: 스트리밍 340: 이미지 렌더링
410: 중앙 처리 유닛 420: 그래픽 처리 유닛
510: 첫번째 프레임 520: 두번째 프레임
530: 변화 영역110: cloud streaming server 120-1 to 120-N: terminal devices
130: network 210: capture unit
220: encoding unit 230: sending unit
240: storage unit 300, 400: server
310: Program Screen 320: Image Encoding
330: streaming 340: image rendering
410: central processing unit 420: graphic processing unit
510: first frame 520: second frame
530: area of change

Claims (20)

변화된 프레임에 포함된 변화 영역을 캡처하는 캡처부;
상기 변화 영역에 대한 인코딩 프로세스를 상기 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합을 포함하는 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하는 인코딩부; 및
스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 센딩부
를 포함하고,
상기 스틸 이미지 압축 기법 결정은
상기 이미지 분석에 의해 결정된 이미지 특성을 고려하여 수행되고,
상기 인코딩부는
상기 그래픽 처리 유닛과 상기 중앙 처리 유닛 중 상기 스틸 이미지 압축 기법 결정을 통해 결정된 스틸 이미지 인코딩 기법을 보다 효율적으로 이용할 수 있는 하나의 처리 유닛으로 상기 스틸 이미지 압축을 수행하는 것을 특징으로 하는 클라우드 스트리밍 서버.A capture unit for capturing a change area included in the changed frame;
The encoding process for the change area is divided into a plurality of unit processes including image analysis corresponding to the change area, determination of a still image compression technique, still image compression, and compressed data collection, and at least one of the unit processes Is allocated to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit are allocated to a central processing unit (CPU) to perform the encoding process to determine the change area. An encoding unit for encoding a still image; And
Sending unit for performing a still image-based cloud streaming service by transmitting the still image-encoded change area to the user
Including,
The determination of the still image compression technique is
It is performed in consideration of the image characteristics determined by the image analysis,
The encoding unit
And performing the still image compression with one processing unit capable of more efficiently using a still image encoding method determined through determination of the still image compression method among the graphic processing unit and the central processing unit. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 변화된 프레임에 포함된 변화 영역을 캡처하는 단계;
상기 변화 영역에 대한 인코딩 프로세스를 상기 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합을 포함하는 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하는 단계; 및
스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 단계
를 포함하고,
상기 스틸 이미지 압축 기법 결정은
상기 이미지 분석에 의해 결정된 이미지 특성을 고려하여 수행되고,
상기 스틸 이미지 인코딩하는 단계는
상기 그래픽 처리 유닛과 상기 중앙 처리 유닛 중 상기 스틸 이미지 압축 기법 결정을 통해 결정된 스틸 이미지 인코딩 기법을 보다 효율적으로 이용할 수 있는 하나의 처리 유닛으로 상기 스틸 이미지 압축을 수행하는 것을 특징으로 하는 인코딩 처리 유닛의 작업 분리를 통한 클라우드 스트리밍 서비스 방법.Capturing a change area included in the changed frame;
The encoding process for the change area is divided into a plurality of unit processes including image analysis corresponding to the change area, determination of a still image compression technique, still image compression, and compressed data collection, and at least one of the unit processes Is allocated to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit are allocated to a central processing unit (CPU) to perform the encoding process to determine the change area. Encoding the still image; And
Transmitting the still image-encoded change region to a user to perform a still image-based cloud streaming service
Including,
The determination of the still image compression technique is
It is performed in consideration of the image characteristics determined by the image analysis,
The step of encoding the still image
The still image compression is performed by one processing unit capable of more efficiently using the still image encoding method determined through determination of the still image compression method among the graphic processing unit and the central processing unit. Cloud streaming service method through task separation. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 변화된 프레임에 포함된 변화 영역을 캡처하고, 상기 변화 영역에 대한 인코딩 프로세스를 상기 변화 영역에 상응하는 이미지 분석, 스틸 이미지 압축 기법 결정, 스틸 이미지 압축 및 압축 데이터 취합을 포함하는 복수 개의 단위 프로세스들로 분리하고, 상기 단위 프로세스들 중 적어도 하나 이상은 그래픽 처리 유닛(Graphics Processing Unit; GPU)에 할당하고, 상기 그래픽 처리 유닛에 할당되지 아니한 나머지 단위 프로세스들은 중앙 처리 유닛(Central Processing Unit; CPU)에 할당하여 상기 인코딩 프로세스를 수행하여 상기 변화 영역을 스틸 이미지 인코딩하고, 스틸 이미지 인코딩된 상기 변화 영역을 사용자에게 전송하여 스틸 이미지 기반의 클라우드 스트리밍 서비스를 수행하는 클라우드 스트리밍 서버; 및
상기 클라우드 스트리밍 서버로부터 상기 클라우드 스트리밍 서비스에 상응하는 어플리케이션 실행 결과 화면을 수신하는 단말
을 포함하고,
상기 스틸 이미지 압축 기법 결정은
상기 이미지 분석에 의해 결정된 이미지 특성을 고려하여 수행되고,
상기 클라우드 스트리밍 서버는
상기 그래픽 처리 유닛과 상기 중앙 처리 유닛 중 상기 스틸 이미지 압축 기법 결정을 통해 결정된 스틸 이미지 인코딩 기법을 보다 효율적으로 이용할 수 있는 하나의 처리 유닛으로 상기 스틸 이미지 압축을 수행하는 것을 특징으로 하는 클라우드 스트리밍 서비스 시스템.Capturing the change region included in the changed frame, and performing the encoding process for the change region into a plurality of unit processes including image analysis corresponding to the change region, determination of a still image compression technique, still image compression, and collection of compressed data. Separately, at least one of the unit processes is allocated to a graphics processing unit (GPU), and the remaining unit processes not allocated to the graphics processing unit are allocated to a central processing unit (CPU). A cloud streaming server that performs the encoding process to encode a still image on the change region, and transmits the still image-encoded change region to a user to perform a still image-based cloud streaming service; And
Terminal receiving an application execution result screen corresponding to the cloud streaming service from the cloud streaming server
Including,
The determination of the still image compression technique is
It is performed in consideration of the image characteristics determined by the image analysis,
The cloud streaming server
A cloud streaming service system, characterized in that, among the graphics processing unit and the central processing unit, the still image compression is performed with one processing unit capable of more efficiently using a still image encoding method determined through determination of the still image compression method. .
KR1020140134512A 2014-07-30 2014-10-06 System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same KR102247657B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140134512A KR102247657B1 (en) 2014-10-06 2014-10-06 System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same
JP2016575537A JP2017529716A (en) 2014-07-30 2015-07-06 Cloud streaming service system, cloud streaming service method using still image compression technique, and apparatus therefor
EP15827254.2A EP3177024B1 (en) 2014-07-30 2015-07-06 Apparatus for cloud streaming service
CN201580049450.2A CN106717007B (en) 2014-07-30 2015-07-06 Cloud end streaming media server
PCT/KR2015/006950 WO2016017952A1 (en) 2014-07-30 2015-07-06 System for cloud streaming service, method for same using still-image compression technique and apparatus therefor
US15/420,030 US10652591B2 (en) 2014-07-30 2017-01-30 System for cloud streaming service, method for same using still-image compression technique and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140134512A KR102247657B1 (en) 2014-10-06 2014-10-06 System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same

Publications (2)

Publication Number Publication Date
KR20160040943A KR20160040943A (en) 2016-04-15
KR102247657B1 true KR102247657B1 (en) 2021-05-03

Family

ID=55801764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140134512A KR102247657B1 (en) 2014-07-30 2014-10-06 System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same

Country Status (1)

Country Link
KR (1) KR102247657B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155075A1 (en) * 2011-12-15 2013-06-20 Fujitsu Limited Information processing device, image transmission method, and recording medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130011061A (en) * 2011-07-20 2013-01-30 (주)테크노니아 Computer readable recodring medium and method for encoding moving picture
KR101710001B1 (en) 2012-08-10 2017-02-27 한국전자통신연구원 Apparatus and Method for JPEG2000 Encoding/Decoding based on GPU

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155075A1 (en) * 2011-12-15 2013-06-20 Fujitsu Limited Information processing device, image transmission method, and recording medium

Also Published As

Publication number Publication date
KR20160040943A (en) 2016-04-15

Similar Documents

Publication Publication Date Title
CN106060655B (en) Video processing method, server and terminal
US10652591B2 (en) System for cloud streaming service, method for same using still-image compression technique and apparatus therefor
KR20210029746A (en) System for cloud streaming service, method of cloud streaming service using still image compression technique and apparatus for the same
KR101984825B1 (en) Method and Apparatus for Encoding a Cloud Display Screen by Using API Information
US20160142723A1 (en) Frame division into subframes
KR102409033B1 (en) System for cloud streaming service, method of image cloud streaming service using alpha level of color bit and apparatus for the same
KR102247657B1 (en) System for cloud streaming service, method of cloud streaming service using separate operations of the encoding process unit and apparatus for the same
KR102177934B1 (en) System for cloud streaming service, method of image cloud streaming service using split of changed image and apparatus for the same
KR102247892B1 (en) System for cloud streaming service, method of image cloud streaming service using application code and apparatus for the same
KR102247887B1 (en) System for cloud streaming service, method of cloud streaming service using source information and apparatus for the same
KR102407477B1 (en) System for cloud streaming service, method of image cloud streaming service using alpha value of image type and apparatus for the same
KR102271721B1 (en) System for cloud streaming service, method of image cloud streaming service considering terminal performance and apparatus for the same
KR102306889B1 (en) System for cloud streaming service, method of image cloud streaming service using data substitution and apparatus for the same
KR102313530B1 (en) System for cloud streaming service, method of image cloud streaming service using split screen and apparatus for the same
KR102265419B1 (en) System for cloud streaming service, method of cloud streaming service using selective encoding processing unit and apparatus for the same
KR102273143B1 (en) System for cloud streaming service, method of cloud streaming service based on still image and apparatus for the same
KR102313533B1 (en) System for cloud streaming service, method of image cloud streaming service considering full screen transition and apparatus for the same
KR102247888B1 (en) System for cloud streaming service, method of image cloud streaming service based on selective streaming pipeline method and apparatus for the same
KR102225609B1 (en) System for cloud streaming service, method of image cloud streaming service considering full screen transition and apparatus for the same
KR102225610B1 (en) System for cloud streaming service, method of message-based image cloud streaming service and apparatus for the same
KR20160109072A (en) System for cloud streaming service, method of image cloud streaming service based on optimum rendering and apparatus for the same
KR102442698B1 (en) System for cloud streaming service, method of image cloud streaming service based on detection of change area using operating system massage and apparatus for the same
KR20210027342A (en) System for cloud streaming service, method of message-based image cloud streaming service and apparatus for the same
KR102354269B1 (en) System for cloud streaming service, method of image cloud streaming service using property of scene region and method using the same
KR20210027340A (en) System for cloud streaming service, method of image cloud streaming service using animation message and apparatus for the same

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant