CN106664439B - 云流服务器 - Google Patents

云流服务器 Download PDF

Info

Publication number
CN106664439B
CN106664439B CN201580041775.6A CN201580041775A CN106664439B CN 106664439 B CN106664439 B CN 106664439B CN 201580041775 A CN201580041775 A CN 201580041775A CN 106664439 B CN106664439 B CN 106664439B
Authority
CN
China
Prior art keywords
still image
image
cloud streaming
region
compression technique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041775.6A
Other languages
English (en)
Other versions
CN106664439A (zh
Inventor
裵泰眠
尹泓瑞
罗显植
金东局
郑宥利
李栋守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Planet Co Ltd
Original Assignee
SK Planet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140110551A external-priority patent/KR102199270B1/ko
Priority claimed from KR1020140139556A external-priority patent/KR102273143B1/ko
Application filed by SK Planet Co Ltd filed Critical SK Planet Co Ltd
Priority claimed from PCT/KR2015/006952 external-priority patent/WO2016017953A1/ko
Publication of CN106664439A publication Critical patent/CN106664439A/zh
Application granted granted Critical
Publication of CN106664439B publication Critical patent/CN106664439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Abstract

本发明涉及一种用于云流服务的系统、用于基于静止图像的云流服务的方法及其设备。可通过捕获与先前帧相比变化的帧中的变化区域,通过考虑所述变化区域的尺寸和图像特性当中的一个或更多个来选择静止图像压缩技术,并且将通过所述静止图像压缩技术编码的变化区域发送给用户,来提供基于静止图像的云流服务。当提供基于静止图像的云流服务时,通过使用适合于条件的静止图像压缩技术,静止图像的压缩效率和云流服务的速度可改进。

Description

云流服务器
技术领域
本发明涉及云流服务系统、基于静止图像的云流服务方法以及相关设备。更具体地讲,本发明涉及一种云流服务系统、方法和设备,其捕获与先前帧相比变化的帧中所包含的变化区域,基于变化区域的尺寸、变化区域的图像类型、云流服务器的负载大小和网络的数据处理速率中的至少一个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来对变化区域进行编码,从而改进云流服务中的压缩效率和服务速度。
本申请要求2014年7月30日提交的韩国专利申请No.10-2014-0097322、2014 年8月25日提交的韩国专利申请No.10-2014-0110551、2014年10月16日提交的韩国专利申请No.10-2014-0139556以及2014年11月11日提交的韩国专利申请No. 10-2014-0156004的优先权和利益,其整体以引用方式并入本文。
背景技术
云流服务基本上应用基于视频编解码器的云流技术。因此,在菜单显示等的情况下,由于没有必要捕获整个画面并且利用视频编解码器进行编码,所以云流服务效率低。
即,对于静态图像响应于用户输入略微变化的画面,基于图像的云流服务可能比使用视频编解码器的云流服务更有效率。
换言之,当执行基于静止图像的云流服务时,检测帧之间变化的区域然后仅发送这种最小区域更有效率。
然而,在应用静止图像编解码器的情况下,数据的量可能根据待压缩的图像的类型而显著变化。另外,云流服务的效率可能根据用于压缩的静止图像压缩技术而显著变化。因此,需要一种快速地和准确地识别图像类型然后自适应地应用图像云的新技术。
另外,为了执行基于静止图像的云流服务,非常重要的是准确地检测发生帧之间的变化的区域。因此,还需要一种更简单和更有效地检测这种变化区域的技术。
另外,由于有线或IPTV提供商已经供应各种类型的机顶盒很长时间,这些机顶盒之间存在很大性能差异。事实上,在最近10年里已经引入了超过15种类型的机顶盒。好机顶盒和差机顶盒之间的性能差异如此大,使得内容提供商可能无法以期望的方式向用户提供内容。
此外,在基于静止图像的云流服务的情况下,编写web应用的代码的web应用开发人员想要以他们所习惯的相同方式来编写代码,而云流服务器想要的是没有应用动画,仅包含关于需要捕获的图像的信息以及与动画的性质对应的信息的代码。即,为了提供CS服务器所期望的代码,web应用开发人员需要以新的方式而非他们所习惯的方式来编写代码。
相关技术公开于2013年6月23日公开的韩国专利公布No.10-2014-0076668(发明名称:用于提供基于云流的游戏的方法、系统、客户终端和服务设备(Method forproviding game based on cloud streaming,system,client terminal and serviceapparatus)) 以及2014年3月6日公开的韩国专利公布No.10-2014-0027040(发明名称:自适应预测图像压缩系统及其方法(Adaptive predictive image compression system andmethod thereof))。
发明内容
技术问题
本发明的目的在于当提供基于静止图像的云流服务时针对上下文利用合适的静止图像压缩技术改进云流服务中的压缩效率和服务速度。
另外,本发明的目的在于当提供基于静止图像的云流服务时针对图像类型利用合适的静止图像压缩技术改进云流服务中的压缩效率和服务速度。
另外,本发明的目的在于当提供基于静止图像的云流服务时针对云流服务器的状态利用合适的静止图像压缩技术防止可能由云流服务器的负载导致的服务延迟并且快速地提供服务。
另外,本发明的目的在于通过经由基于静止图像的云流服务使流压缩的效率最大化来经由相同频带向更多用户提供更快速的云流服务。
另外,本发明的目的在于提供一种云流服务方法,其中云流服务器检测具有较小帧变化的菜单画面等中的帧之间的变化,然后仅利用静止图像编解码器来压缩这种变化区域。
技术方案
为了实现上述目的,根据本发明的云流服务器包括:捕获单元,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域;编码单元,其被配置为通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码;以及发送单元,其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该云流服务器中,所述编码单元还可被配置为利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域的尺寸小于预定基准值,则通过应用PNG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域的尺寸等于或大于所述基准值,则通过考虑图像类型来选择静止图像压缩技术。
在该云流服务器中,所述编码单元还可被配置为:如果图像类型为自然图像,则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像,则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述编码单元还可被配置为:如果图像类型是自然图像和合成图像的混合图像,则通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。
在该云流服务器中,所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
在该云流服务器中,所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获变化区域。
在该云流服务器中,所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
另外,根据本发明的基于静止图像的云流服务方法包括以下步骤:捕获与先前帧相比变化的帧中所包含的变化区域;通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该方法中,所述编码步骤可包括利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域的尺寸小于预定基准值,则通过应用PNG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域的尺寸等于或大于所述基准值,则通过考虑图像类型来选择静止图像压缩技术。
在该方法中,所述编码步骤可包括以下步骤:如果图像类型为自然图像,则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像,则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述编码步骤可包括以下步骤:如果图像类型是自然图像和合成图像的混合图像,则通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。
在该方法中,所述捕获步骤可包括以下步骤:捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
在该方法中,所述捕获步骤可包括以下步骤:在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获变化区域。
在该方法中,所述捕获步骤可包括以下步骤:通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
另外,根据本发明的云流服务系统包括:云流服务器,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域,通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务;以及终端,其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
另外,根据本发明的另一实施方式的云流服务器包括:捕获单元,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域;编码单元,其被配置为根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及发送单元,其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该云流服务器中,所述编码单元还可被配置为根据包括自然图像和合成图像的图像类型之一来选择静止图像压缩技术。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域所对应的图像的颜色的数量大于预定基准数量,则将图像类型确定为自然图像。
在该云流服务器中,所述编码单元还被配置为:如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量,则通过考虑变化区域所对应的图像的像素值的标准偏差来确定图像类型。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量并且如果变化区域所对应的图像的像素值的标准偏差等于或小于预定基准值,则将图像类型确定为合成图像。
在该云流服务器中,所述编码单元还可被配置为:如果变化区域所对应的图像的像素值的标准偏差大于预定基准值,则将图像类型确定为自然图像。
在该云流服务器中,所述编码单元还可被配置为根据图像类型利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
在该云流服务器中,所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获变化区域。
在该云流服务器中,所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
另外,根据本发明的基于图像类型的云流服务方法包括以下步骤:捕获与先前帧相比变化的帧中所包含的变化区域;根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该方法中,所述编码步骤可包括根据包括自然图像和合成图像的图像类型之一来选择静止图像压缩技术。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域所对应的图像的颜色的数量大于预定基准数量,则将图像类型确定为自然图像。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量,则通过考虑变化区域所对应的图像的像素值的标准偏差来确定图像类型。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域所对应的图像的颜色的数量等于或小于所述预定基准数量并且如果变化区域所对应的图像的像素值的标准偏差等于或小于预定基准值,则将图像类型确定为合成图像。
在该方法中,所述编码步骤可包括以下步骤:如果变化区域所对应的图像的像素值的标准偏差大于预定基准值,则将图像类型确定为自然图像。
在该方法中,所述编码步骤可包括根据图像类型来利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术对变化区域进行编码。
在该方法中,所述捕获步骤可包括捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
另外,根据本发明的另一实施方式的云流服务系统包括:云流服务器,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域,根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务;以及终端,其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
另外,根据本发明的另一实施方式的云流服务器包括:捕获单元,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域;编码单元,其被配置为通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及发送单元,其被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该云流服务器中,所述编码单元还可被配置为利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
在该云流服务器中,所述编码单元还可被配置为:如果云流服务器的负载大小小于预定基准值,则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述编码单元还可被配置为:如果云流服务器的负载大小等于或大于所述预定基准值,则通过考虑网络的数据处理速率来选择静止图像压缩技术。
在该云流服务器中,所述编码单元还可被配置为:如果网络的数据处理速率小于预定处理速率,则通过应用PNG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述编码单元还可被配置为:如果云流服务器的负载大小等于或大于预定基准值并且如果数据处理速率等于或大于所述预定处理速率,则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
在该云流服务器中,所述捕获单元还可被配置为捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
在该云流服务器中,所述捕获单元还可被配置为在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获变化区域。
在该云流服务器中,所述捕获单元还可被配置为通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
另外,根据本发明的另一实施方式的基于静止图像的云流服务方法包括以下步骤:捕获与先前帧相比变化的帧中所包含的变化区域;通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。
在该方法中,所述编码步骤可包括利用包括PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一来对变化区域进行压缩。
在该方法中,所述编码步骤可包括以下步骤:如果云流服务器的负载大小小于预定基准值,则通过应用JPEG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述编码步骤可包括以下步骤:如果云流服务器的负载大小等于或大于所述预定基准值,则通过考虑网络的数据处理速率来选择静止图像压缩技术。
在该方法中,所述编码步骤可包括以下步骤:如果网络的数据处理速率小于预定处理速率,则通过应用PNG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述编码步骤可包括以下步骤:如果云流服务器的负载大小等于或大于预定基准值并且如果数据处理速率等于或大于所述预定处理速率,则通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。
在该方法中,所述捕获步骤可包括捕获在变化的帧所对应的画面区域中与先前帧所对应的画面区域相比变化的特定区域,作为变化区域。
在该方法中,所述捕获步骤可包括在要发送至用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获变化区域。
在该方法中,所述捕获步骤可包括通过感测在用户的终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段。
另外,根据本发明的另一实施方式的云流服务系统包括:云流服务器,其被配置为捕获与先前帧相比变化的帧中所包含的变化区域,通过考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务;以及终端,其被配置为从所述云流服务器接收与云流服务对应的应用执行结果画面。
另外,为了解决上述目的,本发明提供了一种用于执行上述方法的记录在介质上的计算机程序。
有益效果
根据本发明,可在基于图像的云流服务中准确地和快速地检测帧之间的画面变化区域。因此,通过仅压缩并发送最小区域,基于高质量图像的云流服务可改进效率并且被更经济地提供。
另外,本发明可通过使基于图像的流的压缩效率最大化来改进云流服务的效率。具体地讲,可经由相同频带向更多用户提供更快速的基于图像的云流服务。
另外,由于可在基于图像的云流服务中准确地和快速地检测帧之间的画面变化区域,本发明可改进基于图像的云流服务的效率并且还更经济地提供高质量云流服务。
另外,本发明可通过准确地确定图像类型,针对图像类型应用合适的压缩技术并且使压缩效率最大化来改进云流服务的效率。具体地讲,可经由相同频带向更多用户提供更快速的基于图像的云流服务。
另外,本发明可在提供基于静止图像的云流服务时针对上下文利用合适的静止图像压缩技术来改进图像的压缩效率和云流服务的服务速度。
另外,本发明可在提供基于静止图像的云流服务时针对云流服务器的状态利用合适的静止图像压缩技术防止可能由云流服务器的负载导致的服务延迟并且还可快速地提供服务。
另外,本发明可通过经由基于静止图像的云流服务使流压缩效率最大化来经由相同频带向更多用户提供更快速的基于图像的云流服务。
附图说明
图1是示出根据本发明的实施方式的云流服务系统的框图。
图2是示出图1所示的云流服务器的示例的框图。
图3是示出根据本发明的实施方式的基于静止图像的云流系统的示图。
图4是示出根据本发明的实施方式的在基于静止图像的云流服务中捕获变化区域的处理的示图。
图5是示出根据本发明的实施方式的基于静止图像的云流服务方法的流程图。
图6是示出根据本发明的实施方式的基于静止图像的云流服务方法的详细流程图。
图7是示出根据本发明的另一实施方式的云流服务系统的框图。
图8是示出图7所示的云流服务器的示例的框图。
图9是示出根据本发明的实施方式的根据图像类型的云流服务方法的流程图。
图10是示出根据本发明的实施方式的根据图像类型的云流服务方法的详细流程图。
图11是示出根据本发明的另一实施方式的云流服务系统的框图。
图12是示出图11所示的云流服务器的示例的框图。
图13是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的流程图。
图14是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的详细流程图。
具体实施方式
现在,将参照附图详细描述本发明。本文中,熟知功能和元件可能没有详细描述以避免使本发明的主题模糊。提供本发明的实施方式是为了帮助本领域技术人员完整地理解本发明。在附图中,为了清楚例示,一些元件的形状和大小可能被夸大。
以下,将参照附图描述本发明的优选实施方式。
图1是示出根据本发明的实施方式的云流服务系统的框图。
参照图1,根据本发明的实施方式的云流服务系统包括云流服务器110、终端装置120-1至120-N和网络130。
云流服务器110响应于来自终端装置120-1至120-N的对云流服务的请求执行应用,并且向终端装置120-1至120-N提供与执行应用的结果对应的执行结果画面。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以没有必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务系统,其中云流服务器在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
云流服务器110捕获与先前帧相比变化的帧中所包含的变化区域。即,与先前帧所对应的画面相比,可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下,服务器可在要发送至终端装置120-1至120-N的所有帧中检测具有较小帧变化的区段,然后在所检测的区段中捕获变化区域。此时,通过识别在终端装置120-1 至120-N处发生的应用的事件类型,可检测这种具有较小帧变化的区段。
另外,云流服务器110通过考虑变化区域的尺寸以及与变化区域对应的图像类型中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下,利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,可对变化区域进行压缩。如果变化区域的尺寸小于预定基准值,则可应用PNG静止图像压缩技术来对变化区域进行编码。如果变化区域的尺寸等于或大于预定基准值,则可通过考虑图像类型来选择合适的静止图像压缩技术。如果图像类型为自然图像,则可应用JPEG静止图像压缩技术来对变化区域进行编码。如果变化区域的尺寸等于或大于预定基准值并且如果图像类型为合成图像,则可应用调色板 PNG静止图像压缩技术来对变化区域进行编码。如果图像类型是自然图像和合成图像的混合图像,则可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择合适的静止图像压缩技术。
另外,云流服务器110将经静止图像编码的变化区域发送至用户,因此执行基于静止图像的云流服务。
终端装置120-1至120-N从云流服务器110接收与云流服务对应的应用执行结果画面然后将它提供给用户。
终端装置120-1至120-N连接至通信网络,并且基于云计算系统,可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外,终端装置120-1至120-N 中的每一个可以是具有各种移动通信规范的移动装置,诸如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
网络130提供在云流服务器110与终端装置120-1至120-N之间传送数据的路由,包括通常使用的网络以及任何未来可开发的网络。例如,网络130可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外,网络130的传输方案的标准不限于现有传输方案标准,可包括未来将要开发的所有传输方案标准。另外,图1中用在云流服务器110与终端装置120-1至120-N之间的网络可与终端装置120-1至120-N之间的网络不同或相同。
图2是示出图1所示的云流服务器的示例的框图。
参照图2,图1所示的云流服务器110包括捕获单元210、编码单元220、发送单元230和存储单元240。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以没有必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务器110,其在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
捕获单元210捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与应用正在运行的画面对应的所有帧。然而,如果在画面上帧之间存在较小变化,则捕获单元210可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此,用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
编码单元220通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。例如,所捕获的区域可根据帧中变化的区域具有从非常小的尺寸到与整个帧对应的大尺寸的各种尺寸。另外,所捕获的区域的图像类型可以是诸如照片或图片的自然图像或者通过几个图像的混合形成的合成图像。另外,自然图像和合成图像可同时存在于所捕获的变化区域中。
在这种情况下,利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,可对变化区域进行压缩。PNG 静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据的大小增加。因此,如果传输网络的带宽低,则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
如果变化区域的尺寸小于预定基准值,则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如,如果与预定基准值相比变化区域具有较小的尺寸,则编码单元可通过应用由于图像大小较小并且要发送的数据量较小而允许相对高质量的编码的PNG静止图像压缩技术来对变化区域进行编码。所述预定基准值可由服务器管理员考虑云流服务器110的处理性能、网络的传输速度和服务器系统的负载来设定。
如果变化区域的尺寸等于或大于基准值,则编码单元可通过考虑图像类型来选择静止图像压缩技术。当由于变化区域的尺寸等于或大于基准值,要发送的数据量很大时,编码单元可利用具有高压缩效率的JPEG静止图像压缩技术或者能够减小数据大小的调色板PNG静止图像压缩技术来执行编码。
如果图像类型是自然图像,则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此,如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像,则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。
如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像,则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。由于变化区域的尺寸很大,所以可使用具有高压缩效率的JPEG静止图像压缩技术。然而,对于合成图像,JPEG静止图像压缩技术无法达到预期。因此,在这种情况下,编码单元可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
如果图像类型是自然图像和合成图像的混合图像,则编码单元可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。例如,如果在变化区域中与自然图像对应的部分大于与合成图像对应的另一部分,则编码单元可利用JPEG静止图像来对变化区域进行编码。或者,如果在变化区域中与合成图像对应的部分大于与自然图像对应的另一部分,则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。
另外,考虑变化区域的尺寸和变化区域所对应的图像类型以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
发送单元230通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即,通过将通过编码而压缩的变化区域发送至用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
存储单元240存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
根据实施方式,存储单元240可独立于云流服务110来形成并且支持用于云流服务的功能。在这种情况下,存储单元240可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
另外,上述云流服务器110还可通过一个或更多个服务器来实现。
此外,云流服务器110具有可存储信息的存储器。在实施方式中,存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元,在另一实施方式中可以是非易失性存储器单元。在实施方式中,存储单元是计算机可读介质。在各种不同的实施方式中,存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
图3是示出根据本发明的实施方式的基于静止图像的云流系统的示图。
参照图3,服务器300可响应于从用户的终端装置接收的用户输入执行节目画面310,并且执行画面捕获。在这种情况下,服务器300可以是云流服务器或者web应用服务器。执行节目画面310并且执行画面捕获的处理可对应于图2所示的捕获单元 210的操作流程。
服务器300可通过静止图像压缩技术来执行所捕获的节目画面310的图像编码320。在这种情况下,执行图像编码320的处理可对应于图2所示的编码单元220的操作流程。
此时,服务器可通过将变化的帧与先前帧进行比较来仅捕获变化区域。另外,服务器可通过考虑变化区域的尺寸和变化区域所对应的图像类型来选择诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术之一,并且通过所选择的静止图像压缩技术来对变化区域进行编码。
此后,服务器300执行经静止图像编码的变化区域向用户的终端装置的流处理330,因此提供基于静止图像的云流服务。在这种情况下,执行流处理330的处理可对应于图2所示的发送单元230的操作流程。
此后,用户的终端装置执行所接收到的数据的渲染340,从而将节目画面310显示给用户,就像响应于用户输入在应用中执行的节目画面在用户的终端装置处执行一样。
图4是示出根据本发明的实施方式的在基于静止图像的云流服务中捕获变化区域的处理的示图。
参照图4,根据本发明的实施方式的基于静止图像的云流服务可将第一帧410与第二帧420进行比较,然后仅捕获并编码变化区域430。
例如,假定第一帧410和第二帧420中的区域B、C、D和E是菜单显示。在第一帧410中,光标位于区域C处,以使得区域C可被高亮以与其它区域B、D和E 相区别。在第二帧420中,光标从区域C移至区域D,以使得区域D可被高亮以与其它区域B、C和E相区别。
在这种情况下,作为第一帧410和第二帧420之间的比较的结果,可仅捕获区域 C和D作为变化区域430。服务器还可通过考虑变化区域430的尺寸和变化区域430 的图像类型来选择静止图像压缩技术,然后利用所选择的静止图像压缩技术来对变化区域430进行编码。
典型的云流服务可通过捕获与帧频对应的所有帧(包括一定变化的第一帧410 和第二帧420)来执行编码。然而,基于静止图像的云流服务仅捕获变化区域430并且通过静止图像压缩技术对它进行编码,因此与不必要地捕获许多帧以及这种帧的整个画面的典型云流服务相比,改进了服务的效率。
图5是示出根据本发明的实施方式的基于静止图像的云流服务方法的流程图。
参照图5,根据本发明的实施方式的基于静止图像的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S510)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而,当在正在运行应用的画面上帧之间的变化较小时,可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码,使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
另外,根据本发明的实施方式的基于静止图像的云流服务方法通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,然后执行与一个帧对应的变化区域的静止图像编码(S520)。例如,根据帧中变化的区域,所捕获的区域可具有从非常小的尺寸到与整个帧对应的大尺寸的各种尺寸。另外,所捕获的区域的图像类型可以是诸如照片或图片的自然图像或者通过几个图像的混合形成的合成图像。另外,自然图像和合成图像可同时存在于所捕获的变化区域中。
在这种情况下,利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,可对变化区域进行压缩。PNG 静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
如果变化区域的尺寸小于预定基准值,则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如,如果与预定基准值相比变化区域具有较小的尺寸,则编码单元可通过应用由于图像大小较小并且要发送的数据量较小而允许相对高质量的编码的PNG静止图像压缩技术来对变化区域进行编码。所述预定基准值可由服务器管理员考虑云流服务器的处理性能、网络的传输速度和服务器系统的负载来设定。
如果变化区域的尺寸等于或大于基准值,则编码单元可通过考虑图像类型来选择静止图像压缩技术。当由于变化区域的尺寸等于或大于基准值,要发送的数据量很大时,编码单元可利用具有高压缩效率的JPEG静止图像压缩技术或者能够减小数据大小的调色板PNG静止图像压缩技术来执行编码。
如果图像类型是自然图像,则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此,如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像,则编码单元可利用JPEG静止图像压缩技术来对变化区域进行编码。
如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像,则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。由于变化区域的尺寸很大,所以可使用具有高压缩效率的JPEG静止图像压缩技术。然而,对于合成图像,JPEG静止图像压缩技术无法达到预期。因此,在这种情况下,编码单元可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
如果图像类型是自然图像和合成图像的混合图像,则编码单元可通过将自然图像所对应的部分与合成图像所对应的另一部分进行比较来根据与变化区域中的较大部分对应的图像类型选择静止图像压缩技术。例如,如果在变化区域中与自然图像对应的部分大于与合成图像对应的另一部分,则编码单元可利用JPEG静止图像来对变化区域进行编码。或者,如果在变化区域中与合成图像对应的部分大于与自然图像对应的另一部分,则编码单元可利用调色板PNG静止图像压缩技术来对变化区域进行编码。
另外,考虑变化区域的尺寸和变化区域所对应的图像类型以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
另外,根据本发明的实施方式的基于静止图像的云流服务方法通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S530)。即,通过将通过静止图像编码压缩的变化区域发送给用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
图6是示出根据本发明的实施方式的基于静止图像的云流服务方法的详细流程图。
参照图6,在根据本发明的实施方式的基于静止图像的云流服务方法中,云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S610)。在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。
云流服务器确定变化区域的尺寸是否小于预定基准值(S615)。
如果在步骤S615确定变化区域的尺寸小于预定基准值,则云流服务器通过PNG 静止图像压缩技术来对变化区域进行编码(S620)。PNG静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。然而,由于变化区域的图像大小不很大并且要发送的数据量也不很大,所以服务器可通过应用允许相对高质量的编码的PNG静止图像压缩技术来执行编码。
如果在步骤S615确定变化区域的尺寸等于或大于预定基准值,则云流服务器确定与变化区域对应的图像类型是否为自然图像(S625)。
如果在步骤S625确定与变化区域对应的图像类型是自然图像,则云流服务器通过JPEG静止图像压缩技术来对变化区域进行编码(S630)。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外,JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩(而非对涉及多个图片或照片的合成图像进行压缩)时可能更有效率。因此,如果变化区域的尺寸等于或大于基准值并且如果与变化区域对应的图像类型是自然图像,则服务器可利用JPEG静止图像压缩技术来对变化区域进行编码。
如果在步骤S625确定与变化区域对应的图像类型是合成图像,则云流服务器通过调色板PNG静止图像压缩技术来对变化区域进行编码(S640)。即,如果变化区域的尺寸等于或大于预定基准值并且如果图像类型是合成图像,则服务器可利用能够减小数据大小的调色板PNG静止图像来对变化区域进行编码。
此后,云流服务器将经静止图像编码的变化区域传送给用户(S650)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
图7是示出根据本发明的另一实施方式的云流服务系统的框图。
参照图7,根据本发明的实施方式的云流服务系统包括云流服务器710、终端装置720-1至720-N以及网络730。
云流服务器710响应于来自终端装置720-1至720-N的对云流服务的请求执行应用,并且向终端装置720-1至720-N提供与执行应用的结果对应的执行结果画面。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务系统,其中云流服务器在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
云流服务器710捕获与先前帧相比变化的帧中所包含的变化区域。即,与先前帧所对应的画面相比,可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下,服务器可在要发送至终端装置720-1至720-N的所有帧中检测具有较小帧变化的区段,然后在所检测的区段中捕获变化区域。此时,通过识别在终端装置720-1 至720-N处发生的应用的事件类型,可检测这种具有较小帧变化的区段。
另外,云流服务器710根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下,服务器可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。如果与变化区域对应的图像的颜色的数量大于预定基准数量,则服务器可将图像类型确定为自然图像。如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量,则服务器可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值,则服务器可将图像类型确定为合成图像。如果与变化区域对应的图像的像素值的标准偏差大于预定基准值,则服务器可将图像类型确定为自然图像。在这种情况下,服务器可根据图像类型利用从PNG(便携式网络图形)和JPEG(联合图像专家组)选择的静止图像压缩技术来执行变化区域的静止图像编码。
另外,云流服务器710将经静止图像编码的变化区域发送给用户,因此执行基于静止图像的云流服务。
终端装置720-1至720-N从云流服务器710接收与云流服务对应的应用执行结果画面,然后将它提供给用户。
终端装置720-1至720-N连接至通信网络,并且基于云计算系统,可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外,终端装置720-1至720-N 中的每一个可以是具有各种移动通信规范的移动装置,例如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
网络730提供在云流服务器710与终端装置720-1至720-N之间传送数据的路由,包括通常使用的网络以及任何未来可开发的网络。例如,网络730可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外,网络730的传输方案的标准不限于现有传输方案标准,可包括未来将要开发的所有传输方案标准。另外,图7中用在云流服务器710与终端装置720-1至720-N之间的网络可与终端装置720-1至720-N之间的网络不同或相同。
图8是示出图7所示的云流服务器的示例的框图。
参照图8,图7所示的云流服务器710包括捕获单元810、编码单元820、发送单元830和存储单元840。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务器710,其在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
捕获单元810捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与正在运行应用的画面对应的所有帧。然而,如果在画面上帧之间存在较小变化,则捕获单元810可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此,用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
编码单元820根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。例如,由于所捕获的变化区域的图像类型可以是单个图像(例如,一张照片或一张图片) 或者几个图像的混合图像,所以编码单元可确定图像类型,选择适合于各个图像类型的静止图像压缩技术,并且执行静止图像编码以增加变化区域的压缩效率。
在这种情况下,编码单元可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。自然图像可表示自然地产生的对象的图像。例如,自然图像可表示光学图像(例如,一张照片或一张图片)或者具有诸如x射线和红外线的其它波长的图像。与自然图像相反,合成图像可表示通过计算机或者任何其它人为手段创建或混合的图像。
如果与变化区域对应的图像的颜色的数量大于预定基准数量,则编码单元可将图像类型确定为自然图像。由于自然图像可以是自然地产生的对象的图像,所以与合成图像相比,应用于表示图像的颜色的亮度和饱和度的变化可复杂。因此,由于与合成图像相比,由构成自然图像的像素表现的颜色的数量可变化,所以与变化区域对应的图像类型可通过考虑与变化区域对应的图像的颜色的数量来确定。例如,如果预定基准数量为100000,则当构成与变化区域对应的图像的颜色的数量大于100000时,图像类型可被确定为自然图像,当颜色的数量等于或小于100000时,图像类型可被确定为合成图像。
如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量,则编码单元可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。像素值的标准偏差可表示由变化区域所对应的图像的像素表现的颜色值的分布的变化。如果该变化表示零,这可意味着所有颜色具有相同的值。即,像素值的标准偏差越小可表示图像由越少数量的颜色形成。因此,通过考虑图像的像素值的标准偏差,可确定与变化区域对应的图像的图像类型。
如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值,则编码单元可将图像类型确定为合成图像。例如,假定关于图像颜色的数量的所述预定基准数量为 100000并且关于图像像素值的标准偏差的所述预定基准值为N。在这种情况下,如果与变化区域对应的图像的颜色的数量等于或小于100000并且如果与变化区域对应的图像的颜色值的标准偏差等于或小于N,则图像类型可被确定为合成图像。
如果与变化区域对应的图像的像素值的标准偏差大于预定基准值,则编码单元可将图像类型确定为自然图像。例如,如果图像的像素值的标准偏差大于预定基准值,这可意味着图像由较大数量的颜色形成。因此,如果图像的像素值的标准偏差大于预定基准值,则编码单元可确定与变化区域对应的图像是由许多颜色形成的自然图像。
在这种情况下,编码单元可根据图像类型来利用从PNG(便携式网络图形)和 JPEG(联合图像专家组)选择的静止图像压缩技术执行变化区域的静止图像编码。
PNG静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外,JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此,如果与变化区域对应的图像类型是自然图像,则编码单元可通过JPEG静止图像压缩技术来对变化区域进行编码。
另外,如果变化区域是合成图像,则JPEG静止图像压缩技术无法达到与自然图像差不多的压缩效率预期。因此,在合成图像的情况下,编码单元可通过选择能够增强图像质量的PNG静止图像压缩技术来执行变化区域的静止图像编码。
另外,如果变化区域是合成图像并且具有较大的尺寸从而导致很多数据,则编码单元可利用能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。
发送单元830通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即,通过将通过编码而压缩的变化区域发送至用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
存储单元840存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
根据实施方式,存储单元840可独立于云流服务710来形成并且支持用于云流服务的功能。在这种情况下,存储单元840可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
另外,上述云流服务器710还可通过一个或更多个服务器来实现。
此外,云流服务器710具有可存储信息的存储器。在实施方式中,存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元,在另一实施方式中可以是非易失性存储器单元。在实施方式中,存储单元是计算机可读介质。在各种不同的实施方式中,存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
图9是示出根据本发明的实施方式的根据图像类型的云流服务方法的流程图。
参照图9,根据本发明的实施方式的根据图像类型的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S910)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而,当在正在运行应用的画面上帧之间的变化较小时,可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码,使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
另外,根据本发明的实施方式的根据图像类型的云流服务方法根据通过考虑与变化区域对应的图像的颜色的数量和图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码(S920)。例如,由于所捕获的变化区域的图像类型可以是单个图像(例如,一张照片或一张图片)或者几个图像的混合图像,所以编码单元可确定图像类型,选择适合于各个图像类型的静止图像压缩技术,并且执行静止图像编码以增加变化区域的压缩效率。
在这种情况下,编码单元可根据诸如自然图像和合成图像的图像类型之一来选择静止图像压缩技术。自然图像可表示自然地产生的对象的图像。例如,自然图像可表示光学图像(例如,一张照片或一张图片)或者具有诸如x射线和红外线的其它波长的图像。与自然图像相反,合成图像可表示通过计算机或者任何其它人为手段创建或混合的图像。
如果与变化区域对应的图像的颜色的数量大于预定基准数量,则编码单元可将图像类型确定为自然图像。由于自然图像可以是自然地产生的对象的图像,所以与合成图像相比,应用于表示图像的颜色的亮度和饱和度的变化可复杂。因此,由于与合成图像相比,由构成自然图像的像素表现的颜色的数量可变化,所以与变化区域对应的图像类型可通过考虑与变化区域对应的图像的颜色的数量来确定。例如,如果预定基准数量为100000,则当构成与变化区域对应的图像的颜色的数量大于100000时,图像类型可被确定为自然图像,当颜色的数量等于或小于100000时,图像类型可被确定为合成图像。
如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量,则编码单元可通过考虑与变化区域对应的图像的像素值的标准偏差来确定图像类型。像素值的标准偏差可表示由变化区域所对应的图像的像素表现的颜色值的分布的变化。如果该变化表示零,这可意味着所有颜色具有相同的值。即,像素值的标准偏差越小可表示图像由越少数量的颜色形成。因此,通过考虑图像的像素值的标准偏差,可确定与变化区域对应的图像的图像类型。
如果与变化区域对应的图像的颜色的数量等于或小于预定基准数量并且如果与变化区域对应的图像的像素值的标准偏差等于或小于预定基准值,则编码单元可将图像类型确定为合成图像。例如,假定关于图像颜色的数量的所述预定基准数量为 100000并且关于图像像素值的标准偏差的所述预定基准值为N。在这种情况下,如果与变化区域对应的图像的颜色的数量等于或小于100000并且如果与变化区域对应的图像的颜色值的标准偏差等于或小于N,则图像类型可被确定为合成图像。
如果与变化区域对应的图像的像素值的标准偏差大于预定基准值,则编码单元可将图像类型确定为自然图像。例如,如果图像的像素值的标准偏差大于预定基准值,这可意味着图像由较大数量的颜色形成。因此,如果图像的像素值的标准偏差大于预定基准值,则编码单元可确定与变化区域对应的图像是由许多颜色形成的自然图像。
在这种情况下,编码单元可根据图像类型来利用从PNG(便携式网络图形)和 JPEG(联合图像专家组)选择的静止图像压缩技术执行变化区域的静止图像编码。
PNG静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。另外,JPEG静止图像压缩技术在对相似的颜色聚集在一个像素周围的自然图像进行压缩时可能更有效率。因此,如果与变化区域对应的图像类型是自然图像,则编码单元可通过JPEG静止图像压缩技术来对变化区域进行编码。
另外,如果变化区域是合成图像,则JPEG静止图像压缩技术无法达到与自然图像差不多的压缩效率预期。因此,在合成图像的情况下,编码单元可通过选择能够增强图像质量的PNG静止图像压缩技术来执行变化区域的静止图像编码。
另外,如果变化区域是合成图像并且具有较大的尺寸从而导致很多数据,则编码单元可利用能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。
另外,根据本发明的实施方式的根据图像类型的云流服务方法可通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S930)。即,通过将通过编码而压缩的变化区域发送至用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
此外,尽管图9中未示出,根据本发明的实施方式的根据图像类型的云流服务方法存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
图10是示出根据本发明的实施方式的根据图像类型的云流服务方法的详细流程图。
参照图10,在根据本发明的实施方式的根据图像类型的云流服务方法中,云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S1010)。在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。
此后,服务器确定与变化区域对应的图像的颜色的数量是否大于预定基准数量(S1015)。
如果在步骤S1015确定颜色的数量超过预定基准数量,则服务器确定变化区域的图像类型是自然图像(S1020)。
如果在步骤S1015确定颜色的数量没有超过预定基准数量,则服务器确定与变化区域对应的图像的像素值的标准偏差是否大于预定基准值(S1025)。
如果在步骤S1025确定标准偏差超过预定基准值,则服务器确定变化区域的图像类型是自然图像(S1020)。
如果在步骤S1025确定标准偏差没有超过预定基准值,则服务器确定变化区域的图像类型是合成图像(S1030)。
此后,根据所确定的图像类型,云流服务器选择静止图像压缩技术(S1040)。此时,PNG(便携式网络图形)和JPEG(联合图像专家组)中的一个可被选为静止图像压缩技术。另外,如果图像类型是合成图像,可使用调色板PNG(便携式网络图形)静止图像压缩技术。
此后,云流服务器利用所选择的静止图像压缩技术来执行变化区域的静止图像编码(S1050)。
此后,云流服务器将经静止图像编码的变化区域传送至用户的终端装置(S1060)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
图11是示出根据本发明的另一实施方式的云流服务系统的框图。
参照图11,根据本发明的实施方式的云流服务系统包括云流服务器1110、终端装置1120-1至1120-N以及网络1130。
云流服务器1110响应于来自终端装置1120-1至1120-N的对云流服务的请求来执行应用,并且向终端装置1120-1至1120-N提供与执行应用的结果对应的执行结果画面。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务系统,其中云流服务器在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
云流服务器1110捕获与先前帧相比变化的帧中所包含的变化区域。即,与先前帧所对应的画面相比,可捕获与变化的帧对应的画面中的不同区域作为变化区域。在这种情况下,服务器可在要发送至终端装置1120-1至1120-N的所有帧中检测具有较小帧变化的区段,然后在所检测的区段中捕获变化区域。此时,通过识别在终端装置 1120-1至1120-N处发生的应用的事件类型,可检测这种具有较小帧变化的区段。
另外,云流服务器1110通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。在这种情况下,利用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,变化区域可被压缩。如果云流服务器的负载大小小于预定基准值,则可应用JPEG静止图像压缩技术来对变化区域进行编码。如果云流服务器的负载大小等于或大于预定基准值,则可通过考虑网络的数据处理速率来选择合适的静止图像压缩技术。如果网络的数据处理速率小于预定处理速率,则可应用PNG静止图像压缩技术以对变化区域进行编码。如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率,则可应用调色板PNG静止图像压缩技术以对变化区域进行编码。
另外,云流服务器1110将经静止图像编码的变化区域发送给用户,因此执行基于静止图像的云流服务。
终端装置1120-1至1120-N从云流服务器1110接收与云流服务对应的应用执行结果画面,然后将它提供给用户。
终端装置1120-1至1120-N连接至通信网络,并且基于云计算系统,可执行应用。终端装置可以是(但不限于)移动通信终端、诸如信息通信装置、多媒体装置、有线装置、固定装置和互联网协议(IP)装置的各种装置。另外,终端装置1120-1至1120-N 中的每一个可以是具有各种移动通信规范的移动装置,例如移动电话、便携式多媒体播放器(PMP)、移动互联网装置(MID)、智能电话、台式机、平板PC、笔记本、上网本、个人数字助理(PDA)、智能电话和信息通信装置。
网络1130提供在云流服务器1110与终端装置1120-1至1120-N之间传送数据的路由,包括通常使用的网络以及任何未来可开发的网络。例如,网络1130可以是在有限的区域内提供各种信息装置的通信的有线/无线短距离通信网络、在移动实体之间以及移动实体与移动实体之外的任何其它实体之间提供通信的移动通信网络、利用卫星在地面站之间提供通信的卫星通信网络、有线/无线通信网络之一、或者其任何组合。此外,网络1130的传输方案的标准不限于现有传输方案标准,可包括未来将要开发的所有传输方案标准。另外,图11中用在云流服务器1110与终端装置1120-1 至1120-N之间的网络可与终端装置1120-1至1120-N之间的网络不同或相同。
图12是示出图11所示的云流服务器的示例的框图。
参照图12,图11所示的云流服务器1110包括捕获单元1210、编码单元1220、发送单元1230和存储单元1240。
云流服务基本上应用基于视频编解码器的云流技术。因此,即使当云流技术被应用于诸如菜单显示的静态画面时,以不必要地捕获整个画面并且利用视频编解码器进行编码的低效方式执行云流服务。为了解决此问题,本发明提供了云流服务器1110,其在帧之间的变化较小(例如,菜单显示画面)的情况下检测帧之间的变化区域并且通过静止图像压缩技术仅对变化区域进行编码。
捕获单元1210捕获与先前帧相比变化的帧中所包含的变化区域。基于视频编解码器的云流技术可捕获并编码与正在运行应用的画面对应的所有帧。然而,如果在画面上帧之间存在较小变化,则捕获单元1210可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码。因此,用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
编码单元1220通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码。
云流服务器的负载表示为了实现特定的期望效果,服务器的动作所需的操作或资源。例如,当对与变化区域对应的静止图像进行编码或解码时,云流服务器的负载可变得较大。这种服务器负载的限制可根据构成服务器的硬件装置而变化。如果输入超出服务器负载的限制的命令,则可能发生导致服务器性能劣化的瓶颈。因此,在云流服务中,服务器可通过考虑服务器负载的大小来选择具有较小负载的静止图像压缩技术。
另外,网络的数据处理速率表示基于相同的网络带宽处理数据的速率。网络的数据处理速率也可能成为当需要超出网络带宽的数据处理时发生的瓶颈的原因。因此,在云流服务中,服务器可识别网络的数据处理速率并且选择能够减小数据大小的静止图像压缩技术。
在这种情况下,使用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,变化区域可被压缩。PNG静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
如果云流服务器的负载大小小于预定基准值,则编码单元可通过应用JPEG静止图像压缩技术来对变化区域进行编码。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率,所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此,如果云流服务器的负载大小较小,则可通过JPEG静止图像压缩技术来对变化区域进行编码。此外,由于具有较高的压缩率,所以当网络具有较大的数据处理量时,JPEG静止图像压缩技术可减小数据大小并防止数据处理量的增加。
如果云流服务器的负载大小等于或大于预定基准值,则编码单元可通过考虑网络的数据处理速率来选择静止图像压缩技术。例如,如果云流服务器的负载大小等于或大于预定基准值,则编码单元可通过从PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择静止图像压缩技术来对变化区域进行编码。在这种情况下,根据从 PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择的静止图像压缩技术,传输数据的大小可变得不同。因此,通过考虑网络的数据处理速率,可选择静止图像压缩技术。
如果网络的数据处理速率小于预定处理速率,则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如,在通过PNG静止图像压缩技术对变化区域进行编码的情况下,提供给用户的终端装置的变化区域的图像质量可良好,但是数据大小可增加。即,如果网络的带宽较低,则服务速度可降低。因此,如果网络的数据处理速率较低,因此网络平滑,则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。另外,由于PNG静止图像压缩技术在编码和解码时具有较小负载,所以当云流服务器具有较大负载时,编码单元可通过PNG静止图像压缩技术来对变化区域进行编码,从而防止服务器负载增加。
如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率,则编码单元可通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。例如,当通过调色板PNG静止图像压缩技术来对变化区域进行编码时,图像质量可能劣化,但是传输数据的大小可减小。因此,如果存在由于网络的较高数据处理速率而导致瓶颈的可能性,则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码,从而防止数据传输量的增加。
另外,考虑云流服务器的负载大小和网络的数据处理速率以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
发送单元1230通过向用户发送经静止图像编码的变化区域来执行基于静止图像的云流服务。即,通过将通过编码而压缩的变化区域发送至用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
存储单元1240存储在根据本发明的实施方式的云流服务处理中创建的各种类型的上述信息。
根据实施方式,存储单元1240可独立于云流服务1110来形成并且支持用于云流服务的功能。在这种情况下,存储单元1240可作为单独的大容量存储装置来操作并且包括用于操作的控制功能。
另外,上述云流服务器1110还可通过一个或更多个服务器来实现。
此外,云流服务器1110具有可存储信息的存储器。在实施方式中,存储器是计算机可读介质。存储器在一个实施方式中可以是易失性存储器单元,在另一实施方式中可以是非易失性存储器单元。在实施方式中,存储单元是计算机可读介质。在各种不同的实施方式中,存储单元可包括硬盘装置、光盘装置或者任何其它大容量存储装置。
图13是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的流程图。
参照图13,根据本发明的实施方式的基于静止图像的云流服务方法捕获与先前帧相比变化的帧中所包含的变化区域(S1310)。基于视频编解码器的云流技术可通过捕获与正在运行应用的画面对应的所有帧来执行编码。然而,当在正在运行应用的画面上帧之间的变化较小时,可通过仅捕获与先前帧相比变化的帧的变化区域来执行静止图像编码,使得用户的终端装置可固定地显示未变化区域并且仅动态地显示变化区域。
在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。例如,如果变化的帧相对于先前帧的对应区域变化的区域是区域A,则可仅捕获变化的帧的画面区域中的区域A作为变化区域。根据在用户的终端装置处输入的输入信号,这种变化区域可具有各种尺寸,并且与变化区域对应的图像可具有各种类型。
在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。
此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。例如,根据用户的终端装置的输入信号,可确定应用的事件类型。根据输入信号,可发生当应用被执行时具有较小帧变化的静态事件(例如,菜单、选项或通知窗口)或者具有频繁变化的帧的动态事件(例如,视频回放或玩游戏)。因此,可从用户的终端装置的输入信号识别事件类型,并且如果事件类型是静态事件,则从与该事件对应的所有帧检测具有较小帧变化的区段。
另外,根据本发明的实施方式的基于静止图像的云流服务方法通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,然后利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码 (S1320)。
云流服务器的负载表示为了实现特定的期望效果,服务器的动作所需的操作或资源。例如,当对与变化区域对应的静止图像进行编码或解码时,云流服务器的负载可变得较大。这种服务器负载的限制可根据构成服务器的硬件装置而变化。如果输入超出服务器负载的限制的命令,则可能发生导致服务器性能劣化的瓶颈。因此,在云流服务中,服务器可考虑服务器负载的大小来选择具有较小负载的静止图像压缩技术。
另外,网络的数据处理速率表示基于相同的网络带宽处理数据的速率。网络的数据处理速率也可能成为当需要超出网络带宽的数据处理时发生的瓶颈的原因。因此,在云流服务中,服务器可识别网络的数据处理速率并且选择能够减小数据大小的静止图像压缩技术。
在这种情况下,使用诸如PNG(便携式网络图形)、调色板PNG(便携式网络图形)和JPEG(联合图像专家组)的静止图像压缩技术,变化区域可被压缩。PNG静止图像压缩技术可获得良好质量的图像,但是在编码时可能导致数据大小的增加。因此,如果传输网络的带宽低,则传输速度可能降低。调色板PNG静止图像压缩技术在编码时由于图像的数据大小减小而可确保传输速度,但是由于以8比特来表现颜色而可能导致图像质量的劣化。JPEG静止图像压缩技术具有良好的压缩效率,因此在编码时可显著减小传输数据量,但是在编码和解码时由于高压缩效率而可能导致很大的系统负载。
如果云流服务器的负载大小小于预定基准值,则编码单元可通过应用JPEG静止图像压缩技术来对变化区域进行编码。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率,所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此,如果云流服务器的负载大小较小,则可通过JPEG静止图像压缩技术来对变化区域进行编码。此外,由于具有较高的压缩率,所以当网络具有较大的数据处理量时,JPEG静止图像压缩技术可减小数据大小并防止数据处理量的增加。
如果云流服务器的负载大小等于或大于预定基准值,则编码单元可通过考虑网络的数据处理速率来选择静止图像压缩技术。例如,如果云流服务器的负载大小等于或大于预定基准值,则编码单元可通过从PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择静止图像压缩技术来对变化区域进行编码。在这种情况下,根据从 PNG静止图像压缩技术和调色板PNG静止图像压缩技术选择的静止图像压缩技术,传输数据的大小可变得不同。因此,通过考虑网络的数据处理速率,可选择静止图像压缩技术。
如果网络的数据处理速率小于预定处理速率,则编码单元可通过应用PNG静止图像压缩技术来对变化区域进行编码。例如,在通过PNG静止图像压缩技术对变化区域进行编码的情况下,提供给用户的终端装置的变化区域的图像质量可良好,但是数据大小可增加。即,如果网络的带宽较低,则服务速度可降低。因此,如果网络的数据处理速率较低,因此网络平滑,则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。另外,由于PNG静止图像压缩技术在编码和解码时具有较小负载,所以当云流服务器具有较大负载时,编码单元可通过PNG静止图像压缩技术来对变化区域进行编码,从而防止服务器负载的增加。
如果云流服务器的负载大小等于或大于预定基准值并且如果网络的数据处理速率等于或大于预定处理速率,则编码单元可通过应用调色板PNG静止图像压缩技术来对变化区域进行编码。例如,当通过调色板PNG静止图像压缩技术来对变化区域进行编码时,图像质量可能劣化,但是传输数据的大小可减小。因此,如果存在由于网络的较高数据处理速率而导致瓶颈的可能性,则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码,从而防止数据传输量的增加。
另外,考虑云流服务器的负载大小和网络的数据处理速率以确定用于对变化区域进行编码的静止图像压缩技术的顺序可根据云流服务来不同地确定。
另外,根据本发明的实施方式的基于静止图像的云流服务方法通过将经静止图像编码的变化区域发送给用户来执行基于静止图像的云流服务(S1330)。即,通过将通过编码而压缩的变化区域发送至用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
图14是示出根据本发明的另一实施方式的基于静止图像的云流服务方法的详细流程图。
参照图14,在根据本发明的实施方式的基于静止图像的云流服务方法中,云流服务器捕获与先前帧相比变化的帧中所包含的变化区域(S1410)。在这种情况下,可捕获与先前帧所对应的画面区域不同的变化的帧所对应的画面区域的特定区域作为变化区域。在这种情况下,可在要发送给用户的终端装置的所有帧中检测具有较小帧变化的区段,并且可在所检测的区段中捕获变化区域。此时,通过识别从用户的终端装置发生的应用的事件类型,可检测这种具有较小帧变化的区段。
云流服务器确定云流服务器的负载大小是否小于预定基准值(S1415)。
如果在步骤S1415确定云流服务器的负载大小小于预定基准值,则服务器通过JPEG静止图像压缩技术来对变化区域进行编码(S1420)。由于与PNG静止图像压缩技术和调色板静止图像压缩技术相比具有较高的压缩率,所以当服务器执行编码时或者当客户端执行解码时JPEG静止图像压缩技术可能导致很大负载。因此,如果云流服务器的负载大小较小,则可通过JPEG静止图像压缩技术来对变化区域进行编码。
如果在步骤S1415确定云流服务器的负载大小等于或大于预定基准值,则服务器确定网络的数据处理速率是否小于预定处理速率(S1425)。
如果在步骤S1425确定网络的数据处理速率小于预定处理速率,则服务器通过PNG静止图像压缩技术来对变化区域进行编码(S1430)。在通过PNG静止图像压缩技术对变化区域进行编码的情况下,提供给用户的终端装置的变化区域的图像质量可良好,但是数据大小可增加。即,如果网络的带宽较低,则服务速度可降低。因此,如果网络的数据处理速率较低,因此网络平滑,则能够增强图像质量的PNG静止图像压缩技术可合适于对变化区域进行编码。
如果在步骤S1425确定网络的数据处理速率等于或大于预定处理速率,则服务器通过调色板PNG静止图像压缩技术来对变化区域进行编码(S1440)。当通过调色板 PNG静止图像压缩技术来对变化区域进行编码时,图像质量可能劣化,但是传输数据的大小可减小。因此,如果存在由于网络的较高数据处理速率而导致瓶颈的可能性,则编码单元可通过能够减小数据大小的调色板PNG静止图像压缩技术来对变化区域进行编码,从而防止数据传输量的增加。
此后,云流服务器将经静止图像编码的变化区域传送给用户(S1450)。通过将通过静止图像编码来压缩的变化区域发送给用户的终端装置,用户可感觉就像正在用户的终端装置处执行应用一样。
合适于存储并记录有计算机程序命令语言和数据的计算机可读存储介质包括:磁介质,例如硬盘、软盘和磁带;光学介质,例如紧凑盘只读存储器(CD-ROM)和数字多功能盘(DVD);磁光介质,例如软光盘;以及半导体存储器,例如只读存储器 (ROM)、随机存取存储器(RAM)、闪存、可擦除可编程ROM(EPROM)和电EPROM (EEPROM)。处理器和存储器可由专用逻辑电路来补充或与之集成。程序命令可包括可在计算机中利用解释器执行的高级语言代码以及通过编译器形成的机器代码。上述硬件装置可被配置为作为一个或更多个软件模块来操作以便执行本发明的操作,反之亦然。
尽管本公开包含许多具体实现的细节,这些细节不应被解释为对本发明或者可要求保护的内容的范围的限制,而是解释为可为本发明的特定实施方式所特定的特征的描述。本公开中在分离的实施方式的背景下描述的特定特征也可在单个实施方式中组合实现。反之,在单个实施方式的背景下描述的各种特征也可在多个实施方式中分离地实现或者按照任何合适的子组合来实现。此外,尽管上面可将特征描述为按照特定组合来作用,甚至初始如此要求保护,但是要求保护的组合中的一个或更多个特征在一些情况下可从所述组合中删去,要求保护的组合可指向子组合或者子组合的变型。
尽管在附图中将操作示出为按照预定顺序执行,但是不应解释为要求所述操作顺序地或者按照所述预定顺序来执行以获得优选结果,或者要求执行所示的所有操作。在一些情况下,多任务和并行处理可为有利的。另外,不应解释为在所有类型的实现方式中均要求各种系统组件的划分。应该理解,所描述的程序组件和系统通常被集成为单个软件产品或者被封装在多软件产品中。
尽管参照其示例性实施方式具体地示出和描述了本发明,本领域技术人员将理解,在不脱离如所附权利要求书限定的本发明的精神和范围的情况下,可对其进行各种形式和细节上的改变。
工业实用性
本发明可捕获与先前帧相比变化的帧中所包含的变化区域,通过考虑变化区域的尺寸和变化区域所对应的图像类型中的一个或更多个来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外,本发明可通过基于静止图像的云流服务使流压缩效率最大化,并且还经由相同频带向更多用户提供更快速的云流服务。因此,云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。
另外,本发明可捕获与先前帧相比变化的帧中所包含的变化区域,根据通过考虑变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外,本发明可通过根据图像类型的云流服务使流压缩效率最大化,并且还经由相同频带向更多用户提供更快速的云流服务。因此,云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。
另外,本发明可捕获与先前帧相比变化的帧中所包含的变化区域,通过考虑云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,利用所选择的静止图像压缩技术来执行与一个帧对应的变化区域的静止图像编码,并且通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务。另外,本发明可通过基于静止图像的云流服务使流压缩效率最大化,并且还经由相同频带向更多用户提供更快速的云流服务。因此,云流服务提供商可在节省频带扩展所需的资源的同时向用户提供高效服务。

Claims (9)

1.一种云流服务器,该云流服务器包括:
捕获单元,该捕获单元被配置为捕获与先前帧相比变化的帧中所包含的变化区域;
编码单元,该编码单元被配置为通过考虑所述变化区域的尺寸和所述变化区域所对应的图像类型中的一个或更多个或者考虑所述云流服务器的负载大小和网络的数据处理速率中的一个或更多个来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及
发送单元,该发送单元被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务,
其中,所述编码单元还被配置为:如果所述变化区域的尺寸小于预定基准值,则通过应用便携式网络图形PNG静止图像压缩技术来对所述变化区域进行编码,如果所述变化区域的尺寸等于或大于所述基准值,则通过考虑所述图像类型来选择所述静止图像压缩技术,
其中,所述编码单元还被配置为:如果所述云流服务器的负载大小小于预定基准值,则通过应用联合图像专家组JPEG静止图像压缩技术来对所述变化区域进行编码,如果所述云流服务器的负载大小等于或大于所述预定基准值,则通过考虑所述网络的数据处理速率来选择所述静止图像压缩技术,
其中,所述捕获单元还被配置为捕获在所述变化的帧所对应的画面区域中与所述先前帧所对应的画面区域相比变化的特定区域,作为所述变化区域,
其中,所述捕获单元还被配置为在要发送至所述用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获所述变化区域,
其中,所述捕获单元还被配置为通过感测在所述用户的所述终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段,
其中,所述事件类型包括发生的当执行应用时具有较小帧变化的静态事件和具有频繁变化的帧的动态事件,并且
其中,所述捕获单元还被配置为:如果所述事件类型是静态事件,则从与事件对应的所有帧检测具有较小帧变化的区段。
2.根据权利要求1所述的云流服务器,其中,所述编码单元还被配置为利用包括便携式网络图形PNG、调色板便携式网络图形PNG和联合图像专家组JPEG的静止图像压缩技术之一来对所述变化区域进行压缩。
3.根据权利要求2所述的云流服务器,其中,所述编码单元还被配置为:如果所述图像类型为自然图像,则通过应用JPEG静止图像压缩技术来对所述变化区域进行编码。
4.根据权利要求3所述的云流服务器,其中,所述编码单元还被配置为:如果所述变化区域的尺寸等于或大于预定基准值并且如果所述图像类型为合成图像,则通过应用调色板PNG静止图像压缩技术来对所述变化区域进行编码。
5.根据权利要求4所述的云流服务器,其中,所述编码单元还被配置为:如果所述图像类型是所述自然图像和所述合成图像的混合图像,则通过将所述变化区域中的所述自然图像所对应的部分与所述合成图像所对应的另一部分进行比较来根据与所述变化区域中的较大部分对应的图像类型选择所述静止图像压缩技术。
6.根据权利要求2所述的云流服务器,其中,所述编码单元还被配置为:如果所述网络的数据处理速率小于预定处理速率,则通过应用PNG静止图像压缩技术来对所述变化区域进行编码,如果所述云流服务器的负载大小等于或大于预定基准值并且如果所述数据处理速率等于或大于所述预定处理速率,则通过应用调色板PNG静止图像压缩技术来对所述变化区域进行编码。
7.一种云流服务器,该云流服务器包括:
捕获单元,该捕获单元被配置为捕获与先前帧相比变化的帧中所包含的变化区域;
编码单元,该编码单元被配置为根据通过考虑所述变化区域所对应的图像的颜色的数量和所述图像的像素值的标准偏差中的一个或更多个而确定的图像类型来选择静止图像压缩技术,并且利用所选择的静止图像压缩技术来执行与一个帧对应的所述变化区域的静止图像编码;以及
发送单元,该发送单元被配置为通过将经静止图像编码的变化区域发送至用户来执行基于静止图像的云流服务,
其中,所述编码单元还被配置为:如果所述变化区域所对应的所述图像的颜色的数量大于预定基准数量,则将所述图像类型确定为自然图像,如果所述变化区域所对应的所述图像的颜色的数量等于或小于所述预定基准数量,则通过考虑所述变化区域所对应的图像的像素值的标准偏差来确定所述图像类型,
其中,所述捕获单元还被配置为捕获在所述变化的帧所对应的画面区域中与所述先前帧所对应的画面区域相比变化的特定区域,作为所述变化区域,
其中,所述捕获单元还被配置为在要发送至所述用户的终端装置的所有帧中检测具有较小帧变化的区段,并且在所检测的区段中捕获所述变化区域,
其中,所述捕获单元还被配置为通过感测在所述用户的所述终端装置处发生的应用的事件类型来检测具有较小帧变化的所述区段,
其中,所述事件类型包括发生的当执行应用时具有较小帧变化的静态事件和具有频繁变化的帧的动态事件,并且
其中,所述捕获单元还被配置为:如果所述事件类型是静态事件,则从与事件对应的所有帧检测具有较小帧变化的区段。
8.根据权利要求7所述的云流服务器,其中,所述编码单元还被配置为根据包括自然图像和合成图像的图像类型之一来选择所述静止图像压缩技术。
9.根据权利要求8所述的云流服务器,其中,所述编码单元还被配置为:如果所述变化区域所对应的所述图像的颜色的数量等于或小于所述预定基准数量并且如果所述变化区域所对应的所述图像的像素值的标准偏差等于或小于预定基准值,则将所述图像类型确定为所述合成图像。
CN201580041775.6A 2014-07-30 2015-07-06 云流服务器 Active CN106664439B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2014-0097322 2014-07-30
KR20140097322 2014-07-30
KR10-2014-0110551 2014-08-25
KR1020140110551A KR102199270B1 (ko) 2014-07-30 2014-08-25 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR1020140139556A KR102273143B1 (ko) 2014-10-16 2014-10-16 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
KR10-2014-0139556 2014-10-16
KR10-2014-0156004 2014-11-11
KR1020140156004A KR102232899B1 (ko) 2014-07-30 2014-11-11 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
PCT/KR2015/006952 WO2016017953A1 (ko) 2014-07-30 2015-07-06 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
CN106664439A CN106664439A (zh) 2017-05-10
CN106664439B true CN106664439B (zh) 2020-04-03

Family

ID=58639067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041775.6A Active CN106664439B (zh) 2014-07-30 2015-07-06 云流服务器

Country Status (4)

Country Link
US (1) US10462200B2 (zh)
EP (1) EP3177023B1 (zh)
JP (1) JP6527579B2 (zh)
CN (1) CN106664439B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3683692A1 (en) * 2014-02-07 2020-07-22 SK Planet Co., Ltd. Cloud streaming service system, and method and apparatus for providing cloud streaming service
JP6467503B2 (ja) * 2014-07-14 2019-02-13 エスケー テックス カンパニー、リミテッド クラウドストリーミングサービスシステム、メモリボトルネックを防止するためのデータ圧縮方法及びそのための装置
WO2019245204A1 (ko) 2018-06-19 2019-12-26 삼성전자 주식회사 영상 압축을 수행하는 전자 장치 및 전자 장치의 동작 방법
US11695944B2 (en) * 2021-09-08 2023-07-04 Omnivision Technologies, Inc. Video coding device and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883281A (zh) * 2010-06-13 2010-11-10 北京北大众志微系统科技有限责任公司 一种远程显示系统的静态图像编码方法及系统
GB2486475A (en) * 2010-12-16 2012-06-20 Norland Technology Ltd Encoding, transmitting and displaying a sequence of images using a difference image
CN103067428A (zh) * 2011-10-21 2013-04-24 华为技术有限公司 基站、服务处理方法和云计算系统

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2486475A (en) * 1945-10-20 1949-11-01 Beryllium Corp Method of producing metallic beryllium and alloys of beryllium
JPS61274485A (ja) * 1985-05-29 1986-12-04 Matsushita Electric Works Ltd 画像伝送方式
US5983251A (en) * 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis
US6167155A (en) * 1997-07-28 2000-12-26 Physical Optics Corporation Method of isomorphic singular manifold projection and still/video imagery compression
JP3528548B2 (ja) * 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置
SE513353C2 (sv) * 1998-10-21 2000-08-28 Ericsson Telefon Ab L M Partiell hämtning av bilder i den komprimerade domänen
US20050210145A1 (en) * 2000-07-24 2005-09-22 Vivcom, Inc. Delivering and processing multimedia bookmark
WO2003010727A1 (en) * 2001-07-25 2003-02-06 Vislog Technology Pte Ltd. Method and apparatus for processing image data
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
US7106908B2 (en) * 2002-03-12 2006-09-12 Nokia Corporation Method and apparatus for selecting a format in which to re-encode a quantized image
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
US7016547B1 (en) * 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
DE10310023A1 (de) 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
EP1635581A4 (en) 2003-06-19 2010-03-03 Panasonic Corp TRANSMITTER, SYSTEM AND METHOD FOR IMAGE PROCESSING, PROGRAM, RECORDING MEDIUM
JP4176663B2 (ja) * 2003-06-19 2008-11-05 松下電器産業株式会社 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
KR100556911B1 (ko) * 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
TWI260511B (en) * 2004-03-26 2006-08-21 Arcadyan Technology Corp Method and apparatus for displaying multimedia information
US7558428B2 (en) 2004-09-13 2009-07-07 Microsoft Corporation Accelerated video encoding using a graphics processing unit
US20070014369A1 (en) * 2005-07-12 2007-01-18 John Santhoff Ultra-wideband communications system and method
JP5046527B2 (ja) * 2006-02-14 2012-10-10 カシオ計算機株式会社 コンピュータシステムのサーバ装置及びサーバ制御プログラム
JP4844275B2 (ja) 2006-08-01 2011-12-28 カシオ計算機株式会社 サーバ装置、サーバベースコンピューティングシステムおよびプログラム
EP2245536B1 (en) * 2008-01-27 2018-10-24 Citrix Systems, Inc. Methods and systems for remoting three dimensional graphics
JP4879937B2 (ja) 2008-06-23 2012-02-22 シャープ株式会社 動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラム
JP5032419B2 (ja) * 2008-08-27 2012-09-26 株式会社東芝 サーバ、画面送信方法およびコンピュータプログラム
JP2010119030A (ja) 2008-11-14 2010-05-27 Toshiba Corp 通信装置、通信方法および通信プログラム
US8532437B2 (en) * 2009-05-18 2013-09-10 Citrix Systems, Inc. Systems and methods for block recomposition for compound image compression
JP5520704B2 (ja) * 2009-07-03 2014-06-11 パナソニック株式会社 撮像装置、閃光判定方法およびプログラム
US20110242112A1 (en) * 2010-03-31 2011-10-06 Renesas Technology Corp. Display device and driving circuit thereof
JP5529685B2 (ja) * 2010-09-03 2014-06-25 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
JP5198543B2 (ja) * 2010-11-19 2013-05-15 株式会社東芝 画像処理方法、画像処理装置及び画像処理プログラム
KR101312268B1 (ko) 2010-12-24 2013-09-25 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
WO2012105571A2 (ja) * 2011-01-31 2012-08-09 イマジニアリング株式会社 信号処理装置
KR101668282B1 (ko) 2011-07-22 2016-10-24 엔트릭스 주식회사 화면 가상화 기반 어플리케이션 구동 시스템 및 방법
CN102497489B (zh) * 2011-12-05 2015-11-18 优视科技有限公司 图像压缩方法、图像压缩装置和移动终端
JP2013126185A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム
JP2013131990A (ja) 2011-12-22 2013-07-04 Ricoh Co Ltd 情報処理装置及びプログラム
US9798508B2 (en) * 2012-07-16 2017-10-24 Microsoft Technology Licensing, Llc Implementing previously rendered frame buffer information in a customized GUI display
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법
KR101966921B1 (ko) 2012-09-12 2019-08-27 삼성전자주식회사 멀티 세션 관리 방법 및 장치
KR101720654B1 (ko) 2012-09-14 2017-03-28 한국전자통신연구원 가상화 시스템 및 가상화 서비스 제공방법
KR101430930B1 (ko) 2012-12-12 2014-09-25 에스케이플래닛 주식회사 클라우드 스트리밍 기반의 게임 제공 방법, 시스템, 클라이언트 단말기 및 서비스장치
KR101480214B1 (ko) 2013-01-18 2015-01-08 한국과학기술원 Dom 변이 이벤트 기반 웹 화면 스트리밍 방법 및 시스템
US8903186B2 (en) * 2013-02-28 2014-12-02 Facebook, Inc. Methods and systems for differentiating synthetic and non-synthetic images
US9235905B2 (en) * 2013-03-13 2016-01-12 Ologn Technologies Ag Efficient screen image transfer
US9609338B2 (en) * 2013-10-25 2017-03-28 Microsoft Technology Licensing, Llc Layered video encoding and decoding
KR20140027040A (ko) 2013-12-30 2014-03-06 주식회사 큐램 적응 이미지 압축시스템 및 그 방법
JP6617428B2 (ja) * 2015-03-30 2019-12-11 株式会社ニコン 電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883281A (zh) * 2010-06-13 2010-11-10 北京北大众志微系统科技有限责任公司 一种远程显示系统的静态图像编码方法及系统
GB2486475A (en) * 2010-12-16 2012-06-20 Norland Technology Ltd Encoding, transmitting and displaying a sequence of images using a difference image
CN103067428A (zh) * 2011-10-21 2013-04-24 华为技术有限公司 基站、服务处理方法和云计算系统

Also Published As

Publication number Publication date
EP3177023A1 (en) 2017-06-07
CN106664439A (zh) 2017-05-10
US20170134454A1 (en) 2017-05-11
EP3177023A4 (en) 2018-07-04
JP6527579B2 (ja) 2019-06-05
EP3177023B1 (en) 2020-02-05
JP2017531343A (ja) 2017-10-19
US10462200B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
US20150156557A1 (en) Display apparatus, method of displaying image thereof, and computer-readable recording medium
CN107209693B (zh) 缓冲器优化
CA2842560C (en) Transmission of reconstruction data in a tiered signal quality hierarchy
US10504246B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
EP3177024B1 (en) Apparatus for cloud streaming service
US20150189222A1 (en) Content-adaptive chunking for distributed transcoding
US10003626B2 (en) Adaptive real-time transcoding method and streaming server therefor
CN106664439B (zh) 云流服务器
US20150117545A1 (en) Layered Video Encoding and Decoding
KR102384174B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20150117515A1 (en) Layered Encoding Using Spatial and Temporal Analysis
US9060184B2 (en) Systems and methods for adaptive streaming with augmented video stream transitions using a media server
KR102247887B1 (ko) 클라우드 스트리밍 서비스 시스템, 소스 정보를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
WO2013163221A1 (en) Systems and methods for adaptive streaming with augmented video stream transitions
KR102273143B1 (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20130287092A1 (en) Systems and Methods for Adaptive Streaming with Augmented Video Stream Transitions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180112

Address after: Seoul, South Kerean

Applicant after: SK Technology Ltd

Address before: Seoul, South Kerean

Applicant before: En Telikesi Co., Ltd

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191225

Address after: Han Guojingjidao

Applicant after: SK Planet Co., Ltd.

Address before: Han Guoshouer

Applicant before: SK Technology Ltd

GR01 Patent grant
GR01 Patent grant