CN104685873A - 编码控制设备以及编码控制方法 - Google Patents
编码控制设备以及编码控制方法 Download PDFInfo
- Publication number
- CN104685873A CN104685873A CN201380050814.XA CN201380050814A CN104685873A CN 104685873 A CN104685873 A CN 104685873A CN 201380050814 A CN201380050814 A CN 201380050814A CN 104685873 A CN104685873 A CN 104685873A
- Authority
- CN
- China
- Prior art keywords
- field picture
- scene changes
- renderer
- encoding
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 62
- 239000000872 buffer Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 abstract description 21
- 238000001514 detection method Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
当场景变化时，对实时生成的帧图像执行合适的编码处理。提供了一种编码控制设备，包括：场景变化检测器，用于检测由渲染器实时生成的帧图像中场景变化的发生；以及编码器控制器，用于控制根据不参考其他帧图像的第一方法或参考其他帧图像的第二方法对帧图像中的每个帧图像进行编码的编码器，并且用于当检测到场景变化的发生时，使得能够根据第一方法对场景变化之后的帧图像进行编码。
Description
技术领域
本公开内容涉及一种编码控制设备以及编码控制方法。
背景技术
在对视频的编码中，通常使用帧间预测来获得高的压缩效率。在使用帧间预测的编码中，配置帧内编码帧(intra-frame)和帧间编码帧(inter-frame)。在帧内编码帧中，不参考其他帧图像而独立地对帧图像进行编码。另一方面，在帧间编码帧中，参考时间上较早或较晚定位的一个或多个其他帧图像对帧图像进行编码。由于在帧间编码帧中，可以通过定义与其他帧图像的差异来对帧图像进行编码，所以可以获得非常高的压缩效率。
同时，提出了下述技术：在该技术中，在有限数据量的情况下，根据视频内容来改变编码处理以改进图像质量。例如，专利文献1公开了下述技术：在该技术中，预先检测帧图像中具有复杂图案的部分，在编码中增大用于该部分的量化步长宽度，因此，防止产生过大的数据以维持整个帧图像的图像质量。在这样的技术中，执行下述两步(2-pass)编码处理：首先分析帧图像的内容，以及使用该结果执行编码。
然而，这样的技术不适于例如下述流媒体(streaming)：在该流媒体中，实时生成的帧图像依次被编码以被发送。当必须实时生成和发送帧图像时，处理时间有限，以及基本上以一步(1-pass)方式执行编码处理。因此，很难采用上述两步编码处理。因此，在专利文献2中，提出了下述技术：在该技术中，针对每种类型的视频(例如，“运动图片”等)预先定义编码难度等级，基于该编码难度等级来确定编码中的比特率，因此，可替代地，以一步编码处理来实现编码处理的优化。
引用列表
专利文献
专利文献1：JP H4-257185A
专利文献2：JP H9-23423A
发明内容
技术问题
然而，即使使用例如专利文献2中公开的技术，对流媒体中的编码处理的优化也不足够。例如，当发生在连续的帧图像之间图像的大部分被替换的场景变化，然后场景变化之后的帧图像作为帧间编码帧中的图像被编码时，图像的大部分变得与图像所参考的场景变化之前的帧图像不同。因此，这会导致不可取的状态，诸如压缩效率降低和场景变化之后的图像显示不清晰。
因此，在本公开内容中，提出了新的且改进的编码控制设备以及编码控制方法，在该编码控制设备以及编码控制方法中可以在场景变化时对实时生成的帧图像适当地执行编码处理。
问题的解决方案
根据本公开内容的实施例，提供了一种编码控制设备，包括：场景变化检测器，检测由渲染器实时生成的帧图像中场景变化的发生；以及编码器控制器，控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对帧图像中的每个帧图像进行编码的编码器，当检测到场景变化的发生时，该编码器控制器使得按照第一方案对场景变化之后的帧图像进行编码。
根据本公开内容的实施例，提供了一种编码控制方法，包括：检测由渲染器实时生成的帧图像中场景变化的发生；以及控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对帧图像中的每个帧图像进行编码的编码器，以及当检测到场景变化的发生时，使得按照第一方案对场景变化之后的帧图像进行编码。
在这样的配置中，甚至对于实时生成的帧图像，也可以检测场景变化的发生，并且将发生场景变化的存在或不存在反映到编码处理。这可以减轻观看帧图像的用户的不适感。
发明的有益效果
如上所述，根据本公开内容，针对实时生成的帧图像，可以在场景变化处执行适当的编码处理。
附图说明
[图1]图1是示意性示出根据本公开内容的实施例的流媒体系统的整体配置的图。
[图2]图2是示出根据本公开内容的实施例的流媒体系统中信息流的示例的图。
[图3]图3是示意性示出根据本公开内容的实施例的流媒体系统的客户端和服务器的功能配置的图。
[图4]图4是示意性示出本公开内容的实施例中的流媒体处理器的功能配置的图。
[图5]图5是用于说明本公开内容的第一实施例的图。
[图6]图6是示出本公开内容的第一实施例中的处理示例的流程图。
[图7]图7是用于说明本公开内容的第一实施例的修改例的图。
[图8]图8是用于说明本公开内容的第二实施例的图。
[图9]图9是用于说明本公开内容的第二实施例的修改例的图。
[图10]图10是用于说明信息处理设备的硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构要素用相同的附图标记来表示，并且省略对这些结构要素的重复说明。
注意，按下面的顺序进行描述。
1.流媒体系统的配置
1-1.整体配置
1-2.客户端和服务器的配置
1-3.流媒体处理器的配置
2.关于编码控制的配置
2-1.第一实施例
2-2.第二实施例
3.硬件配置
4.补充
(1.流媒体系统的配置)
首先，参照图1至图4，对应用本公开内容的实施例的流媒体系统的配置进行描述。
(1-1.整体配置)
图1是示意性示出根据本公开内容的实施例的流媒体系统的整体配置的图。参照图1，流媒体系统10包括客户端100，以及用于将流媒体内容分发给客户端100的服务器(服务商210、节点220和边缘230)。客户端100和服务器经由各种有线网络和/或无线网络互相连接。
服务商210保存(retain)原始内容211。节点220是组成内容分发网络(CDN)的节点，并且保存通过对由服务商210保存的原始内容进行复制获得的内容221。边缘230与客户端100直接地进行通信，并且根据要被提供给客户端100的请求适当地处理内容。在这个阶段，边缘230获取由节点220保存的内容作为缓存231，根据来自客户端100的请求来提供该内容。
图2是示出根据本公开内容的实施例的流媒体系统中的信息流的示例的图。在分发内容之前，客户端100访问服务商210的用户认证模块213以登录到该服务。已经成功登陆的客户端100访问边缘230的会话控制器233，以请求启动用于客户端100的处理。会话控制器233根据该请求开始(launch)处理235。
在边缘230中，为每个客户端100开始处理235，并且根据来自每个客户端100的请求而执行用于内容分发的处理。因此，当边缘230向多个客户端100提供服务时，可以在边缘230中开始多个处理235。每个处理235由调度程序237来调度。调度程序237由会话控制器233控制。
同时，预先将由服务商210保存的原始内容211复制到节点220中并且将其保存为内容221。根据来自客户端100的请求，边缘230中启动的处理235获取在节点220中所保存的内容221作为缓存，并且适当地处理内容221以将其提供给客户端100。在这个阶段中，处理235可以记录关于如何根据来自客户端100的何种请求来提供内容的日志。可以通过处理235将日志和其他信息提供给节点220，并且可以将日志和其他信息保存为信息223。诸如日志的信息223可以例如由服务商210的另外的特征215使用。
(1-2.客户端和服务器的配置)
图3是示意性示出根据本公开内容的实施例的流媒体系统的客户端和服务器的功能配置的图。注意，服务器300是用作参照图1和图2所描述的流媒体系统中的边缘230的服务器。在该图中，实线表示分发给客户端100的流媒体内容的流，而虚线表示关于流媒体内容的回放的控制信息的流。
客户端100是向用户提供流媒体内容的装置，并且客户端100的示例可以包括例如各种个人计算机、平板终端、移动电话(包括智能电话)、媒体播放器、游戏机等。另一方面，服务器300是由单个服务器装置所实现的，或通过经由各种有线网络和/或无线网络互相连接的多个服务器装置的协作所实现的功能的聚集。例如使用后面提到的信息处理设备的硬件配置可以实现客户端100和构成服务器300的服务器装置中的任一个。在所示出的组成部分中，例如，采用诸如中央处理单元(CPU)的处理器通过软件可以实现除输入装置、输出装置和(存储在存储装置中的)数据以外的单独部分。
在客户端100中，输入装置110获取用户的操作输入。输入装置110获取例如针对诸如登录服务和内容的选择的针对内容外在的操作输入，以及获取例如针对诸如静止图像/运动图像的切换、图像的放大/缩小和语音的音频质量的切换的针对内容内在的操作输入。通过会话控制器120来处理针对内容外在的操作输入。会话控制器120例如向服务商210发送关于登陆的输入信息，并且在登陆之后向服务器300发送用于启动处理的请求。同时，将针对内容内在的操作输入从输入发送器130发送至服务器300。
在服务器300中，会话控制器233根据来自客户端100的启动处理的请求来开始处理235。处理235获取通过由客户端100中的输入装置110所获取的内容选择操作所指定的内容221，并且将内容221保存为内容缓存231。内容缓存231是编码数据，并且在服务器300中，解码器310对内容缓存231进行解码。在流媒体处理器/发送器320中处理经解码的内容数据。
同时，由客户端100中的输入装置110获取的针对内容内在的操作输入由输入接收器330接收并且被提供给播放器控制器340。播放器控制器340根据操作输入来控制解码器310和流媒体处理器/发送器320。流处理器/发送器320根据该控制从内容数据生成视频和/或语音。此外，流媒体处理器/发送器320对要被发送至客户端100的所生成的视频和/或语音进行编码。注意，在所示出的示例中，虽然内容包含视频和语音，但是在另外的示例中，内容可以仅包含视频或可以仅包含语音。
发送至客户端100的编码数据在流媒体接收器/处理器140中被解码，并且作为要从输出装置150输出至用户的视频和/或语音经历渲染。在此，由管理器350和管理器160分别地管理服务器侧的流媒体处理器/发送器320和客户端侧的流媒体接收器/处理器140。服务器侧的管理器350和客户端侧的管理器160根据需要在它们之间交换信息，以互相协作工作。
(1-3.流媒体处理器的配置)
图4是示意性示出本公开内容的实施例中的流发送处理器的功能配置的图。在该图中，分别地示出了客户端100的流媒体接收器/处理器140和服务器300的流媒体处理器/发送器320的功能配置。
(客户端侧)
流媒体接收器/处理器140包括流接收器141、解码器143、帧缓冲器145和渲染器147。流媒体接收器141根据预先确定的协议接收来自服务器侧的流媒体发送器327的数据。在示出的示例中，使用实时传输协议(RTP)。在这种情况下，流媒体接收器141向解码器143提供所接收的数据，并且使用RTP控制协议(RTCP)检测通信状态，诸如要报告给流媒体发送器327的数据延迟。
解码器143对从流媒体接收器141提供的数据进行解码，以获得视频数据和语音数据。解码器143包括对视频数据进行解码的视频解码器143a和对语音数据进行解码的语音解码器143b。可以准备视频解码器143a和语音解码器143b中的每个的多种类型以根据作为处理目标的数据的格式选择性地来使用。注意，在下面的描述中，存在将解码器143a和解码器143b两者或它们中的任意一个简称为解码器143的情况(在指定它们中的任意一个的情况下，明确给出要被处理的语音或视频)。
帧缓冲器145基于逐帧方式临时累积在解码器143中获得的视频数据和语音数据。帧缓冲器145包括累积视频数据的帧缓冲器145a和累积语音数据的帧缓冲器145b。帧缓冲器145根据管理器160的控制，在预先确定的定时内向渲染器147提供每帧中的视频数据和语音数据。注意，在下面的描述中，存在将帧缓冲器145a和帧缓冲器145b两者或它们中的任意一个简称为帧缓冲器145的情况(在指定它们中的任意一个的情况下，明确给出要被处理的语音或视频)。
渲染器147包括对要被提供给诸如显示器的输出装置的视频数据执行渲染的视频渲染器147a，和对要被提供给诸如扬声器的输出装置的语音数据执行渲染的语音渲染器147b。视频渲染器147a和语音渲染器147b使视频的输出帧和语音的输出帧彼此同步。此外，渲染器147向管理器160报告输出帧的ID、执行输出的时间等。注意，在下面的描述中，存在将渲染器147a和渲染器147b两者或者它们中的任意一个简称为渲染器147的情况(在指定它们中的任意一个的情况下，明确给出要被处理的语音或视频)。
(服务器侧)
流媒体处理器/发送器320包括渲染器321、帧缓冲器323、编码器325和流媒体发送器327。渲染器321根据基于通过播放器控制器340进行的用户的操作输入的控制，使用由解码器310解码的内容数据作为素材，生成视频数据和语音数据。在此，针对视频数据和语音数据来定义帧，并且将视频数据生成为连续的帧图像。
帧缓冲器323基于逐帧方式临时累积在渲染器321中生成的视频数据和语音数据。帧缓冲器323包括累积视频数据的帧缓冲器323a和累积语音数据的帧缓冲器323b。编码器325对帧缓冲器323中所累积的视频数据和语音数据依次进行编码。注意，在下面的描述中，存在将帧缓冲器323a和帧缓冲器323b两者或它们中的任意一个简称为帧缓冲器323的情况(在指定它们中的任意一个的情况下，明确给出要被处理的语音或视频)。
编码器325包括对视频数据进行编码的视频编码器325a和对语音数据进行编码的语音编码器325b。可以准备视频编码器325a和语音编码器325b中的每个的多种类型，并且可以根据可以在客户端100中使用的视频解码器143a和语音解码器143b的种类，或作为处理目标的视频数据和语音数据的特征，选择性地使用视频编码器325a和语音编码器325b中的每个的多种类型。经编码的视频数据和语音数据被从流媒体发送器327发送至客户端100。注意，在下面的描述中，存在将编码器325a和解码器325b两者或它们中的任意一个简称为编码器325的情况(在指定它们中的任意一个的情况下，明确给出要被处理的语音或视频)。
按照根据如上面描述的实施例的流媒体系统的配置，在用作边缘的服务器中，可以根据用户的操作输入来实时生成要被分发给客户端的视频和/或语音。因此，可以通过在确保对用户的操作输入的响应性的情况下进行的流媒体来提供例如JP 2010-117828A中公开的、采用其自由地放大/缩小图像并且移动图像的应用以及诸如浏览大尺寸的图像和视频、在线游戏、仿真观察器等的各种应用。
(2.关于编码控制的配置)
接下来，参照图5至图9，对关于本公开内容的实施例中的编码控制的配置进行描述。将关于编码控制的配置描述为第一实施例和第二实施例。
(2-1.第一实施例)
图5是用于说明本公开内容的第一实施例的图。关于该实施例，在服务器300的流媒体处理器/发送器320中，渲染器321检测帧图像中场景变化的发生，以向管理器350提供场景变化信息；并且管理器350基于该场景变化信息来控制在编码器325中对帧图像的编码。
渲染器321根据如上所述在客户端100中所获取的用户的操作输入来实时生成构成视频数据的一系列帧图像。在此，存在如下情况：在帧图像中发生场景变化。考虑到例如在运动图像中可以容易地理解的场景变化是下述状态：在连续的帧图像之间，图像的大部分被替换。在此，无需替换整个图像。例如，在由流媒体系统提供的应用中，当图像包含用于操作的用户界面(UI)、信息显示等时，甚至在发生场景变化时也不替换这样的显示。
在本实施例中，渲染器321检测在所生成的帧图像中发生的场景变化以向管理器350提供场景变化信息。例如，对于采用其浏览图像和视频的应用，在所浏览的图像和视频被切换等的情况下发生场景变化。此外，例如，对于在线游戏，在角色(character)采用曲速航行(warp traveling)等在空间(field)中瞬间移动的情况下发生场景变化。由于渲染器321是使用内容数据作为素材生成帧图像的主体，所以渲染器321可以相对容易地检测这样的场景变化的发生。
另一方面，编码器325对由渲染器321生成并且累积在帧缓冲器323中的帧图像进行编码。在编码时，编码器325将每个帧配置为帧内编码帧和帧间编码帧中的任意一个。对于帧内编码帧，不参考其他帧图像而独立地对帧图像进行编码。另一方面，对于帧间编码帧，参考其他帧图像对帧图像进行编码。由于对帧间编码帧的编码处理的压缩效率较高并且处理时间较短，所以将大多数帧配置为帧间编码帧。因此，参考时间上较早定位的其他帧图像来对大多数帧图像进行编码。
然而，当帧图像中发生场景变化时，在对场景变化之后的帧图像进行编码中，对帧间编码帧的编码处理参考场景变化之前的帧图像。因此，尤其紧接在场景变化之后，未清晰地显示帧图像。在该帧之后，随着参考场景变化之后的帧图像被编码的帧图像继续，显示逐渐变得更清晰。为了防止这样的状态，仅必需预先检测场景变化，以将场景变化之后的帧配置为帧内编码帧。
因此，在该实施例中，当从用作场景变化检测器的渲染器321获取指示发生场景变化的场景变化信息时，用作编码器控制器的管理器350对编码器325进行控制，以便将相关的场景变化之后的帧配置为帧间编码帧。经历了该控制的编码器325将场景变化之后的帧配置为帧内编码帧，以不参考其他帧图像对帧图像进行编码。因此，可以从紧接在场景变化之后的帧起清楚地显示帧图像。
然而，由于用于帧内编码帧的编码处理时间长于用于帧间编码帧的编码处理时间，所以可能存在以下情况：在场景变化之后的帧图像的编码数据被输出至流发送器327时，尚未完成编码处理。在这样的情况下，替代地，编码器325将场景变化之前的帧图像的编码数据输出至流媒体发送器327，直到完成对场景变化之后的帧图像的编码为止。
注意，例如可以根据对场景变化之后的帧图像的编码处理的实际进展状态，来动态配置输出场景变化之前的帧图像的编码数据的时间段，或可以基于对帧内编码帧的编码处理的标准处理时间来预设输出场景变化之前的帧图像的编码数据的时间段。在后一种情况下，对于与帧内编码帧的编码处理时间对应的预定数量的帧，编码器325将场景变化之前的帧图像的编码数据输出至流媒体发送器327。
此外，对于场景变化之前的帧图像的编码数据的输出，编码器325可以保存要被连续输出的之前所输出的编码数据的拷贝。另外，基于管理器350的控制，渲染器321可以将场景变化之前的帧图像输出至编码器325，并且编码器325可以再次将场景变化之前的帧图像作为帧间编码帧中的图像进行编码，以便将其输出至流媒体发送器327。
图6是示出本公开内容的第一实施例中的处理示例的流程图。在该实施例中，渲染器321检测所生成的帧图像中场景变化的发生，并且当检测到场景变化的发生时，向管理器350提供场景变化信息。基于该场景变化信息，管理器350确定是否发生场景变化(步骤S101)，并且根据该结果对编码器325进行控制。
当在步骤S101中确定发生场景变化(是)时，管理器350控制编码器325，并且将场景变化之后的帧作为帧内编码帧进行编码(步骤S103)。然而，当确定没有发生场景变化(否)时，编码器325将帧作为帧间编码帧进行编码(步骤S105)。
当在步骤S103中将场景变化之后的帧作为帧内编码帧进行编码时，管理器350确定在相关帧的输出时间内是否完成了编码(步骤S107)。在此，当确定未完成编码(否)时，管理器350控制编码器325并且使编码器325将场景变化之前的帧图像的编码数据输出至流媒体发送器327(步骤S109)。
注意，可以省略步骤S107中的上述确定。在这种情况下，例如，对于与对帧内编码帧的编码处理的标准处理时间对应的预定数量的帧，编码器325自动将场景变化之前的帧图像的编码数据输出至流媒体发送器327。
当在步骤S107中确定完成了编码(是)时，编码器325将场景变化之后的帧图像的编码数据输出至流媒体发送器327(步骤S111)。此外，当完成对帧间编码帧的编码(步骤S105)时，类似地，编码数据被输出至流媒体发送器327。
在本公开内容的第一实施例中，由于根据如上的处理将场景变化之后的帧图像作为帧内编码帧中的图像进行编码，所以可以从紧接在场景变化之后起显示清晰的帧图像。在此，存在以下可能性：由于帧内编码帧的编码处理时间，场景变化之后的帧图像的显示比原始定时延迟了轻微的量(例如，延迟三帧，大约90毫秒至100毫秒)。然而，在这期间，作为替代，显示场景变化之前的帧图像。虽然图像的显示稍微延迟，但是可以在场景变化之后起立即显示清晰的帧图像。这可以减轻用户所感到的不适感。
(修改例)
图7是用于说明本公开内容的第一实施例的修改例的图。在本修改例中，渲染器321或编码器325自身用作编码器控制器。
更具体地，当渲染器321检测到所生成的帧图像中发生场景变化时，渲染器321向编码器325提供场景变化信息。编码器325获取该场景变化信息，并且控制自身以便将场景变化之后的帧作为帧内编码帧进行编码。
另外，当渲染器321检测到所生成的帧图像中发生场景变化时，渲染器321可以控制编码器325并且使编码器325将场景变化后的帧作为帧内编码帧进行编码。
(2-2.第二实施例)
图8是用于说明本公开内容的第二实施例的图。关于该实施例，在服务器300的流媒体处理器/发送器320中，场景变化检测器329检测帧图像中场景变化的发生，以向管理器350提供场景变化信息，并且管理器350基于该场景变化信息来控制在编码器325中对帧图像的编码。
在该实施例中，当渲染器321检测到所生成的帧图像中发生场景变化时，渲染器321向场景变化之前或之后(不论之前或之后，只要其能够与后面提到的场景变化检测器的配置兼容即可)的帧图像的数据添加指示发生场景变化的附加信息。任何形式的附加信息都是可能的。
场景变化检测器329从临时累积在帧缓冲器323中的帧图像的数据中搜索具有上述附加信息的数据。当找到具有附加信息的数据时，场景变化检测器329向管理器350提供场景变化信息。在此，可以例如由共享关于在渲染器321中附加信息的添加的配置信息(向场景变化之前和之后的帧图像的数据添加附加信息)的场景变化检测器329或管理器350，来识别在哪些帧间间发生了场景变化。
类似于上述第一实施例，管理器350基于从场景变化检测器329获取的场景变化信息来控制编码器325对帧图像的编码。因此，例如，编码器325将场景变化之后的帧作为帧内编码帧进行编码。此外，替代地，编码器325可以在对场景变化之后的帧图像的编码处理期间输出场景变化之前的帧图像的编码数据。
(修改例)
图9是用于说明本公开内容的第二实施例的修改例的图。在本修改例中，场景变化检测器329或编码器325自身用作编码器控制器。
更具体地，当从临时累积在帧缓冲器323中的帧图像的数据中发现具有由渲染器321添加的附加信息的数据时，场景变化检测器329向编码器325提供场景变化信息。编码器325获取该场景变化信息，并且控制自身以便将场景变化之后的帧作为帧内编码帧进行编码。
另外，当从临时累积在帧缓冲器323中的帧图像的数据中发现具有由渲染器321添加的附加信息的数据时，场景变化检测器329可以控制编码器325，并且使编码器325将场景变化之后的帧作为帧内编码帧进行编码。
(3.硬件配置)
接下来，参照图10，将对根据本公开内容的实施例的信息处理设备的硬件配置进行描述。图10是示出信息处理设备的硬件配置的框图。例如，示出的信息处理设备900可以实现在上述实施例中的客户端100和服务器300。
信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理设备900还可以包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。信息处理设备900还可以包括诸如数字信号处理器(DSP)的处理电路代替CPU 901，或还可以包括诸如数字信号处理器(DSP)的处理电路连同CPU 901。
CPU 901用作算术处理单元和控制单元，并且根据ROM 903、RAM905、存储装置919或可移除记录介质927中记录的各种程序来控制信息处理设备900的整个操作或部分操作。ROM 903存储CPU 901所使用的程序和算术参数。RAM 905主要存储CPU 901的执行中使用的程序以及在执行期间视情况而变化的参数等。CPU 901、ROM 903和RAM 905经由根据诸如CPU总线等的内部总线被配置的主机总线907互相连接。另外，主机总线907经由桥接器909连接至外部总线911，诸如外围部件互连/接口(PCI)总线。
输入装置915是由用户操作的装置，诸如鼠标、键盘、触摸板、按钮、开关和操纵杆。此外，输入装置915可以是使用例如红外光或其他无线电波的远程控制装置，或可以是与信息处理设备900的操作兼容的外部连接装置929，诸如移动电话。输入装置915包括基于由用户输入的信息来生成输入信号并且将该输入信号输出至CPU 901的输入控制电路。用户向信息处理设备900输入各种数据，并且通过操作输入装置915而指令信息处理设备900执行处理操作。
根据能够视觉上或听觉上将所获取的信息通知给用户的装置对输出装置917进行配置。例如，输出装置917可以是：显示装置，诸如液晶显示器(LCD)、等离子显示板(PDP)或有机电致发光(EL)显示器；音频输出装置，诸如扬声器或耳机；或打印机。输出装置917以文本或图像的形式输出通过由信息处理设备900执行处理获得的结果作为视频，或以音频或语音的形式输出通过由信息处理设备900执行处理获得的结果作为音频。
存储装置919是被配置为信息处理设备900的存储单元的示例、用于存储数据的装置。例如，根据诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置来配置存储装置919。存储装置919存储要由CPU 901执行的程序、各种数据以及从外部获取的各种数据。
驱动器921是用于可移除记录介质927诸如磁盘、光盘、磁光盘或半导体存储器的读/写器，并且内置于或外部附接至信息处理设备900。驱动器921读出附接的可移除记录介质927上所记录的信息，并且将该信息输出至RAM 905。此外，驱动器921将记录写到附接的可移除记录介质927上。
连接端口923是用于使得装置能够直接连接至信息处理设备900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口和小型计算机系统接口(SCSI)端口。连接端口923的其他示例可以包括RS-232C端口、光纤音频端子以及高清晰度多媒体接口(HDMI)端口。外部连接装置929至连接端口923的连接可以使得信息处理设备900与外部连接装置929之间能够交换各种数据。
通信装置925是根据例如用于建立到通信网络931的连接的通信装置所配置的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)的通信卡等。可替选地，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信装置925可以使用某些协议诸如因特网的TCP/IP并且使用其他通信装置来接收和发送信号等。根据经由有线或无线连接的网络对连接至通信装置925的通信网络931进行配置，并且通信网络931是例如因特网、家庭使用的局域网、红外线通信、无线电波通信和卫星通信。
在此之前，已经示出了信息处理设备900的硬件配置的示例。可以使用通用材料来配置上述每个结构要素，或可以根据专用于每个结构要素的功能的硬件来配置上述每个结构要素。可以根据实现实施例时的技术水平适当地改变配置。
(4.补充)
本公开内容的实施例可以包括例如如上所述的编码控制设备(例如，包括在服务器中)和系统、在编码控制设备或编码控制系统中所执行的方法、用于使得编码控制设备运行的程序以及记录程序的记录介质。
上面参照附图已经描述了本公开内容的优选实施例，可是本公开内容当然不限于上面的示例。本领域的技术人员可以发现所附权利要求的范围内的各种变更和修改，并且应当理解，所附权利要求的范围内的各种变更和修改将必然归入本公开内容的技术范围内。
另外，还可以对本技术进行如下配置。
(1)一种编码控制设备，包括：
场景变化检测器，检测由渲染器实时生成的帧图像中场景变化的发生；以及
编码器控制器，控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对所述帧图像中的每个帧图像进行编码的编码器，当检测到所述场景变化的发生时，所述编码器控制器使得按照所述第一方案对所述场景变化之后的帧图像进行编码。
(2)根据(1)所述的编码控制设备，
其中，当所述编码器正按照所述第一方案对所述场景变化之后的所述帧图像进行编码时，所述编码器控制器使得通过对所述场景变化之前的帧图像进行编码获得的数据替代地被输出。
(3)根据(2)所述的编码控制设备，
其中，当检测到所述场景变化的发生时，所述编码器控制器在预定数量的帧期间使得通过对所述场景变化之前的所述帧图像进行编码获得的数据被输出。
(4)根据(2)或(3)所述的编码控制设备，
其中，所述编码器控制器还控制所述渲染器，以当检测到所述场景变化的发生时，使得所述场景变化之前的所述帧图像从所述渲染器被输出至所述编码器，并且使得通过按照所述第二方案对所述场景变化之前的所述帧图像进行编码获得的数据被输出。
(5)根据(1)至(4)中任一项所述的编码控制设备，
其中，所述场景变化检测器被包括在所述渲染器中。
(6)根据(1)至(4)中任一项所述的编码控制设备，
其中，所述场景变化检测器基于由所述渲染器给出的信息，来检测所述场景变化的发生。
(7)根据(6)所述的编码控制设备，
其中，所述场景变化检测器通过参考由所述渲染器添加至所述场景变化之前或之后的所述帧图像的数据的附加信息，来检测所述场景变化的发生。
(8)根据(7)所述的编码控制设备，
其中，所述场景变化检测器从累积在帧缓冲器中的所述帧图像的数据中，搜索具有所述附加信息的数据。
(9)根据(1)至(8)中任一项所述的编码控制设备，还包括：
发送器，经由网络将从所述编码器输出的数据发送至客户端设备。
(10)根据(9)所述的编码控制设备，还包括：
接收器，经由所述网络接收在所述客户端设备中获取的操作输入，
其中，所述渲染器根据所述操作输入，来实时生成所述帧图像。
(11)一种编码控制方法，包括：
检测由渲染器实时生成的帧图像中场景变化的发生；以及
控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对所述帧图像中的每个帧图像进行编码的编码器，以及当检测到所述场景变化的发生时，使得按照所述第一方案对所述场景变化之后的所述帧图像进行编码。
参考标记列表
10 流媒体处理系统
100 客户端
140 流媒体接收器/处理器
141 流媒体接收器
143 解码器
145 帧缓冲器
147 渲染器
160 管理器
210 服务商
220 节点
230 边缘
300 服务器
320 流媒体处理器/发送器
321 渲染器
323 帧缓冲器
325 编码器
327 流媒体发送器
329 帧变化检测器
Claims (11)
1.一种编码控制设备，包括：
场景变化检测器，检测由渲染器实时生成的帧图像中场景变化的发生；以及
编码器控制器，控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对所述帧图像中的每个帧图像进行编码的编码器，当检测到所述场景变化的发生时，所述编码器控制器使得按照所述第一方案对所述场景变化之后的帧图像进行编码。
2.根据权利要求1所述的编码控制设备，
其中，当所述编码器正按照所述第一方案对所述场景变化之后的所述帧图像进行编码时，所述编码器控制器使得通过对所述场景变化之前的帧图像进行编码获得的数据替代地被输出。
3.根据权利要求2所述的编码控制设备，
其中，当检测到所述场景变化的发生时，所述编码器控制器在预定数量的帧期间使得通过对所述场景变化之前的所述帧图像进行编码获得的数据被输出。
4.根据权利要求2所述的编码控制设备，
其中，所述编码器控制器还控制所述渲染器，以当检测到所述场景变化的发生时，使得所述场景变化之前的所述帧图像从所述渲染器被输出至所述编码器，并且使得通过按照所述第二方案对所述场景变化之前的所述帧图像进行编码获得的数据被输出。
5.根据权利要求1所述的编码控制设备，
其中，所述场景变化检测器被包括在所述渲染器中。
6.根据权利要求1所述的编码控制设备，
其中，所述场景变化检测器基于由所述渲染器给出的信息，来检测所述场景变化的发生。
7.根据权利要求6所述的编码控制设备，
其中，所述场景变化检测器通过参考由所述渲染器添加至所述场景变化之前或之后的所述帧图像的数据的附加信息，来检测所述场景变化的发生。
8.根据权利要求7所述的编码控制设备，
其中，所述场景变化检测器从累积在帧缓冲器中的所述帧图像的数据中，搜索具有所述附加信息的数据。
9.根据权利要求1所述的编码控制设备，还包括：
发送器，经由网络将从所述编码器输出的数据发送至客户端设备。
10.根据权利要求9所述的编码控制设备，还包括：
接收器，经由所述网络接收在所述客户端设备中获取的操作输入，
其中，所述渲染器根据所述操作输入，来实时生成所述帧图像。
11.一种编码控制方法，包括：
检测由渲染器实时生成的帧图像中场景变化的发生；以及
控制按照不参考其他帧图像的第一方案和参考其他帧图像的第二方案中的任一方案对所述帧图像中的每个帧图像进行编码的编码器，以及当检测到所述场景变化的发生时，使得按照所述第一方案对所述场景变化之后的所述帧图像进行编码。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012223045 | 2012-10-05 | ||
| JP2012-223045 | 2012-10-05 | ||
| PCT/JP2013/068769 WO2014054325A1 (ja) | 2012-10-05 | 2013-07-09 | 符号化制御装置および符号化制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104685873A true CN104685873A (zh) | 2015-06-03 |
| CN104685873B CN104685873B (zh) | 2017-12-15 |
Family
ID=50434661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380050814.XA Expired - Fee Related CN104685873B (zh) | 2012-10-05 | 2013-07-09 | 编码控制设备以及编码控制方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9584809B2 (zh) |
| EP (1) | EP2905963A4 (zh) |
| JP (1) | JPWO2014054325A1 (zh) |
| CN (1) | CN104685873B (zh) |
| WO (1) | WO2014054325A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110945849A (zh) * | 2017-04-21 | 2020-03-31 | 泽尼马克斯媒体公司 | 基于编码器提示的渲染和预编码负载估计的系统和方法 |
| CN112306212A (zh) * | 2020-10-29 | 2021-02-02 | 西安万像电子科技有限公司 | 终端控制方法及装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160360206A1 (en) * | 2015-06-04 | 2016-12-08 | Microsoft Technology Licensing, Llc | Rate controller for real-time encoding and transmission |
| US11524230B2 (en) | 2019-10-01 | 2022-12-13 | Sony Interactive Entertainment Inc. | Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications |
| US11020661B2 (en) | 2019-10-01 | 2021-06-01 | Sony Interactive Entertainment Inc. | Reducing latency in cloud gaming applications by overlapping reception and decoding of video frames and their display |
| US11865434B2 (en) | 2019-10-01 | 2024-01-09 | Sony Interactive Entertainment Inc. | Reducing latency in cloud gaming applications by overlapping receive and decode of video frames and their display at the client |
| US11539960B2 (en) | 2019-10-01 | 2022-12-27 | Sony Interactive Entertainment Inc. | Game application providing scene change hint for encoding at a cloud gaming server |
| US11446572B2 (en) | 2019-10-01 | 2022-09-20 | Sony Interactive Entertainment Inc. | Early scan-out of server display buffer at flip-time for cloud gaming applications |
| CN111083481A (zh) * | 2019-11-15 | 2020-04-28 | 西安万像电子科技有限公司 | 图像编码方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1328747A (zh) * | 1998-09-29 | 2001-12-26 | 通用仪器公司 | 高清晰度电视编码器中检测场景改变与调节画面编码类型的方法与装置 |
| CN1666529A (zh) * | 2002-06-28 | 2005-09-07 | 高通股份有限公司 | 计算受限的视频编码 |
| CN1750631A (zh) * | 2004-09-02 | 2006-03-22 | 索尼株式会社 | 信息处理装置和方法,记录介质及其使用的程序 |
| CN1842162A (zh) * | 2005-03-28 | 2006-10-04 | 腾讯科技（深圳）有限公司 | 一种视频编码中的运动图像处理方法 |
| CN101316360A (zh) * | 2008-07-17 | 2008-12-03 | 杭州华三通信技术有限公司 | 一种转换视频流帧率的方法和装置 |
| US20090097546A1 (en) * | 2007-10-10 | 2009-04-16 | Chang-Hyun Lee | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate |
| CN101720044A (zh) * | 2009-12-10 | 2010-06-02 | 四川长虹电器股份有限公司 | 一种基于自适应帧结构的avs编码方法 |
| US20100220785A1 (en) * | 2009-02-27 | 2010-09-02 | Stmicroelectronics S.R.I. | Video coding method and device, related scalable bitstream and computer program product |
| CN102546917A (zh) * | 2010-12-31 | 2012-07-04 | 联想移动通信科技有限公司 | 带摄像头的移动终端及其视频处理方法 |
| CN102576411A (zh) * | 2009-09-02 | 2012-07-11 | 索尼电脑娱乐公司 | 场景改变检测 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3187852B2 (ja) | 1991-02-08 | 2001-07-16 | ソニー株式会社 | 高能率符号化方法 |
| JPH04318785A (ja) * | 1991-04-18 | 1992-11-10 | Matsushita Electric Ind Co Ltd | 映像信号の圧縮符号化処理方法及びその装置 |
| JP3513160B2 (ja) * | 1991-12-06 | 2004-03-31 | キヤノン株式会社 | 動画像信号符号化装置及びその方法 |
| JP3711571B2 (ja) * | 1994-09-29 | 2005-11-02 | ソニー株式会社 | 画像符号化装置及び画像符号化方法 |
| JP4223571B2 (ja) | 1995-05-02 | 2009-02-12 | ソニー株式会社 | 画像符号化方法及び装置 |
| US6057893A (en) * | 1995-12-28 | 2000-05-02 | Sony Corporation | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium |
| US6731684B1 (en) * | 1998-09-29 | 2004-05-04 | General Instrument Corporation | Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder |
| KR100491530B1 (ko) * | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | 모션 벡터 결정 방법 |
| JP5520473B2 (ja) | 2008-11-12 | 2014-06-11 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| US20110051010A1 (en) * | 2009-08-27 | 2011-03-03 | Rami Jiossy | Encoding Video Using Scene Change Detection |
| JP4892601B2 (ja) | 2009-10-30 | 2012-03-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、チューナーおよび情報処理方法 |
-
2013
- 2013-07-09 JP JP2014539629A patent/JPWO2014054325A1/ja active Pending
- 2013-07-09 US US14/419,065 patent/US9584809B2/en active Active
- 2013-07-09 WO PCT/JP2013/068769 patent/WO2014054325A1/ja active Application Filing
- 2013-07-09 EP EP13843430.3A patent/EP2905963A4/en not_active Ceased
- 2013-07-09 CN CN201380050814.XA patent/CN104685873B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1328747A (zh) * | 1998-09-29 | 2001-12-26 | 通用仪器公司 | 高清晰度电视编码器中检测场景改变与调节画面编码类型的方法与装置 |
| CN1666529A (zh) * | 2002-06-28 | 2005-09-07 | 高通股份有限公司 | 计算受限的视频编码 |
| CN1750631A (zh) * | 2004-09-02 | 2006-03-22 | 索尼株式会社 | 信息处理装置和方法,记录介质及其使用的程序 |
| CN1842162A (zh) * | 2005-03-28 | 2006-10-04 | 腾讯科技（深圳）有限公司 | 一种视频编码中的运动图像处理方法 |
| US20090097546A1 (en) * | 2007-10-10 | 2009-04-16 | Chang-Hyun Lee | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate |
| CN101316360A (zh) * | 2008-07-17 | 2008-12-03 | 杭州华三通信技术有限公司 | 一种转换视频流帧率的方法和装置 |
| US20100220785A1 (en) * | 2009-02-27 | 2010-09-02 | Stmicroelectronics S.R.I. | Video coding method and device, related scalable bitstream and computer program product |
| CN102576411A (zh) * | 2009-09-02 | 2012-07-11 | 索尼电脑娱乐公司 | 场景改变检测 |
| CN101720044A (zh) * | 2009-12-10 | 2010-06-02 | 四川长虹电器股份有限公司 | 一种基于自适应帧结构的avs编码方法 |
| CN102546917A (zh) * | 2010-12-31 | 2012-07-04 | 联想移动通信科技有限公司 | 带摄像头的移动终端及其视频处理方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110945849A (zh) * | 2017-04-21 | 2020-03-31 | 泽尼马克斯媒体公司 | 基于编码器提示的渲染和预编码负载估计的系统和方法 |
| CN110945849B (zh) * | 2017-04-21 | 2021-06-08 | 泽尼马克斯媒体公司 | 基于编码器提示的渲染和预编码负载估计的系统和方法 |
| US11503313B2 (en) | 2017-04-21 | 2022-11-15 | Zenimax Media Inc. | Systems and methods for rendering and pre-encoded load estimation based encoder hinting |
| CN112306212A (zh) * | 2020-10-29 | 2021-02-02 | 西安万像电子科技有限公司 | 终端控制方法及装置 |
| CN112306212B (zh) * | 2020-10-29 | 2024-02-23 | 西安万像电子科技有限公司 | 终端控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2014054325A1 (ja) | 2016-08-25 |
| WO2014054325A1 (ja) | 2014-04-10 |
| EP2905963A4 (en) | 2016-08-03 |
| CN104685873B (zh) | 2017-12-15 |
| EP2905963A1 (en) | 2015-08-12 |
| US20150195531A1 (en) | 2015-07-09 |
| US9584809B2 (en) | 2017-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104685873A (zh) | 编码控制设备以及编码控制方法 | |
| Petrangeli et al. | An http/2-based adaptive streaming framework for 360 virtual reality videos | |
| EP2517470B1 (en) | Systems and methods for video-aware screen capture and compression | |
| CN111316652A (zh) | 使用对齐编码内容片段的个性化内容流 | |
| Petrangeli et al. | Improving virtual reality streaming using HTTP/2 | |
| CN111221491A (zh) | 交互控制方法及装置、电子设备、存储介质 | |
| CN107592551B (zh) | 用于云流服务的方法和设备 | |
| US20190268601A1 (en) | Efficient streaming video for static video content | |
| CN106664449A (zh) | 用于流服务的设备切换 | |
| CN112399257B (zh) | 云桌面视频播放方法、服务器、终端及存储介质 | |
| CN112073543A (zh) | 一种云视频录制方法、系统和可读存储介质 | |
| CN108307248B (zh) | 视频播放方法、装置、计算设备及存储介质 | |
| CN105247875A (zh) | 分发控制系统和分发系统 | |
| WO2021057697A1 (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN105122818A (zh) | 计算机系统、分发控制系统、分发控制方法和计算机可读存储介质 | |
| CN113225585A (zh) | 一种视频清晰度的切换方法、装置、电子设备以及存储介质 | |
| US9742749B1 (en) | Live stream encryption | |
| CN103716596A (zh) | 图像处理装置和图像处理方法 | |
| CN103716651A (zh) | 图像处理装置、图像处理方法和图像处理系统 | |
| US9560105B2 (en) | Server device and information processing method | |
| EP1821490A1 (en) | Method for transmitting graphical data to a thin client | |
| JP7004263B2 (ja) | ビデオデータの表示方法及び装置 | |
| KR101844931B1 (ko) | 분할 디스플레이를 위한 데이터 관리 장치, 시스템 및 방법과 그 기록 매체 | |
| US11882170B2 (en) | Extended W3C media extensions for processing dash and CMAF inband events | |
| WO2022098408A1 (en) | Bitstream structure for immersive teleconferencing and telepresence for remote terminals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171215 |