CN113973224A - 媒体信息的传输方法、计算设备及存储介质 - Google Patents
媒体信息的传输方法、计算设备及存储介质 Download PDFInfo
- Publication number
- CN113973224A CN113973224A CN202111101871.9A CN202111101871A CN113973224A CN 113973224 A CN113973224 A CN 113973224A CN 202111101871 A CN202111101871 A CN 202111101871A CN 113973224 A CN113973224 A CN 113973224A
- Authority
- CN
- China
- Prior art keywords
- image
- updated
- processing mode
- determining
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 389
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 230000006835 compression Effects 0.000 claims description 28
- 238000007906 compression Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
- H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种媒体信息的传输方法、计算设备及存储介质。在本申请实施例中,获取待更新图像;根据待更新图像,确定图像的处理方式,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。其中,根据确定的处理方式,对待更新图像进行处理并传输,且处理方式使得处理后的待更新图像可满足传输条件以及图像的展示场景。从而使得处理后的待更新图像可以满足图像的展示场景的同时,还可以满足传输条件来满足不同的更新需求,维持用户良好的体验感。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种媒体信息的传输方法、计算设备及存储介质。
背景技术
对于媒体信息的更新而言,如,图像更新,其可以具有不同的更新场景,如文本编辑中的图像更新、正常文本网页浏览中的图像更新、视频播放中的图像更新等。但是在不同场景下,其媒体信息更新的要求也是有差别的。所以在能够保证用户体验不下降的情况下,可以在不同场景下使用不同的数据流来进行媒体信息的更新,来满足不同的更新要求。而如何在不同场景下使用进行不同数据流是需要解决的问题。
发明内容
本申请的多个方面提供一种媒体信息的传输方法、计算设备及存储介质,用以能够满足在不同场景下使用不同的数据流来更新媒体信息来满足更新需求,同时还可以维持用户的体验。
本申请实施例提供一种媒体信息的传输方法,包括:获取待更新图像;根据所述待更新图像,确定图像的处理方式,所述处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
本申请实施例还提供一种媒体信息的传输方法,包括:接收处理后的待更新图像,并根据处理后的图像得到待更新图像;将所述待更新图像在展示屏幕上进行更新;确定所述待更新图像在展示屏幕上的更新时间与所述待更新图像的生成时间之间的时间差;当所述时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到所述反馈信息后,根据所述反馈信息确定待更新图像的处理方式为视频流的处理方式。
本申请实施例还提供一种计算设备,包括:存储器、处理器;所述存储器,用于存储计算机程序;所述处理器,执行所述计算机程序,以用于:获取待更新图像;根据所述待更新图像,确定图像的处理方式,所述处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
本申请实施例还提供一种计算设备,包括:存储器、处理器以及通信组件;所述存储器,用于存储计算机程序;所述通信组件,用于接收处理后的待更新图像;所述处理器,执行所述计算机程序,以用于:根据处理后的图像得到待更新图像;将所述待更新图像在展示屏幕上进行更新;确定所述待更新图像在展示屏幕上的更新时间与所述待更新图像的生成时间之间的时间差;所述通信组件,用于当所述时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到所述反馈信息后,根据所述反馈信息确定待更新图像的处理方式为视频流的处理方式。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现上述方法中的步骤。
在本申请实施例中,获取待更新图像;根据待更新图像,确定图像的处理方式,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
其中,根据确定的处理方式,对待更新图像进行处理并传输,且处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景。从而使得处理后的待更新图像可以满足图像的展示场景的同时,还可以满足传输条件,由此可以根据不同的展示场景的需求确定不同的处理方式,来对待更新图像进行处理,生成对应的数据流并进行传输,来满足不同的更新需求,维持用户良好的体验感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例的媒体信息的传输方法的流程示意图;
图2为本申请一示例性实施例的媒体信息的传输的示意图;
图3为本申请一示例性实施例的媒体信息的传输系统的结构示意图;
图4为本申请一示例性实施例的媒体信息的传输方法的流程示意图;
图5为本申请一示例性实施例提供的媒体信息的传输装置的结构示意图;
图6为本申请一示例性实施例提供的媒体信息的传输装置的结构示意图;
图7为本申请一示例性实施例提供的计算设备的结构示意图;
图8为本申请一示例性实施例提供的计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
根据前文所述可知,对于媒体信息的更新而言,如,图像更新以及视频更新等,其可以具有不同的更新场景,如文本编辑中的图像更新、正常文本网页浏览中的图像更新、视频播放中的图像或视频更新等。但是在不同场景下,其媒体信息更新的要求也是有差别的。所以在能够保证用户体验不下降的情况下,可以在不同场景下使用不同的处理方式生成的数据流来进行媒体信息的更新,来满足不同的更新要求。而如何在不同场景下使用进行不同数据流是需要解决的问题。
基于此,本申请实施例提供了一种媒体信息的传输方法、计算设备及存储介质,可以能够。
下面结合方法实施例,针对媒体信息的传输媒体信息的传输过程进行详细说明。
图1为本申请一示例性实施例的一种媒体信息的传输方法的流程示意图。本申请实施例提供的该方法100由计算设备执行,如,服务器等。该方法100包括以下步骤:
101:获取待更新图像。
102:根据待更新图像,确定图像的处理方式。
其中,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景。
103:根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
需要说明的是,该服务器可以是多种多样的表现形态,如云服务器以及普通物理机服务器均可等。
以下针对上述步骤进行详细地阐述:
101:获取待更新图像。
其中,待更新图像是指用于在展示屏幕上进行更新的图像。该展示屏幕可以属于用户端或客户端的展示屏幕。如,电脑屏幕。
例如,用户通过终端设备,如电脑,安装的web网页浏览器客户端登录视频服务器(该视频服务器可以是云服务器),进行线上电影的观看。用户通过该浏览器客户端点击想看的电影进行观看。在观看的过程中,电影的画面会持续更新,那么此时就会涉及到图像帧或视频帧的更新。则此时需要视频服务器定时或持续地向电脑发送待更新图像,用于更新电影的图像。则在用户选择了自己想要看的电影后,视频服务器开始发送该电影的待更新图像,可以是定时发送这些待更新图像,一次发送可以是多帧图像。由此视频服务器可以自发的获取到对应的待更新图像进行发送。
但是视频服务器在发送待更新图像前需要对待更新图像进行渲染和生成。可以通过现有的方式进行渲染和生成,也可以通过下述方式进行渲染和生成。
具体的,获取待更新图像,包括:接收图像指令,从指令中获取待更新图像。
例如,根据前文所述,视频服务器上的视频应用接收到用户通过浏览器客户端的电脑发送的播放电影A的请求,然后该应用需要向该服务器本地的图像引擎发送渲染请求,使得图像引擎根据渲染请求渲染该电影A的画面,从而生成对应视频画面。然后,图形引擎向服务器本地的驱动器发送指令或命令,以使驱动器将该指令或命令转换成预置指令或命令,如qxl图像命令流的命令,该命令中具有对应的生成图像,即待更新图像。然后驱动器可以将该命令发送至命令队列中,以等待处理。由此可以从该命令中获取到对应的待更新图像。
需要说明的是,除了上述视频更新外,还可以有其它更新场景或者说展示场景,如文本编辑的图像更新场景,例如在网页中进行文本编辑等。如正常文本网页浏览的图像更新场景,例如在浏览器上进行网页浏览的图像更新场景。如小区域中的图像更新场景,例如在网页中小区域(小于一定区域面积阈值)的图像更新场景。如大区域中的图像更新场景,例如在网页中大区域(大于一定区域面积阈值)的图像更新场景。如窗口动画中的图像更新场景,例如在网页中窗口动画的图像更新场景、以及远程桌面操作中的图像更新场景等。各种不同更新场景或展示场景对应的图像更新场景,就不再一一列举了。这些场景均可以通过本申请实施例来实现。仅说明:当用户触发界面的更新的时候,可以通过安装有客户端的终端设备发送更新请求至对应的服务器(与前文所述相似),对应的服务器接收到该请求后,根据前文所述的方式进行渲染对应的画面,然后进行指令的转换以及下发等,就不再赘述了。
此外对于服务器而言,其可以根据不同的场景具有不同形式的服务器,如视频服务器、文本网页服务器等均可。这些服务器均可以是用来创建动态交互式网页并建立强大的web网页应用程序的服务器,如均可以是部署有动态服务器页面的服务器。
另,对于待更新图像的渲染而言,其可以是其它服务器进行实现的,也可以是本执行设备的服务器实现的,如视频服务器。如果是其它服务器实现的,则可以由其它服务器将上述指令或命令发送至本执行设备的服务器,如视频服务器。
102:根据待更新图像,确定图像的处理方式。
其中,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景。其中,传输条件可以是指传输的带宽条件,如带宽阈值等。展示场景可以如前文所述,就不再赘述了。处理方式可以包括图形命令流(即图像命令流)的处理方式以及视频流的处理方式。图形命令流的处理方式可以是通过获取到的待更新图像进行压缩,生成压缩后的图形命令流。其中,压缩方式可以包括:lz4(一种无损压缩算法)、gzip(GNUzip,一种文件压缩)、jpeg(Joint Photographic Experts Group,一种压缩标准),其传输方式可以包括:quic(Quick UDP Internet Connection,一种基于UDP的低时延的互联网传输层协议)、http(Hyper Text Transfer Protocol,超文本传输协议)、tcp(Transmission ControlProtocol,传输控制协议)、udp(User Datagram Protocol,用户数据报协议)等。视频流的处理方式可以是通过获取到的待更新图像进行编码,生成编码后的视频流。其中编码方式可以包括:mjpeg(Motion Joint Photographic Experts Group,是一种视频编码格式)、h265(一种视频编码格式)、vp8(一种视频压缩格式)、vp9(一种视频压缩格式)、av1(一种视频编码标准)等。其传输方式也可以如前文所述。其中,图形命令流是针对spice(SimpleProtocol for Independent Computing Environment,独立计算环境简单协议)的图形命令流。
基于此,可以通过待更新图像确定上述处理方式:
具体的,根据待更新图像,确定图像的处理方式,包括:根据待更新图像的尺寸、待更新图像在展示场景中的更新时间和/或处理后的待更新图像所占用的带宽数据,确定处理方式为图像命令流的处理方式或视频流的处理方式。
可以根据待更新图像的尺寸、待更新图像在展示场景中的更新时间和/或处理后的待更新图像所占用的带宽数据确定是否满足展示场景和/或带宽条件,从而来确定处理方式。当尺寸过大(可以与对应的阈值相比较确定是否过大)则可以使用视频流的处理方式,当更新时间过长(可以与对应的阈值相比较确定是否过长)则可以使用视频流的处理方式,当带宽数据过大(可以与对应的阈值相比较确定是否过大)则可以使用视频流的处理方式。
具体的,根据待更新图像,确定图像的处理方式,包括:确定待更新图像的面积;确定面积是否大于面积阈值,当小于或等于面积阈值,则确定处理方式为图形命令流的处理方式;当大于面积阈值,则确定处理方式为视频流的处理方式。
例如,根据前文所述,如图2所示,视频服务器201在接收到前文所述的qxl图像命令流的命令,该命令可以是由前文所述其它服务器发送过来的。视频服务器201通过其中的模式转换器202接收到该命令,从该命令中可以获取到待更新图像。该命令中除了携带有该待更新图像,还可以携带有该图像的信息,如图像的尺寸,图像的长宽,然后模式转换器202根据该尺寸确定该面积。当该面积大于面积阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。就不再过多赘述了。
此外,面积阈值可以根据所使用的不同类型的压缩比和网络传输的经验值确定,也可以通过数据时延确定。
具体的,根据待更新图像,确定图像的处理方式,包括:确定待更新图像的面积,并确定面积在展示屏幕中的比例;确定比例是否大于比例阈值,当小于或等于比例阈值,则确定处理方式为图形命令流的处理方式;当大于比例阈值,则确定处理方式为视频流的处理方式。
例如,根据前文所述,如图2所示,视频服务器201通过其中的模式转换器202接收到该命令,从该命令中可以获取到待更新图像。该命令中除了携带有该待更新图像,还可以携带有该图像的信息,如图像的尺寸,图像的长宽,然后模式转换器202根据该尺寸确定该面积。此外,该指令还可以携带有展示屏幕的尺寸,模式转换器202可以根据该尺寸确定对应的面积。由此,模式转换器202根据待更新图像的面积以及展示屏幕的面积,确定待更新图像在展示屏幕上的比例。当该比例大于比例阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。就不再过多赘述了。
还需要说明的是,上述比例也可以是指令或命令中携带的。对于展示屏幕的尺寸而言,其可以是根据具有客户端的智能终端在向对应的服务器发送请求时,可以携带有智能终端的型号,服务器可以根据该型号从预置的多个设备的信息中确定对应的展示屏幕尺寸。
上述比例的阈值可以动态调整,也可以通过数据试验得到。
由此,可以通过上述面积以及比例,对当前所使用的更新场景或展示场景,进行预判,基于预判的更新场景或展示场景,进行处理方式的提前切换。
具体的,根据待更新图像,确定图像的处理方式,包括:在预置时间内,确定多个待更新图像对应的面积,并确定多个待更新图像的面积之和;确定面积之和是否大于面积之和的阈值,当小于或等于面积之和的阈值,则确定处理方式为图形命令流的处理方式;当大于面积之和的阈值,则确定处理方式为视频流的处理方式。
其中,预置时间可以是指一个预置周期时间,如刷新周期。
例如,根据前文所述,如图2所示,在预置时间周期中,视频服务器201可以通过其中的模式转换器202接收到多个上述命令,从每个命令中可以获取到对应的待更新图像。该命令中除了携带有该待更新图像,还可以携带有该图像的信息,如图像的尺寸,图像的长宽,然后模式转换器202根据尺寸确定每张图像的面积。然后,模式转换器202可以确定或统计在预置刷新周期内,多个待更新图像的面积之和。当该面积之和大于面积之和阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。就不再过多赘述了。
需要说明的是,对于上述qxl图像命令流(即图形命令流)的命令或指令而言,其可以携带至少一张待更新图像,也就是说在渲染的时候生成了至少一张待更新图像。对于视频更新场景或其它场景而言,通常至少一张待更新图像中对应的每张待更新图像的尺寸都是一样的。
103:根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
其中,接收端是指接收用于更新图像的设备,如电脑,也可以是该设备中的客户端。
例如,根据前文所述,视频服务器在确定了处理方式后,根据处理方式对对应的待更新图像进行处理,然后传输至用户的电脑,以使电脑接收到该处理后的待更新图像后,得到待更新图像,并进行图像的更新,以使用户可以看到该电影的更新。
具体的,根据确定的处理方式,对待更新图像进行处理并传输,包括:当确定的处理方式为图形命令流的处理方式,则根据图形命令流的压缩方式,对待更新图像进行压缩,将压缩后的待更新图像进行传输;当确定的处理方式为视频流的处理方式,则根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
例如,根据前文所述,如图2所示,视频服务器201中的模式转换器202在确定了处理方式后,对待更新图像进行处理。当处理方式是图形命令流的处理方式,则模式转换器202,针对待更新图像进行图像压缩,如通过jpeg标准进行图像压缩,并生成对应的图形命令流203,即执行了步骤211:生成图形命令流。然后将图形命令流203通过上述传输协议发送至用户的电脑,即执行了步骤213:发送图形命令流,以进行更新展示。
当处理方式是视频流的处理方式,则模式转换器202,针对待更新图像进行视频编码,如通过mjpeg视频编码对待更新图像进行编码,并生成对应的视频流204,即执行了步骤212:生成视频流。然后将视频流204通过上述传输协议发送至用户的电脑,即执行了步骤214:发送视频流,以进行更新展示。
此外,根据前文可知,如果上述最终确定的处理方式还是图形命令流的处理方式,或者说一直都没有触发视频流的处理方式(此处可以默认处理方式为图形命令流的处理方式),也可以通过下述方式继续确定是否要进行视频流的处理方式的切换。
具体的,在根据图形命令流的压缩方式,对待更新图像进行压缩后,该方法100还包括:在预置时间内,确定多个压缩后的待更新图像的大小之和;当大小之和小于或等于大小之和的阈值,则将当前压缩后的待更新图像进行传输;当大小之和大于大小之和的阈值,将停止传输当前压缩后的待更新图像,并确定当前待更新图像的处理方式为视频流的处理方式;获取待更新图像,根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
其中,大小之和的阈值可以是网络的带宽阈值。
例如,根据前文所述的方式,在确定是图形命令流的处理方式后,针对待更新图像进行jpeg标准压缩,当完成jpeg标准压缩后,统计在上述一个刷新周期内所有进行图形命令流的处理方式压缩后的待更新图像的大小,如果超出网络的带宽阈值,则放弃图形命令流的处理方式的压缩后的待更新图像,并将处理方式进行换到视频流的处理方式,进行待更新图像的视频编码。即可以重新通过上述qxl图像命令流的命令获取待更新图像然后进行视频编码,以进行传输。
需要说明的是,在传输的过程中,处理后的待更新图像是以协议包的形式进行传输的。
此外,通过引入一个刷新周期,在该周期内通过所有的待更新图像来统计是否需要对当前的处理方式进行切换或确定,支持多块非连续的更新区域,对于其它方案所无法切换的场景,本申请实施例都可以切换,如对于较快速滚动的未连续命中的更新场景,以及对于非连续变化区域时等更新场景下等。
当用户通过电脑接收到上述处理后的待更新图像后,如果该图像是根据图形命令流的处理方式进行处理的,则电脑的浏览器客户端通过对应的处理方式,如jpeg压缩标准进行解压缩,并更新到浏览器客户端上进行展示,使得电影的视频或图像进行了更新,即持续性地播放了该电影。如果该图像是根据视频流的处理方式进行处理的,则电脑的浏览器客户端通过对应的处理方式,如mjpeg视频编码进行解码,并更新到浏览器客户端上进行展示,使得电影的视频或图像进行了更新,即持续性地播放了该电影。此时浏览器客户端可以针对更新时延和/或接收到的协议包来确定是否进行处理方式的切换的。
具体的,该方法100还包括:接收接收端发送的反馈信息,根据反馈信息确定处理方式为视频流的处理方式,其中接收端是根据接收到的待更新图像的更新时延和/或处理后的待更新图像所占用的带宽数据发送的反馈信息。
其中,更新时延是指待更新图像生成的时间和在接收到端进行更新显示的时间之差。
处理后的待更新图像所占用的带宽数据可以是指对应的协议包所占用的带宽数据。
例如,根据前文所述,浏览器客户端收到协议数据后,除了上文所述的图像更新外,还可以根据待更新图像的生成时间和最后在客户端上的显示时间进行时延的统计,此外再将收到的协议包的大小进行统计,统计网络的带宽数据大小,当统计后的更新时延和/或统计的带宽数据超出对应的阈值时,则生成QOE(Quality of Experience,体验质量)的反馈消息,反馈传递给视频服务器,该反馈信息可以表示为切换到视频流的处理方式。如图2所示,使得视频服务器201中的模式转换器202执行了步骤213:接收反馈信息,然后根据该反馈信息将处理方式切换到视频流的处理方式。即当前的处理方式已经属于图形命令流的处理方式时,如果收到反馈信息,则切换成视频流的处理方式,如果当前已经属于视频流的处理方式,则更新接收到反馈信息的时间,即更新了切换到视频流的处理方式的时间(即使当前已经是视频流的处理方式了,也依旧作为更新处理方式的最新时间)。
需要说明的是,为了与前文相对应,本申请实施例中涉及到的客户端均是针对部署有动态服务器页面的客户端。
此外,对于待更新图像的生成时间可以是随着协议包一同发送过来的,其可以是由上述qxl图像命令流的命令携带而来的。
由于在上述服务器和客户端进行了带宽的监测,可以使得将上述处理方式对应的实际流量控制在一定的带宽阈值之下。同时,通过客户端来监测时延,来行成监测的闭环,保障用户体验感。
如果未接收到反馈信息,则可以不进行更新。但如果当前处理方式一直是视频流的处理方式,则可以退出该方式。
具体的,该方法100还包括:在预置时间内,未接收到反馈信息,如果当前的处理方式为视频流的处理方式,则将处理方式切换为图形命令流的处理方式。
例如,根据前文所述,当当前的处理方式是视频流的处理方式的时候,且如果在一定时间或预置刷新时间内都未接收到反馈信息,则退出视频流的处理方式,切换到图形命令流的处理方式进行对待更新图像的处理。
根据前文可知,在保证了用户的体验感后,通过上述传输链路可以提高了更新图像的画质、降低带宽,并减少了视频流的处理方式的使用时长,从而节约了视频编码的成本。
图3为本申请一示例性实施例提供的一种媒体信息的传输系统的结构示意图。如图3所示,该系统300可以包括:第一设备301以及第二设备302。
其中,第一设备301是指可以在网络虚拟环境中提供计算处理服务的设备,可以是指利用网络进行媒体信息传输的设备。在物理实现上,第一设备301可以是任何能够提供计算服务,响应服务请求,并进行媒体信息传输的设备,例如可以是云服务器、云主机、虚拟中心、常规服务器等等。第一设备301的构成主要包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。
第二设备302可以是有一定计算能力的设备,可以实现向第一设备301发送数据的功能,也可以接收第一设备301发送的数据。第二设备302的基本结构可以包括:至少一个处理器。处理器的数量可以取决于具有一定计算能力装置的配置和类型。具有一定计算能力装置也可以包括存储器,该存储器可以为易失性的,例如RAM,也可以为非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,具有一定计算能力装置还包括一些基本配置,例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地,一些外围设备可以包括,例如键盘、输入笔等。其它外围设备在本领域中是众所周知的,在此不做赘述。可选地,第二设备302可以为智能终端,例如,手机、台式电脑、笔记本、平板电脑等。
具体的,第一设备301,获取待更新图像;根据待更新图像,确定图像的处理方式,处理方式使得处理后的待更新图像可满足传输条件以及图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
具体的,第一设备301,接收图像指令,从指令中获取待更新图像。
具体的,第一设备301,确定待更新图像的面积;确定面积是否大于面积阈值,当小于或等于面积阈值,则确定处理方式为图形命令流的处理方式;当大于面积阈值,则确定处理方式为视频流的处理方式。
具体的,第一设备301,确定所述待更新图像的面积,并确定面积在展示屏幕中的比例;确定比例是否大于比例阈值,当小于或等于比例阈值,则确定处理方式为图形命令流的处理方式;当大于比例阈值,则确定处理方式为视频流的处理方式。
具体的,第一设备301,在预置时间内,确定多个待更新图像对应的面积,并确定多个待更新图像的面积之和;确定面积之和是否大于面积之和的阈值,当小于或等于面积之和的阈值,则确定处理方式为图形命令流的处理方式;当大于面积之和的阈值,则确定处理方式为视频流的处理方式。
具体的,第一设备301,当确定的处理方式为图形命令流的处理方式,则根据图形命令流的压缩方式,对待更新图像进行压缩,将压缩后的待更新图像进行传输;当确定的处理方式为视频流的处理方式,则根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
此外,在根据图形命令流的压缩方式,对待更新图像进行压缩后,第一设备301,在预置时间内,确定多个压缩后的待更新图像的大小之和;当大小之和小于或等于大小之和的阈值,则将当前压缩后的待更新图像进行传输;当大小之和大于大小之和的阈值,将停止传输当前压缩后的待更新图像,并确定当前待更新图像的处理方式为视频流的处理方式;获取待更新图像,根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
具体的,第一设备301,接收第二设备302发送的反馈信息,根据反馈信息确定处理方式为视频流的处理方式,其中第二设备302是根据接收到的待更新图像的更新时延和/或处理后的待更新图像所占用的带宽数据发送的反馈信息。
此外,第一设备301,在预置时间内,未接收到反馈信息,如果当前的处理方式为视频流的处理方式,则将处理方式切换为图形命令流的处理方式。
具体的,第二设备302,接收处理后的待更新图像,并根据处理后的图像得到待更新图像;将待更新图像在展示屏幕上进行更新;确定待更新图像在展示屏幕上的更新时间与待更新图像的生成时间之间的时间差(即更新时延);当时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使第一设备301接收到反馈信息后,根据反馈信息确定待更新图像的处理方式为视频流的处理方式。
需要说明的是,在系统300中未能完全阐述的内容请参见前文方法100中的内容,其具体的实施方式也请参见前文所述的方法100的具体实施方式,此处就不再赘述。
在本申请实施例的视频播放中的图像更新场景中,如图3所示,用户通过第二设备302,如电脑,安装的web网页浏览器客户端登录第一设备301,如视频服务器(该视频服务器可以是云服务器),进行线上电影的观看。用户通过该浏览器客户端点击想看的电影进行观看。在观看的过程中,电影的画面会持续更新,那么此时就会涉及到图像帧或视频帧的更新。则此时需要视频服务器定时或持续地向电脑发送待更新图像,用于更新电影的图像。则在用户选择了自己想要看的电影后,视频服务器开始发送该电影的待更新图像,可以是定时发送这些待更新图像,一次发送可以是多帧图像。由此视频服务器可以自发的获取到对应的待更新图像进行发送。
视频服务器上的视频应用接收到用户通过浏览器客户端的电脑发送的播放电影A的请求,然后该应用需要向该服务器本地的图像引擎发送渲染请求,使得图像引擎根据渲染请求渲染该电影A的画面,从而生成对应视频画面。然后,图形引擎向服务器本地的驱动器发送指令或命令,以使驱动器将该指令或命令转换成预置指令或命令,如qxl图像命令流的命令,该命令中具有对应的生成图像,即待更新图像。然后驱动器可以将该命令发送至命令队列中,以等待处理。由此可以从该命令中获取到对应的待更新图像。
视频服务器在接收到前文所述的qxl图像命令流的命令,该命令可以是由前文所述其它服务器发送过来的。视频服务器通过其中的模式转换器202接收到该命令,从该命令中可以获取到待更新图像。该命令中除了携带有该待更新图像,还可以携带有该图像的信息,如图像的尺寸,图像的长宽,然后模式转换器202根据该尺寸确定该面积。当该面积大于面积阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。
此外,模式转换器202还可以根据待更新图像的面积以及展示屏幕的面积,确定待更新图像在展示屏幕上的比例。当该比例大于比例阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。就不再过多赘述了。
此外,模式转换器202还可以确定或统计在预置刷新周期内,多个待更新图像的面积之和。当该面积之和大于面积之和阈值,则确定处理方式为视频流的处理方式。如果当前的处理方式已经是视频流处理方式则无需更改,如果当前的处理方式是图形命令流的处理方式,则需要进行处理方式的切换,将图形命令流的处理方式切换为视频流的处理方式。否则确定处理方式为图形命令流的处理方式,根据上述可知,如果需要进行处理方式的切换则进行切换,如果不需要维持处理方式即可。就不再过多赘述了。
视频服务器中的模式转换器202在确定了处理方式后,对待更新图像进行处理。当处理方式是图形命令流的处理方式,则模式转换器202,针对待更新图像进行图像压缩,如通过jpeg标准进行图像压缩,并生成对应的图形命令流203,即执行了步骤211:生成图形命令流。然后将图形命令流203通过上述传输协议发送至用户的电脑,即执行了步骤213:发送图形命令流,以进行更新展示。
当处理方式是视频流的处理方式,则模式转换器202,针对待更新图像进行视频编码,如通过mjpeg视频编码对待更新图像进行编码,并生成对应的视频流204,即执行了步骤212:生成视频流。然后将视频流204通过上述传输协议发送至用户的电脑,即执行了步骤214:发送视频流,以进行更新展示。上述发送方式可以是通过协议包进行发送的。
在确定是图形命令流的处理方式后,针对待更新图像进行jpeg标准压缩,当完成jpeg标准压缩后,统计在上述一个刷新周期内所有进行图形命令流的处理方式压缩后的待更新图像的大小,如果超出网络的带宽阈值,则放弃图形命令流的处理方式的压缩后的待更新图像,并将处理方式进行换到视频流的处理方式,进行待更新图像的视频编码。即可以重新通过上述qxl图像命令流的命令获取待更新图像然后进行视频编码,以进行传输。
浏览器客户端收到协议数据后,除了上文所述的图像更新外,还可以根据待更新图像的生成时间和最后在客户端上的显示时间进行时延的统计,此外再将收到的协议包的大小进行统计,统计网络的带宽数据大小,当统计后的更新时延和/或统计的带宽数据超出对应的阈值时,则生成QOE(Quality of Experience,体验质量)的反馈消息,反馈传递给视频服务器,该反馈信息可以表示为切换到视频流的处理方式。使得视频服务器中的模式转换器202执行了步骤213:接收反馈信息,然后根据该反馈信息将处理方式切换到视频流的处理方式。即当前的处理方式已经属于图形命令流的处理方式时,如果收到反馈信息,则切换成视频流的处理方式,如果当前已经属于视频流的处理方式,则更新接收到反馈信息的时间,即更新了切换到视频流的处理方式的时间(即使当前已经是视频流的处理方式了,也依旧作为更新处理方式的最新时间)。
当当前的处理方式是视频流的处理方式的时候,且如果在一定时间或预置刷新时间内都未接收到反馈信息,则退出视频流的处理方式,切换到图形命令流的处理方式进行对待更新图像的处理。
此处未详细记载的内容可以参考前文所述的内容,就不再赘述。
在上述本实施例中,第一设备301、第二设备302进行网络连接。若第一设备301、第二设备302是通信连接,该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G等中的任意一种。
根据相似的发明构思,本申请一示例性实施例的一种媒体信息的传输方法。本申请实施例提供的该方法由计算设备执行,如,电脑等。如图4所示,该方法400包括以下步骤:
401:接收处理后的待更新图像,并根据处理后的图像得到待更新图像。
402:将待更新图像在展示屏幕上进行更新。
403:确定待更新图像在展示屏幕上的更新时间与待更新图像的生成时间之间的时间差。
404:当时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到反馈信息后,根据反馈信息确定待更新图像的处理方式为视频流的处理方式。
需要说明的是,由于步骤401-404的具体实施方式与前文阐述的方法100的具体实施方式相似,这里就不再赘述。仅说明:发送端可以是指前文中所述的服务器。此外,该执行主体也可以是其它设备,如服务器等其它交互设备。
该方法400未能详尽的内容请参考前文,就不再赘述。
图5为本申请一示例性实施例提供的一种媒体信息的传输装置的结构框架示意图。该装置500可以应用于服务器。该装置500包括:获取模块501、确定模块502、处理模块503;以下针对各个模块的功能进行详细的阐述:
获取模块501,用于获取待更新图像。
确定模块502,用于根据待更新图像,确定图像的处理方式,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景。
处理模块503,用于根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
具体的,确定模块502,用于根据待更新图像的尺寸、待更新图像在展示场景中的更新时间和/或处理后的待更新图像所占用的带宽数据,确定处理方式为图像命令流的处理方式或视频流的处理方式。
具体的,获取模块501,用于接收图像指令,从指令中获取待更新图像。
具体的,确定模块502,包括:第一确定单元,用于确定待更新图像的面积;确定面积是否大于面积阈值,当小于或等于面积阈值,则确定处理方式为图形命令流的处理方式;当大于所述面积阈值,则确定处理方式为视频流的处理方式。
具体的,确定模块502,包括:第二确定单元,用于确定待更新图像的面积,并确定面积在展示屏幕中的比例;确定比例是否大于比例阈值,当小于或等于比例阈值,则确定处理方式为图形命令流的处理方式;当大于比例阈值,则确定处理方式为视频流的处理方式。
具体的,确定模块502,包括:第三确定单元,用于在预置时间内,确定多个待更新图像对应的面积,并确定多个待更新图像的面积之和;确定面积之和是否大于面积之和的阈值,当小于或等于面积之和的阈值,则确定处理方式为图形命令流的处理方式;当大于面积之和的阈值,则确定处理方式为视频流的处理方式。
具体的,处理模块503,包括:第一处理单元,用于当确定的处理方式为图形命令流的处理方式,则根据图形命令流的压缩方式,对待更新图像进行压缩,将压缩后的待更新图像进行传输;第二处理单元,用于当确定的处理方式为视频流的处理方式,则根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
此外,在根据图形命令流的压缩方式,对待更新图像进行压缩后,确定模块502,还用于在预置时间内,确定多个压缩后的待更新图像的大小之和;该装置500还包括:传输模块,用于当大小之和小于或等于大小之和的阈值,则将当前压缩后的待更新图像进行传输;确定模块502,还用于当大小之和大于大小之和的阈值,将停止传输当前压缩后的待更新图像,并确定当前待更新图像的处理方式为视频流的处理方式;获取模块501,还用于获取待更新图像,根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
此外,确定模块502,还用于接收接收端发送的反馈信息,根据反馈信息确定处理方式为视频流的处理方式,其中接收端是根据接收到的待更新图像的更新时延和/或处理后的待更新图像所占用的带宽数据发送的反馈信息。
此外,确定模块502,还用于在预置时间内,未接收到反馈信息,如果当前的处理方式为视频流的处理方式,则将处理方式切换为图形命令流的处理方式。
本装置500中未能详尽的内容请参考前文所述,就不再赘述。
图6为本申请一示例性实施例提供的一种媒体信息的传输装置的结构框架示意图。该装置600可以应用于终端设备。该装置600包括:接收模块601、更新模块602、确定模块603以及发送模块604;以下针对各个模块的功能进行详细的阐述:
接收模块601,用于接收处理后的待更新图像,并根据处理后的图像得到待更新图像。
更新模块602,用于将待更新图像在展示屏幕上进行更新。
确定模块603,用于确定待更新图像在展示屏幕上的更新时间与待更新图像的生成时间之间的时间差。
发送模块604,用于当时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到所述反馈信息后,根据反馈信息确定待更新图像的处理方式为视频流的处理方式。
本装置600中未能详尽的内容请参考前文所述,就不再赘述。
以上描述了图5所示的装置500的内部功能和结构,在一个可能的设计中,图5所示的装置500的结构可实现为计算设备,如,服务器。如图7所示,该设备700可以包括:存储器701、处理器702;
存储器701,用于存储计算机程序。
处理器702,用于执行计算机程序,以用于:获取待更新图像;根据所述待更新图像,确定图像的处理方式,处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
具体的,处理器702,具体用于:根据待更新图像的尺寸、待更新图像在展示场景中的更新时间和/或处理后的待更新图像所占用的带宽数据,确定处理方式为图像命令流的处理方式或视频流的处理方式。
具体的,处理器702,具体用于:接收图像指令,从指令中获取待更新图像。
具体的,处理器702,具体用于确定待更新图像的面积;确定面积是否大于面积阈值,当小于或等于面积阈值,则确定处理方式为图形命令流的处理方式;当大于所述面积阈值,则确定处理方式为视频流的处理方式。
具体的,处理器702,具体用于:确定待更新图像的面积,并确定面积在展示屏幕中的比例;确定比例是否大于比例阈值,当小于或等于比例阈值,则确定处理方式为图形命令流的处理方式;当大于比例阈值,则确定处理方式为视频流的处理方式。
具体的,处理器702,具体用于:在预置时间内,确定多个待更新图像对应的面积,并确定多个待更新图像的面积之和;确定面积之和是否大于面积之和的阈值,当小于或等于面积之和的阈值,则确定处理方式为图形命令流的处理方式;当大于面积之和的阈值,则确定处理方式为视频流的处理方式。
具体的,处理器702,具体用于:当确定的处理方式为图形命令流的处理方式,则根据图形命令流的压缩方式,对待更新图像进行压缩,将压缩后的待更新图像进行传输;当确定的处理方式为视频流的处理方式,则根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
此外,在根据图形命令流的压缩方式,对待更新图像进行压缩后,处理器702,还用于:在预置时间内,确定多个压缩后的待更新图像的大小之和;当大小之和小于或等于大小之和的阈值,则将当前压缩后的待更新图像进行传输;当大小之和大于大小之和的阈值,将停止传输当前压缩后的待更新图像,并确定当前待更新图像的处理方式为视频流的处理方式;获取待更新图像,根据视频流的编码方式,对待更新图像进行编码,将编码后的待更新图像进行传输。
此外,该设备700还可以包括通信组件,通信组件,用于:接收接收端发送的反馈信息,根据反馈信息确定处理方式为视频流的处理方式,其中接收端是根据接收到的待更新图像的更新时延和/或处理后的待更新图像所占用的带宽数据发送的反馈信息。
此外,处理器702,还用于:在预置时间内,未接收到反馈信息,如果当前的处理方式为视频流的处理方式,则将处理方式切换为图形命令流的处理方式。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图1-2方法实施例中一种媒体信息的传输方法的步骤。
以上描述了图6所示的装置600的内部功能和结构,在一个可能的设计中,图6所示的装置600的结构可实现为计算设备,如,电脑。如图8所示,该设备800可以包括:存储器801、处理器802以及通信组件803;
存储器801,用于存储计算机程序。
通信组件803,用于接收处理后的待更新图像。
处理器802,用于执行计算机程序,以用于:根据处理后的图像得到待更新图像;将待更新图像在展示屏幕上进行更新;确定待更新图像在展示屏幕上的更新时间与待更新图像的生成时间之间的时间差。
通信组件803,用于当时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到反馈信息后,根据反馈信息确定待更新图像的处理方式为视频流的处理方式。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图4方法实施例中一种媒体信息的传输方法的步骤。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102、103等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程多媒体数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程多媒体数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程多媒体数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程多媒体数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种媒体信息的传输方法,其特征在于,包括:
获取待更新图像;
根据所述待更新图像,确定图像的处理方式,所述处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;
根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待更新图像,确定图像的处理方式,包括:
根据所述待更新图像的尺寸、待更新图像在展示场景中的更新时间和/或处理后的待更新图像所占用的带宽数据,确定处理方式为图像命令流的处理方式或视频流的处理方式。
3.根据权利要求1所述的方法,其特征在于,所述获取待更新图像,包括:
接收图像指令,从所述指令中获取待更新图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待更新图像,确定图像的处理方式,包括:
确定所述待更新图像的面积;
确定所述面积是否大于面积阈值,当小于或等于面积阈值,则确定所述处理方式为图形命令流的处理方式;
当大于所述面积阈值,则确定所述处理方式为视频流的处理方式。
5.根据权利要求1或4所述的方法,其特征在于,所述根据所述待更新图像,确定图像的处理方式,包括:
确定所述待更新图像的面积,并确定所述面积在展示屏幕中的比例;
确定所述比例是否大于比例阈值,当小于或等于比例阈值,则确定所述处理方式为图形命令流的处理方式;
当大于所述比例阈值,则确定所述处理方式为视频流的处理方式。
6.根据权利要求1或5所述的方法,其特征在于,所述根据所述待更新图像,确定图像的处理方式,包括:
在预置时间内,确定多个待更新图像对应的面积,并确定多个待更新图像的面积之和;
确定所述面积之和是否大于面积之和的阈值,当小于或等于面积之和的阈值,则确定所述处理方式为图形命令流的处理方式;
当大于所述面积之和的阈值,则确定所述处理方式为视频流的处理方式。
7.根据权利要求1所述的方法,其特征在于,所述根据确定的处理方式,对待更新图像进行处理并传输,包括:
当确定的处理方式为图形命令流的处理方式,则根据图像命令流的压缩方式,对所述待更新图像进行压缩,将压缩后的待更新图像进行传输;
当确定的处理方式为视频流的处理方式,则根据视频流的编码方式,对所述待更新图像进行编码,将编码后的待更新图像进行传输。
8.根据权利要求7所述的方法,其特征在于,在根据图形命令流的压缩方式,对所述待更新图像进行压缩后,所述方法还包括:
在预置时间内,确定多个压缩后的待更新图像的大小之和;
当所述大小之和小于或等于大小之和的阈值,则将当前压缩后的待更新图像进行传输;
当所述大小之和大于大小之和的阈值,将停止传输当前压缩后的待更新图像,并确定当前待更新图像的处理方式为视频流的处理方式;
获取待更新图像,根据视频流的编码方式,对所述待更新图像进行编码,将编码后的待更新图像进行传输。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收接收端发送的反馈信息,根据所述反馈信息确定所述处理方式为视频流的处理方式,其中所述接收端是根据接收到的待更新图像的更新时延和/或处理后的待更新图像所占用的带宽数据发送的所述反馈信息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
在预置时间内,未接收到所述反馈信息,如果当前的处理方式为视频流的处理方式,则将所述处理方式切换为图形命令流的处理方式。
11.一种媒体信息的传输方法,其特征在于,包括:
接收处理后的待更新图像,并根据处理后的图像得到待更新图像;
将所述待更新图像在展示屏幕上进行更新;
确定所述待更新图像在展示屏幕上的更新时间与所述待更新图像的生成时间之间的时间差;
当所述时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到所述反馈信息后,根据所述反馈信息确定待更新图像的处理方式为视频流的处理方式。
12.一种计算设备,包括:存储器、处理器;
所述存储器,用于存储计算机程序;
所述处理器,执行所述计算机程序,以用于:
获取待更新图像;
根据所述待更新图像,确定图像的处理方式,所述处理方式使得处理后的待更新图像满足传输条件和/或图像的展示场景;
根据确定的处理方式,对待更新图像进行处理并传输,以使接收端接收到处理后的图像,进行展示。
13.一种计算设备,包括:存储器、处理器以及通信组件;
所述存储器,用于存储计算机程序;
所述通信组件,用于接收处理后的待更新图像;
所述处理器,执行所述计算机程序,以用于:根据处理后的图像得到待更新图像;
将所述待更新图像在展示屏幕上进行更新;
确定所述待更新图像在展示屏幕上的更新时间与所述待更新图像的生成时间之间的时间差;
所述通信组件,用于当所述时间差大于时间阈值和/或处理后的待更新图像所占用的带宽大于带宽阈值,发送反馈信息至发送端,以使发送端接收到所述反馈信息后,根据所述反馈信息确定待更新图像的处理方式为视频流的处理方式。
14.一种存储有计算机程序的计算机可读存储介质,其特征在于,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现权利要求1-11任一项所述方法中的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111101871.9A CN113973224B (zh) | 2021-09-18 | 2021-09-18 | 媒体信息的传输方法、计算设备及存储介质 |
PCT/CN2022/118422 WO2023040825A1 (zh) | 2021-09-18 | 2022-09-13 | 媒体信息的传输方法、计算设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111101871.9A CN113973224B (zh) | 2021-09-18 | 2021-09-18 | 媒体信息的传输方法、计算设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113973224A true CN113973224A (zh) | 2022-01-25 |
CN113973224B CN113973224B (zh) | 2024-05-28 |
Family
ID=79586658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111101871.9A Active CN113973224B (zh) | 2021-09-18 | 2021-09-18 | 媒体信息的传输方法、计算设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113973224B (zh) |
WO (1) | WO2023040825A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827113A (zh) * | 2022-04-18 | 2022-07-29 | 阿里巴巴(中国)有限公司 | 一种网页访问方法及装置 |
WO2023040825A1 (zh) * | 2021-09-18 | 2023-03-23 | 阿里巴巴(中国)有限公司 | 媒体信息的传输方法、计算设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080092045A1 (en) * | 2006-10-16 | 2008-04-17 | Candelore Brant L | Trial selection of STB remote control codes |
US20120304224A1 (en) * | 2011-05-25 | 2012-11-29 | Steven Keith Hines | Mechanism for Embedding Metadata in Video and Broadcast Television |
WO2017219896A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 视频流的传输方法及装置 |
CN110166787A (zh) * | 2018-07-05 | 2019-08-23 | 腾讯数码(天津)有限公司 | 增强现实数据传播方法、系统和存储介质 |
WO2019237821A1 (zh) * | 2018-06-15 | 2019-12-19 | 腾讯科技(深圳)有限公司 | 虚拟场景的场景图像传输方法、装置、计算机设备及计算机可读存储介质 |
CN111010582A (zh) * | 2019-12-18 | 2020-04-14 | 深信服科技股份有限公司 | 一种云桌面图像处理方法、装置、设备及可读存储介质 |
CN111245879A (zh) * | 2018-11-29 | 2020-06-05 | 深信服科技股份有限公司 | 一种虚拟桌面的桌面内容传输方法、系统及相关组件 |
CN111488186A (zh) * | 2019-01-25 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
CN111683267A (zh) * | 2019-03-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 媒体信息的处理方法、系统、设备及存储介质 |
CN112929681A (zh) * | 2021-01-19 | 2021-06-08 | 广州虎牙科技有限公司 | 视频流图像渲染方法、装置、计算机设备及存储介质 |
US20210195137A1 (en) * | 2019-12-23 | 2021-06-24 | Carrier Corporation | Video image-based media stream bandwidth reduction |
CN113207016A (zh) * | 2021-03-29 | 2021-08-03 | 新华三大数据技术有限公司 | 一种虚拟机图像帧率控制方法及网络设备、存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4775454B2 (ja) * | 2009-02-13 | 2011-09-21 | 富士ゼロックス株式会社 | 画像通信装置および画像通信制御プログラム |
CN103796012B (zh) * | 2014-01-20 | 2017-02-08 | 北京航空航天大学 | 无人机多源异类侦察图像压缩接口适配方法 |
CN107659827A (zh) * | 2017-09-25 | 2018-02-02 | 北京小鱼易连科技有限公司 | 基于内容分析的桌面视频编码控制系统 |
CN112672155A (zh) * | 2020-12-18 | 2021-04-16 | 厦门亿联网络技术股份有限公司 | 一种基于共享类型判别的桌面共享方法、装置及存储介质 |
CN113973224B (zh) * | 2021-09-18 | 2024-05-28 | 阿里巴巴(中国)有限公司 | 媒体信息的传输方法、计算设备及存储介质 |
-
2021
- 2021-09-18 CN CN202111101871.9A patent/CN113973224B/zh active Active
-
2022
- 2022-09-13 WO PCT/CN2022/118422 patent/WO2023040825A1/zh unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080092045A1 (en) * | 2006-10-16 | 2008-04-17 | Candelore Brant L | Trial selection of STB remote control codes |
US20120304224A1 (en) * | 2011-05-25 | 2012-11-29 | Steven Keith Hines | Mechanism for Embedding Metadata in Video and Broadcast Television |
WO2017219896A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 视频流的传输方法及装置 |
CN107529069A (zh) * | 2016-06-21 | 2017-12-29 | 中兴通讯股份有限公司 | 一种视频流传输方法及装置 |
WO2019237821A1 (zh) * | 2018-06-15 | 2019-12-19 | 腾讯科技(深圳)有限公司 | 虚拟场景的场景图像传输方法、装置、计算机设备及计算机可读存储介质 |
CN110166787A (zh) * | 2018-07-05 | 2019-08-23 | 腾讯数码(天津)有限公司 | 增强现实数据传播方法、系统和存储介质 |
CN111245879A (zh) * | 2018-11-29 | 2020-06-05 | 深信服科技股份有限公司 | 一种虚拟桌面的桌面内容传输方法、系统及相关组件 |
CN111488186A (zh) * | 2019-01-25 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
CN111683267A (zh) * | 2019-03-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 媒体信息的处理方法、系统、设备及存储介质 |
CN111010582A (zh) * | 2019-12-18 | 2020-04-14 | 深信服科技股份有限公司 | 一种云桌面图像处理方法、装置、设备及可读存储介质 |
US20210195137A1 (en) * | 2019-12-23 | 2021-06-24 | Carrier Corporation | Video image-based media stream bandwidth reduction |
CN112929681A (zh) * | 2021-01-19 | 2021-06-08 | 广州虎牙科技有限公司 | 视频流图像渲染方法、装置、计算机设备及存储介质 |
CN113207016A (zh) * | 2021-03-29 | 2021-08-03 | 新华三大数据技术有限公司 | 一种虚拟机图像帧率控制方法及网络设备、存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023040825A1 (zh) * | 2021-09-18 | 2023-03-23 | 阿里巴巴(中国)有限公司 | 媒体信息的传输方法、计算设备及存储介质 |
CN114827113A (zh) * | 2022-04-18 | 2022-07-29 | 阿里巴巴(中国)有限公司 | 一种网页访问方法及装置 |
CN114827113B (zh) * | 2022-04-18 | 2024-04-16 | 阿里巴巴(中国)有限公司 | 一种网页访问方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023040825A1 (zh) | 2023-03-23 |
CN113973224B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12003743B2 (en) | Video stream decoding method and apparatus, terminal device, and storage medium | |
CN111882626B (zh) | 图像处理方法、装置、服务器及介质 | |
CN110636346B (zh) | 一种码率自适应切换方法、装置、电子设备及存储介质 | |
US20160323547A1 (en) | High Quality Multimedia Transmission from a Mobile Device for Live and On-Demand Viewing | |
RU2506715C2 (ru) | Передача изменяющегося визуального контента | |
WO2023040825A1 (zh) | 媒体信息的传输方法、计算设备及存储介质 | |
CN111221491A (zh) | 交互控制方法及装置、电子设备、存储介质 | |
CN110662100A (zh) | 一种信息处理方法、装置、系统和计算机可读存储介质 | |
CN110582012B (zh) | 视频切换方法、视频处理方法、装置及存储介质 | |
CN105577819A (zh) | 一种虚拟化桌面的分享系统、分享方法以及分享装置 | |
CN111885346A (zh) | 画面码流合成方法、终端、电子设备和存储介质 | |
CN114928754B (zh) | 用于实景三维数据的数据处理方法及电子设备 | |
CN111343503B (zh) | 视频的转码方法、装置、电子设备及存储介质 | |
JP2022539299A (ja) | 中断可能な映像トランスコーディング | |
CN112929704A (zh) | 数据传输方法、装置、电子设备以及存储介质 | |
CN114222156A (zh) | 视频剪辑方法、装置、计算机设备和存储介质 | |
CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
CN111836092A (zh) | 一种虚拟桌面的数据处理方法、装置及相关组件 | |
US20120265858A1 (en) | Streaming portions of a quilted graphic 2d image representation for rendering into a digital asset | |
CN113965779A (zh) | 云游戏数据的传输方法、装置、系统及电子设备 | |
CN115278289B (zh) | 一种云应用渲染视频帧处理方法与装置 | |
CN116980392A (zh) | 媒体流处理方法、装置、计算机设备和存储介质 | |
KR20160087226A (ko) | 클라우드 스트리밍 서비스 시스템, 단말 성능을 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
JP2018514133A (ja) | データ処理方法および装置 | |
CN110798700A (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40067019 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |