CN102647615B - 一种多媒体应用数据提供方法、装置及系统 - Google Patents

一种多媒体应用数据提供方法、装置及系统 Download PDF

Info

Publication number
CN102647615B
CN102647615B CN201210069455.XA CN201210069455A CN102647615B CN 102647615 B CN102647615 B CN 102647615B CN 201210069455 A CN201210069455 A CN 201210069455A CN 102647615 B CN102647615 B CN 102647615B
Authority
CN
China
Prior art keywords
application data
application program
data
request
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210069455.XA
Other languages
English (en)
Other versions
CN102647615A (zh
Inventor
林靖然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu shiboyun Information Technology Co., Ltd
Original Assignee
BEIJING CYBER CLOUD TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CYBER CLOUD TECHNOLOGY Co Ltd filed Critical BEIJING CYBER CLOUD TECHNOLOGY Co Ltd
Priority to CN201210069455.XA priority Critical patent/CN102647615B/zh
Publication of CN102647615A publication Critical patent/CN102647615A/zh
Application granted granted Critical
Publication of CN102647615B publication Critical patent/CN102647615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例提供一种多媒体应用数据提供方法、装置及系统,所述方法包括:接收客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端。本发明实施例多媒体应用数据提供方法、装置及系统无需将每个客户端的应用数据在显示器上渲染后,再采集编码,可以同时为多个客户端用户提供多媒体应用服务。

Description

一种多媒体应用数据提供方法、装置及系统
技术领域
本发明涉及多媒体技术领域,尤其涉及一种多媒体应用数据提供方法、装置及系统。
背景技术
随着互联网技术的不断发展,互联网带宽速度增加,网页、游戏等应用数据经由网络被分配到用户PC。并且随着游戏复杂度的提高,对用户PC的性能也提出了较高的要求,如果用户PC的性能较低,可能用户就没办法玩这款游戏。并且,这种方式中可能需要大量数据的下载以将图形或行为信息提供到本地PC,但受到网络连接状况,以及PC本身处理能力的影响,可能导致用户没办法在线玩游戏。
为了解决上述技术问题,现有技术提出了服务器在向客户端提供游戏、网页等应用程序的应用数据时,可以对游戏、网页等应用数据进行视频编码,将编码后的视频流提供给客户端。
如图1所示,为现有技术中客户端与服务器交互获取应用数据的流程示意图,该过程包括以下步骤:
101:客户端接收用户输入的应用数据获取请求,将该应用数据获取请求发送到服务器;
102:服务器接收到该应用数据获取请求后,根据该请求中携带的应用程序的信息,获取相应的应用数据;
103:服务器将获取的该应用数据在自身的屏幕上进行展示,将展示的信息进行视频编码;
104:服务器将视频编码后的数据发送到客户端;
105:客户端对接收的视频编码后的数据进行解码并显示。
如图2所示,为现有技术中服务器的结构示意图。在上述过程中服务器中的操作系统(OS)接收客户端发送的应用数据获取请求,操作系统接收到用户的应用数据获取请求后,确定用户调用的应用(APP)程序模块,通过调用接口向相应的APP程序模块发送应用数据获取请求;APP程序模块接收到该应用数据获取请求后,根据该应用数据获取请求进行相应操作,并将相应的操作信息发送到操作系统;操作系统根据接收到的操作信息确定相应的应用数据,并将应用数据发送给调用接口;调用接口接收到该应用数据后,向操作系统发送显示器调用请求,操作系统接收到该显示器调用请求后,调用显示器将该应用数据显示在显示器上;采集编码进程采集显示器上显示的内容,并对采集到的显示内容进行视频编码,将视频编码后的视频流发送给客户端。这里调用接口可以为中间件DirectX,(DirecteXtension,简称DX)。
根据上述服务器与客户端的交互过程可知,该方法虽然可以降低客户端的硬件配置要求,但是该方法中服务器在获取了客户端发送的应用数据请求后,需要将相应的应用数据在显示器上渲染,将显示器上渲染的数据进行视频编码后提供。这样如果服务器同时接收到多个客户端发送的应用数据请求,服务器需要将每个客户端请求的应用数据都渲染到显示器上,并对显示器上渲染的数据进行视频编码,此时在显示器上渲染的各客户端请求的数据将会出现重叠,而服务器本身无法区分数据的归属性,其在进行视频编码时,只能针对显示器上显示的所有内容进行,因此该方法中当服务器在向多个客户端提供应用数据时,将导致服务器无法向客户端提供用户所需的应用数据。
发明内容
本发明实施例提供一种多媒体应用数据提供方法、装置及系统,以使多媒体服务器能够同时为多个客户端用户提供多媒体应用服务。
一方面,本发明实施例提供了一种多媒体应用数据提供方法,所述方法包括:接收客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端。
可选的,在本发明一实施例中,所述接收客户端发送的应用数据获取请求可以包括:中间件接收所述客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据,可以包括:所述中间件根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息发送到操作系统;接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据。
可选的,在本发明一实施例中,将所述应用数据获取请求发送给所述应用程序之后,所述方法还可以包括:接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息。
可选的,在本发明一实施例中,所述方法还可以包括:所述中间件判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序,并将所述虚拟声卡标识为非空闲;所述虚拟声卡获取该应用程序的音频数据;采集编码程序对所述音频数据进行编码,并将编码后的音频流发送到所述客户端。
另一方面,本发明实施例提供了一种多媒体应用数据提供装置,所述装置包括:接收单元,用于接收客户端发送的应用数据获取请求;数据获取单元,用于根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据。
可选的,在本发明一实施例中,所述数据获取单元可以包括:应用确定模块,用于根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息发送到操作系统;接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据。
可选的,在本发明一实施例中,所述数据获取单元还可以包括:焦点设置模块,用于接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息。
可选的,在本发明一实施例中,所述装置还可以包括:判断匹配单元,用于判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序;标识模块,用于将匹配的所述虚拟声卡标识为非空闲。
再一方面,本发明实施例提供了一种多媒体应用数据提供系统,所述系统包括依次相连的应用程序模块、中间件及采集编码模块:所述中间件,用于接收客户端发送的应用数据获取请求,根据所述应用数据获取请求,从对应的应用程序模块获取相应的应用数据;所述采集编码模块,用于将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端。
可选的,在本发明一实施例中,所述系统还可以包括与所述中间件连接的操作系统;所述中间件,用于接收所述客户端发送的应用数据获取请求,根据所述应用数据获取请求,确定用户访问的应用程序模块,并将所述应用数据获取请求发送到该应用程序模块;所述应用程序模块,用于在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相操作,将获取的相应的操作信息发送到所述中间件;所述中间件,还用于将接收到的所述操作信息发送到操作系统;所述操作系统,用于根据接收到的所述操作信息,确定所述应用数据获取请求相应的应用数据,并将所述相应的应用数据发送到所述中间件。
可选的,在本发明一实施例中,所述中间件,还可以用于接收所述应用程序模块询问自身当前是否被分配焦点的信息,并向所述应用程序模块返回其被分配焦点的响应信息。
可选的,在本发明一实施例中,所述系统还可以包括与所述中间件连接的多个虚拟声卡;所述中间件,还用于判断所述应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序模块,将匹配的所述虚拟声卡标识为非空闲;所述虚拟声卡,用于获取所述应用程序模块的音频数据;所述采集编码模块,还用于采集并编码所述虚拟声卡中的音频数据,并将编码后的音频流发送到所述客户端。
上述技术方案具有如下有益效果:因为采用接收客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端的技术手段,所以在本发明实施例中服务器无需将每个客户端的应用数据在显示器上渲染后,再采集编码,该服务器可以同时为多个客户端用户提供多媒体应用服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中客户端与服务器交互获取应用数据的流程示意图;
图2为现有技术中服务器的结构示意图;
图3为本发明实施例一种多媒体应用数据提供方法流程图;
图4为本发明实施例一种多媒体应用数据提供装置结构示意图;
图5为本发明实施例数据获取单元结构示意图;
图6为本发明实施例另一种多媒体应用数据提供装置结构示意图;
图7为本发明实施例一种多媒体应用数据提供系统结构示意图;
图8本发明应用实例的服务器与客户端之间的交互流程示意图;
图9为本发明应用实例中服务器的结构示意图;
图10为本发明应用实例的服务器与两个客户端之间的交互示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图3所示,为本发明实施例一种多媒体应用数据提供方法流程图,所述方法包括:
301、接收客户端发送的应用数据获取请求;
302、根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;
303、将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端。
可选的,在本发明一实施例中,所述接收客户端发送的应用数据获取请求可以包括:中间件接收所述客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据,可以包括:所述中间件根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息发送到操作系统;接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据。
可选的,在本发明一实施例中,将所述应用数据获取请求发送给所述应用程序之后,所述方法还可以包括:接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息。
本发明实施例上述方法应用在服务器中,该技术方案具有如下有益效果:因为采用接收客户端发送的应用数据获取请求;根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端的技术手段,所以在本发明实施例中服务器无需将每个客户端的应用数据在显示器上渲染后,再采集编码,该服务器可以同时为多个客户端用户提供多媒体应用服务。
另外,当服务器接收到客户端的应用数据获取请求,并且该应用数据获取请求获取的相应的应用数据需要进行音频信号的输出时,应用程序将音频信号输出请求发送到服务器的操作系统;服务器的操作系统接收到该请求后,通过中间件进行声卡驱动设备的识别和初始化,驱动声卡,并且只能通过麦克风录制扬声器输出的音频信号,才能获取该音频信号;将获取的该音频信号进行音频编码并发送给客户端。根据上述服务器中应用程序的视频输出流程可知,也不能将多客户端的音频分别输出。这是因为,服务器同时接收到多个客户端发送的应用数据获取请求中的音频输出请求时,会出现多个客户端的音频信号通过驱动的同一声卡输出,使服务器输出的音频信号混合,无法分离每个客户端所需的音频信号,从而使每个客户端都无法获取到准确的音频信号。而且,用户若要接收到在远端的服务器上运行的声音,服务器需要先将该音频信号通过扬声器输出后再录制下来才能获取,而经过扬声器输出在空气传播后的音频信号的质量也会受到很大的影响。
可选的,在本发明一实施例中,所述方法还可以包括:所述中间件判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序,并将所述虚拟声卡标识为非空闲;所述虚拟声卡获取该应用程序的音频数据;采集编码程序对所述音频数据进行编码,并将编码后的音频流发送到所述客户端。
与上述方法实施例对应,如图4所示,为本发明实施例一种多媒体应用数据提供装置结构示意图,所述装置包括:
接收单元41,用于接收客户端发送的应用数据获取请求;
数据获取单元42,用于根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据。
可选的,如图5所示,为本发明实施例数据获取单元结构示意图,所述数据获取单元42可以包括:应用确定模块421,用于根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息送到操作系统;接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据。可选的,在本发明一实施例中,所述数据获取单元42还可以包括:焦点设置模块422,用于接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息。
可选的,如图6所示,为本发明实施例另一种多媒体应用数据提供装置结构示意图,所述装置不但包括接收单元41、数据获取单元42,还可以包括:判断匹配单元43,用于判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序;标识模块44,用于将匹配的所述虚拟声卡标识为非空闲。
再一方面,如图7所示,为本发明实施例一种多媒体应用数据提供系统结构示意图,所述系统包括依次相连的应用程序模块73、中间件71及采集编码模块72:所述中间件71,用于接收客户端发送的应用数据获取请求,根据所述应用数据获取请求,从对应的应用程序模块73获取相应的应用数据;所述采集编码模块72,用于将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端。
可选的,在本发明一实施例中,所述系统还可以包括与所述中间件71连接的操作系统74;所述中间件71,用于接收所述客户端发送的应用数据获取请求,根据所述应用数据获取请求,确定用户访问的应用程序模块73,并将所述应用数据获取请求发送到该应用程序模块73;所述应用程序模块73,用于在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相操作,将获取的相应的操作信息发送到所述中间件71;所述中间件71,还用于将接收到的所述操作信息发送到操作系统74;所述操作系统74,用于根据接收到的所述操作信息,确定所述应用数据获取请求相应的应用数据,并将所述相应的应用数据发送到所述中间件71。
可选的,在本发明一实施例中,所述中间件71,还可以用于接收所述应用程序模块73询问自身当前是否被分配焦点的信息,并向所述应用程序模块73返回其被分配焦点的响应信息。
可选的,在本发明一实施例中,所述系统还可以包括与所述中间件连接的多个虚拟声卡75;所述中间件71,还用于判断所述应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序模块,将匹配的所述虚拟声卡标识为非空闲;所述虚拟声卡75,用于获取所述应用程序模块的音频数据,并将所述音频数据发送到中间件71;所述采集编码模块72,还用于采集并编码所述中间件71中的音频数据,并将编码后的音频流发送到所述客户端。
本发明实施例上述装置或系统技术方案具有如下有益效果:在本发明实施例中无需将每个客户端的应用数据在显示器上渲染后,再采集编码,该服务器可以同时为多个客户端用户提供多媒体应用服务。
为了保证服务器能够同时处理多个客户端发送的应用数据获取请求,在本发明实施例的该服务器中设置有多个焦点,当服务器接收到客户端发送的应用数据获取请求后,服务器为该客户端分配一个焦点,但每个客户端只能拥有一个焦点。
以下以两个客户端为例进行说明,需要说明的是,本发明应用实例的客户端并不限于两个,还可以有更多个。
如图8所示,本发明应用实例的服务器与客户端之间的交互流程示意图,其为对本发明应用实例的服务器与客户端之间的交互过程进行的说明,该过程包括:
801:第一客户端接收用户输入的应用数据获取请求,将该应用数据获取请求发送到服务器;
802:服务器接收到该应用数据获取请求后,根据该请求中携带的应用程序的信息,获取相应的应用数据;
803:服务器将获取的该应用数据中的视频数据进行视频编码,并将编码后的视频流发送到第一客户端;
804:第一客户端对接收的编码后的视频流进行解码并显示。
当在该过程中服务器接收到第二客户端发送的应用数据获取请求后,针对该应用数据获取请求中携带的应用程序的信息,获取相应的应用数据中的视频数据并进行视频编码发送到第二客户端。
由于在该过程中服务器无需将应用数据中的视频数据在显示器上进行渲染再采集,因此服务器可以同时处理多个客户端的应用数据获取请求,并且向每个客户端提供的应用数据不会出现重叠。
在本方案中该多媒体应用数据提供系统位于服务器中,该服务器能够同时为两个以上的用户提供应用数据,如图9所示,为本发明应用实例中服务器的结构示意图,该服务器包括应用(APP)程序模块、中间件、操作系统OS、虚拟声卡及采集编码模块,其中该中间件包括上述图4、图5中的单元和模块。
如图10所示,本发明应用实例的服务器与两个客户端之间的交互示意图,图10结合上述图9对本方案服务器与客户端之间的交互过程进行的详细说明,该过程包括:
第一客户端将应用数据获取请求发送到服务器的中间件,中间件根据接收到的应用数据获取请求确定用户访问的APP程序模块,并将该应用数据获取请求发送到对应的APP程序模块。
其中,在本发明中该应用程序可以为网页应用程序,游戏应用程序等。
APP程序模块接收到该应用数据获取请求后,根据该应用数据获取请求进行相应操作,并将相应的操作信息通过中间件发送到操作系统。
操作系统根据接收到的操作信息确定相应的应用数据,并将应用数据发送给中间件。
采集编码模块采集中间件中的应用数据,对该应用数据中的视频数据进行视频编码,将编码后的视频流提供给第一客户端。
服务器在向第一客户端提供视频流的过程中,当接收到第二客户端的应用数据获取请求时,其处理过程与上述针对第一客户端的处理过程相同。因为在上述过程中中间件可以获取到操作系统的应用数据,直接针对获取的应用数据中的视频数据进行视频编码,无需将该应用数据中的视频数据在屏幕上进行渲染,因此一台服务器可以同时为多个客户端提供服务。
另外,当接收到第二客户端发送的应用数据获取请求后,为了避免将焦点分配给第二客户端所请求的应用程序后,第一客户端请求的应用程序由于无法分配到焦点而出现的暂停问题,从而使用户无法获取到准确的应用数据,进行如下改进:
在本方案中当服务器的中间件接收到第一客户端发送的应用数据获取请求后,中间件根据接收到的该应用数据获取请求确定用户访问的APP程序模块,并将该应用数据获取请求发送给对应的APP程序模块。
APP程序模块接收到该应用数据获取请求后,向中间件询问自身当前是否被分配焦点,由于在本方案的服务器中设置有多个焦点,并且服务器为每个客户端分配了一个焦点,因此当中间件接收到第一客户端的APP程序模块询问自身当前是否被分配焦点的信息后,中间件向APP程序模块返回其被分配焦点的响应信息,之后APP程序模块根据该应用数据获取请求进行相应操作,并将相应的操作信息通过中间件发送到操作系统。
操作系统根据接收到的操作信息确定相应的应用数据,并将应用数据发送给中间件。采集编码模块采集中间件获取的应用数据,并对该应用数据中的视频数据进行视频编码,将编码后的视频流提供给第一客户端。
当中间件接收到第二客户端发送的应用数据获取请求后,执行上述过程。当中间件在为第二客户端提供服务的过程中,第一客户端的APP程序模块向中间件询问自身当前是否被分配焦点,中间件向第一客户端的APP程序模块返回其被分配焦点的响应信息,之后该第一客户端的APP程序模块继续将相应的操作信息通过中间件返回第一客户端。
本方案中每个客户端访问的应用程序模块在进行后续操作时,在向中间件询问自身是否被分配焦点时,中间件会向每个应用程序模块回复其被分配焦点的响应信息,因此每个应用程序模块都不会暂停,能够为用户提供准确的应用数据。
上述多媒体应用数据的提供方法可以应用在包括提供视频信息的应用程序中,例如提供网页应用程序的视频信息等包括视频信息的应用程序中,当该应用程序的应用数据同时包含音频数据和视频数据时,例如该应用程序为具有声音的游戏程序时,其视频数据的提供过程可以按照上述方案进行,当进行音频数据的提供时,可以按照下述方法进行:
服务器判断应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给应用程序模块,将匹配的所述虚拟声卡标识为非空闲;
虚拟声卡获取所述应用程序模块的音频数据;采集编码模块采集并编码所述虚拟声卡中的音频数据,并将编码后的音频流发送到客户端,由客户端实时解码。
具体的在本方案中当应用程序需要进行音频数据的输出时,应用程序向服务器的操作系统发送音频信号输出请求,服务器的操作系统接收到该请求后,调用中间件,中间件根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给应用程序,并将该虚拟声卡标识为非空闲。
服务器接收到另一个客户端请求同一应用程序模块或不同应用程序模块的应用数据获取请求,判断该另一客户端请求的应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给应用程序模块,将匹配的所述虚拟声卡标识为非空闲;虚拟声卡获取所述应用程序模块的音频数据;采集编码模块采集并编码所述虚拟声卡中的音频数据,并将编码后的音频流发送到另一客户端,由另一客户端实时解码。
在该过程中,服务器判断应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给应用程序模块,将匹配的所述虚拟声卡标识为非空闲;虚拟声卡获取所述应用程序模块的音频数据;采集编码模块采集并编码所述虚拟声卡中的音频数据,并将编码后的音频流发送到客户端,由客户端实时解码。该服务器中有多少个虚拟声卡资源,就可以支持多少个客户端的独立音频输出。
另外,在本方案中该虚拟声卡可以是通过软件实现的声卡,也可以是硬件声卡。
由于在该过程中,服务器无需将音频通过扬声器播放出去,经空气传播后,再由麦克风录制,而是直接基于声卡驱动的采集和编码,因此音频质量不会衰减,并且能向每个客户端提供的音频流文件不会出现重叠。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrativelogical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrativecomponents),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电脑、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种多媒体应用数据提供方法,其特征在于,所述方法包括:
接收客户端发送的应用数据获取请求;
根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;
将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端;
中间件判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序,并将所述虚拟声卡标识为非空闲;
所述虚拟声卡获取该应用程序的音频数据;
采集编码程序对所述音频数据进行编码,并将编码后的音频流发送到所述客户端;
所述接收客户端发送的应用数据获取请求包括:
中间件接收所述客户端发送的应用数据获取请求;
根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据,包括:
所述中间件根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息;
接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息发送到操作系统;
接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据。
2.一种多媒体应用数据提供装置,其特征在于,所述装置包括:
接收单元,用于接收客户端发送的应用数据获取请求;
数据获取单元,用于根据所述应用数据获取请求,从对应的应用程序获取相应的应用数据;
判断匹配单元,用于判断所述应用程序需要输出音频数据时,根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序;
标识模块,用于将匹配的所述虚拟声卡标识为非空闲;
所述数据获取单元包括:
应用确定模块,用于根据所述应用数据获取请求,确定用户访问的应用程序,并将所述应用数据获取请求发送给所述应用程序;接收所述应用程序在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相应操作获取的相应的操作信息,并将所述操作信息发送到操作系统;接收所述操作系统根据接收到的所述操作信息,确定的所述应用数据获取请求相应的应用数据;
焦点设置模块,用于接收所述应用程序询问自身当前是否被分配焦点的信息,并向所述应用程序返回其被分配焦点的响应信息。
3.一种多媒体应用数据提供系统,其特征在于,所述系统包括依次相连的应用程序模块、中间件及采集编码模块:
所述中间件,用于接收客户端发送的应用数据获取请求,根据所述应用数据获取请求,从对应的应用程序模块获取相应的应用数据;还用于判断所述应用程序模块需要输出音频数据时;根据每个虚拟声卡是否空闲的标识信息,将空闲的虚拟声卡匹配给所述应用程序模块,将匹配的所述虚拟声卡标识为非空闲;
所述采集编码模块,用于将获取的所述应用数据中的视频数据进行视频编码,并将编码后的视频流发送到所述客户端;
所述虚拟声卡,用于获取所述应用程序模块的音频数据;
所述采集编码模块,还用于采集并编码所述虚拟声卡中的音频数据,并将编码后的音频流发送到所述客户端;
所述系统还包括与所述中间件连接的操作系统;
所述中间件,用于接收所述客户端发送的应用数据获取请求,根据所述应用数据获取请求,确定用户访问的应用程序模块,并将所述应用数据获取请求发送到该应用程序模块;还用于接收所述应用程序模块询问自身当前是否被分配焦点的信息,并向所述应用程序模块返回其被分配焦点的响应信息;
所述应用程序模块,用于在接收到所述应用数据获取请求后,根据所述应用数据获取请求进行相操作,将获取的相应的操作信息发送到所述中间件;
所述中间件,还用于将接收到的所述操作信息发送到操作系统;
所述操作系统,用于根据接收到的所述操作信息,确定所述应用数据获取请求相应的应用数据,并将所述相应的应用数据发送到所述中间件。
CN201210069455.XA 2012-03-15 2012-03-15 一种多媒体应用数据提供方法、装置及系统 Active CN102647615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210069455.XA CN102647615B (zh) 2012-03-15 2012-03-15 一种多媒体应用数据提供方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210069455.XA CN102647615B (zh) 2012-03-15 2012-03-15 一种多媒体应用数据提供方法、装置及系统

Publications (2)

Publication Number Publication Date
CN102647615A CN102647615A (zh) 2012-08-22
CN102647615B true CN102647615B (zh) 2015-06-10

Family

ID=46660158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210069455.XA Active CN102647615B (zh) 2012-03-15 2012-03-15 一种多媒体应用数据提供方法、装置及系统

Country Status (1)

Country Link
CN (1) CN102647615B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976697A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 获取音频数据的方法及装置、设备、计算机可读存储介质
CN111954028B (zh) * 2020-10-19 2021-03-02 深圳乐播科技有限公司 音频数据的投屏方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613100A (zh) * 2001-11-20 2005-05-04 环球电子有限公司 用以远程控制应用的用户界面
CN101431737A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 多媒体会话呼叫控制的方法及应用服务器
CN101616319A (zh) * 2009-07-24 2009-12-30 成都市华为赛门铁克科技有限公司 数据处理方法及服务设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1613100A (zh) * 2001-11-20 2005-05-04 环球电子有限公司 用以远程控制应用的用户界面
CN101431737A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 多媒体会话呼叫控制的方法及应用服务器
CN101616319A (zh) * 2009-07-24 2009-12-30 成都市华为赛门铁克科技有限公司 数据处理方法及服务设备

Also Published As

Publication number Publication date
CN102647615A (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
CN108647088A (zh) 资源配置方法、装置、终端及存储介质
CN107659850B (zh) 媒体信息处理方法和装置
CN103294444B (zh) 计算机共享平台中音频数据的提供方法及装置
CN112073758B (zh) 一种云桌面投屏方法、装置、计算机设备、计算机可读存储介质及云桌面投屏交互系统
CN104270595B (zh) 一种视频通话客户端视频语音切换系统及其切换方法
CN104935980A (zh) 互动信息处理方法、客户端及服务平台
CN106227492B (zh) 拼接墙与移动智能终端互联方法和装置
US20170201563A1 (en) Video data providing method, video playback method, device, and system
CN106961421A (zh) 一种Android系统服务端、远程桌面音频重定向方法及系统
CN102123139A (zh) 便携式多功能多媒体终端系统
CN105451071A (zh) 一种视频流的处理方法、装置和系统
CN107682752A (zh) 视频画面显示的方法、装置、系统、终端设备及存储介质
CN109743442A (zh) 来电提醒方法及终端
CN104834623A (zh) 音频播放方法及装置
CN105871800A (zh) 一种拉流控制的方法、装置及系统
CN105611422A (zh) 基于多媒体榜单的在线直播方法及装置
CN104685873A (zh) 编码控制设备以及编码控制方法
CN103327021A (zh) 一种多设备互动方法及相关设备、系统
CN102662999B (zh) 一种多媒体应用数据提供方法、装置及系统
CN109862381A (zh) 基于动态视频海报的推广方法、系统、装置和存储介质
CN106559481A (zh) 一种提供应用的方法及服务器
CN102647615B (zh) 一种多媒体应用数据提供方法、装置及系统
CN114598931A (zh) 一种多开云游戏的串流方法、系统、装置及介质
CN110198427A (zh) 视频通话方法和装置
CN105592319B (zh) 一种服务器截图方法及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120822

Assignee: Nanjing Bo Han Information Technology Co. Ltd.

Assignor: Beijing Cyber Cloud Technology Co., Ltd.

Contract record no.: 2017110000011

Denomination of invention: Method, device and system for providing multimedia application data

Granted publication date: 20150610

License type: Common License

Record date: 20170628

Application publication date: 20120822

Assignee: Nanjing Yun Yao super Mdt InfoTech Ltd

Assignor: Beijing Cyber Cloud Technology Co., Ltd.

Contract record no.: 2017110000012

Denomination of invention: Method, device and system for providing multimedia application data

Granted publication date: 20150610

License type: Common License

Record date: 20170628

CP03 Change of name, title or address

Address after: 213017 No.2, Hongyang Road, Tianning District, Changzhou City, Jiangsu Province

Patentee after: Jiangsu shiboyun Information Technology Co., Ltd

Address before: 100085, Beijing, Haidian District, 5 East Road, Beijing, Mongolia hi tech building, block B, two

Patentee before: BEIJING SUPER DIGITAL TV TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20120822

Assignee: Beijing shiboyun Information Technology Co.,Ltd.

Assignor: Jiangsu shiboyun Information Technology Co., Ltd

Contract record no.: X2021110000011

Denomination of invention: A method, device and system for providing multimedia application data

Granted publication date: 20150610

License type: Common License

Record date: 20210323

EE01 Entry into force of recordation of patent licensing contract