一种传输数据的方法及终端
技术领域
本发明涉及人机交互领域,特别涉及一种传输数据的方法及终端。
背景技术
随着消费电子产品的普遍数字化,产生了越来越多的数字化的家庭网络设备。将这些家庭网络设备以有线或无线方式连接成家庭网络,以实现内容共享或相互控制等功能。
为实现家庭网络中的不同设备的发现和控制,越来越多的家庭网络设备支持Wi-Fi Display协议。利用Wi-Fi Display协议可以将媒体源设备(Source)上面显示的内容投送到媒体展示设备(Sink)上展示,其中,Source和Sink是Wi-Fi Display协议定义的两种设备类型。在媒体展示设备展示媒体源设备上的内容时,如果媒体展示设备没有将手势转化为能够控制媒体源设备的控制指令的处理能力时,现有技术无法实现对媒体展示设备使用手势来控制媒体源设备。
发明内容
本发明实施例提供一种控制方法、数据传输方法及装置,用于解决在媒体展示设备没有将手势转化为能够控制媒体源设备的控制指令的处理能力时,无法实现对媒体展示设备使用手势来控制媒体源设备的技术问题。
第一方面,提供一种传输数据的方法,所述方法包括:第一终端通过Wi-FiDisplay协议将所述第一终端上显示的内容实时传输到第二终端上显示;所述第一终端接收从所述第二终端或第三终端通过回传通道发送的视频数据,其中,所述视频数据为所述第二终端或所述第三终端通过视频采集装置采集的用户动作;所述第一终端解析所述视频数据,根据所述用户动作生成至少一个控制指令;所述第一终端执行所述至少一个控制指令。
结合第一方面,在第一种可能的实现方式中,所述用户动作包括:手势动作、眼球动作或身体动作。
结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一终端执行所述至少一个控制指令,包括:所述第一终端执行所述至少一个控制指令,显示第一数据;并通过Wi-Fi Display协议将所述第一数据实时传输到所述第二终端上显示。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述通过Wi-Fi Display协议将所述第一数据实时传输到第二终端上显示,包括:通过Wi-FiDisplay协议将所述第一数据发送至所述第二终端,以通过所述第二终端显示所述第一数据;或通过Wi-Fi Display协议向所述第二终端发送所述至少一个控制指令对应的控制消息,所述控制消息触发所述第二终端执行所述至少一个控制指令。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,在所述第一终端接收从所述第二终端或第三终端通过回传通道发送的视频数据,具体为:所述第一终端接收从所述第二终端通过回传通道发送的视频数据时,在所述第一终端通过Wi-FiDisplay协议将所述第一终端上显示的内容实时传输到第二终端上显示之前,所述方法还包括:所述第一终端通过虚拟适配层和所述第二终端进行设备能力协商,其中,所述虚拟适配层存储有所述第一终端上的N个应用程序信息,所述N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述第一终端通过所述虚拟适配层和所述第二终端进行设备能力协商,包括:所述第一终端从所述N个能力类型信息中读取所述第一终端中当前处于数据显示的第一应用程序的第一能力类型信息,所述第一能力类型信息中包含所述第一应用程序可调用的视频采集装置信息;所述第一终端基于所述第一能力类型信息确定所述第二终端上用于采集所述视频数据的视频采集装置;所述第一终端生成第一初始化指令,并发送所述第一初始化指令给所述第二终端,所述第一初始化指令用于触发所述第二终端对所述视频采集装置进行初始化设置。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,所述第一终端生成第一初始化指令,并发送所述第一初始化指令给所述第二终端之后,所述方法还包括:所述第一终端接收由所述第二终端发送至所述第一终端的所述视频采集装置的采集能力参数,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;基于所述第一应用程序以及所述采集能力参数,生成对所述视频采集装置进行设置的第一设置指令;基于所述虚拟适配层,将适用于所述第一终端的所述第一设置指令转换为适用于所述第二终端的第二设置指令;将所述第二设置指令发送至所述第二终端,所述第二设置指令用于触发所述第二终端基于所述第二设置指令对所述视频采集装置进行设置。
第二方面,提供一种传输数据的方法,所述方法包括:第二终端接收第一终端通过Wi-Fi Display协议实时传输的所述第一终端上显示的内容,实时显示所述第一终端上显示的内容;所述第二终端通过视频采集装置采集视频数据,其中,所述视频数据中包含有用户动作;所述第二终端通过回传通道将所述视频数据传输给所述第一终端,以使所述第一终端基于所述视频数据,生成并执行至少一个控制指令。
结合第二方面,在第一种可能的实现方式中,所述用户动作,包括:手势动作、眼球动作或身体动作。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,在第二终端接收第一终端通过Wi-Fi Display协议实时传输的所述第一终端上显示的内容,实时显示所述第一终端上显示的内容之前,所述方法还包括:所述第二终端与所述第一终端进行设备能力协商。
结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第二终端与所述第一终端进行设备能力协商,包括:所述第二终端接收由所述第一终端发送的初始化指令,对所述视频采集装置进行初始化设置。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,在所述第二终端接收由所述第一终端发送的初始化指令,对所述视频采集装置进行初始化设置之后,所述方法还包括:所述第二终端将所述视频采集装置的采集能力参数发送至所述第一终端,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;所述第二终端接收由所述第一终端发送的第二设置指令,其中,所述第二设置指令为所述第一终端基于所述第一应用程序以及所述采集能力参数所确定的设置指令;所述第二终端执行所述第二设置指令,以对所述视频采集装置的采集参数进行设置。
第三方面,提供一种传输数据的终端,所述终端包括:传输模块,用于通过Wi-FiDisplay协议将所述终端上显示的内容实时传输到第二终端上显示;接收模块,用于接收从所述第二终端或第三终端通过回传通道发送的视频数据,其中,所述视频数据为所述第二终端或所述第三终端通过视频采集装置采集的用户动作;解析模块,用于解析所述视频数据,根据所述用户动作生成至少一个控制指令;执行模块,用于执行所述至少一个控制指令。
结合第三方面,在第一种可能的实现方式中,所述用户动作包括:手势动作、眼球动作或身体动作。
结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述终端还包括:显示模块,所述显示模块,用于在所述执行模块执行所述至少一个控制指令时,显示第一数据;所述传输模块还用于通过Wi-FiDisplay协议将所述第一数据实时传输到所述第二终端上显示。
结合第三方面的第二种可能的实现方式,在第三种可能的实现方式中,所述传输模块具体用于:通过Wi-Fi Display协议将所述第一数据发送至所述第二终端,以通过所述第二终端显示所述第一数据;或通过Wi-Fi Display协议向所述第二终端发送所述至少一个控制指令对应的控制消息,所述控制消息触发所述第二终端执行所述控制指令。
结合第三方面或第三方面的第一至三种可能的实现方式中的任意一种可能的实现方式,在第四种可能的实现方式中,所述终端还包括:协商模块,用于在所述传输模块通过Wi-Fi Display协议将所述终端上显示的内容实时传输到第二终端上显示之前,通过虚拟适配层和所述第二终端进行设备能力协商,其中,所述虚拟适配层存储有所述终端上的N个应用程序信息,所述N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
结合第三方面的第四种可能的实现方式,在第五种可能的实现方式中,所述协商模块,包括:读取单元,用于从所述N个能力类型信息中读取所述终端中当前处于数据显示的第一应用程序的第一能力类型信息,所述第一能力类型信息中包含所述第一应用程序可调用的视频采集装置信息;确定单元,用于基于所述第一能力类型信息确定所述第二终端上用于采集所述视频数据的视频采集装置;生成单元,用于生成第一初始化指令;发送单元,用于发送所述生成单元生成的所述第一初始化指令给所述第二终端,所述第一初始化指令用于触发所述第二终端对所述确定单元确定的所述视频采集装置进行初始化设置。
结合第三方面的第五种可能的实现方式,在第六种可能的实现方式中,,所述协商模块,还包括:接收单元和转换单元,所述接收单元,用于接收由所述第二终端发送的所述视频采集装置的采集能力参数,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;所述生成单元还用于基于所述第一应用程序以及所述接收单元接收到的所述采集能力参数,生成对所述视频采集装置进行设置的第一设置指令;所述转换单元,用于基于所述虚拟适配层,将适用于所述终端的所述第一设置指令转换为适用于所述第二终端的第二设置指令;所述发送单元还用于将所述转换单元转换得到的所述第二设置指令发送至所述第二终端,所述第二设置指令用于触发所述第二终端基于所述第二设置指令对所述视频采集装置进行设置。
第四方面,提供一种传输数据的终端,所述终端包括:接收模块,用于接收第一终端通过Wi-Fi Display协议实时传输的所述第一终端上显示的内容;显示模块,用于实时显示所述接收模块接收的所述第一终端上显示的内容;采集模块,用于通过视频采集装置采集视频数据,其中,所述视频数据中包含有用户动作;传输模块,用于通过回传通道将所述视频数据传输给所述第一终端,以使所述第一终端基于所述视频数据,生成并执行至少一个控制指令。
结合第四方面,在第一种可能的实现方式中,所述用户动作,包括:手势动作、眼球动作或身体动作。
结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中,所述终端还包括:协商模块,用于在通过所述接收模块接收所述第一终端通过Wi-FiDisplay协议实时传输的所述第一终端上显示的内容之前,与所述第一终端进行设备能力协商。
结合第四方面的第二种可能的实现方式,在第三种可能的实现方式中,所述协商模块包括:接收单元:用于接收由所述第一终端发送的初始化指令;设置单元,用于根据所述接收单元接收的初始化指令对所述视频采集装置进行初始化设置;发送单元,用于在所述设置单元对所述视频采集装置进行初始化设置之后,将所述视频采集装置的采集能力参数发送至所述第一终端,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;所述接收单元还用于接收由所述第一终端发送的第二设置指令,其中,所述第二设置指令为所述第一终端基于所述第一应用程序以及所述采集能力参数所确定的设置指令;所述设置单元还用于基于所述接收单元接收到的所述第二设置指令,对所述视频采集装置进行设置。
第五方面,提供一种终端,包括:第一数据传输接口,用于通过Wi-FiDisplay协议将所述终端上显示的内容实时投射在传输到第二终端上显示;以及接收从所述第二终端或第三终端通过回传通道发送的视频数据,其中,所述视频数据为所述第二终端或所述第三终端通过视频采集装置采集的用户动作;第一处理器,连接于所述第一数据传输接口,用于解析所述视频数据,根据所述用户动作生成至少一个控制指令;以及执行所述至少一个控制指令。
结合第五方面,在第一种可能的实现方式中,所述用户动作包括:手势动作、眼球动作或身体动作。
结合第五方面或第五方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一处理器,用于:执行所述至少一个控制指令,进而生成第一数据;并通过Wi-FiDisplay协议将所述第一数据实时传输到所述第二终端上显示;所述终端还包括:第一显示单元,连接于所述第一处理器,用于显示所述第一数据。
结合第五方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第一数据传输接口,用于:通过Wi-Fi Display协议将所述第一数据发送至所述第二终端,以通过所述终端显示所述第一数据;或通过Wi-Fi Display协议向所述第二终端发送所述至少一个控制指令对应的控制消息,所述控制消息触发所述第二终端执行所述至少一个控制指令。
结合第五方面的第三种可能的实现方式,在第四种可能的实现方式中,在所述第一数据传输接口,具体用于:接收从所述第二终端通过回传通道发送的视频数据时,所述终端,还用于:在通过Wi-Fi Display协议将所述第一终端上显示的内容实时传输到第二终端上显示之前,通过虚拟适配层和所述第二终端进行设备能力协商,其中,所述虚拟适配层存储有所述第一终端上的N个应用程序信息,所述N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
结合第五方面的第四种可能的实现方式,在第五种可能的实现方式中,所述第一处理器,还用于:从所述N个能力类型信息中读取所述第一终端中当前处于数据显示的第一应用程序的第一能力类型信息,所述第一能力类型信息中包含所述第一应用程序可调用的视频采集装置信息;以及基于所述第一能力类型信息确定所述第二终端上用于采集所述视频数据的视频采集装置;以及生成第一初始化指令,所述第一初始化指令用于触发所述第二终端对所述视频采集装置进行初始化设置;所述第一数据传输接口,具体用于:将所述第一初始化指令发送至所述第二终端。
结合第五方面的第五种可能的实现方式,在第六种可能的实现方式中,所述第一数据传输接口,具体用于:接收由所述第二终端发送至所述第一终端的所述视频采集装置的采集能力参数,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;所述第一处理器,具体用于:基于所述第一应用程序以及所述采集能力参数,生成对所述视频采集装置进行设置的第一设置指令;所述终端,具体用于:基于所述第一设置指令对所述视频采集装置的进行设置。
结合第五方面的第六种可能的实现方式,在第七种可能的实现方式中,所述第一处理器,具体用于:基于所述虚拟适配层,将适用于所述终端的第一设置指令转换为适用于所述第二终端的第二设置指令;所述第一数据传输接口,具体用于:将所述第二设置指令发送至所述第二终端,所述第二设置指令用于触发所述第二终端基于所述第二设置指令对所述视频采集装置进行设置。
第六方面,提供一种终端,所述终端包括:第二数据传输接口,用于接收第一终端通过Wi-Fi Display协议实时传输的所述第一终端上显示的内容;第二显示单元,连接于所述第二数据传输接口,用于实时显示所述第一终端上显示的内容;视频采集装置,连接于所述第二数据传输接口,用于采集视频数据,其中,所述视频数据中包含有用户动作;所述第二数据传输接口,还用于:通过回传通道将所述视频数据传输给所述第一终端,以使所述第一终端基于所述视频数据,生成并执行至少一个控制指令。
结合第六方面,在第一种可能的实现方式中,所述用户动作,包括:手势动作、眼球动作或身体动作。
结合第六方面或第六方面的第一种可能的实现方式,在第二种可能的实现方式中,所述终端还用于:在接收第一终端通过Wi-Fi Display协议实时传输的所述第一终端上显示的内容,实时显示所述第一终端上显示的内容之前,对所述终端与所述第一终端进行设备能力协商。
结合第六方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第二数据传输接口,用于:接收由所述第一终端发送的初始化指令;所述终端还包括:第二处理器,连接于所述第二数据传输接口,用于基于所述初始化指令对所述视频采集装置进行初始化设置。
结合第六方面的第三种可能的实现方式,在第四种可能的实现方式中,所述第二数据传输接口,还用于:在基于所述第二处理器对所述视频采集装置进行初始化设置之后,将所述视频采集装置的采集能力参数发送至所述第一终端,所述采集能力参数用于表征所述视频采集装置采集所述视频数据时的工作参数;以及接收由所述第一终端发送的第二设置指令,其中,所述第二设置指令为所述第一终端基于所述第一应用程序以及所述采集能力参数所确定的设置指令;所述第二处理器,还用于:执行所述第二设置指令,以对所述视频采集装置进行设置。
通过在本发明实施例中提供的方法及装置可以实现:即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
附图说明
图1为本发明实施例一中传输数据方法的流程图;
图2a为本发明实施例一传输数据方法中数据传输模块集成于第一终端内部的示意图;
图2b为本发明实施例一传输数据方法中数据传输模块为一独立的应用程序的示意图;
图3为本发明实施例一传输方法中对第一终端和第二终端进行设备能力协商的流程图;
图4为本发明实施例一传输方法中对视频采集装置的采集参数进行设备的流程图;
图5为本发明实施例一传输方法中执行控制指令的流程图;
图6为本发明实施例一传输方法中第一终端和第二终端的显示内容示意图;
图7为本发明实施例二的传输数据方法的流程图;
图8为本发明实施例三中第一终端和第二终端交互的流程图;
图9为本发明实施例四中第一终端域第二终端交互的流程图;
图10为本发明实施例五中第一终端、第二终端与第三终端的交互示意图;
图11为本发明实施例六中传输数据的终端的结构图;
图12为本发明实施例七中传输数据的终端的结构图;
图13为本发明实施例八中终端的结构图;
图14为本发明实施例九中终端的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例一提供一种传输数据的方法,请参考图1,该方法具体包括如下步骤:
步骤S101:第一终端通过Wi-Fi Display协议将该第一终端上显示的内容实时传输到第二终端上显示;
步骤S102:该第一终端接收从该第二终端或第三终端通过回传通道发送的视频数据,其中,该视频数据为该第二终端或该第三终端通过视频采集装置采集的用户动作;
步骤S103:该第一终端解析该视频数据,根据该用户动作生成至少一个控制指令;
步骤S104:该第一终端执行该至少一个控制指令。
其中,步骤S101中,该第一终端也即是媒体源设备,例如:智能手机,平板电脑,笔记本电脑等小屏设备;而该第二终端则指的媒体展示设备,比如:智能电视,高清电视等大屏设备。
其中,步骤S102中,该用户动作例如为:手势动作、眼球动作或身体动作等等,本发明实施例不作限制。
其中,步骤S102中,基于向该第一终端传输该视频数据的终端的不同,在该第一终端通过Wi-Fi Display协议将该第一终端上显示的内容实时传输到第二终端上显示之前的初始化操作也不同,下面将分别进行介绍。
第一种,在该第一终端接收从该第二终端或第三终端通过回传通道发送的视频数据,具体为:该第一终端接收从该第二终端通过回传通道发送的视频数据时,在该第一终端通过Wi-Fi Display协议将该第一终端上显示的内容实时传输到第二终端上显示之前,该方法还包括:
该第一终端通过虚拟适配层和该第二终端进行设备能力协商,其中,该虚拟适配层存储有该第一终端上的N个应用程序信息,该N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
具体来讲,也就是在第一终端通过Wi-Fi Display协议将该第一终端上显示的内容实时传输到第二终端上显示时,直接通过该第二终端的视频采集装置采集获得该视频数据。由于这种情况下,该第一终端与该第二终端进行数据传输的协议为Wi-Fi Display协议,而这个协议仅仅能够实现两个终端之间的数据传输,而不能完成指令的转换,故而,有可能适用于该第一终端的指令并不适用于该第二终端,并且该第一终端如果需要通过第二终端采集获得用于对第一终端进行控制的视频数据,首先要初始化第二终端的视频采集装置,故而需要对该第一终端和该第二终端进行设备能力协商。
在具体实施过程中,在第一应用程序安装到该第一终端时或者在该第一应用程序在该第一终端上初次启动时,就可以向用于控制第一终端将第一终端上显示的内容实时传输到第二终端上显示的数据传输模块(例如为:Miracast模块)写入该第一应用程序所包含的相关参数信息,例如:应用程序的类型参数或能力类型信息,其中,应用程序的类型参数主要表征应用程序为什么功能的应用程序,比如:社交、新闻、游戏类;而能力类型信息则表明应用程序启动后需要哪些系统服务作为支撑,以应用程序为微博为例,那么可以调用摄像头、网络模块、手机位置信息等等。
在具体实施过程中,该数据传输模块可以通过多种方式设置于该第一终端,下面列举其中的两种方式,当然,在具体实施过程中,不限于以下两种方式。
第一种,请参考图2a,为数据传输模块集成于该第一终端内部的示意图,在图2a中,将数据传输模块20集成于操作系统21内部,其中,虚拟适配层22设置于应用程序23a、应用程序23b、应用程序23c与数据传输模块20之间,而在操作系统21底部则为介质访问控制层24和物理层25。
第二种,请参考图2b,为数据传输模块为一独立的应用程序的示意图。在图2b中,数据传输模块20为第三方开发的应用程序,数据传输模块20与应用程序23d、23e安装于该第一终端,虚拟适配层22设置于数据传输模块20与操作系统21之间,在操作系统21底部设置有介质访问控制层24和物理层25。
在具体实施过程中,该第一终端通过该虚拟适配层和该第二终端进行设备能力协商,请参考图3,具体又包括以下步骤:
步骤S301:该第一终端从该N个能力类型信息中读取该第一终端中当前处于数据显示的第一应用程序的第一能力类型信息,该第一能力类型信息中包含该第一应用程序可调用的视频采集装置信息;
步骤S302:该第一终端基于该第一能力类型信息确定该第二终端上用于采集该视频数据的视频采集装置;
步骤S303:该第一终端生成第一初始化指令,并发送该第一初始化指令给该第二终端,该第一初始化指令用于触发该第二终端对该视频采集装置进行初始化设置。
其中,步骤S301中,由于该数据传输模块20中存储有多个应用程序所对应的多个能力类型信息,故而可以直接在数据传输模块20中读取该第一应用程序所对应的第一应用程序类型。
其中,步骤S302中,由于该第一能力类型信息对应所述第一应用程序需要启动哪些系统服务作为支持,故而该第一能力类型信息包含有该第一应用程序可调用的视频采集装置信息,进而直接基于该第一能力类型信息就可以确定该第一应用程序所支持的视频采集装置,例如:该第二终端内置或者外接的摄像头。由于直接在虚拟适配层中就可以获取对该第一终端进行控制所需要初始化的视频采集装置,故而达到了对第一终端的控制更加方便的技术效果。
其中,步骤S303中,由于适用于该第一终端的初始化指令可能并不适用于该第二终端,故而可以首先基于该虚拟适配层将适用于该第一终端的初始化指令转换为适用于该第二终端的初始化指令,然后将转换后的初始化指令发送至该第二终端,进而通过该转换后的初始化指令对该视频采集装置进行初始化设置。
由于在上述设备能力协商过程中,需要确定采集视频数据的视频采集装置,而针对不同的应用程序其对应的视频采集装置可能不同,故而,通过该设备能力协商过程可以保证该视频数据中包含能够对第一应用程序进行控制的用户动作,达到了防止采集错误的用户动作的技术效果,进而对第一终端的控制更加精确。
在具体实施过程中,该第一终端上运行有多个应用程序,这些应用程序需要不同的用户动作进行控制,进而对应该视频采集装置的视频采集参数也不同,故而,在基于步骤S303生成第一初始化指令并发送至该第二终端之后,请参考图4,该方法还包括:
步骤S401:该第一终端接收由该第二终端发送至该第一终端的该视频采集装置的采集能力参数,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;
步骤S402:基于该第一应用程序以及该采集能力参数,生成对该视频采集装置进行设置的第一设置指令;
步骤S403:基于该虚拟适配层,将适用于该第一终端的该第一设置指令转换为适用于该第二终端的第二设置指令;
步骤S404:将该第二设置指令发送至该第二终端,该第二设置指令用于触发该第二终端基于该第二设置指令对该视频采集装置进行设置。其中,步骤S401中,该采集能力参数,例如为:摄像头采集视频每秒帧数(fps)或采集分辨率等等。
其中,步骤S402中,由于不同的应用程序所支持的用户动作并不相同,有的应用程序所支持的用户动作要求精度较高,比如:需要通过人脸识别、指纹识别来确定对应的控制指令的应用程序,故而可以将视频采集装置对应的采集参数的采集分辨率设置的较高;而有的应用程序所支持的用户动作要求精度较低,比如:通过轨迹来确定对应的控制指令的应用程序,故而可以将视频采集装置对应的采集参数的采集分辨率设置的较低等等。进而,对于用户动作精度要求较高的应用程序,保证其能够正常控制;而对于用户动作精度要求较低的应用程序,则能够降低视频信息所占有的传输空间。
其中,步骤S403中,由于适用于该第一终端的第一设置指令并不一定能被该第二终端所识别并响应,故而需要通过该虚拟适配层将该第一设置指令转换为该第二设置指令,以能够被该第二终端所识别并响应,从而完成对视频采集装置的设置。
第二种,在该第一终端接收从该第二终端或第三终端通过回传通道发送的视频数据,具体为:该第一终端接收从该第三终端通过回传通道发送的视频数据时,在该接收从该视频采集装置发送来的视频数据之前,该方法还包括:
搜索获得的M个独立的视频采集装置,其中,该M个视频采集装置与该第一终端支持相同的数据传输协议,基于该数据传输协议将适用于该第一终端的第一指令转换为适用于该第二终端的第二指令,M为大于等于1的整数;从该M个视频采集装置中确定该第三终端。
在具体实施过程中,该第一终端可以向其所在环境中发送一广播消息,用于搜索与其支持相同数据传输协议的视频采集装置,在该第一终端发送该广播消息之后,在环境中与该第一终端支持相同数据传输协议的视频采集装置就会产生一响应消息,进而该第一终端可以基于响应消息确定出与该第一终端支持相同数据传输协议的M个视频采集装置;
然后该第一终端就可以从该M个视频采集装置中确定出该第一视频采集装置,其中,可以通过用户的选择操作确定、也可以通过预先设置的选择条件确定,对此本申请实施例不作限制。
由于该数据传输协议可以将适用于该第一终端的第一指令转换为适用于该第二终端的第二指令,故而不需要通过第一终端来进行一个数据的转换过程,故而也就不需要在第一终端上设置额外的数据传输模块20,进而达到了降低电子设备的处理负担以及成本的技术效果。
其中,步骤S104中,执行该至少一个控制指令,请参考图5,可以进行以下操作:
步骤S501:该第一终端执行该至少一个控制指令,显示第一数据;以及
步骤S502:通过Wi-Fi Display协议将该第一数据实时传输到该第二终端上显示。
具体来讲,也就是先通过该至少一个控制指令对该第一终端上的显示内容进行一个处理,以获得第一数据,该处理可以为多种处理,例如:播放文件、暂停播放文件、打开图像等等;然后将该第一数据实时传输到第二终端上显示。
请参考图6,为一将第一终端上所显示的内容实时传输到第二终端的示意图,其中用户开启了手机60(也即:第一终端)上的一视频播放程序60a,进而该液晶电视61(也即:第二终端)的显示界面61a上也显示有该视频播放程序60a的镜像61b。
其中,步骤S502中,通过Wi-Fi Display协议将该第一数据实时传输到第二终端上显示,可以有多种控制方式,下面列举其中的两种进行介绍,当然,在具体实施过程中,并不限于以下两种方式。
①该通过Wi-Fi Display协议将该第一数据实时传输到第二终端上显示,包括:
通过Wi-Fi Display协议将该第一数据发送至该第二终端,以通过该第二终端显示该第一数据。
具体来讲,也就是将该第一数据传输至该第二终端,然后通过该第二终端的显示器显示该第一数据,例如:在该第一应用程序为电子书程序时,如果该至少一个控制指令为翻页控制指令,那么,先在该第一终端上对该电子书程序进行翻页,然后将翻页过后获得的第一数据传输至该第二终端;又例如:该第一应用程序为视频播放程序,如果该至少一个控制指令为暂停指令,那么暂停播放该第一应用程序所播放的视频文件,并将该第一终端的显示器所显示的第一数据发送至该第二终端等等。
②该通过Wi-Fi Display协议将该第一数据实时传输到第二终端上显示,包括:
通过Wi-Fi Display协议向该第二终端发送该至少一个控制指令对应的控制消息,该控制消息触发该第二终端执行该至少一个控制指令。
具体来讲,也就是并未向该第二终端发送数据,而仅仅是发送与该至少一个控制指令对应的控制消息,然后通过该控制消息触发该第二终端执行该至少一个控制指令,以使该第一终端和该第二终端的显示内容相同,例如:该第一应用程序为视频播放程序,该至少一个控制指令为暂停指令,那么,可以通过将该至少一个控制指令对应的控制消息发送至该第二终端,使该第二终端暂停播放视频文件,又或者通过该至少一个控制指令关闭该数据传输模块20,进而使该第一终端和该第二终端所显示的内容相同。
由于在上述方案中,仅仅需要通过该第二终端(媒体展示设备)或第三终端采集包含用户动作的视频数据,然后将该视频数据通过回传通道回传至媒体源设备,而通过媒体源设备将视频数据转换为能够控制媒体源设备的控制指令,故而,即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
实施例二
本申请实施例二提供一种传输数据的方法,请参考图7,该数据传输的方法具体包括如下步骤:
步骤S701:第二终端接收第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容,实时显示该第一终端上显示的内容;
步骤S702:该第二终端通过视频采集装置采集视频数据,其中,该视频数据中包含有用户动作;
步骤S703:该第二终端通过回传通道将该视频数据传输给该第一终端,以使该第一终端基于该视频数据,生成并执行至少一个控制指令。
其中,步骤S701中,该用户动作可以为多种动作,比如:手势动作、眼球动作或身体动作等等,本申请实施例不作限制。
该用户动作,包括:手势动作、眼球动作或身体动作。
可选的,在第二终端接收第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容,实时显示该第一终端上显示的内容之前,该方法还包括:
该第二终端与该第一终端进行设备能力协商。
可选的,该第二终端与该第一终端进行设备能力协商,包括:
该第二终端接收由该第一终端发送的初始化指令,对该视频采集装置进行初始化设置。
可选的,在该第二终端接收由该第一终端发送的初始化指令,对该视频采集装置进行初始化设置之后,该方法还包括:
该第二终端将该视频采集装置的采集能力参数发送至该第一终端,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;
该第二终端接收由该第一终端发送的第二设置指令,其中,该第二设置指令为该第一终端基于该第一应用程序以及该采集能力参数所确定的设置指令;
该第二终端执行该第二设置指令,以对该视频采集装置的采集参数进行设置。
由于本发明实施例二所介绍的传输数据的方法为与本发明实施例一中的传输数据的方法所对应的数据传输方法,基于本发明实施例一所介绍的传输数据的方法,本领域所属技术人员能够了解本发明实施例二所介绍的传输数据的方法的具体实施过程中,故而在此不再赘述。
由于在上述方案中,仅仅需要通过该第二终端(媒体展示设备)或第三终端采集包含用户动作的视频数据,然后将该视频数据通过回传通道回传至媒体源设备,而通过媒体源设备将视频数据转换为能够控制媒体源设备的控制指令,故而,即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
实施例三
为了使本领域所属技术人员能够进一步的了解本申请实施例一以及实施例二所介绍的传输数据方法,在本实施例中将基于第一终端与第二终端的交互,来介绍该传输数据方法。在本实施例中,将以该第一终端为手机A、该第二终端为液晶电视B为例。
请参考图8,该手机A与液晶电视B的交互具体包括如下步骤:
步骤S801:该手机A搜索支持Wi-Fi Display协议的电子设备,进而搜索出液晶电视B,然后建立与液晶电视B的UIBC(回传通道:User Interface Back Channel),此时手机A和液晶电视B的显示屏显示有一图像浏览应用程序;
步骤S802:基于手机A的初始化设置,液晶电视B启动摄像头,进而捕捉使用手机A的用户所产生的控制手势得到视频数据;
步骤S803:液晶电视B通过处理器将该视频数据转换为UIBC所能够传输的格式;
步骤S804:液晶电视B将经过格式转换的该视频数据通过UIBC发送至该手机A;
步骤S805:手机A接收到格式转换后的视频数据之后,从中提取出手机A能够处理的视频数据;
步骤S806:手机A从该视频数据中提取出控制手势,然后确定对应的控制指令,例如为:下一页指令;在提取出该下一个指令之后,手机A控制图像浏览应用程序翻到下一页;
步骤S807:手机A将图像浏览应用程序的数据通过Wi-Fi Display协议实时传输到第二终端上显示;
步骤S808:一个控制过程结束。
实施例四
在实施例三中,只是大概介绍了第一终端和第二终端之间的交互过程,在本实施例中,将结合虚拟适配层详解介绍其交互过程,还是以第一终端为手机A、第二终端为液晶电视B为例,手机A和液晶电视B都包括有摄像头,其中该手机A所接收到的视频数据位通过液晶电视B的摄像头所采集的视频数据。
其中,假设用户A通过手机A图像浏览操作,其中,图像浏览操作所对应的图像浏览应用程序支持手势控制功能,在某一时刻用户A希望将手机A上所浏览的图像镜像到液晶电视B,以供更多用户欣赏,那么通过手机A与液晶电视B的交互就可以实现这个共享过程。
请参考图9,该交互过程具体包括如下步骤:
步骤1a:P2P(点对点:Peer to Peer)设备发现请求,具体来讲也就是:手机A搜索一定区域内支持Miracast功能的电子设备,然后搜索出液晶电视B,手机A向液晶电视B发送一个建立连接请求;
步骤1b:液晶电视B接收到手机A发送的建立连接请求之后,产生一同意建立连接的应答消息;
步骤2a:由于液晶电视B向手机A发送了一同意建立连接的应答消息,故而手机A与液晶电视B之间成功建立连接;
步骤3a:手机A控制手机A与液晶电视B之间的UIBC进入使能状态;
步骤3b:液晶电视B接收到手机A的控制信息之后,就产生一个应答信息;
步骤4a:用户A启动图像浏览应用程序,而该图像浏览应用程序支持手势控制功能,该图像浏览应用程序首先会向手机A的操作系统注册自己所需要的权限和底层驱动API接口,也就是向手机A注册其所需要调用的硬件设备,比如:摄像头、光线传感器、温度传感器等等。而由于该图像浏览应用程序支持手势控制功能,故而其注册的底层驱动API接口应该为摄像头的接口。
步骤5a:初始化摄像头,由于手机A包括虚拟适配层,故而,在虚拟适配层中对应有图像浏览应用程序的第一能力类型信息,手机A首先从虚拟适配层读取该第一能力类型信息,而该第一能力类型信息就会有包含图像浏览应用程序支持手势控制功能这一信息。故而需要摄像头采集与用户手势对应的视频信息,进而,图像浏览应用程序就会对摄像头进行初始化操作。该手机A检测到运行有图像浏览应用程序时,会首先确定是否处于和液晶电视B通过UIBC进行数据传输的阶段,如果不处于这个阶段,那么,图像浏览应用程序初始化的就是手机A侧的摄像头,而如果处于这个阶段,那么,图像浏览应用程序初始化的就是液晶电视B侧的摄像头。
步骤6a:图像浏览应用程序与Miracast进行映射绑定,具体来讲,也就是如果该图像浏览应用程序初始化的是液晶电视B侧的摄像头,由于适用于手机A的初始化手机A并不一定适用于液晶电视B,故而需要通过该虚拟适配层将适用于手机A的初始化指令转换为适用于液晶电视B的初始化指令,进而对该液晶电视B的摄像头进行初始化设置。
步骤7a:手机A请求获得液晶电视B的摄像头的采集能力参数;
步骤7b:液晶电视B接收到手机A的请求信息之后,向手机A应答液晶电视B的摄像头的采集能力参数;
手机A的图像浏览应用程序和液晶电视B摄像头协商交互流程:
Query:
Example:
GET_PARAMETER rtsp://localhost/wfd1.0RTSP/1.0
CSeq:i+1
Content-Type:text/parameters
Content-Length:141
wfd_camera_capability
Answer:
Example:
RTSP/1.0 200OK
CSeq:i+1
Content-Length:290
Content-Type:text/parameters
wfd-camera-capability=“wfd_camera_capability:”SP CRLF;“none”if notsupported
input-cat=“GENERIC”/“HIDC”
inp-path=“Infrared”/“USB”/“BT”/“Zigbee”/“Wi-Fi”/“No-SP”;“No-SP”meansvendor specific
camera_pixel=“320*240”/“640*480”/“176*144”/“1280*720”
camera_fps=“9”/“15”/“30”/“60”
tcp-port=“port=”(“none”/IPPORT)
步骤6b:Miracast应答,也就是手机A向虚拟适配层返回液晶电视B的摄像头的采集能力参数;
步骤5b:虚拟设备层向图像浏览应用程序反馈对液晶电视B摄像头的初始化结果,也就是告知图像浏览应用程序液晶电视B的摄像头的采集能力参数;
步骤8a:图像浏览应用程序接收到液晶电视B的摄像头采集参数,图像采集应用程序就根据自身手势控制所需要的最适合的配置来设置液晶电视B的摄像头,例如:摄像头每秒采样帧率(fps)、摄像头采样分辨率等等,进而获得第一设置指令;
其中,下面为Android设置摄像头fps参数API接口:setPreviewFpsRange()。
步骤9a:将配置参数进行映射绑定,具体来讲,也就是将适用于手机A该第一设置指令转换为适用于该液晶电视B的第二设置指令;
步骤10a:手机A将上述第二设置指令发送液晶电视B,进而对液晶电视B的摄像头进行设置;
步骤10b:在液晶电视B的摄像头参数完毕之后,液晶电视B向手机A反馈一个设置成功的消息;
以下是步骤S10a-10b所进行的对液晶电视B的摄像头进行参数设置的一种代码实现方式:
Query:
Example:
SET_PARAMETER rtsp://localhost/wfd1.0RTSP/1.0
CSeq:i+1
Content-Type:text/parameters
Content-Length:141
wfd-camera-capability=“wfd_camera_capability:”SP CRLF;“none”if notsupported
input-cat=“GENERIC”
inp-path=
“Wi-Fi”
camera_pixel=“640*480”
camera_fps=“15”
tcp-port=“port=”(“none”/IPPORT)
Answer:
Example:
RTSP/1.0 200OK
CSeq:i+2
步骤9b:手机A将该设置成功的消息传输至虚拟适配层;
步骤8b:虚拟适配层将设置成功的消息传输至图像浏览应用程序;
步骤11a:基于前面的操作,手机A上的图像浏览应用程序就和液晶电视B上的摄像头建立了控制连接,并且,图像浏览应用程序已经基于自身手势控制的需要,采用了最适合的配置来设置了液晶电视B上的摄像头,进而就可以利用液晶电视B上的摄像头捕捉视频数据,并且发送至手机A,从而对图像浏览应用程序进行控制;
手机A在接收到该视频数据之后,就对该视频数据进行处理,进而提取出对应的控制手势,然后获取对应的控制指令,进而对图像浏览应用程序进行控制,例如:浏览下一页的图像;
步骤11b:通过UIBC将手机A的显示屏上所显示的下一页的图像投射至液晶电视B的显示屏进行显示。
实施例五
在本实施例中,将第一终端接收第三终端所采集的视频数据来介绍本发明实施例一和实施例二所介绍的传输数据的方法。
请参考图10,该交互过程具体包括如下步骤:
步骤91a:P2P(点对点:Peer to Peer)设备发现请求,具体来讲也就是:第一终端搜索一定区域内支持Miracast功能的电子设备,然后搜索出第二终端,第一终端向第二终端发送一个建立连接请求;
步骤91b:第二终端接收到第一终端发送的建立连接请求之后,产生一同意建立连接的应答消息;
步骤92a:第一终端和第二终端之间成功建立连接;
步骤93a:第一终端在环境中搜索与第一终端支持相同数据传输协议(比如:蓝牙协议、wifi协议)的视频采集装置,进而确定出从这些视频采集装置中确定出第三终端(即图10中的第一视频采集装置),其中通过该数据传输协议可以将适用于第一终端的控制指令转换为适用于第二终端的控制指令;
步骤93b:对第三终端进行初始化设置;
步骤93c:设置第三终端的视频采集装置;
步骤94:设置成功之后,第三终端向第一终端发送一消息;
步骤95:通过该第三终端采集获得用户动作,进而获得视频数据,并发送至第一终端,以使第一终端对该视频数据进行处理,进而获得控制指令,从而使该第一终端上显示第一数据;
步骤96:进行同屏数据传输,也就是使该第二终端上显示第一数据。
实施例六
本发明实施例六提供一种传输数据的终端,该终端为本发明实施例中所介绍的媒体源设备,请参考图11,该终端包括:
传输模块110,用于通过Wi-Fi Display协议将该终端上显示的内容实时传输到第二终端上显示;
接收模块111,用于接收从该第二终端或第三终端通过回传通道发送的视频数据,其中,该视频数据为该第二终端或该第三终端通过视频采集装置采集的用户动作;
解析模块112,用于解析该视频数据,根据该用户动作生成至少一个控制指令;
执行模块113,用于执行该至少一个控制指令。
可选的,该用户动作包括:手势动作、眼球动作或身体动作。
可选的,该终端还包括:显示模块,
该显示模块,用于在该执行模块执行该至少一个控制指令时,显示第一数据;
该传输模块110,还用于通过Wi-Fi Display协议将该第一数据实时传输到该第二终端上显示。
可选的,该传输模块110,具体用于:通过Wi-Fi Display协议将该第一数据发送至该第二终端,以通过该第二终端显示该第一数据;或
通过Wi-Fi Display协议向该第二终端发送该至少一个控制指令对应的控制消息,该控制消息触发该第二终端执行该至少一个控制指令。
可选的,该终端还包括:协商模块,用于在该传输模块通过Wi-Fi Display协议将该终端上显示的内容实时传输到第二终端上显示之前,通过虚拟适配层和该第二终端进行设备能力协商,其中,该虚拟适配层存储有该终端上的N个应用程序信息,该N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
可选的,该协商模块,包括:
读取单元,用于从该N个能力类型信息中读取该终端中当前处于数据显示的第一应用程序的第一能力类型信息,该第一能力类型信息中包含该第一应用程序可调用的视频采集装置信息;
确定单元,用于基于该第一能力类型信息确定该第二终端上用于采集该视频数据的视频采集装置;
生成单元,用于生成第一初始化指令;
发送单元,用于发送该生成单元生成的该第一初始化指令给该第二终端,该第一初始化指令用于触发该第二终端对该确定单元确定的该视频采集装置进行初始化设置。
可选的,该协商模块,还包括:接收单元和转换单元,
该接收单元,用于接收由该第二终端发送的该视频采集装置的采集能力参数,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;
该生成单元还用于基于该第一应用程序以及该接收单元接收到的该采集能力参数,生成对该视频采集装置进行设置的第一设置指令;
该转换单元,用于基于该虚拟适配层,将适用于该终端的该第一设置指令转换为适用于该第二终端的第二设置指令;
该发送单元还用于将该转换单元转换得到的该第二设置指令发送至该第二终端,该第二设置指令用于触发该第二终端基于该第二设置指令对该视频采集装置进行设置。
由于本发明实施例六所介绍的终端,为与本发明实施例一至五所介绍的方法所对应的媒体源设备,故而基于本发明实施例一至五所介绍的方法,本领域所属技术人员能够了解本发明实施例六所介绍的终端的具体结构及变形,故而在此不再赘述。
通过在上述方案提供的终端,可以实现:即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
实施例七
本发明实施例七提供一种传输数据的终端,该终端为本发明实施例一至五的方法中所介绍的媒体展示设备,请参考图12,该终端包括:
接收模块120,用于接收第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容;
显示模块121,用于实时显示该接收模块接收的该第一终端上显示的内容;
采集模块122,用于通过视频采集装置采集视频数据,其中,该视频数据中包含有用户动作;
传输模块123,用于通过回传通道将该视频数据传输给该第一终端,以使该第一终端基于该视频数据,生成并执行至少一个控制指令。
可选的,该用户动作,包括:手势动作、眼球动作或身体动作。
可选的,该终端还包括:
协商模块,用于在通过该接收模块接收该第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容之前,与该第一终端进行设备能力协商。
可选的,该协商模块包括:
接收单元:用于接收由该第一终端发送的初始化指令;
设置单元,用于根据该接收单元接收的初始化指令对该视频采集装置进行初始化设置;
发送单元,用于在该设置单元对该视频采集装置进行初始化设置之后,将该视频采集装置的采集能力参数发送至该第一终端,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;
该接收单元还用于接收由该第一终端发送的第二设置指令,其中,该第二设置指令为该第一终端基于该第一应用程序以及该采集能力参数所确定的设置指令;
该设置单元还用于基于该接收单元接收到的该第二设置指令,对该视频采集装置进行设置。
由于本发明实施例七所介绍的终端,为与本发明实施例一至五的所介绍的方法所对应的媒体展示设备,故而基于本发明实施例以至五所介绍的方法,本领域所属技术人员能够了解本发明实施例七所介绍的终端的具体结构及变形,故而在此不再赘述。
通过在上述方案提供的终端,可以实现:即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
实施例八
本发明实施例八提供一种终端,该终端为本发明实施例一至五所介绍的方法中所采用的媒体源设备,请参考图13,该终端包括:
第一数据传输接口130,用于通过Wi-Fi Display协议将该终端上显示的内容实时传输到第二终端上显示;以及
接收从该第二终端或第三终端通过回传通道发送的视频数据,其中,该视频数据为该第二终端或该第三终端通过视频采集装置采集的用户动作;
第一处理器131,连接于该第一数据传输接口130,用于解析该视频数据,根据该用户动作生成至少一个控制指令;以及
执行该至少一个控制指令。
可选的,该用户动作包括:手势动作、眼球动作或身体动作。
可选的,该第一处理器131,还用于:执行该至少一个控制指令,进而生成第一数据;并通过Wi-Fi Display协议将该第一数据实时传输到该第二终端上显示;
该终端还包括:显示器132,连接于该第一处理器131和该第一数据传输接口130,用于显示该第一数据。
可选的,该第一数据传输接口130,用于:
通过Wi-Fi Display协议将该第一数据发送至该第二终端,以通过该第二终端显示该第一数据;或
通过Wi-Fi Display协议向该第二终端发送该至少一个控制指令对应的控制消息,该控制消息触发该第二终端执行该至少一个控制指令。
可选的,在该第一数据传输接口130,还用于:接收从该第二终端通过回传通道发送的视频数据。
可选的,该第一处理器131还用于:在该第一数据传输接口130通过Wi-FiDisplay协议将该第一终端上显示的内容实时传输到第二终端上显示之前,通过虚拟适配层和该第二终端进行设备能力协商,其中,该虚拟适配层存储有该第一终端上的N个应用程序信息,该N个应用程序信息包括与N个应用程序中的每一个应用程序一一对应的N个能力类型信息,其中,N为大于等于1的整数。
可选的,该第一处理器131还用于:从该N个能力类型信息中读取该第一终端中当前处于数据显示的第一应用程序的第一能力类型信息,该第一能力类型信息中包含该第一应用程序可调用的视频采集装置信息;以及
基于该第一能力类型信息确定该第二终端上用于采集该视频数据的视频采集装置;以及
生成第一初始化指令,该第一初始化指令用于触发该第二终端对该视频采集装置进行初始化设置;
该第一数据传输接口130,还用于:将该第一初始化指令发送至该第二终端。
可选的,该第一数据传输接口130还用于:接收由该第二终端发送至该第一终端的该视频采集装置的采集能力参数,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;
该第一处理器131还用于:基于该第一应用程序以及该采集能力参数,生成对该视频采集装置进行设置的第一设置指令;
可选的,该第一处理器131还用于:基于该第一设置指令对该视频采集装置的进行设置。
可选的,该第一处理器131还用于:基于该虚拟适配层,将适用于该终端的第一设置指令转换为适用于该第二终端的第二设置指令;
该第一数据传输接口还用于:将该第二设置指令发送至该第二终端,该第二设置指令用于触发该第二终端基于该第二设置指令对该视频采集装置进行设置。
由于本发明实施例八所介绍的终端,为与本发明实施例一至五所介绍的方法所对应的媒体源设备,故而基于本发明实施例一至五所介绍的方法,本领域所属技术人员能够了解本发明实施例八所介绍的终端的具体结构及变形,故而在此不再赘述。
通过在上述方案提供的终端,可以实现:即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
实施例九
本发明实施例九提供一种终端,该终端为本发明实施例一至五所介绍的方法中所采用的媒体展示设备,请参考图14,该终端包括:
第二数据传输接口140,用于接收第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容;
显示器141,连接于该第二数据传输接口140,用于实时显示该第一终端上显示的内容;
视频采集装置142,连接于该第二数据传输接口140,用于采集视频数据,其中,该视频数据中包含有用户动作;
该第二数据传输接口140,还用于:通过回传通道将该视频数据传输给该第一终端,以使该第一终端基于该视频数据,生成并执行控制指令。
可选的,该用户动作,包括:手势动作、眼球动作或身体动作。
可选的,该终端还包括:第二处理器,连接于该第二数据传输接口140,显示器141和视频采集装置142,该第二处理器用于:
在该第二数据传输接口140接收第一终端通过Wi-Fi Display协议实时传输的该第一终端上显示的内容,在显示器141实时显示该第一终端上显示的内容之前,对该终端与该第一终端进行设备能力协商。
可选的,该第二数据传输接口140还用于:接收由该第一终端发送的初始化指令;
可选的,该第二处理器,还用于基于该初始化指令对该视频采集装置进行初始化设置。
可选的,该第二数据传输接口140还用于:在基于该第二处理器对该视频采集装置进行初始化设置之后,将该视频采集装置的采集能力参数发送至该第一终端,该采集能力参数用于表征该视频采集装置采集该视频数据时的工作参数;以及
接收由该第一终端发送的第二设置指令,其中,该第二设置指令为该第一终端基于该第一应用程序以及该采集能力参数所确定的设置指令;
该第二处理器还用于:执行该第二设置指令,以对该视频采集装置的采集参数进行设置。
通过在上述方案提供的终端,可以实现:即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
由于本发明实施例九所介绍的终端,为与本发明实施例一至五的所介绍的方法所采用的媒体展示设备,故而基于本发明实施例以至五所介绍的方法,本领域所属技术人员能够了解本发明实施例九所介绍的终端的具体结构及变形,故而在此不再赘述。
本申请提供的一个或多个技术方案,至少具有如下技术效果或优点:
(1)由于在本发明实施例中,在媒体源设备(也即:第一终端)通过Wi-Fi Display协议将该媒体源设备上显示的内容实时传输到媒体展示设备(也即:第二终端)上显示时,如果需要通过媒体展示设备或其它终端(比如:第三终端)对该媒体源设备进行控制的话,仅仅需要通过该媒体展示设备或第三终端采集包含用户动作的视频数据,然后将该视频数据通过回传通道回传至媒体源设备,进而通过媒体源设备将视频数据转换为能够控制媒体源设备的控制指令,也就是说,即使媒体展示设备上没有将手势转化为能够控制媒体源设备的控制指令的处理能力,只要媒体源设备具有将手势转化为该控制指令,也能够通过媒体展示设备所获得的手势来对控制媒体源设备。
(2)由于在本发明实施例中,在第一终端中设置有虚拟适配层,而虚拟适配层中包含第一终端中的所有应用程序的能力类型信息,进而基于此可以方便的确定第一应用程序所对应的第一能力类型信息,进而方便的确定出对该第一终端进行控制所需要初始化的视频采集装置,故而达到了控制更加方便的技术效果。
(3)由于在本申请实施例中,在第一终端所接收的视频数据为通过第二终端的视频采集装置所采集获得的视频数据时,在通过Wi-Fi Display协议将该第一终端上显示的内容实时传输到第二终端上显示之前,首先需要对第一终端和第二终端之间进行设备能力协商,从而确定出对应的视频采集装置,以保证能够够通过该视频采集装置采集获得该视频数据,由于针对不同的应用程序其对应的视频采集装置可能不同,故而,通过该设备能力协商过程可以保证该视频数据中包含能够对第一应用程序进行控制用户动作,达到了防止采集错误的用户动作的技术效果,进而对第一终端的控制更加精确。
(4)由于在发明请实施例中,在设备能力协商过程中,基于不同的应用程序,对应视频采集装置的视频采集参数并不相同,例如:对于手势精度要求较高的应用程序,将视频采集装置的采样分辨率设置较高,而对于手势精度要求较低的应用程序,将视频采集装置的采样分辨率设置的较低,因而,对于手势精度要求较高的应用程序,保证其能够正常控制;而对于手势精度要求较低的应用程序,则能够降低视频数据所占有的传输空间。
(5)由于在本申请实施例中,在设备能力协商过程中,在产生对视频采集装置的采集参数进行设置的第一设置指令之后,还可以将适用于第一终端的第一设置指令转换为适用于第二终端的第二设置指令,故而能够保证该第二设置指令能被该第二终端所识别并响应,进而使该第二终端能够成功采集获得该视频数据,完成对该第一终端的控制。
本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。