远程呈现端点的能力交互方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种远程呈现端点的能力交互方法及装置、数据流。
背景技术
目前基于H.323的视频会议类产品中,采用H.245进行能力协商的时候,只能对传统的视频会议类端点能力进行协商,无法对远程呈现端点的能力进行协商。具体表现在能力交互时,只能对传统视频会议端点的编解码能力进行交互,无法对远程呈现端点新增的媒体流接收以及发送能力进行交互。打开逻辑通道时,也只能对逻辑通道的编解码属性进行指定,无法对逻辑通道的媒体流属性,编解码属性,复用属性,以及这些远程呈现端点能力属性之间的绑定关系进行指定。
针对相关技术中的协商方法无法对远程呈现端点的能力集进行协商的问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种远端呈现端点的能力交互方法及装置、数据流,以至少解决上述问题。
根据本发明的一个方面,提供了一种远端呈现端点的能力交互方法,包括:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,其中,所述能力交互的消息中携带有所述远程呈现端点发送能力集;所述第一远程呈现端点接收第二远程呈现端点的模式请求消息;所述第一远程呈现端点根据所述能力交互的结果和接收到的所述模式请求信息打开所述第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第一模式请求消息,其中,所述第一模式请求消息中携带有所述第一远程呈现端点的发送参数;
所述第一远程呈现端点向所述第二远程呈现端点发送的第二模式请求消息,其中,所述第二模式请求消息中携带有所述第二远程呈现端点的发送参数;
所述第一远程呈现端点根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第一逻辑通道请求,其中,所述第一逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第二逻辑通道请求,其中,所述第二逻辑通道请求是所述第二远程呈现端点根据所述第一模式请求对应的模式请求过程的结果确定的,所述第二逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的三模式请求消息,其中,所述第三模式请求消息中携带有所述第一远程呈现端点的发送参数;
所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点向所述第二远程呈现端点发送的第四模式请求消息,其中,所述第四模式请求消息中携带有所述第二远程呈现端点的发送参数;
所述第一远程呈现端点根据所述第四模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第三逻辑通道请求,其中,所述第三逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第四逻辑通道请求,其中,所述第四逻辑通道请求是所述第二远程呈现端点根据所述第一模式请求对应的模式请求过程的结果确定的,所述第四逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二能力集交互请求对应的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一模式请求消息之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第一模式请求消息对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三模式请求消息之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第三模式请求消息对应的响应消息。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送的第二模式请求消息之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二模式请求消息的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送的第四模式请求消息之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四模式请求消息的响应消息。
优选地,在所述第一远程呈现端点根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第一逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一逻辑通道请求对应的响应消息;
在所述第一远程呈现端点根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第三逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第二逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第二逻辑通道请求对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第四逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第四逻辑通道请求对应的响应消息。
优选地,所述远程呈现端点发送能力集包括捕获参数,其中,所述捕获参数包括通用参数、视频参数和/或音频参数。
优选地,所述通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/ 或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述;
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
根据本发明的另一方面,提供了一种远端呈现端点的能力交互装置,应用于第一远程呈现端点,包括:交互模块,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,其中,所述能力交互的消息中携带有所述远程呈现端点发送能力集;第一接收模块,用于接收第二远程呈现端点的模式请求消息;处理模块,用于根据所述能力交互的结果和接收到的所述模式请求信息打开所述第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道。
优选地,所述交互模块包括:
第一发送模块,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第二接收模块,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第三接收模块,用于接收所述第二远程呈现端点发送的第一模式请求消息,其中,所述第一模式请求消息中携带有所述第一远程呈现端点的发送参数;
第二发送模块,用于向所述第二远程呈现端点发送的第二模式请求消息,其中,所述第二模式请求消息中携带有所述第二远程呈现端点的发送参数;
第三发送模块,用于根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第一逻辑通道请求,其中,所述第一逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第四接收模块,用于接收所述第二远程呈现端点发送的第二逻辑通道请求,其中,所述第二逻辑通道请求是所述第二远程呈现端点根据所述第一模式请求对应的模式请求过程的结果确定的,所述第二逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块包括:
第四发送模块,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第五接收模块,用于接收所述第二远程呈现端点发送的第三模式请求消息,其中,所述第三模式请求消息中携带有所述第一远程呈现端点的发送参数;
第六接收模块,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第五发送模块,用于向所述第二远程呈现端点发送的第四模式请求消息,其中,所述第四模式请求消息中携带有所述第二远程呈现端点的发送参数;
第六发送模块,用于根据所述第四模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第三逻辑通道请求,其中,所述第三逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第七接收模块,用于接收所述第二远程呈现端点发送的第四逻辑通道请求,其中,所述第四逻辑通道请求是所述第二远程呈现端点根据所述第一模式请求对应的模式请求过程的结果确定的,所述第四逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,还包括:
第八接收模块,用于在第一发送模块向所述第二远程呈现端点发送第一能力集交互请求之后,接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求对应的响应消息;
第九接收模块,用于在第四发送模块向所述第二远程呈现端点发送第三能力集交互请求之后,接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求对应的响应消息。
优选地,还包括:
第七发送模块,用于在所述第二接收模块接收第二远程呈现端点发送的第二能力集交互请求之后,向所述第二远程呈现端点发送对应于所述第二能力集交互请求对应的响应消息;
第八发送模块,用于在所述第六接收模块接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请求对应的响应消息。
优选地,还包括:
第九发送模块,用于在所述第三接收模块接收所述第二远程呈现端点发送的第一模式请求消息之后,向所述第二远程呈现端点发送对应于所述第一模式请求消息对应的响应消息;
第十发送模块,用于在所述第五接收模块接收所述第二远程呈现端点发送的第三模式请求消息之后,向所述第二远程呈现端点发送对应于所述第三模式请求消息对应的响应消息。
优选地,还包括:
第十一发送模块,用于在所述第二发送模块向所述第二远程呈现端点发送的第二模式请求消息之后,向所述第二远程呈现端点发送对应于所述第二模式请求消息的响应消息;
第十二发送模块,用于在所述第五发送模块向所述第二远程呈现端点发送的第四模式请求消息之后,向所述第二远程呈现端点发送对应于所述第四模式请求消息的响应消息。
优选地,还包括:
第十接收模块,用于在所述第三发送模块根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第一逻辑通道请求之后,接收所述第二远程呈现端点发送的对应于所述第一逻辑通道请求对应的响应消息;
第十一接收模块,用于在所述第六发送模块根据所述第二模式请求消息对应的模式请求过程的结果,向所述第二远程呈现端点发送第三逻辑通道请求之后,接收所述第二远程呈现端点发送的对应于所述第三逻辑通道请求对应的响应消息。
优选地,还包括:
第十三发送模块,用于在所述第四接收模块所述第一远程呈现端点接收所述第二远程呈现端点发送的第二逻辑通道请求之后,向所述第二远程呈现端点发送所述第二逻辑通道请求对应的响应消息;
第十四发送模块,用于在所述第七接收模块接收所述第二远程呈现端点发送的第四逻辑通道请求之后,向所述第二远程呈现端点发送所述第四逻辑通道请求对应的响应消息。
根据本发明的另一方面,提供了一种远端呈现端点的能力交互装置,包括:
根据本发明的另一方面,提供了一种数据流,包括:远程呈现端点能力集,其中所述远程呈现端点能力集包括:发送能力集,所述发送能力集包括:捕获参数,所述捕获参数包括:通用参数、视频参数和/或音频参数。
优选地,所述通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/ 或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述;
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
通过本发明,实现了远程呈现终端的能力交互,提高了用户体验度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的远端呈现端点的能力交互方法的流程图;
图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图;
图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图;
图4是根据本发明实施例的远端呈现端点的协商方法的流程图一;
图5是根据本发明实施例的远端呈现端点的协商方法的流程图二;
图6是根据本发明实施例的远端呈现端点的协商方法的流程图三;
图7是根据本发明实施例的远端呈现端点的协商方法的流程图四;
图8是根据本发明实施例的远端呈现端点的协商方法的流程图五;
图9是根据本发明实施例的远端呈现端点的协商方法的流程图六;
图10是根据本发明实施例的远端呈现端点的协商方法的流程图七;
图11是根据本发明实施例的远端呈现端点的协商方法的流程图八;
图12是根据本发明实施例的远端呈现端点的协商方法的流程图九;
图13是根据本发明实施例的远端呈现端点的协商方法的流程图十;
图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一;
图15是根据本发明实施例的远端呈现端点的协商方法的流程图十二;
图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三;
图17是根据本发明实施例的远程呈现端点能力集的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本实施例提供了一种远程呈现端点的能力交互方法,图1是根据本发明实施例的远端呈现端点的能力交互方法的流程图,如图1所示,该方法包括如下步骤S102至步骤S106。
步骤S102:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,能力交互的消息中携带有远程呈现端点能力集,其中,能力交互的消息中携带有远程呈现端点发送能力集。
步骤S104:第一远程呈现端点接收第二远程呈现端点的模式请求消息。
步骤S106:第一远程呈现端点根据能力交互的结果和接收到的模式请求信息打开第一远程呈现端点和第二远程呈现端点之间的逻辑通道。
作为一个较优的实施方式,步骤S102可以通过如下两种方式进行实施。
方式一
该方式包括如下子步骤S1至步骤S11。
步骤S1:第一远程呈现端点向第二远程呈现端点发送第一能力集交互请求,其中,第一能力集交互请求中携带有第一远程呈现端点的第一发送能力集;
步骤S3:第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,第二能力集交互请求中携带有第二远程呈现端点的第二发送能力集;
步骤S5:第一远程呈现端点接收第二远程呈现端点发送的第一模式请求消息,其中,第一模式请求消息中携带有第一远程呈现端点的发送参数;
步骤S7:第一远程呈现端点向第二远程呈现端点发送的第二模式请求消息,其中,第二模式请求消息中携带有第二远程呈现端点的发送参数;
步骤S9:第一远程呈现端点根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第一逻辑通道请求,其中,第一逻辑通道请求用于请求第一远程呈现端点打开第一远程呈现端点至第二远程呈现端点之间的前向逻辑通道;
步骤S11:第一远程呈现端点接收第二远程呈现端点发送的第二逻辑通道请求,其中,第二逻辑通道请求是第二远程呈现端点根据第一模式请求对应的模式请求过程的结果确定的,第二逻辑通道请求用于请求第二远程呈现端点打开第二远程呈现端点到第一远程呈现端点之间的前向逻辑通道。
方式二:
该方式包括如下子步骤S2至步骤S12。
步骤S2:第一远程呈现端点向第二远程呈现端点发送第三能力集交互请求,其中,第三能力集交互请求中携带有第一远程呈现端点的第一发送能力集;
步骤S4:第一远程呈现端点接收第二远程呈现端点发送的三模式请求消息,其中,第三模式请求消息中携带有第一远程呈现端点的发送参数;
步骤S6:第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,第四能力集交互请求中携带有第二远程呈现端点的第二发送能力集;
步骤S8:第一远程呈现端点向第二远程呈现端点发送的第四模式请求消息,其中,第四模式请求消息中携带有第二远程呈现端点的发送参数;
步骤S10:第一远程呈现端点根据第四模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第三逻辑通道请求,其中,第三逻辑通道请求用于请求第一远程呈现端点打开第一远程呈现端点至第二远程呈现端点之间的前向逻辑通道;
步骤S12:第一远程呈现端点接收第二远程呈现端点发送的第四逻辑通道请求,其中,第四逻辑通道请求是第二远程呈现端点根据第一模式请求对应的模式请求过程的结果确定的,第四逻辑通道请求用于请求第二远程呈现端点打开第二远程呈现端点到第一远程呈现端点之间的前向逻辑通道。
作为一个较优的实施方式,在第一远程呈现端点向第二远程呈现端点发送第一能力集交互请求之后,还包括:第一远程呈现端点接收第二远程呈现端点发送的对应于第一能力集交互请求对应的响应消息。
在第一远程呈现端点向第二远程呈现端点发送第三能力集交互请求之后,还包括:第一远程呈现端点接收第二远程呈现端点发送的对应于第三能力集交互请求对应的响应消息。
作为一个较优的实施方式,在第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第二能力集交互请求对应的响应消息;
在第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第四能力集交互请求对应的响应消息。
作为一个较优的实施方式,在第一远程呈现端点接收第二远程呈现端点发送的第一模式请求消息之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第一模式请求消息对应的响应消息;
在第一远程呈现端点接收第二远程呈现端点发送的第三模式请求消息之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第三模式请求消息对应的响应消息。
作为一个较优的实施方式,在第一远程呈现端点向第二远程呈现端点发送的第二模式请求消息之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第二模式请求消息的响应消息;
在第一远程呈现端点向第二远程呈现端点发送的第四模式请求消息之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第四模式请求消息的响应消息。
作为一个较优的实施方式,在第一远程呈现端点根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第一逻辑通道请求之后,还包括:第一远程呈现端点接收第二远程呈现端点发送的对应于第一逻辑通道请求对应的响应消息;
在第一远程呈现端点根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第三逻辑通道请求之后,还包括:第一远程呈现端点接收第二远程呈现端点发送的对应于第三逻辑通道请求对应的响应消息。
作为一个较优的实施方式,在第一远程呈现端点接收第二远程呈现端点发送的第二逻辑通道请求之后,还包括:第一远程呈现端点向第二远程呈现端点发送第二逻辑通道请求对应的响应消息;
在第一远程呈现端点接收第二远程呈现端点发送的第四逻辑通道请求之后,还包括:第一远程呈现端点向第二远程呈现端点发送第四逻辑通道请求对应的响应消息。
作为一个较优的实施方式,远程呈现端点发送能力集包括捕获参数,其中,捕获参数包括通用参数、视频参数和/或音频参数。
优选地,通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;媒体捕获内容表示媒体捕获的用途;场景描述用于提供整体场景的描述;
优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;视频捕获数量用于表示视频捕获的数量。
优选地,视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;捕获点,用于指示在捕获场景中,视频捕获的位置;捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于指示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;最大视频帧速率,该参数表明了最大视频帧率。
优选地,音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;音频捕获数量用于指示音频捕获的数量。
优选地,音频捕获空间信息包括:捕获区域和/或捕获点,其中,捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,音频捕获编码信息包括:音频信道格式和/或最大音频带宽;音频信道格式,用于指示音频信道的属性;最大音频带宽,用于指示单一音频编码的每秒最大比特数。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在另外一个实施例中,还提供了一种远程呈现端点的能力交互软件,该软件用于执行上述实施例及优选实施例中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述远程呈现端点的能力交互装置,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
本发明实施例还提供了一种远程呈现端点的能力交互装置,应用于第一远程呈现端点,该远程呈现端点的能力交互装置可以用于实现上述远程呈现端点的能力交互方法及优选实施方式,已经进行过说明的,不再赘述,下面对该远程呈现端点的能力交互装置中涉及到的模块进行说明。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统和方法较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图,如图2所示,该装置包括:交互模块22,第一接收模块24,处理模块26,下面对上述结构进行详细描述。
交互模块22,用于和第二远程呈现端点之间进行能力交互,其中,能力交互的消息中携带有远程呈现端点能力集,其中,能力交互的消息中携带有远程呈现端点发送能力集;第一接收模块24,用于接收第二远程呈现端点的模式请求消息;处理模块26,连接至交互模块22 和处理模块26,用于根据能力交互的结果和接收到的模式请求信息打开第一远程呈现端点和第二远程呈现端点之间的逻辑通道。
图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图,如图3所示,该装置的优选结构描述如下:
交互模块22包括:
第一发送模块220,用于向第二远程呈现端点发送第一能力集交互请求,其中,第一能力集交互请求中携带有第一远程呈现端点的第一发送能力集;
第二接收模块221,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,第二能力集交互请求中携带有第二远程呈现端点的第二发送能力集;
第三接收模块222,用于接收第二远程呈现端点发送的第一模式请求消息,其中,第一模式请求消息中携带有第一远程呈现端点的发送参数;
第二发送模块223,用于向第二远程呈现端点发送的第二模式请求消息,其中,第二模式请求消息中携带有第二远程呈现端点的发送参数;
第三发送模块224,用于根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第一逻辑通道请求,其中,第一逻辑通道请求用于请求第一远程呈现端点打开第一远程呈现端点至第二远程呈现端点之间的前向逻辑通道;
第四接收模块225,用于接收第二远程呈现端点发送的第二逻辑通道请求,其中,第二逻辑通道请求是第二远程呈现端点根据第一模式请求对应的模式请求过程的结果确定的,第二逻辑通道请求用于请求第二远程呈现端点打开第二远程呈现端点到第一远程呈现端点之间的前向逻辑通道。
优选地,交互模块22包括:
第四发送模块226,用于向第二远程呈现端点发送第三能力集交互请求,其中,第三能力集交互请求中携带有第一远程呈现端点的第一发送能力集;
第五接收模块227,用于接收第二远程呈现端点发送的第三模式请求消息,其中,第三模式请求消息中携带有第一远程呈现端点的发送参数;
第六接收模块228,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,第四能力集交互请求中携带有第二远程呈现端点的第二发送能力集;
第五发送模块229,用于向第二远程呈现端点发送的第四模式请求消息,其中,第四模式请求消息中携带有第二远程呈现端点的发送参数;
第六发送模块230,用于根据第四模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第三逻辑通道请求,其中,第三逻辑通道请求用于请求第一远程呈现端点打开第一远程呈现端点至第二远程呈现端点之间的前向逻辑通道;
第七接收模块231,用于接收第二远程呈现端点发送的第四逻辑通道请求,其中,第四逻辑通道请求是第二远程呈现端点根据第一模式请求对应的模式请求过程的结果确定的,第四逻辑通道请求用于请求第二远程呈现端点打开第二远程呈现端点到第一远程呈现端点之间的前向逻辑通道。
优选地,上述装置还包括:
第八接收模块31,连接至第一发送模块220,在第一发送模块向第二远程呈现端点发送第一能力集交互请求之后,接收第二远程呈现端点发送的对应于第一能力集交互请求对应的响应消息;
第九接收模块32,连接至第四发送模块226,在第四发送模块226向第二远程呈现端点发送第三能力集交互请求之后,接收第二远程呈现端点发送的对应于第三能力集交互请求对应的响应消息。
优选地,上述装置还包括:
第七发送模块33,连接至第二接收模块221,在第二接收模块221接收第二远程呈现端点发送的第二能力集交互请求之后,向第二远程呈现端点发送对应于第二能力集交互请求对应的响应消息;
第八发送模块34,连接至第六接收模块228,在第六接收模块228接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:第一远程呈现端点向第二远程呈现端点发送对应于第四能力集交互请求对应的响应消息。
优选地,上述装置还包括:
第九发送模块35,连接至第三接收模块222,在第三接收模块222接收第二远程呈现端点发送的第一模式请求消息之后,向第二远程呈现端点发送对应于第一模式请求消息对应的响应消息;
第十发送模块36,连接至第五接收模块227,在第五接收模块227接收第二远程呈现端点发送的第三模式请求消息之后,向第二远程呈现端点发送对应于第三模式请求消息对应的响应消息。
优选地,上述装置还包括:
第十一发送模块37,连接至第二发送模块223,用于在第二发送模块223向第二远程呈现端点发送的第二模式请求消息之后,向第二远程呈现端点发送对应于第二模式请求消息的响应消息;
第十二发送模块38,连接至第五发送模块229,用于在第五发送模块229向第二远程呈现端点发送的第四模式请求消息之后,向第二远程呈现端点发送对应于第四模式请求消息的响应消息。
优选地,上述装置还包括:
第十接收模块39,连接至第三发送模块224,用于在第三发送模块224根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第一逻辑通道请求之后,接收第二远程呈现端点发送的对应于第一逻辑通道请求对应的响应消息;
第十一接收模块40,连接至第六发送模块230,用于在第六发送模块230根据第二模式请求消息对应的模式请求过程的结果,向第二远程呈现端点发送第三逻辑通道请求之后,接收第二远程呈现端点发送的对应于第三逻辑通道请求对应的响应消息。
第十三发送模块41,连接至第四接收模块225,第四接收模块用于在第四接收模块225 第一远程呈现端点接收第二远程呈现端点发送的第二逻辑通道请求之后,向第二远程呈现端点发送第二逻辑通道请求对应的响应消息;
第十四发送模块42,连接至第七接收模块231,用于在第七接收模块231接收第二远程呈现端点发送的第四逻辑通道请求之后,向第二远程呈现端点发送第四逻辑通道请求对应的响应消息。
本实施例提供了一种数据流,远程呈现端点能力集,其中远程呈现端点能力集包括:发送能力集,发送能力集包括:捕获参数,捕获参数包括:通用参数、视频参数和/或音频参数。
优选地,通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;媒体捕获内容表示媒体捕获的用途,该属性包括媒体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述用于提供整体场景的描述,例如文字描述。
优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;视频捕获数量用于表示视频捕获的数量。
优选地,视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;捕获点,用于指示在捕获场景中,视频捕获的位置;捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于指示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;最大视频帧速率,该参数表明了最大视频帧率。
优选地,音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;音频捕获数量用于指示音频捕获的数量。
优选地,音频捕获空间信息包括:捕获区域和/或捕获点,其中,捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,音频捕获编码信息包括:音频信道格式和/或最大音频带宽;音频信道格式,用于指示音频信道的属性;最大音频带宽,用于指示单一音频编码的每秒最大比特数。
优选地,远程呈现端点能力集包括:远程呈现端点对称能力集,远程呈现端点对称能力集包括:捕获渲染参数,捕获渲染参数包括:通用参数、视频参数和/或音频参数。
优选地,通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空间信息和/ 或通用编码信息;媒体捕获渲染内容表示媒体捕获和/或渲染的用途,该属性包括媒体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述用于提供整体场景的描述;
优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获渲染,以保证捕获渲染一起来自同一个端点场所,部分切换策略用于指示不同的捕获渲染可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。
优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,全部最大带宽用于指示捕获渲染端点发送和/或接收到的预设类型的全部码流每秒最大数量的比特率;全部的每秒最大像素数用于表示由端点发送和/或接收到的编码组中全部独立编码的每秒最大像素数;全部的每秒最大宏块数表示由端点发送和/或接收到的全部视频码流每秒最大宏块数。
优选地,视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视频捕获渲染编码信息;视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
优选地,视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获渲染线上的点,其中,捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染场景中的所处的空间位置;捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获和/或渲染的位置;捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点的空间位置,且第一个点为捕获和/或渲染点。
优选地,视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于指示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;最大视频帧速率,该参数表明了最大视频帧率。
优选地,音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音频捕获渲染编码信息;音频捕获渲染数量用于指示音频捕获渲染的数量。
优选地,音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其中,捕获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空间位置;捕获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
优选地,音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;音频信道格式,用于指示音频信道的属性;最大音频带宽,用于指示涉及单一音频编码的每秒最大比特数。
优选地,远程呈现端点能力集包括:作为一个较优的实施方式,远程呈现端点能力集包括:远程呈现端点接收能力集,其包括:渲染参数,渲染参数包括:通用参数、视频参数和/ 或音频参数。
优选地,通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,媒体渲染内容用于表示渲染端点需要的捕获内容的属性,该属性包括媒体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述,用于提供整体场景的描述;场景切换策略,用于指示所支持的媒体切换策略,
优选地,场景切换策略包括场所切换策略和/或部分切换策略,其中,场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
优选地,通用空间信息:包括场景区域和/或区域刻度参数,其中,场景区域参数用于表示与端点相关的整体场景的范围,区域刻度用于表示空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
优选地,视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,视频渲染数量用于表示视频渲染的数量;视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
优选地,视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;最大视频帧速率,该参数用于表示最大视频帧率。
优选地,音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,音频渲染数量用于表示音频渲染的数量;音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
优选地,音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,音频信道格式,用于表示音频信道的属性;最大音频带宽,用于表示单一音频编码的每秒最大比特数。
优选实施例一
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
在本实施例中,提供了协商方式A,图4是根据本发明实施例的远端呈现端点的协商方法的流程图一,如图4所示,协商方式包括能力集交互以及逻辑通道打开两部分。包括如下步骤S401和步骤S402:
步骤S401:能力集交互:两个远程呈现端点之间进行能力交互,携带远程呈现端点能力集。
步骤S402:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面结合实例进行描述。
在本实施例中提供了协商方式A-1,图5是根据本发明实施例的远端呈现端点的协商方法的流程图二,如图5所示。该协商方式能力集交互消息中携带的能力集为接收能力集,接收能力集包含端点接收能力相关参数,包括如下步骤S501和步骤S502。
步骤S501:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集参数。
步骤S502:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
图6是根据本发明实施例的远端呈现端点的协商方法的流程图三,如图6所示该种协商方式中的能力集交互以及逻辑通道打开流程可以包括如下步骤S601至步骤S608。
步骤S601:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的接收能力集。
步骤S602:端点B回复端点A能力集交互响应消息;
步骤S603:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的接收能力集;
步骤S604:端点A回复端点B能力集交互响应消息;
步骤S605:端点B根据端点A的接收能力,结合自己的发送能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S606:端点A向端点B回复打开逻辑通道响应消息;
步骤S607:端点A根据端点B的接收能力,结合自己的发送能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S608:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图6中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例二
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-2,该协商方式能力集交互消息中携带的能力集为对称能力集,对称能力集表示该端点的接收能力集和发送能力集一致。图7是根据本发明实施例的远端呈现端点的协商方法的流程图四,如图7所示,该方法包括步骤S701和步骤S702。
步骤S701:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点对称能力集参数。
步骤S702:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
图8是根据本发明实施例的远端呈现端点的协商方法的流程图五,如图8所示,该种协商方式中的能力集交互以及逻辑通道打开流程包括如下步骤S801至步骤S808。
步骤S801:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的对称能力集;
步骤S803:端点B回复端点A能力集交互响应消息;
步骤S804:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的对称能力集;
步骤S804:端点A回复端点B能力集交互响应消息;
步骤S805:端点B根据端点A的对称能力,结合自己的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S806:端点A向端点B回复打开逻辑通道响应消息;
步骤S807:端点A根据端点B的对称能力,结合自己的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S808:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图8中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例三
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-3,该协商方式能力集交互消息中携带的能力集为发送能力集,发送能力集包含端点发送能力相关参数。图9是根据本发明实施例的远端呈现端点的协商方法的流程图六,如图9所示,该方法包括步骤S901和步骤S902。
步骤S901:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点发送能力集参数。
步骤S902:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面结合实例进行说明。
实例一:
该实例提供了协商方式A-3-1,图10是根据本发明实施例的远端呈现端点的协商方法的流程图七,如图10所示,该方式在能力交互响应消息中返回选择后的参数,包括如下步骤S101 至步骤S108。
步骤S101:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的发送能力集;
步骤S102:端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中选择的参数;
步骤S103:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的发送能力集;
步骤S104:端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中选择的参数;
步骤S105:端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S106:端点B向端点A回复打开逻辑通道响应消息;
步骤S107:端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S108:端点A向端点B回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图10中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
实例二:
该实例提供了协商方式A-3-2,如图11所示,该方式在能力集交互响应消息中不携带选择参数,在打开逻辑通道请求中请求打开的是反向逻辑通道,包括如下步骤S111至步骤S118。
步骤S111:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的发送能力集;
步骤S112:端点B回复端点A能力集交互响应消息;
步骤S113:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的发送能力集;
步骤S114:端点A回复端点B能力集交互响应消息;
步骤S115:端点B根据端点A的发送能力,结合自己的接收能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的反向逻辑通道;
步骤S116:端点A向端点B回复打开逻辑通道响应消息;
步骤S117:端点A根据端点B的发送能力,结合自己的接收能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的反向逻辑通道;
步骤S118:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图11中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例四
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-4,该协商方式能力集交互消息中携带的能力集为接收能力集和发送能力集。接收能力集包含端点接收能力相关参数,发送能力集包含端点发送能力相关参数。如图12所示,包括如下步骤S1201和步骤S1202。
步骤S1201:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集和发送能力集参数。
步骤S1202:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面通过实例进行说明。
实例一
本实例描述了协商方式A-4-1,如图13所示,该协商方式在能力集交互时同时携带接收能力集以及发送能力集,包括如下步骤S1301至步骤S1308。
步骤S1301:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集和发送能力集;
步骤S1302:端点B回复端点A能力集交互响应消息;
步骤S1303:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集和发送能力集;
步骤S1304:端点A回复端点B能力集交互响应消息;
步骤S1305:端点B根据端点A的能力,结合自己的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S1306:端点A向端点B回复打开逻辑通道响应消息;
步骤S1307:端点A根据端点B的能力,结合自己的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S1308:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则.图13中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再打开两边的逻辑通道,或者1、2、5、6、3、4、7、8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
实例二
图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一,在本实施例中描述了协商方式A-4-2,如图14所示,该方式在能力集交互请求消息中作为接收端的接受能力集要依赖作为发送端的发送能力集形成,包括如下步骤S1401至步骤S1412。
S1401:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A的发送能力集;
S1402:端点B回复端点A能力集交互响应消息;
S1403:端点B根据端点A的发送能力以及自己的接收需要,向端点A发起能力交互请求消息,消息中携带端点B的接收能力集;
S1404:端点A回复端点B能力集交互响应消息;
S1405:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B的发送能力集;
S1406:端点A回复端点B能力集交互响应消息;
S1407:端点A根据端点B的发送能力以及自己的接收需要,向端点B发起能力交互请求消息,消息中携带端点A的接收能力集;
S1408:端点B回复端点A能力集交互响应消息;
S1409:端点A根据端点B的接收能力集,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
S1410:端点B向端点A回复打开逻辑通道响应消息;
S1411:端点B根据端点A的接收能力集,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
S1412:端点A向端点B回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,前两对发送和接收能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图14中描述的消息发送的顺序还可以是 1、3、5、7、2、4、6、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、3、4、9、10、5、6、7、8、11、12,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例五
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
在本实施例中,协商方式能力集交互消息中携带的能力集为发送能力集。分如下三个步骤:
步骤S1501:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集和发送能力集参数。
步骤S1502:模式请求:接收端根据发送端的发送能力集请求特定的发送模式。
步骤S1503:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面通过实例进行详细说明。
实例一
图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三,如16所示,该方法包括如下步骤S1601至步骤S1612。
步骤S1601:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的发送能力集;
步骤S1602:端点B回复端点A能力集交互响应消息。
步骤S1603:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的发送能力集。
步骤S1604:端点A回复端点B能力集交互响应消息。
步骤S1605:远程呈现端点B向远程呈现端点A发起模式请求消息,请求特定的发送模式,模式中携带端点A的发送参数。
步骤S1606:端点A回复端点B模式请求响应消息。
步骤S1607:远程呈现端点A向远程呈现端点B发起模式请求消息,请求特定的发送模式,模式中携带端点B的发送参数。
步骤S1608:端点B回复端点A模式请求响应消息。
步骤S1609:端点A根据模式请求过程的结果,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道。
步骤S1610:端点B向端点A回复打开逻辑通道响应消息;
步骤S1611:端点B根据模式请求过程的结果,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道。
步骤S1612:端点A向端点B回复打开逻辑通道响应消息。
优选地,其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对模式请求消息之前,第一对模式请求消息在第一对逻辑通道打开消息之前。按照这种规则,图16中描述的消息发送的顺序还可以是1、2、5、6、3、4、7、8、9、10、11、12,或者1、2、5、6、9、10、3、4、7、8、11、12。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例五
本优选实施例提供了一种远程呈现端点能力集参数,图17是根据本发明实施例的远程呈现端点能力集的示意图,如图17所示,分为发送能力集和接收能力集。下面进行详细描述。
需要说明的是,图中以及上述实施例中列出描述的只是较为重要的参数,并不代表全部的参数。在能力交互消息中传递的参数并非要包括下面全部的参数,可以根据需要实际组合。
发送能力集中主要包括捕获相关参数,捕获相关参数中包括通用参数,视频参数和音频参数。发送能力集中的其它参数可以用来包含相关技术中的编码标准,例如H.263、H.264等。
具体地,通用参数用来描述场景相关参数和通用编码相关参数。其中场景相关参数包括场景描述,场景切换策略,场景区域,度量信息;通用编码相关参数包括最大带宽,每秒最大宏块数、编码标准等。
具体地,视频参数用来描述组成捕获场景的各个独立视频的属性。视频参数主要包括视频捕获空间信息,视频捕获编码信息,视频捕获的数量,视频内容属性,视频切换策略,视频组合策略等参数。其中视频捕获空间信息包括捕获区域,捕获点,捕获线上的一点;视频捕获编码信息包括该视频捕获的最大视频带宽,每秒最大宏块数,最大视频分辨率宽度,最大视频分辨率高度,最大视频帧率。
具体地,音频参数用来描述组成捕获场景的各个独立音频的属性。音频参数主要包括音频捕获空间信息,音频捕获编码信息,音频捕获数量等参数。其中音频捕获空间信息包括捕获区域,捕获点,捕获线上的一点;音频捕获编码信息包括该音频捕获的音频信道格式,最大音频带宽。
优选地,接收能力集和发送能力集相对应,渲染相关参数和捕获相关参数对应。
具体地,接收能力集中主要包括渲染相关参数,渲染相关参数中包括通用参数,视频参数和音频参数。接收能力集中的其它参数可以用来包含解码标准,例如H.263、H.264等。
具体地,通用参数用来描述场景相关参数和通用解码相关参数。其中场景相关参数包括场景描述,场景切换策略,场景区域,度量信息等;通用解码相关参数包括最大带宽,每秒最大宏块数,解码标准等。
具体地,视频参数用来描述组成渲染场景的各个独立视频的属性。视频参数主要包括视频渲染空间信息,视频渲染解码信息,视频渲染的数量,内容属性,自动切换策略,组合策略等参数。其中视频渲染空间信息包括渲染区域,渲染点,渲染线上的一点;视频渲染解码信息包括该视频渲染的最大视频带宽,每秒最大宏块数,最大视频分辨率宽度,最大视频分辨率高度,最大视频帧率。
具体地,音频参数用来描述组成渲染场景的各个独立音频的属性。音频参数主要包括音频渲染空间信息,音频渲染解码信息,音频渲染数量等参数。其中音频渲染空间信息包括渲染区域,渲染点,渲染线上的一点;音频渲染解码信息包括该音频渲染的音频信道格式,最大音频带宽。
优选地,远程呈现端点指定的逻辑通道属性,主要包括该通道用来传送的媒体相关信息,编解码信息等,如果需要复用该逻辑通道,需要指定通道复用信息。
优选实施例六
在本实施例中是优选实施例中的协商方式A-1的优选实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程,其中端点A具备3个摄像头,3个显示器, 1个麦克风,1个扬声器,端点B具备3个摄像头,3个显示器,1个麦克风,1个扬声器。端点A或/和端点B也可以是MCU设备。该方法包括如下步骤S1702至步骤S1716。
步骤S1702:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集。
接收能力集包含的渲染相关参数中的视频参数分别为:
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR3的视频渲染空间信息表示为左,视频内容属性为最大声发言者,视频渲染解码信息中的最大视频带宽为4M,自动切换属性为YES;
渲染标识为VR4的视频渲染空间信息表示为中,视频内容属性为全景视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR5的视频渲染空间信息表示为右,视频内容属性为VIP,视频渲染解码信息中的最大视频带宽为4M;
接收能力集包含的渲染相关参数中的音频参数为:
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声;
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3、VR4、VR5组成,场景描述为渲染最大声发言者、全景、VIP视频,编解码标准为H.264,最大带宽为12M;
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1704:端点B回复端点A能力集交互响应消息;
步骤S1706:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集;
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声;
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M。
场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1708:端点A回复端点B能力集交互响应消息。
步骤S1710:端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点A接收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1712:端点A向端点B回复打开逻辑通道响应消息;
步骤S1714:端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1716:端点B向端点A回复打开逻辑通道响应消息。
优选实施例七
本优选实施例是优选实施例协商方式A-1的优选实施例之一,描述的是远程呈现端点A 和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、1个显示器、1个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该方法包括如下步骤S1802至步骤S1816。
步骤S1802:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集。
优选地,接收能力集包含的渲染相关参数中的视频参数分别为:
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR3的视频渲染空间信息表示为中,视频内容属性为全景视频,视频渲染解码信息中的最大视频带宽为4M。
优选地,接收能力集包含的渲染相关参数中的音频参数为:
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声。
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M。
场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1804:端点B回复端点A能力集交互响应消息。
步骤S1806:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集。
渲染标识为VR0的场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声。
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1808:端点A回复端点B能力集交互响应消息。
步骤S1810:端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点A接收能力集中的场景2和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H.264编码,最大带宽为4M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1812:端点A向端点B回复打开逻辑通道响应消息。
步骤S1814:端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H.264编码,最大带宽为12M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1816:端点B向端点A回复打开逻辑通道响应消息。
优选实施例八
本优选实施例是协商方式A-2的优选实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备3个摄像头、3个显示器、1 个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。本优选实施例包括如下步骤S1902至步骤S1916。
步骤S1902:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的对称能力集;
对称能力集包含的渲染/捕获相关参数中的视频参数分别为:
渲染/捕获标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染 /捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染 /捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染 /捕获编解码信息中的最大视频带宽为4M;
接收能力集包含的渲染相关参数中的音频参数为:
渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最大带宽为 128K,音频信道格式为立体声;
对称能力集包含的渲染/捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M;
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1904:端点B回复端点A能力集交互响应消息;
步骤S1906:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的对称能力集;
渲染/捕获标识为VR0的视频渲染/捕获空间信息表示为左,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR1的视频渲染/捕获空间信息表示为中,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR2的视频渲染/捕获空间信息表示为右,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最大带宽为 128K,音频信道格式为立体声;
接收能力集包含的渲染/捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染/捕获左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由AR0组成,场景描述为渲染/捕获主音频,编解码标准为G.711,最大带宽为128K。
步骤S1908:端点A回复端点B能力集交互响应消息;
步骤S1910:端点B根据端点A的对称能力,结合自己的能力,决定发送端点A接收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1912:端点A向端点B回复打开逻辑通道响应消息;
步骤S1914:端点A根据端点B的对称能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1916:端点B向端点A回复打开逻辑通道响应消息。
优选实施例九
本优选实施例是协商方式A-3-1的最佳实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备 3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、1个显示器、1 个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该优选实施例包括如下步骤S2002至步骤S2016。
步骤S2002:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的发送能力集;
发送能力集包含的捕获相关参数中的视频参数分别为:
捕获标识为VR0的视频捕获空间信息表示为左,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR1的视频捕获空间信息表示为中,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR2的视频捕获空间信息表示为右,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR3的视频内容属性为全景,视频捕获编码信息中的最大视频带宽为4M;
接收能力集包含的捕获相关参数中的音频参数为:
捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K,音频信道格式为立体声;
发送能力集包含的捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为捕获左、中、右视频,编编码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3组成,场景描述为捕获全景视频,编编码标准为H.264,最大带宽为4M;
场景标识为3的场景由AR0组成,场景描述为捕获主音频,编编码标准为G.711,最大带宽为128K。
步骤S2004:端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中选择的参数:场景2和场景3中的媒体;
步骤S2006:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的发送能力集;
发送能力集包含的捕获相关参数中的视频参数分别为:
捕获标识为VR0的场景描述为捕获全景视频,编码标准为H.264,最大带宽为4M;
捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K,音频信道格式为立体声;
发送能力集包含的捕获相关参数中的通用参数为:
场景标识为1的场景由VR0组成,场景描述为捕获全景视频,编码标准为H.264,最大带宽为4M;
场景标识为2的场景由AR0组成,场景描述为捕获主音频,编码标准为G.711,最大带宽为128K。
步骤S2008:端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中选择的参数:场景1和场景2中的媒体;
步骤S2010:端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道。指定的通道属性为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H.264编码,最大带宽为4M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S2012:端点B向端点A回复打开逻辑通道响应消息;
步骤S2014:端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H.264编码,最大带宽为12M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S2016:端点A向端点B回复打开逻辑通道响应消息。
需要说明的是,其它方法的对应实施例和上述实施例类似。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。