CN104219486B - 远程呈现端点的能力交互方法及装置 - Google Patents

远程呈现端点的能力交互方法及装置 Download PDF

Info

Publication number
CN104219486B
CN104219486B CN201310214096.7A CN201310214096A CN104219486B CN 104219486 B CN104219486 B CN 104219486B CN 201310214096 A CN201310214096 A CN 201310214096A CN 104219486 B CN104219486 B CN 104219486B
Authority
CN
China
Prior art keywords
endpoint
long
range
presented
capability set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310214096.7A
Other languages
English (en)
Other versions
CN104219486A (zh
Inventor
王亮
叶小阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongka Digital Technology Kunshan Co ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201310214096.7A priority Critical patent/CN104219486B/zh
Priority to PCT/CN2014/075202 priority patent/WO2014190812A1/zh
Publication of CN104219486A publication Critical patent/CN104219486A/zh
Application granted granted Critical
Publication of CN104219486B publication Critical patent/CN104219486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种远程呈现端点的能力交互方法及装置、数据流,该方法包括:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,能力交互的消息中携带有远程呈现端点能力集,远程呈现端点能力集包括:远程呈现端点接收能力集和远程呈现端点发送能力集;第一远程呈现端点根据能力交互的结果打开第一远程呈现端点和第二远程呈现端点之间的逻辑通道。通过本发明,实现了远程呈现端点的能力交互,提高了用户体验度。

Description

远程呈现端点的能力交互方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种远程呈现端点的能力交互方法及装置、数据流。
背景技术
目前基于H.323的视频会议类产品中,采用H.245进行能力协商的时候,只能对传统的视频会议类端点能力进行协商,无法对远程呈现端点的能力进行协商。具体表现在能力交互时,只能对传统视频会议端点的编解码能力进行交互,无法对远程呈现端点新增的媒体流接收以及发送能力进行交互。打开逻辑通道时,也只能对逻辑通道的编解码属性进行指定,无法对逻辑通道的媒体流属性,编解码属性,复用属性,以及这些远程呈现端点能力属性之间的绑定关系进行指定。
针对相关技术中的协商方法无法对远程呈现端点的能力集进行协商的问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种远端呈现端点的能力交互方法及装置、数据流,以至少解决上述问题。
根据本发明的一个方面,提供了一种远端呈现端点的能力交互方法,包括:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集;所述第一远程呈现端点根据所述能力交互的结果打开所述第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第二逻辑通道请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第一逻辑通道请求对应的响应消息。
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二能力集交互请求的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请求的响应消息。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集;
所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第二接收能力集确定的,所述第八逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五能力集交互请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第九能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第六能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第六能力集交互请求对应的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第十能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第七能力集交互请求对应的响应消息;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第十一能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十一能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求之后,还包括:所述第一远程呈现端点接收第二远程呈现端点发送对应于所述第八能力集交互请求的响应消息;
在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第十二能力集交互请求的响应消息。
优选地,在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送的第五逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五逻辑通道请求对应的响应消息;
在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第七逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第八逻辑通道请求对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第六逻辑通道请求对应的响应消息。
优选地,所述远程呈现端点接收能力集包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数。
优选地,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
优选地,所述场景切换策略包括场所切换策略和/或部分切换策略,其中,所述场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,所述部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
优选地,所述通用空间信息:包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于表示与端点相关的整体场景的范围,所述区域刻度用于表示空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;所述全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
优选地,所述第一视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,所述视频渲染数量用于表示视频渲染的数量;所述视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
优选地,所述视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数用于表示最大视频帧率。
优选地,所述第一音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,所述音频渲染数量用于表示音频渲染的数量;所述音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
优选地,所述音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,所述音频信道格式,用于表示音频信道的属性;所述最大音频带宽,用于表示单一音频编码的每秒最大比特数。
优选地,所述远程呈现端点发送能力集包括:捕获参数,所述捕获参数包括:第二通用参数、第二视频参数和/或第二音频参数。
优选地,所述第二通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述。
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由端点发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述第二视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述第二音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
根据本发明的另一方面,提供了一种远端呈现端点的能力交互装置,应用于第一远程呈现端点,包括:交互模块,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集;处理模块,用于根据所述能力交互的结果打开所述第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道。
优选地,所述交互模块包括:
第一发送模块,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第一接收模块,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第二接收模块,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第二发送模块,用于向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块包括:
第三发送模块,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第三接收模块,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第四接收模块,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第四发送模块,用于向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块包括:
第五发送模块,用于向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第五接收模块,用于接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第六接收模块,用于接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第六发送模块,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集;
第七发送模块,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第七接收模块,用于接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块包括:
第八发送模块,用于向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第八接收模块,用于接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第九发送模块,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第九接收模块,用于接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第十发送模块,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集;
第十接收模块,用于接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第二接收能力集确定的,所述第八逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
根据本发明的又一方面,还提供了一种数据流,包括:远程呈现端点接收能力集和远程呈现端点发送能力集,其中所述远程呈现端点接收能力包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数,所述远程呈现端点发送能力包括:捕获参数,所述捕获参数包括:第二通用参数、第二视频参数和/或第二音频参数。
优选地,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
优选地,所述场景切换策略包括场所切换策略和/或部分切换策略,其中,所述场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,所述部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
优选地,所述通用空间信息:包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于表示与端点相关的整体场景的范围,所述区域刻度用于表示空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;所述全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
优选地,所述第一视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,所述视频渲染数量用于表示视频渲染的数量;所述视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
优选地,所述视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数用于表示最大视频帧率。
优选地,所述第一音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,所述音频渲染数量用于表示音频渲染的数量;所述音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
优选地,所述音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,所述音频信道格式,用于表示音频信道的属性;所述最大音频带宽,用于表示单一音频编码的每秒最大比特数。
优选地,所述第二通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述。
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述第二视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述第二音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
通过本发明,实现了远程呈现终端的能力交互,提高了用户体验度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的远端呈现端点的能力交互方法的流程图;
图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图;
图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图;
图4是根据本发明实施例的远端呈现端点的协商方法的流程图一;
图5是根据本发明实施例的远端呈现端点的协商方法的流程图二;
图6是根据本发明实施例的远端呈现端点的协商方法的流程图三;
图7是根据本发明实施例的远端呈现端点的协商方法的流程图四;
图8是根据本发明实施例的远端呈现端点的协商方法的流程图五;
图9是根据本发明实施例的远端呈现端点的协商方法的流程图六;
图10是根据本发明实施例的远端呈现端点的协商方法的流程图七;
图11是根据本发明实施例的远端呈现端点的协商方法的流程图八;
图12是根据本发明实施例的远端呈现端点的协商方法的流程图九;
图13是根据本发明实施例的远端呈现端点的协商方法的流程图十;
图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一;
图15是根据本发明实施例的远端呈现端点的协商方法的流程图十二;
图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三;
图17是根据本发明实施例的远程呈现端点能力集的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本实施例提供了一种远程呈现端点的能力交互方法,图1是根据本发明实施例的远端呈现端点的能力交互方法的流程图,如图1所示,该方法包括如下步骤S102至步骤S106。
步骤S102:第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,能力交互的消息中携带有远程呈现端点能力集,其中,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集。
步骤S104:第一远程呈现端点根据能力交互的结果打开第一远程呈现端点和第二远程呈现端点之间的逻辑通道。
作为一个较优的实施方式,步骤S102可以通过如下两种方式进行实施。
方式一:
该方式包括如下步骤:
优选地,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
步骤S1:所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
步骤S3:所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
步骤S5:所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
步骤S7:所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
方式二:
该方式包括如下步骤:
步骤S2:所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
步骤S4:所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
步骤S6:所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
步骤S8:所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第二逻辑通道请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第一逻辑通道请求对应的响应消息。
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二能力集交互请求的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请求的响应消息。
方式三:
该方式包括如下步骤:
步骤S10:所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集。
步骤S30:所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集。
步骤S50:所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集。
步骤S70:所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集。
步骤S90:所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
步骤S110:所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
方式四:
步骤S20:所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集。
步骤S40:所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集。
步骤S60:所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
步骤S80:所述第一远程呈现端点接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集。
步骤S100:所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集。
步骤S120:所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第一逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五能力集交互请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第九能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第六能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第六能力集交互请求对应的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第十能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第七能力集交互请求对应的响应消息;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第十一能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十一能力集交互请求对应的响应消息。
优选地,在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求之后,还包括:所述第一远程呈现端点接收第二远程呈现端点发送对应于所述第八能力集交互请求的响应消息;
在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第十二能力集交互请求的响应消息。
优选地,在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送的第五逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五逻辑通道请求对应的响应消息;
在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第七逻辑通道请求对应的响应消息。
优选地,在所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第八逻辑通道请求对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第六逻辑通道请求对应的响应消息。
优选地,所述远程呈现端点接收能力包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数。
优选地,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
优选地,所述场景切换策略包括场所切换策略和/或部分切换策略,其中,所述场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,所述部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
优选地,所述通用空间信息:包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于表示与端点相关的整体场景的范围,所述区域刻度用于表示空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;所述全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
优选地,所述第一视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,所述视频渲染数量用于表示视频渲染的数量;所述视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
优选地,所述视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数用于表示最大视频帧率。
优选地,所述第一音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,所述音频渲染数量用于表示音频渲染的数量;所述音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
优选地,所述音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,所述音频信道格式,用于表示音频信道的属性;所述最大音频带宽,用于表示单一音频编码的每秒最大比特数。
优选地,所述远程呈现端点发送能力集包括:捕获参数,所述捕获参数包括:第二通用参数、第二视频参数和/或第二音频参数。
优选地,所述第二通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述。
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由端点发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述第二视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述第二音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
图2是根据本发明实施例的远端呈现端点的能力交互装置的结构框图,如图2所示,该装置包括:交互模块22,处理模块24,下面对上述结构进行详细描述。
交互模块22,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集;处理模块24,连接至交互模块22,用于根据交互结果打开所述第二远程呈现端点之间的逻辑通道。
图3是根据本发明实施例的远端呈现端点的能力交互装置的优选的结构框图,下面对优选结构进行详细说明。
所述交互模块22包括:
第一发送模块221,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第一接收模块222,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第二接收模块223,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第二发送模块224,用于向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块22包括:
第三发送模块225,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第三接收模块226,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第四接收模块227,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第四发送模块228,用于向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块22包括:
第五发送模块229,用于向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第五接收模块230,用于接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第六接收模块231,用于接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第六发送模块232,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集;
第七发送模块233,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第七接收模块234,用于接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
优选地,所述交互模块22包括:
第八发送模块235,用于向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第八接收模块236,用于接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第九发送模块237,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第九接收模块238,用于接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第十发送模块239,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集;
第十接收模块240,用于接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第一逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
根据本发明的又一方面,还提供了一种数据流,包括:远程呈现端点接收能力集和远程呈现端点发送能力集,其中所述远程呈现端点接收能力包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数,所述远程呈现端点发送能力包括:捕获参数,所述捕获参数包括:第二通用参数、第二视频参数和/或第二音频参数。
优选地,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
优选地,所述场景切换策略包括场所切换策略和/或部分切换策略,其中,所述场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,所述部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
优选地,所述通用空间信息:包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于表示与端点相关的整体场景的范围,所述区域刻度用于表示空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;所述全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
优选地,所述第一视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,所述视频渲染数量用于表示视频渲染的数量;所述视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
优选地,所述视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数用于表示最大视频帧率。
优选地,所述第一音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,所述音频渲染数量用于表示音频渲染的数量;所述音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
优选地,所述音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,所述音频信道格式,用于表示音频信道的属性;所述最大音频带宽,用于表示单一音频编码的每秒最大比特数。
优选地,所述第二通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述。
优选地,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
优选地,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
优选地,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由终端发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
优选地,所述第二视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
优选地,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
优选地,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
优选地,所述第二音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
优选地,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
优选地,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
作为一个较优的实施方式,远程呈现端点能力集还包括:对称能力集,对称能力集包括:捕获渲染参数,捕获渲染参数包括:第三通用参数、第三视频参数和/或第三音频参数。
优选地,第三通用参数包括媒体捕获渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;媒体捕获渲染内容表示媒体捕获和/或渲染的用途,该属性包括媒体捕获视角,媒体的表示的角色,媒体是否为辅流内容,媒体相关语言;场景描述用于提供整体场景的描述;
优选地,场景切换策略用于指示所支持媒体切换策略,其中,支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,场所切换策略用于指示同时切换全部的捕获渲染,以保证捕获渲染一起来自同一个端点场所,部分切换策略用于指示不同的捕获渲染可以在不同的时间切换,并且来自相同的和/或不同的远程呈现端点。
优选地,通用空间信息包括场景区域和/或区域刻度参数,其中,场景区域参数用于指示与端点相关的整体场景的范围,区域刻度表明了空间信息参数采用的刻度的种类。
优选地,通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,全部最大带宽用于指示捕获渲染端点发送和/或接收到的预设类型的全部码流每秒最大数量的比特率;全部的每秒最大像素数用于表示由端点发送和/或接收到的编码组中全部独立编码的每秒最大像素数;全部的每秒最大宏块数表示由端点发送和/或接收到的全部视频码流每秒最大宏块数。
优选地,第三视频参数包括:视频捕获渲染数量、视频捕获渲染空间信息和/或视频捕获渲染编码信息;视频捕获渲染数量用于表示视频捕获和/或渲染的数量。
优选地,视频捕获渲染空间信息包括捕获渲染区域、捕获渲染点和/或捕获渲染线上的点,其中,捕获渲染区域用于表示该视频捕获渲染在整体捕获和/或渲染场景中的所处的空间位置;捕获渲染点,用于指示在捕获和/或渲染场景中,视频捕获和/或渲染的位置;捕获渲染线上的点,描述了捕获和/或渲染设备光轴上的第二个点的空间位置,且第一个点为捕获和/或渲染点。
优选地,视频捕获渲染编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,最大视频带宽,用于指示单一视频编码的每秒最大比特数;每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;最大视频帧速率,该参数表明了最大视频帧率。
优选地,第三音频参数包括音频捕获渲染数量、音频捕获渲染空间信息和/或音频捕获渲染编码信息;音频捕获渲染数量用于指示音频捕获渲染的数量。
优选地,音频捕获渲染空间信息包括:捕获渲染区域和/或捕获渲染点,其中,捕获渲染区域,用于表示音频捕获和/或渲染在整体捕获和/或渲染场景所处的空间位置;捕获渲染点,用于表示在捕获和/或渲染场景中,音频捕获和/或渲染的位置。
优选地,音频捕获渲染编码信息包括:音频信道格式和/或最大音频带宽;音频信道格式,用于指示音频信道的属性;最大音频带宽,用于指示涉及单一音频编码的每秒最大比特数。
优选实施例一
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
在本实施例中,提供了协商方式A,图4是根据本发明实施例的远端呈现端点的协商方法的流程图一,如图4所示,协商方式包括能力集交互以及逻辑通道打开两部分。包括如下步骤S401和步骤S402:
步骤S401:能力集交互:两个远程呈现端点之间进行能力交互,携带远程呈现端点能力集。
步骤S402:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面结合实例进行描述。
在本实施例中提供了协商方式A-1,图5是根据本发明实施例的远端呈现端点的协商方法的流程图二,如图5所示。该协商方式能力集交互消息中携带的能力集为接收能力集,接收能力集包含端点接收能力相关参数,包括如下步骤S501和步骤S502。
步骤S501:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集参数。
步骤S502:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
图6是根据本发明实施例的远端呈现端点的协商方法的流程图三,如图6所示该种协商方式中的能力集交互以及逻辑通道打开流程可以包括如下步骤S601至步骤S608。
步骤S601:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的接收能力集。
步骤S602:端点B回复端点A能力集交互响应消息;
步骤S603:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的接收能力集;
步骤S604:端点A回复端点B能力集交互响应消息;
步骤S605:端点B根据端点A的接收能力,结合自己的发送能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S606:端点A向端点B回复打开逻辑通道响应消息;
步骤S607:端点A根据端点B的接收能力,结合自己的发送能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S608:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图6中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例二
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-2,该协商方式能力集交互消息中携带的能力集为对称能力集,对称能力集表示该端点的接收能力集和发送能力集一致。图7是根据本发明实施例的远端呈现端点的协商方法的流程图四,如图7所示,该方法包括步骤S701和步骤S702。
步骤S701:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点对称能力集参数。
步骤S702:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
图8是根据本发明实施例的远端呈现端点的协商方法的流程图五,如图8所示,该种协商方式中的能力集交互以及逻辑通道打开流程包括如下步骤S801至步骤S808。
步骤S801:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的对称能力集;
步骤S803:端点B回复端点A能力集交互响应消息;
步骤S804:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的对称能力集;
步骤S804:端点A回复端点B能力集交互响应消息;
步骤S805:端点B根据端点A的对称能力,结合自己的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S806:端点A向端点B回复打开逻辑通道响应消息;
步骤S807:端点A根据端点B的对称能力,结合自己的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S808:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图8中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例三
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-3,该协商方式能力集交互消息中携带的能力集为发送能力集,发送能力集包含端点发送能力相关参数。图9是根据本发明实施例的远端呈现端点的协商方法的流程图六,如图9所示,该方法包括步骤S901和步骤S902。
步骤S901:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点发送能力集参数。
步骤S902:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面结合实例进行说明。
实例一:
该实例提供了协商方式A-3-1,图10是根据本发明实施例的远端呈现端点的协商方法的流程图七,如图10所示,该方式在能力交互响应消息中返回选择后的参数,包括如下步骤S101 至步骤S108。
步骤S101:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的发送能力集;
步骤S102:端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中选择的参数;
步骤S103:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的发送能力集;
步骤S104:端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中选择的参数;
步骤S105:端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S106:端点B向端点A回复打开逻辑通道响应消息;
步骤S107:端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S108:端点A向端点B回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图10中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
实例二:
该实例提供了协商方式A-3-2,如图11所示,该方式在能力集交互响应消息中不携带选择参数,在打开逻辑通道请求中请求打开的是反向逻辑通道,包括如下步骤S111至步骤S118。
步骤S111:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A 的发送能力集;
步骤S112:端点B回复端点A能力集交互响应消息;
步骤S113:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B 的发送能力集;
步骤S114:端点A回复端点B能力集交互响应消息;
步骤S115:端点B根据端点A的发送能力,结合自己的接收能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的反向逻辑通道;
步骤S116:端点A向端点B回复打开逻辑通道响应消息;
步骤S117:端点A根据端点B的发送能力,结合自己的接收能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的反向逻辑通道;
步骤S118:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图11中描述的消息发送的顺序还可以是1、3、2、4、5、6、7、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、5、6、3、4、7、 8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例四
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
本优选实施例提供了协商方式A-4,该协商方式能力集交互消息中携带的能力集为接收能力集和发送能力集。接收能力集包含端点接收能力相关参数,发送能力集包含端点发送能力相关参数。如图12所示,包括如下步骤S1201和步骤S1202。
步骤S1201:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集和发送能力集参数。
步骤S1202:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面通过实例进行说明。
实例一
本实例描述了协商方式A-4-1,如图13所示,该协商方式在能力集交互时同时携带接收能力集以及发送能力集,包括如下步骤S1301至步骤S1308。
步骤S1301:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集和发送能力集;
步骤S1302:端点B回复端点A能力集交互响应消息;
步骤S1303:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集和发送能力集;
步骤S1304:端点A回复端点B能力集交互响应消息;
步骤S1305:端点B根据端点A的能力,结合自己的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S1306:端点A向端点B回复打开逻辑通道响应消息;
步骤S1307:端点A根据端点B的能力,结合自己的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S1308:端点B向端点A回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则。图13中描述的消息发送的顺序还可以是1、3、2、4、 5、6、7、8,端点A和B先互相交互能力集后再打开两边的逻辑通道,或者1、2、5、6、3、4、7、8,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
实例二
图14是根据本发明实施例的远端呈现端点的协商方法的流程图十一,在本实施例中描述了协商方式A-4-2,如图14所示,该方式在能力集交互请求消息中作为接收端的接受能力集要依赖作为发送端的发送能力集形成,包括如下步骤S1401至步骤S1412。
S1401:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点A的发送能力集;
S1402:端点B回复端点A能力集交互响应消息;
S1403:端点B根据端点A的发送能力以及自己的接收需要,向端点A发起能力交互请求消息,消息中携带端点B的接收能力集;
S1404:端点A回复端点B能力集交互响应消息;
S1405:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点B的发送能力集;
S1406:端点A回复端点B能力集交互响应消息;
S1407:端点A根据端点B的发送能力以及自己的接收需要,向端点B发起能力交互请求消息,消息中携带端点A的接收能力集;
S1408:端点B回复端点A能力集交互响应消息;
S1409:端点A根据端点B的接收能力集,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
S1410:端点B向端点A回复打开逻辑通道响应消息;
S1411:端点B根据端点A的接收能力集,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
S1412:端点A向端点B回复打开逻辑通道响应消息。
其中一对请求和响应消息有时间上的先后顺序,前两对发送和接收能力交互消息发送时间在第一对逻辑通道打开消息之前。按照这种规则,图14中描述的消息发送的顺序还可以是 1、3、5、7、2、4、6、8,端点A和B先互相交互能力集后再发送响应消息,或者1、2、3、4、9、10、5、6、7、8、11、12,能力交互完成一部分后,先打开一侧的逻辑通道。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例五
本优选实施例提供一种能力协商方法,能够保证远程呈现端点之间多路媒体的场景描述,编解码能力以及复用通道的协商。
在本实施例中,协商方式能力集交互消息中携带的能力集为发送能力集。分如下三个步骤:
步骤S1501:能力集交互:两个远程呈现端点之间进行能力集交互,消息中携带远程呈现端点接收能力集和发送能力集参数。
步骤S1502:模式请求:接收端根据发送端的发送能力集请求特定的发送模式。
步骤S1503:逻辑通道打开:打开两个远程呈现端点之间的逻辑通道,指定协商后的通道属性。
下面通过实例进行详细说明。
实例一
图16是根据本发明实施例的远端呈现端点的协商方法的流程图十三,如16所示,该方法包括如下步骤S1601至步骤S1612。
步骤S1601:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的发送能力集;
步骤S1602:端点B回复端点A能力集交互响应消息;
步骤S1603:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的发送能力集;
步骤S1604:端点A回复端点B能力集交互响应消息;
步骤S1605:远程呈现端点B向远程呈现端点A发起模式请求消息,请求特定的发送模式,模式中携带端点A的发送参数;
步骤S1606:端点A回复端点B模式请求响应消息;
步骤S1607:远程呈现端点A向远程呈现端点B发起模式请求消息,请求特定的发送模式,模式中携带端点B的发送参数;
步骤S1608:端点B回复端点A模式请求响应消息;
步骤S1609:端点A根据模式请求过程的结果,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道;
步骤S1610:端点B向端点A回复打开逻辑通道响应消息;
步骤S1611:端点B根据模式请求过程的结果,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
步骤S1612:端点A向端点B回复打开逻辑通道响应消息。
优选地,其中一对请求和响应消息有时间上的先后顺序,第一对能力交互消息发送时间在第一对模式请求消息之前,第一对模式请求消息在第一对逻辑通道打开消息之前。按照这种规则,图16中描述的消息发送的顺序还可以是1、2、5、6、3、4、7、8、9、10、11、12,或者1、2、5、6、9、10、3、4、7、8、11、12。
其中一次端点A到端点B的信息交互过程中,只要底层封包长度允许,则可以一次携带多条从一侧端点发送出的消息,比如1、2+3、4、5、6+7、8、9、10+11、12。其中2+3表示端点B发送给端点A一条信息,该次交互中包含了2和3两条消息。
优选实施例五
本优选实施例提供了一种远程呈现端点能力集参数,图17是根据本发明实施例的远程呈现端点能力集的示意图,如图17所示,分为发送能力集和接收能力集。下面进行详细描述。
需要说明的是,图中以及上述实施例中列出描述的只是较为重要的参数,并不代表全部的参数。在能力交互消息中传递的参数并非要包括下面全部的参数,可以根据需要实际组合。
发送能力集中主要包括捕获相关参数,捕获相关参数中包括通用参数,视频参数和音频参数。发送能力集中的其它参数可以用来包含相关技术中的编码标准,例如H.263、H.264等。
具体地,通用参数用来描述场景相关参数和通用编码相关参数。其中场景相关参数包括场景描述,场景切换策略,场景区域,度量信息;通用编码相关参数包括最大带宽,每秒最大宏块数、编码标准等。
具体地,视频参数用来描述组成捕获场景的各个独立视频的属性。视频参数主要包括视频捕获空间信息,视频捕获编码信息,视频捕获的数量,视频内容属性,视频切换策略,视频组合策略等参数。其中视频捕获空间信息包括捕获区域,捕获点,捕获线上的一点;视频捕获编码信息包括该视频捕获的最大视频带宽,每秒最大宏块数,最大视频分辨率宽度,最大视频分辨率高度,最大视频帧率。
具体地,音频参数用来描述组成捕获场景的各个独立音频的属性。音频参数主要包括音频捕获空间信息,音频捕获编码信息,音频捕获数量等参数。其中音频捕获空间信息包括捕获区域,捕获点,捕获线上的一点;音频捕获编码信息包括该音频捕获的音频信道格式,最大音频带宽。
优选地,接收能力集和发送能力集相对应,渲染相关参数和捕获相关参数对应。
具体地,接收能力集中主要包括渲染相关参数,渲染相关参数中包括通用参数,视频参数和音频参数。接收能力集中的其它参数可以用来包含解码标准,例如H.263、H.264等。
具体地,通用参数用来描述场景相关参数和通用解码相关参数。其中场景相关参数包括场景描述,场景切换策略,场景区域,度量信息等;通用解码相关参数包括最大带宽,每秒最大宏块数,解码标准等。
具体地,视频参数用来描述组成渲染场景的各个独立视频的属性。视频参数主要包括视频渲染空间信息,视频渲染解码信息,视频渲染的数量,内容属性,自动切换策略,组合策略等参数。其中视频渲染空间信息包括渲染区域,渲染点,渲染线上的一点;视频渲染解码信息包括该视频渲染的最大视频带宽,每秒最大宏块数,最大视频分辨率宽度,最大视频分辨率高度,最大视频帧率。
具体地,音频参数用来描述组成渲染场景的各个独立音频的属性。音频参数主要包括音频渲染空间信息,音频渲染解码信息,音频渲染数量等参数。其中音频渲染空间信息包括渲染区域,渲染点,渲染线上的一点;音频渲染解码信息包括该音频渲染的音频信道格式,最大音频带宽。
优选地,远程呈现端点指定的逻辑通道属性,主要包括该通道用来传送的媒体相关信息,编解码信息等,如果需要复用该逻辑通道,需要指定通道复用信息。
优选实施例六
在本实施例中是优选实施例中的协商方式A-1的优选实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程,其中端点A具备3个摄像头,3个显示器, 1个麦克风,1个扬声器,端点B具备3个摄像头,3个显示器,1个麦克风,1个扬声器。端点A或/和端点B也可以是MCU设备。该方法包括如下步骤S1702至步骤S1716。
步骤S1702:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集。
接收能力集包含的渲染相关参数中的视频参数分别为:
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR3的视频渲染空间信息表示为左,视频内容属性为最大声发言者,视频渲染解码信息中的最大视频带宽为4M,自动切换属性为YES;
渲染标识为VR4的视频渲染空间信息表示为中,视频内容属性为全景视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR5的视频渲染空间信息表示为右,视频内容属性为VIP,视频渲染解码信息中的最大视频带宽为4M;
接收能力集包含的渲染相关参数中的音频参数为:
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声;
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3、VR4、VR5组成,场景描述为渲染最大声发言者、全景、VIP视频,编解码标准为H.264,最大带宽为12M;
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1704:端点B回复端点A能力集交互响应消息;
步骤S1706:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集;
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M;
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声;
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M。
场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1708:端点A回复端点B能力集交互响应消息。
步骤S1710:端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点A接收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1712:端点A向端点B回复打开逻辑通道响应消息;
步骤S1714:端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1716:端点B向端点A回复打开逻辑通道响应消息。
优选实施例七
本优选实施例是优选实施例协商方式A-1的优选实施例之一,描述的是远程呈现端点A 和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、1个显示器、1个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该方法包括如下步骤S1802至步骤S1816。
步骤S1802:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的接收能力集。
优选地,接收能力集包含的渲染相关参数中的视频参数分别为:
渲染标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染解码信息中的最大视频带宽为4M。
渲染标识为VR3的视频渲染空间信息表示为中,视频内容属性为全景视频,视频渲染解码信息中的最大视频带宽为4M。
优选地,接收能力集包含的渲染相关参数中的音频参数为:
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声。
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M。
场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1804:端点B回复端点A能力集交互响应消息。
步骤S1806:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的接收能力集。
渲染标识为VR0的场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
渲染标识为AR0的音频内容为主音频,音频渲染解码信息中的最大带宽为128K,音频信道格式为立体声。
接收能力集包含的渲染相关参数中的通用参数为:
场景标识为1的场景由VR0组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M。
场景标识为2的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1808:端点A回复端点B能力集交互响应消息。
步骤S1810:端点B根据端点A的接收能力,结合自己的发送能力,决定发送端点A接收能力集中的场景2和场景3。端点B向端点A发送打开逻辑通道请求消息,指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H.264编码,最大带宽为4M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1812:端点A向端点B回复打开逻辑通道响应消息。
步骤S1814:端点A根据端点B的接收能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H.264编码,最大带宽为12M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1816:端点B向端点A回复打开逻辑通道响应消息。
优选实施例八
本优选实施例是协商方式A-2的优选实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备3个摄像头、3个显示器、1 个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。本优选实施例包括如下步骤S1902至步骤S1916。
步骤S1902:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的对称能力集;
对称能力集包含的渲染/捕获相关参数中的视频参数分别为:
渲染/捕获标识为VR0的视频渲染空间信息表示为左,视频内容属性为主视频,视频渲染 /捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR1的视频渲染空间信息表示为中,视频内容属性为主视频,视频渲染 /捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR2的视频渲染空间信息表示为右,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
接收能力集包含的渲染相关参数中的音频参数为:
渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最大带宽为 128K,音频信道格式为立体声;
对称能力集包含的渲染/捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3组成,场景描述为渲染全景视频,编解码标准为H.264,最大带宽为4M;
场景标识为3的场景由AR0组成,场景描述为渲染主音频,编解码标准为G.711,最大带宽为128K。
步骤S1904:端点B回复端点A能力集交互响应消息;
步骤S1906:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的对称能力集;
渲染/捕获标识为VR0的视频渲染/捕获空间信息表示为左,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR1的视频渲染/捕获空间信息表示为中,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为VR2的视频渲染/捕获空间信息表示为右,视频内容属性为主视频,视频渲染/捕获编解码信息中的最大视频带宽为4M;
渲染/捕获标识为AR0的音频内容为主音频,音频渲染/捕获编解码信息中的最大带宽为 128K,音频信道格式为立体声;
接收能力集包含的渲染/捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为渲染/捕获左、中、右视频,编解码标准为H.264,最大带宽为12M;
场景标识为2的场景由AR0组成,场景描述为渲染/捕获主音频,编解码标准为G.711,最大带宽为128K。
步骤S1908:端点A回复端点B能力集交互响应消息;
步骤S1910:端点B根据端点A的对称能力,结合自己的能力,决定发送端点A接收能力集中的场景1和场景3。端点B向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1912:端点A向端点B回复打开逻辑通道响应消息;
步骤S1914:端点A根据端点B的对称能力,结合自己的发送能力,决定发送端点B接收能力集中的场景1和场景2。端点A向端点B发送打开逻辑通道请求消息,指定通道属性,请求打开A到B的前向逻辑通道。指定的逻辑通道属性分别为:
一路视频逻辑通道传送3路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0、VR1、VR2视频;编码相关信息为采用H.264编码,最大带宽为12M;复用信息为VR0、VR1、VR2分别对应的RTP头扩展标识的值为0、1、2,用来区分同一个逻辑通道中不同的RTP流。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S1916:端点B向端点A回复打开逻辑通道响应消息。
优选实施例九
本优选实施例是协商方式A-3-1的最佳实施例之一,描述的是远程呈现端点A和远程呈现端点B之间具体的能力协商流程。端点A和端点B为远程呈现视频会议端点,端点A具备 3个摄像头、3个显示器、1个麦克风、1个扬声器,端点B具备1个摄像头、1个显示器、1 个麦克风、1个扬声器。端点A或/和端点B也可以是MCU设备。该优选实施例包括如下步骤S2002至步骤S2016。
步骤S2002:远程呈现端点A向远程呈现端点B发起能力集交互请求,消息中携带端点 A的发送能力集;
发送能力集包含的捕获相关参数中的视频参数分别为:
捕获标识为VR0的视频捕获空间信息表示为左,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR1的视频捕获空间信息表示为中,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR2的视频捕获空间信息表示为右,视频内容属性为主视频,视频捕获编码信息中的最大视频带宽为4M;
捕获标识为VR3的视频内容属性为全景,视频捕获编码信息中的最大视频带宽为4M;
接收能力集包含的捕获相关参数中的音频参数为:
捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K,音频信道格式为立体声;
发送能力集包含的捕获相关参数中的通用参数为:
场景标识为1的场景由VR0、VR1、VR2组成,场景描述为捕获左、中、右视频,编编码标准为H.264,最大带宽为12M;
场景标识为2的场景由VR3组成,场景描述为捕获全景视频,编编码标准为H.264,最大带宽为4M;
场景标识为3的场景由AR0组成,场景描述为捕获主音频,编编码标准为G.711,最大带宽为128K。
步骤S2004:端点B回复端点A能力集交互响应消息,携带B从A的发送能力集中选择的参数:场景2和场景3中的媒体;
步骤S2006:远程呈现端点B向远程呈现端点A发起能力集交互请求,消息中携带端点 B的发送能力集;
发送能力集包含的捕获相关参数中的视频参数分别为:
捕获标识为VR0的场景描述为捕获全景视频,编码标准为H.264,最大带宽为4M;
捕获标识为AR0的音频内容为主音频,音频捕获编码信息中的最大带宽为128K,音频信道格式为立体声;
发送能力集包含的捕获相关参数中的通用参数为:
场景标识为1的场景由VR0组成,场景描述为捕获全景视频,编码标准为H.264,最大带宽为4M;
场景标识为2的场景由AR0组成,场景描述为捕获主音频,编码标准为G.711,最大带宽为128K。
步骤S2008:端点A回复端点B能力集交互响应消息,携带A从B的发送能力集中选择的参数:场景1和场景2中的媒体;
步骤S2010:端点A根据端点B在能力集交互响应中选择的能力,向端点B发送打开逻辑通道请求消息。指定通道属性,请求打开A到B的前向逻辑通道。指定的通道属性为:
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR3视频;编码相关信息为采用H.264编码,最大带宽为4M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S2012:端点B向端点A回复打开逻辑通道响应消息;
步骤S2014:端点B根据端点A在能力集交互响应选择的能力,向端点A发送打开逻辑通道请求消息。指定通道属性,请求打开B到A的前向逻辑通道;
一路视频逻辑通道传送1路RTP视频流,一路音频逻辑通道传输1路RTP音频流。视频通道媒体相关信息为发送VR0视频;编码相关信息为采用H.264编码,最大带宽为12M;无复用信息。音频通道媒体相关信息为发送AR0音频,编码相关信息为G.711,最大带宽为128K。
步骤S2016:端点A向端点B回复打开逻辑通道响应消息。
需要说明的是,其它方法的对应实施例和上述实施例类似。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (38)

1.一种远程呈现端点的能力交互方法,其特征在于包括:
第一远程呈现端点和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集;
所述第一远程呈现端点根据所述能力交互的结果打开所述第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道;
其中,所述远程呈现端点接收能力集包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数;
其中,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
2.根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
3.根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
4.根据权利要求2或3所述的方法,其特征在于,
在所述第一远程呈现端点向所述第二远程呈现端点发送第二逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第二逻辑通道请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第四逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第四逻辑通道请求对应的响应消息。
5.根据权利要求2或3所述的方法,其特征在于,
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第一逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第一逻辑通道请求对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第三逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第三逻辑通道请求对应的响应消息。
6.根据权利要求2或3所述的方法,其特征在于,
在所述第一远程呈现端点向所述第二远程呈现端点发送第一能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第一能力集交互请求的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第三能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第三能力集交互请求的响应消息。
7.根据权利要求2或3所述的方法,其特征在于,
在所述第一远程呈现端点接收第二远程呈现端点发送的第二能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第二能力集交互请求的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第四能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第四能力集交互请求的响应消息。
8.根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集;
所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
9.根据权利要求1所述的方法,其特征在于,第一远程呈现端点和第二远程呈现端点之间进行能力交互包括:
所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
所述第一远程呈现端点接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
所述第一远程呈现端点接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
所述第一远程呈现端点根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第二接收能力集确定的,所述第八逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
10.根据权利要求8或9所述的方法,其特征在于,
所述第一远程呈现端点向所述第二远程呈现端点发送第五能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五能力集交互请求对应的响应消息;
在所述第一远程呈现端点向所述第二远程呈现端点发送第九能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第九能力集交互请求对应的响应消息。
11.根据权利要求8或9所述的方法,其特征在于,
在所述第一远程呈现端点接收第二远程呈现端点发送的第六能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第六能力集交互请求对应的响应消息;
在所述第一远程呈现端点接收第二远程呈现端点发送的第十能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十能力集交互请求对应的响应消息。
12.根据权利要求8或9所述的方法,其特征在于,
在所述第一远程呈现端点接收第二远程呈现端点发送的第七能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第七能力集交互请求对应的响应消息;
所述第一远程呈现端点接收所述第二远程呈现端点发送的第十一能力集交互请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送对应于所述第十一能力集交互请求对应的响应消息。
13.根据权利要求8或9所述的方法,其特征在于,
在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求之后,还包括:所述第一远程呈现端点接收第二远程呈现端点发送对应于所述第八能力集交互请求的响应消息;
在所述第一远程呈现端点根据所述第二远程呈现端点的发送能力和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第十二能力集交互请求的响应消息。
14.根据权利要求8或9所述的方法,其特征在于,
在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送的第五逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第五逻辑通道请求对应的响应消息;
在所述第一远程呈现端点根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求之后,还包括:所述第一远程呈现端点接收所述第二远程呈现端点发送的对应于所述第七逻辑通道请求对应的响应消息。
15.根据权利要求8或9所述的方法,其特征在于,
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第八逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第八逻辑通道请求对应的响应消息;
在所述第一远程呈现端点接收所述第二远程呈现端点发送的第六逻辑通道请求之后,还包括:所述第一远程呈现端点向所述第二远程呈现端点发送所述第六逻辑通道请求对应的响应消息。
16.根据权利要求1所述的方法,其特征在于,所述场景切换策略包括场所切换策略和/或部分切换策略,其中,所述场所切换策略为同时切换全部的渲染,用于保证渲染一起来自同一个端点场所,所述部分切换策略为不同的渲染在不同的时间切换,来自相同和/或不同的端点。
17.根据权利要求1所述的方法,其特征在于,所述通用空间信息:包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于表示与端点相关的整体场景的范围,所述区域刻度用于表示空间信息参数采用的刻度的种类。
18.根据权利要求1所述的方法,其特征在于,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽表示由渲染端点接收到的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数表示编码组中全部独立编码的每秒处理的最大像素数;所述全部的每秒最大宏块数表示由端点接收到的全部视频码流每秒最大宏块数。
19.根据权利要求1所述的方法,其特征在于,所述第一视频参数包括:视频渲染数量、视频渲染空间信息和/或视频渲染编码信息,其中,所述视频渲染数量用于表示视频渲染的数量;所述视频渲染空间信息用于表示该视频渲染表示的是整体渲染场景中的一部分。
20.根据权利要求19所述的方法,其特征在于,所述视频渲染编码信息包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,该参数用于表示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数用于表示最大视频帧率。
21.根据权利要求1所述的方法,其特征在于,所述第一音频参数包括:音频渲染数量、音频渲染空间信息和/或音频渲染编码信息,其中,所述音频渲染数量用于表示音频渲染的数量;所述音频渲染空间信息用于表示音频渲染在整体渲染场景中所处的空间信息。
22.根据权利要求21所述的方法,其特征在于,所述音频渲染编码信息包括:音频信道格式和/或最大音频带宽,其中,所述音频信道格式,用于表示音频信道的属性;所述最大音频带宽,用于表示单一音频编码的每秒最大比特数。
23.根据权利要求2、3、8、9中任一项所述的方法,所述远程呈现端点发送能力集包括:捕获参数,所述捕获参数包括:第二通用参数、第二视频参数和/或第二音频参数。
24.根据权利要求23所述的方法,其特征在于,所述第二通用参数包括媒体捕获内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息;所述媒体捕获内容表示媒体捕获的用途;所述场景描述用于提供整体场景的描述。
25.根据权利要求24所述的方法,其特征在于,所述场景切换策略用于指示所支持媒体切换策略,其中,所述支持的媒体切换的策略包括场所切换策略和部分切换策略,其中,所述场所切换策略用于指示同时切换全部的捕获,以保证捕获一起来自同一个端点场所,所述部分切换策略用于指示不同的捕获可以在不同的时间切换,并且来自相同和/或不同的远程呈现端点。
26.根据权利要求24所述的方法,其特征在于,所述通用空间信息包括场景区域和/或区域刻度参数,其中,所述场景区域参数用于指示与端点相关的整体场景的范围,所述区域刻度表明了空间信息参数采用的刻度的种类。
27.根据权利要求24所述的方法,其特征在于,所述通用编码信息包括全部的最大带宽、全部的每秒最大像素数和/或全部的每秒最大宏块数,其中,所述全部最大带宽用于指示由端点发出的预设类型的全部码流的每秒最大数量的比特率;所述全部的每秒最大像素数用于表示编码组中全部独立编码的每秒最大像素数;所述全部的每秒最大宏块数表示由端点发送的全部视频码流每秒最大宏块数。
28.根据权利要求23所述的方法,其特征在于,所述第二视频参数包括:视频捕获数量、视频捕获空间信息和/或视频捕获编码信息;所述视频捕获数量用于表示视频捕获的数量。
29.根据权利要求28所述的方法,其特征在于,所述视频捕获空间信息包括捕获区域、捕获点和/或捕获线上的点,其中,所述捕获区域用于表示该视频捕获在整体捕获场景中的所处的空间位置;所述捕获点,用于指示在捕获场景中,视频捕获的位置;所述捕获线上的点,描述了捕获设备光轴上的第二个点的空间位置,且第一个点为捕获点。
30.根据权利要求28所述的方法,其特征在于,所述视频捕获编码信息,包括最大视频带宽、每秒最大像素数、最大视频分辨率的宽度、最大视频分辨率的高度和/或最大视频帧速率;其中,所述最大视频带宽,用于指示单一视频编码的每秒最大比特数;所述每秒最大像素数,该参数用于表示单一视频编码的每秒最大像素数;所述最大视频分辨率的宽度,该参数用于表示以像素为单位的最大视频分辨率的宽度;所述最大视频分辨率的高度,该参数用于表示以像素为单位的最大视频分辨率的高度;所述最大视频帧速率,该参数表明了最大视频帧率。
31.根据权利要求23所述的方法,其特征在于,所述第二音频参数包括音频捕获数量、音频捕获空间信息和/或音频捕获编码信息;所述音频捕获数量用于指示音频捕获的数量。
32.根据权利要求31所述的方法,其特征在于,所述音频捕获空间信息包括:捕获区域和/或捕获点,其中,所述捕获区域,用于表示音频捕获在整体捕获场景所处的空间位置;所述捕获点,用于表示在捕获场景中,音频捕获的位置。
33.根据权利要求31所述的方法,其特征在于,所述音频捕获编码信息包括:音频信道格式和/或最大音频带宽;所述音频信道格式,用于指示音频信道的属性;所述最大音频带宽,用于指示单一音频编码的每秒最大比特数。
34.一种远程呈现端点的能力交互装置,应用于远程呈现端点,其特征在于包括:
交互模块,用于和第二远程呈现端点之间进行能力交互,其中,所述能力交互的消息中携带有远程呈现端点能力集,所述远程呈现端点能力集包括:所述远程呈现端点接收能力集和所述远程呈现端点发送能力集;
处理模块,用于根据所述能力交互的结果打开第一远程呈现端点和所述第二远程呈现端点之间的逻辑通道;
其中,所述远程呈现端点接收能力集包括:渲染参数,所述渲染参数包括:第一通用参数、第一视频参数和/或第一音频参数;
其中,所述第一通用参数包括:媒体渲染内容、场景描述、场景切换策略、通用空间信息和/或通用编码信息,其中,所述媒体渲染内容用于表示渲染端点需要的捕获内容的属性;所述场景描述,用于提供整体场景的描述;所述场景切换策略,用于指示所支持的媒体切换策略。
35.根据权利要求34所述的装置,其特征在于,所述交互模块包括:
第一发送模块,用于向所述第二远程呈现端点发送第一能力集交互请求,其中,所述第一能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第一接收模块,用于接收第二远程呈现端点发送的第二能力集交互请求,其中,所述第二能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第二接收模块,用于接收所述第二远程呈现端点发送的第一逻辑通道请求,其中,所述第一逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第一逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第二发送模块,用于向所述第二远程呈现端点发送第二逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第二逻辑通道请求,其中,所述第二逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
36.根据权利要求34所述的装置,其特征在于,所述交互模块包括:
第三发送模块,用于向所述第二远程呈现端点发送第三能力集交互请求,其中,所述第三能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集和第一接收能力集;
第三接收模块,用于接收所述第二远程呈现端点发送的第三逻辑通道请求,其中,所述第三逻辑通道请求是所述第二远程呈现端点根据接收到的所述第一接收能力集和所述第二远程呈现端点的发送能力确定的,所述第三逻辑通道请求用于请求打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道;
第四接收模块,用于接收第二远程呈现端点发送的第四能力集交互请求,其中,所述第四能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集和第二接收能力集;
第四发送模块,用于向所述第二远程呈现端点发送第四逻辑通道请求,其中,所述第一远程呈现端点根据接收到的所述第二接收能力集和所述第一远程呈现端点的发送能力,确定第四逻辑通道请求,其中,所述第四逻辑通道请求用于请求打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道。
37.根据权利要求34所述的装置,其特征在于,所述交互模块包括:
第五发送模块,用于向所述第二远程呈现端点发送第五能力集交互请求,其中,所述第五能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第五接收模块,用于接收所述第二远程呈现端点根据第一远程端点的发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第六能力集交互请求,其中,所述第六能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第六接收模块,用于接收第二远程呈现端点发送的第七能力集交互请求,其中,所述第七能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第六发送模块,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第八能力集交互请求,其中,所述第八能力集交互请求携带有所述第一远程呈现端点的第一接收能力集;
第七发送模块,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第五逻辑通道请求,其中,所述第五逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第七接收模块,用于接收所述第二远程呈现端点发送的第六逻辑通道请求,其中,所述第六逻辑通道请求是所述第二远程呈现端点根据所述第一接收能力集确定的,所述第六逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
38.根据权利要求34所述的装置,其特征在于,所述交互模块包括:
第八发送模块,用于向所述第二远程呈现端点发送第九能力集交互请求,其中,所述第九能力集交互请求中携带有所述第一远程呈现端点的第一发送能力集;
第八接收模块,用于接收所述第二远程呈现端点根据第一远程端点的第一发送能力集和所述第二远程呈现端点的接收需求,向所述第一远程呈现端点发送第十能力集交互请求,其中,所述第十能力集交互请求携带有所述第二远程呈现端点的第二接收能力集;
第九发送模块,用于根据所述第二接收能力集,向所述第二远程呈现端点发送第七逻辑通道请求,其中,所述第七逻辑通道请求用于请求所述第一远程呈现端点打开所述第一远程呈现端点至所述第二远程呈现端点之间的前向逻辑通道;
第九接收模块,用于接收第二远程呈现端点发送的第十一能力集交互请求,其中,所述第十一能力集交互请求中携带有所述第二远程呈现端点的第二发送能力集;
第十发送模块,用于根据所述第二远程呈现端点的第二发送能力集和所述第一远程呈现端点的接收需求,向所述第二远程呈现端点发送第十二能力集交互请求,其中,所述第十二能力集交互请求携带有所述第一远程呈现端点的接收能力集;
第十接收模块,用于接收所述第二远程呈现端点发送的第八逻辑通道请求,其中,所述第八逻辑通道请求是所述第二远程呈现端点根据所述第二接收能力集确定的,所述第八逻辑通道请求用于请求所述第二远程呈现端点打开所述第二远程呈现端点到所述第一远程呈现端点之间的前向逻辑通道。
CN201310214096.7A 2013-06-01 2013-06-01 远程呈现端点的能力交互方法及装置 Active CN104219486B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310214096.7A CN104219486B (zh) 2013-06-01 2013-06-01 远程呈现端点的能力交互方法及装置
PCT/CN2014/075202 WO2014190812A1 (zh) 2013-06-01 2014-04-11 远程呈现端点的能力交互方法及装置、数据流

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310214096.7A CN104219486B (zh) 2013-06-01 2013-06-01 远程呈现端点的能力交互方法及装置

Publications (2)

Publication Number Publication Date
CN104219486A CN104219486A (zh) 2014-12-17
CN104219486B true CN104219486B (zh) 2019-05-17

Family

ID=51987970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310214096.7A Active CN104219486B (zh) 2013-06-01 2013-06-01 远程呈现端点的能力交互方法及装置

Country Status (2)

Country Link
CN (1) CN104219486B (zh)
WO (1) WO2014190812A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155659A1 (zh) * 2011-07-08 2012-11-22 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
CN102868873A (zh) * 2011-07-08 2013-01-09 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
CN102883131A (zh) * 2011-07-15 2013-01-16 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594512B (zh) * 2009-06-30 2012-01-18 中兴通讯股份有限公司 实现高清多画面的终端、多点控制单元、系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155659A1 (zh) * 2011-07-08 2012-11-22 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
CN102868873A (zh) * 2011-07-08 2013-01-09 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
CN102883131A (zh) * 2011-07-15 2013-01-16 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置

Also Published As

Publication number Publication date
CN104219486A (zh) 2014-12-17
WO2014190812A1 (zh) 2014-12-04

Similar Documents

Publication Publication Date Title
CN102868880B (zh) 一种基于远程呈现的媒体传输方法及系统
CN102868873B (zh) 一种远程呈现方法、终端和系统
CN101483758B (zh) 一种视频监控系统与视频会议系统的融合系统
WO2010034254A1 (zh) 视频及音频处理方法、多点控制单元和视频会议系统
US9497390B2 (en) Video processing method, apparatus, and system
CN102611873A (zh) 一种可实现2d/3d视频通讯、传输优化的方法和系统
CN101540652B (zh) 多视角视频码流的终端异构自匹配传输方法
CN102655584A (zh) 一种远程呈现技术中媒体数据发送和播放的方法及系统
CN100417155C (zh) 远程教学多模式实时多媒体交互系统
CN101998116A (zh) 一种多视角视频业务的实现方法、系统和设备
WO2007140668A1 (fr) procédé et appareil pour réaliser une surveillance à distance dans un système de téléconférence
CN103843323B (zh) 一种多媒体会议实现方法、相关设备及系统
CN113507574A (zh) 一种超高清视频的制播处理系统
CN104519023B (zh) 能力协商处理方法、装置及远程呈现端点
CN103517033A (zh) 一种视频会议处理方法及移动终端
CN104219484B (zh) 远程呈现端点的能力交互方法及装置
CN104219486B (zh) 远程呈现端点的能力交互方法及装置
CN101489090B (zh) 多路媒体流传输和接收的方法、装置及系统
CN106911909A (zh) 基于智能摄像机的视频通话方法及系统
CN104219485B (zh) 远程呈现端点的能力交互方法及装置
CN104219487B (zh) 远程呈现端点的能力交互方法及装置、数据流
CN104219483B (zh) 远程呈现端点的能力交互方法及装置
CN106331576A (zh) 多媒体业务处理方法、系统及装置
CN202374346U (zh) 人际遥在临境互换装置
KR20150014785A (ko) 다자간 통신 방송 시스템 및 그 서비스 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201217

Address after: Room 705, 7 / F, room 9, 1699, Zuchongzhi South Road, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: Kunshan chuangzhihui Intellectual Property Operation Co.,Ltd.

Address before: 518057 No. 55 South Science and technology road, Shenzhen, Guangdong, Nanshan District

Patentee before: ZTE Corp.

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: 215300 rooms 107 and 108, area C, 55 Xiaxi street, Kunshan Development Zone, Suzhou City, Jiangsu Province

Patentee after: Kunshan chuangzhihui Intellectual Property Operation Co.,Ltd.

Address before: Room 705, 7 / F, room 9, 1699, Zuchongzhi South Road, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: Kunshan chuangzhihui Intellectual Property Operation Co.,Ltd.

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20231108

Address after: Room 315, Room 1, Third Avenue, Kunshan Development Zone, Suzhou City, Jiangsu Province, 215335

Patentee after: Zhongka Digital Technology (Kunshan) Co.,Ltd.

Address before: 215300 rooms 107 and 108, area C, 55 Xiaxi street, Kunshan Development Zone, Suzhou City, Jiangsu Province

Patentee before: Kunshan chuangzhihui Intellectual Property Operation Co.,Ltd.

TR01 Transfer of patent right