CN117378183A - 描述和配置5g媒体服务使能器的方法 - Google Patents
描述和配置5g媒体服务使能器的方法 Download PDFInfo
- Publication number
- CN117378183A CN117378183A CN202380011026.3A CN202380011026A CN117378183A CN 117378183 A CN117378183 A CN 117378183A CN 202380011026 A CN202380011026 A CN 202380011026A CN 117378183 A CN117378183 A CN 117378183A
- Authority
- CN
- China
- Prior art keywords
- mse
- service
- sdk
- media
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000006870 function Effects 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 17
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例包括方法和装置,装置包括计算机代码,被配置为使得一个或多个处理器生成5G媒体流5GMS服务的媒体服务使能器MSE规范的MSE配置;确定软件开发套件SDK和微服务中的至少一个符合所述MSE规范;当确定所述SDK和所述微服务中的至少一个符合所述MSE规范时,根据所述MSE规范,通过功能和服务中的至少一个,设置所述SDK和所述微服务中至少一个的配置;及,根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,其中,所述功能和所述服务中的至少一个在所述5GMS服务的所述实现的外部。
Description
交叉引用
本申请要求于2022年5月4日提交美国专利局、申请号为63/338,338的美国临时申请的优先权,以及于2023年3月30日提交美国专利局、申请号为18/192,921的美国申请的优先权,其全部内容通过引用结合在本申请中。
背景技术
1.技术领域
本申请实施例定义了一个框架,来开发规范并将其部署为媒体服务使能器,作为SDK或云处理器上的微服务。
2.相关技术描述
当前的设计是一个单一的规范,没有为每个功能或功能组定义媒体服务使能器。也就是说,即使5G媒体流(5GMS)架构提供了在其架构中使用边缘服务器的扩展。5GMS架构存在缺陷,无法作为一组SDK部署在设备上,或作为一组微服务部署在云上。
发明内容
为了解决一个或多个不同的技术问题,本申请实施例提供了技术方案来降低网络开销和服务器计算开销,同时提供了一种选项来对分辨的元件应用不同的操作,这样,通过使用这些操作,其中一些可行性和技术信令特征被改善。
本申请实施例包括方法和装置,装置包括存储器,用于存储程序代码;至少一个处理器,用于读取所述程序代码,并且根据所述程序代码的指令进行操作,所述程序代码包括:生成代码,被配置为使得所述至少一个处理器,生成5G媒体流5GMS服务的媒体服务使能器MSE规范的MSE配置;确定代码,被配置为使得所述至少一个处理器,确定软件开发套件SDK和微服务中的至少一个符合所述MSE规范;设置代码,被配置为使得所述至少一个处理器,当确定所述SDK和所述微服务中的至少一个符合所述MSE规范时,根据所述MSE规范,通过功能和服务中的至少一个,设置所述SDK和所述微服务中至少一个的配置;及,控制代码,被配置为使得所述至少一个处理器,根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,其中,所述功能和所述服务中的至少一个在所述5GMS服务的所述实现的外部。
根据示例性实施例,所述5GMS服务的所述实现包括如下实现中的至少一个:MSESDK抽象化、MSE SDK实例化和MSE微服务。
根据示例性实施例,所述MSE SDK抽象化指示媒体方面,MSE配置包括MSE描述文档MDD和MSE配置应用程序接口API MCA;所述MSE SDK实例化指示所述媒体方面,所述MSE配置包括所述MDD以及所述MCA的特定实现;所述MSE微服务指示所述媒体方面,所述MSE配置包括所述MDD以及用于所述MCA的所述特定实现的服务API。
根据示例性实施例,所述媒体方面指示如下之一:服务访问信息、消费报告、度量报告、动态策略以及网络辅助。
根据示例性实施例,所述MDD指示性能度量以及MSE是否符合所述媒体方面。
根据示例性实施例,所述功能和所述服务中的至少一个,通过同一接口,设置所述SDK和所述微服务中至少一个的配置,其中,所述功能和所述服务中的至少一个通过所述接口接收的信息,确定所述SDK和所述微服务中的至少一个符合所述MSE规范。
根据示例性实施例,所述确定所述SDK和所述微服务中的至少一个符合所述MSE规范,包括:至少确定MSE描述文档MDD的格式,符合所述SDK和所述微服务中至少一个的格式。
根据示例性实施例,所述生成5GMS服务的MSE规范的MSE配置,包括:设置MSE的标识符。
根据示例性实施例,所述功能和所述服务中的至少一个接收的信息,包括所述MSE的所述标识符。
根据示例性实施例,所述根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,包括:指示在所述5GMS服务的所述实现的外部的所述SDK和所述微服务中的至少一个,所述SDK和所述微服务中的至少一个可选地请求所述5GMS服务的状况。
附图说明
根据以下详细描述和附图,所公开的主题的其他特征、性质和各种优点将进一步明确,其中:
图1示出了根据本申请实施例的简化示意图;
图2示出了根据本申请实施例的简化示意图;
图3示出了根据本申请实施例的关于解码器的简化框图;
图4示出了根据本申请实施例的关于编码器的简化框图;
图5示出了根据本申请实施例的简化框图;
图6示出了根据本申请实施例的简化框图;
图7示出了根据本申请实施例的简化框图;
图8示出了根据本申请实施例的简化框图;
图9示出了根据本申请实施例的简化框图;
图10示出了根据本申请实施例的简化图;
图11示出了根据本申请实施例的简化框图;
图12示出了根据本申请实施例的简化框图;
图13示出了根据本申请实施例的简化框图和时序图;
图14示出了根据本申请实施例的简化框图;
图15示出了根据本申请实施例的简化框图;
图16示出了根据本申请实施例的简化框图;
图17示出了根据本申请实施例的简化框图;
图18示出了根据本申请实施例的计算机系统的框图。
具体实施方式
下面讨论的所提出的特征可以单独使用或以任何顺序组合使用。此外,实施例可以通过处理电路(例如,一个或多个处理器或一个或更多个集成电路)来实现。在一个示例中,一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。。
图1是根据本申请公开的实施例的通信系统100的简化框图。通信系统100包括至少两个终端102和103,经由网络105互相连接。对于单向数据传输,第一终端103在本地位置上对视频数据进行编码,然后通过网络105传输到另一终端102。第二终端102从网络105接收另一终端已编码的视频数据,对已编码视频数据进行解码,并显示恢复的视频数据。单向数据传输在媒体服务等应用中是较常见的。
图1示出能够支持已编码视频的双向传输的第二对终端101和104,所述双向传输例如发生在视频会议期间。对于双向数据传输,每个终端101和104在本地位置上对采集的视频数据进行编码,然后通过网络105传输到另一终端。每个终端101和104还可接收由另一终端发送的已编码视频数据,对已编码视频数据进行解码,并在本地显示设备上显示恢复的视频数据。
在图1中,终端101、102、103和104可为服务器、个人计算机和智能电话,和/或其他类型的终端。例如,终端101、102、103和104为膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络105表示在终端101、102、103和104之间传送已编码视频数据的任何数目的网络,包括例如有线和/或无线通信网络。通信网络105可在电路交换和/或分组交换信道中交换数据。代表性网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的,除非在下文中有所解释,否则网络105的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为本申请所公开的主题的一个示例,图2示出视频编码器和视频解码器在流式环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
如图2所示,流式传输系统可包括采集子系统203,所述采集子系统可包括视频源201。视频源201例如为数码相机,可以用于创建未压缩的视频样本流213。相较于已编码的视频码流,样本流213可以提供高的数据量,并且可以由耦接到摄像机201的编码器400来处理。编码器400可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于样本流,已编码的视频码流204包括较低的数据量,其可存储在流式传输服务器205上以供将来使用。至少一个流式传输客户端212和207可访问流式传输服务器205以检索已编码的视频比特流204的副本208和206。客户端212包括视频解码器211。视频解码器211,例如,可以对已编码的视频比特流208进行解码,且产生可在显示器209或另一呈现装置(未描绘)上呈现的输出视频样本流210。在一些流式传输系统中,可根据某些视频编码/压缩标准,对视频比特流204、206和208进行编码。该些标准的示例如上所述,并在下文中进一步描述。
图3是根据本申请实施例的视频解码器300的功能性框图。
接收器302可接收将由解码器300解码的至少一个已编码视频序列;在同一实施例或其他实施例中,一次接收一个已编码视频序列,其中,每个已编码视频序列的解码独立于其它已编码视频序列。可从信道301接收已编码视频序列,所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器302可接收已编码的视频数据以及其它数据,例如,可转发到它们各自的使用实体(未标示)的已编码音频数据和/或辅助数据流。接收器302可将已编码视频序列与其它数据分开。为了防止网络抖动,缓冲存储器303可耦接在接收器302与熵解码器/解析器304(此后称为“解析器”)之间。当接收器302从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时,也可能不需要配置缓冲存储器303,或可以将所述缓冲存储器做得较小。为了在互联网等业务分组网络上使用,也可能需要缓冲存储器303,所述缓冲存储器可相对较大且可具有自适应性大小。
视频解码器300可包括解析器304以根据已编码视频序列重建符号313。这些符号的类别包括用于管理解码器300的操作的信息,以及用以控制显示器312等显示设备的潜在信息,所述显示设备不是解码器的内在部分,但是可耦接到解码器。用于显示设备的控制信息可以是辅助增强信息(Supplemental Enhancement Information,SEI消息)或视频可用性信息(Video Usability Information,VUI)的参数集片段(未标示)。解析器304可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行,且可遵循本领域技术人员熟知的各种原理,包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器304可基于对应于群组的至少一个参数,从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures,GOP)、图片、图块、分片、宏块、编码单元(Coding Unit,CU)、块、变换单元(Transform Unit,TU)、预测单元(Prediction Unit,PU)等等。熵解码器/解析器还可从已编码视频序列提取信息,例如变换系数、量化器参数值、运动矢量等等。
解析器304可对从缓冲存储器303接收的视频序列执行熵解码/解析操作,从而创建符号313。解析器304可以接收已编码数据,并选择性地解码特定符号313。此外,解析器304可以确定是否将特定符号313提供给运动补偿预测单元306、缩放器/逆变换单元305、帧内预测单元307或环路滤波器311。
符号313的重建可涉及多个不同的单元,依赖于已编码视频图片的类型,或者部分已编码视频图片(诸如,帧内图片、帧间图片、帧内块、帧间块),以及其他因素。涉及哪些单元以及涉及方式可由解析器304从已编码视频序列解析出的子群控制信息控制。为了简洁起见,未描述解析器304与下文多个单元之间的此类子群控制信息流。
除已经提及的功能块以外,解码器300可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施中,这些单元中的许多单元彼此紧密交互,并且,至少可以部分地,彼此集成在一起。然而,出于描述所公开主题的目的,概念上细分成下文的功能单元是适当的。
一个单元是缩放器/逆变换单元305。缩放器/逆变换单元305从解析器304接收作为符号313的量化变换系数以及控制信息,包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元305可输出包括样本值的块,所述样本值可输入到聚合器310中。
在一些情况下,缩放器/逆变换单元305的输出样本可属于帧内编码块;即:不使用来自先前已重建的图片的预测性信息,但可使用来自当前图片的先前已重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元307提供。在一些情况下,帧内图片预测单元307采用从当前(已部分重建)图片309提取的已重建信息,生成大小和形状与正在重建的块相同的周围块。在一些情况下,聚合器310基于每个样本,将帧内预测单元307生成的预测信息添加到由缩放器/逆变换单元305提供的输出样本信息中。
在其它情况下,缩放器/逆变换单元305的输出样本可属于帧间编码和潜在运动补偿块。在此情况下,运动补偿预测单元306可访问参考图片存储器308以提取用于预测的样本。在根据符号313对提取的样本进行运动补偿之后,这些样本可由聚合器310添加到缩放器/逆变换单元305的输出(在这种情况下被称作残差样本或残差信号),从而生成输出样本信息。运动补偿预测单元从参考图片存储器内的地址获取的预测样本,可由运动矢量控制,且所述运动矢量以所述符号313的形式而供运动补偿预测单元306使用,所述符号313例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时,从参考图片存储器提取的样本值的内插、运动矢量预测机制等等。
聚合器310的输出样本可在环路滤波器单元311中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术,所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数,且所述参数作为来自解析器304的符号313可用于环路滤波器单元311。然而,在其他实施例中,视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息,以及响应于先前已重建且经过环路滤波的样本值。
环路滤波器单元311的输出可以是样本流,所述样本流可输出到显示器312以及存储在参考图片存储器308,以用于后续的帧间图片预测。
一旦完全重建,某些已编码图片就可用作参考图片以用于将来预测。举例来说,一旦对应于当前图片的已编码图片被完全重建,且已编码图片(通过例如解析器304)被识别为参考图片,则当前参考图片309可变为参考图片存储器308的一部分,且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。
视频解码器300可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上,已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说,配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性,还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下,层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下,由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder,HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
在一实施例中,接收器302可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器300用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio,SNR)增强层、冗余分片、冗余图片、前向纠错码等形式。
图4是根据本申请实施例的视频编码器400的功能性框图。
编码器400可从视频源401(并非编码器的一部分)接收视频样本,所述视频源可采集将由编码器400编码的视频图像。
视频源401可提供将由编码器400编码的呈数字视频样本流形式的源视频序列,所述数字视频样本流可具有任何合适位深度(例如:8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如YCrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中,视频源401可以是存储先前已准备的视频的存储装置。在视频会议系统中,视频源401可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为至少两个单独的图片,当按顺序观看时,这些图片被赋予运动。图片自身可构建为空间像素阵列,其中取决于所用的取样结构、色彩空间等,每个像素可包括至少一个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
根据本申请实施例,编码器400可实时或在由应用所要求的任何其它时间约束下,将源视频序列的图片编码且压缩成已编码视频序列410。施行适当的编码速度是控制器402的一个功能。控制器402还可以控制其他的功能单元,如下所述,并且可以在功能上与这些单元相耦接。为了简洁起见,图中未标示耦接。由控制器402设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group ofpictures,GOP)布局,最大运动矢量搜索范围等。控制器402可用于具有其它合适的功能,这些功能涉及针对某一系统设计优化的视频编码器400。
一些视频编码器在本领域技术人员所称的“编码环路”中进行操作。作为简单的描述,在一实施例中,编码环路可包括源编码器403中的编码部分(之后称为“源编码器”)(负责基于待编码的输入图片和参考图片创建符号)和嵌入于编码器400中的(本地)解码器406。解码器406以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本申请所考虑的视频压缩技术中,符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器405。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果,因此参考图片存储器内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说,编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性的基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)是本领域技术人员所熟知的。
“本地”解码器406的操作可与例如已在上文结合图3详细描述的“远程”解码器300相同。然而,当符号可用、且熵编码器408和解析器304能够无损地将符号编码/解码为已编码视频序列时,解码器300的熵解码部分,包括信道301、接收器302、缓冲存储器303和解析器304,可能无法完全在本地解码器406中实施。
此时可以观察到,除存在于解码器中的解析/熵解码之外的任何解码器技术,也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因,本申请侧重于解码器操作。可简化编码器技术的描述,因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述,并且在下文提供。
在操作期间,在一些实施例中,源编码器403可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的至少一个先前已编码图片,所述运动补偿预测编码对输入图片进行预测性编码。以此方式,编码引擎407对输入图片的像素块与参考图片的像素块之间的差异进行编码,所述参考图片可被选作所述输入图片的预测参考。
本地视频解码器406可基于源编码器403创建的符号,对可指定为参考图片的图片的已编码视频数据进行解码。编码引擎407的操作可为有损过程。当已编码视频数据可在视频解码器(图4中未示)处被解码时,重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器406复制解码过程,所述解码过程可由视频解码器对参考图片执行,且可使重建的参考图片存储在参考图片存储器405中。以此方式,视频编码器400可在本地存储重建的参考图片的副本,所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。
预测器404可针对编码引擎407执行预测搜索。即,对于将要编码的新图片,预测器404可在参考图片存储器405中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据,例如参考图片运动矢量、块形状等。预测器404可基于样本块逐像素块操作,以找到合适的预测参考。在一些情况下,根据预测器404获得的搜索结果,可确定输入图片可具有从参考图片存储器405中存储的至少两个参考图片取得的预测参考。
控制器402可管理源编码器403的编码操作,包括例如设置用于对视频数据进行编码的参数和子群参数。
可在熵编码器408中对所有上述功能单元的输出进行熵编码。熵编码器根据本领域技术人员所熟知的技术,例如霍夫曼编码、可变长度编码、算术编码等,对各种功能单元生成的符号进行无损压缩,从而将各种功能单元生成的符号转换成已编码视频序列。
传输器409可缓冲由熵编码器408创建的已编码视频序列,从而为通过通信信道411进行传输做准备,所述通信信道可以是通向将存储已编码的视频数据的存储设备的硬件/软件链路。传输器409可将来自视频编码器403的已编码视频数据与要传输的其它数据合并,所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器402可管理编码器400的操作。在编码期间,控制器402可以为每个已编码图片分配某一已编码图片类型,但这可能影响可应用于相应的图片的编码技术。例如,通常可将图片分配为帧内图片(I图片)、预测性图片(P图片),或双向预测性图片(B图片)。
帧内图片(I图片),其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片,包括例如独立解码器刷新(Independent Decoder Refresh,“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。
预测性图片(P图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片),其可以是可使用帧内预测或帧间预测进行编码和解码的图片,所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地,至少两个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。
源图片通常可在空间上细分成至少两个样本块(例如,4×4、8×8、4×8或16×16个样本的块),且逐块进行编码。这些块可参考其它(已编码)块进行预测编码,根据应用于块的相应图片的编码分配来确定所述其它块。举例来说,I图片的块可进行非预测编码,或所述块可参考同一图片的已编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。
视频编码器400可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中,视频编码器400可执行各种压缩操作,包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此,已编码视频数据可符合所用视频编码技术或标准指定的语法。
在实施例中,传输器409可以发送已编码的视频以及附加数据。源编码器403可以包括这些数据,作为已编码视频序列的一部分。所述附加数据可以包括时/空/信噪比(signal noise ratio,SNR)增强层、其他类型的冗余数据,诸如冗余冗余和分片、辅助增强信息(Supplemental Enhancement Information,SEI消息)或视频可用性信息(VideoUsability Information,VUI),等等。
图5是根据示例性实施例的独立AR(STAR)设备的端到端架构的示例500,示出了5GSTAR用户设备(UE)接收器600、网络/云501和5G UE(发送器)700。图6是根据示例性实施例的STAR UE接收器600的一个或多个配置的进一步详细示例600,图7是根据示例性实施例的5G UE发送器700的一个或多个配置的进一步详细示例700。3GPP TR 26.998定义了对5G网络中的玻璃型(glass-type)增强现实/混合现实(AR/MR)设备的支持。并且根据本文的示例性实施例,考虑至少两种设备类别:1)完全能够解码和播放复杂AR/MR内容的设备(独立AR或STAR),以及2)具有较小计算资源和/或较小物理尺寸(并且因此具有电池)的设备,并且仅在大部分计算是在5G边缘服务器、网络或云上执行,而不是在设备(边缘相关AR或EDGAR)上执行时,才能够运行这样的应用。
根据示例性实施例,如下所描述,可以体验共享的会话用例,在该共享的会话用例中,共享的AR会话体验的所有参与者具有AR设备,每个参与者看到AR场景中的其他参与者,其中参与者在本地物理场景中是重叠的,场景中的参与者的布置在所有接收设备中是一致的,例如,每个本地空间中的人相对于彼此具有相同的位置/座位布置,并且这样的虚拟空间产生了处于相同空间中的感觉,但是房间在参与者之间是不同的,因为房间是每个人在物理上所处的实际房间或空间。
例如,根据关于图5至图7所示的示例性实施例,网络/云501上的沉浸式媒体处理功能从各种设备接收上行链路流,并且合成定义单个虚拟会议室中的各个参与者的布置的场景描述。场景描述以及已编码媒体流被传送到每个接收参与者。接收参与者的5G STARUE 600接收3D视频和音频流并且对其进行解码和处理,并且使用接收的场景描述和从其AR运行时间接收的信息来呈现它们,从而创建与所有其它参与者的虚拟会议室的AR场景。虽然参与者的虚拟房间基于他们自己的物理空间,但是房间中所有其他参与者的座位/位置布置与该会话中每个其他参与者的虚拟房间一致。
根据示例性实施例,还参见图8,图8示出了关于EDGAR设备架构的示例800,其中诸如5G EDGAR UE 900的设备本身不能进行繁重处理。因此,在云/边缘801中执行针对接收内容的场景解析和媒体解析,然后将具有少量媒体组件的简化AR场景传送到设备以便处理和呈现。图9示出了根据示例性实施例的5GEDGAR UE 900的更详细示例。
图10示出了示例1000,其中用户A10、用户B11和用户T12将参与AR会议室,并且用户中的一个或多个可能不具有R设备。如图所示,用户A10在他们的办公室1001中,坐在具有各种数量的椅子的会议室中,并且用户A10正在使用这些椅子。用户B11在他们的起居室1002中,坐在双人椅上,在他的起居室中还有两个人用的一个或多个沙发以及诸如椅子和桌子的其它家具。用户T12在机场休息室1003,在长凳上,其中长凳穿过一个或多个其它咖啡桌当中的一个咖啡桌。
在办公室1001中的AR环境中看到,用户A10的AR向该用户A10示出了与用户B11相对应的虚拟用户B11v1和与用户T12相对应的虚拟用户T12v1,并且使得虚拟用户B11v1和虚拟用户T12v1,如同用户A10一样,被示出为坐在办公室1001中的家具(即办公椅)上。并且在示例1200中的起居室1202中看到,其中用户B11的AR示出了与用户T12相对应但坐在起居室1202中的沙发上的虚拟用户T12v2,以及与用户A10相对应的虚拟用户A10v1也坐在起居室1202中的家具上而不是办公室1201中的办公椅上。在机场休息室1203中还可以看到,其中用户T12的AR示出了与用户A10相对应但坐在机场休息室1203的桌子旁的虚拟用户A10v2,以及也坐在虚拟用户A10v2对面的桌子旁的虚拟用户B11v2。并且在这些办公室1201、起居室1202和机场休息室1203的每一个中,每个房间的更新的场景描述在位置/座位布置方面与其它房间一致。例如,用户A10被示出为相对于用户11或其虚拟表示相对地逆时针,用户A10也相对于用户T12或其每个房间的虚拟表示相对地顺时针。
但是,在为不支持AR但可以解析VR或2D视频的设备尝试整合虚拟空间的创建和使用方面,AR技术受到了限制,并且本文中的实施例提供用于在这样的设备参与共享AR对话服务时创建与AR场景一致的虚拟场景的改进的技术过程。
图11示出了根据示例性实施例的具有非AR设备1101和云/边缘1102的端到端架构的示例1100。图12示出了非AR设备1101的进一步的详细框图示例。
如图11和图12所示,非AR UE 1101是能够呈现360视频或2-D视频但不具有任何AR能力的设备。然而,云/边缘1102上的边缘功能能够在从库中选择的虚拟房间中AR呈现接收的场景、呈现场景以及沉浸式视觉和音频对象。然后,对整个视频进行编码并且将其传送到设备1101以便解码和呈现。
这样,可以存在多视图能力,诸如其中在边缘/云1102上的AR处理可以从不同的角度和不同的视口生成相同虚拟房间的多个视频。并且设备1101可以接收这些视频中的一个或多个,当期望时在这些视频之间进行切换,或者向边缘/云处理发送命令以仅流传输期望的视口/角度。
此外,可以改变背景能力,其中设备1101上的用户可以从提供的库中选择期望的房间背景,例如不同会议室中的一个,或者甚至起居室和布局。并且云/边缘1102使用选择的背景并且相应地创建虚拟房间。
图13图示了用于接收非AR UE 1101的沉浸式AR会话的示例呼叫流的示例时序图1300。为了说明的目的,在该图中仅示出了一个发送器而没有示出其详细的呼叫流。
示出了AR应用模块21、媒体播放模块22和媒体访问功能模块23,它们可以被认为是接收非AR UE 1101的模块。还示出了云/边缘分割呈现模块24。还示出了每个网络云1102的媒体传送模块25和场景图合成模块26。还示出了5G发送器UE模块700。
S1-S6可以被认为是会话建立阶段。在S1处,AR应用模块21可以请求开启(start)到媒体访问功能模块23的会话,并且在S2处,媒体访问功能模块23可以请求开启到云/边缘分割呈现模块24的会话。
云/边缘分割呈现模块24可以在S3处实现与场景图合成模块26的会话协商,场景图合成模块26可以相应地与5G发送器UE 700协商。如果成功,则在S5处,云/边缘分割呈现模块可以向媒体访问功能模块23发送确认,并且媒体访问功能模块23可以向AR应用模块21发送确认。
之后,S7可以被认为是媒体流水线配置阶段,其中媒体访问功能模块23和云/边缘分割呈现模块24各自配置各自的流水线。然后,在该流水线配置之后,可以在S8处通过从AR应用模块到媒体播放器模块22的信号,以及在S9处通过从媒体播放器模块22到媒体访问功能模块23的信号,以及在S10处通过从媒体访问功能模块23到云/边缘分割呈现模块24的信号来开始会话。
然后,可以存在从S11到S13的姿态循环阶段,其中在S11处,可以将姿态数据从媒体播放器模块22提供给AR应用模块21,并且在S12处,AR应用模块可以将姿态数据12提供给媒体访问功能模块23,此后媒体访问功能模块23可以将姿态数据提供给云/边缘分割呈现模块24。
S14到S16可以被认为是共享体验流阶段,其中在S14处,5G发送器UE 700可以在S14处向媒体传送模块25提供媒体流,并且在S15处向场景图合成模块26提供AR数据。然后,场景图合成模块25可以基于接收到的AR数据合成一个或多个场景,并且在S16处将场景和场景更新提供给云/边缘分割呈现模块24,并且媒体传送模块25还可以在S17处将媒体流提供给云/边缘分割呈现模块。这可以包括:根据示例性实施例,从未呈现AR场景的非AR设备获得AR场景描述符,以及云设备通过解析和呈现从非AR设备获得的场景描述来生成虚拟场景。
S18到S19可以被认为是媒体上行链路阶段,其中媒体播放器模块22捕获并且处理来自其本地用户的媒体数据,并且在S18处将该媒体数据提供给媒体访问功能模块23。然后,媒体访问模块23可以对媒体进行编码,并且在S19处向云/边缘分割呈现模块24提供媒体流。
在S19与S20之间可以认为是媒体下行链路阶段,其中云/边缘分割呈现模块24可以实现场景解析和完整的AR呈现,此后,可以认为S20和S21构成媒体流循环阶段。在S20处,云/边缘分割呈现模块24可以向媒体访问功能模块23提供媒体流,媒体访问功能模块23然后可以对媒体进行解码,并且在S21处向媒体播放器22提供媒体呈现。
通过根据示例性实施例的这些特征,非AR UE 1101即使不具有透视显示器并且因此不能创建AR场景,也仍然可以利用其可以呈现VR或2-D视频的显示器。这样,它的沉浸式媒体处理功能仅生成共同的场景描述,描述每个参与者与其他人和场景的相对位置。如以上描述的,在被呈现为AR场景之前,场景本身需要在每个设备处利用姿态信息进行调整。并且边缘或云上的AR呈现过程可以解析AR场景,并且创建简化的VR-2D场景。
根据示例性实施例,本申请针对非AR设备(诸如VR或2-d视频设备)使用EDGAR设备的类似分割呈现处理,其中诸如边缘/云AR呈现过程的特性这种情况下不产生任何AR场景。相反地,它通过对给定背景(诸如会议室)进行解析并且呈现从沉浸式媒体处理功能接收的场景描述来生成虚拟场景,并且然后在会议室中呈现处于场景描述所描述的位置的每个参与者。
此外,取决于接收非AR设备的能力,所得到的视频可以是360视频或2-D视频,并且根据示例性实施例,考虑从非AR设备接收的姿态信息来生成所得到的视频。
此外,具有非AR设备的每个其他参与者被添加为如图10中所示的会议室的360/2D视频上的2-D视频覆盖,并且房间可以具有如图10中所示的专用于使用这些覆盖的区域,诸如其中虚拟图像被覆盖的家具。
此外,如果需要,可以混合来自所有参与者的音频信号以创建在房间中携带语音的单通道音频,可以将视频编码为单个360视频或2-D视频并且将其传送到设备,并且可选地,可以创建多个视频(多视图)源,根据示例性实施例,每个视频源从不同的视图捕获相同的虚拟会议室并且将这些视图提供给设备。
进一步地,非AR UE设备1101可以接收360视频和/或一个或多个选择的多视图视频以及音频,并且在设备显示器上呈现,并且用户可以在不同视图之间切换,或者通过移动或旋转视图设备改变360视频的视口,并且因此能够在观看视频的同时在虚拟房间中导航。
以上描述的实施例,被提供有这样的5G媒体流架构(5GMS)扩展,以在它们的架构中使用边缘服务器。尽管其规范可以具有许多特征,但是这样的特征在技术上,不能被部署为设备上的一组软件开发套件(SDK)或者云上的一组微服务,并且这样的技术缺陷由以下进一步描述的实施例来解决。
例如,当前媒体服务使能器技术报告没有定义将规范与SDK相关联的框架,并且没有包括微服务的任何概念。
参见图14的示例1400,其示出了根据示例性实施例的具有边缘扩展的5G媒体流架构。如图所示,存在用户设备(UE)1401和数据网络(DN)1411。UE 1401可以包括5GMS客户端1403和5GMS感知应用1405,诸如以上描述的AR或非AR实施例,这样的应用不限于此。5GMS客户端1403还可以包括媒体流处理器1403和媒体会话处理器。DN 1411可以包括5GMS应用服务器(AS)1412、5GMS应用功能(AF)1414和5GMS应用提供商1413。5GMS AF 1414还可以与网络暴露功能(NEF)1415以及策略和计费功能(PCF)1416进行通信。本文中描述的改进可以在UE 1401、5GMS感知应用1405、5GMS应用提供商1413、NEF 1415和PCF 1416中的至少任何一个或多个的上下文中理解;即,不是具有单一规范,其中不存在每个功能或功能组的媒体服务使能器(MSE)的定义,而是这些元件中的一个或多个可以生成其自己的规范,并且根据一致的请求将这种规范提供给这些元件中的另一个,该另一个元件又可以取决于诸如下面进一步描述的各种可能性来进一步配置该初始元件规范,并且这样的处理可以通过所示出的多个暴露的应用编程接口(API)1420和接口M1、M2、M4、M5、M6、M7、M8,N33和N5中的任何一个或多个来进行。
根据示例性实施例,图15以MSE规范1501和MSE实现1502这两部分示出了MSE框架的示例1500,MSE实现1502包括MSE SDK抽象化1510、MSE SDK(平台相关)实例化1520和MSE微服务1530。MSE SDK抽象化1510可以具有配置API抽象化1513、控制接口1512和媒体接口1511,它们中的每一个可以向配置API 1523通知MSE SDK(平台相关)实例化1520及其控制接口1522和媒体接口1521。MSE微服务1530还可以具有配置API 1533、控制接口1532和媒体接口1531。
根据示例性实施例,MSE规范1501(本文为“MSE规范”)定义了(a)媒体方面和(b)MSE配置,并且这种定义及其使用提供了本文中描述的这样的技术优点。(a)媒体方面可以指示以下各项中的任一项:(i)MSE的功能描述(包括强制特征和可选特征);(ii)控制接口(诸如供应、由应用程序使用的验证和与此MSE交互的其它功能);(iii)媒体接口(包括所有输入和输出格式和协议);(iv)网络接口(包括系统和无线电网络);(v)事件、通知、报告和检视;以及(vi)错误处理。(a)MSE配置,本文中的“MSE配置”指示以下各项中的任一项:(i)MSE描述文档(MDD)(其描述(1)MSE实现所支持的功能及其配置参数和(2)可选地不同特征/选项的性能/成本度量);(ii)MSE配置API(MCA)抽象化(其指示用于(1)检索描述文档、(2)配置MSE实例化和(3)检索MSE实例化的状态(state)和状况(status)的信息);以及(iii)MSE配置API(MCA)抽象化服务API,并且这样的信息在本文中被引用。MSE实现1502可以包括以下各项中的任一项:(a)MSE SDK抽象化1510(其指示(i)符合MSE规范1501的媒体方面的媒体方面,以及(ii)MSE规范1501的上述MSE配置的MSE描述文档(MDD)和MSE配置API(MCA)抽象化);(b)MSE SDK(平台相关)实例化1520(其指示特定环境中的SDK实现,并且符合以下各项:(i)符合MSE规范1501的媒体方面的媒体方面,以及(ii)MSE描述文档(MDD),并且与MSE SDK抽象化1530不同,仅是MSE规范1501的上述MSE配置的特定MSE配置API(MCA)抽象化);以及(c)MSE微服务1510,其是作为微服务的MSE实现,并且指示(i)符合MSE规范1501的媒体方面的媒体方面,以及用于MSE描述文档(MDD)的MSE配置API(MCA)抽象化和MSE规范1501的上述MSE配置的MSE配置API(MCA)抽象化的服务API。例如,可以通过匹配格式或语法或者通过指示这样的格式或语法的标志来确定一致性。
例如,根据3GPP SA4规范中不存在的这样的有利的MSE规范,对于符合MSE规范的任何SDK或微服务,可以由根据示例性实施例的外部功能或服务来检索特征及其配置参数的描述,外部功能或服务可以设置用于运行该SDK的特定配置,并且可以在任何时间检索正在运行的SDK的状态和状况。状态和状况可以指示可用、运行、忙碌、空闲、离线等。
考虑到这一点,图16示出了示例性实施例实现示例1600,其中存在与5GMSd客户端1402’通信的5G媒体流下行链路(5GMSd)感知应用1405,5GMSd客户端1402’中具有与5GMSdAF 1414’通信的媒体会话处理器1404。方法1601、通知和错误1602以及状况1603信息可以在5GMSd感知应用1405’与5GMSd客户端1402’之间传送,状况1604、预订和通知1605以及设置和配置信息1606可以传送到媒体会话处理器1404和从媒体会话处理器1404传送,媒体会话处理器1404本身可以经由链路M5d传送到5GMSd AF 1414’。根据示例性实施例,用于图16中所示的媒体会话处理器(MSH)示例1600的MSE规范将描述(a)媒体方面(诸如(i)((1)服务访问信息、(2)消费报告、(3)度量报告、(4)动态策略以及(5)网络辅助信息的)功能描述,以及(ii)M5d、M6d和M7d信息);以及(b)MSE配置信息,诸如(i)MDD(其描述(1)示出该MSE符合所述媒体方面的标识符、(2)所述功能描述的选项特征以及具有其配置参数的M5d、M6d和M7d,以及(3)可选地用于不同特征/选项的性能/成本度量)、(ii)API抽象化(指示用于(1)检索所述描述文档MDD、(2)配置MSE实例化以及(3)检索MSE实例化的状态和状况的信息)以及(iii)用于所述API抽象化的服务API。例如,根据示例性实施例,可以在Android中的上述MSE规范的MSE SDK实现将支持以下各项:(i)符合用于MSE的MSE规范的上述媒体方面的媒体方面,以及(ii)MSE规范的MSE配置的上述MDD和用于MSH的MSE规范的MSE配置的API抽象化的特定实现。
根据示例性实施例,参见图17的流程图1700,其中MDD描述了由MSE SDK实现的特征。上述MSE配置的API可以允许外部Android过程在S1701处检索该文档,并且在S1713处利用在MDD中描述的一组可配置参数和运行的SDK的状态和状况,配置SDK,这可以在S1714处确定。MDD的语言和语法以及MCA的通用框架,可以在S1701处,统一地针对所有SA4媒体服务使能器规范,进行定义,并且在该规范中仅定义每个规范的特定代码点(codepoints)。理解MDD语言和语法以及支持MCA的外部功能或应用,可以在S1701处从MSE实现中检索信息,并且如果在S1702处识别出MSE规范标识符,则外部功能或应用理解可以解析并且处理MDD及其配置参数。例如,可以在S1701处,生成MSE规范及其识别符,然后在针对这种规范做出请求之后,一致性检查可以确定是否提供了期望的识别符,之后,可以在S1703处,根据生成的参数来部署MSE,这取决于S1704处的各种能力和成本索引,以在S1705处,确定是在S1706处的设备处还是在S1708处的服务器处,部署SDK,其中,如果在S1708处,则可以如上所述,设置用于MCA的MDD和服务API,或者如果在S1710处,则可以确定是继续进行一般的MDD和MCA,还是进行MDD和特定的MCA。无论如何,这样的SDK可以在S1713处由外部设备或功能配置,然后该外部设备或功能可以根据在S1715处配置的实现,在任何时间,请求状况(status)S1714。
MDD的示例可以参见ISO/IEC 23090-8。功能描述文档是描述功能提供的功能性和特征及其配置参数的JSON文档。
这样,示例性实施例提供了一种用于定义媒体服务使能器SDK和服务的方法,其中在可以由外部功能、应用或服务以及每个特征的配置参数检索的文档中描述了媒体服务使能器的功能性和特征,其中外部实体可以使用用于检索信息的相同接口来建立媒体服务使能器的特定配置,其中在该文档中还描述了媒体服务使能器的各种功能的复杂度或其它度量,其中媒体服务使能器规范定义了描述文档的格式以及该特定媒体服务使能器的唯一识别符。
上述本申请实施例中的技术,可以使用计算机可读指令实现为计算机软件,并且物理地存储在至少一个计算机可读介质中。例如,图18示出了计算机系统1800,其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码,通过汇编、编译、链接等机制创建包括指令的代码,所述指令可由至少一个计算机中央处理单元(CPU),图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行,包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图18所示的用于计算机系统1800的组件本质上是示例性的,并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统1800的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机系统1800可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如:键盘输入、滑动、数据手套移动)、音频输入(如:声音、掌声)、视觉输入(如:手势)、嗅觉输入(未示出),对至少一个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体,气与人类有意识的输入不必直接相关,如音频(例如:语音、音乐、环境声音)、图像(例如:扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的至少一个(仅绘出其中一个):键盘1801、鼠标1802、触控板1803、触摸屏1810、操纵杆1805、麦克风1806、扫描仪1808、照相机1807。
计算机系统1800还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激至少一个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏1810、操纵杆1805的触觉反馈,但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如,扬声器1809、耳机(未示出))、视觉输出设备(例如,屏幕1810,包括阴极射线管(CRT)屏幕、液晶显示(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕),其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出;虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机系统1800还可以包括人可访问的存储设备及其相关介质,如包括具有CD/DVD 1811的高密度只读/可重写式光盘(CD/DVD ROM/RW)1820或类似介质的光学介质、拇指驱动器1822、可移动硬盘驱动器或固体状态驱动器1823,诸如磁带和软盘(未示出)的传统磁介质,诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备,等等。
本领域技术人员还应当理解,结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统1800还可以包括通往至少一个通信网络1898的接口1899。例如,网络1898可以是无线的、有线的、光学的。网络1898还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络1898还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络1898通常需要外部网络接口适配器,用于连接到某些通用数据端口或外围总线(1850和1851)(例如,计算机系统1800的USB端口);其它系统通常通过连接到如下所述的系统总线集成到计算机系统1800的核心(例如,以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络1898中的任何一个,计算机系统1800可以与其它实体进行通信。所述通信可以是单向的,仅用于接收(例如,无线电视),单向的仅用于发送(例如CAN总线到某些CAN总线设备),或双向的,例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口(954)可以连接到计算机系统1800的核心1840。
核心1840可包括至少一个中央处理单元(CPU)1841、图形处理单元(GPU)1842、图形适配器1817、以现场可编程门阵列(FPGA)1843形式的专用可编程处理单元、用于特定任务的硬件加速器1844等。这些设备以及只读存储器(ROM)1845、随机存取存储器1846、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)1847等可通过系统总线1848进行连接。在某些计算机系统中,可以以至少一个物理插头的形式访问系统总线1848,以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线1848,或通过外围总线1849进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。图像适配器可以包括在核心1840中。
CPU 1841、GPU 1842、FPGA 1843和加速器1844可以执行某些指令,这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 1845或RAM 1846中。过渡数据也可以存储在RAM 1846中,而永久数据可以存储在例如内部大容量存储器1847中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索,高速缓冲存储器可与至少一个CPU 1841、GPU 1842、大容量存储器1847、ROM 1845、RAM 1846等紧密关联。
所述计算机可读介质上可具有计算机代码,用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的,也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制,具有体系结构的计算机系统1800,特别是核心1840,可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在至少一个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质,以及具有非易失性的核心1840的特定存储器,例如核心内部大容量存储器1847或ROM 1845。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心1840执行。根据特定需要,计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心1840特别是其中的处理器(包括CPU、GPU、FPGA等)执行本申请所述的特定过程或特定过程的特定部分,包括定义存储在RAM(946)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代,计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如,加速器1844)中的功能,该电路可以代替软件或与软件一起运行以执行本申请所述的特定过程或特定过程的特定部分。在适当的情况下,对软件的引用可以包括逻辑,反之亦然。在适当的情况下,对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC)),包含执行逻辑的电路,或两者兼备。本申请包括任何合适的硬件和软件组合。
虽然本申请已对至少两个示例性实施例进行了描述,但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解,本领域技术人员能够设计多种系统和方法,所述系统和方法虽然未在本申请中明确示出或描述,但其体现了本申请的原则,因此属于本申请的精神和范围之内。
Claims (20)
1.一种媒体流方法,其特征在于,所述方法包括:
生成5G媒体流5GMS服务的媒体服务使能器MSE规范的MSE配置;
确定软件开发套件SDK和微服务中的至少一个符合所述MSE规范;
当确定所述SDK和所述微服务中的至少一个符合所述MSE规范时,根据所述MSE规范,通过功能和服务中的至少一个,设置所述SDK和所述微服务中至少一个的配置;及,
根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,其中,所述功能和所述服务中的至少一个在所述5GMS服务的所述实现的外部。
2.根据权利要求1所述的方法,其特征在于,所述5GMS服务的所述实现包括如下实现中的至少一个:MSE SDK抽象化、MSE SDK实例化和MSE微服务。
3.根据权利要求2所述的方法,其特征在于,所述MSE SDK抽象化指示媒体方面,所述MSE配置包括MSE描述文档MDD和MSE配置应用程序接口APIMCA;
所述MSE SDK实例化指示所述媒体方面,所述MSE配置包括所述MDD以及所述MCA的特定实现;
所述MSE微服务指示所述媒体方面,所述MSE配置包括所述MDD以及用于所述MCA的所述特定实现的服务API。
4.根据权利要求3所述的方法,其特征在于,所述媒体方面指示如下之一:服务访问信息、消费报告、度量报告、动态策略以及网络辅助。
5.根据权利要求4所述的方法,其特征在于,所述MDD指示性能度量以及MSE是否符合所述媒体方面。
6.根据权利要求1所述的方法,其特征在于,
所述功能和所述服务中的至少一个,通过同一接口,设置所述SDK和所述微服务中至少一个的配置,其中,所述功能和所述服务中的至少一个通过所述接口接收的信息,确定所述SDK和所述微服务中的至少一个符合所述MSE规范。
7.根据权利要求6所述的方法,其特征在于,所述确定所述SDK和所述微服务中的至少一个符合所述MSE规范,包括:
至少确定MSE描述文档MDD的格式,符合所述SDK和所述微服务中至少一个的格式。
8.根据权利要求6所述的方法,其特征在于,所述生成5GMS服务的MSE规范的MSE配置,包括:
设置MSE的标识符。
9.根据权利要求8所述的方法,其特征在于,所述功能和所述服务中的至少一个接收的信息,包括所述MSE的所述标识符。
10.根据权利要求1所述的方法,其特征在于,所述根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,包括:
指示在所述5GMS服务的所述实现的外部的所述SDK和所述微服务中的至少一个,所述SDK和所述微服务中的至少一个可选地请求所述5GMS服务的状况。
11.一种媒体流装置,其特征在于,所述装置包括:
至少一个存储器,用于存储程序代码;
至少一个处理器,用于读取所述程序代码,并且根据所述程序代码的指令进行操作,所述程序代码包括:
生成代码,被配置为使得所述至少一个处理器,生成5G媒体流5GMS服务的媒体服务使能器MSE规范的MSE配置;
确定代码,被配置为使得所述至少一个处理器,确定软件开发套件SDK和微服务中的至少一个符合所述MSE规范;
设置代码,被配置为使得所述至少一个处理器,当确定所述SDK和所述微服务中的至少一个符合所述MSE规范时,根据所述MSE规范,通过功能和服务中的至少一个,设置所述SDK和所述微服务中至少一个的配置;及,
控制代码,被配置为使得所述至少一个处理器,根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,其中,所述功能和所述服务中的至少一个在所述5GMS服务的所述实现的外部。
12.根据权利要求11所述的装置,其特征在于,所述5GMS服务的所述实现包括如下实现中的至少一个:MSE SDK抽象化、MSE SDK实例化和MSE微服务。
13.根据权利要求12所述的装置,其特征在于,所述MSE SDK抽象化指示媒体方面,所述MSE配置包括MSE描述文档MDD和MSE配置应用程序接口API MCA;
所述MSE SDK实例化指示所述媒体方面,所述MSE配置包括所述MDD以及所述MCA的特定实现;
所述MSE微服务指示所述媒体方面,所述MSE配置包括所述MDD以及用于所述MCA的所述特定实现的服务API。
14.根据权利要求13所述的装置,其特征在于,所述媒体方面指示如下之一:服务访问信息、消费报告、度量报告、动态策略以及网络辅助。
15.根据权利要求14所述的装置,其特征在于,所述MDD指示性能度量以及MSE是否符合所述媒体方面。
16.根据权利要求11所述的装置,其特征在于,
所述功能和所述服务中的至少一个,通过同一接口,设置所述SDK和所述微服务中至少一个的配置,其中,所述功能和所述服务中的至少一个通过所述接口接收的信息,确定所述SDK和所述微服务中的至少一个符合所述MSE规范。
17.根据权利要求16所述的装置,其特征在于,所述确定所述SDK和所述微服务中的至少一个符合所述MSE规范,包括:
至少确定MSE描述文档MDD的格式,符合所述SDK和所述微服务中至少一个的格式。
18.根据权利要求16所述的装置,其特征在于,所述生成5GMS服务的MSE规范的MSE配置,包括:
设置MSE的标识符。
19.根据权利要求18所述的装置,其特征在于,所述功能和所述服务中的至少一个接收的信息,包括所述MSE的所述标识符。
20.一种非暂时性计算机可读介质,其上存储有程序,所述程序使得计算机执行过程,所述过程包括:
生成5G媒体流5GMS服务的媒体服务使能器MSE规范的MSE配置;
确定软件开发套件SDK和微服务中的至少一个符合所述MSE规范;
当确定所述SDK和所述微服务中的至少一个符合所述MSE规范时,根据所述MSE规范,通过功能和服务中的至少一个,设置所述SDK和所述微服务中至少一个的配置;及,
根据所述SDK和所述微服务中至少一个的配置,控制所述5GMS服务的实现,其中,所述功能和所述服务中的至少一个在所述5GMS服务的所述实现的外部。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/338,338 | 2022-05-04 | ||
US18/192,921 | 2023-03-30 | ||
US18/192,921 US20230362759A1 (en) | 2022-05-04 | 2023-03-30 | Method for describing and configuring the 5g media service enablers |
PCT/US2023/017389 WO2023215060A1 (en) | 2022-05-04 | 2023-04-04 | A method for describing and configuring the 5g media service enablers |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117378183A true CN117378183A (zh) | 2024-01-09 |
Family
ID=89391491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202380011026.3A Pending CN117378183A (zh) | 2022-05-04 | 2023-04-04 | 描述和配置5g媒体服务使能器的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117378183A (zh) |
-
2023
- 2023-04-04 CN CN202380011026.3A patent/CN117378183A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7516637B2 (ja) | 無指向性媒体符号化のためのラップアラウンドパディングの方法 | |
CN113574873B (zh) | 对已编码视频流的子码流进行解码的方法和计算机设备 | |
CN112292859B (zh) | 一种用于解码至少一个视频流的方法和装置 | |
CN116018782B (zh) | 用于处理媒体流的方法、相关装置及存储介质 | |
CN113273185A (zh) | 视频编码中的段类型 | |
CN118368424A (zh) | 视频解码或编码的方法和装置 | |
CN114641976B (zh) | 用于流式传输媒体内容的方法、设备和计算机可读介质 | |
JP2022502950A (ja) | ビデオ符号化及び復号の方法及び装置並びにコンピュータプログラム | |
CN114827103B (zh) | 媒体编解码的方法、装置与计算机可读介质 | |
CN114073084B (zh) | 视频编解码方法、装置和存储介质 | |
US20230362257A1 (en) | Procedure for discovery of capabilities and performance of 5g edgar devices | |
CN113994686B (zh) | 已编码点云序列的解码方法、装置和存储介质 | |
CN114600083A (zh) | 信令通知云工作流中的输入数据的超时和完整 | |
US11295541B2 (en) | Method and apparatus of 360 degree camera video processing with targeted view | |
US10904545B2 (en) | Method for syntax controlled decoded picture buffer management | |
CN114270329A (zh) | 清单内更新事件 | |
CN113542209A (zh) | 用于视频信令的方法、装置和可读存储介质 | |
US20230362759A1 (en) | Method for describing and configuring the 5g media service enablers | |
CN117378183A (zh) | 描述和配置5g媒体服务使能器的方法 | |
US20230252735A1 (en) | Apparatus for creating shared virtual conversational space with ar and non-ar devices using edge processing | |
CN114667738B (zh) | 视频流传输方法和用于视频流传输的装置 | |
CN117356083A (zh) | 用于发现5g edgar设备的能力和性能的过程 | |
US20230252734A1 (en) | Apparatus for creating shared virtual ar conversational space on the network for multiple participants | |
CN116762343A (zh) | 用于注释dash中vvc子画面的方法 | |
CN114097230A (zh) | 发信号通知用于参考图片重采样的输出图片大小 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |