CN107872735B - 用于传输视频的方法和数据发射机 - Google Patents

Abstract

本发明涉及用于传输视频的方法和数据发射机。在由与接收机电通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，该方法包括：由发射机从数据源接收视频数据帧；由发射机根据视频数据帧的位的重要性级别将视频数据帧重组成多个数据包；由发射机针对多个数据包中的每个数据包生成标签以对多个数据包中的每个数据包进行标记，标签与多个数据包的不同的相对重要性级别对应；由发射机基于与多个数据包中的每个数据包对应的标签，针对多个数据包中的每个数据包执行不同的保护技术；以及由发射机将多个数据包和标签传输到接收机用于在显示面板上显示，使得多个数据包中的每个数据包基于该数据包对应的标签根据不同的保护技术被传输。

Description

用于传输视频的方法和数据发射机

技术领域

本发明的一个或多个示例实施例的方面涉及一种用于电子数据通信的系统和方法。

背景技术

本申请要求2016年9月26日在美国专利商标局提交的、名称为“A SYSTEM ANDMETHOD FOR CROSS LAYER IMAGE OPTIMIZATION(CLIO)FOR WIRELESS VIDEOTRANSMISSION OVER MULTI-GIGABIT CHANNELS(用于通过多千兆比特通道对无线视频传输进行跨层图像优化(CLIO)的系统和方法)”美国临时专利申请第62/400,042号的优先权和权益，其全部内容通过引用并入本文。

由于新的应用程序和新的用例的出现，对无线视频传输的需求正在增加。近年来，高分辨率显示屏幕的技术进步和高品质视频(HD、FHD、UHD等)的出现导致对于高吞吐量传输的带宽需求增加。例如，未压缩的超高清(UHD)视频需要12Gbps的带宽。

除了高数据速率的限制外，无线视频传输也是时间/延迟敏感的。当以60帧每秒提供时，帧间时间是1/60＝16.6ms。因此，必须丢弃16.6毫秒内没有收到的帧的任何部分，以便显示器可以开始呈现下一帧，并且数据重传通常不是可行的选择。除了高带宽和时延要求之外，无线通道可能容易受到干扰，这可能导致无线通道的质量随时间不可预测地变化。因此，可能难以针对通过无线通道发送高质量视频数据提供有保证的服务质量(QoS)。

本背景技术部分中讨论的上述信息仅用于增强对所描述的技术的背景的理解，并且因此它可能包含不构成本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的一个或多个示例实施例的方面涉及用于电子数据通信的系统和方法。

根据一些示例实施例，在由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，该方法包括：由发射机接收来自数据源的数据信号；由发射机接收来自接收机的返回信号；由发射机基于通道质量、视频质量、编解码器要求和数据速率要求中的至少一个，从多个配置文件中选择配置文件，该多个配置文件中的每一个配置文件包括用于将数据信号传输到接收机的一个或多个参数，多个配置文件包括与未压缩视频数据的传输对应的一个或多个配置文件和与压缩后视频数据的传输对应的一个或多个配置文件；以及，由发射机根据所选择的配置文件将数据信号传输到接收机，以在显示面板上显示。

根据一些实施例，由发射机接收的数据信号是视频数据信号。

根据一些实施例，该方法进一步包括基于返回信号从多个配置文件中选择配置文件，其中返回信号包括由接收机测量的无线通信通道的质量的指示符。

根据一些实施例，该方法进一步包括基于返回信号从多个配置文件中选择配置文件，其中返回信号包括由接收机测量的视觉质量的指示符。

根据一些实施例，该方法进一步包括：基于返回信号识别与接收机对应的显示设备；以及，由发射机基于与接收机对应的显示设备选择配置文件。

根据一些实施例，多个配置文件包括以下中的一个或多个：定义用于传输未压缩视频数据的参数的第一配置文件，其中通道质量超过第一阈值级别，以使如果在传输之后，来自一组像素中的任何像素的像素数据在接收机处丢失，则接收机通过平均周围像素的值来重新计算丢失的像素数据；定义用于传输未压缩视频数据的参数的第二配置文件，其中通道质量低于第一阈值级别但高于第二阈值级别，以使来自一组像素中的一个像素的像素数据不被传输到接收机，并且接收机通过将周围像素的值平均化而重新计算来自这一个像素的像素数据；定义用于传输未压缩视频数据的参数的第三配置文件，其中通道质量低于第一阈值级别和第二阈值级别但高于第三阈值级别，以使数据包中的像素的最低有效位不被传输到接收机，并且接收机补偿最低有效位；定义用于传输压缩后视频数据的参数的第四、第五、第六和第七配置文件，压缩后视频数据是使用产生多个数据层的基于层的压缩方法压缩的，多个数据层包括具有第一压缩率的最高层和具有如果被添加到最高层和任何中间层，则具有低于第一压缩率的第二压缩率的数据的最低层，其中：根据第四配置文件，每个数据层被传输到接收机；根据第五配置文件，数据层的子集被传输到接收机；根据第六配置文件，数据层中的单个数据层被传输到接收机；并且，根据第七配置文件，一个或多个数据层的仅一部分被传输到接收机；以及，基于用于显示视频数据的显示设备，定义用于传输具有不同优先级的视频数据的参数的第八配置文件。

根据一些实施例，该方法进一步包括由发射机通过数据信号的头数据包中的位选择，向接收机传输关于所选择的配置文件的信息。

根据一些实施例，关于所选择的配置文件的信息包括对应于所选择的配置文件的解压缩、反向分层、解码和纠错信息中的至少一个。

根据本发明的一些示例实施例，在通过无线通信通道将用于显示面板的数据传输到接收机的发射机中，发射机被配置为：从数据源接收数据信号；从接收机接收返回信号；基于通道质量、视频质量、编解码器要求和数据速率要求中的至少一个，从多个配置文件中选择配置文件，多个配置文件中的每一个配置文件包括用于将数据信号传输到接收机的一个或多个参数，多个配置文件包括与未压缩视频数据的传输对应的一个或多个配置文件和与压缩后视频数据的传输对应的一个或多个配置文件；并且，根据所选择的配置文件将数据信号传输到接收机，以在显示面板上显示。

根据一些实施例，由发射机接收的数据信号是视频数据信号。

根据一些实施例，发射机进一步被配置为基于返回信号从多个配置文件中选择配置文件，其中返回信号包括由接收机测量的无线通信通道的质量的指示符。

根据一些实施例，发射机进一步被配置为：基于返回信号识别与接收机对应的显示设备；并且，基于对应于接收机的显示设备，选择配置文件。

根据一些实施例，多个配置文件包括以下中的一个或多个：定义用于传输未压缩视频数据的参数的第一配置文件，其中通道质量超过第一阈值级别，使得如果在传输之后，来自一组像素中的任何像素的像素数据在接收机处丢失，则接收机通过平均周围像素的值来重新计算丢失的像素数据；定义用于传输未压缩视频数据的参数的第二配置文件，其中通道质量低于第一阈值级别但高于第二阈值级别，以使来自一组像素中的一个像素的像素数据不被传输到接收机，并且接收机通过平均周围像素的值来重新计算来自这一个像素的像素数据；定义用于传输未压缩视频数据的参数的第三配置文件，其中通道质量低于第一阈值级别和第二阈值级别但高于第三阈值级别，以使数据包中的像素的最低有效位不被传输到接收机，并且接收机补偿最低有效位；定义用于传输压缩后视频数据的参数的第四、第五、第六和第七配置文件，压缩后视频数据是使用生成多个数据层的基于层的压缩方法压缩的，多个数据层包括具有第一压缩率的最高层和具有如果被添加到最高层和任何中间层，则具有低于第一压缩率的第二压缩率的数据的最低层，其中：根据第四配置文件，每个数据层被传输到接收机；根据第五配置文件，数据层的子集被传输到接收机；根据第六配置文件，数据层中的单个数据层被传输到接收机；并且，根据第七配置文件，只有一个或多个数据层的部分被传输到接收机；以及，基于用于显示视频数据的显示设备，定义用于传输具有不同优先级的视频数据的参数的第八配置文件。

根据一些实施例，发射机进一步被配置为通过数据信号的头数据包中的位选择，向接收机传输关于所选择的配置文件的信息，其中关于所选择的配置文件的信息包括与所选择的配置文件对应的解压缩、反向分层、解码和纠错信息中的至少一个。

根据本发明的一些实施例，在由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，该方法包括：由发射机接收来自数据源的数据信号；由发射机接收来自接收机的返回信号；由发射机从多个配置文件中选择配置文件，所述多个配置文件中的每一个配置文件包括用于将所述数据信号传输到所述接收机的一个或多个参数，多个配置文件包括与未压缩视频数据的传输对应的一个或多个配置文件和与压缩后视频数据的传输对应的一个或多个配置文件；以及，由发射机根据所选择的配置文件将数据信号传输到接收机，以在显示面板上显示。

根据一些实施例，该方法进一步包括：基于通道质量选择配置文件。

根据一些实施例，该方法进一步包括基于在接收机处测量的视频质量选择配置文件。

根据一些实施例，该方法进一步包括基于编解码器要求选择配置文件。

根据一些实施例，该方法进一步包括基于数据速率要求选择配置文件。

根据一些实施例，该方法进一步包括：基于返回信号识别与接收机对应的显示设备；以及，由发射机基于对应于接收机的显示设备，选择配置文件。

根据一些实施例，该方法进一步包括：由发射机监视来自接收机的返回信号；以及，由发射机基于通道质量和视频质量的至少一个的变化，选择用于后续传输的另一配置文件。

根据本发明的一些示例实施例，在由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，所述方法包括：由发射机从数据源接收视频数据帧；由发射机将对应于视频数据帧的位分组成各自对应于多个重要性级别的多个组；由发射机按照重要性的顺序对多个组进行重组，以生成具有一个组的重组后的数据帧，该一个组对应于多个数据包头，具有最高重要性级别并且被排列为多个组中的第一个；由发射机在每个数据包头之前，插入指示与每个数据包头对应的数据位的长度的值；以及，由发射机将对应于视频数据帧的位传输到接收机，以在所述显示面板上进行显示，使得基于多个组对应的重要性级别，根据不同的保护技术来传输多个组中的每个组。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的调制和编码方案(MCS)值。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的前向纠错编码率。

根据一些实施例，接收机处的解码器被配置为重建视频数据帧。

根据一些实施例，重建视频数据帧包括：将每个数据包头移动到每个数据包头的原始相对位置。

根据一些实施例，重建视频数据帧包括：去除指示数据位的长度的值。

根据一些实施例，该方法进一步包括：由发射机监视来自接收机的返回信号；以及，由发射机调整不同的保护技术，以用于后续传输。

根据一些实施例，该方法进一步包括：根据与接收机对应的显示设备的类型，由发射机选择不同的保护技术。

根据本发明的一些示例实施例，在用于通过无线通信通道向接收机传输用于显示面板的数据的发射机中，发射机被配置为：从数据源接收视频数据帧；将对应于视频数据帧的位分组成各自对应于多个重要性级别的多个组；按照重要性的顺序对多个组进行重组，以生成具有一个组的重组后的数据帧，该一个组对应于多个数据包头，具有最高重要性级别并且被排列为多个组中的第一个；在每个数据包头之前，插入指示与每个数据包头对应的数据位的长度的值；以及，将对应于视频数据帧的位发送到接收机，以用于在显示面板上显示，使得基于多个组对应的重要性级别，根据不同的保护技术来传输多个组中的每个组。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的调制和编码方案(MCS)值。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的前向纠错编码率。

根据一些实施例，接收机处的解码器被配置为通过将每个数据包头移动到每个数据包头的原始相对位置来重建视频数据帧。

根据一些实施例，发射机进一步被配置为：监视来自接收机的返回信号；以及，调整不同的保护技术以用于后续传输。

根据本发明的一些示例实施例，在通过发射机传输用于显示面板的视频的方法中，所述发射机经由无线通信通道与接收机电子通信，所述方法包括：由发射机从数据源接收视频数据帧；由发射机将对应于视频数据帧的位分组成各自对应于多个重要性级别的多个组；由发射机按照重要性的顺序对多个组进行重组，以生成具有一个组的重组后的数据帧，该一个组对应于多个数据包头，具有最高重要性级别并且被排列为多个组中的第一个；以及，由发射机将对应于视频数据帧的位发送到接收机，以用于在显示面板上显示，使得基于多个组对应的重要性级别，根据不同的保护技术来传输多个组中的每个组。

根据一些实施例，该方法进一步包括由发射机在每个数据包头之前，插入指示对应于每个数据包头的数据位的长度的值。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的调制和编码方案(MCS)值。

根据一些实施例，每个组基于该组对应的重要性级别具有不同的前向纠错编码率。

根据一些实施例，接收机处的解码器被配置为重建视频数据帧。

根据一些实施例，该方法进一步包括：由发射机监视来自接收机的返回信号；以及，基于通道质量和视频质量中的至少一个的变化，由发射机调整不同的保护技术以用于后续传输。

根据一些实施例，该方法进一步包括：根据与接收机对应的显示设备的类型，由发射机选择不同的保护技术以用于与图像的不同区域对应的数据。

根据本发明的一些示例实施例，在由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，所述方法包括：由发射机从数据源接收视频数据帧；由发射机根据视频数据帧的位的重要性级别将视频数据帧重组成多个数据包；由发射机针对数据包中的每个数据包生成标签以对多个数据包中的每个数据包进行标记，该标签与数据包的不同的相对重要性级别对应；由发射机基于与数据包中的每个数据包对应的标签，针对数据包中的每个数据包执行不同的保护技术；以及，由发射机将数据包和标签传输到接收机用于在显示面板上显示，使得每个数据包基于该数据包对应的标签根据不同的保护技术被传输。

根据一些实施例，对数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到数据包的头。

根据一些实施例，每个数据包的标签基于该数据包对应的重要性级别对应于调制和编码方案(MCS)值。

根据一些实施例，更重要的数据包与较不重要的数据包相比具有更低的MCS值。

根据一些实施例，每个数据包的标签基于该数据包对应的重要性级别对应于前向纠错编码率。

根据一些实施例，该方法进一步包括：由发射机将数据包打包成多个聚合MAC协议数据单元(A-MPDU)子帧；以及，由发射机将A-MPDU子帧传输到接收机。

根据一些实施例，该方法进一步包括：由发射机使用相同的标签对多个物理层会聚过程(PLCP)协议数据单元(PPDU)帧进行标记；由发射机将具有相同重要性级别的A-MPDU子帧打包成PPDU帧；以及，由发射机将PPDU帧传输到接收机。

根据一些实施例，该方法进一步包括由发射机根据对应于接收机的显示设备的类型，针对视频数据帧的图像的不同区域选择不同的保护技术。

根据一些实施例，在通过无线通信通道将用于显示面板的数据传输到接收机的发射机中，发射机被配置为：从数据源接收视频数据帧；根据视频数据帧的位的重要性级别，将视频数据帧重组成多个数据包；针对数据包中的每个数据包生成标签以对多个数据包中的每个数据包进行标记，所述标签与数据包的不同的相对的重要性级别；基于与数据包中的每个数据包对应的标签，针对数据包中的每个数据包执行不同的保护技术；以及，将数据包和标签传输到接收机用于在显示面板上显示，使得每个数据包基于该数据包对应的标签根据不同的保护技术被传输。

根据一些实施例，对数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到数据包的头。

根据一些实施例，每个数据包的标签基于该数据包对应的重要性级别对应于调制和编码方案(MCS)值。

根据一些实施例，每个数据包的标签基于该数据包对应的重要性级别对应于前向纠错编码率。

根据一些实施例，发射机进一步被配置为：将数据包打包成多个聚合MAC协议数据单元(A-MPDU)子帧；以及，将A-MPDU子帧传输到接收机。

根据一些实施例，发射机进一步被配置为：对多个物理层会聚过程(PLCP)协议数据单元(PPDU)帧进行标记；将具有相同重要性级别的A-MPDU子帧打包成PPDU帧；以及，将PPDU帧传输到接收机。

根据本发明的一些示例实施例，在由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法中，所述方法包括：由发射机从数据源接收视频数据帧；由发射机根据视频数据帧的位的重要性级别将视频数据帧重组成多个数据包；由发射机针对数据包中的每个数据包生成标签以对数据包中的每个数据包进行标记，所述标签与数据包的不同的相对重要性级别对应；以及，由发射机将数据包和标签传输到接收机以在显示面板上显示，使得每个数据包都被基于该数据包对应的标签根据不同的保护技术来传输。

根据一些实施例，该方法进一步包括由发射机基于与数据包中的每个数据包对应的标签，针对数据包中的每个数据包执行不同的保护技术。

根据一些实施例，对数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到数据包的头。

根据一些实施例，该方法进一步包括：由发射机将数据包打包成多个聚合MAC协议数据单元(A-MPDU)子帧；以及，由发射机将A-MPDU子帧传输到接收机。

根据一些实施例，该方法进一步包括：由发射机使用相同的标签对多个物理层会聚过程(PLCP)协议数据单元(PPDU)帧进行标记；由发射机将具有相同重要性级别的A-MPDU子帧打包成PPDU帧；以及，由发射机将PPDU帧传输到接收机。

根据一些实施例，该方法进一步包括：由发射机监视来自接收机的返回信号；以及，由发射机至少基于通道质量和视频质量中的至少一个的变化，调整不同的保护技术。

附图说明

通过参考结合附图考虑的如下详细描述，本发明变得更好理解，本发明的更完整的理解以及许多附加特征和方面将变得更显而易见，其中在附图中相同的附图标记指代相似的部件，在附图中：

图1是示出根据本发明的一些示例实施例的示出跨层优化系统的高级概述说明的无线数据传输系统的框图；

图2示出根据本发明的一些示例实施例使用的基于层的示例压缩方案；

图3是示出根据本发明的一些示例实施例的示出跨层优化系统的示例结构和一些部件的进一步细节的框图；

图4示出根据本发明的一些示例实施例的将像素分割为不同类型的示例；

图5示出根据本发明的一些示例实施例的针对一个眼睛的视场的示例；

图6示出根据本发明的一些示例实施例的数据包或层结构的重组的示例；

图7示出根据本发明的一些示例实施例的示例头结构；

图8示出根据本发明的一些示例实施例的数据的示例重组；

图9示出根据本发明的一些示例实施例的像素位和数据包的示例重组；

图10示出在无线通信标准下的可用头字段；以及

图11是示出根据本发明的一些示例实施例的用于跨层图像优化的过程的流程图。

具体实施方式

本发明的示例实施例的方面涉及用于电子数据通信的系统和方法。

以下结合附图阐述的详细描述旨在作为用于根据本发明提供的用于通过多千兆比特通道对无线视频传输进行跨层图像优化(CLIO)的系统和方法的示例性实施例的描述，并不旨在表示可以构建或使用本发明的唯一形式。该描述结合所示实施例阐述了本发明的特征。然而，应当理解，相同或等效的功能和结构可以通过也旨在包含在本发明的精神和范围内的不同实施例来实现。如本文其他地方所示，相同的附图标记旨在指代相同的元件或特征。

显示技术的未来包括充满由各种无线流设备(手机、机顶盒、投影机等)馈送的廉价显示器的世界。无线链路上的高质量视频传输表现出具有挑战性。无线设备是非固定的，而无线链路具有不足的带宽并易受多种噪声影响。时延也可能很高且可变，这对视频尤其有害。由于对视频传输的要求严格，其中不同层(例如应用(APP)层、媒体访问控制(MAC)层和物理(PHY)层)被独立设计的通用设计方法不利于高数据速率无线数据传输。因此，本发明的实施例提供了一种跨层方法，其中一个层上的信息被用来改变不同层上的参数。这种灵活性允许快速适应无线链路的快速变化。

IEEE 802.11ad标准能够为未压缩全高清(FHD)无线视频提供所需的位率。IEEE802.11ad使用具有2.16GHz带宽的通道工作在60GHz频带，并使用单载波在物理层(PHY)上提供高达4.6Gbps的带宽，这足以满足未压缩FHD视频传输。然而，IEEE 802.11ad只能在特定部署中获得最大带宽。例如，IEEE 802.11ad要求发射机和接收机位于彼此的短距离内并且在视线内(LoS)。因此，本发明实施例提供了一种用于无线数据传输的改进方法。

根据若干实施例，本发明的各种特征可用于改善和保证无线网络上的视频流的QoS，包括跨物理(PHY)层、媒体访问控制(MAC)层或应用(APP)层的解决方案。因此，来自一个层(例如，MAC层)的信息可以被用来优化另一个层(例如，APP层)中的参数。例如，在视频流中，APP层在速率控制(网络意识)中可以使用关于通道质量的信息。较低层也可以被配置为使用关于视频流量特征的信息。根据各个实施例，系统采用动态配置文件分割，数据包的动态标记，基于层的压缩技术中的针对不同层的不等错误保护，以及重要性级别意识调制和调制/编码选择、分包、以及位或像素修剪。

根据一个实施例，跨层方法可以被用来优化时延约束可伸缩视频传输中的感知质量。另外，不等错误保护(UEP)可以针对每个视频层根据PHY层中的数据包丢失可见性(packet loss visibility)而采用。缓冲意识源适应也存在于APP层中。基于IEEE 802.11媒体独立切换(MIH)框架，速率适应方案被用于QoS驱动的无缝切换方案。为了控制速率，量化参数(QP)适用于单层编码(AVC/H.264)，并且增强层为了可伸缩编码(SVC/H.264)而被丢弃。还包括速率和流量适应以及依据无线视频传输中允许的会话的数量和视频质量用于优化QoS的接纳控制和自动层管理。流量管理、路径选择和帧过滤被包括为用于蜂窝网络中的UDP/RTP上的视频流的跨层优化技术。跨层框架包括视频编解码优化、层编码传输的时间片优化、以及自适应调制和编码方案(MCS)，以在考虑显示尺寸和能量约束的情况下优化无线多媒体广播接收机的用户QoS级别和能量效率。

在本质上，压缩从源去除冗余，并因此固有地对传输错误更敏感。压缩系统可以使用几种方法来减轻视频流中的传输错误的影响。如果视频流具有质量、空间或时间可伸缩性，则我们可以使用不等错误保护(UEP)的概念为更重要的信息位提供更高级别的保护。在接收机侧，如果视频流具有错误恢复的特性，则错误传播被最小化，并且可以忽略很大比例的错误。在解码之后，错误隐藏可以应用于解码后的输出。使用时域错误隐藏的一种技术是保存前一帧并在当前帧被破坏时重播该帧。另一种可能性是使用错误区域的周围像素来预测当前像素。通常，如果其他方法失败，则使用错误隐藏作为最后手段。

图1是示出根据本发明的一些示例实施例的无线数据传输系统100的框图。无线数据传输系统100包括发射机102，发射机102被配置为在输入端103处从数据源104(例如，诸如视频卡计算机系统的外部数据源)接收数据(例如，未压缩视频数据)。无线数据传输系统100进一步包括接收机106。接收机106可以被并入具有被配置为显示图像和视频的显示面板110的用户设备或电子设备108(例如，电子显示设备、智能电话、电视、平板电脑等)中。显示面板110包括多个像素，每个像素可以包括多个不同的颜色分量(或子像素)(例如，每个像素可以包括红色分量、绿色分量和蓝色分量)。

在视频的情况下，视频的每个帧在显示面板110上被显示(例如，被短暂地显示)为图像。在一些实施例中，显示面板110例如可以被包括为具有集成显示器的任何电子设备108(诸如电视、监视器、蜂窝电话、平板计算机、可穿戴设备、增强现实(AR)耳机或虚拟现实(VR)耳机)的一部分。

此外，发射机102通过分别并入发射机102和接收机106的无线电台112和114与接收机106进行无线数据通信。因此，发射机102和接收机106被配置为使用任何合适的无线数据频谱和标准(例如，电气和电子工程师协会(IEEE)802.11标准)在彼此之间来回传输数据。例如，发射机102被配置为通过直接(例如，数据)通道130(例如，无线通信通道)将数据信号连同跨层图像优化方案的参数或特征一起传输到接收机106，并且接收机106被配置为通过返回通道132将反馈数据或返回信号(例如，包括通道或视觉质量数据)传输到发射机102。

除了其他元件，发射机102进一步包括应用(APP)层116(包括例如显示协议和视频编码器模块)、媒体访问控制(MAC)层118和物理(PHY)层120。根据本发明的实施例，跨层图像优化的各个方面可以在APP层116、MAC层118和PHY层120中完成或执行。类似地，接收机106包括APP层122、MAC层124和PHY层126。

无线数据传输系统100可以进一步包括作为发射机102的一部分或与发射机102协调操作的跨层图像优化(CLIO)模块(或CLIO引擎)134，以控制跨层图像优化的系统和方法。CLIO模块134可以包括例如处理器和耦接到处理器的存储器，存储器存储指令，当指令被处理器执行时，使处理器执行在本文描述的跨层图像优化系统和方法的各种操作。例如，CLIO模块134可以与APP层116、MAC层118和PHY层120进行电子通信，以来回交换实施本文所述的跨层图像优化系统和方法的数据和命令。

因此，如图1所示，无线数据传输系统100被配置为在APP层116、MAC层118和PHY层120中实施跨层图像优化的各种机制之后，在发射机102处接收数据并向接收机106传输数据。

视频压缩/解压缩系统或编解码器可以基本上以六种不同的方式进行评估：压缩、质量(失真)、复杂性、时延、质量可伸缩性和错误恢复力。

根据本发明的一些示例实施例，基于层的压缩架构可以被用于数据或视频压缩，其中视频或数据流被解析或划分为多个质量层、分辨率层、空间位置或颜色分量。在相关技术的基于层的压缩架构(例如，JPEG2000)中，数据流以跟随有一系列数据包头和数据位的帧头开始。然而，数据流可以不按重要性的顺序进行排序，特别是对于实时UHD编解码器。

在一个实施例中，基于层的压缩系统(诸如或类似于JPEG2000标准)被用作作为跨层图像优化系统和方法(例如，由CLIO模块134执行的跨层图像优化系统和方法)的一部分的基于层的压缩。根据本发明的实施例的基于层的编码器可以采用以下步骤：分量的颜色转换、每个颜色通道上的小波转换、小波系数的量化、以及称为代码块的小波系数的矩形区域的最终算术编码。这样的编码器通过基于颜色分量、分辨率级别、空间块位置或层允许这些代码块的各种序列，为编码数据的结构提供灵活性。单个代码块可以是独立地可解码的，但是这些代码块的头可以取决于之前的头，并因此可以按顺序解码。

根据本发明的实施例使用的基于层的压缩编码数据流可以以跟随有一系列数据包头和数据位的帧头开始。如上所述，数据流可以被划分为多个质量层、分辨率级别、空间位置和颜色分量。然而，根据所使用的特定编码系统(例如，JPEG2000)，数据流可以不按重要性的顺序进行排序，特别是对于实时UHD编解码器。图2中的示例示出了在各层中产生的基于层的压缩编码数据流的示例；例如第一层可以对应于8:1的压缩率；在第二层的末端(已解码了第一层数据包的全部)，压缩率被设置为4:1。最终，解码第三层数据包可以与以2:1的压缩率发送数据流等效。本发明的实施例不限于上述的压缩率或层数。相反，根据跨层图像优化系统和方法的设计和功能，本发明的实施例可以使用具有任何合适的压缩率的任何合适的层数，以使第一层或最高层具有最高的压缩率，下一层具有当添加到第一层时导致压缩率低于第一层的压缩率的数据，等等，直到最底层或最后层具有当被添加到前述层中的每一层时导致压缩率相对低、视觉无损或对于观看者近似视觉无损(例如，1:1，1.5:1，2:1)的数据。

根据一些实施例，在VR显示的情况下，当立体图像被传输到接收机时，即使数据传输中的错误仅在一侧，该错误也可能影响左图像和右图像两者。因此，在本发明的一些实施例中，跨层图像优化系统和方法(例如，CLIO模块134和/或APP层116的视频编码器模块)可以对左图像加上右图像差执行压缩，然后确保各个左图像加上右图像差的片被编码为多路复用数据流。这样的过程可以减少(例如，减少一半)数据传输中的错误影响产品的可视性的实例的数量。

用于提高视频流质量的跨层算法中的本发明的实施例可以进一步使用PHY层的一个或多个特征，例如动态自适应调制和编码(AMC)，其中调制和编码方案(MCS)基于PHY层中的通道质量指示符而改变。较低的MCS值提供较低的位出错率，但也可实现较低的吞吐量。MAC层可以将MCS通知APP层以基于MCS调节压缩率。

丢失不同的位和数据包对视频质量具有不同的影响，并且本发明的实施例操作为使用UEP方法保护视频接收中的更重要的位，包括对未压缩/压缩的视频中的最高有效位(MSB)的更多保护、对JPEG 2000中的数据包头的更多保护、或对MPEG-4中的I帧的更多保护。保护可以通过使用更强健的MCS、重新传输、或如Reed-Solomon的附加纠错代码实现。

图3是示出根据本发明的一些示例实施例的无线数据传输系统100的跨层优化系统的示例架构和一些部件的进一步细节的框图，其包括APP层、MAC层和PHY层处的控制方案。测量反馈框被用于估计某些服务类的位出错率、视频质量和可用带宽等条件。然后，APP层和MAC层中的模型可以通过最佳位分配来最小化视频质量的失真，减少前向纠错所需的位数，并根据数据包丢失的影响确定数据包的优先级。

在一些实施例中，如图3所示，在APP层中，系统可以基于来自接收机的反馈和测量(例如，基于在返回通道132上接收的来自接收机106的数据)来启用/禁用光压缩(lightcompression)。反馈可以例如基于视频质量，并且视频质量的测量可以例如基于接收机报告的信噪比(SNR)或峰值信噪比(PSNR)。

图3中的MAC层可以包括许多功能、模块或程序，例如，包括像素分割、重新传输和多次CRC校验、具有像MSB/LSB分离的特征的分包和不同缓冲器。基于从PHY层接收的反馈或APP层中的参数，系统(例如，CLIO模块134)可以改变MAC层中的这些功能的参数，并确定这些功能、模块或程序应如何工作。例如，系统可以确定是否执行像素分割，并且如果执行像素分割，则分割如何被划分为数据包。此外，系统可以被配置为确定或选择是否启用重新传输。

根据一些实施例，系统(例如，CLIO模块134)可以在UEP实施方式中使用这些特征。例如，一些数据包可以具有这些特征(例如，重新传输)，或者这些特征可以针对不同数据包具有不同的参数(例如，不同的MCS或MSB/LSB分离)。

如图3所示，PHY层(例如PHY层302(具有在接收机中对应的PHY层126)，以及PHY层300(具有在发射机中对应的PHY层120))也可以并入用于UEP的实施方式的多个层。不同的数据包可以通过具有不同MCS值的不同层发送。不同的层也可以与具有不同优先级的不同缓冲器相关联。根据一些示例实施例，系统(例如，CLIO模块134)可以根据视频质量和测量反馈将不同的数据包关联到不同的层和缓冲器。

根据本发明的一些示例实施例，针对未压缩或压缩传输的跨层图像优化中的第一步是分层或分割。本发明的实施例使用了下面更详细描述的多个预定义分层和/或分割配置文件。作为数据传输会话的一部分，基于一个或多个预定义参数来选择不同的分层和/或分割配置文件中的一个，一个或多个预定义参数包括例如显示设备的类型、视频视觉质量的不同标准或指示符(包括峰值信噪比(PSNR))、通道质量、编解码器要求或选择、MCS和数据速率要求等。每个配置文件指示发射机和接收机中的不同程序集或由发射机和接收机中的不同程序集定义，不同程序集包括例如不同的纠错技术、压缩或分包。

此外，本发明的实施例可以使用不等错误保护(UEP)方法作为用于不同层的有序位流的跨层图像优化的一部分。位流或数据包的排序可以对基于层的压缩视频或未压缩视频执行。根据通道质量，不同的层使用不同的MCS值。

根据本发明的一些示例实施例，针对数据包(例如，在IEEE 802.11ad中的数据包)的动态标记可以被用作本发明的跨层图像优化系统和方法的一部分。因为在用于发射机的MAC打包器和在接收机处的解包器中实施重要性级别意识程序，所以重要性级别和对应的信息可以被发射或者发信号到接收机。

如上所述，根据本发明的实施例，系统可以使用动态分层和分割配置文件作为本发明的跨层图像优化系统和方法的一部分。发射机和接收机(例如，发射机102和接收机106)两者都可以使用或同意多个预定义的分层/分割配置文件。这些配置文件可以基于视频视觉质量(包括PSNR)的不同标准、通道质量、编解码器要求或选择、MCS、数据速率要求等进行选择。然后，接收机选择要运行的相应算法来反向分层方法和/或使用与所选择的配置文件对应的错误隐藏算法进一步校正任何传输错误。

在一个实施例中，尽管系统使用7个配置文件用于各种通道条件，但是配置文件的数量不限于此，并且可以根据无线数据传输系统的设计和功能来使用任何合适数量的配置文件。

例如，配置文件“00”可以被定义用于通道在理想或接近理想条件下操作时，而配置文件“06”可以被定义用于通道在非常差的条件下操作时。然后，“00”和“06”之间的配置文件被定义用于各个中间条件。

例如，一个配置文件(例如，配置文件“00”或理想/近似理想条件配置文件)可以被定义用于通道质量高时的未压缩视频传输。对于这样的配置文件，像素分割技术可以假设彼此紧靠的像素包含非常相似的内容的概率高。如果一组4个像素中的任何像素被遗漏，则可以从其他3个捕获的像素重新计算。如图4所示，配置文件“00”可以通过将图像划分为4种类型的像素来被选择。一种类型的三种颜色的像素被打包至1个数据包中。所有四种类型的数据包都被传输到接收机。知道配置文件“00”被传输的接收机可以提高图像质量。例如，如果任何像素(或像素中的任何颜色)的像素数据遗漏，则接收机运行平均方法，以通过对4个或8个周围像素(平均像素的数量可以是动态的)的组进行平均来代替遗漏的像素或颜色。图像压缩方法也依赖于每个像素附近的像素将具有相关值的想法。与熵编码压缩算法相比，该方法可以更简单地实施并且对位错误更具鲁棒性。

第二配置文件(例如配置文件“01”)可以通过将图像划分为与第一配置文件(配置文件“00”)类似的4种类型的像素来被选择。然而，三种类型的像素被选择用于传输。系统计算由于丢掉一种类型的像素而引起的失真是否低于阈值。如果该配置文件用信号传递给接收机，则接收机将根据在四个像素类型中的每一个之内的三个(或更多个)其他像素的平均值估计遗漏的像素数据值。阈值可以基于包括例如视觉质量(例如，PSNR)的不同标准来被选择。未传输的像素类型的选择和阈值也可以用信号传递。

第三配置文件(例如，配置文件“02”)可以在比上述最前面的两个配置文件(例如，配置文件“00”和“01”)更小的带宽上操作(例如，因此被选择)。例如，第三配置文件可以不传输数据包中的一个或全部中的像素中的最低有效位(LSB)。然后，在接收机中，平均算法可以补偿这些位。可以考虑另一个用于失真的阈值级别来选择用于未压缩视频的第三配置文件(例如，配置文件“02”)而不是上述的第一配置文件或第二配置文件(例如，配置文件“00”或“01”)。

当通道的质量较低且PHY层针对MCS用信号传递较低值时，可以考虑其他配置文件用于压缩视频。例如，可以使用多个质量分层以定义用于无线视频传输的新配置文件。在基于层的压缩中，如上所述，可以产生多个层。根据本发明的实施例，最高层可以包括来自多个层中具有最高压缩率的数据，并且最低层可以包括如果被添加到较高层将形成具有相对低(例如1:1或1:1.5，或任何合适的或视觉无损压缩率)的压缩率的图像的数据。例如，在三层压缩方案(例如，如图2所示)中，层1可以包括具有4:1的压缩率的压缩后图像的数据。层2可以包括如果添加到层1将形成具有2:1的压缩率的压缩后图像数据。层3可以包括位流，如果该位流被添加到层1和层2，则所得到的图像具有1:1(或1.5:1或任何其它视觉无损压缩率)的压缩率。

发射机根据通道质量、视觉质量、编解码器要求等选择发送哪个层。我们可以将第四配置文件(例如，配置文件“03”)定义为发送层1、层2和层3(或所有层)，将第五配置文件(例如，配置文件“04”)定义为发送层1和层2(或层的子集)，以及将第六配置文件(例如，配置文件“05”)定义为仅发送层1或具有最高的压缩率的层。对于第七配置文件(例如，配置文件“06”)，发射机可以发送层中的一个的一部分，例如，层1和层2以及层3的仅一部分。接收机，通过知晓第七配置文件(例如，配置文件“06”)被发送，将寻找遗漏的数据信息或运行附加的校正算法。发射机可以在数据包头中指示原始数据包的长度以及传输的数据包长度。因此，接收机知晓该层的一部分没有被接收，并且可以推断接收到的数据包的正确大小。同样，接收机向解码器发送数据包的部分未被接收的警告，并且接收机可以请求发射机重新发送或重新传输附加信息。

附加配置文件可以根据正在传输的数据的类型、其上将显示图像的显示器的性质、或图像的特定部分相对于同一图像的其他部分的重要性而建立。例如，根据一些实施例，图像的特定部分或区域可以比图像的其他部分更重要，这意味着，对于观看者，与图像的一部分相对应的位的数据传输中的错误可以比与图像的另一部分对应的位的数据传输中的错误更易察觉。

根据一些实施例，跨层图像优化系统和方法可以被部署在VR显示系统的背景下，例如在VR显示系统中显示器(例如，显示面板110)是VR显示器。在这种情况下，因为用户倾向于移动他们的头以将注意力集中在图像的不同部分上，所以观众对图像感知的大部分(例如，90％)聚焦在图像中心及其周围(例如，中心15度的视场)。因此，如图5所示，跨层图像优化系统和方法(例如，CLIO模块134)可以先于图像的第二区域(例如，图5中使用标签B标记的区域，例如，第一区域外部的第二视场和第一区域之间，或者15度和20度的视场之间)优先考虑与图像的第一区域或中心区域相对应的数据(例如，15度的视场，图5中标记有标签“A”的区域)。进一步，可以先于图像的第三区域(例如，图5中标记有“C”的区域，例如，第一区域和第二区域之外、或20度视场之外)优先考虑图像的第一区域和第二区域两者。

在美国专利申请第15/288,977号中描述了识别具有较高重要性或优先级的图像的区域的另一种方法，其整体通过引用合并于此。例如，根据一些实施例，相比于与具有较低重要性的图像的区域相对应的数据，与具有较高重要性的图像的区域相对应的数据可以被指定为具有较高的重要性级别或较高程度的错误保护。具有较高重要性的图像的区域可以根据与接收机对应的显示设备的类型而变化，例如，如本文参照图5所讨论的。

因为图像的不同区域可以被不同地优先考虑，所以跨层图像优化系统和方法(例如，CLIO模块134)可以选择配置文件(例如，如上所讨论的分层/分割配置文件)或UEP方案(下面更详细地描述)，以使与图像的其他区域中的数据相比，第一区域中的数据具有最低的错误级别，图像的第二区域具有第二低的错误级别，以此类推。此外，根据一些实施例，跨层图像优化系统和方法(例如，CLIO模块134)可以对数据进行分割，以使来自外部区域的错误不会传播到图像的最高优先级(例如，中心)区域。

根据一些示例实施例，跨层图像优化系统可以使用例如以上讨论的各种配置文件(例如，第一到第七配置文件)，以对用于传输的图像的不同部分进行优先级排序，以使较小编号的配置文件(例如，更不容易出错的配置文件)被选择用于图像的较高优先级部分，并且较大编号的配置文件(例如，更容易出错的配置文件)被选择用于图像的较低优先级部分。根据一些实施例，单独的配置文件可以根据显示设备(例如，电视机、VR显示器、AR显示器、无线医疗显示器等)的类型而特别预定义，从而根据正在交换的图像数据的部分的优先级，在传输(例如，压缩、编码、分包、丢掉或删除位)或接收(例如，解压缩、解码、纠错、解包或重新传输)中以不同的程序传输数据。

在一个实施例中，用于分层或分割配置文件的选择标准可以基于视频视觉质量(例如PSNR)和/或通道质量(例如SNR)。分层识别是否应当发送未压缩视频、一些数据包丢失的未压缩视频、或具有不同压缩率的压缩视频。不同的层可以根据排列优先级、延迟容限、错误保护和/或可靠性进行不同的处理。相应地，通过选择配置文件或接收配置文件编号，发射机和接收机可以在数据传输(例如压缩、编码、分包、丢掉或删除位)或接收(例如，解压缩、解码、错误校正或拆包)之前或作为数据传输(例如压缩、编码、分包、丢掉或删除位)或接收(例如，解压缩、解码、错误校正或拆包)的一部分启用不同的程序。

根据一些实施例，配置文件的选择可以通过MAC头数据包或PHY头数据包中的位选择而被传输到接收机。基于位选择，接收机可以识别所选择的分层方法。除了配置文件编号之外，所选择的配置文件所需的任何其他信息可以被传输到接收机，该其他信息包括例如压缩的层数和/或每层中的数据包/字节的数量。附加的信息可以通过数据包头中的位模式或通过安全通道发送，或者可以被预定义。

因此，本发明的一个或多个示例实施例包括用于选择通过无线数据通信通道从发射机向接收机传输数据(例如，未压缩视频数据)的一组预定义分层和/或分割配置文件的系统和方法。配置文件可以根据各种条件或参数进行选择，各种条件或参数包括例如通道质量、视频质量、编解码器要求或选择、MCS和数据速率要求，正在传输的数据的性质或特征、接收机端(例如，耦接到接收机的接收机端)的显示设备的性质或特征等。例如，配置文件的选择可以通过MAC层头数据包和/或PHY层头数据包中的位选择而从发射机传输到接收机。根据选择的配置文件，附加信息也可以从发射机传输(例如，在MAC层头数据包和/或PHY层头数据包中传输)到接收机，指示用于解压缩、解码、纠错等中的一个或多个参数。基于从发射机传输到接收机的信息(例如，位选择)，接收机可以被启用以识别在发射机处使用的、用于数据分层和/或分割和/或压缩的方法和/或协议，并且由此选择相应的算法或程序来执行，以反向分层和/或分割和/或压缩，并且也使用与选择的配置文件相对应的错误隐藏算法或程序来校正传输过程中的任何错误。

本发明的实施例可以进一步使用基于优先级的不等错误保护(UEP)来保护(例如，利于适当传输)更重要的位，例如，对于视频解码的目来说更重要的位。例如，在基于层的压缩中，与较高压缩率(例如，与基层或层1对应的较高压缩率)相关联或相对应的位在视频解码中更为重要，并因此需要更多的保护。另外，数据包头或帧头中的位错误导致视频解码器不能解码后续的数据位。在跨层图像优化系统和方法的一个实施例中，数据包头被移动到每帧的开头，如图6所示。另外，数据包头可以由唯一的开始值和结尾值来识别，如图7所示。当头移动到帧的开头时，标识符也被移动以将头彼此分离。根据一些示例实施例，结尾标识符也可以被移除。最后一个结尾标识符可以被保留以在头信息的结尾和下一层中的数据信息之间进行区分。

根据一些示例实施例，跨层图像优化系统和方法(例如，CLIO模块134)可以针对那些头和基层使用不同的保护技术来抵抗无线介质中的丢失或错误。例如，根据一些实施例，不同的MCS值可以被用于不同的层，或者不同的前向纠错(FEC)算法可以以不同的编码速率使用。另外，不等错误保护操作可以在MAC层处执行，由此使本发明的实施例能够改进或优化重组引擎并且也将重组引擎应用于不同的编解码器。例如，当APP层将整个数据传递到MAC层时，MAC层具有更多的灵活性来执行本文描述的各种跨层图像优化操作。此外，通过在MAC层中执行UEP，因为，如本文所描述，不同的功能可以使用根据特定情况的不同的参数来修改，所以系统相对更动态。此外，本发明的实施例因此能够基于无线通道的状态执行仅部分重组。

除了不同压缩率的层之外，根据本发明的实施例使用的压缩技术可以通过提供如图8所示的不同数据分量来提供附加分割技术。例如，各种类似的像素位(例如，具有相同或相似的MCS值的像素位)可以在数据包中被重组以集合在一起。也可以将其输出分成多个不同优先级的层的任何合适的压缩技术可以被使用。移动头和数据的相同方法可以被使用。具有不同编码速率的不同MCS值或FEC可用于数据的头或分区。

在一个实施例中，头包括关于在帧中的、在该头之后到来的数据包的长度的信息。在一些情况下，跨层图像优化系统和方法可以根据通道条件、MCS条件、带宽条件等传输每个层或分区中数据位的一部分。因此，可以传输的数据流的长度也可以被附加到头信息并被传输到接收机。例如，固定或预定数量的字节(N个字节)可以被保留以识别该长度。根据一些示例实施例，数据流的长度可以在每个头的结尾处，以便于识别。

因此，根据本发明的一些示例实施例的系统和方法可以被配置为根据在无线数据通信通道上传输的优先级、延迟容限、和/或保护级别或可靠性级别来重新分割或重组在层中或在基于层的压缩系统中的位。数据的帧包括与数据位相比需要更高保护级别的帧头位和数据包头位。帧中的数据位也可以被分割为不同的优先级、保护级别和/或可靠性级别。头可以根据预定义或已知的位串来识别，并且数据位可以根据重要性的顺序进行排序。根据一些实施例，较高优先级或较小的延迟容限的位可以被移动或重组到数据的帧的开头。例如，数据的帧可以以帧头开始，随后是数据包头，随后是数据位(例如，按优先级或重要性的顺序的数据位)。数据包头可以由预定义或预定的位串分离或识别。另外，根据一些实施例，数据位流的长度可以通过将与每个数据包头对应的长度的指示符插入数据包头、插入数据包之前或插入数据包之后来指示。接收机处的解码器例如通过将数据包头和其他数据位移动到其原始位置(重组之前)、并去除诸如数据长度位的任何附加插入的数据来重建帧，但是使用附加数据来重建帧。

因此，本发明的实施例可以针对用于跨层图像优化的任何层和/或基于级别的压缩技术提供不等错误保护的实施方式。头、层和/或数据分区可以根据重要性或优先级级别而重组，并且这种重组可以在发射机的MAC层中执行。根据跨层图像优化方案，来自每个数据包的数据的某部分可以被去除或丢掉，并且关于该数据的信息可以被合并到头信息中。此外，本发明的实施例可以使用不等错误保护，例如通过使用不同的MCS值用于前向纠错来保护具有不同重要性级别的信息，或以不同方式。作为根据本发明的一些示例实施例的不等错误保护的一部分，因为所有头可以被重组以集合在一起(例如，在一个位置处)，所以所有头可以经历一个不等错误保护算法，而不是例如单独地针对帧的头中的每一个头使用多个小的前向纠错。

根据本发明的一些示例实施例，因为不同的数据包可以使用UEP和基于层/分区的压缩来不同地保护，所以丢失不同数据包不同地影响视觉质量。如果基层或头中的某些数据包丢失，例如，系统可能无法在接收机侧重建视频。另一方面，一些数据包丢失可能导致PSNR降级。此外，如上所讨论，根据系统中使用的显示设备的类型，图像数据的不同部分在将错误最小化的方面与图像数据的其他部分相比可以具有更高的优先级。因此，本发明的实施例可以进一步使用动态UEP和重要性意识标签，如下面更详细描述。

如上所述，根据本发明的实施例的跨层图像优化系统和方法基于优先级、延迟容限、保护或可靠性来操作以将数据包分割成不同的重要性级别。在传输和/或接收中，每个重要性级别可以被不同处理。

在一个实施例中，每个帧被划分为具有不同重要性级别的多个视频数据包。然后，系统使用对应的重要性级别对每个数据包进行标记，并且对应的位被打包在聚合的MAC协议数据单元(A-MPDU)子帧和物理层会聚过程(PLCP)协议数据单元(PPDU)帧中。在一个示例中，PPDU可以用重要性级别标记并且动态地打包有相同重要性级别的数据包和A-MPDU子帧。如果启用了重新传输，则需要重新传输的A-MPDU子帧被要求排队并放置在具有适当重要性级别的适当PPDU中。

根据另一个实施例，每个A-MPDU子帧可以根据重要性级别进行标记。在这种情况下，所有PPDU在重要性级别方面被认为是相等的，并且打包有不同重要性级别的A-MPDU。在需要重新传输的延迟敏感场景中，标记A-MPDU子帧而不是PPDU数据包可能是有利的。虽然标记A-MPDU子帧而不是PPDU数据包可能使用用于标签信息的更多开销，但是这种方法可以更容易地管理多重重要性级别的数据包。

根据各个实施例，位模式可以被添加到A-MPDU或PPDU的头中，以便标记数据包。位模式可以是M个位，0...0表示最高重要性，1...1表示最低重要性。根据一些实施例，值M可以是预定义的，或者M值可以作为头信息的一部分用信号传递。根据一些实施例，发射机和接收机可以针对每个级别定义2^M个重要性级别和不同的程序。

为了通过IEEE802.11ad或IEEE 802.11ay进行无线视频传输的有保证的服务质量，根据本发明的一些示例实施例，跨层图像优化系统和方法可以通过动态重要性级别意识AMC针对每个标记的重要性级别实施UEP。不同的重要性级别可以使用不同的MCS值调制，或者不同的重要性级别可以用不同的前向纠错(FEC)值、或使用具有不同编码率的相同FEC值来编码。

在相关技术的系统中，PHY可以推荐适合于当前通道情况的MCS索引。然而，根据本发明的一些实施例，跨层图像优化系统和方法可以针对大部分的位流来适用推荐的MCS。例如，系统可以减小用于较重要的层或数据包的MCS索引，并且增加用于较不重要的层或数据包的MCS索引。图9示出了用于未压缩视频传输的示例，其中系统针对表示像素中的RGB颜色的位的MSB/LSB部分选择不同的MCS值。四个MSB位以MCS-1发送，接下来的2个位以MCS发送，而最后的2个LSB位以MCS+1发送。该示例还包括将位重新组合到数据包/A-MPDU子帧中，以使具有相同MCS索引的位被分组到相同的数据包/A-MPDU子帧。

例如，对于压缩视频传输，在基于分层的压缩被执行并且位被根据传输的重要性级别重组之后，如上面关于图6和图8所讨论的，头和基层1以MCS-1发送，层2以MCS发送，并且最后层3可以以MCS或者MCS+1发送。因此，头和层1被更多地保护并且几乎无错误传输。由于这些信息位以MCS-1发送，所以所需带宽可能超过具有MCS的通道的支持带宽。为了补偿，层3的部分可以被丢掉和/或层3位可以用MCS+1调制。

在IEEE 802.11ad中，MCS索引仅针对262143个字节的每个PPDU数据包而用信号传递。因此，如果PPDU被标记有重要性级别，则本发明的实施例可以使用IEEE 802.11ad程序，以针对每个数据包使用推荐的MCS索引或修改的MCS索引。根据一些实施例，IEEE 802.11ad中的信令可以被修改，以针对每个A-MPDU子帧用信号传递MCS。例如，每个数据包的头中的当前保留位或未使用的信息可以被使用。根据IEEE 802.11ad规范，头包括图10中的字段。作为示例，在对等连接中，本发明的实施例使用“地址4”来用信号传递MCS。本发明的实施例可以附加地将新字节加入头以针对每个A-MPDU用信号传递MCS。

因此，根据本发明的一些示例实施例的跨层图像优化系统和方法可以操作以基于例如优先级、延迟容限和/或保护或可靠性将视频帧的数据(例如，像素数据、数据包等)分割为不同的重要性类别。每个视频帧可以被划分成多个重要性级别，并且对应的位可以被打包成A-MPDU子帧。不同的数据包(例如，A-MPDU子帧、PPDU子帧等)可以根据重要性级别来标记，并且根据一些实施例，不同的数据包可以根据其重要性的顺序传输到接收机。不同的数据包(例如，A-MPDU子帧)可以根据其重要性级别而分组(例如，分入PPDU数据包)。指示重要性级别的值或标签可以被添加到数据包的头。在接收机端，接收机可以被使能以确定标签级别，并且由此根据标记进一步启用不同的错误恢复和/或隐藏过程。此外，具有不同重要性级别的数据可以通过针对每个数据包选择不同的调制和编码方案(MCS)值来不同地保护。除了标签之外，对应的MCS值可以被插入数据包的头。

因此，本发明的实施例可以实现针对无线数据传输的发射机和接收机中的数据包(例如，IEEE Multi-Gigabit 802.11中的数据包)的动态分割和/或标记以及重要性意识程序，包括无线跨层图像优化的AMC。本发明的实施例可以实现使用多个内容驱动标签来标记A-MPDU(数据)数据包内的每个小数据包。标签可以被传输并用信号传递到接收机。不同的程序或参数可以与合并本文讨论的跨层图像优化机制的各个方面的标签相关联。另外，本发明的实施例可以使用基于不等错误保护的标签，诸如AMC(针对标签的MCS适应)。

根据本发明的各种实施例，系统可以连续监视跨层图像优化的各种参数和因素，并进行相应的调整。例如，如上所述，为了后续数据传输，系统可以监视来自接收机的返回信号，并且随着环境改变，相应地调整跨层图像优化，例如通过选择不同的配置文件、压缩或纠错技术等。

图11是示出根据本发明的一些示例实施例的用于跨层图像优化的方法中的各种操作的示例流程图。然而，图11所示的操作的数目和次序不限于所示的流程图。例如，根据一些实施例，操作的顺序可以被修改(除非另有说明)，或者在不脱离本发明的精神和范围的情况下，该过程可以包括额外的操作或更少的操作。例如，本公开和对应附图中描述的各种其他特征和操作可以被并入到该过程中，或者根据本发明的一些示例实施例可以省略某些操作。

过程开始，并且在1200处，系统(例如，无线数据传输系统100和/或发射机102)从数据源接收数据(例如，包括例如未压缩视频数据的视频数据信号)。在1202处，从接收机(例如，接收机106)接收返回数据，返回数据包括关于至接收机的数据传输的各种信息，例如包括通道质量、视觉质量以及连接到接收机的显示设备的类型。然后，在1204处，系统可以识别显示设备的类型。在1206处，基于一个或多个预定义参数选择分层/分割配置文件，并且然后发送，一个或多个预定义参数包括例如显示设备的类型、视频视觉质量(包括峰值信噪比(PSNR))的不同的标准或指标、通道质量、编解码器要求或选择、MCS和数据速率要求等。

在1208处，可以例如根据选择的分层/分割配置文件对数据执行基于层或级别的压缩。然后，在1210处，如上所述，根据重要性级别，将层、分区、数据包或数据位重组成组或数据包。

在1212处，可以对数据进行标记以指示数据和/或数据的数据包的重要性级别。然后，在1214处，基于数据的不同类型的重要性级别，不等错误保护可以被执行以将数据传输到接收机。在1216处，将数据传输到接收机，例如用于在显示面板上显示。

根据本文描述的本发明的实施例的无线数据传输系统和/或任何其他相关设备或部件可以使用任何合适的硬件、固件(例如专用集成电路)、软件或软件、固件和硬件的适当的组合。例如，无线数据传输系统的各种部件可以被形成在一个集成电路(IC)芯片上或分离的IC芯片上。此外，显示设备的各个部件可以在柔性印刷电路膜、带状载体封装(TCP)、印刷电路板(PCB)上实现，或者与显示设备形成在同一基板上。此外，无线数据传输系统的各个部件可以是在一个或多个计算设备中的一个或多个处理器上运行的进程或线程，执行计算机程序指令并与其他系统组件进行交互以执行本文所述的各种功能。计算机程序指令存储在可以使用诸如随机存取存储器(RAM)的标准存储器件在计算设备中实现的存储器中。计算机程序指令也可以存储在其他非暂时性的计算机可读介质中，例如CD-ROM、闪存驱动器等。此外，本领域技术人员应该认识到，各种计算设备的功能可以被组合或集成到单个计算设备中，或者特定计算设备的功能可以分布在一个或多个其他计算设备上而不脱离本发明的示例性实施例的范围。

尽管已经在特定具体实施例中描述了本发明，但是本领域技术人员将不难设计对所描述的实施例的变化，这些变化决不偏离本发明的范围和精神。此外，对于各种领域的技术人员来说，本发明本身将为其他任务建议解决方案并且适合其他应用。申请人的意图是通过权利要求覆盖本发明的所有这些用途以及为了公开的目的而选择的对本文的本发明的实施例做出的这些改变和修改，而不脱离本发明的精神和范围。因此，本发明的当前实施例在所有方面都应被认为是说明性的而不是限制性的，并且本发明的范围由所附权利要求及其等同物而不是前述描述来指示。

Claims (14)

1.一种由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法，所述方法包括：

由所述发射机从数据源接收视频数据帧；

由所述发射机根据所述视频数据帧的位的重要性级别将所述视频数据帧重组成多个数据包；

由所述发射机接收来自操作在所述显示面板上的所述接收机的返回信号；

由所述发射机针对所述多个数据包中的每个数据包生成标签以对所述多个数据包中的每个数据包进行标记，多个所述标签与所述多个数据包的不同的相对重要性级别对应，其中每个数据包的所述标签基于该数据包对应的重要性级别和所述返回信号对应于调制和编码方案值；

由所述发射机使用对应的重要性级别对所述多个数据包中的每个数据包进行标记并且对应的位被打包在聚合MAC协议数据单元子帧和物理层会聚过程协议数据单元帧中，其中所述标记是针对所述聚合MAC协议数据单元子帧进行的；

由所述发射机基于与所述多个数据包中的每个数据包对应的所述标签，针对所述多个数据包中的每个数据包执行不同的保护技术；以及

由所述发射机将所述多个数据包和多个所述标签传输到所述接收机用于在所述显示面板上显示，使得所述多个数据包中的每个数据包基于该数据包对应的标签根据所述不同的保护技术被传输。

2.根据权利要求1所述的方法，其中对所述多个数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到所述数据包的头。

3.根据权利要求1所述的方法，其中更重要的数据包与较不重要的数据包相比具有更低的调制和编码方案值。

4.根据权利要求1所述的方法，其中每个数据包的所述标签基于该数据包对应的重要性级别对应于前向纠错编码率。

5.根据权利要求1所述的方法，进一步包括：

由所述发射机将所述聚合MAC协议数据单元子帧传输到所述接收机。

6.根据权利要求1所述的方法，进一步包括：由所述发射机根据对应于所述接收机的显示设备的类型，针对所述视频数据帧的图像的不同区域选择所述不同的保护技术。

7.一种通过无线通信通道将用于显示面板的数据传输到接收机的发射机，所述发射机被配置为：

从数据源接收视频数据帧；

根据所述视频数据帧的位的重要性级别，将所述视频数据帧重组成多个数据包；

接收来自操作在所述显示面板上的所述接收机的返回信号；

对所述多个数据包中的每个数据包生成标签以对所述多个数据包中的每个数据包进行标记，多个所述标签与所述多个数据包的不同的相对重要性级别对应，其中每个数据包的所述标签基于该数据包对应的重要性级别和所述返回信号对应于调制和编码方案值；

使用对应的重要性级别对所述多个数据包中的每个数据包进行标记并且对应的位被打包在聚合MAC协议数据单元子帧和物理层会聚过程协议数据单元帧中，其中所述标记是针对所述聚合MAC协议数据单元子帧进行的；

基于与所述多个数据包中的每个数据包对应的所述标签，针对所述多个数据包中的每个数据包执行不同的保护技术；以及

将所述多个数据包和多个所述标签传输到所述接收机用于在所述显示面板上显示，使得所述多个数据包中的每个数据包基于该数据包对应的标签根据所述不同的保护技术被传输。

8.根据权利要求7所述的发射机，其中对所述多个数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到所述数据包的头。

9.根据权利要求7所述的发射机，其中每个数据包的所述标签基于该数据包对应的重要性级别对应于前向纠错码率。

10.根据权利要求7所述的发射机，其中所述发射机进一步被配置为：

将所述聚合MAC协议数据单元子帧传输到所述接收机。

11.一种由与接收机电子通信的发射机通过无线通信通道传输用于显示面板的视频的方法，所述方法包括：

由所述发射机从数据源接收视频数据帧；

由所述发射机根据所述视频数据帧的位的重要性级别将所述视频数据帧重组成多个数据包；

由所述发射机接收来自操作在所述显示面板上的所述接收机的返回信号；

由所述发射机针对所述多个数据包中的每个数据包生成标签以对所述多个数据包中的每个数据包进行标记，多个所述标签与所述多个数据包的不同的相对重要性级别对应，其中每个数据包的所述标签基于该数据包对应的重要性级别和所述返回信号对应于调制和编码方案值；

由所述发射机使用对应的重要性级别对所述多个数据包中的每个数据包进行标记并且对应的位被打包在聚合MAC协议数据单元子帧和物理层会聚过程协议数据单元帧中，其中所述标记是针对所述聚合MAC协议数据单元子帧进行的；以及

由所述发射机将所述多个数据包和多个所述标签传输到所述接收机用于在所述显示面板上显示，使得所述多个数据包中的每个数据包基于该数据包对应的标签根据不同的保护技术被传输。

12.根据权利要求11所述的方法，其中对所述多个数据包中的每个数据包进行标记包括将指示数据包的相对重要性级别的位模式添加到所述数据包的头。

13.根据权利要求11所述的方法，进一步包括：

由所述发射机将所述聚合MAC协议数据单元子帧传输到所述接收机。

14.根据权利要求11所述的方法，进一步包括：

由所述发射机监视来自所述接收机的返回信号；以及

由所述发射机基于通道质量和视频质量中的至少一个的变化，调整所述不同的保护技术。

Images