CN115706800A

CN115706800A - 图像切片变换方法和电子装置

Info

Publication number: CN115706800A
Application number: CN202111209918.3A
Authority: CN
Inventors: 温予佑
Original assignee: HTC Corp
Current assignee: HTC Corp
Priority date: 2021-08-10
Filing date: 2021-10-18
Publication date: 2023-02-17
Also published as: TW202308379A; TWI779826B; US11539980B1

Abstract

本公开提供一种图像切片变换方法和电子装置。所述方法包含：接收由图像编码器输出的第i个图像切片，其中第i个图像切片属于划分自图像帧的N个图像切片，i为索引，且N为整数；获得第i个图像切片的切片标头；通过修改第i个图像切片的切片标头将第i个图像切片变换成第i个子帧。因此，可减少接收器的时延，这可相应地改进用户体验。

Description

图像切片变换方法和电子装置

技术领域

本公开大体上涉及一种图像变换机制，特定来说，涉及一种图像切片变换方法和一种电子装置。

背景技术

参见图1，其绘示一种通用视频流机制。如所绘示，一般来说，视频流是基于帧的，其中仅可以在编码器已输出编码的图像帧之后对图像帧进行解码。在这种情况下，将暂缓后续处理(例如，渲染)，直到编码器已输出图像帧为止，这使得时延更长。

在一些图像处理规格(例如，H.264)中，尽管编码器可以输出图像帧的图像切片，但后续程序仍需要等待图像帧的所有图像切片都已由编码器输出为止，这可能导致更长的时延。

发明内容

因此，本公开涉及一种图像切片变换方法和一种电子装置，其可用于解决上述技术问题。

本公开的实施例提供一种图像切片变换方法，所述方法适于电子装置。方法包含：接收由图像编码器输出的第i个图像切片，其中第i个图像切片属于从图像帧划分的N个图像切片，i为索引，且N为整数；获得第i个图像切片的切片标头；通过修改第i个图像切片的切片标头将第i个图像切片变换成第i个子帧。

本公开的实施例提供一种电子装置，其包含存储电路和处理器。存储电路存储程序代码。处理器耦合到非暂时性存储电路且存取程序代码以执行：接收由图像编码器输出的第i个图像切片，其中第i个图像切片属于从图像帧划分的N个图像切片，i为索引，且N为整数；获得第i个图像切片的切片标头；通过修改第i个图像切片的切片标头将第i个图像切片变换成第i个子帧。

附图说明

包含附图以提供对本发明的进一步了解，并且并入在本说明书中并构成本说明书的一部分。图式示出本发明的实施例，且与描述一起用于解释本发明的原理。

图1绘示通用视频流机制。

图2绘示根据本公开的示例性实施例的电子装置的示意图。

图3绘示根据本公开的实施例的图像切片变换方法的流程图。

图4绘示根据本公开的实施例的修改切片标头的初始宏块索引的示意图。

附图标号说明

200：电子装置；

202：存储电路；

204：处理器；

0、1、2、3…509、510…1019、1020：宏块；

S310、S320、S330：步骤；

IM1：图像帧。

具体实施方式

现将详细地对本发明的本优选实施例进行参考，所述实施例的实例在附图中示出。只要有可能，在图式和描述中使用相同的参考标号来指代相同或相似部分。

参见图2，其绘示根据本公开的示例性实施例的电子装置的示意图。在一些实施例中，电子装置200可为任何计算机装置和/或智能装置，且电子装置200可属于包含传输器和接收器的视频流系统。在一个实施例中，电子装置200可为视频流系统的传输器。在这种情况下，电子装置200可产生图像帧，且使用图像编码器以对图像帧进行编码。然后，电子装置200可将图像帧传输到用于图像帧的接收器，以对图像帧进行解码且将图像帧显示为视觉内容。

在一个实施例中，电子装置200可为视频流系统的接收器。在这种情况下，电子装置200可从视频流系统的传输器接收编码的图像帧，并且电子装置200可对图像帧进行解码且将图像帧显示为视觉内容。

在各种实施例中，传输器和接收器对图像帧进行编码/解码的机制可基于任何已知的图像编码/解码算法来进行。为了更好地理解本公开的概念，将使用H.264作为由传输器和接收器使用的图像编码/解码算法的实例，但本公开不限于此。

在图2中，电子装置200包含存储电路202和处理器204。存储电路202为以下中的一个或组合：静态或移动随机存取存储器(random access memory；RAM)、只读存储器(read-only memory；ROM)、快闪存储器、硬盘或任何其它类似装置，并且所述存储电路202记录可由处理器204执行的程序代码和/或多个模块。

处理器204可与存储电路202耦合，且处理器204可为例如图形处理单元(graphicprocessing unit；GPU)、通用处理器、专用处理器、常规处理器、数字信号处理器(digitalsignal processor；DSP)、多个微处理器、与DSP内核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(Application Specific Integrated Circuit；ASIC)、现场可编程门阵列(Field Programmable Gate Array；FPGA)电路、任何其它类型的集成电路(integrated circuit；IC)、状态机等。

在本公开的实施例中，处理器204可存取存储在存储电路202中的模块和/或程序代码，以实施本公开中所提供的图像切片变换方法，所述方法将在下文中进一步论述。

参见图3，其绘示根据本公开的实施例的图像切片变换方法的流程图。此实施例的方法可由图2中的电子装置200执行，且下文将结合图2中所绘示的组件对图3中的每一步骤的细节进行描述。

在一个实施例中，图像帧可划分成N个图像切片(N为整数)，并且图像编码器可对图像切片进行编码且输出所述图像切片。

因此，在步骤S310中，处理器204接收由图像编码器输出的第i个图像切片，其中i为索引。

在步骤S320中，处理器204获得第i个图像切片的切片标头。在一个实施例中，由于假设图像编码器基于H.264操作，因此第i个图像切片可包含多个宏块(macro-block)和切片标头。在一个实施例中，第i个图像切片的切片标头可包含序列参数集和初始宏块索引。基于H.264，初始宏块索引可称为命名为first_mb_in_slice的变量，并且序列参数集可包含第i个图像切片的高度参数，所述高度参数可称为命名为pic_height_in_map_units_minus1的变量。序列参数集、高度参数以及初始宏块索引的定义可参考H.264的规格，在此不另赘述。

在H.264中，在接收与图像帧相关的所有N个图像切片之前，接收器无法对N个图像切片中的任一个进行解码和/或渲染。也就是说，所接收的一个图像切片无法通过接收器单独进行解码和/或渲染，这增加了视频流的时延。然而，如果可修改一个图像切片以将其视为独立帧(其可称作子帧)，那么可允许接收器单独对子帧进行解码/渲染。

因此，在步骤S330中，处理器204通过修改第i个图像切片的切片标头将第i个图像切片变换成第i个子帧。在一个实施例中，处理器204可通过修改第i个图像切片的切片标头的高度参数(即，pic_height_in_map_units_minus1)和初始宏块索引(即，first_mb_in_slice)来修改第i个图像切片的切片标头。

在一个实施例中，处理器204可基于第i个图像切片的高度和宏块的大小来修改切片标头的高度参数。在一个实施例中，处理器204可将第i个图像切片的高度除以宏块中的一个的高度以获得商数(称作Q)。接着，处理器204可将切片标头的高度参数修改为Q-1。

举例来说，假设第i个图像切片的高度为1600像素且宏块的大小为16×16。在这种情况下，处理器204可通过计算1600/16来获得100的商数。然后，处理器204可将切片标头的高度参数修改为Q-1(即，99)，但本公开不限于此。

在一个实施例中，处理器204可将切片标头的初始宏块索引修改为预定索引，所述预定索引可为例如0。详细地说，基于H.264，初始宏块索引起初用以表征图像帧中的第i个图像切片的第一宏块的顺序。在将第i个图像切片的切片标头的初始宏块索引修改为0之后，第i个图像切片可视为独立子帧。为了更好地理解上述概念，将使用图4作为实例。

参见图4，其绘示根据本公开的实施例的修改切片标头的初始宏块索引的示意图。在图4中，图像帧IM1可划分成4个图像切片，即，图像切片0、图像切片1、图像切片2以及图像切片3，并且每一图像切片可包含510个宏块。举例来说，图像切片0可包含图像帧IM1的宏块0到宏块509，并且图像切片1可包含图像帧IM1的宏块510到宏块1019。图像切片2和图像切片3中的宏块的次序可基于上述教示来理解，在此不另赘述。

由于图像切片0中的第一宏块(即，宏块0)的次序为0，因此由图像切片0的切片标头中的初始宏块索引指示的原始值可为0。由于图像切片1中的第一宏块(即，宏块510)的次序为510，因此由图像切片1的切片标头中的初始宏块索引指示的原始值可为510。由于图像切片2中的第一宏块(即，宏块1020)的次序为1020，因此由图像切片2的切片标头中的初始宏块索引指示的原始值可为1020。

在图4的情境中，当处理器204接收图像切片0时，处理器204可将图像切片0的切片标头中的初始宏块索引修改为0，且将高度参数修改为对应的Q-1，使得具有已修改的标头的图像切片0可视为子帧0。当处理器204接收图像切片1时，处理器204可将图像切片1的切片标头中的初始宏块索引修改为0，且将高度参数修改为对应的Q-1，使得具有已修改的标头的图像切片1可视为子帧1。当处理器204接收图像切片2时，处理器204可将图像切片2的切片标头中的初始宏块索引修改为0，且将高度参数修改为对应的Q-1，使得具有已修改的标头的图像切片2可视为子帧2。当处理器204接收图像切片3时，处理器204可将图像切片3的切片标头中的初始宏块索引修改为0，且将高度参数修改为对应的Q-1，使得具有已修改的标头的图像切片3可视为子帧3。

基于上述教示，处理器204可通过修改第i个图像切片的切片标头将第i个图像切片变换成第i个子帧。在一个实施例中，由于子帧标头的长度在H.264的规格中规定为预定长度，处理器204可判断第i个图像切片的已修改的切片标头的长度是否满足预定长度。在一个实施例中，响应于判定第i个图像切片的已修改的切片标头的长度短于预定长度，处理器204可通过用特定数据比特(例如0)填充已修改的切片标头而调整第i个图像切片的已修改的切片标头的长度，以满足预定长度。在这种情况下，具有已修改且已填充的切片标头的第i个图像切片可视为第i个子帧，但本公开不限于此。

在一个实施例中，当电子装置200实施为视频流系统的传输器时，电子装置200可将第i个子帧传输到视频流系统的接收器。由于第i个图像切片已经变换成第i个子帧，因此视频流系统的接收器可对第i个子帧进行解码，且在接收第i个子帧之后立即渲染解码的第i个子帧。也就是说，接收器不必等待与图像帧相关的其它子帧，即可开始解码并渲染第i个子帧。由于接收器可较早地开始对第i个子帧进行解码，因此可减少接收器的时延。

在另一实施例中，当电子装置200实施为视频流系统的接收器时，电子装置200可对第i个子帧进行解码，且在将第i个图像切片变换成第i个子帧之后立即渲染及解码的第i个子帧。因此，可减少电子装置200的时延。

在其它实施例中，处理器204可对N个图像切片的其它图像切片进行相似于图3中所提供的操作的其它操作，以将这些图像切片变换成对应的子帧。举例来说，在从图像编码器接收N个图像切片中的第(i+1)个图像切片之后，处理器204可获得第(i+1)个图像切片的切片标头，并且通过修改第(i+1)个图像切片的切片标头将第(i+1)个图像切片变换成第(i+1)个子帧，并且其细节可参考上述教示，在此不另赘述。

在一个实施例中，当电子装置200实施为视频流系统的接收器时，电子装置200可判断上述N个图像切片是否已经变换成对应的N个子帧，并且每个子帧已经解码并渲染。如果是，那么处理器204可将所渲染的N个子帧合并为视觉内容且提供视觉内容。

举例来说，假设电子装置200为用以将虚拟现实内容提供到其佩戴者的头戴式显示器。在这种情况下，电子装置200可将所合并的子帧显示为供佩戴者观看的视觉内容。由于电子装置200可以较低的时延操作，可相应地改进佩戴者的用户体验。

综上所述，本公开的实施例可通过修改其切片标头将每一图像切片变换成对应的子帧。由于每个子帧可单独解码和/或渲染，因此视频流系统的接收器不必等待与图像帧相关的其它子帧。因此，接收器可较早地开始对每个子帧进行解码，并且因此可减少接收器的时延，这可相应地改进用户体验。

将对本领域的技术人员显而易见的是，在不脱离本发明的范围或精神的情况下，可对本发明的结构作出各种修改和变化。鉴于前述内容，希望本发明涵盖本发明的修改和变化，前提是所述修改和变化属于所附权利要求书和其等效物的范围内。

Claims

1.一种图像切片变换方法，适于电子装置，其特征在于，包括：

接收由图像编码器输出的第i个图像切片，其中所述第i个图像切片属于划分自图像帧的N个图像切片，i为索引，且N为整数；

获得所述第i个图像切片的切片标头；以及

通过修改所述第i个图像切片的所述切片标头将所述第i个图像切片变换成第i个子帧。

2.根据权利要求1所述的图像切片变换方法，其中所述第i个图像切片包括多个宏块，所述第i个图像切片的所述切片标头包括高度参数和初始宏块索引，并且通过修改所述第i个图像切片的所述切片标头将所述第i个图像切片变换成所述第i个子帧的步骤包括：

基于所述第i个图像切片的高度和所述多个宏块的大小修改所述切片标头的所述高度参数；以及

将所述切片标头的所述初始宏块索引修改为预定索引。

3.根据权利要求2所述的图像切片变换方法，其中基于所述第i个图像切片的所述高度和所述多个宏块的所述大小修改所述切片标头的所述高度参数的步骤包括：

将所述第i个图像切片的所述高度除以所述多个宏块中的一个的高度以获得商数，其中所述商数由Q表示；以及

将所述切片标头的所述高度参数修改为Q-1。

4.根据权利要求2所述的图像切片变换方法，其中所述预定索引为0。

5.根据权利要求2所述的图像切片变换方法，其中在将所述切片标头的所述初始宏块索引修改为所述预定索引的步骤之后，所述方法还包括：

响应于判定所述第i个图像切片的已修改的所述切片标头的长度短于预定长度，通过用特定数据比特填充已修改的所述切片标头，来调整所述第i个图像切片的已修改的所述切片标头的所述长度，以满足所述预定长度。

6.根据权利要求1所述的图像切片变换方法，还包括：

从所述图像编码器接收所述N个图像切片中的第(i+1)个图像切片；

获得所述第(i+1)个图像切片的切片标头；以及

通过修改所述第(i+1)个图像切片的所述切片标头将所述第(i+1)个图像切片变换成第(i+1)个子帧。

7.根据权利要求6所述的图像切片变换方法，还包括：

响应于判定所述N个图像切片已经变换成N个子帧并且各所述子帧已经解码并渲染，将经渲染的所述多个子帧合并为视觉内容且提供所述视觉内容。

8.根据权利要求1所述的图像切片变换方法，其中所述电子装置属于视频流系统。

9.一种电子装置，其特征在于，包括：

存储电路，存储程序代码；以及

处理器，耦合到所述存储电路，存取所述程序代码以：

获得所述第i个图像切片的切片标头；以及

10.根据权利要求9所述的电子装置，其中所述第i个图像切片包括多个宏块，所述第i个图像切片的所述切片标头包括高度参数和初始宏块索引，且当将所述第i个图像切片变换成所述第i个子帧时，所述处理器执行：

将所述切片标头的所述初始宏块索引修改为预定索引。

11.根据权利要求10所述的电子装置，其中当基于所述第i个图像切片的所述高度和所述多个宏块的所述大小修改所述切片标头的所述高度参数时，所述处理器执行：

将所述切片标头的所述高度参数修改为Q-1。

12.根据权利要求10所述的电子装置，其中所述预定索引为0。

13.根据权利要求10所述的电子装置，其中在将所述切片标头的所述初始宏块索引修改为所述预定索引之后，所述处理器还执行：

14.根据权利要求9所述的电子装置，其中所述处理器还执行：

获得所述第(i+1)个图像切片的切片标头；以及

15.根据权利要求14所述的电子装置，其中所述处理器还执行：

16.根据权利要求9所述的电子装置，其中所述电子装置为视频流系统的传输器。

17.根据权利要求9所述的电子装置，其中所述电子装置为视频流系统的接收器，并且所述电子装置解码所述第i个子帧并渲染所解码的第i个子帧。