CN110365917B - 图像处理方法、计算机产品、显示装置及计算机可读介质 - Google Patents

Abstract

一种图像处理方法，所述方法包括：将输入图像进行区域划分，得到多个子图像，其中所述多个子图像中的至少两个子图像作为待输出图像，并且所述多个子图像中的至少一个子图像被丢弃；拼接所述待输出图像中的各子图像，得到拼接图像；以及输出所述拼接图像，其中，所述拼接图像的尺寸小于所述输入图像的尺寸。

Description

图像处理方法、计算机产品、显示装置及计算机可读介质

技术领域

本公开涉及图像处理领域，并且更具体地，涉及一种图像处理方法、计算机产品、显示装置以及计算机可读介质。

背景技术

近来，高清显示器逐渐普及，随着图像的分辨率越来越高，观众的视觉体验不断提升。但是，另一方面，高分辨率图像对处理器的运算速度有很高的要求，并且，在传输的过程中需要占用较多的带宽资源。

对于人眼而言，由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同，使得人眼只能接纳注视区中心的细节，而对于任何超出人眼注视区5°以上的事物，人眼都会对这些事物的清晰度进行模糊化处理。可见，人眼的有效观察区近似于圆形。也就是说，对于一幅图像(特别地，高分辨率图像)来说，仅中心区域的圆形图像是最终被人眼有效捕捉的图像，而该圆形图像外的边缘区域中的图像并未落在人眼观察区域内。

然而，图像处理器的输出只能是矩形图像，并且信道中传输的图像也只能是矩形图像。这就使得在现有技术中，在信道中仍然要保证传输矩形图像，而在所传输的矩形图像中，只有中心区域的圆形图像是有效图像，而该圆形图像外的边缘图像是无用图像。所以，信道中传输的矩形图像中的一部分图像(即，边缘区域的图像)一定程度浪费了信道带宽。

发明内容

为了能够降低传输带宽，本公开的第一方面提供了一种图像处理方法，所述图像处理方法可以包括：将输入图像进行区域划分，得到多个子图像，其中所述多个子图像中的至少两个子图像作为待输出图像，并且所述多个子图像中的至少一个子图像被丢弃；拼接所述待输出图像中的各子图像，得到拼接图像；以及，输出所述拼接图像，其中，所述拼接图像的尺寸小于所述输入图像的尺寸。

在一些实施例中，所述方法还可以包括：从拼接图像提取所述待输出图像中的各子图像；以及，贴合各子图像，得到输出图像，其中所述贴合各子图像是所述拼接所述待输出图像中的各子图像的逆向操作。

在一些实施例中，所述贴合各子图像是基于各子图像的贴合参数进行贴合，所述方法还可以包括：对于所述待输出图像中的各子图像，计算该子图像的贴合参数。

在一些实施例中，所述贴合参数可以包括区域占比参数和偏移参数，所述区域占比参数可以包括子图像相对于显示区域的宽度比和高度比，以及所述偏移参数可以包括子图像在显示区域的起点位置。

在一些实施例中，所述拼接图像可以是所选尺寸的矩形图像。

在一些实施例中，所述方法还可以包括：响应于所述拼接图像为非矩形图像，对所述拼接图像相对于所选尺寸的矩形的空缺区域进行填充使其形成所选尺寸的矩形图像。

在一些实施例中，其中，拼接所述待输出图像中的各子图像，可以包括：固定各子图像中面积最大的子图像，其它子图像相对于所述面积最大的子图像进行移动。

在一些实施例中，可以基于显示输出图像的显示装置的显示区域的形状，确定所述多个子图像中的至少一个被丢弃的子图像。

在一些实施例中，所述贴合各子图像，可以包括按照与显示输出图像的显示装置的显示区域的形状进行贴合。

根据本公开的第二方面，提供了一种计算机产品，所述计算机产品可以包括一个或多个处理器，所述处理器被配置为运行计算机指令，以执行如本公开第一方面所述的图像处理方法中的一个或多个步骤。

根据本公开的第三方面，提供了一种显示装置，所述显示装置经由数据传输器件连接到如本公开第二方面所述的计算机产品；所述计算机产品可以被配置为获取所述显示装置的显示区域的形状，并基于所述显示装置的显示区域的形状执行所述图像处理方法中的一个或多个步骤，所述数据传输器件获取所述计算机产品的输出并传输给显示装置进行显示。

在一些实施例中，所述显示装置还可以包括一个或多个传感器，所述传感器被配置为跟踪和确定用户在显示装置的注视点。

在一些实施例中，所述计算机产品中的至少一个处理器可以集成在显示装置的驱动电路中。

在一些实施例中，所述显示装置的显示区域的形状可以包括非矩形。

根据本公开的第四方面，提供了一种计算机可读存储介质，被配置为存储计算机指令，所述计算机指令被处理器运行时执行如本公开第一方面所述方法中的一个或多个步骤。

通过执行根据本公开的实施例的图像处理方法的上述处理步骤，一部分不需要被显示在显示屏上供用户观看的子图像被丢弃，而通过对其他待输出的子图像进行适当的拼接，可以获得适于信道传输且比原始的输入图像尺寸小的拼接图像。因而，相对于传输原始的输入图像而言，将尺寸较小的该拼接图像通过信道进行传输，可以节省信道资源。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1是示出了根据本公开实施例的一种图像处理方法的流程图。

图2是示出了根据本公开的实施例的图像处理方法中对图像进行拼接的过程示意图。

图3是示出了根据本公开的实施例的图像处理方法中建立完成如图2所示的拼接过程的模型的示意图。

图4是示出了根据本公开的实施例的输出的图2所示拼接图像的示意图。

图5是示出了根据本公开的实施例的在显示装置上显示的图像的示意图。

图6是示出了根据本公开的另一实施例的图像拼接过程的示意图。

图7是示出了根据本公开的实施例的输出的图6所示拼接图像的示意图。

图8是示出了根据本公开的实施例的在显示装置上显示的图像的示意图。

图9是示出了根据本公开的实施例的一种图像处理装置的示意图。

图10是示出了根据本公开的实施例的一种图像处理系统的示意图。

图11是示出了根据本公开的实施例的图像处理系统中包括的显示装置的示意图。

图12是示出了根据本公开的实施例的计算机产品的示意图。

图13是示出了根据本公开的实施例的显示装置的示意图。

具体实施方式

将参照附图详细描述根据本公开的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

为使本公开的实施例的目的、技术方案和优点更加清楚，下面将结合本公开的实施例的附图，对本公开的实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在本公开的实施例中，采用渲染引擎来创建、获取并进行图像处理操作。该渲染引擎例如可以是Unity渲染引擎，也可以是其他图像处理工具，本公开不对其做出限制。

例如，渲染引擎所针对的待渲染的显示区域可以是执行渲染的渲染引擎(Renderer)所针对的整个场景(Scene)。

例如，场景可以由渲染引擎根据构建场景的数据(Attributes数据、Uniforms数据、Texture数据，诸如此类)进行场景(空间、光照、物体，诸如此类)的构建。

例如，渲染引擎可以通过图形处理器的着色器或中央处理器或其它可执行渲染运算的逻辑运算电路执行相关操作指令进行场景的构建。

在渲染引擎中，布置有多个虚拟相机，可以设置各种参数来使各虚拟相机获得所需的图像用于在渲染过程中提供可查看的场景视图。例如正交投影相机、透视投影相机。虚拟相机将拍摄的图像导入渲染引擎，并且设置虚拟相机的参数和调整虚拟相机的角度，以捕获待处理的图像作为输入图像。

在渲染引擎中，为了满足执行所需图像处理目的，可以设计所需的算法，这些算法可以运行在执行该渲染引擎的处理器中以软件产品的形式实现，或者固化在执行所需图像处理目的硬件电路中。无论以硬件还是软件的方法实现，可以将执行所需图像处理的过程抽象为执行对应图像处理功能的模型，例如可以将划分图像称之为划分模型、可以将拼接图像称之为拼接模型、可以将贴合图像称之为贴合模型，诸如此类。

根据发明人所知，由于人眼的生理结构所致，人眼负责观察色彩和细节的视网膜上的视锥细胞浓度不同，人眼在进行观察时通常只能接纳注视区的细节，超出人眼注视区5°以上的显示区域由于人眼产生视觉感受的视锥细胞分布的限制会逐渐降低清晰度，因此输入图像中人眼关注的中心区域的图像(可以是整个图像的中心区域，也可以是人眼注视的局部图像区域的中心区域)是最终可以被人眼有效关注的区域。

因而，为了尽量减少无用图像(即，边缘图像)所占用的信道带宽，参考图1所示，本公开的实施例提供一种图像处理方法。

在步骤S101中，将输入图像进行区域划分，得到多个子图像。其中该多个子图像中的至少两个子图像作为待输出图像，并且该多个子图像中的至少一个子图像被丢弃。例如，可以将该输入图像的中心区域的多个子图像作为待输出的图像，而将该输入图像的边缘图像丢弃。

在步骤S102中，拼接该待输出图像中的各子图像，得到拼接图像。一般地，由于人眼聚焦的图像中心区域近似于圆形形状，而信道中所传输的图像要求是矩形形状，因此需要对近似于圆形形状的区域部分的图像进行矩形化处理，以便于传输。

考虑到圆形形状的图像边缘一周是曲线型，仅通过移动该圆形图像中各子图像的相对位置和角度偏转并不能够容易地形成矩形图像，所以在本公开的一个实施例中，该待输出图像的形状可以选取诸如六边形、八边形等非矩形，这些非矩形图像相对于矩形图像要更近似于圆形。这种非矩形图像的输出显示也被称为“异形显示(Abnormal Display)”。可以对该这样的非矩形图像中的各子图像进行适当地移动，以较方便地拼接成适于信道传输的矩形图像。

在步骤S103中，输出拼接图像。由于在步骤S103中将输入图像进行区域划分为多个子图像时，丢弃了至少一个子图像，使得拼接后，该拼接图像的尺寸小于输入图像的尺寸。

通过执行根据本公开的实施例的图像处理方法的上述处理步骤，一部分不需要被显示在显示屏上供用户观看的子图像被丢弃，而通过对其他待输出的子图像进行适当的拼接，可以获得适于信道传输且比原始的输入图像尺寸小的拼接图像。因而，相对于传输原始的输入图像而言，将尺寸较小的该拼接图像通过信道进行传输，可以节省信道资源。

在一些实施例中，上述图像处理方法还可以包括：步骤S104，从拼接图像提取待输出图像中的各子图像；以及步骤S105，贴合各子图像，得到输出图像。

例如，显示装置的形状和待输出图像的形状相匹配，以便所输出的图像能最有效地被投放到显示屏上。因此，拼接图像在到达显示装置一侧时需要被还原为原始的待输出图像才能在显示屏上完整的显示。由于拼接的过程是从待输出图像变换为拼接图像，而贴合的过程是从拼接图像还原为待输出图像，所以，贴合各子图像是所述拼接待输出图像中的各子图像的逆向操作。

例如，所称的逆向操作可以是指贴合过程对每个子图像位置的调整与拼接过程对相应的子图像位置的调整是相反的。

例如，上述步骤S101至S103可以在渲染引擎中进行，步骤S104和S105可以在显示装置中进行，具体地，由显示装置的驱动集成电路(Driver IC)执行。

为了便于说明本公开的工作过程，如下提供一些具体实施例。如图2所示，显示了图像处理方法中对图像进行拼接的过程。

例如，左侧的矩形图像是原始的输入图像，并且该输入图像的尺寸为1920*1080。如上述步骤S101，将输入图像按照区域分布划分为七个子图像，其中，图2所示的标号为①②③的各子图像是待输出到显示器的图像，它们组合为一个六边形图像，而其它四个子图像是将不被显示器显示的图像。右侧的矩形图像是经过拼接处理的拼接图像，该拼接图像的尺寸为1380*1080。并且通过对比左右两侧的矩形图像，可以发现，将左图中标号为②的子图像相对于标号为①的子图像向左下方平移、并且将左图中标号为③的子图像相对于标号为①的子图像向右上方平移后，将移动后的标号为②和③的子图像与未移动的标号为①的子图像组合，便得到了图2所示的右侧的矩形图像。

图2中右侧矩形图像的尺寸只有左侧矩形图像的尺寸的(1380*1080)/(1920*1080)＝71.875％，节省了28.125％的带宽。

例如，在对原始的待输出图像(非矩形图像)进行矩形化的过程中(即，拼接过程)，各子图像可以存在多种不同的移动路径，并且可以包括平移和旋转等多种移动方式。

在一些实施例中，为了提高算法的执行效率，降低算法的复杂度，在待输出图像的各子图像中，可以将各子图像中面积最大的子图像固定，仅将其它子图像相对于该面积最大的子图像进行平移，来获得拼接后的图像。

例如，各子图像中面积最大的子图像可以包括用户的注视点区域。

例如，拼接过程可以通过模型来实现。因而，可以根据需要，例如使用建模软件预先建立好模型，然后将该模型以文件的形式导入渲染引擎中用于拼接图像。

图3是示出了根据本公开的实施例的图像处理方法中建立完成如图2所示的拼接过程的模型的示意图。

由于显示图像通常以视频流的形式呈现在显示装置的屏幕上，因而对于该视频流中的每一帧图像都需要重复地进行捕获、拼接处理、传输和显示等操作。在一些实施例中，可以预先建立好模型来完成如图2所示的拼接过程。这样，只需要在处理每一帧图像时，调用该模型便可对图像进行即时的拼接，而省去了对于每一帧图像都要重新确定拼接路径的计算量。

建模过程需要向建模软件提供待拼接的各子图像，并且需要对期望输出的拼接图像的尺寸和形状进行预先设置。也就是说，各子图像的形状和尺寸、各子图像之间的相对位置关系都是特定的，期望输出的拼接图像的尺寸和形状也是特定的，因而使得各子图像的移动轨迹也是确定的。

例如，图3所示建立的模型是用于基于图2中的标号为①②③的三个子图像生成所选尺寸的图像。在图2和图3的示例中，该所选尺寸的图像可以是矩形图像。应当了解的是，所选尺寸的图像也可以是其他形状的图像，本公开不对其做出限制。

模型建立好之后，可以导入渲染引擎直接使用。渲染引擎将待输出图像中的各子图像提供给该模型，并获取模型所生成的拼接图像以用于传输至显示装置。

图4是示出了根据本公开的实施例的输出的图2所示拼接图像的示意图。图4所示的上下两幅视图分别是在渲染引擎中可查看的拼接图像的Scene视图和Game视图，其中Scene视图是3D图像，可以通过调整虚拟相机的角度来从不同视角查看拼接后的图像；而Game视图是该3D图像的平面图像。通过查看Game视图来适当调整拼接图像，以将该二维的拼接图像(矩形图像)在信道中传输。

如前所述，建立模型时，需要提供待拼接的多个子图像。例如，将各子图像以及各子图像的相对位置关系提供给建模软件。

例如，预先确定各子图像的贴合参数，该贴合参数具有以下两个作用：一是用于模型的建立，以便确定各子图像的初始相对位置，基于初始相对位置计算出各子图像的移动轨迹用以形成期望的拼接图像；二是可以用于在显示装置一侧、由驱动IC将从信道中接收的图像还原为与原始的待输出图像形状相同的图像。

下面结合图2具体描述贴合参数的确定。由于贴合参数反映的是原始的待输出图像中各子图像的相对位置关系，根据图2中的左侧矩形图像来计算。具体地说，贴合参数可以包括区域占比参数Scale和偏移参数Offset。将原始的输入图像所在区域称为显示区域(例如可以是原始的输入图像所在的场景)，区域占比参数Scale可以包括子图像相对于显示区域的宽度比和高度比，偏移参数可以包括子图像在显示区域中的具体位置。

例如，可以通过将子图像补齐为最小矩形后、该最小矩形的左下角相对于显示区域的左下角分别在宽度方向和高度方向上的偏移比来确定该子图像的偏移参数。

为了简化计算，在本公开的实施例中，显示区域(即，原始的输入图像)的左下角处的端点被设置为参考点(0,0)。容易理解，选择其它任意位置作为参考点均是可行的。

以图2中的左侧矩形图像为例，对于标号为①的子图像，其区域占比参数Scale＝Vector2(1380/1920,1)，其偏移参数Offset＝Vector2(0,0)；对于标号为②的子图像，其区域占比参数Scale＝Vector2(540/1920,0.5)，其偏移参数Offset＝Vector2(1380/1920,0.5)；对于标号为③的子图像：其区域占比参数Scale＝Vector2(540/1920,0.5)，其偏移参数Offset＝Vector2(1380/1920,0)。这里，Vector2表示二维向量。

对一个建好的模型来说，各待拼接的子图像的形状、尺寸以及它们之间的相对位置关系已经是确定的了，并且各子图像在拼接好的图像中的位置也是确定的，所以在实际操作中，当建立好模型后导入渲染引擎中使用时，渲染引擎可以对每个子图像进行标号，并且将该多个子图像按照其各自的标号并行地提供给模型，而模型可以根据各子图像的标号将其移动到相应的位置，生成期望的拼接图像。

以图2所示的拼接过程为例，可以将待输出的三个子图像依次标号为①②③，如左侧矩形图像所示。由于模型是确定的，所以在拼接后，拼接图像中的各子图像的相对位置也将是确定的。具体地说，如图2的右侧矩形图像所示，在拼接后的图像中，标号为②的子图像被移动到标号为①的子图像的左下方，而标号为③的子图像被移动到标号为①的子图像的左上方。由于各子图像位置关系，无论拼接前还是拼接后，都具备确定性，所以当将各子图像按照标号提供给建立好的模型后，模型也可以快速地将各子图像移动到与之标号对应的位置处，获得期望的拼接图像。

容易理解的是，由于贴合参数可以反映出各子图像的相对位置关系，因而如上所述对各子图像进行标号的操作可以基于各子图像的贴合参数来完成。

图5是示出了根据本公开的实施例的在显示装置上显示的图像的示意图。图像贴合的操作可以设计为渲染引擎输出拼接图像并通过信道传输至显示装置一侧，显示装置内的驱动电路Driver IC执行图像贴合的过程(将所接收的拼接图像重新还原为原始的待输出图像)，以便在显示屏上进行显示。例如，图5所示的显示图像是对应于图2所示的待输出图像，因而，该显示图像也是六边形图像。

当由显示装置的驱动电路执行图像贴合(即，图像还原)的操作时，由于贴合参数保留了各子图像在拼接之前的相对位置关系，因而驱动IC可以基于如前所述确定的各子图像的贴合参数而将各子图像贴合(还原)为原始的待输出图像。

例如，驱动IC也可以基于如前所述的各子图像的标号而将各子图像移动至与其标号相对应的位置。以图2为例，在原始的待输出图像中，即图2的左侧矩形图像，标号为②的子图像在标号为①的子图像的右上方，并且标号为③的子图像在标号为①的子图像的右下方。通过这种方法，也可以快速地将从信道接收的图像还原为原始的待输出图像。

显示装置的屏幕形状(显示面板的显示区域的形状)与待输出图像的形状是相匹配的。例如图5所示的显示装置的屏幕形状是六边形。当然也可以根据实际情况采用其他的形状，本公开不对其做出限制。

例如，参考图6所示，以八边形为例，显示了一个图像拼接过程。如图6所示，左侧的正方形图像是原始的输入图像，并且该输入图像的尺寸为1000*1000。如上述步骤S101，将输入图像按照区域分布划分为九个子图像，其中图6所示的标号为①②③④⑤的各子图像是待输出到显示器的图像，它们组合为一个八边形图像，而其它位于正方形图像边缘的四个子图像是将不被显示器显示的图像。右侧的正方形图像是经过拼接后的拼接图像，该拼接图像的尺寸接近为856*856(空缺一矩形区域)。并且通过对比左右两侧的矩形图像，可以发现，由于标号为①的子图像是5个待输出子图像中面积最大的，因而将该标号为①的子图像固定不动，而将标号为②的子图像相对于标号为①的子图像向右下方平移、将标号为③的子图像相对于标号为①的子图像向右上方平移、将标号为④的子图像相对于标号为①的子图像向右下方平移、并且将标号为⑤的子图像相对于标号为①的子图像向左下方平移后，将移动后的标号为②至⑤的子图像与未移动的标号为①的子图像组合，便得到了图6右侧所示的接近为正方形的拼接图像。

图6中右侧近似为正方形的图像尺寸只有左侧正方形图像尺寸的73.27％，节省了26.73％的带宽。

例如，并不是任意的多个输入子图像一定能拼接为所选尺寸的矩形图像，可以选择输出最接近所选尺寸的矩形图像作为拼接图像，并且该拼接图像的面积与所选尺寸的矩形图像的面积的比值位于[0,1]之间。例如，可以选择以可达到[0,1]范围内的最大值的方式拼接图像。

例如，在输入到模型中各子图像无法刚好拼接为所选尺寸的矩阵图像的情况下，渲染引擎可以在从模型中获得该拼接图像后对该拼接图像相对于所选尺寸的矩形图像的空缺区域进行填充，将其补齐为具有所选尺寸的矩形图像。例如，渲染引擎可以使用背景色或渐变色等来填充该空缺区域，本公开不对空缺区域的填充方式做出限制。

在一些实施例中，对于通过显示装置的驱动电路执行贴合操作的情况，容易理解，由于所填充的空缺区域最终并不作为输出图像显示在显示屏装置的显示区域，该空缺区域将在驱动电路的贴合过程(还原过程)中被丢弃，但其却需要在信道中传输，因而，相对于可以刚好拼接为矩形图像的情况，可以节省的带宽略少。

图7是示出了根据本公开的实施例的输出的图6所示拼接图像的示意图。图7所示的上下两幅视图分别是在渲染引擎中可查看的拼接图像的Scene视图和Game视图，其中Scene视图是3D图像，可以通过调整虚拟相机的角度来从不同视角查看拼接后的图像(接近正方形的图像)；而Game视图是该3D图像的平面图像。通过查看Game视图来适当调整拼接图像，并将该二维的拼接图像相对于所选尺寸的矩形图像的空缺区域进行填充(例如，填充背景色或渐变色等)，最后将补齐后的所选尺寸的矩形图像在信道中传输。

图8是示出了根据本公开的实施例的在显示装置上显示的图6所示图像的示意图。当渲染引擎输出补齐后的拼接图像并通过信道传输至显示装置一侧时，显示装置内的驱动电路可以将所接收的拼接图像重新还原为原始的待输出图像(即，八边形图像)，以便在显示屏上进行显示。当然，如前所述，在显示装置一侧进行图像还原的过程中，需要将所填充的空缺区域的图像内容丢弃。

图9是示出了根据本公开的实施例的一种图像处理装置的示意图。图9所示的图像处理装置(900)，可以包括：区域划分单元(901)、拼接单元(902)、以及输出单元(903)。

具体地，区域划分单元(901)被配置为将输入图像进行区域划分，得到多个子图像。所划分的多个子图像中的至少两个子图像作为待输出图像，而该多个子图像中的至少一个子图像被丢弃。例如，该待输出图像的形状可以是六边形、八边形等非矩形，本公开不对其做出限制。并且，考虑到人眼的聚焦特性，可以将该输入图像的中心区域的多个子图像作为待输出的图像，而将该输入图像的边缘图像丢弃。

拼接单元(902)被配置为拼接所述待输出图像中的各子图像，得到拼接图像。如前所述，待输出图像可以是非矩形图像，因而需要对该非矩形图像中的各子图像进行适当地移动，以拼接成适于信道传输的矩形图像。

输出单元(903)，被配置为输出所述拼接图像。其中，由于在对输入图像进行区域划分后丢弃了多个子图像中的至少一个子图像，因而所述拼接图像的尺寸小于所述输入图像的尺寸。

本公开的实施例的图像处理装置，可以将一部分不需要被显示在显示屏上供用户观看的子图像丢弃，并且对其他待输出的子图像进行适当的拼接，来获得适于信道传输且比原始的输入图像尺寸小的拼接图像。因而，相对于传输原始的输入图像而言，将尺寸较小的该拼接图像通过信道进行传输，可以节省信道资源。

在一些实施例中，所述拼接图像可以是所选尺寸的矩形图像。由于该图像处理装置要在信道上传输的图像需要是矩形图像，所以，通常要求经由拼接单元拼接后的图像也应当是矩形图像。对于该矩形图像的尺寸，可以预先设定，并且优选地，也可以根据待输出图像中的各子图像的形状和尺寸来设定某个最便于拼成矩形的尺寸。

在一些实施例中，所述图像处理装置还可以包括：填充单元(904)，被配置为在所述拼接图像为非矩形图像时，对所述拼接图像相对于所选尺寸的矩形的空缺区域进行填充，使其形成所选尺寸的矩形图像。在某些时候，所述待输出图像中的各子图像无论怎样移动都无法刚好地拼接为某个所选尺寸的矩形图像，使得拼接后的图像相对于所选尺寸的矩形图像存在空缺区域，此时就需要该填充单元(904)例如使用背景色或渐变色等方式来填充该空缺区域，以保证在信道中传输的图像为矩形图像。

在一些实施例中，拼接所述待输出图像中的各子图像，可以包括：固定各子图像中面积最大的子图像，其它子图像相对于所述面积最大的子图像进行移动。采用固定面积最大的子图像、而移动其它子图像，这样可以提高程序运行的速度。并且，为了进一步降低算法的复杂度，可以仅对其它子图像进行平移，而没有进行诸如旋转、翻转等较为复杂的移动。应当了解的是，本公开仅是从优化算法的角度而选择平移的移动方式作为本公开的一个示例，而实际上，任何移动方式都是可取的，本公开并不对其做出限制。

图10是示出了根据本公开的实施例的一种图像处理系统的示意图。如图10所示，该图像处理系统(1000)可以包括：如前所述的任一图像处理装置(900)；以及显示装置(1100)。其中，显示装置(1100)用于经由信道接收从图像处理装置(900)输出的图像，并且用于显示图像。

图11是示出了根据本公开的实施例的图像处理系统中包括的显示装置的示意图。如图11所示，显示装置(1100)可以包括：图像提取单元(1101)和贴合单元(1102)。其中，该图像提取单元(1101)可以被配置为从拼接图像提取所述待输出图像中的各子图像；并且，该贴合单元(1102)可以被配置为贴合各子图像，得到输出图像。

通常，显示装置的形状和待输出图像的形状相匹配，以便所输出的图像能最有效地被投放到显示屏上。因此，拼接图像在到达显示装置一侧时需要被还原为原始的待输出图像才能最优地在显示屏上显示。由于拼接的过程是从待输出图像变换为拼接图像，而贴合的过程是从拼接图像还原为待输出图像，所以，贴合各子图像可以是拼接待输出图像中的各子图像的逆向操作。

在一些实施例中，其中，所述贴合各子图像可以是基于各子图像的贴合参数进行贴合，所述显示装置(1100)还可以包括：计算单元(1103)，该计算单元(1103)被配置为：对于所述待输出图像中的各子图像，计算该子图像的贴合参数。

该贴合参数可以反映原始的待输出图像中各子图像的相对位置关系。具体地说，贴合参数可以包括区域占比参数Scale和偏移参数Offset。如果将原始的输入图像所在区域称为显示区域，则区域占比参数Scale包括子图像相对于显示区域的宽度比和高度比；并且，偏移参数包括子图像在显示区域中的具体位置，例如可以通过将子图像补齐为最小矩形后、该最小矩形的左下角相对于显示区域的左下角分别在宽度方向和高度方向上的偏移比来确定。为了简化计算，在本公开的实施例中，显示区域(即，原始的输入图像)的左下角处的端点被设置为参考点。应当了解的是，也可以选择其他位置的点作为参考点，本公开不对其做出限制。

如前所述，由于该贴合参数可以反映原始的待输出图像中各子图像的相对位置关系，所以根据计算出的贴合参数，可以将拼接图像还原为原始的待输出图像。

在一些实施例中，所述显示装置的显示区域的形状可以是非矩形。

本公开的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序配置为被处理器执行时，能够实现如本公开实施例所述的图像处理方法的一个或多个步骤。

如图12所示，本公开的实施例还提供了一种计算机产品1200，包括一个或多个处理器1201，所述处理器被配置为运行计算机指令，以执行上述任一实施例的图像处理方法中的一个或多个步骤。

可选地，所述计算机产品1200还包括存储器1202，连接所述处理器1201，被配置为存储所述计算机指令。

其中，存储器1202可以是各种由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

其中，处理器1201可以是中央处理单元(CPU)或者现场可编程逻辑阵列(FPGA)或者单片机(MCU)或者数字信号处理器(DSP)或者专用集成电路(ASIC)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的逻辑运算器件。一个或多个处理器可以被配置为以并行计算的处理器组同时执行上述图像处理方法，或者被配置为以部分处理器执行上述图像处理方法中的部分步骤，部分处理器执行上述图像处理方法中的其它部分步骤等。

计算机指令包括了一个或多个由对应于处理器的指令集架构定义的处理器操作，这些计算机指令可以被一个或多个计算机程序在逻辑上包含和表示。

该计算机产品1200还可以连接各种输入设备(例如用户界面、键盘等)、各种输出设备(例如扬声器、网卡等)、以及显示设备等实现计算机产品与其它产品或用户的交互，本文在此不再赘述。

其中，连接可以是通过网络连接，例如无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者Wi-Fi等通信方式。

如图13所示，本公开的实施例还公开了一种显示装置1300，该显示装置1300经由数据传输器件1305连接到计算机产品1200；计算机产品1200配置为获取所述显示装置1300的显示区域的形状，并基于显示装置1300的显示区域的形状执行上述任一实施例的图像处理方法中的一个或多个步骤，数据传输器件1305获取所述计算机产品1200的输出并传输给显示装置进行显示。

其中，数据传输器件1305与显示装置1300的驱动电路耦接，例如数据传输器件连接到显示屏幕的接口(如VGA、DVI、HDMI、DP等)。

例如，数据传输器件1305可以是对应显示屏幕接口的显示连接线缆。

例如，数据传输器件1305可以是基于无线实现的显示信号收发器件，例如，能够执行Air Play、DLNA、Miracast、WiDi、Chromecast等显示功能的无线显示收发器件。

例如，显示装置1300还包括一个或多个传感器，所述传感器被配置为跟踪和确定用户在显示装置1300的注视点。

例如，计算机产品1200中的至少一个处理器集成在显示装置1300的驱动电路中，以执行图像处理方法的部分步骤，例如图像贴合的操作。

例如，显示装置1300的显示区域的形状包括非矩形，诸如三角形、六边形、八边形等。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (14)

1.一种图像处理方法，包括：

将输入图像进行区域划分，得到多个子图像，其中所述多个子图像中的至少两个子图像作为待输出图像，并且所述多个子图像中的至少一个子图像被丢弃，所述待输出图像为非矩形图像；

拼接所述待输出图像中的各子图像，得到拼接图像，所述拼接图像为矩形图像；以及

输出所述拼接图像，其中，所述拼接图像的尺寸小于所述输入图像的尺寸；

从所述拼接图像提取所述待输出图像中的各子图像；以及

贴合各子图像，得到输出图像，其中所述输出图像为非矩形图像；

其中，所述贴合各子图像是从所述拼接图像还原为所述待输出图像。

2.如权利要求1所述的方法，其中所述贴合各子图像是基于各子图像的贴合参数进行贴合，所述方法还包括：

对于所述待输出图像中的各子图像，计算该子图像的贴合参数。

3.如权利要求2所述的方法，其中，所述贴合参数包括区域占比参数和偏移参数，

所述区域占比参数包括子图像相对于显示区域的宽度比和高度比，以及

所述偏移参数包括子图像在显示区域的起点位置。

4.如权利要求1所述的方法，其中，所述拼接图像为所选尺寸的矩形图像。

5.如权利要求1所述的方法，还包括：

响应于所述拼接图像为非矩形图像，对所述拼接图像相对于所选尺寸的矩形的空缺区域进行填充使其形成所选尺寸的矩形图像。

6.如权利要求1所述的方法，其中，拼接所述待输出图像中的各子图像，包括：

固定各子图像中面积最大的子图像，其它子图像相对于所述面积最大的子图像进行移动。

7.如权利要求1所述的方法，其中，基于显示输出图像的显示装置的显示区域的形状，确定所述多个子图像中的至少一个被丢弃的子图像。

8.如权利要求1所述的方法，其中，所述贴合各子图像，包括按照与显示输出图像的显示装置的显示区域的形状进行贴合。

9.一种计算机装置，包括一个或多个处理器，所述处理器被配置为运行计算机指令，以执行如权利要求1-8任一项所述的图像处理方法。

10.一种显示装置，经由数据传输器件连接到计算机装置；所述计算机装置配置为执行以下步骤：

将输入图像进行区域划分，得到多个子图像，其中所述多个子图像中的至少两个子图像作为待输出图像，并且所述多个子图像中的至少一个子图像被丢弃，所述待输出图像为非矩形图像；

拼接所述待输出图像中的各子图像，得到拼接图像，所述拼接图像为矩形图像；以及

输出所述拼接图像，其中，所述拼接图像的尺寸小于所述输入图像的尺寸；

所述显示装置包括：图像提取单元和贴合单元，其中，所述图像提取单元被配置为从所述拼接图像提取所述待输出图像中的各子图像；以及

所述贴合单元被配置为贴合各子图像，得到输出图像，其中所述输出图像为非矩形图像；

其中，所述贴合各子图像是从所述拼接图像还原为所述待输出图像。

11.如权利要求10所述的显示装置，还包括一个或多个传感器，所述传感器被配置为跟踪和确定用户在显示装置的注视点。

12.如权利要求10所述的显示装置，所述计算机装置中的至少一个处理器集成在显示装置的驱动电路中。

13.如权利要求10所述的显示装置，显示装置的显示区域的形状包括非矩形。

14.一种计算机可读存储介质，被配置为存储计算机指令，所述计算机指令被处理器运行时执行如权利要求1-8任一项所述的图像处理方法。

Images