CN108182656B

CN108182656B - 一种图像处理方法及终端

Info

Publication number: CN108182656B
Application number: CN201711467793.8A
Authority: CN
Inventors: 连冠荣
Original assignee: Shenzhen Idreamsky Technology Co ltd
Current assignee: Shenzhen Idreamsky Technology Co ltd
Priority date: 2017-12-28
Filing date: 2017-12-28
Publication date: 2021-04-30
Anticipated expiration: 2037-12-28
Also published as: CN108182656A

Abstract

本申请公开了一种图像处理方法及终端，其中方法包括：终端将输入图像分割成至少一个像素块，输入图像的显示内容包括至少一个对象，一个像素块关联至少一个对象的索引，一个像素块包括至少一个像素点；针对每一个像素块，终端利用像素块中对象占用的各个像素点的空间坐标确定出像素块中对象关联的第一参数，第一参数用于结合像素块中对象占用的各个像素点的平面坐标确定出像素点的深度估计值，深度估计值与像素点的Z坐标的值的差值不超过第一阈值；终端存储用于确定出输入图像的各个像素点的深度估计值的第一信息，第一信息包括第一参数。采用本申请，可有效减小存储输入图像的各个像素点的深度值信息所需的存储空间，提升用户体验。

Description

一种图像处理方法及终端

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法及终端。

背景技术

在计算机图形学中，深度缓冲又称Z缓冲区，是一个与渲染目标有相同大小的缓冲，这个缓冲保存(记录)了每个像素的深度。深度缓冲的目的在于正确地生成通常的深度感知效果：较近的物体遮住较远的物体。

目前，用于保存(记录)在绘制过程中已经绘制的图像(图形)的像素点的深度值的深度缓冲较大(占用的存储较大)，用户体验较低。

发明内容

本申请提供一种图像处理方法，可减小存储图像的深度值所需的存储空间，提升用户体验。

第一方面，本申请提供了一种图像处理方法，该方法包括：

终端将输入图像分割成至少一个像素块，所述输入图像的显示内容包括至少一个对象，一个像素块关联至少一个所述对象的索引，其中，所述一个像素块包括至少一个像素点。

针对每一个像素块，所述终端利用所述像素块中所述对象占用的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，所述第一参数用于结合所述像素块中所述对象占用的各个像素点的平面坐标确定出所述像素点的深度估计值，所述深度估计值与所述像素点的Z坐标的值的差值不超过第一阈值。

所述终端存储用于确定出所述输入图像的各个像素点的深度估计值的第一信息，其中，所述第一信息包括所述第一参数。

结合第一方面，在一些可能的实施例中，所述第一信息还包括第二信息，所述第二信息用于确定所述输入图像的各个像素点的平面坐标。

结合第一方面，在一些可能的实施例中，所述第二消息包括：

所述输入图像中的像素块的数量、所述像素块中所述对象的数量、所述像素块中所述对象的索引、所述像素块中所述对象关联的第一指示信息，其中，所述第一指示信息用于指示所述像素块中所述对象占用的像素点。

所述输入图像中的像素块的数量，所述像素块中所述对象的索引、所述像素块中所述对象关联的第一指示信息，其中，所述第一指示信息用于指示所述像素块中所述对象占用的像素点。

结合第一方面，在一些可能的实施例中，所述第一指示信息，具体包括：

所述像素块中各个像素点对应的比特，其中，所述像素块中各个像素点对应的比特用于当所述比特取值为第一值时，指示所述像素点被所述像素块中所述对象占用。

结合第一方面，在一些可能的实施例中，所述终端利用所述像素块中所述对象占用的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，具体包括：

所述终端利用所述像素块中所述对象的各个像素点的空间坐标确定出所述像素点的深度估计值与所述像素点的平面坐标之间的定量关系，其中，所述像素块中所述对象关联的第一参数为所述定量关系关联的参数。

第二方面，本申请提供了一种终端，该终端包括：

分割单元，用于将输入图像分割成至少一个像素块，所述输入图像的显示内容包括至少一个对象，一个像素块关联至少一个所述对象的索引，其中，所述一个像素块包括至少一个像素点。

确定单元，用于针对于每一个像素块，利用所述像素块中所述对象的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，所述第一参数用于结合所述像素块中所述对象的像素点的平面坐标确定出所述像素点的深度估计值，所述深度估计值与所述像素点的Z坐标的值的差值不超过第一阈值。

存储单元，用于存储用于确定出所述输入图像的各个像素点的深度估计值的第一信息，其中，所述第一信息包括所述第一参数。

结合第二方面，在一些可能的实施例中，所述确定单元，

具体用于利用所述像素块中所述对象的各个像素点的空间坐标确定出所述像素点的深度估计值与所述像素点的平面坐标之间的定量关系，其中，所述像素块中所述对象关联的第一参数为所述定量关系关联的参数。

第三方面，本申请提供了另一种终端，包括：显示装置、存储器以及耦合于所述存储器的处理器，其中，所述存储器用于存储应用程序代码，所述处理器被配置用于调用所述程序代码执行上述第一方面的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

第五方面，本申请提供了一种计算机程序，该计算机程序包括图形处理指令，当该计算机程序在计算机上执行时，上述图形处理指令用于执行上述第一方面的方法。

本申请供了一种图像处理方法及终端。首先，终端将输入图像分割成至少一个像素块，输入图像的显示内容包括至少一个对象，一个像素块关联至少一个对象的索引，其中，一个像素块包括至少一个像素点。然后，针对每一个像素块，终端利用像素块中对象占用的各个像素点的空间坐标确定出像素块中该对象关联的第一参数，第一参数用于结合像素块中对象占用的各个像素点的平面坐标确定出像素点的深度估计值，深度估计值与像素点的Z坐标的值的差值不超过第一阈值。最后，终端存储用于确定出输入图像的各个像素点的深度估计值的第一信息，其中，第一信息包括第一参数。采用本申请，可有效减小存储输入图像的各个像素点的深度值信息所需的存储空间，提升用户体验。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种图像处理方法的示意流程图；

图2是本申请提供的一种对输入图像中的对象进行索引编号的示意图；

图3是本申请提供的一种针对输入图像进行处理的示意图；

图4A-4C是本申请提供的基于线性回归函数对输入图像的深度值进行预测的示意图；

图5是本申请提供的另一种图像处理方法的示意流程图；

图6是本申请提供的另一种对输入图像中对象进行索引编号的示意图；

图7是本申请提供的一种终端的结构示意图；

图8是本申请提供的另一种终端的结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

参见图1，是本申请提供的一种图像处理方法的示意流程图，在图1实施例中，终端可以基于一个像素块对这个像素块中的对象(object)进行索引编号，可参考图2。如图1所示，该方法可以至少包括以下几个步骤：

S101、终端将输入图像分割成至少一个像素块，该输入图像的显示内容可包括至少一个对象(object)，一个像素块关联至少一个对象的索引，其中，一个像素块包括至少一个像素点。

本申请实施例中，终端将输入图像分割成至少一个像素块可包括但不限定以下两种方式：

第一种方式：终端可通过一次分割将输入图像分割成至少一个像素块。

第二种方式：终端可通过多次分割将输入图像分割成至少一个像素块。

本申请实施例中，输入图像中的背景和显示内容均可以为本申请实施例中所指的对象。

因此，可以理解的，一个像素块的显示内容包括至少一个对象。

如图2所示，终端可将输入图像20划分成5*5像素块，针对于输入图像20中一个像素块210，基于像素块210中对象的数量(例如：数量为2)，终端可对像素块210中的所有对象进行索引编号。这里，像素块210包括两个对象，其中一个对象的索引为1，另外一个对象的索引为2。

应当说明的是，终端可以通过像素块中对象的索引将该对象(object)占用的像素点归为一类。

举例来说，如图3所示，终端可将输入图像300进行分割获得像素块301，其中，像素块301的显示内容包括对象302以及对象303。其中，对象302与对象303各自具有不同的索引。一方面，对象302的索引用于终端根据该索引将对象302占用的像素点归为一类，另一方面，对象303的索引用于终端根据该索引将对象303占用的像素点归为另一类。

图2以及图3仅仅用于进行解释本申请，不应作出限制。

S102、针对每一个像素块，终端可利用像素块中对象占用的各个像素点的空间坐标(X，Y，Z)确定出像素块中对象关联的第一参数(A，B，C)，第一参数可用于结合像素块中对象占用的各个像素点的平面坐标(X，Y)确定出像素点的深度估计值(Z1)，深度估计值(Z1)与像素点的Z坐标的值的差值不超过第一阈值。

本申请实施例中，可以理解的，一个对象占用的像素点的深度值的分别一般集中在一个较小的范围内。例如，假设输入图像中一个像素块的显示内容包括有一个苹果(object)该苹果包括至少一个像素点，因为同属于一个对象(苹果)的像素点的深度值是连续分布的，因此，终端可确定像素块中对象占用的像素点的深度值与对象占用的像素点的平面坐标之间的定量关系。

具体的，终端可利用像素块中对象占用的各个像素点的空间坐标(X，Y，Z)确定出像素点的深度估计值(Z1)与像素点的平面坐标(X，Y)之间的定量关系，其中，像素块中对象关联的第一参数(A，B，C)为定量关系关联的参数。

其中，上述确定出像素点的深度估计值(Z1)与像素点的平面坐标(X，Y)之间的定量关系可包括但不限定以下两种方式：

第一种方式：可通过线性回归函数进行预测的方式。

第二种方式：可通过非线性回归函数进行预测的方式。

下面结合图4A-4C，列举3个实例对定量关系进行详细阐述。

第一个实例，图4A示例示出了输入图像的一个像素块中对象占用的像素点的深度值的散点图(空间分布图)。如图4A所示，针对给出的对象占用的像素点的深度值的散点图，终端通过线性回归的方式对该对象占用的像素点的深度值进行预测，获得一个最佳近似平面(Z＝A*X+B*Y+C)，进而，终端可将对象对应的最佳平面公式与对象占用的像素点的平面坐标(X，Y)可获得该对象占用的像素点的深度估计值Z1，这里，A、B及C为第一参数，应当说明的，C＝CC1+CC2，这里，CC2为第一参数中的随机误差项，如果随机误差项CC2的值越小，那么该对象占用的像素点的深度估计值与该对象占用的像素点的深度值之间的误差越小，也即是说，该对象对应的当前最佳近似平面公式对该对象占用的像素点的深度值的拟合效果越优，可理解的，对象占用的像素点的深度值与该对象占用的像素点的深度估计值之间的误差是可控的，终端可对该对象占用的像素点的深度值进行多次统计与处理，最终可获得一个最佳近似平面公式(获得一个对应的第一参数A1，B1以及C1)，使得对象占用的像素点的深度值与对象占用的像素点的深度估计值的误差控制在第一阈值范围内。这里，第一阈值的大小可以根据实际需求来设置，本申请不作限制。

进一步的，为了更直观地像素点的深度值与该像素点的深度估计值之间的关系，这里，只考虑像素点的深度值的平面分布的散点图。下面介绍第二个实例。

具体的，对于一副图像来说，结合图3，图4B示例性示出了图3中输入图像300的像素点的深度值的散点图(平面分布)。如图4B所示，应当说明的，纵轴为Z轴，横轴为X轴或Y轴，这里，只考虑了输入图像300的像素点的深度值的平面分布的散点图。输入图像300的像素点的深度值的平面分布的散点图可分为以下两种情况。

第一种情况：针对于输入图像300的像素点的空间坐标(X，Y，Z)，当输入图像300的所有像素点的X取值皆为定值X1(常量)时，考虑X1平面上，输入图像300的像素点的深度值Z随着坐标(X1，Y)的变化而变化，这里Y为变量(例如：此处Y的变化范围为(0，63))。这里，灰点206可表示一定的平面坐标(X1，Y)下，输入图像300的像素点的深度值Z的散点分布图。直线207表示对该输入图像300的像素点的深度值的线性回归预测。

第二种情况：针对于输入图像300的像素点的空间坐标(X，Y，Z)，当输入图像300的所有像素点的Y取值皆为定值Y1(常量)时，考虑Y1平面上，输入图像300的像素点的深度值Z随着坐标(X，Y1)的变化而变化，这里X为变量(例如：此处X的变化范围为(0，63))。这里，灰点206可表示一定的平面坐标(X，Y1)下，输入图像300的像素点的深度值Z的散点分布图。直线207表示对该输入图像300的像素点的深度值的线性回归预测。

结合图4B可知，输入图像300的像素点的深度值分布在一个较大的范围内，终端如果对输入图像300的像素点的深度值进行线性回归预测(估计)，输入图像300的像素点的深度值与输入图像300的像素点的深度估计值之间将存在较大的误差。可以理解的，倘若，终端如果对该输入图像的像素点的深度值进行非线性预测(估计)，输入图像300的像素点的深度值与输入图像300的像素点的深度估计值之间的误差将会减小。但是，一定程度上会增加终端的运算负载(极大地增加GPU的运算负载)。

如前文所述，一个对象占用的像素点的深度值的分别一般集中在一个较小的范围内。因此，终端可确定像素块中对象占用的像素点的深度值与对象占用的像素点的平面坐标之间的定量关系。

类似的，为了更直观地像素点的深度值与该像素点的深度估计值之间的关系，这里，也只考虑像素点的深度值的平面分布的散点图。下面介绍第三个实例。

具体的，对于一幅图像中的一个像素块来说，图4C示例性示出了输入图像300的像素块301中对象303占用的像素点的深度值分布。如图4C所示，应当说明的，纵轴为Z轴，Z轴表示对象303占用的像素点的深度值，便于阐述，横轴为X轴或Y轴。这里，只考虑了对象303占用的像素点的深度值的平面分布的散点图。对象303占用的像素点的深度值的平面分布的散点图可分为以下两种情况。

第一种情况：针对于对象303占用的像素点的空间坐标(X，Y，Z)，当对象303占用的所有像素点的X取值皆为定值X1(常量)时，考虑X1平面上，对象303占用的像素点的深度值Z随着坐标(X1，Y)的变化而变化，这里Y为变量(例如：此处Y的变化范围为(0，63))。这里，灰点208可表示一定的平面坐标(X1，Y)下，对象303占用的像素点的深度值Z的散点分布图。直线209表示对对象303占用的像素点的深度值的线性回归预测。

第二种情况：针对于对象303占用的像素点的空间坐标(X，Y，Z)，当对象303占用的所有像素点的Y取值皆为定值Y1(常量)时，考虑Y1平面上，对象303占用的像素点的深度值Z随着坐标(X，Y1)的变化而变化，这里X为变量(例如：此处X的变化范围为(0，63))。这里，灰点208可表示一定的平面坐标(X，Y1)下，对象303占用的像素点的深度值Z的散点分布图。直线209表示对象303占用的像素点的深度值的线性回归预测。

结合图4C可知，对象303占用的像素点的深度值分布在一个较小的范围内，终端如果对对象303占用的像素点的深度值进行线性回归预测(估计)，对象303占用的像素点的深度值与对象303占用的像素点的深度估计值之间将存在较小的误差。也即是说，终端获取到一个线性回归函数(Z1＝A*X+B*Y+C)来估计对象303占用的像素点的深度值，其中A、B及C可为第一参数。可以理解的，对象303占用的像素点的深度估计值Z1与对象303占用的像素点的深度值Z的差值是可控的，终端可对像素块301中对象303占用的像素点的深度值进行多次统计与处理，最终可获得一个最佳近似平面公式(获得一个对应的第一参数A2，B2以及C2)，使得对象303占用的像素点的深度值与对象303占用的像素点的深度估计值的误差控制在第一阈值范围内。

图4A-4C仅仅用于解释本申请，不应作出限制。

S103、终端可存储用于确定出输入图像的各个像素点的深度估计值的第一信息，其中，该第一信息包括第一参数。

本申请实施例中，第一信息可通过但不限于以下两种方式进行存储。

第一种方式：第一信息可存储于终端内部中的存储器。

第二种方式：第一信息可存储于与终端相连的云端数据库。

终端可通过第一信息来恢复输入图像的各个像素点的深度估计值。其中，

第一信息可以包括第一参数和第二信息。这里，第二信息可包括输入图像中的像素块的数量N、像素块中对象的数量N1、像素块中对象的索引(根据像素块中对象的数量N1，对像素块中N1个对象分别给定一个索引)以及像素块中对象各自关联的第一指示信息(遮罩信息)。

下面主要介绍终端根据确定出输入图像的各个像素点的深度估计值的第一信息如何恢复输入图像的像素点的深度估计值。

具体的，首先，终端可通过存储的输入图像的像素块的数量N获知终端将输入图像分割成了N个像素块以及N个像素块中每一个像素块的大小(像素块的长度以及像素块的宽度)。进而，终端可根据存储的每一个像素块中对象的索引(根据像素块中对象的数量N1，对像素块中N1个对象分别给定一个索引)搜索到特定索引的对象。然后，终端可根据该对象关联的第一指示信息(遮罩信息)确定出像素块中该对象占用的像素点，也即是说，终端可根据对象关联的第一指示信息获知像素块中该对象占用的像素点的平面坐标(X，Y)。最后，终端可根据像素块中对象的数量N1以及像素块中各个对象各自关联的第一参数结合像素块中该对象占用的像素点的平面坐标(X，Y)恢复出像素块中所有对象(object)占用的像素点的深度值。进一步的，终端可根据输入图像中像素块的数量N，恢复出输入图像的所有像素点的深度估计值。

更进一步的，结合图3，假设像素块301的大小为16*16。下面结合表1详细阐述像素块301中的对象(object)303关联的第一指示信息(遮罩信息)。这里，像素块301中的对象303关联的第一指示信息可为像素块301中各个像素点对应的比特的取值(例如：0或1)，具体的，对象303占用的像素点对应的比特取值为第一值，这里，第一值可为1，像素块301中其它的像素点(除对象303占用的像素点之外)对应的比特取值为0。

0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0
																0	0	1	1	0	0	0	0	0	0	0	0	0	0	0	0
0	0	1	1	1	0	0	0	0	0	0	0	0	0	0	0
																0	0	1	1	1	1	0	0	0	0	0	0	0	0	0	0
0	0	1	1	0	1	1	0	0	0	0	0	0	0	0	0
																0	0	1	1	0	0	1	1	0	0	0	0	0	0	0	0
0	0	1	1	0	0	0	1	1	0	0	0	0	0	0	0
																0	0	1	1	0	0	0	0	1	1	0	0	0	0	0	0
0	0	1	1	0	0	0	0	0	1	1	0	0	0	0	0
																0	0	1	1	0	0	0	0	0	1	1	1	0	0	0	0
0	0	1	1	0	0	0	0	0	1	1	1	1	0	0	0
																0	0	1	1	0	0	0	0	0	1	1	0	1	1	0	0
0	0	1	1	0	0	0	0	0	1	1	0	0	1	1	0
																0	0	1	1	0	0	0	0	0	1	1	0	0	0	1	1
0	0	0	0	0	0	0	0	0	1	1	0	0	0	1	1
																0	0	0	0	0	0	0	0	0	0	0	0	0	0	1	1

表1

可以知道的是，相比于存储输入图像的各个像素点的深度值所占用的存储空间，终端通过存储用于确定出输入图像的各个像素点的深度估计值的第一信息可以达到极大地降低存储空间的目的。

下面结合表2至表6详细阐述通过本申请实施例方法与现有技术分别存储相同大小的像素块的深度值信息所占用的存储空间的对比情况。应当说明的，对于本申请实施例方法来说，该深度值信息可为像素点的深度估计值的第一信息，对于现有技术来说，该深度值信息可为像素点的深度值。

具体的，首先以64*64大小的像素块为例。其中，像素块中包括两个对象(object)，每一个对象对应一个子像素块。如下表所示：

表2

由表2可知，对于本申请实施例方法来说，一个64*64像素块的深度估计值的第一信息所占的存储空间为8408bits(比特)。

现有技术中，一个64*64像素块的深度值所占的存储空间，即如下表所示：

表3

结合表2以及表3可知，相对于现有技术，针对于相同大小的像素块，本申请实施例方法极大地减小了像素块的深度值信息所占用的存储空间。可理解的，相对于现有技术，本申请实施例方法的存储空间压缩率可为：压缩率V＝(8+2*4200)/131072＝0.064147949。

下面介绍另外几种像素块(16*16、32*32、64*64以及128*128)的压缩率。

以像素块只包括一个对象为例，如下表所示：

表4

以像素块包括两个对象为例，如下表所示：

表5

以像素块包括三个对象为例，如下表所示：

表6

以输入图像为例，终端存储像素块的数量N*M的一种具体实现形式可为：存储X方向像素块的数量、Y方向像素块的数量、像素块的宽度以及像素块的长度。下面结合表7详细阐述终端对输入图像(包括N*M个像素块)的深度值信息进行存储所占用的存储空间，如下表所示：

表7

以一个像素块(大小为W*H)中一个对象为例，通过本申请实施例方法，终端存储一个像素块(大小为W*H)中一个对象的深度值信息所需的存储空间表示，如下表所示：

对象(子像素块)	位元数(bits)
		对象的索引	8
最佳平面参数A	32
		最佳平面参数B	32
最佳平面参数C	32
		遮罩信息	W*H

表8

以一个像素块(大小为W*H)为例，终端存储一个像素块(大小为W*H)的深度值信息所需的存储空间表示，如下表所示：

表9

综上所述，本申请实施例方法中，首先，终端将输入图像分割成至少一个像素块，该输入图像的显示内容包括至少一个对象，一个像素块关联至少一个对象的索引。然后，针对每一个像素块，终端利用像素块中对象占用的各个像素点的空间坐标确定出像素块中对象关联的第一参数，该第一参数用于结合像素块中对象占用的各个像素点的平面坐标确定出像素点的深度估计值。最后，终端存储用于确定出输入图像的各个像素点的深度估计值的第一信息，第一信息包括第一参数。与现有技术相比，采用本申请实施例方法，有效地减小了存储输入图像的各个像素点的深度值信息所需的存储空间，提升了用户体验。

参见图5，是本申请提供的另一种图像处理方法的示意流程图。在图5实施例中，终端可以基于整幅输入图像对整幅图像中的所有对象分别进行索引编号，可参考图6。如图5所示，该方法可以至少包括以下几个步骤：

S201、终端可将输入图像分割成至少一个像素块，该输入图像的显示内容包括至少一个对象，一个像素块关联至少一个对象的索引，其中，一个像素块包括至少一个像素点。

本申请实施例中，输入图像中的背景和显示内容均可以本申请实施例中所指的对象。

可以理解的，终端可以通过像素块中对象的索引将该对象(object)占用的像素点归为一类。

S202、针对每一个像素块，终端可利用像素块中对象占用的各个像素点的空间坐标(X，Y，Z)确定出像素块中对象关联的第一参数(A，B，C)，第一参数用于结合像素块中对象占用的各个像素点的平面坐标(X，Y)确定出像素点的深度估计值(Z1)，深度估计值(Z1)与像素点的Z坐标的值的差值不超过第一阈值。

第一种方式：可通过线性回归函数进行预测的方式。

第二种方式：可通过非线性回归函数进行预测的方式。

S203、终端可存储用于确定出输入图像的各个像素点的深度估计值的第一信息，其中，该第一信息包括第一参数以及第二信息，第二信息包括输入图像中的像素块的数量N、像素块中对象的索引、像素块中对象关联的第一指示信息(遮罩信息)。

第一种方式：第一信息可存储于终端内部中的存储器。

第二种方式：第一信息可存储于与终端相连的云端数据库。

第一信息包括第一参数和第二信息。

这里，第二信息可包括输入图像中的像素块的数量N、像素块中对象的索引、像素块中对象关联的第一指示信息(遮罩信息)。这里，终端对输入图像进行分割之前，终端基于整幅输入图像对该输入图像中的所有对象分别进行索引编号，应当说明的，终端对输入图像进行分割之后，分布在输入图像的多个像素块中的对象的索引编号相同。

举例来说，输入图像的显示内容包括N个对象(object)，首先，终端对输入图像进行分割之前，对该N个对象分别给定一个索引，一个对象对应唯一的一个索引。进而，在终端将该输入图像分割成N个像素块之后(分布在输入图像的多个像素块中的对象的索引编号相同)，对于每一个像素块来说，根据像素块中所有对象的索引可知该像素块中所有对象的数量总数为N1。下面结合图6进详细阐述。

具体的，如图6所示，输入图像60的显示内容包括5个对象(object)，例如：索引为1的背景、索引为2的菱形、索引为3的圆形、索引为4的六边形以及索引为5的梯形。将输入图像60分割成5*5像素块，这里，输入图像60中的像素块610包括对象611(对象611的索引为1)以及对象612(对象612的索引为2)。根据像素块中610中对象611的索引以及对象612的索引可获知像素块610中对象(object)的数量为2。

具体的，首先，终端可通过存储的输入图像的像素块的数量N获知终端将输入图像分割成了N个像素块以及N个像素块中每一个像素块的大小(像素块的长度以及像素块的宽度)。进而，终端可根据存储的每一个像素块中对象的索引搜索到特定索引的对象。然后，终端可根据对象关联的第一指示信息(遮罩信息)确定出像素块中该对象占用的像素点，也即是说，终端可根据对象关联的第一指示信息获知像素块中该对象占用的像素点的平面坐标(X，Y)。最后，终端可根据像素块中对象的数量N1以及像素块中各个对象各自关联的第一参数结合像素块中该对象占用的像素点的平面坐标(X，Y)恢复出像素块中所有对象(object)占用的像素点的深度值。进一步的，再根据输入图像中像素块的数量N，可恢复出输入图像的所有像素点的深度估计值。

下面结合表10至表13详细阐述通过本实施例方法与现有技术分别存储相同大小的像素块的深度值信息所占用的存储空间的对比情况。应当说明的，对于本实施例方法来说，该深度值信息可为像素点的深度估计值的第一信息，对于现有技术来说，该深度值信息可为像素点的深度值。

具体的，首先以一个64*64大小的像素块为例。其中，像素块中包括两个对象(object)，每一个对象对应一个子像素块。如下表所示：

表10

由表10可知，对于本申请实施例方法来说，一个64*64像素块的深度估计值的第一信息所占的存储空间为8408bits(比特)。

现有技术中，一个64*64像素块的深度值所占的存储空间，如表3所示。结合表10以及表3可知，相对于现有技术，针对于相同大小的像素块，本申请实施例方法极大地减小了像素块的深度值信息所占用的存储空间。可理解的，相对于现有技术，本申请实施例方法的存储空间压缩率可为：压缩率V＝2*4200/131072＝0.064086914。

下面介绍另外几种像素块大小(16*16、32*32、64*64以及128*128)的压缩率。

以像素块只包括一个对象为例，如下表所示：

表11

以像素块包括两个对象为例，如下表所示：

表12

以像素块包括三个对象为例，如下表所示：

表13

以输入图像为例，终端存储像素块的数量N*M的一种具体实现形式如：存储X方向像素块的数量、Y方向像素块的数量、像素块的宽度以及像素块的长度。下面结合表14详细阐述终端对输入图像(包括N*M个像素块)的深度值信息进行存储所需的存储空间，如下表所示：

表14

结合以一个像素块(大小为W*H)中一个对象为例，通过本申请实施例方法，终端存储一个像素块(大小为W*H)中一个对象的深度值信息所需的存储空间表示，如表8表示。

表15

可理解的，关于图5方法的具体实现方式，可参考前述图1方法实施例，此处不再赘述。

综上所述，针对输入图像中的一个像素块来说，相比于图1实施例方法，本申请实施例方法未存储像素块中对象(object)的数量，可理解的，本申请实施例方法进一步减小了存储输入图像的各个像素点的深度值信息所需的存储空间，进一步提升了用户体验。

为了便于实施本申请实施例，本申请提供了一种终端，用于实现图1或图5实施例所述的方法。图7所示的终端可以用于执行上述全部内容所述的分别对应的实施例中的描述。如图7所示，终端700可包括：分割单元701、确定单元702以及存储单元703，其中：

分割单元701，可用于将输入图像分割成至少一个像素块，输入图像的显示内容包括至少一个对象，一个像素块关联至少一个对象的索引，其中，一个像素块包括N个像素点。

确定单元702，可用于针对于每一个像素块，利用像素块中对象的各个像素点的空间坐标(X，Y，Z)确定出像素块中对象关联的第一参数(A，B，C)，第一参数用于结合像素块中对象的像素点的平面坐标(X，Y)确定出像素点的深度估计值(Z1)，深度估计值(Z1)与像素点的Z坐标的值的差值不超过第一阈值。

存储单元703，可用于存储用于确定出输入图像的各个像素点的深度估计值的第一信息，其中，第一信息包括第一参数。

具体的，分割单元701可用于将输入图像分割成至少一个像素块可包括但不限定以下两种方式：

第一种方式：通过一次分割将输入图像分割成至少一个像素块。

第二种方式：通过多次分割将输入图像分割成至少一个像素块。

本申请中，输入图像中的背景和显示内容均可以本申请实施例中所指的对象。

具体的，确定单元702可用于，可以理解的，一个对象占用的像素点的深度值的分别一般集中在一个较小的范围内。输入图像中一个像素块的显示内容包括有一个苹果(object)该苹果包括至少一个像素点，因为同属于一个对象(苹果)的像素点的深度值是连续分布的，因此，可确定像素块中对象占用的像素点的深度值与对象占用的像素点的平面坐标之间的定量关系。

具体的，确定单元702可利用像素块中对象占用的各个像素点的空间坐标(X，Y，Z)确定出像素点的深度估计值(Z1)与像素点的平面坐标(X，Y)之间的定量关系，其中，像素块中对象关联的第一参数(A，B，C)为定量关系关联的参数。

其中，上述确定单元702确定出像素点的深度估计值(Z1)与像素点的平面坐标(X，Y)之间的定量关系可包括但不限定以下两种方式：

第一种方式：可通过线性回归函数进行预测的方式。

第二种方式：可通过非线性回归函数进行预测的方式。

可理解的，对象占用的像素点的深度值与该对象占用的像素点的由确定单元702确定出的深度估计值之间的误差是可控的，终端可对该对象占用的像素点的深度值进行多次统计与处理，最终，确定单元702可确定出一个最佳近似平面公式(获得一个对应的第一参数A1，B1以及C1)，使得对象占用的像素点的深度值与对象占用的像素点的由确定单元702确定出的深度估计值的误差控制在第一阈值范围内。这里，第一阈值的大小可以根据实际需求来设置，本申请不作限制。

具体的，存储单元703可用于对第一信息进行存储。

第一信息包括第一参数和第二信息。这里，第二信息包括但不限于两种信息形式。

第一种信息形式：第二信息包括输入图像中的像素块的数量N、像素块中对象的数量N1、像素块中对象的索引(根据像素块中对象的数量N1，对像素块中N1个对象给定一个索引)以及像素块中对象关联的第一指示信息(遮罩信息)。

第二种信息形式：第二信息可包括输入图像中的像素块的数量N、像素块中对象的索引、像素块中对象关联的第一指示信息(遮罩信息)。这里，在输入图像进行分割之前，针对输入图像中的一个对象(物件)，给定一个索引。分割单元701将该输入图像分割成N个像素块之后(对象的物件索引保持不变)，对于每一个像素块来说，根据像素块中的对象的索引可获取像素块中的对象的数量N1。

具体的，首先，存储单元703可通过存储的输入图像的像素块的数量N获知分割单元701将输入图像分割成了N个像素块以及N个像素块中每一个像素块的大小(像素块的长度以及像素块的宽度)。进而，确定单元702可根据存储的每一个像素块中对象的索引搜索到特定索引的对象。然后，确定单元702可根据对象关联的第一指示信息(遮罩信息)确定出像素块中该对象占用的像素点，也即是说，终端可根据对象关联的第一指示信息获知像素块中该对象占用的像素点的平面坐标(X，Y)。最后，终端可根据像素块中对象的数量N1以及像素块中各个对象各自关联的第一参数结合像素块中该对象占用的像素点的平面坐标(X，Y)恢复出像素块中所有对象(物件)占用的像素点的深度值。进一步的，终端可根据输入图像中像素块的数量N，恢复出输入图像的所有像素点的深度估计值。

可理解的，关于图7的终端700包括的功能块的具体实现方式，可参考图1或图5的方法实施例，此处不再赘述。

图8是本申请提供的另一种终端的结构示意图。本申请实施例中，终端可以包括移动手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动互联网设备(Mobile Internet Device，MID)、智能穿戴设备(如智能手表、智能手环)等各种设备，本申请实施例不作限定。如图8所示，终端800可包括：基带芯片801、存储器802(一个或多个计算机可读存储介质)、外围系统803。这些部件可在一个或多个通信总线804上通信。

基带芯片801包括：一个或多个处理器(CPU)805、一个或多个图形处理器(GPU)606。其中，图形处理器806可用于对输入图像进行处理。

存储器802与处理器805耦合，可用于存储各种软件程序和/或多组指令。具体实现中，存储器802可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器802可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器802还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个终端设备，一个或多个网络设备进行通信。存储器802还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。

可理解的，存储器802可用于存储用于确定出输入图像的各个像素点的深度估计值的第一信息，其中，所述第一信息包括所述第一参数。

存储器802还可以存储一个或多个应用程序。如图8所示，这些应用程序可包括：社交应用程序(例如Facebook)，图像管理应用程序(例如相册)，地图类应用程序(例如谷歌地图)，浏览器(例如Safari，Google Chrome)等等。

外围系统803主要用于实现终端800和用户/外部环境之间的交互功能，主要包括终端800的输入输出装置。具体实现中，外围系统803可包括：显示屏控制器807、摄像头控制器808、鼠标-键盘控制器809以及音频控制器810。其中，各个控制器可与各自对应的外围设备(如显示屏811、摄像头812、鼠标-键盘813以及音频电路814)耦合。在一些实施例中，显示屏可以配置有自电容式的悬浮触控面板的显示屏，也可以是配置有红外线式的悬浮触控面板的显示屏。在一些实施例中，摄像头812可以是3D摄像头。需要说明的，外围系统803还可以包括其他I/O外设。

应当理解，终端800仅为本申请实施例提供的一个例子，并且，终端800可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。

可理解的，关于图8的终端800包括的功能模块的具体实现方式，可参考图1或图5的方法实施例，此处不再赘述。

本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现。

该计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。该计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步的，该计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储计算机程序以及终端所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

上述描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、终端或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，包括：

终端将输入图像分割成至少一个像素块，所述输入图像的显示内容包括至少一个对象，一个像素块关联至少一个所述对象的索引，其中，所述一个像素块包括至少一个像素点；

针对每一个像素块，所述终端利用所述像素块中所述对象占用的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，所述第一参数用于结合所述像素块中所述对象占用的各个像素点的平面坐标确定出所述像素点的深度估计值，所述深度估计值与所述像素点的Z坐标的值的差值不超过第一阈值；

2.如权利要求1所述的方法，其特征在于，

所述第一信息还包括第二信息，所述第二信息用于确定所述输入图像的各个像素点的平面坐标。

3.如权利要求2所述的方法，其特征在于，所述第二信息包括：

4.如权利要求2所述的方法，其特征在于，所述第二信息包括：

5.如权利要求3或4所述的方法，其特征在于，所述第一指示信息，具体包括：

6.如权利要求1所述的方法，其特征在于，所述终端利用所述像素块中所述对象占用的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，具体包括：

7.一种终端，其特征在于，包括：

分割单元，用于将输入图像分割成至少一个像素块，所述输入图像的显示内容包括至少一个对象，一个像素块关联至少一个所述对象的索引，其中，所述一个像素块包括至少一个像素点；

确定单元，用于针对于每一个像素块，利用所述像素块中所述对象的各个像素点的空间坐标确定出所述像素块中所述对象关联的第一参数，所述第一参数用于结合所述像素块中所述对象的像素点的平面坐标确定出所述像素点的深度估计值，所述深度估计值与所述像素点的Z坐标的值的差值不超过第一阈值；

8.如权利要求7所述的终端，其特征在于，所述确定单元，

9.一种终端，其特征在于，包括：显示装置、存储器以及耦合于所述存储器的处理器，其中，所述存储器用于存储应用程序代码，所述处理器被配置用于调用所述程序代码，执行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。