CN105530496B - 信息处理方法及装置 - Google Patents

Abstract

本发明的实施例提供了一种信息处理的方法，应用于包括图像采集单元的电子设备，所述方法包括获取通过所述图像采集单元拍摄的图像的深度信息；根据所述深度信息及拍摄所述图像使用的补光单元的功率对所述图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数；使用所述校正系数对所有像素的初始像素值分别进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值。

Description

信息处理方法及装置

技术领域

本发明涉及一种信息处理方法及装置，更具体地说，本发明涉及一种根据深度信息对拍摄的图像的不同深度处的像素进行不同还原校正的信息处理方法及装置。

背景技术

随着信息技术的进一步发展，尤其是便携式电子技术的发展，使得集成了相机的便携式电子设备迅猛增长，满足了用户可随时随地拍摄多样化的图像的需求。

然而，现有的相机在低照度的情况下一般都采用补光单元进行补光，以此弥补环境光线的不足，并期望能够得到效果更好的拍摄图像。然而，由于补光单元的色温都是固定的，通常对于在前的主体，其接收的补光单元的补光量相比于靠后的主体或者背景环境所接受到的补光单元的补光量是有的明显差别的。而现有的大部分相机的做法，是对拍摄的整张图片估算一个唯一的色温值，以该色温值为基准对图片中的所有像素进行还原，造成图像中前后主体及环境色温无法很好兼顾和还原的问题。

发明内容

鉴于上述问题，根据本发明的一个方面，提供了一种信息处理的方法，应用于电子设备，其中所述电子设备包括图像采集单元，所述方法包括获取通过所述图像采集单元拍摄的图像的深度信息；根据所述深度信息及拍摄所述图像使用的补光单元的功率对所述图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数；使用所述校正系数对所有像素的初始像素值分别进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值。

根据本发明的另一个方面，还提供了一种信息处理装置，包括：图像采集单元，配置来获取其拍摄的图像中各像素的深度信息；计算单元，配置来根据所述深度信息及拍摄所述图像使用的补光单元的功率对所述图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数；校正单元，配置来使用所述校正系数对所有像素的初始像素值分别进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值。

通过本发明实施例提供的信息处理方法及信息处理装置，根据拍摄图片的深度信息以及补光单元的功率对图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数，使用所述校正系数对所有像素的初始像素值分别进行校正处理，最终根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值，以此使得图片中的前景和背景都得到比较好的色彩还原效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1是根据本发明实施例的信息处理方法的流程图。

图2是根据本发明一个实施例的信息处理方法的一个示例的流程图。

图3是根据本发明一个实施例的信息处理装置的示范性结构框图。

图4是示出根据本发明一个实施例的信息处理装置的一个示例的示范性结构框图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

下面，参照图1说明本发明的实施例的信息处理方法。图1是描述了根据本发明实施例的信息处理方法100的流程图。信息处理方法应用于电子设备，该电子设备包括图像采集单元，根据本发明的实施例，电子设备的具体形式可包括但不限于数码相机，可拍照手机，可拍照电脑等。该信息处理方法100包括图1所示如下步骤。

如图1所示，在步骤S101中，获取通过图像采集单元拍摄的图像的深度信息。根据本发明的实施例，图像采集单元具有图像深度信息获取功能，可以通过此功能获取图像中各像素的深度信息。

在步骤S102中，根据深度信息及拍摄图像使用的补光单元的功率对图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数。例如，可以根据获取的图像的深度信息，指定出图像中大于、等于或者小于某深度的像素，只有在获取了各像素深度信息的基础上，才能够接下来针对图像中不同深度的像素进行有区别的处理。根据本发明的实施例，首先基于深度信息将图像中不同深度像素加以区分，即可以将图片中具有相同深度的像素作为一个整体处理对象。然后，根据拍摄图像时使用的补光单元的功率对图像中像素的曝光影响程度不同，针对每一深度的像素受到补光单元曝光的具体影响分别计算出还原校准系数。根据本发明的一个示例，可以将拍摄的整幅图像按照深度信息划分出若干组深度范围，每一组深度范围就会对应于一组相应的深度范围内的像素，即对应产生了若干组处理对象，根据不同组的处理对象受曝光影响程度不同，可分别针对每组处理对象计算其还原校准系数，以此可实现对不同深度像素的不同校准。当然，本领域的技术人员能够知道，对整幅图像的深度范围划分的越细，越有利于更逼真的对像素进行还原校正。

在步骤S103中，使用步骤S102中计算得到的各校正系数分别对图像中所有像素的初始像素值进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值。例如，图像中各像素的原始像素值假设由V₀表示，并且当整幅图像按照深度信息划分出5个深度范围时，则根据5个深度范围计算出5个校正系数，使用该5个校正系数分别对图像中各像素的原始像素值V₀进行5次校正，使得图像中的每个像素都得到5个校正像素值，根据该5个校正像素值通过深度限定条件以及相应的计算公式生成像素的像素还原值。

图2是根据本发明实施例的信息处理方法100的一个具体实施示例的流程图。图2示出了根据本发明实施例的信息处理方法200的示例流程图。在图2所示的信息处理方法200中，包括了校正系数生成和校正处理的具体实施步骤及方法。然而，应理解，信息处理方法200仅是一个示例，而不仅限于图2中所示的方式。

在步骤S201中，根据深度信息，对深度大于第一预定深度H’的像素进行白平衡统计。根据本发明的实施例，第一预定深度H’是根据拍摄图像使用的补光单元的功率对图像中不同深度像素的曝光影响程度的预定取值确定的。例如，可以将拍摄图像使用的补光单元的功率对图像中像素的曝光影响程度相较于环境光线的影响程度占比等于30％时的深度定为第一预定深度H’，其中大于第一预定深度H’的像素受补光单元的功率的曝光影响程度占比小于30％，小于第一预定深度H’的像素受补光单元的功率的曝光影响程度则占比大于30％。然而，应理解，对于像素受补光单元的功率的曝光影响程度的预定取值并不局限于例举的占比30％。在确定了第一预定深度H’之后，对深度大于第一预定深度H’的像素进行白平衡统计。根据本发明的一个示例，统计深度大于第一预定深度H’的所有像素的R/G/B各分量的像素值。

进而，在步骤S202中，计算生成第一校正系数，使用第一校正系数对图像中各像素的初始像素值V₀进行第一校正处理，得到图像中各像素的第一像素值V₁。根据本发明的实施例，例如使用找白点法或灰度色界法进行校正系数计算。根据本发明的一个示例，可以使用灰度色界法，将步骤S201中统计得到的R/G/B各分量的像素值分别按照R/G/B类别进行加和，进而计算得到R/G/B三个和值之间的比值，然后将比值1:1:1除以计算得到的R/G/B三个和值之间的比值，最终得到的值即作为R/G/B三个分量各自的第一校正系数。将图像中所有像素的初始像素值V₀的R/G/B分量中的每一个分量值乘以步骤S201中计算得到的相应的第一校正系数，最后得到的R/G/B各分量的乘积作为图像中各像素的第一像素值V₁。

同时，在步骤S203中，根据拍摄图像使用的补光单元的色温计算生成第二校正系数，使用第二校正系数对图像中各像素的初始像素值V₀进行第二校正处理，得到图像中各像素的第二像素值V₂。根据本发明的实施例，本领域公知的白色的R/G/B各分量的比值为1:1:1，因此通过使用相同补光单元拍摄白色物体或白色背景得到的图像便能够提取补光单元的色温。对于同一个补光单元来说，色温值为固定值。然后，以色温中R/G/B分量中的其中任意一个分量的分量值作为基准分量值，将色温中的每一个分量的分量值与该基准分量值进行比较，计算得到的比值即可作为每个分量相应的第二校正系数。进而，将该像素初始像素值V₀的R/G/B分量中的每一个分量值乘以与该分量对应的第二校正系数，得到的该像素所有分量的乘积来作为该像素的第二像素值V₂。

最后，在步骤S204中，根据图像中各像素的第一像素值V₁和/或第二像素值V₂生成图像中各像素的像素还原值V。根据本发明的实施例，首先根据所述图像中不同深度像素受所述闪光灯和环境光的曝光影响程度分别确定环境白平衡阈值H₁和闪光灯白平衡阈值H₂。其中，环境白平衡阈值H₁是图像中的像素受环境光曝光影响程度大于闪光灯曝光影响程度超过预定值时对应的像素深度值，而闪光灯白平衡阈值H₂是图像中的像素受闪光灯曝光影响程度大于环境光曝光影响程度超过预定值时对应的像素深度值。例如，将图像中的像素受环境光曝光影响程度相较于受所述闪光灯曝光影响程度的占比等于90％对应的深度值定为环境白平衡阈值H₁，将图像中的像素受闪光灯曝光影响程度相较于环境光曝光影响程度的占比等于90％对应的深度值定为闪光灯白平衡阈值H₂。然而，应理解，上述取值并不局限于例举的占比90％，只要满足环境白平衡阈值H₁是图像中的像素受环境光曝光影响程度大于闪光灯曝光影响程度，闪光灯白平衡阈值H₂是图像中的像素受闪光灯曝光影响程度大于环境光曝光影响程度的条件即可。同时，对于环境白平衡阈值H₁、闪光灯白平衡阈值H₂以及确定的第一预定深度H’来说，这三者之间还需满足H₁>H’>H₂的关系，即第一预定深度H’介于环境白平衡阈值H₁和闪光灯白平衡阈值H₂之间。

当环境白平衡阈值H1和闪光灯白平衡阈值H2按照上述限定条件确定之后，可以根据条件限定以及公式来确定和计算图像中各像素的最终还原像素值V。根据本发明的一个示例，假设图像中像素的深度用H来表示，当图像中像素的深度H﹥H1时，该像素的还原像素值V等于其第一像素值V1；当所述图像中所述像素的深度H﹤H2时，该像素的还原像素值V等于第一像素值V2；而当所述图像中所述像素的深度满足H1≧H≧H2时，则该像素的值V通过以下公式计算得到：

根据本发明以上实施例的信息处理方法，提取深度大于第一预定深度H’的像素值信息，根据提取的像素值信息计算不同深度的像素对应的校正系数，使用该计算出来的校正系数对所有像素的初始像素值分别进行校正处理，最终根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值，以此使得图片中的前景和背景都得到比较好的色彩还原效果。

下面，参照图3说明本发明的实施例的信息处理装置。图3是示出根据本发明一个实施例的信息处理装置300的示范性结构框图。如图3中所示，本实施例的信息处理装置300包括图像采集单元310、计算单元320以及校正单元330。信息处理装置300的各个单元可分别执行上述图1中的信息处理方法100的各个步骤/功能。因此，以下仅对信息处理装置300的主要部件进行了描述，而省略了以上已经结合图1描述过的细节内容。

例如，图像采集单元310，其能够获取拍摄的图像的深度信息。根据本发明的实施例，图像采集单元310是具有图像深度信息获取功能的图像采集单元，其可以通过此功能获取图像中各像素的深度信息。

计算单元320可根据深度信息及拍摄图像使用的补光单元的功率对图像中不同深度像素的曝光影响程度，计算不同深度的像素对应的校正系数。根据本发明的实施例，首先基于深度信息将图像中不同深度像素加以区分，即可以将图片中具有相同深度的像素作为一个整体处理对象。然后，根据拍摄图像时使用的补光单元的功率对图像中像素的曝光影响程度不同，计算单元320能够针对每一深度的像素受到补光单元曝光的具体影响分别计算出还原校准系数。当然，本领域的技术人员应当知道，对整幅图像的深度范围划分的越细，越有利于更逼真的对像素进行还原校正。

校正单元330，其可以使用计算单元320计算得到的各校正系数分别对图像中所有像素的初始像素值进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值。例如，图像中各像素的原始像素值分别使用计算单元320计算得到的各校正系数对图像中各像素的原始像素值V₀进行校正，使得图像中的每个像素都得到分别与各校正系数相对应的多个校正像素值，根据该多个校正像素值通过深度限定条件以及相应的计算公式生成像素的像素还原值。

图4是根据本发明实施例的信息处理装置300的一个具体实施示例的装置。图4示出了根据本发明实施例的信息处理装置400的示范性结构框图。在图4所示的信息处理装置400中，包括了信息提取单元410、第一校正单元420、第二校正单元430以及像素还原单元440。信息处理装置400的各个单元可分别执行上述图2中的信息处理方法200的各个步骤/功能。因此，以下仅对信息处理装置400的主要部件进行了描述，而省略了以上已经结合图2描述过的细节内容。

例如，信息提取单元410可以根据深度信息，对深度大于第一预定深度H’的像素进行白平衡统计。根据本发明的实施例，第一预定深度H’是根据拍摄图像使用的补光单元的功率对图像中不同深度像素的曝光影响程度的预定取值确定的。在确定了第一预定深度H’之后，对深度大于第一预定深度H’的像素进行白平衡统计，即提取像素的像素值信息。根据本发明的一个示例，统计深度大于第一预定深度H’的所有像素的R/G/B各分量的像素值。

第一校正单元420能够根据信息提取单元410提取的像素值计算生成第一校正系数，并使用第一校正系数对图像中各像素的初始像素值V₀进行第一校正处理，得到图像中各像素的第一像素值V₁。根据本发明的实施例，例如使用找白点法或灰度色界法进行校正系数计算，然后将图像中所有像素的初始像素值V₀乘以计算得到的相应的第一校正系数，最后得到的乘积作为图像中各像素的第一像素值V₁。

同时，第二校正单元430能够根据拍摄图像使用的补光单元的色温计算生成第二校正系数，并使用第二校正系数对图像中各像素的初始像素值V₀进行第二校正处理，得到图像中各像素的第二像素值V₂。根据本发明的实施例，本领域公知的白色的R/G/B各分量的比值为1:1:1，因此通过使用相同补光单元拍摄白色物体或白色背景得到的图像便能够提取补光单元的色温。对于同一个补光单元来说，色温值为固定值。然后，以色温中R/G/B分量中的其中任意一个分量的分量值作为基准分量值，将色温中的每一个分量的分量值与该基准分量值进行比较，计算得到的比值即可作为每个分量相应的第二校正系数。然后，将该像素初始像素值V₀的R/G/B分量中的每一个分量值乘以与该分量对应的第二校正系数，最终得到的该像素所有分量的乘积来作为该像素的第二像素值V₂。

像素还原单元440，是根据图像中各像素的第一像素值V₁和/或第二像素值V₂生成图像中各像素的像素还原值V。根据本发明的实施例，首先根据所述图像中不同深度像素受所述闪光灯和环境光的曝光影响程度分别确定环境白平衡阈值H₁和闪光灯白平衡阈值H₂。其中，环境白平衡阈值H₁是图像中的像素受环境光曝光影响程度大于闪光灯曝光影响程度超过预定值时对应的像素深度值，而闪光灯白平衡阈值H₂是图像中的像素受闪光灯曝光影响程度大于环境光曝光影响程度超过预定值时对应的像素深度值。同时，对于环境白平衡阈值H₁、闪光灯白平衡阈值H₂以及确定的第一预定深度H’来说，这三者之间还需满足H₁>H’>H₂的关系，即第一预定深度H’介于环境白平衡阈值H₁和闪光灯白平衡阈值H₂之间。

当环境白平衡阈值H1和闪光灯白平衡阈值H2按照上述限定条件确定之后，可以根据条件限定以及公式来确定和计算图像中各像素的最终还原像素值V。具体地，假设图像中像素的深度用H来表示，当图像中像素的深度H﹥H1时，该像素的还原像素值V等于其第一像素值V1；当所述图像中所述像素的深度H﹤H2时，该像素的还原像素值V等于第一像素值V2；而当所述图像中所述像素的深度满足H1≧H≧H2时，则该像素的值V通过以下公式计算得到：

如上所述，根据本发明实施例的信息处理装置，通过信息提取单元提取深度大于第一预定深度H’的像素值信息，根据提取的像素值信息计算不同深度的像素对应的校正系数，使用该计算出来的校正系数对所有像素的初始像素值分别进行校正处理，最终像素还原单元根据得到的每一像素的各校正像素值安装限定条件以及具体公式生产所述图像中各像素的像素还原值，以此对图片中的前景像素和背景像素进行比较好的色彩还原效果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要在所附权利要求书及其等价物范围内。

Claims (10)

1.一种信息处理的方法，应用于电子设备，其中所述电子设备包括图像采集单元，所述方法包括：

获取通过所述图像采集单元拍摄的图像的深度信息；

将所述图像按照深度信息划分出若干组深度范围，每一组深度范围对应于一组相应的深度范围内的像素；

根据拍摄所述图像使用的补光单元的功率对所述图像中不同组的像素的曝光影响程度，计算不同深度的像素对应的校正系数；使用所述校正系数对所有像素的初始像素值分别进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值，其中所述校正系数是根据对深度大于第一预定深度H’的像素进行白平衡统计或根据拍摄所述图像使用的补光单元的色温计算生成的。

2.根据权利要求1所述的方法，进一步包括：

根据所述深度信息，对深度大于第一预定深度H’的所述像素进行白平衡统计；

使用第一校正系数对所述图像中各像素的初始像素值V₀进行第一校正处理，得到所述图像中各像素的第一像素值V₁，其中所述第一校正系数是根据所述白平衡统计计算生成的；

使用第二校正系数对所述图像中所有像素的初始像素值V₀进行第二校正处理，得到所述图像中各像素的第二像素值V₂，其中所述第二校正系数是根据拍摄所述图像使用的补光单元的色温计算生成的；

根据所述图像中各像素的所述第一像素值V₁和/或所述第二像素值V₂生成所述图像中各像素的像素还原值V₃。

3.根据权利要求2所述的方法，其中

所述第一预定深度H’是根据拍摄所述图像使用的补光单元的功率对所述图像中不同深度像素的曝光影响程度的预定取值确定的。

4.根据权利要求2所述的方法，其中

所述色温包括多个分量；

所述的根据拍摄所述图像使用的补光单元的色温计算生成的所述第二校正系数包括：

以所述色温中的其中一个分量的分量值为基准分量值；

对于所述色温中的每一个分量，计算该分量的分量值与所述基准分量值的比例系数以作为该分量的第二校正系数。

5.根据权利要求4所述的方法，其中所述的使用第二校正系数对所述图像中所有像素的初始像素值V₀进行第二校正处理包括：

对于所述图像中每个像素的初始像素值V₀，将该像素初始像素值V₀中每一个分量值乘以与该分量对应的所述第二校正系数，得到的该像素所有分量的乘积作为该像素的第二像素值V₂。

6.一种信息处理装置，包括：

图像采集单元，配置来获取其拍摄的图像中各像素的深度信息；

处理单元，配置来将所述图像按照深度信息划分出若干组深度范围，每一组深度范围对应于一组相应的深度范围内的像素，根据拍摄所述图像使用的补光单元的功率对所述图像中不同组像素的曝光影响程度，计算不同深度的像素对应的校正系数；根据所述校正系数对所有像素的初始像素值分别进行校正处理，根据得到的每一像素的各校正像素值生成所述图像中各像素的像素还原值，其中所述校正系数是根据对深度大于第一预定深度H’的像素进行白平衡统计或根据拍摄所述图像使用的补光单元的色温计算生成的。

7.根据权利要求6所述的信息处理装置，所述处理单元进一步包括：

信息提取单元，配置来根据所述深度信息，对深度大于第一预定深度H’的所述像素进行白平衡统计；

第一校正单元，配置来使用第一校正系数对所述图像中各像素的初始像素值V₀进行第一校正处理，得到所述图像中各像素的第一像素值V₁，其中所述第一校正系数是根据所述白平衡统计计算生成的；

第二校正单元，配置来使用第二校正系数对所述图像中所有像素的初始像素值V₀进行第二校正处理，得到所述图像中各像素的第二像素值V₂，其中所述第二校正系数是根据拍摄所述图像使用的补光单元的色温计算生成的；

像素还原单元，配置来根据所述图像中各像素的所述第一像素值V₁和/或所述第二像素值V₂生成所述图像中各像素的像素还原值V₃。

8.根据权利要求7所述的信息处理装置，其中

所述第一预定深度H’是根据拍摄所述图像使用的补光单元的功率对所述图像中不同深度像素的曝光影响程度的预定取值确定的。

9.根据权利要求7所述的信息处理装置，其中

所述色温包括多个分量；

所述的根据拍摄所述图像使用的补光单元的色温计算生成的所述第二校正系数包括：

以所述色温中的其中一个分量的分量值为基准分量值；

对于所述色温中的每一个分量，计算该分量的分量值与所述基准分量值的比例系数以作为该分量的第二校正系数。

10.根据权利要求9所述的信息处理装置，其中所述的使用第二校正系数对所述图像中所有像素的初始像素值V₀进行第二校正处理包括：

对于所述图像中每个像素的初始像素值V₀，将该像素初始像素值V₀中每一个分量值乘以与该分量对应的所述第二校正系数，得到的该像素所有分量的乘积作为该像素的第二像素值V₂。