CN103164868B

CN103164868B - 产生具有景深效果的图像的方法和装置

Info

Publication number: CN103164868B
Application number: CN201110425934.6A
Authority: CN
Inventors: 江国昌; 叶思义
Original assignee: KINJAU Ltd
Current assignee: KINJAU Ltd
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2018-01-16
Anticipated expiration: 2031-12-09
Also published as: CN103164868A

Abstract

本公开涉及产生具有景深效果的图像的方法和装置。图像处理方法包括：根据图像的每个像素的深度计算每个像素的融合参数；对图像进行模糊化以生成模糊化图像；根据融合参数将该图像与模糊化图像融合，以生成具有景深效果的图像，其中，在模糊度变化区间中，融合参数是基于正弦函数或余弦函数来计算的。本发明可以在资源有限的平台行快速计算图像融合参数，并获得良好的景深效果。

Description

产生具有景深效果的图像的方法和装置

技术领域

本发明一般地涉及图像处理，更具体地，涉及快速计算图像景深以产生具有景深效果的图像的方法和装置。

背景技术

人的视觉系统或照相机的光学系统都具有有限的景深(Depth of Field，DOF)。人眼或照相机在聚焦完成后，在被聚焦的平面前后一定距离内的物体都能在人眼或照相机中成清晰的像。这段距离便叫做景深。这段距离之外的物体将变得模糊。因此，现实世界中，人感受到的影像或照相机拍摄的图像，会有某些距离的景物清楚而某些距离的景物模糊的效果，即景深效果。

然而，传统的计算机绘图并不具有景深效果。例如，在计算机三维(3D)绘图技术中，将3D空间图形投影到二维(2D)平面上，产生可以显示的平面图像。如果不进行特殊的处理，深度方向上各个距离的物体都清晰地投影在平面图像上，造成图像看上去在深度方向上的每个平面都被清楚地聚焦，并没有景深效果。这使得图像看上去缺少立体感和层次感。

为了使得图像看上去更加立体和有层次感，接近人在真实世界中的视觉效果，希望在图像中加入景深效果。例如，使得图像中近距离的人脸很清晰，而远处的人脸比较模糊。

在3D绘图学中制造景深效果，通常的做法是融合两张图像，其中一张是原始图像，另一张是该原始图像的模糊版本。但是，如何控制融合是一个问题。如果没有良好的算法，最终产生的图像可能效果并不好，例如感觉不真实或者层次不自然。

另外，为了产生景深效果，传统算法通常需要较大的计算量，尤其要使用浮点数运算。通常，只有在具有专门的3D图形加速装置或图像处理器(GPU)的平台上才能实现景深效果。而对于没有GPU或没有硬件浮点数运算能力的设备，例如普通的电视机或普通的移动电话机等，难以在其上对图像加入景深效果。

发明内容

本发明提出了一种快速计算融合参数的技术，利用该融合参数，将清晰图像和模糊图像相融合，从而产生具有景深效果的图像。

根据本发明的一个方面，提供了一种图像处理方法，包括：根据图像的每个子部分的深度计算每个子部分的融合参数；对图像进行模糊化以生成模糊化图像；以及根据融合参数将该图像与模糊化图像融合，以生成具有景深效果的图像，其中，在模糊度变化区间中，融合参数是基于正弦函数或余弦函数计算的。

根据本发明的另一个方面，提供了一种图像处理装置，包括：图像缓冲器，被配置为存储图像；深度缓冲器，被配置为存储图像的每个子部分的深度信息；融合参数计算单元，被配置为根据图像的每个子部分的深度计算每个子部分的融合参数；模糊图像计算单元，被配置为对图像进行模糊化以生成模糊化图像；以及融合单元，被配置为根据融合参数将该图像与模糊化图像融合，以生成具有景深效果的图像，其中，融合参数计算单元被配置为基于正弦函数或余弦函数计算模糊度变化区间中的融合参数。

根据本发明的另一个发明，提供了一种用于图像处理的装置，包括：用于根据图像的每个子部分的深度计算每个子部分的融合参数的装置；用于对图像进行模糊化以生成模糊化图像的装置；以及用于根据融合参数将该图像与模糊化图像融合，以生成具有景深效果的图像的装置，其中，在模糊度变化区间中，融合参数是基于正弦函数或余弦函数计算的。该装置可以用软件实现为功能模块构架。

根据本发明的一种实现方式，在模糊度变化区间中，融合参数的值b按照以下公式计算：

其中，d是图像子部分的深度值，d′是模糊度变化区间的清晰一端的端点深度值，d″是模糊度变化区间的模糊一端的端点深度值，sin()是正弦函数。

根据本发明的另一种实现方式，在模糊度变化的区间中，融合参数的值b按照以下公式计算：

其中，d是图像子部分的深度值，d′是模糊度变化区间的清晰一端的端点深度值，d″是模糊度变化区间的模糊一端的端点深度值，cos()是余弦函数。

根据本发明的一种实现方式，如果图像子部分的深度值在景深区间中，则融合参数为0；如果图像子部分的深度值在完全模糊区间中，则融合参数为1。

根据本发明的一种实现方式，融合参数可以与模糊计算核心的大小相对应。

根据本发明的一种实现方式，计算都是使用定点数完成的。

根据本发明的一种实现方式，正弦或余弦函数的值是通过查表和差值的方式得到的。

根据本发明的一种实现方式，除法运算都使用乘法来代替。

根据本发明的一种实现方式，每个图像子部分是图像中的一个像素。

根据本发明计算的融合参数能够获得更接近人眼或照相机的成像效果的景深效果，而计算量被有效地降低。本发明可以在不具有3D图像加速装置或其他图形处理器的平台上使得图像或视频产生景深效果，甚至可以在不具有浮点数运算能力的资源受限的平台上实现景深效果。

附图说明

图1是示出了根据本发明的用于使图像具有景深效果的图像处理方法的流程图。

图2是示出了根据本发明一个实施例的根据深度值计算融合参数的曲线。

图3是示出了根据本发明另一个实施例的根据深度值计算融合参数的曲线。

图4是示出了根据本发明一个实施例的模糊计算核心的大小的曲线。

图5是示出了根据本发明一个实施例的图像处理装置的框图。

具体实施方式

以下将参考附图来详细描述本发明的特征和示例性的具体实施方式。应当理解，这些附图仅是帮助理解本发明的若干实施方式，不应认为是对本发明范围的限定。在以下描述和附图中，相同的参考标号表示相同或类似的元素。

在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面的理解。但是，对于本领域技术人员来说很明显，本发明可以在不需要这些具体细节中的一些细节的情况下被实施。另外，基于合理的理解，在一些实施例中描述的特征也可以与其他实施例中描述的特征相结合。本说明书中对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是覆盖了元素、部件和算法的任何修改、替换和改进，只要不脱离本发明的精神。另外，在附图和下面的描述中，没有示出公知的结构和技术，以便避免不必要地使本发明的概念变得模糊。

图1示出了根据本发明的用于使图像具有景深效果的图像处理方法的一般流程图。如图1所示，在步骤S110，根据输入图像的每个子部分的深度计算每个子部分的融合参数。

根据应用该方法的具体场合，输入图像可以是由3D绘图引擎所产生的图像，或者是经由计算机网络、移动通信网络等网络接收的图像，或者是以其他各种方式准备的图像等。输入图像可以是实时接收的，例如在线3D游戏或视频等的视频流中的图像帧，或者可以是存储在例如图像存储器等的存储装置中的预先准备好的图像。

图像可以被划分成多个子部分。在一种实现方式中，图像的子部分是每个单独的像素。在另一种实现方式中，图像的子部分是若干像素的集合或图像块，例如具有相同图像深度的相邻的一组像素或者图像中显示同一物件的若干像素，或者按照一定间隔或密度分布将图像划分成的小块。这种将若干像素作为整体进行运算的方式，相对于对每个像素进行运算，可以减少运算量，提高运算速度。

根据本发明，对图像的每个子部分分别计算融合参数，融合参数将取决于图像子部分的深度。这里，深度是图像中的像素所表示的物体在三维空间中距离图像显示平面的距离。在3D图像制作技术中，假设X-Y平面是产生2D图像的投影平面，与X-Y平面垂直的Z轴的值便表示了像素或物体的深度。对于通过3D图像制作产生的图像，每个像素都可以具有深度值。另外，对于不具有深度信息的图像，也可以采用其他图像分析或估计技术来估计各个部分的深度，这里对这些已有的技术不再详细说明。本发明假设图像的深度信息是已知的或者已经经由与预先的处理获得了。

图2示出了根据本发明一个实施例的根据深度值计算融合参数的曲线。

图2中的横坐标表示深度值d，该深度值即代表像素或图像子部分在三维空间中应有的深度，其中，d1表示距离观看者最近的开始变清晰的深度，d2表示开始完全清晰的深度，d3表示随着距离变远而开始变模糊的深度，d4表示随着距离变远而开始完全模糊的深度。在本说明书中，成像完全清晰的d2至的d3的深度区间被称为景深区间；成像完全模糊的0至d1以及d4至无限远的深度区间被称为完全模糊区间；在完全清晰和完全模糊之间逐渐变化的深度区间d1至d2以及d3至d4均被称为模糊度变化区间。

应当注意，各个区间的分界点d1、d2、d3、d4均可根据图像所要表现出的场景和效果来进行选取。可以认识到，在一些情况中，完全模糊区间可以设为0，例如d1设为0，或者d4设为无限远，

图2中的纵坐标表示融合参数b的大小。在该示例中，融合参数已被归一化在0至1的区间中。融合参数b越大，表示越模糊。b等于0时，表示完全清晰；b＝1时表示完全模糊。按照该实施例的融合参数函数，对于深度在d2至d3的景深区间内的像素或图像子部分，融合参数b为0，将呈现清晰的图像。在完全模糊区间中，由于深度太浅(深度小于d1)或者太深(深度超过d4)的像素或图像子部分表示离观看者太近或太远的物体，融合参数b为1，其将呈现完全模糊的图像。在模糊度变化区间d1至d2中，融合参数b随深度加深而减小。在模糊度变化区间d3至d4中，融合参数b随深度加深而增加。

本发明的发明人发现，可以在正弦函数的基础上设计模糊度变化区间中的融合参数函数，这样得到融合参数能够使得图像的景深效果最接近人眼或照相机的成像效果。

根据本发明的一个实施例，模糊度变化区间中的融合参数可以利用正弦函数计算如下：

(式1)

其中，b是融合参数值，d是像素或图像子部分的深度值，d′是该像素或图像子部分的深度值所在的模糊度变化区间的清晰一端的端点深度值，d″是该像素或图像子部分的深度值所在的模糊度变化区间的模糊一端的端点深度值，sin()是正弦函数。对于图2所示的模糊度变化区间d1至d2，d′＝d2，d″＝d1。对于图2所示的模糊度变化区间d3至d4，d′＝d3，d″＝d4。容易理解，|d′-d|是像素或图像子部分与该模糊度变化区间中最清晰平面的距离，而|d′-d″|是模糊度变化区间的长度，即该区间中最清晰平面和完全模糊平面之间的距离。

根据式1，图2中所示的融合参数b可以按照如下程序计算：

本发明的发明人经过测试发现根据上述算法计算得出的融合参数相比于线性的融合参数能够更好地模拟人眼或照相机的景深效果。

替代地，也可以使用余弦函数来设计模糊度变化区间中的融合参数函数。

根据本发明的一个实施例，模糊度变化区间中的融合参数可以利用余弦函数计算如下：

(式2)

其中，b是融合参数值，d是像素或图像子部分的深度值，d′是该像素或图像子部分的深度值所在的模糊度变化区间的清晰一端的端点深度值，d″是该像素或图像子部分的深度值所在的模糊度变化区间的模糊一端的端点深度值，cos()是余弦函数。容易理解，|d′-d|是像素或图像子部分与该模糊度变化区间中最清晰平面的距离，而|d′-d″|是模糊度变化区间的长度，即该区间中最清晰平面和完全模糊平面之间的距离。

图3示出了根据本发明另一个实施例的根据深度值计算融合参数的曲线。在图3所示的示例中，景深区间是d2至d3，两个模糊度变化区间分别是0至d2以及d3至d4。注意，与图2所示的示例不同，在图3所示的示例中，在比d2更近的深度上并没有设置完全模糊区间，即d1被设置为零深度。能够认识到，根据具体情况，也可以在该示例中设置近区域的完全模糊区间，或者，在图2所示的示例中也可以通过将d1设置为零深度而取消近区域的完全模糊区间。

根据式2，图3中所示的融合参数b可以按照如下程序计算：

实验发现根据上述基于余弦函数的算法得出的融合参数，也能够很好地模拟人眼或照相机的景深效果。

上述给出了基于正弦或余弦函数来计算融合参数的示例。但是本领域技术人员能够理解，对上述基于正弦或余弦的算法也可以进行任何适当地调整，例如，通过添加/改变系数或常量来调整基于正弦或余弦的曲线的形状，来获得希望的效果。

返回图1，在根据图像每个子部分的深度分别对每个子部分计算出融合参数后，在步骤S120，对图像进行模糊化以生成该图像的模糊图像。可以采用各种已知的模糊化技术来完成图像的模糊化处理，由于这些技术是本领域中熟知的，因此在本说明书中不再详细描述。

应当注意，步骤S120并非必须在步骤S110之后。模糊化处理也可以在融合参数计算之前完成，后者与融合参数计算同时进行。

得到每个子部分的融合参数和模糊化图像后，过程进行到步骤S130，根据融合参数将图像与模糊图像融合，以生成输出图像。融合参数表示了在融合时，每个图像子部分的模糊程度的大小。基于融合参数来将原始图像中的每个子部分与模糊图像中的每个子部分相融合，可以获得具有景深效果的图像。可以使用各种已有的融合方法和融合原始图像和模糊图像，只要融合时按照融合参数来限定模糊程度。

例如，可以使用如下关系来进行融合：

p_output＝(1-b)*p_input+b*p_blur (式3)

其中，p_output表示融合后得到的像素或图像子部分的值，p_input表示原始输入图像中的像素或图像子部分的值，p_blur表示模糊图像中对应像素或像素子部分的值，b是该像素或图像子部分的融合参数。

融合参数也可以与模糊计算核心的大小相关联，并且按照模糊计算核心的大小来将模糊图像与原始图像融合。例如，对于完全模糊的部分，我们将模糊计算核心的大小设为n，即，一个像素扩散为n倍，而对于应当清晰的部分，模糊计算核心的大小设为1，即像素保持原始大小。在模糊度变化区间中，像素按照融合参数的大小相应地在1到n的倍率区间中放大。例如，图4示出了假设最大模糊计算核心大小为12时，图3中所示示例的模糊计算核心的大小。

返回图1，在步骤S130按照融合参数进行融合后的图像将相应地具有景深效果，其可以被输出以供显示或进一步的处理。例如，对于视频流中的每个图像帧进行上述处理并连续输出，可以呈现出具有立体视觉效果的视频。

本发明的上述处理可以在简单的计算平台上进行。图5示出了根据本发明一个实施例的用于产生具有景深效果的图像的图像处理装置的示例。

如图5所示，图像处理装置500主要包括存储单元510和计算单元520。存储单元510具有图像缓冲区512，用于缓存输入的图像。存储单元510还具有深度缓冲区514，用于缓存输入图像的每个子部分或像素的深度信息。计算单元520主要包括模糊图像计算单元522、融合参数计算单元524和融合单元526。模糊图像计算单元522用于对图像缓冲区512中存储的输入图像进行模糊化处理，例如上述参考图1描述的步骤S120的处理。融合参数计算单元524用于基于深度缓冲区514中存储的深度信息，按照本发明的方法为每个图像子部分或像素计算融合参数，例如上述参考图1描述的步骤S110的处理。融合单元526与模糊图像计算单元522和融合参数计算单元524相耦合，用于根据融合参数计算单元524计算出的融合参数，对原始输入图像和模糊图像计算单元522计算出的模糊图像进行融合，并输出融合后的图像，例如参考图1所描述的步骤S130的处理。

根据本发明的图像处理装置可以实现为专门的图像处理硬件，例如集成电路或图形处理卡。根据本发明的图像处理装置也可以使用一般的CPU和缓存器的来实现。本发明所提出的对图像加入景深效果的方法对硬件资源的要求较低，为了进一步地降低对硬件资源的要求，还可以使用若干方法来简化或加速运算。例如，根据本发明的一个实施例，在进行上述图像处理时，使用定点数来代替浮点数，从而使得根据本发明的图像处理装置不需要具有浮点数运算能力。这样，即使在没有GPU的平台上，也可以利用一般的CPU实现本发明的图像处理。根据本发明的另一个实施例，所有的除法运算都使用乘法来取代，这样进一步降低了对运算资源的需求，加快了运算速度。根据本发明的另一个实施例，采用查表和插值的方式来计算正弦或余弦函数，这样更进一步地降低了运算难度，加快了运算速度。上述实施例中的各方面的特点也可以互相结合，从而最佳地简化运算，降低硬件要求。

本发明的图像处理方法和图像处理装置可以应用于任何与图像处理或显示有关的设备中，尤其适于具有3D图像应用的设备。可在其中应用本发明的设备包括但限于移动电话机、个人数据助理(PDA)、平板电脑、图形服务器、个人计算机、膝上计算机、游戏机、媒体播放器、电视机等等。本发明尤其适于在不具有GPU的例如移动电话机或平板电脑等个人手持设备上呈现具有景深效果的图像或进行3D游戏。

前述已通过框图、流程图和/或实施例进行了详细描述，阐明了本申请系统和/或方法的不同实施方式。本领域的技术人员会明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意结合而单独地和/或共同地实施。另外，容易认识到，本发明的图像处理装置可以实现为独立的设备或实现为一个设备或系统的部件或子部件。本发明的图像处理装置中的部件可通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。另外，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地以在计算机、处理器或微处理器上运行的计算机程序的形式、以固件的形式、或以实质上它们的任意组合的形式等同地实施。本领域技术人员根据本说明书中公开的内容，能够设计用于本发明的电路和/或用于本发明的软件和/或固件的代码。当以软件方式实现时，本发明的元素可以是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质，包括但不限于电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘等。传输介质或通信链路可以包括但不限于光缆、波导、有线通讯链路、无线通讯链路等等。代码段也可以经由诸如因特网、内联网等的计算机网络被下载。

上面已经参考附图描述了根据本发明的一些具体示例。然而，这些实施例在所有方面都被看作是示例性的而非限定性的，本发明并非要受到上述实施例中描述的任何具体配置和过程的限制。在不脱离本发明的精神和本质特征的范围之内，本领域技术人员能够认识到上述配置、算法、操作和过程的各种替换、改变或修改。

Claims

1.一种图像处理方法，包括：

根据图像的每个子部分的深度计算所述每个子部分的融合参数；

对所述图像进行模糊化以生成模糊化图像；以及

根据所述融合参数将所述图像与所述模糊化图像融合，以生成具有景深效果的图像，

其中，在模糊度变化区间中，所述融合参数的值b是基于如下正弦函数或余弦函数计算的：

<mrow> <mi>b</mi> <mo>=</mo> <mo>&lsqb;</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>|</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mi>d</mi> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <msup> <mi>d</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <mo>|</mo> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mi>&pi;</mi> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mrow> <mo>|</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mi>d</mi> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <msup> <mi>d</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <mo>|</mo> </mrow> </mfrac> <mo>&rsqb;</mo> <mo>/</mo> <mn>2</mn> <mo>,</mo> </mrow>

<mrow> <mi>b</mi> <mo>=</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <mi>d</mi> <mo>-</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msup> <mi>d</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>d</mi> <mo>&prime;</mo> </msup> <mo>|</mo> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mfrac> <mi>&pi;</mi> <mn>2</mn> </mfrac> <mo>&rsqb;</mo> </mrow>

其中，d是所述图像子部分的深度值，d'是所述模糊度变化区间的清晰一端的端点深度值，d”是所述模糊度变化区间的模糊一端的端点深度值。

2.根据权利要求1所述的方法，其中，

如果所述图像子部分的深度值在景深区间中，则融合参数为0，并且

如果所述图像子部分的深度值在完全模糊区间中，则融合参数为1。

3.根据权利要求1所述的方法，还包括将所述融合参数与模糊计算核心的大小相对应。

4.根据权利要求1所述的方法，其中，使用定点数完成计算。

5.根据权利要求1所述的方法，其中，所述正弦或余弦函数的值是通过查表和差值的方式得到的。

6.根据权利要求1所述的方法，其中，使用乘法来代替除法完成计算。

7.根据权利要求1所述的方法，其中，每个所述图像子部分是图像中的一个像素。

8.一种图像处理装置，包括：

图像缓冲器，被配置为存储图像；

深度缓冲器，被配置为存储所述图像的每个子部分的深度信息；

融合参数计算单元，被配置为根据所述图像的每个子部分的深度计算所述每个子部分的融合参数；

模糊图像计算单元，被配置为对所述图像进行模糊化以生成模糊化图像；以及

融合单元，被配置为根据所述融合参数将所述图像与所述模糊化图像融合，以生成具有景深效果的图像，

其中，所述融合参数计算单元被配置为基于如下正弦函数或余弦函数计算模糊度变化区间中的融合参数的值b：

9.根据权利要求8所述的装置，其中，所述融合参数计算单元被配置为将深度值在景深区间中的图像子部分的融合参数设置为0，并且将深度值在完全模糊区间中的图像子部分的融合参数设置为1。

10.根据权利要求8所述的装置，其中，所述融合单元被配置为将所述融合参数与模糊计算核心的大小相对应。

11.根据权利要求8所述的装置，其中，所述装置使用定点数完成各项计算。

12.根据权利要求8所述的装置，其中，所述融合参数计算单元被配置为通过查表和差值的方式得到所述正弦或余弦函数的值。

13.根据权利要求8所述的装置，其中，所述装置使用乘法来代替除法完成计算。

14.根据权利要求8所述的装置，其中，每个所述图像子部分是图像中的一个像素。

15.一种用于图像处理的装置，包括：

用于根据图像的每个子部分的深度计算所述每个子部分的融合参数的装置；

用于对所述图像进行模糊化以生成模糊化图像的装置；以及

用于根据所述融合参数将所述图像与所述模糊化图像融合，以生成具有景深效果的图像的装置，