CN101088104B - 用于处理图像数据的电子设备和电子设备中的方法 - Google Patents

Abstract

本发明涉及用于进行成像的电子设备(10)，其包括：摄像装置(11，14)，其用于从成像目标(IT)生成图像数据(ID)，所述成像目标(IT)包括至少一个主要图像对象(I1)和至少一个次要图像对象(I2)；被配置为与所述摄像装置相连的图像处理链(27)，其用于处理从成像目标生成的所述图像数据；以及聚焦装置(28)，其用于将所述摄像装置聚焦在至少一个主要图像对象上。此外，虚化装置(17，22，26)被配置在所述图像处理链中，来虚化所述图像数据中的所述次要图像对象中的至少一些，所述虚化装置被配置为使用由所述聚焦装置产生的信息。

Description

用于处理图像数据的电子设备和电子设备中的方法

技术领域

本发明涉及用于执行成像的电子设备，其包括

-摄像装置，用于从成像目标形成图像数据，所述成像目标包括至少一个主要图像对象和至少一个次要图像对象，

-图像处理链，其被配置为与所述摄像装置相连，用于处理所述从成像目标形成的图像数据，以及

-聚焦装置，用于将摄像装置聚焦在至少一个主要图像对象上。

除此之外，本发明还涉及用来实施本发明的相应的方法、程序产品以及聚焦模块。

背景技术

在小型数码相机中，除了别的因素以外，尤其由于焦距短，景深会相对较广。这种相机的一个例子为配备有数字成像能力的移动台。大景深使得很难在图像中生成虚化的背景。这类成像应用的一个例子为人像。其中，只希望锐利地示出主要的图像对象，而希望背景即次要的图像对象被虚化。

在现有技术的解决方案中，浅的景深是通过使用大光圈(F数小)以及长焦距实现的。该方案可见于例如SLR(单反相机)。另一种可能性为由后期编辑实现的虚化。这是例如在静态图像编辑器中的常用功能。

美国专利公开文本US-2002/0191100A1(卡西欧电脑有限公司)公开了一种结合成像在摄像装置中实现的背景虚化方法。该方法基于在成像的瞬间拍摄两张图像。第一张图像聚焦在主要图像对象上，并且在拍摄第二张图像之前聚焦被变为或近或远的设置。在照完像之后，第一和第二张图像被彼此合成。作为该合成的结果，得到最终图像，其中对象被锐利成像而背景被虚化。

应用了两张或多张图像的其它一些现有技术描述见US 2002/0140823A1，US 2002/0060739A1，US 2003/0071905A1以及US 2002/0191100A1。

发明内容

本发明旨在创建一种在数字成像中虚化不想要的成像目标的方式。根据本发明的电子设备的特征属性在所附权利要求1中被描述，而方法特征属性在所附权利要求9中被描述。除此之外，本发明还涉及将被适用在该设备中的相应程序产品和聚焦模块，其特征属性在所附的权利要求16和22中描述。

在本发明中，通过使用聚焦产生的信息进行虚化。

本发明特别适用于例如景深广的数字相机中的应用。这类相机可见于例如移动台。本发明可被应用于静止和视频成像。

在本发明中，应用了从相机聚焦获取的信息。可以基于该信息来确定将要保留锐利度的图像中的一个或多个图像对象以及相应地将要虚化的图像对象。聚焦信息在成像环境中很快就可以得到，这样对于实现本发明来说其应用发生得很平滑。

虚化不重要的图像对象可以例如通过使用过滤来实现。甚至在用于过滤的设备中可以有预计算的过滤系数，从所述过滤系数中可以选出用于每种情况的最合适的系数组。另一方面，为聚焦而形成的统计可被用来计算所述过滤系数。

在本发明中，最终用户可以使用该相机在成像阶段就已经令人惊讶地在图像中制作虚化的效果。因此，没有任何必要在成像之后在该设备的外部进行单独的后期编辑操作。

本发明实现的一个优点是，使用通常恰景深较广的小相机可以获得这样的图像，即其中主要图像对象锐利，而背景或次要图像对象通常被虚化或不清楚。

所附的权利要求会使本发明的其它特征显而易见，而所实现的其他优点则在描述部分被逐条列出。

附图说明

本发明并不局限于下列所描述的实施例，参照下面的附图更深入地研究本发明，其中，

图1作为示意图示出根据本发明的电子设备的应用原理的例子；

图2示出根据本发明的程序产品的应用的一个例子，其用于以根据本发明的方式在电子设备中实现虚化；

图3作为流程图示出根据本发明的方法的原理的例子；以及

图4示出应用本发明的成像目标的例子。

具体实施方式

图1作为示意图示出根据本发明的电子设备10的应用原理的例子，以下在此基础上对本发明进行描述。此外，图2示出根据本发明的程序产品30的一个例子。该程序产品30由存储介质MEM以及存储在所述存储介质上的程序代码31形成，在下述描述中将参照属于程序代码31的代码单元31.1-31.5，在适当位置描述所述程序代码，以将其与根据本发明的方法和设备10联系起来。

设备10可以为例如配备有静止和/或视频成像能力的数字相机、数字摄像机、配备有相机的移动台，或其它类似的智能通讯器(PDA)，对其元件中从本发明的角度来看不重要的不做特别详细地描述。本发明不仅涉及设备10，并且还同等地涉及例如可以在设备10中的成像链系统27以及聚焦模块28。这样的聚焦模块28的一个例子为Canon(佳能)研发的Ai-AF系统。

根据本发明的设备10以及连同它的成像系统可以包括，作为模块元件的摄像装置11，14以及与所述摄像装置相连的数字图像处理链27，以及聚焦电路28。

摄像装置11，14可以包括图像传感器全体12，13(其已知)，连同可移动的透镜15，并通过图像传感器全体可以形成成像目标IT的数据信息ID。通过使用AD转换器13，被相机传感器12以已知的方式转换而形成电信号的成像目标IT被转换成数字的形式。

摄像装置11，14的焦距可以小于被声明为35毫米胶片等效焦距的35毫米.摄像装置的焦距的例子可以是被声明为35毫米胶片的等效焦距，例如15-20毫米(特别的广角)，20-28毫米(广角)或28-35毫米(轻微广角).本发明的使用在具有较广的景深的设备10上实现了特别的优点，但是本发明当然也可以被应用于景深较窄(例如长焦镜头)的设备上.

聚焦装置28在设备10中，用来为摄像装置11，14调焦距。例如已知或还在被研发的解决方案都可以被作为聚焦电路28。使用聚焦电路28，在执行想要存储的成像之前，或者甚至在成像将被存储期间——如果是例如视频成像应用的话，成像目标IT中的图像对象I1，I2的至少一个可以被聚焦到摄像装置11，14上，更具体地说被聚焦到传感器12上。这是因为成像目标IT可以包括至少一个主要图像I1——希望将摄像装置11，14聚焦到与之相关的上，并且包括至少一个次要图像对象I2——从成像的角度来说是不那么让人感兴趣的图像对象。次要图像对象I2可为例如主要图像对象I1的背景。

在相机中，聚焦按照惯例包括从图像数据ID收集统计。根据一个实施例，该统计可以包括例如，用于主要图像对象I1的边缘检测的梯度搜索。该统计可以由例如图像数据ID的亮度信息形成。该聚焦操作还包括透镜15的移动，以通过比较统计信息来在数学上最大化统计的图像锐利度。聚焦可自动实现或由最终用户实现，最终用户能够在例如相机中有手动可调节的聚焦盘(机械聚焦控制)的情况下手动调节聚焦。

如果聚焦在设备10中自动实施，则图1所示的聚焦电路28可以包括自动聚焦控制算法24，其中可以有作为子模块的焦点确定部分。算法部分24从AF统计数字的计算模块23接收自动聚焦AF数据，作为输入。统计模块23可以以诸如已知的方式，处理直接来自AD转换器13的图像数据ID，以及从所述图像数据ID形成的数据，例如之前提到的梯度数据。基于统计模块23所产生的数据，算法部分24可以决定其是否将所选的第一图像对象I1以设定的方式锐利成像给传感器12。作为输出，算法部分24产生诸如已知的控制数据，用来透镜组15的调节机构14。该控制数据被用来移动透镜组15，从而使得由焦点子模块25所确定的一个或多个主要图像对象I1被精确且锐利地成像给传感器12。

连至摄像装置11，14的图像处理链27在不同实施方案中可以包括不同的模块，这些模块被用来例如在设备10中处理从成像目标IT形成的图像数据ID。不论设备10此刻是否进行对将被存储的成像的存储，都有可能执行所谓的取景器成像，为此可以在设备10中有专用的模块VF。该取景器VF可以在颜色内插16之后，或在根据本发明的虚化滤镜17之后，稍后将对虚化滤镜更详细地描述。在这种情况下，根据本发明，可以已经被在取景器图像中看到虚化的背景。

图像处理链IC还可以包括一个或多个处理电路/DSP16，18，就本发明而言，其为完全不相关的元件，就此没有必要对其进行进一步的描述。在这种情况下，示出了颜色内插16和图像处理链27的图像数据ID压缩18。当存储图像数据ID时，这可以发生在某些存储介质19上。这些与本发明无关的元件的技术实施，对本领域的技术人员来说是显而易见的，因此为清楚起见，本发明只以框图的形式粗略描述。就本发明的实际实施而言，可以考虑硬件和软件解决方案以及它们的结合。当然，属于图像处理和/或聚焦链27，28的模块16，18，23，24，25的操作甚至可以在单模块中实施。

作为令人惊讶的模块，形成虚化模块21的虚化装置17，22，26被配置在图像处理链27中。当然，属于模块21的子模块17，22，26还可以提供设备10中除属于虚化以外的其它任务，如下面要阐述的(例如，聚焦)。装置17，22，26可以以令人惊讶的方式被用来虚化图像数据ID中的次要图像对象I2中的至少一部分，所述次要图像对象不是传感器12整体检测到的成像目标IT中感兴趣的主要对象。

在图1的实施例中，只有虚化装置的过滤模块17呈现在真正的链27中。在本实施例中实施虚化的其它模块为过滤系数计算模块22以及聚焦区域计算/确定模块26。

为了虚化被设置为次要的图像对象I2，虚化装置17，22，26使用聚焦模块总体28产生的信息。聚焦区域计算模块26可以使用在图像区域I1的确定中从AF-统计计算部分23获取的数据，并且现在还可使用从聚焦点确定部分25获取的数据。一旦部分26已经计算出被聚焦的，即图像数据ID中的主要图像对象，就可以确定在图像数据ID所形成的图像信息中的主要图像对象的位置，还可以确定其外形，即所述一个或多个主要图像对象I1在图像IT中的位置区域。

从聚焦区域的计算部分26获得的数据可以被发送至过滤系数计算模块22。基于聚焦区域——即人像区域——的数据，可以选择/计算出用于过滤系数计算的最终区域。该区域甚至可精确到像素，因此很准确地给主要图像对象I1划界。另一方面，所用的人像区域可以手动地例如从触摸屏通过套索输入，如果该设备有触摸屏的话。模块22可以计算过滤系数，次要图像对象即区域I2通过使用所述过滤系数被虚化。模块22所计算的过滤系数被提供给过滤模块17，其进行对不相关图像区域I2的虚化。在下面给出的方法描述中将返回更详细地讲这点。

图3示出用于虚化不重要的图像区域I2的、在数字成像中根据本发明的方法的原则的示意性例子的流程图。在方法的描述中，参照图4示出的成像环境的例子。其中，图像目标IT包含两个人，提着公文包的一个男人和正在读报纸的一个女人以及一小段钢材托梁。在这种情况下，两个人为主要图像对象I1，而那段托梁为次要图像对象I2，要被虚化。通常，就本发明而言，可以将整个图像区域的背景区域理解为次要图像对象I2。

当用设备10开始成像时，成像程序被激活，如阶段300，在这种情况下使用了自动聚焦。在阶段301，可以使用机构14将透镜15调节到初始的聚焦位置。

在阶段302，使用传感器12形成图像数据ID，即例如为取景器VF形成取景器镜头。实际上，图像数据ID的形成是被连续执行的，频率为例如每秒15-30帧。在阶段303和304，可以执行如已知那样的聚焦操作。因而，在虚线框内的所有方框301-304，都可以被理解为聚焦子阶段。

实际的聚焦阶段303和304可由聚焦模块28自动维护，或者还可以允许用户对它们进行操作。当聚焦由最终用户手动进行时，用户可以从取景器VF中自由地选择要被聚焦的主要图像对象I1或图像对象区域FA。该自动或手动的选择还影响着要被虚化的对象。在阶段303，用户可以例如从传感器12为取景器VF形成的图像数据ID，确定希望使摄像装置11，14聚焦的至少一个或更多图像对象I1。用户所做的选择可以包括例如对区域进行套索，在这种情况下即使是不规则的对象也能被设定为主要图像对象I1。另一方面，主要图像对象I1也能被适配入具有矩形或其它形状的预定区域。可在设备10的存储器MEM中预定多种不同类型的区域。

在自动聚焦/图像对象选择应用中，聚焦可被集中在例如一个或多个图像区域(例如，在成像对象的中心)。聚焦点也可以是从整个图像区域巧妙选择的。这样的一个例子为佳能(Canon)的Ai-AF系统(人工智能AF)。

在阶段304，通过模块28，更具体地说例如通过其子模块24，可以判定图像对象I1是否已被适当地聚焦。

如果在阶段304判定该聚焦不正确，则自动操作24为透镜组15计算新的位置。在这之后，回到阶段301，其中透镜组15被移动到新的所计算出的位置。然而如果在阶段304判定该聚焦正确，则过程移至用于存储的实际成像，即阶段305。

在阶段305中，当相机10的触发按钮可被按到底时，执行用于存储的成像。使用传感器12捕获的图像数据ID被从执行AD转换的模块13送到图像处理链27。在图像处理链27中，例如使用模块16的颜色内插可作为阶段306被实现。其它阶段对本领域的技术人员来说也为显而易见的，在此对它们和它们的执行顺序均不赘述。

特定的一个或多个图像对象I1除了能够以已知的方式在先前的阶段303和304被聚焦以外，该被聚焦的图像区域I1，或更具体地说其位置、大小和/或形状还可以被用来在阶段307虚化不想要的图像对象及其区域I2。为此，程序代码31中有代码单元31.1。在阶段303，聚焦点可被用来指示一个或多个对象，即在本发明的情况下为成像目标IT内的主要图像对象I1。在所选择的聚焦点附近，例如，可以识别图像对象I1的边缘和形状，例如用来确定图像对象I1的大小和所述聚焦点的位置。换言之，这指的是对主要图像对象I1的大小的确定。这可以通过应用来自阶段303和304的统计信息来执行，更一般地说，是从虚线所指示的聚焦阶段获得的聚焦操作28产生的。作为该操作的结果，次要图像对象I2也必然被确定，它们是被代码单元31.5确定的。

一旦获取了成像目标IT的被聚焦主要区域I1的位置和大小信息，就可以在所述图像上执行例如各种过滤操作，通过这些操作，背景即次要图像对象I2如所预期的那样被虚化或变得不那么锐利。代码单元31.2实现该操作。该过滤可以为例如均匀型的，例如空间低通滤波。根据实施例，本发明中的空间过滤系数可以例如使用模块22(代码单元31.3)来计算。该过滤系数可以形成例如对所述图象进行卷积的模板，其可被用来处理不重要的图像区域I2。

所述卷积模板，或者更一般地讲所述过滤系数，可以从例如由聚焦部分28形成的亮度数据来确定，甚至更具体地说可以从参照将要被虚化的次要区域I2的亮度数据来确定。于是，模板系数确定的一个标准可以为例如虚化应生成“均匀的灰色”，从而避免生成过暗或过亮的背景。如所知，作为卷积的结果，大于或小于亮度极限的像素值通常都被截取为该亮度极限(例如，如果深度为8比特，则变为0或值255)。为了避免到极限值的这类截取，试图利用聚焦数据使卷积模板的系数适合于使得这类截取不会发生。根据第二实施例，还可以按这样的方式进行虚化，使得噪音与背景区域——或者通常意义上的次要区域I2——强有力地混合在一起，这之后背景(即噪音)被低通过滤为均匀的。这也可以通过代码31.2解决。当在过滤中使用系数时，被聚焦的区域I1保持不受影响，即保持锐利。部分地，这是因为根本没有处理主要图像对象I1的区域，而仅处理了不重要的区域I2。相应地，作为该系数的结果，留在聚焦区域I1之外的区域的锐利度，即在本发明的情况下的次要区域的锐利度，被减小。

另一方面，还可以在设备10中预先配置过滤系数组的合适组——即模板，于是通过使用该模板执行过滤。更概括地讲，设备10可以或者通过在不工作时计算系数来提供过滤系数，或者通过从预先配置存储器MEM中的“系数库”来提供系数。

更具体地说，可以如此考虑区域，例如在阶段303，使得主要图像对象I1的边缘和/或形状信息可被应用来选择非矩形的形状.在设备10中还可以有不同类型的预计算出的区域形状.可以尝试将所述预计算出的区域形状应用到所选的主要图像对象，然后选择/使用最适合的那个.作为这样的例子会提到矩形的、圆形的、椭圆形的以及三角形的区域FA.其中，对预计算出的区域FA的使用给使用设备10的处理能力带来优势，这是因为在区域形状被经常重复的情况下，没有必要再次执行该计算.程序代码31中有代码单元31.4用来执行该操作.

在根据本发明的操作之后所得的结果为景深有限的图像。在最终阶段308-310，图像数据ID被压缩且被存储在预期的介质19上。

图2示出根据本发明的程序产品30的一个例子的粗略示意图。该程序产品30可以包括存储介质MEM和程序代码31，该代码被写在存储介质MEM上，以使用设备10的处理器装置CPU来执行，从而至少部分地在软件级别上实现根据本发明的方法的虚化。该程序代码31的存储介质MEM可以是例如设备10中的静态或动态应用存储器，或成像链IC中的虚化电路模块总体，所述存储器可以与之直接集成。

程序代码31可以包括将被处理器装置执行的多个代码单元31.1-31.5，其操作可应用在上面刚刚给出的方法描述中。该代码单元31.1-31.5可包括一组要被连续执行的处理器命令，依靠所述处理器命令在根据本发明的设备10中生成根据本发明的预期功能。

通过本发明，也可以在小相机中实现背景虚化的效果，令人惊讶地是在成像阶段就已经可以实现，而不需要任何难度大的后期处理。本发明的应用区域的一个例子可以为人像中的背景虚化。在人像中，还可以对应用另外施以面部识别，基于此可以计算出聚焦区域和要被虚化的背景区域。对于所述识别可以使用脸部颜色，其通常可以通过诸如已知的算法而被轻易得识别。该特定情况下的过滤系数的计算会实现对每个成像目标IT最合适的背景/虚化。

虽然本发明以上主要被描述为静止成像应用，其当然还可被应用在视频成像，以及在用于存储的成像之前执行的取景器成像。在视频成像中，需要理解的是图3的流程图会形成连续的循环，其中成像、聚焦以及虚化可作为连续的过程来实现(从块305，该流程还可以移至302)。无论如何，都会执行用于存储的成像而不论聚焦是否为最佳的(在阶段304，该流程移向“是”和“否”箭头的方向)。聚焦通过调整光学器件14被自动重复从而变得正确，而不妨碍成像。

应理解，上述描述和相关的附图只是为了阐述本发明。因此本发明决不仅仅局限于所公开的或权利要求中陈述的实施例，但是本发明众多不同的变形和适应例，只要可能是在所附权利要求中限定的发明理念的范围内，对于本领域的技术人员而言就都是显而易见的。

Claims (19)

1.一种用于执行成像的电子设备，包括

-摄像装置，其用于从成像目标形成图像数据，所述成像目标包括至少一个主要图像对象和至少一个次要图像对象，

-图像处理链，其被配置为与所述摄像装置相连，用于处理从所述成像目标形成的所述图像数据，以及

-聚焦装置，其用于将所述摄像装置聚焦在至少一个主要图像对象上，

其特征在于，此外，虚化装置被配置在所述图像处理链中，来虚化所述图像数据中的所述次要图像对象中的至少一些，所述虚化装置被配置为使用由所述聚焦装置产生的信息。

2.根据权利要求1所述的设备，其特征在于，与所述设备的摄像装置的35毫米胶片等效的焦距为≤35毫米。

3.根据权利要求1或2所述的设备，其特征在于，由所述聚焦装置产生的所述信息被配置为可供确定所述将要被虚化的次要图像对象。

4.根据权利要求1或2所述的设备，其特征在于所述虚化被配置为通过过滤所述图像数据来进行。

5.根据权利要求3所述的设备，其特征在于所述虚化被配置为通过过滤所述图像数据来进行。

6.根据权利要求1或2所述的设备，其特征在于所述设备被配置为提供过滤系数，所述虚化是通过使用所述过滤系数而被配置执行的。

7.根据权利要求1或2所述的设备，其特征在于，所述主要图像对象被配置为被适配入具有设定形状的区域，对应于该区域的系数的集合被预配置在所述设备中。

8.根据权利要求1或2所述的设备，其特征在于，所述虚化被配置为结合所述图像数据的形成来执行。

9.根据权利要求1或2所述的设备，其特征在于，所述次要图像对象被配置为通过将噪声施加到与该次要图像对象相对应的区域上从而被虚化，于是所述与该次要图像对象相对应的区域被配置为被低通滤波均衡。

10.一种用于处理图像数据的在数字成像中的方法，在所述方法中，

-设备中的摄像装置被用来从成像目标形成图像数据，所述成像目标包括至少一个主要图像对象和至少一个次要图像对象，

-所述摄像装置被聚焦在至少一个主要图像对象，以及

-所述摄像装置被用来通过在所述设备中处理从所述成像目标形成的所述图像数据来形成聚焦的图像数据，以便实现在从所述成像目标形成的所述图像数据中的预期变化，

其特征在于，在所述处理过程中，从所述成像目标形成的所述图像数据中的所述次要图像对象中的至少一些使用在所述聚焦中产生的信息被虚化。

11.根据权利要求10所述的方法，其特征在于所述将被虚化的次要图像对象是使用在所述聚焦中产生的所述信息被确定的。

12.跟据权利要求10或11所述的方法，其特征在于所述虚化是通过过滤从所述成像目标形成的所述图像数据来执行的。

13.根据权利要求10或11所述的方法，其特征在于，从在所述聚焦中产生的所述信息计算出过滤系数，所述虚化是通过使用所述过滤系数来执行的。

14.根据权利要求13所述的方法，其中所述过滤系数是空间过滤系数。

15.根据权利要求12所述的方法，其特征在于，从在所述聚焦中产生的所述信息计算出过滤系数，所述虚化是通过使用所述过滤系数来执行的。

16.根据权利要求10或11所述的方法，其特征在于所述主要图像对象被适配入具有设定形状的区域，所述区域之外的区域被虚化。

17.根据权利要求10或11所述的方法，其特征在于所述虚化结合从所述成像目标形成的所述图像数据的形成而执行。

18.根据权利要求10或11所述的方法，其特征在于所述次要图像对象是通过将噪音配置在相应于所述次要图像对象的区域中而被虚化的，于是所述相应于所述次要图像对象的区域被低通滤波均衡。

19.一种聚焦装置，其被配置在用于执行成像的电子设备中，该设备包括

-摄像装置，其用于从成像目标形成图像数据，所述成像目标包括至少一个主要图像对象和至少一个次要图像对象，

-图像处理链，其被配置为与所述摄像装置相连，用于在所述设备中处理从所述成像目标形成的所述图像数据，并且其中

-所述聚焦装置被配置在所述设备中，至少用于将所述摄像装置聚焦在至少一个主要图像对象上，

其特征在于，此外，虚化装置被配置在所述图像处理链中，来虚化所述图像数据中的所述次要图像对象中的至少一些，所述虚化装置被配置为使用由所述聚焦装置产生的信息。

Images