CN102498499A - 提供用于显示的图像的方法和设备 - Google Patents

Abstract

确定图像内至少一个受关注区域，步骤201。将图像的尺寸调整到目标图像尺寸，步骤207。如果确定了至少一个受关注区域，则针对每个所述至少一个受关注区域来裁切图像，步骤205，并且将所裁切的至少一个受关注区域的尺寸调整到目标图像尺寸。经尺寸调整的图像和经尺寸调整的所裁切的至少一个受关注区域被存储以便显示，步骤209。

Description

提供用于显示的图像的方法和设备

技术领域

本发明涉及提供用于显示的图像的方法和设备。具体而言，本发明涉及将图像的尺寸调整到用于显示的目标图像尺寸。

背景技术

近些年来，已经看到在用户日常捕获的数字图像的数量方面的激增。

尽管过去用户仅在特殊事件期间捕获图像并且审慎对待图像的构成（因为使这些得到发展是昂贵的），但是数码照片相机和增加存储空间已经导致情况（behaviour）发生巨大变化。现在典型的是，用户捕获相同主体（subject）的多个图像，并且并不少见的是，他们度假回家带着数百乃至数千个图像。

这些图像的分辨率以及，相应地，它们在存储设备上占用的物理尺寸也已经显著增加；然而，用于显示这些图像的优选设备（例如数码相框）的存储空间是有限的。而且，用户经常使用带宽受限的手段来与他们的家人和朋友分享特定的照片，或者简单地将它们贴在因特网博客或社交网站上。因此，存在的期望是，减小这些图像在存储设备上占用的物理尺寸。

这已经通过自动调整上传到它们的内置存储器的图像的尺寸被部分地克服。该尺寸调整过程具有以下优点：根据目标图像尺寸（例如相框的显示尺寸）优化图像尺寸并且利用设备上更少的存储空间，从而允许更多的图像被存储。该尺寸调整步骤可以在临到显示每个图像之前完成，即该图像可以存储为具有其全分辨率并且每当临到该图像要被再现之前被调整尺寸以适合目标图像尺寸；然而这将具有以下结果：更少的图像可以存储在设备上以及利用附加的计算资源针对每个显示的图像重复相同的过程。

尽管该自动调整尺寸的步骤对这两个方面是有利的，但它具有以下缺点：如果用户想要在图像的受关注元素（例如面部）上“放大”，这些区域的质量将很低，因为该图像先前被缩小尺寸。如果改为在原始图像上完成“放大”，则质量典型地将是极为出众的。由于面部经常是用户所捕获的照片中最重要的元素，所以重要的是在显示时使它们的质量保持尽可能最高。

而且，由于显示尺寸相对较小并且这些框典型地位于桌子或壁橱上面或者简单地悬挂在墙壁上，所以它们离用户的视野（view）相当远。而且，大多数图像中只有某些部分显示起来是受关注的，例如家人、朋友或爱人的面部。当远远地显示时，这些受关注的区域在这些设备上显示时太小而不能被欣赏。面部检测是确定图像中包含面部的区域（area）的已知技术。因此，面部检测已经用于自动确定图像中包含一个或多个面部的区域（region），使得这样的图像的最受关注部分可以被调整尺寸并且占用尽可能大的显示尺寸。

面部检测为图像中包含面部的主要特征的区域给出了良好的结果。这是由眼睛、鼻子和嘴确定的区域。如头发之类的部分不是特性，因为人与人的头发有太多不同。

一种已知技术是使用面部检测器的结果来简单地针对检测器返回的区域裁切图像。这导致确切地提供包含面部主要特征的图像部分。然而，这几乎没有吸引力，因为它不能示出整个面部以及面部周围环境的必要元素，这是给出愉快的观看体验所需要的。

WO2008/025969例如公开了用于裁切图像并调整图像的尺寸以使得图像的受关注元素被裁切并且该受关注元素（比如面部）被调整尺寸的多种技术。然而，这些技术不保持原始图像的宽高比，因此发生面部的扭曲，这对于面部而言是特别不期望的。而且，没有给予用户显示原始图像或显示受关注元素的选择权。

发明内容

本发明设法提供在最小化存储需求的同时保证最高的质量的用于显示的图像（或图像的部分）。

根据本发明的一个方面，这是通过一种提供用于显示的图像的方法来实现的，该方法包括以下步骤：确定图像内的至少一个受关注区域；将图像的尺寸调整到目标图像尺寸；如果受关注区域被确定，则针对每个所述至少一个受关注区域裁切图像；将所裁切的至少一个受关注区域的尺寸调整到目标图像尺寸；存储经尺寸调整的图像和经尺寸调整的所裁切的至少一个受关注区域以便显示。

根据本发明的第二方面，这还通过提供用于显示的图像的设备来实现，该设备包括：确定装置，用于确定图像内至少一个受关注区域；处理器，用于将图像的尺寸调整到目标图像尺寸，并且如果至少一个受关注区域被确定，则针对每个所述至少一个受关注区域裁切图像并且将所裁切的至少一个受关注区域的尺寸调整到目标图像尺寸；存储装置，用于存储经尺寸调整的图像和经尺寸调整的所裁切的至少一个受关注区域以便显示。

以此方式，经尺寸调整的图像和经尺寸调整的受关注区域二者被存储以便显示。由于受关注区域根据原始图像来调整尺寸，所以图像的质量得到保持，同时减少了存储需求并且使得经尺寸调整的图像或经尺寸调整的受关注区域能够被显示。通过将这两个图像链接在一起，允许用户选择这两个存储的图像之一变得容易。

在实施例中，将图像的尺寸调整到目标图像尺寸的步骤包括以下步骤：确定目标图像的尺寸和宽高比；确定图像的尺寸和宽高比；根据所确定的目标图像的尺寸和所确定的图像尺寸来确定缩放因子（scaling factor）；以及根据所确定的缩放因子调整图像的尺寸。而且，将所裁切的至少一个受关注区域的尺寸调整到目标图像尺寸的步骤可以包括以下步骤：确定所裁切的至少一个受关注区域的尺寸和宽高比；根据所确定的目标图像的尺寸和所确定的所裁切的至少一个受关注区域的尺寸确定缩放因子；以及根据所确定的缩放因子调整所裁切的至少一个受关注区域的尺寸，同时保持所确定的所裁切的至少一个受关注区域的宽高比。而且，根据所确定的缩放因子调整所裁切的至少一个受关注区域的尺寸同时保持所确定的宽高比的步骤可以包括以下步骤：扩展所裁切的至少一个受关注区域以包括在所裁切的至少一个受关注区域之外的图像的至少一部分，以使得所扩展的至少一个受关注区域具有对应于所确定的图像的宽高比的宽高比；针对所扩展的至少一个受关注区域裁切图像；以及将所裁切的所扩展的至少一个受关注区域的尺寸调整到目标图像尺寸。

以此方式，在调整尺寸时图像和至少一个受关注区域二者的宽高比均被保持，这消除了图像的扭曲。

在实施例中，确定图像内的至少一个受关注区域的步骤包括以下步骤：自动检测图像内的至少一个受关注区域，并且针对每个所述至少一个受关注区域裁切图像的步骤包括以下步骤：扩展所检测的至少一个受关注区域以包括在所检测的至少一个受关注区域之外的图像的一部分；针对所扩展的至少一个受关注区域裁切图像。可替代地，图像内的所述至少一个受关注区域可以通过手动定义图像内至少一个受关注区域来确定。

如果所述至少一个受关注区域被例如面部检测器自动检测到，则所述至少一个受关注区域可以被扩展以包括整个面部以及面部周围环境的元素，从而改进观看体验。

这可以通过在将图像上传到设备（例如，相框）期间自动检测在这些图像中哪些是受关注元素并且因此用户想要欣赏的那些元素看到“被放大”。如果这些元素被检测到，则照片的两个拷贝被存储：a）尺寸被调整以适合显示尺寸和b）其中原始图像针对受关注区域的位置而被裁切、然后被缩小尺寸以适合显示尺寸。作为可替代实施例，原始图像的受关注区域的选择可以由用户手动选择。

在显示图像的同时，如果用户想要观看整个图像，则选择第一图像（a）以便显示；如果改为用户更喜欢仅观看受关注元素，则第二图像（b）被选择以便显示。

附图说明

为了更完整的理解本发明，现在参考结合附图进行的以下描述，其中：

图1是根据本发明实施例的提供用于显示的图像的设备的简化示意图；

图2是根据本发明实施例的提供用于显示的图像的方法的流程图；

图3是图1的设备的存储装置的简化示意图。

具体实施方式

参照图1，实施例的设备100包括连接到确定装置103的输入端的输入端子101。确定装置103的输出端连接到处理器105的输入端。输入端子101还连接到处理器105的输入端。处理器105的输出端连接到存储装置107。存储装置107连接到设备100的输出端子109。

尽管在这里存储装置107被图示为在设备100的内部，但是在可替代实施例中，存储装置107可以在设备的外部。存储装置107可以是计算机系统的存储器设备，比如ROM/RAM驱动器、CD、相机的存储器设备、数码相框或连接到设备100的类似设备，或远程服务器。它可以经由无线或有线连接来访问和/或经由诸如因特网之类的更广阔的网络来访问。存储装置107存储多个图像以供显示。存储在远程服务器上的图像例如可以被上传并且临时存储在设备100的存储装置107中。

所述输出端子连接到用于再现存储装置107的图像的显示器。该显示器可以是设备100的组成部分（这里未示出）。

现在将参照图2描述图1的设备的操作。

图像是从外部存储装置（这里未示出）获得的并且经由输入端子101被输入到确定装置103中。该图像的尺寸被调整（步骤207）到目标图像尺寸，例如该图像可以由处理器105调整尺寸以适合显示器。图像总是被缩小尺寸，因为图像的分辨率典型地比相框的显示器的分辨率大得多。经尺寸调整的图像被存储（步骤209）在存储装置107中，正如当前发生在常规的相框设备中的情况那样。

并行地，由确定装置103确定图像的至少一个受关注区域（步骤201）。确定装置103可以包括用于使用现有技术水平的面部检测算法来自动检测例如一个或多个面部的位置的检测器，或者可替代地，用户可以手动指定图像的受关注区域。然后针对该区域裁切原始图像（步骤203），并且然后（例如）由处理器105将所得的图像的尺寸调整（步骤205）到目标图像尺寸以适合相框的显示器。

该尺寸调整步骤205可以是可选的并且可以取决于裁切（步骤203）的结果，如果所得的裁切的图像正好适合相框的尺寸，则不需要调整尺寸。否则，如果裁切的图像小于相框显示器的分辨率，则放大图像的尺寸；如果裁切的图像仍然大于相框显示器的分辨率，则缩小图像的尺寸。

在该步骤之后，所裁切的/经尺寸调整的图像的受关注区域被存储（步骤209）在存储装置107中。

当显示图像时，对图像的选择取决于显示选项。参照图3，如果用户希望看到整个图像，则使用缩小尺寸的图像。这是通过连接到存储装置301（图1的存储装置107）的第一输出端子303并选择整个图像（步骤211）以在显示器309上显示整个图像（步骤213）的选择器307来实现的。可替代地，如果用户希望仅看到受关注区域，则改为使用所裁切的/经尺寸调整的图像。这是通过连接到存储装置301的第二输出端子305并选择图像的所裁切的/经尺寸调整的受关注区域（步骤211）以在显示器309上显示受关注区域（步骤213）的选择器307来实现的。

尽管上述方法应用在数码相框中，但是可以理解，相同的方法可以应用在附有照片的电子邮件服务、因特网照片分享服务等上。

在自动检测受关注区域并因此确定适当的裁切区域的过程中，若干个项目是重要的。

考虑到的第一项目是最小尺寸。在基于目标应用的分辨率裁切面部之后，该面部仍然可以被缩减以实际地适合大小。所以，施用（impose）面部的最小尺寸，保证了当在相框中被显示时该面部大到足以清楚，或者它可以被缩减成这样。例如，考虑面部是框架的较小边的至少四分之一。如果框架具有800×600的分辨率，则面部宽度/高度至少为150。

考虑到的第二项目是区域扩展。在面部特征包括眼睛、鼻子和嘴的情况下，所述区域被显著地扩展以便保证整个面部加上一点周围环境被包括在内。例如，围绕面部的所有四个边可被扩展。例如，如果面部特征覆盖300×300区域，则受关注区域将是900×900，这是通过将这四个边中的每一个扩展300个像素而创建的。然而，如果例如面部位于图像的边缘处，则在面部的另一个边处进行扩展，以使得不会扩展到图像之外。

考虑到的第三项目是目标显示器的分辨率。例如，如果目标显示器是数码相框，则确定该相框的分辨率。受关注区域应当被扩展以匹配相框的分辨率。继续先前的实例，其中受关注区域是900×900且相框是800×600。相框的比率是800/600=4/3。所以受关注区域应当被扩展到1200×900以使得比率相同。在针对该1200×900像素区域裁切原始图像之后，该区域可以被缩减以匹配相框分辨率。

考虑到的第四项目是目标显示器的方位。由于相框可以以风景或肖像风格显示，所以建议考虑这两种情况并且准备可以被所述应用使用的2个区域。

面部位置也被考虑。面部经常被置于图像的中央；然而，存在许多如下场合：其中用户选择使面部在中央之外。在确定面部区域的最终扩展的过程中，这可以被考虑，这意味着面部也将在左/右或上/下的方向上稍微偏离中央。在之前的实例中，存在必须被扩展到1200×900的900×900的区域。直截了当的选择将是左、右扩展各150个像素。然而，如果面部未被置于中央，则一个边扩展300像素，而另一个边保持原样。

如果图像包含多个面部并且针对每个面部计算区域，受关注区域可以被移动以避免与另一个面部重叠。如果可能，在受关注区域的边缘处的另一个面部的部分被消除（avoided）。然而，这不总是可能的。如在上面的实例中，其中900×900区域必须被扩展到1200×900。受关注区域可以稍微左移和右移以避免这种重叠。然而，如果另一个面部部分地位于原始的900×900区域内，则在不冒着切掉例如头发区域的部分的风险的情况下这不可能被避免。

如果图像包含多个面部，则可以针对同时包含所有面部的区域裁切和调整尺寸该图像，而不是单独裁切每个面部。现在，包含面部的区域变成包围所有面部的区域的矩形。这可以通过单独确定每个面部的扩展来扩展并且然后取这些扩展的最大值。这保证了每一个面部具有足够大的扩展。使用相框的分辨率和方位，受关注区域被确定并且按照与针对面部单独进行的相同方式被裁切/调整尺寸。

通过确定目标图像的尺寸和宽高比以及确定图像的尺寸和宽高比来将图像的尺寸调整到目标图像尺寸（步骤207）。缩放因子于是被确定为

其中S是缩放因子；I是所确定的图像尺寸；以及T是所确定的目标图像尺寸。该图像于是根据S来调整尺寸。

在实施例中，下面详细描述调整受关注区域的尺寸以适合目标图像尺寸。

目标图像尺寸和所裁切的受关注区域的尺寸和宽高比被确定。将这些进行比较以确定缩放因子

其中S是缩放因子；R是所确定的受关注区域的尺寸以及T是所确定的目标图像的尺寸。

对于所确定的宽高比，针对宽度的缩放因子S_w和针对高度的缩放因子S_h被确定如下：

其中R_w和R_h分别是受关注区域的宽度和高度，且T_w和T_h分别是目标图像的宽度和高度。

如果受关注区域和目标图像尺寸的宽高比是不同的，则S_w和S_h是不同的。如果这种情况发生，则S_w或S_h的使用将导致经尺寸调整的受关注区域的扭曲。这是通过扩展R_h或R_w以使S_w和S_h相同并使用该缩放因子调整受关注区域的尺寸来克服的。

这可以通过将受关注区域扩展到期望的R_h和R_w来实现。

尽管已经在附图中图示并在前述详细描述中描述了本发明的实施例，但是应当理解，本发明不限于所公开的实施例，而是能够进行许多修改而不脱离所附权利要求陈述的本发明的范围。

如对本领域技术人员而言清楚的是，“装置”意指包括在操作中再现或被设计成再现指定功能的任何硬件（比如单独或集成电路或电子元件）或软件（比如程序或程序的部分），其可以是单独的或者与其他功能相结合，也可以是孤立的或者与其他元件协作。本发明可以借助包括若干不同元件的硬件并且借助适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一项硬件来体现。“计算机程序产品”应当被理解为意指存储在计算机可读介质（比如软盘）上、经由网络（比如因特网）可下载或以任何其他方式可销售的任何软件产品。

Claims (13)

1. 一种提供用于显示的图像的方法，该方法包括以下步骤：

确定（201）图像内的至少一个受关注区域；

将所述图像的尺寸调整（207）到目标图像尺寸；

如果至少一个受关注区域被确定，则针对每个所述至少一个受关注区域裁切（203）所述图像；

将所裁切的至少一个受关注区域的尺寸调整（205）到所述目标图像尺寸；

存储（209）经尺寸调整的所述图像和所述经尺寸调整的所裁切的至少一个受关注区域以便显示。

2. 根据权利要求1的方法，其中将所述图像的尺寸调整（207）到目标图像尺寸的步骤包括以下步骤：

确定所述目标图像的尺寸和宽高比；

确定所述图像的尺寸和宽高比；

根据所述确定的所述目标图像的尺寸和所述图像的所述确定的尺寸来确定缩放因子；以及

根据所述确定的缩放因子调整所述图像的尺寸。

3. 根据权利要求2的方法，其中将所裁切的至少一个受关注区域的尺寸调整（205）到所述目标图像尺寸的步骤包括以下步骤：

确定所裁切的至少一个受关注区域的尺寸和宽高比；

根据所述目标图像的所述确定的尺寸和所裁切的至少一个受关注区域的所述确定的尺寸来确定缩放因子；以及

根据所述确定的缩放因子调整所裁切的至少一个受关注区域的尺寸，同时保持所裁切的至少一个受关注区域的所确定的宽高比。

4. 根据权利要求3的方法，其中根据所确定的缩放因子调整（205）所裁切的至少一个受关注区域的尺寸同时保持所确定的宽高比的步骤包括以下步骤：

扩展所裁切的至少一个受关注区域以至少包括在所裁切的至少一个受关注区域之外的所述图像的一部分，以使得所扩展的至少一个受关注区域具有对应于所述图像的所确定的宽高比的宽高比；

针对所扩展的至少一个受关注区域裁切所述图像；以及

将所裁切的扩展的至少一个受关注区域的尺寸调整到所述目标图像尺寸。

5. 根据权利要求1的方法，其中该方法进一步包括以下步骤：

选择（211）存储的所述图像的经尺寸调整的图像或者所存储的所述图像的经尺寸调整的裁切的至少一个受关注区域。

6. 根据权利要求5的方法进一步包括以下步骤：

显示（213）所选择的、存储的图像。

7. 根据权利要求1的方法，其中确定（201）图像内的至少一个受关注区域的步骤包括以下步骤：

自动检测图像内的至少一个受关注区域。

8. 根据权利要求7的方法，其中针对每个所述至少一个受关注区域裁切（203）所述图像的步骤包括以下步骤：

扩展所检测的受关注区域以包括在所检测的至少一个受关注区域之外的所述图像的一部分；

针对所扩展的至少一个受关注区域裁切所述图像。

9. 根据权利要求1的方法，其中确定图像内的至少一个受关注区域的步骤（201）包括以下步骤：

手动定义图像内的至少一个受关注区域。

10. 一种计算机程序产品，包括用于执行根据前述权利要求中任一项的方法的多个程序代码部分。

11. 用于提供用于显示的图像的设备（100），该设备包括：

确定装置（103），用于确定图像内的至少一个受关注区域；

处理器（105），用于将所述图像的尺寸调整到目标图像尺寸，并且如果至少一个受关注区域被确定，则针对所述至少一个受关注区域裁切所述图像并且将所裁切的至少一个受关注区域的尺寸调整到所述目标图像尺寸；

存储装置（107），用于存储经尺寸调整的所述图像和所述经尺寸调整的所裁切的至少一个受关注区域以便显示。

12. 根据权利要求11的设备进一步包括：

用于显示所存储的图像的显示器。

13. 根据权利要求11的设备，其中所述确定装置（103）包括用于自动检测图像内的至少一个受关注区域的检测器。

Images