CN112672041A - 图像处理方法和图像处理装置 - Google Patents

Abstract

提供了一种便携式通信设备及其操作方法，该便携式通信设备包括：相机；显示器；以及处理器，与相机和显示器操作地耦合，所述处理器配置为：经由显示器，呈现经由相机获得的预览图像；从预览图像检测第一矩形对象和第二矩形对象；至少部分基于第一矩形对象具有第一大小、第二矩形对象具有大于第一大小的第二大小、以及第二矩形对象位于比第一矩形对象更接近预览图像的中心的位置的确定，从第一矩形对象和第二矩形对象中选择第二矩形对象；经由显示器，在预览图像中呈现对应于第二矩形对象的图形指示；响应于输入，在自动聚焦应用于第二矩形对象时，捕获对应于预览图像的图像；使用所述图像，生成对应于第二矩形对象的剪裁图像。

Description

图像处理方法和图像处理装置

本申请是申请日为2015年09月07日、申请号为201510563754.2、发明名称为“图像处理方法和图像处理装置”的发明专利申请的分案申请。

优先权要求

本申请要求2014年9月5日在韩国知识产权局递交的10-2014-0119363号韩国专利申请的优先权的权益，这里通过引用将该韩国专利申请的公开内容全部并入。

技术领域

本公开的一个或多个实施例涉及预先从预览图像中检测矩形区域以生成透视变换的图像处理方法、装置和其上记录有用于执行图像处理方法的程序的非暂态计算机可读记录介质。

背景技术

透视变换(即，perspective transform)一般被定义为在一平面中通过从两个不同的投影中心投影在另一平面的点上而建立的直射变换。为了对图像执行透视变换，一般的图像处理装置需要从捕捉的图像中检测矩形区域并且通过基于检测到的矩形区域执行透视变换来生成透视变换图像。透视变换有很宽的使用范围，并且在医疗保健的领域中，将图像的视野操纵到不同的透视视角(perspective)的能力在患者的诊断和治疗中可能是非常有价值的。

因此，当用户希望对某个图像执行透视变换时，用户在捕捉图像之后检测矩形区域，然后装置基于检测到的矩形区域处理捕捉的图像，从而生成了时间延迟。这个时间延迟是有问题的，并且需要一种改进来减小或者甚至消除该时间延迟。

发明内容

鉴于至少前述讨论，提供了一种预先从预览图像中检测矩形区域的新颖且非显而易见的图像处理方法，使得在捕捉图像之后容易执行透视变换。这里也公开了用于执行图像处理方法的装置和其上记录有用于执行图像处理方法的程序的非暂态计算机可读记录介质。

本公开的额外方面一部分将在接下来的描述中记载，一部分将从描述中清楚显现，或者可通过实践给出的实施例来获知。

根据一个或多个实施例，一种图像处理方法可包括：接收预览图像；从预览图像中检测至少一个矩形区域并且获得与至少一个矩形区域相对应的坐标信息；在从预览图像检测到的至少一个矩形区域之中确定主矩形区域；捕捉图像；以及通过利用与主矩形区域相对应的坐标信息对捕捉的图像执行透视变换来生成透视变换图像。

在一方面中，主矩形区域的确定可包括：在从预览图像检测到的至少一个矩形区域之中确定具有精确的或定义的坐标的至少一个有效矩形区域；以及根据特定标准从至少一个有效矩形区域之中确定主矩形区域。

此外，至少一个有效矩形区域的确定可包括通过对分别从预览图像的多个连续图像帧获得的坐标信息进行过滤来确定至少一个有效矩形区域。

根据另一方面，至少一个有效矩形区域的确定可包括当从预览图像检测到的至少一个矩形区域的中点之间的各个距离小于特定阈值时，从至少一个矩形区域之中确定具有最大大小的矩形区域作为至少一个有效矩形区域。

主矩形区域的确定可包括基于定义至少一个有效矩形区域中的每一者的参数的值来从至少一个有效矩形区域之中确定主矩形区域。

替换地或额外地，主矩形区域的确定可包括基于用户输入从至少一个有效矩形区域之中确定主矩形区域。

根据另一方面，至少一个有效矩形区域和主矩形区域可与预览图像一起被显示在显示器上。

图像处理方法还可包括：生成与从预览图像检测到的至少一个矩形区域相对应的多个缩略图；以及将多个缩略图与预览图像一起显示在显示器上。该装置可被配置为执行前述操作。

根据另一方面，图像的捕捉可包括通过利用与主矩形区域相对应的坐标信息聚焦在主矩形区域上来捕捉图像。

图像的捕捉可包括通过聚焦在从预览图像检测到的至少一个矩形区域中的每一者上来捕捉多个图像，并且透视变换图像的生成可包括：从多个图像之中选择通过聚焦在主矩形区域上而捕捉的图像；并且通过利用与主矩形区域相对应的坐标信息对所选图像执行透视变换来生成透视变换图像。

根据一个或多个实施例，一种图像处理装置可包括：图像接收单元，包括被配置为接收预览图像的电路；矩形区域检测单元，包括被配置为从接收自图像接收单元的预览图像中检测至少一个矩形区域并且获得与至少一个矩形区域相对应的坐标信息的电路；矩形区域确定单元，包括被配置为从由矩形区域检测单元检测到的至少一个矩形区域之中确定主矩形区域的电路；图像捕捉单元，包括被配置为捕捉图像的电路；透视变换图像生成单元，包括被配置为对由图像捕捉单元捕捉的图像执行透视变换并且生成透视变换图像的电路；以及控制器，被配置为控制透视变换图像生成单元通过利用与由矩形区域确定单元确定的主矩形区域相对应的坐标信息来生成透视变换图像。

矩形区域确定单元还可包括：有效矩形区域确定单元，包括被配置为从由矩形区域检测单元检测到的至少一个矩形区域之中确定至少一个有效矩形区域的电路；以及主矩形区域确定单元，包括被配置为根据特定标准从由有效矩形区域确定单元确定的至少一个有效矩形区域之中确定主矩形区域的电路。

根据一方面，有效矩形区域确定单元可被配置为通过对在矩形区域检测单元中从预览图像的多个连续图像帧的每一者获得的坐标信息进行过滤来确定至少一个有效矩形区域。

根据一方面，有效矩形区域确定单元可被配置为当由矩形区域检测单元检测到的至少一个矩形区域的中点之间的各个距离小于特定阈值时，从至少一个矩形区域之中确定具有最大大小的矩形区域作为至少一个有效矩形区域。

根据一方面，主矩形区域确定单元可被配置为基于定义至少一个有效矩形区域中的每一者的参数的值来从由有效矩形区域确定单元确定的至少一个有效矩形区域之中确定主矩形区域。

主矩形区域确定单元可被配置为基于用户输入从由有效矩形区域确定单元确定的至少一个有效矩形区域之中确定主矩形区域。

控制器可被配置为控制至少一个有效矩形区域和主矩形区域与预览图像一起被显示在显示器上。

图像处理装置还可包括缩略图像生成单元，该缩略图像生成单元包括被配置为生成与由矩形区域检测单元检测到的至少一个矩形区域相对应的多个缩略图像的电路，并且控制器可被配置为控制由缩略图像生成单元生成的多个缩略图像与预览图像一起被显示在显示器上。

图像捕捉单元可被配置为使用与由主矩形区域确定单元确定的主矩形区域相对应的坐标信息并且通过聚焦在主矩形区域上来捕捉图像。

图像捕捉单元可被配置为通过聚焦在由矩形区域检测单元检测到的至少一个矩形区域中的每一者上来捕捉多个图像，并且控制器可被配置为控制透视变换图像生成单元通过利用与由主矩形区域确定单元确定的主矩形区域相对应的坐标信息和通过聚焦在主矩形区域上而捕捉的图像来生成透视变换图像。

根据一个或多个实施例，一种非暂态计算机可读记录介质，其上记录有计算机程序代码，所述代码当被处理器执行时执行处理图像的方法。该方法包括：接收预览图像；从预览图像中检测至少一个矩形区域并且获得与至少一个矩形区域相对应的坐标信息；在从预览图像检测到的至少一个矩形区域之中确定主矩形区域；捕捉图像；以及使用与主矩形区域相对应的坐标信息并且通过对捕捉的图像执行透视变换来生成透视变换图像。

根据一个或多个实施例，一种便携式通信设备，包括：相机；显示器；以及处理器，与相机和显示器操作地耦合，所述处理器配置为：经由显示器，呈现经由相机获得的预览图像；从预览图像检测第一矩形对象和第二矩形对象；至少部分基于第一矩形对象具有第一大小、第二矩形对象具有大于第一大小的第二大小、以及第二矩形对象位于比第一矩形对象更接近预览图像的中心的位置的确定，从第一矩形对象和第二矩形对象中选择第二矩形对象；经由显示器，在预览图像中呈现对应于第二矩形对象的图形指示；响应于输入，在自动聚焦应用于第二矩形对象时，捕获对应于预览图像的图像；使用所述图像，生成对应于第二矩形对象的剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

根据一方面，处理器配置为：进一步基于第二矩形对象的失真程度执行选择。

根据一方面，处理器配置为：在透视变换应用于其时，经由显示器呈现剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

根据一方面，处理器配置为：使用对应于第二矩形对象的坐标信息，关于剪裁图像执行透视变换。

根据一方面，预览图像包括由第二矩形对象围绕的第三矩形对象，并且其中，处理器配置为：限制将第三矩形对象的第三大小与第一矩形对象的第一大小进行比较。

根据一方面，显示器包括触摸屏显示器。

根据一个或多个实施例，一种便携式通信设备的操作方法，包括：经由显示器，呈现经由相机获得的预览图像；从预览图像检测第一矩形对象和第二矩形对象；至少部分基于第一矩形对象具有第一大小、第二矩形对象具有大于第一大小的第二大小、以及第二矩形对象位于比第一矩形对象更接近预览图像的中心的位置的确定，从第一矩形对象和第二矩形对象中选择第二矩形对象；经由显示器，在预览图像中呈现对应于第二矩形对象的图形指示；响应于输入，在自动聚焦应用于第二矩形对象时，捕获对应于预览图像的图像；使用所述图像，生成对应于第二矩形对象的剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

根据一方面，选择第二矩形对象包括：进一步基于第二矩形对象的失真程度执行选择。

根据一方面，在透视变换应用于其时，经由显示器呈现剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

根据一方面，使用对应于第二矩形对象的坐标信息，关于剪裁图像执行透视变换。

根据一方面，预览图像包括由第二矩形对象围绕的第三矩形对象，并且进一步包括：限制将第三矩形对象的第三大小与第一矩形对象的第一大小进行比较。

根据一方面，显示器包括触摸屏显示器。

附图说明

通过以下结合附图对实施例的描述，这些和/或其他方面对于本领域普通技术人员将变得清楚并且更容易领会，附图中：

图1是根据实施例的用于从预览图像中检测矩形区域并且对捕捉的图像执行透视变换的图像处理装置的框图；

图2是根据实施例的从预览图像中检测矩形区域并且对捕捉的图像执行透视变换的图像处理方法的操作示例的流程图；

图3A和3B图示了图像的示例，其中根据本公开的图像处理装置从预览图像中检测至少一个矩形区域并且在显示器上显示检测到的至少一个矩形区域；

图4是被配置为在从预览图像检测到的至少一个矩形区域中确定在捕捉的图像中要经历透视变换的主矩形区域的图像处理装置的框图；

图5是根据实施例的在从预览图像检测到的至少一个矩形区域中确定要经历透视变换的主矩形区域的图像处理方法的操作示例的流程图；

图6、图7A和图7B图示了根据本公开的实施例的图像处理装置从预览图像确定有效矩形区域的各种示例；

图8A和8B图示了根据本公开的实施例的图像处理装置从预览图像确定主矩形区域并且在显示器上显示所确定的主矩形区域的各种示例；

图9是根据本公开的实施例的被配置为生成与从预览图像检测的矩形区域相对应的缩略图像的图像处理装置的框图；

图10图示了根据本公开的实施例的图像处理装置将多个缩略图像与预览图像一起显示在显示器上的示例；

图11A和11B图示了根据本公开的实施例的图像处理装置利用在预览图像中确定的主矩形区域的坐标信息以便在显示器上显示通过对捕捉的图像执行透视变换而生成的透视变换图像的示例；

图12和图13是根据本公开的实施例示出通过聚焦在从预览图像检测的矩形区域上来捕捉图像的图像处理方法的各个操作示例的流程图；并且

图14A、14B和14C图示了根据本公开的实施例的图像处理装置在显示器上显示通过对通过聚焦在从预览图像检测的矩形区域上捕捉的图像执行透视变换而生成的透视变换图像的示例。

具体实施方式

由于发明构思包括可从这里提供的描述和许多实施例作出的各种改变，因此将在图中图示并在说明书中详细描述特定实施例。然而，这里对某些实施例的描述并不将所附权利要求限制到这里明确公开的特定实施方式，并且要明白所有不脱离本公开的精神和技术范围的改变、等同和替换都涵盖在所附权利要求中。

虽然诸如“第一”、“第二”等等之类的术语可用于描述各种组件，但这种组件不得限于以上术语。以上术语只是用于将一个组件与另一组件相区分。

本说明书中使用的术语只是用于描述特定实施例，并且本领域普通技术人员理解这种术语并不将所附权利要求仅限于这里示出和描述的那些术语。以单数使用的表述涵盖了复数的表述，除非其在上下文中具有明显不同的含义。在本说明书中，要理解诸如“包括”、“具有”和“包含”之类的术语指示说明书中公开的特征、数字、步骤、动作、组件、部件或其组合的存在，而并不排除可存在或者可添加一个或多个其他特征、项目、数字、步骤、动作、组件、部件或其组合的可能性。

以下，本公开参考附图详细描述发明构思的某些实施例。图中相似的标号表示相似的元素，并且重复描述将被省略。

图1是根据本公开的实施例的被配置为从预览图像中检测矩形区域并且在捕捉的图像中执行透视变换的图像处理装置100a的框图。

图像处理装置100a可包括图像接收单元10、矩形区域检测单元20、矩形区域确定单元30、图像捕捉单元40、透视变换图像生成单元50、用户输入单元60、显示器70和控制器80。

以下，将详细描述前述组件。

图像接收单元10接收预览图像。

例如，预览图像可以是包括矩形对象以便对以后要捕捉的图像执行透视变换的图像。

矩形区域检测单元20可从接收自图像接收单元10的预览图像检测矩形区域。

例如，矩形区域对应于预览图像中包括的矩形对象，并且从矩形区域获得的坐标信息可用于对随后要捕捉的图像执行透视变换。

在此情况下，由于从预览图像检测矩形区域的各种方法是公知的，因此从预览图像检测矩形区域的方法不限于特定方法。

另外，根据实施例的坐标信息可包括与从预览图像检测的矩形区域的每个顶点相对应的像素的坐标信息。

现在将参考图3A和3B详细描述坐标信息。

矩形区域确定单元30(即，区域确定器)可从由矩形区域检测单元20(即，区域检测器)检测到的至少一个矩形区域之中确定主矩形区域。

例如，主矩形区域可以是从预览图像检测到的至少一个矩形区域之中在捕捉的图像中要经历透视变换的矩形区域。在此情况下，矩形区域确定单元30还可包括有效矩形区域确定单元33和主矩形区域确定单元35，将参考图4、图5、图6和图7对其进行详细描述。

另外，主矩形区域可基于定义由矩形区域检测单元20检测到的至少一个矩形区域之中的每个矩形区域的参数的值来确定。例如，定义每个矩形区域的参数的值可包括矩形区域的大小、矩形区域的失真程度、基于预览的中点的至少一个矩形区域之间的各个距离，等等。

另外，主矩形区域可基于用户输入从由矩形区域检测单元20检测到的至少一个矩形区域之中确定。在此情况下，可根据用户的意图基于用户输入来改变主矩形区域。

将参考图8A和8B详细描述主矩形区域。

图像捕捉单元40可捕捉从图像接收单元10(即，图像接收器)接收的预览图像。

例如，图像捕捉单元40捕捉的图像可包括与预览图像相同的图像。

另外，图像捕捉单元40可使用与主矩形区域确定单元35(即，主区域确定器)确定的主矩形区域相对应的坐标信息以便通过聚焦在主矩形区域上来捕捉图像。

相反，当关于由矩形区域检测单元20检测到的矩形区域的深度的各条信息彼此不同时，图像捕捉单元40可通过聚焦在每个矩形区域上来捕捉图像。在此情况下，关于矩形区域的深度的各条信息不同的事实可基于从矩形区域检测到的边缘的大小来确定。

将参考图10、图11和图12来详细描述矩形区域的深度。

透视变换图像生成单元50可通过对由图像捕捉单元40捕捉的图像执行透视变换来生成透视变换图像。

例如，透视变换图像生成单元50可通过使用与由矩形区域确定单元30确定的主矩形区域相对应的坐标信息以便对由图像捕捉单元40捕捉的图像执行透视变换来生成透视变换图像。

因此，图像处理装置100a在捕捉图像之前从预览图像中检测矩形区域并在捕捉图像之后可使用所获得的坐标信息来迅速地执行透视变换，并且减小或消除时间延迟。

另外，透视变换图像生成单元50(即，透视变换图像生成器)生成的透视变换图像可被显示在显示器70上。因此，图像处理装置100a允许了用户在捕捉图像之前直接检查(check)预览图像中的要经历透视变换的矩形区域，并且在捕捉图像之后，图像处理装置100a允许用户检查在执行透视变换之后生成的透视变换图像。

至少参考图1，图像处理装置的所有操作由控制器80整体控制，控制器80由包括被配置用于操作的电路的至少一个处理器或微处理器构成。图像处理装置包括用户输入单元60，用户输入单元60包括从用户生成电信号的键等等。来自用户输入单元60的电信号被路由(即发送、输出、传输)到控制器80，从而控制器80可根据路由的电信号来控制图像处理装置。

控制器80可使用与由矩形区域确定单元30确定的主矩形区域相对应的坐标信息来控制透视变换图像生成单元50通过利用捕捉的图像生成透视变换图像。

在此情况下，控制器80可控制透视变换图像生成单元50通过利用与由矩形区域确定单元30确定的主矩形区域相对应的坐标信息和通过聚焦在主矩形区域上而捕捉的图像来生成透视变换图像。

控制器80可控制有效矩形区域和主矩形区域与预览图像一起被显示在显示器70上。

参考图9，控制器80可控制由缩略图像生成单元90生成的多个缩略图像与预览图像一起被显示在显示器70上。

用户经由用户输入单元60生成用于控制图像处理装置的操作的输入数据。用户输入单元60可包括例如小键盘、圆顶开关、触摸板(采取接触型静电电容方式、电阻覆盖方式、表面声波方式、积分应变仪方式、压电方式等等)、缓动轮、滚轮开关，等等。详细地说，当触摸板与显示器70一起形成层间结构时，触摸板可被称为触摸屏。

用户输入单元60可接收从由矩形区域检测单元20检测到的矩形区域之中确定要经历透视变换的主矩形区域的信号。

用户输入单元60可接收改变与要经历透视变换的主矩形区域相对应的坐标信息的信号。

显示器70可包括例如液晶显示器(liquid crystal display，LCD)、薄膜晶体管-液晶显示器、有机发光二极管(organic light-emitting diode，OLED)、柔性显示器和三维(3D)显示器中的至少一者。

当显示器70与触摸板一起形成层间结构并从而成为触摸屏时，显示器70除了用作输出设备以外也可用作输入设备。触摸屏可检测触摸输入的位置、触摸的区域和触摸输入的压力。另外，触摸屏可检测实际触摸以及接近触摸。

显示器70可显示从图像接收单元10接收的预览图像以及由缩略图像生成单元90生成的缩略图像。

例如，缩略图像可基于由矩形区域确定单元30检测到的矩形区域来生成。因此，图像处理装置允许了用户在捕捉图像之前从预览图像中直接检查要经历透视变换的矩形区域。

现在将参考图9和图10更详细描述以上操作。

显示器70可在其上显示包括有效矩形区域和主矩形区域的矩形区域和预览图像。

从而，图像处理装置可允许用户在捕捉图像之前从预览图像中直接检查要经历透视变换的矩形区域并且编辑矩形区域。

显示器70可显示通过对由图像捕捉单元40捕捉的图像执行透视变换而生成的透视变换图像。

因此，就在用户捕捉图像之后，图像处理装置允许了用户立即检查通过对捕捉的图像执行透视变换而生成的透视变换图像。

将顺序描述图像处理装置的操作。

图2是示出根据实施例处理图像的方法的操作示例的流程图，该方法包括从预览图像中检测矩形区域并且对捕捉的图像执行透视变换。

参考图2，在操作100，图像处理装置接收预览图像。

预览图像可例如是包括矩形对象以对以后要捕捉的图像执行透视变换的图像。

在操作110，图像处理装置可从在操作100中接收的预览图像中检测至少一个矩形区域，并且可获得与矩形区域相对应的坐标信息。

例如，矩形区域对应于预览图像中包括的矩形对象，并且坐标信息可包括与从预览图像中检测到的矩形区域的各个顶点相对应的像素的坐标信息。

在操作120，图像处理装置可从在操作110中检测到的至少一个矩形区域之中确定主矩形区域。

例如，主矩形区域可例如是从预览图像检测到的至少一个矩形区域之中在捕捉的图像中要经历透视变换的矩形区域。

在操作130，图像处理装置可捕捉图像。例如，在操作130中捕捉的图像可以是从图像接收单元10接收的预览图像。

另外，在操作130中捕捉的图像可例如是通过聚焦在操作120中确定的主矩形区域上来捕捉的图像或者可以是通过聚焦在操作110中检测到的至少一个矩形区域中的每一个上来捕捉的多个图像。

在操作140，图像处理装置可使用与在操作120中确定的主矩形区域相对应的坐标信息来对在操作130中捕捉的图像执行透视变换，然后可生成透视变换图像。

因此，提供了一种通过利用通过从预览图像中检测矩形区域而获得的坐标信息来迅速地对捕捉的图像执行透视变换的方法。

此外，生成的透视变换图像可被显示在显示器70上。因此，图像处理方法使得用户能够在用户捕捉图像之后立即检查通过执行透视变换而生成的透视变换图像。

图3A和3B图示了根据实施例的图像处理装置从预览图像中检测至少一个矩形区域并且在显示器70上显示检测到的至少一个矩形区域的示例。

参考图3A和3B，图像处理装置可被包括在诸如移动电话、数码相机或者便携式摄像机之类的具有相机的便携终端中。

例如，至少一个矩形区域对应于预览图像中包括的矩形对象，并且如图3A和3B中的具体示例中所示，可检测到四个矩形区域。

另外，至少一个矩形区域可与预览图像一起被显示，并且如图3B中所示，在与检测到的至少一个矩形区域的顶点相对应的坐标上可指示各个区域的点。

图4是被配置为在从预览图像检测到的至少一个矩形区域之中确定在捕捉的图像中要经历透视变换的主矩形区域的图像处理装置100b的框图。

图像处理装置100b还可包括有效矩形区域确定单元33和主矩形区域确定单元35，这两者都包括被配置用于如这里下文所述的操作的电路。

有效矩形区域确定单元33可从由矩形区域检测单元20检测到的至少一个矩形区域之中确定至少一个有效矩形区域。

例如，有效矩形区域可通过对分别从预览图像的连续图像帧获得的各条坐标信息进行过滤来确定。

与静止图像不同，由矩形区域检测单元20检测到的预览图像的至少一个矩形区域可由于诸如相机的移动、焦点、反光、阴影等等之类的外部因素而略有变化。因此，由有效矩形区域确定单元33改善(refine)在矩形区域检测单元20中获得的坐标信息可能是必要的。在此情况下，通过使用公知的方法，例如卡尔曼方法、使用平均值或中值的方法等等，可执行对坐标信息过滤的方法，从而对坐标信息过滤的方法不限于特定的方法。

现在将参考图6详细描述前述方法。

另外，当由矩形区域检测单元20检测到的至少一个矩形区域的中点之间的各个距离小于预定阈值时，这至少一个矩形区域之中具有最大大小的矩形区域可被确定为有效矩形区域。

现在将参考图7A和7B详细描述有效矩形区域。

主矩形区域确定单元35可基于预定标准从由有效矩形区域确定单元33确定的至少一个有效矩形区域之中确定主矩形区域。

例如，可基于定义至少一个有效矩形区域中的每一者的参数的值来从由有效矩形区域确定单元33确定的至少一个有效矩形区域之中确定主矩形区域。在此情况下，定义至少一个有效矩形区域中的每一者的参数的值可包括有效矩形区域的大小、其失真的程度、基于预览图像的中点的至少一个矩形区域之间的各个距离，等等。

此外，可基于用户输入从由有效矩形区域确定单元33确定的至少一个有效矩形区域之中确定主矩形区域。在此情况下，可根据用户的意图基于用户输入来改变主矩形区域。

现在将参考图8A和8B详细描述主矩形区域。

将顺序详细描述图像处理装置的操作。

图5是示出根据实施例的处理图像的方法的操作示例的流程图，该方法包括在从预览图像检测到的至少一个矩形区域中确定要经历透视变换的主矩形区域。

参考图5，操作200、210、240和250对应于图2的操作100、110、130和140，从而将省略对其的详细描述。

在操作220，图像处理装置可从在操作210中检测到的至少一个矩形区域确定至少一个有效矩形区域。

例如，至少一个有效矩形区域可通过对分别从预览图像的连续图像帧获得的各条坐标信息进行过滤来确定。

另外，当由矩形区域检测单元20检测到的至少一个矩形区域的中点之间的各个距离小于预定阈值时，这至少一个矩形区域之中具有最大大小的矩形区域可被确定为有效矩形区域。

在操作230，图像处理装置可基于预定标准从在操作220中确定的至少一个有效矩形区域之中确定主矩形区域。

例如，可基于定义至少一个有效矩形区域中的每一者的参数的值来从由有效矩形区域确定单元33确定的至少一个有效矩形区域之中确定主矩形区域。此外，可基于用户输入从由有效矩形区域确定单元33确定的至少一个有效矩形区域之中确定主矩形区域。

图6至图7B图示了根据实施例的图像处理装置从预览图像确定有效矩形区域的各种示例。

预览图像可具有根据诸如相机的移动、焦点、反光、阴影等等之类的外部因素而略有变化的矩形区域。因此，如图6中所示，当分别从预览图像的连续图像帧获得的各条坐标信息被过滤时，不适当的矩形区域(即，虚线指示的边缘)被排除，并且适当的矩形区域(即，实线指示的边缘)可被确定为至少一个有效矩形区域。

如图7A中所示，从预览图像检测到的矩形区域(B)可具有相同中点，并且在此情况下，如图7B中所示，这些矩形区域之中具有最大大小的最外矩形区域可被确定为有效矩形区域。

图8A和8B图示了根据实施例的图像处理装置从预览图像确定主矩形区域并且在显示器70上显示所确定的主矩形区域的各种示例。

例如，可基于预定标准从在预览图像中确定的至少一个有效矩形区域之中确定主矩形区域。

例如，可基于定义至少一个有效矩形区域中的每一者的参数的值来确定主矩形区域，并且如图8A中所示，具有最大大小的有效矩形区域C可被确定为主矩形区域。

在此情况下，可根据用户的意图改变主矩形区域，并且如图8B中所示，当用户触摸有效矩形区域A的内部时，包括被触摸位置的坐标的有效矩形区域A可被确定为主矩形区域。

另外，至少一个有效矩形区域和主矩形区域可与预览图像一起被显示在显示器70上，并且如图8A和8B中所示，至少一个有效矩形区域可由虚线指示，并且主矩形区域可由实线指示。因此，图像处理装置可允许用户在捕捉图像之前直接检查预览图像中的要经历透视变换的矩形区域并且编辑该矩形区域。

图9是根据实施例的被配置为生成与从预览图像检测的矩形区域相对应的缩略图像的图像处理装置100c的框图。

图像处理装置100c还可包括缩略图像生成单元90。

缩略图像生成单元90可生成与由矩形区域检测单元20检测到的至少一个矩形区域相对应的缩略图像。

例如，可基于由有效矩形区域确定单元33确定的至少一个有效矩形区域来生成缩略图像。

在此情况下，缩略图像可与预览图像一起被显示在显示器70上。因此，图像处理装置可允许用户在捕捉图像之前直接检查预览图像中的要经历透视变换的矩形区域并且编辑该矩形区域。

图10图示了根据实施例的图像处理装置将多个缩略图像与预览图像一起显示在显示器70上的示例。

如图10中所示，基于由虚线指示的矩形区域(即，在预览图像中确定的至少一个有效矩形区域)以及由实线指示的矩形区域(即，主矩形区域)生成的缩略图像可与预览图像一起被显示。

在此情况下，如图10中所示，基于主矩形区域生成的缩略图像的显示方式可不同于基于至少一个有效矩形区域生成的缩略图像。

因此，图像处理装置将预览图像中的至少一个有效矩形区域和主矩形区域和与其相对应的缩略图像一起显示，从而用户在捕捉图像之后可预先检查对其执行透视变换的图像。

图11A和11B图示了根据实施例的图像处理装置使用在预览图像中确定的主矩形区域的坐标信息以便在显示器70上显示通过对捕捉的图像执行透视变换而生成的透视变换图像的示例。

如图11A中所示的基于在预览图像中显示的主矩形区域(实线指示的矩形区域)的坐标信息(矩形区域的顶点的坐标)和捕捉的图像生成的透视变换图像可如图11B中所示被显示在显示器70上。因此，就在用户捕捉图像之后，图像处理装置可允许用户立即检查通过对捕捉的图像执行透视变换而生成的透视变换图像。

顺序详细描述了图像处理装置的操作。

图12和图13是根据实施例的处理图像的方法的流程图，该方法包括通过聚焦在从预览图像检测到的矩形区域上来捕捉图像。

图12的操作300至320和340对应于图2的操作100至120和140，从而将省略对其的详细描述。

在操作330，图像处理装置使用与在操作320中确定的主矩形区域相对应的坐标信息通过聚焦在该主矩形区域上来捕捉图像。

例如，与主矩形区域相对应的坐标信息在捕捉图像时可用作关于自动聚焦(autofocus，AF)区域的信息。因此，根据处理图像的方法，通过基于通过聚焦在要经历透视变换的主矩形区域上而捕捉的图像执行透视变换，可提供高质量的透视变换图像。

图13的操作400至420对应于图2的操作100至120，从而将省略对其的详细描述。

在处理图像的方法中，即使在生成透视变换图像之后也可根据用户的意图来改变要经历透视变换的主矩形区域。

在此情况下，当用户希望基于改变的主矩形区域对先前通过聚焦在主矩形区域上而捕捉的图像重执行透视变换时，要生成的透视变换图像的质量可因为要对焦点未对准的图像执行透视变换而劣化。

在操作430中，图像处理装置可通过聚焦在操作410中检测到的至少一个矩形区域中的每一者上来捕捉图像。

例如，当关于从预览图像检测到的至少一个矩形区域的深度的各条信息不同时，可通过聚焦在至少一个矩形区域中的每一者上来捕捉图像。

在此情况下，关于从预览图像检测到的至少一个矩形区域的深度的各条信息不同的事实可基于从至少一个矩形区域检测到的边缘的大小来确定。

在操作440中，图像处理装置可选择在操作430中捕捉的图像之一，该图像是通过聚焦在主矩形区域上来捕捉的。

例如，在操作420中可不确定主矩形区域。

在操作450中，图像处理装置使用与主矩形区域相对应的坐标信息并且可通过对在操作440中选择的图像执行透视变换来生成透视变换图像。

根据处理图像的该方法，当从预览图像检测到关于其深度的各条信息不同的至少一个矩形区域时，可通过聚焦在至少一个矩形区域中的每一者上来捕捉图像。从而，虽然随后根据用户的意图改变了主矩形区域，但选择了通过聚焦在改变的主矩形区域上而捕捉的图像，并且可对选择的图像执行透视变换。

因此，根据处理图像的该方法，通过对通过聚焦在改变的主矩形区域上而捕捉的图像执行透视变换，可生成高质量的透视变换图像。

图14A至14C图示了根据实施例的图像处理装置在显示器70上显示通过对通过聚焦在从预览图像检测的矩形区域上捕捉的图像执行透视变换来生成的透视变换图像的示例。

如图14a中所示，当从预览图像检测到关于其深度的各条信息不同的两个矩形区域A和B时，图像处理装置可通过聚焦在矩形区域A和B的每一者上来捕捉两个图像。

在此情况下，当图14A中的矩形区域A基于用户输入被确定为主矩形区域时，图像处理装置可通过利用通过聚焦在矩形区域A上而捕捉的图像和矩形区域A的坐标信息来生成图14B中所示的透视变换图像。

相反，当主矩形区域基于用户输入被改变成矩形区域B时，图像处理装置可通过利用通过聚焦在矩形区域B上而捕捉的图像和矩形区域B的坐标信息来生成例如图14C中所示的透视变换图像。因此，虽然根据用户的意图改变了主矩形区域，但图像处理装置仍可通过基于通过聚焦在改变的主矩形区域上捕捉的图像执行透视变换来生成高质量的透视变换图像。

这里描述的设备可包括处理器、用于存储程序数据并执行其的存储器、诸如盘驱动器之类的永久存储单元、用于处理与外部设备的通信的通信端口、以及包括触摸面板、键、按钮等等在内的用户接口设备。当涉及软件模块或算法时，这些软件模块可在计算机可读介质上被存储为在处理器上可执行的程序指令或计算机可读代码。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等等)和光记录介质(例如，CD-ROM或DVD)。计算机可读记录介质还可分布在由网络耦合的计算机系统上，以使得计算机可读代码被以分布方式来存储和执行。此介质可被计算机读取、存储在存储器中并由处理器执行。

在此通过引用并入这里引用的包括公布、专利申请和专利在内的所有参考文献，到好像每个参考文献被单独并具体指明为通过引用并入并且在这里被全文记载了的程度。

可以按功能块组件和各种处理步骤来描述本公开。这种功能块可由被配置为执行指定的功能的任意数目的硬件和/或软件组件实现。例如，发明构思可采用可在一个或多个微处理器或其他控制设备的控制下执行各种功能的各种集成电路(integrated circuit，IC)组件，例如存储元件、处理元件、逻辑元件、查找表等等。类似地，在利用软件编程或软件元素来实现发明构思的元素时，可利用诸如C、C++、Java、汇编语言等等的任何编程或脚本语言、利用以数据结构、对象、进程、例程或其他编程元素的任何组合实现的各种算法来实现发明构思。功能方面可实现在一个或多个处理器上执行的算法中。另外，发明构思可采用任意数目的用于电子器件配置、信号处理和/或控制、数据处理等等的传统技术。“机制”、“元素”、“手段”和“配置”这些词被宽泛地使用，并不限于机械或物理实施例，而是可包括结合处理器的软件例程等等。

这里示出和描述的特定实现方式是本公开的例示性示例，而并不打算以任何方式在其他方面限制发明构思的范围。为了简洁起见，可不详细描述传统的电子器件、控制系统、软件开发和系统的其他功能方面。另外，所给出的各图中示出的连接线或连接器打算表示各种元件之间的功能关系和/或物理或逻辑耦合。应当注意，在实际设备中可存在许多替换或附加功能关系、物理连接或逻辑连接。另外，没有项目或组件对于发明构思的实施是必要的，除非该元素被具体描述为“必要的”或“关键的”。

在描述发明构思的上下文中(尤其是在所附权利要求的上下文中)对术语“一”、“一个”和“该”及类似指称的使用要被解释为既覆盖了单数形式也覆盖了复数形式。此外，除非这里另有指明，否则这里记载值的范围只是想要充当单独提及落在该范围内的每个单独值的快捷方法，并且每个单独值被包含到说明书中，就好像其在这里被单独记载了那样。另外，这里描述的所有方法的步骤可按任何适当的顺序来执行，除非这里另有指示或者与上下文明显矛盾。发明构思不限于所描述的步骤的顺序。对任何和所有示例的使用或者这里提供的语言(例如，“比如”)只是想要更好地说明本公开，而并不对发明构思的范围造成限制，除非另有声明。在不脱离本公开的精神和范围的情况下，本领域普通技术人员将容易清楚许多修改和适应性改变。

虽然示例包括对矩形区域和矩形区域检测器的描述，但技工应当明白，所附权利要求不限于图像的矩形区域，并且在成像中可以有变化，例如在方形到四边形映射中可以有变化。

本公开的装置和方法可以用硬件实现，并且一部分实现为固件或实现为存储在诸如CD ROM、RAM、闪盘、硬盘或磁光盘之类的非暂态机器可读介质上的与硬件结合的机器可执行计算机代码，或者通过网络下载的原来存储在远程记录介质或非暂态机器可读介质上的并且被存储在本地非暂态记录介质上供诸如处理器之类的硬件执行的计算机代码，使得这里描述的方法被加载到诸如通用计算机或专用处理器之类的硬件中或者加载在诸如ASIC或FPGA之类的可编程或专用硬件中。如现有技术中将会理解的，计算机、处理器、微处理器、控制器或可编程硬件包括存储器组件，例如RAM、ROM、闪存等等，这些存储器组件可存储或接收机器可执行代码或计算机代码，这些代码当被计算机、处理器或硬件访问和执行时实现这里描述的处理方法。此外，将会认识到，当通用计算机访问用于实现这里示出的处理的代码时，代码的执行将通用计算机变换成用于执行这里示出的处理的专用计算机。此外，技工理解并明白，“处理器”、“微处理器”、“控制器”或“控制单元”构成要求保护的公开中的包含被配置用于操作的电路的硬件。在最宽的合理解释下，所附权利要求构成遵从35U.S.C.§101的法定主题并且没有元素是软件本身。

本文提到的术语“单元”或“模块”的定义要被理解为构成诸如CCD、CMOS、SoC、ASIC、FPGA、处理器或微处理器(控制器)之类的被配置用于某个期望功能的硬件电路，或者包含诸如发送器、接收器或收发器之类的硬件的通信模块，或者包括被加载到硬件中并被硬件执行以便操作的机器可执行代码的非暂态介质，它们是依照35U.S.C.§101下的法定主题的并且不构成软件本身。此外，这里示出的控制器是由组件构成的硬件，例如被配置用于通过流程图中示出和这里描述的算法的操作的处理器或微处理器。

Claims (12)

1.一种便携式通信设备，包括：

相机；

显示器；以及

处理器，与相机和显示器操作地耦合，所述处理器配置为：

经由显示器，呈现经由相机获得的预览图像；

从预览图像检测第一矩形对象和第二矩形对象；

至少部分基于第一矩形对象具有第一大小、第二矩形对象具有大于第一大小的第二大小、以及第二矩形对象位于比第一矩形对象更接近预览图像的中心的位置的确定，从第一矩形对象和第二矩形对象中选择第二矩形对象；

经由显示器，在预览图像中呈现对应于第二矩形对象的图形指示；

响应于输入，在自动聚焦应用于第二矩形对象时，捕获对应于预览图像的图像；

使用所述图像，生成对应于第二矩形对象的剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

2.如权利要求1所述的便携式通信设备，其中，所述处理器配置为：

进一步基于第二矩形对象的失真程度执行选择。

3.如权利要求1所述的便携式通信设备，其中，所述处理器配置为：

在透视变换应用于其时，经由显示器呈现剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

4.如权利要求3所述的便携式通信设备，其中，所述处理器配置为：

使用对应于第二矩形对象的坐标信息，关于剪裁图像执行透视变换。

5.如权利要求3所述的便携式通信设备，其中，预览图像包括由第二矩形对象围绕的第三矩形对象，并且其中，所述处理器配置为：

限制将第三矩形对象的第三大小与第一矩形对象的第一大小进行比较。

6.如权利要求1所述的便携式通信设备，其中，所述显示器包括触摸屏显示器。

7.一种便携式通信设备的操作方法，包括：

经由显示器，呈现经由相机获得的预览图像；

从预览图像检测第一矩形对象和第二矩形对象；

至少部分基于第一矩形对象具有第一大小、第二矩形对象具有大于第一大小的第二大小、以及第二矩形对象位于比第一矩形对象更接近预览图像的中心的位置的确定，从第一矩形对象和第二矩形对象中选择第二矩形对象；

经由显示器，在预览图像中呈现对应于第二矩形对象的图形指示；

响应于输入，在自动聚焦应用于第二矩形对象时，捕获对应于预览图像的图像；

使用所述图像，生成对应于第二矩形对象的剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

8.如权利要求7所述的便携式通信设备的操作方法，其中，选择第二矩形对象包括：

进一步基于第二矩形对象的失真程度执行选择。

9.如权利要求7所述的便携式通信设备的操作方法，进一步包括：

在透视变换应用于其时，经由显示器呈现剪裁图像，以使得第二矩形对象的边界外的所述图像的剩余部分不包括在剪裁图像中。

10.如权利要求9所述的便携式通信设备的操作方法，进一步包括：

使用对应于第二矩形对象的坐标信息，关于剪裁图像执行透视变换。

11.如权利要求9所述的便携式通信设备的操作方法，其中，预览图像包括由第二矩形对象围绕的第三矩形对象，并且

进一步包括：

限制将第三矩形对象的第三大小与第一矩形对象的第一大小进行比较。

12.如权利要求7所述的便携式通信设备的操作方法，其中，所述显示器包括触摸屏显示器。

Images