CN103222258A - 移动终端、图像处理的方法以及程序 - Google Patents

Abstract

本发明的移动终端包括：照相机单元（11），其当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；存储单元（12），其存储从照相机单元（11）中输出的多个图像；视角校正单元（13），其选取在存储单元（12）中存储的多个图像中的任何一个图像并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及显示器（14），其输出那一个图像以及由视角校正单元（13）校正的其它图像。

Description

移动终端、图像处理的方法以及程序

技术领域

本发明涉及装备有照相机的移动终端、图像处理的方法以及用于使移动终端实施图像处理的程序。

背景技术

包括叫做连续自动聚焦（在下文被表示为AF-C）的功能的照相机是已知的，通过所述叫做连续自动聚焦的功能，作为区别点的对象被连续地保持焦点对准。典型地，数字照相机配备有诸如液晶面板之类的显示器。在用这样的数字照相机执行AF-C中，用户可以看见输出在显示器上的图像以确认：即使对象改变或移动，焦点也保持固定在对象上。

可以把AF-C的操作粗略地分为两个模式：微小移动（minute movement）模式和焦点对准的位置搜索（in-focus position search）模式。在微小移动模式下，当镜头在光轴方向上相对于当前位置微小地来回移动时捕获图像。在焦点对准的位置搜索模式下，如果由微小移动的镜头所捕获的图像的分析表明焦点没有对准的状态，那么镜头被移动到焦点对准的位置。

在如以上所描述的用数字照相机执行的AF-C中，照相机微小地移动镜头，以便确定搜索焦点对准的位置是否是必需的，即使当大体上没有改变发生在对象关于镜头的光轴的方向的位置中。微小移动然后改变光程（optical path），引起输出在显示器上的图像的视角的变化。结果，在显示器屏幕上显示了来回摆动的对象，使得对象显得在大小方面变化。这对正在观看的用户造成了不适。

在JP10-282396A（在下文被称为专利文件1）和JP2008-160622A（在下文被称为专利文件2）中公开了校正由于镜头移动所造成的视角变化的方法的示例。专利文件1公开了用于控制镜头的驱动的装置，其包括镜头以及检测镜头的位置的位置检测器。可以独立地控制镜头中的每个以消除视角的变化。专利文件2公开了成像装置，其包括镜头以及检测镜头的位置的位置检测器。可以独立地控制镜头中的每个，以抑制输出图像的视角的变化。

发明内容

在专利文件1中所公开的用于控制镜头的驱动的装置被指向TV广播照相机，并且因此可以被应用于主要为拍摄图像而设计的照相机。另外，在专利文件1和2中所公开的技术要求在其中控制器独立地控制镜头中的每个并且在其中位置检测器检测每个镜头的位置的配置。

直接把在以上的专利文件中所公开的技术应用于移动设备安装的照相机是困难的，这些移动设备安装的照相机被要求是小型的。一些移动设备安装的照相机（诸如针对移动电话的最新的照相机）配备有多个镜头。然而，为了实现小型的设备大小，这样的照相机必须不包括用于独立地控制镜头中的每个的机制，但是镜头必须能够同时移动。

为了解决如以上所描述的技术的问题，本发明的示范性目的在于提供一种移动终端、图像处理的方法以及用于使移动终端实施图像处理的程序，使得在执行AF-C的同时防止所显示的图像的视角的变化。

根据本发明的示范性方面的移动终端包括：照相机单元，其当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；存储单元，其存储从照相机单元中输出的多个图像；视角校正单元，其选取在存储单元中存储的多个图像中的任何一个图像并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及显示器，其输出那一个图像以及由视角校正单元校正的其它图像。

根据本发明的图像处理的方法是针对移动终端中的控制器的图像处理的方法，该移动终端包括具有镜头的照相机单元、存储单元、显示器和控制器，并且该方法包括：控制器使照相机单元当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；控制器在存储单元中存储从照相机单元中输出的多个图像；控制器选取在存储单元中存储的多个图像中的任何一个图像，并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及控制器使显示器输出那一个图像以及由视角校正单元校正的其它图像。

此外，根据本发明的程序是要由移动终端中的控制器执行的程序，该移动终端包括具有镜头的照相机单元、存储单元、显示器和控制器，所述程序使控制器执行：使照相机单元当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；在存储单元中存储从照相机单元中输出的多个图像；选取在存储单元中存储的多个图像中的任何一个图像，并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及使显示器输出那一个图像以及由视角校正单元校正的其它图像。

附图说明

图1是示出了示范性实施例中的移动终端的示范性配置的框图；

图2是示出了在图1中所示的照相机单元的示范性配置的框图；

图3是示出了示范性实施例中的移动终端的操作的流程图；

图4A是用于描述在微小移动模式下所获得的图像与在捕获图像时的镜头位置之间的关系的图；

图4B是示出了在微小移动模式下所获得的示范性图像的图；

图5是示出了图示视角与镜头位置之间的关系的示范性图表的图；

图6是用于描述针对在图4B中所示的三个图像的视角校正的方法的图；

图7是示出了在图3中所示的步骤201中的过程中的视角校正的方法的工序的流程图。

具体实施方式

将描述示范性实施例中的移动终端的配置。在示范性实施例中，将给出与本发明相关的部分的组件的详细描述，而将省略与移动终端功能相关的组件的详细描述。

图1是示出了示范性实施例中的移动终端的示范性配置的框图。图2是示出了在图1中所示的照相机单元的示范性配置的框图。

如在图1中所示，示范性实施例中的移动终端包括：照相机单元11、存储从照相机单元11中输出的图像的图像存储器12、输出在图像存储器12中存储的图像的显示器14以及控制这些组件的控制器16。控制器16包括视角校正单元13和聚焦评估单元15，所述视角校正单元13校正由照相机单元11所捕获的图像的视角，而所述聚焦评估单元15基于由照相机单元11所捕获的图像来确定是否实现了聚焦。在下面将详细描述每个组件。

控制器16配备有根据程序来执行处理的CPU（中央处理单元）（未示出）以及用于存储程序的存储器（未示出）。在程序中，预先写入用于确定是否实现了聚焦的阈值。CPU执行程序以把视角校正单元13和聚焦评估单元15实施为移动终端中的虚拟单元。

如在图2中所示，照相机单元11包括镜头111、在光轴方向上移动镜头111的驱动器112、把通过镜头111被投射的图像转换为电信号的图像传感器113、以及把从图像传感器113输出的模拟电信号转换为数字信号的A/D转换器114。虽然图2示出了一个凸透镜111，但是可以采用一个或多个镜头111。另外，镜头111的类型不限于凸的类型。

图像传感器113例如是CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）图像传感器。A/D转换器114把从图像传感器113接收到的图像数据转换为数字信号，并且向控制器16发送数字信号。

图像存储器12可以是诸如DRAM（动态随机存取存储器）或SRAM（静态RAM）之类的易失性存储器，或者是诸如闪速存储器之类的非易失性存储器。图像存储器12对关于由照相机单元11所捕获的图像的数据以及关于由控制器16所校正的图像的数据进行存储。显示器14输出从控制器16接收到的图像。

当输入执行AF-C的指令时，控制器16中的聚焦评估单元15使照相机单元11以规律的时间间隔来执行微小移动模式。具体地，聚焦评估单元15发送控制信号到驱动器112，指示它在光轴方向上来回移动镜头111，并且在图像存储器12中存储从A/D转换器114接收到的多块图像数据。

聚焦评估单元15还针对在图像存储器12中存储的多块图像数据的图像来确定对比度的改变量是否超过了上述的阈值。如果对比度的改变量超过了该阈值，那么聚焦评估单元15确定镜头111不在焦点对准的位置处。如果对比度的改变量未超过阈值，那么聚焦评估单元15确定镜头111在焦点对准的位置处。如果聚焦评估单元15确定了镜头111不在焦点对准的位置处，那么聚焦评估单元15基于图像的对比度来确定图像对比度为最大值的镜头111的位置作为新的焦点对准的位置，并且执行焦点对准的位置搜索模式。具体地，聚焦评估单元15发送控制信号到驱动器112，指示它移动镜头111到确定的焦点对准的位置。

预先在程序中写入要被用于对比度的比较的每个图像的部分。例如，对比度要被比较的部分可以是在每个图像的中心周围的预定范围，或者可以是包含由每个图像的瞬时分析所检测到的人脸的区域。

要被比较的“对比度”的值可以不是针对在图2中所示的图像传感器113的每个像素所检测到的对比度的值本身。相反，该值可以是被指定为要被比较的区域的区域中的邻近像素的对比度值之间的差的和。这是基于这样的特性，在所述这样的特性中，图像越是焦点对准，邻近像素的对比度值之间的差越大。

虽然聚焦评估单元15可以通过各种方法来指示驱动器112移动镜头111到焦点对准的位置，但是这里将描述两种方法。

两种方法中的第一种方法如下。在控制器16中的存储器（未示出）中预先存储表格。该表格表示了用作指示驱动器112将镜头111移动预定距离的信号的脉冲数和镜头111的移动距离之间的关系。聚焦评估单元15根据关于在驱动器112的最后启动时发送到驱动器112的脉冲数的信息来识别镜头111的当前位置。聚焦评估单元15然后计算当前位置与焦点对准的位置之间的差，并且参照表格来确定对应于该差的脉冲数。聚焦评估单元15向驱动器112发送所确定的脉冲数。

第二种方法如下。在微小移动模式下，聚焦评估单元15从驱动器112接收指示镜头111的位置的位置信号。基于该位置信号以及所捕获的图像的对比度，聚焦评估单元15生成表示针对该位置信号的对比度的改变的图表。在控制器16中的存储器（未示出）中存储该图表。聚焦评估单元15参照该图表来确定对应于最大对比度的位置信号，并且向驱动器112发送控制信号，所述控制信号包含位置信号和移动镜头111的指令。

现在，将描述在图1中所示的视角校正单元13的机制。当将来自A/D转换器114的新的多块图像数据存储在图像存储器12中时，视角校正单元13选取来自多个图像数据之中的图像的任何一个作为参考，并且校正其它图像，使得它们的视角与那一个图像的视角匹配。视角校正单元13向显示器14发送那一个参考图像和其它经校正的图像。在视角校正中被参考的那一个图像将在下文被称为基本图像。后面将详细描述由视角校正单元13进行的图像校正的示范性方法。

针对CPU执行程序来把视角校正单元13和聚焦评估单元15实施为移动终端中的虚拟单元的情况，已经描述了示范性实施例。可替换地，可以用诸如门阵列之类的专用集成电路来实施视角校正单元13和聚焦评估单元15中的每个或者这些单元的一部分功能。

现在，将描述示范性实施例中的移动终端的操作。图3是示出了示范性实施例中的移动终端的操作的流程图。

当用户把移动终端的照相机单元11指向对象并且操作移动终端以向该处输入准备拍摄的指令时，移动终端启动照相机单元11。为了确定对象是否焦点对准，移动终端执行微小移动模式，在所述微小移动模式下当镜头111在光轴方向上被来回移动时，捕获图像。移动终端校正在微小移动模式下所捕获的图像的视角，并且向显示器14输出经校正的图像（步骤201）。

这里，将描述在微小移动模式下所捕获的图像的详细示例。图4A和4B是用于描述在微小移动模式下所获得的图像与在捕获时的镜头位置之间的关系的图。图4A是示出了沿着光轴方向的镜头位置的图，而图4B示出了用各个镜头位置X1至X3捕获的图像。在图4A中，JP指示焦点对准的位置。

参照图4A和4B，用镜头位置X1捕获的图像的视角比用镜头位置X2捕获的图像的视角窄，所述镜头位置X2相对于焦点对准的位置更接近于INF侧。同样，用镜头位置X1捕获的图像的视角比用镜头位置X3捕获的图像的视角宽，所述镜头位置X3相对于焦点对准的位置更接近于微距（macro）侧。以这种方式，通常，与接近于微距侧相比，镜头位置越接近于INF侧或无穷大（∞）侧，视角就越宽。图5示出了图示视角与镜头位置之间的关系的示范性图表。在图5中所示的图表中，纵坐标指示视角的宽度，而横坐标指示镜头位置。可以从图5中看出的是，镜头位置越接近于INF侧，视角就越宽。

下面将参照图6和7给出描述，假设在图4B中所示的三个图像是在微小移动模式下由移动终端所获得的图像。图6是用于描述针对在图4B中所示的三个图像的视角校正的方法的图。图7是示出了在图3中所示的步骤201中的过程中的视角校正的方法的工序的流程图。

当在微小移动模式下在光轴方向上来回地移动镜头111时，移动终端捕获对象，从而获得具有不同视角的三个图像（步骤211）。移动终端在图像存储器12中存储该三个图像（步骤212），并且指定三个图像之中具有最窄视角的图像作为基本图像。因此，在图4B中所示的三个图像之中，用镜头位置X3捕获的图像（图6中所示的图像A）是基本图像。

移动终端中的视角校正单元13校正其它图像，使得它们的视角与图像A的视角相匹配（步骤213）。具体地，视角校正单元13从用镜头位置X1捕获的图像中剪出与图像A的视角相匹配的区域，并且把被放大到图像A的大小的被剪出的区域设置为图像B。在图6中，由点划线所包围的区域是被剪出的区域。视角校正单元13也从用镜头位置X2捕获的图像中剪出与图像A的视角相匹配的区域，并且把被放大到图像A的大小的被剪出的区域设置为图像C。

因而，移动终端将具有最窄视角的图像指定为基本图像。这提供了下面的优点：在用镜头位置X1和X2捕获的图像中的每个中的区域被剪出并且将其与图像A的大小对准的步骤213的过程中，被剪出的区域只需要被放大到图像A的大小。

在步骤213之后，视角校正单元13顺序地向显示器14发送图像A、B和C，以使显示器14顺序地输出这些图像（步骤214）。

在以规律的时间间隔被执行的每个微小移动模式时执行参照图3和7所描述的图像处理，在其中镜头111在光轴方向上被来回移动。由于这允许连续显示在显示器14上的图像中的任一个具有相同的视角，所述对象一点也不会显得在大小方面变化，不会对用户造成不适。

接着，在图3中所示的步骤202中，为了确定是否实现了聚焦，移动终端参照在图像存储器12中存储的三块图像数据，以确定三个图像的对比度的改变量是否超过了阈值（步骤202）。如果在步骤202中确定的是对比度的改变量超过了阈值，那么移动终端确定镜头111不在焦点对准的位置处。移动终端然后基于三个图像的对比度、根据图像对比度与镜头位置之间的关系来确定对比度为最大值的镜头位置作为新的焦点对准的位置，并且执行焦点对准的位置搜索模式（步骤203）。在步骤203中的过程之后，移动终端返回到步骤201。

如果在步骤202中确定的是对比度的改变量未超过阈值，那么移动终端确定镜头111在焦点对准的位置处，并且返回到步骤201。

参照图7所描述的工序假设图像A被指定为基本图像。可替换地，基本图像可以是图4B中所示的用镜头位置X1捕获的图像。这是因为，虽然AF-C以规律的时间间隔执行微小移动模式，但是镜头111的位置可能在下一个微小移动模式的开始之前就在焦点对准的位置处。

因而，当示范性实施例中的移动终端执行AF-C时，移动终端当移动镜头时获得图像，提取关于图像的视角的变化的图像的差异，并且校正图像使得它们的视角彼此匹配。这允许抑制由于镜头的微小移动所造成的视角的变化。移动终端因此不需要独立地控制多个镜头中的每个，因而满足对用于移动设备（诸如移动电话）的照相机的小型化的需求。由于防止了在AF-C期间输出在显示器上的图像的视角的变化，所以不会对正在观看显示器的用户造成不适。

在校正图像的视角匹配中，可以选取在微距端侧上的图像作为基本图像来处理其它图像，使得它们的视角与基本图像的视角相匹配。以这种方式，可以校正由于从微距端到∞端的镜头移动所造成的视角的变化。示范性实施例中的图像处理的方法不仅可适用于校正由于AF-C中的微小移动所造成的视角的变化，而且还可适用于防止可能发生在通常AF中的图像摆动。

类似于示范性实施例中的图像处理的方法的技术是针对移动图像的照相机抖动校正技术。意指持有照相机的用户的手不固定而是抖动的“照相机抖动”引起当照相机抖动发生时所捕获的对象的图像的视角的逐帧（frame-by-frame）对不准的问题。照相机抖动校正技术涉及：沿着所有捕获的图像中的每个内的外围设置预定宽度的余量（margin）；从连续帧中的每个中剪出把余量排除在外的具有相同视角的区域；以及输出或记录被剪出的区域。

照相机抖动校正技术仅仅从每个帧中剪出相同的区域，并且不放大图像。因此，不能校正由于光轴方向上的镜头移动所造成的视角的变化。关于提取多个图像数据之间的差异，示范性实施例中的图像处理的方法可以被看作是涉及区别点的提取的方法，诸如通过照相机抖动校正技术来检测差异的方法。然而，示范性实施例仅仅以对应于与基本图像的差异的视角的变化量来放大或减小图像，并且区别点在帧之中是公共的。因此，示范性实施例可以比照相机抖动校正技术更容易地被实施。

本发明可适用于具有包括图像传感器的照相机并且具有图像处理功能的移动终端，诸如移动电话、PHS（个人手持电话系统）或PDA（个人数字助理）。可以在计算机可读取的记录介质上记录本发明的程序。

在以上所描述的示范性实施例中，在图1中所示的功能框图中图示了聚焦评估单元15，以便详述示范性实施例中的图像处理的方法。然而，为了使移动终端执行示范性实施例中的图像处理方法中的最本质特征部分，移动终端可以仅需要包括图1中所示的组件之中的照相机单元11、图像存储器12、视角校正单元13和显示器14。

本发明的示范性优点是防止输出在显示器上的图像的视角的变化而不像在AF-C中那样要求针对镜头的微小移动的复杂镜头控制的能力。

虽然已经参照其示范性实施例特别地示出和描述了本发明，但是本发明不限于这些实施例。本领域中的普通技术人员将理解的是，可以在其中做出在形式和细节方面的各种改变，而不脱离如由权利要求书所限定的本发明的精神和范围。

本申请基于在2010年12月1日所提交的日本专利申请No. 2010-268240并且要求其优先权的权益，通过参照结合所述日本专利申请No. 2010-268240的内容。

参考符号列表

11 照相机单元

12 图像存储器

13 视角校正单元

14 显示器

15 聚焦评估单元

16 控制器

111 镜头

112 驱动器

113 图像传感器。

Claims (10)

1.一种移动终端，包括：

照相机单元，其当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；

存储单元，其存储从照相机单元中输出的多个图像；

视角校正单元，其选取在存储单元中存储的多个图像中的任何一个图像并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及

显示器，其输出那一个图像以及由视角校正单元校正的其它图像。

2.根据权利要求1的移动终端，其中，

那一个图像是在多个图像之中具有最窄视角的图像。

3.根据权利要求2的移动终端，其中，

在校正其它图像中，视角校正单元指定多个图像之中的当镜头最接近于对象时所捕获的图像作为那一个图像，确定其它图像中的每个的视角以与那一个图像的视角相匹配，并且将对应于所确定的视角的区域放大到大体上与那一个图像相同的大小。

4.根据权利要求1至3中任一项的移动终端，还包括：

聚焦评估单元，其基于在存储单元中存储的多个图像的对比度的改变量是否超过了预定的阈值，来确定镜头是否在焦点对准的位置处，其中，

如果多个图像的对比度的改变量超过了阈值，那么聚焦评估单元基于多个图像的对比度来确定获得最大图像对比度的镜头位置作为新的焦点对准的位置。

5.一种针对移动终端中的控制器的图像处理的方法，该移动终端包括具有镜头的照相机单元、存储单元、显示器和控制器，该方法包括：

控制器使照相机单元当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；

控制器在存储单元中存储从照相机单元中输出的多个图像；

控制器选取在存储单元中存储的多个图像中的任何一个图像，并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及

控制器使显示器输出那一个图像以及由视角校正单元校正的其它图像。

6.根据权利要求5的图像处理的方法，其中，

那一个图像是在多个图像之中具有最窄视角的图像。

7.根据权利要求6的图像处理的方法，其中，

通过控制器校正其它图像包括：

控制器指定多个图像之中的当镜头最接近于对象时所捕获的图像作为那一个图像；以及

控制器确定其它图像中的每个的视角以与那一个图像的视角相匹配，并且将对应于所确定的视角的区域放大到大体上与那一个图像相同的大小。

8.根据权利要求5至7中任一项的图像处理的方法，包括：

控制器基于在存储单元中存储的多个图像的对比度的改变量是否超过了预定的阈值，来确定镜头是否在焦点对准的位置处；以及

如果确定的是多个图像的对比度的改变量超过了阈值，那么控制器基于多个图像的对比度来确定获得最大图像对比度的镜头位置作为新的焦点对准的位置。

9.一种计算机可读取的记录介质，在其中已经记录了要由移动终端中的控制器执行的程序，该移动终端包括具有镜头的照相机单元、存储单元、显示器和控制器，其中该程序使控制器执行包括下面各项的处理：

使照相机单元当在光轴方向上来回地移动镜头时捕获对象，并且输出具有不同视角的多个图像；

在存储单元中存储从照相机单元中输出的多个图像；

选取在存储单元中存储的多个图像中的任何一个图像，并且校正该多个图像中的其它图像，使得其它图像的视角与那一个图像的视角相匹配；以及

使显示器输出那一个图像以及由视角校正单元校正的其它图像。

10.根据权利要求9的计算机可读取的记录介质，其中，

那一个图像是在多个图像之中具有最窄视角的图像。

Images