CN101366269A - 用于电子器件的照相机 - Google Patents

Abstract

一种数字照相机包括：支撑结构；镜头，其由该支撑结构承载并且具有光轴；检测器，其在镜头下面由该支撑结构承载并且包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器；以及连接到检测器的图像信号处理器单元，其包括配置为通过不同于相邻行像素的缩放因子来缩放每一行像素的图像缩放器。该图像缩放器因此被配置为补偿照相机检测器和获得其图像的目标之间的倾斜角。合并了数字照相机的照相机模块优选地还包括嵌入图像信号处理器，使得照相机模块被配置为产生缩放的输出图像。

Description

用于电子器件的照相机

相关申请

本申请要求于2006年1月20日提交的题目为“用于电子器件的照相机”的美国临时专利申请No.60/760,899的权利和优先权，其公开的内容在此通过引用全文合并于此。

技术领域

本发明涉及一种用于电子器件的照相机，例如嵌入在用于视频电话的无线通信终端中的照相机。更特别地，本发明涉及一种用于调整带有显示器的电子器件的照相机的观看方向的解决方案。

背景技术

在过去的几十年间，全球的蜂窝电话行业已经有了巨大的发展。从最初的模拟系统，例如由AMPS(高级移动电话系统)和NMT(北欧移动电话)标准定义的系统，近些年来所述发展近乎专门聚焦于用于蜂窝无线网络系统的数字解决方案的标准，例如D-AMPS(例如，在EIA/TIA-IS-54-B和IS-136中所详细说明的)和GSM(全球移动通信系统)。当前，蜂窝技术正通过例如WCDMA的通信系统进入所谓的第3代(3G)，其相比于上面提到的第2代数字系统提供了若干优点。

在移动电话技术上作出的很多进步涉及到功能特征，例如更好的显示器、更有效的和更长持续时间的电池以及产生彩铃信号的装置。嵌入照相机是一个变得越来越普及的功能特征。当前，具有视频相机功能的照相机在多种移动电话中是可用的。随着高比特率服务的引入，例如EDGE(用于GSM的增强数据率)和3G的引入，视频相关服务的可用性和实用性也随之增加。特别地，近来同时传输声音和运动图像的移动视频电话变得可以商业使用。

对于固定的使用，视频会议系统通常包括安装在通信终端—例如个人电脑(PC)—上或者旁边或者集成在允许使用因特网协议(IP)的电话中的照相机。这种系统的使用可以是非常直截了当的，因为用户位于终端前方并且照相机对着该用户。但是，移动视频会议就稍微有些麻烦。终端可以定位在桌面上的支撑单元内，在该单元中的照相机从中对准要获取的感兴趣目标，典型地是用户。用于面对面传输的视频会议的一种利用移动电话的更普遍的方式是当其被保持时，使得嵌入照相机被手动地对准用户。当通过移动手持终端通信时，用户因此可以保持该终端稳定在脸部之前，使得接收方能够看到该用户—即发送方—的脸部。

关于采用无线终端的视频会议的一个问题是由以下事实引起的，即嵌入照相机典型地位于与显示器相邻并且平行的位置，也就是照相机的光轴垂直于显示器表面。因此，终端必须成大约90°地对准脸部，以便获得用户的合适图像。但是，很多用户发现这种拿着终端的方式不舒服。此外，对于大多数移动电话设计，当其被放置在没有附加支撑装置的桌面上时，难以使用该终端，因为它可能要求将用户的脸部保持在终端的上方。一个相关的问题是该终端还可能包括平行于照相机对准的小灯，以便给将要获得的目标提供光。当照相机和灯以90°的角度对准用户的脸部时，还存在显示器平面上的用户脸部的反射将会妨碍呈现在显示器上的图像的风险。

甚至在照相机被配置成使得可以以相对于要获得目标的一定角度来保持的情况下，所述目标例如照相机用户的脸部，也会发生图像透视失真的问题。这会在目标尺寸的真实再现非常重要时导致问题。对于视频电话的情况而言，如果以相对于脸部倾斜的角度保持照相机，那么获得的用户脸部的图像将会显示出下颌部分比脸部上部宽一些。

发明内容

本发明的总体目的是提供一种用于数字成像的解决方案，其中照相机可以以相对于目标倾斜的角度保持从而获得图像，而通常这会导致失真的图像。

根据第一方面，所述目的通过数字照相机来实现，该数字照相机包括：支撑结构；镜头，其由该支撑结构承载并且具有光轴；检测器，其在镜头下面由该支撑结构承载并且包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器；以及连接到检测器的图像信号处理器单元，其包括配置为通过不同于相邻行像素的缩放因子来缩放每一行像素的图像缩放器。

在一个实施例中，该图像缩放器被配置为以大小与起始行和结束行之间的行的位置成比例的缩放因子来缩放每一行像素。

在一个实施例中，该图像缩放器被配置为响应起始行缩放因子和结束行缩放因子的输入，并且包括被配置为计算起始行和结束行之间的每一行的缩放因子的计算器功能。

在一个实施例中，该图像缩放器被配置为将某像素行的输入行长度计算为所有像素行的公共的期望输出行长度与该行的缩放因子的比值，以及

被配置为将该行像素检测到的并且在输入像素行长度内的图像信号缩放为期望的输出行长度。

在一个实施例中，该图像缩放器被配置为产生具有居中行的输出图像

在一个实施例中，该图像缩放器被配置为利用以下公式计算来自检测器的每一个输入行的中心起始点：

${\mathrm{start}}_n=\frac{l-l_n}{2},$

其中start_n是在行n中第一个要处理的像素；l是在整个行中的像素数量；而l_n是在行n中要处理的像素的数量。

在一个实施例中，照相机模块由支撑结构形成，并且其中图像信号处理器包括在照相机模块中。

在一个实施例中，该图像缩放器被配置为确定某个像素行的输出像素在预定图像格式中的位置，利用用于所述某一行的缩放因子通过逆缩放来确定在检测的图像中的对应位置，以及通过由与检测的图像中的所述对应位置相邻的像素检测的强度值的内插为输出像素确定强度值。

在一个实施例中，图像缩放器被配置为根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾斜角来计算缩放因子。

在一个实施例中，通过检测器的表面工作区域定义照相机的视场，其相对于镜头的光轴偏离中心移位。

在一个实施例中，该图像缩放器被配置为通过函数S_n＝m+n*k来计算每一行n的缩放因子S_n，其中m和k是常数。

根据第二方面，所述目的通过电子器件来实现，该电子器件包括外壳以及数字照相机模块，所述数字照相机模块包括：支撑结构；镜头，其由支撑结构承载并且具有光轴；检测器，其在镜头下面由支撑结构承载，包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器；连接到该检测器的图像信号处理器单元，其包括配置为以不同于相邻行像素的缩放因子缩放每一行像素的图像缩放器。

在一个实施例中，该电子器件包括无线信号收发器和配置为从数字照相机模块向无线信号收发器提供缩放的视频信号的控制单元。

在一个实施例中，该电子器件包括配置为呈现数字照相机模块提供的缩放的图像的显示器。

根据第三方面，所述目的通过一种用于利用数字照相机获取图像的方法来实现，该方法包括步骤：

将照相机对准目标；

在包括多个相邻像素行的检测器中检测图像信号，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器，

通过利用不同于相邻像素行的缩放因子缩放每一行像素来处理检测到的图像信号从而提供缩放的图像；

输出缩放的图像。

在一个实施例中，该方法包括步骤：

以大小与起始行和结束行之间的行的位置成比例的缩放因子来缩放每一行像素。

在一个实施例中，该方法包括步骤：

定义起始行缩放因子和结束行缩放因子；以及

计算在起始行和结束行之间的每一行的缩放因子。

在一个实施例中，该方法包括步骤：

将某像素行的输入行长度计算为所有像素行公共的期望输出行长度与该行的缩放因子的比值，以及

将由该行像素检测到并且在输入像素行长度之内的图像信号缩放到期望的输出行长度。

在一个实施例中，该方法包括步骤：

提供具有居中行的缩放的图像。

在一个实施例中，该方法包括步骤：

利用以下公式计算来自检测器的每一个输入行的中心起始点：

${\mathrm{start}}_n=\frac{l-l_2}{2},$

其中start_n是在行n中第一个要处理的像素；l是在整个行中的像素数量；而l_n是在行n中要处理的像素的数量。

在一个实施例中，该方法包括步骤：

通过与电子器件的照相机模块中的数字照相机结合的图像信号处理器来处理检测到的图像。

在一个实施例中，该方法包括步骤：

利用无线通信终端的无线收发器将缩放的图像发送给远程接收器。

在一个实施例中，该方法包括步骤：

在显示器上呈现该缩放的图像。

在一个实施例中，该方法包括步骤：

定义图像格式；

确定某个像素行的输出像素在图像格式中的位置；

通过利用所述某行的缩放因子进行逆缩放来确定检测到的图像中的对应位置；

通过由与检测的图像中的所述对应位置相邻的像素检测的强度值的内插为输出像素确定强度值。

在一个实施例中，该方法包括步骤：

根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾斜角来计算缩放因子。

附图说明

通过下面参考附图对优选实施例的描述，本发明的特征和优点将会变得更加清楚，其中：

附图1A和1B示意性地示出了一个根据本发明一些实施例的包括数字照相机和显示器的手持无线通信终端；

附图2示出了根据本发明一些实施例的当用于视频会议时的附图1的终端；

附图3示意性地示出了如何以相对于用户的脸部成一角度来保持终端的照相机；

附图4示意性地示出了根据本发明一些实施例的数字照相机模块；

附图5示意性地示出了一个常规可拍照电话；

附图6示意性地示出了根据本发明一些实施例的可拍照电话的一些方面；

附图7示意性地示出了根据本发明另外的实施例的可拍照电话的一些方面；

附图8和9示意性地示出了根据本发明一些实施例的数字照相机模块；

附图10和11示意性地示出了根据本发明另外的实施例的数字照相机模块；

附图12示意性地示出了由于照相机被与矩形目标成一定角度保持而引起的失真图像；

附图13和14示意性地示出了根据本发明一个实施例的校正图像和失真图像；

附图15示意性地示出了对与照相机检测器表面成倾斜的角度保持的矩形目标拍摄的图像。

具体实施方式

现在将在下面参考示出了本发明实施例的附图对本发明的实施例做更加充分的描述。但是，本发明可以被实施为多种不同的形式，并且不应该被解释为限于这里提出的实施例。相反地，提供这些实施例是为了让公开充分和完整，并且向本领域技术人员完全转达本发明的范围。在全文中类似的附图标记表示类似的元件。

应当理解，尽管术语第一、第二等可能在此使用以描述各种元件，但是这些元件不应该受限于这些术语。这些术语仅仅用于区别一个元件和其他元件。例如，第一元件可以被称之为第二元件，并且类似地，第二元件可以被称之为第一元件，而不超出本发明的范围。当在本文中使用时，术语“和/或”包括一个或者多个相关列出的项目的任意一个及全部的组合。

在此使用的术语仅仅是用于描述特定实施例的目的而不是限制本发明。当在本文中使用时，单数形式“一”、“一个”和“该”也旨在包括复数形式除非上下文有其他明确说明。还应当进一步理解的是，在此使用的术语“包含”、“包括”和/或“具有”表明了所述特征、整数、步骤、操作、元件和/或部件的存在，但是不排除存在或附加一个或者多个其他的特征、整数、步骤、操作、元件、部件和/或它们的分组。

除非另有其他定义，在此使用的所有术语(包括技术和科学术语)都具有与本发明所属领域的技术人员通常理解的相同的含义。此外，还应当理解，在此使用的术语应当被解释为具有与本说明书上下文以及相关领域中的含义相一致的含义，并且不应当以理想化的或过于形式化的意义来进行解释，除非在此明确地进行了这样的定义。

本说明书涉及包括照相机和用于呈现由照相机获取的图像的显示器的电子器件领域，其被配置为使得在照相机对准用户的同时，该用户可以观看显示器。本发明的一些实施例涉及为视频电话配置的通信终端。这种通信终端例如可以是能够利用塞绳(cord)与PSTN(公共交换电话网)壁装插座连接的DECT(欧洲数字无绳电话)电话，或者具有包括显示器和照相机的外壳的IP电话。在一些实施例中，该通信终端是无线通信终端，例如可以通过无线基站和/或直接与另一无线终端通信的移动电话。

下面将参考附图描述实施例。

附图1A示出了根据本发明一些实施例的便携式通信终端10形式的电子器件，例如移动电话。终端10包括具有外壳的支撑结构11，以及包括键区或者键盘12和显示器13的用户接口。该终端10还可以包括具有麦克风和扬声器的音频接口、无线收发电路、天线、电池以及具有用于无线通信的数据存储器和相关软件的微处理器系统，所有这些都被支撑结构11承载并且包括在外壳内。除了这些元件外，器件10还包括数字照相机14，附图1A中指示了该相机的光圈。

如在附图1A中所示，照相机14的光圈和显示器13可以被设置为从通常的观看位置都能够看到。例如，照相机14的光圈和显示器13都可以被设置在外壳11的同一侧。以这种方式，照相机14可以在用户观看显示器13的同时对准用户。因此，该通信终端10可以用于视频电话。

参考附图1B中示出的通信终端10的示意性说明可以进一步描述本发明的实施例。现在参考附图1B，根据本发明一些实施例的一个示例性通信终端10包括键区12、显示器13、收发器26、存储器16、麦克风15、扬声器19以及与控制单元或处理器20通信的照相机14。该无线收发器26典型地包括发射器电路27、接收器电路28和调制解调器29，其协作通过天线25发射和接收到远程收发器的射频信号。在通信终端10和远程收发器之间传输的射频信号包括业务和控制信号(例如用于到来的呼叫的寻呼信号/消息)，其被用于建立和保持与另一方或者目的地的通信。

存储器16可以是通用存储器，其被用于存储用于处理器20的程序指令和数据，例如音频数据、视频数据、结构数据和/或其他能够被处理器20访问和/或使用的数据。该存储器16可以包括非挥发性读/写存储器、只读存储器和/或挥发性读/写存储器。

参考附图2，示出了用于视频电话的通信终端10的使用。典型地，在视频电话会议中，远程方的图像21发送到终端10并且在专用框22内呈现在显示器13上。在同一时间，由照相机14获得的终端10的用户的较小的图像23也可以在框24内呈现在显示器13上。框24可以显示在终端10的独立的框/显示器内和/或作为画中画显示在显示器13的子框内。以这种方式，用户可以接收到照相机14如何对准的视觉反馈，并且可以将终端10保持在合适朝向。

已经描述了关于视频电话的问题，也就是说相对用户30以一定角度(在附图3中标为角度θ)来保持终端10可能更为舒服，而不是平行于用户的脸部来保持终端10。将终端10定位于与将要成像的目标—典型地是用户的脸部—成倾斜的角度，还可以使得通过将终端放在支撑—例如桌面上来将终端10用于视频电话更为容易。但是，对常规终端的倾斜可能导致获得的图像的偏移效果，因为照相机可能没有正确地对准。获得的图像在其专用图像框内的偏移将会在显示器上看到，并且当然对于接收获得的图像的远程方也是如此。随着角度θ的增加，用户的脸部将会在框中下降。在某点上，脸部将会脱离照相机的视场，所述视场典型地在50°-70°的全角度范围之内。参考附图1—14，现在将描述照相机和包括照相机的终端形式的电子器件的各种实施例，其被配置为以附图3所示的倾斜角获取图像。更具体地，首先将描述被配置成从主视线获取图像的照相机，所述主视线与照相机的光轴成一定角度。此外，将描述一种照相机和方法，用于校正或者调整获得的图像的视点，该图像由于倾斜角而产生失真。

附图4示意性地示出了一个根据本发明一些实施例的用于诸如终端10之类的电子器件中的数字照相机模块14。该照相机模块14包括光学镜头41，该光学镜头41具有一个或者多个单独的由例如塑料或者玻璃制造的镜头，并且具有由点划线指示的光轴45。具有上部检测器表面43的检测器42通过支撑部件44定位于距镜头41一定距离且平行于镜头41的位置，所述支撑部件44可以包括密封的塑料外壳。该照相机模块还可以包括图像信号处理器(ISP)46，其可以连接到检测器42的背面。可替换地，该ISP46可以通过例如排线(flex cable)的导线连接到检测器42。照相机模块14的几何结构，包括镜头41的焦距和孔径以及由检测器表面43定义的图像平面的大小及其相对于镜头41的位置，定义了照相机模块14的视场。为了清楚地描述本发明，术语主视线将被用于表示通过镜头41到使用的图像区域的中央的主要光线。典型地，检测器表面43被定位在镜头41的中央下方，并且照相机14的主视线因此与光轴45重合。该检测器表面43大体上可以是矩形或者甚至是正方形，并且可以关于光轴45对称。

附图5示出了一个常规终端210，其包括照相机214和显示器213。在附图5中，轴251指示显示器213的法线方向，即垂直于显示器213的表面的轴。此外，表示照相机214的主视线的光轴245被表示为基本平行于法线方向251。

附图6—7以简化侧视图示出了根据本发明一些实施例的终端10A、10B，其中只示出了显示器23和照相机14。附图6示出了终端10A，其中照相机14被倾斜，使得其光轴和主视线45相对于法线方向51成一个锐角。在一些实施例中，照相机14可以被倾斜角度，其对应于附图3示出的期望的操作角度θ。以这种方式，当保持与用户成一角度时终端10A可以被用于视频电话，而不会偏移所获得图像。但是，在这些实施例中，由于照相机14是倾斜的，其可能占用终端10A内的更多空间。此外，在终端10A内将照相机14以倾斜的取向固定到例如PCB(印刷电路板)上，可能需要附加的安装设备，例如中间楔形元件。

附图7示出了根据本发明另外的实施例的终端10B，其中附图标记51表示显示器13的法线，即垂直于显示器13表面的轴。此外，照相机71的光轴45被表示为基本平行于法线方向51。照相机71可以例如通过焊接或者其他类型的结合以及到公共PCB的连接基本平行于显示器13地被固定在终端10B内。但是，具有主视线72的照相机71的视场是由检测器表面43的工作区定义的，其可能相对于镜头的光轴45偏离中心(参见附图4)。该工作区可以是检测器表面43的全部区域，其中整个检测器表面是偏离中心的。可替换地，该工作区可以是其他居中的检测器表面43的非中心部分，在这种情况下照相机71就示出的元件来说可以基本类似于照相机14。不同点在于检测器表面的哪些像素被用于读出图像。

附图8和9示意性地示出了根据本发明一些实施例的照相机71的一些方面。在附图4中使用的附图标记在附图8和9中同样用于对应的元件。ISP46在附图8和9中省略，因为其无需在机械上直接连接到照相机模块71上。附图8是照相机71的侧视图，而附图9是照相机71的透视图，其中支撑部件44为了简单起见而被省略。

检测器42可以包括具有在由长度A和宽度C定义的区域内的整个检测器表面43大小的图像传感器，并且可以包括多个像素，例如400×400、640×480或者任何其他的矩阵设置。但是，在该实施例中，定义了检测器表面43的工作区91，其仅包括全部像素的子集。在示出的这个例子中，区域91(虚线区域)是矩形并且具有长度B<A和宽度D<＝C。此外，工作区91可以相对于检测器表面43的中心被偏离中心，其中镜头41的光轴45与检测器表面43相交。可义定义区域91沿着附图9中所示的x和y轴中心偏离。但是，在示出的这个实施例中，区域91仅仅沿着x轴中心偏离，并且在沿着Y轴方向位于中心。工作区91可以朝着右手侧边缘沿着x轴中心偏离，并且可以占有所有超出右侧边缘的像素而未占有所有朝着检测器表面43的左侧边缘的像素。可替换地，所述工作区可以偏离中心小一些，并且可以不包括检测器表面43的右侧最外面的像素。沿着y轴，工作区域91可以是比检测器表面43的全宽C窄的D，如在附图中举例说明的。

工作区91的中心可以是传感图像平面的中心，并且主视线72可以根据工作区91的中心和镜头41的光学中心定义。这一主视线可以以与光轴45成锐角延伸，其中角度的大小可以依赖于工作区91的中心和光轴45之间的距离。由于是锐角，角度根据定义大于0°且小于90°。但是，由于实际应用的原因，该角度可以在5-20°或者甚至5-10°的范围内。

举例而言，检测器表面43可以包括400×400图像传感器像素矩阵。但是，出于视频会议的目的，该像素数量可能过多了。QCIF(四分之一公共中间格式)是一种视频会议格式，其规定每秒30帧(fps)的数据率，每一帧包括144行并且每一行176个像素。这是定义了全CIF的分辨率的四分之一，其为355×288个像素。ITU H.261视频会议标准需要QCIF支持，并且因而只需要176×144像素矩阵。这小于在每一个方向上可访问的像素数量的一半。出于增强图像质量的目的，因而可能会使用两倍的行数量且每一行具有两倍数量的像素，即CIF，其仍然适合于400×400矩阵。

在一些实施例中，包括355×288像素的可操作区91被定义在包括400×400像素的检测器表面43上，从居中检测器表面43的一侧边缘向内部延伸，并且位于沿着该侧边缘的中心，如在附图9中所示。具有像素间距为3.6μm的3.2×3.2mm检测器42具有大约1.44×1.44mm的检测器表面(A×C)，并且该可操作区具有288/400×1.44＝1.037mm的长度B。该可操作区的中心随后可以被定位为距离检测器表面43的中心1.44/2-1.037/2＝0.2mm。假设镜头41位于距离检测器表面431.5mm的高度，那么主视线72则具有与光轴45成大约为

(大约7.6°)的角度。仅仅利用QCIF矩阵，对应的角度将会是arctan(1.44*(1-144/400)/(2*1.5))，或者大约17.1°。但是，即使使用QCIF图像，也可以利用全CIK图像平面来增强图像质量。

还可能通过后向计算的方式定义工作区。例如，假设以例如10°的角度θ使用照相机，并且使用QCIF矩阵。工作区91的必要的中心偏移Δ，当到镜头的距离为1.5mm时则是Δ＝1.5tan(10°)，或者近似于0.26mm。对于这种结构，工作区91将不会完全向外延伸到检测器表面43的边界；相反，将会在检测器表面43的顶部有大约55个不用的像素行。

应当理解，上面提供的数量仅仅是作为可能的例子而给出，而提供检测器表面的中心偏离可操作区用于获得具有与照相机镜头的光轴成一定角度的主视线的视场的目的，可以应用于任何照相机几何结构，如在附图4中示意性示出的。检测器42可以是例如CMOS检测器或者CCD检测器，并且可以是黑白、灰度或者彩色图像检测器。此外，可操作区91可以在用于照相机IS P的硬件中或者固件中指定为感兴趣的中心偏离区域或者感兴趣的窗口。在一些实施例中，可操作区91的大小和位置可以被设置为默认值，并且因此一直使用，除非例如通过输入接口12给出改变这一设置的用户命令。

附图10示出了可以作为参考附图8和9描述的实施例的替代物而提供的或者可以与附图8和9的实施例结合的实施例。类似于附图4示出的照相机14，附图10的照相机101包括镜头41和具有检测器表面43的检测器42以及潜在的附加的ISP(未示出)，所述检测器42通过支撑部件44平行悬挂并且与镜头41间隔一定距离。为镜头41定义光轴45。该检测器表面43具有长度A。但是，在这种情况下，检测器42可以不位于镜头41的下方中心。相反，检测器42相对于镜头41横向偏移，使得镜头41的光轴45相对于检测器表面43中心偏离。在附图10中，通过在支撑部件44中横向偏移的检测器42示出了这点。备选地，镜头41可以替代地在支撑部分44中横向偏移。

通过这一特征，从检测器表面43的中心延伸的照相机101的视场的主视线102可以以与光轴45成锐角

地延伸，其中角度

的大小与arctan(ΔA/h)成比例，其中ΔA是相对横向平移而h是镜头41和检测器表面43之间的距离。举例而言，如果检测器42的横向偏离ΔA是0.2mm，如在附图10中指示的，并且镜头41和检测器表面43之间的距离是1.5mm，则主视线将具有大约7.6°的角度

如图所示，可以将附图8和9的实施例与附图10的实施例相结合，其中可操作区被定义在检测器42的右侧，并且其中检测器42也相对于镜头41横向平移到右边。举例而言，考虑针对附图9的实施例描绘的例子，其具有像素间距为3.6μm的设置在镜头41下1.5mm处的400×400像素检测表面43，并且此外利用附图10指示的0.2mm的检测器42的横向偏离。

对于CIF实施例而言，可操作区91可以从检测器表面43的离光轴45最远的侧边缘向内延伸288行。可操作区的中心于是被定位在距离光轴1.44/2-1.037/2+0.2＝0.4mm的位置处，其意味着与光轴45成大约α＝arctan(0.4/1.5)或者近似于15°的角度。对于QCIF矩阵而言，其可能具有甚至更大的角度，或者可替代地使用CIF图像并且将其缩放为QCIF。

对于其中检测器表面43相对于光轴45横向偏移的实施例而言，通过也将每一个像素单元适应于这一中心偏移的光学几何结构可以获得改进的照相机。附图11示意性地示出了根据本发明一些实施例的照相机110的某些元件。附图11示出了照相机镜头41和检测器42的三个像素110、120、130。垂直虚线114在像素110和120之间示出，指示检测器42的检测器表面43的中心，而光轴45与镜头41的中心相交。通常，检测器表面43的中心和光轴45可以是重合的，但是根据参考附图10描述的实施例，它们分开了距离ΔA。

为了正确地引导入射光到达检测器42的传感器元件上，每一个像素可以包括具有光传感元件111、121、131(例如光电二极管)和微聚光器镜头112、122、132的传感器。利用微镜头作为图像传感器的一部分是用于增强传感器性能的常用技术，例如在美国专利No.5,251，038中示出的。因此，检测器42的每一个像素都可以包括在传感器元件顶部的微聚光镜头以便引导光线进入传感器元件。

微镜头的布置和形成可能取决于轰击传感器的光束的主光线的角度。该角度可以随图像高度而不同，即随与照相机镜头41的中心光轴45的距离而不同。典型地，传感器位于距离光轴45越远的位置，聚光器镜头的焦距必须越短。在一个典型结构中，当移离检测器表面43的中心时，微镜头的焦距增大，对于镜头122而言，焦距可能按照三角法则依赖于到检测器表面43的中心114的距离F。但是，在根据附图10的具有偏移ΔA的实施例的情况下，微镜头可以适应于仍然如光轴45定义的光学中心，该中心不再是检测器表面43的中心。因此，在本发明的一些实施例中，期望的用于检测器表面43的光学中心45被定义，其可以与检测器表面43的物理中心114不重合，并且当其与镜头41结合时，将是真实的光学中心。

检测器表面43的每一个像素的微镜头随后可以被小心地参考定义的光学中心来设计，其典型地具有随着到光学中心距离的增加而增大的焦距。镜头122的焦距可以按照三角法则依赖于到光学中心(即光轴45)的距离E(＝F+ΔA)。特定的关系依赖于照相机的总体设计，并且需要的考虑因素对于本领域技术人员是公知的。

如在附图3中所示，将例如移动电话用于视频会议的通常方法是以与用户的脸部成微小的角度。但是，由于用户脸部和照相机光轴之间的倾斜角度，将会造成失真的透视图。实际上，甚至例如在参考附图7—11描述的实施例中当照相机被配置为获取具有与照相机的光轴成一定角度的主视线的视场内的图像时，这一缺点也是可以应用的。由于照相机没有以平行于用户的脸部保持，脸部在下面的区域要比在上面的区域成像得更宽。附图12中的图像清楚地示出了当通过利用根据附图7—9的实施例配置的具有偏离中心图像区域的照相机获取图像时用户在其脸部前手持矩形纸张的这一效果。这通常称为“梯形畸变(keystone)效应”。

在传统的专业摄影技术中，这一梯形畸变效应可以通过使用特定的光学器件(例如位移和倾斜镜头)或者特殊设计的具有位移和倾斜特征的照相机来避免。在数字图像处理领域中，透视校正是公知的特征。例如Adobe

 Photoshop的工具提供了这一特征。这样的特征也可以用在用于视频会议的电子器件(例如具有嵌入照相机的移动电话)中，以用于图像的后处理。但是，该透视校正对计算能力要求很高。这尤其对于每秒具有许多需要处理的帧的运动图像(即视频)是一个问题。因此，后处理不适合在移动电话的主处理器20同时用于视频编码和其他任务的系统中实现。

同样期望处理具有比最终图像更大的分辨率和角度覆盖的图像，以用于增强图像质量的目的。这就使得需要从照相机向主机传输更大的图像，也就是更多数据。主机也必须处理非标准图像大小并且将其转换为期望的格式。

一个实施例包括通过照相机的图像管道和图像信号处理器(ISP)来执行透视校正的特征。这一设计具有若干优点，下面将会进行描述。还期望使用覆盖比根据最终图像期望的稍微大的视角的图像传感器和光学器件。

如从附图12中所看到的，该图像在底部比顶部显得太宽。为了对其校正，应用透视校正的原理，其中像素的底部行被收缩。在我们考虑像素的每一行时，随着我们在图像中向上移动会应用更小的收缩。最后，顶部行被最小地收缩，或者一点都没有收缩。产生的图像在底部要比在顶部窄。为了避免这种情况，需要裁减图像，或者作为一个替代方案，利用过尺寸图像来开始。在后一种情况下，透视校正处理于是在图像的底部比在顶部工作于图像数据的较长行。结果是从ISP输出具有方角的图像。

透视校正机制的一个优选实现方式在照相机的硬件或者固件中实现。用于具有集成ISP的移动照相机的典型数字照相机模块具有缩放功能。该缩放功能可以实现为数字硬件功能块，或者实现为处理器执行的计算机代码，或者实现为硬件和计算机代码的结合。但是，如先前所述，集成ISP单元不是必须的，其也可以有线连接到照相机模块的支撑部件或者外壳。在这个意义上，该数字照相机包括ISP单元，其包括处理器和与之相关的ISP软件。典型的缩放器可以被设置成水平和垂直缩放图像。其可以被配置为独立地缩放这两个维度。因此，图像可以仅仅在一个维度上被收缩而保留其他维度不动。该缩放器还可以被配置为以因子n缩放图像，其中n是浮点数，例如1:1.2等等。在一个优选实施例中，利用内插算法(例如线性内插)来缩放各行，以便利用在讨论的行的两个相邻像素中检测的信号值来为对应特定像素的输出信号值。

根据优选实施例，图像的每一行以不同于先前的和接下来的行的缩放因子缩放。优选地，ISP根据起始和结束缩放因子的输入值计算每一行的缩放因子，所述起始和结束缩放因子例如第一和最后一行的缩放因子。这些缩放因子可以表示为由以像素数表示的输入行长度和期望的输出行长度给出的比值。

在一个优选实施例中，使用缩放因子的固定值，因为视频电话的使用场合被很好地定义并且用户脸部和电话之间的角度可以被十分精确地估算。由于用户观看其上显示了由所述电子器件的照相机获得的他或者她自己的图像的显示器，该用户将自动手持该电子器件，使得脸部的图像或多或少地在显示器上垂直居中。

必须介绍的缩放器的另一个重要性质是行的居中。因而优选地，图像以下面地方式缩放：通过输入图像的中心垂直线被保持在输出图像内。这可以通过计算每一个输入行的起始点实现。在每一行的起始点之前的像素如同拖尾像素那样被忽略。在一个实施例中，根据下面的等式计算每一行的起始点：

${\mathrm{start}}_n=\frac{l-l_n}{2},$

其中start_n是在行n中第一个要处理的像素；l是在整个行中的像素数量；而l_n是在行n中要处理的像素的数量。

设计成缩放垂直维度的缩放器依赖于保持两行或者更多行的图像数据的数据存储器。设计成仅缩放水平维度的缩放器仅需要保持少量像素或者最多整行图像数据的数据存储器。因此，为了作出成本有效的设计，如果垂直缩放对于其他目的是不必要的，那么完整的用于二维的缩放器是不必要的。

为了实现好的图像质量，传感器可以被设计为具有至少四倍于输出图像所需分辨率的高分辨率，即两倍于x和y两个方向上的像素数量。因此，一个例子是利用先前提到的用于QCIF输出图像格式的400×400检测器。在这种情况下，垂直缩放器可以被简化，因为其仅需要两行图像数据以用于垂直缩放。

附图13示出了由用户以对应于附图3的照相机光轴和用户脸部成倾斜角度θ而获得的用户的图像。甚至不认识该人，也可以注意到示出的用户的下颌部分与前额部分相比比真实的要宽，因为整个图像是倾斜的。

但是在附图14的图像中，由于倾斜视角引起的失真效果根据本发明通过连续地将每一行或者每一排像素缩放到与倾斜角θ对应的程度而被校正了。因此，尽管附图14的图像是倾斜的，该透视图得到了校正。

在本发明的一个实施例中，以相对于照相机检测器的倾斜角保持的已知比例的矩形目标的图像可以被用于计算和设置缩放因子。缩放因子的这种设置可以在生产中进行，并且随后用作默认设置。作为替换方案，用户可以通过操作所述器件10的键区12的方式来启动设置序列，其上矩形目标保持在用户的脸部之前并与脸部平行。优选地，该设置序列提示用户保持已知比例的目标，例如A4型纸张或者信纸，并且通过键区12来验证使用了何种类型的目标。该照相机随后被触发以获得目标的图像，并且由处理器20执行软件轮廓检测应用程序从而识别目标的图像，如在附图15中所示。不管是否缩放因子的计算和设置在生产中或者在销售后由用户执行，在轮廓图像被定义之后仍然需要进一步的计算，如下面参考附图15所描述的。

附图15示出了A4纸张的图像。在这一示例性实施例中，照相机的检测器具有400×400像素，其意味着具有用于355×288像素的CIF图像的空间。但是，要产生的输出图像是176×144像素的QCIF，但是替代仅利用检测器表面的QCIF大小部分的是，CIF图像被读出并且以因子2在高度和宽度上都缩小为QCIK以便获得较高的图像质量。A4纸张具有的高度是纸张宽度的根号2倍。如在附图15中指示的，对于CIF图像而言，A4纸张的图像是b像素行高，其从起始行之上的d行开始。此外，该图像在下边缘占有c个像素，在上边缘占有a个像素。为了计算缩放因子，几个常量应当首先被定义：

$j=\frac{1}{\sqrt{2}\frac{2c}{b}};$

$i=\frac{\mathrm{jc}}{a};$

$k=\frac{i-j}{b};$

m＝j-kd；

对于行n，缩放因子S_n将会是：

S_n＝m+nk

在优选实施例中，只有对QCIF图像有贡献的像素被读出和缩放，以便最小化计算，这非常有利于视频成像。在这样的实施例中，每一行的期望输出长度是176像素。这意味着将要被缩放的行n的长度L_n是

$L_n=\frac{176}{S_n}.$

举例而言，假设下面的值已经在附图15的图像中检测到，对于b和d以行的数量计算，并且对于ac以每行的像素数量计算：

a＝150，

b＝255，

c＝200，

d＝5.

利用上面的公式，我们获得了以下结果：

S0＝0.448，

S₂₈₇＝0.616，

L₀＝393，

L₂₈₇＝285

为了验证，我们可以计算纸张上边缘的缩放的宽度a’和纸张下边缘的缩放的宽度c’，其将会是

a’＝a*S₂₆₀＝90，

c’＝c*S₅＝90，

因此是一个矩形图像。因此，对于如在附图15中使用倾斜角度θ的成像方案而言，计算和设置了对于每一行n的缩放因子，并且为每一行确定了要处理成缩放图像的像素的数量。优选地，当使用所述器件时，不测量或者检测倾斜角，相反，将某一个倾斜角θ定义为当用户操作该器件时要被使用的期望倾斜角。典型地，该倾斜角可以小于20°，例如10°。

对于任何由照相机14获得的后续图像，每一行n被缩放为176个目标像素，其是相对于垂直中心轴对称的2×88个像素。对于行n，第一目标像素是从中心轴开始的88个像素，并且在检测的图像中对应位置因而是88/S_n。这一位置可以不绝对精确地为检测器表面的一个特定像素，可以从中获取图像信号值。相反，该位置的图像像素值优选地根据任何已知技术从相邻像素内插。优选地，亮度等级值和色彩值被独立地内插。获得的图像信号值随后被指派给输出图像中的第一目标像素。然后，要分配图像信号值的下一个目标像素是87/S_n，以此类推，直到达到垂直中心轴。中心轴的另一侧也以对应的方式处理，因为图像是关于该轴对称缩放的。然后，这一缩放处理一行接一行地处理，直到目标图像的所有288行都处理完。

通过利用照相机的图像信号处理器执行这些步骤，节约了计算能力并且器件10的数字信号处理器20因而可被用于其他目的。本发明所给出的适于校正图像透视失真的实施例与先前提出的依赖于图像后处理的解决方案的不同之处在于，提出的这一方法建议涉及照相机图像管路/ISP中的处理。上述设计将直接校正透视而无需麻烦运行于多任务环境中的主机处理器。这使得本发明尤其适合于便携式器件，例如可拍照电话，其中轻重量和紧凑的大小都是重要的市场需求。所提出的设计的优选实施例与通常的缩放器解决方案的不同之处还在于，像素数据的每一行都可以以不同于图像阵列中其他行的因子来缩放。其设计也可以无需任何或者需要非常少的附加硬件(例如门电路)，但是最重要的是，不需要很多昂贵的行缓冲器。

该设计也是独特的，因为缩放器可以使图像自动地居中，其在视频会议应用中是优选的。提出的解决方案优选地利用用于透视校正的固定设置，因为视频电话使用场合被良好地定义。

在附图和说明书中，公开了本发明的典型实施例，并且尽管使用了特定的术语，但是它们仅仅在一般和描述性的意义下使用而不是用于限制的目的，本发明的范围在附加的权利要求书中加以描述。

Claims (25)

1.数字照相机，包括：

支撑结构，

镜头，其由该支撑结构承载并且具有光轴，

检测器，其在镜头下面由该支撑结构承载，包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器，

连接到检测器的图像信号处理器单元，其包括配置为通过不同于相邻像素行

的缩放因子来缩放每一行像素的图像缩放器。

2.根据权利要求1的数字照相机，其中

图像缩放器被配置为以大小与起始行和结束行之间的行的位置成比例的缩放因子来缩放每一行像素。

3.根据权利要求1的数字照相机，其中

图像缩放器被配置为响应起始行缩放因子和结束行缩放因子的输入，并且包括被配置为计算起始行和结束行之间的每一行的缩放因子的计算器功能。

4.根据权利要求1的数字照相机，其中

该图像缩放器被配置为将某个像素行的输入行长度计算为对所有像素行公共的期望输出行长度和用于该行的缩放因子的比值，并且

被配置为将由该行像素检测到的并且在输入像素行长度内的图像信号缩放为期望输出行长度。

5.根据权利要求1的数字照相机，其中

该图像缩放器被配置为产生具有居中行的输出图像。

6.根据权利要求5的数字照相机，其中

该图像缩放器被配置为利用以下公式计算来自检测器的每一个输入行的中心起始点：

${\mathrm{start}}_n=\frac{l-l_n}{2},$

其中start_n是在行n中第一个要处理的像素；l是在整个行中的像素数量；而l_n是在行n中要处理的像素的数量。

7.根据权利要求1的数字照相机，其中

照相机模块由支撑结构形成，并且其中图像信号处理器包括在照相机模块中。

8.根据权利要求1的数字照相机，其中

该图像缩放器被配置为确定某个像素行的输出像素在预定图像格式中的位置、通过利用用于所述某一行的缩放因子进行逆缩放来确定在检测的图像中的对应位置以及通过由与检测的图像中的所述对应位置相邻的像素检测的强度值的内插为输出像素确定强度值。

9.根据权利要求1的数字照相机，其中图像缩放器被配置为根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾斜角来计算缩放因子。

10.根据权利要求1的数字照相机，其中通过检测器表面的工作区定义照相机的视场，所述工作区相对于镜头的光轴移位偏离了中心。

11.根据权利要求1的数字照相机，其中该图像缩放器被配置为通过函数S_n＝m+n*k来计算每一行n的缩放因子S_n，其中m和k是常数。

12.电子器件，包括

外壳；

数字照相机模块，包括

支撑结构，

镜头，其由支撑结构承载并且具有光轴，

检测器，其在镜头下面由支撑结构承载，包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器，

连接到该检测器的图像信号处理器单元，其包括配置为以不同于相邻像素行的缩放因子缩放每一行像素的图像缩放器。

13.根据权利要求12的电子器件，包括

无线信号收发器，

配置为从数字照相机模块向无线信号收发器提供缩放的视频信号的控制单元。

14.根据权利要求12的电子器件，包括

显示器，其配置为呈现数字照相机模块提供的缩放的图像。

15.一种用于利用数字照相机获取图像的方法，包括步骤：

将照相机对准目标；

在包括多个相邻像素行的检测器中检测图像信号，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器，

通过利用不同于相邻行像素的缩放因子缩放每一行像素来处理检测到的图像信号从而提供缩放的图像；

输出缩放的图像。

16.根据权利要求15的方法，包括步骤：

以大小与起始行和结束行之间的行的位置成比例的缩放因子来缩放每一行像素。

17.根据权利要求15的方法，包括步骤：

定义起始行缩放因子和结束行缩放因子；以及

计算起始行和结束行之间的每一行的缩放因子。

18.根据权利要求15的方法，包括步骤：

将某个像素行的输入行长度计算为对所有像素行公共的期望输出行长度和用于该行的缩放因子的比值，以及

将由该行像素检测到的并且在输入像素行长度之内的图像信号缩放成期望输出行长度。

19.根据权利要求15的方法，包括步骤：

提供具有居中行的缩放的图像。

20.根据权利要求15的方法，包括步骤：

利用以下公式计算来自检测器的每一个输入行的中心起始点：

${\mathrm{start}}_n=\frac{l-l_n}{2},$

其中start_n是在行n中第一个要处理的像素；l是在整个行中的像素数量；而l_n是在行n中要处理的像素的数量。

21.根据权利要求15的方法，包括步骤：

通过与电子器件的照相机模块中的数字照相机是一个整体的图像信号处理器来处理检测到的图像。

22.根据权利要求15的方法，包括步骤：

利用无线通信终端的无线收发器将缩放的图像发送给远程接收器。

23.根据权利要求15的方法，包括步骤：

在显示器上呈现该缩放的图像。

24.根据权利要求15的方法，包括步骤：

定义图像格式；

确定某个像素行的输出像素在图像格式中的位置；

通过利用所述某行的缩放因子进行逆缩放来确定检测到的图像中的对应位置；

通过由与检测的图像中的所述对应位置相邻的像素检测的强度值的内插为输出像素确定强度值。

25.根据权利要求15的方法，包括步骤：

根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾斜角来计算缩放因子。

Images