CN108781278A - 图像处理装置和移动终端 - Google Patents

Abstract

根据本发明的实施例的图像处理装置包括：第一图像传感器，该第一图像传感器具有由包括红色像素、绿色像素和蓝色像素的块组成的第一像素阵列；第二图像传感器，该第二图像传感器具有由包括红色像素和蓝色像素中的至少一个以及白色像素的块组成的第二像素阵列；以及控制单元，该控制单元用于通过使用从第一图像传感器获取的第一图像和从第二图像传感器获取的第二图像生成第三图像。

Description

图像处理装置和移动终端

技术领域

本发明涉及一种图像处理装置，并且更具体地，涉及一种用于合成多个图像以生成高质量图像的图像处理装置和移动终端。

背景技术

图像处理装置可以意指用于处理从图像传感器或包括其的相机获取的图像数据以生成图像的装置。这种图像处理装置可以包括在包括图像传感器的各种类型的电子装置、车辆或机器人中。

包括图像处理装置的电子设备的代表性示例包括诸如智能手机的移动终端。随着人们广泛使用的移动终端的性能逐渐提高，已经添加各种功能或技术。

最近，已经出现包括安装在其一个表面上的多个相机(例如，双相机)的移动终端。例如，移动终端可以使用从双相机获取的图像来生成三维图像。另外，包括具有不同视角的双相机的移动终端可以向用户提供具有各种视角的图像。

同时，通常，由于移动终端的尺寸的限制，移动终端中设置的图像传感器的尺寸可能被限制。在这种情况下，因为在低亮度条件下由图像传感器接收的光量不足，所以生成的图像的亮度可能较低，并且因此可能降低图像的质量。

为了解决此问题，已经出现包括具有彩色图像传感器(例如，RGB传感器)的相机和具有单色图像传感器(例如，单色传感器)的相机的移动终端。这样的移动终端合成由彩色图像传感器获取的彩色图像和由具有比彩色图像传感器更大的接收光量的单色图像传感器获取的单色图像，以在低亮度条件下提供更亮的图像。

同时，移动终端中提供的彩色图像传感器和单色图像传感器的位置彼此不同。因此，图像传感器具有不同的视点。结果，在由图像传感器生成的彩色图像和单色图像之间出现视差。

因为单色图像仅具有亮度信息，所以移动终端仅使用两个图像的亮度信息来执行视差校正和合成。因此，可能降低视差校正的精度，并且，结果，在合成图像的一部分中可能发生颜色误差，从而降低图像的质量。

发明内容

技术问题

本发明的目的是提供一种图像处理装置，该图像处理装置用于合成从具有不同特性的多个图像传感器获取的图像以生成高质量图像。

本发明的另一个目的是为了提供一种图像处理装置，该图像处理装置能够最小化通过合成从多个图像传感器获取的图像并且增加精度而获得的图像的颜色误差。

技术方案

本发明的目的能够通过提供一种图像处理装置来实现，该图像处理装置包括第一图像传感器，该第一图像传感器具有包括块的第一像素阵列，每个块包括红色像素、绿色像素和蓝色像素；第二图像传感器，该第二图像传感器具有包括块的第二像素阵列，每个块包括红色像素和蓝色像素中的至少一个和白色像素；以及控制器，该控制器被配置成使用从第一图像传感器获取的第一图像和从第二图像传感器获取的第二图像来生成第三图像。

控制器可以基于第一图像和第二图像的颜色信息生成第三图像。

控制器可以使用包括在第二图像中包括的第一块的红色信息和蓝色信息中的至少一个的第一颜色信息，在被包括在第一图像中的块当中搜索具有与第一颜色信息的差异在参考值内的颜色信息的第二块，并且基于搜索结果用第二块的颜色信息替换第一块的颜色信息。

控制器可以使用第一块的亮度信息来搜索第二块。

第一图像传感器和第二图像传感器在视点方面可以是不同的，并且控制器可以裁剪除了第一图像和第二图像的公共区域之外的剩余区域并且使用被裁剪的第一和第二图像生成第三图像。

第二图像传感器的视角可以小于第一图像传感器的视角，并且控制器可以裁剪第一图像的一部分以对应于第二图像的显示区域并且使用被裁剪的第一图像和第二图像生成第三图像。

第二图像传感器的第二像素阵列可以包括具有2×2像素尺寸并且包括红色像素、蓝色像素以及两个白色像素的块。

第二图像传感器的第二像素阵列可以包括具有2×2像素的尺寸并且包括红色像素和蓝色像素中的任何一个以及三个白色像素的块。

包括在第二像素阵列中的第一块的颜色像素和在水平方向或垂直方向上与第一块相邻的第二像素的颜色像素可以彼此不同。

在本发明的另一方面中，在此提供一种图像处理装置，包括：第一图像传感器，该第一图像传感器被配置成获取第一图像；第二图像传感器，该第二图像传感器被配置成获取第二图像；以及控制器，该控制器被配置成基于第一图像和第二图像的颜色信息合成第一图像和第二图像，并且基于合成结果生成第三图像。

包括在第一图像中的区域的至少一部分和包括在第二图像中的区域的至少一部分可以彼此对应，并且控制器可以裁剪除了彼此对应的第一图像和第二图像的部分之外的剩余区域并且使用裁剪的第一和第二图像生成第三图像。

第二图像可以对应于第一图像的部分区域的变焦图像，并且控制器可以裁剪除了第一图像的部分区域之外的剩余区域。

在本发明的另一方面中，在此提供一种移动终端，包括：第一图像传感器，该第一图像传感器具有包括块的第一像素阵列，每个块包括红色像素、绿色像素和蓝色像素；第二图像传感器，该第二图像传感器具有包括块的第二像素阵列，每个块包括红色像素和蓝色像素中的至少一个和白色像素；显示单元，该显示单元被配置成显示从第一图像传感器和第二图像传感器中的至少一个获取的图像；以及控制器，该控制器被配置成控制第一图像传感器、第二图像传感器和显示单元的操作。

控制器可以基于从第一图像传感器获取的第一图像的颜色信息和从第二图像传感器获取的第二图像的颜色信息合成第一图像和第二图像，并且基于合成的结果生成第三图像。

移动终端还可以包括下述中的至少一个：存储器，该存储器被配置成存储所生成的第三图像；和通信单元，该通信单元被配置成将所生成的第三图像发送到外部。

有益效果

根据本发明的各种实施例，一种图像处理装置包括多个图像传感器，该多个图像传感器包括包含红色像素和蓝色像素中的至少一个以及白色像素的图像传感器。与通过一般RGB传感器获取的图像相比，由上述图像传感器获取的图像可以具有更高的亮度和分辨率。因此，当合成由多个图像传感器获取的图像时，图像处理装置能够生成更高质量的图像。

另外，由图像传感器获取的图像包括红色信息和蓝色信息。也就是说，与用于仅使用亮度信息执行图像合成的传统图像处理装置不同，根据本发明实施例的图像处理装置可以使用由多个图像传感器获取的图像的颜色信息来执行合成操作。因此，通过最小化合成图像的颜色误差，能够提高精度并且增加产品可靠性和用户满意度。

附图说明

图1是根据本发明的实施例的图像处理装置的示意性框图。

图2a是图示作为在图1中示出的图像处理装置的示例的移动终端的框图。

图2b和图2c是从不同方向看到的移动终端的一个示例的概念图。

图3和4是示出根据本发明的实施例的图像处理装置中包括的第一图像传感器和第二图像传感器的像素图案的图。

图5是图示根据本发明的实施例的操作图像处理装置的方法的流程图。

图6至图8是示意性地示出操作图5中示出的图像处理装置的方法的图。

图9是图示根据本发明的实施例的操作图像处理装置的方法的流程图。

图10至图13是详细地示出操作图9中所示的图像处理装置的方法的图。

具体实施方式

参考附图，现在将根据在此公开的示例性实施方式详细地给出描述。为了参考附图简要描述，相同的或者等效的组件可以被设有相同的附图标记，并且其描述将不会被重复。通常，诸如“模块”和“单元”的后缀可以被用于指代元件或者组件。这样的后缀的使用在此仅旨在有助于说明书的描述，并且后缀本身不旨在给予任何特殊的意义或者功能。在本公开中，为了简要，通常已经省略了在相关领域中对于普通技术人员来说公知的那些内容。附图被用于帮助容易地理解各种技术特征并且应理解附图不限制在此提出的实施方式。正因如此，本公开应被解释为延伸到除了在附图中特别陈述的之外的任何改变、等同物以及替代。

可以使用各种不同类型的终端实现在此提出的移动终端。这样的终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板式PC、平板PC、超级本、可佩戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。

仅通过非限制性示例，将会参考特定类型的移动终端进行进一步的描述。然而，这样的教导同等地应用于其它类型的终端，诸如在上面注明的那些类型。另外，这样的教导也可以被应用于诸如数字TV、桌上型计算机等等的固定终端。

在下文中，将参考附图详细描述本发明的实施例。

图1是根据本发明的实施例的图像处理装置的示意性框图。

参考图1，图像处理装置10可以意指如下的装置：其用于通过相机或网络获取图像数据，处理获取的图像数据以生成图像，并且通过网络将生成的图像输出或发送到外部。这样的图像处理装置10可以对应于各种电子装置、车辆或机器人，诸如移动终端、数码相机或CCTV。在一些情况下，图像处理装置10可以被理解为包括在各种电子装置、车辆或机器人中的一个组件。

例如，图像处理装置10可以包括通信单元11、第一图像传感器12A、第二图像传感器12B、显示单元13、存储器14和控制器15。图1中示出的组件在图像处理装置10的实现中不是强制性的，并且因此，图像处理装置10可以包括比上述组件更多或更少的组件。

通信单元11可以包括用于在图像处理装置10与各种外部通信装置或系统之间执行数据发送和接收的一个或多个模块。图像处理装置10可以通过通信单元11从外部接收图像，或者发送由图像处理装置10生成的图像。通信单元11可以包括支持无线通信方法和/或有线通信方法的至少一个模块。

第一图像传感器12A(或第一相机)和第二图像传感器12B(或第二相机)可以将光学图像转换为电图像。第一图像传感器12A和第二图像传感器12B可以由互补金属氧化物半导体(CMOS)图像传感器实现，但不限于此。

根据本发明的实施例，图像处理装置10可以包括具有不同性能或特性的第一图像传感器12A和第二图像传感器12B。例如，第一图像传感器12A和第二图像传感器12B在视角、像素图案或分辨率方面可以不同。在这种情况下，由第一图像传感器12A和第二图像传感器12B获取的图像可以相互不同。

控制器15可以处理由图像传感器12A和12B转换的电信号以获取图像。例如，控制器15可以从第一图像传感器12A和第二图像传感器12B获取图像。另外，控制器15可以合成从第一图像传感器12A和第二图像传感器12B获取的不同图像以生成一个合成图像。在这种情况下，生成的合成图像的质量可以高于从第一图像传感器12A和第二图像传感器12B获取的每个图像的质量。稍后将参考图3至图13描述其各种实施例。

控制器15可以由CPU或应用处理器(AP)实现，或者可以包括在CPU或AP中。然而，控制器15不限于上述配置，并且可以由独立于CPU或AP提供的芯片(例如，数字信号处理器(DSP)、图像信号处理器(ISP)、图形处理单元(GPU)等)实现。

图像处理装置10可以通过显示单元13显示所获取的图像，并且将所获取的图像存储在存储器14中。在一些实施例中，图像处理装置10可以通过通信单元11将所获取的图像发送到外部。

将参考图2a更详细地描述通信单元11、显示单元13和存储器14。

将参考图2a至图2c描述作为图像处理装置10的示例的移动终端。

参考图2a至图2c，图2a是图示作为在图1中示出的图像处理装置的一个示例的移动终端的框图，并且图2b和图2c是示出当从不同方向观看时关于图2a描述的移动终端的一个示例的图。

可以使用各种不同类型的终端实现在此提出的移动终端。这样的终端的示例包括蜂窝电话、智能电话、用户装置、膝上型计算机、数字广播终端、个人数字助手(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板式PC、平板PC、超级本、可佩戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。

仅通过非限制性示例，将会参考特定类型的移动终端进行进一步的描述。然而，这样的教导同等地应用于其它类型的终端，诸如在上面注明的那些类型。另外，这样的教导也可以被应用于诸如数字TV、桌上型计算机等等的固定终端。

示出移动终端100，其具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180以及电源单元190的各种组件。要理解的是，不要求实现所有图示的组件，并且可以替换地实现更多或者更少的组件。

无线通信单元110通常包括允许诸如移动终端100和无线通信系统之间的无线通信、移动终端100和另一移动终端之间的通信、移动终端100和外部服务器之间的通信的通信的一个或多个模块。此外，无线通信单元110通常包括将移动终端100连接到一个或多个网络的一个或多个模块。

为了有助于这样的通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及位置信息模块115中的一个或者多个。

输入单元120包括：用于获得图像或者视频的相机121；麦克风122，该麦克风122是一种用于输入音频信号的音频输入装置；以及用于允许用户输入信息的用户输入单元123(例如，触摸键、推动键、机械键、软键等等)。数据(例如，音频、视频、图像等等)通过输入单元120来获得并且可以根据设备参数、用户命令以及其组合通过控制器180来分析和处理。

通常使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等等的一个或者多个传感器实现感测单元140。例如，在图2a中，示出具有接近传感器141和照度传感器142的感测单元140。

如果需要，感测单元140可以可替选地或者另外包括其它类型的传感器或者设备，诸如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池量表、环境传感器(例如，气压计、湿度计、温度计、辐射监测传感器、热传感器、以及气体传感器等)、以及化学传感器(例如，电子鼻、医疗传感器、生物传感器等等)，仅举几例。移动终端100可以被配置成利用从感测单元140获得的信息，并且特别地，从感测单元140的一个或者多个传感器及其组合获得的信息。

输出单元150通常被配置成输出诸如音频、视频、触觉输出等等的各种类型的信息。示出具有显示单元151、音频输出模块152、触觉模块153、以及光学输出模块154的输出单元150。

显示单元151可以具有带有触摸传感器的层间结构或者集成结构以便于促成触摸屏幕。触摸屏幕可以在移动终端100和用户之间提供输出接口，并且用作在移动终端100和用户之间提供输入接口的用户输入单元123。

接口单元160用作能够被耦合到移动终端100的各种类型的外部装置的接口。例如，接口单元160可以包括任何有线或者无线端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。在一些情况下，响应于被连接到接口单元160的外部装置，移动终端100可以执行与被连接到的外部装置相关联的各种控制功能。

存储器170通常被实现为存储数据以支持移动终端100的各种功能或者特征。例如，存储器170可以被配置成存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或者指令等等。经由无线通信可以从外部服务器下载这些应用程序中的一些。在制造或者装运时其它的应用程序可以被安装在移动终端100内，其通常是用于移动终端100的基本功能(例如，接听电话、拨打电话、接收消息、发送消息等等)的情况。通常，应用程序被存储在存储器170中、安装在移动终端100中，并且通过控制器180执行以执行用于移动终端100的操作(或者功能)。

除了与应用程序相关联的操作之外，控制器180通常用作控制移动终端100的整体操作。控制器180可以通过处理通过在图2a中描绘的各种组件输入或者输出的信号、数据、信息等等，或者激活被存储在存储器170中的应用程序来提供或者处理适合于用户的信息或者功能。

作为一个示例，根据已经存储在存储器170中的应用程序的执行，控制器180控制在图2a中图示的一些或所有组件。此外，控制器180可以通过组合包括在移动终端100中的至少两个组件来操作，以执行应用程序。

电源单元190能够被配置成接收外部电力或者提供内部电力以便于供应对于操作被包括在移动终端100中的元件和组件所要求的适当的电力。电源单元190可以包括电池，并且电池可以被配置成被嵌入在终端主体中，或者被配置成从终端主体可拆卸。

在下文中，在描述通过上述移动终端100实现的各种实施例之前，将利用图2a更详细地描述上述组件。

关于无线通信单元110，广播接收模块111通常被配置成经由广播信道从外部广播管理实体接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、陆地信道、或者两者。在一些实施例中，可以利用两个或者更多个广播接收模块111以有助于同时接收两个或者更多个广播信道，或者支持广播信道当中的切换。

广播管理实体可以是生成和发送广播信号和/或广播相关信息的服务器、或者接收事先生成的广播信号和/或者广播相关信息的服务器，将这样的项目发送到移动终端。

广播信号可以使用任何TV广播信号、无线电广播信号、数据广播信号、以及其组合等等来实现。在一些情况下，广播信号可以进一步包括与TV或者无线电广播信号相结合的数据广播信号。

可以根据各种技术标准或者广播方法(例如，国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等等)中的任意一个编码广播信号，用于数字广播信号的发送和接收。广播接收模块111能够使用适合于被利用的传输方法的方法接收数字广播信号。

广播相关信息的示例可以包括与广播频道、广播节目、广播事件、广播服务提供商等等相关联的信息。也可以经由移动通信网络提供广播相关信息，并且在这样的情况下，通过移动通信模块112接收。

可以以各种格式实现广播相关信息。例如，广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等。经由广播接收模块111接收到的广播信号和/或广播相关信息可以被存储在合适的设备，诸如存储器170中。

移动通信模块112能够将无线信号发送到一个或者多个网络实体并且/或者从一个或者多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等等。这样的网络实体形成移动通信网络的一部分，其根据用于移动通信(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA 2000(码分多址2000)、EV-DO(增强的语音数据优化或者仅增强的语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级长期演进(LTE-A)等等)的技术标准或者通信方法构造。无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号、或者各种格式的数据以支持文本和多媒体消息的通信。

无线互联网模块113被配置成有助于无线互联网接入。此模块可以被内部地或者外部地耦合到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络发送和/或接收无线信号。

这样的无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级LTE(LTE-A)等等。无线互联网模块113可以根据一个或者多个这样的无线互联网技术，或者其它的互联网技术发送/接收数据。

在一些实施例中，当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等等作为移动通信网络的一部分实现无线互联网接入时，无线互联网模块113执行这样的无线互联网接入。正因如此，无线互联网模块113可以与移动通信模块112协作，或者用作移动通信模块112。

短程通信模块114被配置成有助于短程通信。适合于实现这样的短程通信的技术包括：蓝牙(BLUETOOTHTM)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBeeTM)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等等。经由无线局域网，短程通信模块114通常支持在移动终端100和无线通信系统之间的无线通信，在移动终端100和另一移动终端100之间的通信、或者在移动终端和另一移动终端100(或者外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线个人域网。

在一些实施例中，另一移动终端(可以类似于移动终端100配置)可以是可佩戴设备，例如，智能手表、智能眼镜或者头戴式显示器(HMD)，其能够与移动终端100交换数据(或者以其它方式与移动终端100协作)。短程通信模块114可以感测或者识别可佩戴设备，并且允许在可佩戴设备和移动终端100之间的通信。另外，当感测到的可佩戴设备是被授权与移动终端100通信的设备时，例如，控制器180可以使在移动终端100中处理的数据的至少一部分经由短程通信模块114传输到可佩戴设备。因此，可佩戴设备的用户可以在可佩戴设备上使用在移动终端100中处理的数据。例如，当在移动终端100中接收到呼叫时，用户可以使用可佩戴设备应答呼叫。而且，当在移动终端100中接收到消息时，用户能够使用可佩戴设备检查接收到的消息。

位置信息模块115通常被配置成检测、计算、导出或者以其它方式识别移动终端的位置。作为示例，位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块、或者两者。如有必要，位置信息模块115可以与无线通信单元110的任何其它模块交替地或者附加地运行以获得与移动终端的位置有关的数据。

作为一个示例，当移动终端使用GPS模块时，可以使用从GPS卫星发送的信号获取移动终端的位置。作为另一示例，当移动终端使用Wi-Fi模块时，能够基于将无线信号发送到Wi-Fi模块或者从Wi-Fi模块接收无线信号的无线接入点(AP)有关的信息获取移动终端的位置。

输入单元120可以被配置成允许对移动终端120的各种类型的输入。这样的输入的示例包括音频、图像、视频、数据、以及用户输入。使用一个或者多个相机121经常获得图像和视频输入。这样的相机121可以处理在视频或者图像捕获模式下通过图像传感器获得的静止图片或者视频的图像帧。被处理的图像帧能够被显示在显示单元151上或者被存储在存储器170中。在一些情况下，相机121可以以矩阵结构排列以允许具有多个角度或者焦点的多个图像被输入到移动终端100。作为另一示例，相机121可以位于立体排列以获取用于实现立体图像的左图像和右图像。

麦克风122通常被实现为允许将音频输入到移动终端100。根据在移动终端100中执行的功能能够以各种方式能够处理音频输入。如有必要，麦克风122可以包括各种噪声去除算法以去除在接收外部音频信号的过程中产生的不想要的噪声。

用户输入单元123是允许用户输入的组件。这样的用户输入可以使控制器180能够控制移动终端100的操作。用户输入单元123可以包括机械输入元件中的一个或者多个(例如，机械键、位于移动终端100的前和/或后表面或者侧表面上的按钮、薄膜开关、滚动轮、滚动开关等等)、或者触摸灵敏的输入元件等等。作为一个示例，触摸灵敏的输入可以是通过软件处理被显示在触摸屏上的虚拟键或者软键或者视觉键、或者位于在除了触摸屏之外的位置处的移动终端上的触摸键。另一方面，虚拟键或者视觉键可以以例如，图形、文本、图标、视频、或者其组合的各种形状显示在触摸屏上。

感测单元140通常被配置成感测移动终端的内部信息、移动终端的周围环境信息、用户信息等等中的一个或者多个。控制器180通常与感测单元140协作以基于由感测单元140提供的感测来控制移动终端100的操作或执行与被安装在移动终端中的应用程序相关联的数据处理、功能或者操作。使用任何种类的传感器可以实现感测单元140，现在将会更加详细地描述其中的一些。

接近传感器141可以包括在没有机械接触的情况下通过使用磁场、红外线等等感测接近表面的对象、或者位于表面附近的对象的存在或者不存在的传感器。接近传感器141可以被布置在通过触摸屏覆盖的移动终端的内部区域处，或者触摸屏附近。

例如，接近传感器141可以包括任何透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等等。当触摸屏被实现为电容型时，接近传感器141能够通过电磁场响应于具有导电性的对象的接近的变化来感测指示器相对于触摸屏的接近。在这样的情况下，触摸屏(触摸传感器)也可以被归类成接近传感器。

术语“接近触摸”将会在此被经常引用以表示其中指示器被定位为接近触摸屏而没有接触触摸屏的场景。术语“接触触摸”将会在此被经常引用以表示其中指示器物理接触触摸屏的场景。对于与指示器相对于触摸屏的接近触摸相对应的位置，这样的位置将会对应于其中指示器垂直于触摸屏的位置。接近传感器141可以感测接近触摸，和接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等等)。

通常，控制器180处理与通过接近传感器141感测到的接近触摸和接近触摸模式相对应的数据，并且使在触摸屏上能够输出视觉信息。另外，根据是否相对于触摸屏上的点的触摸是接近触摸或者接触触摸，控制器180能够控制移动终端100执行不同的操作或者处理不同的数据。

使用任何各种触摸方法，触摸传感器能够感测被施加到诸如显示单元151的触摸屏的触摸(或者触摸输入)。这样的触摸方法的示例包括电阻型、电容型、红外型、以及磁场型等等。

作为一个示例，触摸传感器可以被配置成将被施加到显示单元151的特定部分的压力的变化转换成电输入信号，或者将在显示单元151的特定部分处出现的电容转换成电输入信号。触摸传感器也可以被配置成不仅感测被触摸的位置和被触摸的区域，而且感测触摸压力和/或触摸电容。触摸对象通常被用于将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、触笔、指示器等等。

当通过触摸传感器感测触摸输入时，相对应的信号可以被传送到触摸控制器。触摸控制器可以处理接收到的信号，并且然后将相对应的数据传送到控制器180。因此，控制器180可以感测已经触摸显示单元151的哪一个区域。在此，触摸控制器可以是与控制器180分离的组件、控制器180、或者其组合。

在一些实施例中，控制器180可以根据触摸了触摸屏或者除了触摸屏之外被设置的触摸键的一种触摸对象执行相同或者不同的控制。例如，基于移动终端100的当前操作状态或者当前执行的应用程序，可以决定根据提供触摸输入的对象是否执行相同或者不同的控制。

触摸传感器和接近传感器可以被单独地或者组合实现，以感测各种类型的触摸。这样的触摸包括短(或者轻敲)触摸、长触摸、多触摸、拖动触摸、轻击触摸、捏缩触摸、捏放触摸、滑动触摸、悬停触摸等等。

如有必要，超声传感器可以被实现以使用超声波识别与触摸对象有关的位置信息。例如，控制器180可以基于通过照明传感器和多个超声传感器感测到的信息计算波生成源的位置。因为光比超声波快得多，所以光到达光学传感器的时间远远比超声波到达超声传感器的时间短。使用此事实可以计算波生成源的位置。例如，可以基于光作为参考信号使用与超声波到达传感器的时间的时间差计算波生成源的位置。

已经被描述为输入单元120的组件的相机121通常包括至少一个相机传感器(CCD、CMOS等等)、光传感器(或者图像传感器)、以及激光传感器。

实现具有激光传感器的相机121可以允许相对于3D立体图像的物理对象的触摸的检测。光传感器可以被层压在显示设备上，或者与显示设备重叠。光传感器可以被配置成扫描接近触摸屏的物理对象的移动。更加详细地，光传感器可以包括在行和列处的光电二极管和晶体管以使用根据被施加的光的量改变的电信号扫描在光传感器处接收到的内容。即，光传感器可以根据光的变化计算物理对象的坐标从而获得物理对象的位置信息。

显示单元151通常被配置成输出在移动终端100中处理的信息。例如，显示单元151可以显示在移动终端100处执行的应用程序的执行屏幕信息或者响应于屏幕执行信息的用户界面(UI)和图形用户界面(GUI)信息。

在一些实施例中，显示单元151可以被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等等。

通常，3D立体图像可以包括左图像(例如，左眼图像)和右图像(例如，右眼图像)。根据如何将左和右图像组合成3D立体图像，3D立体成像方法能够被划分为其中左和右图像位于帧中的上和下的上下方法、其中左和右图像位于帧中的左右的左到右(左到右或者并排)方法、其中左和右图像以贴片的形式定位的棋盘方法、其中左和右图像通过和行可替选地放置的隔行扫交错方法、以及其中基于时间左和右图像被交替地显示的时间序列(或者逐帧)的方法。

而且，至于3D缩略图图像，从原始的图像帧的左图像和右图像能够分别产生左图像缩略图和右图像缩略图，并且然后被组合以产生单个3D缩略图图像。通常，术语“缩略图”可以被用于指代被缩小的图像或者被缩小的静止图像。通过与屏幕上的左图像和右图像之间的视差相对应的深度，利用其间的水平距离差可以显示被产生的左图像缩略图和右图像缩略图，从而提供立体空间感。

使用立体处理单元可以在立体显示单元上显示用于实现3D立体图像所需的左图像和右图像。立体处理单元能够接收3D图像并且提取左和右图像，或者能够接收2D图像并且将其变成左图像和右图像。

音频输出模块152通常被配置成输出音频数据。可以从任何数量的不同的源获得这样的音频数据，使得可以从无线通信单元110接收音频数据或者可以已经将其存储在存储器170中。可以在诸如信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等等的模式期间输出音频数据。音频输出模块152能够提供与由移动终端100执行的特定功能(例如，呼叫信号接收声音、消息接收声音等等)有关的音频输出。音频输出模块152也可以被实现为接收器、扬声器、蜂鸣器等等。

触觉模块153能够被配置成产生用户能够感觉、感知、或者以其它方式体验的各种触觉效果。通过触觉模块153产生的触觉效果的典型示例是振动。能够通过用户选择或者通过控制器进行设置来控制通过触觉模块155产生的振动的强度、模式等等。例如，触觉模块153可以以组合的方式或者顺序的方式输出不同的振动。

除了振动之外，触觉模块153还能够生成各种其它的触觉效果，包括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等等。

触觉模块153也能够被实现为允许用户通过诸如用户的手指或者手臂的肌肉感觉来感觉触觉效果，以及通过直接接触传递触觉效果。根据移动终端100的特定配置也可以设置两个或者更多个触觉模块153。

光学输出模块154能够使用光源的光输出用于指示事件产生的信号。在移动终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等等。

也可以以移动终端发射单色光或者具有多种颜色的光的方式实现通过光学输出模块154输出的信号。例如，当移动终端感测用户已经检查了产生的事件时信号输出可以被结束。

接口单元160用作用于要连接到移动终端100的外部设备的接口。例如，接口单元160能够接收从外部设备发送的数据，接收电力以传送到移动终端100内的元件和组件，或者将移动终端100的内部数据发送到这样的外部设备。接口单元160可以包括有线或者无线头戴式受话器端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。

标识模块可以是存储用于认证使用移动终端100的权限的各种信息的芯片并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、通用订户标识模块(USIM)等等。另外，具有标识模块的设备(在此也被称为“识别设备”)可以采用智能卡的形式。因此，识别设备经由接口单元160能够与终端100相连接。

当移动终端100与外部托架相连接时，接口单元160能够用作允许电力从托架供应到移动终端100的通道或者可以用作允许用户从托架输入的各种命令信号传递到移动终端的通道。从托架输入的各种命令信号或者电力可以作为用于识别移动终端被正确地安装在托架上的信号操作。

存储器170能够存储程序以支持移动终端180的操作并且存储输入/输出数据(例如，电话簿、消息、静止图像、视频等等)。存储器170可以存储与响应于触摸屏上的触摸输入输出的各种模式的振动和音频有关的数据。

存储器170可以包括一种或者多种类型的存储介质，包括闪存型、硬盘型、固态盘(SSD)型、硅盘驱动(SSD)型、多媒体卡式、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等等。也可以关于在诸如互联网的网络上执行存储器170的存储功能的网络存储设备操作移动终端100。

控制器180通常可以控制与应用程序有关的操作和移动终端100的一般操作。例如，当移动终端的状态满足预设条件时控制器180可以设置或者释放用于限制用户输入与应用有关的控制命令的锁定状态。

控制器180也能够执行与语音呼叫、数据通信、视频呼叫等等相关联的控制和处理，或者执行模式识别处理以将在触摸屏上执行的手写输入或者绘图输入分别识别为字符或者图像。另外，控制器180能够控制这些组件中的一个或者组合以便于实现在此公开的各种示例性实施例。

电源单元190接收外部电力或者提供内部电力并且供应对于操作被包括在移动终端100中的各个元件和组件所需的适当的电力。电源单元190可以包括电池，该电池通常是可充电的或者可拆卸地耦合到终端主体，用于充电。

电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例，用于供应电力以对电池再充电的外部充电器被电气地连接到该接口单元160。

作为另一示例，电源单元190可以被配置成在没有使用连接端口的情况下以无线的方式对电池再充电。在本示例中，使用以磁感应为基础的感应耦合方法或者以电磁谐振为基础的电磁谐振耦合方法，电源单元190能够接收从外部无线电力发射器传递的电力。

可以使用例如软件、硬件、或者其任何组合，以计算机可读介质、机器可读介质、或者类似介质实现在此描述的各种实施例。

参考图2b和图2c，参考直板式终端主体，描述移动终端100。然而，移动终端100可以可替选地以各种不同的配置中的任意一种来实现。这样的配置的示例包括手表式、夹式、眼镜型、或者折叠式、翻盖式、滑盖式、摇摆式、旋转式等的各种结构，其中两个或者更多个主体以相对可移动的方式被相互组合。这里的讨论通常涉及特定类型的移动终端(例如，直板式、手表式、眼镜式等)。然而，关于特定类型的移动终端的这种教导通常也将适用于其他类型的移动终端。

终端主体可以被理解为将移动终端100称为至少一个组件的概念。

移动终端100可以包括形成终端的外观的壳体(外壳、外罩、盖等)。在本实施例中，壳体使用前壳体101和后壳体102形成。各种电子组件可以被合并在前壳体101和后壳体102之间形成的空间中。至少一个中间壳体可以被附加地布置在前壳体和后壳体101和102之间。

显示单元151被示出位于终端主体的前表面上以输出信息。如所图示的，显示单元151的窗口151a能够被安装到前壳体101使得与前壳体101一起形成终端主体的前表面。

在一些情况下，电子组件也可以被安装到后壳体102。被安装到后壳体102的这样的电子组件的示例可以包括可拆卸的电池、标识模块、存储卡等。在此，用于覆盖被安装的电子组件的后盖103可以被可拆卸地耦合到后壳体102。因此，当从后壳体102拆卸后盖103时，被安装到后壳体102的电子组件可以被外部地暴露。

如所图示的，当后盖103被耦合到后壳体102时，后壳体102的侧表面可以被部分地暴露。在一些情况下，在耦合时，后壳体102也可以被后盖103完全地遮盖。在一些实施例中，后盖103可以包括用于外部地暴露相机121b或者音频输出模块152b的开口。

壳体101、102、103可以通过注入成型合成树脂形成或者可以由例如不锈钢(STS)、钛(Ti)等的金属形成。

作为多个壳体形成用于容纳各种组件的内部空间的示例的替代，移动终端100可以被配置使得一个壳体形成内部空间。在本实例中，以合成树脂或者金属从侧表面延伸到后表面的形式形成具有一体的移动终端100。

如有必要，移动终端100可以包括防水单元(未示出)，用于防止水引入到终端主体。例如，防水单元可以包括防水构件，其位于窗口151a和前壳体101之间、前壳体101和后壳体102之间、或者后壳体102和后盖103之间，当这些壳体被耦合时密闭地密封内部空间。

移动终端可以包括显示单元151、第一和第二音频输出模块152a和152b、接近传感器141、照明传感器142、光学输出模块154、第一和第二相机121a和121b、第一和操纵单元123a和123b、麦克风122、接口单元160等。

将会描述如图2b和图2c所示的移动终端100，显示单元151、第一音频输出模块152a、接近传感器141、照度传感器142、光学输出模块154、第一相机121a以及第一操纵单元123a被布置在终端主体的前表面上，第二操纵单元123b、麦克风122以及接口单元160被布置在终端主体的侧表面上，并且第二音频输出模块151b和第二相机121b被布置在终端主体的后表面上。

然而，要理解的是，替代布置是可能的并且处于本公开的教导内。一些组件可以被省略或重新布置。例如，第一操纵单元123a可以不被布置在终端主体的前表面上，并且第二音频输出模块152b可以被布置在除了终端主体的后表面之外的侧表面上。

显示单元151能够输出在移动终端100中处理的信息。例如，显示单元151可以使用一个或多个适合的显示设备来实现。

这类显示单元151的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器、以及其组合。

可以使用实现相同或不同显示技术的两个显示设备来实现显示单元151。例如，多个显示单元151可以被布置在一个侧面上，相互分开，或者这些设备可以被集成，或者这些设备可以被布置在不同的表面上。

显示单元151可以包括触摸传感器，该触摸传感器感测在显示单元上接收到的触摸输入。当触摸被输入到显示单元151时，触摸传感器可以被配置成感测此触摸，并且控制器180例如可以生成与触摸相对应的控制命令或其他信号。以触摸方式输入的内容可以是文本或者数值，或者能够以各种模式指示或者指定的菜单项目。

触摸传感器可以以具有触摸图案的膜的形式配置，其被布置在窗口151a和窗口151a的后表面上的显示器之间，或者触摸传感器可以是金属线，其被直接地构图在窗口151a的后表面上。可替选地，触摸传感器可以与显示器集成地形成。例如，触摸传感器可以被布置在显示器的基板上或者显示器内。

显示单元151也可以与触摸传感器一起形成触摸屏。在此，触摸屏可以用作用户输入单元123(参见图2a)。因此，触摸屏可以替换第一操纵单元123a的功能中的至少一些。

可以以用于输出语音音频、报警声音、多媒体音频再生等的扬声器的形式实现第一音频输出模块152a。

显示单元151的窗口151a通常将包括用于允许由第一音频输出模块152a产生的声音通过的孔。一个替代是允许音频沿着结构主体之间的组装间隙(例如，在窗口151a和前壳体101之间的间隙)释放。在这种情况下，被独立地形成以输出音频声音的孔可以不被看到或者在外观上以其它方式被隐藏，从而进一步简化移动终端100的外观。

光学输出模块154可以被配置为输出用于指示事件产生的光。这样的事件的示例包括消息接收、呼叫信号接收、未接来电、报警、日程表通知、电子邮件接收、通过应用的信息接收等。当用户已经查看了所生成的事件时，控制器可以控制光学输出单元154以停止光输出。

第一相机121可以处理诸如在视频呼叫模式或者捕获模式下通过图像传感器获得的静止或者运动图像的视频帧。被处理的图像帧可以被显示在显示单元151上或者被存储在存储器170中。

第一和第二操纵单元123a和123b是用户输入单元123的示例，通过用户可以对其进行操纵以将输入提供给移动终端100。第一和第二操纵单元123a和123b也可以被统称为操纵部分，并且可以采用允许用户执行诸如触摸、推动、滚动等等的操纵的任何触觉方法。第一和第二操纵单元123a和123b也可以采用允许用户执行诸如接近触摸、悬停等等的操纵的任何非触觉的方法。

图2b图示作为触摸键的第一操纵单元123a，但是可能的替选包括机械键、推动键、触摸键以及其组合。

可以以各种方式使用在第一和第二操纵单元123a和123b处接收到的输入。例如，用户可以使用第一操纵单元123a以将输入提供给菜单、主屏键、取消、搜索等等，并且用户可以使用第二操纵单元123b提供输入以控制从第一或者第二音频输出模块152a或者152b输出的音量级，切换到显示单元151的触摸识别模式等等。

作为用户输入单元123的另一示例，后输入单元可以位于终端主体的后表面上。用户能够操纵后输入单元以将输入提供给移动终端100。可以以各种不同的方式使用输入。例如，用户可以使用后输入单元以提供用于从第一或者第二音频输出模块152a或者152b输出的电源开/关、开始、结束、滚动、控制音量级的输入，切换到显示单元151的触摸识别模式等等。后输入单元可以被配置成允许触摸输入、推动输入或者其组合。

后输入单元可以被布置为在终端主体的厚度方向中重叠前表面的显示单元151。作为一个示例，后输入单元可以被布置在终端主体的后表面的上端部分上，使得当用户使用一只手抓握终端主体时用户能够使用食指容易地操纵它。可替选地，后输入单元能够被定位在终端主体的后侧的至多任何位置处。

包括后输入单元的实施例可以实现后输入单元中的第一操纵单元123a的功能的一些或者全部。正因如此，在其中从前侧省略第一操纵单元123a的情形下，显示单元151能够具有更大的屏幕。

作为又一个选择，移动终端100可以包括手指扫描传感器，该手指扫描传感器扫描用户的指纹。控制器180然后可以使用通过手指扫描传感器感测的指纹信息作为认证过程的一部分。手指扫描传感器可以被安装在显示单元151或者实现在用户输入单元123中。

示出麦克风122位于移动终端100的末端处，但是其它的位置是可能的。如有必要，多个麦克风可以被实现，利用这样的布置允许接收立体声音。

接口单元160可以用作允许移动终端100与外部设备交换数据的路径。例如，接口单元160可以包括用于连接到另一装置(例如，耳机、外部扬声器等)的连接终端、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于将电力供应到移动终端100的电源终端中的一个或多个。接口单元160可以以用于容纳诸如订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡的外部卡的插槽的形式实现。

示出第二相机121b位于终端主体的后侧处，并且包括与第一相机单元121a的图像捕获方向大体上相反的图像捕获方向。如有必要，第二相机121b可以可替选地位于其它的位置，或者使其可移动，以便于具有不同于被示出的图像捕获方向。

第二相机121b可以包括沿着至少一条线布置的多个透镜。多个透镜也可以以矩阵结构布置。相机可以被称为“阵列相机”。当第二相机121b被实现为阵列相机时，可以使用多个透镜以各种方式捕获图像并且可以获得具有更好的质量的图像。

如在图2c中所示，示出闪光灯124与第二相机121b相邻。当通过相机121b捕获主题的图像时，闪光灯124可以照明主题。如在图2b中所示，第二音频输出模块152b能够位于终端主体上。第二音频输出模块152b可以结合第一音频输出模块152a实现立体声功能，并且也可以被用于实现用于呼叫通信的扬声器电话模式。

用于无线通信的至少一个天线可以位于终端主体上。天线可以被安装在终端主体中或者通过壳体形成。例如，配置广播接收模块111的一部分的天线可以缩回到终端主体中。可替选地，使用被附接到后盖103的内表面的膜，或者包括导电材料的壳体，可以形成天线。

用于将电力供应到移动终端100的电源单元190可以包括电池191，该电池191被安装在终端主体中或者可拆卸地耦合到终端主体的外部。

电池191可以经由连接到接口单元160的电源电缆接收电力。而且，使用无线充电器以无线方式能够对电池191充电。通过电磁感应或者电磁谐振可以实现无线充电。

示出后盖103，其被耦合到用于屏蔽电池191的后壳体102，以防止电池191的分离，并且保护电池191免受外部冲击或者外来物质的破坏。当从终端主体可拆卸电池191时，后壳体103可以被可拆卸地耦合到后壳体102。

用于保护外观或者协助或者扩展移动终端100的功能的附件也可以被设置在移动终端100上。作为附件的一个示例，可以提供用于覆盖或者容纳移动终端100的至少一个表面的盖或者袋。盖或者袋可以与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于协助或者扩展对触摸屏的触摸输入的触摸笔。

图3和4是示出根据本发明的实施例的图像处理装置中包括的第一图像传感器和第二图像传感器的像素图案的图。

如参考图1在上面所描述的，图像处理装置10可以包括具有不同性能或特性的第一图像传感器12A和第二图像传感器12B。图像处理装置10的控制器15可以合成从第一图像传感器12A获取的第一图像和从第二图像传感器12B获取的第二图像以生成具有改善的质量的图像。

在现有技术中，图像处理装置包括由彩色图像传感器实现的第一图像传感器和由单色图像传感器实现的第二图像传感器。在这种情况下，可以合成由彩色图像传感器获取的彩色图像和由具有比彩色图像传感器更大l的接收光量的单色图像传感器获取的单色图像以在低亮度条件下提供更亮的图像。

同时，由于物理限制，图像处理装置中提供的彩色图像传感器和单色图像传感器的位置彼此不同。因此，因为图像传感器具有不同的视点，所以在由图像传感器生成的彩色图像和单色图像之间出现视差。

因为单色图像仅具有亮度信息，所以图像处理装置仅使用两个图像的亮度信息来执行视差校正和合成。因此，可能降低视差校正的精度，并且，结果，在合成图像的一部分中可能发生颜色误差，从而降低图像的质量。

另外，因为第一图像传感器和第二图像传感器接收的光量彼此不同，所以第一图像和第二图像在相同区域的亮度信息(亮度值)中可以不同。因此，当图像处理装置使用亮度信息执行视差校正时，因为进一步考虑两个图像之间的亮度信息的差异，所以能够降低处理速度。

根据本发明的实施例，图像处理装置10包括具有特殊像素图案的图像传感器而不是单色图像传感器，从而防止当合成图像时产生的颜色误差并提高处理速度。

参考图3，第一图像传感器12A的第一像素阵列PA1和第二图像传感器12B的第二像素阵列PA2可以彼此不同。也就是说，第一图像传感器12A和第二图像传感器12B可以具有不同的像素图案。

第一图像传感器12A的第一像素阵列PA1可以包括块，每个块具有2×2像素的尺寸并且具有以顺时针方向排列的红色像素R、绿色像素G、蓝色像素B和绿色像素G。也就是说，第一图像传感器12A的像素排列可以对应于一般RGB传感器的像素排列。

在一般RGB传感器中，红色像素可以仅将红光透射到传感器中，绿色像素可以仅将绿光透射到传感器中，并且蓝色像素可以仅将蓝光透射到传感器中。因此，可以获取更准确的颜色值，但是在低亮度条件下可能降低接收到的光量，从而减少图像的亮度和分辨率。

相比之下，第二图像传感器12B的第二像素阵列PA2可以包括块，每个块具有2×2像素的尺寸并且具有以顺时针方向排列的红色像素R、白色像素W、蓝色像素B和白色像素W。也就是说，第二图像传感器12B的像素排列可以与RGB传感器的不同。

白色像素不包括滤色片并且可以将光透射到传感器中。因此，第二图像传感器12B可以获取具有比第一图像传感器12A更高的亮度和分辨率的图像。

参考图4，第二图像传感器12B的第三像素阵列PA3可以具有数量大于图2的第二像素阵列PA2的白色像素W的数量的白色像素W。因此，图4的第二图像传感器12B可以获得具有比图3的第二图像传感器12B更高的亮度和分辨率的图像。

参考如图4中所示的第三像素阵列PA3，具有2×2像素大小的每个块可以包括一个颜色像素(R或B)和三个白色像素W。颜色像素可以形成在块的任意位置。

另外，包括在水平方向和垂直方向上相邻的块中的颜色像素可以彼此不同。例如，如果第一块B1包括红色像素R，则位于第一块B1右侧的第二块B2和位于第一块下方的第三块B3可以包括蓝色像素B。

第三像素阵列PA3的形状不限于图4中所示的实施例，并且可以增加第三像素阵列PA3中包括的白色像素W的数量。

也就是说，在图3的第二像素阵列PA2和图4的第三像素阵列PA3中，包括在第二图像传感器12B中的像素阵列的每个块可以包括红色像素R和蓝色像素B中的至少一个和至少两个白色像素W。

尽管未示出，但是在一些实施例中，第一图像传感器12A和第二图像传感器12B可以具有不同的视角。例如，第二图像传感器12B的视角可以小于第一图像传感器12A的视角。在这种情况下，第二图像传感器12B可以用作变焦相机。

在下文中，将会参考图5至图13描述使用其中图3或者图4中示出的像素图案被形成的第一图像传感器12A和第二图像传感器12B来操作图像处理装置10的方法的各种实施例。在以下实施例中，图像处理装置10从第一图像传感器12A和第二图像传感器12B获取第一图像和第二图像，并合成所获取的第一和第二图像，从而生成第三图像。

然而，在一些情况下，图像处理装置10可以通过通信单元11从外部设备(相机)获取第一图像和第二图像，并且合成所获取的第一和第二图像，从而生成第三图像。

图5是图示根据本发明的实施例的操作图像处理装置的方法的流程图。

参考图5，图像处理装置10可以从第一图像传感器12A获取第一图像(S100)并且从第二图像传感器12B获取第二图像(S110)。

可以同时获取第一图像和第二图像，但不限于此。

如上所述，因为第一图像传感器12A和第二图像传感器12B的像素图案彼此不同，所以获取的第一图像和第二图像可以彼此不同。具体地，因为第二图像传感器12B包括白色像素W，所以第二图像可以具有比第一图像更高的亮度和分辨率。相比之下，因为第二图像传感器12B不包括绿色像素G并且使用亮度信息、红色信息和蓝色信息通过软件校正来恢复绿色。因此，第二图像可以具有比第一图像低的颜色精度。

图像处理装置10可以匹配第一图像和第二图像的显示区域(S120)。

由于第一图像传感器12A和第二图像传感器12B之间的视点或视角的差异，第一图像和第二图像的显示区域可以彼此不同。在这种情况下，包括在第一图像中的至少一部分和包括在第二图像中的至少一部分可以彼此对应(或者公共区域)。因为当合成图像时不能改善第一图像和第二图像中不共同包括的区域的质量，所以控制器15可以裁剪第一图像和第二个图像中的至少一个的没有被共同包括的区域。

图像处理装置10可以使用其显示区域匹配的第一图像和第二图像的每块颜色信息来匹配彼此对应的块(S130)。

因为第一图像传感器12A和第二图像传感器12B中的每一个包括彩色像素，所以由第一图像传感器12A和第二图像传感器12B获取的第一图像和第二图像可以具有颜色信息。

控制器15可以使用第一图像和第二图像的每块颜色信息来匹配彼此对应的块。

每块颜色信息意指从包括在图像传感器的像素阵列中的每个块获取的颜色信息。可以使用块中包括的颜色像素(R、G或B)的像素值来获取每块颜色图像，或者使用块中包含的颜色像素的像素值的统计值(例如，平均值等)来获取每块颜色图像。块可以具有2×2像素的像素大小，但不限于此，并且可以具有预定的像素大小。

另外，彼此对应的块可以意指包括在第一图像传感器12A的像素阵列中的块和包括在第二图像传感器12B的像素阵列中的块具有关于相同区域的信息。

具体地，因为第二图像传感器12B包括红色像素R和蓝色像素B，所以控制器15可以使用每个块的红色信息(例如，每个块的红色的统计值)和/或每个块的蓝色信息(例如，每个块的蓝色的统计值)来匹配彼此对应的块。

例如，控制器15可以在离与第一图像的第一块对应的位置的预定距离内在第二图像的块当中搜索具有与第一块的颜色信息相同或相似(颜色信息差在参考值内)的颜色信息的第二块。基于搜索结果，控制器15可以匹配第一块和第二块。

在一些实施例中，控制器15可以使用每块颜色信息和亮度信息来匹配彼此对应的块。在这种情况下，因为控制器15的计算变得复杂，所以可以降低处理速度，但是可以进一步提高匹配精度。

图像处理装置10可以根据匹配结果合成第一图像和第二图像以生成第三图像(S140)。

例如，控制器15可以合成具有高分辨率的第一图像和第二图像的彩色图像以生成第三图像。作为分析的结果，可以生成具有第一图像的颜色精度和第二图像的亮度和分辨率的第三图像。

图6至图8是示意性地示出操作图5中所示的图像处理装置的方法的图。

参考图6至图8，图像处理装置10A(例如，移动终端)可以使用第一图像传感器12A和第二图像传感器12B来捕获对象200。第一图像传感器12A和第二图像传感器12B可以对应于图3或者图4中所示的第一图像传感器12A和第二图像传感器12B。在这种情况下，第二图像300B可以具有比第一图像300A更高的亮度和分辨率，或者可以具有比第一图像300A更低的颜色精度。

假设第一图像传感器12A和第二图像传感器12B的视角R相同，分别包括在第一图像300A和第二图像300B中的对象200的尺寸可以基本相等。然而，因为第一图像传感器12A和第二图像传感器12B的物理位置彼此不同，所以第一图像300A和第二图像300B的显示区域可以彼此不同。

因此，控制器15可以识别第一图像300A和第二图像300B的公共显示区域(OVR)并且裁剪除了第一图像300A和第二图像300B中的每一个的公共显示区域OVR之外的剩余区域。

控制器15可以合成裁剪的第一图像300A'和裁剪的第二图像300B'以生成第三图像300C。例如，控制器15可以合成具有高分辨率的第一图像300A'和第二图像300B'的颜色信息以生成第三图像300C。

此时，由于第一图像传感器12A和第二图像传感器12B之间的视点差异，在第一图像300A'和第二图像300B'之间可能发生视差。因此，如图15的步骤S130中在上面所描述的，控制器15可以使用第一图像300A'和第二图像300B'的每块颜色信息来匹配彼此对应的块，从而消除视差。

控制器15可以基于匹配结果合成第一图像300A'和第二图像300B'以生成第三图像300C。具体地，控制器15可以使用第一图像300A'的颜色信息基于具有高亮度和分辨率的第二图像300B'执行合成操作。

生成的第三图像300C可以具有比第一图像300A更高的亮度和分辨率，并且可以具有比第二图像300B更高的颜色精度。即，通过合成第一图像300A和第二图像300B，能够生成具有更高质量的第三图像300C。

图9是图示根据本发明的实施例的操作图像处理装置的方法的流程图。

参考图9，图像处理装置10可以从第一图像传感器12A获取第一图像(S200)。另外，图像处理装置10可以从第二图像传感器12B获取具有小于第一图像的视角的第二图像(S210)。

可以同时获取第一图像和第二图像，但不限于此。

第二图像传感器12B的视角可以小于第一图像传感器12A的视角。特别地，第二图像传感器12B可以用作变焦相机。在这种情况下，第二图像可以对应于第一图像的一部分的变焦图像。

同时，通常，随着图像传感器的视角减小，可以减小所获取图像的亮度。在本发明中，因为具有小视角的第二图像传感器12B具有白色像素W，所以获取的图像的亮度可以不被减少。特别地，如果第二图像传感器12B以图4的像素阵列PA3的形式实现，则第二图像的亮度可以高于第一图像的亮度。

也就是说，如在图5的步骤S100和S110中在上面所描述的，因为第二图像传感器12B包括白色像素W而不是绿色像素G，所以第二图像可以具有比第一图像更高的亮度和分辨率。相比之下，第二图像传感器12B不包括绿色像素G并且使用亮度信息、红色信息和蓝色信息通过软件校正来恢复绿色。因此，第二图像可以具有比第一图像低的颜色精度。

图像处理装置10可以基于第二图像的显示区域裁剪第一图像(S220)。

控制器15可以裁剪第一图像的一部分，该部分不与第二图像的显示区域重叠。在一些实施例中，控制器15可以执行裁剪操作以进一步包括第二图像的显示区域和额外区域。

裁剪的第一图像的尺寸可以小于第二图像的尺寸。因此，控制器15可以将第一图像的尺寸增加到等于第二图像的尺寸。

图像处理装置10可以使用裁剪的第一图像和第二图像的每块颜色值或每块颜色值和亮度值来匹配彼此对应的块(S230)。

根据匹配的结果，图像处理装置10可以合成第一图像和第二图像以生成第三图像(S240)。

步骤S230和S240基本上等于图5的步骤S130和S140，并且因此，将省略其描述。

图10至13是详细地示出操作图9中示出的图像处理装置的方法的图。

参考图10至图11，图像处理装置10A(例如，移动终端)可以使用第一图像传感器12A和第二图像传感器12B来捕获对象210和211。第一图像传感器12A和第二图像传感器12B可以对应于图3中所示的第一图像传感器12A和第二图像传感器12B。在这种情况下，与第一图像300A相比，第二图像300B可以具有更高亮度和分辨率，并且具有更低的颜色精度。

图像处理装置10A可以包括具有不同视角的第一图像传感器12A和第二图像传感器12B。例如，如果第一图像传感器12A的视角是第一视角R1，则第二图像传感器12B的视角可以是小于第一视角R1的第二视角R2。也就是说，第二图像传感器12B可以用作用于放大和捕获对象210和211的变焦相机。结果，第一图像310A的显示区域可以比第二图像310B的显示区域宽。

同时，第一图像传感器12A和第二图像传感器12B的物理位置彼此不同，并且第一对象210(人)与图像处理装置10A之间的距离与第二对象211(窗口)和图像处理装置10A之间的距离彼此不同。

结果，如图11中所示，第一图像310A和第二图像310B中的人和窗口的相对位置可以彼此不同。

控制器15可以基于第二图像310B的显示区域裁剪第一图像310A的一部分。裁剪的第一图像310A'可以显示与第二图像310B的区域基本相等的区域。

裁剪的第一图像310A'的尺寸可以小于第二图像310B的尺寸。因此，控制器15可以增加第一图像310A'的尺寸以适合第二图像310B的尺寸。

参考图12至图13，控制器15可以合成第一图像301A'和第二图像310B以生成第三图像310C。

类似于图6至图8，因为第二图像310B的亮度和分辨率高于第一图像310A'的亮度和分辨率，所以控制器15可以基于第二图像310B使用第一图像310A'的颜色信息执行合成操作。

控制器15可以使用第一图像310A'和第二图像310B的每块颜色图像信息来搜索与第二图像310B的块相对应的第一图像310A'的块。

例如，控制器15可以搜索具有与第二图像310B的第一块B1的颜色信息(例如，红色的统计值或者蓝色的统计值)相同或相似(颜色信息差在参考值内)的颜色信息的块。在这种情况下，控制器15可以考虑第一图像310A'和第二图像310B之间的视差来执行搜索。

也就是说，控制器15可以比较位于与第一图像310A'的块当中的第一块B1相同的位置处的第二块B2的颜色信息与位于离具有第一块B1的颜色信息的第二块B2的预定距离内的块的颜色信息。

例如，控制器15可以将在第一图像310A’的块当中的具有与第一块B1的红色信息R:247和/或蓝色信息B:181相同的颜色信息的第三块B3确定为与第一块B1相对应的块。控制器15可以执行用第一块B1的颜色信息替换第三块B3的颜色信息R:247、G:227和B:181的合成操作。类似地，控制器15可以执行用对应于每个块的第一图像310A'的块的颜色信息替换第二图像310B的每个块的颜色信息的合成操作。

虽然未示出，但是如果第一图像301A'包括具有与第一块B1相同的颜色信息的多个块，则控制器15可以将最靠近第一块B1的块确定为对应块。可替选地，控制器15可以将具有与第一块B1的亮度信息对应的亮度信息的块确定为对应块。由于第一图像传感器12A和第二图像传感器12B之间的特性差异，第一图像310A'的绝对亮度和第二图像310B的绝对值可以彼此不同。例如，如果第二图像310B的亮度是第一图像310A'的亮度的两倍，则控制器15可以将具有与第一块B1相同的颜色信息的第一图像310A’的块当中的具有与第一块B1的“150”的亮度的一半相对应的“75”的亮度的块确定为与第一块B1相对应的块。

由于第二图像310B具有比第一图像310A'更高的分辨率，所以控制器15可以基于第二图像合成第一图像310A'的颜色信息以生成第三图像310C，从而提供具有更高质量的图像。

如果如在传统方法中仅使用亮度信息，则控制器15可以通过匹配具有与第一块B1的颜色信息不同的颜色信息并且具有与第一块的亮度信息相同或相似的亮度信息的块与第一块B1来执行合成操作。结果，当在第三图像的一部分中发生颜色错误时，从而劣化图像质量。为了最小化此问题，增加应用于图像合成的算法的复杂度，从而降低图像合成速度并且增加功耗。

相比之下，因为根据本发明的实施例的图像处理装置10基于第一图像和第二图像的颜色信息执行合成操作，所以能够最小化由合成的结果产生的图像的颜色误差并且提供具有高质量的图像。另外，因为图像处理装置10可以使用每块颜色信息更简单地执行合成操作，所以能够在图像合成速度和功耗方面提供积极效果。

本发明还可以体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储其后可以由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。

因此，以上示例性实施例在所有方面都被解释为说明性的而非限制性的。本发明的范围应由所附权利要求及其合法等同物确定，并且落入所附权利要求的含义和等同范围内的所有改变都意欲包含在其中。

Claims (20)

1.一种图像处理装置，包括：

第一图像传感器，所述第一图像传感器具有包括块的第一像素阵列，每个块包括红色像素、绿色像素和蓝色像素；

第二图像传感器，所述第二图像传感器具有包括块的第二像素阵列，每个块包括红色像素和蓝色像素中的至少一个和白色像素；以及

控制器，所述控制器被配置成使用从所述第一图像传感器获取的第一图像和从所述第二图像传感器获取的第二图像来生成第三图像。

2.根据权利要求1所述的图像处理装置，其中，所述控制器基于所述第一图像和所述第二图像的颜色信息生成所述第三图像。

3.根据权利要求2所述的图像处理装置，其中，所述控制器使用第一颜色信息在被包括在所述第一图像中的块当中搜索具有与所述第一颜色信息的差异在参考值内的颜色信息的第二块，所述第一颜色信息包括在所述第二图像中包括的第一块的红色信息和蓝色信息中的至少一个，并且基于搜索结果用所述第二块的颜色信息替换所述第一块的颜色信息。

4.根据权利要求3所述的图像处理装置，其中，所述控制器使用所述第一块的亮度信息来搜索所述第二块。

5.根据权利要求1所述的图像处理装置，

其中，所述第一图像传感器和所述第二图像传感器在视点方面是不同的，并且

其中，所述控制器裁剪除了所述第一图像和所述第二图像的公共区域之外的剩余区域，并且使用所裁剪的第一和第二图像生成所述第三图像。

6.根据权利要求1所述的图像处理装置，

其中，所述第二图像传感器的视角小于所述第一图像传感器的视角，并且

其中，所述控制器裁剪所述第一图像的一部分以对应于所述第二图像的显示区域，并且使用所裁剪的第一图像和第二图像生成所述第三图像。

7.根据权利要求1所述的图像处理装置，其中，所述第二图像传感器的第二像素阵列包括具有2×2像素尺寸并且包括所述红色像素、所述蓝色像素以及两个白色像素的块。

8.根据权利要求1所述的图像处理装置，其中，所述第二图像传感器的第二像素阵列包括具有2×2像素尺寸并且包括所述红色像素和所述蓝色像素中的任何一个以及三个白色像素的块。

9.根据权利要求8所述的图像处理装置，其中，包括在所述第二像素阵列中的第一块的颜色像素和在水平方向或垂直方向上与所述第一块相邻的第二像素的颜色像素彼此不同。

10.一种图像处理装置，包括：

第一图像传感器，所述第一图像传感器被配置成获取第一图像；

第二图像传感器，所述第二图像传感器被配置成获取第二图像；以及

控制器，所述控制器被配置成基于所述第一图像和所述第二图像的颜色信息合成所述第一图像和所述第二图像，并且基于合成结果生成所述第三图像。

11.根据权利要求10所述的图像处理装置，

其中，所述第一图像传感器具有包括块的第一像素阵列，每个块包括红色像素、绿色像素和蓝色像素，并且

其中，所述第二图像传感器具有包括块的第二像素阵列，每个块包括红色像素和蓝色像素中的至少一个以及白色像素。

12.根据权利要求11所述的图像处理装置，其中，所述控制器使用所述第二图像的每块红色信息和每块蓝色信息中的至少一个，搜索与所述第二图像的块相对应的所述第一图像的块，并且基于搜索结果，将所述第二图像的每个块的颜色信息替换为与所述第二图像的块相对应的所述第一图像的每个块的颜色信息。

13.根据权利要求11所述的图像处理装置，其中，所述第二像素阵列包括具有2×2像素尺寸并且包括红色像素和蓝色像素中的任何一个以及三个白色像素的块。

14.根据权利要求10所述的图像处理装置，

其中，包括在所述第一图像中的区域的至少一部分和包括在所述第二图像中的区域的至少一部分彼此对应，并且

其中，所述控制器裁剪除了彼此对应的所述第一图像和所述第二图像的部分之外的剩余区域，并且使用所裁剪的第一和第二图像生成所述第三图像。

15.根据权利要求14所述的图像处理装置，

其中，所述第二图像对应于所述第一图像的部分区域的变焦图像，并且

其中，所述控制器裁剪除了所述第一图像的部分区域之外的剩余区域。

16.一种移动终端，包括：

第一图像传感器，所述第一图像传感器具有包括块的第一像素阵列，每个块包括红色像素、绿色像素和蓝色像素；

第二图像传感器，所述第二图像传感器具有包括块的第二像素阵列，每个块包括红色像素和蓝色像素中的至少一个以及白色像素；

显示单元，所述显示单元被配置成显示从所述第一图像传感器和所述第二图像传感器中的至少一个获取的图像；以及

控制器，所述控制器被配置成控制所述第一图像传感器、所述第二图像传感器和所述显示单元的操作。

17.根据权利要求16所述的移动终端，其中，所述控制器基于从所述第一图像传感器获取的第一图像的颜色信息和从所述第二图像传感器获取的第二图像的颜色信息合成所述第一图像和所述第二图像，并且基于合成的结果生成所述第三图像。

18.根据权利要求17所述的移动终端，还包括下述中的至少一个：存储器，所述存储器被配置成存储所生成的第三图像；和通信单元，所述通信单元被配置成将所生成的第三图像发送到外部。

19.根据权利要求16所述的移动终端，其中，所述第二像素阵列包括具有2×2像素尺寸并且包括所述红色像素和所述蓝色像素中的任何一个以及三个白色像素的块。

20.根据权利要求19所述的移动终端，其中，包括在所述第二像素阵列中的第一块的颜色像素和在水平方向或垂直方向上与所述第一块相邻的第二块的颜色像素彼此不同。