CN106412546A - 配备有相机的移动终端及其控制方法 - Google Patents

Abstract

配备有相机的移动终端及其控制方法。一种移动终端，被配置为处理图像，移动终端包括相机，其被配置为采集图像；图像传感器，其被配置为获取经由相机采集的图像中的对象的图像信号；红外传感器，其被配置为检测从对象反射的红外信号；控制器，其被配置为利用图像传感器执行下述操作：确定是否生成了闪烁；以及基于检测到的红外信号来检测与为所生成的闪烁做出贡献的光源相关的信息；以及图像处理器，其被配置为执行所获取的图像的白平衡，所述白平衡是在生成闪烁的情况下基于所检测到的信息来执行的。

Description

配备有相机的移动终端及其控制方法

技术领域

本发明涉及一种配备有通过执行白平衡来处理图像的相机的移动终端及其控制方法。

背景技术

终端可以根据其移动性而一般地分类为移动/便携式终端或固定终端。移动终端也可以根据用户是否能够直接携带终端而分类为手持终端或车载终端。

移动终端已经变得越来越多功能。这样的功能的示例包括数据和语音通信、经由相机采集图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的额外的功能，而其他终端被配置为多媒体播放器。最近，一些终端已经被配置为接收允许观看诸如视频和电视节目的内容的广播和多播信号。

正在努力支持和增加移动终端的功能。这样的努力包括软件和硬件改进，以及结构组件方面的改变和改进。

配备有通过执行白平衡处理图像的相机的移动终端包括用于执行与外部装置、基站或服务器的无线通信的天线。近来，诸如相机的电子装置被集成到移动终端中。为了方便起见，可以自动地执行白平衡。特别地，由于白平衡根据光源的种类而具有不同种类的色温，但是要求准确地识别光源的类型以实现白平衡。

在该方面，由于诸如白炽灯和荧光灯的室内灯被在同一频率或50Hz或60Hz下操作，因此产生了不容易识别室内灯和在考虑室内灯的情况下实现白平衡的问题。

发明内容

因此，本发明的目的在于解决上述问题。本发明的另一目的在于提供一种配备有通过考虑周围光源来执行白平衡的相机的移动终端及其控制方法。

为了实现这些和其他优点并且根据本发明的目的，如这里具体实施和广泛描述的，根据本发明的一方面，一种移动终端，被配置为处理图像，移动终端包括相机，其被配置为采集图像；图像传感器，其被配置为获取经由相机采集的图像中的对象的图像信号；红外传感器，其被配置为检测从对象反射的红外信号；控制器，其被配置为利用图像传感器执行下述操作：确定是否生成闪烁；以及基于检测到的红外信号检测与为所生成的闪烁做出贡献的光源相关的信息；以及图像处理器，其被配置为执行所获取的图像的白平衡，所述白平衡是在生成闪烁的情况下基于所检测到的信息而执行的。

根据一个实施方式，光源包括是白炽灯的第一光源以及是荧光灯的第二光源；以及如果检测到的红外信号小于或等于预定值则基于第二光源执行白平衡。

根据一个实施方式，光源还包括是太阳光的第三光源；以及如果检测到的红外信号大于预定值并且没有生成闪烁则基于第三光源执行白平衡。

根据一个实施方式，图像信号和红外信号各自包括均具有不同起始点的多个输入信号；并且多个输入信号各自的曝光时间的频率不同于第一和第二光源的操作频率。

根据一个实施方式，如果检测到的红外信号大于预定值并且生成了闪烁，则基于第一光源执行白平衡。

根据一个实施方式，控制器进一步配置为基于获取的图像信号的平均强度的变化确定是否生成闪烁。

根据一个实施方式，控制器还被配置为确定红外传感器是否被启用；以及如果红外传感器没有被启用则确定是否生成了闪烁。

根据一个实施方式，如果红外传感器没有被启用并且没有生成闪烁则基于第三光源执行白平衡；并且控制器还被配置为如果生成了闪烁则重新确定红外传感器是否被启用。

根据一个实施方式，控制器还被配置为基于所获取的图像信号的平均强度的变化确定是否生成了闪烁。

根据一个实施方式，图像处理器还被配置为：执行所获取的图像的自动曝光和自动对焦；以及对通过白平衡、自动曝光和自动对焦处理的所获取的图像进行数字化和分析。

在本发明的另一方面，一种包括相机的移动终端的图像处理方法，所述方法包括：获取经由相机采集的图像中的对象的图像信号；检测从对象反射的红外信号；确定是否生成闪烁；检测与为所生成的闪烁做出贡献的光源相关的信息；以及执行所获取的图像的白平衡，所述白平衡是在生成闪烁的情况下基于所检测到的信息而执行的。

根据一个实施方式，光源包括是白炽灯的第一光源以及是荧光灯的第二光源；以及如果检测到的红外信号小于或等于预定值则基于第二光源执行白平衡。

根据一个实施方式，光源还包括是太阳光的第三光源；以及如果检测到的红外信号大于预定值并且没有生成闪烁则基于第三光源执行白平衡。

根据一个实施方式，图像信号和红外信号各自包括均具有不同起始点的多个输入信号；并且多个输入信号各自的曝光时间的频率不同于第一和第二光源的操作频率。

根据一个实施方式，如果检测到的红外信号大于预定值并且生成了闪烁，则基于第一光源执行白平衡。

根据一个实施方式，基于获取的图像信号的平均强度的变化确定是否生成闪烁。

根据一个实施方式，方法还包括：确定红外传感器是否被启用；以及如果红外传感器没有被启用则基于所获取的图像信号的平均强度的变化确定是否生成了闪烁。

根据一个实施方式，方法还包括：如果红外传感器没有被启用并且没有生成闪烁则基于第三光源执行白平衡；并且如果生成了闪烁则重新确定红外传感器是否被启用。

根据一个实施方式，基于所获取的图像信号的平均强度的变化确定是否生成了闪烁。

根据一个实施方式，方法还包括：执行所获取的图像的自动曝光和自动对焦；以及对通过白平衡、自动曝光和自动对焦处理的所获取的图像进行数字化和分析。

附图说明

附图被包括以提供本发明的进一步的理解并且被并入本说明书中并且构成其一部分，示出了示例性实施方式并且与描述一起用于解释本发明的原理。

在附图中：

图1是示出根据本发明的移动终端的框图；

图2和图3是示出从不同方向看的根据本发明的移动终端的示例的概念图；

图4是示出移动终端使用相机和红外传感器确定是否生成了闪烁并且检测与为闪烁的生成做出贡献的光源相关的信息的概念图；

图5是示出根据本发明的包括执行白平衡的相机、红外传感器和显示单元的移动终端的框图；

图6示出了基于供电电源的光源的光的量的变化；

图7示出了基于时间的变化的光源的光的量的变化；

图8是示出根据本发明的一个实施方式的图像处理方法的流程图；以及

图9是示出根据本发明的另一实施方式的图像处理方法的流程图。

具体实施方式

现在将参考附图根据这里公开的示例性实施方式进行详细描述。为了参考附图简要描述起见，相同或等效的组件可以具有相同或类似的附图标记，并且其描述将不会重复。一般来说，诸如“模块”和“单元”的后缀可以用于表示元件或组件。在这里，这样的后缀的使用仅意在方便说明书的描述，并且后缀本身不意在给出任何特殊的含义或功能。在本公开中，为了简要起见，通常省略了对于本领域技术人员来说公知的内容。附图用于帮助各种技术特征的容易理解并且应理解的是，这里示出的实施方式不受到附图的限制。因此，本公开应该被理解为延伸到除了附图中具体阐述的内容之外的任何改变、等效物和替代物。

将理解的是，虽然词语第一、第二等在这里可以用来描述各种元件，但是这些元件不应受这些词语的限制。这些词语通常仅用于将一个元件与其它元件进行区分。

将理解的时，当元件被称为“连接到”另一元件时，这些元件能够与其它元件连接或者也可以存在中间元件。相反地，当元件被称为“直接连接到”另一元件时，不存在中间元件。

单数表述可以包括复数表述，除非在上下文中有明显不同的意义。在这里使用诸如“包括”或“具有”的词语，并且应该理解的是，它们意在指示本申请中公开的若干组件、功能或步骤的存在并且还理解的是，可以类似地利用更多或更少的组件、功能或步骤。

这里示出的移动终端可以使用各种不同类型的终端来实施。这样的终端的示例包括蜂窝电话、智能电话、用户设备、膝上计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、板式PC、平板PC、超极本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等等。

仅借助于非限制示例，将参考特定类型的移动终端进行进一步的描述。然而，这样的教导同等地应用于诸如上述类型的其他类型的终端。另外，这些教导也可以应用于诸如数字TV、台式计算机等等的固定终端。

现在参考图1至图3，其中，图11是根据本公开的移动终端的框图，并且图2和图3是从不同方向看的移动终端的一个示例的概念图.

移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。应理解的是，不要求实施所有示出的组件，并且可以替选地实施更多或更少的组件。

现在参考图1，移动终端100被示出为具有被构造有若干公共实施组件的无线通信单元110。例如，无线通信单元110通常包括允许移动终端100与移动终端所在的无线通信系统或网络之间的无线通信的一个或更多个组件。

无线通信单元110通常包括允许诸如移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信的通信的一个或更多个模块。此外，无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了便于这样的通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的一个或更多个。

输入单元120包括用于获得图像或视频的相机200、作为一种用于输入音频信号的音频输入装置的麦克风121和用于允许用户输入信息的用户输入单元122(例如，触摸键、按压键、机械键、软键等等)。通过输入单元120收集的音频数据或图像数据可以由用户的控制命令来进行分析和处理。

感测单元140可以包括感测移动终端的内部信息、移动终端的周围环境以及用户信息的至少一个传感器。例如，感测单元140可以包括接近传感器141、亮度传感器142、红外(IR)传感器143、触摸传感器、加速度传感器、磁性传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、手指扫描传感器、超声波传感器、光学传感器(例如，参见相机200)、麦克风121、电池计、环境传感器(例如，气压计、湿度计、温度计、辐射监测传感器、热传感器、气体传感器等等)以及化学传感器(例如，电子噪声、健康传感器、生物传感器等等)。另一方面，这里公开的移动终端可以以组合这些传感器中的至少两个传感器感测的信息的方式来利用信息。

输出单元150通常被配置为输出诸如音频、视频、触觉输出等等的各种类型的信息。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。

显示单元151可以具有分层结构或与触摸传感器一体的结构以便于实施触摸屏幕。触摸屏幕可以提供移动终端100与用户之间的输出接口，并且用作提供移动终端100与用户之间的输入接口的用户输入单元122。

接口单元160用作与能够耦接到移动终端100的各种类型的外部装置的接口。例如，接口单元160可以包括有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等中的任一种。在一些情况下，移动终端100可以相应于当前连接到接口单元160的外部装置执行与所连接的外部装置关联的各种控制功能。

此外，存储器170可以存储用于支持移动终端100的各种功能的数据。存储器170可以存储在移动终端100中执行的多个应用程序(或应用)、用于移动终端100的操作的数据、指令词等等。这些应用程序中的至少一些可以经由无线通信从外部服务器下载。这些应用程序中的另外一些可以针对移动终端100的基本功能(例如，接收呼叫、拨打电话、接收消息、发送消息等等)而在装箱时安装在移动终端100内。另一方面，应用程序可以存储在存储器170中，安装在移动终端100中，并且由控制器180执行以执行移动终端100的操作(或功能)。

控制器180可以通常控制除了与应用程序关联的操作之外的移动终端100的整体操作。控制器180可以以处理由各种组件输入或输出的信号、数据、信息等等或激活存储在存储器170中的应用程序的方式来提供或处理适合于用户的信息或功能。

控制器180可以控制图1中所示的组件中的至少一部分，以便于驱动存储器170中存储的应用程序。另外，控制器180可以通过组合移动终端100中包括的组件中的至少两个来驱动应用程序以进行操作。

电源单元190可以在控制器180的控制下接收外部电力或内部电力以便于提供操作移动终端100中包括的各元件和组件所要求的适合的电力。电源单元190可以包括电池，并且电池可以是嵌入式电池或可替换电池。

这些元件和组件中的至少一部分可以根据这里描述的各种示例性实施方式被组合以便于实施移动终端的操作和控制或者移动终端的控制方法。而且，移动终端的操作和控制或控制方法可以以激活存储器170中存储的至少一个应用程序的方式来在移动终端中实施。

参考图2和图3，参考直板型终端主体来描述移动终端100。然而，移动终端100可以替选地以各种不同构造中的任一种来实施。这样的构造的示例包括手表型、夹子型、眼镜型或折叠型、翻转型、滑动型、摆动型和其中两个或更多机体以可相对移动的方式彼此组合的旋转型以及其组合。这里的讨论将通常涉及特定类型的移动终端(例如直板型、手表型、眼镜型等等)。然而，这样的关于特定类型的移动终端的教导将通常也应用于其他类型的移动终端。

移动终端100将通常包括形成终端的外观的壳体(例如，框架、外壳、盖等等)。在该实施方式中，使用前壳体101和后壳体102形成壳体。各种电子组件被并入在形成在前壳体101与后壳体102之间的空间中。在前壳体101和后壳体102之间可以额外地放置至少一个中间壳体。

显示单元151被示出为位于终端主体的前侧以输出信息。如所示的，显示单元151的窗口151a可以安装到前壳体101以与前壳体101一起形成终端主体的前表面。

在一些实施方式中，电子组件也可以安装到后壳体102。这样的电子组件的示例包括可拆卸电池191、识别模块、存储卡等等。后盖103被示出为覆盖电子组件，并且该盖可以可拆卸地耦接到后壳体102。因此，当后盖103从后壳体102卸下时，安装到后壳体102的电子组件被暴露到外部。

如所示的，当后盖103耦接到后壳体102时，后壳体102的侧表面被部分地暴露。在一些情况下，在耦接时，后壳体102也可以由后盖103完全地遮挡。在一些实施方式中，后盖103可以包括用于将相机200b或音频输出模块152b暴露到外部的开口。

壳体101、102、103可以通过注入模塑合成树脂来形成或者可以由金属(例如，不锈钢(STS)、铝(Al)、钛(Ti)等等)形成。

作为对于多个壳体形成用于容纳组件的内部空间的示例的替选，移动终端100可以被配置为，一个壳体形成内部空间。在该示例中，具有一体机体的移动终端100形成为从侧表面到后表面延伸的合成树脂或金属。

如果需要，移动终端100可以包括用于防止水进入到终端主体中的防水单元。例如，防水单元可以包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间或者后壳体102与后盖103之间的防水组件，以当这些壳体耦接时气密地密封内部空间。

图2和图3将特定组件描绘为布置在移动终端上。然而，将理解的是，替选布置也是可能的并且处于本公开的教导内。一些组件可以被省略或重新布置。例如，第一操作单元123a可以位于终端主体的另一表面上，并且第二音频输出模块152b可以位于终端主体的侧表面上。

显示单元151输出在移动终端100中处理的信息。显示单元151可以使用一个或更多个适合的显示装置来实施。这样的适合的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器、电子墨水显示器及其组合。

显示单元151可以使用能够实施相同或不同的显示技术的两个显示装置来实施。例如，多个显示单元151可以被布置在一侧，彼此隔开或者这些装置可以被集成，或者这些装置可以被布置在不同的表面上。

显示单元151也可以包括感测在显示单元处接收的触摸输入的触摸传感器。当触摸被输入到显示单元151时，触摸传感器可以被配置为感测该触摸并且控制器180例如可以生成对应于触摸的控制命令或其他信号。以触摸方式输入的内容可以是文本或数值，或者能够在各种模式中指示或指定的菜单条目。

触摸传感器可以被配置为布置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜形式、或者在窗口151a的后表面上直接图案化的金属布线。替选地，触摸传感器可以与显示器形成为一体。例如，触摸传感器可以被布置在显示器的基板上或者显示器内。

显示单元151也可以与触摸传感器一起形成触摸屏。这里，触摸屏可以用作用户输入单元122(参见图1)。因此，触摸屏可以替代第一操作单元122a的功能中的至少一些。

第一音频输出模块152a可以实施为扬声器的形式以输出语音音频、警报声音、多媒体音频再现等等。

显示单元151的窗口151a将通常包括用于允许由第一音频输出模块152a生成的音频通过的孔。一个替选方案用于允许音频沿着结构体之间的组装间隙(例如，窗口151a与前壳体101之间的间隙)释放。在该情况下，独立地形成为输出音频声音的孔可以是不可见的或者以其他方式在外观方面隐藏，从而进一步简化移动终端100的外观和制造。

光学输出模块154能够被配置为输出用于指示事件生成的光。这样的事件的示例包括消息接收、呼叫信号接收、未接电话、警报、日程提醒、电子邮件接收、通过应用的信息接收等等。当用户已经检查了生成的事件时，控制器能够控制光学输出单元154以停止光输出。

第一相机121a能够处理诸如在采集模式或视频通话模式中由图像传感器获得的静态或移动图像的图像帧。处理后的图像帧能够然后显示在显示单元151上或存储在存储器170中。

第一操作单元122a和第二操作单元122b是用户输入单元122的示例，其可以由用户操作以将输入提供给移动终端100。第一操作单元122a和第二操作单元122b也可以统称为操作部分，并且可以采用允许用户执行诸如触摸、推动、滚动等等的操作的任何触觉方法。第一操作单元122a和第二操作单元122b也可以采用允许用户执行诸如接近触摸、悬停等等的操作。

图2将第一操作单元122a示出为触摸键，但是可能的替选包括机械键、推动键、触摸键及其组合。

在第一操作单元122a和第二操作单元122b处接收的输入可以以各种方式使用。例如，第一操作单元122a可以由用户使用来将输入提供到菜单、主页键、取消、搜索等等，并且第二操作单元122b可以由用户使用来将输入提供到从第一音频输出模块152a或第二音频输出模块152b输出的音量大小，以切换到显示单元151的触摸识别模式等等。

作为用户输入单元122的另一示例，后输入单元可以位于终端主体的后表面上。后输入单元能够由用户操作来将输入提供到移动终端100。输入可以以各种不同方式来使用。例如，后输入单元可以由用户使用来提供用于开机/关机、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量大小、切换到显示单元151的触摸识别模式等等的输入。后输入单元可以被配置为允许触摸输入、推动输入或其组合。

后输入单元可以被布置为在终端主体的厚度方向上与前侧的显示单元151重叠。作为一个示例，后输入单元可以位于终端主体的后侧的上末端部分上，从而用户能够在用户用一只手抓住终端主体时使用食指进行操作。替选地，后输入单元能够位于终端主体的后侧的任何位置处。

包括后输入单元的实施方式可以在后输入单元中实施第一操作单元122a的功能中的一些或全部。因此，在从前侧省略第一操作单元122a的情况下，显示单元151能够具有更大的屏幕。

作为又一替选，移动终端100可以包括扫描用户的手指的手指扫描传感器。控制器180能够然后使用由手指扫描传感器感测的指纹信息作为验证过程的一部分。手指扫描传感器也可以安装在显示单元151中或者在用户输入单元122中实施。

麦克风121被示出为处于移动终端100的末端处，但是其他位置也是可能的。如果需要，则可以利用允许接收立体声的布置来实施多个麦克风。

接口单元160可以用作允许移动终端100与外部装置交互的路径。例如，接口单元160可以包括用于连接到另一装置(例如，耳机、外部扬声器等等)的连接端子、用于近场通信的端口(例如，红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等等)或者用于将电力提供给移动终端100的电源端子中的一个或更多个。接口单元160可以实施为用于容纳外部卡(例如，订户识别模块(SIM)、用户识别模块(UIM)或者用于信息存储的存储卡)的插槽。

第二相机200b可以进一步安装到终端主体的后表面。第二相机200b可以具有与第一相机单元200a的图像采集方向基本上相反的图像采集方向。

第二相机200b可以包括沿着至少一条线布置的多个透镜。多个透镜也可以被布置为矩阵构造。相机可以被称为“阵列相机”。当第二相机200b实施为阵列相机时，可以使用多个透镜以各种方式来采集图像并且可以获得具有更好质量的图像。

如所示的，闪光灯124被示出为与第二相机200b相邻。当利用相机200b采集对象的图像时，闪光灯124可以照亮对象。

如所示的，第二音频输出模块152b能够位于终端主体上。第二音频输出模块152b可以与第一音频输出模块152a一起实施立体声功能，并且也可以用于为所有通信实施免提电话模式。

至少一个用于无线通信的天线可以位于终端主体上。天线可以安装在终端主体中或者由壳体形成。例如，构成广播接收模块111的一部分的天线可缩回到终端主体中。替选地，天线可以使用附接到后盖103的内表面的膜来形成，或者使用包括导电材料的壳体来形成。

用于将电力提供给移动终端100的电源单元190可以包括电池191，其安装在终端主体中或者可拆卸地耦接到终端主体的外部。电池191可以经由连接到接口单元160的电源线缆接收电力。而且，电池191可以使用无线充电器以无线方式再充电。无线充电可以利用磁感应或电磁谐振来实施。

如前参考图1所描述的，移动终端可以被配置为包括诸如蓝牙^TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂^TM、近场通信(NFC)、无线USB(无线通用串行总线)等等的短程通信技术。

在根据本发明的包括相机200和显示单元151的移动终端中，在相机200中获取的图像中产生了闪烁。在该情况下，产生的问题在于可以从显示单元151上显示的图像移除闪烁，但是无法根据光源的类型执行不同的白平衡。

本发明提出了用于在存在至少一个光源的环境中使用相机的图像传感器和红外传感器基于光源的类型执行白平衡的机制。

下面，将参考图4至图9详细描述设置有相机、红外传感器和显示单元的本发明的移动终端。

首先，图4是示出移动终端使用相机和红外传感器确定是否生成了闪烁并且检测与为闪烁的生成做出贡献的光源相关的信息的概念图。

参考图4，移动终端100包括相机200、红外传感器143和显示单元151。

由图像传感器获取通过相机200采集的对象的图像信号，并且所采集的图像显示在显示单元151上。

本发明实施了一种用于白平衡的方法，其根据多个光源的类型来校正颜色改变，其中，所述多个光源包括分别对应于第一至第三光源的白炽灯310、荧光灯320和自然光(太阳光)330。如果仅存在第三光源330，则没有由图像传感器生成闪烁。然而，如果生成了闪烁，则不容易识别出闪烁的因素是由第一光源310引起的还是由第二光源320引起的。

然而，基于红外传感器143的红外信号相对于第一光源310和第三光源330具有高反射率，但是相对于第二光源320具有低反射率。即，如果提供了红外传感器143，则可以执行基于光源的类型的白平衡。

因此，如果由图像传感器产生了闪烁并且检测到红外信号，则可以确定由第一光源310引起了闪烁。而且，如果由图像传感器生成了闪烁并且没有检测到红外信号，则可以确定闪烁是由第二光源320引起的。而且，如果图像传感器没有产生闪烁，则可以确定仅存在第三光源330作为周围光源。

而且，将参考图5至图9描述根据本发明的移动终端和图像处理方法。在该情况下，可以考虑首先驱动红外传感器143的情况以及首先驱动图像传感器并且然后驱动红外传感器143的情况。

图5是示出根据本发明的包括执行白平衡的相机、红外传感器和显示单元的移动终端的框图。如图5中所示，在移动终端100中设置有相机200。在该情况下，相机200可以包括图像传感器210和图像处理器220。而且，移动终端可以还包括红外传感器143、显示单元151和控制器180。

红外传感器143检测从通过相机200采集的对象反射的红外信号。

显示单元151在屏幕上显示与周围背景关联的图像和所采集的对象。

控制器180确定是否使用图像传感器210生成了闪烁，并且使用红外信号检测与对于闪烁的生成做出贡献的光源相关的信息。这时，如果没有生成闪烁，则确定仅存在第三光源(太阳光)。同时，如果生成了闪烁，则可以使用红外信号来确定闪烁是否是由第一光源和第二光源中的任一个引起的。

而且，控制器180可以使用红外传感器143确定是否生成了闪烁并且使用图像传感器信号来检测与对闪烁的生成做出贡献的光源相关的信息。

这时，控制器180确定从红外传感器143获取的红外信号是否是预定值或更大。而且，如果从红外传感器143获取的红外信号是预定值或更大，则控制器180基于红外信号的平均强度的变化来确定是否生成闪烁。而且，如果生成了闪烁，则控制器180生成闪烁信息以及与对于闪烁的生成做出贡献的光源相关的信息。在该情况下，闪烁信息表示随时间变化的闪烁值或者这些闪烁值的变化。

图像传感器210在存在至少一个光源的环境中获取通过相机200采集的对象的图像信号。

图像处理器220基于从图像传感器获取的图像信号的闪烁信息以及与光源相关的信息来执行所获取的图像的白平衡。

在该情况下，如果周围光源是白炽灯(第一光源)，则色温谱向红色偏移，并且如果周围光源是荧光灯(第二光源)，则色温谱向绿色偏移。因此，白平衡是用于通过基于光源对谱偏移进行电子校正来对颜色进行校正以允许在显示单元151上与光源的类型无关地显示对象的特有的颜色的方案。

而且，闪烁表示来自光源的光的量随着时间的变化而变化。更具体地，当光源的平均强度在特定时间内变化时生成了闪烁。

同时，图6示出了基于供电电源的光源的光的量的变化，并且图7示出了基于时间的变化的光源的光的量的变化。

如图6中所示，50Hz或60Hz的电源被提供给白炽灯和荧光灯。在该情况下，注意的是，如果供电电源的频率为60Hz，则诸如白炽灯和荧光灯的光源的光的量根据时间以1/120秒的周期变化。另一方面，诸如太阳光的自然光没有根据时间而变化而是具有给定量的光。

因此，入射到相机200上的自然光能够与白炽灯和荧光灯区分开。然而，不容易识别白炽灯还是荧光灯作为周围光进入到相机200。然而，如上所述，如果检测到从对象反射的红外信号，则能够识别出是白炽灯还是荧光灯作为周围光进入相机200。

同时，将更详细地描述检测与周围光源相关的信息的方法。

如果比较从太阳光(第三光源)采集对于红外信号具有高反射率的对象的情况和从白炽灯(第一光源)采集对象的情况，则从对象反射的信号的大小可能彼此类似。

然而，如果从荧光灯(第二光源)采集对象，则从对象反射的信号的大小小于从由第一光源和第三光源采集的对象反射的信号的大小。因此，如果红外信号是预定值或更小，则控制器180生成与作为荧光灯(第二光源)的光源相关的信息并且将与光源相关的信息发送给图像处理器220。在该情况下，图像处理器220基于第二光源执行所获取的图像的白平衡。

而且，如果确定红外信号是预定值或更大并且生成了闪烁，则控制器180确定存在白炽灯(第一光源)。同时，如果确定红外信号是预定值或更大并且没有生成闪烁，则控制器180确定存在太阳光(第三光源)。在该情况下，图像处理器220基于第一光源和第三光源执行所获取的图像的白平衡。

然而，与光源相关的信息的确定以及白平衡的执行不限于确定存在一种类型的光源并且基于确定结果执行白平衡的情况。例如，如果周围光源包括70％的白炽灯(第一光源)以及30％的太阳光(第二光源)，则周围光源具有不同于与周围光源包括100％的白炽灯(第一光源)的情况相对应的闪烁图案。

因此，控制器180可以基于闪烁信息确定与光源相关的信息的详细比率，并且将所确定的比率发送给图像处理器220。而且，控制器180可以将闪烁信息发送给图像处理器220，并且图像处理器220可以确定与光源相关的信息的详细比率。

如图7中所示，从红外传感器143和图像传感器210获取的光源的光的量根据时间而变化。如果光源是太阳光，则光的量将具有固定值而与时间的变化无关。

同时，如果红外传感器143和图像传感器210的曝光时间的开始时刻点对于根据时间变化的光的量而变化，则注意的是，光的量的平均强度值在每个时间段变化。参考图6，注意的是，当开始时间增大时光的量的平均强度值减小，而显示在每个时间帧的对比度被显示为较暗。

如果图像传感器210是互补金属氧化物半导体(CMOS)图像传感器，则图像传感器被实施为卷帘式快门。因此，图像传感器210具有对于帧内的每条线变化的曝光时刻。即，基于曝光时间的光的总量对于图像传感器的每条线变化，从而生成了闪烁。

同时，不管是否感测到闪烁，都注意的是，对于红外传感器143，由白炽灯(第一光源)引起了闪烁。而且，注意的是，对于图像传感器143，由白炽灯(第一光源)或荧光灯(第二光源)引起了闪烁。

同时，根据本发明的一个实施方式，图像信号和红外信号中的每一个包括其开始时刻点彼此不同的多个输入信号。

而且，多个输入信号的曝光时间的频率不同于第一和第二光源的操作频率。这是因为，如果曝光时间的频率与第一和第二光源的50Hz(或60Hz)的操作频率相同，则即使曝光时间变化，光源的平均强度在曝光时间内也不变化。

下面，将描述在控制器180或图像处理器220中确定与光源相关的信息并且执行白平衡的详细过程。

图像处理器220可以基于荧光灯(第二光源)执行所获取的图像的白平衡。这是因为荧光灯(第二光源)在室内拍摄的情况下是主光源。而且，如果红外传感器143不是始终工作，并且因此被禁用，则直到红外传感器143被启用需要时间。因此，可以在默认状态下执行基于荧光灯(第二光源)获取的图像的白平衡。

接下来，如果红外信号是预定值或更大并且生成了闪烁，则图像处理器220基于第一光源执行所获取的图像的白平衡。另一方面，如果红外信号是预定值或更大并且没有生成闪烁，则图像处理器220基于第三光源执行所获取的图像的白平衡。

控制器180可以确定红外传感器是否被启用，并且可以在红外传感器被禁用的情况下基于图像信号的平均强度的变化来确定是否生成了闪烁。

这时，如果没有生成闪烁，则图像处理器220可以基于第三光源执行所获取的图像的白平衡。而且，如果生成了闪烁，则控制器180可以再次确定红外传感器是否被启用。

图像处理器220可以对于所获取的图像执行白平衡、自动曝光和自动对焦。而且，图像处理器220可以对通过白平衡、自动曝光和自动对焦处理的图像进行数字化和分析。

同时，图像处理器220可以由内置在相机200中的硬件电路和固件或软件来实施。而且，与图5不同的是，图像处理器220可以由控制器180内的硬件电路和固件或软件来实施。

下面，将描述根据本发明的设置有相机的移动终端的图像处理方法。可以由该图像处理方法执行根据多个光源的白平衡。

图8是示出根据本发明的一个实施方式的图像处理方法的流程图。图8的方法是用于在红外传感器可以检测到从对象反射的红外信号的情况下执行白平衡的方法。

图9是示出根据本发明的另一实施方式的图像处理方法的流程图。图9的方法是用于通过确定红外传感器是否被启用来执行最优白平衡的方法。

参考图8，图像处理方法(700)包括获取图像的步骤S710、比较红外信号的步骤S720、确定是否生成了闪烁的步骤S730以及执行白平衡的步骤S740。在该情况下，执行白平衡的步骤S740包括执行第一至第三白平衡的步骤S741至S743。

获取图像的步骤S710包括：获取在存在至少一个光源的环境中通过相机采集的对象的图像。

比较红外信号的步骤S720包括：通过红外传感器检测从对象反射的红外信号以及确定所检测到的红外信号是否是预定值或更大。

确定是否生成闪烁的步骤S730包括：如果红外信号是预定值或更大，则基于红外信号的平均强度的变化来确定是否生成了闪烁。

执行第一白平衡的步骤S741包括：如果生成了闪烁，则基于闪烁信息和对于闪烁的生成做出贡献的光源(白炽灯、第一光源)来执行所获取的图像的白平衡。

执行第二白平衡的步骤S742包括：如果没有生成闪烁，则基于第三光源(太阳光)执行所获取的图像的白平衡。

执行第三白平衡的步骤S743包括：如果红外信号是预定值或更小，则基于第二光源(荧光灯)执行所获取的图像的白平衡。

在该情况下，图像信号和红外信号中的每一个包括其开始点彼此不同的多个输入信号。而且，多个输入信号的曝光时间的频率不同于第一和第二光源的操作频率。这是因为，如果曝光的频率与操作频率相同，则不存在基于时间变化的光的量的变化。已经参考图6对此进行了描述。

接下来，参考图9，图像处理方法800包括获取图像的步骤S710、确定红外传感器是否被启用的步骤S815、比较红外信号的步骤S720、确定是否生成第一闪烁的步骤S730、确定是否生成第二闪烁的步骤S840以及执行白平衡的步骤S850。在该情况下，执行白平衡的步骤S850包括执行第一至第三白平衡的步骤S851至S853。

在该情况下，获取图像的步骤S710和比较红外信号的步骤S720将被图7的描述替代。而且，确定是否生成第一闪烁的步骤S730对应于图7中确定是否生成闪烁的步骤S730。

在步骤S815中，确定红外传感器是否被启用。这是因为，如果相机被启用则图像传感器被启用，但是红外传感器与相机分离地操作。而且，即使当相机被启用时红外传感器被启用，红外传感器也可能已经被其他应用使用。

步骤S840在红外传感器被禁用的情况下基于图像信号的平均强度的变化来确定是否生成了第二闪烁。

同时，执行第一至第三白平衡的步骤S851至S853包括基于第一光源(白炽灯)、第二光源(荧光灯)和第三光源(太阳光)执行从图像传感器获取的图像的白平衡。

同时，如果在确定是否生成第二闪烁的步骤S840中没有生成闪烁，则基于第三光源执行所获取的图像的白平衡(S853)。

另一方面，如果在确定是否生成了第二闪烁的步骤S840中生成了闪烁，则再次确定红外传感器是否被启用(S815)。这是确定闪烁是与第一光源(白炽灯)相关还是与第二光源(荧光灯)相关。

然而，如果在确定是否生成了第二闪烁的步骤S840中生成了闪烁，没有再次确定红外传感器是否被启用，或者在特定时间过去后，则可以基于第二光源(荧光灯)执行所获取的图像的白平衡。而且，如果在确定红外传感器是否被启用的步骤S815中禁用了图像传感器，则可以在默认状态下基于第二光源执行白平衡。

而且，可以对来自图像传感器的闪烁图案进行彼此比较以确定闪烁图案是由第一光源(白炽灯)引起的还是由第二光源(荧光灯)引起的。然而，由于由第一光源(白炽灯)或第二光源(荧光灯)引起的闪烁图案彼此类似，因此不优选的是，确定闪烁图案是由第一光源引起的还是由第二光源引起的。

同时，如果在基于第二光源执行所获取的图像的白平衡时或之后红外传感器被启用，则可以在红外传感器被启用的情况下执行比较红外信号的步骤S720。

因此，如果在比较红外信号的步骤S720中红外信号是预定值或更大，并且如果在确定是否生成第一闪烁的步骤S730中生成了闪烁，则基于第一光源(白炽灯)执行所获取的图像的白平衡(S851)。

而且，如果在比较红外信号的步骤S720中红外信号是预定值或更大，并且如果在确定是否生成第一闪烁的步骤S730中没有生成了闪烁，则基于第三光源(太阳光)执行所获取的图像的白平衡(S853)。

而且，如果在比较红外信号的步骤S720中红外信号是预定值或更小，则基于第二光源(荧光灯)执行所获取的图像的白平衡(S852)。

如上所述，在根据本发明的配备有相机的移动终端中，已经详细描述了用于执行白平衡的图像处理方法。

根据图像处理方法和用于白平衡的方法，如果存在至少一个周围光源，则可以执行根据光源的类型的有效白平衡。而且，即使存在多个周围光源，也可以预测多个周围光源的比例，从而可以执行根据多个光源的比例的白平衡。

根据本发明的至少一个实施方式，有利之处在于可以通过基于图像传感器和红外传感器的闪烁分析来执行根据周围光源的类型的有效白平衡。

而且，根据本发明的至少一个实施方式，有利之处在于可以在红外传感器被启用的情况下执行根据周围光源的类型的有效白平衡。

可以使用其上存储有用于由处理器执行以执行这里示出的各种方法的机器可读介质来实施各实施方式。可能的机器可读介质的示例包括HDD(硬盘驱动器)、SSD(固态硬盘)、SDD(硅盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、这里示出的其他类型的存储介质及其组合。如果需要，则机器可读介质可以实现为载波的形式(例如，通过互联网传输)。处理器可以包括移动终端的控制器180。

前述实施方式仅是示例性的并且不被视为限制本公开。本教导能够容易地应用于其他类型的方法和设备。该说明书意在是示出性的，并且不限制权利要求的范围。对于本领域技术人员来说，很多替选、修改和变化都是显而易见的。这里描述的示例性实施方式的特征、结构、方法和其他特性可以以各种方式组合以获得额外的和/或替选的示例性实施方式。

由于在不偏离其特性的情况下可以以若干形式来实施当前的特征，因此还应理解的时，上述实施方式不受到前述说明书的任何细节的限制，除非另有所述，但是应该在所附权利要求限定的范围内宽泛地来理解，，并且因此，落入权利要求的尺度和界限或者这样的尺度和界限的等价物内的所有变化和修改都应该由所附权利要求覆盖。

Claims (20)

1.一种移动终端，所述移动终端被配置为处理图像，所述移动终端包括：

相机，所述相机被配置为采集图像；

图像传感器，所述图像传感器被配置为获取经由所述相机采集的图像中的对象的图像信号；

红外传感器，所述红外传感器被配置为检测从所述对象反射的红外信号；

控制器，所述控制器被配置为利用所述图像传感器执行下述操作：

确定是否生成了闪烁；以及

基于检测到的红外信号来检测与为所生成的闪烁做出贡献的光源相关的信息；以及

图像处理器，所述图像处理器被配置为执行所获取的图像的白平衡，所述白平衡是在生成了闪烁的情况下基于所检测到的信息来执行的。

2.根据权利要求1所述的移动终端，其中：

所述光源包括第一光源和第二光源，所述第一光源是白炽灯，所述第二光源是荧光灯；并且

如果所检测到的红外信号小于或等于预定值，则基于所述第二光源执行所述白平衡。

3.根据权利要求2所述的移动终端，其中：

所述光源还包括第三光源，所述第三光源是太阳光；并且

如果所检测到的红外信号大于所述预定值并且没有生成闪烁，则基于所述第三光源执行所述白平衡。

4.根据权利要求3所述的移动终端，其中：

所述图像信号和所述红外信号各自包括均具有不同的起始点的多个输入信号；并且

所述多个输入信号各自的曝光时间的频率不同于所述第一光源和所述第二光源的操作频率。

5.根据权利要求3所述的移动终端，其中：

如果所检测到的红外信号大于所述预定值并且生成了闪烁，则基于所述第一光源执行所述白平衡。

6.根据权利要求1所述的移动终端，其中，所述控制器还被配置为：基于所获取的图像信号的平均强度的变化来确定是否生成了闪烁。

7.根据权利要求3所述的移动终端，其中，所述控制器还被配置为：

确定所述红外传感器是否被启用；以及

如果所述红外传感器没有被启用，则确定是否生成了闪烁。

8.根据权利要求6所述的移动终端，其中：

如果所述红外传感器没有被启用并且没有生成闪烁，则基于第三光源来执行所述白平衡；并且

所述控制器还被配置为：如果生成了闪烁，则重新确定所述红外传感器是否被启用。

9.根据权利要求7所述的移动终端，其中，所述控制器还被配置为：基于所获取的图像信号的平均强度的变化来确定是否生成了闪烁。

10.根据权利要求1所述的移动终端，其中，所述图像处理器还被配置为：

执行所获取的图像的自动曝光和自动对焦；以及

对由白平衡、自动曝光和自动对焦所处理的所获取的图像进行数字化和分析。

11.一种包括相机的移动终端的图像处理方法，所述方法包括以下步骤：

获取经由所述相机采集的图像中的对象的图像信号；

检测从所述对象反射的红外信号；

确定是否生成了闪烁；

检测与为所生成的闪烁做出贡献的光源相关的信息；以及

执行所获取的图像的白平衡，所述白平衡是在生成了闪烁的情况下基于所检测到的信息来执行的。

12.根据权利要求11所述的图像处理方法，其中：

所述光源包括第一光源和第二光源，所述第一光源是白炽灯，所述第二光源是荧光灯；并且

如果所检测到的红外信号小于或等于预定值，则基于所述第二光源执行所述白平衡。

13.根据权利要求12所述的图像处理方法，其中：

所述光源还包括第三光源，所述第三光源是太阳光；并且

如果所检测到的红外信号大于所述预定值并且没有生成闪烁，则基于所述第三光源执行所述白平衡。

14.根据权利要求13所述的图像处理方法，其中：

所述图像信号和所述红外信号各自包括均具有不同的起始点的多个输入信号；并且

所述多个输入信号的曝光时间的频率不同于所述第一光源和所述第二光源的操作频率。

15.根据权利要求13所述的图像处理方法，其中：

如果所检测到的红外信号大于所述预定值并且生成了闪烁，则基于所述第一光源执行所述白平衡。

16.根据权利要求11所述的图像处理方法，其中，确定是否生成了闪烁的步骤包括确定所获取的图像信号的平均强度的变化。

17.根据权利要求13所述的图像处理方法，所述方法还包括以下步骤：

确定所述红外传感器是否被启用；以及

如果所述红外传感器没有被启用，则基于所获取的图像信号的平均强度的变化来确定是否生成了闪烁。

18.根据权利要求17所述的图像处理方法，所述方法还包括以下步骤：

如果所述红外传感器没有被启用并且没有生成闪烁，则基于所述第三光源来执行所述白平衡；并且

如果生成了闪烁则重新确定所述红外传感器是否被启用。

19.根据权利要求17所述的图像处理方法，其中，确定是否生成了闪烁的步骤包括确定所获取的图像信号的平均强度的变化。

20.根据权利要求11所述的图像处理方法，所述方法还包括以下步骤：

执行所获取的图像的自动曝光和自动对焦；以及

对由白平衡、自动曝光和自动对焦所处理的所获取的图像进行数字化和分析。