CN101682698A - 改善低照度环境中的拍摄图像的亮度的电子设备 - Google Patents

Abstract

一种电子设备(1)，包括：拍摄部(10)，拍摄图像；控制部(20)，从所述拍摄部取得所拍摄的图像的数据和应用于所述图像的拍摄条件；亮度校正判断部(402)，比较所述取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及校正部(406)，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

Description

改善低照度环境中的拍摄图像的亮度的电子设备

技术领域

本发明涉及所拍摄的图像的亮度的校正，特别是涉及用于校正在低照度环境中用数字相机模块所拍摄的暗图像的亮度的处理。

背景技术

在带数字相机的电子设备中，根据被照体的照度来调整相机增益、灵敏度或相机曝光时间，由此将图像的亮度维持于所需要的级别。但是，在相机曝光时间的长度和由于手抖引起的图像质量下降之间存在权衡(利弊)的关系，另外在相机增益和曝光时间上也存在上限。因此，在极低照度的环境下，相机增益和曝光时间达到其上限，而图像较暗。为了提高被照体的照度，能够使用辅助照明。

在2004年4月30日公开的日本专利文献特开2004-133006号公报(A)中记载了一种图像拍摄装置。图像拍摄装置从图像信号的曝光电平和由测光得出的曝光电平来计算曝光误差值，并且基于图像拍摄装置的设定状态、图像拍摄装置的操作状态以及拍摄时被照体的亮度状态中的至少一个状态来计算所述曝光误差值的校正量，使用该校正量校正拍摄图像的曝光误差。根据拍摄装置的设定状态、操作状态以及拍摄时被照体的亮度来改变所述校正量的校正范围，使得对用于校正拍摄图像的曝光误差的校正量给以限制以免出现过度校正的拍摄结果。

专利文献1：日本专利文献特开2004-133006号公报。

在2004年6月10日公开的日本专利文献特开2004-166147号公报(A)中记载了一种图像质量的自动调整的技术。所述自动调整使用从图像生成历史信号得到的被照体的亮度的程度来执行图像质量调整处理。由此，根据被照体的亮度来适当地执行图像质量调整处理。

专利文献2：日本专利文献特开2004-166147号公报。

在2007年4月12日公开的日本专利文献特开2007-096477号公报(A)中记载了一种相机。所述相机包括：拍摄被照体的图像的影像传感器；从图像检测手抖信息的手抖检测部；使拍摄时的拍摄条件与检测出的手抖信息相互对应并对其进行记录的手抖记录部；以及手抖校正部。所述手抖校正部使用拍摄条件来参考手抖记录部，提取与该拍摄条件处于预定关系的、与拍摄条件相对应的手抖信息，并基于提取出的手抖信息来校正手抖。由此，提供了一种根据用户的个性或拍摄环境使手抖校正最优化的相机。

专利文献3：日本专利文献特开2007-096477号公报。

发明内容

例如，随着便携电话机这样的带数字相机的电子设备进一步被小型化，为此数字相机模块也被小型化，从而透镜和相机传感器小型化。因此，相对于数字相机模块的亮度的相机增益的上限变得更低。另外，为了小型化，也存在对无辅助照明的电子设备的需要(必要性)。

发明人认为，即使在电子设备的相机模块的相机增益和曝光时间上存在上限，也可以处理图像使得增大在极低照度的环境中拍摄的暗图像的亮度，由此使上述图像的质量提高，从而能够使用上述的暗图像。另外，发明人认为，能够在每次拍摄图像时校正该拍摄图像的亮度而存储并显示该校正后的图像，由此不需要用户白白增加相同图像或重复拍摄，从而能够使图像存储器的需求量减少。

本发明的目的在于使低照度环境中的相机模块的图像质量提高。

本发明的另外的目的在于实现能够使低照度环境中的相机模块的图像质量提高的电子设备。

根据本发明的特征，一种电子设备，包括：拍摄部，拍摄图像；控制部，从所述拍摄部取得拍摄的图像的数据和应用于所述图像的拍摄条件；亮度校正判断部，比较取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

根据本发明的另外的特征，一种电子设备，包括：

拍摄部，拍摄图像；

亮度校正判断部，从所述拍摄部取得拍摄的图像的数据和应用于所述图像的所述拍摄部的拍摄条件，比较取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及

校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

发明效果

根据本发明，能够实现能够使低照度环境中的相机模块的图像质量提高的电子设备。

附图说明

图1示出了本发明的实施方式的、具有数字相机模块的电子设备1的构成；

图2示出了手抖校正部的构成；

图3用实线示出了相对于被照体的不同的亮度或照度的相机模块的增益及曝光时间的需要级别与相机模块的增益及曝光时间的实际的级别之间的关系；

图4示出了本发明的方式的、相对于被照体的不同的亮度的相机模块的增益及曝光时间的需要级别、相机模块的增益及曝光时间的实际的级别以及亮度校正级别的关系；

图5示出了本发明的另外的方式的、相对于被照体的不同的亮度的相机模块的增益及曝光时间的需要级别、相机模块的增益及曝光时间的实际的级别、以及其他的亮度校正级别的关系；

图6分别用单点划线和虚线示出了相机模块中的、用于针对不同的亮度的暗的被照体来进一步提高拍摄图像的亮度的相机曝光时间及相机增益的设定级别的轨迹的两个例子；

图7示出了表示相对于由相机模块拍摄的图像的亮度指标的、通过本发明的方式实施的图像的亮度校正的系数的关系的校正系数函数；

图8示出了表示相对于由相机模块10拍摄的图像的亮度指标的、通过本发明的另外的方式实施的亮度校正的系数的关系的另外的校正系数函数；

图9示出了本发明的方式的、表示相对于由图像处理处理器的亮度校正判断部或校正系数确定部赋予的亮度校正系数的、运动检测中的噪声去除用的图像相似度的阈值的变化的阈值函数；

图10示出了本发明的方式的、表示与由图像处理处理器赋予的亮度校正系数相对的轮廓强调程度的变化的轮廓强调度程度函数；

图11示出了本发明的实施方式的、由相机处理处理器、图像处理处理器和记录部执行的、用于来自相机模块的拍摄图像的亮度校正的流程图；

图12示出了本发明的另外的实施方式的、由相机处理处理器、图像处理处理器和记录部执行的、用于来自相机模块的拍摄图像的亮度校正的另外的流程图；

图13示出了本发明的另一实施方式的、由相机处理处理器、图像处理处理器和记录部执行的、用于来自相机模块的拍摄图像的亮度校正和手抖校正的另一流程图；

图14示出了本发明的另一实施方式的、由相机处理处理器、图像处理器和记录部执行的、用于来自相机模块的拍摄图像的亮度校正和手抖校正的另一流程图；

图15示出了表示通过亮度校正部进行的校正的输入像素值与输出像素值的关系的亮度校正函数或色调曲线的例子；

图16示出了表示通过亮度校正部进行的校正的输入像素值与输出像素值的关系的亮度校正函数或色调曲线的例子。

具体实施方式

参考附图来说明本发明的实施方式。在附图中，对同样的构成元件标注了相同的参考号。

图1示出了本发明的实施方式的、具有数字相机模块10的电子设备1的结构。电子设备1还包括：相机处理处理器(CPU)20；图像处理处理器(CPU)40；记录部60；以及结合在显示器86和输入装置88(例如按键)上的用户界面(I/F)80。作为替代结构，相机处理处理器20可以与图像处理处理器40一体化。作为替代结构，相机处理处理器20和图像处理处理器40可以安装到数字相机模块10上作为后处理部。

相机模块10包括：透镜模块102、拍摄用CCD/CMOS传感器104、相关二次采样器(CDS)106、自动增益控制器(AGC)108、模拟-数字转换器(ADC)110、数字信号处理器(DSP)112、以及与图像存储区域114耦合的相机处理器(CPU)120。

CCD/CMOS传感器104基于设定的曝光时间，经由透镜模块102拍摄被照体而生成模拟图像。相关二次采样器106、自动增益控制器108以及模拟-数字转换器110生成数字图像，数字信号处理器112输出预定格式的数字图像数据。相机处理处理器20通过写入相机处理器120的寄存器(REG)122来设定CCD/CMOS传感器104的曝光时间和自动增益控制108的增益。另外，相机处理处理器20能够读取保存在寄存器122中的、相机模块10当前设定的增益、曝光时间以及拍摄的被照体的取景器照度。根据被照体的亮度或照度，确定相机模块10所需要的增益及曝光时间。

相机处理处理器20具有控制相机模块10的控制部202，从相机模块10取得相机增益(即AGC 108的增益)、曝光时间以及被照体照度的数据供应给图像处理处理器40，从相机模块10取得拍摄图像数据供应给记录部60。相机处理处理器20例如可以至少一部分以硬件的形式作为集成电路进行安装，或者至少一部分以软件的形式作为在处理器上工作的程序进行安装。

作为替代结构，相机模块10可以被分离构成为一个无相机DSP的模块和一个DSP模块，所述无相机DSP的模块设有透镜模块102、拍摄用CCD/CMOS传感器104、相关二次采样器(CDS)106、自动增益控制器(AGC)108以及模拟-数字转换器(ADC)110，所述DSP模块设有数字信号处理器(DSP)112以及与图像存储区域114耦合的相机处理器(CPU)120。

图像处理处理器40包括：基于存储在阈值存储区域404中的阈值来判断是否应校正拍摄图像的亮度的亮度校正判定部402；按照校正系数校正拍摄图像的亮度的亮度校正部406；确定亮度校正系数的亮度校正系数确定部408；以及包括图像合成部522的手抖校正部500。图像处理处理器40基于来自相机处理处理器20的相机增益、曝光时间以及被照体照度的数据，处理存储在记录部60中的拍摄图像数据和中间图像数据，将进行了处理的图像作为中间图像数据和输出图像数据存储到记录部60。图像处理处理器40例如可以至少一部分以硬件的形式作为集成电路进行安装，或者至少一部分以软件的形式作为在处理器上工作的程序进行安装。

记录部60包括拍摄图像储存区域602、中间图像存储区域604以及输出图像存储区域606。拍摄图像储存区域602存储从相机处理处理器20取得的拍摄图像数据。中间图像存储区域604将根据需要而进行了校正的拍摄图像数据存储为中间图像数据。输出图像存储区606将根据需要而进行了图像处理的中间图像数据存储为输出图像数据。

用户界面80耦合到显示器86和包括按键的输入装置88，将用户的按键输入供应给处理器20，并将与图像亮度和校正等相关的信息、拍摄图像以及处理完的图像显示在显示装置86上。

在图1中，由用户按下一次快门键，与此相对，相机模块10拍摄(连拍)连续的多个镜头的图像，在拍摄图像存储区域602中存储所拍摄的多个图像的数据。亮度校正判断部402从相机处理处理器20取得拍摄图像的相机增益及曝光时间，并进一步根据情况来取得被照体照度和/或需要的相机增益及曝光时间，将所述相机增益、曝光时间以及照度转换为亮度的指标，将图像的亮度指标与需要的亮度指标比较，或者与阈值存储区域404中的对应的阈值比较，来判断是否应校正拍摄图像的亮度。根据相机曝光时间和相机增益的设定，可以仅比较曝光时间和其阈值来判断是否应校正亮度，或者仅比较增益与其阈值来判断是否应校正亮度。

在判断为应校正所述亮度的情况下，亮度校正部406从拍摄图像存储区域602提取拍摄图像数据，按照预定的校正系数或由亮度校正系数确定部408确定的校正系数，并基于预定的亮度校正函数或色调曲线来校正拍摄图像的亮度，并将校正得到的图像数据存储到中间图像存储区域604。手抖校正部500从中间图像存储区域604取出进行了亮度校正或未进行亮度校正的多个中间图像的数据，通过多个中间图像生成进行了手抖校正的输出图像。

图2示出了手抖校正部500的结构。手抖校正部500包括：与中间图像存储区域604耦合而保存多个中间图像的图像保存部506；与图像保存部506耦合的位置偏离计算部512；与计算部512耦合的位置偏离校正部514；与位置偏离校正部514耦合的相似性评价部516；与图像保存部506耦合的运动区域检测部518；图像合成部522；确定或选择图像处理用的参数的参数确定部524；具有噪声去除部528和轮廓强调部530的图像处理部526、以及与图像保存部506耦合的合成图像保存部532。图2可以看成用于包括构成元件506～532的步骤在内的手抖校正的流程图。

手抖校正部500的位置偏离计算部512计算存储在中间图像存储区域604中的多个中间图像的相互间的整体的位置偏离。位置偏离校正部514按照算出的位置偏离来生成另外的多个中间图像，该另外的多个中间图像校正了整体的位置偏离。相似性评价部516计算多个中间图像之间的每个区域的相似度而评价其相似度。

运动区域检测部518基于多个中间图像之间的每个区域的相似度数据检测运动区域。图像合成部522基于运动区域数据处理多个中间图像而生成合成图像。图像合成部522例如可以将进行了位置偏离校正的多个中间图像的对应的区域的例如平均值确定为合成值，也可以将与运动区域相关地选择的一个图像的数据确定为合成值。

运动区域检测部518例如可以包括阈值设定部、运动判定部、孤立点噪声判断部以及判断缓冲器(未图示)。在所述阈值设定部中，计算第一及第二阈值，并分别输出给运动判断部和孤立点噪声判断部。第一及第二阈值根据曝光时间和/或增益值来确定。

所述运动判断部根据偏离量Δ的大小，判断多个图像间的对应的区域是否为运动区域。在差分值Δ大于第一阈值的情况下判断为存在运动，将运动判断结果输出到判断缓冲器。所述判断缓冲器例如以位图形式记录运动判断结果。在判断为比较的图像间的像素(x，y)的区域存在运动的情况下，所述判断部在位图的位置M(x，y)处设定“1”。在判断为该区域不存在运动的情况下，所述判断部在位置M(x，y)处设定“0”。

所述孤立点噪声判断部判断被判断为存在运动的像素的位置M(x，y)是否为孤立点噪声。当判断为其是孤立点噪声的情况下，将所述位置M(x，y)确定为不运动(“0”)。例如，参考与关注像素的位置M(x，y)邻接的周围的8个位置的判断结果，对确定为存在运动的像素的个数进行计数，在该计数值小于第二阈值的情况下判断为孤立点噪声，从而将该位置M(x，y)设定为无运动(“0”)。

参数确定部524基于来自亮度校正部406或校正系数确定部408的亮度校正系数、来自相似性评价部516的相似度数据以及来自运动区域检测部518的运动区域数据，确定在图像处理部526的图像处理中使用的参数。图像处理部526基于该被确定的参数，对来自图像合成部522的合成图像进行后处理，将处理完的图像存储到合成图像保存部532。

参数确定部524基于多个图像间的每个区域的相似度数据，判断是否需要噪声去除处理，并确定对在对应的多个区域中相似度为阈值以下的区域进行噪声去除处理。参数确定部524根据运动区域数据确定应合成图像的个数，并根据应合成的图像的个数、图像相似度阈值以及轮廓强调程度来确定轮廓强调的程度。参数确定部524可以进一步从相似度数据和运动区域数据来确定其他的所需要的参数。

参数确定部524例如可以设定用于进行噪声去除处理的合成图像数、以及加权平均滤波器、中值滤波器、模糊处理(低通滤波器)等滤波器尺寸(噪声去除参数)。例如，在合成图像数为1的区域中将滤波器尺寸设为5×5，在合成图像数为2的区域中设为3×3，在合成图像数为3的区域中设为1×1，而将其存储到存储区域。

参数确定部524确定如在图像处理部526中使用的噪声去除(过滤)用的图像相似度的阈值(例如，1～2或100～200％)以及二维轮廓强调或轮廓补偿(过滤)的程度(例如，0.5～1或50～100％)这样的、图像处理部526中必要的参数的值。

图像处理部526按照由参数确定部524确定的参数值，例如图像相似度阈值和轮廓强调程度等，去除每个区域的图像的噪声并进行轮廓强调，将处理完的图像数据输出作为合成图像532。噪声去除处理部528基于对应于合成图像的每个区域的噪声去除参数，例如滤波器尺寸，来进行噪声去除处理。

在确定每个区域的合成图像数之后，例如可以在合成图像的每个区域中根据合成图像数进行轮廓强调处理或噪声去除处理。可以在合成图像数为预定的数(例如1)以下的情况下进行噪声去除，在合成图像数大于预定数的情况下进行轮廓强调。

图3用实线示出了相对于被照体的不同的亮度或照度的相机模块的增益及曝光时间的需要级别与相机模块10的增益及曝光时间的实际的级别之间的关系。这里，纵轴和横轴是通过增益换算示出曝光时间的值和增益值的合计的值，或者是表示该合计值的指标(例如，0～150％)。如直线状的单点划线所示，相机模块10的增益及曝光时间的实际级别与理想状态下增益及曝光时间的需要级别之间应存在线性的比例关系。但是，如实线所示，相机模块10为了小型化，在增益及曝光时间的实际的最大级别(纵轴)上具有比需要级别低的界限。即，在相机模块10中，关于增益及曝光时间，在使低照度下拍摄的暗的图像高辉度化或高明度化时具有界限。因此，具有增益及曝光时间的需要级别比相机模块10的最大界限高的级别的暗的被照体的图像不能进一步提高亮度，有时对用户而言不能使用。

图4示出了本发明的方式的、相对于被照体的不同的亮度的相机模块的增益及曝光时间的需要级别、相机模块10的增益及曝光时间的实际的级别以及亮度校正级别的关系。在该情况下，即使是具有增益及曝光时间的需要级别比相机模块10的最大界限高的级别的暗的被照体的图像，通过对拍摄的图像的数据进行后处理，也能够如虚线所示那样地提高拍摄图像的亮度或辉度的增益，以使其接近理想线。因此，能够将比相机模块10的高辉度化的界限更暗某程度的被照体的图像加亮至用户能够使用的级别。

图5示出了本发明的另外的方式的、相对于被照体的不同的亮度的相机模块的增益及曝光时间的需要级别、相机模块10的增益及曝光时间的实际的级别、以及其他的亮度校正级别的关系。在该情况下，即使是具有增益及曝光时间的需要级别比相机模块10的最大界限高的级别的暗的被照体的图像，通过对拍摄的图像的数据进行后处理，也能够如虚线所示那样地逐级或离散地提高增益，以使其接近理想线。因此，能够将比相机模块10的高辉度化的界限更暗某程度的被照体的图像加亮至用户能够使用的级别。

图6分别用单点划线和虚线示出了相机模块10中的、用于针对不同的亮度的暗的被照体来进一步提高拍摄图像的亮度的相机曝光时间及相机增益的设定级别的轨迹的两个例子。相机曝光时间和相机增益的值由各自的轨迹和取景器照度来确定。

在一个例子中，为提高拍摄图像的亮度，首先使相机的自动增益控制器108的增益从0dB缓慢增大至12dB，在既便如此仍未得到充分的亮度的情况下，使CCD/CMOS传感器104的曝光时间从0.1ms缓慢增大至125ms。在该情况下，相机曝光时间的上限为125ms，相机增益的上限为12dB。

在另外的例子中，为提高拍摄图像的亮度，首先使相机的自动增益控制器108的增益从0dB缓慢增大至3dB，在既便如此仍未得到充分的亮度的情况下，使CCD/CMOS传感器104的曝光时间从0.1ms缓慢增大至60ms，在既便如此仍未得到充分的亮度的情况下，使增益进一步从3dB缓慢增大至6dB，在既便如此仍未得到充分的亮度的情况下，使CCD/CMOS传感器104的曝光时间从60ms缓慢增大至125ms，在既便如此仍未得到充分的亮度的情况下，使增益进一步从6dB缓慢增大至12dB。在该情况下，自动增益控制器108的增益的最大界限级别为12dB，CCD/CMOS传感器104的曝光时间的最大界限级别为125ms。

增益及曝光时间的组合有助于拍摄图像的亮度或辉度。在该情况下，增益增大6dB大致相当于将曝光时间增大2倍(100ms/50ms)。

直至增益及曝光时间均达到最大界限为止，CCD/CMOS传感器104测出的亮度Bn相对于该时刻的增益值Gn、曝光时间En、常数α能够通过下式来表示，并可以作为亮度校正判断和图像的亮度指标来使用。

Bn＝Gn/6+log₂(En)+α

在是否进行亮度校正的判断中，可以将最大值Bmax以下的亮度Bth(Bth≤Bmax)作为阈值，当在图6的第一例的曝光时间和相机增益的设定中增益增大至12dB之后使曝光时间增大的简易的轨迹(迁移)的情况下，可以将最大值Emax以下的曝光时间Eth(Eth≤Emax)作为阈值。

图7示出了表示相对于由相机模块10拍摄的图像的亮度指标的、通过本发明的方式实施的图像的亮度校正的系数的关系的校正系数函数。该表示相对于拍摄图像的亮度指标的校正系数的关系的函数由校正系数确定部408来使用。

当拍摄图像的亮度指标在图像处理处理器40(构成元件402～408)的亮度尺度下为阈值50％以下且高于20％时，设定使得随着亮度变暗使亮度校正系数在从0％至100％的范围内缓慢提高。在所述亮度级别为20％以下的情况下，将亮度校正系数设定成最大的界限100％。在拍摄图像的亮度指标为大于预定的阈值50％且小于等于100％的情况下，校正系数可以为0(零)。这里，亮度指标的百分率100％表示着可能的最大值。如上所述，随着拍摄图像的亮度指标从阈值开始减小，亮度校正系数实质上单调增大。

图8示出了表示相对于由相机模块10拍摄的图像的亮度指标的、通过本发明的另外的方式实施的亮度校正的系数的关系的另外的校正系数函数。

当拍摄图像的亮度指标在图像处理处理器40(构成元件402～408)的亮度尺度下为50％以下且高于30％时，将亮度校正系数设高至50％。在亮度级别为30％以下的情况下，将亮度校正系数设定成最大的界限100％。在拍摄图像的亮度指标大于预定的阈值50％且小于等于100％的情况下，校正系数可以为0(零)。如上所述，随着拍摄图像的亮度指标从阈值开始减小，亮度校正系数实质上单调增大。

图9示出了本发明的方式的、表示相对于由图像处理处理器40的亮度校正判断部402或校正系数确定部408赋予的亮度校正系数0％～100％的、运动检测中的噪声去除用的图像相似度的阈值的变化的阈值函数。

在基于多个图像间的区域的相似性的评价的相似度比阈值低的情况下，判断为在该区域中包含无法忽略的噪声，可以使得相似度低的区域不使用于图像合成，和/或可以对合成图像中的所述相似度低的区域进行噪声去除处理。在亮度校正系数为0％的情况下，使用在运动检测中的噪声去除用的图像相似度的通常的阈值。另一方面，在阈值函数中，随着亮度校正系数增大，噪声去除用的图像相似度实质上是单调增大的。在亮度校正系数为100％的情况下，使用噪声去除用的图像相似度的通常的阈值(100％)的2倍的阈值200％。由此，去除具有通过亮度校正而增大的亮度和明度(辉度)的差的校正图像的噪声来防止失败。

图10示出了本发明的方式的、表示与由图像处理处理器40赋予的亮度校正系数0％～100％相对的轮廓强调程度的变化的轮廓强调度程度函数。

在轮廓强调中，表示轮廓的某区域的像素通过修正亮度级别以强调其轮廓的方式来进行轮廓强调滤波。在亮度校正系数为0％的情况下，轮廓强调程度以通常的强调系数的程度的100％来进行。另一方面，在亮度校正系数为100％的情况下，轮廓强调被抑制在通常的强调系数的程度50％。所述强调系数的程度可以与生成加在图像信号上的轮廓强调信号的轮廓强调滤波器的系数相乘，或者可以与上述的生成的被进行相加的轮廓强调信号相乘。如上所述，随着亮度校正系数增大，轮廓强调程度实质上单调减少。由此，在具有通过亮度校正而增大的亮度的校正图像的轮廓强调滤波中，防止具有通过亮度校正而增大的亮度和明度(辉度)的差的校正图像的噪声被错误地评价为轮廓或轮廓被过大地强调。

图11示出了本发明的实施方式的、由相机处理处理器20、图像处理处理器40和记录部60执行的、用于来自相机模块10的拍摄图像的亮度校正的流程图。

在步骤802中，相机处理处理器20的控制部202从相机模块10读取保存在寄存器122中的应用于拍摄图像的实际的增益及曝光时间，进一步根据情况读取被照体照度和/或需要的相机增益及曝光时间的数据，图像处理处理器40取得上述数据。在步骤804中，图像处理处理器40的亮度判断部402判断所述实际的增益及曝光时间是否达到或超过了各自的预定的阈值Bth。根据相机曝光时间和相机增益的设定，该判断可以仅比较曝光时间与其阈值，也可以仅比较增益与其阈值。

在判断为未达到阈值Bth的情况下，在步骤812中，相机处理处理器20从相机模块10(图像存储区域114)提取拍摄图像数据存储到记录部60的拍摄图像存储区域602。在步骤816中，记录部60将所述拍摄图像数据存储到中间图像存储区域604，并进一步将其作为确认用图像数据和保存图像数据存储到输出图像存储区域606。步骤812～816为通常的处理。

当在步骤804中判断为达到阈值Bth时，在步骤822中，相机处理处理器20从相机模块10(图像存储区域114)提取关联的多个拍摄图像数据存储到记录部60的拍摄图像存储区域602。

在步骤826中，校正系数确定部408确定一个预定的校正系数(例如，100％)。

在步骤834中，亮度校正部406按照在亮度校正判断部402中确定的校正系数来校正，以按照预定的亮度校正函数或色调曲线来处理所述拍摄图像数据使其亮度增大。

图15和图16示出了表示由亮度校正部406执行的校正的输入像素值和输出像素值的关系的亮度校正函数或色调曲线的例子。亮度校正部406根据预先确定的校正系数30～100％的范围的值将拍摄图像的像素的值作为输入像素值，输出按照图15或图16的校正函数直线或曲线进行了亮度校正的输出像素值来作为中间图像数据。

在步骤840中，亮度校正部406将校正的拍摄图像作为中间图像存储到中间图像存储区域604。记录部60将中间图像存储区域604中的校正的中间图像作为用于显示的确认用图像数据和预定格式(例如，JPEG)的保存用图像数据存储到输出图像存储区域606。

在步骤842中，亮度校正判断部402可以经由用户界面80在显示器86上显示校正了拍摄图像的亮度。用户可以通过操作输入装置88来切换显示存储在拍摄图像存储区域602中的校正前的拍摄图像和存储在输出图像存储区域606中的校正完的图像。用户能够在判断为校正完的图像不能使用、即拍摄失败的情况下删除输出图像存储区域606中的输出图像。但是，根据本发明，即使拍摄图像暗成某程度，也能够将进行了亮度校正的图像作为输出图像来提示，因此，校正完的图像具有需要的亮度的可能性将升高，由用户作为拍摄失败而删除图像的机会将减少，且补拍图像的机会将减少。

图12示出了本发明的另外的实施方式的、由相机处理处理器20、图像处理处理器40和记录部60执行的、用于来自相机模块10的拍摄图像的亮度校正的另外的流程图。

步骤802～822与图11是一样的。

在步骤828中，校正系数确定部408生成相对于拍摄图像的像素的亮度级别的像素频率(次数)的直方图并对其进行解析，计算拍摄图像的预定的亮度的指标INDEX。亮度的指标INDEX例如可以为，(a)直方图中的亮度的平均值，(b)直方图的中央值，(c)直方图的最高频率像素的值，(d)去除频率低的未达到阈值的最暗的像素(亮度级别0～n)和频率高的阈值以上的最亮的像素(亮度级别m～255)之后的两阈值范围内的像素的直方图的亮度的平均值，以及(e)将在图像的多个分配区域中的各自的直方图的亮度的指标(当在各个区域中应用了上述(a)～(d)的指标时的指标)的平均值用相对于最大的亮度值的百分率(％)来表示的值。

作为替代构成，校正系数确定部408在从CCD/CMOS传感器104读取被照体亮度相当值的情况下，可以将从CCD/CMOS传感器104读取的被照体亮度相当值标准化成0～100％作为亮度指标。作为其他的替代构成，校正系数确定部408可以直至增益及曝光时间均达到最大界限为止使用实际的增益Gn、曝光时间En、或亮度Bn，并将所述亮度Bn标准化成0～100％作为亮度指标。

在步骤830中，亮度校正系数确定部408将图像的亮度的指标(0～100％)与预定的阈值(例如50％)比较，进一步按照校正系数函数确定亮度校正系数。所述亮度校正系数可以按照表示相对于图7和图8的图像亮度指标的校正系数的关系的校正系数函数来确定。所述校正系数函数可以用表TBL的方式存储到亮度校正系数确定部408。

步骤834～842与图11是一样的。

图13示出了本发明的另一实施方式的、由相机处理处理器20、图像处理处理器40和记录部60执行的、用于来自相机模块10的拍摄图像的亮度校正和手抖校正的另一流程图。

步骤802～812与图11是一样的。

在步骤814中，手抖校正部500处理通过通常的方式存储在中间图像存储区域604中的没有进行明亮度校正的中间图像来进行手抖校正，并存储到合成图像保存区域532。在步骤816中，记录部60将合成图像数据作为确认用图像数据和保存图像数据存储到输出图像存储区域606。

步骤822～834与图11是一样的。

在步骤838中，手抖校正部500的参数确定部524根据亮度校正系数并按照预定的阈值校正函数来计算校正了图像相似度的阈值，并按照该校正的阈值判断是否需要从多个图像间的区域的相似度数据去除噪声。所述校正了图像相似度的阈值可以按照表示相对于图9的亮度校正系数的阈值的关系的阈值校正函数来确定。所述校正函数可以用表TBL的方式存储到参数确定部524。另外，参数确定部524根据亮度校正系数并按照预定的轮廓强调校正函数来确定轮廓强调的程度。所述轮廓强调的程度可以按照表示相对于图10的亮度校正系数的轮廓强调的程度的关系的轮廓强调程度函数来确定。所述轮廓强调程度函数可以用表TBL的形式存储到参数确定部524。

手抖校正部500的噪声去除部528根据亮度校正系数(0～100％)、按照预定的校正了图像相似度的阈值和校正了的轮廓强调程度来进行手抖校正。由此，使亮度或明度的差增大的结果是防止应去除噪声的区域未被去除噪声的情况。另外，使亮度或明度的差增大的结果是防止校正图像的噪声被错误地评价为轮廓或轮廓过大地被强调。

步骤840～842与图11是一样的。

图14示出了本发明的另一实施方式的、由相机处理处理器20、图像处理器40和记录部60执行的、用于来自相机模块10的拍摄图像的亮度校正和手抖校正的另一流程图。

步骤802～812、816～834以及840～842与图12是一样的。步骤814、838与图13是一样的。

以上说明的实施方式仅作为典型例而举出，对本领域技术人员来说，上述组合各个实施方式的构成元件及其变形、以及变化是明了的，如果是本领域技术人员则可以在不脱离本发明的原理和权利要求书记载的发明的范围内对上述的实施方式进行各种变形。

关于包括以上的实施例的实施方式，进一步公开以下的附记。

(附记1)一种电子设备，包括：

拍摄部，拍摄图像；

控制部，从所述拍摄部取得所拍摄的图像的数据和应用于所述图像的拍摄条件；

亮度校正判断部，比较上述的取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及

校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

(附记2)根据附记1所述的电子设备，其特征在于，

包括根据所述拍摄的图像的亮度并按照预定的校正系数函数来确定校正系数的校正系数确定部，

所述校正系数确定部按照离散或连续的校正系数函数，从多个候补的校正系数中确定一个校正系数，

所述校正部基于所述确定的校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

(附记3)根据附记1所述的电子设备，其特征在于，

还包括根据所述拍摄的图像的亮度并按照预定的校正系数函数来确定校正系数的校正系数确定部，

所述校正系数函数是随着所述亮度从预定的阈值开始减小而所述校正系数实质上单调增大的函数，

所述校正部基于所述校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

(附记4)根据附记1所述的电子设备，其特征在于，

还包括基于所述拍摄的图像的像素数据的直方图确定所述拍摄的图像的亮度的指标，根据所述确定的亮度的指标并按照预定的校正系数函数来确定校正系数的校正系数确定部，

所述校正部基于所述校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

(附记5)根据附记1所述的电子设备，其特征在于，

所述相机部连续地拍摄多个图像，

所述电子设备还包括手抖校正部，所述手抖校正部根据所述多个图像之间被检测出的运动来合成所述多个图像，生成进行了手抖校正的一个图像。

(附记6)根据附记5所述的电子设备，其中，

所述手抖校正部根据所述亮度校正系数并按照预定轮廓强调度校正函数来确定轮廓强调度，按照上述的确定的轮廓强调度强调所述合成的图像的轮廓。

(附记7)根据附记6所述的电子设备，其中，

所述轮廓强调度校正函数是随着所述亮度校正系数增大而所述轮廓强调度实质上单调减少的函数。

(附记8)根据附记5所述的电子设备，其中，

所述手抖校正部根据所述亮度校正系数并按照预定的阈值校正函数来确定用于去除噪声的图像相似度阈值，按照上述的确定的图像相似度阈值去除所述合成的图像的噪声。

(附记9)根据附记6所述的电子设备，其中，

所述阈值校正函数是随着所述亮度校正系数增大而所述图像相似度阈值实质上单调增大的函数。

(附记10)根据附记1所述的电子设备，其中，

还包括在所述校正部校正了所述拍摄的图像的数据时显示所述拍摄的图像被进行了亮度校正的显示器。

(附记11)根据附记1所述的电子设备，其中，

还包括存储所述拍摄的图像的存储区域和存储被进行了亮度校正的所述图像的数据的存储区域。

(附记12)一种电子设备，包括：

拍摄部，拍摄图像；

亮度校正判断部，从所述拍摄部取得上述的拍摄的图像的数据和应用于所述图像的所述拍摄部的拍摄条件，比较上述的取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及

校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

Claims (6)

1.一种电子设备，包括：

拍摄部，拍摄图像；

控制部，从所述拍摄部取得所拍摄的图像的数据和应用于所述图像的拍摄条件；

亮度校正判断部，比较所述取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及

校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

2.根据权利要求1所述的电子设备，其特征在于，

还包括：校正系数确定部，根据所述拍摄的图像的亮度并按照预定的校正系数函数来确定校正系数，

所述校正系数确定部按照离散或连续的校正系数函数，从多个候补的校正系数中确定一个校正系数，

所述校正部基于所述确定的校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

3.根据权利要求1的电子设备，其特征在于，

还包括：校正系数确定部，根据所述拍摄的图像的亮度并按照预定的校正系数函数来确定校正系数，

所述校正系数函数是随着所述亮度从预定的阈值开始减小而所述校正系数实质上单调增大的函数，

所述校正部基于所述校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

4.根据权利要求1的电子设备，其特征在于，

还包括：校正系数确定部，基于所述拍摄的图像的像素数据的直方图确定所述拍摄的图像的亮度的指标，根据所述确定的亮度的指标并按照预定的校正系数函数来确定校正系数，

所述校正部基于所述校正系数确定所述亮度校正函数，

使在低照度环境中拍摄的图像的亮度提高。

5.根据权利要求1的电子设备，其特征在于，

所述相机部连续地拍摄多个图像，

所述电子设备还包括手抖校正部，所述手抖校正部根据所述多个图像之间被检测出的运动来合成所述多个图像，生成进行了手抖校正的一个图像。

6.一种电子设备，包括：

拍摄部，拍摄图像；

亮度校正判断部，从所述拍摄部取得上述的拍摄的图像的数据和应用于所述图像的所述拍摄部的拍摄条件，比较上述的取得的拍摄条件和阈值，判断是否需要校正所述拍摄的图像的数据的亮度；以及

校正部，响应于所述判断部作出的进行校正的判断，按照亮度校正函数校正所述拍摄的图像的数据，使得所述拍摄的图像的亮度更亮。

Images