CN108270977A - 控制方法及装置、成像设备、计算机设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种控制方法及装置、成像设备、计算机设备及非易失性计算机可读存储介质。控制方法包括控制长曝光像素、中曝光像素、短曝光像素以初始长曝光时间、初始中曝光时间及初始短曝光时间曝光以获得长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息，根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正长曝光时间及修正短曝光时间，根据修正长曝光时间、所述初始中曝光时间、及所述短曝光时间控制像素单元阵列曝光以输出高动态范围图像。本发明实施方式的控制方法及装置、成像设备、计算机设备和非易失性计算机可读存储介质修正像素单元阵列的长、中、短三个曝光时间后再拍摄图像，图像的成像效果更好。

Description

控制方法及装置、成像设备、计算机设备及可读存储介质

技术领域

本发明涉及成像技术领域，特别涉及一种控制方法、控制装置、成像设备、计算 机设备及非易失性计算机可读存储介质。

背景技术

现有的多帧HDR拍摄高动态范围图像是通过依次获取三帧不同曝光时间的图像，再将 三帧不同曝光时间的图像进行融合以得到高动态范围图像。但是实际拍摄时三帧图像的中 长曝光的一帧图像对应的长曝光时间和短曝光的一帧图像对应的短曝光时间均是预先设 定。如此，在不同的环境亮度下，使用预先设定的长曝光时间曝光的长曝光图像可能出现 曝光不足，使用预先设定的短曝光时间曝光的短曝光图像可能出现过曝，如此，无法获取 到准确的高动态范围图像。

发明内容

本发明的实施例提供了一种控制方法、控制装置、成像设备、计算机设备及非易失性计算机可读存储介质。

本发明实施方式的控制方法，用于成像设备，其特征在于，所述成像设备包括由多个 感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多 个短曝光像素，所述控制方法包括：

控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝光像素以初 始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间曝光以获得 短曝光原始像素信息；

根据所述长曝光原始像素信息、所述中曝光原始像素信息及所述短曝光原始像素信息 确定修正长曝光时间及修正短曝光时间；和

根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像 素单元阵列曝光以输出高动态范围图像。

本发明实施方式的控制装置，用于成像设备，其特征在于，所述成像设备包括由多个 感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多 个短曝光像素，所述控制装置包括第一控制模块、修正模块和第二控制模块。所述第一控 制模块用于控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝光像 素以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间曝光 以获得短曝光原始像素信息；所述修正模块用于根据所述长曝光原始像素信息、所述中曝 光原始像素信息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间；所述 第二控制模块用于根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时 间控制所述像素单元阵列曝光以输出高动态范围图像。

本发明实施方式的成像设备包括由多个感光像素组成的像素单元阵列，所述感光像素 包括多个长曝光像素、多个中曝光像素和多个短曝光像素；所述成像设备还包括处理器， 所述处理器用于控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝 光像素以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间 曝光以获得短曝光原始像素信息，根据所述长曝光原始像素信息、所述中曝光原始像素信 息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间，以及根据所述修正 长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以 输出高动态范围图像。

本发明实施方式的计算机设备，包括存储器及处理器，所述存储器中存储有计算机可 读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的控制方法。

本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介 质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的控 制方法。

本发明实施方式的控制方法、控制装置、成像设备、计算机设备和非易失性计算机可读存储介质首先控制像素单元阵列以三个不同的初始曝光时间曝光并输出原始像 素信息，再根据原始像素信息对初始长曝光时间和初始短曝光时间进行修正得到修正 长曝光时间和修正短曝光时间。再控制像素单元阵列以修正长曝光时间、初始中曝光 时间和修正短曝光时间曝光并高动态范围图像。如此，像素单元阵列以修正长曝光时 间曝光可以使得高动态范围图像中的欠曝部分被充分提亮，像素单元阵列以修正后的 短曝光时间曝光可以使得高动态范围图像中的过曝部分被充分压暗。如此，成像设备 可以拍摄更为对比度更高、动态范围更宽的高动态范围图像。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：

图1是本发明某些实施方式的控制方法的流程示意图。

图2是本发明某些实施方式的成像设备的部分结构示意图。

图3是本发明某些实施方式的成像设备的像素单元阵列的部分结构示意图。

图4是本发明某些实施方式的控制装置的模块示意图。

图5是本发明某些实施方式的成像设备的模块示意图。

图6是本发明某些实施方式的控制方法的流程示意图。

图7是本发明某些实施方式的控制方法的流程示意图。

图8是本发明某些实施方式的控制装置的修正模块的模块示意图。

图9是本发明某些实施方式的控制装置的修正单元的模块示意图。

图10是本发明某些实施方式的控制方法的流程示意图。

图11是本发明某些实施方式的控制装置的第二控制模块的模块示意图。

图12是本发明某些实施方式的控制方法的像素阵列的部分结构示意图。

图13是本发明某些实施方式的控制方法的流程示意图。

图14是本发明某些实施方式的控制装置的第二控制模块的模块示意图。

图15是本发明某些实施方式的控制方法的像素阵列的部分结构示意图。

图16是本发明某些实施方式的控制方法的像素阵列的部分结构示意图。

图17是本发明某些实施方式的控制方法的流程示意图。

图18是本发明某些实施方式的控制装置的模块示意图。

图19是本发明某些实施方式的计算机设备的模块示意图。

图20是本发明某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图一并参阅图1至图3和图5，本发明提供一种成像设备30的控制方法。成像设备30包括像素单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像 素单元阵列31包括多个像素单元311，每个像素单元311包括多个感光像素3111。滤光片 单元阵列32包括多个滤光片单元322，每个滤光片单元322包括多个子滤光片3222。每个 滤光片单元322中子滤光片3222的数目与每个像素单元322中感光像素3111的数目一致， 每个子滤光片3222对应覆盖一个感光像素3111。像素单元阵列31包括拜耳阵列。像素单 元阵列31中的多个感光像素3111包括多个长曝光像素、多个中曝光像素和多个短曝光像 素。其中，长曝光像素指的是感光像素3111对应的曝光时间为长曝光时间，中曝光像素指 的是感光像素3111对应的曝光时间为中曝光时间，短曝光像素指的是感光像素3111对应 的曝光时间为短曝光时间，其中，长曝光时间>中曝光时间>短曝光时间，且长曝光时间/ 中曝光时间＝中曝光时间/短曝光时间。长曝光像素包括有红色、蓝色和绿色三通道的感光 像素，中曝光像素包括有红色、蓝色和绿色三通道的感光像素，短曝光像素也包括有红色、 蓝色和绿色三通道的感光像素。控制方法包括：

01：控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝光像素 以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间曝光以 获得短曝光原始像素信息；

02：根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正 长曝光时间及修正短曝光时间；和

03：根据修正长曝光时间、初始中曝光时间、及修正短曝光时间控制像素单元阵列曝 光以输出高动态范围图像。

请一并参阅图2至图5，本发明提供一种成像设备30的控制装置10。成像设备30包括像素单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像素单元阵列31 包括多个像素单元311，每个像素单元311包括多个感光像素3111。滤光片单元阵列32包 括多个滤光片单元322，每个滤光片单元322包括多个子滤光片3222。每个滤光片单元322 中子滤光片3222的数目与每个像素单元322中感光像素3111的数目一致，每个子滤光片 3222对应覆盖一个感光像素3111。像素单元阵列31包括拜耳阵列。像素单元阵列31中的 多个感光像素3111包括多个长曝光像素、多个中曝光像素和多个短曝光像素。其中，长曝 光像素指的是感光像素3111对应的曝光时间为长曝光时间，中曝光像素指的是感光像素 3111对应的曝光时间为中曝光时间，短曝光像素指的是感光像素3111对应的曝光时间为短 曝光时间，其中，长曝光时间>中曝光时间>短曝光时间，且长曝光时间/中曝光时间＝中曝 光时间/短曝光时间。长曝光像素包括有红色、蓝色和绿色三通道的感光像素，中曝光像素 包括有红色、蓝色和绿色三通道的感光像素，短曝光像素也包括有红色、蓝色和绿色三通 道的感光像素。控制装置10包括第一控制模块11、修正模块12和第二控制模块13。步骤 01可以由第一控制模块11实现。步骤02可以由修正模块12实现。步骤03可以由第二控 制模块13实现。也即是说，第一控制模块11可用于控制长曝光像素以初始长曝光时间曝 光以获得长曝光原始像素信息、中曝光像素以初始中曝光时间曝光以获得中曝光原始像素 信息、短曝光像素以初始短曝光时间曝光以获得短曝光原始像素信息。修正模块12可用于 根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正长曝光时 间及修正短曝光时间。第二控制模块13可用于根据修正长曝光时间、初始中曝光时间、及 修正短曝光时间控制像素单元阵列曝光以输出高动态范围图像。

请一并参阅图2、图3和图5，本发明还提供一种成像设备30。成像设备30包括像素单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像素单元阵列31包括多 个像素单元311，每个像素单元311包括多个感光像素3111。滤光片单元阵列32包括多个 滤光片单元322，每个滤光片单元322包括多个子滤光片3222。每个滤光片单元322中子 滤光片3222的数目与每个像素单元322中感光像素3111的数目一致，每个子滤光片3222 对应覆盖一个感光像素3111。像素单元阵列31包括拜耳阵列。像素单元阵列31中的多个 感光像素3111包括多个长曝光像素、多个中曝光像素和多个短曝光像素。其中，长曝光像 素指的是感光像素3111对应的曝光时间为长曝光时间，中曝光像素指的是感光像素3111 对应的曝光时间为中曝光时间，短曝光像素指的是感光像素3111对应的曝光时间为短曝光 时间，其中，长曝光时间>中曝光时间>短曝光时间，且长曝光时间/中曝光时间＝中曝光时 间/短曝光时间。长曝光像素包括有红色、蓝色和绿色三通道的感光像素，中曝光像素包括 有红色、蓝色和绿色三通道的感光像素，短曝光像素也包括有红色、蓝色和绿色三通道的 感光像素。成像设备30还包括处理器60。步骤01、步骤02和步骤03均可以由处理器60 实现。也即是说，处理器60可用于控制长曝光像素以初始长曝光时间曝光以获得长曝光原 始像素信息、中曝光像素以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素 以初始短曝光时间曝光以获得短曝光原始像素信息，根据长曝光原始像素信息、中曝光原 始像素信息及短曝光原始像素信息确定修正长曝光时间及修正短曝光时间，以及根据修正 长曝光时间、初始中曝光时间、及修正短曝光时间控制像素单元阵列曝光以输出高动态范 围图像。

可以理解，现有的多帧HDR拍摄高动态范围图像是通过依次获取三帧不同曝光时间的 图像，再将三帧不同曝光时间的图像进行融合以得到高动态范围图像。但是实际拍摄时三 帧图像的中的长曝光帧图像对应的长曝光时间和短曝光图像对应的短曝光时间均是预先设 定。如此，在不同的环境亮度下，使用预先设定的长曝光时间曝光的长曝光图像可能出现 曝光不足，使用预先设定的短曝光时间曝光的短曝光图像可能出现过曝，如此，无法获取 到准确的高动态范围图像。

本发明实施方式的控制方法、控制装置10和成像设备30首先控制像素单元阵列31以 三个不同的初始曝光时间曝光并输出原始像素信息，再根据原始像素信息对初始长曝光时 间和初始短曝光时间进行修正得到修正长曝光时间和修正短曝光时间。再控制像素单元阵 列以修正长曝光时间、初始中曝光时间和修正短曝光时间曝光并高动态范围图像。如此， 像素单元阵列31以修正长曝光时间曝光可以使得高动态范围图像中的欠曝部分被充分提 亮，像素单元阵列31以修正后的短曝光时间曝光可以使得高动态范围图像中的过曝部分被 充分压暗。如此，成像设备30可以拍摄更为对比度更高、动态范围更宽的高动态范围图像。

在某些实施方式中，步骤01中长曝光像素、中曝光像素和短曝光像素的曝光过程为长 曝光像素、中曝光像素及短曝光像素同步曝光。同步曝光的意思是中曝光像素及短曝光像 素的曝光进行时间位于长曝光像素的曝光进行时间以内。具体地，长曝光像素、中曝光像 素和短曝光像素的曝光过程可以是：处理器60首先控制长曝光像素最先开始曝光，在长曝 光像素的曝光期间内，再控制中曝光像素及短曝光像素R(2,2)曝光，其中，中曝光像素及 短曝光像素的曝光截止时间应与长曝光像素的曝光截止时间相同或位于长曝光像素的曝光 截止时间之前；或者，处理器60控制长曝光像素、中曝光像素以及短曝光像素同时开始曝 光，即长曝光像素、中曝光像素、中曝光像素以及短曝光像素的曝光起始时间相同。如此， 处理器60无需控制像素单元阵列31依次进行长曝、中曝和短曝，可使用更少的时间尽快 获得长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息。

请一并参阅图6和图7，在某些实施方式中，步骤02根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正长曝光时间及修正短曝光时间包括：

021：根据长曝光原始像素信息计算长曝光直方图及根据短曝光原始像素信息计算短曝 光直方图；和

022：根据长曝光直方图计算所述修正长曝光时间及根据短曝光直方图计算修正短曝光 时间。

进一步地，根据长曝光原始像素信息计算长曝光直方图包括：

0221：获取当前预览图像中长曝光直方图第一初始亮度小于第一参考亮度的长曝光像 素所在的欠曝区域；

0222：迭代控制使得后一帧预览图像中长曝光直方图中与欠曝区域对应的区域的亮度 大于或等于第一参考亮度；

0223：记录第一初始亮度变为第一参考亮度所需的调整长曝光时间；和

0224：根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。

根据短曝光原始像素信息计算短曝光直方图包括：

0225：获取当前帧预览图像中短曝光直方图中第二初始亮度大于第二参考亮度的短曝 光像素所在的区域为过曝区域；

0226：迭代控制使得后一帧预览图像中短曝光直方图中与过曝区域对应的区域的亮度 小于或等于第二参考亮度；和

0227：记录第二初始亮度变为第二参考亮度所需的调整短曝光时间；和

0228：根据初始短曝光时间与调整短曝光时间获得修正短曝光时间。

请一并参阅图8和图9，在某些实施方式中，修正模块12包括计算单元121和修正单元122。修正单元122还包括第一获取子单元1221、第一控制子单元1222、第一记录子单 元1223、第一调整子单元1224、第二获取子单元1225、第二控制子单元1226、第二记录 子单元1227和第二调整子单元1228。

步骤021可以由计算单元121实现。步骤022可以由修正单元122实现。步骤0221可以由第一获取子单元1221实现。步骤0222可以由第一控制子单元1222实现。步骤0223 可以由第一记录子单元1223实现。步骤0224可以由第一调整子单元1224实现。步骤0225 可以由第二获取子单元1225实现。步骤0226可以由第二控制子单元1226实现。步骤0227 可以由第二记录子单元1227实现。步骤0228可以由第二调整子单元1228实现。也即是说， 计算单元121可用于根据长曝光原始像素信息计算长曝光直方图及根据短曝光原始像素信 息计算短曝光直方图。修正单元122可用于根据长曝光直方图计算所述修正长曝光时间及 根据短曝光直方图计算修正短曝光时间。第一获取子单元1221可用于获取当前预览图像中 长曝光直方图第一初始亮度小于第一参考亮度的长曝光像素所在的欠曝区域。第一控制子 单元1222可用于迭代控制使得后一帧预览图像中长曝光直方图中与欠曝区域对应的区域 的亮度大于或等于第一参考亮度。第一记录子单元1223可用于记录第一初始亮度变为第一参考亮度所需的调整长曝光时间。第一调整子单元1224可用于根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。第二获取子单元1225可用于获取当前帧预览图像中短曝光直方图中第二初始亮度大于第二参考亮度的短曝光像素所在的区域为过曝区域。第二控制子单元1226可用于迭代控制使得后一帧预览图像中短曝光直方图中与过曝区域对应的区域的亮度小于或等于第二参考亮度。第二记录子单元1227可用于记录第二初始亮度变为第二参考亮度所需的调整短曝光时间。第二调整子单元1228可用于根据初始短曝光时间与调整短曝光时间获得修正短曝光时间。

请参阅图5，在某些实施方式中，步骤021、步骤022、步骤0221、步骤0222、步骤0223、步骤0224、步骤0225、步骤0226、步骤0227和步骤0228均可以由处理器60实现。 也即是说，处理器60还可用于根据长曝光原始像素信息计算长曝光直方图及根据短曝光原 始像素信息计算短曝光直方图，以及根据长曝光直方图计算所述修正长曝光时间及根据短曝光直方图计算修正短曝光时间。其中，处理器60执行步骤02时还可用于获取当前预览 图像中长曝光直方图第一初始亮度小于第一参考亮度的长曝光像素所在的欠曝区域，迭代控制使得后一帧预览图像中长曝光直方图中与欠曝区域对应的区域的亮度大于或等于第一 参考亮度，记录第一初始亮度变为第一参考亮度所需的调整长曝光时间，根据初始长曝光 时间与调整长曝光时间获得修正长曝光时间，

具体地，长曝光像素、中曝光像素和短曝光像素曝光完毕后，处理器会先根据长曝光 原始像素信息、中曝光原始像素信息和短曝光原始像素信息计算得到当前预览图像。

与此同时，对于长曝光像素，处理器60首先根据多个长曝光像素分别输出的多个长曝 光原始像素信息生成长曝光直方图。长曝光直方图表征多个长曝光原始像素信息的亮度分 布。随后，处理器60从长曝光直方图中确定长曝光像素原始像素信息对应的第一初始亮度 小于第一参考亮度的多个长曝光像素，这些长曝光像素对应当前预览图像中的欠曝区域。 为使得当前预览图像中的欠曝区域能够获得充足的曝光，即使得后一帧预览图像中长曝光 直方图与欠曝区域对应的区域的亮度大于或等于第一参考亮度，处理器60会确定一个调整 长曝光时间。随后，处理器60再控制长曝光像素以调整长曝光时间曝光，并输出多个调整 后的长曝光调整像素信息。处理器60根据多个长曝光调整像素信息生成调整后的长曝光直 方图，并在长曝光直方图中寻找长曝光调整像素信息对应的第三初始亮度小于第一参考亮 度的多个长曝光像素，这些长曝光像素对应后一帧预览图像中的欠曝区域。若处理器60未 找到第三初始亮度小于第一参考亮度的多个长曝光像素，即说明后一帧预览图像中不存在 欠曝区域；若处理器60仍旧找到了第三初始亮度小于第一参考亮度的多个长曝光像素，则 说明后一帧预览图像中存在欠曝区域，则处理器60继续调整长曝光像素的长曝光时间。如 此周而复始，直至预览图像中不存在欠曝区域为止，此时，不存在欠曝区域的预览图像对 应的长曝光像素的长曝光时间即为修正长曝光时间。

同样地，处理器60对于短曝光像素，处理器60首先根据多个短曝光像素分别输出的 多个短曝光原始像素信息生成短曝光直方图。短曝光直方图表征多个短曝光原始像素信息 的亮度分布。随后，处理器60从短曝光直方图中确定短曝光像素原始像素信息对应的第二 初始亮度小于第二参考亮度的多个短曝光像素，这些短曝光像素对应当前预览图像中的过 曝区域。为使得当前预览图像中的过曝区域能够减小曝光，即使得后一帧预览图像中短曝 光直方图与过曝区域对应的区域的亮度小于或等于第二参考亮度，处理器60会确定一个调 整短曝光时间。随后，处理器60再控制短曝光像素以调整短曝光时间曝光，并输出多个调 整后的短曝光调整像素信息。处理器60根据多个短曝光调整像素信息生成调整后的短曝光 直方图，并在短曝光直方图中寻找短曝光调整像素信息对应的第四初始亮度大于第二参考 亮度的多个短曝光像素，这些短曝光像素对应后一帧预览图像中的过曝区域。若处理器60 未找到第四初始亮度大于第二参考亮度的多个长曝光像素，即说明后一帧预览图像中不存 在过曝区域；若处理器60仍旧找到了第四初始亮度大于第二参考亮度的多个短曝光像素， 则说明后一帧预览图像中存在过曝区域，则处理器60继续调整短曝光像素的短曝光时间。 如此周而复始，直至预览图像中不存在过曝区域为止，此时，不存在过曝区域的预览图像 对应的短曝光像素的短曝光时间即为修正短曝光时间。

其中，长曝光直方图可以为一个或多个。长曝光直方图为一个时，处理器60根据所有 长曝光像素输出的原始像素信息生成一个长曝光直方图。长曝光直方图为多个时，处理器 60对长曝光像素划分区域，并根据每个区域中的多个长曝光像的原始像素信素生成一个长 曝光直方图，如此，多个区域对应多个长曝光直方图。划分区域的作用是可以提升每一次 修正的长曝光时间的准确性，加快长曝光时间的修正进程。同样地，短曝光直方图可以为 一个或多个。短曝光直方图为一个时，处理器60根据所有短曝光像素输出的原始像素信息 生成一个短曝光直方图。短曝光直方图为多个时，处理器60对短曝光像素划分区域，并根 据每个区域中的多个短曝光像素的原始像素信息生成一个短曝光直方图，如此，多个区域 对应多个短曝光直方图。划分区域的作用是可以提升每一次修正的短曝光时间的准确性， 加快短曝光时间的修正进程。

长曝光像素的长曝光时间的修正及短曝光像素的短曝光时间的修正可以同步进行。

请一并参阅图2和图10，在某些实施方式中，像素阵列31中的每个像素单元311包括多个感光像素111，滤光片单元阵列32中的每个滤光片单元322包括多个子滤光片3222。其中，每个滤光片单元322中的多个子滤光片3222具有相同的颜色通道。每个滤光片单元322对应覆盖一个像素单元311。每个滤光片单元322中的子滤光片3222的数目与每个像 素单元311中感光像素3111的数目一致。像素单元阵列31中的每个像素单元311均包括 长曝光像素、中曝光像素和短曝光像素。步骤03根据修正长曝光时间、初始中曝光时间、 及修正短曝光时间控制像素单元阵列曝光以输出高动态范围图像包括：

031：控制每个像素单元中的长曝光像素根据修正长曝光时间曝光、控制中曝光像素根 据初始中曝光时间曝光、及控制短曝光像素根据修正短曝光时间曝光以得到每个像素单元 的合并像素信息；和

032：根据合并像素信息得到高动态范围图像。

步骤031和步骤032描述的成像方式为第一模式。

请参阅图11，在某些实施方式中，第二控制模块13包括第一控制单元131和第一获取单元133。步骤031可以由第一控制单元131实现，步骤032可以由第一获取单元133 实现。也即是说，第一控制单元131可用于控制每个像素单元中的长曝光像素根据修正长 曝光时间曝光、控制中曝光像素根据初始中曝光时间曝光、及控制短曝光像素根据修正短 曝光时间曝光以得到每个像素单元的合并像素信息，第一获取单元133可用于根据合并像 素信息得到高动态范围图像。

请参阅图5，在某些实施方式中，步骤031和步骤032还可以由处理器60实现。也即是说，处理器60还可用于控制每个像素单元中的长曝光像素根据修正长曝光时间曝光、控制中曝光像素根据初始中曝光时间曝光、及控制短曝光像素根据修正短曝光时间曝光以得到每个像素单元的合并像素信息，以及根据合并像素信息得到高动态范围图像。

具体地，请结合图2和图12，像素单元阵列31中的每一个像素单元311均包括四个感光像素3111，四个感光像素3111呈2*2阵列排布。每一个像素单元311的四个感光像素3111具体为一个长曝光像素、两个中曝光像素及一个短曝光像素。每个像素单元311的四个感光像素3111由具有相同颜色通道的四个子滤光片3222覆盖。当然，在其他实施例中，每一个像素单元311中的长曝光像素、中曝光像素和短曝光像素的数量也可为其他数值。成像设备30工作时，长曝光像素、中曝光像素及短曝光像素同步曝光，同步曝光指的是中曝光像素及短曝光像素的曝光进行时间位于长曝光像素的曝光进行时间以内。具体地，以图12所示的像素单元阵列31中红色的感光像素3111为例，R(1,1)为长曝光像素，R(1,2) 和R(2,1)为中曝光像素，R(2,2)为短曝光像素，各个感光像素3111的曝光过程可以是：首 先控制长曝光像素R(1,1)根据修正长曝光时间最先开始曝光，在长曝光像素R(1,1)的曝光期间内，再控制中曝光像素R(1,2)和中曝光像素R(2,1)根据原始中曝光时间曝光，以及控制短 曝光像素R(2,2)根据修正短曝光时间曝光，其中，修正长曝光时间/原始中曝光时间＝原始中 曝光时间/修正短曝光时间，中曝光像素R(1,2)和中曝光像素R(2,1)的曝光起始时间一致， 且中曝光像素R(1,2)和R(2,1)以及短曝光像素R(2,2)的曝光截止时间应与长曝光像素R(1,1) 的曝光截止时间相同或位于长曝光像素R(1,1)的曝光截止时间之前；或者，控制长曝光像 素R(1,1)、中曝光像素R(1,2)、中曝光像素R(2,1)以及短曝光像素R(2,2)同时开始曝光，即 长曝光像素R(1,1)、中曝光像素R(1,2)、中曝光像素R(2,1)以及短曝光像素R(2,2)的曝光起 始时间相同，其中，长曝光像素R(1,1)的曝光时间为修正长曝光时间，中曝光像素R(1,2) 及中曝光像素R(2,1)的曝光时间为初始中曝光时间，以及短曝光像素R(2,2)的曝光时间为修 正短曝光时间，修正长曝光时间/原始中曝光时间＝原始中曝光时间/修正短曝光时间。如此， 处理器60无需控制像素单元阵列31依次进行长曝、中曝和短曝，可减小高动态范围图像 的拍摄时间。

成像设备30工作时，处理器60首先控制每个像素单元311中的长曝光像素、中曝光像素及短曝光像素同步曝光，其中长曝光像素对应的曝光时间为修正长曝光时间，中曝光像素对应的曝光时间为初始中曝光时间，短曝光像素对应的曝光时间为修正短曝光时间，其中，修正长曝光时间/原始中曝光时间＝原始中曝光时间/修正短曝光时间。曝光结束后，每个像素单元311将输出两个修正像素信息和两个原始像素信息，以图12所示的红色的像素单元311为例，像素单元311的输出包括长曝光像素R(1,1)输出的修正像素信息、中曝 光像素R(1,2)输出的原始像素信息、中曝光像素R(2,1)输出的原始像素信息、以及短曝光像素R(2,2)输出的修正像素信息。随后，处理器60根据两个修正像素信息和两个原始像素信息计算出每一个像素单元311中的合并像素信息。具体地，以图12所示的红色的像素单元311为例，合并像素信息M＝R(1,2)×a+[R(1,2)+R(2,1)]×b+R(2,2)×c，其中，a、b和c分别为长曝光像素、中曝光像素、短曝光像素各自对应的权值；再例如，当像素单元311中感 光像素3111的个数为2×4，且长曝光像素的个数为2个，中曝光像素为4个，短曝光像素 为2个时，合并像素信息的计算方式为：先合并2个长曝光像素的修正像素信息得到合并 修正长曝光像素信息R1、合并4个中曝光像素的原始像素信息得到合并原始中曝光像素信 息R2、合并2个短曝光像素的修正短曝光像素信息得到合并修正短曝光像素信息R3，则 合并像素信息M＝R1×a+R2×b+R3×c。如此，处理器60控制每一个像素单元311中的感 光像素3111均以上述的方式同步进行长、中、短时间的曝光，并输出每一个像素单元311 的合并像素信息。随后，由于根据修正长曝光像素信息、原始中曝光像素信息及修正短曝 光像素信息计算得到的每一个合并像素信息的灰度级别会产生变化，因此，在得到合并像 素信息后需要对每一个合并像素信息做灰度级别的压缩。压缩完毕后，处理器60对多个合 并像素信息进行插值计算即可得到高动态范围图像。如此，由于长曝光像素和短曝光像素 的曝光时间均经过修正，则最终输出的图像中暗部可以由长曝光像素以修正长曝光时间曝 光后输出的修正长曝光像素信息进行补偿，亮部可以由短曝光像素以修正短曝光时间曝光 后输出的修正短曝光像素信息进行压制，因此，最终输出的图像不存在过曝区域及欠曝区 域，图像的亮度明暗过度均匀，具有较高的动态范围和较佳的成像效果。

或者，在某些实施方式中，曝光结束后，高动态范围图像还可通过如下方式计算得到。 具体地，以图13所示的红色的像素单元311为例，当像素单元311中感光像素3111的个数为2×2时，同一像素阵列31中长曝光输出的修正长曝光像素信息作为合并修正长曝光子像素信息，同一像素阵列31中中曝光像素输出的原始中曝光像素信息作为合并原始中曝光子像素信息，同一像素阵列31中短曝光输出的修正短曝光像素信息作为合并修正短曝光子像素信息。随后，可以获得整个像素单元阵列31的多个长曝光的合并像素信息、多个中曝光的合并像素信息、多个短曝光的合并像素信息。随后，处理器60再根据多个合并修正长曝光子像素信息插值计算得到长曝光子图像，根据多个合并原始中曝光子像素信息插值计算得到中曝光子图像，根据多个短曝光的合并修正短曝光子像素信息插值计算得到短曝光子图像。最后，处理器60将长曝光子图像、中曝光子图像和短曝光子图像融合处理得到高动态范围的目标图像，其中，长曝光子图像、中曝光子图像和短曝光子图像并非为传统意义上的三帧图像，而是同一帧图像中长、短、中曝光像素对应区域形成的图像部分。

请参阅图13，在某些实施方式中，长曝光像素与短曝光像素的总数与中曝光像素总数 的比值小于第一预设值。步骤03根据修正长曝光时间、初始中曝光时间、及修正短曝光时 间控制像素单元阵列曝光以输出高动态范围图像包括：

033：控制像素单元阵列中的所有像素依次根据修正长曝光时间曝光、根据初始中曝光 时间曝光、及根据修正短曝光时间曝光以输出长曝光图像、中曝光图像及短曝光图像；和

034：合并长曝光图像、中曝光图像及短曝光图像以输出高动态范围图像。

步骤033和步骤034描述的成像方式为第二模式。

请参阅图5，在某些实施方式中，第二控制模块13还包括第二控制单元133和第二获 取单元134。步骤033可以由第二控制单元133实现。步骤034可以由第二获取单元134 实现。也即是说，第二控制单元133可用于控制像素单元阵列中的所有像素依次根据修正 长曝光时间曝光、根据初始中曝光时间曝光、及根据修正短曝光时间曝光以输出长曝光图像、中曝光图像及短曝光图像。第二获取单元134可用于合并长曝光图像、中曝光图像及 短曝光图像以输出高动态范围图像。

请参阅图14，在某些实施方式中，步骤033和步骤034还可以由处理器60实现。也即是说，处理器60还可用于控制像素单元阵列中的所有像素依次根据修正长曝光时间曝光、根据初始中曝光时间曝光、及根据修正短曝光时间曝光以输出长曝光图像、中曝光图像及短曝光图像，以及合并长曝光图像、中曝光图像及短曝光图像以输出高动态范围图像。

具体地，请结合图15和图16，像素单元阵列31中长曝光像素与短曝光像素的总数与 中曝光像素的总数的比值小于第一预设值，也即是说，像素单元阵列31的中曝光像素的占 比较多，长曝光像素和短曝光像素的占比较少，长曝光像素和短曝光像素在像素单元阵列 中稀疏排列。其中，每个像素单元311具有多个感光像素3111，每个滤光片单元322覆盖一个像素单元311，每个滤光片单元322中的子滤光片3222的数目与每个像素单元311中 感光像素3111的数目一致，且每个滤光片单元322中均包括红色、蓝色和绿色三个颜色通 道的子滤光片3222。具体地，例如图15所示，以11×6的像素单元阵列31为例，每个像 素单元311中均包括由R、G、G、B四个子滤光片3222覆盖的四个感光像素3111。像素 单元阵列31中长曝光像素的个数为6个，图15所示的R(1,1)、G(2,1)、B(2,2)、R(7,1)、 G(8,1)及B(8,2)均为长曝光像素，短曝光像素的个数也为6个，图15所示的B(4,4)、G(5,4)、 R(5,5)、B(10,4)、G(11,4)及R(11,5)均为短曝光像素，图15中剩余的像素均为中曝光像素。 再例如，如图16所示，以11×11的像素单元阵列31为例，每个像素单元311中均包括由 R、G、G、B四个子滤光片3222覆盖的四个感光像素3111。像素单元阵列31中长曝光像 素的个数为12个，图16所示的R(1,1)、G(2,1)、B(2,2)、R(7,1)、G(8,1)、B(8,2)、B(4,4)、 G(5,4)、R(5,5)、B(10,4)、G(11,4)及R(11,5)均为长曝光像素，短曝光像素的个数为12也为 12个，图16所示的R(1,7)、G(2,7)、B(2,8)、R(7,7)、G(8,7)、B(8,8)、B(4,10)、G(5,10)、 R(5,11)、B(10,10)、G(11,10)及R(11,11)均为短曝光像素，图16中剩余的像素均为中曝光像 素。如此，长曝光像素均匀分布在整个像素单元阵列31中，短曝光像素也均匀分布在整个 像素单元阵列31中。当然，长曝光像素和短曝光像素的排布方式并不限于上述举例的方式， 还可以为其他排布方式。

处理器60获取到修正长曝光时间和修正短曝光时长后，处理器60控制像素单元阵列 31中所有感光像素3111分别以修正长曝光时间、原始中曝光时间、修正短曝光时间依次曝 光。也即是说，像素单元阵列31的曝光过程可为：处理器60先控制所有感光像素3111以修正长曝光时间曝光，并输出多个修正长曝光像素信息，处理器60再控制所有感光像素3111以原始中曝光时间曝光，并输出多个原始中曝光像素信息，处理器60再控制所有感光像素3111以修正短曝光时间曝光，并输出多个修正短曝光像素信息，其中，修正长曝光时间、原始中曝光时间和修正短曝光时间的曝光顺序可以任意调换。如此，曝光结束后，处 理器根据多个修正长曝光像素信息插值计算得到长曝光图像，根据多个原始中曝光像素信息插值计算得到中曝光图像，再根据多个修正短曝光像素信息插值计算得到短曝光图像。随后，最后，处理器60将长曝光图像、中曝光图像及短曝光图像进行融合并输出高动态范围图像。

与现有的多帧HDR拍摄高动态范围图像的方式相比，第二模式中的长曝光图像和短曝 光图像是根据修正后的修正长曝光时间和修正短曝光时间依次曝光得到的，因此，融合三 帧图像后得到的高动态范围图像中也不存在欠曝区域和过曝区域，对比度较佳，图像的亮 度明暗过渡较均匀。而与第一模式相比，第二模式拍摄的高动态范围图像的解析度没有下 降，可以满足用户对图像清晰度的要求。

请参阅图17，在某些实施方式中，当成像设备30的像素单元阵列31为第二模式中像 素单元阵列31的排布方式时，若成像设备30要输出预览图像，则本发明实施方式的控制方法还包括：

041：确定与长曝光像素相关联的第一中曝光像素及与短曝光像素相关联的第二中曝光 像素；

042：根据第一中曝光像素的中曝光原始像素信息计算长曝光像素的长曝光补偿像素信 息、及根据第二中曝光像素的中曝光原始像素信息计算短曝光像素的短曝光补偿像素信息；

043：根据长曝光补偿像素信息、中曝光原始像素信息及短曝光补偿像素信息输出预览 图像。

请参阅图18，在某些实施方式中，控制装置10还包括确定模块141、计算模块142和输出模块143。步骤041可以由确定模块141实现。步骤042可以由计算模块142实现。 步骤043可以由输出模块143实现。也即是说，确定模块141可用于确定与长曝光像素相 关联的第一中曝光像素及与短曝光像素相关联的第二中曝光像素。计算模块142可用于根 据第一中曝光像素的中曝光原始像素信息计算长曝光像素的长曝光补偿像素信息、及根据 第二中曝光像素的中曝光原始像素信息计算短曝光像素的短曝光补偿像素信息。输出模块 143可用于根据长曝光补偿像素信息、中曝光原始像素信息及短曝光补偿像素信息输出预 览图像。

请参阅图5，在某些实施方式中，步骤042、步骤042和步骤043均可以由处理器60实现。也即是说，处理器60可用于确定与长曝光像素相关联的第一中曝光像素及与短曝光像素相关联的第二中曝光像素，根据第一中曝光像素的中曝光原始像素信息计算长曝光像素的长曝光补偿像素信息、及根据第二中曝光像素的中曝光原始像素信息计算短曝光像素的短曝光补偿像素信息，以及根据长曝光补偿像素信息、中曝光原始像素信息及短曝光补偿像素信息输出预览图像。

其中，第一中曝光像素为多个。第一中曝光像素与长曝光像素具有相同的颜色通道， 且第一中曝光像素位于长曝光像素的第一预定扩展区域内。第二中曝光像素为多个，第二 中曝光像素与短曝光像素具有相同的颜色通道，且第二中曝光像素位于短曝光像素的第二 预定扩展区域内。第一预定扩展区域与第二预定扩展区域可以是相等或不等的。

具体地，成像设备30在对长曝光时间和短曝光时间进行修正的期间内，处理器60会 控制像素阵列30进行多次曝光，每一次或多次的曝光对应一帧预览图像。预览图像生成时， 若直接根据输出的长曝光像素信息、中曝光像素信息和短曝光像素信息插值计算得到预览 图像，则预览图像中会出现“坏点”：即过亮的点(对应长曝光像素的位置)和过暗的点(对 应短曝光像素的位置)，则预览图像中亮度的明暗过度极不均匀，预览图像的图像质量较差。 因此，需要对“坏点”进行补偿。补偿的过程可为：请结合图16，以长曝光像素B(4,4)为 例，与长曝光像素B(4,4)关联的第一中曝光像素为中曝光像素B(2,4)、B(2,6)、B(4,2)、B(4,6)、 B(6,2)、B(6,4)、B(6,6)，中曝光像素B(2,4)、B(2,6)、B(4,2)、B(4,6)、B(6,2)、B(6,4)、B(6,6) 位于长曝光像素B(4,4)的第一预定扩展区域内。处理器60计算多个第一中曝光像素的第一 平均像素信息，并将该第一平均像素信息作为长曝光像素B(4,4)的长曝光补偿像素信息。 同样地，短曝光像素对应的“坏点”也可由上述方式进行补偿。如此，取与长曝光像素邻 近的多个中曝光像素的平均像素信息作为长曝光像素的长曝光补偿像素信息，取与短曝光 像素邻近的多个中曝光像素的平均像素信息作为长曝光像素的短曝光补偿像素信息，可以 避免“坏点”的出现，使得预览图像的明暗过渡均匀，图像效果较佳。当然，“坏点”补偿 的方式并不限于上述的方式。

在某些实施方式中，在第一模式和第二模式用于输出预览图像时，由于像素单元阵列 31需要进行长曝光像素的长时间曝光，此时，预览图像的输出帧率会减小，此时若成像设 备30的显示帧率大于预览图像的输出帧率，则输出帧率与显示帧率不匹配，可能会导致成 像设备30的显示出现卡顿情况、不流畅的情况。为避免该问题，处理器60可以直接控制 成像设备30减小显示帧率，使得显示帧率与输出帧率相匹配。或者，在显示帧率高于输出 帧率时，假设在某一时刻下处理器60还未生成该时刻的预览图像，无法进行输出显示，则 处理器60将上一时刻的预览图像进行输出显示，即以上一时刻的预览图像填补当前时刻下 要输出的预览图像的空缺。如此，可以避免出现显示帧率与输出帧率不匹配导致成像设备 30的显示出现卡顿的问题，改善用户的使用体验。

本发明还提供一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失 性计算机可读存储介质，当计算机可执行指令被一个或多个处理器60执行时，使得处理器 60执行上述任意一项实施方式所述的控制方法。

例如，当计算机可执行指令被一个或多个处理器60执行时，使得处理器60执行以下 步骤：

01：控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝光像素 以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间曝光以 获得短曝光原始像素信息；

02：根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正 长曝光时间及修正短曝光时间；和

03：根据修正长曝光时间、初始中曝光时间、及修正短曝光时间控制像素单元阵列曝 光以输出高动态范围图像。

再例如，当计算机可执行指令被一个或多个处理器60执行时，使得处理器60执行以 下步骤：

021：根据长曝光原始像素信息计算长曝光直方图及根据短曝光原始像素信息计算短曝 光直方图；和

022：根据长曝光直方图计算所述修正长曝光时间及根据短曝光直方图计算修正短曝光 时间。

请参阅图19，本发明还提供一种计算机设备200。计算机设备200包括存储器50和处 理器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式所述的控制方法。

图19为一个实施例中计算机设备200的内部结构示意图。该计算机设备200包括通过 系统总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显 示屏83和输入装置84。其中，计算机设备200的存储器50存储有操作系统和计算机可读 指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的控制方法。该处理 器60用于提供计算和控制能力，支撑整个计算机设备200的运行。计算机设备200的内存 储器50为存储器52中的计算机可读指令的运行提供环境。计算机设备200的显示屏83可 以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层， 也可以是计算机设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触 控板或鼠标等。该计算机设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或 穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以 理解，图19中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本 申请方案所应用于其上的计算机设备200的限定，具体的计算机设备200可以包括比图中 所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图20，本申请实施例的计算机设备200中包括图像处理电路90，图像处理电路 90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号处理) 管线的各种处理单元。图20为一个实施例中图像处理电路90的示意图。如图20所示，为 便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图20所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图 像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像 头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列 (如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可 由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口 类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为 SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行 照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储 到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有 8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供 处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独 立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始 图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像 数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏 83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一 步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存 储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓 冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。 编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可 由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自 动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制 的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB 处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

例如，以下为运用图19中的处理器60或运用图20中的图像处理电路90(具体为ISP处理器91)实现控制方法的步骤：

01：控制长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、中曝光像素 以初始中曝光时间曝光以获得中曝光原始像素信息、短曝光像素以初始短曝光时间曝光以 获得短曝光原始像素信息；

02：根据长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息确定修正 长曝光时间及修正短曝光时间；和

03：根据修正长曝光时间、初始中曝光时间、及修正短曝光时间控制像素单元阵列曝 光以输出高动态范围图像。

再例如，以下为运用图19中的处理器或运用图20中的图像处理电路90(具体为ISP处理器)实现控制方法的步骤：

021：根据长曝光原始像素信息计算长曝光直方图及根据短曝光原始像素信息计算短曝 光直方图；和

022：根据长曝光直方图计算所述修正长曝光时间及根据短曝光直方图计算修正短曝光 时间。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以 在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领 域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进 行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两 个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的 实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令 执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布 线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只 读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及 便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述 程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行 编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储 在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下 列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路 的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现 场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了 本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制， 本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (23)

1.一种控制方法，用于成像设备，其特征在于，所述成像设备包括由多个感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多个短曝光像素，所述控制方法包括：

控制所述长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、所述中曝光像素以初始中曝光时间曝光以获得中曝光原始像素信息、所述短曝光像素以初始短曝光时间曝光以获得短曝光原始像素信息；

根据所述长曝光原始像素信息、所述中曝光原始像素信息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间；和

根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以输出高动态范围图像。

2.根据权利要求1所述的控制方法，其特征在于，所述像素单元阵列为拜耳阵列，所述长曝光像素、所述中曝光像素及所述短曝光像素均包括有红色、蓝色及绿色三通道感光像素。

3.根据权利要求1所述的控制方法，其特征在于，所述根据所述长曝光原始像素信息、所述中曝光原始像素信息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间的步骤包括：

根据所述长曝光原始像素信息计算长曝光直方图及根据所述短曝光原始像素信息计算短曝光直方图；和

根据所述长曝光直方图计算所述修正长曝光时间及根据所述短曝光直方图计算所述修正短曝光时间。

4.根据权利要求3所述的控制方法，其特征在于，所述根据所述长曝光直方图计算所述修正长曝光时间的步骤包括：

获取当前预览图像中所述长曝光直方图第一初始亮度小于第一参考亮度的所述长曝光像素所在的欠曝区域；

迭代控制使得后一帧预览图像中所述长曝光直方图中与所述欠曝区域对应的区域的亮度大于或等于所述第一参考亮度；

记录所述第一初始亮度变为所述第一参考亮度所需的调整长曝光时间；和

根据所述初始长曝光时间与所述调整长曝光时间获得所述修正长曝光时间。

5.根据权利要求3所述的控制方法，其特征在于，所述根据所述短曝光直方图计算所述修正短曝光时间的步骤包括：

获取当前帧预览图像中所述短曝光直方图中第二初始亮度大于第二参考亮度的所述短曝光像素所在的区域为过曝区域；

迭代控制使得后一帧预览图像中所述短曝光直方图中与所述过曝区域对应的区域的亮度小于或等于所述第二参考亮度；和

记录所述第二初始亮度变为所述第二参考亮度所需的调整短曝光时间；和

根据所述初始短曝光时间与所述调整短曝光时间获得所述修正短曝光时间。

6.根据权利要求1所述的控制方法，其特征在于，所述像素单元阵列包括多个像素单元，每个所述像素单元均包括所述长曝光像素、所述中曝光像素及所述短曝光像素；所述根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以输出高动态范围图像的步骤包括：

控制每个所述像素单元中的所述长曝光像素根据所述修正长曝光时间曝光、控制所述中曝光像素根据所述初始中曝光时间曝光、及控制所述短曝光像素根据所述修正短曝光时间曝光以得到每个所述像素单元的合并像素信息；和

根据所述合并像素信息得到所述高动态范围图像。

7.根据权利要求6所述的控制方法，其特征在于，所述中曝光像素以及所述短曝光像素的曝光进行时间位于所述长曝光像素的曝光进行时间以内。

8.根据权利要求1所述的控制方法，其特征在于，所述长曝光像素与所述短曝光像素的总数与所述中曝光像素总数的比值小于第一预设值；所述根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以输出高动态范围图像的步骤包括：

控制所述像素单元阵列中的所有所述像素依次根据所述修正长曝光时间曝光、根据所述初始中曝光时间、及根据所述修正短曝光时间曝光以输出长曝光图像、中曝光图像及短曝光图像；和

合并所述长曝光图像、所述中曝光图像及所述短曝光图像以输出高动态范围图像。

9.根据权利要求8所述的控制方法，其特征在于，所述成像设备输出预览图像时，所述控制方法还包括：

确定与所述长曝光像素相关联的第一中曝光像素及与所述短曝光像素相关联的第二中曝光像素；

根据所述第一中曝光像素的中曝光原始像素信息计算所述长曝光像素的长曝光补偿像素信息、及根据所述第二中曝光像素的中曝光原始像素信息计算所述短曝光像素的短曝光补偿像素信息；

根据所述长曝光补偿像素信息、所述中曝光原始像素信息及所述短曝光补偿像素信息输出预览图像。

10.根据权利要求9所述的控制方法，其特征在于，所述第一中曝光像素为多个，所述第一中曝光像素与所述长曝光像素具有相同的颜色通道，且所述第一中曝光像素位于所述长曝光像素的第一预定扩展区域内；

所述第二中曝光像素为多个，所述第二中曝光像素与所述短曝光像素具有相同的颜色通道，且所述第二中曝光像素位于所述短曝光像素的第二预定扩展区域内。

11.一种控制装置，用于成像设备，其特征在于，所述成像设备包括由多个感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多个短曝光像素，所述控制装置包括：

第一控制模块，所述第一控制模块用于控制所述长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、所述中曝光像素以初始中曝光时间曝光以获得中曝光原始像素信息、所述短曝光像素以初始短曝光时间曝光以获得短曝光原始像素信息；

修正模块，所述修正模块用于根据所述长曝光原始像素信息、所述中曝光原始像素信息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间；和

第二控制模块，所述第二控制模块用于根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以输出高动态范围图像。

12.一种成像设备，其特征在于，所述成像设备包括由多个感光像素组成的像素单元阵列，所述感光像素包括多个长曝光像素、多个中曝光像素和多个短曝光像素；所述成像设备还包括处理器，所述处理器用于：

控制所述长曝光像素以初始长曝光时间曝光以获得长曝光原始像素信息、所述中曝光像素以初始中曝光时间曝光以获得中曝光原始像素信息、所述短曝光像素以初始短曝光时间曝光以获得短曝光原始像素信息；

根据所述长曝光原始像素信息、所述中曝光原始像素信息及所述短曝光原始像素信息确定修正长曝光时间及修正短曝光时间；和

根据所述修正长曝光时间、所述初始中曝光时间、及所述修正短曝光时间控制所述像素单元阵列曝光以输出高动态范围图像。

13.根据权利要求12所述的成像设备，其特征在于，所述像素单元阵列为拜耳阵列，所述长曝光像素、所述中曝光像素及所述短曝光像素均包括有红色、蓝色及绿色三通道感光像素。

14.根据权利要求12所述的成像设备，其特征在于，所述处理器还用于：

根据所述长曝光原始像素信息计算长曝光直方图及根据所述短曝光原始像素信息计算短曝光直方图；和

根据所述长曝光直方图计算所述修正长曝光时间及根据所述短曝光直方图计算所述修正短曝光时间。

15.根据权利要求14所述的成像设备，其特征在于，所述处理器还用于：

获取当前预览图像中所述长曝光直方图第一初始亮度小于第一参考亮度的所述长曝光像素所在的欠曝区域；

迭代控制使得后一帧预览图像中所述长曝光直方图中与所述欠曝区域对应的区域的亮度大于或等于所述第一参考亮度；

记录所述第一初始亮度变为所述第一参考亮度所需的调整长曝光时间；和

根据所述初始长曝光时间与所述调整长曝光时间获得所述修正长曝光时间。

16.根据权利要求14所述的成像设备，其特征在于，所述处理器还用于：

获取当前帧预览图像中所述短曝光直方图中第二初始亮度大于第二参考亮度的所述短曝光像素所在的区域为过曝区域；

迭代控制使得后一帧预览图像中所述短曝光直方图中与所述过曝区域对应的区域的亮度小于或等于所述第二参考亮度；和

记录所述第二初始亮度变为所述第二参考亮度所需的调整短曝光时间；和

根据所述初始短曝光时间与所述调整短曝光时间获得所述修正短曝光时间。

17.根据权利要求12所述的成像设备，其特征在于，所述像素单元阵列包括多个像素单元，每个所述像素单元均包括所述长曝光像素、所述中曝光像素及所述短曝光像素；所述处理器还用于：

控制每个所述像素单元中的所述长曝光像素根据所述修正长曝光时间曝光、控制所述中曝光像素根据所述初始中曝光时间曝光、及控制所述短曝光像素根据所述修正短曝光时间曝光以得到每个所述像素单元的合并像素信息；和

根据所述合并像素信息得到所述高动态范围图像。

18.根据权利要求17所述的成像设备，其特征在于，所述中曝光像素以及所述短曝光像素的曝光进行时间位于所述长曝光像素的曝光进行时间以内。

19.根据权利要求12所述的成像设备，其特征在于，所述长曝光像素与所述短曝光像素的总数与所述中曝光像素总数的比值小于第一预设值；所述处理器还用于：

控制所述像素单元阵列中的所有所述像素依次根据所述修正长曝光时间曝光、根据所述初始中曝光时间曝光、及根据所述修正短曝光时间曝光以输出长曝光图像、中曝光图像及短曝光图像；和

合并所述长曝光图像、所述中曝光图像及所述短曝光图像以输出高动态范围图像。

20.根据权利要求19所述的成像设备，其特征在于，所述成像设备工作在输出预览图像时，所述处理器还用于：

确定与所述长曝光像素相关联的第一中曝光像素及与所述短曝光像素相关联的第二中曝光像素；

根据所述第一中曝光像素的中曝光原始像素信息计算所述长曝光像素的长曝光补偿像素信息、及根据所述第二中曝光像素的中曝光原始像素信息计算所述短曝光像素的短曝光补偿像素信息；

根据所述长曝光补偿像素信息、所述中曝光原始像素信息及所述短曝光补偿像素信息输出预览图像。

21.根据权利要求20所述的成像设备，其特征在于，所述第一中曝光像素为多个，所述第一中曝光像素与所述长曝光像素具有相同的颜色通道，且所述第一中曝光像素位于所述长曝光像素的第一预定扩展区域内；

所述第二中曝光像素为多个，所述第二中曝光像素与所述短曝光像素具有相同的颜色通道，且所述第二中曝光像素位于所述短曝光像素的第二预定扩展区域内。

22.一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行权利要求1至10任意一项所述的控制方法。

23.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至10任意一项所述的控制方法。