CN108632537A - 控制方法及装置、成像设备、计算机设备及可读存储介质 - Google Patents

控制方法及装置、成像设备、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN108632537A
CN108632537A CN201810417410.4A CN201810417410A CN108632537A CN 108632537 A CN108632537 A CN 108632537A CN 201810417410 A CN201810417410 A CN 201810417410A CN 108632537 A CN108632537 A CN 108632537A
Authority
CN
China
Prior art keywords
exposure
long
amendment
short
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810417410.4A
Other languages
English (en)
Other versions
CN108632537B (zh
Inventor
赵正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810417410.4A priority Critical patent/CN108632537B/zh
Publication of CN108632537A publication Critical patent/CN108632537A/zh
Priority to PCT/CN2019/084316 priority patent/WO2019210805A1/en
Priority to US16/396,525 priority patent/US10728473B2/en
Priority to EP19172448.3A priority patent/EP3565235B1/en
Application granted granted Critical
Publication of CN108632537B publication Critical patent/CN108632537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种控制方法及装置、成像设备、计算机设备及非易失性计算机可读存储介质。控制方法包括控制长曝光像素、中曝光像素、短曝光像素分别以初始长曝光参数、初始中曝光参数、初始短曝光参数曝光得到长曝光原始像素信息、中曝光原始像素信息和短曝光原始像素信息，根据长曝光原始像素信息计算修正长曝光参数，根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列曝光以输出高动态范围图像。本发明实施方式的控制方法及装置、成像设备、计算机设备和非易失性计算机可读存储介质修正像素单元阵列的长、中、短三个曝光时间后再拍摄图像，图像的成像效果更好。

Description

控制方法及装置、成像设备、计算机设备及可读存储介质
技术领域
本发明涉及成像技术领域，特别涉及一种控制方法、控制装置、成像设备、计算机设备及非易失性计算机可读存储介质。
背景技术
目前，高动态范围图像可以通过设置一个图像传感器中的多个像素以三种不同的曝光时间同步曝光来拍摄得到。但此种图像获取方式中，三种不同的曝光时间是根据整幅图像的直方图计算得到的，由于整幅图像的亮度不是线性的，直接使用整幅图像的直方图计算三种曝光时间无法实现较佳的AE收敛。
发明内容
本发明的实施例提供了一种控制方法、控制装置、成像设备、计算机设备及非易失性计算机可读存储介质。
本发明实施方式的控制方法用于成像设备。所述成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素；所述控制方法包括：
控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益；
根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益；
根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
本发明实施方式的控制装置用于成像设备。所述成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素；所述控制装置包括第一控制模块、第一计算模块、第二计算模块和第二控制模块。所述第一控制模块用于控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益。所述第一计算模块用于根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益。所述第二计算模块用于根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益。所述第二控制模块用于根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
本发明实施方式的成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素。成像设备还包括处理器。所述处理器用于控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益，根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益，根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益，以及根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
本发明实施方式的计算机设备包括存储器及处理器。所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的控制方法。
本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的控制方法。
本发明实施方式的控制方法、控制装置、成像设备、计算机设备及非易失性计算机可读存储介质根据长曝光像素的像素信息进行长曝光时间、中曝光时间和短曝光时间的修正，如此，由于长曝光像素对应的图像的亮度是线性的，使用该长曝光像素的像素信息计算的长曝光时间、中曝光时间和短曝光时间较为准确，处理器控制像素单元阵列以较为准确的曝光时间曝光后也可以获得质量较佳的高动态范围图像。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的控制方法的流程示意图。
图2是本发明某些实施方式的成像设备的部分结构示意图。
图3是本发明某些实施方式的成像设备的像素单元阵列的部分结构示意图。
图4是本发明某些实施方式的控制装置的模块示意图。
图5是本发明某些实施方式的成像设备的模块示意图。
图6是本发明某些实施方式的控制方法的像素阵列的部分结构示意图。
图7是本发明某些实施方式的控制方法的流程示意图。
图8是本发明某些实施方式的控制方法的流程示意图。
图9是本发明某些实施方式的控制装置的第一计算模块的模块示意图。
图10是本发明某些实施方式的控制装置的第二计算单元的模块示意图。
图11是本发明某些实施方式的控制方法的流程示意图。
图12是本发明某些实施方式的控制方法的流程示意图。
图13是本发明某些实施方式的控制装置的第二计算模块的模块示意图。
图14是本发明某些实施方式的控制装置的第四计算单元的模块示意图。
图15是本发明某些实施方式的计算机设备的模块示意图。
图16是本发明某些实施方式的图像处理电路的模块示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1-3及图5，本发明提供一种成像设备30的控制方法。成像设备30包括像素单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像素单元阵列31包括多个像素单元311，每个像素单元311包括多个感光像素3111。滤光片单元阵列32包括多个滤光片单元322，每个滤光片单元322包括多个子滤光片3222。每个滤光片单元322中子滤光片3222的数目与每个像素单元311中感光像素3111的数目一致，每个子滤光片3222对应覆盖一个感光像素3111。像素单元阵列31包括拜耳阵列。像素单元阵列31中的多个感光像素3111包括多个长曝光像素、多个中曝光像素和多个短曝光像素。其中，长曝光像素指的是感光像素3111对应的曝光时间为长曝光时间，中曝光像素指的是感光像素3111对应的曝光时间为中曝光时间，短曝光像素指的是感光像素3111对应的曝光时间为短曝光时间，其中，长曝光时间>中曝光时间>短曝光时间。长曝光像素包括有红色、蓝色和绿色三通道的感光像素3111，中曝光像素包括有红色、蓝色和绿色三通道的感光像素3111，短曝光像素也包括有红色、蓝色和绿色三通道的感光像素3111。
在本发明的具体实施例中，每个像素单元311包括四个感光像素3111，分别为一个长曝光像素、两个中曝光像素和一个短曝光像素，四个感光像素3111具有相同的颜色通道。当然，在其他实施例中，每个像素单元311中包含的感光像素3111的个数也可为其他数目。
本发明实施方式的控制方法包括：
01：控制长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，其中，初始长曝光参数包括初始长曝光时间和初始长曝光增益，初始中曝光参数包括初始中曝光时间和初始中曝光增益，初始短曝光参数包括初始短曝光时间和初始短曝光增益；
02：根据长曝光原始像素信息计算修正长曝光参数，修正长曝光参数包括修正长曝光时间和修正长曝光增益；
03：根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，修正中曝光参数包括修正中曝光时间和修正中曝光增益，修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
04：根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列31曝光以输出高动态范围图像。
请一并参阅图4和图5，本发明还提供一种成像设备30的控制装置10。本发明实施方式的控制方法可以由本发明实施方式控制装置10实现。控制装置10包括第一控制模块11、第一计算模块12、第二计算模块13和第二控制模块14。步骤01可以由第一控制模块11实现。步骤02可以由第一计算模块12实现。步骤03可以由第二计算模块13实现。步骤04可以由第二控制模块14实现。也即是说，第一控制模块11可用于控制长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，其中，初始长曝光参数包括初始长曝光时间和初始长曝光增益，初始中曝光参数包括初始中曝光时间和初始中曝光增益，初始短曝光参数包括初始短曝光时间和初始短曝光增益。第一计算模块12可用于根据长曝光原始像素信息计算修正长曝光参数，修正长曝光参数包括修正长曝光时间和修正长曝光增益。第二计算模块13可用于根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，修正中曝光参数包括修正中曝光时间和修正中曝光增益，修正短曝光参数包括修正短曝光时间及修正短曝光增益。第二控制模块14可用于根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列31曝光以输出高动态范围图像。
请参阅图5，本发明还提供一种成像设备30。成像设备30包括处理器60。步骤01、步骤02、步骤03和步骤04均可以由处理器60实现。也即是说，处理器60可用于控制长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，其中，初始长曝光参数包括初始长曝光时间和初始长曝光增益，初始中曝光参数包括初始中曝光时间和初始中曝光增益，初始短曝光参数包括初始短曝光时间和初始短曝光增益，根据长曝光原始像素信息计算修正长曝光参数，修正长曝光参数包括修正长曝光时间和修正长曝光增益，根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，修正中曝光参数包括修正中曝光时间和修正中曝光增益，修正短曝光参数包括修正短曝光时间及修正短曝光增益，以及根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列31曝光以输出高动态范围图像。
具体地，请结合图6，以红色通道的像素单元311为例，该像素单元311包括长曝光像素R(1,1)、中曝光像素R(1,2)和R(2,1)，以及短曝光像素R(2,2)。长曝光像素R(1,1)根据初始长曝光参数、中曝光像素R(1,2)和R(2,1)根据初始中曝光参数、短曝光像素R(2,2)根据初始短曝光参数同步曝光。其中，长曝光像素R(1,1)的初始长曝光时间、中曝光像素R(1,2)和R(2,1)的初始中曝光时间、短曝光像素R(2,2)的初始短曝光时间为预先设定好的，长曝光像素R(1,1)的初始长曝光增益、中曝光像素R(1,2)和R(2,1)的初始中曝光增益、短曝光像素R(2,2)的初始短曝光增益也为预先设定好的，且为了使得获取的高动态范围图像具有较少的噪点以及使得整幅高动态范围图像的噪点分布均匀，在本发明的具体实施例中，初始长曝光增益、初始中曝光增益和初始短曝光增益三者的值是相等。长曝光像素R(1,1)、中曝光像素R(1,2)和R(2,1)、短曝光像素R(2,2)同步曝光指的是：中曝光像素R(1,2)和R(2,1)、及短曝光像素R(2,2)的曝光进行时间位于长曝光像素R(1,1)的曝光进行时间以内。具体地，长曝光像素R(1,1)、中曝光像素R(1,2)和R(2,1)、短曝光像素R(2,2)的曝光过程可以是：处理器60首先控制长曝光像素R(1,1)最先开始曝光，在长曝光像素R(1,1)的曝光期间内，再控制中曝光像素素R(1,2)和R(2,1)、及短曝光像素R(2,2)曝光，其中，中曝光像素R(1,2)和R(2,1)、及短曝光像素R(2,2)的曝光截止时间应与长曝光像素R(1,1)的曝光截止时间相同或位于长曝光像素R(1,1)的曝光截止时间之前；或者，处理器60控制长曝光像素R(1,1)、中曝光像素R(1,2)和R(2,1)、以及短曝光像素R(2,2)同时开始曝光，即长曝光像素R(1,1)、中曝光像素R(1,2)和R(2,1)、及短曝光像素R(2,2)的曝光起始时间相同。如此，处理器60无需控制像素单元阵列31依次进行长曝、中曝和短曝，可使用更少的时间以尽快获得长曝光原始像素信息、中曝光原始像素信息及短曝光原始像素信息。
随后，处理器60一方面根据长曝光原始像素信息、中曝光原始像素信息和短曝光原始像素信息做插值以输出一幅预览图像。另一方面，处理器60提取长曝光原始像素，根据长曝光原始像素信息计算修正长曝光参数。随后，处理器60再根据计算得到的修正长曝光参数计算修正中曝光参数和修正短曝光参数。最后，处理器60控制像素单元阵列31中的长曝光像素根据修正中曝光参数、中曝光像素根据修正中曝光参数、短曝光像素根据修正短曝光参数同步曝光，并根据曝光后像素单元阵列31输出的像素信息计算高动态范围图像。
需要说明的是，为了使得预览图像中亮度由高到低过度均匀，优选地，初始长曝光时间、初始中曝光时间和初始短曝光时间应满足条件：初始长曝光时间/初始中曝光时间＝初始中曝光时间/初始短曝光时间。
可以理解，现有的高动态范围图像可以通过设置一个像素单元阵列31中的多个感光像素3111以三种不同的曝光时间同步曝光来拍摄得到。但此种图像获取方式中，三种不同的曝光时间是根据整幅图像的直方图计算得到。由于整幅图像的亮度不是线性的，直接使用整幅图像的直方图计算三种曝光时间无法实现较佳的自动曝光控制收敛。
本发明实施方式的控制方法、控制装置10及成像设备30根据长曝光像素的像素信息进行长曝光时间、中曝光时间和短曝光时间的修正，如此，由于长曝光像素对应的图像的亮度是线性的，使用该长曝光像素的像素信息计算的长曝光时间、中曝光时间和短曝光时间较为准确，处理器60控制像素单元阵列31以较为准确的曝光时间曝光后也可以获得质量较佳的高动态范围图像。
请一并参阅图7和图8，在某些实施方式中，步骤02根据长曝光原始像素信息计算修正长曝光参数包括：
021：根据长曝光原始像素信息计算长曝光直方图；和
022：根据长曝光直方图计算修正长曝光参数。
其中，步骤022根据长曝光直方图计算修正长曝光参数包括：
0221：获取当前帧预览图像的长曝光直方图中初始亮度小于参考亮度的长曝光像素所在的欠曝区域；
0222：迭代控制使得后一帧预览图像的长曝光直方图中与欠曝区域对应的区域的亮度大于或等于参考亮度；
0223：记录初始亮度变为参考亮度所需的调整长曝光时间；和
0224：根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。
请一并参阅图9和图10，在某些实施方式中，第一计算模块12包括第一计算单元121和第二计算单元122。第二计算单元122包括获取子单元1221、控制子单元1222、记录子单元1223和调整子单元1224。步骤021可以由第一计算单元121实现。步骤022可以由第二计算单元122实现。步骤0221可以由获取子单元1221实现。步骤0222可以由控制子单元1222实现。步骤0223可以由记录子单元1223实现，步骤0224可以由调整子单1224元实现。
也即是说，第一计算单元121可用于根据长曝光原始像素信息计算长曝光直方图。第二计算单元122可用于根据长曝光直方图计算修正长曝光参数。获取子单元1221可用于获取当前帧预览图像的长曝光直方图中初始亮度小于参考亮度的长曝光像素所在的欠曝区域。控制子单元1222可用于迭代控制使得后一帧预览图像的长曝光直方图中与欠曝区域对应的区域的亮度大于或等于参考亮度。记录子单元1223可用于记录初始亮度变为参考亮度所需的调整长曝光时间。调整子单元1224可用于根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。
请参阅图5，在某些实施方式中，步骤021和步骤022均可以由处理器60实现。也即是说，处理器60还可用于根据长曝光原始像素信息计算长曝光直方图，以及根据长曝光直方图计算修正长曝光参数。步骤0221、步骤0222、步骤0223和步骤0224均可以由处理器60实现。也即是说，处理器60在执行步骤022时，处理器60具体执行获取当前帧预览图像的长曝光直方图中初始亮度小于参考亮度的长曝光像素所在的欠曝区域，迭代控制使得后一帧预览图像的长曝光直方图中与欠曝区域对应的区域的亮度大于或等于参考亮度，记录初始亮度变为参考亮度所需的调整长曝光时间，以及根据初始长曝光时间与调整长曝光时间获得修正长曝光时间的内容。
具体地，长曝光像素、中曝光像素和短曝光像素曝光完毕后，处理器60会先根据长曝光原始像素信息、中曝光原始像素信息和短曝光原始像素信息计算得到当前帧的预览图像。
与此同时，对于长曝光像素，处理器60首先根据多个长曝光像素分别输出的多个长曝光原始像素信息生成长曝光直方图。长曝光直方图表征多个长曝光原始像素信息的亮度分布。随后，处理器60从长曝光直方图中确定长曝光像素原始像素信息对应的初始亮度小于参考亮度的多个长曝光像素，这些长曝光像素对应当前帧预览图像中的欠曝区域。为使得当前帧预览图像中的欠曝区域能够获得充足的曝光，即使得后一帧预览图像中长曝光直方图与欠曝区域对应的区域的亮度大于或等于参考亮度，处理器60会确定一个调整长曝光时间，调整长曝光时间的值可为正值或负值。随后，处理器60再控制长曝光像素以调整后的长曝光时间曝光，其中，调整后的长曝光时间为初始长曝光时间加上调整长曝光时间得到的值，并输出多个调整后的长曝光调整像素信息。处理器60根据多个长曝光调整像素信息生成调整后的长曝光直方图，并在长曝光直方图中寻找长曝光调整像素信息对应的调整亮度小于参考亮度的多个长曝光像素，这些长曝光像素对应后一帧预览图像中的欠曝区域。若处理器60未找到调整亮度小于参考亮度的多个长曝光像素，即说明后一帧预览图像中不存在欠曝区域；若处理器60仍旧找到了调整亮度小于参考亮度的多个长曝光像素，则说明后一帧预览图像中存在欠曝区域，则处理器60继续调整长曝光像素的长曝光时间。如此周而复始，直至预览图像中不存在欠曝区域为止，此时，不存在欠曝区域的预览图像对应的长曝光像素的长曝光时间即为修正长曝光时间。
其中，长曝光直方图可以为一个或多个。长曝光直方图为一个时，处理器60根据所有长曝光像素输出的长曝光原始像素信息生成一个长曝光直方图。长曝光直方图为多个时，处理器60对长曝光像素划分区域，并根据每个区域中的多个长曝光像的长曝光原始像素信素生成一个长曝光直方图，如此，多个区域对应多个长曝光直方图。划分区域的作用是可以提升每一次修正的长曝光时间的准确性，加快长曝光时间的修正进程。
如此，通过长曝光原始像素信息得到的长曝光直方图来修正长曝光像素得曝光时间，可以得到较为准确的修正长曝光时间，有利于高动态范围图像的获取。
请一并参阅图11和图12，在某些实施方式中，步骤03根据修正长曝光参数计算修正中曝光参数和修正短曝光参数包括：
031：根据长曝光原始像素信息计算长曝光直方图；
032：根据长曝光直方图计算长短曝光比例；和
033：根据修正长曝光参数和长短曝光比例计算修正中曝光参数和修正短曝光参数。
其中，步骤032根据长曝光直方图计算长短曝光比例包括：
0321：选取长曝光直方图中亮度大于预设亮度的长曝光像素；
0322：根据长曝光像素的亮度计算平均亮度；和
0323：根据平均亮度和目标亮度计算所述长短曝光比例。
请一并参阅图13和图14，在某些实施方式中，第二计算模块13包括第三计算单元131、第四计算单元132和第五计算单元133。第四计算单元132包括选取子单元1321、第一计算子单元1322和第二计算子单元1323。步骤031可以由第三计算单元131实现。步骤032可以由第四计算单元132实现。步骤033可以由第五计算单元133实现。步骤0321可以由选取子单元1321实现。步骤0322可以由第一计算子单元1322实现。步骤0323可以由第二计算子单元1323实现。
也即是说，第三计算单元131可用于根据长曝光原始像素信息计算长曝光直方图。第四计算单元132可用于根据长曝光直方图计算长短曝光比例。第五计算单元133可用于根据修正长曝光参数和长短曝光比例计算修正中曝光参数和修正短曝光参数。选取子单元1321可用于选取长曝光直方图中亮度大于预设亮度的长曝光像素。第一计算子单元1322可用于根据长曝光像素的亮度计算平均亮度。第二计算子单元1323可用于根据平均亮度和目标亮度计算所述长短曝光比例。
请参阅图5，在某些实施方式中，步骤031、步骤032和步骤033均可以由处理器60实现。也即是说，处理器60还可用于根据长曝光原始像素信息计算长曝光直方图，根据长曝光直方图计算长短曝光比例，以及根据修正长曝光参数和长短曝光比例计算修正中曝光参数和修正短曝光参数。步骤0321、步骤0322和步骤0323也均可以由处理器60实现。也即是说，处理器60在执行步骤032时，处理器60具体执行选取长曝光直方图中亮度大于预设亮度的长曝光像素，根据长曝光像素的亮度计算平均亮度，以及根据平均亮度和目标亮度计算所述长短曝光比例的内容。
其中，长曝光直方图中亮度大于预设亮度的长曝光像素的个数可能为一个或多个。
具体地，处理器60首先根据长曝光原始像素信息生成长曝光直方图。随后，处理器60从长曝光直方图中选取亮度大于预设亮度PRE的多个长曝光像素，再根据选取的多个长曝光像素对应的亮度计算平均亮度AVE。随后，处理器60根据平均亮度AVE和目标亮度PRE计算长短曝光比例Ratio长,短。具体地，长短曝光比例Ratio长,短＝AVE/PRE，假设修正长曝光时间为TL，修正短曝光时间为TS，则TL/TS＝Ratio长,短＝AVE/PRE，即TS＝(TL·PRE)/AVE。可以理解，根据亮度大于预设亮度PRE的多个长曝光像素计算得到的平均亮度AVE表征长曝光像素的亮度的高低。当平均亮度AVE较高时，说明多个长曝光像素的亮度较亮，此时长曝光像素中可能存在过曝的部分。短曝光像素的曝光时间较短，感光像素3111接收的光量较少，对应输出的亮度也较低。因此，为降低过曝部分的像素的亮度，可以利用短曝光像素对应的亮度对过曝部分的像素的亮度进行压制。如此，根据修正长曝光时间TL和长短曝光比例即可确定短曝光像素的修正短曝光时间TS。
随后，处理器60根据修正长曝光时间TL和修正短曝光时间TS计算修正中曝光时间TM。具体地，TL/TM＝TM/TS，即T2 M＝TL·TS。换句话说，长中曝光比例Ratio长,中与中短曝光比例Ratio中,短相等，其中，长中曝光比例Ratio长,中为修正长曝光时间TL与修正中曝光时间TM之比，即Ratio长,中＝TL/TM，中短曝光比例Ratio中,短为修正中曝光时间TM与修正短曝光时间TS之比，即Ratio中,短＝TM/TS。如此，即可求得修正中曝光时间。
处理器60计算得到修正长曝光时间、修正中曝光时间和修正短曝光时间之后，即可控制像素单元阵列31中的多个感光像素3111按照不同的修正后的曝光时间同步曝光，以输出修正的像素信息，再根据修正的像素信息计算得到高动态范围图像。长曝光像素根据修正长曝光时间、中曝光像素根据修正中曝光时间、短曝光像素根据修正短曝光时间进行同步曝光，曝光完毕后根据输出的各像素信息即可计算得到高动态范围图像。
具体地，处理器60首先控制每个像素单元311中的长曝光像素、中曝光像素及短曝光像素同步曝光。其中，长曝光像素对应的曝光时间为修正长曝光时间，中曝光像素对应的曝光时间为修正中曝光时间，短曝光像素对应的曝光时间为修正短曝光时间。以图6所示的具有相同红色通道的像素单元311为例，R(1,1)为长曝光像素，R(1,2)和R(2,1)为中曝光像素，R(2,2)为短曝光像素，该像素单元311中各个感光像素3111的曝光过程可以是：首先控制长曝光像素R(1,1)根据修正长曝光时间最先开始曝光，在长曝光像素R(1,1)的曝光期间内，再控制中曝光像素R(1,2)和中曝光像素R(2,1)根据修正中曝光时间曝光，以及控制短曝光像素R(2,2)根据修正短曝光时间曝光，其中，中曝光像素R(1,2)和中曝光像素R(2,1)的曝光起始时间一致，且中曝光像素R(1,2)和R(2,1)以及短曝光像素R(2,2)的曝光截止时间应与长曝光像素R(1,1)的曝光截止时间相同或位于长曝光像素R(1,1)的曝光截止时间之前；或者，控制长曝光像素R(1,1)、中曝光像素R(1,2)、中曝光像素R(2,1)以及短曝光像素R(2,2)同时开始曝光，即长曝光像素R(1,1)、中曝光像素R(1,2)、中曝光像素R(2,1)以及短曝光像素R(2,2)的曝光起始时间相同，其中，长曝光像素R(1,1)的曝光时间为修正长曝光时间，中曝光像素R(1,2)及中曝光像素R(2,1)的曝光时间为修正中曝光时间，以及短曝光像素R(2,2)的曝光时间为修正短曝光时间。如此，处理器60无需控制像素单元阵列31依次进行长曝、中曝和短曝，可减小高动态范围图像的拍摄时间。
曝光结束后，每个像素单元311输出四个修正像素信息。以图6所示的具有相同红色通道的像素单元311为例，像素单元311的输出包括长曝光像素R(1,1)输出的修正像素信息、中曝光像素R(1,2)输出的修正像素信息、中曝光像素R(2,1)输出的修正像素信息、以及短曝光像素R(2,2)输出的修正像素信息。随后，处理器60根据四个修正像素信息计算出每一个像素单元311311中的合并像素信息。具体地，以图6所示的具有相同红色通道的像素单元311为例，合并像素信息M＝R(1,2)×a+[R(1,2)+R(2,1)]×b+R(2,2)×c，其中，a、b和c分别为长曝光像素、中曝光像素、短曝光像素各自对应的权值；再例如，当像素单元311中感光像素3111的个数为2×4，且长曝光像素的个数为2个，中曝光像素为4个，短曝光像素为2个时，合并像素信息的计算方式为：先合并2个长曝光像素的修正像素信息得到合并修正长曝光像素信息R1、合并4个中曝光像素的修正像素信息得到合并修正中曝光像素信息R2、合并2个短曝光像素的修正短曝光像素信息得到合并修正短曝光像素信息R3，则合并像素信息M＝R1×a+R2×b+R3×c。如此，处理器60控制每一个像素单元311中的感光像素3111均以上述的方式同步进行长、中、短时间的曝光，并输出每一个像素单元311的合并像素信息。随后，由于根据修正长曝光像素信息、修正中曝光像素信息及修正短曝光像素信息计算得到的每一个合并像素信息的灰度级别会产生变化，因此，在得到合并像素信息后需要对每一个合并像素信息做灰度级别的压缩。压缩完毕后，处理器60对多个合并像素信息进行插值计算即可得到高动态范围图像。如此，由于长曝光像素、中曝光像素和短曝光像素的曝光时间均经过修正，则最终输出的图像中暗部可以由长曝光像素以修正长曝光时间曝光后输出的修正长曝光像素信息进行补偿，亮部可以由短曝光像素以修正短曝光时间曝光后输出的修正短曝光像素信息进行压制。整幅图像的平均亮度基于中曝光像素以修正中曝光时间曝光后输出的修正中曝光像素为基准，因此，最终输出的图像不存在过曝区域及欠曝区域，图像的亮度明暗过度均匀，并且图像的整体亮度既不会过暗也不会过量，具有较高的动态范围和较佳的成像效果。另外，由于修正长曝光时间、修正中曝光时间及修正短曝光时间是基于长曝光直方图确定的，长曝光直方图的亮度是线性变化的，因此，根据修正长曝光时间、修正中曝光时间及修正短曝光时间曝光后得到的高动态范围图像具有较好的曝光效果。
需要说明的是，本发明实施方式中的长短曝光比例Ratio长,短实际为：Ratio长,短＝(TL·GL)/(TS·GS)，其中GL为修正长曝光增益，GS为修正短曝光增益。但在本发明的具体实施例中，为了使得整幅高动态范围图像具有较少的噪点和较均匀的噪点分布，修正长曝光增益GL和修正短曝光增益GS取相同的值，于是得到Ratio长,短＝TL/TS。同样地，本发明实施方式中的长中曝光比例Ratio长,中实际为：Ratio长,中＝(TL·GL)/(TM·GM)，其中GM为修正中曝光增益，则当修正长曝光增益GL和修正中曝光增益GM取相同的值时，Ratio长,中＝TL/TM。中短曝光比例Ratio中,短实际为：Ratio中,短＝(TM·GM)/(TS·GS)，当修正中曝光增益GM和修正短曝光增益GS取相同的值时，Ratio中,短＝TM/TS。
在某些实施方式中，初始长曝光增益、初始中曝光增益、初始短曝光增益、修正长曝光增益、修正中曝光增益、修正短曝光增益六者均相等。如此，处理器60选取一个曝光增益使得成像设备30拍摄的高动态范围图像具有最少的噪点。
当然，在某些实施方式中，初始长曝光增益、初始中曝光增益、初始短曝光增益、修正长曝光增益、修正中曝光增益、修正短曝光增益六者的值可以是不相等的。此时，初始长曝光增益、初始中曝光增益、初始短曝光增益、修正长曝光增益、修正中曝光增益、修正短曝光增益均可通过曝光表来获得。在曝光表中，每一个设定的曝光时间有与其对应的曝光增益。在确定曝光时间后，即可根据查表的方式确定出与曝光时间对应的曝光增益。
在某些实施方式中，成像设备30采用本发明实施方式的控制方法输出预览图像时，由于像素单元阵列31需要进行长曝光像素的长时间曝光，此时，预览图像的输出帧率会减小，此时若成像设备30的显示帧率大于预览图像的输出帧率，则输出帧率与显示帧率不匹配，可能会导致成像设备30出现卡顿、不流畅的情况。为避免该问题，处理器60可以直接控制成像设备30减小显示帧率，使得显示帧率与输出帧率相匹配。或者，在显示帧率高于输出帧率时，假设在某一时刻下处理器60还未生成该时刻的预览图像，无法进行输出显示，则处理器60将上一时刻的预览图像进行输出显示，即以上一时刻的预览图像填补当前时刻下要输出的预览图像的空缺。如此，可避免出现显示帧率与输出帧率不匹配导致成像设备30恩的显示出现卡顿的问题，改善用户的使用体验。
本发明还提供一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器60执行时，使得处理器60执行上述任意一项实施方式所述的控制方法。
例如，当计算机可执行指令被一个或多个处理器60执行时，使得处理器60执行以下步骤：
01：控制长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，其中，初始长曝光参数包括初始长曝光时间和初始长曝光增益，初始中曝光参数包括初始中曝光时间和初始中曝光增益，初始短曝光参数包括初始短曝光时间和初始短曝光增益；
02：根据长曝光原始像素信息计算修正长曝光参数，修正长曝光参数包括修正长曝光时间和修正长曝光增益；
03：根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，修正中曝光参数包括修正中曝光时间和修正中曝光增益，修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
04：根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列31曝光以输出高动态范围图像。
再例如，当计算机可执行指令被一个或多个处理器60执行时，使得处理器60执行以下步骤：
0221：获取当前帧预览图像的长曝光直方图中初始亮度小于参考亮度的长曝光像素所在的欠曝区域；
0222：迭代控制使得后一帧预览图像的长曝光直方图中与欠曝区域对应的区域的亮度大于或等于参考亮度；
0223：记录初始亮度变为参考亮度所需的调整长曝光时间；和
0224：根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。
请参阅图15，本发明还提供一种计算机设备200。计算机设备200包括存储器50和处理器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式所述的控制方法。
图15为一个实施例中计算机设备200的内部结构示意图。该计算机设备200包括通过系统总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏83和输入装置84。其中，计算机设备200的存储器50存储有操作系统和计算机可读指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的控制方法。该处理器60用于提供计算和控制能力，支撑整个计算机设备200的运行。计算机设备200的内存储器50为存储器52中的计算机可读指令的运行提供环境。计算机设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是计算机设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的计算机设备200的限定，具体的计算机设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参阅图16，本申请实施例的计算机设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图16为一个实施例中图像处理电路90的示意图。如图16所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图16所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。
ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。
ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。
例如，以下为运用图15中的处理器60或运用图16中的图像处理电路90(具体为ISP处理器91)实现控制方法的步骤：
01：控制长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，其中，初始长曝光参数包括初始长曝光时间和初始长曝光增益，初始中曝光参数包括初始中曝光时间和初始中曝光增益，初始短曝光参数包括初始短曝光时间和初始短曝光增益；
02：根据长曝光原始像素信息计算修正长曝光参数，修正长曝光参数包括修正长曝光时间和修正长曝光增益；
03：根据修正长曝光参数计算修正中曝光参数和修正短曝光参数，修正中曝光参数包括修正中曝光时间和修正中曝光增益，修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
04：根据修正长曝光参数、修正中曝光参数及修正短曝光参数控制像素单元阵列31曝光以输出高动态范围图像。
再例如，以下为运用图15中的处理器或运用图16中的图像处理电路90(具体为ISP处理器91)实现控制方法的步骤：
0221：获取当前帧预览图像的长曝光直方图中初始亮度小于参考亮度的长曝光像素所在的欠曝区域；
0222：迭代控制使得后一帧预览图像的长曝光直方图中与欠曝区域对应的区域的亮度大于或等于参考亮度；
0223：记录初始亮度变为参考亮度所需的调整长曝光时间；和
0224：根据初始长曝光时间与调整长曝光时间获得修正长曝光时间。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (21)

1.一种控制方法，用于成像设备，其特征在于，所述成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素；所述控制方法包括：
控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益；
根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益；
根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
2.根据权利要求1所述的控制方法，其特征在于，所述像素单元阵列为拜耳阵列，所述长曝光像素、所述中曝光像素及所述短曝光像素均包括有红色、蓝色及绿色三通道感光像素。
3.根据权利要求1所述的控制方法，其特征在于，所述像素单元阵列包括多个像素单元，每个所述像素单元均包括所述长曝光像素、所述中曝光像素及所述短曝光像素，每个所述像素单元中的多个所述感光像素具有相同的颜色通道。
4.根据权利要求1所述的控制方法，其特征在于，所述根据所述长曝光原始像素信息计算修正长曝光参数的步骤包括：
根据所述长曝光原始像素信息计算长曝光直方图；和
根据所述长曝光直方图计算所述修正长曝光参数。
5.根据权利要求4所述的控制方法，其特征在于，所述根据所述长曝光直方图计算所述修正长曝光参数的步骤包括：
获取当前帧预览图像的所述长曝光直方图中初始亮度小于参考亮度的所述长曝光像素所在的欠曝区域；
迭代控制使得后一帧预览图像的所述长曝光直方图中与所述欠曝区域对应的区域的亮度大于或等于所述参考亮度；
记录所述初始亮度变为所述参考亮度所需的调整长曝光时间；和
根据所述初始长曝光时间与所述调整长曝光时间获得所述修正长曝光时间。
6.根据权利要求1所述的控制方法，其特征在于，所述根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数的步骤包括：
根据所述长曝光原始像素信息计算长曝光直方图；
根据所述长曝光直方图计算长短曝光比例；和
根据所述修正长曝光参数和所述长短曝光比例计算所述修正中曝光参数和所述修正短曝光参数。
7.根据权利要求6所述的控制方法，其特征在于，所述根据所述长曝光直方图计算长短曝光比例的步骤包括：
选取所述长曝光直方图中亮度大于预设亮度的长曝光像素；
根据所述长曝光像素的亮度计算平均亮度；和
根据所述平均亮度和目标亮度计算所述长短曝光比例。
8.根据权利要求6所述的控制方法，其特征在于，所述修正长曝光时间和所述修正长曝光增益的乘积与所述修正中曝光时间和所述修正中曝光增益的乘积之比为长中曝光比例，所述修正中曝光时间和所述修正中曝光增益的乘积与所述修正短曝光时间和所述修正短曝光增益的乘积之比为中短曝光比例，所述长中曝光比例等于所述中短曝光比例。
9.根据权利要求1所述的控制方法，其特征在于，所述修正长曝光增益、所述修正中曝光增益和所述修正短曝光增益三者相等。
10.一种控制装置，用于成像设备，其特征在于，所述成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素；所述控制装置包括：
第一控制模块，所述第一控制模块用于控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益；
第一计算模块，所述第一计算模块用于根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益；
第二计算模块，所述第二计算模块用于根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
第二控制模块，所述第二控制模块用于根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
11.一种成像设备，其特征在于，所述成像设备包括由感光像素组成的像素单元阵列，所述感光像素包括长曝光像素、中曝光像素和短曝光像素；所述成像设备还包括处理器，所述处理器用于：
控制所述长曝光像素以初始长曝光参数曝光以获得长曝光原始像素信息、控制所述中曝光像素以初始中曝光参数曝光以获得中曝光原始像素信息、控制所述短曝光像素以初始短曝光参数曝光以获得短曝光原始像素信息，所述初始长曝光参数包括初始长曝光时间和初始长曝光增益，所述初始中曝光参数包括初始中曝光时间和初始中曝光增益，所述初始短曝光参数包括初始短曝光时间和初始短曝光增益；
根据所述长曝光原始像素信息计算修正长曝光参数，所述修正长曝光参数包括修正长曝光时间和修正长曝光增益；
根据所述修正长曝光参数计算修正中曝光参数和修正短曝光参数，所述修正中曝光参数包括修正中曝光时间和修正中曝光增益，所述修正短曝光参数包括修正短曝光时间及修正短曝光增益；和
根据所述修正长曝光参数、所述修正中曝光参数及所述修正短曝光参数控制所述像素单元阵列曝光以输出高动态范围图像。
12.根据权利要求11所述的成像设备，其特征在于，所述像素单元阵列为拜耳阵列，所述长曝光像素、所述中曝光像素及所述短曝光像素均包括有红色、蓝色及绿色三通道感光像素。
13.根据权利要求11所述的成像设备，其特征在于，所述像素单元阵列包括多个像素单元，每个所述像素单元均包括所述长曝光像素、所述中曝光像素及所述短曝光像素，每个所述像素单元中的多个所述感光像素具有相同的颜色通道。
14.根据权利要求11所述的成像设备，其特征在于，所述处理器还用于：
根据所述长曝光原始像素信息计算长曝光直方图；和
根据所述长曝光直方图计算所述修正长曝光参数。
15.根据权利要求14所述的成像设备，其特征在于，所述处理器还用于：
获取当前帧预览图像的所述长曝光直方图中初始亮度小于参考亮度的所述长曝光像素所在的欠曝区域；
迭代控制使得后一帧预览图像的所述长曝光直方图中与所述欠曝区域对应的区域的亮度大于或等于所述参考亮度；
记录所述初始亮度变为所述参考亮度所需的调整长曝光时间；和
根据所述初始长曝光时间与所述调整长曝光时间获得所述修正长曝光时间。
16.根据权利要求11所述的成像设备，其特征在于，所述处理器还用于：
根据所述长曝光原始像素信息计算长曝光直方图；
根据所述长曝光直方图计算长短曝光比例；和
根据所述修正长曝光参数和所述长短曝光比例计算所述修正中曝光参数和所述修正短曝光参数。
17.根据权利要求16所述的成像设备，其特征在于，所述处理器还用于：
选取所述长曝光直方图中亮度大于预设亮度的长曝光像素；
根据所述长曝光像素的亮度计算平均亮度；和
根据所述平均亮度和目标亮度计算所述长短曝光比例。
18.根据权利要求16所述的成像设备，其特征在于，所述修正长曝光时间和所述修正长曝光增益的乘积与所述修正中曝光时间和所述修正中曝光增益的乘积之比为长中曝光比例，所述修正中曝光时间和所述修正中曝光增益的乘积与所述修正短曝光时间和所述修正短曝光增益的乘积之比为中短曝光比例，所述长中曝光比例等于所述中短曝光比例。
19.根据权利要求11所述的成像设备，其特征在于，所述修正长曝光增益、所述修正中曝光增益和所述修正短曝光增益三者相等。
20.一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行权利要求1至9任意一项所述的控制方法。
21.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至9任意一项所述的控制方法。
CN201810417410.4A 2018-05-04 2018-05-04 控制方法及装置、成像设备、计算机设备及可读存储介质 Active CN108632537B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810417410.4A CN108632537B (zh) 2018-05-04 2018-05-04 控制方法及装置、成像设备、计算机设备及可读存储介质
PCT/CN2019/084316 WO2019210805A1 (en) 2018-05-04 2019-04-25 Imaging control method and apparatus, imaging device, and computer-readable storage medium
US16/396,525 US10728473B2 (en) 2018-05-04 2019-04-26 Imaging control method, imaging device, and computer-readable storage medium
EP19172448.3A EP3565235B1 (en) 2018-05-04 2019-05-03 Imaging control method and apparatus, imaging device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810417410.4A CN108632537B (zh) 2018-05-04 2018-05-04 控制方法及装置、成像设备、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN108632537A true CN108632537A (zh) 2018-10-09
CN108632537B CN108632537B (zh) 2020-08-21

Family

ID=63695356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810417410.4A Active CN108632537B (zh) 2018-05-04 2018-05-04 控制方法及装置、成像设备、计算机设备及可读存储介质

Country Status (4)

Country Link
US (1) US10728473B2 (zh)
EP (1) EP3565235B1 (zh)
CN (1) CN108632537B (zh)
WO (1) WO2019210805A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210805A1 (en) * 2018-05-04 2019-11-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, imaging device, and computer-readable storage medium
CN110708473A (zh) * 2019-11-14 2020-01-17 深圳市道通智能航空技术有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN110958401A (zh) * 2019-12-16 2020-04-03 北京迈格威科技有限公司 一种超级夜景图像颜色校正方法、装置和电子设备
CN112532890A (zh) * 2020-11-02 2021-03-19 浙江大华技术股份有限公司 曝光控制方法、摄像设备及计算机可读存储介质
CN113452925A (zh) * 2019-11-13 2021-09-28 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
US12126914B2 (en) 2019-11-13 2024-10-22 Autel Robotics Co., Ltd. High-dynamic-range image automatic exposure method and unmanned aerial vehicle

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239345B1 (en) * 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
CN115767292A (zh) * 2019-02-19 2023-03-07 索尼半导体解决方案公司 信号处理方法和成像装置
US11102422B2 (en) 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11064134B2 (en) * 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
WO2022032666A1 (zh) * 2020-08-14 2022-02-17 华为技术有限公司 处理图像的方法和相关装置
US12096129B2 (en) * 2022-02-24 2024-09-17 Qualcomm Incorporated Multi-frame auto exposure control (AEC)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204196A (ja) * 2004-01-19 2005-07-28 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105323498A (zh) * 2014-08-01 2016-02-10 全视科技有限公司 不含运动伪影的高动态范围hdr图像
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN106791470A (zh) * 2016-12-28 2017-05-31 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置
CN106982333A (zh) * 2017-05-12 2017-07-25 深圳怡化电脑股份有限公司 一种图像传感器快速校正方法、装置及设备
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
CN107707827A (zh) * 2017-11-14 2018-02-16 维沃移动通信有限公司 一种高动态图像拍摄方法及移动终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP2009049547A (ja) 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
US7978258B2 (en) 2007-08-31 2011-07-12 Historx, Inc. Automatic exposure time selection for imaging tissue
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP2011091584A (ja) 2009-10-21 2011-05-06 Seiko Epson Corp 撮像装置、撮像方法及び電子機器
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
EP2579591A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
CN104619237B (zh) * 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
US9338372B2 (en) * 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
KR101992933B1 (ko) * 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204196A (ja) * 2004-01-19 2005-07-28 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序
CN105323498A (zh) * 2014-08-01 2016-02-10 全视科技有限公司 不含运动伪影的高动态范围hdr图像
CN107409180A (zh) * 2015-03-09 2017-11-28 三星电子株式会社 具有相机模块的电子装置和用于电子装置的图像处理方法
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN106791470A (zh) * 2016-12-28 2017-05-31 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置
CN106982333A (zh) * 2017-05-12 2017-07-25 深圳怡化电脑股份有限公司 一种图像传感器快速校正方法、装置及设备
CN107707827A (zh) * 2017-11-14 2018-02-16 维沃移动通信有限公司 一种高动态图像拍摄方法及移动终端

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210805A1 (en) * 2018-05-04 2019-11-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, imaging device, and computer-readable storage medium
US10728473B2 (en) 2018-05-04 2020-07-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method, imaging device, and computer-readable storage medium
CN113452925A (zh) * 2019-11-13 2021-09-28 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
CN113452925B (zh) * 2019-11-13 2023-09-19 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
US12126914B2 (en) 2019-11-13 2024-10-22 Autel Robotics Co., Ltd. High-dynamic-range image automatic exposure method and unmanned aerial vehicle
CN110708473A (zh) * 2019-11-14 2020-01-17 深圳市道通智能航空技术有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN110708473B (zh) * 2019-11-14 2022-04-15 深圳市道通智能航空技术股份有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN110958401A (zh) * 2019-12-16 2020-04-03 北京迈格威科技有限公司 一种超级夜景图像颜色校正方法、装置和电子设备
CN110958401B (zh) * 2019-12-16 2022-08-23 北京迈格威科技有限公司 一种超级夜景图像颜色校正方法、装置和电子设备
CN112532890A (zh) * 2020-11-02 2021-03-19 浙江大华技术股份有限公司 曝光控制方法、摄像设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3565235A1 (en) 2019-11-06
US10728473B2 (en) 2020-07-28
CN108632537B (zh) 2020-08-21
US20190342511A1 (en) 2019-11-07
EP3565235B1 (en) 2023-06-07
WO2019210805A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN108632537A (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
CN108270977A (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
CN109005364A (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
US10805537B2 (en) Imaging control method, imaging device, and computer readable storage medium
EP3609177A1 (en) Control method, control apparatus, imaging device, and electronic device
CN109005342A (zh) 全景拍摄方法、装置和成像设备
CN108833804A (zh) 成像方法、装置和电子设备
CN109040609A (zh) 曝光控制方法、装置和电子设备
CN108683863A (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN108683861A (zh) 拍摄曝光控制方法、装置、成像设备和电子设备
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
CN108024056B (zh) 基于双摄像头的成像方法和装置
CN109167930A (zh) 图像显示方法、装置、电子设备和计算机可读存储介质
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
CN108833802A (zh) 曝光控制方法、装置和电子设备
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN108900785A (zh) 曝光控制方法、装置和电子设备
US11601600B2 (en) Control method and electronic device
CN107800971B (zh) 全景拍摄的自动曝光控制处理方法、装置及设备
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN107801011B (zh) 全景拍摄的白平衡处理方法、装置及设备
CN110166706A (zh) 图像处理方法、装置、电子设备以及存储介质
CN109194855A (zh) 成像方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258814

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant