CN107920198B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN107920198B
CN107920198B CN201710177928.0A CN201710177928A CN107920198B CN 107920198 B CN107920198 B CN 107920198B CN 201710177928 A CN201710177928 A CN 201710177928A CN 107920198 B CN107920198 B CN 107920198B
Authority
CN
China
Prior art keywords
image
sub
mode
images
wdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710177928.0A
Other languages
English (en)
Other versions
CN107920198A (zh
Inventor
李畅珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
New Future Semiconductor Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN107920198A publication Critical patent/CN107920198A/zh
Application granted granted Critical
Publication of CN107920198B publication Critical patent/CN107920198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理设备和方法。提供一种使用图像传感器产生宽动态范围(WDR)图像的图像处理设备。所述图像处理设备包括：图像传感器，输出具有多个图像通道的图像数据；模式设置单元，基于输出的图像数据的亮度，将拍摄模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成；寄存器设置单元，根据第二模式改变图像传感器的寄存器值；图像信号处理器(ISP)，通过根据改变的寄存器值合成来自图像数据的第二数量的子图像来产生结果图像，其中，第二数量的子图像具有不同的曝光时间。

Description

图像处理设备和方法
本申请要求于2016年10月6日提交到韩国知识产权局的第10-2016-0128866号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例性实施例一致的方法和设备涉及一种图形处理设备，更具体地讲，涉及一种用于使用传感器产生宽动态范围(WDR)图像的设备和方法。
背景技术
用于摄像机或者数码相机的固态传感器装置(诸如，电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器)执行光电转换。也就是说，这样的装置根据入射光的量累积电荷，并输出与累积的电荷对应的电信号。然而，光电转换器所累积的电荷量存在上限。此外，当多于特定量的光被接收时，积累的电荷量到达饱和水平，造成所谓的“白噪声”，该白噪声使得具有高于特定水平的亮度的对象区域具有饱和的亮度级。
为了防止该现象，高快门速度可用于亮的对象以降低曝光时间。降低的曝光时间可缩短光电转换器的电荷累积时间段。因此，可在累积的电荷量到达饱和水平之前输出电信号。这样的处理使得输出准确再现对象的灰度级的图像成为可能。然而，如果使用高快门速度拍摄具有混合的亮部和暗部的对象，则曝光时间可能对暗部来说不够充分。作为结果，信噪比(SNR)可能被降低，因而劣化图像质量。
为了准确再现对象的亮部和暗部的亮度级，需要在对具有大量入射光的像素施加额外处理以避免饱和的同时对具有少量入射光的像素施加长曝光时间来获得高SNR。
为此，可使用不同的曝光时间连续拍摄多个图像，然后将多个图像合成在一起。具体地，可连续和单个地拍摄长曝光图像和短曝光图像。然后，长曝光图像用于暗部，短曝光图像用于亮部，其中，白化(whitening-out)发生在长曝光图像中。这项技术被称为“宽动态范围(WDR)技术”。
可使用WDR技术通过合成具有不同曝光时间的多个图像来产生WDR图像。例如，可在各种拍摄环境中(诸如，在迎着太阳的地方(例如，靠近窗户)拍摄照片，拍摄具有混合的亮部和暗部的场景(例如，夜景)的照片，以及拍摄具有混合的太阳下的亮部和阴影下的暗部的场景(例如，体育赛事)的照片)使用WDR技术来获得更加自然的图像。
图1示出传统的WDR图像产生技术的示例。参照图1，支持达120帧每秒(fps)的快门速度的图像传感器通过合成四个子图像来产生一个WDR帧。虽然可使用120fps快门速度拍摄四个子图像中的每一个，但是只允许给四个子图像中的每一个最高30fps，这是因为子图像将被合成到一个WDR帧中。例如，可使用很长(VL)、长(L)、短(S)和很短(VS)的不同的快门速度(即，曝光时间)分别拍摄四个图像。由于不同的快门速度，四个子图像具有不同的亮度。
因此，WDR合成技术不能完全利用最大的快门速度。也就是说，在图1的4WDR模式下，图像传感器的曝光时间只是不使用WDR的正常模式下的曝光时间的大约四分之一。换言之，与正常模式相比，提供给图像传感器的光量被降低到1/4。如果WDR被应用在黑暗环境中，则这样的光的缺乏会严重降低最终图像的图像质量。具体地讲，光的缺乏增大传感器增益，因而急剧地增大噪声。
发明内容
本发明构思的多个方面提供一种图像处理设备和方法，所述图像处理设备和方法能根据捕获图像的环境通过包括正常模式(无宽动态范围(WDR)合成模式)的各种WDR模式之间的快速变化来防止图像质量的劣化。
本发明构思的多个方面还提供一种通过在自动WDR模式变化中最小化延迟来支持无缝WDR模式变化的图像处理设备和方法。
然而，本发明构思的多个方面不限于这里阐述的方面。通过参照下面给出的本发明构思的具体实施方式，对本发明构思所属领域的普通技术人员来说，本发明构思的上述和其他的方面将会变得更清楚。
根据示例性实施例的一方面，提供有一种图像处理设备，所述图像处理设备包括：图像传感器，被配置为输出具有多个图像通道的图像数据；至少一个处理器，用于实施：模式设置单元，被配置为基于输出的图像数据的亮度，将拍摄模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成；寄存器设置单元，被配置为根据第二模式改变图像传感器的寄存器值；图像信号处理器(ISP)，被配置为通过根据改变的寄存器值合成来自图像数据的第二数量的子图像来产生结果图像，其中，第二数量的子图像具有不同的曝光时间。
寄存器值可包括用于每个拍摄模式的最大快门速度和用于每个图像通道的快门速度。
最大快门速度可被设置为与用于产生结果图像的将被合成的子图像的数量成反比。
从图像传感器输出的图像通道的数量可以是常数而不管拍摄模式如何。
ISP可根据第二模式读取包括在从图像传感器输出的图像数据中的图像通道中的第二数量的图像通道，并通过合成第二数量的子图像来产生结果图像。
ISP可包括：通道写入器，被配置为根据第二模式将包括在从图像传感器输出的图像数据中的图像通道顺序记录在输入通道缓冲器中；通道读取器，被配置为读取记录在输入通道缓冲器中的图像通道中的第二数量的图像通道，并将第二数量的图像通道记录在输出通道缓冲器中；宽动态范围(WDR)图像产生器，被配置为合成与记录在输出通道缓冲器中的第二数量的图像通道对应的子图像。
WDR图像产生器可包括：子图像产生单元，被配置为分别从记录在输出通道缓冲器中的第二数量的图像通道产生第二数量的子图像；图像合成单元，被配置为通过合成第二数量的子图像来产生结果图像。
图像合成单元可通过将不同的权重分配到第二数量的子图像中的每一个子图像或第二数量的子图像中的每一个子图像的每个区域来产生结果图像。
第一数量和第二数量均可以是等于或大于1的整数。
第一数量和第二数量均可以是2的幂。
第一数量是4，第二数量可以是2或者1。
模式设置单元可基于包括在输出的图像数据中的像素的亮度的均值来确定输出的图像数据的亮度。
模式设置单元可基于输出的图像数据中的亮度等于或低于第一预定水平的暗像素的比例或输出的图像数据中的亮度等于或高于第二预定水平的亮像素的比例来确定输出的图像数据的亮度。
根据示例性实施例的另一方面，提供有一种图像处理方法，所述图像处理方法包括：使用图像传感器输出具有多个图像通道的图像数据；基于输出的图像数据的亮度，将拍摄模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成；根据第二模式改变图像传感器的寄存器值；输出与改变的寄存器值对应的修改的图像数据；通过合成来自修改的图像数据的第二数量的子图像来产生结果图像，其中，第二数量的子图像具有不同的曝光时间。
寄存器值可包括用于每个拍摄模式的最大快门速度和用于每个图像通道的快门速度。
最大快门速度可被设置为与用于产生结果图像的将被合成的子图像的数量成反比。
从图像传感器输出的图像通道的数量可以是常数而不管拍摄模式如何。
产生结果图像的步骤可包括：根据第二模式读取包括在修改的图像数据中的图像通道中的第二数量的图像通道，并通过合成第二数量的子图像来产生结果图像。
产生结果图像的步骤可包括：将包括在修改的图像数据中的图像通道顺序记录在输入通道缓冲器中；读取记录在输入通道缓冲器中的图像通道中的第二数量的图像通道；将第二数量的图像通道记录在输出通道缓冲器中；合成与记录在输出通道缓冲器中的第二数量的图像通道对应的子图像。
合成第二数量的子图像的步骤可包括：分别从记录在输出通道缓冲器中的第二数量的图像通道产生第二数量的子图像；通过合成第二数量的子图像来产生结果图像。
附图说明
通过下面结合附图对实施例进行的描述，这些和/或其他方面将会变得清楚和更加容易理解，其中：
图1示出传统的宽动态范围(WDR)图像产生技术的示例；
图2是根据示例性实施例的图像处理设备的框图；
图3示出根据示例性实施例的通过重新设置WDR图像传感器和图像信号处理器(ISP)来从4WDR模式切换到2WDR模式的处理；
图4示出根据示例性实施例的通过改变WDR图像传感器的寄存器值来从4WDR模式切换到2WDR模式的处理；
图5示出根据示例性实施例的通过改变WDR图像传感器的寄存器值来从4WDR模式切换到正常模式的处理；
图6是根据示例性实施例的ISP的详细框图；
图7示出根据示例性实施例的在4WDR模式下操作的ISP；
图8示出根据示例性实施例的在2WDR模式下操作的ISP；
图9示出根据示例性实施例的在正常模式下操作的ISP；
图10是根据示例性实施例的WDR图像产生器的框图；
图11示出根据示例性实施例的使用图像合成单元合成子图像的处理；
图12是示出根据示例性实施例的图像处理方法的流程图。
具体实施方式
通过参考下面对优选示例性实施例和附图的详细描述，可更加容易地理解本发明构思的优点和特点以及完成它们的方法。然而，本发明构思可以以多种不同的形式来实现，并且不应该被视为限于这里阐述的示例性实施例。相反，提供这些示例性实施例使得本公开将是彻底的和完整的，并且将本发明构思全面地传达给本领域技术人员，而且本发明构思将只由所附权利要求限定。贯穿说明书，附图中相同的参考标记表示相同的元件。以下，将参照附图对示例性实施例进行更加详细地描述。
图2是根据示例性实施例的图像处理设备100的框图。
参照图2，从对象反射的光通过拍摄透镜20被导入宽动态范围(WDR)图像传感器30，并由WDR图像传感器30转换成图像数据(电信号)。WDR图像传感器30可支持WDR功能。也就是说，WDR图像传感器30可提供与多个图像通道(图像输出通道)对应的多个子图像(例如，如图1中的四个子图像)。子图像是在不同的拍摄条件下获得的用作产生一个WDR图像的源图像的图像数据。
WDR模式设置单元60可计算从WDR图像传感器30输出的图像数据的亮度，并基于计算的亮度设置合适的WDR模式。也就是说，WDR模式设置单元60可基于计算的亮度将模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成。例如，当当前模式是产生一个子图像的正常模式(也就是说，因为子图像的数量是1而略过WDR合成)时，WDR模式设置单元60可基于计算的亮度将当前模式改变为合成两个子图像的2WDR模式。具体地，当当前模式是合成四个子图像的4WDR模式时，如果亮度由于输入到拍摄透镜20的光不充足而低于第一参考值时，则当前模式可被改变为合成两个子图像的2WDR模式。然而，如果在2WDR模式下亮度仍然太低(例如，如果亮度甚至低于第二参考值，其中第二参考值低于第一参考值)，则当前模式可被改变为禁用WDR合成的正常模式。
用作改变模式的标准的亮度可以是包括在输出图像数据中的像素的亮度的均值。可选地，可基于亮度等于或低于预定水平的暗像素的数量与包括在输出图像数据中的像素的总数的比值，或者基于亮度等于或高于预定水平的量像素的数量与包括在输出图像数据中的像素的总数的比值来定义输出图像数据的亮度。只要其他方式能表示输出图像数据的亮度，也能以其他方式定义亮度。
当WDR模式设置单元60确定将当前WDR模式改变为新的WDR模式时，图像处理设备100可通过不仅重新设置WDR图像传感器30而且重新设置图像信号处理器(ISP)70开始来启动新的WDR模式。
可使用一个或多个处理器来实施图2中示出的图像处理设备100的各种模块(即，单元、控制器和处理器等)。
图3示出通过重新设置WDR图像传感器30和ISP 70从4WDR模式切换到2WDR模式的处理。
参照图3，由于当前模式是4WDR模式，所以在不同的拍摄条件下获得的四个子图像A、B、C和D形成一个WDR单元N-1。这里，WDR单元表示从多个子图像获得的一个WDR图像，N-1、N或N+1指示WDR单元的时间序列。当如参考标号90所示，WDR模式设置单元60确定将当前模式改变为2WDR模式时，WDR图像传感器30和ISP 70二者均被重新设置。在当前模式被改变为2WDR模式时，两个子图像A和B或者两个子图像C和D形成一个WDR单元N和/或一个WDR单元N+1。
为了以这种方式改变WDR模式，应该如上所述地重新设置ISP 70，重新设置ISP 70通常会花费相当长的时间(大约2到3秒)。由于在那段时间没有图像产生，所以输出视频可被暂时冻结。这不仅会对用户造成不便，还会导致设备100的性能和质量的降低。
因此，下面将对不需要等到ISP 70被重新设置就能快速改变WDR模式的示例性实施例进行描述。
在图2中，当WDR模式设置单元60确定将当前模式改变为另一模式(即，第二模式)时，传感器控制器42根据第二模式改变WDR图像传感器30的寄存器值。这里，寄存器值是由传感器控制器42使用以控制WDR图像传感器30的各种拍摄条件的参数。优选地，寄存器值可包括最大快门速度Vmax和针对每个图像通道设置的快门速度。最大快门速度Vmax是一个图像通道所能保证的最大曝光时间，针对每个图像通道设置的快门速度是实际分配到每个图像通道的快门速度(很长(VL)、长(L)、短(S)和很短(VS)等)。与图3中的重新设置ISP 70相比，改变WDR图像传感器30的寄存器值几乎没有时间延迟。
图4示出通过改变WDR图像传感器30的寄存器值来从4WDR模式切换到2WDR模式的处理。
参照图4，由于当前模式是4WDR模式，所以在不同的拍摄条件下获得的四个子图像A、B、C和D形成一个WDR单元N-1。当如参考标号90所示，WDR模式设置单元60确定将当前模式改变为2WDR模式时，寄存器设置单元50改变WDR图像传感器30的寄存器值。寄存器值可包括最大快门速度Vmax和针对每个图像通道设置的快门速度。在这个示例中，最大快门速度Vmax可被设置为每个图像通道的当前最大快门速度Fs的两倍，两个快门速度被可选地分配到图像通道。寄存器设置单元50可通过控制WDR图像传感器30的重新设置时间来控制电子快门的累积时间，并相应地改变寄存器值。
因此，在图4中，可将图像通道A、图像通道B、图像通道C和图像通道D的快门速度分别设置为L、S、L和S。然而，由于还没有针对模式变化来重新设置ISP 70，所以从WDR图像传感器30输出的图像通道的数量(即，包括在WDR单元N中的图像通道的数量)仍然是4。如果如在图3中重新设置ISP 70，则包括在WDR单元中的图像通道的数量被降低为二。
在图4中，在寄存器设置单元50改变寄存器值之后，可几乎没有延迟地将当前模式改变为2WDR模式。也就是说，可通过和成四个图像通道A、B、C和D中的前两个图像通道A和B来获得一个2WDR图像帧，可通过合成其他两个图像通道C和D来获得另一2WDR图像帧。因此，虽然在图4中示出两个WDR单元N-1和N，但是从两个WDR单元N-1和N获得的WDR图像帧的数量和图3中一样是三。
图5示出通过改变WDR图像传感器30的寄存器值来从4WDR模式切换到正常模式的处理。
参照图5，由于当前模式是4WDR模式，所以在不同的拍摄条件下获得的四个子图像A、B、C和D形成一个WDR单元N-1。当如参考标号90所示，WDR模式设置单元60确定将当前模式改变为正常模式(无WDR模式或1WDR模式)时，寄存器设置单元50将WDR图像传感器30的最大快门速度Vmax设置为每个图像通道的当前最大快门速度Fs的四倍，并将相同的快门速度分配到四个图像通道。因此，可将图像通道A、图像通道B、图像通道C和图像通道D的快门速度全部设置为L。即使在这种情况下，从WDR图像传感器30输出的图像通道的数量(即，包括在WDR单元N中的图像通道的数量)仍然是四。
在寄存器设置单元50改变寄存器值之后，可几乎没有延迟地将当前模式改变为正常模式。也就是说，可在没有合成处理的情况下从被设置为相同曝光时间(L)的四个图像通道A、B、C和D分别获得四个图像帧(正常帧)。因此，虽然在图5中示出两个WDR单元N-1和N，但是从两个WDR单元N-1和N获得的WDR图像帧的数量是五。
如在图4和图5中所示，在根据WDR模式设置单元60的模式变化来改变WDR图像传感器30的寄存器值之后，WDR图像传感器30输出具有与之前相同数量的图像通道但具有改变的参数(例如，快门速度)的修改的图像数据。这里，最大快门速度Vmax可被设置为与对应于新的WDR模式的子图像的数量成反比。例如，在图4中，根据从4WDR模式到2WDR模式的模式变化，最大快门速度Vmax被设置为当前最大快门速度Fs的两倍。在图5中，根据从4WDR模式到正常模式的模式变化，最大快门速度Vmax被设置为当前最大快门速度Fs的四倍。
为了完全改变WDR模式，需要改变ISP 70的操作以及WDR图像传感器30的寄存器值。这是因为ISP 70必须通过从修改的图像数据合成改变的数量(即，第二数量)的子图像来产生WDR图像。在图5的示例中，ISP 70可读取包括在从WDR图像传感器30输出的图像数据中的多个图像通道A、B、C和D。除非ISP 70被重新设置，否则即使在拍摄模式(即，WDR模式)已经改变为新的模式(即，4WDR模式)之后，ISP 70也可使用四个子图像而不是它们中的两个来产生一个WDR图像。
图6是根据示例性实施例的ISP 70的详细框图。ISP 70可包括通道写入器72、输入通道缓冲器74、通道读取器76、输出通道缓冲器78和WDR图像产生器80。输入通道缓冲器74和输出通道缓冲器78可被设置在ISP 70外部。输入通道缓冲器74和输出通道缓冲器78中的每一个可被实现为用于暂时存储数据的存储介质(诸如，随机访问存储器(RAM)、闪速存储器和固态硬盘(SSD)等)。
通道写入器72根据当前模式将包括在从WDR图像传感器30输出的图像数据中的多个图像通道顺序记录在输入通道缓冲器74中。通道读取器76根据模式变化信息以第二数量的图像通道为单位读取记录在输入通道缓冲器74中的图像通道。模式变化信息可指示WDR模式已经改变为第二模式，并可由WDR模式设置单元60提供。此外，通道读取器76将读取的图像通道记录在输出通道缓冲器78中。然后，WDR图像产生器80合成与记录在输出通道缓冲器78中的第二数量的图像通道对应的子图像，并将合成结果输出到ISP 70外部。
图7至图9分别更加具体地示出ISP 70在4WDR模式、2WDR模式和正常模式下的操作。参照图7，在4WDR模式下，响应于施加到WDR图像传感器30的电压VD，WDR图像传感器30输出具有针对四个图像通道A、B、C和D的不同的快门速度(VL、L、S和VS)的图像数据。这里，直接存储器访问(DMA)写入器72(或通道写入器)根据当前模式将包括在图像数据中的图像通道A、图像通道B、图像通道C和图像通道D顺序记录在输入通道缓冲器74中。DMA读取器76(或通道读取器)读取四个图像通道A、B、C和D中的每一个，并将四个图像通道A、B、C和D原样存储在输出通道缓冲器78中。相应地，WDR图像产生器80通过合成与存储在输出通道缓冲器78中的四个图像通道A、B、C和D对应的四个子图像来产生一个WDR图像。这里，存储在输入通道缓冲器74中的通道A、通道B、通道C和通道D的布置和存储在输出通道缓冲器78中的通道A、通道B、通道C和通道D的布置是一样的，最终WDR图像的帧数n是常数。
参照图8，在2WDR模式下，响应于施加到WDR图像传感器30的电压VD，WDR图像传感器30输出具有被交替地分配到四个图像通道A、B、C和D的两个快门速度(L、S、L和S)的图像数据。这里，电压VD被施加到WDR图像传感器30的时间段被保持。也就是说，最大快门速度Vmax被寄存器设置单元50设置为在4WDR模式下的当前最大快门速度Fs的两倍(即，Fs×2)。
DMA写入器72根据当前模式将包括在由WDR图像传感器30输出的图像数据中的图像通道A、图像通道B、图像通道C和图像通道D记录在输入通道缓冲器74中。DMA读取器76读取四个图像通道A、B、C和D中的每一个，并将读取的四个图像通道A、B、C和D以两个通道为单位存储在输出通道缓冲器78中。相应地，WDR图像产生器80通过合成与存储在输出通道缓冲器78中的两个图像通道A和B对应的两个子图像来产生第n WDR图像。此外，WDR图像产生器80通过合成与存储在输出通道缓冲器78中的剩余两个图像通道C和D对应的两个子图像来产生第(n+1)WDR图像。
参照图9，在正常模式下，响应于施加到WDR图像传感器30的电压VD，WDR图像传感器30输出具有针对四个图像通道A、B、C和D的相同快门速度(L)的图像数据。这里，电压VD被施加到WDR图像传感器30的时间段被保持。也就是说，最大快门速度Vmax被寄存器设置单元50设置为在4WDR模式下的当前最大快门速度Fs的四倍(即，Fs×4)。
DMA写入器72根据当前模式将包括在图像数据中的图像通道A、图像通道B、图像通道C和图像通道D记录在输入通道缓冲器74中。DMA读取器76读取四个图像通道A、B、C和D中的每一个，并将读取的四个图像通道A、B、C和D以一个通道为单位存储在输出通道缓冲器78中。相应地，WDR图像产生器80从存储在输出通道缓冲器78中的一个图像通道A产生第n正常图像。类似地，WDR图像产生器80分别从图像通道B、图像通道C和图像通道D产生第(n+1)正常图像、第(n+2)正常图像和第(n+3)正常图像。
图10是根据示例性实施例的WDR图像产生器80的具体框图。WDR图像产生器80可包括通道输入单元82、子图像产生单元84a至84k、图像合成单元86和图像后处理单元88。
通道输入单元82根据第二模式顺序接收记录在输出通道缓冲器78中的第二数量的图像通道。子图像产生单元84a至84k从顺序输入到通道输入单元82的第二数量的图像通道产生第二数量的子图像。图像合成单元86通过合成第二数量的子图像的像素来产生WDR图像。这里，像素可具有(但不限于)RGB数据格式、YUV数据格式或YCbCr数据格式。此外，图像后处理单元88对由图像合成单元86产生的WDR图像进行后处理。后处理可包括(但不限于)白平衡调节、伽玛处理、增益调节等。
图11示出使用图像合成单元86合成子图像的处理。
参照图11，第一子图像产生单元84a产生使用相对较长的曝光时间(即，慢快门速度)拍摄的第一子图像，第二子图像产生单元84b产生使用相对较短的曝光时间(即，快快门速度)拍摄的第二子图像。
图像合成单元86通过将第一权重施加到第一子图像92获得第一加权子图像96，通过将第二权重施加到第二子图像94获得第二加权子图像98。然后，图像合成单元86通过将第一加权子图像96和第二加权子图像98中的相应像素的值相加来产生一个WDR图像95。这里，第一权重与第二权重的总和可以是1。可将权重赋给每个子图像或子图像的各个区域(或块)。在图11中，两个子图像被合成。然而，可以按如上所述的相同方法合成两个或更多数量的子图像。
再参照图2，由ISP 70产生的WDR图像(静止图像或移动图像)可被存储在图像存储器26中。图像显示单元28可以是液晶显示器(LCD)、有机发光二极管(OLED)、阴极射线管(CRT)等，并可在屏幕上显示记录在图像存储器26中的WDR图像。此外，图像显示单元28可由操控单元43开启和关闭。
图像编码单元41可读取存储在图像存储器26中的WDR图像，压缩读取的WDR图像，并将压缩的WDR图像再次存储在图像存储器26中。
操控单元43是用于输入系统处理器40的各种指令的单元。可以以开关、拨号盘、触摸面板、基于眼睛检测的指示装置、语音识别装置或其组合的形式来实现操纵单元43。用户可使用操控单元43设置诸如上电/断电、WDR模式开启/关闭、放大/缩小和图像显示单元28的开启和关闭的各种功能。
传感器控制器42可控制包括在WDR图像传感器30中的机械快门或电子快门。此外，传感器控制器42可与闪光灯连接以控制闪光功能。透镜控制器44可控制拍摄透镜20的焦点或变焦倍数。
系统处理器40可控制图像处理设备100的整体操作。系统处理器40所执行的程序被记录在系统存储器46中，并随着它们被读取而被顺序执行。此外，系统存储器46可包括记录系统信息的区域和记录用户设置信息的区域。因此，当图像处理设备100运行时，可读取和恢复各种信息或设置。系统存储器46可被实现为RAM、闪存或SSD。
通信单元48具有诸如通用串行总线(USB)、IEEE1394、局域网(LAN)等的通信功能。通信单元48可从不同于图像处理设备100的装置接收控制信号，或将产生的WDR图像发送到所述装置。
上面参照图2、图6和图10描述的每个组件可被实现为软件组件(诸如，在存储器的预定区域执行的任务、类、子程序、处理、对象、执行线程或程序)或硬件组件(诸如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))。此外，组件可由软件组件和硬件组件的组合构成。组件可驻留于计算机可读记录介质上，或者可分布在多个计算机上。
每一个框可表示包括代码的块、段或部分，其中，代码包括用于实现特定逻辑功能的一个或多个可执行的指令。应当注意，在一些可选的实施方式中，框中所写的功能可不按所述顺序发生。例如，根据涉及的功能，可实际上基本同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。
图12是示出根据示例性实施例的由图像处理设备100执行的图像处理方法的流程图。
参照图12，图像处理设备100将WDR图像传感器30和ISP 70设置为4WDR模式(操作S1)。WDR模式设置单元60分析从WDR图像传感器30输出的图像数据的亮度(操作S2)，将亮度与第一参考值和低于第一参考值的第二参考值进行比较(操作S3和操作S4)。如果亮度大于第一参考值和第二参考值两者，则保持4WDR模式(操作S1)。如果亮度在第一参考值和第二参考值之间，则执行操作S5。如果亮度小于第二参考值，则执行操作S12。
在操作S5，寄存器设置单元50将WDR图像传感器30的最大快门速度Vmax设置为当前最大快门速度Fs的两倍(操作S5)，并将四个图像通道A、B、C和D的快门速度分别设置为L、S、L和S。
这里，ISP 70的通道写入器72将四个通道A、B、C和D记录在输入通道缓冲器74中(操作S7)，通道读取器76读取四个通道A、B、C和D的前两个通道A和B(操作S8)。WDR图像产生器80通过合成包括在两个通道A和B中的两个子图像来产生一个WDR图像(操作S9)。类似地，通道读取器76读取四个通道A、B、C和D的另外两个通道C和D(操作S10)。WDR图像产生器80通过合成包括在两个通道C和D中的两个子图像来产生一个WDR图像(操作S11)。然后，再次执行操作S2。
在操作S12，寄存器设置单元50将WDR图像传感器30的最大快门速度Vmax设置为当前最大快门速度Fs的四倍(操作S12)，并将四个图像通道A、B、C和D的全部快门速度设置为L(操作S13)。
这里，ISP 70的通道写入器72将四个通道A、B、C和D记录在输入通道缓冲器74中(操作S14)，通道读取器76读取四个通道A、B、C和D中的第一通道A(操作S15)。在这种情况下，由于只存在一个子图像，所以略过WDR图像产生器80的WDR合成处理。因此，从ISP 70原样输出单个子图像作为正常图像(操作S16)。然后，逐一顺序读取剩余的通道B、C和D(操作S15)，并输出正常图像(操作S16)。在处理完四个通道A、B、C和D中的最后一个之后(操作S17中的“是”)，再次执行操作S2。
在上面的示例性实施例中，拍摄模式在4WDR模式、2WDR模式和正常模式(非WDR模式)之间切换。然而，本发明构思不限于这个示例，还适用于合成任意数量的子图像的WDR模式之间的切换。此外，本发明构思不仅适用于到合成较小数量的子图像的WDR模式的模式变化，还适用于到合成较大数量的子图像的WDR模式的模式变化。例如，如果以相反的顺序执行图4或图5的模式变化处理，则可完全实现到合成较大数量的子图像的WDR模式的模式变化。
此外，在正常模式下，未对一个子图像进行合成。换言之，WDR合成处理被略过。然而，应当理解，为了技术术语的一致性，正常模式已经被描述为合成一个子图像的处理。
根据本发明构思的图像处理设备和方法，通过根据捕获图像的环境自适应改变拍摄模式来最小化图像质量的劣化是可能的。
此外，在不需要针对每个模式变化重新设置ISP的情况下，通过改变图像传感器的寄存器值来在各种WDR模式(包括正常模式)之间简单地改变模式是可能的。
因此，由于在各种WDR模式之间的模式变化中没有由于延迟而造成的帧丢失，所以自然的输出图像可被获得。
上面描述的方法或算法的操作或步骤可被实现为计算机可读记录介质上的计算机可读代码，或通过传输介质传输。计算机可读记录介质可以是可存储之后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括(但不限于)只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)ROM、数字多用途光盘(DVD)、磁带、软盘和光数据存储设备。传输介质可包括通过网络或各种类型的通信通道传输的载波。计算机可读记录介质也可分布在连接到计算机系统的网络上，使得计算机可读代码以分布式的方式被存储和执行。
如在图2和图6至图10中所示的用方框表示的组件、元件、模块或单元中的至少一个可根据示例性实施例被实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件、模块或单元中的至少一个可使用直接的电路结构(诸如，存储器、处理器、逻辑电路和查找表等)，其中，直接的电路结构可通过一个或多个微处理器或其他控制设备的控制来执行各自的功能。此外，这些组件、元件、模块或单元中的至少一个可通过包含用于执行特定逻辑功能的一个或多个可执行指令的模块、程序或部分代码来具体实现，并由一个或多个微处理器或其他控制设备来执行。此外，这些组件、元件、模块或单元中的至少一个还可包括执行各自功能的处理器(诸如，中央处理器(CPU))和微处理器等，或可由执行各自功能的中央处理器(CPU)的处理器和微处理器等实现。这些组件、元件、模块或单元中的两个或更多个可被组合到执行组合的两个或更多个组件、元件、模块或单元的全部操作或功能的单个组件、元件、模块或单元中。此外，这些组件、元件、模块或单元中的至少一个的至少一部分功能可由这些组件、元件、模块或单元中的另一个来执行。此外，虽然没有在上面的框图中示出总线，但是组件、元件、模块或单元之间的通信可通过总线来执行。上面的示例性实施例的功能方面可以被实现为在一个或多个处理器上运行的算法。此外，用框表示的组件、元件、模块或单元或者处理步骤可利用任何数量的用于电子配置、信号处理和/或控制以及数据处理等的相关领域技术。
通过推断具体实施方式，本领域技术人员将会理解，在实质上不脱离本发明构思的原理的情况下，可对优选的实施例做出很多变化和修改。因此，这里公开的示例性实施例仅用于一般性和描述性意义，并不是出于限制的目的。

Claims (12)

1.一种图像处理设备，包括：
图像传感器，被配置为输出具有多个图像通道的图像数据；
至少一个处理器，被配置为实施：
模式设置单元，基于输出的图像数据的亮度，将拍摄模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成；
寄存器设置单元，根据第二模式改变图像传感器的寄存器值；
图像信号处理器ISP，被配置为通过根据改变的寄存器值合成来自图像数据的第二数量的子图像来产生结果图像，
其中，第二数量的子图像具有不同的曝光时间，
其中，寄存器值包括用于第二模式的拍摄模式的最大快门速度和用于每个图像通道的快门速度，
其中，从图像传感器输出的图像通道的数量和由ISP接收的图像通道的数量是常数而不管拍摄模式如何，
其中，每个图像通道对应于每个子图像。
2.如权利要求1所述的设备，其中，最大快门速度被设置为与用于产生结果图像的将被合成的子图像的数量成反比。
3.如权利要求1所述的设备，其中，ISP被配置为根据第二模式读取包括在从图像传感器输出的图像数据中的图像通道中的第二数量的图像通道，并通过合成第二数量的子图像来产生结果图像。
4.如权利要求3所述的设备，其中，ISP被配置为实施：
通道写入器，根据第二模式将包括在从图像传感器输出的图像数据中的图像通道顺序记录在输入通道缓冲器中；
通道读取器，读取记录在输入通道缓冲器中的图像通道中的第二数量的图像通道，并将第二数量的图像通道记录在输出通道缓冲器中；
宽动态范围WDR图像产生器，合成与记录在输出通道缓冲器中的第二数量的图像通道对应的子图像。
5.如权利要求4所述的设备，其中，WDR图像产生器包括：
子图像产生单元，被配置为分别从记录在输出通道缓冲器中的第二数量的图像通道产生第二数量的子图像；
图像合成单元，被配置为通过合成第二数量的子图像来产生结果图像。
6.如权利要求5所述的设备，其中，图像合成单元被配置为通过将不同的权重分配到第二数量的子图像中的每一个子图像或第二数量的子图像中的每一个子图像的每个区域来产生结果图像。
7.如权利要求1所述的设备，其中，第一数量和第二数量均是等于或大于1的整数。
8.如权利要求7所述的设备，其中，第一数量和第二数量均是2的幂。
9.如权利要求7所述的设备，其中，第一数量是4，第二数量是2或者1。
10.如权利要求1所述的设备，其中，模式设置单元基于包括在输出的图像数据中的像素的亮度的均值来确定输出的图像数据的亮度。
11.如权利要求1所述的设备，其中，模式设置单元基于输出的图像数据中的亮度等于或低于第一预定水平的暗像素的比例或输出的图像数据中的亮度等于或高于第二预定水平的亮像素的比例来确定输出的图像数据的亮度。
12.一种图像处理方法，包括：
使用图像传感器输出具有多个图像通道的图像数据；
基于输出的图像数据的亮度，将拍摄模式从第一模式改变为第二模式，其中，在第一模式下，第一数量的子图像被合成，在第二模式下，第二数量的子图像被合成；
根据第二模式改变图像传感器的寄存器值；
输出与改变的寄存器值对应的修改的图像数据；
通过合成来自修改的图像数据的第二数量的子图像来产生结果图像，
其中，第二数量的子图像具有不同的曝光时间，
其中，寄存器值包括用于第二模式的拍摄模式的最大快门速度和用于每个图像通道的快门速度，
其中，从图像传感器输出的图像通道的数量和由ISP接收的图像通道的数量是常数而不管拍摄模式如何，
其中，每个图像通道对应于每个子图像。
CN201710177928.0A 2016-10-06 2017-03-23 图像处理设备和方法 Active CN107920198B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160128866A KR102615738B1 (ko) 2016-10-06 2016-10-06 영상 처리 장치 및 방법
KR10-2016-0128866 2016-10-06

Publications (2)

Publication Number Publication Date
CN107920198A CN107920198A (zh) 2018-04-17
CN107920198B true CN107920198B (zh) 2021-09-28

Family

ID=57777516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710177928.0A Active CN107920198B (zh) 2016-10-06 2017-03-23 图像处理设备和方法

Country Status (4)

Country Link
US (2) US10432859B2 (zh)
EP (1) EP3306910B1 (zh)
KR (2) KR102615738B1 (zh)
CN (1) CN107920198B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218628B (zh) * 2018-09-20 2020-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112217999B (zh) * 2020-09-23 2022-02-18 浙江大华技术股份有限公司 一种宽动态模式的调整方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674417A (zh) * 2008-09-12 2010-03-17 索尼株式会社 成像设备和成像模式控制方法
CN101876283A (zh) * 2009-04-29 2010-11-03 通用汽车环球科技运作公司 多脉冲使能确定和转换控制系统及方法
CN101909157A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116818A (ja) 1995-10-17 1997-05-02 Purotetsuku Japan Kk 撮像回路
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
DE102004033230B4 (de) 2004-07-08 2008-09-04 Benteler Automobiltechnik Gmbh Lenksäule
JP2006108759A (ja) * 2004-09-30 2006-04-20 Fuji Photo Film Co Ltd 撮像装置
KR101396439B1 (ko) * 2007-09-14 2014-05-20 삼성전기주식회사 영상 촬상 장치 및 방법
JP2010171867A (ja) 2009-01-26 2010-08-05 Panasonic Corp 撮像装置
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
US8411689B2 (en) 2009-09-23 2013-04-02 Aerovironment, Inc. Fault-tolerant, frame-based communication system
KR101689665B1 (ko) * 2014-07-04 2016-12-26 삼성전자 주식회사 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674417A (zh) * 2008-09-12 2010-03-17 索尼株式会社 成像设备和成像模式控制方法
CN101876283A (zh) * 2009-04-29 2010-11-03 通用汽车环球科技运作公司 多脉冲使能确定和转换控制系统及方法
CN101909157A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器

Also Published As

Publication number Publication date
KR102615738B1 (ko) 2023-12-19
US10432859B2 (en) 2019-10-01
EP3306910A1 (en) 2018-04-11
US11095815B2 (en) 2021-08-17
KR20230175155A (ko) 2023-12-29
EP3306910B1 (en) 2021-09-01
US20180103203A1 (en) 2018-04-12
CN107920198A (zh) 2018-04-17
US20200029019A1 (en) 2020-01-23
KR20180038157A (ko) 2018-04-16

Similar Documents

Publication Publication Date Title
JP6911202B2 (ja) 撮像制御方法および撮像装置
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
US8508619B2 (en) High dynamic range image generating apparatus and method
US8218036B2 (en) Image sensing apparatus and control method therefor
EP2523452A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
JP6082274B2 (ja) 撮像装置、及びその制御方法
JP2015109503A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US9131172B2 (en) Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
US10999525B2 (en) Image processing apparatus and method for compressing dynamic range of WDR image
JP5480025B2 (ja) 撮像装置、撮像システム、撮像方法
US11831991B2 (en) Device, control method, and storage medium
KR20230175155A (ko) 영상 처리 장치 및 방법
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
WO2019187901A1 (ja) 撮像装置、撮像方法、およびプログラム
CN116567432A (zh) 拍摄方法和电子设备
US10924693B2 (en) Image sensor and image capturing apparatus
US9013597B2 (en) Image pickup apparatus that carries out noise compensation, control method therefor, and storage medium
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP6990988B2 (ja) 撮像装置及び撮像素子の制御方法
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US11843870B2 (en) Image processing apparatus, image processing method, and image capture apparatus
JP2014027460A (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
US20230328339A1 (en) Image capture apparatus and control method thereof, and image processing apparatus
JP2008306326A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190228

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220315

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Patentee after: New future semiconductor Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: New future semiconductor Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: New future semiconductor Co.,Ltd.

CP01 Change in the name or title of a patent holder