CN104954698B - 能够生成合成视频图像的图像处理设备及其控制方法 - Google Patents

能够生成合成视频图像的图像处理设备及其控制方法 Download PDF

Info

Publication number
CN104954698B
CN104954698B CN201510148656.2A CN201510148656A CN104954698B CN 104954698 B CN104954698 B CN 104954698B CN 201510148656 A CN201510148656 A CN 201510148656A CN 104954698 B CN104954698 B CN 104954698B
Authority
CN
China
Prior art keywords
synthesis
synthesis ratio
image
luminance difference
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510148656.2A
Other languages
English (en)
Other versions
CN104954698A (zh
Inventor
青景弘典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104954698A publication Critical patent/CN104954698A/zh
Application granted granted Critical
Publication of CN104954698B publication Critical patent/CN104954698B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及能够生成合成视频图像的图像处理设备及其控制方法。一种图像处理设备，其能够在HDR合成处理中，在保持视频图像的平滑表现的同时，获得良好的HDR效果。第一计算单元基于以相互不同的曝光所连续拍摄的图像的帧中的至少一个的亮度，计算出所述图像的帧的第一合成比。第二计算单元基于所述图像的帧之间的亮度差，计算出所述图像的帧的第二合成比。第三计算单元基于所述第一合成比、所述第二合成比和在拍摄所述图像的帧时的快门速度，计算出第三合成比，作为用于合成所述图像的帧的最终合成比。合成单元通过基于所述第三合成比合成所述图像的帧，生成一个帧的图像。

Description

能够生成合成视频图像的图像处理设备及其控制方法
技术领域
本发明涉及一种图像处理设备及其控制方法、以及用于存储用于其的控制程序的存储介质，尤其涉及一种能够通过利用高动态范围(HDR)合成来合成多个帧的图像从而生成视频图像的图像处理设备。
背景技术
作为图像处理设备之一，有诸如数字照相机或者数字摄像机等的摄像设备。这些摄像设备中的一些进行合成处理，其中，该合成处理通过合成在相互不同的曝光量下所拍摄的多个帧的图像，获得高动态范围(HDR)图像(以下称为HDR合成处理)。在HDR合成处理中，通过合成具有适当曝光的图像，获得不会包括所谓的光晕和黑色崩溃的图像。
顺便提及，在HDR合成处理中，通过重复根据时间序列将多个拍摄帧合成在一个帧中的处理，在视频图像中同样获得HDR图像。然而，通过HDR合成处理所获得的视频图像的帧频变得低于摄像时的帧频。因此，特别地，当快门速度快时，运动被摄体的运动可能看起来不平滑。
此外，在视频图像的情况下，通常根据HDR合成处理的特性，以多个帧其中一帧中的像素替换运动被摄体。因此，当运动被摄体检测的精度不够时，由于利用不同帧的像素替换运动被摄体的部分，因而用户可能感觉合成图像不协调。
为了解决这一问题，在对于视频图像的HDR合成处理中，例如，已知这样一种技术：该技术利用长时间曝光和短时间曝光，拍摄不同曝光的两个图像，通过向长时间曝光图像添加模糊效果，生成预测图像，通过计算长时间曝光图像和预测图像之间的差，生成差分图像，并且编码短时间曝光图像和差分图像(参考WO2010/116731)。与编码短时间曝光图像和长时间曝光图像的情况相比，这样更大提高编码效率。
此外，存在这样一种技术：该技术基于与前一帧和后一帧中的运动有关的信息，生成中间图像，以补偿在视频图像的一个帧周期期间的非曝光期中的图像信息(参考日本特开2009-232382号(JP 2009-232382A))。在该公开中，当通过合成原始图像和中间图像生成一个图像时，根据快门速度计算原始图像和中间图像的合成权重系数。
如上所述，在WO2010/116731中，尽管补偿两个帧之间的差以尝试提高编码效率(即，尽管减小帧之间的差以尝试提高编码效率)，但是在HDR合成处理中难以平滑地显示视频图像。
此外，在日本特开2009-232382号(JP 2009-232382A)中，由于在通过合成原始图像和中间图像生成一个图像时，根据快门速度计算原始图像和中间图像的合成权重系数，从而提高视频图像的表现的平滑性。然而，降低了由HDR合成处理所产生的HDR效果。
也就是说，上述两个公开所述的方法难以在保持视频图像的平滑表现的同时获得充分的HDR效果。
发明内容
本发明提供一种能够在HDR合成处理中，在保持视频图像的平滑表现的同时获得充分的HDR效果的图像处理设备及其控制方法、以及用于存储用于其的控制程序的存储介质。
因此，本发明的第一方面，提供一种图像处理设备，其包括：第一计算单元，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多个帧的图像的第一合成比；第二计算单元，用于基于所述多个帧的图像之间的亮度差，计算出所述多个帧的图像的第二合成比；第三计算单元，用于基于所述第一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多个帧的图像的最终合成比；以及合成单元，用于通过基于所述第三合成比合成所述多个帧的图像，生成一个帧的图像。
因此，本发明的第二方面，提供一种图像处理设备的控制方法，其包括以下步骤：第一计算步骤，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多个帧的图像的第一合成比；第二计算步骤，用于基于所述多个帧的图像之间的亮度差，计算出所述多个帧的图像的第二合成比；第三计算步骤，用于基于所述第一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多个帧的图像的最终合成比；以及合成步骤，用于通过基于所述第三合成比合成所述多个帧的图像，生成一个帧的图像。
因此，本发明的第三方面，提供一种非暂时性计算机可读存储介质，其用于存储用于使得计算机执行所述第二方面的控制方法的控制程序。
根据本发明，基于第一合成比、第二合成比和获得多个帧的图像时的快门速度，计算合成这些多个帧的图像时的第三合成比，并且通过基于第三合成比合成这些多个帧的图像，生成一个帧的图像。因此，在HDR合成处理中，在保持视频图像的平滑表现的同时，获得充分的HDR效果。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是示意性示出根据本发明第一实施例的图像处理设备的结构的框图。
图2是示意性示出图1所示的HDR处理单元的结构的框图。
图3是示出被输入至图2所示的HDR处理单元中的、以帧为单位的图像信号的流的例子的图。
图4是示意性示出图1所示的显像单元的结构的框图。
图5是示出通过图4所示的伽马转换器所使用的伽马特性的图。
图6是示出通过图2所示的亮度合成比计算单元所计算出的曝光不足帧图像数据的亮度合成比和亮度之间的关系的图。
图7是示出通过图2所示的亮度差合成比计算单元所计算出的曝光不足帧图像数据的亮度差合成比和亮度差之间的关系的图。
图8A是示出通过图2所示的亮度差合成比计算单元所计算出的、曝光不足帧图像数据的亮度差合成比与两个帧之间的亮度差之间的关系的图。
图8B是示出在图2所示的合成比计算单元改变合成程度之后，曝光不足帧图像数据的亮度差合成比与两个帧之间的亮度差之间的关系的图。
图9是示出在对于视频图像的HDR合成处理期间，为了通过合成比计算单元计算曝光不足帧图像数据的亮度差合成比所使用的变量G和快门速度之间的关系的图。
图10是示出在对于静止图像的HDR合成处理期间，为了通过合成比计算单元计算曝光不足帧图像数据的亮度差合成比所使用的变量G和快门速度之间的关系的图。
图11是示意性示出根据本发明第二实施例的照相机中的HDR处理单元的结构的框图。
图12是示出被输入至图11所示的HDR处理单元中的、以帧为单位的图像信号的流的例子的图。
图13是示出通过图11所示的亮度合成比计算单元所计算出的、除第一适当帧图像数据以外的图像数据的亮度合成比和亮度之间的关系的图。
图14是示出在对于视频图像的HDR合成处理期间，通过图11所示的合成比计算单元所计算出的合成比之间的关系的图。
图15是示出在对于视频图像的HDR合成处理期间，为了通过图11所示的合成比计算单元计算最大合成比所使用的变量G和快门速度之间的关系的图。
图16是示出在对于静止图像的HDR合成处理期间，通过图11所示的合成比计算单元所计算出的合成比和快门速度之间的关系的图。
图17是示意性示出作为根据本发明第三实施例的图像处理设备的信息处理设备的结构的框图。
图18是示出被加载至图17所示的存储器的应用程序的存储状态的图。
图19是示出通过图17所示的信息处理设备所执行的视频处理的流程图。
图20是示出图19的步骤S4中的图像处理的流程图。
具体实施方式
下面参考附图，详细说明根据本发明的实施例。
图1是示意性示出根据本发明第一实施例的图像处理设备的结构的框图。
所示图像处理设备是诸如数字照相机等的、能够拍摄视频图像的摄像设备(以下称为照相机)。照相机通过利用适当曝光拍摄一个帧(以下称为适当帧)、并且在曝光不足状态下拍摄一个帧(以下称为曝光不足帧)，在拍摄视频图像时获得两个帧。在本说明书中，曝光表示与图像的亮度相对应的指标，其中，亮度由依赖于快门速度和光圈值的曝光量、以及和图像信号相乘的如ISO速度那样的增益来确定。在曝光方面的差由改变定义图像的亮度的各种条件中的至少一个条件所引起。然后，照相机使用这两个帧进行与运动被摄体有关的处理，并且进行合成处理(以下称为HDR合成处理)，其中，在HDR合成处理中，合成这两个帧的图像以获得高动态范围(HDR)图像。在HDR合成处理中，照相机根据快门速度控制运动被摄体的合成程度。
照相机设置有通过总线9相互连接的光学系统1、摄像装置2、信号处理单元3、HDR处理单元4、信号处理单元5、编码单元6、输出单元7和UI(用户界面)单元8。
图2是示意性示出图1所示的HDR处理单元4的结构的框图。
所示HDR处理单元4，具有快门速度输入端子401、适当帧输入端子402、曝光不足帧输入端子403、显像单元404和405、亮度合成比计算单元406、以及亮度差合成比计算单元407、合成比计算单元408、合成单元409和HDR合成图像输出端子410。
光学系统1具有光圈、镜头等。穿过光学系统1的光，在摄像装置2上形成图像。摄像装置2是例如CMOS或者CCD传感器，光电转换光学图像，并且输出电信号(模拟信号)。应该注意，摄像装置2具有以二维矩阵形式按照Bayer配置所排列的多个像素。
将摄像装置2所输出的模拟信号发送给信号处理单元3。信号处理单元3对模拟信号应用A/D转换、增益控制等，并且将数字图像信号(适当帧图像信号和曝光不足帧图像信号)发送给HDR处理单元4。
应该注意，用户选择视频图像模式或者静止图像模式，并且通过UI模块8设置诸如ISO速度和快门速度等的摄像条件。然后，与通过UI模块8所设置的摄像条件有关的设置信息，经由总线9被发送给光学系统1、摄像装置2、图像处理单元3、HDR处理单元4、信号处理单元5、编码单元6和输出单元7。
通过输入端子402和403，将适当帧图像信号和曝光不足帧图像信号从信号处理单元3输入至HDR处理单元4。然后，将适当帧图像信号和曝光不足帧图像信号分别发送给显像单元404和405。此外，如上所述，经由总线9将快门速度从UI模块8给出至HDR处理单元4。然后，快门速度被发送给合成比计算单元408。
显像单元404将通过显像适当帧图像信号所获得的适当帧图像数据，发送给合成单元409、亮度合成比计算单元406和亮度差合成比计算单元407。另一方面，显像单元405将通过显像曝光不足帧图像信号所获得的曝光不足帧图像数据，发送给合成单元409和亮度差合成比计算单元407。
亮度合成比计算单元406参考适当帧图像数据，根据区域或者像素的亮度，计算图像中每一预先分割区域的、或者每一像素的亮度合成比(第一合成比)。然后，亮度合成比计算单元406将该亮度合成比发送给合成比计算单元408。亮度差合成比计算单元407参考适当帧图像数据和曝光不足帧图像数据，根据区域或者像素的亮度差，计算图像中每一预先分割区域的、或者每一像素的亮度差合成比(第二合成比)。然后，亮度差合成比计算单元407将亮度差合成比发送给合成比计算单元408。
合成比计算单元408基于亮度合成比、亮度差合成比和快门速度，计算最终合成比(第三合成比)，并且将该合成比发送给合成单元409。合成单元409根据最终合成比，合成适当帧图像数据和曝光不足帧图像数据，并且通过HDR合成图像输出端子410，将合成数据作为HDR合成图像数据输出给信号处理单元5。
信号处理单元5对HDR合成图像数据应用诸如亮度增益调整和重新调整大小处理等的信号处理，并且将作为信号处理的结果的处理后的图像数据发送给编码单元6。编码单元6对处理后的图像数据应用编码处理，并且将编码图像数据发送给输出单元7。然后，输出单元7将编码图像数据输出至接口(未示出)，将该数据保存至诸如CF卡等的介质，并且将该数据输出给诸如背侧LCD等的显示装置(未示出)。
下面进一步说明上述HDR处理单元4中的HDR合成处理。以帧为单位，从信号处理单元3将适当帧图像信号输入至输入端子402。类似地，以帧为单位，从信号处理单元3将曝光不足帧图像信号输入至输入端子403。
图3是示出被输入至图2所示的HDR处理单元4中的、以帧为单位的图像信号的流的例子的图。
照相机交替以适当曝光和不足曝光拍摄图像。经由输入端子402，将适当帧图像信号(适当帧)顺序输入至HDR处理单元4。另一方面，经由输入端子403，将曝光不足帧图像信号(曝光不足帧)顺序输入至HDR处理单元4。
适当曝光和不足曝光之间的曝光差是ISO速度的两级的差。并且在本实施例中，按照该顺序拍摄适当帧和曝光不足帧。然而，曝光差和拍摄顺序不局限于上述设置。此外，适当帧和曝光不足帧被交替输入至HDR处理单元4，并且两个帧构成所示的一个单位。然而，本发明不局限于所示方法。
如上所述，显像单元404和405分别对于适当帧图像信号和曝光不足帧图像信号进行显像处理。
图4是示意性示出图1所示的显像单元404的结构的框图。由于显像单元404和405的结构相同，因而仅说明显像单元404。
在显像单元404中，白平衡(WB)单元4041对适当帧图像信号应用WB处理。具体地，WB单元4041将R(红色)、G(绿色)和B(蓝色)乘以增益，从而使得R、G和B在应该是白色的区域中成为相同信号值。然后，降噪(NR)处理单元4042降低在WB处理之后图像信号中由传感器所产生的噪声。
颜色插值单元4043对彩色马赛克图像进行插值，并且生成对于每一像素定义与R、G和B有关的颜色信息的彩色图像。矩阵转换器4044对该彩色图像应用矩阵转换处理。伽马转换器4045对矩阵转换器4044的输出应用伽马转换处理以生成基本彩色图像。颜色调整单元4046对基本彩色图像应用用于改善图像的表现的处理。例如，颜色调整单元4046对基本彩色图像进行诸如饱和度增强、色调校正和边缘强调等的图像校正，并且输出适当帧图像数据。
应该注意，显像单元405还具有图4所示的结构，并且对曝光不足帧图像信号应用显像处理，并且输出曝光不足帧图像数据。
顺便提及，由于在HDR合成处理中使用以相互不同的曝光所拍摄的图像信号，因而需要预先乘以增益以使得亮度水平均匀。在这种情况下，需要设置使得不会发生所谓的光晕和黑色崩溃的增益。
图5是示出通过图4所示的伽马转换器4045所使用的伽马特性的图。
在显像单元404中，对于适当帧图像信号使用图5中通过实线所示的伽马特性601。此外，在显像单元405中，对于曝光不足帧图像信号使用通过虚线所表示的伽马特性602。
如图5所示，与伽马特性601相比，伽马特性602具有更大的亮度输出。因此，由于与适当帧图像信号相比，向曝光不足帧图像信号乘以更大的增益，因而在显像之后的曝光不足帧图像数据中，噪声同样变大。因此，NR处理单元对曝光不足帧图像信号应用比适当帧图像信号更强的NR处理，以使得适当帧图像数据和曝光不足帧图像数据的噪声量在显像之后均一。
该处理降低在HDR合成处理之后由于适当帧图像信号的噪声量和曝光不足帧图像信号的噪声量之间的差而导致的不协调感觉。在NR处理中，例如，使用预定核大小的平滑处理。可选地，可以使用应用诸如ε滤波器或者边缘保持双边滤波器等的滤波器的滤波处理。总之，考虑图像处理设备的处理速度和诸如存储器等的资源之间的平衡，执行NR处理。
尽管在上述说明中，显像单元404和405是分开的，但是单个显像单元可以响应于输入信号的种类(转动轴图像信号或者曝光不足帧图像信号)，通过切换诸如伽马特性等的参数来处理适当帧图像信号和曝光不足帧图像信号。
如上所述，亮度合成比计算单元406根据适当帧图像数据的区域或者像素的亮度，计算图像中的每一预先分割区域的、或者每一像素的亮度合成比。
图6是示出通过图2所示的亮度合成比计算单元406所计算出的曝光不足帧图像数据的亮度合成比k和亮度之间的关系的图。
为了获得HDR合成图像数据，在适当帧图像数据中暗于第一亮度合成阈值Y1的区域中，适当帧图像数据的亮度合成比成为100％，并且在亮于第二亮度合成阈值Y2的区域中，曝光不足帧图像数据的亮度合成比k成为100％，其中，第二亮度合成阈值Y2大于第一亮度合成阈值Y1。也就是说，当适当帧图像数据的亮度(适当帧亮度)小于第一亮度合成阈值Y1时，曝光不足帧图像数据的亮度合成比k成为0％。
然后，当适当帧亮度在第一亮度合成阈值Y1以上、并且在第二亮度合成阈值Y2以下时，亮度合成比计算单元406使得曝光不足帧图像数据的亮度合成比k从0％到100％单调增大(即，线性增大)，以平滑图像之间的切换。
亮度差合成比计算单元407根据如上所述的曝光不足帧图像数据和适当帧图像数据之间的亮度差，计算亮度差合成比。
图7是示出通过图2所示的亮度差合成比计算单元407所计算出的曝光不足帧图像数据的亮度差合成比d和亮度差之间的关系的图。
在生成HDR合成图像数据时，需要合成拍摄时间不同的多个帧。因此，当在这些帧中存在运动被摄体时，运动被摄体的位置在多个帧之间不同。此外，在运动被摄体存在的区域中，曝光不足帧图像数据和适当帧图像数据之间的亮度差变大。
亮度差合成比计算单元407寻找图像中每一预先分割区域的、或者每一像素的曝光不足帧图像数据和适当帧图像数据之间的亮度差。然后，亮度差合成比计算单元407基于该亮度差，计算亮度差合成比。
存在与适当帧图像数据相比在曝光不足帧图像数据中残留灰度级的许多情况。因此，亮度差合成比计算单元407使用于运动被摄体相对应的区域中的曝光不足帧图像数据。在这种情况下，当亮度差小于第一亮度差合成阈值d1时，适当帧图像数据的亮度差合成比成为100％。另一方面，当亮度差大于第二亮度差合成比d2时，曝光不足帧图像数据的亮度差合成比d成为100％，其中，第二亮度差合成阈值d2大于第一亮度差合成阈值d1。
也就是说，当亮度差小于第一亮度差合成阈值d1时，曝光不足帧图像数据的亮度差合成比d成为0％。然后，当亮度差在第一亮度差合成阈值d1以上、并且在第二亮度差合成阈值d2以下时，亮度差合成比计算单元407使得曝光不足帧图像数据的亮度差合成比d从0％到100％单调增大(即，线性增大)，以平滑图像之间的切换。
通常，合成视频图像的帧频变得低于拍摄图像时的帧频。特别地，当快门速度快时，运动被摄体的运动看起来不平滑。因此，合成比计算单元408根据快门速度控制运动被摄体的合成程度，以获得视频图像的平滑。
图8A和图8B是用于说明通过图2所示的合成比计算单元408进行的合成程度的控制的图。图8A是示出通过图2所示的亮度差合成比计算单元407所计算出的、曝光不足帧图像数据的亮度差合成比d与两个帧之间的亮度差之间的关系的图。图8B是示出在合成比计算单元408改变合成程度之后，曝光不足帧图像数据的亮度差合成比与两个帧之间的亮度差之间的关系的图。
这里，例如，合成比计算单元408通过将最高合成比设置成50％，将图8A所示的亮度差合成比和亮度差之间的关系，改成为图8B所示的关系。结果，在具有大的亮度差的运动被摄体的区域中，在下面的条件下合成两个帧：适当帧图像数据的亮度差合成比为50％，并且曝光不足帧图像数据的亮度差合成比d为50％。
图8A所示的曝光不足帧图像数据的亮度差合成比为d，并且在确定合成程度之后(即，在改变亮度差合成比之后)的曝光不足帧图像数据的亮度差合成比为dafter。在这种情况下，通过下面的公式(1)得出改变后亮度差合成比dafter。
dafter＝d·(G/100)(1)
图9是示出在对于视频图像的HDR合成处理期间，为了通过合成比计算单元408计算曝光不足帧图像数据的亮度差合成比dafter而所使用的变量G和快门速度之间的关系的图。
如图9所示，公式(1)中所包括的变量G随着快门速度的变化而改变。在这种情况下，变量G随着快门速度变慢而增大，并且变量G随着快门速度变快而减小。也就是说，当快门速度慢时，曝光不足帧图像数据的改变后亮度差合成比dafter变大，并且当快门速度快时，曝光不足帧图像数据的改变后亮度差合成比dafter变小。合成比计算单元408对于图像中每一预先分割区域或者每一像素，将改变后亮度差合成比dafter与曝光不足帧图像数据的亮度合成比k进行比较，并且将较大的比作为最终合成比m输出给合成单元409。
合成单元409使用下面的公式(2)，根据合成比m合成适当帧图像数据和曝光不足帧图像数据，并且生成HDR合成图像数据。
p＝pt＊((100－m)/100)+pu(m/100)(2)
其中，p、pt和pu分别表示最终合成帧中的像素值、适当帧中的像素值和曝光不足帧中的像素值。
尽管以上说明了对于视频图像的HDR合成处理，但是该HDR合成处理同样可以应用于静止图像。由于在快门速度快时，在静止图像中清晰地拍摄运动被摄体，因而在这种情况下，尽可能地不需要进行合成处理。
图10是示出在对于静止图像的HDR合成处理期间，为了计算曝光不足帧图像数据的改变后亮度差合成比dafter而由合成比计算单元408所使用的变量G和快门速度之间的关系的图。
在图10所示的情况下，变量G随着快门速度变慢而减小，并且变量G随着快门速度变快而增大。也就是说，当快门速度慢时，曝光不足帧图像数据的改变后亮度差合成比dafter变小，并且当快门速度快时，曝光不足帧图像数据的改变后亮度差合成比dafter变大。
如上所述，在本发明的第一实施例中，由于在对于图像数据的HDR合成处理期间，在运动被摄体的区域中合成适当帧和曝光不足帧，因而在保持图像的尤其是视频图像的平滑表现的同时，获得良好的HDR效果。也就是说，由于在根据快门速度改变合成比的同时进行HDR合成处理，因而获得最佳HDR合成视频图像数据。这样减小了由于帧频的降低而导致的运动的不自然，并且减小了运动被摄体的图像质量劣化。
此外，由于根据快门速度控制合成程度，因而降低在无需合成的区域中的合成处理的负荷。
接着说明作为根据本发明第二实施例的图像处理设备的例子的照相机。应该注意，第二实施例的照相机的结构与图1所示的照相机的相同。
根据第二实施例的照相机拍摄在时间上连续的三个帧，包括适当帧、曝光不足帧和适当帧。当进行HDR合成处理时，照相机根据快门速度，控制在运动被摄体的区域中要合成的帧的数量以及合成程度。
图11是示意性示出根据本发明第二实施例的照相机中所设置的HDR处理单元4的结构的框图。应该注意，以相同附图标记，表示与图2所示的HDR处理单元的组件相同的、图11所示的HDR处理单元4的组件。
图11所示的HDR处理单元4设置有快门速度输入端子401、第一适当帧输入端子402、曝光不足帧输入端子403和第二适当帧输入端子1101。
在时刻(t－1)所拍摄的适当帧图像信号(以下称为第一适当帧图像信号)，被从信号处理单元3输入至第一适当帧输入端子402。在时刻t所拍摄的曝光不足帧图像信号，被输入至曝光不足帧输入端子403。此外，在时刻(t+1)所拍摄的适当帧图像信号(以下称为第二适当帧图像信号)，被输入至第二适当帧输入端子1101。然后，第一适当帧图像信号、曝光不足帧图像信号和第二适当帧图像信号分别被发送给显像单元404、405和1102。
显像单元404将通过显像第一适当帧图像信号所获得的第一适当帧图像数据，发送给合成单元1106、亮度合成比计算单元1103和亮度差合成比计算单元407。显像单元405将通过显像曝光不足帧图像信号所获得的曝光不足帧图像数据，发送给合成单元1106和亮度差合成比计算单元407和1104。此外，显像单元1102将通过显像第二适当帧图像信号所获得的第二适当帧图像数据，发送给合成单元1106和亮度差合成比计算单元1104。
亮度合成比计算单元1103参考第一适当帧图像数据，计算亮度合成比。然后，亮度合成比计算单元1103将该亮度合成比发送给合成比计算单元1105。亮度差合成比计算单元407基于第一适当帧图像数据和曝光不足帧图像数据之间的亮度差，计算亮度差合成比(称为第一亮度差合成比)。然后，亮度差合成比计算单元407将第一亮度差合成比发送给合成比计算单元1105。
此外，亮度差合成比计算单元1104基于曝光不足帧图像数据和第二适当帧图像数据之间的亮度差，计算亮度差合成比(称为第二亮度差合成比)。然后，亮度差合成比计算单元1104将第二亮度差合成比发送给合成比计算单元1105。
合成比计算单元1105基于亮度合成比、第一亮度差合成比、第二亮度差合成比和快门速度，计算合成比，并且将该合成比发送给合成单元1106。合成单元1106根据该合成比，合成第一适当帧图像数据、第二适当帧图像数据和曝光不足帧图像数据，并且通过HDR合成图像输出端子410将合成数据作为HDR合成图像数据输出给信号处理单元5。
下面进一步说明根据第二实施例的照相机的HDR处理单元4中的HDR合成处理。第一适当帧图像信号以帧为单位，被从信号处理单元3输入至第一适当帧输入端子402。类似地，以帧为单位，曝光不足帧图像信号被从信号处理单元3输入至曝光不足帧输入端子403。类似地，以帧为单位，第二适当帧图像信号被从信号处理单元3输入至第二适当帧输入端子1101。
图12是示出被输入至图11所示的HDR处理单元4中的、以帧为单位的图像信号的流的例子的图。
在所示例子中，照相机在时刻(t－1)以适当曝光拍摄图像，并且在时刻t在曝光不足状态下拍摄图像。此外，照相机在时刻(t+1)以适当曝光拍摄图像。然后，经由第一适当帧输入端子402，将第一适当帧图像信号顺序输入至HDR处理单元4。另一方面，经由曝光不足帧输入端子403，曝光不足帧图像信号被顺序输入至HDR处理单元4。此外，经由第二适当帧输入端子，将第二适当帧图像信号顺序输入至HDR处理单元4。
HDR合成处理中用于生成一个帧的图像数据的一个处理，需要第一适当帧图像信号、曝光不足帧图像信号和第二适当帧图像信号。因而，一个处理中的第二适当帧图像信号成为下一处理中的第一适当帧图像信号。
由于显像单元404和405中的处理与第一实施例中的处理相同，因而省略说明。此外，由于显像单元1102的结构和处理与图4所示的显像单元404的结构和处理相同，因而省略说明。
如上所述，亮度合成比计算单元1103根据第一适当帧图像数据的亮度，计算亮度合成比。
图13是示出通过图11所示的亮度合成比计算单元1103所计算出的、除第一适当帧图像数据以外的图像数据的亮度合成比k和亮度之间的关系的图。
为了获得HDR合成图像数据，在第一适当帧图像数据中的暗于第一亮度合成阈值Y1的区域中，第一适当帧图像数据的亮度合成比成为100％，并且在亮于第二亮度合成阈值Y2的区域中，除第一适当帧图像数据以外的图像数据的亮度合成比k成为100％，其中，第二亮度合成阈值Y2大于第一亮度合成阈值Y1。也就是说，当第一适当帧图像数据的亮度(第一适当帧亮度)小于第一亮度合成阈值Y1时，除第一适当帧图像数据以外的图像数据的亮度合成比k成为0％。
另一方面，当第一适当帧亮度大于第二亮度合成阈值Y2时，除第一适当帧图像数据以外的图像数据的亮度合成比将为100％。因而，当第一适当帧亮度在第一亮度合成阈值Y1以上、并且在第二亮度合成阈值Y2以下时，亮度合成比计算单元1103使得除第一适当帧图像数据以外的图像数据的亮度合成比k从0％到100％单调增大，以平滑图像之间的切换。
第一亮度差合成比计算单元407根据如上所述的第一适当帧图像数据和曝光不足帧图像数据之间的亮度差，计算第一亮度差合成比da。类似地，第二亮度差合成比计算单元1104根据第二适当帧图像数据和曝光不足帧图像数据之间的亮度差，计算第二亮度差合成比。
由于如参考图7所述，计算亮度差合成比，因而省略说明。
合成比计算单元1105首先使用下面的公式(3)得出第二合成比dc。
在da≥db的情况下，dc＝da；
在da<db的情况下，dc＝db。(3)
也就是说，当第一亮度差合成比da大于第二亮度差合成比db时，合成比计算单元1105将第二合成比dc设置为第一亮度差合成比da。另一方面，当第一亮度差合成比da小于第二亮度差合成比db时，合成比计算单元1105将第二合成比dc设置为第二亮度差合成比db。
接着，合成比计算单元1105基于快门速度，计算三个帧的合成比。图14是示出通过合成比计算单元1105所计算出的合成比和快门速度之间的关系的图。
分别以gst、gst-1和gst+1表示曝光不足帧图像数据、第一适当帧图像数据和第二适当帧图像数据的合成比。尽管快门速度的最小值为1/4000、并且最大值是1/60，但是每一照相机的快门速度的范围都不同。
在第二实施例中，预先设置切换快门速度s。当实际快门速度T等于或者快于切换快门速度s时，合成包括曝光不足帧图像数据、第一适当帧图像数据和第二适当帧图像数据的三个帧的图像数据。当实际快门速度T慢于切换快门速度s时，合成包括曝光不足帧图像数据和第一适当帧图像数据的两个帧的图像数据。
当下面的条件(4)成立时，通过公式(5)计算合成比gst、st-1和gst+1。应该注意，第一适当帧图像的最高合成比为50％，并且切换快门速度s为1/300。
当上述条件(4)不成立时，如第一实施例所述，合成比计算单元1105得出下面的公式(6)中所包括的变量G。
图15是示出在对于视频图像的HDR合成处理期间，为了计算合成比而通过图11所示的合成比计算单元1105所使用的变量G和快门速度之间的关系的图。
如图15所示，变量G随着快门速度的变化而改变。在这种情况下，变量G随着快门速度变慢而增大，并且变量G随着快门速度变快而减小。然后，当快门速度为1/300时，变量G成为50。
接着，合成比计算单元1105根据公式(6)得出合成比gst、gst-1和gst+1。
gst+1＝0 (6)
然后，合成比计算单元1105将亮度合成比k和合成比gst进行比较，并且判断k是否大于gst。当k大于gst时，合成比计算单元1105计算通过下面的公式(7)所表示的最终合成比。这里，以L1、M1和L2分别表示曝光不足帧图像数据、第一适当帧图像数据和第二适当帧图像数据的最终合成比。
L1＝k
M1＝100–k(7)
L2＝0
另一方面，当k等于或者小于gst时，合成比计算单元1105通过下面的公式(8)得出最终合成比L1、M1和L2。
L1＝gst
M1＝gst-1(8)
L2＝gst+1
然后，合成比计算单元1105将合成比L1、M1和L2输出给合成单元1106。
如图14所示，随着快门速度变慢，曝光不足帧图像数据的合成比L1变大，并且当快门速度变得慢于切换快门速度s(＝1/300)时，增长率变大。另一方面，当快门速度快于切换快门速度s(＝1/300)时，第一适当帧图像数据的合成比M1几乎是恒定的，并且当快门速度变得慢于切换快门速度时，第一适当帧图像数据的合成比M1急剧下降。此外，随着快门速度变慢，与第二适当帧图像数据有关的合成比L2逐渐减小，并且当快门速度达到切换快门速度s(＝1/300)时，成为0。
也就是说，在图14所示的例子中，当快门速度变慢时，合成帧的数量减小(这里，成为一个帧)。当快门速度变快时，合成帧的数量增大(这里，成为三个帧)。
合成单元1106参考合成比L1、M1和L2，根据下面的公式(9)合成曝光不足帧图像数据、第一适当帧图像数据和第二适当帧图像数据，并且生成HDR合成图像数据。
其中，p、pt、pt-1和pt+1分别表示最终合成帧的像素值、曝光不足帧图像数据的像素值、第一适当帧图像数据的像素值和第二适当帧图像数据的像素值。
尽管以上说明了对于视频图像的HDR合成处理，但是该HDR合成处理同样可以应用于静止图像。由于当快门速度快时，在静止图像中清晰拍摄运动被摄体，因而在这种情况下，需要尽可能地不进行合成处理。
图16是示出在对于静止图像的HDR合成处理期间，通过图11所示的合成比计算单元1105所计算出的合成比和快门速度之间的关系的图。
随着快门速度变慢，曝光不足帧图像数据的合成比L1逐渐下降。另一方面，不管快门速度如何，第一适当帧图像数据的合成比M1几乎恒定。此外，随着快门速度变慢，第二适当帧图像数据的合成比L2逐渐增大。
也就是说，在图16所示的例子中，当快门速度变慢时，合成帧的数量增大(这里，成为三个帧)。当快门速度变快时，合成帧的数量减小(这里，成为两个帧)。
如上所述，由于在对于图像数据的HDR合成处理期间，在运动被摄体的区域中，合成两个适当帧和一个曝光不足帧，因而在本发明的第二实施例中，尤其当快门速度快时，在保持视频图像的平滑表现的同时，获得良好的HDR效果。
在第二实施例中，当对视频图像应用HDR合成处理时，由于合成帧的数量根据快门速度而改变，因而在保持视频图像的平滑表现的同时，获得良好的HDR效果。也就是说，尽管在第一实施例中合成两个帧，但是在第二实施例中合成三个帧。因而，在合成处理中，例如，在随着快门速度变快合成帧的数量增大的情况下，在保持视频图像的平滑表现的同时，获得良好的HDR效果。
接着说明根据本发明第三实施例的图像处理设备。在第三实施例中，通过对如第一实施例一样所连续拍摄的曝光不足帧图像数据和适当帧图像数据应用HDR合成处理，获得视频图像。
图17是示意性示出根据本发明第三实施例的图像处理设备的结构的框图。
例如，所示图像处理设备是诸如个人计算机等的信息处理设备。该信息处理设备具有中央处理单元(CPU)300。存储器301具有ROM和RAM。ROM存储BIOS和引导程序。RAM被用作为CPU 300的工作区。用户接口(I/F)303是包括键盘、鼠标、各种开关等的指示输入单元。外部存储单元304是例如硬盘驱动器，并且提供控制所需的操作系统(OS)、计算机程序和计算所需的存储区域。存储单元305访问存储视频数据的便携式存储介质(例如，DVD-ROM或者CD-ROM)。然后，CPU 300、存储器301、用户接口303、外部存储单元304和存储单元305经由总线302相互连接。
在所示例子中，诸如数字静态照相机等的摄像设备306被连接至总线302。还将用于显示由信息处理设备施加图像处理(即，HDR合成处理)的图像的投影仪307连接至总线302。应该注意，该信息处理设备设置有通信接口(I/F)308。通信I/F 308通过诸如LAN、公用网络或者无线网络等的通信线路309发送和接收图像数据。
当通过用户接口303上的操作，接通信息处理设备的电源时，CPU 300根据存储在存储器301中的引导程序，将OS(操作系统)从外部存储单元304加载至存储器301。然后，CPU300响应于用户指示，将应用程序从外部存储单元304加载至存储器301，并且使得该信息处理设备发挥图像处理设备的功能。
图18是示出被加载至图17所示的存储器301的应用程序的存储状态的图。
存储器301存储控制整个信息处理设备、并且控制各种类型的软件的OS。此外，存储器301存储作为应用程序的视频处理软件和图像输入软件。
视频处理软件例如检测缺陷像素并进行校正。图像输入软件控制照相机306，以交替拍摄适当帧图像和曝光不足帧图像、并且以帧为单位将输入(拍摄)图像数据作为视频图像输入给信息处理设备。应该注意，在存储器301中建立存储图像数据的图像区域和存储各种参数的工作区。
图19是示出通过图17所示的信息处理设备所执行的视频处理的流程图。
应该注意，CPU 300通过执行存储在存储器301中的应用程序，执行图19中的流程图的处理。此外，预先将通过照相机306所拍摄的图像数据存储在存储单元305中。
当开始视频处理时，CPU 300初始化信息处理设备(步骤S1)。随后，CPU300判断应用程序是否终止(步骤S2)。当应用程序终止时(步骤S2为“是”)，CPU 300结束视频处理。在步骤S2，CPU 300根据用户是否通过用户接口303输入了终止指示来确定应用程序的终止。
当应用程序没有终止时(步骤S2为“否”)，CPU 300以帧为单位将图像数据从存储单元305输入至存储器301的图像区域中(步骤S3)。然后，CPU 300进行作为图像处理的HDR合成处理(步骤S4)。然后，CPU 300使得处理返回至步骤S2。
图20是示出图19的步骤S4中的图像处理的流程图。
当开始该图像处理时，CPU 300将存储在存储单元305中的图像数据中在时间上连续的适当帧图像数据和曝光不足帧图像数据加载进存储器301，并且将诸如快门速度等的参数加载进存储器301(步骤S401)。接着，CPU 300以使得存储在存储器301中的两个帧的图像数据的亮度均匀的方式，对该图像数据显像(步骤S402)。
接着，CPU 300参考适当帧图像数据，计算曝光不足帧图像数据的图像中每一预先分割区域的、或者每一像素的亮度合成比(步骤S403)。接着，CPU300基于适当帧图像数据和曝光不足帧图像数据之间的图像中每一预先分割区域的、或者每一像素的亮度差，计算曝光不足帧图像数据的亮度差合成比(步骤S404)。然后，CPU 300选择亮度合成比和亮度差合成比中更大的值，作为曝光不足帧图像数据的合成比(步骤S405)。
此后，CPU 300根据该合成比，对适当帧图像数据和曝光不足帧图像数据应用HDR合成处理，并且将HDR合成图像数据存储至存储器301(步骤S406)。然后，CPU 300结束图像处理。
如上所述，在本发明的第三实施例中，在使用如个人计算机那样的信息处理设备保持视频图像的平滑表现的同时，获得良好的HDR效果。
应该注意，计算机程序通常被存储在诸如CD-ROM等的计算机可读存储介质中，并且可以通过将该介质置于计算机的阅读器(CD-ROM驱动器)中、并且进行复制或者安装来执行该计算机程序。
在图2所示的例子中，亮度合成比计算单元406发挥第一计算单元的功能，并且亮度差合成比计算单元407发挥第二计算单元的功能。合成比计算单元408发挥第三计算单元的功能，并且合成单元409发挥合成单元的功能。
尽管说明了本发明的实施例，但是本发明不局限于上述实施例，本发明包括各种变形例，只要不脱离本发明的概念即可。
例如，可以作为通过图像处理设备所执行的控制方法，实现上述实施例的功能。此外，可以作为通过图像处理设备设置有的计算机所执行的控制程序，实现上述实施例的功能。应该注意，将该控制程序记录在例如计算机可读存储介质中。
上述控制方法和控制程序至少具有第一计算步骤、第二计算步骤、第三计算步骤和合成步骤。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更全面地称为“非暂时性计算机可读存储介质”)上的计算机可执行指示(例如，一个以上的程序)以进行一个以上的上述实施例的功能的、并且/或者包括用于进行一个以上的上述实施例的功能的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如从存储介质读出并执行计算机可执行指示程序以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理单元(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的计算机处理器的网络以读出和执行计算机可执行指示。可以通过例如网络或者存储介质将计算机可执行指示提供给计算机。存储介质可以包括例如一个以上的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)TM等)、闪存存储器装置和存储卡等。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2014年3月31日提交的日本专利申请2014-072494号和2015年3月19日提交的日本专利申请2015-056051号的优先权，其全部内容通过引用包含于此。

Claims (11)

1.一种图像处理设备，其包括：
第一计算单元，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多个帧的图像的第一合成比；
所述图像处理设备的特征在于还包括：
第二计算单元，用于基于所述多个帧的图像之间的亮度差，计算出所述多个帧的图像的第二合成比；
第三计算单元，用于基于所述第一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多个帧的图像的最终合成比；以及
合成单元，用于通过基于所述第三合成比合成所述多个帧的图像，生成一个帧的图像。
2.根据权利要求1所述的图像处理设备，其中，对于所述多个帧中的每一预先分割区域或者每一像素，所述第三计算单元将所述第一合成比和所述第二合成比进行比较，并且选择较大的比作为所述第三合成比。
3.根据权利要求1所述的图像处理设备，其中，所述第三计算单元根据所述快门速度，改变所述第二合成比。
4.根据权利要求3所述的图像处理设备，其中，在用于拍摄视频图像的模式下，随着所述快门速度变快，所述第三计算单元减小所述第二合成比。
5.根据权利要求3所述的图像处理设备，其中，在用于拍摄静止图像的模式下，随着所述快门速度变快，所述第三计算单元增大所述第二合成比。
6.根据权利要求1所述的图像处理设备，其中，所述多个帧的图像包括以适当曝光所拍摄的适当帧图像和以低于所述适当曝光的不足曝光所拍摄的曝光不足帧图像，以及
其中，所述第一计算单元以以下方式计算出所述第一合成比：当所述适当帧图像的亮度小于第一亮度合成阈值时，曝光不足帧图像数据的合成比成为0％；当所述适当帧图像数据的亮度大于第二亮度合成阈值时，所述曝光不足帧图像数据的合成比成为100％，其中，所述第二亮度合成阈值大于所述第一亮度合成阈值；并且当所述适当帧图像数据的亮度在所述第一亮度合成阈值以上、并且在所述第二亮度合成阈值以下时，所述曝光不足帧图像数据的合成比从0％到100％增大。
7.根据权利要求6所述的图像处理设备，其中，所述第二计算单元以以下方式计算出所述第二合成比：当所述亮度差小于第一亮度差合成阈值时，所述曝光不足帧图像数据的合成比成为0％；当所述亮度差大于第二亮度差合成阈值时，所述曝光不足帧图像数据的合成比成为100％，其中，所述第二亮度差合成阈值大于所述第一亮度差合成阈值；并且当所述亮度差在所述第一亮度差合成阈值以上、并且在所述第二亮度差合成阈值以下时，所述曝光不足帧图像数据的合成比从0％到100％增大。
8.根据权利要求7所述的图像处理设备，其中，所述第三计算单元改变通过所述第二计算单元所计算出的第二合成比，以获得改变后的第二合成比；对于图像数据中每一预先分割区域、或者每一像素，将所述改变后的第二合成比和所述第一合成比进行比较，并且选择较大的比作为所述第三合成比。
9.根据权利要求1所述的图像处理设备，其中，所述多个帧的图像包括以适当曝光所拍摄的第一适当帧图像、以低于所述适当曝光的不足曝光所拍摄的曝光不足帧图像、以及以所述适当曝光所拍摄的第二适当帧图像，以及
其中，所述第一计算单元根据所述第一适当帧图像的亮度，计算出所述第一合成比。
10.根据权利要求9所述的图像处理设备，其中，所述第二计算单元根据所述第一适当帧图像和所述曝光不足帧图像之间的亮度差，计算出作为所述第一适当帧图像和所述曝光不足帧图像的合成比的第一亮度差合成比；并且根据所述第二适当帧图像和所述曝光不足帧图像之间的亮度差，计算出作为所述第二适当帧图像和所述曝光不足帧图像的合成比的第二亮度差合成比，以及
其中，所述第三计算单元选择所述第一亮度差合成比和所述第二亮度差合成比中更大的值，作为所述第二合成比。
11.一种用于图像处理设备的控制方法，其包括以下步骤：
第一计算步骤，用于基于以相互不同的曝光所连续拍摄的多个帧的图像中的至少一个图像的亮度，计算出所述多个帧的图像的第一合成比；
所述控制方法的特征在于还包括：
第二计算步骤，用于基于所述多个帧的图像之间的亮度差，计算出所述多个帧的图像的第二合成比；
第三计算步骤，用于基于所述第一合成比、所述第二合成比和在拍摄所述多个帧的图像时的快门速度，计算出第三合成比，作为用于合成所述多个帧的图像的最终合成比；以及
合成步骤，用于通过基于所述第三合成比合成所述多个帧的图像，生成一个帧的图像。
CN201510148656.2A 2014-03-31 2015-03-31 能够生成合成视频图像的图像处理设备及其控制方法 Expired - Fee Related CN104954698B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014072494 2014-03-31
JP2014-072494 2014-03-31
JP2015056051A JP6598479B2 (ja) 2014-03-31 2015-03-19 画像処理装置、その制御方法、および制御プログラム
JP2015-056051 2015-03-19

Publications (2)

Publication Number Publication Date
CN104954698A CN104954698A (zh) 2015-09-30
CN104954698B true CN104954698B (zh) 2018-04-17

Family

ID=54169002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510148656.2A Expired - Fee Related CN104954698B (zh) 2014-03-31 2015-03-31 能够生成合成视频图像的图像处理设备及其控制方法

Country Status (3)

Country Link
US (1) US9445009B2 (zh)
JP (1) JP6598479B2 (zh)
CN (1) CN104954698B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
JP6744711B2 (ja) * 2015-12-15 2020-08-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
CN107633295B (zh) * 2017-09-25 2020-04-28 南京地平线机器人技术有限公司 用于适配神经网络的参数的方法和装置
KR102318013B1 (ko) * 2017-10-13 2021-10-27 삼성전자 주식회사 복수의 이미지들을 합성하는 전자장치 및 방법
CN109936700B (zh) * 2017-12-19 2020-12-29 群光电子股份有限公司 影像串流画质处理系统及影像串流画质处理方法
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
JP2022121801A (ja) * 2021-02-09 2022-08-22 パナソニックＩｐマネジメント株式会社 撮像装置、撮像方法、撮像プログラム、および移動体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065442A1 (ja) * 2011-11-01 2013-05-10 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラムを格納した記憶媒体
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
CN103581556A (zh) * 2012-08-10 2014-02-12 索尼公司 摄像装置、图像信号处理方法和程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112108A (ja) * 2000-10-03 2002-04-12 Ricoh Co Ltd 画像処理装置
JP4492724B2 (ja) 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
WO2010116731A1 (ja) 2009-04-08 2010-10-14 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
JP5066249B2 (ja) * 2010-05-26 2012-11-07 オリンパスイメージング株式会社 撮像装置および撮像方法
JP5899633B2 (ja) * 2011-03-09 2016-04-06 富士通株式会社 画像合成装置、画像合成方法および画像合成プログラム
EP2688288B1 (en) * 2011-10-14 2018-05-16 Morpho, Inc. Image compositing device, image compositing method, image compositing program, and recording medium
JP2013153283A (ja) * 2012-01-24 2013-08-08 Olympus Corp 画像処理装置、撮像装置、及び、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
WO2013065442A1 (ja) * 2011-11-01 2013-05-10 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラムを格納した記憶媒体
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN103581556A (zh) * 2012-08-10 2014-02-12 索尼公司 摄像装置、图像信号处理方法和程序

Also Published As

Publication number Publication date
US20150281545A1 (en) 2015-10-01
US9445009B2 (en) 2016-09-13
CN104954698A (zh) 2015-09-30
JP2015201842A (ja) 2015-11-12
JP6598479B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
CN104954698B (zh) 能够生成合成视频图像的图像处理设备及其控制方法
US10171786B2 (en) Lens shading modulation
Delbracio et al. Mobile computational photography: A tour
US11983846B2 (en) Machine learning based image adjustment
KR20210069006A (ko) 단일 입력으로부터 다중 노출 프레임들을 생성하기 위한 시스템 및 방법
JP5012333B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
JP2022519469A (ja) 画像品質評価方法及び装置
CN101661615B (zh) 对对象图像实施灰度修正的图像处理装置
CN105323474B (zh) 摄像设备及其控制方法
US8254675B2 (en) Image processing apparatus, imaging apparatus and image processing program
WO2014044045A1 (zh) 图像处理方法及装置
JP2008165312A (ja) 画像処理装置及び画像処理方法
CN101951457A (zh) 图像处理装置以及计算机可读介质
US11574390B2 (en) Apparatus and method for image processing
CN105900138B (zh) 增强图像对比度的装置、电子设备及方法
JP4217041B2 (ja) フィルタ処理
CN116034400A (zh) 基于对象分类的图像处理
CN110009574A (zh) 一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法
WO2021256107A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2013254390A (ja) 画像処理装置及び画像処理方法
JP2014086956A (ja) 画像処理装置及び画像処理方法
JP7504629B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
KR101650050B1 (ko) 화상 처리 장치, 방법, 및 프로그램
JP2018182376A (ja) 画像処理装置
JP6087720B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417