CN111416945A - 用于处理图像的方法和装置 - Google Patents

用于处理图像的方法和装置 Download PDF

Info

Publication number
CN111416945A
CN111416945A CN201911073478.6A CN201911073478A CN111416945A CN 111416945 A CN111416945 A CN 111416945A CN 201911073478 A CN201911073478 A CN 201911073478A CN 111416945 A CN111416945 A CN 111416945A
Authority
CN
China
Prior art keywords
image
frame
frame image
dynamic range
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911073478.6A
Other languages
English (en)
Inventor
姜镇祐
宋成旭
郑惠润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111416945A publication Critical patent/CN111416945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于处理图像的方法和装置。在处理作为包括多个帧图像的视频图像的图像的方法中，通过合并第一帧图像和第一帧图像之后的第二帧图像来生成第一高动态范围(HDR)图像。所述第一帧图像和所述第二帧图像包括在所述多个帧图像中。所述第一帧图像具有第一曝光时间。所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间。通过合并所述第二帧图像和所述第二帧图像之后的第三帧图像来生成第二HDR图像。所述第三帧图像包括在所述多个帧图像中并具有所述第一曝光时间。

Description

用于处理图像的方法和装置
相关申请的交叉引用
本申请要求2019年1月7日在韩国知识产权局(KIPO)提交的韩国专利申请No.10-2019-0001728的优先权，该韩国专利申请的内容以引用的方式全部并入本文。
技术领域
示例实施例一般涉及图像获取和图像处理。例如，至少一些示例实施例涉及获取高质量视频图像的图像处理方法和/或执行该方法的图像处理装置。
背景技术
在诸如计算机、移动电话机、平板电脑、虚拟现实(VR)设备和机器人系统的各种电子系统和移动系统中采用了图像记录装置(例如，相机)。当使用相机拍摄对象时，如果对象的背景太亮，则对象相对较暗，这被称为背光。可以利用背光补偿(BLC)来获取更高质量的图像。高动态范围(HDR)技术将通过控制其曝光而看清明亮区域的图像与通过控制其曝光而看清暗区域的不同图像进行合并，并且生成非常清楚地看到明亮区域和暗区域的图像。然而，当使用传统HDR技术合并图像时，随着被合并的帧的数目增加，可能发生帧速率损失。
发明内容
本公开的至少一个示例实施例提供了能够在不损失帧速率的情况下从视频图像有效地生成HDR图像的图像处理方法。
本公开的至少一个示例实施例提供了能够在不损失帧速率的情况下从视频图像有效地生成HDR图像的图像处理装置。
一些示例实施例涉及用于处理包括多个帧图像的视频图像的方法。在一些示例实施例中，所述方法可以包括：基于所述多个帧图像中的第一帧图像和第二帧图像生成第一高动态范围(HDR)图像，在所述多个帧图像中所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第一帧图像具有第一曝光时间，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及基于所述第二帧图像和所述多个帧图像中的第三帧图像生成第二HDR图像，在所述多个帧图像中所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间。
一些示例实施例涉及一种用于处理包括多个帧图像的视频图像的装置，所述多个帧图像包括第一帧图像、第二帧图像和第三帧图像。在一些示例实施例中，所述装置可以包括：第一帧缓冲器，所述第一帧缓冲器被配置为接收所述第一帧图像以及接收所述第三帧图像，所述第一帧图像具有第一曝光时间，在所述多个帧图像中所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间；第二帧缓冲器，所述第二帧缓冲器被配置为接收所述第二帧图像，在所述多个帧图像中所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及，高动态范围(HDR)处理器，所述HDR处理器被配置为基于所述第一帧图像和所述第二帧图像生成第一HDR图像，以及基于所述第二帧图像和所述第三帧图像生成第二HDR图像。
一些示例实施例涉及一种用于处理包括多个帧图像的视频图像的方法。在一些示例实施例中，所述方法包括：基于所述多个帧图像中的第一帧图像和第二帧图像生成第一高动态范围(HDR)图像，所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第一帧图像具有第一曝光时间，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及基于所述第一HDR图像和所述多个帧图像中的第三帧图像生成第二HDR图像，所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间。
一些示例实施例涉及一种用于处理包括多个帧图像的视频图像的装置，所述多个帧图像包括第一帧图像、第二帧图像和第三帧图像。在一些示例实施例中，所述装置包括：第一帧缓冲器，所述第一帧缓冲器被配置为接收具有第一曝光时间的所述第一帧图像，接收所述第二帧图像，以及接收具有所述第一曝光时间的所述第三帧图像，在所述多个帧图像中所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间，在所述多个帧图像中所述第三帧图像在时间上紧跟在所述第二帧图像之后；高动态范围(HDR)处理器，所述HDR处理器被配置为基于所述第一帧图像和所述第二帧图像生成第一HDR图像，以及基于所述第一HDR图像和所述第三帧图像生成第二HDR图像；以及第二帧缓冲器，所述第二帧缓冲器被配置为接收所述第一HDR图像和所述第二HDR图像。
在根据示例实施例的用于处理图像的方法和装置中，可以基于滑动窗口方案和IIR方案之一来生成HDR图像。因此，可以在保持原始视频图像的帧速率的同时有效地生成HDR视频图像而不损失帧速率。
附图说明
通过下面结合附图的详细描述将更清楚地理解说明性的非限制性的示例实施例。
图1是示出根据示例实施例的图像处理方法的流程图。
图2是示出图1中的生成HDR图像的示例的流程图。
图3是用于描述图2中的生成HDR图像的操作的视图。
图4是示出图2中的生成第一HDR图像的示例的流程图。
图5A和图5B是用于描述图4中的生成第一HDR图像的操作的视图。
图6是示出图2中的生成第一HDR图像的另一示例的流程图。
图7A和图7B是用于描述图6中的生成第一HDR图像的操作的视图。
图8是示出根据示例实施例的图像处理装置的框图。
图9是示出根据示例实施例的图像处理装置中包括的HDR处理器的示例的框图。
图10是示出图1中的生成HDR图像的另一示例的流程图。
图11是用于描述图10中的生成HDR图像的操作的视图。
图12是示出根据示例实施例的图像处理装置中包括的HDR处理器的另一示例的框图。
图13是示出根据示例实施例的图像处理方法的流程图。
图14是示出图13中的生成HDR图像的示例的流程图。
图15是用于描述图14中的生成HDR图像的操作的视图。
图16是示出根据示例实施例的图像处理装置中包括的HDR处理器的又一示例的框图。
图17是示出图13中的生成HDR图像的另一示例的流程图。
图18是用于描述图17中的生成HDR图像的操作的视图。
图19是示出根据示例实施例的图像处理装置的框图。
图20是示出根据示例实施例的电子系统的框图。
具体实施方式
将参考其中示出了实施例的附图更全面地描述各种示例实施例。然而，本公开可以以许多不同的形式实现，并且不应被解释为限于本文所阐述的示例实施例。在整个申请中，相似的附图标号表示相似的元件。
图1是示出根据示例实施例的图像处理方法的流程图。
参考图1，对包括多个帧图像的视频图像执行或实施根据示例实施例的图像处理方法。换而言之，待处理的图像是包括多个帧图像的视频图像。具体地，根据示例实施例的图像处理方法可以通过基于多个帧图像生成多个高动态范围(HDR)图像，来获得或获取HDR视频图像，而不损失帧速率或者具有无损帧速率。
在根据示例实施例的图像处理方法中，在操作S100中，将起始帧图像输出为起始HDR图像，而不执行任何图像处理(包括，例如混合、组合(compositing)或合成，但不限于此)。起始帧图像包括在多个帧图像中，并且被排列在多个帧图像的首位或前部。起始HDR图像包括在多个HDR图像中，并且排列在多个HDR图像的首位或前部。
在操作S200中，通过基于滑动窗口方案合并(包括，例如混合、组合或合成，但不限于此)多个帧图像中的N个帧图像来生成每个HDR图像，其中N是大于或等于2的自然数。N个帧图像是多个帧图像中的连续或相继的帧图像，并且具有不同的曝光时间。
滑动窗口方案是基于具有期望的(或者，预定的)大小的“窗口”的传送方法的数据发送。例如，当要发送一系列数据时，可以发送包括在窗口中的所有数据包，在一个数据包的发送完成之后，可以将窗口滑动期望的(或者，预定的)单位，然后可以发送包括在滑动窗口中的下一个数据包。类似地，在根据示例实施例的图像处理方法中，可以应用或采用滑动窗口方案来生成HDR图像。例如，可以使用包括在具有期望的(或者，预定的)大小(例如，数目N)的“窗口”中的连续帧图像来生成一个HDR图像，窗口可以滑动一帧，然后可以使用包括在滑动窗口中的其他连续帧图像来生成另一HDR图像。将参考图2至图12描述基于滑动窗口方案的图像处理操作和用于执行图像处理操作的图像处理装置的配置。
在一些示例实施例中，表示窗口大小和一次被合并的帧图像的数目的数目N可以基本上等于多个帧图像中包括的不同曝光时间的种数。
当基于K个帧图像以及具有大小为N的窗口的上述滑动窗口方案生成HDR图像时，所生成的HDR图像的数目可以是(K-N+1)而非K，其中K是大于或等于N的自然数。因此，如操作S100所述，可以通过原样输出起始帧图像而不进行合并来提供起始HDR图像，使得输入的帧图像的数目基本上等于输出的HDR图像的数目(例如，帧速率得以保持)。
图2是示出图1中的生成HDR图像的示例的流程图。图3是用于描述图2中的生成HDR图像的操作的视图。
图2和图3示出了窗口的大小和不同曝光时间的种数是二(例如，N＝2)的示例。在图3中，可以从图像传感器或存储器件等提供包括在视频图像(例如，输入图像)中的多个帧图像FIMG11、FIMG12、FIMG13、FIMG14、FIMG15、FIMG16……。可以交替地重复具有第一曝光时间L(例如，长曝光时间)的帧图像FIMG11、FIMG13和FIMG15以及具有第二曝光时间S(例如，短曝光时间)的帧图像FIMG12、FIMG14和FIMG16。
参考图1、图2和图3，如参考操作S100所述，排列在多个帧图像FIMG11、FIMG12、FIMG13、FIMG14、FIMG15和FIMG16的首位的起始帧图像或第一帧图像FIMG11可以被输出为包括在HDR视频图像(例如，输出图像)中的多个HDR图像HIMG11、HIMG12、HIMG13、HIMG14、HIMG15、HIMG16……中的起始HDR图像HIMG11，而不执行任何图像处理。
在此之后，如参考操作S200所述，当生成多个HDR图像HIMG11、HIMG12、HIMG13、HIMG14、HIMG15和HIMG16中的除了起始HDR图像HIMG11之外的剩余HDR图像HIMG12、HIMG13、HIMG14、HIMG15和HIMG16时，可以通过使用大小为2的窗口的滑动窗口方案来顺序地合并具有不同曝光时间L和S的两个连续帧图像。
操作S200可以包括操作S210至操作S230。例如，在操作S210中，可以通过对具有第一曝光时间L的第一帧图像FIMG11和具有第二曝光时间S的第二帧图像FIMG12进行合并来生成第一HDR图像HIMG12。
第二帧图像FIMG12可以是紧跟在第一帧图像FIMG11之后的帧图像。例如，第一帧图像FIMG11和第二帧图像FIMG12可以是两个连续的帧图像。第二曝光时间S可以与第一曝光时间L不同。例如，第一曝光时间L可以是相对长的时间间隔，第二曝光时间S可以是相对短的时间间隔。例如，具有作为相对长的时间间隔的第一曝光时间L的第一帧图像FIMG11可以是相对高照度的或高亮度的图像，并且具有作为相对短的时间间隔的第二曝光时间S的第二帧图像FIMG12可以是相对低照度的或低亮度的图像。
如上所述，因为输入图像是视频图像，所以第一帧图像FIMG11和第二帧图像FIMG12可能不会完全显示相同的场景，因此在第一帧图像FIMG11和第二帧图像FIMG12之间可能发生场景改变、场景移动和/或对象移动。因此，考虑到场景改变、场景移动和/或对象移动，需要合并第一帧图像FIMG11和第二帧图像FIMG12。将参考图4和图6描述对第一帧图像FIMG11和第二帧图像FIMG12进行合并的详细操作。
在操作S210完成之后，在操作S220中，可以通过对第二帧图像FIMG12和具有第一曝光时间L的第三帧图像FIMG13进行合并来生成第二HDR图像HIMG13。第二HDR图像HIMG13可以是紧跟在第一HDR图像HIMG12之后的HDR图像，并且第三帧图像FIMG13可以是紧跟在第二帧图像FIMG12之后的帧图像。换而言之，在操作S210完成之后，窗口可以滑动或移位一帧，然后可以通过使用滑动窗口来执行操作S220。
类似地，在操作S230中，可以通过对第三帧图像FIMG13和第三帧图像FIMG13之后的具有第二曝光时间S的第四帧图像FIMG14进行合并来生成第二HDR图像HIMG13之后的第三HDR图像HIMG14。
此外，如图3所示，可以通过对第四帧图像FIMG14和第四帧图像FIMG14之后的具有第一曝光时间L的第五帧图像FIMG15进行合并来生成第三HDR图像HIMG14之后的第四HDR图像HIMG15。可以通过对第五帧图像FIMG15和第五帧图像FIMG15之后的具有第二曝光时间S的第六帧图像FIMG16进行合并来生成第四HDR图像HIMG15之后的第五HDR图像HIMG16。
如上所述，当通过基于滑动窗口方案对帧图像进行合并来生成HDR图像时，包括在输入图像中并在图像处理操作之前所接收的多个帧图像FIMG11、FIMG12、FIMG13、FIMG14、FIMG15和FIMG16的数目可以基本上等于包括在输出图像中并在图像处理操作之后获得的多个HDR图像HIMG11、HIMG12、HIMG13、HIMG14、HIMG15和HIMG16的数目。因此，可以在不损失帧速率或具有无损帧速率的情况下有效地生成HDR视频图像或HDR视频图像中包括的HDR图像。
图4是示出图2中的生成第一HDR图像的示例的流程图。图5A和图5B是用于描述图4中的生成第一HDR图像的操作的视图。
参考图2、图3、图4、图5A和图5B，在一些示例实施例中，生成第一HDR图像的操作S210可以包括操作S211、操作S213和操作S215。
在操作S211中，可以提取第一帧图像与第二帧图像之间的全局移动或全局运动。
例如，图5A示出了分别是图3中的第一帧图像FIMG11和第二帧图像FIMG12的示例的第一帧图像F1A和第二帧图像F2A。用阴影线示出图5A中的第一帧图像F1A，以指示曝光时间的差异。例如，用阴影线示出的第一帧图像F1A可以具有第一曝光时间L，并且没有用阴影线示出的第二帧图像F2A可以具有与第一曝光时间L不同的第二曝光时间S。
在图5A中，当与第一帧图像F1A比较时，第二帧图像F2A可以具有包括太阳、山脉和树木作为整体向右方向移位或移动的场景。图5A中的第二帧图像F2A中的虚线可以指示太阳、山脉和树木在第一帧图像F1A中的位置。可以通过对第一帧图像F1A和第二帧图像F2A进行比较和/或分析来提取第一帧图像F1A和第二帧图像F2A之间的全局移动GM。例如，可以以全局运动矢量的形式获得全局移动GM。
在操作S213中，可以基于提取的全局移动来移位第一帧图像。
例如，可以通过将图5A中的第一帧图像F1A向右方向移位来获得图5B中的移位后的第一帧图像F1A’。通过如上所述的移位操作，移位后的第一帧图像F1A’可以包括移位区域SA和虚拟区域VA。移位区域SA可以与第一帧图像F1A中的一部分基本相同。虚拟区域VA可以是实际上没有包括在第一帧图像F1A中的部分。例如，可以通过基于第一帧图像F1A执行图像内插等来获得虚拟区域VA。又例如，当虚拟区域VA的大小相对较小时，可以通过按原样复制第一帧图像F1A中的一部分来获得虚拟区域VA，或者虚拟区域VA可以是空的而没有任何图像处理。
在操作S215中，移位后的第一帧图像和第二帧图像可以彼此合并。
例如，可以通过对图5B中的移位后的第一帧图像F1A’和图5A中的第二帧图像F2A进行合并来获得第一HDR图像，因此可以减小(或者，防止)第一HDR图像的失真、恶化或劣化。
尽管图4、图5A和图5B示出了相对于第二帧图像来移位第一帧图像并且移位后的第一帧图像与第二帧图像彼此合并的示例(例如，将比第一帧图像晚输入的第二帧图像用作参考图像的示例)，但示例实施例不限于此。例如，可以相对于在第二帧图像之前输入的第一帧图像来移位第二帧图像，并且第一帧图像和移位后的第二帧图像可以彼此合并以生成第一HDR图像。当如上所述将在第二帧图像之前输入的第一帧图像用作参考图像时，可以考虑所提取的全局移动来执行图像合并操作，并且可以另外考虑与比第一帧图像晚输入的第二帧图像的输入相关联的帧延迟来执行图像合并操作。
图6是示出图2中的生成第一HDR图像的另一示例的流程图。图7A和图7B是用于描述图6中的生成第一HDR图像的操作的视图。
参考图2、图3、图6、图7A和图7B，在其他一些示例实施例中，生成第一HDR图像的操作S210可以包括操作S212、操作S214和操作S216。
在操作S212中，可以提取第一对象在第一帧图像与第二帧图像之间的局部移动或局部运动。第一对象可以是包括在第一帧图像和第二帧图像中的多个对象中的一个对象。
例如，图7A示出了分别是图3中的第一帧图像FIMG11和第二帧图像FIMG12的其他示例的第一帧图像F1B和第二帧图像F2B。如参考图5A所描述的，用阴影线示出了图7A中的第一帧图像F1B，以指示曝光时间的差异。
在图7A中，当与第一帧图像F1B比较时，第二帧图像F2B可以包括向右方向移动或移位的第一对象OBJ1。图7A中的第二帧图像F2B中的虚线可以指示第一对象OBJ1在第一帧图像F1B中的位置。图像的除了第一对象OBJ1之外的剩余部分(例如，背景)可以不被移位，或者即使被移位，也可以在第一帧图像F1B与第二帧图像F2B之间没有任何差异的基本相同地显示该剩余部分。可以通过对第一帧图像F1B和第二帧图像F2B进行比较和/或分析来提取第一对象OBJ1在第一帧图像F1B与第二帧图像F2B之间的局部移动LM。例如，可以以局部运动矢量的形式获得局部移动LM。
在操作S214中，可以基于提取的局部移动来移位第一帧图像中的第一对象。
例如，可以通过将图7A中的第一帧图像F1B中包括的第一对象OBJ1向右方向移位来获得图7B中的包括移位后的第一对象OBJ1’的移位后的第一帧图像F1B’。虽然未在图7B中示出，但如参考图5B所描述的，包括移位后的第一对象OBJ1’的移位后的第一帧图像F1B’，可以通过使第一对象OBJ1移位而包括虚拟区域。可以通过基于第一帧图像F1B执行图像内插而获得虚拟区域，可以通过按原样复制第一帧图像F1B的中一部分来获得虚拟区域，或者虚拟区域可以是空的而没有任何图像处理。
在操作S216中，移位后的第一帧图像(包括移位后的第一对象)和第二帧图像可以彼此合并。
例如，可以通过对图7B中的移位后的第一帧图像F1B’(包括移位后的第一对象OBJ1’)和图7A中的第二帧图像F2B进行合并来获得第一HDR图像，因此可以减小(或者，防止)第一HDR图像的失真、恶化或劣化。
尽管图6、图7A和图7B示出了第一帧图像和第二帧图像包括一个对象的示例，但示例实施例不限于此。例如，第一帧图像和第二帧图像可以包括两个或更多个对象。当第一帧图像和第二帧图像包括两个或更多个对象时，可以针对各个对象提取每个局部移动，第一帧图像中的每个对象可以基于相应的局部移动来移位，并且移位后的第一帧图像(包括移位后的对象)和第二帧图像可以彼此合并。
此外，尽管图6、图7A和图7B示出了相对于第二帧图像来移位第一帧图像中的第一对象并且移位后的第一帧图像(包括移位后的第一对象)与第二帧图像彼此合并的示例(例如，将比第一帧图像晚输入的第二帧图像用作参考图像的示例)，但示例实施例不限于此。例如，可以相对于在第二帧图像之前输入的第一帧图像来移位第二帧图像中的第一对象，并且第一帧图像与包括移位后的第一对象的移位后的第二帧图像可以彼此合并以生成第一HDR图像。
尽管参考图4、图5A和图5B描述了用于提取两个连续帧图像之间的全局移动并且基于全局移动执行图像合并操作的第一方案，并且尽管参考图6、图7A和图7B描述了用于提取对象在两个连续帧图像之间的局部移动并且基于局部移动执行图像合并操作的第二方案，但示例实施例不限于此。例如，可以同时使用第一方案和第二方案两者来执行图像合并操作。另外，可以另外使用用于合成帧图像的各种算法中的至少一种算法来执行图像合并操作。
尽管未在图4、图5A、图5B、图6、图7A和图7B中示出，但是生成除第一HDR图像之外的每个剩余HDR图像的操作可以与生成第一HDR图像的操作基本相同。例如，参考图4、图5A和图5B描述的第一方案可以用于执行图像合并操作，参考图6、图7A和图7B描述的第二方案可以用于执行图像合并操作，或者可以同时使用第一方案和第二方案两者来执行图像合并操作。
图8是示出根据示例实施例的图像处理装置的框图。
参考图8，图像处理装置100包括HDR处理器300。图像处理装置100可以进一步包括三自动化(3A)处理器200和图像信号处理器400。
HDR处理器300位于或设置在3A处理器200与图像信号处理器400之间，并且执行多帧处理操作。HDR处理器300接收曝光时间信息EINF，并执行根据示例实施例的图像处理方法。
在其他示例实施例中，如参考图1至图7B所描述的，并且如将参考图10和图11所描述的，HDR处理器300可以通过基于滑动窗口方案顺序地对具有不同曝光时间的多个帧图像FIMG进行合并来生成多个HDR图像HIMG。
在其他示例实施例中，如将参考图13至图15、图17和图18所描述的，HDR处理器300可以通过基于无限脉冲响应(IIR)方案顺序地对具有不同曝光时间的多个帧图像FIMG进行合并来生成多个HDR图像HIMG。
可以用至少两个帧缓冲器来实现HDR处理器300。将参考图9、图12和图16描述HDR处理器300的详细配置。
3A处理器200可以接收曝光时间信息EINF，并且可以对多个输入图像IIMG执行三自动化(3A)操作，以生成多个帧图像FIMG。所执行的自动对焦(或自动聚焦(AF))操作、自动白平衡(或自动白(色)平衡(AWB))操作和自动曝光(或自动暴光(AE))操作可以统称为执行3A操作。与多个帧图像FIMG一样，多个输入图像IIMG也可以具有不同的曝光时间。可以从诸如图像传感器的外部图像拾取装置(例如，图20中的图像拾取装置1050)和/或外部存储器件(例如，图20中的存储器件1030)提供多个输入图像IIMG。
3A处理器200和HDR处理器300可以共享曝光时间信息EINF，并且可以由3A处理器200和HDR处理器300基于曝光时间信息EINF来执行HDR增益补偿。
图像信号处理器400可以对多个HDR图像HIMG执行诸如图像内插、颜色校正、伽马校正或色彩转换等额外的图像处理，以生成多个输出图像OIMG。与多个HDR图像HIMG一样，多个输出图像OIMG中的每一个输出图像OIMG也可以是HDR图像。可以向诸如显示装置的外部用户接口(例如，图20中的用户接口1040)提供多个输出图像OIMG。
图像处理装置100可以包括诸如包括逻辑电路的硬件的处理电路、诸如执行软件的处理器的硬件/软件组合、或它们的组合。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编程门阵列(FPGA)、单片系统(SoC)、可编程逻辑单元、微处理器和专用集成电路(ASIC)等。
例如，在一些示例实施例中，图8中的3A处理器200、HDR处理器300和图像信号处理器400中的至少一部分可以被实现为硬件。例如，在基于计算机的电子系统中可以包括根据示例实施例的图像处理装置100中包括的元件中的至少一部分。
在其他示例实施例中，图8中的3A处理器200、HDR处理器300和图像信号处理器400中的至少一部分可以实现为指令代码或程序例程(例如，软件程序)。例如，指令代码或程序例程可以由基于计算机的电子系统执行，并且可以存储在位于基于计算机的电子系统内部或外部的任何存储装置中。
图9是示出根据示例实施例的图像处理装置中包括的HDR处理器的示例的框图。
参考图9，HDR处理器300a包括第一帧缓冲器310a、第二帧缓冲器320a和HDR处理单元350a。
第一帧缓冲器310a和第二帧缓冲器320a接收并存储多个帧图像FIMG。换而言之，第一帧缓冲器310a和第二帧缓冲器320a均可以用作输入缓冲器。
可以利用两个帧缓冲器310a和320a来实现图9中的HDR处理器300a，使得HDR处理器300a接收具有两个不同曝光时间L和S的多个帧图像FIMG，并将具有相同曝光时间的帧图像存储于相同的帧缓冲器中。例如，第一帧缓冲器310a可以顺序地接收和存储多个帧图像FIMG中具有第一曝光时间L的帧图像FIMG_L。第二帧缓冲器320a可以顺序地接收和存储多个帧图像FIMG中具有第二曝光时间S的帧图像FIMG_S。
HDR处理单元350a接收曝光时间信息EINF，并通过基于滑动窗口方案对具有不同曝光时间L和S的帧图像FIMG_L和帧图像FIMG_S进行合并来生成多个HDR图像HIMG。换而言之，HDR处理单元350a可以执行图1中的操作S200和图2中的操作S210、操作S220和操作S230。
将结合图3中的示例来详细地描述图9中的HDR处理器300a的操作。图3中的帧图像FIMG11、FIMG13和FIMG15可以对应于图9中的帧图像FIMG_L，并且图3中的帧图像FIMG12、FIMG14和FIMG16可以对应于图9中的帧图像FIMG_S。第一帧缓冲器310a可以接收帧图像FIMG11，并且HDR处理单元350a可以将帧图像FIMG11输出为HDR图像HIMG11而不执行任何图像处理。第二帧缓冲器320a可以接收帧图像FIMG12，并且HDR处理单元350a可以通过对帧图像FIMG11和帧图像FIMG12进行合并来生成HDR图像HIMG12。第一帧缓冲器310a可以接收帧图像FIMG13，可以从第一帧缓冲器310a删除或移除先前存储的帧图像FIMG11，并且HDR处理单元350a可以通过对帧图像FIMG12和FIMG13进行合并来生成HDR图像HIMG13。第二帧缓冲器320a可以接收帧图像FIMG14，可以从第二帧缓冲器320a删除或移除先前存储的帧图像FIMG12，并且HDR处理单元350a可以通过对帧图像FIMG13和帧图像FIMG14进行合并来生成HDR图像HIMG14。类似地，可以顺序地接收帧图像FIMG15和FIMG16，并且可以顺序地生成HDR图像HIMG15和HIMG16。
HDR处理单元350a可以包括运动提取器352a、图像移位器354a和图像混合器356a。例如，包括在图像处理装置100中的处理电路可以是执行运动提取器352a、图像移位器354a和图像混合器356a的操作的硬件，或者可以执行将所述处理电路转变为执行运动提取器352a、图像移位器354a和图像混合器356a的操作的专用处理器的软件。
例如，在一些示例实施例中，图9中的运动提取器352a、图像移位器354a和图像混合器356a中的至少一部分可以被实现为硬件。
在其他示例实施例中，图9中的运动提取器352a、图像移位器354a和图像混合器356a中的至少一部分可以被实现为指令代码或程序例程(例如，软件程序)。
运动提取器352a可以提取两个连续帧图像之间的全局移动和局部移动中的至少一者。图像移位器354a可以基于所提取的移动来使两个连续帧图像中的一个帧图像移位。图像混合器356a可以合并移位后的帧图像与未移位的帧图像以生成HDR图像。换而言之，运动提取器352a可以执行图4中的操作S211和图6中的操作S212中的至少一个操作，图像移位器354a可以执行图4中的操作S213和图6中的操作S214中的至少一个操作，并且图像混合器356a可以执行图4中的操作S215和图6中的操作S216中的至少一个操作。
图10是示出图1中的生成HDR图像的另一示例的流程图。图11是用于描述图10中的生成HDR图像的操作的视图。将省略与图2和图3的描述重复的描述。
图10和图11示出了窗口的大小和不同曝光时间的种数是三(例如，N＝3)的示例。在图11中，可以从图像传感器或存储器件等提供多个帧图像FIMG21、FIMG22、FIMG23、FIMG24、FIMG25、FIMG26、FIMG27、FIMG28、FIMG29……可以交替地重复具有第一曝光时间L的帧图像FIMG21、FIMG24和FIMG27、具有第二曝光时间M的帧图像FIMG22、FIMG25和FIMG28以及具有第三曝光时间S的帧图像FIMG23、FIMG26和FIMG29。
参考图1、图10和图11，如参考操作S100所描述的，可以将排列在多个帧图像FIMG21至FIMG29的首位的起始帧图像或第一帧图像FIMG21输出为多个HDR图像HIMG21、HIMG22、HIMG23、HIMG24、HIMG25、HIMG26、HIMG27、HIMG28、HIMG29……中的起始HDR图像，而不执行任何图像处理。
此外，可以通过对起始帧图像FIMG21与排在紧接起始帧图像FIMG21之后的第二起始帧图像或第二帧图像FIMG22进行合并来生成第二起始HDR图像HIMG22。如果输入帧图像的数目小于初始操作时的窗口的大小，则可以合并所有输入帧图像以生成HDR图像。可以以与参考图4至图7B描述的方式相同的方式执行针对第一帧图像FIMG21和第二帧图像FIMG22的图像合并操作。
在此之后，如参考操作S200所述，当生成多个HDR图像HIMG21、HIMG22、HIMG23、HIMG24、HIMG25、HIMG26、HIMG27、HIMG28和HIMG29中的除了起始HDR图像HIMG21和HIMG22之外的剩余HDR图像HIMG23、HIMG24、HIMG25、HIMG26、HIMG27、HIMG28和HIMG29时，可以通过使用大小为3的窗口的滑动窗口方案来顺序合并具有不同曝光时间L、M和S的三个连续帧图像。
例如，在操作S240中，可以通过对具有第一曝光时间L的第一帧图像FIMG21、具有第二曝光时间M的第二帧图像FIMG22和具有第三曝光时间S的第三帧图像FIMG23进行合并来生成第一HDR图像HIMG23。
第二帧图像FIMG22可以是第一帧图像FIMG21之后的帧图像，第三帧图像FIMG23可以是第二帧图像FIMG22之后的帧图像。例如，第一帧图像FIMG21、第二帧图像FIMG22和第三帧图像FIMG23可以是三个连续的帧图像。第一曝光时间L、第二曝光时间M和第三曝光时间S可以彼此不同。例如，第二曝光时间M可以短于第一曝光时间L，并且可以长于第三曝光时间S。
可以以参考图4至图7B描述的方式类似的方式执行用于三个连续帧图像的图像合并操作。例如，三个连续帧图像中的最后帧图像(例如，第三帧图像FIMG23)可以用作参考图像，可以相对于最后帧图像移位剩余的两个帧图像(例如，第一帧图像FIMG21和第二帧图像FIMG22)，然后可以执行图像合并操作。又例如，三个连续帧图像中的中间帧图像(例如，第二帧图像FIMG22)可以用作参考图像，可以相对于中间帧图像移位剩余的两个帧图像(例如，第一帧图像FIMG21和第三帧图像FIMG23)，然后可以执行图像合并操作。或者，三个连续帧图像中的前部帧图像(例如，第一帧图像FIMG21)可以用作参考图像，可以相对于前部帧图像移位剩余的两个帧图像(例如，第二帧图像FIMG22和第三帧图像FIMG23)，然后可以执行图像合并操作。
在操作S250中，可以通过对第二帧图像FIMG22、第三帧图像FIMG23和具有第一曝光时间L的第四帧图像FIMG24进行合并来生成第二HDR图像HIMG24。第二HDR图像HIMG24可以是在第一HDR图像HIMG23之后的HDR图像，并且第四帧图像FIMG24可以是在第三帧图像FIMG23之后的帧图像。换而言之，在操作S240完成之后，窗口可以滑动或移位一帧，然后可以利用滑动后的窗口来执行操作S250。
类似地，在操作S260中，可以通过对第三帧图像FIMG23、第四帧图像FIMG24和第四帧图像FIMG24之后的具有第二曝光时间M的第五帧图像FIMG25进行合并来生成第二HDR图像HIMG24之后的第三HDR图像HIMG25。
在操作S270中，可以通过对第四帧图像FIMG24、第五帧图像FIMG25和第五帧图像FIMG25之后的具有第三曝光时间S的第六帧图像FIMG26进行合并来生成第三HDR图像HIMG25之后的第四HDR图像HIMG26。
此外，如图11所示，可以通过对第五帧图像FIMG25、第六帧图像FIMG26和第六帧图像FIMG26之后的具有第一曝光时间L的第七帧图像FIMG27进行合并来生成第四HDR图像HIMG26之后的第五HDR图像HIMG27。可以通过对第六帧图像FIMG26、第七帧图像FIMG27和第七帧图像FIMG27之后的具有第二曝光时间M的第八帧图像FIMG28进行合并来生成第五HDR图像HIMG27之后的第六HDR图像HIMG28。可以通过对第七帧图像FIMG27、第八帧图像FIMG28和第八帧图像FIMG28之后的具有第三曝光时间S的第九帧图像FIMG29来生成第六HDR图像HIMG28之后的第七HDR图像HIMG29。
图12是示出根据示例实施例的包括在图像处理装置中的HDR处理器的另一示例的框图。将省略与图9的描述重复的描述。
参考图12，HDR处理器300b包括第一帧缓冲器310b、第二帧缓冲器320b、第三帧缓冲器330b和HDR处理单元350b。
第一帧缓冲器310b、第二帧缓冲器320b和第三帧缓冲器330b接收并存储多个帧图像FIMG。第一帧缓冲器310b、第二帧缓冲器320b和第三帧缓冲器330b均可以用作输入缓冲器。
可以利用三个帧缓冲器310b、320b和330b来实现图12中的HDR处理器300b，使得HDR处理器300b接收具有三个不同曝光时间L、M和S的多个帧图像FIMG，并将具有相同曝光时间的帧图像存储于相同的帧缓冲器中。例如，第一帧缓冲器310b可以顺序地接收和存储多个帧图像FIMG中具有第一曝光时间L的帧图像FIMG_L。第二帧缓冲器320b可以顺序地接收和存储多个帧图像FIMG中具有第二曝光时间M的帧图像FIMG_M。第三帧缓冲器330b可以顺序地接收和存储多个帧图像FIMG中具有第三曝光时间S的帧图像FIMG_S。
HDR处理单元350b接收曝光时间信息EINF，并通过基于滑动窗口方案对具有不同曝光时间L、M和S的帧图像FIMG_L、FIMG_M和FIMG_S进行合并来生成多个HDR图像HIMG。换而言之，HDR处理单元350b可以执行图1中的操作S200和图10中的操作S240、操作S250、操作S260和操作S270。
将结合图11中的示例来详细地描述图12中的HDR处理器300b的操作。图11中的帧图像FIMG21、FIMG24和FIMG27可以对应于图12中的帧图像FIMG_L，图11中的帧图像FIMG22、FIMG25和FIMG28可以对应于图12中的帧图像FIMG_M，以及图11中的帧图像FIMG23、FIMG26和FIMG29可以对应于图12中的帧图像FIMG_S。第一帧缓冲器310b可以接收帧图像FIMG21，并且HDR处理单元350b可以将帧图像FIMG21输出为HDR图像HIMG21而不执行任何图像处理。第二帧缓冲器320b可以接收帧图像FIMG22，并且HDR处理单元350b可以通过对帧图像FIMG21和帧图像FIMG22进行合并来生成HDR图像HIMG22。第三帧缓冲器330b可以接收帧图像FIMG23，并且HDR处理单元350b可以通过对帧图像FIMG21、FIMG22和FIMG23进行合并来生成HDR图像HIMG23。第一帧缓冲器310b可以接收帧图像FIMG24，先前存储的帧图像FIMG21可以从第一帧缓冲器310b中被删除或移除，并且HDR处理单元350b可以通过对帧图像FIMG22、FIMG23和FIMG24进行合并来生成HDR图像HIMG24。类似地，可以顺序地接收帧图像FIMG25、FIMG26、FIMG27、FIMG28和FIMG29，并且可以顺序地生成HDR图像HIMG25、HIMG26、HIMG27、HIMG28和HIMG29。
HDR处理单元350b可以包括运动提取器352b、图像移位器354b和图像混合器356b。图12中的运动提取器352b、图像移位器354b和图像混合器356b可以顺序地分别与图9中的运动提取器352a、图像移位器354a和图像混合器356a基本相同。
在一些示例实施例中，如参考图9和图12所述，包括在基于滑动窗口方案操作的图像处理装置中的(例如，包括在根据示例实施例的HDR处理器中的)帧缓冲器的数目可以基本上等于包括在多个帧图像FIMG中的曝光时间的种数，并且可以随着曝光时间的种数的增加而增加。例如，如图9所示，当多个帧图像FIMG具有两种不同的曝光时间L和S时，HDR处理器300a可以包括两个帧缓冲器310a和320a。如图12所示，当多个帧图像FIMG具有三种不同的曝光时间L、M和S时，HDR处理器300b可以包括三个帧缓冲器310b、320b和330b。
在参考图1至图12描述的图像处理方法和图像处理装置中，可以基于滑动窗口方案为所有帧图像生成HDR图像，而不受所使用的帧的数目的影响，因此，可以在不损失帧速率的情况下有效地生成HDR视频图像或包括在HDR视频图像中的HDR图像。如果对帧延迟或计算力(例如，记录操作)没有限制，则可能有如下优势：可以没有限制地使用输入帧来生成改进的或增强的HDR视频图像。
图13是示出根据示例实施例的图像处理方法的流程图。将省略与图1的描述重复的描述。
参考图13，对包括多个帧图像的视频图像执行或实施根据示例实施例的图像处理方法。换而言之，待处理的图像是包括多个帧图像的视频图像。具体地，根据示例实施例的图像处理方法可以通过基于多个帧图像生成多个HDR图像，来获得或获取HDR视频图像，而不损失帧速率。
在根据示例实施例的图像处理方法中，在操作S1100中，将起始帧图像输出为起始HDR图像，而不执行任何图像处理、组合或合成。起始帧图像包括在多个帧图像中，并且排列在多个帧图像的首位。起始HDR图像包括在多个HDR图像中，并且排列在多个HDR图像的首位。图13中的操作S1100可以与图1中的操作S100基本相同。
在操作S1200中，通过基于递归无限脉冲响应(IIR)方案合并多个帧图像中的连续帧图像来生成每个HDR图像。待合并的连续帧图像具有不同的曝光时间。
IIR方案具有适用于许多线性时不变系统的特性。线性时不变系统的常见示例是大多数电子滤波器和数字滤波器。具有这种特性的系统被称为IIR系统或IIR滤波器，并且其特征在于具有在某个点之后不会完全为零而是无限期地持续的脉冲响应。这与脉冲响应在有限持续时间之后完全变为零的有限脉冲响应(FIR)形成对比。在IIR方案中，利用先前输出的结果来从当前输入生成当前输出。类似地，在根据示例实施例的图像处理方法中，可以应用或采用IIR方案来生成HDR图像。例如，可以使用先前生成并输出的HDR图像和当前输入的帧图像来生成当前或目前的HDR图像。将参考图14至图18描述基于IIR方案的图像处理操作和用于执行图像处理操作的图像处理装置的配置。
图14是示出图13中的生成HDR图像的示例的流程图。图15是用于描述图14中的生成HDR图像的操作的视图。
图14和图15示出了不同曝光时间的种数是二的示例。在图15中，可以从图像传感器或存储器件等提供包括在视频图像(例如，输入图像)中的多个帧图像FIMG31、FIMG32、FIMG33、FIMG34、FIMG35、FIMG36……可以交替地重复具有第一曝光时间L的帧图像FIMG31、FIMG33和FIMG35以及具有第二曝光时间S的帧图像FIMG32、FIMG34和FIMG36。
参考图13、图14和图15，如参考操作S1100所描述的，可以将排列在多个帧图像FIMG31、FIMG32、FIMG33、FIMG34、FIMG35和FIMG36的首位的起始帧图像或第一帧图像FIMG31输出为包括在HDR视频图像(例如，输出图像)中的多个HDR图像HIMG31、HIMG32、HIMG33、HIMG34、HIMG35、HIMG36……中的起始HDR图像HIMG31，而不执行任何图像处理。
在此之后，如参考操作S1200所描述的，当生成多个HDR图像HIMG31、HIMG32、HIMG33、HIMG34、HIMG35和HIMG36中的除了起始HDR图像HIMG31之外的剩余HDR图像HIMG32、HIMG33、HIMG34、HIMG35和HIMG36时，可以利用IIR方案通过对先前生成并输出的HDR图像和当前输入的帧图像进行合并来生成作为当前输出的HDR图像。
在操作S1210中，可以通过对起始HDR图像HIMG31和第二帧图像FIMG32进行合并来生成第一HDR图像HIMG32。由于起始HDR图像HIMG31和起始帧图像FIMG31彼此基本相同，因此可以将上述操作解释为通过对具有第一曝光时间L的第一帧图像FIMG31和具有第二曝光时间S的第二帧图像FIMG32进行合并来生成第一HDR图像HIMG32。可以以与参考图4至图7B描述的方式相同的方式执行对第一帧图像FIMG31和第二帧图像FIMG32的图像合并操作。
在操作S1220中，可以通过对第一HDR图像HIMG32和具有第一曝光时间L的第三帧图像FIMG33进行合并来生成第二HDR图像HIMG33。第二HDR图像HIMG33可以是在第一HDR图像HIMG32之后的HDR图像，并且第三帧图像FIMG33可以是在第二帧图像FIMG32之后的帧图像。
可以以参考图4至图7B描述的方式类似的方式执行对第一HDR图像HIMG32和第三帧图像FIMG33的图像合并操作。例如，与参考图4描述的第一方案一样，可以提取第一HDR图像HIMG32与第三帧图像FIMG33之间的全局移动，可以基于全局移动来移位第一HDR图像HIMG32，并且移位后的第一HDR图像HIMG32和第三帧图像FIMG33可以彼此合并。再例如，与参考图6描述的第二方案一样，可以提取第一对象在第一HDR图像HIMG32与第三帧图像FIMG33之间的局部移动，可以基于局部移动来移位第一HDR图像HIMG32中的第一对象，并且包括移位后的第一对象的移位后的第一HDR图像HIMG32和第三帧图像FIMG33可以彼此合并。在一些示例实施例中，除了第三帧图像FIMG33之外的第一HDR图像HIMG32可以用作参考图像。
类似地，在操作S1230中，可以通过对第二HDR图像HIMG33与第三帧图像FIMG33之后的具有第二曝光时间S的第四帧图像FIMG34进行结合来生成第二HDR图像HIMG33之后的第三HDR图像HIMG34。此外，如图15所示，可以通过对第三HDR图像HIMG34和第四帧图像FIMG34之后的具有第一曝光时间L的第五帧图像FIMG35进行合并来生成第三HDR图像HIMG34之后的第四HDR图像HIMG35。可以通过对第四HDR图像HIMG35和第五帧图像FIMG35之后的具有第二曝光时间S的第六帧图像FIMG36进行合并来生成第四HDR图像HIMG35之后的第五HDR图像HIMG36。
如上所述，当通过基于IIR方案合并帧图像来生成HDR图像时，包括在输入图像中的在图像处理操作之前所接收的多个帧图像FIMG31、FIMG32、FIMG33、FIMG34、FIMG35和FIMG36的数目可以基本上等于包括在输出图像中的在图像处理操作之后获得的多个HDR图像HIMG31、HIMG32、HIMG33、HIMG34、HIMG35和HIMG36的数目。因此，可以在不损失帧速率的情况下有效地生成HDR视频图像或包括在HDR视频图像中的HDR图像。
图16是示出根据示例实施例的图像处理装置中包括的HDR处理器的又一示例的框图。将省略与图9和图12的描述重复的描述。
参考图16，HDR处理器300c包括第一帧缓冲器310c、HDR处理单元350c和第二帧缓冲器360c。
第一帧缓冲器310c接收并存储多个帧图像FIMG。第一帧缓冲器310c可以用作输入缓冲器。在基于IIR方案操作的HDR处理器300c中，无论多个帧图像FIMG中包括的曝光时间的种数如何，用作输入缓冲器的帧缓冲器(例如，第一帧缓冲器310c)的数目可以固定为一个。
HDR处理单元350c接收曝光时间信息EINF，并通过基于IIR方案对具有不同曝光时间的多个帧图像FIMG进行合并来生成多个HDR图像HIMG。例如，HDR处理单元350c可以执行图13中的操作S1200和图14中的操作S1210、操作S1220和操作S1230。又例如，HDR处理单元350c可以执行图13中的操作S1200和图17中的操作S1240、操作S1250、操作S1260、操作S1270和操作S1280。
在一些示例实施例中，可以用IIR滤波器实现HDR处理单元350c。当基于IIR方案合并多个帧图像FIMG时，可以基于多个帧图像FIMG的曝光时间(例如，基于曝光时间信息EINF)来改变IIR滤波器的滤波器系数。
第二帧缓冲器360c接收并存储多个HDR图像HIMG。第二帧缓冲器360c可以用作用于顺序地存储多个HDR图像HIMG的累积缓冲器。在基于IIR方案操作的HDR处理器300c中，无论多个帧图像FIMG中包括的曝光时间的种数如何，用作积累缓冲器的帧缓冲器(例如，第二帧缓冲器360c)的数目可以固定为一个。
如上所述，在基于IIR方案操作的HDR处理器300c中的输入缓冲器的数目和累积缓冲器的数目总是固定的，因此无论在多个帧图像FIMG中包括的曝光时间的种数如何，HDR处理器300c中包括的帧缓冲器的总数目可以固定为2。
将结合图15中的示例来详细地描述图16中的HDR处理器300c的操作。
第一帧缓冲器310c可以接收帧图像FIMG31，HDR处理单元350c可以将帧图像FIMG31输出为HDR图像HIMG31，而不执行任何图像处理，并且第二帧缓冲器360c可以接收HDR图像HIMG31。第一帧缓冲器310c可以接收帧图像FIMG32，先前存储的帧图像FIMG31可以从第一帧缓冲器310c被删除或移除，HDR处理单元350c可以通过对HDR图像HIMG31(例如，帧图像FIMG31)和帧图像FIMG32进行合并来生成HDR图像HIMG32，第二帧缓冲器360c可以接收HDR图像HIMG32，并且先前存储的HDR图像HIMG31可以从第二帧缓冲器360c被删除或移除。类似地，可以顺序地接收帧图像FIMG33、FIMG34、FIMG35和FIMG36，并且可以顺序地生成HDR图像HIMG33、HIMG34、HIMG35和HIMG36。
HDR处理单元350c可以包括运动提取器352c、图像移位器354c和图像混合器356c。图16中的运动提取器352c、图像移位器354c和图像混合器356c可以顺序地分别与图9中的运动提取器352a、图像移位器354a和图像混合器356a基本相同。
图17是示出图13中的生成HDR图像的另一示例的流程图。图18是用于描述图17中的生成HDR图像的操作的视图。将省略与图14和图15的描述重复的描述。
图17和图18示出了不同曝光时间的种数是三的示例。在图18中，可以从图像传感器或存储器件等提供多个帧图像FIMG41、FIMG42、FIMG43、FIMG44、FIMG45、FIMG46……可以交替地重复具有第一曝光时间L的帧图像FIMG41和FIMG44、具有第二曝光时间M的帧图像FIMG42和FIMG45以及具有第三曝光时间S的帧图像FIMG43和FIMG46。
参考图13、图17和图18，如参考操作S1100所述，可以将排列在多个帧图像FIMG41至FIMG46的首位的起始帧图像或第一帧图像FIMG41输出为多个HDR图像HIMG41、HIMG42、HIMG43、HIMG44、HIMG45、HIMG46……中的起始HDR图像HIMG41，而不执行任何图像处理。
在此之后，如参考操作S1200所描述的，当生成多个HDR图像HIMG41、HIMG42、HIMG43、HIMG44、HIM45和HIMG46中的除了起始HDR图像HIMG41之外的剩余HDR图像HIMG42、HIMG43、HIMG44、HIM45和HIMG46时，可以利用IIR方案通过对先前生成和输出的HDR图像与当前输入的帧图像进行合并来生成作为当前输出的HDR图像。
例如，在操作S1240中，可以通过对具有第一曝光时间L的第一帧图像FIMG41与具有第二曝光时间M的第二帧图像FIMG42进行合并来生成第一HDR图像HIMG42。图17中的操作S1240可以与图14中的操作S1210基本相同。
在操作S1250中，可以通过对第一HDR图像HIMG42与第二帧图像FIMG42之后的具有第三曝光时间S的第三帧图像FIMG43进行合并来生成第一HDR图像HIMG42之后的第二HDR图像HIMG43。
类似地，在操作S1260中，可以通过对第二HDR图像HIMG43与第三帧图像FIMG43之后的具有第一曝光时间L的第四帧图像FIMG44进行合并来生成第二HDR图像HIMG43之后的第三HDR图像HIMG44。
在操作S1270中，可以通过对第三HDR图像HIMG44与第四帧图像FIMG44之后的具有第二曝光时间M的第五帧图像FIMG45进行合并来生成第三HDR图像HIMG44之后的第四HDR图像HIMG45。
在操作S1280中，可以通过对第四HDR图像HIMG45与第五帧图像FIMG45之后的具有第三曝光时间S的第六帧图像FIMG46进行合并来生成第四HDR图像HIMG45之后的第五HDR图像HIMG46。
如上所述，当通过基于IIR方案合并帧图像来生成HDR图像时，无论包括在多个帧图像中的曝光时间的种数如何，图像处理操作所需的帧缓冲器的数目可以固定为常数。因此，参考图17和图18描述的方法也可以由图16中的HDR处理器300c执行。
在参考图13至图18描述的图像处理方法和图像处理装置中，可以基于IIR方案针对所有帧图像生成HDR图像，因此，可以在不损失帧速率的情况下有效地生成HDR视频图像或包括在HDR视频图像中的HDR图像。在IIR方案中，可以仅使用当前输入帧和紧接着当前输入帧之前输出的HDR帧来实现视频HDR，并且可以基于输入帧的曝光时间来改变IIR滤波器系数。与滑动窗口方案相比，在IIR方案中可以仅使用两个帧缓冲器，因此可能有更快地实现视频HDR而没有帧延迟的额外优点。
尽管参考图1至图18基于作为输入图像的多个帧图像具有特定种数的曝光时间以及特定的曝光时间的模式的示例描述了示例实施例，但是示例实施例不限于此。例如，多个帧图像可以具有四个或更多个曝光时间，并且可以改变多个帧图像中包括的曝光时间的模式。
图19是示出根据示例实施例的图像处理装置的框图。将省略与图8的描述重复的描述。
参考图19，图像处理装置100a包括第一HDR处理器301和第二HDR处理器303。图像处理装置100a还可以包括3A处理器200、图像信号处理器400、第一开关250和第二开关450。
除了图像处理装置100a包括两个HDR处理器301和303并且还包括两个开关250和450之外，图19中的图像处理装置100a可以与图8中的图像处理装置100基本相同。
第一HDR处理器301可以基于参考图1至图7B、图10和图11描述的滑动窗口方案进行操作。例如，第一HDR处理器301可以是图9的HDR处理器300a或图12的HDR处理器300b。第二HDR处理器303可以基于参考图13至图15、图17和图18描述的IIR方案进行操作。例如，第二HDR处理器303可以是图16的HDR处理器300c。
第一开关250和第二开关450可以基于模式信号MS选择第一HDR处理器301和第二HDR处理器303中的一个。例如，当模式信号MS具有第一逻辑电平(例如，逻辑低电平)时，第一开关250和第二开关450可以连接到第一HDR处理器301，图像处理装置100a可以基于滑动窗口方案生成多个HDR图像HIMG。当模式信号MS具有第二逻辑电平(例如，逻辑高电平)时，第一开关250和第二开关450可以连接到第二HDR处理器303，图像处理装置100a可以基于IIR方案生成多个HDR图像HIMG。
如将由本领域技术人员所理解的，本发明构思的示例实施例可以被实现为系统、方法、计算机程序产品和/或在其上实现有计算机可读程序代码的一个或更多个计算机可读介质中实现的计算机程序产品。计算机可读程序代码可以被提供给通用计算机的处理器、专用计算机或其他可编程数据处理设备。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是任何有形介质，有形介质可以包含或存储由指令执行系统、设备或装置使用的程序或与指令执行系统、设备或装置关联使用的程序。例如，计算机可读介质可以是非暂时性计算机可读介质。
图20是示出根据示例实施例的电子系统的框图。
参考图20，电子系统1000包括处理器1010、连接(connectivity)1020、存储器件1030、用户接口1040、图像拾取装置1050和图像处理装置1060。尽管未在图20中示出，但是电子系统1000还可以包括电源。
处理器1010可以执行各种计算性功能，例如特定计算和任务。连接1020可以与外部设备通信。存储器件1030可以用作用于存储由处理器1010处理的数据的数据存储器(data storage)或工作存储器(working memory)。用户接口1040可以包括诸如小键盘、按钮、麦克风和触摸屏等的至少一个输入装置，和/或诸如扬声器或显示装置等的至少一个输出装置。电源可以向电子系统1000提供电力。
图像拾取装置1050和图像处理装置1060由处理器1010控制。图像拾取装置1050生成具有不同曝光时间的多个帧图像。例如，图像拾取装置1050可以包括互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器等。可以将多个帧图像直接提供给图像处理装置1060，或者可以将多个帧图像存储在存储器件1030中并提供给图像处理装置1060。图像处理装置1060可以是图8中的图像处理装置100和图19中的图像处理装置100a中的一个，并且可以根据参考图1至图19描述的示例实施例进行操作。在一些示例实施例中，图像处理装置1060可以被包括在处理器1010中。
本发明构思的示例实施例可以应用于包括图像处理装置和系统的各种电子设备和系统。例如，本发明构思的示例实施例可以应用于诸如移动电话机、智能手机、平板电脑、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、数码相机、便携式游戏机、音乐播放器、便携式摄像机、视频播放器、导航设备、可穿戴设备、物联网(IoT)设备、互联网(IoE)设备、电子书阅读器、虚拟现实(VR)设备、增强现实(AR)设备和机器人设备之类的系统。
前述内容是对示例实施例的说明，而不应被解释为对其进行限制。尽管已经描述了若干实施例，但本领域的技术人员将容易理解，在实质上不脱离示例实施例的新颖教导和优点的情况下，可在示例实施例中进行许多修改。因此，所有这类修改意在被包括在如权利要求书限定的示例实施例的范围内。因此，应当理解的是，前述内容是对各种示例实施例的说明并且将不被解释为限于所公开的特定示例实施例，并且所公开的示例实施例的修改以及其它示例实施例意在被包括在所附权利要求书的范围内。

Claims (20)

1.一种用于处理包括多个帧图像的视频图像的方法，所述方法包括：
基于所述多个帧图像中的第一帧图像和第二帧图像生成第一高动态范围图像，在所述多个帧图像中所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第一帧图像具有第一曝光时间，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及
基于所述第二帧图像和所述多个帧图像中的第三帧图像生成第二高动态范围图像，在所述多个帧图像中所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间。
2.根据权利要求1所述的方法，其中，在所述处理之前接收到的所述多个帧图像的数目等于在所述处理之后获得的多个高动态范围图像的数目，所述第一高动态范围图像和所述第二高动态范围图像包括在所述多个高动态范围图像中。
3.根据权利要求1所述的方法，所述方法还包括：
基于所述第三帧图像和所述多个帧图像中的第四帧图像生成第三高动态范围图像，在所述多个帧图像中所述第四帧图像在时间上紧跟在所述第三帧图像之后，所述第四帧图像具有所述第二曝光时间。
4.根据权利要求1所述的方法，所述方法还包括：
将起始帧图像输出为起始高动态范围图像而不对所述起始帧图像执行任何图像处理，所述起始帧图像位于所述多个帧图像的首位。
5.根据权利要求1所述的方法，其中，所述的生成所述第一高动态范围图像包括：
提取所述第一帧图像与所述第二帧图像之间的全局移动；
基于所述全局移动来移位所述第一帧图像，以生成移位后的第一帧图像；以及
合并所述移位后的第一帧图像和所述第二帧图像。
6.根据权利要求1所述的方法，其中，所述的生成所述第一高动态范围图像包括：
提取第一对象在所述第一帧图像与所述第二帧图像之间的局部移动，所述第一对象包括在所述第一帧图像和所述第二帧图像两者中；
基于所述局部移动来移位所述第一帧图像中的所述第一对象，以生成移位后的第一对象；以及
合并包括所述移位后的第一对象的所述第一帧图像和所述第二帧图像。
7.根据权利要求1所述的方法，其中，
所述的生成所述第一高动态范围图像包括：基于所述第一帧图像、所述第二帧图像和所述多个帧图像中的位于所述第二帧图像与所述第三帧图像之间的第四帧图像来生成所述第一高动态范围图像，所述第四帧图像具有与所述第一曝光时间和所述第二曝光时间不同的第三曝光时间；以及
所述的生成所述第二高动态范围图像包括：基于所述第二帧图像、所述第三帧图像和所述第四帧图像生成所述第二高动态范围图像。
8.根据权利要求7所述的方法，所述方法还包括：
基于所述第三帧图像、所述第四帧图像和所述多个帧图像中的第五帧图像生成第三高动态范围图像，在所述多个帧图像中所述第五帧图像在时间上紧跟在所述第三帧图像之后，所述第五帧图像具有所述第二曝光时间。
9.根据权利要求7所述的方法，所述方法还包括：
将所述多个帧图像中的起始帧图像输出为起始高动态范围图像而不执行任何图像处理，所述起始帧图像位于所述多个帧图像的首位；以及
通过对所述起始帧图像和所述多个帧图像中的紧接在所述起始帧图像之后的第二起始帧图像进行合并来生成第二起始高动态范围图像。
10.一种用于处理包括多个帧图像的视频图像的装置，所述多个帧图像包括第一帧图像、第二帧图像和第三帧图像，所述装置包括：
第一帧缓冲器，所述第一帧缓冲器被配置为：
接收所述第一帧图像，所述第一帧图像具有第一曝光时间；以及
接收所述第三帧图像，在所述多个帧图像中所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间；
第二帧缓冲器，所述第二帧缓冲器被配置为接收所述第二帧图像，在所述多个帧图像中所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及
高动态范围处理器，所述高动态范围处理器被配置为：
基于所述第一帧图像和所述第二帧图像生成第一高动态范围图像，以及
基于所述第二帧图像和所述第三帧图像生成第二高动态范围图像。
11.根据权利要求10所述的装置，所述装置还包括：
第三帧缓冲器，所述第三帧缓冲器被配置为接收所述多个帧图像中的位于所述第二帧图像与所述第三帧图像之间的第四帧图像，所述第四帧图像具有与所述第一曝光时间和所述第二曝光时间不同的第三曝光时间；其中
所述高动态范围处理器进一步被配置为
通过合并所述第一帧图像、所述第二帧图像和所述第四帧图像来生成所述第一高动态范围图像，以及
通过合并所述第二帧图像、所述第三帧图像和所述第四帧图像来生成所述第二高动态范围图像。
12.根据权利要求10所述的装置，其中，所述装置中包括的帧缓冲器数目等于所述多个帧图像中包括的曝光时间的种数。
13.一种处理包括多个帧图像的视频图像的方法，所述方法包括：
基于所述多个帧图像中的第一帧图像和第二帧图像生成第一高动态范围图像，所述第二帧图像在时间上紧跟在所述第一帧图像之后，所述第一帧图像具有第一曝光时间，所述第二帧图像具有与所述第一曝光时间不同的第二曝光时间；以及
基于所述第一高动态范围图像和所述多个帧图像中的第三帧图像生成第二高动态范围图像，所述第三帧图像在时间上紧跟在所述第二帧图像之后，所述第三帧图像具有所述第一曝光时间。
14.根据权利要求13所述的方法，其中，在所述处理之前接收到的所述多个帧图像的数目等于在所述处理之后获得的多个高动态范围图像的数目，所述第一高动态范围图像和所述第二高动态范围图像包括在所述多个高动态范围图像中。
15.根据权利要求13所述的方法，所述方法还包括：
基于所述第二高动态范围图像和所述多个帧图像中的第四帧图像生成第三高动态范围图像，所述第四帧图像在时间上紧跟在所述第三帧图像之后，所述第四帧图像具有所述第二曝光时间。
16.根据权利要求13所述的方法，所述方法还包括：
将起始帧图像输出为起始高动态范围图像而不对所述起始帧图像执行任何图像处理，所述起始帧图像位于所述多个帧图像的首位。
17.根据权利要求13所述的方法，其中，所述的生成所述第二高动态范围图像包括：
提取所述第一高动态范围图像与所述第三帧图像之间的全局移动；
基于所述全局移动来移位所述第一高动态范围图像以生成移位后的第一高动态范围图像；以及
合并所述移位后的第一高动态范围图像和所述第三帧图像。
18.根据权利要求13所述的方法，其中，所述的生成所述第二高动态范围图像包括：
提取第一对象在所述第一高动态范围图像与所述第三帧图像之间的局部移动，所述第一对象包括在所述第一高动态范围图像和所述第三帧图像两者中；
基于所述局部移动来移位所述第一高动态范围图像中的所述第一对象以生成移位后的第一对象；以及
合并包括所述移位后的第一对象的所述第一高动态范围图像和所述第三帧图像。
19.根据权利要求13所述的方法，所述方法还包括：
基于所述第一高动态范围图像以及所述多个帧图像中的位于所述第二帧图像与所述第三帧图像之间的第四帧图像来生成第三高动态范围图像，所述第四帧图像具有与所述第一曝光时间和所述第二曝光时间不同的第三曝光时间；其中
生成所述第二高动态范围图像包括：基于所述第三高动态范围图像和所述第三帧图像生成所述第二高动态范围图像。
20.根据权利要求13所述的方法，所述方法还包括：
基于所述第二高动态范围图像和所述多个帧图像中的第五帧图像生成第四高动态范围图像，在所述多个帧图像中所述第五帧图像在时间上紧跟在所述第三帧图像之后，所述第五帧图像具有所述第二曝光时间。
CN201911073478.6A 2019-01-07 2019-11-05 用于处理图像的方法和装置 Pending CN111416945A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190001728A KR102628911B1 (ko) 2019-01-07 2019-01-07 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR10-2019-0001728 2019-01-07

Publications (1)

Publication Number Publication Date
CN111416945A true CN111416945A (zh) 2020-07-14

Family

ID=71403663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911073478.6A Pending CN111416945A (zh) 2019-01-07 2019-11-05 用于处理图像的方法和装置

Country Status (3)

Country Link
US (1) US11182887B2 (zh)
KR (1) KR102628911B1 (zh)
CN (1) CN111416945A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台
CN115842962A (zh) * 2021-09-17 2023-03-24 荣耀终端有限公司 Hdr图像处理方法及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
KR20220126084A (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 전자 장치의 촬영 방법 및 그 전자 장치
US11847737B2 (en) * 2021-04-09 2023-12-19 Nvidia Corporation Temporal denoiser quality in dynamic scenes
US20220414847A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated High dynamic range image processing

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046857A (ja) * 2001-07-27 2003-02-14 Nippon Telegr & Teleph Corp <Ntt> 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103581556A (zh) * 2012-08-10 2014-02-12 索尼公司 摄像装置、图像信号处理方法和程序
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017113048A1 (zh) * 2015-12-28 2017-07-06 华为技术有限公司 一种图像融合方法、装置及终端设备
CN107465882A (zh) * 2017-09-22 2017-12-12 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040130649A1 (en) * 2003-01-03 2004-07-08 Chulhee Lee Cameras
JP2006148825A (ja) * 2004-11-25 2006-06-08 Matsushita Electric Ind Co Ltd デジタル放送受信装置
JP2011254125A (ja) 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
KR101903748B1 (ko) * 2011-10-07 2018-10-04 삼성디스플레이 주식회사 표시 장치
JP5365823B2 (ja) * 2011-10-14 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US9131172B2 (en) 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
JP2015204489A (ja) * 2014-04-11 2015-11-16 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
EP3573020B1 (en) * 2015-04-30 2020-11-11 FotoNation Limited A method and apparatus for producing a video stream
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
US9544506B1 (en) * 2015-08-26 2017-01-10 Novatek Microelectronics Corp. Image processing method for image capturing device
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP2018042089A (ja) 2016-09-07 2018-03-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR20180067052A (ko) * 2016-12-12 2018-06-20 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
WO2018190649A1 (en) 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
US20200211166A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Methods and apparatus for motion compensation in high dynamic range processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046857A (ja) * 2001-07-27 2003-02-14 Nippon Telegr & Teleph Corp <Ntt> 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103581556A (zh) * 2012-08-10 2014-02-12 索尼公司 摄像装置、图像信号处理方法和程序
WO2017113048A1 (zh) * 2015-12-28 2017-07-06 华为技术有限公司 一种图像融合方法、装置及终端设备
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107465882A (zh) * 2017-09-22 2017-12-12 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台
CN115842962A (zh) * 2021-09-17 2023-03-24 荣耀终端有限公司 Hdr图像处理方法及电子设备

Also Published As

Publication number Publication date
KR20200085523A (ko) 2020-07-15
US11182887B2 (en) 2021-11-23
US20200219240A1 (en) 2020-07-09
KR102628911B1 (ko) 2024-01-24

Similar Documents

Publication Publication Date Title
CN111416945A (zh) 用于处理图像的方法和装置
US9436979B2 (en) Image processing device, imaging device, image processing method, and non-transitory computer readable medium
JP5331816B2 (ja) 画像補正装置及び画像補正方法
CN110035228B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
JP5189678B2 (ja) 動画像の手ぶれ補正装置及び方法
US10594952B2 (en) Key frame selection in burst imaging for optimized user experience
CN111641835A (zh) 视频处理方法、视频处理装置和电子设备
CN110691192B (zh) 图像处理方法、装置、存储介质及电子设备
JP2016081466A (ja) 画像処理装置、画像処理方法及びプログラム
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
CN113660531B (zh) 视频处理方法及装置、电子设备和存储介质
JP2013165488A (ja) 画像処理装置、撮像装置、およびプログラム
US10832386B2 (en) Image processing apparatus, image processing method, and storage medium
CN111917993B (zh) 图像处理装置、方法、拍摄装置及其程序的记录介质
CN113038010A (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN114390188A (zh) 一种图像处理方法和电子设备
CN109309784B (zh) 移动终端
JP7117451B2 (ja) 視線とジェスチャを用いた情報表示装置
CN114286007A (zh) 图像处理电路、图像处理方法、电子设备和可读存储介质
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7102150B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN112788236A (zh) 视频帧处理方法、装置、电子设备和可读存储介质
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
KR101567668B1 (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법
JP2020047223A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination