CN110677558A - 图像处理方法与电子装置 - Google Patents

图像处理方法与电子装置 Download PDF

Info

Publication number
CN110677558A
CN110677558A CN201810980589.4A CN201810980589A CN110677558A CN 110677558 A CN110677558 A CN 110677558A CN 201810980589 A CN201810980589 A CN 201810980589A CN 110677558 A CN110677558 A CN 110677558A
Authority
CN
China
Prior art keywords
image
subject
depth information
processor
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810980589.4A
Other languages
English (en)
Other versions
CN110677558B (zh
Inventor
詹凯琳
黄旭鍊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Corp
Original Assignee
Altek Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Corp filed Critical Altek Corp
Publication of CN110677558A publication Critical patent/CN110677558A/zh
Application granted granted Critical
Publication of CN110677558B publication Critical patent/CN110677558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理方法与电子装置，所述方法包括：取得多个第一图像；取得第一深度信息；根据第一图像产生第二图像；根据第一深度信息，识别第二图像中的主体以及背景；判断是否需对第二图像中的主体进行优化；当需对第二图像中的主体进行优化时，对第二图像中的主体进行优化，根据背景以及优化后的主体产生输出图像，并输出此输出图像；以及当不需对第二图像中的主体进行优化时，根据背景以及主体产生输出图像，并输出此输出图像。

Description

图像处理方法与电子装置
技术领域
本发明涉及一种图像处理方法与电子装置，尤其涉及高动态范围图像的图像处理方法与电子装置。
背景技术
图1A至图1C是传统单张图像的取像技术的示意图。传统单张图像的取像技术，在高反差亮度的场景时(例如：逆光场景)，由于感测器动态范围(Dynamic Range)的限制，此时若主体(例如：人像)亮度较暗，为拉亮此暗部区域图像亮度，而选择较长的曝光设定，会造成图像其他明亮区域，因曝光设定增长而造成过曝，因此形成主体亮度正常但背景过曝的不佳图像，如图1A所示。若曝光设定改以亮部区域为主时，为避免亮部区域过曝，则会因选择较短的曝光设定，反而造成图像主体区域因曝光不足而过暗，如图1B所示。如此，不管怎样的曝光设定，使用者皆无法拍到主体、背景皆清晰的图像。
一般来说，为了达到图像最佳的效果，可以将多张图像叠合成单一高动态范围图像，并通过阶调再现(Tone Reproduction)技术，调整每一个像素的亮度。此方法可以较精准地还原现场景物的动态范围，避免图像有过曝或过暗的区域，并产生明亮与暗部区域的细节。为了产生好的迭合图像，通常需要多张不同曝光设定的图像，因此得花费较多的计算时间(Computation Time)与存储器空间，方能有效地完成迭合。然而，区域性阶调再现的调整不仅费时，且容易产生光晕(例如，黑白边界处，有异常的白边或黑边)的问题，如图1C所示。此外，现有高动态图像处理技术，有时主体亮度经图像处理迭合后，对比度也跟着下降，造成主体立体感下降且不自然的亮度变化。
发明内容
本发明提供一种图像处理方法与电子装置，可以使用深度信息来优化高动态范围图像，使得优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。
本发明的提出一种图像处理方法，用于电子装置，所述方法包括：取得多个第一图像；取得第一深度信息；根据所述多个第一图像产生第二图像；根据所述第一深度信息，识别所述第二图像中的主体以及背景；判断是否需对所述第二图像中的所述主体进行优化；当需对所述第二图像中的所述主体进行优化时，对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像；以及当不需对所述第二图像中的所述主体进行优化时，根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。
在本发明的一实施例中，其中取得所述多个第一图像的步骤包括：取得对应于所述主体的第二深度信息；根据所述第二深度信息，决定第一曝光值；根据所述第一曝光值，决定至少一第二曝光值；以及根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。
在本发明的一实施例中，其中取得所述第一深度信息的步骤包括：根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。
在本发明的一实施例中，所述方法还包括：取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路。其中取得所述第一深度信息的步骤包括：根据所述第三图像以及所述第四图像取得所述第一深度信息。
在本发明的一实施例中，其中取得对应于所述主体的所述第二深度信息的步骤包括：获得至少一第五图像，其中所述第五图像是由所述第一图像获取电路所获取；获得至少一第六图像，其中所述第六图像是由所述第二图像获取电路所获取；以及根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。
在本发明的一实施例中，其中所述第二深度信息是通过深度感测电路所获得，其中取得所述第一深度信息的步骤包括：根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的第三深度信息，取得所述第一深度信息。
在本发明的一实施例中，其中判断是否需对所述第二图像中的所述主体进行优化的步骤包括：根据所述第二图像以及所述多个第一图像中的至少一第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于一门槛值；当所述差值大于所述门槛值时，判断需对所述第二图像中的所述主体进行优化；以及当所述差值不大于所述门槛值时，判断不需对所述第二图像中的所述主体进行优化。
在本发明的一实施例中，所述第一参数与所述第二参数为亮度值和/或对比度。
在本发明的一实施例中，其中在产生所述输出图像的步骤包括：对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。
在本发明的一实施例中，其中所述第二图像为高动态范围图像(High DynamicRange Image，HDR)。
本发明提出一种电子装置，所述电子装置包括处理器。所述处理器用以执行下述操作：取得多个第一图像；取得第一深度信息；根据所述多个第一图像产生第二图像；根据所述第一深度信息，识别所述第二图像中的主体以及背景；判断是否需对所述第二图像中的所述主体进行优化；当需对所述第二图像中的所述主体进行优化时，对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像；以及当不需对所述第二图像中的所述主体进行优化时，根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。
在本发明的一实施例中，其中在取得所述多个第一图像的操作中，所述处理器还用以执行下述操作：取得对应于所述主体的第二深度信息；根据所述第二深度信息，决定第一曝光值；根据所述第一曝光值，决定至少一第二曝光值；以及所述处理器根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。
在本发明的一实施例中，其中在取得所述第一深度信息的操作中，所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。
在本发明的一实施例中，所述处理器取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路。其中在取得所述第一深度信息的操作中，所述处理器根据所述第三图像以及所述第四图像取得所述第一深度信息。
在本发明的一实施例中，其中在取得对应于所述主体的所述第二深度
信息的操作中，所述处理器获得至少一第五图像，其中所述第五图像是由所述第一图像获取电路所获取。所述处理器获得至少一第六图像，其中所述第六图像是由所述第二图像获取电路所获取。所述处理器根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。
在本发明的一实施例中，其中所述第二深度信息是通过深度感测电路所获得，其中在取得所述第一深度信息的操作中，所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的一第三深度信息，取得所述第一深度信息。
在本发明的一实施例中，其中在判断是否需对所述第二图像中的所述主体进行优化的操作中，所述处理器根据所述第二图像以及所述多个第一图像中的至少一第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于门槛值。当所述差值大于所述门槛值时，所述处理器判断需对所述第二图像中的所述主体进行优化。当所述差值不大于所述门槛值时，所述处理器判断不需对所述第二图像中的所述主体进行优化。
在本发明的一实施例中，所述第一参数与所述第二参数为亮度值和/或对比度。
在本发明的一实施例中，其中在产生所述输出图像的操作中，所述处理器对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。
在本发明的一实施例中，其中所述第二图像为高动态范围图像(High DynamicRange Image，HDR)。
基于上述，本发明的图像处理方法与电子装置可以使用深度信息来优化高动态范围图像中的主体，藉此修正高动态范围图像中主体的亮度和/或对比度，让优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1A至图1C是传统单张图像的取像技术的示意图。
图2是依照本发明的一实施例所示出的电子装置的示意图。
图3是依照本发明的第一实施例所示出的图像处理方法的流程图。
图4是依照本发明的第一实施例所示出的第一深度信息的示意图。
图5是依照本发明的第一实施例所示出的输出图像的示意图。
图6是依照本发明的第二实施例所示出的图像处理方法的流程图。
附图标记说明
100：电子装置；
20：处理器；
22：深度感测电路；
24：图像获取电路；
26：储存电路；
S301：取得多个第一图像的步骤；
S303：取得第一深度信息的步骤；
S305：根据所述多个第一图像产生第二图像的步骤；
S307：根据第一深度信息，识别第二图像中的主体以及背景的步骤；
S309：判断是否需对第二图像中的主体进行优化的步骤；
S311：对第二图像中的主体进行优化，根据背景以及优化后的主体产生输出图像的步骤；
S313：根据背景以及主体产生输出图像的步骤；
S315：输出前述的输出图像的步骤；
S601：取得对应于主体的第二深度信息的步骤；
S603：根据第二深度信息，决定第一曝光值的步骤；
S605：根据第一曝光值，决定第二曝光值的步骤；
S607：根据第一曝光值以及第二曝光值获取多个第一图像的步骤；
S609：取得第一深度信息的步骤；
S611：根据所述多个第一图像产生第二图像的步骤；
S613：根据第一深度信息，识别第二图像中的主体以及背景的步骤；
S615：判断是否需对第二图像中的主体进行优化的步骤；
S617：对第二图像中的主体进行优化，根据前述背景以及优化后的主体产生输出图像的步骤；
S619：根据前述背景以及前述主体产生输出图像的步骤；
S621：输出前述的输出图像的步骤。
具体实施方式
现将详细参考本发明的示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件代表相同或类似部分。
图2是依照本发明的一实施例所示出的电子装置的示意图。
请参照图2，电子装置100包括处理器20、深度感测电路22、图像获取电路24以及储存电路26。其中，深度感测电路22、图像获取电路24以及储存电路26分别耦接至处理器20。电子装置100例如是手机、平板电脑、笔记型电脑等电子装置，在此不设限。需注意的是，在本实施例中，深度感测电路22以及图像获取电路24是被配置于电子装置100中。然而本发明不限于此，在其他实施例中，深度感测电路22以及图像获取电路24也可以被配置于电子装置100以外的其他装置中。
处理器20可以是中央处理器(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuit，ASIC)或其他类似元件或上述元件的组合。
深度感测电路22可以是用来发射红外线与接收所述红外线的反射来获取深度的深度感测器。或者，深度感测电路22也可以是相同于图像获取电路24的图像获取电路，其可以用于获取图像并且让处理器20根据深度感测电路22所获取的图像以及图像获取电路24所获取的图像来判断所拍摄的图像中的物体的深度。或者，深度感测电路22也可以是其他种类可以取得深度信息的电路，在此不做限制。
图像获取电路24是用以获取一或多张图像。举例来说，图像获取电路24可以配备有电荷耦合元件(Charge Coupled Device，CCD)、互补性氧化金属半导体(ComplementaryMetal-Oxide Semiconductor，CMOS)元件或其他种类的感光元件的摄像镜头。
储存电路26可以是任何类型的固定或可移动随机存取存储器(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。
在本范例实施例中，电子装置100的储存电路26中储存有多个程序码片段，在上述程序码片段被安装后，会由处理器20来执行。例如，储存电路26中包括多个模块，通过这些模块来分别执行本发明的图像处理方法的各个操作，其中各模块是由一或多个程序码片段所组成。然而本发明不限于此，电子装置100的各个操作也可以是使用其他硬件形式的方式来实现。
以下以多个实施例来描述本发明的图像处理方法。
[第一实施例]
图3是依照本发明的第一实施例所示出的图像处理方法的流程图。
请同时参照图2与图3。首先，处理器20可以取得由图像获取电路24对一场景进行拍摄的多张第一图像(步骤S301)。此些第一图像可以是分别使用不同的曝光值所拍摄。之后，处理器20可以取得由深度感测电路22和/或图像获取电路24检测到的第一深度信息(步骤S303)。第一深度信息例如是深度感测电路22和/或图像获取电路24对前述场景进行检测而所获得的对应于所述场景的深度信息。例如，图4是依照本发明的第一实施例所示出的第一深度信息的示意图。请参照图4，深度感测电路22和/或图像获取电路24可以对具有人物(即，主体)的场景进行深度的检测以获得如图4得深度信息。
此外，处理器20还会根据前述多个第一图像产生一张第二图像(步骤S305)。在本范例实施例中，此第二图像为高动态范围(High Dynamic Range，HDR)图像，且第二图像可以保留真实环境的亮、暗部细节。需注意的是，通过图像迭合所产生的高动态范围图像中，主体的亮度和/或对比度可能会下降(或变差)，因此本发明的图像处理方法会根据前述的第一深度信息来优化前述第二图像中的主体。
更详细来说，处理器20会根据前述的第一深度信息，识别第二图像中主体以及背景的位置(步骤S307)。在识别出第二图像中主体以及背景的部分后，处理器20会判断是否需对第二图像中的主体进行优化(步骤S309)。在本范例实施例中，处理器20会从前述的多个第一图像中挑选出至少一图像(也称为，第五图像)，并且根据第二图像以及第五图像，判断第二图像中的主体的一参数(也称为，第一参数)与第五图像中的主体的参数(也称为，第二参数)的差值是否大于一门槛值。当前述的差值大于门槛值时，处理器20会判断需要对第二图像中的主体进行优化。然而，当前述的差值不大于所述门槛值时，处理器20会判断不需对第二图像中的主体进行优化。特别是，前述的第一参数与第二参数可以是亮度值和/或对比度。
当需对第二图像中的主体进行优化时，处理器20会对第二图像中的主体进行优化，并根据第二图像中的背景以及第二图像中优化后的主体产生输出图像(步骤S311)。其中，前述的优化可以包括阶调转换(Tone Mapping)或其他种的优化处理，在此不做限制。然而，当不需对第二图像中的主体进行优化时，处理器20会根据前述第二图像中的背景以及主体产生输出图像(步骤S313)。之后，处理器20会输出前述的输出图像(步骤S315)。例如，图5是依照本发明的第一实施例所示出的输出图像的示意图。请参照图5，当处理器20在执行步骤S311或步骤S313后，处理器20会产生如图5的输出图像，并且在步骤S315输出所述图像。特别是，若主体有经过前述的优化处理时，则输出图像可以更贴近人眼所见。
在一实施例中，在步骤S311与步骤S313产生前述的输出图像之前，处理器20还可以对前述的背景进行虚化，并可以根据虚化后的背景与主体产生输出图像。
需注意的是，本发明并不用于限定上述图3中各个步骤的执行顺序。在其他实施例中，也可以先执行步骤S305再执行步骤S303。
[第二实施例]
图6是依照本发明的第二实施例所示出的图像处理方法的流程图。
请同时参照图2与图6，在本范例实施例中，处理器20会取得对应于欲拍摄的场景中主体的一第二深度信息(步骤S601)。在一实施例中，假设深度感测电路22也是类似于图像获取电路24的图像获取电路，则处理器20可以获得由深度感测电路22获取的图像(也称为，第五图像)以及由图像获取电路24获取的图像(也称为，第六图像)，并且根据第五图像以及第六图像取得对应于场景中的主体的第二深度信息。然而本发明不限于此，在另一实施例中，第二深度信息例如也可以是直接通过深度感测电路22进行感测而获得。
在获得第二深度信息后，处理器20会根据第二深度信息决定第一曝光值(步骤S603)，并且根据此第一曝光值决定至少一第二曝光值(步骤S605)。举例来说，第一曝光值例如是拍摄所述场景的最佳曝光值(例如，0EV)，之后在产生高动态范围图像时，使用第一曝光值拍摄的图像会作为主体图像(subject image)。此外，第二曝光值例如是相对于前述最加曝光值的多个延伸的曝光值(例如，+N EV或-N EV)。
在决定出前述的第一曝光值与第二曝光值后，处理器20会控制图像获取电路24根据第一曝光值以及第二曝光值对欲拍摄的场景获取多个第一图像(步骤S607)。其中，此些第一图像包括使用第一曝光值拍摄的图像(也称为，第三图像)以及使用第二曝光值拍摄的图像。
之后，处理器20会取得第一深度信息(步骤S609)。在一实施例中，假设深度感测电路22也是类似于图像获取电路24的图像获取电路，则处理器20可以取得深度感测电路22使用第一曝光值对所述场景进行拍摄(或获取)的图像(也称为，第四图像)，并且根据前述的第三图像以及前述的第四图像取得如图4所示出的第一深度信息。然而在另一实施例中，处理器20也可以根据前述第三图像以及深度感测电路22感测所拍摄的场景所获得的深度信息(也称为，第三深度信息)而取得如图4所示出的第一深度信息。特别是，所辨别出的第一深度信息包括高动态范围图像中主体与背景部分的深度信息。
此外，处理器20还会根据前述多个第一图像产生一张第二图像(步骤S611)。在本范例实施例中，此第二图像为高动态范围(High Dynamic Range，HDR)图像。
之后，处理器20会根据前述的第一深度信息，识别第二图像中主体以及背景的位置(步骤S613)。在识别出第二图像中主体以及背景的部分后，处理器20会判断是否需对第二图像中的主体进行优化(步骤S615)。在本范例实施例中，处理器20会从前述的多个第一图像中挑选出至少一图像(也称为，第五图像)，并且根据第二图像以及第五图像，判断第二图像中的主体的一参数(也称为，第一参数)与第五图像中的主体的参数(也称为，第二参数)的差值是否大于一门槛值。当前述的差值大于门槛值时，处理器20会判断需要对第二图像中的主体进行优化。然而，当前述的差值不大于所述门槛值时，处理器20会判断不需对第二图像中的主体进行优化。特别是，前述的第一参数与第二参数可以是亮度值和/或对比度。特别是，在本范例实施例中，第五图像是第一图像中使用第一曝光值拍摄的第三图像。然而本发明不限于此，在其他实施例中，第五图像也可以是第一图像中其他的图像。
当需对第二图像中的主体进行优化时，处理器20会对第二图像中的主体进行优化，并根据第二图像中的背景以及第二图像中优化后的主体产生输出图像(步骤S617)。其中，前述的优化可以包括阶调转换(Tone Mapping)或其他种的优化处理，在此不做限制。然而，当不需对第二图像中的主体进行优化时，处理器20会根据前述第二图像中的背景以及主体产生输出图像(步骤S619)。之后，处理器20会输出前述的输出图像(步骤S621)。
在一实施例中，在步骤S617与步骤S619产生前述的输出图像之前，处理器20还可以对前述的背景进行虚化，并可以根据虚化后的背景与主体产生输出图像。
需注意的是，本发明并不用于限定上述图6中各个步骤的执行顺序。在其他实施例中，也可以先执行步骤S611再执行步骤S609。
综上所述，本发明的图像处理方法与电子装置可以使用深度信息来优化高动态范围图像中的主体，藉此修正高动态范围图像中主体的亮度和/或对比度，让优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

Claims (20)

1.一种图像处理方法，用于电子装置，其特征在于，所述方法包括：
取得多个第一图像；
取得第一深度信息；
根据所述多个第一图像产生第二图像；
根据所述第一深度信息，识别所述第二图像中的主体以及背景；
判断是否需对所述第二图像中的所述主体进行优化；
当需对所述第二图像中的所述主体进行优化时，对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像；以及
当不需对所述第二图像中的所述主体进行优化时，根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。
2.根据权利要求1所述的图像处理方法，其中取得所述多个第一图像的步骤包括：
取得对应于所述主体的第二深度信息；
根据所述第二深度信息，决定第一曝光值；
根据所述第一曝光值，决定至少第二曝光值；以及
根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。
3.根据权利要求2所述的图像处理方法，其中取得所述第一深度信息的步骤包括：
根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。
4.根据权利要求3所述的图像处理方法，还包括：
取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路，
其中取得所述第一深度信息的步骤包括：
根据所述第三图像以及所述第四图像取得所述第一深度信息。
5.根据权利要求4所述的图像处理方法，其中取得对应于所述主体的所述第二深度信息的步骤包括：
获得至少第五图像，其中所述第五图像是由所述第一图像获取电路所获取；
获得至少第六图像，其中所述第六图像是由所述第二图像获取电路所获取；以及
根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。
6.根据权利要求3所述的图像处理方法，其中所述第二深度信息是通过深度感测电路所获得，其中取得所述第一深度信息的步骤包括：
根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的第三深度信息，取得所述第一深度信息。
7.根据权利要求1所述的图像处理方法，其中判断是否需对所述第二图像中的所述主体进行优化的步骤包括：
根据所述第二图像以及所述多个第一图像中的至少第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于门槛值；
当所述差值大于所述门槛值时，判断需对所述第二图像中的所述主体进行优化；以及
当所述差值不大于所述门槛值时，判断不需对所述第二图像中的所述主体进行优化。
8.根据权利要求7所述的图像处理方法，其中所述第一参数与所述第二参数为亮度值和/或对比度。
9.根据权利要求1所述的图像处理方法，其中在产生所述输出图像的步骤包括：
对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。
10.根据权利要求1所述的图像处理方法，其中所述第二图像为高动态范围图像。
11.一种电子装置，其特征在于，包括：
处理器，其中
所述处理器取得多个第一图像，
所述处理器取得第一深度信息，
所述处理器根据所述多个第一图像产生第二图像，
所述处理器根据所述第一深度信息，识别所述第二图像中的主体以及背景，
所述处理器判断是否需对所述第二图像中的所述主体进行优化；
当需对所述第二图像中的所述主体进行优化时，所述处理器对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像，以及
当不需对所述第二图像中的所述主体进行优化时，所述处理器根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。
12.根据权利要求11所述的电子装置，其中在取得所述多个第一图像的操作中，
所述处理器取得对应于所述主体的第二深度
信息，
所述处理器根据所述第二深度信息，决定第一曝光值，
所述处理器根据所述第一曝光值，决定至少第二曝光值，以及
所述处理器根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。
13.根据权利要求12所述的电子装置，其中在取得所述第一深度信息的操作中，
所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。
14.根据权利要求13所述的电子装置，其中
所述处理器取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路，
其中在取得所述第一深度信息的操作中，
所述处理器根据所述第三图像以及所述第四图像取得所述第一深度信息。
15.根据权利要求14所述的电子装置，其中在取得对应于所述主体的所述第二深度信息的操作中，
所述处理器获得至少第五图像，其中所述第五图像是由所述第一图像获取电路所获取，
所述处理器获得至少第六图像，其中所述第六图像是由所述第二图像获取电路所获取，以及
所述处理器根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。
16.根据权利要求13所述的电子装置，其中所述第二深度信息是通过深度感测电路所获得，其中在取得所述第一深度信息的操作中，
所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的第三深度信息，取得所述第一深度信息。
17.根据权利要求11所述的电子装置，其中在判断是否需对所述第二图像中的所述主体进行优化的操作中，
所述处理器根据所述第二图像以及所述多个第一图像中的至少第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于门槛值，
当所述差值大于所述门槛值时，所述处理器判断需对所述第二图像中的所述主体进行优化，以及
当所述差值不大于所述门槛值时，所述处理器判断不需对所述第二图像中的所述主体进行优化。
18.根据权利要求17所述的电子装置，其中所述第一参数与所述第二参数为亮度值和/或对比度。
19.根据权利要求11所述的电子装置，其中在产生所述输出图像的操作中，
所述处理器对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。
20.根据权利要求11所述的电子装置，其中所述第二图像为高动态范围图像。
CN201810980589.4A 2018-07-02 2018-08-27 图像处理方法与电子装置 Active CN110677558B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107122823 2018-07-02
TW107122823A TWI684165B (zh) 2018-07-02 2018-07-02 影像處理方法與電子裝置

Publications (2)

Publication Number Publication Date
CN110677558A true CN110677558A (zh) 2020-01-10
CN110677558B CN110677558B (zh) 2021-11-02

Family

ID=69054821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810980589.4A Active CN110677558B (zh) 2018-07-02 2018-08-27 图像处理方法与电子装置

Country Status (3)

Country Link
US (1) US10972676B2 (zh)
CN (1) CN110677558B (zh)
TW (1) TWI684165B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973175A (zh) * 2021-08-27 2022-01-25 天津大学 一种快速的hdr视频重建方法
CN115049802A (zh) * 2021-03-08 2022-09-13 宏达国际电子股份有限公司 背景天空盒构建方法和电子装置
CN115049802B (zh) * 2021-03-08 2024-06-11 宏达国际电子股份有限公司 背景天空盒构建方法和电子装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111659A1 (ja) * 2017-12-07 2019-06-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN113362354B (zh) * 2021-05-07 2024-04-30 安徽国际商务职业学院 色调映射图像的质量评价方法、系统、终端及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740082A (zh) * 2011-04-01 2012-10-17 佳能株式会社 图像处理装置及控制方法
CN104125408A (zh) * 2013-04-28 2014-10-29 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
TW201531744A (zh) * 2014-02-12 2015-08-16 Htc Corp 影像處理裝置
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置
US20160239937A1 (en) * 2015-02-16 2016-08-18 Young Jun Kim Data processing device for processing multiple sensor data and system including the same
CN106331510A (zh) * 2016-10-31 2017-01-11 维沃移动通信有限公司 一种逆光拍照方法及移动终端
CN106683100A (zh) * 2016-12-27 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种图像分割去雾方法及终端
CN106851124A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
CN107948519A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置及设备
US20180160046A1 (en) * 2016-12-06 2018-06-07 Qualcomm Incorporated Depth-based zoom function using multiple cameras

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition
TWI533256B (zh) * 2013-01-07 2016-05-11 義明科技股份有限公司 影像感測裝置與影像感測的方法
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
CN104937921B (zh) * 2013-12-06 2019-04-26 华为终端（东莞）有限公司 一种终端及图像处理方法、图像采集方法
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
US9544503B2 (en) * 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740082A (zh) * 2011-04-01 2012-10-17 佳能株式会社 图像处理装置及控制方法
CN104125408A (zh) * 2013-04-28 2014-10-29 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
TW201531744A (zh) * 2014-02-12 2015-08-16 Htc Corp 影像處理裝置
CN104935911A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种高动态范围图像合成的方法及装置
US20160239937A1 (en) * 2015-02-16 2016-08-18 Young Jun Kim Data processing device for processing multiple sensor data and system including the same
CN106331510A (zh) * 2016-10-31 2017-01-11 维沃移动通信有限公司 一种逆光拍照方法及移动终端
US20180160046A1 (en) * 2016-12-06 2018-06-07 Qualcomm Incorporated Depth-based zoom function using multiple cameras
CN106683100A (zh) * 2016-12-27 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种图像分割去雾方法及终端
CN106851124A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 基于景深的图像处理方法、处理装置和电子装置
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
CN107948519A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏欢: ""多曝光HDR图像生成方法研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049802A (zh) * 2021-03-08 2022-09-13 宏达国际电子股份有限公司 背景天空盒构建方法和电子装置
CN115049802B (zh) * 2021-03-08 2024-06-11 宏达国际电子股份有限公司 背景天空盒构建方法和电子装置
CN113973175A (zh) * 2021-08-27 2022-01-25 天津大学 一种快速的hdr视频重建方法

Also Published As

Publication number Publication date
TWI684165B (zh) 2020-02-01
CN110677558B (zh) 2021-11-02
TW202006666A (zh) 2020-02-01
US20200007732A1 (en) 2020-01-02
US10972676B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
EP3836534B1 (en) Imaging control method, electronic device, and computer-readable storage medium
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
CN108668093B (zh) Hdr图像的生成方法及装置
CN108337445B (zh) 拍照方法、相关设备及计算机存储介质
WO2020038072A1 (zh) 曝光控制方法、装置和电子设备
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
KR101661215B1 (ko) 영상 처리 방법 및 영상 처리 장치
US9357127B2 (en) System for auto-HDR capture decision making
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US11490024B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
CN103945145A (zh) 处理图像的设备和方法
US20220094838A1 (en) Method, Electronic Device and Computer-Readable Storage Medium for Generating a High Dynamic Range Image
CN115601244B (zh) 图像处理方法、装置和电子设备
CN110677558B (zh) 图像处理方法与电子装置
CN110881108B (zh) 图像处理方法及图像处理装置
JP6935272B2 (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN110809146A (zh) 一种图像对比度调整方法、装置、终端设备及存储介质
CN106791451B (zh) 一种智能终端的拍照方法
WO2016074414A1 (zh) 一种图像的处理方法和装置
CN114143443B (zh) 双传感器摄像系统及其摄像方法
CN114331893A (zh) 一种获取图像噪声的方法、介质和电子设备
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant