CN113874907A - 生成hdr图像的电子设备及其操作方法 - Google Patents

生成hdr图像的电子设备及其操作方法 Download PDF

Info

Publication number
CN113874907A
CN113874907A CN201980095412.9A CN201980095412A CN113874907A CN 113874907 A CN113874907 A CN 113874907A CN 201980095412 A CN201980095412 A CN 201980095412A CN 113874907 A CN113874907 A CN 113874907A
Authority
CN
China
Prior art keywords
images
image
feature points
map
blending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095412.9A
Other languages
English (en)
Inventor
甄睿文
J.格洛茨巴赫
I.佩库库克森
H.R.谢克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/277,630 external-priority patent/US11128809B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113874907A publication Critical patent/CN113874907A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种生成高动态范围(HDR)图像的方法，包括：获得以不同曝光程度捕获的多个图像；生成指示多个图像之间对应的区域的至少一个变换矩阵；基于变换矩阵，确定多个图像之间对应的每个区域的移动程度；基于所确定的移动程度，生成指示多个图像在每个像素中的混合比率的混合贴图；以及基于混合贴图，通过混合多个图像来生成HDR图像。

Description

生成HDR图像的电子设备及其操作方法
技术领域
本发明涉及一种用于生成高动态范围(high dynamic range,HDR)图像的电子设备及其操作方法。更具体地，本发明涉及一种用于通过合成若干图像来生成HDR图像的电子设备及其操作方法。
背景技术
自然场景通常具有超过普通数码相机的捕获范围的高动态范围(HDR)。自然场景的数码照片可能无法在曝光不足或曝光过度的区域提供足够的细节。
因此，需要一种从以不同曝光程度捕获的图像生成HDR图像的方法，HDR图像甚至在数码照片的曝光不足或曝光过度区域中提供足够的细节。
当混合若干静态静止图像时，可以生成HDR图像，但是当在静止图像之间存在对象的移动时，由于对象的移动，可能在HDR图像中生成鬼影伪影(ghost artifact)。
此外，当若干静态静止图像被混合时，在静止图像的像素值彼此相加时，可能生成饱和区域。
发明内容
提供了一种用于生成高动态范围(HDR)图像的电子设备及其操作方法。
此外，提供了一种计算机可读记录介质，其上记录有用于在计算机上执行该方法的程序。待解决的技术问题不限于上述技术问题，并且可能存在其他技术问题。
附图说明
图1是用于描述根据实施例的生成高动态范围(HDR)图像的示例的框图。
图2是用于描述根据实施例的电子设备的内部配置的框图。
图3是用于描述根据实施例的电子设备的内部配置的框图。
图4是根据实施例的生成HDR图像的方法的流程图。
图5是示出根据实施例的不同曝光的图像的示例的图。
图6是根据实施例的用于描述匹配特征点的方法的框图。
图7是示出根据实施例的全局特征点和局部特征点的示例的图。
图8是根据实施例的用于描述生成混合贴图的方法的框图。
图9是示出根据实施例的曝光差异的示例的图。
图10是示出根据实施例的移动差的示例的图。
图11是示出根据实施例的根据图像金字塔方法混合不同曝光的图像的示例的图。
图12是用于描述根据实施例的基于混合贴图混合多个图像的方法的框图。
图13是示出根据实施例的混合图像的示例的图。
具体实施方式
根据本发明的一个实施例，一种生成高动态范围(HDR)图像的方法，包括：获得以不同曝光程度捕获的多个图像；生成指示多个图像之间对应的区域的至少一个变换矩阵；基于变换矩阵，确定多个图像之间对应的每个区域的移动程度；基于所确定的移动程度，生成指示多个图像在每个像素中的混合比率的混合贴图(blending map)；以及基于混合贴图，通过混合多个图像来生成HDR图像。
根据本发明的另一实施例，一种用于生成高动态范围(HDR)图像的电子设备包括：相机，被配置为获得以不同曝光程度捕获的多个图像；至少一个处理器，被配置为：生成指示多个图像之间对应的区域的至少一个变换矩阵；基于变换矩阵，确定多个图像之间对应的每个区域的移动程度；基于所确定的移动程度，生成指示多个图像在每个像素中的混合比率的混合贴图；以及基于混合贴图，通过混合多个图像来生成HDR图像；以及存储器，存储生成的HDR图像。
根据本发明的另一实施例，一种计算机可读记录介质，在其上记录用于实现方法的程序。
在下文中，将参考附图详细描述本发明的实施例，以使得本领域的普通技术人员可以容易地实现本发明。然而，本发明可以以各种不同形式实现，并且不限于本文描述的实施例。此外，在附图中，为了清楚地描述本公开，省略了与描述无关的部分，并且在整个说明书中类似的附图标记指定了类似的元件。
在整个说明书中，当一个部分“连接”到另一个部分时，该部分不仅可以“直接连接”到另一个部分，而且还可以通过另一个部分“电连接”到另一个部分。此外，除非另有说明，否则当一个部分“包括”某个元件时，该部分可以进一步包括另一个元件，而不是排除其他元件。
以下，将参考附图描述本公开。
图1是用于描述根据实施例的生成高动态范围(HDR)图像的示例的框图。
可以将根据实施例的HDR图像生成为匹配的多个静态图像。根据实施例的多个图像可以是以不同曝光捕获的静止图像。
参考图1，在经由特征点匹配110、混合贴图生成120和混合130顺序处理以不同曝光捕获的多个图像时，可以生成根据实施例的HDR图像。
根据实施例，当在捕获多个图像的同时图像的对象移动时，由于包括在图像中的对象的后像，可能在每个图像中生成鬼影伪影。根据实施例，可以执行混合贴图生成120，使得减少HDR图像的鬼影伪影。
此外，根据实施例，当在混合130期间混合静止图像时，可能由于饱和区域的生成而生成光晕伪影(halo artifact)。根据实施例，可以执行混合130，使得减少HDR图像的光晕伪影。
根据根据实施例的特征点匹配110，可以匹配多个图像之间对应的特征点。例如，可以提取与包括在整个图像中的图像的特征(诸如线、角等)相对应的全局特征点。例如，全局特征点可以是来自加速和分段测试(FAST)和旋转二元鲁棒独立基本特征(binaryrobust independent elementary features，BRIEF)(ORB)特征点的定向特征，但不限于此，并且可以包括指示图像特征的各种类型的特征点。
根据实施例，可以额外提取基于全局特征点提取的局部特征点。根据实施例，可以基于全局特征点和局部特征点的匹配结果来执行混合贴图生成120和混合130。
根据实施例，在图像之间的全局特征点彼此匹配之后，可以使用基于每个图像的全局特征点设置的半径来执行块搜索。此外，根据块搜索，可以额外提取局部特征点并在图像之间进行匹配。从根据实施例提取的局部特征点中匹配到离群值(outlier)位置的局部特征点可以被确定为对应于由图像中的对象的移动引起的噪声，并且可以被排除在用于随后确定变换矩阵的特征点之外。根据实施例，可以基于全局特征点和排除离群值后剩余的局部特征点的匹配来确定指示多个图像之间对应的像素的变换矩阵。因此，根据根据实施例生成的变换矩阵，当排除与离群值位置匹配的局部特征点时，可以保持对应图像区域的一致性。
根据根据实施例的混合贴图生成120，可以根据变换矩阵为图像之间匹配的每个像素确定混合多个图像的比率。
根据实施例的混合贴图可以包括适用于每个像素的多个图像的权重值。根据实施例，当在混合130期间根据混合贴图将应用了不同权重值的图像的像素值相加时，可以生成HDR图像。
根据实施例的混合贴图可以基于指示基于图像中对象的移动程度而确定的混合比率的去鬼影贴图(deghosting map)和指示基于像素强度而确定的混合比率的良好曝光贴图(well-exposed map)来确定。例如，在每个像素中，可以根据通过简单地乘以根据去鬼影贴图和良好曝光贴图确定的混合比率而获得的值来确定混合贴图。
根据实施例的去鬼影贴图可以针对每个像素指示基于对象的移动程度确定的混合比率。根据实施例，可以为多个图像确定一个参考图像和至少一个非参考图像，并且可以通过比较参考图像和非参考图像来确定每个区域的移动程度。可以为包括多个像素的每个瓦片(tile)确定根据实施例的移动程度。可以确定根据实施例的去鬼影贴图的混合比率，使得在生成HDR图像时被混合的非参考图像的程度随着移动程度的增加而减小。
可以基于针对每个像素确定的强度值来确定根据实施例的良好曝光贴图。根据实施例的强度值可以基于每个像素的像素值被确定为0或1的值。根据实施例，可以为多个图像的像素确定强度值，或者可以取决于彼此匹配的像素的强度值是否接近0.5来确定混合比率。例如，可以将图像的匹配像素中具有最接近于0.5的强度值的像素的混合比率确定为最高。
根据根据实施例的混合130，当根据根据混合贴图确定的每个图像的每个像素的权重值混合多个图像时，可以生成HDR图像。
根据实施例，可以根据权重值通过混合贴图逐步混合多个图像。在根据实施例的主混合期间，非参考图像的权重值W1和1-W1可分别应用于要混合的参考图像和非参考图像。此外，在次级混合期间，可将另一非参考图像的权重值W3和1-W3分别应用于要混合的主混合的图像和另一非参考图像。
根据实施例，在当前步骤中，可以基于关于被混合的非参考图像的细节的特征，基于关于非参考图像的细节的特征来执行混合。例如，可以确定指示被分解为不同分辨率以进行混合的参考图像和非参考图像的数量的金字塔级别(pyramid level)的数量，并且参考图像和非参考图像可以通过确定的金字塔级别的数量被分解为不同分辨率，从而执行混合。
可以执行根据实施例的混合，因为根据混合贴图的权重值被应用于当图像被分解为不同分辨率时生成的每个层中的每个图像。在根据实施例的混合中，基于非参考图像的特征组合到参考图像，在确定被分解成不同分辨率的参考图像和非参考图像的数量时，可以生成其中非参考图像的细节被尽可能多地反映并且光晕伪影被减少的HDR图像，使得可以生成最佳HDR图像。
可以进一步对HDR图像执行诸如色调贴图、噪声滤波和边缘增强的操作，其中根据根据实施例的混合130混合多个图像。然而，本公开不限于此，并且可以对混合130完成的HDR图像进一步执行用于优化HDR图像的各种类型的操作。
图2是用于描述根据实施例的电子设备1000的内部配置的框图。
图3是用于描述根据实施例的电子设备1000的内部配置的框图。
根据实施例的电子设备1000可以以各种形式实现。例如，本文描述的电子设备1000可以是数码相机、智能电话、膝上型计算机、平板电脑(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、MP3播放器、视频电话、电子书阅读器、台式PC、工作站、医疗设备、相机或智能家用电器(例如，电视(TV)、冰箱、空调、清洁器或设置盒)，但不限于此。
此外，本文描述的电子设备1000可以是用户的可穿戴设备。可穿戴设备的示例包括饰品类型设备(例如，手表、戒指、腕带、脚踝带、项链、眼镜或隐形眼镜)、头戴式设备(HMD)、纺织品或服装集成设备(例如，电子服装)、可附体设备(例如，皮肤垫)或生物植入型设备(例如，可植入电路)中的至少一个，但不限于此。以下，为了便于描述，将描述其中电子设备1000是智能电话的示例。
参考图2，电子设备1000可以包括相机1610、处理器1300和存储器1700。然而，图2中所示的组件不是电子设备1000的所有基本组件。电子设备1000可以包括比图2中所示的组件更多或更少的组件。
例如，如图3所示，除了相机1610、处理器1300和存储器1700之外，根据一些实施例的电子设备1000还可以包括用户输入器1100、输出器1200、感测单元1400、通信器1500和音频/视频(A/V)输入器1600。
用户输入器1100是输入用于用户控制电子设备1000的数据的单元。例如，用户输入器1100可以包括键盘、圆顶开关、触摸板(接触电容型、压阻型、红外(IR)检测型、表面超声波传导型、积分张力测量型、压电效应型等)、点动轮、点动开关等，但不限于此。
根据实施例，用户输入器1100可以接收用于生成HDR图像的用户输入。例如，基于用户输入器1100接收的用户输入，可以捕获多个静止图像，并且可以从多个静止图像生成HDR图像。
输出器1200可以输出音频信号、视频信号或振动信号，并且输出器1200可以包括显示器1210、声音输出器1220和振动马达1230。
显示器1210显示由电子设备1000处理的信息。根据实施例，显示器1210可以显示从多个图像生成的HDR图像。
当显示器1210通过与触摸板形成层结构而被配置为触摸屏时，显示器1210可以用作输入设备以及输出设备。显示器1210可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、三维(3D)显示器或电泳显示器中的至少一个。此外，根据电子设备1000的实施例，电子设备1000可以包括两个或多个显示器1210。
声音输出器1220输出从通信器1500接收或存储在存储器1700中的音频数据。振动马达1230可以输出振动信号。此外，当在触摸屏上输入触摸时，振动马达1230可以输出振动信号。
根据实施例的声音输出器1220和振动马达1230可以用于输出与根据实施例生成的HDR图像相关的信息。例如，声音输出器1220和振动马达1230可以输出与显示器1210上显示的HDR图像相关的信息。
处理器1300通常控制电子设备1000的所有操作。例如，处理器1300通常可以执行存储在存储器1700中的程序来控制用户输入器1100、输出器1200、感测单元1400、通信器1500和A/V输入器1600。
电子设备1000可以包括至少一个处理器1300。例如，电子设备1000可以包括各种类型的处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)和神经处理单元(NPU)。
处理器1300可以被配置为通过执行基本算术、逻辑和输入/输出操作来处理计算机程序的命令。该命令可以从存储器1700提供给处理器1300，或者可以通过经由通信器1500接收而被提供给处理器1300。例如，处理器1300可以被配置为根据存储在诸如存储器的记录设备中的程序代码执行命令。
根据实施例的处理器1300可以从以不同曝光捕获的多个图像中检测全局特征点和局部特征点，并在多个图像之间匹配全局特征点和局部特征点。此外，处理器1300可以基于匹配的结果生成表示多个图像之间对应的区域的变换矩阵。
根据实施例的处理器1300可以通过基于变换矩阵比较多个图像之间对应的区域来确定每个图像的移动程度，并基于移动程度生成混合贴图。根据实施例的混合贴图可以通过根据移动程度确定要应用于每个图像的像素的权重值来生成。
可以通过基于根据实施例生成的混合贴图混合多个图像来生成HDR图像。根据实施例的处理器1300可以基于根据混合贴图确定的权重值逐步混合多个图像。根据实施例，在当前步骤中，在基于关于与参考图像混合的非参考图像的细节的特征执行混合时，可以生成其中非参考图像的细节被尽可能多地反映并且光晕伪影被减少的HDR图像。
例如，可以首先基于第一非参考图像的权重值执行参考图像和第一非参考图像之间的混合。此外，可以基于第二非参考图像的权重值，执行通过混合参考图像和第一非参考图像而获得的图像与第二非参考图像之间的混合。
感测单元1400可以检测电子设备1000的状态或电子设备1000周围的状态，并将检测到的信息发送给处理器1300。
感测单元1400可以包括地磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器1460(例如，全球定位系统(GPS))、大气压力传感器1470、接近传感器1480或红、绿、蓝(RBG)传感器1490(照度传感器)中的至少一个，但不限于此。
根据实施例，可以基于由感测单元1400检测到的信息生成HDR图像。例如，可以基于感测单元1400的RBG传感器1490捕获的图像生成HDR图像。
通信器1500可以包括一个或多个组件，使电子设备1000能够与服务器2000或外部设备(未示出)通信。例如，通信器1500可以包括短距离无线通信器1510、移动通信器1520和广播接收器1530。
短距离无线通信器1510可以包括蓝牙通信器、低功耗蓝牙(BLE)通信器、近场通信器、无线局域网(WLAN)(Wi-Fi)通信器、Zigbee通信器、红外数据关联(IrDA)通信器、Wi-Fi直接(WFD)通信器、超宽带(UWB)通信器或Ant+通信器，但不限于此。
移动通信器1520可以向移动通信网络上的基站、外部终端或服务器中的至少一个发送或从中接收无线信号。这里，无线信号可以包括根据语音呼叫信号、图像呼叫信号或文本/多媒体消息的交换的各种类型的数据。
广播接收器1530可以通过广播信道从外部源接收广播信号和/或与广播相关的信息。广播信道可以包括卫星信道或地面信道。根据实施例，电子设备1000可以不包括广播接收器1530。
根据实施例的通信器1500可以接收生成HDR图像所需的信息。例如，通信器1500可以从外部源接收用于生成HDR图像的多个图像。
A/V输入器1600是音频信号或视频信号被输入到其中的单元，并且可以包括相机1610和麦克风1620。相机1610可以在图像呼叫模式或摄影模式下经由图像传感器获得诸如静止图像或运动图像的图像帧。经由图像传感器捕获的图像可以经由处理器1300或单独的图像处理器(未示出)进行处理。
麦克风1620接收外部声音信号，并将外部声音信号处理为电语音数据。
根据实施例，可以基于A/V输入器1600捕获的多个图像生成HDR图像。
存储器1700可以存储用于由处理器1300处理和控制的程序，并可以存储输入到电子设备1000或从电子设备1000输出的数据。
根据实施例的存储器1700可以存储生成HDR图像所需的数据。例如，存储器1700可以存储用于生成HDR图像的多个图像。此外，存储器1700可以存储根据实施例生成的HDR图像。
存储器1700可以包括闪存类型、硬盘类型、多媒体卡微型、卡型存储器(例如，安全数字(SD)或极端数字(XD)存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。
存储在存储器1700中的程序可以基于功能划分为多个模块，并且例如可以划分为用户界面(UI)模块1710、触摸屏模块1720和通知模块1730。
UI模块1710可以提供专用UI或图形用户界面(GUI)，可与电子设备1000针对每个应用进行交互操作。触摸屏模块1720可以检测用户在触摸屏上的触摸手势，并将关于触摸手势的信息发送给处理器1300。根据一些实施例的触摸屏模块1720可以识别和分析触摸代码。触摸屏模块1720可以被配置为包括控制器的独立硬件。
可以在触摸屏内部或附近提供各种传感器，以感测触摸屏上的触摸或接近触摸。用于感测触摸屏上触摸的传感器示例包括触觉传感器。触觉传感器是一种传感器，其感测特定物体的接触程度大于或等于人能感觉到的程度。触觉传感器可以感测各种类型的信息，诸如接触表面的粗糙度、接触对象的刚度和接触点的温度。
用户的触摸手势可以包括轻触、按住、双击、拖动、平移、轻弹、拖放、滑动等。
通知模块1730可以生成用于通知电子设备1000的事件发生的信号。
图4是根据实施例的生成HDR图像的方法的流程图。
参考图4，在操作410中，电子设备1000可以获得以不同曝光捕获的多个图像。例如，电子设备1000可以通过使用包括在电子设备1000中的相机，通过以不同曝光设置捕获图像来获得多个图像。根据实施例，电子设备1000可以通过从外部接收以不同曝光捕获的多个图像来获得多个图像。
在操作420中，电子设备1000可以生成表示多个图像之间对应的区域的变换矩阵。可以基于从多个图像中提取的全局特征点和局部特征点的匹配结果来生成根据实施例的变换矩阵。
根据实施例，可以从多个图像中检测全局特征点，并且从多个图像中的每一个检测到的全局特征点之间对应的特征点可以彼此匹配。
根据实施例的全局特征点可以是指示图像的特征区域的点，并且可以是例如ORB特征点。全局特征点不限于此，并且可以是能够指示整个图像的特征区域的各种类型的特征点。根据实施例，在从每个图像检测到全局特征点之后，可以匹配图像之间对应的全局特征点。
根据实施例，匹配全局特征点的结果可以表示为能够指示两个图像之间对应的区域的变换矩阵。然而，匹配全局特征点的结果不限于此，并且可以用指示在多个图像之间对应的区域的各种方法来表示。
在操作430中，电子设备1000可以基于在操作420中检测到的全局特征点来额外检测局部特征点。根据实施例，电子设备1000可以通过基于匹配全局特征点的结果执行块搜索来检测多个图像的局部特征点。检测到的局部特征点可以在多个图像之间相互匹配。
根据实施例，可以将多个图像中的一个确定为参考图像。例如，可以将多个图像中具有中间曝光的图像确定为参考图像。可以将参考图像分割为多个块，并且可以将块的中心点确定为局部特征点。
根据实施例的电子设备1000可以执行块搜索以搜索分别对应于参考图像的块的非参考图像的块。可以根据用于通过使用参考图像的块和非参考图像的块之间的差值之和来搜索块的绝对差之和(sum of absolute difference，SAD)方法执行根据实施例的块搜索。
根据实施例，基于匹配全局特征点的结果，可以确定要确定其是否对应于参考图像的任何一个块的非参考图像的区域。例如，可以基于根据匹配全局特征点的结果生成的变换矩阵，基于与参考图像的块区域相对应的非参考图像的区域来确定要执行块搜索的非参考图像的区域。
根据实施例，可以根据两个图像之间的相似性来确定要执行块搜索的非参考图像的区域，该相似性可以根据归一化互相关(normalized cross correlation，NCC)方法来确定。例如，要执行块搜索的区域可以根据基于NCC方法确定的两个图像之间的相似性，从非参考图像的区域被确定，该区域对应于参考图像的块区域，并且由根据全局特征点匹配的结果生成的变换矩阵指示。
根据实施例，可以根据执行块搜索的结果，将非参考图像的块的中心点(对应于参考图像的块)检测为局部特征点。局部特征点可以与参考图像的块的局部特征点匹配。
然而，实施例不限于此，并且电子设备1000可以基于匹配全局特征点的结果，经由用于执行块搜索的各种方法来检测局部特征点，并且匹配多个图像之间的局部特征点。
根据实施例，可以排除局部特征点之间不一致的局部特征点，而不用于生成变换矩阵。例如，与相邻局部特征点的匹配结果不同，发生对象移动的局部特征点与相对较远的局部特征点相匹配，因此匹配结果可能不一致。根据实施例的电子设备1000可以基于全局特征点和排除不一致的局部特征点之后剩余的局部特征点生成混合贴图。
因此，根据实施例，可以在变换矩阵中保持匹配图像区域的一致性，因为排除了对象已经发生移动的局部特征点。
在操作440中，电子设备1000可以基于在操作420中生成的变换矩阵来确定图像之间对应的每个区域的移动程度。此外，在操作450中，电子设备1000可以基于移动程度生成混合贴图。
根据实施例的混合贴图可以包括0到1之间的权重值，该权重值指示针对每个像素混合多个图像的比率。根据实施例，可以确定最终获得的混合贴图的权重值，使得针对一个像素的图像的权重值之和为1。例如，根据混合贴图，可以通过将权重值应用于多个图像的像素来生成基于多个图像的HDR图像。
根据实施例的混合贴图可以根据基于移动程度确定的去鬼影贴图和基于像素强度确定的良好曝光贴图来获得。
当基于根据参考图像和非参考图像之间的图像差异针对每个像素确定的移动程度来确定要应用于每个图像的权重值时，可以生成根据实施例的去鬼影贴图。例如，可以通过确定混合比率来生成去鬼影贴图，该混合比率指示基于移动程度在HDR图像中反映与参考图像相比的非参考图像的像素的程度。
根据实施例的图像差异可以由对象的曝光、噪声和移动生成。根据实施例，可在其中通过曝光或噪声中的至少一个生成图像差异的区域中确定混合比率，使得可以显著反映非参考图像的细节。同时，在通过对象的移动生成图像差异的区域中，非参考图像可以包括鬼影伪影，因此可以确定非参考图像的混合比率低。
可以基于根据每个像素的强度确定的混合比率来生成根据实施例的良好曝光贴图。例如，当可以具有介于0和1之间的值的像素强度接近0.5时，可以确定具有更大值的混合比率，因为该区域可以包括更多细节。
当简单地乘以根据去鬼影贴图确定的权重值和根据良好曝光贴图确定的权重值时，可以生成根据实施例的混合贴图。然而，实施例不限于此，并且可以基于去鬼影贴图和良好曝光贴图，经由各种方法生成混合贴图。
在操作450中，电子设备1000可以基于在操作440中确定的混合贴图，通过混合多个图像来生成HDR图像。根据实施例的混合贴图可以包括可以应用于多个图像中包括的每个像素的权重值。
根据实施例混合的多个图像中的非参考图像可以是其中包括在生成混合贴图时确定的对象的移动的区域的像素被参考图像的像素替换的图像。
根据实施例，可以逐步混合多个图像。例如，可以根据根据与参考图像混合的非参考图像的特征设置的条件，按照非参考图像的数量执行多次级混合。因此，根据实施例，可以生成其中减少了光晕伪影的生成的HDR图像，并且尽可能多地反映非参考图像中包括的细节。
例如，可以首先基于第一非参考图像的权重值执行参考图像和第一非参考图像之间的混合。此外，还可以基于第二非参考图像的权重值，执行通过混合参考图像和第一非参考图像而获得的图像与第二非参考图像之间的混合。
可以基于根据实施例的混合贴图对其中混合了多个图像的图像进一步执行色调贴图、噪声滤波和边缘增强。然而，实施例不限于此，并且可以对HDR图像执行用于图像优化的各种操作。
图5是示出根据实施例的不同曝光的图像的示例的图。
参考图5，可以基于不同曝光的多个图像501、502和503生成根据实施例的HDR图像504。根据实施例的多个图像501、502和503可以包括根据曝光的短曝光图像501、中等曝光图像502和长曝光图像503。图像之间的曝光差异可以是均匀的或不同的，但不限于此，并且各种曝光差异的图像可以用于HDR图像生成。
根据实施例的不同曝光的多个图像501、502和503可以是由一个相机顺序捕获的图像。替代地，不同曝光的多个图像501、502和503可以是通过使用多个不同相机捕获的图像。
在根据实施例的多个图像501、502和503中，很可能包括相对更多细节的图像可以被设置为参考图像，其余图像可以被设置为非参考图像。根据实施例，介质曝光图像502包括大多数细节，因此可以被设置为参考图像。
根据实施例，可以基于三个或更多个图像生成HDR图像。并且，可以将三个或更多个图像中的中等曝光图像设置为参考图像以生成HDR图像。
图6是根据实施例的用于描述匹配特征点的方法的框图。
参考图6，可以经由特征点匹配获得非参考图像和参考图像之间的变换矩阵。根据实施例的变换矩阵可以包括图像之间对应的区域。例如，当参考图像是中等曝光图像502时，可以获得参考图像和短曝光图像501之间的变换矩阵以及参考图像和长曝光图像053之间的变换矩阵。
根据实施例的特征点可以包括全局匹配点和局部特征点，并且局部特征点可以是可以基于全局匹配点从图像中提取的特征点。
在全局特征点提取和匹配610期间，电子设备1000可以通过比较非参考图像和参考图像来提取全局特征点，并且匹配图像之间对应的全局特征点。根据实施例的全局特征点可以包括指示图像特征的各种类型的特征点。
在变换矩阵生成620期间，电子设备1000可以根据全局特征点的匹配结果生成非参考图像和参考图像之间的变换矩阵。根据实施例的变换矩阵可以指示根据全局特征点的匹配结果确定的、非参考图像和参考图像之间对应的区域。
在局部特征点提取和匹配630期间，电子设备1000可以基于根据全局特征点的匹配结果生成的变换矩阵，从非参考图像和参考图像中提取局部特征点，并匹配局部特征点。根据实施例的参考图像的局部特征点可以被确定为通过将参考图像分割成多个块而生成的每个块的中心点。
根据实施例的参考图像的局部特征点可以经由对非参考图像执行的块搜索与非参考图像的局部特征点匹配。根据实施例，电子设备1000可以经由块搜索来搜索与参考图像的局部特征点的块相对应的非参考图像的块。此外，电子设备1000可以提取找到的参考图像的块的中心点作为与参考图像的局部特征点匹配的局部特征点。可以对非参考图像的区域执行根据实施例的块搜索，该区域对应于根据变换矩阵确定的参考图像的块。
在变换矩阵生成640期间，电子设备1000可以基于全局特征点和局部特征点的匹配，在生成参考图像和非参考图像之间的变换矩阵H。
在根据实施例的局部特征点中，可以从变换矩阵生成中排除与相邻局部特征点的匹配结果不一致的局部特征点。例如，当由于对象的移动而获得匹配的局部特征点的位置与匹配背景的局部特征点的位置相对较远时，可以排除匹配的局部特征点。
可以针对每个非参考图像生成根据实施例的变换矩阵。例如，可以生成参考图像和短曝光图像501之间的变换矩阵，以及参考图像和长曝光图像503之间的变换矩阵。
图7是示出根据实施例的全局特征点和局部特征点的示例的图。
图7的附图标记710和720分别示出参考图像和非参考图像的全局特征点711和721，附图标记730和740一起分别示出参考图像和非参考图像的全局特征点和局部特征点731和741。
参照附图标记710和720中所示的全局特征点711和721，全局特征点仅覆盖图像的部分区域。因此，在仅由全局特征点生成的变换矩阵中可能会出现许多误差。然而，与全局特征点不同，附图标记730和740中所示的局部特征点731和741可以覆盖图像的大部分区域。因此，基于局部特征点和全局特征点的变换矩阵可能比仅使用全局特征点生成的变换矩阵误差更小。
图8是根据实施例的用于描述生成混合贴图的方法的框图。
参考图8，可以基于去鬼影贴图810到860和良好曝光贴图870生成混合贴图。
根据实施例的混合贴图可以包括0到1之间的权重值W1、W2和W3，其可以被应用于图像的每个像素。根据实施例，可以针对图像1、2和3针对每个像素生成权重值W1、W2和W3。这里，可以生成权重值W1、W2和W3，使得权重值W1、W2和W3之和为1。
此外，根据实施例，去鬼影贴图和良好曝光贴图可以包括适用于图像的每个像素的权重值，如混合贴图。例如，可以为去鬼影贴图生成针对每个像素要应用于图像1、2和3的权重值WM1、WM2和WM3。类似地，可以为良好曝光贴图生成针对每个像素要应用于图像1、2和3的权重值WE1、WE2和WE3。
可以经由直方图匹配810和820、移动分析830和850以及图像差异分析840和850来生成根据实施例的图像。
在根据实施例的直方图匹配810和820期间，电子设备1000可以匹配参考图像(图像2)和非参考图像(图像1和3)之间的直方图。根据根据实施例的直方图匹配，在调整图像的颜色分布以彼此匹配时，可以匹配两个图像之间的亮度和颜色感觉。
根据实施例，在两个图像的直方图匹配之后，可以执行移动分析830和850以及图像差异分析840和860。
可以根据根据实施例的移动分析830和850来确定对象在两个图像之间的移动程度。此外，在图像差异分析840和860期间，可以基于移动程度确定参考图像(图像2)与非参考图像(图像1和3)的混合比率。
因此，根据实施例，根据良好曝光贴图混合图像的像素值，而根据良好曝光贴图，可以在已经发生移动的部分区域中降低非参考图像的混合程度。
根据实施例，可以根据图像的瓦片来执行移动分析830和850。因此，可以为具有移动的部分区域确定与没有移动的区域不同的混合比率。
根据实施例，可以根据根据特征点匹配110获得的变换矩阵来识别两个图像之间对应的区域(其中确定了移动程度)。
根据实施例的移动程度可以被确定为检测到对象在两个图像之间的移动。例如，可以根据用于确定经由块搜索确定的对应块的移动的SAD技术来确定移动程度。然而，实施例不限于此，并且可以根据用于两个图像之间的移动检测的各种方法来确定根据实施例的移动程度。
可以与移动程度成反比地确定根据实施例的图像差异分析840和860确定的混合比率。例如，在两个图像之间的移动程度高的区域中，可以确定非参考图像(图像1或3)的混合比率低。
因此，根据实施例，非参考图像(图像1或3)的混合比率可以从两个图像之间已经发生差异的图像区域中被确定为在移动程度高的区域中具有低值。另一方面，非参考图像(图像1或3)的混合比率可以从两个图像之间已经发生差异的图像区域中被确定为在移动程度低但曝光差异或噪声差异高的区域中具有高值。
根据实施例，为了防止由于曝光差异而将图像的纹理区域的移动程度确定为高值，尽管没有移动，但是可以在对该区域应用平滑滤波器之后确定移动程度。
根据实施例，可以基于参考图像的混合比率WM2为1的情况，根据移动程度，针对每个像素确定经由图像差异分析840和860确定的非参考图像的混合比率WM1和WM3。根据实施例，可以生成包括针对非参考图像的每个像素确定的混合比率的混合贴图。
在根据实施例的曝光分析870期间，可以针对每个像素确定基于图像1到3的强度值的权重值WE1、WE2和WE3。根据实施例的每个像素的强度值可以被确定为0或1的值。例如，可以根据像素值的亮度值来确定像素的强度。例如，当亮度值接近0时，可以将像素的强度确定为接近0的值。实施例不限于此，并且可以根据各种方法确定指示像素值的强度的各种值。
根据实施例，在图像之间对应的像素中，可以确定具有中间强度的像素以包括细节。因此，根据实施例的权重值可以根据像素的强度值是否接近0.5而被确定为高值。
此外，根据实施例，可以根据每个像素的强度值位于高斯曲线上的位置来确定权重值。例如，高斯曲线中心的x轴可以被确定为强度值0.5，其y轴可以被确定为权重值1，并且当像素的强度值排列在高斯曲线上时，可以确定要应用于每个像素的权重值。
根据实施例，可以根据根据特征点匹配110获得的变换矩阵来识别在确定权重值的多个图像之间对应的像素。根据实施例，当根据根据变换矩阵识别的多个图像的像素的强度值确定要应用于像素的权重值时，可以生成良好曝光贴图。
根据实施例，可以确定良好曝光贴图的权重值W1、W2和W3，使得针对一个像素确定的权重值之和为1(W1+W2+W3＝1)。
在根据实施例的复用880期间，可以基于去鬼影贴图和充分曝光贴图生成混合贴图。
根据实施例，可以对WM1、WM2和WM3以及WE1、WE2和WE3执行复用880，因此可以生成包括针对每个像素的W1、W2和W3的混合贴图。例如，可以基于经由WM1和WE1的简单乘法获得的值来获得W1。类似地，W2和W3可以基于经由WM2和WE2的简单乘法获得的值以及经由WM3和WE3的简单乘法获得的值来获得。根据实施例，可以调整W1、W2和W3的值，使得获得的W1、W2和W3之和为1。
根据实施例，可以对确定为在用参考图像的像素值替换区域之后发生移动的区域的非参考图像的区域执行混合130。例如，可以用对应于区域的参考图像的像素值替换移动程度等于或大于参考值的非参考图像的区域的像素值。
图9是示出根据实施例的曝光差异的示例的图。
参考图9，可以从不同曝光的图像910和920识别曝光差异。例如，由于曝光差异，区域911中显示的一些树叶和树枝可能不会显示在区域921中。此外，由于曝光差异，在区域912中显示的一些树叶和树枝可能不会显示在区域922中。
根据实施例，区域911和912的像素值的权重值可以根据良好曝光贴图被确定为更高的值。此外，由于在区域911和912中不会发生移动，因此良好曝光贴图的权重值可能不会通过去鬼影贴图进行调整。
图10是示出根据实施例的移动差的示例的图。
参考图10，附图标记1020和1030表示不同曝光的多个图像1010中的非参考图像的图像贴图。与去鬼影贴图1020不同，去鬼影贴图1030被处理为使得由曝光差异引起的图像差异不被识别为移动。在去鬼影贴图中，接近0的区域可能显示得更暗。
根据根据实施例的去鬼影贴图1020和1030，如图10所示，可以为已经发生移动的、箭头指示的区域1021确定低混合比率，因为移动程度被确定为高。
图11是示出根据实施例的根据图像金字塔方法混合不同曝光的图像1111到1113的示例的图。
根据实施例的多个图像1111到1113可以根据基于混合贴图确定的权重值，根据图像金字塔方法被混合。在根据实施例被混合的多个图像1111到1113中，非参考图像可以是其中根据移动程度，非参考图像的一些区域的像素值已经被参考图像的像素值替换的图像。
根据根据实施例的图像金字塔方法，当每个图像的混合贴图被下采样到每个层的不同分辨率时，可以生成高斯金字塔。此外，可以为每个图像生成拉普拉斯金字塔。
根据实施例的拉普拉斯金字塔可以从高斯金字塔生成。例如，n级中的拉普拉斯金字塔图像可以被确定为n级的高斯金字塔图像和n-1级的高斯金字塔图像之间的差异图像。
根据实施例，可以在每一层中混合根据拉普拉斯金字塔生成的图像，作为应用根据高斯金字塔生成的混合贴图的权重值。在调整各层中混合的图像的分辨率之后，可以再次级混合各层中混合的图像，因此可以生成HDR图像。
根据根据混合贴图混合多个图像的金字塔方法，根据实施例，可以减少诸如轮廓或接缝的噪声，但是可能生成光晕伪影或者被混合的非参考图像的细节可能丢失。
例如，当层的数量低时，可能在HDR图像中生成光晕伪影，并且当层的数量高时，包括在被混合的图像中的细节可能未充分包括在HDR图像中，并且可能丢失。
在图11中，附图标记1120表示根据11级金字塔混合的HDR图像的示例，附图标记1140表示根据8级金字塔混合的HDR图像的示例。附图标记1130和1150分别表示根据金字塔方法混合之前的图像，以及包括在附图标记1120和1140中丢失的细节的图像的示例。
参考附图标记1120，当层的数量高时，图像细节可能由于区域1121中的饱和区域的生成而丢失。此外，附图标记1130中的细节1131和1132可能不会反映在附图标记1120中。
参考附图标记1140，当层的数量低时，可能在区域1141和1142中生成光晕伪影。
图12是用于描述根据实施例的基于混合贴图混合多个图像的方法的框图。
参考图12，对其执行混合的图像1′和图像3′可以是其中根据移动程度用参考图像(图像2)的像素值替换图像1和3的像素值的图像。然而，实施例不限于此，并且图像1′和3′可以是其中像素值未根据移动程度被替换的图像。
根据实施例，多个图像不是一次级混合的，而是可以根据主混合1201和次级混合1203逐步混合。
在根据实施例的主混合1201期间，可以混合参考图像(图像2)和作为非参考图像之一的图像1′。根据混合贴图确定的W1可以被应用于图像1′，且1-W1可以被应用于参考图像。
根据实施例的主混合的图像1′可以是短曝光图像，通过包括与参考图像相比的暗区域，包括参考图像的饱和区域的细节。此外，根据实施例的次级混合的图像3′可以是长曝光图像，通过包括与参考图像相比的亮区域，包括参考图像的暗区域的细节。
根据实施例，在每个步骤中，可以根据根据关于与参考图像混合的非参考图像的细节的特征确定的金字塔级别来执行混合。根据实施例的金字塔级别可以被确定为这样的值，即，根据关于非参考图像的细节的特征，减少光晕伪影并且将非参考图像的细节尽可能多地反映到HDR图像。
例如，根据主混合1201，当混合短曝光图像时，可以根据其中减少饱和区域和光晕伪影并且可以充分反映短曝光图像的细节的等级(例如，相对高的等级)的金字塔来执行混合。此外，可以在调整作为混合贴图的权重值的W1或1-W1中的至少一个之后执行混合，使得根据级别的金字塔减少饱和区域和光晕伪影，并且充分反映短曝光图像的细节。
此外，根据次级混合1203，在混合长曝光图像时，可以根据其中充分反映长曝光图像的细节的等级的金字塔(例如，相对低的等级，阿尔法混合)来执行混合。
因此，根据实施例，根据基于要被混合的图像适当地确定的金字塔级别来执行混合，因此可以生成其中噪声被减少并且非参考图像的细节被尽可能多地反映的HDR图像。
在根据实施例的主混合1201期间，可以根据上面的金字塔方法基于W1和1-W1混合图像1′和图像2，它们是图像的混合贴图。例如，主混合的图像可以被生成为针对W1和1-W1的高斯金字塔被分别应用于图像1′和图像2的拉普拉斯金字塔。实施例不限于此，并且在主混合1201期间，可以根据各种方法基于混合贴图来混合图像1′和图像2。
在根据实施例的直方图匹配1202期间，可以调整图像3′的直方图，使得主混合的图像和图像3′的直方图匹配。在根据实施例的直方图匹配1202期间，当调整作为短曝光图像的图像3′的直方图时，可以随着图像3′的强度的增加而减少次级混合1203期间所需的金字塔级别的数量。
在根据实施例的次级混合1203期间，可以混合主混合的图像和图像3′。根据混合贴图确定的W3可以被应用于图像3′，并且1-W3可以被应用于主混合的图像。
在根据实施例的次级混合1203期间，根据上述金字塔方法，可以基于1-W3和W3来混合主混合的图像和图像3′，它们是图像的混合贴图。例如，次级混合的图像可以被生成为针对1-W3和W3的高斯金字塔被分别应用于主混合的图像和图像3'的拉普拉斯金字塔。实施例不限于此，并且在次级混合1203期间，可以根据各种方法基于混合贴图来混合主混合的图像和图像3′。
根据实施例，可以从次级混合的图像获得HDR图像。例如，可以通过对次级混合的图像进一步执行用于图像优化操作(诸如色调贴图、噪声滤波和边缘增强)来获得HDR图像。实施例不限于此，并且可以通过对次级混合的图像进一步执行用于优化图像的各种类型的操作来最终获得HDR图像。
图13是示出根据实施例的混合图像的示例的图。
图13的附图标记1301表示用于短曝光图像(图像3′)的8级金字塔中的混合贴图的示例，附图标记1302表示其中在用于短曝光图像(图像3′)的8级金字塔中控制权重值的混合贴图的示例。根据实施例，如在附图标记1302中，可以根据控制权重值的混合贴图来执行混合，使得减少饱和区域和光晕伪影，并且充分反映短曝光图像的细节。根据实施例，可以在金字塔级别高的主混合1201期间控制混合贴图的权重值。
图13的附图标记1303和1305分别表示主混合的图像和次级混合的图像的示例，附图标记1304表示包括用于与混合图像进行比较的暗区域的细节的长曝光图像的示例。
在附图标记1303的主混合的图像中，可以经由与短曝光图像混合来减少饱和区域和光晕伪影。此外，附图标记1305的次级混合的图像还可以经由与长曝光图像混合来包括参考图像中包括的暗区域的细节。
根据实施例，在减少HDR图像中包括的鬼影伪影和光晕伪影的同时，可以生成每个图像中包括的细节被充分反映到的HDR图像。
实施例还可以以记录介质的形式实现，该记录介质包括可由计算机执行的指令，诸如由计算机执行的程序模块。计算机可读记录介质可以是计算机可访问的任意可用介质，其示例包括所有易失性和非易失性介质以及可分离和不可分离介质。此外，计算机可读记录介质的示例可以包括计算机存储介质和通信介质。计算机存储介质的示例包括所有易失性和非易失性介质以及通过任意方法或技术实现的可分离和不可分离介质，用于存储诸如计算机可读命令、数据结构、程序模块和其他数据的信息。通信介质通常包括计算机可读指令、数据结构或程序模块，并且包括任意信息传输介质。
此外，在说明书中，术语“单元”可以是诸如处理器或电路的硬件组件和/或由诸如处理器的硬件组件执行的软件组件。
提供本发明的上述描述是为了说明，本领域的普通技术人员将理解，在不脱离以下权利要求所定义的本发明的基本特征和范围的情况下，可以容易地在形式和细节上进行各种改变。因此，上述实施例是所有方面的示例，不受限制。例如，描述为单一类型的每个组件可以分布式方式实现，类似地，描述为分布式的组件可以组合形式实现。
本发明的范围由所附权利要求书而不是详细描述来定义，并且在所附权利要求书及其等效物的范围内的所有变更或修改将被解释为包括在本发明的范围内。

Claims (15)

1.一种生成高动态范围HDR图像的方法，所述方法包括：
获得以不同曝光程度捕获的多个图像；
生成指示所述多个图像之间对应的区域的至少一个变换矩阵；
基于所述变换矩阵，确定所述多个图像之间对应的每个区域的移动程度；
基于所确定的移动程度，生成指示所述多个图像在每个像素中的混合比率的混合贴图；以及
基于所述混合贴图，通过混合所述多个图像来生成所述HDR图像。
2.根据权利要求1所述的方法，其中，所述至少一个变换矩阵的生成包括：
从所述多个图像中检测与所述多个图像中包括的特征相对应的全局特征点，并在所述多个图像之间匹配所述全局特征点；
基于所述全局特征点的匹配结果，搜索所述多个图像之间对应的块；
将找到的块的中心点检测为局部特征点，并匹配所述多个图像之间对应的所述局部特征点；以及
基于所述全局特征点和所述局部特征点的匹配结果，生成所述至少一个变换矩阵。
3.根据权利要求2所述的方法，其中，当生成所述变换矩阵时，从检测到的局部特征点中排除匹配结果与相邻局部特征点的匹配结果不一致的局部特征点。
4.根据权利要求1所述的方法，其中，所述混合贴图是基于基于所述移动程度确定的去鬼影贴图和基于像素值的强度确定的良好曝光贴图而生成的。
5.根据权利要求1所述的方法，其中，从所述多个图像中设置参考图像和多个非参考图像，以及
所述HDR图像的生成包括基于所述混合贴图，通过相对于所述参考图像逐步混合所述多个非参考图像来生成所述HDR图像。
6.根据权利要求5所述的方法，其中，所述混合是基于与所述参考图像混合的所述非参考图像的细节相关的特征来执行的。
7.根据权利要求6所述的方法，其中，在当前步骤中，基于关于被混合的所述非参考图像细节的特征，通过确定金字塔级别的数量以及通过所确定的金字塔级别的数量将所述参考图像和所述非参考图像分解为不同的分辨率来执行所述混合，所述金字塔级别指示被分解为不同分辨率的所述参考图像和所述非参考图像的数量。
8.一种用于生成高动态范围HDR图像的电子设备，所述电子设备包括：
相机，被配置为获得以不同曝光程度捕获的多个图像；
至少一个处理器，被配置为：
生成指示所述多个图像之间对应的区域的至少一个变换矩阵；
基于所述变换矩阵，确定所述多个图像之间对应的每个区域的移动程度；
基于所确定的移动程度，生成指示所述多个图像在每个像素中的混合比率的混合贴图；以及
基于所述混合贴图，通过混合所述多个图像来生成所述HDR图像；以及
存储器，存储所生成的HDR图像。
9.根据权利要求8所述的电子设备，其中，所述至少一个处理器还被配置为：
从所述多个图像中检测与所述多个图像中包括的特征相对应的全局特征点，并在所述多个图像之间匹配所述全局特征点；
基于所述全局特征点的匹配结果，搜索所述多个图像之间对应的块；
将找到的块的中心点检测为局部特征点，并匹配所述多个图像之间对应的所述局部特征点；以及
基于所述全局特征点和所述局部特征点的匹配结果，生成所述至少一个变换矩阵。
10.根据权利要求9所述的电子设备，其中，当所述变换矩阵被生成时，从检测到的局部特征点中排除匹配结果与相邻局部特征点的匹配结果不一致的局部特征点。
11.根据权利要求8所述的电子设备，其中，所述混合贴图是基于基于所述移动程度确定的去鬼影贴图和基于像素值的强度确定的良好曝光贴图而生成的。
12.根据权利要求8所述的电子设备，其中，从所述多个图像中设置参考图像和多个非参考图像，以及
所述至少一个处理器还被配置为基于所述混合贴图，通过相对于所述参考图像逐步混合所述多个非参考图像来生成所述HDR图像。
13.根据权利要求12所述的电子设备，其中，所述混合是基于与所述参考图像混合的所述非参考图像的细节相关的特征来执行的。
14.根据权利要求13所述的电子设备，其中，在当前步骤中，基于关于被混合的所述非参考图像细节的特征，通过确定金字塔级别的数量以及通过所确定的金字塔级别的数量将所述参考图像和所述非参考图像分解为不同的分辨率来执行所述混合，所述金字塔级别指示被分解为不同分辨率的所述参考图像和所述非参考图像的数量。
15.一种计算机可读记录介质，其上记录有用于实现权利要求1至7中任一权利要求所述的方法的程序。
CN201980095412.9A 2019-02-15 2019-11-06 生成hdr图像的电子设备及其操作方法 Pending CN113874907A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/277,630 2019-02-15
US16/277,630 US11128809B2 (en) 2019-02-15 2019-02-15 System and method for compositing high dynamic range images
KR1020190139734A KR20200099955A (ko) 2019-02-15 2019-11-04 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
KR10-2019-0139734 2019-11-04
PCT/KR2019/014937 WO2020166791A1 (ko) 2019-02-15 2019-11-06 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN113874907A true CN113874907A (zh) 2021-12-31

Family

ID=72044084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095412.9A Pending CN113874907A (zh) 2019-02-15 2019-11-06 生成hdr图像的电子设备及其操作方法

Country Status (3)

Country Link
EP (1) EP3920132A4 (zh)
CN (1) CN113874907A (zh)
WO (1) WO2020166791A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565597B (zh) * 2022-03-04 2024-05-14 昆明理工大学 一种基于YOLO v3-tiny-DB和迁移学习的夜间道路行人检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
CN107637064A (zh) * 2015-06-08 2018-01-26 深圳市大疆创新科技有限公司 用于图像处理的方法和设备
KR102243292B1 (ko) * 2017-06-02 2021-04-22 한국전자기술연구원 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체

Also Published As

Publication number Publication date
WO2020166791A1 (ko) 2020-08-20
EP3920132A4 (en) 2022-04-06
EP3920132A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
KR20200099955A (ko) Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
US11025814B2 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
CN107197169B (zh) 一种高动态范围图像拍摄方法及移动终端
US9451173B2 (en) Electronic device and control method of the same
US9600741B1 (en) Enhanced image generation based on multiple images
CN110475072B (zh) 拍摄图像的方法、装置、终端和存储介质
CN105874776B (zh) 图像处理设备和方法
CN111062981B (zh) 图像处理方法、装置及存储介质
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
WO2019091411A1 (zh) 拍摄图像的方法、装置、终端和存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
US11977981B2 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US10341557B2 (en) Image processing apparatuses and methods
KR20180098065A (ko) 디스플레이 장치 및 그 제어 방법
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
US20200244875A1 (en) Electronic device and method for processing line data included in image frame data into multiple intervals
US20170019615A1 (en) Image processing method, non-transitory computer-readable storage medium and electrical device thereof
WO2016097468A1 (en) Method, apparatus and computer program product for blur estimation
CN114897745A (zh) 一种扩展图像动态范围的方法及电子设备
US11102397B2 (en) Method for capturing images, terminal, and storage medium
CN108305262A (zh) 文件扫描方法、装置及设备
CN104394320A (zh) 处理图像的方法、装置以及电子设备
CN107395983B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
US10122937B2 (en) Method and apparatus for processing image obtained by camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination