CN110728644B - 图像生成方法、装置、电子设备和可读存储介质 - Google Patents
图像生成方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN110728644B CN110728644B CN201910961386.5A CN201910961386A CN110728644B CN 110728644 B CN110728644 B CN 110728644B CN 201910961386 A CN201910961386 A CN 201910961386A CN 110728644 B CN110728644 B CN 110728644B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- alignment
- images
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像生成方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法通过获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像。接着，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐，最后，计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。如此，基于划分得到的对齐区域来对准图像，有效提高了图像的对准精度，从而提高了去鬼影的效果。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像生成方法、装置、电子设备和可读存储介质。
背景技术
高动态范围图像(High-Dynamic Range，HDR)，相比普通的图像，可以提供更多的动态范围和图像细节。其原理为根据不同的曝光时间的低动态范围图像(Low-DynamicRange，LDR)，并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好的反映出真实环境中的视觉效果。
移动设备在拍摄HDR图像的过程中，会先获取不同曝光的多张LDR图像，然后合成为一张HDR图像。由于手持设备在拍摄过程中难免出现抖动会造成图像之间的偏移和扭曲，并且拍摄场景中会出现运动的物体，这些都会造成在图像合成的过程中图像内容不一致，而导致合成的图像出现重影的现象，这种现象我们称之为鬼影。
目前，在去除HDR图像鬼影的方法中，需要先对准多张图像，进而去除鬼影，如何提高图像对准的精度，从而提高去鬼影的效果是亟需解决的问题。
发明内容
基于上述问题，本申请提供了一种图像生成方法、装置、电子设备和可读存储介质。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种图像生成方法，所述方法包括：
获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像；
基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐；
计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。
在可选的实施方式中，所述计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像的步骤之前，所述方法还包括：
计算变换对齐后的所述非基准图像的鬼影区域，获得多个鬼影图像；
根据各所述鬼影图像对所述基准图像进行填补处理。
在可选的实施方式中，所述根据各所述鬼影图像对所述基准图像进行填补处理的步骤包括：
根据所述鬼影图像中像素点的像素值获得所述基准图像中的待填补区域；
针对所述待填补区域中的每个第一像素点，获得各所述非基准图像中与所述第一像素点对应的第二像素点，基于所述第二像素点的相邻像素点计算得到所述第一像素点的相邻像素点的块误差值，获得最小块误差值；
以具有最小块误差值的相邻像素点作为基准像素点，并计算得到该基准像素点的相邻像素点的块误差值，获得更新的最小块误差值，直至达到预设迭代次数时，获得最终的最小块误差值对应的最终的基准像素点；
利用所述非基准图像中与所述最终的基准像素点对应的第二像素点对所述第一像素点进行填补。
在可选的实施方式中，所述获取多个具有不同曝光度的初始图像，针对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域的步骤包括：
获取多个具有不同曝光度的初始图像，对各所述初始图像进行预处理，以将各所述初始图像的亮度调节一致；
针对每个预处理后的初始图像，将所述初始图像划分为多个预设大小的对齐区域。
在可选的实施方式中，所述对各所述初始图像进行预处理，以将各所述初始图像的亮度调节一致的步骤包括：
针对多个初始图像中的非基准图像，根据所述非基准图像的曝光度对所述非基准图像的亮度值进行调节，以将所述非基准图像的亮度值调节为所述基准图像的亮度值一致。
在可选的实施方式中，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐的步骤包括：
针对每个所述非基准图像，获取所述非基准图像以及所述基准图像内每个对齐区域内的特征点，根据获得的特征点计算得到变换公式；
针对每个所述对齐区域，根据所述变换公式将所述非基准图像的特征点向所述基准图像的特征点变换对齐。
在可选的实施方式中，所述获取所述非基准图像以及所述基准图像内每个对齐区域内的特征点，根据获得的特征点计算得到变换公式的步骤包括：
针对每个所述非基准图像，对该非基准图像的每个对齐区域进行特征点检测，以获取每个对齐区域内的特征点；
对非基准图像与基准图像中对应的对齐区域进行特征点匹配，获得多个匹配点对；
根据所述匹配点对，基于预设变换方式计算得到所述非基准图像的变换公式。
在可选的实施方式中，所述计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像的步骤包括：
根据变换对齐后的初始图像的红色通道值、绿色通道值及蓝色通道值，按照以下公式计算所述变换对齐后的初始图像的初始权重：
其中，Weightx(i)为所述初始图像的初始权重，I(i，r)为所述初始图像在i坐标点的红色通道值，I(i，g)为所述初始图像在i坐标点的绿色通道值，I(i，b)为所述初始图像在i坐标点的蓝色通道值；
基于所述鬼影图像将各个初始图像的初始权重进行二值化及归一化处理，获得多个最终权重；
按各所述最终权重将变换对齐后的各所述非基准图像及所述基准图像加权融合，以获得最终结果图像。
第二方面，本申请实施例提供一种图像生成装置，所述装置包括：
区域划分模块，用于获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像；
变换对齐模块，用于基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐；
计算模块，用于计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。
第三方面，本申请实施例提供一种电子设备，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任意一项所述的图像生成方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的图像生成方法。
本申请实施例提供了一种图像生成方法、装置、电子设备和可读存储介质，该方法通过获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像。接着，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐，最后，计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。如此，基于更为精细的对齐区域对准图像，有效提高了图像的对准精度，从而提高了去鬼影的效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图；
图2为本申请实施例提供的图像生成方法的流程图；
图3为本申请实施例提供的图像生成方法中的子步骤流程图之一；
图4为本申请实施例提供的图像生成方法中的子步骤流程图之二；
图5为本申请实施例提供的图像生成方法中的子步骤流程图之三；
图6为本申请实施例提供的图像生成装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-图像生成装置；131-区域划分模块；132-变换对齐模块；133-计算模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
经发明人研究发现，目前，现有的技术方案在处理鬼影图像时，大多会对图像先进行对齐操作，然后再进行鬼影区域检测，鬼影区域利用选定的一个参考帧的内容来融合，从而得到去鬼影的HDR结果图。但是，利用局部的对齐算法对齐经常会出现不准的结果，导致去鬼影出现问题。而利用全局的对齐算法则无法对齐局部的偏移，图像的对准效果较差，如何提高图像的对准精度，从而进一步提高去鬼影的效果，是值得研究的问题。
基于上述研究，本申请实施例提出了一种图像生成方法、装置、电子设备和可读存储介质。该方法将多个不同曝光度的图像划分多个预设大小的对齐区域，通过对齐不同图像中每个对齐区域内的匹配点对来对齐图像，以提高图像的对准精度。下面对上述方法进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述设备可以包括处理器120、存储器110、图像生成装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行图像生成方法的步骤。
所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。图像生成装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述图像生成装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random Access memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，图2为本实施例提供的一种图像生成方法的流程图。下面对图2所示的具体流程进行详细描述。
S1，获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像。
本申请实施例中，通过电子设备100获得连续拍摄的曝光度不同的多张图像。具体来说，可以是在电子设备100上设定不同曝光度的多个数值，当用户操作拍摄键时，移动设备基于设定的多个数值自动地拍摄多张图像。另外，由于采用HDR技术能够通过重叠多张图像来获得渲染效果较好的图像，并且，初始图像的数量越多，最终获得的HDR图像效果越好，但是考虑到电子设备100多为手机等计算能力不强的移动设备，本申请实施例中，在保证效果以及处理速度的前提下，采用三张图像作为初始图像，例如，欠曝光图像，正常曝光图像以及过曝光图像，并将正常曝光图像作为基准图像，其他欠曝光图像及过曝光图像作为非基准图像。
为了简洁清楚地描述本申请中的技术方案，在整个图像生成过程中均以上述三张初始图像为例进行说明。
可选地，请参阅图3，可通过S11-S12的步骤来获取多个具有不同曝光度的初始图像，针对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域。
S11，获取多个具有不同曝光度的初始图像，对各所述初始图像进行预处理，以将各所述初始图像的亮度调节一致。
针对多个初始图像中的非基准图像，根据所述非基准图像的曝光度对所述非基准图像的亮度值进行调节，以将所述非基准图像的亮度值调节为所述基准图像的亮度值一致。
可选地，通过以下公式将所述非基准图像的亮度调节为与基准图像的亮度值一致：
其中，I′(i)为调节完成后的图像，EV为非基准图像的曝光值，I(i)为所述非基准图像。
S12，针对每个预处理后的初始图像，将所述初始图像划分为多个预设大小的对齐区域。
可选地，对齐区域可以是任意大小的矩形或三角形。其面积越小，对齐后的精度越大。
本申请实施例中，为了获得较好的对齐效果，采用的是三角形的对齐区域。可选地，可以先将各初始图像划分为多个矩形区域，接着，对每个矩形区域做对角线，获得各所述矩形区域的中心点，根据所述中心点及各所述矩形区域的顶点划分得到多个三角形对齐区域。
例如，针对分辨率为1000×1000的初始图像，可以先将初始图像划分为大小为20×20的矩形区域，接着将每个矩形区域分为4个等大的三角形，如此可获得多个三角形的对齐区域。
S2，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐。
在将上述初始图像直接叠加融合来获得结果图像时，由于多张图像不可能是在同一场景的同一时刻下拍摄的，所以会发生由于手抖动或物体本身移动等原因而引起的图像偏移的现象。在这种情况下，由这些图像直接合成后的图像会出现鬼影，因而，在合成图像之前需要先执行将多张图像进行对齐的处理。而为了进一步提高对齐精度，减少鬼影现象的产生，本申请实施例中采用划分后的对齐区域将非基准图像的特征点向基准图像的特征点变换对齐。
请参阅图4，可通过S21-S22的步骤将各所述非基准图像的特征点向所述基准图像的特征点变换对齐。
S21，针对每个所述非基准图像，获取所述非基准图像以及所述基准图像内每个对齐区域内的特征点，根据获得的特征点计算得到变换公式。
首先，针对每个所述非基准图像，对该非基准图像的每个对齐区域进行特征点检测，以获取每个对齐区域内的特征点。可选地，可使用尺度不变特征转换(Scale-invariantfeature transform，SIFT)算法、角点检测与特征描述(ORiented Brief，OBF)算法或加速稳健特征(SpEEded-Up Robust Features，SURF)算法对每个对齐区域进行特征点检测。其具体原理可参考现有技术，在此不做赘述。
接着，对非基准图像与基准图像中对应的对齐区域进行特征点匹配，获得多个匹配点对。由于单个对齐区域的面积较小，因此，特征点检测以及匹配的速度会在一定程度上提高，更适用于手机等移动设备的处理。
最后，根据所述匹配点对，基于预设变换方式计算得到所述非基准图像的变换公式。可选地，预设的变换方式可使用投影变换、单应性变换和刚性变换。在使用时，可根据实际需要选择。特别地，本申请实施例中采用单应性变换计算得到所述非基准图像的变换公式。
S22，针对每个所述对齐区域，根据所述变换公式将所述非基准图像的特征点向所述基准图像的特征点变换对齐。
S3，计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。
作为一种实施方式，可直接计算出变换对齐后的非基准图像的权重及基准图像的权重，并按权重将变换对齐后的非基准图像及基准图像加权融合，获得最终结果图像。其具体原理及过程可参考现有技术，在此不做赘述。
但是，发明人研究发现，在去鬼影合成最终图像的过程中，若基准图像的过曝区域出现物体的移动，直接利用基准图像填充会导致最终结果图像的过曝区域内的信息缺失，使得该区域呈现为白色或者灰色，去除鬼影的效果较差。
因此，作为另一种实施方式，请结合参阅图5，本申请实施例在加权融合非基准图像与基准图像以获得最终结果图像前，还针对基准图像进行了进一步处理，即，S100-S200所示的步骤，以避免最终结果图像的过曝区域出现信息缺失，提高去鬼影的效果。下面对图5中S100-S200所示的步骤进行详细说明。
S100，计算变换对齐后的所述非基准图像的鬼影区域，获得多个鬼影图像。
首先，可选地，可按照以下公式分别计算非基准图像与所述基准图像的差异值：
其中，n＝8，j＝[0，7]，I0为基准图像，Ia为非基准图像。
由上述差异值获得的差异值图像均为三值图像，像素点的像素值为0的区域为非鬼影区，像素值为128的区域为正常曝光值对应的鬼影区，像素值为255的区域为过曝光值对应的鬼影区。
接着，可根据预设阈值对各所述差异值得到的差异值图像进行二值化处理，并对二值化处理后的差异值图像进行连通区域检测，得到多个初始鬼影图像。
其中，预设阈值可以为32，当像素值大于该预设阈值时将此像素值设置为128，反之，则设置为0。同时，对二值化处理后的差异值图像进行连通区域检测，获得多个连通区域后，可根据每个连通区域中的像素点的坐标，对基准图像进行取值，当基准图像中对应的像素点的像素值大于250时，则认为该点为基准图像的过曝点。
当某一连通区域中过曝点的概率大于10％时，则可将该连通区域视为过曝区域，将该过曝区域中像素点的每个像素值设置为255，如此，可获得初始鬼影图像。
最后，对初始鬼影图像进行去噪处理，即可获得鬼影图像。可选地，可使用形态学操作先对初始鬼影图进行腐蚀操作，再对腐蚀操作后的初始鬼影图进行膨胀操作，以去除初始鬼影图像的噪声。本申请实施例中，针对分辨率为1000×1000的非基准图像，使用腐蚀半径为3，膨胀半径为7，可获得较好的效果。
S200，根据各所述鬼影图像对所述基准图像进行填补处理。
首先，根据所述鬼影图像中像素点的像素值获得所述基准图像中的待填补区域。
由于经过研究发现，基准图像中的过曝光区域容易出现信息缺失，因此，本申请实施例中将基准图像的像素点的像素值为255的区域作为待填补区域。
接着，针对所述待填补区域中的每个第一像素点，获得各所述非基准图像中与所述第一像素点对应的第二像素点，基于所述第二像素点的相邻像素点计算得到所述第一像素点的相邻像素点的块误差值，从而获得最小块误差值。
本申请实施例中，所述第一像素点的相邻像素点为第一像素点的4领域的像素点。例如，第一像素点的坐标值为(x，y)。则其相邻像素点(4领域的像素点)的坐标值分别为：(x-1，y)、(x+1，y)、(x，y+1)以及(x，y-1)。
其中，块误差值可通过该第一像素点与第二像素点计算获得。例如，需要计算第一像素点的相邻像素点(x-1，y)的块误差，则将基准图像中坐标值为(x，y)的8领域的像素值与非基准图像中坐标值为(x-1，y)分别求差值，然后再对差值的绝对值求平均值，即为该像素点的块误差值，其他像素点的块误差值计算方式同理。
然后，以具有最小块误差值的相邻像素点作为基准像素点，并计算得到该基准像素点的相邻像素点的块误差值，获得更新的最小块误差值，直至达到预设迭代次数时，获得最终的最小块误差值对应的最终的基准像素点。在本申请实施例中，预设迭代次数可以为5次。
最后，利用所述非基准图像中与所述最终的基准像素点对应的第二像素点对所述第一像素点进行填补。
如此，经过多次迭代寻找到块误差最小的像素点，并使用非基准图像中的第二像素点对基准图像可能存在信息缺失的像素点进行填补，可以有效提高去鬼影效果。
在此实施方式中，获得基于填补后的基准图像及非基准图像进行融合得到最终结果图像，可按照下面的步骤进行处理。
首先，根据变换对齐后的初始图像的红色通道值、绿色通道值及蓝色通道值，按照以下公式计算所述变换对齐后的初始图像的初始权重：
其中，Weightx(i)为所述初始图像的初始权重，I(i，r)为所述初始图像在i坐标点的红色通道值，I(i，g)为所述初始图像在i坐标点的绿色通道值，I(i，b)为所述初始图像在i坐标点的蓝色通道值。
接着，基于所述鬼影图像将各个初始图像的初始权重进行二值化及归一化处理，获得多个最终权重。
本申请实施例中，将鬼影图像中像素点的像素值为128和255的区域所对应的非基准图像的初始权重的值更新为1，将鬼影图像中像素点的像素值为128和255的区域所对应的基准图像的初始权重的值更新为0。如此，对上述初始权重进行二值化。
在二值化处理之后及归一化处理之前，还需要对二值化后的初始权重进行滤波处理，可选地，可以选用导向滤波及双向滤波方法对其滤波处理。其具体原理及方式可参考现有技术。
同时，以非基准图像为欠曝光图像和过曝光图像，基准图像为正常曝光图像为例，可通过以下公式对分别其滤波后的初始权重进行归一化。
其中，Weight0(i)为正常曝光图像的滤波后的初始权重，Weight1(i)为欠曝光图像的滤波后的初始权重，Weight2(i)为过曝光图像的滤波后的初始权重，Wy(i)为图像y对应的归一化初始权重图，y＝[0，1，2]，分别对应正常曝光图像、欠曝光图像及过曝光图像，
最后，按各所述最终权重将变换对齐后的各所述非基准图像及所述填补处理后的基准图像加权融合，以获得最终结果图像。
同样以非基准图像为欠曝光图像和过曝光图像，基准图像为正常曝光图像为例，可通过以下公式按各所述最终权重将变换对齐后的各所述非基准图像及填补处理后的所述基准图像加权融合，以获得最终结果图像。
Ir(i)＝W0(i)*I0(i)+W1(i)*Ia-(i)+W2(i)*Ia+(i)
其中，Ir(i)为最终结果图像，W0(i)为正常曝光图像的最终权重，W1(i)为前曝光图像的最终权重，W2(i)为过曝光图像的最终权重，I0(i)为填补处理后的正常曝光图像，Ia-(i)为变换对齐后的欠曝光图像，Ia+(i)为变换对齐后的过曝光图像。
如此，通过对基准图像进行了进一步的填补处理，避免了最终结果图像的过曝区域出现信息缺失，提高了去鬼影的效果。
可选地，本申请实施例还可以通过预设的Tone Mapping(色调映射)方法将生成的最终结果图像(为HDR图像)的格式转换为可在LDR设备上进行显示的格式。该转换方法可以是Reinhard02或Reinhard05算法。其具体原理可参阅现有技术，在此不做赘述。
请参阅图6，本申请实施例还提供了一种图像生成装置130，所述装置包括：
区域划分模块131，用于获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像。
变换对齐模块132，用于基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐。
计算模块133，用于计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。
可以理解，本申请实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。
本申请实施例还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的图像生成方法。
综上所述，本申请实施例提供了一种图像生成方法、装置、电子设备100及可读存储介质，该方法通过获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像。接着，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐，最后，计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像。如此，基于更为精细的对齐区域对准图像，有效提高了图像的对准精度，同时，提出对基准图像进行填补，避免了最终结果图像的过曝区域出现信息缺失，提高了去鬼影的效果。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种图像生成方法，其特征在于，所述方法包括：
获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像；
基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐；
计算变换对齐后的所述非基准图像的鬼影区域，获得多个鬼影图像；根据各所述鬼影图像对所述基准图像进行填补处理；
计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像；
其中，所述根据各所述鬼影图像对所述基准图像进行填补处理的步骤包括：
根据所述鬼影图像中像素点的像素值获得所述基准图像中的待填补区域；
针对所述待填补区域中的每个第一像素点，获得各所述非基准图像中与所述第一像素点对应的第二像素点，基于所述第二像素点的相邻像素点计算得到所述第一像素点的相邻像素点的块误差值，获得最小块误差值；
以具有最小块误差值的相邻像素点作为基准像素点，并计算得到该基准像素点的相邻像素点的块误差值，获得更新的最小块误差值，直至达到预设迭代次数时，获得最终的最小块误差值对应的最终的基准像素点；
利用所述非基准图像中与所述最终的基准像素点对应的第二像素点对所述第一像素点进行填补。
2.根据权利要求1所述的图像生成方法，其特征在于，所述获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域的步骤包括：
获取多个具有不同曝光度的初始图像，对各所述初始图像进行预处理，以将各所述初始图像的亮度调节一致；
针对每个预处理后的初始图像，将所述初始图像划分为多个预设大小的对齐区域。
3.根据权利要求2所述的图像生成方法，其特征在于，所述对各所述初始图像进行预处理，以将各所述初始图像的亮度调节一致的步骤包括：
针对多个初始图像中的非基准图像，根据所述非基准图像的曝光度对所述非基准图像的亮度值进行调节，以将所述非基准图像的亮度值调节为所述基准图像的亮度值一致。
4.根据权利要求1所述的图像生成方法，其特征在于，基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐的步骤包括：
针对每个所述非基准图像，获取所述非基准图像以及所述基准图像内每个对齐区域内的特征点，根据获得的特征点计算得到变换公式；
针对每个所述对齐区域，根据所述变换公式将所述非基准图像的特征点向所述基准图像的特征点变换对齐。
5.根据权利要求4所述的图像生成方法，其特征在于，所述获取所述非基准图像以及所述基准图像内每个对齐区域内的特征点，根据获得的特征点计算得到变换公式的步骤包括：
针对每个所述非基准图像，对该非基准图像的每个对齐区域进行特征点检测，以获取每个对齐区域内的特征点；
对非基准图像与基准图像中对应的对齐区域进行特征点匹配，获得多个匹配点对；
根据所述匹配点对，基于预设变换方式计算得到所述非基准图像的变换公式。
6.根据所述权利要求1所述的图像生成方法，其特征在于，所述计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像的步骤包括：
根据变换对齐后的初始图像的红色通道值、绿色通道值及蓝色通道值，按照以下公式计算所述变换对齐后的初始图像的初始权重：
其中，Weightx(i)为所述初始图像的初始权重，I(i,r)为所述初始图像在i坐标点的红色通道值，I(i,g)为所述初始图像在i坐标点的绿色通道值，I(i,b)为所述初始图像在i坐标点的蓝色通道值；
基于所述鬼影图像将各个初始图像的初始权重进行二值化及归一化处理，获得多个最终权重；
按各所述最终权重将变换对齐后的各所述非基准图像及所述基准图像加权融合，以获得最终结果图像。
7.一种图像生成装置，其特征在于，所述装置包括：
区域划分模块，用于获取多个具有不同曝光度的初始图像，对每个所述初始图像按预设方式进行区域划分，得到多个预设大小的对齐区域，其中，多个初始图像包括基准图像及多个非基准图像；
变换对齐模块，用于基于所述对齐区域，将各所述非基准图像的特征点向所述基准图像的特征点变换对齐；
计算模块，用于计算得到变换对齐后的非基准图像的权重及基准图像的权重，按所述权重将变换对齐后的各所述非基准图像及基准图像加权融合，以获得最终结果图像；
其中，所述计算模块还用于计算变换对齐后的所述非基准图像的鬼影区域，获得多个鬼影图像；根据各所述鬼影图像对所述基准图像进行填补处理；
所述计算模块用于执行所述根据各所述鬼影图像对所述基准图像进行填补处理：
根据所述鬼影图像中像素点的像素值获得所述基准图像中的待填补区域；
针对所述待填补区域中的每个第一像素点，获得各所述非基准图像中与所述第一像素点对应的第二像素点，基于所述第二像素点的相邻像素点计算得到所述第一像素点的相邻像素点的块误差值，获得最小块误差值；
以具有最小块误差值的相邻像素点作为基准像素点，并计算得到该基准像素点的相邻像素点的块误差值，获得更新的最小块误差值，直至达到预设迭代次数时，获得最终的最小块误差值对应的最终的基准像素点；
利用所述非基准图像中与所述最终的基准像素点对应的第二像素点对所述第一像素点进行填补。
8.一种电子设备，其特征在于，包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-6任意一项所述的图像生成方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6中任一项所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961386.5A CN110728644B (zh) | 2019-10-11 | 2019-10-11 | 图像生成方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961386.5A CN110728644B (zh) | 2019-10-11 | 2019-10-11 | 图像生成方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728644A CN110728644A (zh) | 2020-01-24 |
| CN110728644B true CN110728644B (zh) | 2022-06-21 |
Family
ID=69220925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910961386.5A Active CN110728644B (zh) | 2019-10-11 | 2019-10-11 | 图像生成方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728644B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022000176A1 (zh) * | 2020-06-29 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 红外图像处理方法、电子设备及计算机可读存储介质 |
| CN113298187B (zh) * | 2021-06-23 | 2023-05-12 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质 |
| CN113808054B (zh) * | 2021-11-19 | 2022-05-06 | 北京鹰瞳科技发展股份有限公司 | 用于对眼底图像的视盘区域进行修复的方法和相关产品 |
| CN116740182B (zh) * | 2023-08-11 | 2023-11-21 | 摩尔线程智能科技(北京)有限责任公司 | 一种鬼影区域确定方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
| CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| CN106204513A (zh) * | 2016-08-15 | 2016-12-07 | 厦门美图之家科技有限公司 | 图像处理的方法、装置和系统 |
| CN107454330A (zh) * | 2017-08-24 | 2017-12-08 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN109242811A (zh) * | 2018-08-16 | 2019-01-18 | 广州视源电子科技股份有限公司 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7848592B2 (en) * | 2006-07-31 | 2010-12-07 | Carestream Health, Inc. | Image fusion for radiation therapy |
| US20120236133A1 (en) * | 2011-03-18 | 2012-09-20 | Andrew Charles Gallagher | Producing enhanced images from anaglyph images |
-
2019
- 2019-10-11 CN CN201910961386.5A patent/CN110728644B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
| CN104463172A (zh) * | 2014-12-09 | 2015-03-25 | 中国科学院重庆绿色智能技术研究院 | 基于人脸特征点形状驱动深度模型的人脸特征提取方法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| CN106204513A (zh) * | 2016-08-15 | 2016-12-07 | 厦门美图之家科技有限公司 | 图像处理的方法、装置和系统 |
| CN107454330A (zh) * | 2017-08-24 | 2017-12-08 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN109242811A (zh) * | 2018-08-16 | 2019-01-18 | 广州视源电子科技股份有限公司 | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| Minimum Spanning Tree Hierarchically Fusing Multi-feature Points and High-Dimensional Features for Medical Image Registration;Shaomin Zhang et al.;《2011 Sixth International Conference on Image and Graphics》;20110830;全文 * |
| 高动态范围全景图像的生成方法研究;陈小楠;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190415;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728644A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728644B (zh) | 图像生成方法、装置、电子设备和可读存储介质 | |
| CN110622497B (zh) | 具备具有不同焦距的相机的设备及实现相机的方法 | |
| WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| CN108898567B (zh) | 图像降噪方法、装置及系统 | |
| US10834316B2 (en) | Image processing apparatus, image processing method, and imaging system | |
| US9591237B2 (en) | Automated generation of panning shots | |
| US9558543B2 (en) | Image fusion method and image processing apparatus | |
| CN109712102B (zh) | 一种图像融合方法、装置及图像采集设备 | |
| CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| CN109474780B (zh) | 一种用于图像处理的方法和装置 | |
| WO2017016050A1 (zh) | 一种图像的预览方法、装置及终端 | |
| WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
| US20090028462A1 (en) | Apparatus and program for producing a panoramic image | |
| KR20140112909A (ko) | 파노라마 영상을 생성하는 전자 장치 및 방법 | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| WO2017113917A1 (zh) | 成像方法、成像装置和终端 | |
| CN109040596B (zh) | 一种调整摄像头的方法、移动终端及存储介质 | |
| CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN111598777A (zh) | 天空云图的处理方法、计算机设备和可读存储介质 | |
| CN113439286A (zh) | 处理合成图像中的图像数据 | |
| US9466007B2 (en) | Method and device for image processing | |
| TW201824178A (zh) | 全景即時影像處理方法 | |
| CN114049288A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
| US20150262028A1 (en) | Image processing apparatus, image processing method and image processing program | |
| CN109151299B (zh) | 一种用于对焦的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |