CN109360163A - 一种高动态范围图像的融合方法及融合系统 - Google Patents
一种高动态范围图像的融合方法及融合系统 Download PDFInfo
- Publication number
- CN109360163A CN109360163A CN201811123003.9A CN201811123003A CN109360163A CN 109360163 A CN109360163 A CN 109360163A CN 201811123003 A CN201811123003 A CN 201811123003A CN 109360163 A CN109360163 A CN 109360163A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- ldr image
- pixel
- ldr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 352
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 230000002085 persistent effect Effects 0.000 claims description 30
- 230000003068 static effect Effects 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000008034 disappearance Effects 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 239000004576 sand Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 14
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种高动态范围图像的融合方法及融合系统，其方法包括：对低动态范围图像序列中的每幅LDR图像进行目标检测得到初始检测框，依据预设比例扩大初始检测框后，从LDR图像上提取备选检测框内的待分割区域，对待分割区域进行分割后得到分割目标；对分割目标进行运动状态判定，并将运动目标合并在一个背景图像中，得到运动目标分割图像；对曝光质量最高的LDR图像进行像素聚类，获取超像素分割图像，并且根据超像素分割图内的每一超像素映射在运动目标分割图像中的运动目标上的像素个数，对运动目标分割图像和每幅LDR图像进行加权融合，得到高动态范围图像。本发明提高了运动目标检测及判定的准确性，使得高动态范围图像中的运动目标更清晰。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高动态范围图像的融合方法及融合系统。
背景技术
高动态范围HDR图像可以通过对同一场景下拍摄的低动态范围图像LDR序列进行融合得到，很好的与该场景下人眼所见的真实细节保持一致，以供应用于游戏、电影、摄像机等诸多领域。由于该场景下存在不确定性的运动物体及运动信息，导致HDR图像出现“鬼影”或模糊现象，从而严重降低图像质量。
相关技术中，为了消除HDR图像中的“鬼影”或模糊现象，主要采用两种方法：一种方式是通过改进摄像机内部的硬件结构，在较短时间内拍摄前述场景下的HDR图像，这种方法大幅度地提高了摄像机的成本，难以广泛应用于不同领域；另一种方法是通过优化低动态范围图像LDR序列的融合算法，融合得到无“鬼影”的HDR图像，这种优化融合算法的方式，相较于改进摄像机的方式，以较低成本更容易广泛应用在不同领域。
其中，优化融合算法的方式，通过色调映射、融合、压缩等方法获得细节丰富、亮度适中的HDR图像，HDR图像主要分为静态和动态两大类：对于静态HDR图像，一种方式是标定相机响应函数CRF得到初始辐射量图，标定方法可以采用Mitsunaga和Nayar提出的一种多项式拟合标定CRF的方法，迭代计算多项式系数与曝光比，进而使用色调压缩静态HDR图像，使静态HDR图像能够显示于普通显示器，此种方式映射误差大且程序运行时间长，导致静态HDR图像的融合效率低；另一种方式，利用LDR图像序列中相邻LDR图像的灰度直方图拟合得到灰度映射函数的方法，容易受到曝光过度或者欠曝光区域的影响，导致映射函数错误。
对于动态HDR图像，在融合LDR图像前，普遍先对LDR图像序列按照参考图像对齐，然后通过像素级最大化与参考图像的相似度构建HDR图像，例如：LDR图像序列中参考图像及其与其他图像的密集相关性，并利用局部单应性校正错误的相关性。
然而，上述优化融合算法的方式仍然是基于像素或区块级别融合多个LDR图像，得到HDR图像，都欠缺考虑运动目标结构，会遗漏较小的运动目标或者检测较大运动目标的运动状态不准确。
发明内容
本发明所要解决的技术问题是针对现有技术在基于像素或区块融合HDR图像过程中，欠缺考虑运动目标结构，遗漏较小运动目标的不足，提供一种高动态范围图像的融合方法及融合系统。
本发明解决上述技术问题的技术方案如下：
依据本发明的第一方面，提供了一种高动态范围图像的融合方法，包括：
步骤100、对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅所述LDR图像上的所有初始检测框，依据预设比例分别扩大每个所述初始检测框后得到对应的备选检测框，分别从每幅所述LDR图像上提取对应的每个所述备选检测框内的待分割区域，分别对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有分割目标；
步骤200、对每个所述分割目标进行运动状态判定，获取所有所述分割目标中的运动目标，其中，所述运动状态至少包括消失、出现和持续运动中的任一种；
步骤300、将所述运动状态为消失或出现或持续运动的每个所述运动目标合并在一个背景图像中，得到运动目标分割图像；
步骤400、对曝光质量最高的一幅所述LDR图像进行像素聚类，得到超像素分割图像；
步骤500、获取所述超像素分割图像内的每个超像素映射在所述运动目标分割图像中的对应所述运动目标上的像素个数，计算所述像素个数占据对应的所述超像素的像素比例，根据所有所述像素比例对所述运动目标分割图像和每幅所述LDR图像进行加权融合，得到高动态范围图像。
本发明的有益效果是：在LDR图像上将初始检测框扩大后得到备选检测框，能够以备选检测框检测初始检测框中未检测到的较小目标，从LDR图像上提取备选检测框内的待分割区域，待分割区域相较于LDR图像更小，提高了待分割区域中的目标相对于待分割区域的比例，相比于直接从LDR图像中分割出分割目标，对待分割区域分割得到分割目标，分割目标不仅可以包含较小目标，并且较大目标的目标细节更加清晰。
对上述分割目标进行运动状态判定，排除运动状态为未运动的静态目标，提高了提取运动目标的准确性；将曝光质量最高的LDR图像作为参考图像，对参考图像进行超像素分割后，相较于传统的基于像素级融合多个LDR图像得到高动态范围图像，根据超像素相较于运动目标分割图像中的像素比例，加权融合运动目标分割图像和多个LDR图像，提高了高动态范围图像的融合效率，高动态范围图像可以仅包含运动目标，运动目标的细节更加清晰。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤100具体包括：
步骤110、基于深度学习的目标实例分割网络对所述低动态范围图像序列中的每幅所述LDR图像内的目标进行检测，得到每幅所述LDR图像上的所有所述初始检测框；
步骤120、在每幅所述LDR图像上将对应的每个所述初始检测框的周边位置扩展所述预设比例，得到对应的所述备选检测框，并从所述LDR图像上提取每个所述备选检测框内的所述待分割区域；
步骤130、基于所述目标实施例分割网络对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有所述分割目标。
上述进一步方案的有益效果是：采用基于深度学习的实例分割网络对分割目标进行目标级实例分割，结合对待分割区域的重分割策略，保证分割目标分割的完整性和全面性。
进一步，所述步骤130具体包括：
步骤131、基于所述目标实施例分割网络对所述待分割区域进行检测，得到所述待分割区域上的热点检测框，并从所述待分割区域上提取所述热点检测框内的热点分割目标；
步骤132、对所述热点检测框与所述初始检测框进行匹配，获取热点分割目标在所述热点检测框与所述初始检测框上的重合度；
步骤132、根据所述重合度和预设阈值，判定所述热点分割目标是否为从同一所述LDR图像上重复分割出的分割目标，并将从同一所述LDR图像上重复分割出的所述热点分割目标合并为一个所述分割目标。
上述进一步方案的有益效果是：为了克服同一目标会重复分割而重复输出的问题，在初始检测框上叠合热点检测框，计算热点分割目标在热点检测框和初始检测框中的重合面积，该重合面积即为重合度；当重合度超过预设阈值时，判定热点分割目标为同一LDR图像上重复分割出的分割目标，热点分割目标表示在同一LDR图像上且从不同待分割区域中重复分割出的分割目标；将热点分割目标合并为一个分割目标，避免同一LDR图像上的同一分割目标重复输出，提高分割目标的输出准确率。
进一步，所述步骤200具体包括：
步骤210、对于任意两幅相邻排列的第一LDR图像和第二LDR图像，按照先后顺序依次对所述第一LDR图像和所述第二LDR图像进行光流检测，得到前向光流图，并且按照先后顺序依次对所述第二LDR图像和所述第一LDR图像进行光流检测，得到后向光流图；
步骤220、将所述第一LDR图像中的所述分割目标与所述第二LDR图像中的所述分割目标进行匹配，得到匹配结果；
步骤230、根据所述匹配结果、所述前向光流图和所述后向光流图确定判断因子，根据所述判断因子对所述第一LDR图像和所述第二LDR图像中的所述分割目标进行运动状态判定，得到所述运动目标。
上述进一步方案的有益效果是：在分割目标匹配的基础上，再结合匹配结果、前向光流图和后向光流图，计算判断因子，提高判断因子的准确性，通过判断因子判定分割目标的运动状态，提高了运动状态的判定效率。
进一步，所述运动状态还包括未运动，所述步骤230具体包括：
步骤231、判断所述匹配结果是否为匹配成功，若否，则执行步骤232，若是，则执行步骤233；
步骤232、判定所述第一LDR图像与述第二LDR图像中匹配不成功的所述分割目标的运动状态为消失或出现，获取所述运功状态为消失或出现的第一运动目标；
步骤233、对所述第一LDR图像和所述第二LDR图像中任意两个匹配成功的所述分割目标进行叠合，得到重叠度判断因子；
步骤234、对于任意两个匹配成功的所述分割目标，将所述第一LDR图像中的所述分割目标与所述前向光流图进行对比，将所述第二LDR图像中的所述分割目标与所述后向光流图进行对比，获取光流变化量判断因子；
步骤235、根据所述重叠度判断因子和所述光流变化量判断因子，按照预定的判断标准，判定任意两个匹配成功的所述分割目标的运动状态为持续运动或未运动，提取所述运动状态为持续运动的第二运动目标，过滤所述运动状态为未运动的目标。
上述进一步方案的有益效果是：以匹配第一LDR图像和第二LDR图像中分割目标的方式，在第一LDR图像上不存在第二LDR图像上的分割目标时，判定该分割目标的运动状态为消失；在第二图像上不存在第一LDR图像上的分割目标时，判定该分割目标的运动状态为出现，可以快速筛选出多幅LDR图像中的多个运动状态为消失或者出现的第一运动目标，提高第一运动目标的筛选效率。
对于第一LDR图像和第二LDR图像上互为匹配的分割目标，结合重叠度判断因子和光流变化量判断因子，衡量互为匹配的分割目标在空间上的运动位姿变化，按照预定的判断标准，判定运动状态为持续运动或未运动，进一步筛选出运动状态为持续运动的第二运动目标，排除未运动的分割目标，实现复杂运动状态下快速筛选运动目标。
进一步，所述判断标准以第一公式表示，所述第一公式为：
其中，i代表由任意两个匹配成功的所述分割目标组成的分割目标对，motion1i代表所述分割目标对i的所述重叠度判断因子，motion2i代表所述分割目标对i的光流变化量判断因子，yi代表所述分割目标对i的运动状态为持续运动或未运动；
所述重叠度判断因子由第二公式表示，所述第二公式为：
motion1i＝overlapi/(box1i+box2i-overlapi)
其中，overlapi代表所述分割目标对i的重叠面积，box1i、box2i分别代表所述分割目标对i中每个所述分割目标的最小检测框面积，最小检测框为一个能够包围某个所述分割目标的最小二维框体；
所述光流变化量判断因子有第三公式表示，所述第三公式为：
motion2i＝(error1i+error2i)/2
其中，error1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标相较于所述前向光流图的像素变化量，error2i代表所述分割目标对i在所述第二LDR图像中的所述分割目标相较于所述后向光流图的像素变化量；
或者，所述第三公式为：
motion2i＝(wrap1i-seg1i+wrap2i-seg2i)/(area1i+area2i)
其中，wrap1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标映射于所述前向光流图的像素数量，wrap2i代表所述分割目标对i在所述第二LDR图像中的所述分割目标映射于所述后向光流图的像素数量，seg1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标的像素总数，seg1i代表所述分割目标对i在所述第二LDR图像中的所述分割目标的像素总数，area1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标所对应的所述最小检测框的像素总数，area1i代表所述分割目标对i在所述第二LDR图像中的所述分割目标所对应的所述最小检测框的像素总数。
上述进一步方案的有益效果是：通过重叠度判断因子衡量一个分割目标在空间上的运动位置变化，通过光流变化量判断因子衡量该分割目标在空间上的运动姿势变化，并且重叠度判断因子和光流变化量判断因子对判定第二运动目标的影响方向相反，归一化于第一公式，第一公式的取值范围介于0-1，便于量化分析持续运动和未运动两种运动状态，提高该两种运动状态的判定精度。
重叠度判断因子的取值越大，表示前述分割目标在空间上的运动位置变化越小，光流变化量判断因子的取值越大，表示前述分割目标在空间上的运动姿势变化越大。
进一步，所述步骤300具体包括：
步骤310、在所述背景图像上分别添加所述第一运动目标和所述第二运动目标；
步骤320、对所述第一运动目标和所述第二运动目标均赋予不同于所述背景图像的权重值，得到所述运动目标分割图像。
上述进一步方案的有益效果是：针对第一运动目标和第二运动目标，赋予权重值相同且不同于背景图像的权重值，便于从运动目标分割图像中辨别出运动目标，提高了对运动目标分割图像进行分区域融合的效率。
进一步，所述步骤500具体包括：
步骤510、将所述超像素分割图像与所述运动目标分割图像进行叠合，获取每个所述超像素所对应的所述像素个数，并计算所述像素个数与对应的所述超像素之间的比值得到对应的所述像素比例；
步骤520、当所述像素比例超过预设比例时，对在所述运动目标分割图像中且与所述像素比例所对应的所述超像素映射的区域块赋予与所述运动目标相同的权重，得到所述运动目标分割图像内的动态区域和除所述动态区域之外的静态区域；
步骤530、采用空间域权重融合算法，根据每幅所述LDR图像对所述静态区域进行加权融合；
步骤540、采用泊松融合算法，对经过加权融合后的所述静态区域和所述动态区域进行亮度融合，得到所述高动态范围图像。
上述进一步方案的有益效果是：当超像素映射于运动目标分割图像中的运动目标的像素比例超过预设比例时，利用超像素补全运动目标分割图像中的运动目标的边缘，克服运动目标在运动目标分割图像上的完整性问题，保证运动目标的完整性和精细化。
进一步，所述空间域权重融合算法以第四公式表示，所述第四公式为：
其中，N代表所述低动态范围图像中的所述LDR图像的总幅数，k代表所述LDR图像，i、j代表所述LDR图像k中融合像素点的横向位置和纵向位置，Rij为所述低动态范围图像序列中不同所述LDR图像位于空间域相同位置的融合像素点的亮度加权值，Iij,k代表所述LDR图像k中融合像素点ij的亮度值，Wij,k代表所述LDR图像k中融合像素点ij的贡献权重值，所述贡献权重值以第五公式表示，所述第五公式为：
其中，Cij,k、Sij,k、Eij,k依次代表所述LDR图像k中融合像素点ij的对比度、饱和度和曝光质量，ωc、ωs和ωE依次代表所述对比度Cij,k、所述饱和度Sij,k和所述曝光质量Eij,k的重要程度。
上述进一步方案的有益效果是：在过度曝光或者曝光欠缺的LDR图像上像素点较多分布于极端点，通过对前述对比度、饱和度和曝光质量三个因子进行重要程度评价，调整该三个因子的权重，可以最大限度的实现高动态范围图像上像素点的均匀效应。
依据本发明的第二方面，提供了一种高动态范围图像的融合系统，包括：分割模块、判定模块、合并模块、聚类模块和融合模块；
所述分割模块，用于对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅所述LDR图像上的所有初始检测框，依据预设比例分别扩大每个所述初始检测框后得到对应的备选检测框，分别从每幅所述LDR图像上提取对应的每个所述备选检测框内的待分割区域，分别对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有分割目标；
所述判定模块，用于对每个所述分割目标进行运动状态判定，得到所有所述分割目标中的运动目标，其中，所述运动状态至少包括消失、出现和持续运动中的任一种；
所述合并模块，用于将所述运动状态为消失或出现或持续运动的每个所述运动目标合并在一个背景图像中，得到运动目标分割图像；
所述聚类模块，用于对曝光质量最高的一幅所述LDR图像进行像素聚类，得到超像素分割图像；
所述融合模块，用于获取所述超像素分割图像内的每个超像素映射在所述运动目标分割图像中的对应所述运动目标上的像素个数，计算所述像素个数在对应的所述超像素中占据的像素比例，根据所有所述像素比例对所述运动目标分割图像和每幅所述LDR图像进行加权融合，得到高动态范围图像。
附图说明
图1为本发明实施例提供的一种高动态范围图像的融合方法的流程示意图；
图2为对应于图1中步骤100中检测待分割区域内的分割目标的流程示意图；
图3a为本发明实施例提供的前向光流图；
图3b为本发明实施例提供的后向光流图；
图4为本发明实施例提供的运动目标示意图；
图5为本发明实施例提供的高动态范围图像融合示意图；
图6为本发明的实施例提供的一种高动态范围图像的融合系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
如图1所示，本发明实施例的一种高动态范围图像的融合方法流程示意图，本实施例以行人作为目标进行描述，包括：
步骤100、对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅LDR图像上的所有初始检测框，依据预设比例分别扩大每个初始检测框后得到对应的备选检测框，分别从每幅LDR图像上提取对应的每个备选检测框内的待分割区域，分别对每个待分割区域进行分割，得到每个待分割区域内的所有分割目标。
步骤200、对每个分割目标进行运动状态判定，得到所有分割目标中的运动目标，其中，运动状态至少包括消失、出现和持续运动中的任一种。
步骤300、将运动状态为消失或出现或持续运动的每个运动目标合并在一个背景图像中，得到运动目标分割图像。
步骤400、对曝光质量最高的一幅LDR图像进行像素聚类，得到超像素分割图像。
步骤500、获取超像素分割图像内的每个超像素映射在运动目标分割图像中的对应运动目标的像素个数，计算像素个数占据对应的超像素的像素比例，根据所有像素比例对运动目标分割图像和每幅LDR图像进行加权融合，得到高动态范围图像。
本实施例中，在同一场景下拍摄曝光值不同的多幅LDR图像，按照每幅LDR图像的曝光时间顺序排列，构成低动态范围图像序列。
对LDR图像进行多次行人检测，每次输出包含该LDR图像中的一个行人的初始检测框，将每一初始检测框按照预设比例扩大，得到备选检测框，对行人进行热点重检测，可以使得备选检测框中包含初始检测框中未检测到的较小行人。
例如：保持初始检测框在LDR上的中心不变，在LDR图像上移动初始检测框的四个顶点坐标，使初始检测框的面积扩大2倍。
根据备选检测框，提取该LDR图像中与备选检测框尺寸相同的待分割区域，实现对行人的初次分割，相比于行人占据LDR图像的比例，行人所占待分割区域的比例更小，行人的细节更突出、更清晰；对待分割区域进行再次分割，得到分割行人，实现对分割行人级的重分割，相比于从LDR图像中直接分割出分割行人，可以对“鬼影”或者模糊的行人进行分割，提高行人的分割准确性。
对分割行人进行运动状态判定，得到运动目标，排除未运动的分割目标，提高运动目标的判定准确性；在一个背景图像上仅合并前述场景下LDR图像中的运动行人，得到运动行人分割图，对曝光质量最高的LDR图像进行聚类后得到超像素分割图像，根据超像素分割图像内的每个超像素映射于运动行人分割图中运动行人的像素比例，在运动行人分割图上融合每幅LDR图像，得到高动态范围图像，不仅克服了高动态范围图像中出现的“鬼影”现象，还可以使得高动态范围图像中运动行人细节清晰。
对于超像素分割图像，将LDR图像输入SLIC(Simple Linear IterativeClustering)超像素分割算法(一种简单的线性迭代聚类算法)，该算法将LDR图像转换为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对LDR图像内的像素进行局部聚类，在LDR图像上分割特征相似的像素块，形成超像素。
优选地，步骤100具体包括：
步骤110、基于深度学习的目标实例分割网络对低动态范围图像序列中的每幅LDR图像内的目标进行检测，得到每幅LDR图像上的所有初始检测框。
步骤120、在每幅LDR图像上将对应的每个初始检测框的周边位置扩展预设比例，得到对应的备选检测框，并从LDR图像上提取每个备选检测框内的待分割区域。
步骤130、基于目标实施例分割网络对每个待分割区域进行分割，得到每个所述待分割区域内的所有分割目标。
每幅LDR图像输入预先设定好的MNC(Multi-task Network Cascades)深度学习实例分割网络模型，通过实例检测子任务的处理，输出初始检测框，在LDR图像上定位初始检测框的四个边框，依次将每个边框向靠近LDR图像的边长方向移动50个像素，即可将初始检测框的周边扩展预设比例，得到备选检测框，通过实例分割子任务，从该LDR图像上提取备选检测框内的兴趣特征，得到待分割区域；将待分割区域再次输入深度学习实例分割网络模型，通过实例检测子任务和实例分割子任务的级联处理，分割出待分割区域内的分割目标。
例如：如图2所示，左侧图中方框为备选检测框，右侧图为待分割图像，下侧图中的方框为待分割图像上分割目标的最小检测框，以及从待分割图像上分割出的分割目标。
采用基于深度学习的实例分割网络对分割目标进行目标级实例分割，能解决分割目标提取不完整、多个分割目标难以完全分割等问题，保证分割目标的完整性；另外，在基于深度学习的实例分割网络对分割目标分割过程中，由于不需要通过实例分类子任务对分割目标进行级联处理，提高了分割目标的分割效率。
优选地，步骤130具体包括：
步骤131、基于目标实施例分割网络对待分割区域进行检测，得到待分割区域上的热点检测框，并从待分割区域上提取热点检测框内的热点分割目标。
步骤132、对热点检测框与初始检测框进行匹配，获取热点分割目标在热点检测框与初始检测框上的重合度。
步骤132、根据重合度和预设阈值，判定热点分割目标是否为从同一LDR图像上重复分割出的分割目标，并将从同一LDR图像上重复分割出的热点分割目标合并为一个分割目标。
具体地，由于初始检测框扩大为备选检测框，在同一LDR图像上的多个目标密集的情形下，同一目标会包含在不同的备选检测框内，容易出现同一目标重复检测，造成检测冗余，在基于备选检测框分割待分割区域内的分割目标中，同一目标会重复分割。
为了克服同一目标会重复分割而重复输出的问题，在初始检测框上叠合热点检测框，计算热点分割目标在热点检测框和初始检测框中的重合面积，该重合面积即为重合度；当重合度超过预设阈值时，判定热点分割目标为同一LDR图像上重复分割出的分割目标，将热点分割目标合并为一个分割目标后输出合并得到的分割目标，避免同一LDR图像上的同一分割目标重复输出，提高分割目标的输出准确率；当重合度未超过预设阈值时，判定热点分割目标不是从同一LDR图像中重复分割出的分割目标，则直接输出热点分割目标。
优选地，步骤200具体包括：
步骤210、对于任意两幅相邻排列的第一LDR图像和第二LDR图像，按照先后顺序依次对第一LDR图像和第二LDR图像进行光流检测，得到前向光流图，并且按照先后顺序依次对第二LDR图像和第一LDR图像进行光流检测，得到后向光流图。
步骤220、将第一LDR图像中的分割目标与第二LDR图像中的分割目标进行匹配，得到匹配结果。
步骤230、根据匹配结果、前向光流图和后向光流图确定判断因子，根据判断因子对第一LDR图像和第二LDR图像中的分割目标进行运动状态判定，得到运动目标。
以低动态范围图像序列中两幅连续的LDR图像为例，采用预设设定的FlowNetCorr从该两幅LDR图像中提取特征，对该两幅LDR图像进行卷积处理，添加“关联层”，相比于以直接叠加两幅LDR图像后输入FlowNetSimple的方式，通过关联层检测两幅LDR图像中目标的光流信息，光流信息具有更高精度。
例如：两幅LDR图像中第一LDR图像比第二LDR图像先拍摄，在第二LDR图像输入FlowNetCorr之前，先输入第一LDR图像，得到前向光流图3a，继而颠倒第一LDR图像和第二LDR图像输入FlowNetCorr的顺序，得到后向光流图3b。
基于对称性累计局部特征的行人重定位方法SDALF(Symmetry-DrivenAccumulation of Local Features)，对输入其中的LDR图像提取分割目标特征，分割目标特征包括：分割目标所属LDR图像的区域、分割目标对称轴和局部特征，为了加快分割目标的匹配速度，可以仅从LDR图像上提取局部特征，根据前述局部特征，对第一LDR图像和第二LDR图像中的分割目标进行匹配。
例如：针对图4中的每个行人，基于色彩算子与分割覆盖算子优化距离公式定位行人头部、行人躯干和行人腿部的分割线，进而定位行人躯干和行人腿部的对称轴，由于LDR图像上行人头部色彩往往不突出，仅提取躯干和行人腿部的局部特征更合适，本实施例中，可以利用SDALF仅采集HSV加权直方图和最大稳定颜色区域的局部特征；图4中，左边三个运动行人是从第一LDR图像中分割出，右边三个运动行人是从第二LDR图像中分割出，从左到右，每两个运动目标进行局部特征匹配。
在分割目标匹配的基础上，再结合匹配结果、前向光流图和后向光流图，计算判断因子，提高判断因子的准确性，通过判断因子判定分割目标的运动状态，提高了运动状态的判定效率。
优选地，运动状态还包括：未运动，步骤230具体包括：
步骤231、判断匹配结果是否为匹配成功，若否，则执行步骤232，若是，则执行步骤233。
步骤232、判定第一LDR图像与述第二LDR图像中匹配不成功的分割目标的运动状态为消失或出现，获取运功状态为消失或出现的第一运动目标。
步骤233、对第一LDR图像和第二LDR图像中任意两个匹配成功的分割目标进行叠合，得到重叠度判断因子。
步骤234、对于任意两个匹配成功的分割目标，将第一LDR图像中的分割目标与前向光流图进行对比，将第二LDR图像中的分割目标与后向光流图进行对比，获取光流变化量判断因子。
步骤235、根据所述重叠度判断因子和所述光流变化量判断因子，按照预定的判断标准，判定任意两个匹配成功的所述分割目标的运动状态为持续运动或未运动，提取所述运动状态为持续运动的第二运动目标，过滤所述运动状态为未运动的目标。
以匹配第一LDR图像和第二LDR图像中分割目标的方式，在第一LDR图像上不存在第二LDR图像上的分割目标时，判定该分割目标的运动状态为消失；在第二图像上不存在第一LDR图像上的分割目标时，判定该分割目标的运动状态为出现，可以快速筛选出多幅LDR图像中的多个运动状态为消失或者出现的第一运动目标，提高第一运动目标的筛选效率。
将两个互为匹配的分割目标分别在第一LDR图像和第二LDR图像上视为一个分割目标在空间上的分布，结合重叠度判断因子和光流变化量判断因子，衡量互为匹配的分割目标在空间上的运动位姿变化，按照预定的判断标准，判定运动状态为持续运动或未运动，进一步筛选出运动状态为持续运动的第二运动目标，排除未运动的分割目标，实现复杂运动状态下快速筛选运动目标。
优选地，判断标准以第一公式表示，第一公式为：
其中，i代表由任意两个匹配成功的分割目标组成的分割目标对，motion1i代表分割目标对i的所述重叠度判断因子，motion2i代表分割目标对i的光流变化量判断因子，yi代表分割目标对i的运动状态为持续运动或未运动。
重叠度判断因子由第二公式表示，第二公式为：
motion1i＝overlapi/(box1i+box2i-overlapi)
其中，overlapi代表分割目标对i的重叠面积，box1i、box2i分别代表分割目标对i中每个分割目标的最小检测框面积，最小检测框为一个能够包围某个分割目标的最小二维框体。
光流变化量判断因子有第三公式表示，第三公式为：
motion2i＝(error1i+error2i)/2
其中，error1i代表分割目标对i在第一LDR图像中的分割目标相较于前向光流图的像素变化量，error2i代表分割目标对i在第二LDR图像中的分割目标相较于后向光流图的像素变化量。
或者，第三公式为：
motion2i＝(wrap1i-seg1i+wrap2i-seg2i)/(area1i+area2i)
其中，wrap1i代表分割目标对i在第一LDR图像中的分割目标映射于前向光流图的像素数量，wrap2i代表分割目标对i在第二LDR图像中的分割目标映射于后向光流图的像素数量，seg1i代表分割目标对i在第一LDR图像中的分割目标的像素总数，seg1i代表分割目标对i在第二LDR图像中的分割目标的像素总数，area1i代表分割目标对i在第一LDR图像中的分割目标所对应的最小检测框的像素总数，area1i代表分割目标对i在第二LDR图像中的分割目标所对应的最小检测框的像素总数。
通过重叠度判断因子衡量一个分割目标在空间上的运动位置变化，通过光流变化量判断因子衡量该分割目标在空间上的运动姿势变化，并且重叠度判断因子和光流变化量判断因子对判定第二运动目标的影响方向相反，归一化于第一公式，第一公式的取值范围介于0-1，便于量化分析持续运动和未运动两种运动状态，提高该两种运动状态的判定精度。
其中，重叠度判断因子的取值越大，表示前述分割目标在空间上的运动位置变化越小，光流变化量判断因子的取值越大，表示前述分割目标在空间上的运动姿势变化越大。
优选地，步骤300具体包括：
步骤310、在背景图像上分别添加第一运动目标和第二运动目标；
步骤320、对第一运动目标和第二运动目标均赋予不同于背景图像的权重值，得到运动目标分割图像。
例如：背景图像上的每个像素点的权重值均为0，针对在不同LDR图像中的同一第一运动目标，经过合并后赋予权重值为1，融合于背景图像，在背景图像的其他区域融合权重值也为1的第二运动目标，得到运动目标分割图像。
针对第一运动目标和第二运动目标，赋予权重值相同且不同于背景图像的权重值，便于从运动目标分割图像中辨别出运动目标，提高了对运动目标分割图像进行分区域融合的效率。
优选地，步骤500具体包括：
步骤510、将超像素分割图像与运动目标分割图像进行叠合，获取每个超像素所对应的像素个数，并计算所述像素个数与对应的所述超像素之间的比值得到对应的所述像素比例。
步骤520、当像素比例超过预设比例时，对在运动目标分割图像中且与像素比例所对应的超像素映射的区域块赋予与运动目标相同的权重，得到运动目标分割图像内的动态区域和除动态区域之外的静态区域。
步骤530、采用空间域权重融合算法，根据每幅LDR图像对静态区域进行加权融合。
步骤540、采用泊松融合算法，对经过加权融合后的静态区域和动态区域进行亮度融合，得到高动态范围图像。
如图5所示的高动态范围融合示意图，图5(a)为超像素分割图，图5(b)为运动目标分割图像，图5(c)为更新运动目标所属区域更新后的运动目标分割图像，图5(d)为静态区域融合后的运动目标分割图像，图5(e)为静态区域和动态区域中的亮度融合后的运动目标分割图像，图5(f)为最终输出的高动态范围图像。
当超像素映射于运动目标分割图像中的运动目标的像素比例超过预设比例时，利用超像素补全运动目标分割图像中的运动目标的边缘，克服运动目标在运动目标分割图像上的完整性问题，保证运动目标的完整性和精细化。
在运动目标补全后的运动目标分割图像中，运动目标的权重值为1，表示动态区域，除权重值为1的动态区域之外，其他区域内的权重值为0，表示静态区域；采用空间域权重融合算法对应静态区域内的像素加权融合，使静态区域的融合更加精细化，根据静态区域中接近于动态区域的边缘的像素，采用泊松融合算法平滑静态区域和动态区域的像素亮度差异，使得动态区域的融合更加精细化。
优选地，空间域权重融合算法以第四公式表示，第四公式为：
其中，N代表低动态范围图像序列中的LDR图像的总幅数，k代表LDR图像，i、j代表LDR图像k中融合像素点的横向位置和纵向位置，Rij为低动态范围图像中不同LDR图像位于空间域相同位置的融合像素点的亮度加权值，Iij,k代表LDR图像k中融合像素点ij的亮度值，Wij,k代表LDR图像k中融合像素点ij的贡献权重值，贡献权重值以第五公式表示，第五公式为：
其中，Cij,k、Sij,k、Eij,k依次代表LDR图像k中融合像素点ij的对比度、饱和度和曝光质量，ωc、ωs和ωE依次代表对比度Cij,k、饱和度Sij,k和曝光质量Eij,k的重要程度。
具体地，ωc、ωs和ωE可以都设置为1，表示对比度Cij,k、饱和度Sij,k和曝光质量Eij,k的重要程度相同。
对比度Cij,k是对LDR图像k经过拉普拉斯滤波处理得到融合像素点ij的灰色梯度值的绝对值。
饱和度Sij,k由第六公式表示，第六公式为：
其中，Rij,k、Gij,k、Bij,k依次代表LDR图像k中融合像素点ij的红色通道颜色值、绿色通道颜色值和蓝色通道颜色值，μ代表红色通道颜色值Rij,k、绿色通道颜色值Gij,k和蓝色通道颜色值Bij,k的平均值。
计算红色通道颜色值Rij,k、绿色通道颜色值Gij,k和蓝色通道颜色值Bij,k后，对该三个值相乘归一化得到每个LDR图像k中融合像素点ij的曝光质量Eij,k。
曝光质量Eij,k由第七公式表示，第七公式为：
其中，n代表LDR图像k中融合像素点ij的灰度值。
根据人眼的视觉特性以及LDR图像的空间频率特性引入，在曝光适度的LDR图像上像素点均匀分布，像素点的取值范围也较广，而在过度曝光或者曝光欠缺的LDR图像上像素点较多分布于极端点，通过对前述对比度、饱和度和曝光质量三个因子进行重要程度评价，调整该三个因子的权重，可以最大限度的实现高动态范围图像上像素点的均匀效应。
实施例二
本实施例中，如图6所示，一种高动态范围图像的融合系统，包括：分割模块、判定模块、合并模块、聚类模块和融合模块；
分割模块，用于对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅LDR图像上的所有初始检测框，依据预设比例分别扩大每个初始检测框后得到对应的备选检测框，分别从每幅LDR图像上提取对应的每个备选检测框内的待分割区域，分别对每个待分割区域进行分割，得到每个待分割区域内的所有分割目标；判定模块，用于对每个分割目标进行运动状态判定，得到所有分割目标中的运动目标，其中，运动状态至少包括消失、出现和持续运动中的任一种；合并模块，用于将运动状态为消失或出现或持续运动的每个运动目标合并在一个背景图像中，得到运动目标分割图像；聚类模块，用于对曝光质量最高的一幅LDR图像进行像素聚类，得到超像素分割图像；融合模块，用于获取超像素分割图像内的每个超像素映射在运动目标分割图像中的对应运动目标上的像素个数，计算像素个数在对应的超像素中占据的像素比例，根据所有像素比例对运动目标分割图像和每幅LDR图像进行加权融合，得到高动态范围图像。
优选地，分割模块具体包括：第一分割模块和第二分割模块。
第一分割模块，用于基于深度学习的目标实例分割网络对每幅LDR图像内的目标进行检测，得到每幅LDR图像上的所有初始检测框；在每幅所述LDR图像上将对应的每个所述初始检测框的周边位置扩展所述预设比例，得到对应的所述备选检测框，并从LDR图像上提取每个所述备选检测框内的待分割区域。
第二分割模块，用于基于深度学习的目标实例分割网络对低动态范围图像序列中的每幅LDR图像内的目标进行检测，得到每幅LDR图像上的所有初始检测框。
优选地，第二分割模块具体用于：基于目标实施例分割网络对待分割区域进行检测，得到待分割区域上的热点检测框，并从待分割区域上提取热点检测框内的热点分割目标；对热点检测框与初始检测框进行匹配，获取热点分割目标在热点检测框与初始检测框上的重合度；根据重合度和预设阈值，判定热点分割目标是否为从同一LDR图像上重复分割出的分割目标，并将从同一LDR图像上重复分割出的热点分割目标合并为一个分割目标。
优选地，判定模块包括：光流信息检测模块、分割目标匹配模块和运动状态判定模块。
光流信息检测模块，用于对于任意两幅相邻排列的第一LDR图像和第二LDR图像，按照先后顺序依次对第一LDR图像和第二LDR图像进行光流检测，得到前向光流图，并且按照先后顺序依次对第二LDR图像和第一LDR图像进行光流检测，得到后向光流图。
分割目标匹配模块，用于将第一LDR图像中的分割目标与第二LDR图像中的分割目标进行匹配，得到匹配结果；
运动状态判定模块，根据匹配结果、前向光流图和后向光流图确定判断因子，根据判断因子对第一LDR图像和第二LDR图像中的分割目标进行运动状态判定，得到运动目标。
优选地，运动状态判定模块具体用于判定第一LDR图像与第二LDR图像中匹配不成功的分割目标的运动状态为消失或出现，得到运功状态为消失或出现的第一运动目标；对第一LDR图像和第二LDR图像中任意两个匹配成功的分割目标进行叠合，得到重叠度判断因子；对于任意两个匹配成功的分割目标，将第一LDR图像中的分割目标与前向光流图进行对比，将第二LDR图像中的分割目标与后向光流图进行对比，获取光流变化量判断因子；根据重叠度判断因子和光流变化量判断因子，按照预定的判断标准，判定任意两个匹配成功的分割目标的运动状态为持续运动或未运动，提取运动状态为持续运动的第二运动目标，过滤运动状态为未运动的目标。
判断标准以第一公式表示，第一公式为：
其中，i代表由任意两个匹配成功的分割目标组成的分割目标对，motion1i代表分割目标对i的重叠度判断因子，motion2i代表分割目标对i的光流变化量判断因子，yi代表分割目标对i的运动状态为持续运动或未运动。
重叠度判断因子由第二公式表示，第二公式为：
motion1i＝overlapi/(box1i+box2i-overlapi)
其中，overlapi代表分割目标对i的重叠面积，box1i、box2i分别代表分割目标对i中每个分割目标的最小检测框面积，最小检测框为一个能够包围某个分割目标的最小二维框体。
光流变化量判断因子有第三公式表示，第三公式为：
motion2i＝(error1i+error2i)/2
其中，error1i代表分割目标对i在第一LDR图像中的分割目标相较于前向光流图的像素变化量，error2i代表分割目标对i在第二LDR图像中的分割目标相较于后向光流图的像素变化量。
或者，第三公式为：
motion2i＝(wrap1i-seg1i+wrap2i-seg2i)/(area1i+area2i)
其中，wrap1i代表分割目标对i在第一LDR图像中的分割目标映射于前向光流图的像素数量，wrap2i代表分割目标对i在第二LDR图像中的分割目标映射于后向光流图的像素数量，seg1i代表分割目标对i在第一LDR图像中的分割目标的像素总数，seg1i代表分割目标对i在第二LDR图像中的分割目标的像素总数，area1i代表分割目标对i在第一LDR图像中的分割目标所对应的最小检测框的像素总数，area1i代表分割目标对i在第二LDR图像中的分割目标所对应的最小检测框的像素总数。
优选地，合并模块具体用于：在背景图像上分别添加第一运动目标和第二运动目标；对第一运动目标和第二运动目标均赋予不同于背景图像的权重值，得到运动目标分割图像。
优选地，融合模块具体用于：将超像素分割图像与运动目标分割图像进行叠合，获取每个超像素所对应的像素个数，并计算所述像素个数与对应的所述超像素之间的比值得到对应的所述像素比例；当像素比例超过预设比例时，对在运动目标分割图像中且与像素比例所对应的超像素映射的区域块赋予与运动目标相同的权重，得到运动目标分割图像内的动态区域和除动态区域之外的静态区域；采用空间域权重融合算法，根据每幅LDR图像对静态区域进行加权融合；采用泊松融合算法，对经过加权融合后的静态区域和动态区域进行亮度融合，得到高动态范围图像。
空间域权重融合算法以第四公式表示，第四公式为：
其中，N代表低动态范围图像序列中的LDR图像的总幅数，k代表LDR图像，i、j代表LDR图像k中融合像素点的横向位置和纵向位置，Rij为低动态范围图像中不同LDR图像位于空间域相同位置的融合像素点的亮度加权值，Iij,k代表LDR图像k中融合像素点ij的亮度值，Wij,k代表LDR图像k中融合像素点ij的贡献权重值。
贡献权重值以第五公式表示，第五公式为：
其中，Cij,k、Sij,k、Eij,k依次代表LDR图像k中融合像素点ij的对比度、饱和度和曝光质量，ωc、ωs和ωE依次代表对比度Cij,k、饱和度Sij,k和曝光质量Eij,k的重要程度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种高动态范围图像的融合方法，其特征在于，包括：
步骤100、对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅所述LDR图像上的所有初始检测框，依据预设比例分别扩大每个所述初始检测框后得到对应的备选检测框，分别从每幅所述LDR图像上提取对应的每个所述备选检测框内的待分割区域，分别对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有分割目标；
步骤200、对每个所述分割目标进行运动状态判定，得到所有所述分割目标中的运动目标，其中，所述运动状态至少包括消失、出现和持续运动中的任一种；
步骤300、将所述运动状态为消失或出现或持续运动的每个所述运动目标合并在一个背景图像中，得到运动目标分割图像；
步骤400、对曝光质量最高的一幅所述LDR图像进行像素聚类，得到超像素分割图像；
步骤500、获取所述超像素分割图像内的每个超像素映射在所述运动目标分割图像中的对应所述运动目标上的像素个数，计算所述像素个数在对应的所述超像素中占据的像素比例，根据所有所述像素比例对所述运动目标分割图像和每幅所述LDR图像进行加权融合，得到高动态范围图像。
2.根据权利要求1所述的一种高动态范围图像的融合方法，其特征在于，所述步骤100具体包括：
步骤110、基于深度学习的目标实例分割网络对所述低动态范围图像序列中的每幅所述LDR图像内的目标进行检测，得到每幅所述LDR图像上的所有所述初始检测框；
步骤120、在每幅所述LDR图像上将对应的每个所述初始检测框的周边位置扩展所述预设比例，得到对应的所述备选检测框，并从所述LDR图像上提取每个所述备选检测框内的所述待分割区域；
步骤130、基于所述目标实施例分割网络对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有所述分割目标。
3.根据权利要求2所述的一种高动态范围图像的融合方法，其特征在于，所述步骤130具体包括：
步骤131、基于所述目标实施例分割网络对所述待分割区域进行检测，得到所述待分割区域上的热点检测框，并从所述待分割区域上提取所述热点检测框内的热点分割目标；
步骤132、对所述热点检测框与所述初始检测框进行匹配，获取热点分割目标在所述热点检测框与所述初始检测框上的重合度；
步骤132、根据所述重合度和预设阈值，判定所述热点分割目标是否为从同一所述LDR图像上重复分割出的分割目标，并将从同一所述LDR图像上重复分割出的所述热点分割目标合并为一个所述分割目标。
4.根据权利要求1-3任一项所述的一种高动态范围图像的融合方法，其特征在于，所述步骤200具体包括：
步骤210、对于任意两幅相邻排列的第一LDR图像和第二LDR图像，按照先后顺序依次对所述第一LDR图像和所述第二LDR图像进行光流检测，得到前向光流图，并且按照先后顺序依次对所述第二LDR图像和所述第一LDR图像进行光流检测，得到后向光流图；
步骤220、将所述第一LDR图像中的所述分割目标与所述第二LDR图像中的所述分割目标进行匹配，得到匹配结果；
步骤230、根据所述匹配结果、所述前向光流图和所述后向光流图确定判断因子，根据所述判断因子对所述第一LDR图像和所述第二LDR图像中的所述分割目标进行运动状态判定，得到所述运动目标。
5.根据权利要求4所述的一种高动态范围图像的融合方法，其特征在于，所述运动状态还包括：未运动，所述步骤230具体包括：
步骤231、判断所述匹配结果是否为匹配成功，若否，则执行步骤232，若是，则执行步骤233；
步骤232、判定所述第一LDR图像与所述第二LDR图像中匹配不成功的所述分割目标的运动状态为消失或出现，得到所述运功状态为消失或出现的第一运动目标；
步骤233、对所述第一LDR图像和所述第二LDR图像中任意两个匹配成功的所述分割目标进行叠合，得到重叠度判断因子；
步骤234、对于任意两个匹配成功的所述分割目标，将所述第一LDR图像中的所述分割目标与所述前向光流图进行对比，将所述第二LDR图像中的所述分割目标与所述后向光流图进行对比，获取光流变化量判断因子；
步骤235、根据所述重叠度判断因子和所述光流变化量判断因子，按照预定的判断标准，判定任意两个匹配成功的所述分割目标的运动状态为持续运动或未运动，提取所述运动状态为持续运动的第二运动目标，过滤所述运动状态为未运动的目标。
6.根据权利要求5所述的一种高动态范围图像的融合方法，其特征在于，所述判断标准以第一公式表示，所述第一公式为：
其中，i代表由任意两个匹配成功的所述分割目标组成的分割目标对，motion1i代表所述分割目标对i的所述重叠度判断因子，motion2i代表所述分割目标对i的光流变化量判断因子，yi代表所述分割目标对i的运动状态为持续运动或未运动；
所述重叠度判断因子由第二公式表示，所述第二公式为：
motion1i＝overlapi/(box1i+box2i-overlapi)
其中，overlapi代表所述分割目标对i的重叠面积，box1i、box2i分别代表所述分割目标对i中每个所述分割目标的最小检测框面积，最小检测框为一个能够包围某个所述分割目标的最小二维框体；
所述光流变化量判断因子有第三公式表示，所述第三公式为：
motion2i＝(error1i+error2i)/2
其中，error1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标相较于所述前向光流图的像素变化量，error2i代表所述分割目标对i在所述第二LDR图像中的所述分割目标相较于所述后向光流图的像素变化量；
或者，所述第三公式为：
motion2i＝(wrap1i-seg1i+wrap2i-seg2i)/(area1i+area2i)
其中，wrap1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标映射于所述前向光流图的像素数量，wrap2i代表所述分割目标对i在所述第二LDR图像中的所述分割目标映射于所述后向光流图的像素数量，seg1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标的像素总数，seg1i代表所述分割目标对i在所述第二LDR图像中的所述分割目标的像素总数，area1i代表所述分割目标对i在所述第一LDR图像中的所述分割目标所对应的所述最小检测框的像素总数，area1i代表所述分割目标对i在所述第二LDR图像中的所述分割目标所对应的所述最小检测框的像素总数。
7.根据权利要求6所述的一种高动态范围图像的融合方法，其特征在于，所述步骤300具体包括：
步骤310、在所述背景图像上分别添加所述第一运动目标和所述第二运动目标；
步骤320、对所述第一运动目标和所述第二运动目标均赋予不同于所述背景图像的权重值，得到所述运动目标分割图像。
8.根据权利要求1-3任一项所述的一种高动态范围图像的融合方法，其特征在于，所述步骤500具体包括：
步骤510、将所述超像素分割图像与所述运动目标分割图像进行叠合，获取每个所述超像素所对应的所述像素个数，并计算所述像素个数与对应的所述超像素之间的比值得到对应的所述像素比例；
步骤520、当所述像素比例超过预设比例时，对在所述运动目标分割图像中且与所述像素比例所对应的所述超像素映射的区域块赋予与所述运动目标相同的权重，得到所述运动目标分割图像内的动态区域和除所述动态区域之外的静态区域；
步骤530、采用空间域权重融合算法，根据每幅所述LDR图像对所述静态区域进行加权融合；
步骤540、采用泊松融合算法，对经过加权融合后的所述静态区域和所述动态区域进行亮度融合，得到高动态范围图像。
9.根据权利要求8所述的一种高动态范围图像的融合方法，其特征在于，所述空间域权重融合算法以第四公式表示，所述第四公式为：
其中，N代表所述低动态范围图像序列中的所述LDR图像的总幅数，k代表所述LDR图像，i、j代表所述LDR图像k中融合像素点的横向位置和纵向位置，Rij为所述低动态范围图像中不同所述LDR图像位于空间域相同位置的融合像素点的亮度加权值，Iij,k代表所述LDR图像k中融合像素点ij的亮度值，Wij,k代表所述LDR图像k中融合像素点ij的贡献权重值，所述贡献权重值以第五公式表示，所述第五公式为：
其中，Cij,k、Sij,k、Eij,k依次代表所述LDR图像k中融合像素点ij的对比度、饱和度和曝光质量，ωc、ωs和ωE依次代表所述对比度Cij,k、所述饱和度Sij,k和所述曝光质量Eij,k的重要程度。
10.一种高动态范围图像的融合系统，其特征在于，包括：分割模块、判定模块、合并模块、聚类模块和融合模块；
所述分割模块，用于对低动态范围图像序列中的每幅LDR图像进行目标检测，得到每幅所述LDR图像上的所有初始检测框，依据预设比例分别扩大每个所述初始检测框后得到对应的备选检测框，分别从每幅所述LDR图像上提取对应的每个所述备选检测框内的待分割区域，分别对每个所述待分割区域进行分割，得到每个所述待分割区域内的所有分割目标；
所述判定模块，用于对每个所述分割目标进行运动状态判定，得到所有所述分割目标中的运动目标，其中，所述运动状态至少包括消失、出现和持续运动中的任一种；
所述合并模块，用于将所述运动状态为消失或出现或持续运动的每个所述运动目标合并在一个背景图像中，得到运动目标分割图像；
所述聚类模块，用于对曝光质量最高的一幅所述LDR图像进行像素聚类，得到超像素分割图像；
所述融合模块，用于获取所述超像素分割图像内的每个超像素映射在所述运动目标分割图像中的对应所述运动目标上的像素个数，计算所述像素个数在对应的所述超像素中占据的像素比例，根据所有所述像素比例对所述运动目标分割图像和每幅所述LDR图像进行加权融合，得到高动态范围图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811123003.9A CN109360163A (zh) | 2018-09-26 | 2018-09-26 | 一种高动态范围图像的融合方法及融合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811123003.9A CN109360163A (zh) | 2018-09-26 | 2018-09-26 | 一种高动态范围图像的融合方法及融合系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109360163A true CN109360163A (zh) | 2019-02-19 |
Family
ID=65347644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811123003.9A Withdrawn CN109360163A (zh) | 2018-09-26 | 2018-09-26 | 一种高动态范围图像的融合方法及融合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360163A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110072052A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110572585A (zh) * | 2019-08-26 | 2019-12-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111028189A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111160340A (zh) * | 2019-12-24 | 2020-05-15 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
| CN111586375A (zh) * | 2020-05-08 | 2020-08-25 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN112541930A (zh) * | 2019-09-23 | 2021-03-23 | 大连民族大学 | 基于级联式的图像超像素目标行人分割方法 |
| CN112862671A (zh) * | 2021-02-09 | 2021-05-28 | 清华大学 | 视频图像编辑、修复的方法、装置及存储介质 |
| CN114463191A (zh) * | 2021-08-26 | 2022-05-10 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| CN115205157A (zh) * | 2022-07-29 | 2022-10-18 | 如你所视(北京)科技有限公司 | 图像处理方法和系统、电子设备和存储介质 |
| CN115690149A (zh) * | 2022-09-27 | 2023-02-03 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747189A (zh) * | 2013-11-27 | 2014-04-23 | 杨新锋 | 一种数字图像处理方法 |
| CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
| WO2016090244A2 (en) * | 2014-12-05 | 2016-06-09 | Mbio Diagnostics, Inc. | Methods and devices for performing high dynamic range immunoassays |
| CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| EP3136712A1 (en) * | 2015-08-25 | 2017-03-01 | BAE Systems PLC | Imaging apparatus and method |
| CN106846383A (zh) * | 2017-01-23 | 2017-06-13 | 宁波诺丁汉大学 | 基于3d数字显微成像系统的高动态范围图像成像方法 |
| CN107516320A (zh) * | 2017-07-04 | 2017-12-26 | 昆明理工大学 | 一种适用于高动态光照条件的运动工件目标无监督分割方法 |
| CN107948519A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及设备 |
| CN108234880A (zh) * | 2018-02-02 | 2018-06-29 | 成都西纬科技有限公司 | 一种图像增强方法和装置 |
| CN108534708A (zh) * | 2018-03-30 | 2018-09-14 | 深圳积木易搭科技技术有限公司 | 一种双目三维扫描仪组件及扫描方法 |
-
2018
- 2018-09-26 CN CN201811123003.9A patent/CN109360163A/zh not_active Withdrawn
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747189A (zh) * | 2013-11-27 | 2014-04-23 | 杨新锋 | 一种数字图像处理方法 |
| WO2016090244A2 (en) * | 2014-12-05 | 2016-06-09 | Mbio Diagnostics, Inc. | Methods and devices for performing high dynamic range immunoassays |
| CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
| EP3136712A1 (en) * | 2015-08-25 | 2017-03-01 | BAE Systems PLC | Imaging apparatus and method |
| CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
| CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
| CN106846383A (zh) * | 2017-01-23 | 2017-06-13 | 宁波诺丁汉大学 | 基于3d数字显微成像系统的高动态范围图像成像方法 |
| CN107516320A (zh) * | 2017-07-04 | 2017-12-26 | 昆明理工大学 | 一种适用于高动态光照条件的运动工件目标无监督分割方法 |
| CN107948519A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置及设备 |
| CN108234880A (zh) * | 2018-02-02 | 2018-06-29 | 成都西纬科技有限公司 | 一种图像增强方法和装置 |
| CN108534708A (zh) * | 2018-03-30 | 2018-09-14 | 深圳积木易搭科技技术有限公司 | 一种双目三维扫描仪组件及扫描方法 |
Non-Patent Citations (4)
| Title |
|---|
| T.MERTENS .ETC: ""Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography"", 《COMPUTER GRAPHICS FORUM》 * |
| WEI ZHANG .ETC: ""Motion-free exposure fusion based on inter-consistency and intra-consistency"", 《INFORMATION SCIENCES》 * |
| 徐雅丽等: ""一种去虚影的高动态范围图像融合算法"", 《激光杂志》 * |
| 杨龙等: ""基于超像素分割的红外图像细节增强算法"", 《红外》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110072052A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110572585A (zh) * | 2019-08-26 | 2019-12-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112541930A (zh) * | 2019-09-23 | 2021-03-23 | 大连民族大学 | 基于级联式的图像超像素目标行人分割方法 |
| CN111028189A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111028189B (zh) * | 2019-12-09 | 2023-06-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111160340A (zh) * | 2019-12-24 | 2020-05-15 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
| CN111160340B (zh) * | 2019-12-24 | 2023-11-28 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
| CN111586375B (zh) * | 2020-05-08 | 2021-06-11 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111586375A (zh) * | 2020-05-08 | 2020-08-25 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN112862671A (zh) * | 2021-02-09 | 2021-05-28 | 清华大学 | 视频图像编辑、修复的方法、装置及存储介质 |
| CN114463191A (zh) * | 2021-08-26 | 2022-05-10 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
| CN115205157A (zh) * | 2022-07-29 | 2022-10-18 | 如你所视(北京)科技有限公司 | 图像处理方法和系统、电子设备和存储介质 |
| CN115205157B (zh) * | 2022-07-29 | 2024-04-26 | 如你所视(北京)科技有限公司 | 图像处理方法和系统、电子设备和存储介质 |
| CN115690149A (zh) * | 2022-09-27 | 2023-02-03 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理系统及方法 |
| CN115690149B (zh) * | 2022-09-27 | 2023-10-20 | 江苏盛利智能科技有限公司 | 显示器的图像融合处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360163A (zh) | 一种高动态范围图像的融合方法及融合系统 | |
| CN109257582A (zh) | 一种投影设备的校正方法和装置 | |
| CN108492262B (zh) | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 | |
| JP3851171B2 (ja) | 視覚的注意のモデル化方法 | |
| US7362918B2 (en) | System and method for de-noising multiple copies of a signal | |
| CN104463899B (zh) | 一种目标对象检测、监控方法及其装置 | |
| WO2010024265A1 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| CN106462944A (zh) | 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图 | |
| EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
| JP2000513466A (ja) | 無作為に向けられた製品用のカラー・パターン評価システム | |
| JP2004526266A (ja) | 複数のビューを合成する方法 | |
| JP4313758B2 (ja) | ステレオ画像中のエッジを結び付けてチェインにする方法 | |
| CN110033475A (zh) | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 | |
| WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
| CN104751407A (zh) | 一种用于对图像进行虚化的方法和装置 | |
| CN108257165A (zh) | 图像立体匹配方法、双目视觉设备 | |
| CN108133488A (zh) | 一种红外图像前景检测方法及设备 | |
| CN111292228A (zh) | 镜头缺陷检测方法 | |
| CN111369660A (zh) | 一种三维模型的无接缝纹理映射方法 | |
| CN110807738A (zh) | 一种基于边缘图块锐化的模糊图像非盲复原方法 | |
| CN109064439A (zh) | 基于分区的单侧入光式导光板暗影缺陷提取方法 | |
| CN113132700B (zh) | 一种调节投影机对比度的方法及系统 | |
| Yao et al. | Bivariate analysis of 3D structure for stereoscopic image quality assessment | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| CN110418081A (zh) | 高动态范围图像全分辨率重建方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190219 |