CN111899287A - 一种针对自动驾驶的虚影高动态范围图像融合方法 - Google Patents

一种针对自动驾驶的虚影高动态范围图像融合方法 Download PDF

Info

Publication number
CN111899287A
CN111899287A CN202010688363.4A CN202010688363A CN111899287A CN 111899287 A CN111899287 A CN 111899287A CN 202010688363 A CN202010688363 A CN 202010688363A CN 111899287 A CN111899287 A CN 111899287A
Authority
CN
China
Prior art keywords
image
dynamic range
response
high dynamic
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010688363.4A
Other languages
English (en)
Inventor
江浩峰
李卓伦
孙东哲
华文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010688363.4A priority Critical patent/CN111899287A/zh
Publication of CN111899287A publication Critical patent/CN111899287A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种针对自动驾驶的虚影高动态范围图像融合方法，涉及自动驾驶成像技术领域，包括以下步骤：输入多曝光图像序列标定出逆相机响应函数曲线；通过响应函数曲线获取响应图像；通过响应图像进行配准；结合标定逆相机响应函数曲线及权重函数，进行HDR图像融合。本发明通过利用输入多曝光图像序列标定出逆相机响应函数曲线，利用它求响应图像，对响应图像进行配准，再结合标定的逆相机响应函数曲线及权重函数，进行HDR图像融合，可有效地去除运动物体所带来的虚影影响，实现高动态范围图像融合，应用范围广。

Description

一种针对自动驾驶的虚影高动态范围图像融合方法
技术领域
本发明涉及自动驾驶成像技术领域，具体来说，涉及一种针对自动驾驶的虚影高动态范围图像融合方法。
背景技术
自动驾驶汽车(Autonomous vehicles；Self-driving automobile)又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。在20世纪已有数十年的历史，21世纪初呈现出接近实用化的趋势。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。
而目前自动驾驶汽车中其现实世界亮度动态范围非常大，可达10个数量级以上，而传统成像和显示设备所能呈现的亮度动态范围通常不超过3个数量级。普通相机存在无法同时捕捉到低暗或高亮区域细节的问题。为了克服上述问题，高动态范围(High DynamicRange，HDR)成像技术应运而生，它主要分为硬件成像法与软件合成法两类。基于硬件的HDR图像获取需要专门的硬件系统，系统造价昂贵且技术尚不是很成熟，故目前主要研究仍是基于软件算法的HDR图像融合。
在HDR图像的软件融合算法中，通常先获取同一场景多张不同曝光的图像，利用该组多曝光图像估计相机响应函数(CRF，Camera Response Function)，获取HDR图像。对于多曝光图像融合算法，其难度在于得到的HDR图像可能会产生虚影。这是由于实际拍摄过程中，无法保证场景始终保持静态。现有基于多曝光图像序列进行融合得到HDR图像的算法常常会产生严重虚影现象。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种针对自动驾驶的虚影高动态范围图像融合方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种针对自动驾驶的虚影高动态范围图像融合方法，包括以下步骤：
步骤S1，输入多曝光图像序列标定出逆相机响应函数曲线；
步骤S2，通过响应函数曲线获取响应图像；
步骤S3，通过响应图像进行配准；
步骤S4，结合标定逆相机响应函数曲线及权重函数，进行HDR图像融合。
进一步的，包括以下步骤：
参考图像与非参考图像间的相关性，获得图像间的连续区域与不连续区域，其中，不连续区域即为虚影区域；
对于输入j幅低动态范围图像，若j＝3，则选取其中正常曝光图像作为参考图像；若j>3，则选取其中曝光不足或曝光过度区域最小的图像作为参考图像，因为这样的图像包含的场景信息最多。
进一步的，包括以下步骤：
标定参考图像与非参考图像的块间相关性，表示如下：
Figure BDA0002588433780000022
其中，Pj(k)表示块Sr(k)与块Sj(k+m)间的相关性，Sr(k)表示参考图像的第k个图像块，Sj(k+m)(j≠r)表示与参考图像对应位置的第j个非参考图像中的第k+m个图像块，m为整数；
将得到的Pj(k)进行二值化处理。
进一步的，所述Pj(k)进行二值化处理，包括如下步骤：
设定一个门限值Ts，其范围为[0，1]，其Pj(k)越大，参考图像与非参考图像之间的相关性越大，即相似度高；反之，则相似度低；
确定Pj(k)的大小，设置门限值Ts为Ps(k)平均值的倍数，表示如下：
Figure BDA0002588433780000021
其中，α是一个常数，当α＝1时，Ts为Pj(k)的平均值。
确定最佳的二值化门限值Ts。
进一步的，包括以下步骤：确定虚影区域检测图：
当Pj(k)大于门限值时，表明两图像之间相似度高，其二值化为1；
若Pj(k)低于门限值，则认为两图像间相似度低，其二值化为0，其表示如下：
Figure BDA0002588433780000031
进一步的，所述权重函数，包括获取HDR图像，表示如下：
Figure BDA0002588433780000032
其中，i表示像素点的空间索引，j表示图像序列索引，Ei为辐照度值，w为归一化的高斯权重函数。
进一步的，包括以下步骤：
获取标定的相机响应函数曲线得到响应图，
对响应图进行配准，进行HDR图像的融合。
将虚影检测作为标签确定新的权重函数，表示如下：
Figure BDA0002588433780000033
其中，Sj为第j幅图像检测的除去虚影区域的面积，S为输入图像序列的总面积大小，w为归一化的高斯权重函数，其表示为：
Figure BDA0002588433780000034
其中，Ii为HDR图像中第i个像素点的值，i表示像素点的空间索引，j表示图像序列索引，E′i为辐照度值，w为考虑虚影区域后的权重函数。
本发明的有益效果：
本发明提出一种针对自动驾驶的虚影高动态范围图像融合算法，通过利用输入多曝光图像序列标定出逆相机响应函数曲线，利用它求响应图像，对响应图像进行配准，再结合标定的逆相机响应函数曲线及权重函数，进行HDR图像融合，可有效地去除运动物体所带来的虚影影响，实现高动态范围图像融合，应用范围广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种针对自动驾驶的虚影高动态范围图像融合方法的流程示意图；
图2是根据本发明实施例的一种针对自动驾驶的虚影高动态范围图像融合方法的场景应用示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种针对自动驾驶的虚影高动态范围图像融合方法。
如图1-图2所示，根据本发明实施例的针对自动驾驶的虚影高动态范围图像融合方法，包括以下步骤：
步骤S1，输入多曝光图像序列标定出逆相机响应函数曲线；
步骤S2，通过响应函数曲线获取响应图像；
步骤S3，通过响应图像进行配准；
步骤S4，结合标定逆相机响应函数曲线及权重函数，进行HDR图像融合。
借助于上述技术方案，通过利用输入多曝光图像序列标定出逆相机响应函数曲线，利用它求响应图像，对响应图像进行配准，再结合标定的逆相机响应函数曲线及权重函数，进行HDR图像融合，可有效地去除运动物体所带来的虚影影响，实现高动态范围图像融合，应用范围广。
其中，包括以下步骤：
参考图像与非参考图像间的相关性，获得图像间的连续区域与不连续区域，其中，不连续区域即为虚影区域；
对于输入j幅低动态范围图像，若j＝3，则选取其中正常曝光图像作为参考图像；若j>3，则选取其中曝光不足或曝光过度区域最小的图像作为参考图像，因为这样的图像包含的场景信息最多。
其中，包括以下步骤：
标定参考图像与非参考图像的块间相关性，表示如下：
Figure BDA0002588433780000054
其中，Pj(k)表示块Sr(k)与块Sj(k+m)间的相关性，Sr(k)表示参考图像的第k个图像块，Sj(k+m)(j≠r)表示与参考图像对应位置的第j个非参考图像中的第k+m个图像块，m为整数；
将得到的Pj(k)进行二值化处理。
其中，所述Pj(k)进行二值化处理，包括如下步骤：
设定一个门限值Ts，其范围为[0，1]，其Pj(k)越大，参考图像与非参考图像之间的相关性越大，即相似度高；反之，则相似度低；
确定Pj(k)的大小，设置门限值Ts为Ps(k)平均值的倍数，表示如下：
Figure BDA0002588433780000051
其中，α是一个常数，当α＝1时，Ts为Pj(k)的平均值。
确定最佳的二值化门限值Ts。
其中，包括以下步骤：确定虚影区域检测图：
当Pj(k)大于门限值时，表明两图像之间相似度高，其二值化为1；
若Pj(k)低于门限值，则认为两图像间相似度低，其二值化为0，其表示如下：
Figure BDA0002588433780000052
其中，所述权重函数，包括获取HDR图像，表示如下：
Figure BDA0002588433780000053
其中，i表示像素点的空间索引，j表示图像序列索引，Ei为辐照度值，w为归一化的高斯权重函数。
其中，包括以下步骤：
获取标定的相机响应函数曲线得到响应图，
对响应图进行配准，进行HDR图像的融合。
将虚影检测作为标签确定新的权重函数，表示如下：
Figure BDA0002588433780000061
其中，Sj为第j幅图像检测的除去虚影区域的面积，S为输入图像序列的总面积大小，w为归一化的高斯权重函数，其表示为：
Figure BDA0002588433780000062
其中，Ii为HDR图像中第i个像素点的值，i表示像素点的空间索引，j表示图像序列索引，E′i为辐照度值，w为考虑虚影区域后的权重函数。
综上所述，借助于本发明的上述技术方案，通过利用输入多曝光图像序列标定出逆相机响应函数曲线，利用它求响应图像，对响应图像进行配准，再结合标定的逆相机响应函数曲线及权重函数，进行HDR图像融合，可有效地去除运动物体所带来的虚影影响，实现高动态范围图像融合，应用范围广。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，包括以下步骤：
输入多曝光图像序列标定出逆相机响应函数曲线；
通过响应函数曲线获取响应图像；
通过响应图像进行配准；
结合标定逆相机响应函数曲线及权重函数，进行HDR图像融合。
2.根据权利要求1所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，进一步包括以下步骤：
参考图像与非参考图像间的相关性，获得图像间的连续区域与不连续区域，其中，不连续区域即为虚影区域；
对于输入j幅低动态范围图像，若j＝3，则选取其中正常曝光图像作为参考图像；若j＞3，则选取其中曝光不足或曝光过度区域最小的图像作为参考图像，因为这样的图像包含的场景信息最多。
3.根据权利要求2所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，进一步包括以下步骤：
标定参考图像与非参考图像的块间相关性，表示如下：
Figure FDA0002588433770000012
其中，Pj(k)表示块Sr(k)与块Sj(k+m)间的相关性，Sr(k)表示参考图像的第k个图像块，Sj(k+m)(j≠r)表示与参考图像对应位置的第j个非参考图像中的第k+m个图像块，m为整数；
将得到的Pj(k)进行二值化处理。
4.根据权利要求3所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，所述Pj(k)进行二值化处理，包括如下步骤：
设定一个门限值Ts，其范围为[0，1]，其Pj(k)越大，参考图像与非参考图像之间的相关性越大，即相似度高；反之，则相似度低；
确定Pj(k)的大小，设置门限值Ts为Ps(k)平均值的倍数，表示如下：
Figure FDA0002588433770000011
其中，α是一个常数，当α＝1时，Ts为Pj(k)的平均值。
确定最佳的二值化门限值Ts。
5.根据权利要求4所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，进一步包括以下步骤：确定虚影区域检测图：
当Pj(k)大于门限值时，表明两图像之间相似度高，其二值化为1；
若Pj(k)低于门限值，则认为两图像间相似度低，其二值化为0，其表示如下：
Figure FDA0002588433770000021
6.根据权利要求1所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，所述权重函数，包括获取HDR图像，表示如下：
Figure FDA0002588433770000022
其中，i表示像素点的空间索引，j表示图像序列索引，Ei为辐照度值，w为归一化的高斯权重函数。
7.根据权利要求6所述的针对自动驾驶的虚影高动态范围图像融合方法，其特征在于，进一步包括以下步骤：
获取标定的相机响应函数曲线得到响应图，
对响应图进行配准，进行HDR图像的融合。
将虚影检测作为标签确定新的权重函数，表示如下：
Figure FDA0002588433770000023
其中，Sj为第j幅图像检测的除去虚影区域的面积，S为输入图像序列的总面积大小，w为归一化的高斯权重函数，其表示为：
Figure FDA0002588433770000024
其中，Ii为HDR图像中第i个像素点的值，i表示像素点的空间索引，j表示图像序列索引，E′i为辐照度值，w为考虑虚影区域后的权重函数。
CN202010688363.4A 2020-07-16 2020-07-16 一种针对自动驾驶的虚影高动态范围图像融合方法 Withdrawn CN111899287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010688363.4A CN111899287A (zh) 2020-07-16 2020-07-16 一种针对自动驾驶的虚影高动态范围图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010688363.4A CN111899287A (zh) 2020-07-16 2020-07-16 一种针对自动驾驶的虚影高动态范围图像融合方法

Publications (1)

Publication Number Publication Date
CN111899287A true CN111899287A (zh) 2020-11-06

Family

ID=73190576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010688363.4A Withdrawn CN111899287A (zh) 2020-07-16 2020-07-16 一种针对自动驾驶的虚影高动态范围图像融合方法

Country Status (1)

Country Link
CN (1) CN111899287A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781375A (zh) * 2021-09-10 2021-12-10 厦门大学 一种基于多曝光融合的车载视觉增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781375A (zh) * 2021-09-10 2021-12-10 厦门大学 一种基于多曝光融合的车载视觉增强方法
CN113781375B (zh) * 2021-09-10 2023-12-08 厦门大学 一种基于多曝光融合的车载视觉增强方法

Similar Documents

Publication Publication Date Title
CN110619593B (zh) 一种基于动态场景的双曝光视频成像系统
CN109410130B (zh) 图像处理方法和图像处理装置
CN113992861B (zh) 一种图像处理方法及图像处理装置
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
US11328428B2 (en) Technologies for detection of occlusions on a camera
CN102768760A (zh) 一种基于图像纹理的图像快速去雾方法
CN111667514A (zh) 一种快速准确的车辆跟踪系统
CN115861380B (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
US9338354B2 (en) Motion blur estimation and restoration using light trails
CN111917991A (zh) 图像的质量控制方法、装置、设备及存储介质
CN110111341B (zh) 图像前景获取方法、装置及设备
CN111899287A (zh) 一种针对自动驾驶的虚影高动态范围图像融合方法
CN113553992A (zh) 一种面向电扶梯的复杂场景目标跟踪方法及系统
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN107734294A (zh) 监控图像复原系统及方法
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
Pal Visibility enhancement of fog degraded image sequences on SAMEER TU dataset using dark channel strategy
CN112037148B (zh) 大数据运动目标检测识别方法及系统
WO2022193132A1 (zh) 图像检测方法、装置和电子设备
CN114565597A (zh) 一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法
CN114387277A (zh) 基于事件序列训练神经网络实现目标分割的方法及装置
CN110288633B (zh) 目标追踪方法、装置、可读存储介质及电子设备
CN117079085B (zh) 雨滴检测模型的训练方法及车辆控制方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201106