CN110851965A - 一种基于物理模型的光源优化方法及优化系统 - Google Patents

一种基于物理模型的光源优化方法及优化系统 Download PDF

Info

Publication number
CN110851965A
CN110851965A CN201911033948.6A CN201911033948A CN110851965A CN 110851965 A CN110851965 A CN 110851965A CN 201911033948 A CN201911033948 A CN 201911033948A CN 110851965 A CN110851965 A CN 110851965A
Authority
CN
China
Prior art keywords
underwater
light source
model
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911033948.6A
Other languages
English (en)
Other versions
CN110851965B (zh
Inventor
荣生辉
李腾跃
何波
曹雪婷
刘永彬
沈钺
李光亮
年睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201911033948.6A priority Critical patent/CN110851965B/zh
Publication of CN110851965A publication Critical patent/CN110851965A/zh
Application granted granted Critical
Publication of CN110851965B publication Critical patent/CN110851965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于水下图像处理技术领域,公开了一种基于物理模型的光源优化方法及优化系统,构建水下相机模型、构建水下光源模型、构建水效应模型、构建完整的水下光学成像模型、仿真方法参数设定、图像质量评估标准、优化算法、实验验证。本发明具有较强的实用性和推广性,通过实验表明在构建的水下光学成像模型基础上提出的仿真算法在真实实验场景中实用可靠,不仅可以用于水下单光源优化照明,也适用于水下多光源照明。本发明具有较强的自适应性,对于不同的水下环境都可进行建模并遵循发明中方法进行研究;结合相机参数,水效应参数以及光源参数综合考虑详细的介绍了影响水下成像效果的因素,相较于传统水下成像模型更加全面具体。

Description

一种基于物理模型的光源优化方法及优化系统
技术领域
本发明属于水下图像处理技术领域,尤其涉及一种基于物理模型的光源优化方法及优化系统。
背景技术
目前,最接近的现有技术:
水下成像技术是海洋探测的重要内容,广泛应用于深水考古,生态调查,水下三维地形绘制和水下目标识别等领域。水下运动平台(例如自主式水下航行器-AUV,有缆式水下机器人-ROV和水下拖曳系统)携带相机到指定的作业区域捕获水下目标的图像数据来进行有效的分类和识别工作。因此,获得高质量的水下图像数据对于提高上述水下任务的准确性具有重要意义。然而,在水下世界中没有自然光或没有足够的阳光,机器人必须携带自己的光源来帮助水下相机捕捉所需的图像。当光线通过水这种介质时,会发生吸收和散射效应。吸收效应导致光子被粒子吸收后光束中的光通量损失,主要影响图像颜色,导致获取的图像呈现绿色或蓝色外观。散射效应的发生是由于光子在与粒子碰撞后改变了传播方向,主要降低了图像可见度,使图像中呈现出“面纱”效果。以上光在水下的衰减效应发生在从光源到水下相机的整个路径上,与光传播的距离有密切关系。水下作业过程中,水下光源良好的照明对于相机的辅助作用意义重大,不良的光源投射方向会造成大量光线投射到观测场景之外使观测区域亮度下降,也会造成图像局部曝光过强的光照不均问题或加重水效应对成像效果的影响。
由于海洋或水下实验成本高,因此一个有效的办法是通过构建水下物理模型进行仿真实验预测在相应的探测环境中的水下光源投射方向。为改善水下图像成像质量、提升水下任务的准确率,需要对水下成像影响进行详细分析,构建物理模型以降低各类因素对成像效果的影响,有重要的实际应用价值。现存的水下成像技术研究有Jaffe-McGlamery模型等。传统的水下成像模型侧重研究水效应对成像的影响,缺乏对于综合因素及面向特定水下运动平台的考虑。因此,亟需一种新的物理模型的光源优化算法及其仿真方法,以综合考虑各种影响因素,解决现有技术存在的问题。
综上所述,现有技术存在的问题是:
传统的水下成像模型侧重研究水效应对成像的影响,缺乏对于综合因素及面向特定水下运动平台的考虑。
现有技术中,获取图像品质差,在水下采集的图像数据常常存在光照不均问题。
现有技术中,由于水质不同(如衰减系数),相同设备在不同的水域采集水下图像质量,为获得良好图像,光源需要以不同角度提供照明。
解决上述技术问题的难度:
1.研究水效应模型的机构和研究人员侧重模型构建和仿真,验证时偏重于静态的水池实验或是海水中进行摆拍式实验,多数没有研究过海洋机器人的背景,如AUV作为一个运动载体在水下成像过程中对成像的影响。研究海洋机器人的机构和研究人员更侧重工程实用性,对于模型构建的精细度不够高;2.现有技术在条件允许的情况下,可以根据经验人为干预水下光源成像角度来捕获良好水下图像,对于海洋探测和研究,人无法潜入深海去调节光源角度解决水下成像光照不均问题;3.世界各地水域水质差异较大,同一水域不同深度的衰减系数也各不相同,获取精确的水效应参数是一个技术难题。
解决上述技术问题的意义:
光源优化仿真模型综合考虑从光源发射光线到光线进入到水下相机系统成像因素(相机,水效应,光源)并细致研究相应参数对成像效果的影响程度,对成像系统水下补光进行数据采集具有指导性意义。同时所述发明方法针对AUV水下运动平台设计理念,考虑光源、相机与AUV的几何关系,以及AUV在不同水域,对海底高度不同情况的工作状态下进行建模仿真,对于海洋机器人设计研发具有参考价值,为AUV提供水下光学成像设计参考;所述发明方法能够使相应水下探测设备采集照明条件良好的水下图像数据,避免光源投射大量光线到相机视场之外,解决水下成像光照不均问题;所述发明方法在输入相应参数后可以自动获得最佳照明参数配置,使相应水下探测设备在不同水域作业得到建议的光源角度以获取良好的水下图像数据。
发明内容
针对现有技术存在的问题,本发明提供了一种基于物理模型的光源优化方法及优化系统,结合相机参数,水效应参数和光源参数,提出一种水下光学成像模型;在所提出的水下成像模型基础上,提出一种水下光源优化和图像仿真方法,为水下光源实际操作提供建议参数。
本发明是这样实现的,一种基于物理模型的光源优化方法,具体包括:
步骤一,构建水下相机模型:
基于Jaffe-McGlamery模型,将ISO、A/D转换、快门速度、尺度因子、相机镜头透射率和渐晕效果、白平衡参数、拜耳滤波器参数集成,得到水下相机模型:
其中,Ec表示到达相机CCD芯片的光照强度,k表示全局尺度因子,b表示白平衡参数,c表示相机相对灵敏度,Tl表示相机镜头透射率,fn表示相机的f参数,φ表示相机的中心线与光线到达相机镜头的夹角。
步骤二,构建水下光源模型:
光线的光照强度与光轴夹角关系为:
Figure BDA0002250913050000041
公式中,Iθ(λ)为在角度为θ时的相对光照强度,I0(λ)为沿着光轴方向的最大光照强度。
步骤三,构建水效应模型:
所述水效应模型可以表示为:
Figure BDA0002250913050000042
步骤四,构建完整的水下光学成像模型:
步骤一至步骤三的推导涵盖了水下光学成像模型的所有考虑因素,将其结合在一起即为完整的水下光学成像模型,定义如下:
Figure BDA0002250913050000043
步骤五,仿真方法参数设定:利用步骤四推导得到的完整水下光学成像模型,输入相关参数。
步骤六,图像质量评估标准:
在步骤五中设置参数仿真得到水下仿真照明图像,为评价仿真图像质量定义了加权品质函数,如下所示:
Figure BDA0002250913050000044
Q=Qg+Qe-Qr
其中,Qg,Qe和Qr分别表示图像梯度,图像绿色通道熵值以及图像绿色通道中像素比例的归一化因子。使用绿色通道评估照明质量,即图像品质函数值越高,图像的对比度和照明均匀性越好。
步骤七,优化算法:
通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值,多张仿真图像作为优化过程中的输入数据。结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代。
步骤八,仿真实验与实验室实验结果:
通过比较实验数据的图像信息熵值来验证算法有效性,图像信息熵是一种评价图像的参数,计算公式为:
Figure BDA0002250913050000051
其中,l是图像灰度级,p(l)是图像矩阵中每个灰度级出现的概率,H是图像信息熵值。
图像信息熵值越大,则图像包含的信息就越多,图像质量相对较好;对所拍摄的四种角度的中间图像做图像信息熵计算并对比得到当相机距离海底1米时,光源角度为40°时,图像信息熵值最大;当相机距离海底2米时,光源角度为25°时,图像信息熵值最大。
进一步,步骤一中,在Jaffe-McGlamery模型基础上将相机镜头透射率和渐晕效果融入到水下相机模型中,通过调节白平衡参数来对场景照明进行补偿降低图像色偏,在水下相机模型中使用拜耳滤波器参数作为相机相对灵敏度衡量因素。
进一步,步骤二中,所述构建水下光源模型中,光源被视为一个理想的点光源,所形成的照明区域为一个三维空间的圆锥体。在光轴方向具有最大的光照强度,即为峰值强度。在光轴周围,光线与光轴间的夹角越大,光照强度越弱。工业领域将光照强度设定为峰值强度的50%作为相机能够捕获令人满意的图像的照明条件。由外部光束形成的有效照明锥包含在整个照明区域中。每条光线的光照强度从主轴向四周呈现的平滑衰减趋势,这是光束的角度特性。
进一步,步骤三中,所述构建水效应模型具体包括:
1)影响水下成像效果的是散射和吸收效应,这两者都是导致光线经过水体时光衰减的主要因素,其定义如下:
Ea(x,λ)=E(0,λ)e-a(λ)x
Eb(x,λ)=E(0,λ)e-b(λ)x
其中,a(λ)表示波长为λ的光在水中的吸收系数,b(λ)表示波长为λ的光在水中的衰减系数,x表示光在水中传播的距离,E(0,λ)表示光从光源发射出来时的光照强度,Ea(x,λ)和Eb(x,λ)分别表示在水中经过吸收和散射效应后的光照强度。
2)衰减的光照强度用下列公式表示:
E(x,λ)=E(0,λ)e-η(λ)x
η(λ)=a(λ)+b(λ);
其中,E(x,λ)表示波长为λ的光在水中传播x距离后的光照强度,η(λ)表示波长为λ的光的水衰减系数。
3)相机接收的光由三个独立部分组成:直接分量,前向散射分量和后向散射分量。前向散射描述了当光与水体相互作用时光子改变了非常小的方向角度后向散射是指当与水体相互作用时,一些光子离开原始路径并向后散射或向与原始路径大不相同的其他方向散射的现象,即光子改变了较大的方向角
Figure BDA0002250913050000062
Et=Ed+Efs+Ebs
Efs=Ed(x1,λ)*g(p|x1,G,η(λ),B);
其中,Efs表示前向散射分量,Ed(x1,λ)表示波长为λ的直接分量的光照强度,x1表示目标到相机的距离,p表示图像像素坐标。G和B的值参考Jaffe模型参数。
4)后向散射是在水下相机前方产生若干个三维板块。为了计算后向散射,我们结合了体积散射函数(VSF)和光源。利用β(ψ,λ)描述VSF并将每个板块分成几个体素,光束中的光线在体素处累积的光照强度即为后向散射。
Figure BDA0002250913050000071
其中,Δz表示每个三维板块的厚度,EVi(λ)表示到达第i个板块体素的直接光照强度,xVi表示体素与相机之间的距离,ψ表示光束照射在体素上反射后入射光线与反射光线间的夹角。
5)在水效应模型中也考虑了目标表面的反射情形,定义如下:
Figure BDA0002250913050000072
其中,ER表示在目标表面反射后的光照强度,r(λ)是在波长为λ的光在物体表面的反照率,P(λ)表示光在目标表面反射前的光照强度,
Figure BDA0002250913050000073
表示入射角,即入射光线与垂直于目标的法线间的夹角。进一步,步骤五中,所述仿真方法参数的设定具体如下:
1)根据相机手册,输入未失真图像的焦距f,CCD尺寸;
2)渐晕效应参考Jaffe模型进行设置;
3)相机白平衡参数b和相机相对灵敏度参数c使用在实验水域拍摄良好图像时的对应参数;
4)相机全局尺度因子k参考像素值与计算的绝对光照强度值进行比较来获得;
5)红色,绿色,蓝色峰值波长分别选取650nm,510nm和440nm;
6)光源的波长对应的相对强度使用光谱仪的测量值;
7)水衰减系数η的选取;
8)水下目标反照率r的设定;
9)品质函数的权重选用经验值[0.2,0.2,0.6]进行计算;
10)在优化过程中,采样角度在β1开始到β2结束,间隔为Δ,共计
Figure BDA0002250913050000081
张仿真图像;
11)仿真过程中视目标区域为平坦区域,相机垂直拍摄目标区域。
本发明另一目的在于提供一种实现所述基于物理模型的光源优化方法的信息数据处理终端。
本发明另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的基于物理模型的光源优化方法。
本发明另一目的在于提供一种基于物理模型的光源优化系统,所述基于物理模型的光源优化系统包括:
水下相机模型构建模块,用于将ISO、A/D转换、快门速度、尺度因子、相机镜头透射率和渐晕效果、白平衡参数、拜耳滤波器参数集成,得到水下相机模型;
水下光源模型构建模块,用于构建水下光源模型;
水效应模型构建模块,用于水效应模型构建;
水下光学成像模型构建模块,用于构建完整的水下光学成像模型;
仿真方法参数设定模块,用于利用得到的完整水下光学成像模型,输入相关参数;
图像质量评估模块,用于进行仿真得到水下仿真照明图像,并评价仿真图像质量,以及定义加权品质函数;用于将仿真得到的水下仿真照明图像,评价仿真图像质量中定义加权品质函数;
优化模块,用于通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值,多张仿真图像作为优化过程中的输入数据;结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代;
验证模块,用于通过比较实验数据的图像信息熵值验证优化模块获取的最大迭代有效性。
综上所述,本发明的优点及积极效果为:
本发明提供的一种基于物理模型的光源优化算法及其仿真方法,具有较强的实用性和推广性,通过实验表明在构建的水下光学成像模型基础上提出的仿真算法在真实实验场景中实用可靠,不仅可以用于水下单光源优化照明,也适用于水下多光源照明。
本发明提供的水下光学成像模型具有较强的自适应性,对于不同的水下环境都可进行建模并遵循发明中方法进行研究。结合相机参数,水效应参数以及光源参数综合考虑详细的介绍了影响水下成像效果的因素,相较于传统水下成像模型更加全面具体。
附图说明
图1是本发明实施例提供的基于物理模型的光源优化方法流程图。
图2是本发明实施例提供的光源的波长相对强度分布图。
图3是本发明实施例提供的水下图像形成模型示意图。
图4是本发明实施例提供的光源优化算法流程图。
图5是本发明实施例提供的水下相机和光源布局示意图。
图6是本发明实施例提供的光源角度与品质函数相对值关系分布示意图
图中,图(a)是相机距离海底1米时,光源角度与品质函数相对值关系分布示意图;图(b)相机距离海底2米时,光源角度与品质函数相对值关系分布示意图。
图7是本发明实施例提供的不同光源角度仿真图像示意图;
图中,图(a)是光源初始方向的仿真结果,光源位置与初始位置夹角0°,相机距离海底1米;图(b)是最优光源角度仿真图像,光源位置与初始位置夹角40°,相机距离海底1米;图(c)是光源初始方向的仿真结果,光源位置与初始位置夹角0°,相机距离海底2米;图(d)是最优光源角度仿真图像,光源位置与初始位置夹角25°,相机距离海底2米。
图8是本发明实施例提供的水下实验场景及硬件装备示意图。
图9是本发明实施例提供的水下实验数据示意图;
图中:图(a)是光源与初始方向夹角为0°,相机距离海底1米;图(b)是光源与初始方向夹角为25°,相机距离海底1米;图(c)是光源与初始方向夹角为40°,相机距离海底1米;图(d)是光源与初始方向夹角为80°,相机距离海底1米。图(e)是光源与初始方向夹角为0°,相机距离海底2米;图(f)是光源与初始方向夹角为25°,相机距离海底2米;图(g)是光源与初始方向夹角为40°,相机距离海底2米;图(h)是光源与初始方向夹角为80°,相机距离海底2米。
图10是本发明实施例提供的不同角度实验图像信息熵值对比结果图;
图中:图(a)是相机距离海底1米时,不同角度图像信息熵值结果;图(b)是相机距离海底2米时,不同角度图像信息熵值结果。
图11是本发明实施例提供的基于物理模型的光源优化系统示意图。
图中:1、水下相机模型构建模块;2、水下光源模型构建模块;3、水效应模型构建模块;4、水下光学成像模型构建模块;5、仿真方法参数设定模块;6、图像质量评估模块;7、优化模块;8、验证模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
传统的水下成像模型侧重研究水效应对成像的影响,缺乏对于综合因素的考虑。现有技术中,获取图像品质差。
针对现有技术存在的问题,本发明提供了一种基于物理模型的光源优化方法及系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的一种基于物理模型的光源优化算法及其仿真方法具体包括:
第一步:构建水下相机模型。Jaffe在水下计算机视觉研究中给出了水下物理模型研究,我们在参考Jaffe-McGlamery模型基础上将相机镜头透射率和渐晕效果融入到水下相机模型中。为了调整不同颜色通道的相对强度,水下相机模型需要考虑相机白平衡。由于不同照明条件的光谱特性不同,所捕获的图像通常具有色偏问题(例如,图像在荧光灯下是蓝色的并且在白炽灯下是黄色的)。为了消除或减少色偏,相机可以通过调节白平衡参数来对场景照明进行补偿降低图像色偏。此外,相机拜耳滤波器用于检测进入相机的光的颜色,使CCD芯片能够识别不同颜色,在水下相机模型中使用拜耳滤波器参数作为相机相对灵敏度衡量因素。ISO,A/D转换,快门速度,尺度因子及以上提到的相机参数共同集成到水下相机模型中得到如下所示水下相机模型。表1为本发明在验证实验过程使用的Bumblebee XB3相机参数。
其中,Ec表示到达相机CCD芯片的光照强度,k表示全局尺度因子,b表示白平衡参数,c表示相机相对灵敏度,Tl表示相机镜头透射率,fn表示相机的f参数,φ表示相机的中心线与光线到达相机镜头的夹角。
表1水下相机工作参数
Figure BDA0002250913050000121
第二步:构建水下光源模型。由于自然光在水下较弱或无法到达深水处,因此研究水下成像需要使用人造光源对相机拍摄场景进行补光。在光源模型中,光源被视为一个理想的点光源,所形成的照明区域为一个三维空间的圆锥体。在光轴方向具有最大的光照强度,即为峰值强度。在光轴周围,光线与光轴间的夹角越大,光照强度越弱。工业领域将光照强度设定为峰值强度的50%作为相机能够捕获令人满意的图像的照明条件。因此,由外部光束形成的有效照明锥包含在整个照明区域中。每条光线的光照强度从主轴向四周呈现的平滑衰减趋势,这是光束的角度特性。光线的光照强度与光轴夹角关系如下所示。
Figure BDA0002250913050000122
公式中,Iθ(λ)为在角度为θ时的相对光照强度,I0(λ)为沿着光轴方向的最大光照强度。光源的波长相对强度分布示意图如图2所示。表2为验证实验时所使用的相关光源参数。
表2光源参数
Figure BDA0002250913050000123
Figure BDA0002250913050000131
第三步:构建水效应模型。严重影响水下成像效果的是散射和吸收效应,这两者都是导致光线经过水体时光衰减的主要因素。其定义如下:
Ea(x,λ)=E(0,λ)e-a(λ)x
Eb(x,λ)=E(0,λ)e-b(λ)x
其中,a(λ)表示波长为λ的光在水中的吸收系数,b(λ)表示波长为λ的光在水中的衰减系数。x表示光在水中传播的距离,E(0,λ)表示光从光源发射出来时的光照强度,Ea(x,λ)和Eb(x,λ)分别表示在水中经过吸收和散射效应后的光照强度。因此,衰减的光照强度可以用下列公式表示。
E(x,λ)=E(0,λ)e-η(λ)x
η(λ)=a(λ)+b(λ);
其中,E(x,λ)表示波长为λ的光在水中传播x距离后的光照强度,η(λ)表示波长为λ的光的水衰减系数。
散射效应具有累积特性,水下散射是模型中一个复杂部分,光线介质中传播时发生与介质中物质接触传播方向发生改变,使成像结果产生“面纱”效应。参考Jaffe-McGlamery模型,相机接收的光由三个独立部分组成:直接分量,前向散射分量和后向散射分量。前向散射描述了当光与水体相互作用时光子改变了非常小的方向角度这导致随着距离增加图像不清晰的效果。后向散射是指当与水体相互作用时,一些光子离开原始路径并向后散射或向与原始路径大不相同的其他方向散射的现象,即光子改变了较大的方向角
Figure BDA0002250913050000141
Et=Ed+Efs+Ebs
Efs=Ed(x1,λ)*g(p|x1,G,η(λ),B);
其中,Efs表示前向散射分量,Ed(x1,λ)表示波长为λ的直接分量的光照强度,x1表示目标到相机的距离,p表示图像像素坐标。G和B的值参考Jaffe模型参数。
后向散射是在水下相机前方产生若干个三维板块。为了计算后向散射,我们结合了体积散射函数(VSF)和光源。利用β(ψ,λ)描述VSF并将每个板块分成几个体素,光束中的光线在体素处累积的光照强度即为后向散射。
其中,Δz表示每个三维板块的厚度,EVi(λ)表示到达第i个板块体素的直接光照强度,xVi表示体素与相机之间的距离,ψ表示光束照射在体素上反射后入射光线与反射光线间的夹角。
在水效应模型中也考虑了目标表面的反射情形,定义如下:
Figure BDA0002250913050000143
其中,ER表示在目标表面反射后的光照强度,r(λ)是在波长为λ的光在物体表面的反照率,P(λ)表示光在目标表面反射前的光照强度,
Figure BDA0002250913050000144
表示入射角,即入射光线与垂直于目标的法线间的夹角。综上所述,水效应模型可以表示为:
Figure BDA0002250913050000145
第四步:构建完整的水下光学成像模型。第一、二、三步的推导涵盖了水下光学成像模型的所有考虑因素,将其结合在一起即为所提出的水下成像模型,它结合了相机参数,水下光源参数和水效应参数。图3为完整水下光学成像模型及其涉及水下组件。完整的水下光学成像模型定义如下:
Figure BDA0002250913050000151
第五步:仿真方法参数设定。根据上述推导输入相关参数,具体如下:
1)根据相机手册,输入未失真图像的焦距f,CCD尺寸;
2)渐晕效应参考Jaffe模型进行设置;
3)相机白平衡参数b和相机相对灵敏度参数c使用在实验水域拍摄良好图像时的对应参数;
4)相机全局尺度因子k参考像素值与计算的绝对光照强度值进行比较来获得;
5)红色,绿色,蓝色峰值波长分别选取650nm,510nm和440nm;
6)光源的波长对应的相对强度使用光谱仪(如:Ocean Optics HR4000)的测量值;
7)水衰减系数η的选取(如:青岛海水属于Jerlov II类海水对应的衰减系数);
8)设置水下目标反照率r;
9)品质函数的权重选用经验值[0.2,0.2,0.6]进行计算;
10)在优化过程中,采样角度在β1开始到β2结束,间隔为Δ,共计张仿真图像;
11)仿真过程中视目标区域为平坦区域,相机垂直拍摄目标区域。
第六步:图像质量评估标准。在第五步中设置参数仿真得到水下仿真照明图像,为评价仿真图像质量定义了加权品质函数,如下所示:
Q=Qg+Qe-Qr
其中,Qg,Qe和Qr分别表示图像梯度,图像绿色通道熵值以及图像绿色通道中像素比例的归一化因子。由于图像的绿色通道包含最高的信噪比,因此使用绿色通道评估照明质量,也就是说图像品质函数值越高,图像的对比度和照明均匀性越好。
第七步:优化算法。通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值。在良好的照明角度附近品质函数值存在十分接近的情况,即多张仿真图像具有较好的图像品质函数值,这部分图像作为优化过程中的输入数据。结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代。光源优化算法流程如图4所示。
第八步:仿真实验与实验室实验结果。本发明仿真实验及真实场景实验均为图5所示结构布局,适用于图5及相似场景。水下相机视野垂直于海底,光源的初始方向也垂直于海底(定义为0°),光源能够沿着机器人方向在[-90°,90°]的范围内旋转。本发明中仅分析光源为图示相机提供辅助照明,因此挂光源仿真和实验仅在[0°,90°]范围内进行仿真和实验。在本发明中只有一个光源,相机和光源之间的距离已知,通过调整光源的角度(从0°到90°)来仿真图像的照明条件获得相应的仿真图像,每间隔5°仿真一张图像,可获得19张仿真图像,通过比较计算每个仿真图像的品质函数值获得最佳照明角度。图6为19张图像对应的相对品质函数强度值示意图。图7为典型的仿真结果。仿真实验给出的建议角度为40°,根据仿真实验建议的最优光源角度,进行了水下实验,分别选取0°,25°,40°和80°进行测试。图8为水下实验场景及硬件装备。实验时三目相机的中间相机与光源处在同一垂直物理位置关系,因此在后续数据对比中,仅选取该相机采集的图像进行对比,图9为实验采集数据。通过比较实验数据的图像信息熵值来验证算法有效性,图像信息熵是一种评价图像的参数,它的计算公式为:
Figure BDA0002250913050000171
其中,l是图像灰度级,p(l)是图像矩阵中每个灰度级出现的概率,H是图像信息熵值。
图像信息熵值越大,则图像包含的信息就越多,图像质量相对较好;对所拍摄的四种角度的中间图像做图像信息熵计算并对比得到当相机距离海底1米时,光源角度为40°时,图像信息熵值最大;当相机距离海底2米时,光源角度为25°时,图像信息熵值最大。以上实验验证了光源优化算法和仿真算法的有效性,实验结果如图10所示。
如图11所示,本发明实施例提供一种基于物理模型的光源优化系统,包括:
水下相机模型构建模块1,用于将ISO、A/D转换、快门速度、尺度因子、相机镜头透射率和渐晕效果、白平衡参数、拜耳滤波器参数集成,得到水下相机模型。
水下光源模型构建模块2,用于构建水下光源模型。
水效应模型构建构建模块3,用于水效应模型构建。
水下光学成像模型构建模块4,用于构建完整的水下光学成像模型。
仿真方法参数设定模块5,用于利用得到的完整水下光学成像模型,输入相关参数。
图像质量评估模块6,用于进行仿真得到水下仿真照明图像,并评价仿真图像质量,以及定义加权品质函数;用于将仿真得到的水下仿真照明图像,评价仿真图像质量中定义加权品质函数。
优化模块7,用于通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值,多张仿真图像作为优化过程中的输入数据;结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代。
验证模块8,用于通过比较实验数据的图像信息熵值验证优化模块获取的最大迭代有效性。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于物理模型的光源优化方法,其特征在于,所述基于物理模型的光源优化方法包括:
步骤一,构建水下相机模型:将ISO、A/D转换、快门速度、尺度因子、相机镜头透射率和渐晕效果、白平衡参数、拜耳滤波器参数集成,得到水下相机模型;
步骤二,构建水下光源模型;
步骤三,构建水效应模型;
步骤四,构建完整的水下光学成像模型:结合步骤一至步骤三的水下光学成像模型的所有因素,构建完整的水下光学成像模型;
步骤五,仿真方法参数设定:利用步骤四得到的完整水下光学成像模型,输入相关参数;
步骤六,图像质量评估标准:在步骤五中设置参数,进行仿真得到水下仿真照明图像,并评价仿真图像质量,以及定义加权品质函数;
步骤七,优化算法:通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值,多张仿真图像作为优化过程中的输入数据;结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代。
2.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤一中,将相机镜头透射率和渐晕效果融入到水下相机模型中,通过调节白平衡参数来对场景照明进行补偿降低图像色偏,在水下相机模型中使用拜耳滤波器参数作为相机相对灵敏度衡量因素;
水下相机模型为:
Figure FDA0002250913040000011
其中,Ec表示到达相机CCD芯片的光照强度,k表示全局尺度因子,b表示白平衡参数,c表示相机相对灵敏度,Tl表示相机镜头透射率,fn表示相机的f参数,φ表示相机的中心线与光线到达相机镜头的夹角。
3.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤二中,光线的光照强度与光轴夹角关系为:
其中,Iθ(λ)为在角度为θ时的相对光照强度,I0(λ)为沿着光轴方向的最大光照强度。
4.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤三中,水效应模型表示为:
Figure FDA0002250913040000022
5.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤四中,完整的水下光学成像模型,如下:
Figure FDA0002250913040000023
步骤五中,所述仿真方法参数的设定具体包括:
1)根据相机手册,输入未失真图像的焦距f,CCD尺寸;
2)渐晕效应参考Jaffe模型进行设置;
3)相机白平衡参数b和相机相对灵敏度参数c使用在实验水域拍摄良好图像时的对应参数;
4)相机全局尺度因子k参考像素值与计算的绝对光照强度值进行比较来获得;
5)红色,绿色,蓝色峰值波长分别选取650nm,510nm和440nm;
6)光源的波长对应的相对强度使用光谱仪的测量值;
7)水衰减系数η的选取;
8)水下目标反照率r的设定;
9)品质函数的权重选用经验值[0.2,0.2,0.6]进行计算;
10)在优化过程中,采样角度在β1开始到β2结束,间隔为Δ,共计
Figure FDA0002250913040000031
张仿真图像;
11)仿真过程中视目标区域为平坦区域,相机垂直拍摄目标区域。
6.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤六中,加权品质函数为:
Figure FDA0002250913040000032
Q=Qg+Qe-Qr
其中,Qg,Qe和Qr分别表示图像梯度,图像绿色通道熵值以及图像绿色通道中像素比例的归一化因子。
7.如权利要求1所述的基于物理模型的光源优化方法,其特征在于,步骤七后,还需进行实验验证,通过比较实验数据的信息熵值验证算法有效性,其验证算法公式为:
Figure FDA0002250913040000033
其中,l是图像灰度级,p(l)是图像矩阵中每个灰度级出现的概率,H是图像信息熵值;
对所拍摄的四种角度的中间图像做图像信息熵计算并对比得到当相机距离海底1米时,光源角度为40°时,图像信息熵值最大;当相机距离海底2米时,光源角度为25°时,图像信息熵值最大。
8.一种实现权利要求1~7任意一项所述基于物理模型的光源优化方法的信息数据处理终端。
9.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述的基于物理模型的光源优化方法。
10.一种实施权利要求1~7任意一项所述基于物理模型的光源优化方法的基于物理模型的光源优化系统,其特征在于,所述基于物理模型的光源优化系统包括:
水下相机模型构建模块,用于将ISO、A/D转换、快门速度、尺度因子、相机镜头透射率和渐晕效果、白平衡参数、拜耳滤波器参数集成,得到水下相机模型;
水下光源模型构建模块,用于构建水下光源模型;
水效应模型构建模块,用于水效应模型构建;
水下光学成像模型构建模块,用于构建完整的水下光学成像模型;
仿真方法参数设定模块,用于利用得到的完整水下光学成像模型,输入相关参数;
图像质量评估模块,用于进行仿真得到水下仿真照明图像,并评价仿真图像质量,以及定义加权品质函数;用于将仿真得到的水下仿真照明图像,评价仿真图像质量中定义加权品质函数;
优化模块,用于通过输入模型参数和设置光源角度获得的仿真结果各自对应一个图像品质函数值,多张仿真图像作为优化过程中的输入数据;结合光源角度使用梯度下降算法计算品质函数值的梯度,通过数值有限差分找到有效步长,确定有用步长后优化算法将重复在梯度方向上进行计算,直到达到最大迭代;
验证模块,用于通过比较实验数据的图像信息熵值验证优化模块获取的最大迭代有效性。
CN201911033948.6A 2019-10-29 2019-10-29 一种基于物理模型的光源优化方法及优化系统 Active CN110851965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033948.6A CN110851965B (zh) 2019-10-29 2019-10-29 一种基于物理模型的光源优化方法及优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033948.6A CN110851965B (zh) 2019-10-29 2019-10-29 一种基于物理模型的光源优化方法及优化系统

Publications (2)

Publication Number Publication Date
CN110851965A true CN110851965A (zh) 2020-02-28
CN110851965B CN110851965B (zh) 2023-05-12

Family

ID=69597871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033948.6A Active CN110851965B (zh) 2019-10-29 2019-10-29 一种基于物理模型的光源优化方法及优化系统

Country Status (1)

Country Link
CN (1) CN110851965B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860640A (zh) * 2020-07-17 2020-10-30 大连海事大学 一种基于gan的特定海域数据集增广方法
CN114326258A (zh) * 2020-09-25 2022-04-12 山东省科学院海洋仪器仪表研究所 一种水下摄像装置及其调节方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084496A1 (en) * 2006-10-04 2008-04-10 Massachusetts Institute Of Technology Adaptive Illumination for Color-Corrected Underwater Imaging
CN106570930A (zh) * 2016-10-08 2017-04-19 中国海洋大学 一种基于三维超体素描述的数字化生理生物体建模方法
CN108398782A (zh) * 2018-03-29 2018-08-14 上海大学 水下激光主动成像系统的蒙特卡洛模拟及优化设计方法
CN108932700A (zh) * 2018-05-17 2018-12-04 常州工学院 基于目标成像模型的自适应梯度增益水下图像增强方法
CN110135434A (zh) * 2018-11-13 2019-08-16 天津大学青岛海洋技术研究院 基于颜色线模型的水下图像质量提升算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084496A1 (en) * 2006-10-04 2008-04-10 Massachusetts Institute Of Technology Adaptive Illumination for Color-Corrected Underwater Imaging
CN106570930A (zh) * 2016-10-08 2017-04-19 中国海洋大学 一种基于三维超体素描述的数字化生理生物体建模方法
CN108398782A (zh) * 2018-03-29 2018-08-14 上海大学 水下激光主动成像系统的蒙特卡洛模拟及优化设计方法
CN108932700A (zh) * 2018-05-17 2018-12-04 常州工学院 基于目标成像模型的自适应梯度增益水下图像增强方法
CN110135434A (zh) * 2018-11-13 2019-08-16 天津大学青岛海洋技术研究院 基于颜色线模型的水下图像质量提升算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHENGHUI RONG: "An improved non-uniformity correction algorithm and its GPU parallel implementation", 《WEB OF SCIENCE》 *
刘贵杰;王猛;何波: "基于ADAMS与MATLAB/SIMULINK的水下自航行器协同仿真", 机械工程学报 *
刘贵杰;王猛;何波;: "基于Adams与Matlab/Simulink的水下自航行器协同仿真", 机械工程学报 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860640A (zh) * 2020-07-17 2020-10-30 大连海事大学 一种基于gan的特定海域数据集增广方法
CN114326258A (zh) * 2020-09-25 2022-04-12 山东省科学院海洋仪器仪表研究所 一种水下摄像装置及其调节方法
CN114326258B (zh) * 2020-09-25 2023-11-17 山东省科学院海洋仪器仪表研究所 一种水下摄像装置及其调节方法

Also Published As

Publication number Publication date
CN110851965B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
JP7413321B2 (ja) 日常シーン復元エンジン
US10929966B2 (en) System and method for imaging underwater environments using fluid lensing
Narasimhan et al. Structured light in scattering media
Schettini et al. Underwater image processing: state of the art of restoration and image enhancement methods
Anwer et al. Underwater 3-d scene reconstruction using kinect v2 based on physical models for refraction and time of flight correction
Kondo et al. Accurate polarimetric BRDF for real polarization scene rendering
CN110851965B (zh) 一种基于物理模型的光源优化方法及优化系统
Skinner et al. Towards real-time underwater 3D reconstruction with plenoptic cameras
Song et al. Deep sea robotic imaging simulator
Asano et al. Depth sensing by near-infrared light absorption in water
CN114037625A (zh) 一种基于物理散射模型的图像恢复方法
CN104813217B (zh) 用于设计能够估计景深的无源单通道成像器的方法
CN108318458B (zh) 一种适用于不同天气条件下的室外典型地物pBRDF的测量方法
CN110134987B (zh) 基于光线追迹的光学球面缺陷检测照明设计方法
CN116678862A (zh) 一种植株叶绿素荧光三维成像装置及方法
Simonot et al. Modeling, measuring, and using BRDFs: significant French contributions
Calantropio et al. Underwater Cultural Heritage Documentation Using Photogrammetry
Drap et al. Underwater multimodal survey: Merging optical and acoustic data
Ballarin et al. Underwater photogrammetry: Potentialities and problems results of the benchmark session of the 2019 sifet congress
KR102502029B1 (ko) 표면 반사 정보를 이용한 광학적 반사 특성 산출 방법
Li et al. Notice of Retraction: Optical Sources Optimization for 3D Reconstruction Based on Underwater Vision System
Billings et al. Parametric Design of Underwater Optical Systems
Kobayashi et al. BRDF estimation of structural color object by using hyper spectral image
TG et al. Neural BSSRDF: Object Appearance Representation Including Heterogeneous Subsurface Scattering
Palowitch et al. Computer model for predicting underwater color images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant