CN117409153B - 一种浑浊介质中的三维目标透射成像方法 - Google Patents
一种浑浊介质中的三维目标透射成像方法 Download PDFInfo
- Publication number
- CN117409153B CN117409153B CN202311726952.7A CN202311726952A CN117409153B CN 117409153 B CN117409153 B CN 117409153B CN 202311726952 A CN202311726952 A CN 202311726952A CN 117409153 B CN117409153 B CN 117409153B
- Authority
- CN
- China
- Prior art keywords
- imaging
- image
- target
- component
- imaging image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 350
- 230000005540 biological transmission Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012634 optical imaging Methods 0.000 abstract description 11
- 238000005457 optimization Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 8
- 230000010287 polarization Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种浑浊介质中的三维目标透射成像方法，属于光学成像技术领域，包括：建立成像目标的理论模型；根据成像目标的理论模型进行模拟成像，得到成像目标的模拟成像图像；获取浑浊介质中的成像目标的原始成像图像；根据模拟成像图像，抑制原始成像图像中的干扰信号，增强原始成像图像中的成像目标信号，得到增强后的成像图像。本发明通过利用成像目标的三维理论模型，抑制原始成像图像中的干扰信号，增强成像目标信号，使得成像目标信号更加明显和可辨识，实现对成像图像的增强优化，提高浑浊介质中的三维目标透射成像的成像效果；适用于各种成像技术，不受分辨率、成像速度等限制，不会增加额外的硬件复杂性，系统成本低，通用性好。
Description
技术领域
本发明涉及光学成像技术领域，尤其涉及一种浑浊介质中的三维目标透射成像方法。
背景技术
目前浑浊介质中目标透射成像的实现方式主要包括以下几种：
光声成像：通过测量浑浊介质在光照射下产生的声波信号，借助声波与光波之间的相互作用，实现对介质内部结构的成像。这种方法可以有效降低散射效应的影响。
时间选通成像技术：通过控制光源的照射时间和图像采集时间，实现对场景中特定物体的清晰成像。这种方法可以有效抑制前向散射现象，提高图像质量。
偏振成像：利用偏振光在浑浊介质中的传播特性，通过对不同偏振状态的光进行组合和处理，实现对介质内部结构的成像。这种方法可以抑制非散射噪声，提高成像质量。
然而，声光成像存在以下缺点：（1）分辨率限制：声光成像的分辨率受到声波传播速度和光波传播速度的限制，导致其成像分辨率相对较低。（2）成像速度限制：声光成像的速度受到声波和光波的传播速度限制，成像速度较慢。（3）设备体积和重量：声光成像设备相对较大，体积较大，重量较重，不便于携带和移动。（4）成本较高：声光成像设备成本相对较高，维护和操作也较为复杂。
时间选通成像存在以下缺点：（1）系统复杂性：实现高精度的时间选通成像技术需要较为复杂的系统和设备，包括光源、光探测器、数据处理等部分。（2）动态范围限制：由于时间选通成像技术原理的限制，其动态范围有限，难以同时捕捉高反差场景的细节。（3）成像速度受限：时间选通成像技术的成像速度受到选通时间和数据处理能力的制约，难以实现高速成像。（4）对光源和探测器的性能要求较高：为了获得清晰的成像效果，需要高强度、高稳定性的光源和具有高灵敏度的探测器，导致设备复杂且成本较高。
偏振成像存在以下缺点：（1）灵敏度降低：在低光环境下，偏振成像的灵敏度会降低，影响成像质量。（2）角度依赖性：偏振成像对入射光的入射角度敏感，不同角度下的成像效果会有差异，需要在实际应用中进行角度校正。（3）抗干扰能力差：偏振成像技术对环境光的干扰较为敏感，容易受到外部光源的影响。（4）系统复杂性：实现偏振成像需要使用偏振滤波器、检偏器等设备，增加了系统的复杂性和成本。
在弱散射、弱噪音环境下，传统水下图像增强技术可以通过抑制图像噪音、增强边缘细节、改善色彩失真等手段改善图像视觉特征。在强散射、强噪音、动态环境下（可以理解为黄河这类情况下），图像本身缺乏足够的成像信息，而图像增强算法本质上是一个熵增算法，信息不会增加只会减少，不会平白无故地获得额外的信息。为了解决这个问题，通常会使用声呐、照明光、偏振光等手段，提供额外信息辅助成像，结合相关算法减少散射和噪音的影响，提高图像的质量和准确性。然而，通过此类途径通常伴随高复杂度、高成本的系统结构，高性能、高成本的光电元件等。
因此，如何在不增加系统成本的前提下，为三维目标成像提供有效的额外信息，辅助算法抑制散射和噪声信号、增强探测对象信号和成像目标信号是解决浑浊介质中的三维目标透射成像的关键问题。
发明内容
本发明提供一种浑浊介质中的三维目标透射成像方法，用以解决现有技术中如何在不增系统成本的前提下，为三维目标成像提供有效的额外信息，辅助算法抑制散射和噪声信号、增强探测对象信号和成像目标信号是解决浑浊介质中的三维目标透射成像的关键问题，实现实现对成像图像的增强的优化，提高目标检测和成像的效果，系统成本低。
本发明提供一种浑浊介质中的三维目标透射成像方法，所述方法包括：
建立成像目标的理论模型；
根据所述成像目标的理论模型进行模拟成像，得到所述成像目标的模拟成像图像；
获取浑浊介质中的所述成像目标的原始成像图像；
根据所述模拟成像图像，抑制所述原始成像图像中的干扰信号，增强所述原始成像图像中的成像目标信号，得到增强后的成像图像。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述根据所述模拟成像图像，抑制所述原始成像图像中的干扰信号，增强所述原始成像图像中的成像目标信号，得到增强后的成像图像，包括：
根据所述模拟成像图像，确定所述成像目标的光强分布；
分离与所述光强分布线性相关成分和线性无关成分，增强所述线性相关成分，抑制所述线性无关成分，得到增强后的成像图像。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述分离与所述光强分布线性相关成分和线性无关成分，增强所述线性相关成分，抑制所述线性无关成分，得到增强后的成像图像，包括：
将所述原始成像图像分解为不同频带下的分量；
计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度；
根据所述相似度，调整所述原始成像图像中所述不同频带下的各个分量的比例，生成增强后的成像图像。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度，包括：
基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度，包括：
根据所述模拟成像图像和任一分量的亮度测量值，构建亮度对比函数；
根据所述模拟成像图像和任一分量的对比度测量值，构建对比度对比函数；
根据所述模拟成像图像和任一分量的亮度测量值、对比度测量值，构建结构对比函数；
根据所述亮度对比函数、所述对比度对比函数和所述结构对比函数，构建用于计算相似度的结构相似性函数。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述结构相似性函数为：
；
其中，l(x,y)为亮度对比函数，c(x,y)为对比度对比函数，s(x,y)为结构对比函数，α为亮度对比函数的重要性系数，β为对比度对比函数的重要性系数，γ为结构对比函数的重要性系数。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述增强后的成像图像为：
；
其中，I new 为增强后的成像图像，I n 为原始成像图像不同频带下的分量，SSIM n 为不同频带下的分量与模拟成像图像之间的相似度。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，在所述得到增强后的成像图像之后，还包括：
检测所述增强后的成像图像的标志点中心；
根据所述标志点中心在图像中的位置信息，重新计算相机像位姿，重新预测模拟成像图像。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述建立成像目标的理论模型，包括：
获取成像目标在多视角下的图像，对所述图像进行预处理；
利用计算机视觉技术，从预处理后的成像目标在多视角下的图像中，重建所述成像目标的三维模型；
对所述三维模型进行优化；
基于优化后的三维模型，建立所述成像目标的理论模型；
将所述理论模型与实际检测数据进行对比，评估所述理论模型的性能，并根据评估结果对所述理论模型进行优化，得到优化后的所述成像目标的理论模型。
根据本发明提供的一种浑浊介质中的三维目标透射成像方法，所述根据所述成像目标的理论模型进行模拟成像，得到所述成像目标的模拟成像图像，包括：
确定相机位置和角度，确定相机的视角；
根据所述相机的视角，对场景中的光线进行追踪，并模拟光线在成像目标表面上的反射和传播过程；
对图像进行后处理，输出所述成像目标的模拟成像图像。
本发明提供的一种浑浊介质中的三维目标透射成像方法，通过利用成像目标的三维理论模型，抑制浑浊介质中的成像目标的原始成像图像中的干扰信号，增强该原始成像图像中的成像目标信号，使得成像目标信号更加明显和可辨识，可以实现对成像图像的增强优化，提高目标检测和浑浊介质中的三维目标透射成像的成像效果；适用于各种成像技术，不受分辨率、成像速度等限制，不会增加额外的硬件复杂性，系统成本低，通用性好。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的浑浊介质中的三维目标透射成像方法的流程示意图；
图2是本发明实施例提供的相似度测量流程示意图；
图3是本发明实施例提供的浑浊介质中的三维目标透射成像流程的示意图；
图4是本发明实施例提供的圆心检测算法检测圆心的示意图；
图5是本发明实施例提供的后方交会结算位姿的示意图；
图6是本发明实施例提供的重新预测得到的成像图像的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的浑浊介质中的三维目标透射成像方法的流程示意图。参照图1，本发明实施例提供一种浑浊介质中的三维目标透射成像方法，所述方法具体可以包括如下步骤：
步骤101，建立成像目标的理论模型。
成像目标是指可以通过成像系统或设备来获得其图像或影像的物体。具体的，可以预先获取成像目标的三维信息，对成像目标进行几何建模，以描述其形状和结构，从而构建得到成像目标的理论模型。
步骤102，根据所述成像目标的理论模型进行模拟成像，得到所述成像目标的模拟成像图像。
在本发明实施例中，模拟成像图像可以是指成像目标的预测成像的理论值。具体的，可以根据相机的视角和位置，将成像目标的三维理论模型投影到图像平面上，得到一个虚拟的二维图像，将生成的图像渲染或显示出来，从而得到成像目标的模拟成像图像。
步骤103，获取浑浊介质中的所述成像目标的原始成像图像。
浑浊介质可以是指由于悬浮颗粒或微小气泡等杂质而使液体或气体变得不透明的介质，可以包括水中的悬浮颗粒、污染空气中的微小颗粒、某些液体中的气泡等。这些杂质的大小和浓度会影响介质的浑浊程度，当杂质的大小和浓度超过一定限度时，会导致光在介质中的散射增强，从而使介质变得越来越不透明。
浑浊介质的散射特性会导致图像模糊，原始成像图像可以是指通过光学成像、声光成像、偏振成像等各种成像技术得到的，模糊不清晰的成像图像。示例性地，在一种水下光学成像场景中，可以使用水下相机拍摄位于浑浊介质中的成像目标的光学成像图像。本发明实施例可以根据模拟成像图像，对模糊的原始成像图像进行处理，从而提高拍摄的成像目标的图像清晰度。
需要说明的是，本发明实施例提供的浑浊介质中的三维目标透射成像方法适用于各种成像技术，不受分辨率、成像速度等限制，也不会增加额外的硬件复杂度，通用性好。下面本发明实施例以光学成像技术为示例进行说明。
步骤104，根据所述模拟成像图像，抑制所述原始成像图像中的干扰信号，增强所述原始成像图像中的成像目标信号，得到增强后的成像图像。
具体的，在利用针对目标构建的三维理论模型和相机视角作为约束条件进行模拟成像之后，根据目标在该视角下的视觉特征（即该视角下的成像目标的模拟成像图像），增强相关图像成分、抑制不相关图像成分，可以实现在浑浊介质中的成像目标的三维透射成像。
干扰信号可以包括散射信号和噪声信号等。在成像过程中，探测对象信号和成像目标信号可能会被其他干扰信号掩盖或削弱。本发明实施例通过增强这些信号，使得成像目标信号更加明显和可辨识，可以提高目标检测和成像的效果。
在浑浊介质中，散射和噪声信号等干扰信号会对成像图像产生干扰，在复杂场景下，这类干扰特征通常不固定且难以预测。本发明实施例通过针对性地抑制散射和噪声信号，无需关注干扰信号的本身特征，只需将与目标特征差异较大的特征作为干扰信号的特征，抗干扰能力强。
在本发明实施例中，预先建立成像目标的三维模型，利用三维成像（摄影测量成像）预测成像的理论值之后，通过该理论值信息抑制散射和噪声信号、增强探测对象信号和成像目标信号，提高浑浊介质中的三维目标透射成像的成像效果。
本发明实施例通过利用成像目标的三维理论模型，抑制浑浊介质中的成像目标的原始成像图像中的干扰信号，增强该原始成像图像中的成像目标信号，使得成像目标信号更加明显和可辨识，可以实现对成像图像的增强优化，提高目标检测和浑浊介质中的三维目标透射成像的成像效果；适用于各种成像技术，不受分辨率、成像速度等限制，不会增加额外的硬件复杂性，系统成本低，通用性好。
在一种可选的实施例中，所述步骤101可以包括以下子步骤S11-S15：
子步骤S11，获取成像目标在多视角下的图像，对所述图像进行预处理。
其中，成像目标的图像可以为通过图像拍摄设备拍摄得到的图像，也可以为通过视频拍摄设备拍摄的视频图像。
在本发明实施例中，可以首先进行数据收集，获取成像目标的图像或视频，图像或视频可以来源于不同角度、不同光照条件下的拍摄。也可以使用成像目标的二维或三维设计图，在使用二维或三维设计图的情况下，可以直接为成像目标建立理论模型。
接着，可以进行图像处理，对收集到的二维图像或视频进行预处理。其中，预处理操作可以包括去噪、增强、对比度调整等操作。通过对成像目标在多视角下的图像进行预处理，可以便于后续处理。
子步骤S12，利用计算机视觉技术，从预处理后的成像目标在多视角下的图像中，重建所述成像目标的三维模型。
其中，计算机视觉技术可以为立体视觉、结构光视觉等技术。具体的，可以借助卷积神经网络（Convolutional Neural Networks，CNN）、生成对抗网络（GenerativeAdversarial Nets，GAN）等深度学习算法，从多视角的二维图像或视频中恢复出目标的三维结构。
子步骤S13，对所述三维模型进行优化。
在重建成像目标的三维模型之后，可以对三维模型进行优化。具体的，可以通过几何优化或物理约束等方法，对三维模型进行精化和优化，提高三维模型的准确性和稳定性。
子步骤S14，基于优化后的三维模型，建立所述成像目标的理论模型。
具体的，可以根据待检测的成像目标的特性和需求，确定理论模型的类型。其中，理论模型的类型可以包括几何模型、物理模型等。
在本发明实施例中，基于优化后的三维模型，可以建立成像目标的几何模型或物理模型。
子步骤S15，将所述理论模型与实际检测数据进行对比，评估所述理论模型的性能，并根据评估结果对所述理论模型进行优化，得到优化后的所述成像目标的理论模型。
在建立理论模型之后，可以对该理论模型进行验证。具体的，可以将建立的理论模型与实际检测数据进行对比，评估理论模型的准确性和可靠性等性能。并且，可以根据评估验证结果，对理论模型进行进一步优化，得到最终的成像目标的理论模型。
在一种可选的实施例中，所述步骤102，可以包括以下子步骤S21-S23：
子步骤S21，确定相机位置和角度，确定相机的视角。
在本发明实施例中，可以推测相机位置和角度，确定相机的视角。具体的，可以通过相机预设轨迹、图像中特征点模糊定位、经验值等方式实现。
子步骤S22，根据所述相机的视角，对场景中的光线进行追踪，并模拟光线在成像目标表面上的反射和传播过程。
在确定相机的视角后，可以进行光线追踪。具体的，可以根据相机的视角，对场景中的光线进行追踪，并模拟光线在成像目标的理论模型表面上的反射和传播过程。
子步骤S23，对图像进行后处理，输出所述成像目标的模拟成像图像。
具体的，可以对渲染出来的图像进行后处理，例如通过抗锯齿技术减少图像中的锯齿边缘、使图像中的特定区域清晰并使图像中的其他区域模糊以增加景深效果等等，从而提高图像的质量。
在完成针对图像的后处理后，可以输出成像目标的模拟成像图像。
在一种可选的实施例中，所述步骤104，可以包括以下子步骤S31-S32：
子步骤S31，根据所述模拟成像图像，确定所述成像目标的光强分布；
子步骤S32，分离与所述光强分布线性相关成分和线性无关成分，增强所述线性相关成分，抑制所述线性无关成分，得到增强后的成像图像。
成像是从成像目标出发直线进入相机的透射光，和发生散射间接进入相机的散射光/>的线性叠加：
；(1)
其中，是成像目标的自身光强分布；/>为透射光衰减因子，/>为散射光强分布。散射光强分布/>满足方程：
；(2)
其中，为场景中任一点到探测器之间的距离，/>是光波在散射介质中的散射角，/>为介质的散射系数，/>为散射光衰减因子。
对于图像而言，光学成像中目标的可以由模拟成像图像提供确定。透光分量为/>，光学传播路径接近时，/>可以近似为常数。因此，透射光为图像中与/>线性相关的分量，而散射光和噪音则不满足该条件，为图像中与/>线性无关的分量。从图像中分离与/>线性相关成分与线性无关成分，可以实现透射光成像与散射噪音等干扰光成像的分离，从而实现浑浊水体环境下成像目标的清晰成像。
本发明实施例通过分离与光强分布线性相关成分和线性无关成分，增强线性相关成分，抑制所述线性无关成分，可以针对性地抑制散射和噪声信号，增强成像目标信号，提高浑浊介质中的三维目标透射成像的成像效果。
在一种可选的实施例中，所述子步骤S32可以包括以下子步骤S321-S323：
子步骤S321，将所述原始成像图像分解为不同频带下的分量；
子步骤S322，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度；
子步骤S323，根据所述相似度，调整所述原始成像图像中所述不同频带下的各个分量的比例，生成增强后的成像图像。
具体的，可以使用带通滤波器将光学成像的图像分解为不同成分：
；(3)
其中，为原始成像图像（光学成像图像），/>是其不同频带下的分量。
在已知该目标位于图像中心，且正对相机，距离大致为的情况下，可以生成模拟成像图像/>，计算成像目标的模拟成像图像与不同频带下的各个分量之间的相似度，计算/>和/>的相似度/>。
在计算得到相似度之后，可以根据相似性，调整原始成像图像中各成分的比例，从而增强线性相关成分，抑制线性无关成分，提高浑浊介质中的三维目标透射成像的成像效果。
在一种可选的实施例中，所述计算所述成像目标的光强分布与所述各个频带下的分量之间的相似度，包括：基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度。
具体的，可以使用结构相似性指数（Structural Similarity Index，SSIM），综合考虑图像的亮度、对比度和结构信息，计算基于模拟成像图像与不同频带下的每个分量之间的相似度SSIM值。
其中，SSIM值在0到1之间，SSIM值越接近1表示两张图像越相似。
在一种可选的实施例中，所述基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度，包括：根据所述模拟成像图像和任一分量的亮度测量值，构建亮度对比函数；根据所述模拟成像图像和任一分量的对比度测量值，构建对比度对比函数；根据所述模拟成像图像和任一分量的亮度测量值、对比度测量值，构建结构对比函数；根据所述亮度对比函数、所述对比度对比函数和所述结构对比函数，构建用于计算相似度的结构相似性函数。
具体的，亮度对比函数可以为：
；(4)
其中，为模拟成像图像的亮度测量值，/>为任一分量的亮度测量值。
对比度对比函数可以为：
；(5)
其中，为模拟成像图像的对比度测量值，/>为任一分量的对比度测量值。
结构对比函数可以为：
；(6)
其中，N为不同频带下的分量的数量，，并且/>和/>为常系数。
根据亮度对比函数、对比度对比函数和结构对比函数，可以构建用于计算相似度的结构相似性函数。
本发明实施例通过计算模拟成像图像与不同频带下的每个分量之间的相似度，可以根据相似度调整原始成像图像中各成分的比例，从而增强成像目标信号，抑制散射和噪声等干扰信号，提高浑浊介质中的三维目标透射成像的成像效果。
在一种可选的实施例中，结构相似性函数可以为：
；(7)
其中，l(x,y)为亮度对比函数，c(x,y)为对比度对比函数，s(x,y)为结构对比函数，α为亮度对比函数的重要性系数，β为对比度对比函数的重要性系数，γ为结构对比函数的重要性系数。
为了简化形式，可以令
；(8)
可以得到一下结构相似性函数的简化公式：
；(9)
图2是本发明实施例提供的相似度测量流程示意图。参照图2，可以对图像x（光学成像分量I n ）和图像y（模拟成像图像I obj ）进行亮度测量和对比度测量。接着，可以根据图像x和图像y的亮度测量值进行亮度对比，根据图像x和图像y的对比度测量值进行对比度对比，并进一步进行结构对比。最后可以根据亮度对比、对比度对比和结构对比进行图像x和图像y之间的相似度测量。
本发明实施例通过基于结构相似性函数计算模拟成像图像与每个分量之间的相似度，可以根据相似度调整原始成像图像中各成分的比例，从而增强成像目标信号，抑制散射和噪声等干扰信号，提高浑浊介质中的三维目标透射成像的成像效果。
在一种可选的实施例中，增强后的成像图像为：
；
其中，I new 为增强后的成像图像，I n 为原始成像图像不同频带下的分量，SSIM n 为不同频带下的分量与模拟成像图像之间的相似度。
图3是本发明实施例提供的浑浊介质中的三维目标透射成像流程的示意图。参照图3，世界坐标系以O w 为原点建立坐标系，物体坐标用（X w ，Y w ，Z w ）表示，代表物体在三维世界里的真实坐标，成像目标P在世界坐标系下的坐标表示为P=（X i ，Y i ，Z i ）。相机坐标系以相机的光轴为原点，前为Z轴，右为X轴，下为Y轴，可以将成像目标P在世界坐标系下的坐标转换为相机坐标系下的坐标P s =（X s ，Y s ，Z s ）。图像坐标系代表相机拍摄时在成像平面上使用的坐标系，以成像平面和相机光轴的交点为原点O i ，坐标用（u i ，v i ）表示，投影在成像平面上的成像目标在图像坐标系下的坐标可以表示为P`=（u，v），从而可以根据成像目标和相机视角预测成像，得到模拟成像图像。接着，对浑浊介质中的三维目标透射成像时，可以获取浑浊介质中的成像目标的光学成像图像，对光学成像图像进行频率分解，得到不同频带下的各个分量。最后，可以增强光学成像图像中与模拟成像图像相似的成分，调整线性相关成分的权重，从而根据，得到增强后的成像图像。
在一种可选的实施例中，在所述得到增强后的成像图像之后，还包括：检测所述增强后的成像图像的标志点中心；根据所述标志点中心在图像中的位置信息，重新计算相机像位姿，重新预测成像图像。
图4是本发明实施例提供的圆心检测算法检测圆心的示意图，图5是本发明实施例提供的后方交会结算位姿的示意图，图6是本发明实施例提供的重新预测得到的成像图像的示意图。
参照图5，世界坐标系以O w 为原点建立坐标系，物体坐标用（X w ，Y w ，Z w ）表示，可以代表物体在三维世界里的真实坐标，成像目标P在世界坐标系下的坐标可以表示为P=（X i ，Y i ，Z i ）。相机坐标系以相机的光轴为原点，前为Z轴，右为X轴，下为Y轴，可以将成像目标P在世界坐标系下的坐标转换为相机坐标系下的坐标P s =（X s ，Y s ，Z s ）。图像坐标系代表相机拍摄时在成像平面上使用的坐标系，以成像平面和相机光轴的交点为原点O i ，坐标用（u i ，v i ）表示，投影在成像平面上的成像目标在图像坐标系下的坐标可以表示为P`=（u，v）。
参照图4，可以基于增强后的图像，可以通过圆心检测算法检测标志点中心，参照图5，可以结合摄影测量后方交会原理，根据标志点中心在图像中的位置信息重新计算相机像位姿，并重新预测成像目标的成像/>，如图6所示。本发明实施例通过在获得相对清晰的增强后的成像图像之后，结合该图像重新推测相机位置和角度，可以获得精度更高的相机视角；通过重复之后的信号增强过程，可以实现迭代优化。
本发明实施例通过利用成像目标的三维理论模型，抑制浑浊介质中的成像目标的原始成像图像中的干扰信号，增强该原始成像图像中的成像目标信号，使得成像目标信号更加明显和可辨识，可以实现对成像图像的增强优化，提高目标检测和浑浊介质中的三维目标透射成像的成像效果；适用于各种成像技术，不受分辨率、成像速度等限制，不会增加额外的硬件复杂性，系统成本低，通用性好。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种浑浊介质中的三维目标透射成像方法，其特征在于，所述方法包括：
建立成像目标的理论模型；
根据所述成像目标的理论模型进行模拟成像，得到所述成像目标的模拟成像图像；
获取浑浊介质中的所述成像目标的原始成像图像；
根据所述模拟成像图像，抑制所述原始成像图像中的干扰信号，增强所述原始成像图像中的成像目标信号，得到增强后的成像图像；其中，所述干扰信号为由于浑浊介质而导致的非直线传播光线，所述成像目标信号为沿直线传播的透射光；
其中，所述根据所述模拟成像图像，抑制所述原始成像图像中的干扰信号，增强所述原始成像图像中的成像目标信号，得到增强后的成像图像，包括：
根据所述模拟成像图像，确定所述成像目标的光强分布；
分离与所述光强分布线性相关成分和线性无关成分，增强所述线性相关成分，抑制所述线性无关成分，得到增强后的成像图像；
其中，所述分离与所述光强分布线性相关成分和线性无关成分，增强所述线性相关成分，抑制所述线性无关成分，得到增强后的成像图像，包括：
将所述原始成像图像分解为不同频带下的分量；
计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度；
根据所述相似度，调整所述原始成像图像中所述不同频带下的各个分量的比例，生成增强后的成像图像；
其中，所述计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度，包括：
基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度。
2.根据权利要求1所述的方法，其特征在于，所述基于图像的亮度、对比度和结构信息，计算所述模拟成像图像与所述不同频带下的各个分量之间的相似度，包括：
根据所述模拟成像图像和任一分量的亮度测量值，构建亮度对比函数；
根据所述模拟成像图像和任一分量的对比度测量值，构建对比度对比函数；
根据所述模拟成像图像和任一分量的亮度测量值、对比度测量值，构建结构对比函数；
根据所述亮度对比函数、所述对比度对比函数和所述结构对比函数，构建用于计算相似度的结构相似性函数。
3.根据权利要求2所述的方法，其特征在于，所述结构相似性函数为：
；
其中，l(x,y)为亮度对比函数，c(x,y)为对比度对比函数，s(x,y)为结构对比函数，α为亮度对比函数的重要性系数，β为对比度对比函数的重要性系数，γ为结构对比函数的重要性系数。
4.根据权利要求3所述的方法，其特征在于，所述增强后的成像图像为：
；
其中，I new 为增强后的成像图像，I n 为原始成像图像不同频带下的分量，SSIM n 为不同频带下的分量与模拟成像图像之间的相似度。
5.根据权利要求1所述的方法，其特征在于，在所述得到增强后的成像图像之后，还包括：
检测所述增强后的成像图像的标志点中心；
根据所述标志点中心在图像中的位置信息，重新计算相机像位姿，重新预测模拟成像图像。
6.根据权利要求1所述的方法，其特征在于，所述建立成像目标的理论模型，包括：
获取成像目标在多视角下的图像，对所述图像进行预处理；
利用计算机视觉技术，从预处理后的成像目标在多视角下的图像中，重建所述成像目标的三维模型；
对所述三维模型进行优化；
基于优化后的三维模型，建立所述成像目标的理论模型；
将所述理论模型与实际检测数据进行对比，评估所述理论模型的性能，并根据评估结果对所述理论模型进行优化，得到优化后的所述成像目标的理论模型。
7.根据权利要求1所述的方法，其特征在于，所述根据所述成像目标的理论模型进行模拟成像，得到所述成像目标的模拟成像图像，包括：
确定相机位置和角度，确定相机的视角；
根据所述相机的视角，对场景中的光线进行追踪，并模拟光线在成像目标表面上的反射和传播过程；
对图像进行后处理，输出所述成像目标的模拟成像图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311726952.7A CN117409153B (zh) | 2023-12-15 | 2023-12-15 | 一种浑浊介质中的三维目标透射成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311726952.7A CN117409153B (zh) | 2023-12-15 | 2023-12-15 | 一种浑浊介质中的三维目标透射成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409153A CN117409153A (zh) | 2024-01-16 |
| CN117409153B true CN117409153B (zh) | 2024-05-07 |
Family
ID=89500425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311726952.7A Active CN117409153B (zh) | 2023-12-15 | 2023-12-15 | 一种浑浊介质中的三维目标透射成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409153B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009208A (en) * | 1995-08-21 | 1999-12-28 | Lucent Technologies Inc. | System and method for processing space-time images |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
| CN101849175A (zh) * | 2007-11-05 | 2010-09-29 | 皇家飞利浦电子股份有限公司 | 用于对浑浊介质内部进行成像的装置的控制方法、用于对浑浊介质内部进行成像的装置以及计算机程序产品 |
| CN103914820A (zh) * | 2014-03-31 | 2014-07-09 | 华中科技大学 | 一种基于图像分层增强的图像去雾方法及系统 |
| CN106384337A (zh) * | 2016-09-07 | 2017-02-08 | 上海理工大学 | 一种激光散斑血流成像的增强方法 |
| CN113310851A (zh) * | 2021-05-25 | 2021-08-27 | 清华大学深圳国际研究生院 | 一种实时浑浊介质目标识别系统和方法 |
| CN113674158A (zh) * | 2020-05-13 | 2021-11-19 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN115358943A (zh) * | 2022-08-10 | 2022-11-18 | 中国科学院深圳先进技术研究院 | 低光图像增强方法、系统、终端以及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013116316A1 (en) * | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
| US9525804B2 (en) * | 2014-08-30 | 2016-12-20 | Apple Inc. | Multi-band YCbCr noise modeling and noise reduction based on scene metadata |
| GB2589643B (en) * | 2019-12-06 | 2022-05-04 | Ibex Innovations Ltd | Material-based x-ray image enhancement |
-
2023
- 2023-12-15 CN CN202311726952.7A patent/CN117409153B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009208A (en) * | 1995-08-21 | 1999-12-28 | Lucent Technologies Inc. | System and method for processing space-time images |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
| CN101849175A (zh) * | 2007-11-05 | 2010-09-29 | 皇家飞利浦电子股份有限公司 | 用于对浑浊介质内部进行成像的装置的控制方法、用于对浑浊介质内部进行成像的装置以及计算机程序产品 |
| CN103914820A (zh) * | 2014-03-31 | 2014-07-09 | 华中科技大学 | 一种基于图像分层增强的图像去雾方法及系统 |
| CN106384337A (zh) * | 2016-09-07 | 2017-02-08 | 上海理工大学 | 一种激光散斑血流成像的增强方法 |
| CN113674158A (zh) * | 2020-05-13 | 2021-11-19 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113310851A (zh) * | 2021-05-25 | 2021-08-27 | 清华大学深圳国际研究生院 | 一种实时浑浊介质目标识别系统和方法 |
| CN115358943A (zh) * | 2022-08-10 | 2022-11-18 | 中国科学院深圳先进技术研究院 | 低光图像增强方法、系统、终端以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于独立分量分析的X射线图像增强方法;刘彦;王黎明;刘斌;;无损检测;20090610(06);第30-32页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409153A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tsiotsios et al. | Backscatter compensated photometric stereo with 3 sources | |
| CN112132958A (zh) | 一种基于双目视觉的水下环境三维重建方法 | |
| CN103617617A (zh) | 基于功率谱描述的水下图像质量评价测量方法 | |
| CN115375581A (zh) | 基于事件时空同步的动态视觉事件流降噪效果评价方法 | |
| CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
| WO2020140397A1 (zh) | 一种基于光线逆追踪技术还原井下图像的方法 | |
| CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及系统 | |
| CN110136453A (zh) | 基于lk局部差分光流法的车流量检测方法 | |
| Nascimento et al. | Stereo based structure recovery of underwater scenes from automatically restored images | |
| CN117409153B (zh) | 一种浑浊介质中的三维目标透射成像方法 | |
| Tian et al. | Underwater image enhancement method based on feature fusion neural network | |
| Loktev et al. | Image Blur Simulation for the Estimation of the Behavior of Real Objects by Monitoring Systems. | |
| Li et al. | An infrared dim and small target detection method based on fractional differential | |
| Raj et al. | Motion deblurring analysis for underwater image restoration | |
| CN115100555A (zh) | 云雾环境下基于多运动特征的森林火灾烟雾检测方法 | |
| Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
| Ma et al. | Computational framework for turbid water single-pixel imaging by polynomial regression and feature enhancement | |
| CN108447025B (zh) | 一种基于单幅图像采集的偏振图像去雾方法 | |
| Ji et al. | Light field camera image sharpness enhancement for underwater machine vision application | |
| Wei et al. | Dehazing algorithm for unmanned surface vessel based on GAN-U-Net++ network | |
| Zhou et al. | Underwater image enhancement method based on dynamic heterogeneous feature fusion neural network | |
| CN117853370A (zh) | 基于偏振感知的水下低光图像增强方法及装置 | |
| Shi | Analysis and research on backscattering effect of underwater imaging | |
| Qiu et al. | Research on Underwater SLAM System Based on Visual Feature Enhancement | |
| Cai et al. | Underwater Degraded Image Restoration by Joint Evaluation and Polarization Partition Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |