CN109947750B - 一种基于耦合建模的多领域数据清洗及学习方法 - Google Patents

Abstract

本发明公开了一种基于耦合建模的多领域数据清洗及学习方法，提取多领域数据并通过数据清洗及学习方法实现对场景内容的识别与探测。采集并计算同一场景中多领域数据；以多领域数据之间的耦合建模进行相互校验，实现数据清洗；以领域自适应学习机制在同一框架下进行多领域数据的学习和融合，形成统一框架下的多领域联合场景模型，对场景目标探测。本发明能够稳定、可靠地用于复杂条件下的知识学习及目标探测，能够充分挖掘场景信息，具有较好的噪声抑制效果且运算效率较高。

Description

一种基于耦合建模的多领域数据清洗及学习方法

技术领域

本发明涉及一种模式识别方法，具体的是指一种基于耦合建模的多领域数据清洗及学习方法，用于目标探测。

背景技术

在高散射、强衰减环境中的模式识别及目标探测方法一直是相关领域中长期困扰的难题。首先，散射环境会导致目标信息严重衰减，难以准确辨识出目标同背景间差异。其次，散射环境会对目标的表观特征产生干扰，目标特征发生严重畸变，并同虚假目标信息相互混叠。为了克服这一难题，已有的方法多采用预处理的方法以抑制环境噪声，增强目标特征。但是，大量的研究和测试发现这种依赖于预处理的策略存在诸多不足。由于现有图像预处理难以准确的恢复出场景目标信息，在恢复过程中易产生误差，而这种误差又会进而传递至模式识别阶段，形成严重的误差传递现象，更加降低了目标探测的准确率，如图4所示。

虽然散射环境对目标探测造成了许多困难，但是其也提供了一种新的有价值的线索。在散射环境中散射强度同场景深度成正比，深度越大散射成分越强。因此，可根据散射强度有效估计场景深度。对于这一任务，可采用暗信道估计模型加以实现，该模型能够在单目成像数据中估计场景中每一点的散射光强度并进而得到相应点的深度数据。由于目标同背景间的深度差异，深度数据为散射环境中场景学习及目标探测提供了一种有别于常规的新线索。然而，暗信道估计模型对于零星的噪声点极为敏感，导致深度数据估计中严重误差，降低了场景学习及探测的准确率。

本发明考虑到深度数据对场景学习及目标探测的贡献，综合利用色彩领域及深度领域数据对场景进行学习。同时，鉴于深度数据估计过程中所可能产生的误差，本发明采用一种基于耦合建模的方法对多领域数据进行清洗。此外，考虑到数据清洗所导致的色彩领域及深度领域数据间的不平衡性，采用领域自适应学习策略，形成从深度领域到色彩领域的领域自适应学习，形成统一框架下的多领域场景模型。基于该模型探测场景中目标。

发明内容

发明目的：针对散射环境中目标探测所存在的困难，本发明提供一种多源数据清洗及学习方法，能够充分利用散射环境成像数据，主要包括色彩领域数据及深度领域数据，以多领域学习方法建立场景模型，探测场景目标。

技术方案：一种散射环境中基于耦合建模的多领域数据清洗及学习方法，包括训练和探测两个阶段

训练阶段：

步骤一：针对散射环境中的单目成像数据计算深度数据，形成深度领域的场景数据，并同色彩领域的场景数据组合，共同构成同一场景的多领域数据，即色彩数据及深度数据。

步骤二：采用耦合建模方法，对多领域数据进行清洗，删除误差数据。

步骤三：采用清洗后的多领域数据对场景进行建模，形成同一场景色彩及深度领域的两个场景模型。

步骤四：采用领域自适应学习方法，对两个场景模型进行联合训练，形成统一框架下的多领域联合场景模型。

探测阶段：

步骤一：针对散射环境中的单目成像数据计算深度数据，形成深度领域的场景数据，并同色彩领域的场景数据共同构成同一场景的多领域数据。

步骤二：采用耦合建模方法，对多领域数据进行清洗，抑制数据中的错误信息；

步骤三：将多领域数据输入统一框架下的多领域联合场景模型，输出场景目标探测结果。

相比较现有散射环境中的目标探测方法，本发明所公开方法能够在同一场景单目成像条件下充分挖掘场景信息，形成深度领域数据及色彩领域数据。创新性利用耦合建模的数据清洗方法对深度领域数据进行清洗，并采用领域自适应的学习策略建立统一框架下的多领域联合场景模型。基于这一模型，在探测阶段考虑深度数据估计误差，在数据清洗后，自动选择模型融合策略，以多领域数据及多领域联合场景模型综合探测场景目标。

附图说明

图1是本发明实施例的场景学习的流程图；

图2是本发明天空光抑制及深度数据计算结果；第一行：原始场景数据，第二行：天空光判断结果，第三行：深度数据；第一、三列：水下散射环境；第二、四列：雾天散射环境；

图3是数据清洗结果；

图4是本发明实施例目标探测结果比较；第一列：原始场景数据，第二列：基于ST-GMM的目标探测结果，第三列：基于Vibe的目标探测结果，第四列：基于DECOLOR的目标探测结果,第五列：基于本发明方法的目标探测结果；第一、二行：水下散射环境目标探测结果；第三至八行：雾天散射环境中目标探测结果。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明所公开方法的总体流程，如图1所示，以能见度小于50m的浓雾天气及水下环境为散射环境的典型例证。在该两种例证中，由于空气及水中悬浮颗粒物对光线的散射及折射作用，形成了典型的散射环境。通过对散射环境中原始场景成像数据的计算，得到色彩领域数据及深度领域数据，其中深度领域中所包含的深度数据计算如下：

在散射环境中，通过抑制天空光成分并基于暗信道先验模型估计场景深度数据，形成场景每一点的深度数据，构成深度领域数据：

步骤一，计算场景全局强度-位置关系特征，得到场景中每个点同强度最大点间的空间欧式距离：

其中，D(x,m)为点x和全局强度最大点m间的欧式距离，x＝[x₁,x₂]和m＝[m₁,m₂]为相应点的空间坐标。

计算场景每个点的信道方差特征，得到RGB同强度间的方差：

其中，

为综合信道强度，

为单一信道强度对应RGB空间中色彩强度

和

为单一信道的方差。

步骤二，计算场景天空光的决策函数为全局强度-位置关系特征同信道方差特征间的耦合关系：

建立阈值函数：

其中，corr2()为二维矩阵的互相关计算，T为天空光判断的阈值，典型值设置为0.75，当L_Skylight＝1时为天空光区域，L_Skylight＝0为非天空光区域，以此抑制天空光成分；

步骤三，在天空光区域，其深度距离为最大值；在非天空光区域以暗信道模型估计每一个点的场景深度：

其中，w为调制权重，典型值设置为0.8，y∈Ω_x为以x点为中心的邻域，

为y点在c颜色信道上的强度值，A^c为自然背景光在c颜色信道上的强度值，c∈{r,g,b}为RGB三信道。

至此，完成了场景深度领域中深度数据计算，计算结果如图2所示。

通过多领域数据间的耦合建模对散射环境中所得数据进行清洗以保证数据的正确性：

步骤一，分别计算原始场景色彩数据间的相关性及深度数据间的相关性：

其中，R_t和R′_t分别为色彩数据间的相关性及深度数据间的相关性，

和

分别为t-1和t时刻色彩数据，d_t-1和d_t分别为t-1和t时刻深度数据。

步骤二，比较计算两种相关性R_t和R′_t，若R′_t＜λR_t(其中λ为调制参数，典型值设置为0.9)则认为深度数据ψ_t存在误差，将其删除，否则保存该深度数据。

至此，完成了对场景深度数据的清洗，数据清洗结果如图3所示。

采用清洗后的多领域数据对散射环境中的场景进行建模，基于核密度估计模型分别采用色彩数据及深度数据对同一场景进行建模：

对于色彩数据，其场景模型为：

其中

为历史时刻x点处色彩数据样本，N为历史时刻x点处色彩数据样本的数量，

为t时刻x点处色彩数据样本，

为t时刻

样本属于场景

的概率，K()为核函数。

对于深度数据，其场景模型为：

其中

为历史时刻x点处深度数据样本，M为历史时刻x点处深度数据样本的数量，

为t时刻x点处深度数据样本，

为t时刻

样本属于场景

的概率，K()为核函数。

至此，完成了散射环境中基于多领域数据的场景建模。

对散射环境中两个场景模型进行联合训练，形成统一框架下的多领域联合场景模型：

步骤一，加权融合基于色彩数据及深度数据的场景模型，形成多领域场景模型：

其中，P(x_t|B_t)为多领域场景模型，w_c、w_d分别为色彩数据、深度数据场景模型的权重，且w_c+w_d＝1。

步骤二，数据清洗后，由于深度数据样本数量小于或等于色彩数据样本，仅以色彩领域数据训练样本及标定样本为基础对多领域场景模型B_t进行训练，形成从深度领域到色彩领域的领域自适应学习。

至此，完成了对散射环境中多领域场景模型的训练。

在探测阶段，按照上述技术策略构建散射环境中色彩及深度领域数据并完成数据清洗。

若深度领域数据存在误差，则删除该深度领域数据，仅保留色彩领域数据；在此情况下，设置w_c＝1，w_d＝0；多领域场景模型变换为以色彩领域数据为基础的场景模型，忽略深度数据场景模型：

否则，以训练得到的权重基于多领域场景模型(公式9)对目标进行探测。

至此，完成了在浓雾天气及水下散射环境中目标的探测，探测结果及与其他方法的比较如图4所示。

Claims (6)

1.一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，包括训练阶段和探测阶段：

训练阶段包括如下步骤：

步骤一，针对散射环境中的单目成像数据计算深度数据，形成深度领域的场景数据；并同色彩领域的场景数据共同构成同一场景的多领域数据，即色彩数据及深度数据；

步骤二，采用耦合建模方法，对多领域数据进行清洗，删除误差数据；

步骤三，采用清洗后的多领域数据对场景进行建模，形成对同一场景色彩及深度领域的两个场景模型；

步骤四，采用领域自适应学习方法，对两个场景模型进行联合训练，形成统一框架下的多领域联合场景模型；

探测阶段包括如下步骤：

步骤一，针对散射环境中的单目成像数据计算深度数据，形成深度领域的场景数据；并同色彩领域的场景数据共同构成同一场景的多领域数据；

步骤二，采用耦合建模方法，对多领域数据进行清洗，删除误差数据；

步骤三，将多领域数据输入统一框架下的多领域联合场景模型，输出探测结果。

2.如权利要求1所述的一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，同一场景基于单目成像构造多领域数据，在散射环境中，通过抑制天空光成分并基于暗信道先验模型估计场景深度数据，形成深度领域的场景数据；并同色彩领域的场景数据共同构成同一场景的多领域数据具体包括如下步骤：

步骤一，计算全局强度-位置关系特征，得到场景中每个点同强度最大点间的空间欧式距离：

其中，D(x,m)为点x和全局强度最大点m间的欧式距离，x＝[x₁,x₂]和m＝[m₁,m₂]为相应点的空间坐标；

计算RGB同强度间的方差得到信道方差特征：

其中，

为综合信道强度，

为单一信道强度对应RGB空间中三信道色彩强度

为单一信道的方差；

步骤二，计算天空光的决策函数为全局强度-位置关系特征同信道方差特征间的耦合关系：

建立阈值函数：

其中，T为天空光判断的阈值，当L_Skylight＝1时为天空光区域，L_Skylight＝0为非天空光区域，以此抑制天空光成分；

步骤三，在天空光区域，其深度距离为最大值；在非天空光区域以暗信道模型估计每一个点的场景深度数据：

其中，w为调制权重，y∈Ω_x为以x为中心的邻域，

为y点在颜色信道c上的强度值，A^c为自然背景光在颜色信道c上的强度值，c∈{r,g,b}为RGB三信道。

3.如权利要求1所述的一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，考虑到色彩数据同深度数据间的一致性，通过多领域数据间的耦合建模对数据进行清洗以保证数据的正确性，具体包括如下步骤：

步骤一，分别计算原始场景色彩数据间的相关性及深度数据间的相关性：

其中，R_t和R′_t分别为色彩数据间及深度数据间的相关性，

和

为t-1和t时刻色彩数据，d_t-1和d_t为t-1和t时刻深度数据；

步骤二，比较计算两种相关性R_t和R′_t，若R′_t＜λR_t，λ为调制参数，则认为深度数据样本ψ_t存在误差，将其删除，否则保存该深度数据样本；完成数据清洗。

4.如权利要求1所述的一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，采用清洗后的多领域数据对场景进行建模，形成对同一场景色彩及深度领域的两个场景模型；基于核密度估计模型分别采用色彩数据及深度数据对同一场景进行建模：

对于色彩数据，其场景模型为：

其中

为历史时刻x点处色彩数据样本，N为历史时刻x点处色彩数据样本的数量，

为t时刻x点处色彩数据样本，

为t时刻

样本属于场景

的概率，K()为核函数；

对于深度数据，其场景模型为：

其中

为历史时刻x点处深度数据样本，M为历史时刻x点处深度数据样本的数量，

为t时刻x点处深度数据样本，

为t时刻

样本属于场景

的概率，K()为核函数。

5.如权利要求4所述的一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，采用领域自适应学习方法，对两个场景模型进行联合训练，形成统一框架下的多领域联合场景模型，包括如下步骤：

步骤一，加权融合基于色彩数据及深度数据的场景模型，形成多领域场景模型：

其中，P(x_t|B_t)为多领域场景模型，w_c、w_d分别为色彩数据、深度数据场景模型的权重，且w_c+w_d＝1；

步骤二，数据清洗后，由于深度数据样本数量小于或等于色彩数据样本，以色彩数据所对应的训练样本及标定样本为基础对多领域场景模型B_t进行训练，形成从深度领域到色彩领域的领域自适应学习。

6.如权利要求5所述的一种基于耦合建模的多领域数据清洗及学习方法，其特征在于，在探测阶段，首先构建色彩及深度领域数据，进一步对数据清洗；

清洗后，若深度领域数据存在误差，则删除该深度领域数据，仅保留色彩领域数据；在此情况下，设置w_c＝1，w_d＝0；多领域场景模型变换为以色彩领域数据为基础的场景模型，忽略深度数据场景模型：

否则，以训练得到色彩数据、深度数据场景模型的权重，基于多领域联合场景模型对目标进行探测。

Images