CN112488125B - 一种基于高速视觉诊断和bp神经网络的重建方法及系统 - Google Patents

Abstract

本发明属于EAST等离子体光学边缘重建的领域，特别涉及一种基于高速视觉诊断和BP神经网络的重建方法及系统，方法包括采集的等离子体放电图像的角点坐标，获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵；引入非线性变量对数据进行增加变量和增加变量特征；构建BP神经网络，设置BP神经网络的学习率和允许的最小误差，利用数据进行训练；将完成训练的BP神经网络进行封装，将实时数据作为该神经网络的输入，预测真实物理世界中的等离子体光学边缘；本发明中解决EAST装置上预知下一未知时段角点坐标对过程进行对等离子体光学边缘重建的问题。

Description

一种基于高速视觉诊断和BP神经网络的重建方法及系统

技术领域

本发明属于机器学习和EAST等离子体光学边缘重建的领域，特别涉及一种基于高速视觉诊断和BP神经网络的重建方法及系统。

背景技术

优化的等离子体放电需要准确控制诸如等离子体位形等参量，在无法直接测量这些参量的情况，需要利用外部测量数据重建等离子体边缘，从而提供优化控制参量。同时，物理诊断数据分析需要准确可靠的等离子体边缘重建结果作为参考。因此，进行精确且快速的EAST等离子体光学边缘重建研究意义重大。

随着计算机视觉技术和高速CCD相机软硬件技术手段的高速发展，将高速计算机视觉技术用作聚变装置诊断成为一个重要的趋势。EAST装置是世界上首座全超导托尔马克装置，随着装置运行水平的不断提升和主机以及诊断系统的逐年升级，通过可见光诊断重建等离子体边缘成为可能。

为了实现通过可见光诊断数据来重建等离子体边缘，这里提出两种边缘提取的图像处理算法，分别是基于二阶梯度的边缘提取算法(离线算法)，和基于感兴趣区域的局域显著性边缘提取算法(实时算法)，其中实时算法可以达到用于实时等离子体位形控制的快速性要求和精度要求，离线算法的优势在于精度更高和无需人工划分图像中的感兴趣区域。

为了完成等离子体的位形重建，需要完成从图像坐标系到世界坐标系的转换。在转换的过程中会求完成转换的单应性矩阵，在传统的算法中例如张正友标定和蔡氏标定等都有计算单应性矩阵，因此重建速度较慢。

发明内容

为了实现快速实时重建，本发明提出一种基于高速视觉诊断和BP神经网络的重建方法及系统，所述方法包括：

S1、通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标，并将真实物理世界的坐标输入到数组中，获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵；

S2、引入非线性变量对数据进行增加变量和增加变量特征，并进行归一化；

S3、构建BP神经网络，该网络依次包括输入层、两层隐藏层以及输出层层与层之间实现神经元之间的全连接；

S4、设置BP神经网络的学习率和允许的最小误差，利用步骤S2中的数据进行训练；

S5、将完成训练的BP神经网络进行封装，将实时采集到的等离子图像作为该神经网络的输入，预测真实物理世界中的等离子体光学边缘，完成重建。

进一步的，通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标包括：计算m×n的图像I中像素的显著性，当显著性最大时图像I的像素坐标对应的图像坐标作为图像的角坐标，显著性表示为：

其中，s(x y)为像素I(x，y)的显著性值，

为图像像素的平均值。

进一步的，获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵具体包括：

基于等离子体光学边缘项数的坐标，通过机器学习算法获取像素坐标矩阵；

将得到的像素坐标矩阵进行二次多项式拟合，得到两条拟合曲线，根据该两条曲线的交点求取等离子体光学边缘的对最高点和最低点，将两点的差值记为dif_i；

根据采集的物理坐标数据，计算当前时刻物理坐标对应的等离子体边缘的对最高点和最低点，将两点的差值记为dif_t；

图像上等离子体光学边缘的最左端点坐标记为cor＝[x y]，根据dif_i、dif_t更新从图像像素坐标到物理坐标的对应。

进一步的，根据dif_i、dif_t更新从图像像素坐标到物理坐标的对应包括：

x_ij＝x-per(y_tj+1-y_tj)；

其中，x_ij为像素坐标中第j个横坐标；x为等离子体图像光学边缘最左边角点的横坐标；per为dif_i与dif_t的比值，表示为

y_tj+1为真实物理坐标第j+1个纵轴坐标；y_tj为真实物理坐标第j个纵轴坐标。

进一步的，引入非线性变量对数据进行增加变量和增加变量特征具体包括：将待输入神经网络的像素坐标矩阵进行非线性畸变，此时输入神经网络的变量表示为X＝[x_i y_ix_i*x_i y_i*y_i x_i*y_i]，其中x_i为像素坐标横坐标；y_i为像素坐标纵坐标。

本发明还提出一种基于高速视觉诊断和BP神经网络的重建系统，所述系统包括数据获取模块、等离子体放电图像角坐标获取模块、对应矩阵获取模块、特征变换模块、归一化模块以及神经网络模型；其中：

数据获取模块，用于获取实时数据和训练数据，获取实时数据为；

等离子体放电图像角坐标获取模块，通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标；

对应矩阵获取模块，用于获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵；

特征变换模块，对获取的数据进行非线性变化，特征样本数量；

归一化模块，对进行了特征变换的数据进行归一化；

神经网络模型，该模型利用训练数据进行训练，并根据输入的实时数据进行重建。

与现有技术相比，本发明具有以下有益效果：

(1)在数据的处理上引入了非线性变量，将EAST装置上的图像采集相机的畸变考虑在内，极大的提高了精度，以满足EAST对精度的要求。

(2)在运行效率方面，本方法采取了实时的预测方法，根据大量的已有的数据来训练神经网络，再进行神经网络的保存，在进行边缘重建时我们只需将保存的神经网络调出，进行预测即可，极大地简便化了重建流程。

(3)本发明的实施过程及步骤，包括数据的对照、神经网络的训练，以及神经网络的封存及调用等，降低了计算复杂度，系统资源占用低，便于高效实施，具有重要的市场价值。

附图说明

图1是本发明实施例提供的总体方法流程图；

图2是本发明实施例提供的发布系统总体示意图；

图3是本发明实施例提供的具体步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于高速视觉诊断和BP神经网络的重建方法及系统，所述方法包括以下步骤：

S1、通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标，并将真实物理世界的坐标输入到数组中，获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵；

S2、引入非线性变量对数据进行增加变量和增加变量特征，并进行归一化；

S3、构建BP神经网络，该网络依次包括输入层、两层隐藏层以及输出层层与层之间实现神经元之间的全连接；

S4、设置BP神经网络的学习率和允许的最小误差，利用步骤S2中的数据进行训练；

S5、将完成训练的BP神经网络进行封装，将实时采集到的等离子图像作为该神经网络的输入，预测真实物理世界中的等离子体光学边缘，完成重建。

实施例1

本实施例提出一种基于高速视觉诊断和BP神经网络的重建方法的具体实施方法。

本实施例以一炮等离子体放电数据作为实例，来阐述本发明的具体实施步骤，目标是对一帧采集到的等离子体图像进行等离子体光学边缘重建。记将采集到的等离子体图像角点坐标矩阵为I，I包含35000个坐标点，接着记获得的世界坐标点矩阵为T。

等离子体边缘像素通常有高亮度值，表示全局对比度高，具体地说，像素的有效值由其与其他像素形成对比的方法。对于像素为m×n的图像I，像素I(x，y)的显著性值s(x，y)定义为：

为了减少整体计算时间，对上述公式化简：

式中，

是图像的平均灰度值。

通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标时，计算每个像素坐标的边缘概率函数，当该函数值最大时，提取的值即为等离子体放电图像的角点坐标，该函数表示为：

其中，P(x,y)是边缘概率函数，表示每个像素在等离子体中的概率边界。s_max为图片中像素显著性的最大值，该值位置的像素坐标即为本实施例需要提取的等离子体放电图像的角点坐标。

在通边缘提取后，得到等离子体光学边缘像素的坐标(左右两边)，之后使用机器学习算法对我们得到的像素坐标矩阵[X_i Y_i]，其中

进行二次多项式拟合，得到方程F_ly＝a₁*x²+b₁*x+c₁，F_ry＝a₂*x²+b₂+c₂。

左右两边曲线会在上下有两个交点，求出两曲线交点[x₁ y₁]，[x₂ y₂]，计算方法F＝F_ly-F_ry，F＝(a₁-a₂)*x²+(b₁-b₂)*x+(c₁-c₂)，另F≤λ，其中λ设置较小的初始值，在程序的不断运行中，在得到的像素坐标中找到满足F≤λ的坐标，在此过程中不断调整λ的值，使得满足F≤λ的坐标的数量控制在两个。

在计算交点时，引入λ的作用有两点：一是弥补二次多项式拟合的缺点；二是λ的可调整性对等离子体图像实时动态的等离子体放电过程实现更准确的重建。将求得的x₁，x₂代入方程式求得曲线交点坐标，两曲线交点坐标分别为等离子体光学边缘的对高点，最低点。

导入采集到的物理坐标数据求出该时刻物理坐标对应的等离子体边缘的对高点max_t最低点min_t及记物理坐标矩阵为[X_t Y_t]，

两者差值记为dif_t＝max_t-min_t，图像上等离子体光学边缘最高点与最低点的差值记为dif_i＝max_i-min_i，记

同时找到图像上等离子体光学边缘的最左端点坐标记为cor＝[x y]，更新像素坐标矩阵[X_i Y_i]，其中x_ij＝x-per(y_tj+1-y_tj)，在将x坐标带入到对应的方程中求得y值实现从图像像素坐标到物理坐标的对应。

目前采集图像的相机都会存在畸变，在存在相机畸变的情况下会对等离子体位形重建有很大的影响，目前一般使用传统的标定方法(张正友标定，蔡氏标定等)用于得出畸变系数；但是算法过程过于麻烦，做不到实时的动态标定，限制性极大。相机畸变主要考虑相机的径向畸变，相机的畸变为非线性畸变，于是在神经网络的输入中加入非线性变量来引入相机非线性畸变来提升重建精度，满足EAST对于实时重建的特殊要求。相机畸变引入方法，得到的像素坐标矩阵[X_i Y_i]，其中

此时制定神经网络输入变量X＝[x_i y_i x_i*x_i y_i*y_i x_i*y_i]，通过将非线性变量导入到神经网络的方式来引入相机非线性畸变。

实施例2

本实施例提出一种基于高速视觉诊断和BP神经网络的重建系统，所述系统包括数据获取模块、等离子体放电图像角坐标获取模块、对应矩阵获取模块、特征变换模块、归一化模块以及神经网络模型；其中：

数据获取模块，用于获取实时数据和训练数据，获取实时数据为；

等离子体放电图像角坐标获取模块，通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标；

对应矩阵获取模块，用于获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵；

特征变换模块，对获取的数据进行非线性变化，特征样本数量；

归一化模块，对进行了特征变换的数据进行归一化；

神经网络模型，该模型利用训练数据进行训练，并根据输入的实时数据进行重建。

在本实施例中，数据获取模块包括将历史高速采集的等离子体放电图像的训练数据；等离子体放电图像角坐标获取模块通过边缘提取算法来获取图像的角点坐标；在对应矩阵获取模块中将真实物理世界的坐标输入到数组中，最后通过一定顺序来实现图像像素坐标到等离子体放电时的物理坐标的对应。

在特征变换模块中，将对应坐标数据存储到一个数组中引入非线性变量来对数据进一步处理增加变量和增加变量特征，通过这种方式不仅引入了在相机标定中出现的非线性畸变而且增加了变量的特征，使需训练中更易收敛。

在完成变量特征的增加后，通过归一化模块对数据集进行归一化处理。

神经网络模型主要包括BP神经网络构建模块、训练神经网络模块、测试BP神经网络模块以及输出参数及保存网络模块，其中：

BP神经网络构建模块，用于建立BP神经网络模型，本实施例借助tensorflow深度学习框架构建BP神经网络，BP神经网络基本架构为一层输入层，两层隐藏层，一层输出层，每层之间为全连接，其结构如图3。

训练神经网络模块，将数据预处理模块处理得到的数据导入到构建的神经网络框架中进行神经网络的训练，在训练神经网络前我们先根据先知识来对神经网络的学习率learn_rate和收敛误差err进行初步设置，先初步设置为learn_rate＝0.01，err为0.00002，接着对神经网络进行训练，根据训练效果调整神经网络的学习率learn_rate和收敛误差err，直到得到合适。

测试BP神经网络模块，在训练神经网络模块后，求得最佳learn_rate和收敛误差err，导入数据预处理模块的测试集求得BP神经网络精度，精度的判断标准为计算预测坐标与实际坐标的欧式距离在某个范围的百分率。欧式距离计算公式为：

其中(x_t，y_t)为真实世界物理坐标，(x_p，y_p)为神经网络预测的坐标，我们计算欧式距离来计算出百分率。

输出参数及保存网络模块，在测试BP神经网络模型及达到要求后我们将网络保存并封装。另建一个代码模块，对该神经网络进行调用对采集到的等离子体图像进行光学边缘重建。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于高速视觉诊断和BP神经网络的重建方法，其特征在于，具体包括以下步骤：

S1、通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标，并将真实物理世界的坐标输入到数组中，获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵，该矩阵获取的过程包括以下步骤：

基于等离子体光学边缘项数的坐标，通过机器学习算法获取像素坐标矩阵；

将得到的像素坐标矩阵进行二次多项式拟合，得到两条拟合曲线，根据该两条曲线的交点求取等离子体光学边缘的对最高点和最低点，将两点的差值记为dif_i；

根据采集的物理坐标数据，计算当前时刻物理坐标对应的等离子体边缘的对最高点和最低点，将两点的差值记为dif_t；

图像上等离子体光学边缘的最左端点坐标记为cor＝[x y]，根据dif_i、dif_t更新从图像像素坐标到物理坐标的对应，即：

x_ij＝x-per(y_tj+1-y_tj)；

其中，x_ij为像素坐标中第j个横坐标；x为等离子体图像光学边缘最左边角点的横坐标；per为dif_i与dif_t的比值，表示为

y_tj+1为真实物理坐标第j+1个纵轴坐标；y_tj为真实物理坐标第j个纵轴坐标；

S2、引入非线性变量对数据进行增加变量和增加变量特征，并进行归一化；

S3、构建BP神经网络，该网络依次包括输入层、两层隐藏层以及输出层层与层之间实现神经元之间的全连接；

S4、设置BP神经网络的学习率和允许的最小误差，利用步骤S2中的数据进行训练；

S5、将完成训练的BP神经网络进行封装，将实时采集到的等离子图像作为该神经网络的输入，预测真实物理世界中的等离子体光学边缘，完成重建。

2.根据权利要求1所述的一种基于高速视觉诊断和BP神经网络的重建方法，其特征在于，通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标包括：计算m×n的图像I中像素的显著性，当显著性最大时图像I的像素坐标对应的图像坐标作为图像的角坐标，显著性表示为：

其中，s(x y)为像素I(x，y)的显著性值，

为图像像素的平均值。

3.根据权利要求1所述的一种基于高速视觉诊断和BP神经网络的重建方法，其特征在于，引入非线性变量对数据进行增加变量和增加变量特征具体包括：将待输入神经网络的像素坐标矩阵进行非线性畸变，此时输入神经网络的变量表示为X＝[x_i y_i x_i*x_i y_i*y_ix_i*y_i]，其中x_i为像素坐标横坐标；y_i为像素坐标纵坐标。

4.根据权利要求1所述的一种基于高速视觉诊断和BP神经网络的重建方法，其特征在于，构建BP神经网络时，神经元对所获取的信号加权求和，表示为：

其中，Z为隐藏层的单个神经元的激活输入；n为上层神经元的个数；w_i为两层网络之间的连接权重系数；x_i为上层神经网络输入到下层的数据，输入第一层神经元的数据为像素坐标横坐标；b为偏置数。

5.一种基于高速视觉诊断和BP神经网络的重建系统，其特征在于，所述系统包括数据获取模块、等离子体放电图像角坐标获取模块、对应矩阵获取模块、特征变换模块、归一化模块以及神经网络模型；其中：

数据获取模块，用于获取实时数据和训练数据，获取实时数据为实时采集到的等离子图像；

等离子体放电图像角坐标获取模块，通过边缘提取算法提取历史高速采集的等离子体放电图像的角点坐标；

对应矩阵获取模块，用于获取图像像素坐标到等离子体放电时的物理坐标的对应矩阵，获取过程包括：

基于等离子体光学边缘项数的坐标，通过机器学习算法获取像素坐标矩阵；

将得到的像素坐标矩阵进行二次多项式拟合，得到两条拟合曲线，根据该两条曲线的交点求取等离子体光学边缘的对最高点和最低点，将两点的差值记为dif_i；

根据采集的物理坐标数据，计算当前时刻物理坐标对应的等离子体边缘的对最高点和最低点，将两点的差值记为dif_t；

图像上等离子体光学边缘的最左端点坐标记为cor＝[x y]，根据dif_i、dif_t更新从图像像素坐标到物理坐标的对应，即：

x_ij＝x-per(y_tj+1-y_tj)；

其中，x_ij为像素坐标中第j个横坐标；x为等离子体图像光学边缘最左边角点的横坐标；per为dif_i与dif_t的比值，表示为

y_tj+1为真实物理坐标第j+1个纵轴坐标；y_tj为真实物理坐标第j个纵轴坐标；

特征变换模块，对获取的数据进行非线性变化，增加特征样本数量；

归一化模块，对进行了特征变换的数据进行归一化；

神经网络模型，该模型利用训练数据进行训练，并根据输入的实时数据进行重建。

Images