CN109448040A - 一种机械生产制造展示辅助系统 - Google Patents

Abstract

本发明属于机械制造技术领域，公开了一种机械生产制造展示辅助系统，机械生产制造展示辅助系统包括：扫描模块、参数配置模块、操作输入模块、主控模块、结构标识模块、照明模块、三维模型构建模块、数据存储模块、三维投影模块。本发明通过三维模型构建模块利用微软KinectFusion提供的函数接口实现实时自动的点云配准，大大缩短建模时间，最终所得模型的精度可以满足一般需求；同时，通过三维投影模块构造三维投影图像的过程与输出三维投影图像的过程可以同时并实时进行，通过行缓冲区分段减少冗余的数据访问，所以提高三维投影效率，更加直观立体的展示机械制造产品，展示效果好。

Description

一种机械生产制造展示辅助系统

技术领域

本发明属于机械制造技术领域，尤其涉及一种机械生产制造展示辅助系统。

背景技术

机械制造指从事各种动力机械、起重运输机械、化工机械、纺织机械、机床、工具、仪器、仪表及其他机械设备等生产的工业部门。机械制造业为整个国民经济提供技术装备。机械产品是指机械厂家向用户或市场所提供的成品或附件如汽车、发动机、机床等都称为机械产品.任何机械产品按传统的习惯都可以看作由若干部件组成部件又可分为不同层次的子部件(也称分部件或组件)直至最基本的零件单元。任何机械产品都是由若干个零件、组件和部件组成的。根据规定的技术要求，将零件和部件进行必要的配合及联接，使之成为半成品或成品的工艺过程称为装配。将零件、组件装配成部件的过程称为部件装配；将零件、组件和部件装配成为最终产品的过程称为总装配。装配是机械制造过程中的最后一个生产阶段，其中还包括调整、试验、检验、油漆和包装等工作。常见的装配工作内容包括：清洗、联接、校正与配作、平衡、验收、试验。然而，现有对机械生产制造产品构建高精度的三维建模系统常常基于一些复杂昂贵的传感器，例如结构光传感器、激光测距传感器或者激光雷达，三维建模系统的建模过程中往往离不开繁复的人工交互过程，例如参数调整、点云手动配准等等，费时费力；同时，现有通过平面展示机械生产制造产品，不够立体直观，展示效果差。

综上所述，现有技术存在的问题是：

(1)现有对机械生产制造产品构建高精度的三维建模系统常常基于一些复杂昂贵的传感器，例如结构光传感器、激光测距传感器或者激光雷达，三维建模系统的建模过程中往往离不开繁复的人工交互过程，例如参数调整、点云手动配准等等，费时费力；目前通过三维激光扫描仪对产品三维数据的扫描容易产生误差，测量不够精确。

(2)现有通过平面展示机械生产制造产品，不够立体直观，展示效果差，传统的对三维影像的处理，处理图像的质量较差，不利于后期在进行序列中对运动目标的分割。

(3)传统的控制模块在对数据进行控制时，需要遍历大量的节点，在海量节点条件下的实时资源调度任务，不利于后期各种空间模型算法的设计与分析。

现有技术中，对采集的三维结构部位进行标识准确性差。

发明内容

针对现有技术存在的问题，本发明提供了一种机械生产制造展示辅助系统。

本发明是这样实现的，一种机械生产制造展示辅助控制方法，所述机械生产制造展示辅助控制方法包括：

利用数据处理软件对采集的三维结构部位进行标识；建立的数学模型用三维结构的边长和邻角按逆时针构造一个向量S₁表示三维结构：

S₁＝(l₁,α1,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₁和该三维结构有一一映射关系，其表示与边角初始顺序无关；

提取三维结构特征和自适应LBP算子特征；

构建多特征底秩矩阵表示模型；

s.t.X_i＝X_iA_i+E_i,i＝1,…,K

其中α是大于0的系数，用来度量噪声和野点带来的误差；

等价为以下模型：

输出伪三维结构区域并得到最后准确的三维结构，具体为：

根据三维结构比例留下每个子空间的外接矩阵即为伪三维结构区域；

设置一个跳变函数f(i,j)，对伪三维结构区域进行精确定位，确定三维结构的上下边界：

其中c(i,j)为

c(i,j)＝LBP_8,1(i,j)-LBP_8,1(i,j-1)

上两式中i＝1,2,3,4,…N,j＝2,3,4,…M，因此任意一行i的跳变次数和S(i)为：

如果任意一行跳变次数的和S(i≥12)，则这一行就有可能属于三维结构部位区域；由上至下对整幅图像进行扫描，找出所有满足S(i≥12)的行，并记录下这一行的行数i；如果有连续的h行满足S(i≥12)，则可以得到一个宽度为M，高度为h的矩形区域，这个区域就有可能是三维结构部位准确区域，不具有此特征的区域排除。

进一步，所述完备向量组，按逆时针方向，有2N个向量S₁、S₂……S_2N－1、S_2N和三维结构均有一一映射关系，构成了该三维结构的一个完备向量组，表示如下：

S₁＝(l₁,α₁,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₂＝(α₁,l₂，α₂…l_N-1,α_N-1,l_N,α_N,l₁)；

……

S_2N－1＝(l_N,α_N,l₁,α₁,l₂，α₂…l_N-1,α_N-1)；

S_2N＝(α_N,l₁,α₁,l₂，α₂…l_N-1,α_N-1,l_N)；

用矩阵S_E表示完备向量，并定义S_E为该三维结构的特征矩阵，S_E表示如下：

获取源图形和目标图形特征矩阵中最相似向量的欧式距离和最大相和系数具体包括：

首先，按逆时针方向分别建立源图形P和目标图形Q的特征矩阵P_E和Q_E：

P_E＝[P₁ ^T P₂ ^T…P_2N－1 ^T P_2N ^T]；

Q_E＝[Q₁ ^T Q₂ ^T…Q_2N－1 ^T Q_2N ^T]；

欧式距离公式d(x,y)和夹角余弦公式sim(x,y)如下：

以d(x,y)和为sim(x,y)基础，重新定义两个矩阵D和S,使:

求出D和S中的最小值；

分别令Eu_e＝min{D_ij},1≤i≤j＝2N；Sim_e＝max{S_ij},1≤i≤j＝2N；

然后再按顺序针方向构造图形P和Q的特征矩阵，重复上述计算方法，求出两特征矩阵中最完备向量间的最小值Eu_c和Sim_c；

最后令Eu＝min{Eu_e，Eu_c}；

Sim＝min{Sim_e，Sim_c}；

Eu和Sim即为P、Q两图形对应最相似向量的欧式距离和最大相和系数。

所述对计算结果的增强性处理包括：

对初始向量进行一次到多次变形，在用相邻边角序列构造初始向量的基础上，再添加图形的几何特征值，采用添加顺序的相邻边角比作为新的初始向量；将初始向量进行一次到多次非线性化处理，采用将初始向量进行开方处理；

对变形后的初始向量进行多次相似度计算，最后按加权平均取值，以欧式距离Eu和相和系数Sim的评定公式如下：

上式中n为向量变形的次数，k_i为权重系数，Eu_i和Sim_i为第i次变形后向量的欧式距离，Eu(P,Q)为欧式距离的评定，n＝4，k_i取0.25；

提取自适应LBP算子特征算法的具体步骤如下：

(1)将输入系统的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

(2)利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

(3)根据实验数据，拟合计算自适应阈值的方法：

进一步，所述机械生产制造展示辅助控制方法具体包括：

步骤一：通过扫描模块利用三维激光扫描仪采集机械制造产品结构三维数据；通过参数配置模块利用配置程序配置机械生产制造展示辅助系统初始参数；通过操作输入模块利用操作键盘进行操作数据输入；三维激光扫描仪的测量点位误差模型为：

点位X轴方向的误差模型：

点位Y轴方向的误差模型：

点位Z轴方向的误差模型：

点位误差模型为：

步骤二：主控模块通过结构标识模块利用数据处理软件对采集的三维结构部位进行介绍标识；通过照明模块利用照明灯对展示场景进行照明；主控模块采用云计算系统LBFA算法，LBFA算法的实现方法为：

(1)计算云计算系统当前相空间投影的重心G的位置(X，Y)；

(2)接收当前的负载值，负载向量(a，b)；

(3)计算位于相空间中最优子相空间中节点被分配了当前负载后系统的ΔLB值；

(4)选取当前ΔLB最小的节点进行任务分配，保证分配后的系统负载均衡度LB最小；

(5)重新计算系统在相空间中当前的重心位置，按公式利用本次分配的负载值直接算出新的重心位置；

(6)返回步骤2开始新的分配过程；

步骤三：通过三维模型构建模块利用三维软件对采集的数据构建对应的三维模型；通过数据存储模块利用存储器存储采集的机械制造产品结构三维数据；

步骤四：通过三维投影模块利用三维投影仪投影出机械产品的三维影像；三维投影模块对三维影像的处理采用视频序列静态全景合成算法，具体为：

首先,构造用于全景图合成的几何系统；定义摄像机位置为三维坐标系原点o,与图像I_i(x)中心点[o_xi,o_yi]^T连线为z_i轴,摄像机位置与第i帧图像构成一个局部三维坐标系,[x_i,y_i,f_i]^T为I_i(x)中像素点[x_i,y_i]^T在局部三维坐标系下的坐标,其中,f_i为拍摄I_i(x)时的摄像机焦距。

其次，利用上述三维几何系统与摄像机参数,求解局部三维坐标系下I_i(x)中像素点[x_i,y_i,f_i]^T与其投影在标准三维坐标系下I_B(x)平面上的投影点[x′,y′,w′]T之间的关系,得到

其中,Ks、R_i分别表示摄像机的内外投影矩阵。

然后，将视频序列各帧图像间运动参数W_i-1,i作为已知量引入H_i的求解,

再将标准三维坐标系下I_B(x)平面上的像素点[x′,y′,w′]^T投影在局部坐标系下I_i-1(x)平面上,得到:

整理得：

其中,H_i-1 ^-1·H_i表示从第i帧图像I_i(x)投影到第i-1帧图像I_i-1(x)的变换矩阵,即W_i-1；

最后，选定当前视频序列图像第一帧I_i(x)作为参考帧,将I_i(x)逐点复制于全景图I_B(x)的变换为H₁＝I,则可利用(4)式得到任意帧与全景图间的变换关系；

所述三维模型构建模块构建方法如下：

步骤1、利用Kinect传感器采集转台点云和建模物体点云，并通过实时配准获得物体和转台的混合点云；

步骤2、对物体和转台的混合点云做点云预处理，得到带有底面点的建模物体的表面点云；

步骤3、将带有底面点的建模物体的表面点云上的点连接成三角形网格，表面重建后获得物体的三维表面模型；

步骤4、对物体的三维表面模型进行模型简化处理，建立出物体的三维简化表面模型；

步骤5、对步骤四中物体的三维简化表面模型进行纹理映射

步骤6、计算机软件程序对经过纹理映射后的三维模型，进行模型渲染生成二维图像。

进一步，三维投影方法包括：

(1)设置行缓冲区，按照设定的分段，缓冲所需的内存中的在源平面图像中的像素点数据；

(2)逐点扫描设定的三维投影目标区域的各个像素点的坐标；

(3)根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标；

(4)根据所对应在源平面图像中的坐标，从行缓冲区获取在源平面图像中的像素点数据；

(5)将所述从行缓冲区获取的在源平面图像中的像素点数据对应该三维投影目标区域的各个像素点的坐标输出；

将所述从行缓冲区获取在源平面图像中的像素点数据对应该三维投影目标区域的坐标输出后，存储和/或显示所述三维投影目标区域的各个像素点的坐标对应的像素点数据；

行缓冲区按照源平面图像的x坐标进行分段，一行中同一段存储的源平面图像的y坐标相同，每段设置一组标签，记录该段存储的源平面图像的y坐标集合。

所述根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标为：

a、确定三维投影目标区域的坐标(0,0)对应到源平面图像平面内的坐标(x_0,0，y_0,0)；

b、以投影光源O点的深度为0，三维投影目标区域的深度为1，确定出三维投影目标区域的的坐标(0,0)投影到三维投影平面上时对应的投影点的深度w_0,0；根据坐标(0,0)和深度w0,0计算出对应的归一化坐标(u_0,0,v_0,0)，其中，u_0,0＝x_0,0/w_0,0，v_0,0＝y_0,0/w_0,0；再分别计算出三维投影目标区域的坐标(0,1)和坐标(1,0)对应的深度w_0,1和w_1,0，对应的归一化坐标(u_0,1,v_0,1)和(u_1,0,v_1,0)；

c、计算出三维投影目标区域的x坐标增加1时的1/w的增量d(1/w)/dx＝1/w_1,0-1/w_0,0，

u的增量du/dx＝u_1,0-u_0,0，v的增量dv/dx＝v_1,0-v_0,0；三维投影目标区域的y坐标增加1时的1/w的增量d(1/w)/dy＝1/w_0,1/-1/w_0,0，u的增量du/dy＝u_0,1-u_0,0，v的增量dv/dy＝v_0,1-v_0,0；

d、从三维投影目标区域的坐标(0,0)开始，x坐标每增加1，1/w的值累加d(1/w)/dx，u的值累加du/dx，v的值累加dv/dx；y坐标每增加1，1/w的值累加d(1/w)/dy，u的值累加du/dy，v的值累加dv/dy，得到三维投影目标区域的每个像素点数据的w，u和v三个值，并由公式x＝u*w，y＝v*w计算出对应源平面图像中的坐标。

本发明的另一目的在于提供一种机械生产制造展示辅助计算机程序，所述机械生产制造展示辅助计算机程序实现所述的机械生产制造展示辅助控制方法。

本发明的另一目的在于提供一种终端，所述终端至少搭载实现所述机械生产制造展示辅助控制方法的控制器。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的机械生产制造展示辅助控制方法。

本发明的另一目的在于提供一种实施所述机械生产制造展示辅助控制方法的机械生产制造展示辅助系统，所述机械生产制造展示辅助系统包括：

扫描模块，与主控模块连接，用于通过三维激光扫描仪采集机械制造产品结构三维数据；

参数配置模块，与主控模块连接，用于通过配置程序配置机械生产制造展示辅助系统初始参数；

操作输入模块，与主控模块连接，用于通过操作键盘进行操作数据输入；

主控模块，与扫描模块、参数配置模块、操作输入模块、结构标识模块、照明模块、三维模型构建模块、数据存储模块、三维投影模块连接，用于通过单片机控制各个模块正常工作；

结构标识模块，与主控模块连接，用于通过数据处理软件对采集的三维结构部位进行介绍标识；

照明模块，与主控模块连接，用于通过照明灯对展示场景进行照明；

三维模型构建模块，与主控模块连接，用于通过三维软件对采集的数据构建对应的三维模型；

数据存储模块，与主控模块连接，用于通过存储器存储采集的机械制造产品结构三维数据；

三维投影模块，与主控模块连接，用于通过三维投影仪投影出机械产品的三维影像。

本发明的另一目的在于提供一种机械生产制造流水线。

本发明的优点及积极效果为：

(1)本发明通过三维模型构建模块基于的建模系统设备简单，价格廉价，主要利用微软的深度传感器Kinect来搭建，具有重要的实用价值，Kinect作为主动传感器，不受环境可见光谱的干扰；三维建模过程实现自动化，从放置建模对象、启动系统开始，全过程通过软件控制，建模的操作步骤简单，无须像其他三维建模工具一样在建模过程中频繁地进行手动交互，或者手动调整参数；通过三维激光扫描仪对产品三维数据的扫描误差的分析，使测量的结果更加精确，满足了对产品精度的要求。

(2)利用微软KinectFusion提供的函数接口实现实时自动的点云配准，大大缩短建模时间，最终所得模型的精度可以满足一般需求；同时，通过三维投影模块预先对源平面图像进行行缓存区的缓冲并转换为三维投影图像后输出，并不是顺序处理，构造三维投影图像的过程与输出三维投影图像的过程可以同时并实时进行，通过行缓冲区分段减少冗余的数据访问，所以提高三维投影效率，更加直观立体的展示机械制造产品，展示效果好，通过对三维影像的处理，大大提高了处理图像的质量，有利于后期在进行序列中对运动目标的分割。

(3)控制模块通过采用LBFA算法，满足了控制模块在海量节点条件下的实时资源调度任务，为后期各种空间模型算法的设计与分析提供了有力的支持。

本发明利用数据处理软件对采集的三维结构部位进行标识；建立的数学模型用三维结构的边长和邻角按逆时针构造一个向量S₁表示三维结构：

S₁＝(l₁,α1,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₁和该三维结构有一一映射关系，其表示与边角初始顺序无关；

提取三维结构特征和自适应LBP算子特征；

构建多特征底秩矩阵表示模型；可保证对采集的三维结构部位准确性标识；

本发明提高了机器对三维结构部位相似度的视觉分辨效果，尤其对人工不易分辨高相似度图形的难点有很大帮助；三维结构部位检测效果有较强的稳定性和可靠性；检测时间短，运行高效，实施效果成本低。本发明仅对三维结构部位的边进行查询，减少了数据处理量。本发明通过构造三维结构部位的特征矩阵，选取合适的判定准则，并对特征矩阵元素进行多次增强性非线性变换，用多数值、多标准的加权平均值建立相似度标准，达到了算法高效并有较强的稳定性。

本发明根据LBP特征算子，使三维结构部位的多个特征相结合，能有效提高三维结构部位检测的鲁棒性和准确性，减少误检。

附图说明

图1是本发明实施例提供的机械生产制造展示辅助系统结构框图。

图中：1、扫描模块；2、参数配置模块；3、操作输入模块；4、主控模块；5、结构标识模块；6、照明模块；7、三维模型构建模块；8、数据存储模块；9、三维投影模块。

图2是本发明实施例提供的三维模型构建模块构建方法流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明提供的机械生产制造展示辅助系统包括：扫描模块1、参数配置模块2、操作输入模块3、主控模块4、结构标识模块5、照明模块6、三维模型构建模块7、数据存储模块8、三维投影模块9。

扫描模块1，与主控模块4连接，用于通过三维激光扫描仪采集机械制造产品结构三维数据；

参数配置模块2，与主控模块4连接，用于通过配置程序配置机械生产制造展示辅助系统初始参数；

操作输入模块3，与主控模块4连接，用于通过操作键盘进行操作数据输入；

主控模块4，与扫描模块1、参数配置模块2、操作输入模块3、结构标识模块5、照明模块6、三维模型构建模块7、数据存储模块8、三维投影模块9连接，用于通过单片机控制各个模块正常工作；

结构标识模块5，与主控模块4连接，用于通过数据处理软件对采集的三维结构部位进行介绍标识；

照明模块6，与主控模块4连接，用于通过照明灯对展示场景进行照明；

三维模型构建模块7，与主控模块4连接，用于通过三维软件对采集的数据构建对应的三维模型；

数据存储模块8，与主控模块4连接，用于通过存储器存储采集的机械制造产品结构三维数据；

三维投影模块9，与主控模块4连接，用于通过三维投影仪投影出机械产品的三维影像。

如图2，本发明实施例提供的三维模型构建模块7构建方法如下：

S101:利用Kinect传感器采集转台点云和建模物体点云，并通过实时配准获得物体和转台的混合点云；

S102:对物体和转台的混合点云做点云预处理，得到带有底面点的建模物体的表面点云；

S103:将带有底面点的建模物体的表面点云上的点连接成三角形网格，表面重建后获得物体的三维表面模型；

S104:对物体的三维表面模型进行模型简化处理，建立出物体的三维简化表面模型；

S105:对步骤S104中物体的三维简化表面模型进行纹理映射；

S106:计算机软件程序对经过纹理映射后的三维模型，进行模型渲染生成二维图像。

本发明提供的三维投影模块9投影方法如下：

(1)设置行缓冲区，按照设定的分段，缓冲所需的内存中的在源平面图像中的像素点数据；

(2)逐点扫描设定的三维投影目标区域的各个像素点的坐标；

(3)根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标；

(4)根据所对应在源平面图像中的坐标，从行缓冲区获取在源平面图像中的像素点数据；

(5)将所述从行缓冲区获取的在源平面图像中的像素点数据对应该三维投影目标区域的各个像素点的坐标输出。

本发明提供的将所述从行缓冲区获取在源平面图像中的像素点数据对应该三维投影目标区域的坐标输出后，存储和/或显示所述三维投影目标区域的各个像素点的坐标对应的像素点数据。

本发明提供的行缓冲区按照源平面图像的x坐标进行分段，一行中同一段存储的源平面图像的y坐标相同，每段设置一组标签，记录该段存储的源平面图像的y坐标集合。

本发明提供的根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标为：

a、确定三维投影目标区域的坐标(0,0)对应到源平面图像平面内的坐标(x_0,0，y_0,0)；

b、以投影光源O点的深度为0，三维投影目标区域的深度为1，确定出三维投影目标区域的的坐标(0,0)投影到三维投影平面上时对应的投影点的深度w_0,0；根据坐标(0,0)和深度w0,0计算出对应的归一化坐标(u_0,0,v_0,0)，其中，u_0,0＝x_0,0/w_0,0，v_0,0＝y_0,0/w_0,0；再分别计算出三维投影目标区域的坐标(0,1)和坐标(1,0)对应的深度w_0,1和w_1,0，对应的归一化坐标(u_0,1,v_0,1)和(u_1,0,v_1,0)；

c、计算出三维投影目标区域的x坐标增加1时的1/w的增量d(1/w)/dx＝1/w_1,0-1/w_0,0，

u的增量du/dx＝u_1,0-u_0,0，v的增量dv/dx＝v_1,0-v_0,0；三维投影目标区域的y坐标增加1时的1/w的增量d(1/w)/dy＝1/w_0,1/-1/w_0,0，u的增量du/dy＝u_0,1-u_0,0，v的增量dv/dy＝v_0,1-v_0,0；

d、从三维投影目标区域的坐标(0,0)开始，x坐标每增加1，1/w的值累加d(1/w)/dx，u的值累加du/dx，v的值累加dv/dx；y坐标每增加1，1/w的值累加d(1/w)/dy，u的值累加du/dy，v的值累加dv/dy，得到三维投影目标区域的每个像素点数据的w，u和v三个值，并由公式x＝u*w，y＝v*w计算出对应源平面图像中的坐标。

本发明工作时，首先，通过扫描模块1利用三维激光扫描仪采集机械制造产品结构三维数据；通过参数配置模块2利用配置程序配置机械生产制造展示辅助系统初始参数；通过操作输入模块3利用操作键盘进行操作数据输入；接着，主控模块4通过结构标识模块5利用数据处理软件对采集的三维结构部位进行介绍标识；通过照明模块6利用照明灯对展示场景进行照明；然后，通过三维模型构建模块7利用三维软件对采集的数据构建对应的三维模型；通过数据存储模块8利用存储器存储采集的机械制造产品结构三维数据；最后，通过三维投影模块9利用三维投影仪投影出机械产品的三维影像。

下面结合实施例对本发明作进一步描述。

本发明实施例提供的机械生产制造展示辅助控制方法具体包括：

步骤一：通过扫描模块利用三维激光扫描仪采集机械制造产品结构三维数据；通过参数配置模块利用配置程序配置机械生产制造展示辅助系统初始参数；通过操作输入模块利用操作键盘进行操作数据输入；三维激光扫描仪的测量点位误差模型为：

点位X轴方向的误差模型：

点位Y轴方向的误差模型：

点位Z轴方向的误差模型：

点位误差模型为：

步骤二：主控模块通过结构标识模块利用数据处理软件对采集的三维结构部位进行介绍标识；通过照明模块利用照明灯对展示场景进行照明；主控模块采用云计算系统LBFA算法，LBFA算法的实现方法为：

(1)计算云计算系统当前相空间投影的重心G的位置(X，Y)；

(2)接收当前的负载值，负载向量(a，b)；

(3)计算位于相空间中最优子相空间中节点被分配了当前负载后系统的ΔLB值；

(4)选取当前ΔLB最小的节点进行任务分配，保证分配后的系统负载均衡度LB最小；

(5)重新计算系统在相空间中当前的重心位置，按公式利用本次分配的负载值直接算出新的重心位置；

(6)返回步骤2开始新的分配过程；

步骤三：通过三维模型构建模块利用三维软件对采集的数据构建对应的三维模型；通过数据存储模块利用存储器存储采集的机械制造产品结构三维数据；

步骤四：通过三维投影模块利用三维投影仪投影出机械产品的三维影像；三维投影模块对三维影像的处理采用视频序列静态全景合成算法，具体为：

首先,构造用于全景图合成的几何系统；定义摄像机位置为三维坐标系原点o,与图像I_i(x)中心点[o_xi,o_yi]^T连线为z_i轴,摄像机位置与第i帧图像构成一个局部三维坐标系,[x_i,y_i,f_i]^T为I_i(x)中像素点[x_i,y_i]^T在局部三维坐标系下的坐标,其中,f_i为拍摄I_i(x)时的摄像机焦距。

其次，利用上述三维几何系统与摄像机参数,求解局部三维坐标系下I_i(x)中像素点[x_i,y_i,f_i]^T与其投影在标准三维坐标系下I_B(x)平面上的投影点[x′,y′,w′]T之间的关系,得到

其中,Ks、R_i分别表示摄像机的内外投影矩阵。

然后，将视频序列各帧图像间运动参数W_i-1,i作为已知量引入H_i的求解,

再将标准三维坐标系下I_B(x)平面上的像素点[x′,y′,w′]^T投影在局部坐标系下I_i-1(x)平面上,得到:

整理得：

其中,H_i-1 ^-1·H_i表示从第i帧图像I_i(x)投影到第i-1帧图像I_i-1(x)的变换矩阵,即W_i-1；

最后，选定当前视频序列图像第一帧I_i(x)作为参考帧,将I_i(x)逐点复制于全景图I_B(x)的变换为H₁＝I,则可利用(4)式得到任意帧与全景图间的变换关系。

其中，利用数据处理软件对采集的三维结构部位进行标识；建立的数学模型用三维结构的边长和邻角按逆时针构造一个向量S₁表示三维结构：

S₁＝(l₁,α1,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₁和该三维结构有一一映射关系，其表示与边角初始顺序无关；

提取三维结构特征和自适应LBP算子特征；

构建多特征底秩矩阵表示模型；

s.t.X_i＝X_iA_i+E_i,i＝1,…,K

其中α是大于0的系数，用来度量噪声和野点带来的误差；

等价为以下模型：

输出伪三维结构区域并得到最后准确的三维结构，具体为：

根据三维结构比例留下每个子空间的外接矩阵即为伪三维结构区域；

设置一个跳变函数f(i,j)，对伪三维结构区域进行精确定位，确定三维结构的上下边界：

其中c(i,j)为

c(i,j)＝LBP_8,1(i,j)-LBP_8,1(i,j-1)

上两式中i＝1,2,3,4,…N,j＝2,3,4,…M，因此任意一行i的跳变次数和S(i)为：

如果任意一行跳变次数的和S(i≥12)，则这一行就有可能属于三维结构部位区域；由上至下对整幅图像进行扫描，找出所有满足S(i≥12)的行，并记录下这一行的行数i；如果有连续的h行满足S(i≥12)，则可以得到一个宽度为M，高度为h的矩形区域，这个区域就有可能是三维结构部位准确区域，不具有此特征的区域排除。

所述完备向量组，按逆时针方向，有2N个向量S₁、S₂……S_2N－1、S_2N和三维结构均有一一映射关系，构成了该三维结构的一个完备向量组，表示如下：

S₁＝(l₁,α₁,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₂＝(α₁,l₂，α₂…l_N-1,α_N-1,l_N,α_N,l₁)；

……

S_2N－1＝(l_N,α_N,l₁,α₁,l_2，α₂…l_N-1,α_N-1)；

S_2N＝(α_N,l₁,α₁,l₂，α₂…l_N-1,α_N-1,l_N)；

用矩阵S_E表示完备向量，并定义S_E为该三维结构的特征矩阵，S_E表示如下：

获取源图形和目标图形特征矩阵中最相似向量的欧式距离和最大相和系数具体包括：

首先，按逆时针方向分别建立源图形P和目标图形Q的特征矩阵P_E和Q_E：

P_E＝[P₁ ^T P₂ ^T…P_2N－1 ^T P_2N ^T]；

Q_E＝[Q₁ ^T Q₂ ^T…Q_2N－1 ^T Q_2N ^T]；

欧式距离公式d(x,y)和夹角余弦公式sim(x,y)如下：

以d(x,y)和为sim(x,y)基础，重新定义两个矩阵D和S,使:

求出D和S中的最小值；

分别令Eu_e＝min{D_ij},1≤i≤j＝2N；Sim_e＝max{S_ij},1≤i≤j＝2N；

然后再按顺序针方向构造图形P和Q的特征矩阵，重复上述计算方法，求出两特征矩阵中最完备向量间的最小值Eu_c和Sim_c；

最后令Eu＝min{Eu_e，Eu_c}；

Sim＝min{Sim_e，Sim_c}；

Eu和Sim即为P、Q两图形对应最相似向量的欧式距离和最大相和系数。

所述对计算结果的增强性处理包括：

对初始向量进行一次到多次变形，在用相邻边角序列构造初始向量的基础上，再添加图形的几何特征值，采用添加顺序的相邻边角比作为新的初始向量；将初始向量进行一次到多次非线性化处理，采用将初始向量进行开方处理；

对变形后的初始向量进行多次相似度计算，最后按加权平均取值，以欧式距离Eu和相和系数Sim的评定公式如下：

上式中n为向量变形的次数，k_i为权重系数，Eu_i和Sim_i为第i次变形后向量的欧式距离，Eu(P,Q)为欧式距离的评定，n＝4，k_i取0.25；

提取自适应LBP算子特征算法的具体步骤如下：

(1)将输入系统的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

(2)利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

(3)根据实验数据，拟合计算自适应阈值的方法：

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (8)

1.一种机械生产制造展示辅助控制方法，其特征在于，所述机械生产制造展示辅助控制方法包括：

利用数据处理软件对采集的三维结构部位进行标识；建立的数学模型用三维结构的边长和邻角按逆时针构造一个向量S₁表示三维结构：

S₁＝(l₁,α1,l₂，α₂…l_N-1,α_N-1,l_N,α_N)；

S₁和该三维结构有一一映射关系，其表示与边角初始顺序无关；

提取三维结构特征和自适应LBP算子特征；

构建多特征底秩矩阵表示模型；

s.t.X_i＝X_iA_i+E_i,i＝1,…,K

其中α是大于0的系数，用来度量噪声和野点带来的误差；

等价为以下模型：

输出伪三维结构区域并得到最后准确的三维结构，具体为：

根据三维结构比例留下每个子空间的外接矩阵即为伪三维结构区域；

设置一个跳变函数f(i,j)，对伪三维结构区域进行精确定位，确定三维结构的上下边界：

其中c(i,j)为

c(i,j)＝LBP_8,1(i,j)-LBP_8,1(i,j-1)

上两式中i＝1,2,3,4,…N,j＝2,3,4,…M，因此任意一行i的跳变次数和S(i)为：

如果任意一行跳变次数的和S(i≥12)，则这一行就有可能属于三维结构部位区域；由上至下对整幅图像进行扫描，找出所有满足S(i≥12)的行，并记录下这一行的行数i；如果有连续的h行满足S(i≥12)，则可以得到一个宽度为M，高度为h的矩形区域，这个区域就有可能是三维结构部位准确区域，不具有此特征的区域排除。

2.如权利要求1所述的机械生产制造展示辅助控制方法，其特征在于，

提取自适应LBP算子特征算法的具体步骤如下：

(1)将输入系统的图像转换成灰度图像，对图像{grayv(i,j)}像素灰度值求和，再获取平均值：

(2)利用总的纹理特征去除背景，计算图像的像素灰度值与平均像素灰度值的差值的绝对值之和，求其平均值：

利用局部纹理特征去除背景，用3×3大小的滑动窗口，遍历图像，求取中心像素灰度值与周边像素灰度值之差，在每一个窗口图像内求取平均值：

(3)根据实验数据，拟合计算自适应阈值的方法：

3.如权利要求1所述的机械生产制造展示辅助控制方法，其特征在于，所述机械生产制造展示辅助控制方法具体包括：

步骤一：通过扫描模块利用三维激光扫描仪采集机械制造产品结构三维数据；通过参数配置模块利用配置程序配置机械生产制造展示辅助系统初始参数；通过操作输入模块利用操作键盘进行操作数据输入；

步骤二：主控模块通过结构标识模块利用数据处理软件对采集的三维结构部位进行介绍标识；通过照明模块利用照明灯对展示场景进行照明；主控模块采用云计算系统LBFA算法实现控制；

步骤三：通过三维模型构建模块利用三维软件对采集的数据构建对应的三维模型；通过数据存储模块利用存储器存储采集的机械制造产品结构三维数据；

步骤四：通过三维投影模块利用三维投影仪投影出机械产品的三维影像；三维投影模块对三维影像的处理采用视频序列静态全景合成算法。

4.如权利要求3所述的机械生产制造展示辅助控制方法，其特征在于，

三维模型构建模块构建方法如下：

步骤1、利用Kinect传感器采集转台点云和建模物体点云，并通过实时配准获得物体和转台的混合点云；

步骤2、对物体和转台的混合点云做点云预处理，得到带有底面点的建模物体的表面点云；

步骤3、将带有底面点的建模物体的表面点云上的点连接成三角形网格，表面重建后获得物体的三维表面模型；

步骤4、对物体的三维表面模型进行模型简化处理，建立出物体的三维简化表面模型；

步骤5、对步骤四中物体的三维简化表面模型进行纹理映射

步骤6、计算机软件程序对经过纹理映射后的三维模型，进行模型渲染生成二维图像；

三维投影方法包括：

(1)设置行缓冲区，按照设定的分段，缓冲所需的内存中的在源平面图像中的像素点数据；

(2)逐点扫描设定的三维投影目标区域的各个像素点的坐标；

(3)根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标；

(4)根据所对应在源平面图像中的坐标，从行缓冲区获取在源平面图像中的像素点数据；

(5)将所述从行缓冲区获取的在源平面图像中的像素点数据对应该三维投影目标区域的各个像素点的坐标输出；

将所述从行缓冲区获取在源平面图像中的像素点数据对应该三维投影目标区域的坐标输出后，存储和/或显示所述三维投影目标区域的各个像素点的坐标对应的像素点数据；

行缓冲区按照源平面图像的x坐标进行分段，一行中同一段存储的源平面图像的y坐标相同，每段设置一组标签，记录该段存储的源平面图像的y坐标集合；

所述根据该三维投影目标区域与三维投影平面之间的投影对应关系，分别计算得到该三维投影目标区域的各个像素点的坐标所对应在源平面图像中的坐标为：

a、确定三维投影目标区域的坐标(0,0)对应到源平面图像平面内的坐标(x_0,0，y_0,0)；

b、以投影光源O点的深度为0，三维投影目标区域的深度为1，确定出三维投影目标区域的的坐标(0,0)投影到三维投影平面上时对应的投影点的深度w_0,0；根据坐标(0,0)和深度w0,0计算出对应的归一化坐标(u_0,0,v_0,0)，其中，u_0,0＝x_0,0/w_0,0，v_0,0＝y_0,0/w_0,0；再分别计算出三维投影目标区域的坐标(0,1)和坐标(1,0)对应的深度w_0,1和w_1,0，对应的归一化坐标(u_0,1,v_0,1)和(u_1,0,v_1,0)；

c、计算出三维投影目标区域的x坐标增加1时的1/w的增量d(1/w)/dx＝1/w_1,0-1/w_0,0；

u的增量du/dx＝u_1,0-u_0,0，v的增量dv/dx＝v_1,0-v_0,0；三维投影目标区域的y坐标增加1时的1/w的增量d(1/w)/dy＝1/w_0,1/-1/w_0,0，u的增量du/dy＝u_0,1-u_0,0，v的增量dv/dy＝v_0,1-v_0,0；

d、从三维投影目标区域的坐标(0,0)开始，x坐标每增加1，1/w的值累加d(1/w)/dx，u的值累加du/dx，v的值累加dv/dx；y坐标每增加1，1/w的值累加d(1/w)/dy，u的值累加du/dy，v的值累加dv/dy，得到三维投影目标区域的每个像素点数据的w，u和v三个值，并由公式x＝u*w，y＝v*w计算出对应源平面图像中的坐标。

5.一种机械生产制造展示辅助计算机程序，其特征在于，所述机械生产制造展示辅助计算机程序实现权利要求1～4任意一项所述的机械生产制造展示辅助控制方法。

6.一种终端，所述终端至少搭载实现权利要求1～4任意一项所述机械生产制造展示辅助控制方法的控制器。

7.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的机械生产制造展示辅助控制方法。

8.一种实施权利要求1所述机械生产制造展示辅助控制方法的机械生产制造展示辅助系统，其特征在于，所述机械生产制造展示辅助系统包括：

扫描模块，与主控模块连接，用于通过三维激光扫描仪采集机械制造产品结构三维数据；

参数配置模块，与主控模块连接，用于通过配置程序配置机械生产制造展示辅助系统初始参数；

操作输入模块，与主控模块连接，用于通过操作键盘进行操作数据输入；

主控模块，与扫描模块、参数配置模块、操作输入模块、结构标识模块、照明模块、三维模型构建模块、数据存储模块、三维投影模块连接，用于通过单片机控制各个模块正常工作；

结构标识模块，与主控模块连接，用于通过数据处理软件对采集的三维结构部位进行介绍标识；

照明模块，与主控模块连接，用于通过照明灯对展示场景进行照明；

三维模型构建模块，与主控模块连接，用于通过三维软件对采集的数据构建对应的三维模型；

数据存储模块，与主控模块连接，用于通过存储器存储采集的机械制造产品结构三维数据；

三维投影模块，与主控模块连接，用于通过三维投影仪投影出机械产品的三维影像。