CN104200469B

CN104200469B - 一种视觉智能数控系统的数据融合方法

Info

Publication number: CN104200469B
Application number: CN201410436174.2A
Authority: CN
Inventors: 王高; 柳宁; 叶文生; 苏启林
Original assignee: Jinan university shaoguan institute
Current assignee: Jinan University
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2017-02-08
Anticipated expiration: 2034-08-29
Also published as: CN104200469A

Abstract

本发明涉及一种视觉智能数控系统的数据融合方法，包括以下步骤，步骤一：对目标物体所在的环境进行图像采集；步骤二：建立视觉单元中的像素坐标系和目标物体所在的世界坐标系；步骤三：获取目标物体在像素坐标系中的像素单元尺度的多个点的坐标值和在世界坐标系中对应点的坐标值；步骤四：根据所确定的像素坐标系的坐标值和世界坐标系的坐标值，建立像素坐标系与世界坐标系的映射关系；步骤五：获取在像素邻域内的点所在像素坐标系的坐标值；根据映射关系，计算其世界坐标系的坐标值；步骤六：重复步骤三到步骤五，直至完成整个像素坐标系的每个像素单元坐标值与世界坐标系对应坐标值的映射关系。

Description

一种视觉智能数控系统的数据融合方法

技术领域

本发明属于先进制造及机器人控制领域，具体涉及一种视觉智能数控系统数据融合方法。

背景技术

机器视觉系统与数控系统相结合，并应用于机器人和数控装备形成智能机器人及智能数控装备。根据现场需要，机器视觉系统(智能相机)将采集的像素坐标进行处理转换为世界坐标系下物点坐标。一般通过采用多台智能相机对视野范围内移动物体进行定位测量，常见于传送带输送工件的加工处理，采用机器人或者数控装备实现工件分拣或加工。

采用与机器人有关联的机器视觉系统对目标工件进行拍摄，结合机器人、固定工作环境参数和视觉系统内、外参数，分别进行摄像机标定和目标工件标定，用以确认工件位姿，采用立体视觉的方法，从工件特征点二维定位信息获取三维空间位姿信息。无论是固定于机器人末端手-眼模式(单台)还是固定于工作环境某点(多台)的视觉系统，对目标工件的定位(标定)包含：视觉系统安装关系标定、视觉系统标定，用以完成工件空间位姿标定，为后续机器人加工提供基准坐标系。

请参阅图1，其为拍摄图像的畸变图。相机镜头产生的线性和非线性畸变，目前已知影响透视与畸变原因包括焦距f、摄像机角度θ、摄像机架设位置等。相机近距离拍摄直线结构时，例如建筑物或树木，就会产生失真。在拍摄时将照相机稍稍向上对准，就可以近距离把整个物体拍摄下来。但是由于失真，平行的线条会不平行而有逐渐聚拢的趋势导致建筑物或树木在图像中向前倾，这种失真现象被称为线性畸变。这种近大远小的感觉也称为透视感。镜头的非线性畸变可分为径向畸变、离心畸变与薄棱镜畸变。其中后两类畸变既产生径向畸变也产生切向畸变，光学镜头径向曲率的变化是产生径向畸变的主要成因。镜头的径向畸变有两种趋势：一是像点的畸变呈离开中心的趋势，称为鞍形畸变；另一种是像点的畸变朝中心聚缩，称为桶形畸变。离心畸变是指由于装配原因，组成光学系统的多个光学镜头的光轴不可能完全共线引起的畸变。这种畸变是由径向畸变分量和切向畸变分量共同构成。薄棱镜畸变是指由于光学镜头制作造成的误差和成像敏感阵列制作造成的误差产生的图像变形，这种畸变也由径向畸变分量和切向畸变分量共同构成。

现有技术中，通过在视觉系统自身标定需要建立相机系统成像几何模型，同时需要精确估计出相机模型中的各种参数，这种相机建模及标定过程已有多种文献公开方法；视觉系统坐标系与其安装末端轴坐标系之间的关系同样需要标定获得，用来间接获取视觉系统在所处坐标系中的位姿数据。为获得精确的目标位置数据，需要大量标定运算，采用目前文献公开的方法，可实现较精确的理论求解。

然而，常用的视觉系统集成于机器人或数控装备的方式是采用相互独立的子系统，以通信线路连接实现信息交互，而视觉系统内部坐标与世界坐标系坐标的转换处理依赖于相机内、外参数，参数矩阵计算繁杂，且存在无解可能。

同时，在这种方式下，无论单目还是多目相机处理起来，受相机本身、工作环境等约束较大，造成应用推广难度大。开发过程所涉及建模、求解、转换、输出等环节没有标准模式，需依赖控制对象订制开发，一旦对象构型、参数、位姿、配置等发生改变，则需重新进行标定，甚至处理算法也会做出相应调整。经典的摄影测量方法一般采用基于多目摄像机的交汇测量、基于单目摄像机对已知若干特征的合作物体进行估计，这些方法虽定位精度高，但较复杂且计算时间长，难以在现场应用。

发明内容

本发明在于克服现有技术的缺点与不足，提供一种视觉智能数控系统的数据融合方法。

本发明是通过以下的技术方案实现的：一种视觉智能数控系统的数据融合方法，包括以下步骤：

步骤一：对目标物体所在的环境进行图像采集；

步骤二：对图像中的目标物体进行识别，并建立视觉单元中的像素坐标系和目标物体所在的世界坐标系；

步骤三：获取目标物体在像素坐标系中的一像素单元的多个点的坐标值和在世界坐标系中对应点的坐标值；

步骤四：根据所确定的像素坐标系的坐标值和世界坐标系的坐标值，建立像素坐标系与世界坐标系的映射关系；

步骤五：在该像素单元的邻域内，获取在该邻域内的点所在像素坐标系的坐标值；根据映射关系，计算其世界坐标系的坐标值；

步骤六：重复步骤三到步骤五，直至完成整个像素坐标系的每个像素单元坐标值与世界坐标系对应坐标值的映射关系。

相比于现有技术，本发明适用于采用智能相机对目标工件的平面位置测定。将多台视觉子系统拍摄的坐标数据与拍摄目标实际的位置信息融合处理，从而获得已知目标邻域附近的目标物坐标信息。本发明前期运算完成物-相两方映射关系对应，逐点算得目标物体位置数据，将积累的融合估算结果——“伪已知点”充满物方区域和相方区域的分格点。后期可停止数据融合估算，采用直接查表的方法实现各相机采集相点所对应的物点位置数据，各相机估算结果采用加权平均处理。本发明有效避开相机标定过程中内外参数计算，数据融合过程简洁，处理精度较好，可应用于视觉与数控联合开发过程，适合多行业数控装备和机器人应用。

作为本发明的进一步改进，在完成步骤六后，还包括步骤：建立像素坐标系与世界坐标系的映射列表，该映射列表中包括像素坐标系中的所有点的坐标值，以及与其对应的世界坐标系中的所有点的坐标值。

作为本发明的进一步改进，在步骤一中，通过多个相机对目标物体进行图像采集；在步骤二中，所述像素坐标系在该相机中形成，通过网格划分，且在该像素坐标系中的点为相点，其坐标设为(u₀,v₀)；世界坐标系通过网格划分，与该像素坐标系相对应，世界坐标系中的点为物点，其坐标设为(x₀,y₀)。

作为本发明的进一步改进，所述步骤五中在获取像素单元的坐标值时，包括以下步骤：通过多台相机对目标物体的点进行采集，并将所采集的相点的坐标值进行加权平均，并作为在像素坐标系中的坐标值。

作为本发明的进一步改进，根据映射列表查找目标物体的实际位置时，包括步骤：通过多台相机对目标物体的点进行采集，并将所采集的相点的坐标值进行加权平均；根据加权平均后的坐标值，查找出对应的物点的坐标值。

作为本发明的进一步改进，所述像素单元的领域为该像素单元所在像素坐标系中相邻的网格。

作为本发明的进一步改进，在所述步骤四中，在建立映射关系时，包括步骤：

构建一阶函数，其为

\{\begin{matrix} x_{i} = a_{1} u_{i} + a_{2} v_{i} + a_{3} \\ y_{i} = b_{1} u_{i} + b_{2} v_{i} + b_{3} \end{matrix};

构建二阶函数，其为：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{2} + a_{2} v_{i}^{2} + a_{3} u_{i} v_{i} + a_{4} u_{i} + a_{5} v_{i} + a_{6} \\ y_{i} = b_{1} u_{i}^{2} + b_{2} v_{i}^{2} + b_{3} u_{i} v_{i} + b_{4} u_{i} + b_{5} v_{i} + b_{6} \end{matrix};

构建三阶函数，其为：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{3} + a_{2} v_{i}^{3} + a_{3} u_{i}^{2} v_{i} + a_{4} u_{i} v_{i}^{2} + a_{5} u_{i}^{2} + a_{6} v_{i}^{2} + a_{7} u_{i} v_{i} + a_{8} u_{i} + a_{9} v_{i} + a_{10} \\ y_{i} = b_{1} u_{i}^{3} + b_{2} v_{i}^{3} + b_{3} u_{i}^{2} v_{i} + b_{4} u_{i} v_{i}^{2} + b_{5} u_{i}^{2} + b_{6} v_{i}^{2} + b_{7} u_{i} v_{i} + b_{8} u_{i} + b_{9} v_{i} + b_{10} \end{matrix};

其中，(x_i，y_i)为物点坐标，(u₀,v₀)为相点坐标，a_i和b_i为常数；

选取最合适的函数作为像素坐标系到世界坐标系的映射关系式；

将所对应的相点(u_i,v_i)和物点(x_i,y_i)分别代入上述方程，求解对应的函数关系式；其中i为正整数。

进一步，对于所有的畸变类型，建模时一般不考虑4阶和4阶以上的高阶分量，因它不仅不能提高解的精度还会造成不稳定。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1是拍摄图像的畸变图。

图2是本发明的视觉智能数控系统的数据融合方法流程图。

图3a是像素原理图。

图3b是放大若干倍的像素示意图。

图4是世界坐标系的示意图。

图5是像素坐标系与世界坐标系的映射关系示意图。

图6是采用多相机拍摄的示意图。

图7是映射关系确定的逐渐增多的伪已知固定点的示意图。

图8是世界场景示意图。

具体实施方式

请参阅图2，其为本发明的视觉智能数控系统的数据融合方法流程图。本发明的视觉智能数控系统的数据融合方法，包括以下步骤：

S1：对目标物体所在的环境进行图像采集。在本实施例中，具体是通过多个相机对目标物体进行图像采集。

S2：对图像中的目标物体进行识别，并建立视觉单元中的像素坐标系和目标物体所在的世界坐标系。在本实施例中，所述像素坐标系在该相机中形成，通过网格划分，且在该像素坐标系中的点为相点，其坐标设为(u₀,v₀)；世界坐标系通过网格划分，与该像素坐标系相对应，世界坐标系中的点为物点，其坐标设为(x₀,y₀)。

S3：获取目标物体在像素坐标系中的一像素单元的多个点的坐标值和在世界坐标系中对应点的坐标值。

S4：根据所确定的像素坐标系的坐标值和世界坐标系的坐标值，建立像素坐标系与世界坐标系的映射关系。具体的，在本实施例中，在建立映射关系时，包括步骤：

S41：构建一阶函数，其为

\{\begin{matrix} x_{i} = a_{1} u_{i} + a_{2} v_{i} + a_{3} \\ y_{i} = b_{1} u_{i} + b_{2} v_{i} + b_{3} \end{matrix};

构建二阶函数，其为：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{2} + a_{2} v_{i}^{2} + a_{3} u_{i} v_{i} + a_{4} u_{i} + a_{5} v_{i} + a_{6} \\ y_{i} = b_{1} u_{i}^{2} + b_{2} v_{i}^{2} + b_{3} u_{i} v_{i} + b_{4} u_{i} + b_{5} v_{i} + b_{6} \end{matrix};

构建三阶函数，其为：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{3} + a_{2} v_{i}^{3} + a_{3} u_{i}^{2} v_{i} + a_{4} u_{i} v_{i}^{2} + a_{5} u_{i}^{2} + a_{6} v_{i}^{2} + a_{7} u_{i} v_{i} + a_{8} u_{i} + a_{9} v_{i} + a_{10} \\ y_{i} = b_{1} u_{i}^{3} + b_{2} v_{i}^{3} + b_{3} u_{i}^{2} v_{i} + b_{4} u_{i} v_{i}^{2} + b_{5} u_{i}^{2} + b_{6} v_{i}^{2} + b_{7} u_{i} v_{i} + b_{8} u_{i} + b_{9} v_{i} + b_{10} \end{matrix};

S42：选取最合适的函数作为像素坐标系到世界坐标系的映射关系式；

S43：将所对应的相点(u_i,v_i)和物点(x_i,y_i)分别代入上述方程，求解对应的函数关系式；其中i为正整数。

S5：在该像素单元的邻域内，获取在该邻域内的点所在像素坐标系的坐标值；根据映射关系，计算其世界坐标系的坐标值。在本实施例中，所述像素单元的领域为该像素单元所在像素坐标系中相邻的网格。

在本实施例中，在获取领域内的点所在像素坐标系的坐标值时，具体通过以下步骤：

S51：通过多台相机对目标物体的点进行采集；

S52：将所采集的相点的坐标值进行加权平均，将加权平均后的坐标值作为该像素单元领域内的坐标值。

S6：重复步骤S3到步骤S5，直至完成整个像素坐标系的每个像素单元坐标值与世界坐标系对应坐标值的映射关系。

S7：建立像素坐标系与世界坐标系的映射列表，该映射列表中包括像素坐标系中的所有点的坐标值，以及与其对应的世界坐标系中的所有点的坐标值。根据映射列表查找目标物体的实际位置时，包括步骤：

S71：通过多台相机对目标物体的点进行采集；

S72：并将所采集的相点的坐标值进行加权平均；

S73：根据加权平均后的坐标值，查找出对应的物点的坐标值。

进一步，以下对本发明各个步骤的原理进行详细的阐述：

首先，在在研究拍摄图像时，采用像素坐标系。请同时参与图3a和图3b，其中，图3a为为像素坐标系示意图，图3b为放大若干倍的像素示意图。

其中O₁(u₀,v₀)为摄像机光轴和图像平面的交点处，称为图像的主点(principalpoint)，x/y轴分别与u/v轴平行表示以物理单位度量的图像坐标系。像素是表示图像的基本单位，图像本身具有连续性的浓淡阶调，若把图像放大数倍，会发现这些连续色调其实是由许多色彩相近的小方块所组成，这些小方块就是构成影像的最小单位“像素”。

在度量世界场景时采用世界坐标系。由于摄像机架设于足够高的平台，地面物体的高度可以忽略不计，主要考虑其在世界场景中的位置坐标。请参阅图4，其为世界坐标系示意图。灰色部分B的坐标已知，A点为自由移动的运动物体。通过已知位置的像素坐标和世界坐标求解二者间相互转换的映射关系式。

摄像机拍摄图像由于镜头透视与畸变原因存在变形现象，图像中不同位置其变形程度不一样，但其变形都是连续的。我们假设在一个邻域内，图像坐标系与世界坐标系存在一个函数关系。请参与图5，像素坐标系与世界坐标系的映射关系示意图。即存在如下映射关系：

(\begin{matrix} u \\ v \end{matrix}) &DoubleRightArrow; f (\begin{matrix} x \\ y \end{matrix})

其中：(u,v)为拍摄图像的像素坐标，(x,y)为世界场景的世界坐标。在世界场景中我们取已知位置上若干个点，其坐标已知设为A(x₁,y₁),B(x₂,y₂),C(x₃,y₃),D(x₄,y₄),E(x₅,y₅),F(x₆,y₆)...，对应拍摄图像的像素坐标分别为A(u₁,v₁),B(u₂,v₂),C(u₃,v₃),D(u₄,v₄),E(u₅,v₅),F(u₆,v₆)...以此类推。

考虑畸变影响时映射关系建模一般不考虑4阶和4阶以上的高阶分量，因它不仅不能提高解的精度还会造成不稳定。所以可获得以下三种假设：

(1)假设映射关系为一阶构型，则存在以下关系：

\{\begin{matrix} x_{i} = a_{1} u_{i} + a_{2} v_{i} + a_{3} \\ y_{i} = b_{1} u_{i} + b_{2} v_{i} + b_{3} \end{matrix};

取3次拍摄的物点A(x₁,y₁),B(x₂,y₂),C(x₃,y₃)及相点A(u₁,v₁),B(u₂,v₂),C(u₃,v₃)，将x、y坐标分离计算a_i、b_i，可得：

(\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}) = (\begin{matrix} u_{1} & v_{1} & 1 \\ u_{2} & v_{2} & 1 \\ u_{3} & v_{3} & 1 \end{matrix}) \cdot (\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \end{matrix}) &DoubleRightArrow; (\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \end{matrix}) = {(\begin{matrix} u_{1} & v_{1} & 1 \\ u_{2} & v_{2} & 1 \\ u_{3} & v_{3} & 1 \end{matrix})}^{- 1} \cdot (\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}),

同理可得：

(\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}) = {(\begin{matrix} u_{1} & v_{1} & 1 \\ u_{2} & v_{2} & 1 \\ u_{3} & v_{3} & 1 \end{matrix})}^{- 1} \cdot (\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}) .

2)假设映射关系为二阶构型，存在以下关系：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{2} + a_{2} v_{i}^{2} + a_{3} u_{i} v_{i} + a_{4} u_{i} + a_{5} v_{i} + a_{6} \\ y_{i} = b_{1} u_{i}^{2} + b_{2} v_{i}^{2} + b_{3} u_{i} v_{i} + b_{4} u_{i} + b_{5} v_{i} + b_{6} \end{matrix}

取6次拍摄的物点A(x₁,y₁),B(x₂,y₂),C(x₃,y₃),D(x₄,y₄),E(x₅,y₅),F(x₆,y₆)及相点A(u₁,v₁),B(u₂,v₂),C(u₃,v₃),D(u₄,v₄),E(u₅,v₅),F(u₆,v₆)，将x、y坐标分离计算a_i、b_i，可得：

(\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ x_{5} \\ x_{6} \end{matrix}) = (\begin{matrix} u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \end{matrix}),

同理推出：

(\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \\ a_{4} \\ a_{5} \\ a_{6} \end{matrix}) = (\begin{matrix} u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \end{matrix}) \cdot (\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ x_{5} \\ x_{6} \end{matrix})

及

(\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \\ b_{4} \\ b_{5} \\ b_{6} \end{matrix}) = {(\begin{matrix} u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \end{matrix})}^{- 1} \cdot (\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \\ y_{4} \\ y_{5} \\ y_{6} \end{matrix})

(3)假设映射关系为三阶构型，存在以下关系：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{3} + a_{2} v_{i}^{3} + a_{3} u_{i}^{2} v_{i} + a_{4} u_{i} v_{i}^{2} + a_{5} u_{i}^{2} + a_{6} v_{i}^{2} + a_{7} u_{i} v_{i} + a_{8} u_{i} + a_{9} v_{i} + a_{10} \\ y_{i} = b_{1} u_{i}^{3} + b_{2} v_{i}^{3} + b_{3} u_{i}^{2} v_{i} + b_{4} u_{i} v_{i}^{2} + b_{5} u_{i}^{2} + b_{6} v_{i}^{2} + b_{7} u_{i} v_{i} + b_{8} u_{i} + b_{9} v_{i} + b_{10} \end{matrix}

取10次拍摄的物点A(x₁,y₁),B(x₂,y₂),C(x₃,y₃),D(x₄,y₄),E(x₅,y₅),F(x₆,y₆),G(x₇,y₇),H(x₈,y₈),I(x₉,y₉),J(x₁₀,y₁₀)及相点A(u₁,v₁),B(u₂,v₂),C(u₃,v₃),D(u₄,v₄),E(u₅,v₅),F(u₆,v₆),G(u₇,v₇),H(u₈,v₈),I(u₉,v₉),J(u₁₀,v₁₀)，将x、y坐标分离计算a_i、b_i，可得：

(\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ x_{5} \\ x_{6} \\ x_{7} \\ x_{8} \\ x_{9} \\ x_{10} \end{matrix}) = (\begin{matrix} u_{1}^{3} & v_{1}^{3} & u_{1}^{2} v_{1} & u_{1} v_{1}^{2} & u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{3} & v_{2}^{3} & u_{2}^{2} v_{2} & u_{2} v_{2}^{2} & u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{3} & v_{3}^{3} & u_{3}^{2} v_{3} & u_{3} v_{3}^{2} & u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{3} & v_{4}^{3} & u_{4}^{2} v_{4} & u_{4} v_{4}^{2} & u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{3} & v_{5}^{3} & u_{5}^{3} v_{5} & u_{5} v_{5}^{2} & u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{3} & v_{6}^{3} & u_{6}^{3} v_{6} & u_{6} v_{6}^{2} & u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \\ u_{7}^{3} & v_{7}^{3} & u_{7}^{3} v_{7} & u_{7} v_{7}^{2} & u_{7}^{2} & v_{7}^{2} & u_{7} v_{7} & u_{7} & v_{7} & 1 \\ u_{8}^{3} & v_{8}^{3} & u_{8}^{3} v_{8} & u_{8} v_{8}^{2} & u_{8}^{2} & v_{8}^{2} & u_{8} v_{8} & u_{8} & v_{8} & 1 \\ u_{9}^{3} & v_{9}^{3} & u_{9}^{3} v_{9} & u_{9} v_{9}^{2} & u_{9}^{2} & v_{9}^{2} & u_{9} v_{9} & u_{9} & v_{9} & 1 \\ u_{10}^{3} & v_{10}^{3} & u_{10}^{3} v_{10} & u_{10} v_{10}^{2} & u_{10}^{3} & v_{10}^{2} & u_{10} v_{10} & u_{10} & v_{10} & 1 \end{matrix}) \cdot (\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \\ a_{4} \\ a_{5} \\ a_{6} \\ a_{7} \\ a_{8} \\ a_{9} \\ a_{10} \end{matrix}),

可推出：

(\begin{matrix} a_{1} \\ a_{2} \\ a_{3} \\ a_{4} \\ a_{5} \\ a_{6} \\ a_{7} \\ a_{8} \\ a_{9} \\ a_{10} \end{matrix}) {(\begin{matrix} u_{1}^{3} & v_{1}^{3} & u_{1}^{2} v_{1} & u_{1} v_{1}^{2} & u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{3} & v_{2}^{3} & u_{2}^{2} v_{2} & u_{2} v_{2}^{2} & u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{3} & v_{3}^{3} & u_{3}^{2} v_{3} & u_{3} v_{3}^{2} & u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{3} & v_{4}^{3} & u_{4}^{2} v_{4} & u_{4} v_{4}^{2} & u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{3} & v_{5}^{3} & u_{5}^{2} v_{5} & u_{5} v_{5}^{2} & u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{3} & v_{6}^{3} & u_{6}^{2} v_{6} & u_{6} v_{6}^{2} & u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \\ u_{7}^{3} & v_{7}^{3} & u_{7}^{2} v_{7} & u_{7} v_{7}^{2} & u_{7}^{2} & v_{7}^{2} & u_{7} v_{7} & u_{7} & v_{7} & 1 \\ u_{8}^{3} & v_{8}^{3} & u_{8}^{2} v_{8} & u_{8} v_{8}^{2} & u_{8}^{2} & v_{8}^{2} & u_{8} v_{8} & u_{8} & v_{8} & 1 \\ u_{9}^{3} & v_{9}^{3} & u_{9}^{2} v_{9} & u_{9} v_{9}^{2} & u_{9}^{2} & v_{9}^{2} & u_{9} v_{9} & u_{9} & v_{9} & 1 \\ u_{10}^{3} & v_{10}^{3} & u_{10}^{2} v_{10} & u_{10} v_{10}^{2} & u_{10}^{2} & v_{10}^{2} & u_{10} v_{10} & u_{10} & v_{10} & 1 \end{matrix})}^{- 1} \cdot (\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ x_{5} \\ x_{6} \\ x_{7} \\ x_{8} \\ x_{9} \\ x_{10} \end{matrix})

及

(\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \\ b_{4} \\ b_{5} \\ b_{6} \\ b_{7} \\ b_{8} \\ b_{9} \\ b_{10} \end{matrix}) {(\begin{matrix} u_{1}^{3} & v_{1}^{3} & u_{1}^{2} v_{1} & u_{1} v_{1}^{2} & u_{1}^{2} & v_{1}^{2} & u_{1} v_{1} & u_{1} & v_{1} & 1 \\ u_{2}^{3} & v_{2}^{3} & u_{2}^{2} v_{2} & u_{2} v_{2}^{2} & u_{2}^{2} & v_{2}^{2} & u_{2} v_{2} & u_{2} & v_{2} & 1 \\ u_{3}^{3} & v_{3}^{3} & u_{3}^{2} v_{3} & u_{3} v_{3}^{2} & u_{3}^{2} & v_{3}^{2} & u_{3} v_{3} & u_{3} & v_{3} & 1 \\ u_{4}^{3} & v_{4}^{3} & u_{4}^{2} v_{4} & u_{4} v_{4}^{2} & u_{4}^{2} & v_{4}^{2} & u_{4} v_{4} & u_{4} & v_{4} & 1 \\ u_{5}^{3} & v_{5}^{3} & u_{5}^{2} v_{5} & u_{5} v_{5}^{2} & u_{5}^{2} & v_{5}^{2} & u_{5} v_{5} & u_{5} & v_{5} & 1 \\ u_{6}^{3} & v_{6}^{3} & u_{6}^{2} v_{6} & u_{6} v_{6}^{2} & u_{6}^{2} & v_{6}^{2} & u_{6} v_{6} & u_{6} & v_{6} & 1 \\ u_{7}^{3} & v_{7}^{3} & u_{7}^{2} v_{7} & u_{7} v_{7}^{2} & u_{7}^{2} & v_{7}^{2} & u_{7} v_{7} & u_{7} & v_{7} & 1 \\ u_{8}^{3} & v_{8}^{3} & u_{8}^{2} v_{8} & u_{8} v_{8}^{2} & u_{8}^{2} & v_{8}^{2} & u_{8} v_{8} & u_{8} & v_{8} & 1 \\ u_{9}^{3} & v_{9}^{3} & u_{9}^{2} v_{9} & u_{9} v_{9}^{2} & u_{9}^{2} & v_{9}^{2} & u_{9} v_{9} & u_{9} & v_{9} & 1 \\ u_{10}^{3} & v_{10}^{3} & u_{10}^{2} v_{10} & u_{10} v_{10}^{2} & u_{10}^{2} & v_{10}^{2} & u_{10} v_{10} & u_{10} & v_{10} & 1 \end{matrix})}^{- 1} \cdot (\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \\ y_{4} \\ y_{5} \\ y_{6} \\ y_{7} \\ y_{8} \\ y_{9} \\ y_{10} \end{matrix})

通过以上三种假设以及计算，可以求出图像坐标系与世界坐标系3个不同阶次的映射关系

f (\begin{matrix} x \\ y \end{matrix}) .

当畸变较小时

f (\begin{matrix} x \\ y \end{matrix})

可能符合线性关系，当畸变较大时可能符合二阶或三阶函数关系。所以，首先在测量范围内，根据已知位置的坐标代入计算，选取最合适的映射关系式，最后利用此映射关系实现对目标对象的位置计算。

采用多相机数据融合方式进行运动物体定位，各相机分别采用以上步骤进行物-相点间映射关系的求取。请参阅图6，采用多相机拍摄的示意图。3台相机分别获得运动目标物体P的转换坐标C₁(x_pc1,y_pc1),C₂(x_pc2,y_pc2),C₃(x_pc3,y_pc3)，假设各相机拍摄过程所占权重相同，则最终生成的目标物体定位点数据融合结果为：

\{\begin{matrix} x_{p} = \frac{x_{pc 1} + x_{pc 2} + x_{pc 3}}{3} \\ y_{p} = \frac{y_{pc 1} + y_{pc 2} + y_{pc 3}}{3} \end{matrix}

各相机建立的映射关系获得的运动物体位置信息作为“伪已知点”信息数据，并将这些多机信息进行数据融合。随时间积累递增(训练过程)，逐步构建出像素坐标系(像素点)与世界坐标系(物点)间的网格一一对应关系，当对应关系充满整个网格，即可使用查表法对后续采集相点进行处理。

请参阅图7，其为是映射关系确定的逐渐增多的伪已知固定点的示意图。这些通过映射关系获得的世界坐标系下的物点坐标，随着时间推移会慢慢将世界坐标系分格充满。由已知固定参照物①、②、③，逐渐获得映射关系计算后的伪固定参考点④、⑤、⑥、⑦...，随着点的增多，坐标分格内的物点会被逐渐填充满，则此时计算步骤不再需要分别对所采集的相点与要确定的物点间分阶次选择最优映射，而直接通过查表的方式将目标相点对应的世界坐标系物点坐标确定下来。

以下通过一个具体的实例，进一步对本发明的视觉智能数控系统的数据融合方法进行阐述。

请参阅图8，其为世界场景图像的示意图。其中灰色部分T的坐标已知，我们取灰色部分T上的若干点进行计算。点P为世界场景中自由移动的动态物体。

接着，通过相机采集并进行灰度及二值化处理，从而使得处理后的图像中目标点特征更加明显，可直接由通信接口方便的提取目标点的像素坐标。

提取结果存放于电子表格中待处理，提取10个已知像素点坐标进行运算，获得以下坐标对比表(其中，u，v为像素坐标，x，y为世界坐标)，如表1所示。再分别采用一阶、二阶、三阶方程计算像素坐标转换到世界坐标映射函数关系，可获得不同的待测X，Y实际坐标值。

表1 提取点像素坐标和世界坐标表

在某一连续邻域内，映射关系符合一阶函数方程，即：

\{\begin{matrix} x_{i} = a_{1} u_{i} + a_{2} v_{i} + a_{3} \\ y_{i} = b_{1} u_{i} + b_{2} v_{i} + b_{3} \end{matrix}

通过程序对坐标u₁～u₃以及v₁～v₃赋值并进行系数求解的计算，得到如下程序计算结果，如表2所示。带入P点坐标(500，678)，获得：x₁＝7.0000，y₁＝9.5357。

表2 一阶函数映射关系计算结果

a	b
		4.44089209850063e-16	-0.0357142857142865
0	0.0357142857142847
		6.99999999999999	3.17857142857137

采用二阶函数表示映射关系，即：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{2} + a_{2} v_{i}^{2} + a_{3} u_{i} v_{i} + a_{4} u_{i} + a_{5} v_{i} + a_{6} \\ y_{i} = b_{1} u_{i}^{2} + b_{2} v_{i}^{2} + b_{3} u_{i} v_{i} + b_{4} u_{i} + b_{5} v_{i} + b_{6} \end{matrix}

通过程序对坐标u₁～u₆以及v₁～v₆赋值并进行系数求解的计算，得到如下程序计算结果，如表3所示。带入P点坐标(500，678)，获得：x₁＝7.4516，y₁＝12.1582。

表3 二阶函数映射关系计算结果

a	b
		7.63562597031376e-06	2.30823638261108e-05
-1.41174758906282e-05	-0.000104181697959115
		-2.67062834367416e-06	4.31632190866619e-05
0.00342453879978955	-0.0378290440767268
		0.0114189337130024	0.109620184597604
3.48334508367699	-15.7620355275763

采用三阶函数表示映射关系，即：

\{\begin{matrix} x_{i} = a_{1} u_{i}^{3} + a_{2} v_{i}^{3} + a_{3} u_{i}^{2} v_{i} + a_{4} u_{i} v_{i}^{2} + a_{5} u_{i}^{2} + a_{6} v_{i}^{2} + a_{7} u_{i} v_{i} + a_{8} u_{i} + a_{9} v_{i} + a_{10} \\ y_{i} = b_{1} u_{i}^{3} + b_{2} v_{i}^{3} + b_{3} u_{i}^{2} v_{i} + b_{4} u_{i} v_{i}^{2} + b_{5} u_{i}^{2} + b_{6} v_{i}^{2} + b_{7} u_{i} v_{i} + b_{8} u_{i} + b_{9} v_{i} + b_{10} \end{matrix};

通过程序对坐标u₁～u₁₀以及v₁～v₁₀赋值并进行系数求解的计算，得到如下程序计算结果，如表4所示。带入P点坐标(500，678)，获得：x₁＝7.7644，y₁＝20.7728。

表4 三阶函数映射关系计算结果

a	b
		-1.20989967025570e-07	-4.30736650802437e-06
1.88387611789465e-06	7.06134244197326e-05
		1.16888221025706e-06	4.80887321941078e-05
-2.85867486415903e-06	-0.000113029349996819
		-0.000568578385147012	-0.0243325821808682
-0.00221992611233035	-0.0808912065432605
		0.00250514994715267	0.0977878862616741
-0.516782921643994	-19.6246801219952
		0.811509223321650	28.4501110813883
-83.7820648110937	-2980.13037439698

对实验结果进行分析，如表5所示，二阶函数计算结果误差小于线性关系式以及三阶关系式的计算结果误差。由此可知，当图像畸变较大时，在一个邻域的范围内，图像坐标系与世界坐标系的映射关系不再是线性关系，可能为二阶或三阶函数关系。当进行位置估计时，首先通过已知位置的坐标进行函数关系的计算，选取出最合适的关系式，再根据未知点的像素坐标计算其世界坐标，实现定位。

表5 实验结果对比

后续，通过同时读取三台不同位姿拍摄相机的采集像素数据，分别对P点进行实测值的估计，并将获得结果进行算数平均，即可获得物点对于相点标定数据融合的结果。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims

1.一种视觉智能数控系统的数据融合方法，其特征在于，包括以下步骤：

步骤一：对目标物体所在的环境进行图像采集；

步骤三：获取目标物体在像素坐标系中的像素单元尺度的若干个点的坐标值和在世界坐标系中对应点的坐标值；

步骤四：根据所确定的像素坐标系的坐标值和世界坐标系的坐标值，建立像素坐标系与世界坐标系的映射关系；在建立映射关系时，包括步骤：

构建一阶函数，其为

构建二阶函数，其为：

构建三阶函数，其为：

其中，(x_i,y_i)为物点坐标，(u_i,v_i)为相点坐标，a_i和b_i为常数；

将所对应的相点(u_i,v_i)和物点(x_i,y_i)分别代入上述方程，求解对应的函数关系式；其中i为正整数；

步骤五：在该像素单元的邻域内，获取在该邻域内的点在像素坐标系中的坐标值；根据映射关系，计算其在世界坐标系中的坐标值；

2.根据权利要求1所述视觉智能数控系统的数据融合方法，其特征在于：在完成步骤六后，还包括步骤：建立像素坐标系与世界坐标系的映射列表，该映射列表中包括像素坐标系中的所有点的坐标值，以及与其对应的世界坐标系中的所有点的坐标值。

3.根据权利要求2所述视觉智能数控系统的数据融合方法，其特征在于：在步骤一中，通过多个相机对目标物体进行图像采集；在步骤二中，所述像素坐标系在该相机中形成，通过网格划分，且在该像素坐标系中的点为相点，其坐标设为(u₀,v₀)；世界坐标系通过网格划分，与该像素坐标系相对应，世界坐标系中的点为物点，其坐标设为(x₀,y₀)。

4.根据权利要求3所述视觉智能数控系统的数据融合方法，其特征在于：所述步骤五中在获取像素单元的坐标值时，包括以下步骤：通过多台相机对目标物体的点进行采集，并将所采集的相点的坐标值进行加权平均，并作为在像素坐标系中的坐标值。

5.根据权利要求3所述视觉智能数控系统的数据融合方法，其特征在于：根据映射列表查找目标物体的实际位置时，包括步骤：通过多台相机对目标物体的点进行采集，并将所采集的相点的坐标值进行加权平均；根据加权平均后的坐标值，查找出对应的物点的坐标值。

6.根据权利要求3-5任意一项所述视觉智能数控系统的数据融合方法，其特征在于：所述像素单元的邻域为该像素单元所在像素坐标系中相邻的网格。