CN102801994A - 一种信息物理图像融合装置与方法 - Google Patents

Abstract

本发明提出一种信息物理图像融合装置与方法，通过实物空间特征立方体的特征边快速准确地获得模型空间左右视点位置，生成模型空间的左右图像；通过模型空间左右图像中的特征立方体与实物左右图像特征立方体完全重合实现信息物理图像的快速融合；通过检测当前实物图像与上一幅实物图像中特征立方体的特征点是否重合判断视点是否发生变化，当视点变化时，计算新视点坐标从而生成新的模型左右图像。本发明基于立体显示方式实现装配环境的立体仿真，使操作者有身临其境的感觉，并通过双目视觉感知场景中实物装配单元的位置，建立虚拟装配单元模型，完成虚拟装配单元与实物装配单元的融合，实现信息世界与物理世界的联合。

Description

一种信息物理图像融合装置与方法

技术领域

本发明涉及CPS（Cyber-Physical Systems信息物理融合系统）和图像处理技术的3D显示技术领域，具体为一种信息物理图像融合装置与方法，实现三维模型与实物多角度融合显示。

背景技术

信息物理融合系统(Cyber-Physical Systems,CPS)是一种通过计算、通信和控制等相关技术的相互协作，实现信息世界和物理世界深度融合的新型嵌入式系统。CPS能依据物理环境中的各个特征点信息对各物理实体进行实时高效的调整和控制，促进了虚拟装配技术发展。

建立一个与实际装配生产环境相一致的虚拟装配环境，通过信息物理图像的交互进行产品的装配、拆卸等操作是虚拟装配的重要过程。目前虚拟装配环境的建模方式主要涉及到CAD三维软件建模和虚拟显示建模语言；交互方式主要涉及到数据手套、位置跟踪器、菜单以及对话框方式。数据手套和位置跟踪器通过内置的传感器捕捉手指的动作，从而进行手势识别将手势映射为相应的命令和操作，完成装配过程的仿真；菜单和对话框均采用键盘和鼠标操作，实现对装配场景的控制，完成虚拟产品的装配过程。如《组合机床与自动化加工技术》2011年08期上的魏园园等发表的题为《网络环境下组合夹具虚拟装配平台的构建》介绍了一种基于虚拟显示建模语言构建的虚拟装配环境，其采用菜单以及对话框的交互方式，并通过Java语言实现对场景的控制。

根据目前的研究，主要的建模方法和交互方式均没有实现对装配环境的三维模拟，在构建虚拟装配环境时存在着以下不足：

1)零件的装配过程通常受装配工具、组合夹具以及其他装配环境信息的影响，而目前装配环境的构建技术仅仅涉及到零件的三维模型构建过程，并未考虑到装配工具及组合夹具等其他装配环境的影响；

2)目前虚拟装配涉及的交互技术完全依靠传感器和对话框菜单实现装配的仿真过程，并没有实现信息世界与物理世界的融合。同时在二维平面环境下的装配仿真忽视了人机交互过程，很难实现真正意义上的三维虚拟装配过程。

发明内容

要解决的技术问题

为解决目前虚拟装配技术的不足，本发明提出一种信息物理图像融合装置与方法，基于立体显示方式实现装配环境的立体仿真，使操作者有身临其境的感觉，并通过双目视觉感知场景中实物装配单元的位置，建立虚拟装配单元模型，完成虚拟装配单元与实物装配单元的融合，实现信息世界与物理世界的联合。

技术方案

本发明的技术方案为：

所述一种信息物理图像融合装置，其特征在于：包括眼镜式立体显示器、双目相机、图像处理装置和特征立方体；

眼镜式立体显示器包括左眼显示器和右眼显示器；

所述双目相机为两个微型CCD摄像头，每个摄像头的分辨率应不低于640*480，用于模拟人双眼采集图像；

摄像头安装在相机固定装置中，相机固定装置包括矩形支架和球形转动块；矩形支架一端面上有梯形滑块，矩形支架另一端面上开有球形凹槽，球形转动块安装在球形凹槽内，且球形转动块与矩形支架通过转轴连接，转轴过球形转动块球心，转轴平行于矩形支架端面且垂直于矩形支架上梯形滑块的滑动方向；在球形转动块朝外的方向上有相机安装孔，且相机安装孔中心轴线与球形转动块中心轴线垂直相交；摄像头固定在相机安装孔中，且摄像头的中心轴线与相机安装孔中心轴线重合；

相机固定装置安装在相机定位板上，相机定位板边缘有卡扣，用于将相机定位板卡接在眼镜式立体显示器上；相机定位板外侧面上有与梯形滑块配合的梯形滑槽；

特征立方体起到图像配准作用，特征立方体整体外表面为单一颜色，特征立方体中一个顶点的三条棱边分别为红、绿、蓝三种颜色，且三条棱边的颜色不同于特征立方体整体的颜色；所述三条棱边为特征立方体的特征边；

双目相机同步采集的双路图像信号经过图像处理装置转化为数字图像信号，并经过信息物理图像融合，输出至眼镜式立体显示器，实现左右模式立体图像的播放显示。

所述一种信息物理图像融合方法，其特征在于：包括以下步骤：

步骤1：基于OpenGL图形软件接口在模型空间中建立特征立方体三维模型，并设置透视投影所需的锥形视域体：

步骤1.1：在模型空间中设置模型坐标系与世界坐标系重合，并建立与实物空间中特征立方体外形尺寸相同的特征立方体三维模型，设置特征立方体三维模型同一顶点上的三条棱边V₀V_x，V₀V_y，V₀V_z的颜色属性与实物空间中特征立方体的特征边颜色相同；

步骤1.2：根据双目相机的物理参数，在模型空间中设置透视投影变换所需的锥形视域体的相关参数：锥形视域体的近裁剪面距视点的距离为摄像头的焦距f，近裁剪面设置为投影平面，投影面大小为摄像头物理感光元件的大小W×H，锥形视域体的后裁剪面距视点的距离为f+d，其中d为近裁剪面与后裁剪面的距离，同时锥形视域体中对象的显示窗口大小与摄像头采集到的图像大小一致；

步骤2：调节双目相机，使双目相机中两个摄像头的距离为眼镜式立体显示器佩戴者双眼瞳距S；将实物空间中特征立方体放置在摄像头的视角范围内，并使两个摄像头都能拍摄到实物空间中特征立方体的特征边；

步骤3：双目相机的两个摄像头同步连续采集实物空间的左图像和右图像，左图像和右图像的分辨率为U×Z；采用下列步骤分别提取实物空间左图像和右图像中特征立方体的特征边：

步骤3.1：将实物空间图像滤波灰度处理：检测实物空间图像中各像素点的红色分量，将图像中红色分量大于绿色分量与蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的红色滤波灰度图像；检测实物空间图像中各像素点的蓝色分量，将图像中蓝色分量大于绿色分量和红色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的蓝色滤波灰度图像；检测实物空间图像中各像素点的绿色分量，将图像中绿色分量大于红色分量和蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的绿色滤波灰度图像；

步骤3.2：采用数学形态学腐蚀和膨胀算法分别求出实物空间图像的三幅滤波灰度图像的边缘；

步骤3.3：采用运用Freeman准则的直线检测算法分别检测实物空间图像的三幅滤波灰度图像中的直线段，并保留长度不小于

个像素点的直线段，在每条直线段上均匀取至少6个像素点拟合出直线方程，得到三幅滤波灰度图像的直线段集合：红色滤波灰度图像中直线段集合

绿色滤波灰度图像中直线段集合

蓝色滤波灰度图像中直线段集合

步骤3.4：计算集合

中各直线与集合

中各直线的交点q_i，记交点q_i以及交点q_i在R和G中对应直线的集合为

计算集合

中各直线与集合

中各直线的交点s_i，记交点s_i以及交点s_i在R和B内的对应直线的集合为

步骤3.5：对于集合M和N中的任意一条直线

计算

在

中对应的点q_i和

在

中对应的点s_i之间的距离L_i；

步骤3.6：重复步骤3.5遍历集合M和N中的所有直线

得到L_i取到最小值min(L_i)时对应集合R、G和B中的三条直线

分别为特征立方体的红、绿、蓝三条特征边，红、绿、蓝三条特征边的斜率分别对应为

对应的交点q_imin和交点s_imin之间连线的中点为三条特征边的顶点

步骤4：根据步骤3提取的实物图像中特征立方体的特征边与步骤1建立的模型空间投影图像中特征立方体三维模型的特征边的对应关系分别确定模型空间中的左视点和右视点的坐标及视点观察方向向量，包括以下步骤：

步骤4.1：设置视点位置为V_l(x_l，y_l，z_l)，以及视点观察方向向量

得到视点在投影面上的投影点坐标为V′_l(x_l+f·u_l)，(y_l+f·v_l)，(z_l+f))，以及投影面方程为：

u_l[x-(x_l+f·u_j)]+v_l[y-(y_l+f·v_l)]+[z-(z_l+f)]=0    （4-1）

步骤4.2：设置模型空间中任一点P(x_p，y_p，z_p)与视点V_l(x_l，y_l，z_l)的空间直线方程为

$\stackrel{\→}{{\mathrm{OP}}^{\′}}=\stackrel{\→}{\mathrm{OP}}+t\stackrel{\→}{V_{l}P}---(4-2)$

其中O点为模型空间中模型坐标系原点；利用公式4-1和公式4-2联立求解出参数t和P点与投影面的交点P′(x′_P，y′_P，z′_P)，其中P′点坐标为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.3：在投影面上建立图像坐标系，图像坐标系原点为投影面左下角点O′(x_o，y_o，z_o)，投影面横向为

轴方向，纵向为

轴方向，

轴垂直于投影面且指向视点观察方向，；则模型坐标系与图像坐标系的齐次坐标变换关系为：

P″(x″_p，y″_p，z″_p，1)=Q·T·P′(x′_p，y′_p，z′_p，1)    （4-3）

其中P″(x_p，y″_p，z_p)为P′(x′_P，y′_P，z′_P)在图像坐标系下的坐标，平移转换矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& x_o\\ 0& 1& 0& y_o\\ 0& 0& 1& z_o\\ 0& 0& 0& 1\end{array}\right]$

旋转变换矩阵Q为：

$Q=\left[\begin{array}{cccc}{u}_x& u_y& u_z& 0\\ v_x& v_y& v_z& 0\\ n_x& n_y& n_z& 0\\ 0& 0& 0& 1\end{array}\right]$

Q中的元素是模型坐标系

轴的单位向量在图像坐标系下的分量；由于投影面始终垂直于

轴，将P″(x″_p，y″_p，z″_p)表示为平面坐标P″(x″_p，y″_p)；

步骤4.4：利用公式4-1、公式4-2得到模型空间中特征立方体的特征边端点V₀，V_x，V_y，V_z在投影面上的投影点V′₀，V′_x，V′_y，V′_z；利用公式4-3得到投影点V′₀，V′_x，V′_y，V′_z在图像坐标系中的坐标V″₀(x″₀，y″₀)，V″_x(x″_x，y″_x)，V″_y（x″_y，y″_y)，V″_z(x″_z，y″_z)；计算直线V″₀V″_x，V″₀V″_y，V″₀V″_z的斜率分别为k_r′，k_g′，k′_b，k_r′，k_g′，k′_b为为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.5：根据公式

$\left\{\begin{array}{c}{k}_r^{\′}=k_{R_i\min }\\ k_g^{\′}=k_{G_j\min }\\ k_b^{\′}=k_{B_k\min }\\ \frac{x_0^{\′\′}}{W}=\frac{x_{V_0}}{Q}\\ \frac{y_0^{\′\′}}{H}=\frac{y_{V_0}}{Z}\end{array}\right.$

计算得到模型空间中视点坐标V_l(x_l，y_l，z_l)和视点观察方向向量

以及视点观察方向向量；

步骤5：在模型空间中建立需要融合在实物图像中的虚拟物体模型，并确定虚拟物体模型的模型坐标系与特征立方体三维模型的模型坐标系间的变换关系，并将变化关系表示为平移矩阵T′和旋转矩阵Q′；

步骤6：根据步骤4得到的模型空间中的左视点和右视点坐标和视点观察方向，在OpenGL中对模型空间进行透视投影变换，得到模型空间的左图像和右图像；

步骤7：将步骤6得到的模型空间的左图像和右图像分别与摄像头采集的实物左图像和实物右图像重叠，并用将模型空间的左图像和右图像中的需要融合的虚拟物体模型将实物左图像和实物右图像对应部分覆盖；将融合后的左图像和右图像分别显示在眼镜式立体显示器的左眼显示器和右眼显示器上。

所述一种信息物理图像融合方法，其特征在于：通过调整平移矩阵T′和旋转矩阵Q′，实现将需要融合的虚拟物体模型在到融合后的图像中移动。

所述一种信息物理图像融合方法，其特征在于：检测任一摄像头采集的实物图像中的特征立方体特征边与上一帧实物图像中的特征立方体特征边是否重合，若重合，则表示视点不变，模型空间的左图像和右图像不变，若不重合，则表示视点变化，则根据步骤3和步骤4，重新计算模型空间中视点坐标和视点观察方向向量。

有益效果

本发明中采用装置一体化设计，实现了：

1）双目相机通过相机定位装置和相机固定装置固定连接于眼镜式立体显示器上，组成了集图像采集、处理、显示为一体的信息物理图像融合系统，使装置的设计更加符合人体工学原理，方便使用；

2）视频采集卡采集的双路图像对直接送入缓冲区，进行图像配准融合，系统将配准之后的图像对实时地送入显卡的显存中输出供视频眼镜显示，整个过程快速高效，充分体现了信息物理融合系统的高效性和实时性的特点；

本发明中图像配准融合方法的效果：

1）通过实物空间特征立方体的特征边快速准确地获得模型空间左右视点位置，生成模型空间的左右图像。通过模型空间左右图像中的特征立方体与实物左右图像特征立方体完全重合实现信息物理图像的快速融合。

2）通过检测当前实物图像与上一幅实物图像中特征立方体的特征点是否重合判断视点是否发生变化，当视点变化时，计算新视点坐标从而生成新的模型左右图像。

综上所述，该发明可以快速地寻找物理世界中的特征物体，且视频采集卡可以控制相机同步采集具有视角差的双路图像。双路图像采集的同时，根据物理世界的特征立方体与模型特征立方体的配准关系，进行图像融合。融合之后的双路图像按左右对准拼接在一起，输出到视频眼镜中，通过视频眼镜的立体转换功能进行立体显示。根据发明人的实验验证，通过采集合适视角差的双路图像与建立准确的三维模型，该系统可以实现实物图像与虚拟模型的快速配准，实时立体显示的功能，最终实现物理世界和虚拟世界的联合。

附图说明

图1：本发明中装置的立体图；

图2：相机固定装置的结构示意图；

图3：本发明中装置的结构示意图；

图4：相机定位装置的结构示意图；

图5：特征立方体示意图；

其中：1、双目相机；3、相机固定装置；6、眼镜式立体显示器；7、相机定位板；8、梯形滑槽；9、矩形支架；10、球形转动块；11、特征立方体。

具体实施方式

下面根据实施例具体描述本发明：

参照附图1和附图3，本发明中信息物理图像融合系统的装置包括眼镜式立体显示器6、双目相机1、图像处理装置和特征立方体11。眼镜式立体显示器包括左眼显示器和右眼显示器，本实施例中，眼镜式立体显示器采用的是众观博览公司的Wrap9000视频眼镜，支持左右模式立体影片的显示播放，并通过VGA接口与显卡连接。

双目相机为两个微型CCD摄像头，每个摄像头的分辨率应不低于640*480，用于模拟人双眼采集图像。本实施例中，摄像头采用卡默莱电子科技公司提供的3.6mm镜头超微型CCD摄像头，分辨率为640×480，视场角大小为73°，尺寸为16mm×16mm×12mm。

摄像头安装在相机固定装置3中，参照附图4，相机固定装置3包括矩形支架9和球形转动块10。矩形支架一端面上有梯形滑块，矩形支架另一端面上开有球形凹槽，球形转动块安装在球形凹槽内，且球形转动块与矩形支架通过转轴连接，转轴过球形转动块球心，转轴平行于矩形支架端面且垂直于矩形支架上梯形滑块的滑动方向。本实施例中，矩形支架9大小为35mm×35mm×20mm，球形凹槽的半径为15mm；球形转动块10的半径为13mm。在球形转动块朝外的方向上有相机安装孔，且相机安装孔中心轴线与球形转动块中心轴线垂直相交；摄像头固定在相机安装孔中，且摄像头的中心轴线与相机安装孔中心轴线重合。

相机固定装置安装在相机定位板7上，参照附图2，相机定位板边缘有卡扣，用于将相机定位板卡接在眼镜式立体显示器上；相机定位板外侧面上有与梯形滑块配合的梯形滑槽8。

特征立方体起到图像配准作用，大小为55mm×55mm×55mm，特征立方体整体外表面为单一颜色，特征立方体中一个顶点的三条棱边分别为红、绿、蓝三种颜色，且三条棱边的颜色不同于特征立方体整体的颜色；所述三条棱边为特征立方体的特征边。

双目相机同步采集的双路图像信号经过图像处理装置转化为数字图像信号，图像处理装置包括有图像采集卡和双路输出显卡。数字图像信号经过信息物理图像融合，输出至眼镜式立体显示器，实现左右模式立体图像的播放显示。图像采集卡采用的是维视公司的MV-8002双路图像采集卡，通过视频信号接口与摄像头连接，将双目相机采集的视频信号转换为数字图像信号，二次开发图像采集卡，使其可以同步双路采集图像，采集频率为20帧/s，同时提供处理采集图像的接口；双路输出显卡为NVIDIAGT210M芯片的双路VGA输出显卡，双VGA接口用于连接电脑显示器和眼镜式立体显示器。

本实施例中采用的信息物理图像融合方法，包括以下步骤：

步骤1：基于OpenGL图形软件接口在模型空间中建立特征立方体三维模型，并设置透视投影所需的锥形视域体：

步骤1.1：在模型空间中设置模型坐标系与世界坐标系重合，并建立与实物空间中特征立方体外形尺寸相同的特征立方体三维模型，设置特征立方体三维模型同一顶点上的三条棱边V₀V_x，V₀V_y，V₀V_z的颜色属性与实物空间中特征立方体的特征边颜色相同；

步骤1.2：根据双目相机的物理参数，在模型空间中设置透视投影变换所需的锥形视域体的相关参数：锥形视域体的近裁剪面距视点的距离为摄像头的焦距3.6mm，近裁剪面设置为投影平面，投影面大小为摄像头物理感光元件的大小9.7mm×7.9mm，锥形视域体的后裁剪面距视点的距离为3.6+500mm，同时锥形视域体中对象的显示窗口为640×480，大小与摄像头采集到的图像大小一致；

步骤2：调节双目相机，使双目相机中两个摄像头的距离为眼镜式立体显示器佩戴者双眼瞳距63mm；将实物空间中特征立方体放置在摄像头的视角范围内，并使两个摄像头都能拍摄到实物空间中特征立方体的特征边；

步骤3：双目相机的两个摄像头同步连续采集实物空间的左图像和右图像，左图像和右图像的分辨率为640×480；采用下列步骤分别提取实物空间左图像和右图像中特征立方体的特征边：

步骤3.1：将实物空间图像滤波灰度处理：检测实物空间图像中各像素点的红色分量，将图像中红色分量大于绿色分量与蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的红色滤波灰度图像；检测实物空间图像中各像素点的蓝色分量，将图像中蓝色分量大于绿色分量和红色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的蓝色滤波灰度图像；检测实物空间图像中各像素点的绿色分量，将图像中绿色分量大于红色分量和蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的绿色滤波灰度图像；

步骤3.2：采用数学形态学腐蚀和膨胀算法分别求出实物空间图像的三幅滤波灰度图像的边缘；

步骤3.3：参考尚振宏提出的《运用Freeman准则的直线检测算法》分别检测实物空间图像的三幅滤波灰度图像中的直线段，并保留长度不小于32个像素点的直线段，在每条直线段上均匀取6个像素点拟合出直线方程，得到三幅滤波灰度图像的直线段集合：红色滤波灰度图像中直线段集合

绿色滤波灰度图像中直线段集合

蓝色滤波灰度图像中直线段集合 $B=\{L_{b_k}:y=k_{B_k}x+b_x\};$

步骤3.4：计算集合

中各直线与集合

中各直线的交点q_i，记交点q_i以及交点q_i在R和G中对应直线的集合为计算集合中各直线与集合中各直线的交点s_i，记交点s_i以及交点s_i在R和B内的对应直线的集合为

步骤3.5：对于集合M和N中的任意一条直线

计算

在

中对应的点q_i和

在

中对应的点s_i之间的距离L_i；

步骤3.6：重复步骤3.5遍历集合M和N中的所有直线

得到L_i取到最小值min(L_i)时对应集合R、G和B中的三条直线

分别为特征立方体的红、绿、蓝三条特征边，红、绿、蓝三条特征边的斜率分别对应为

对应的交点q_imin和交点s_imin之间连线的中点为三条特征边的顶点

步骤4：根据步骤3提取的实物图像中特征立方体的特征边与步骤1建立的模型空间投影图像中特征立方体三维模型的特征边的对应关系分别确定模型空间中的左视点和右视点的坐标及视点观察方向向量，包括以下步骤：

步骤4.1：设置视点位置为V_l(x_l，y_l，z_l)，以及视点观察方向向量

得到视点在投影面上的投影点坐标为V′_l(x_l+3.6·u_l)，(y_l+3.6·v_l)，(z_l+3.6))，以及投影面方程为：

u_l[x-(x_l+3.6·u_l)]+v_l[y-(y_l+3.6·v_l)]+[z-(z_l+3.6)]=0    （4-1）

步骤4.2：设置模型空间中任一点P(x_p，y_p，z_p)与视点V_l(x_l，y_l，z_l)的空间直线方程为

$\stackrel{\→}{{\mathrm{OP}}^{\′}}=\stackrel{\→}{\mathrm{OP}}+t\stackrel{\→}{V_{l}P}---(4-2)$

其中O点为模型空间中模型坐标系原点；利用公式4-1和公式4-2联立求解出参数t和P点与投影面的交点P′(x′_P，y′_P，z′_P)，其中P′点坐标为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.3：在投影面上建立图像坐标系，图像坐标系原点为投影面左下角点O′(x_o，y_o，z_o)，投影面横向为

轴方向，纵向为

轴方向，

轴垂直于投影面且指向视点观察方向，；则模型坐标系与图像坐标系的齐次坐标变换关系为：

P″(x″_p，y″_p，z″_p，1)=Q·T·P′(x′_p，y′_p，z′_p，1)    （4-3）

其中P″(x″_p，y″_p，z″_p)为P′(x′_P，y′_P，z′_P)在图像坐标系下的坐标，平移转换矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& x_o\\ 0& 1& 0& y_o\\ 0& 0& 1& z_o\\ 0& 0& 0& 1\end{array}\right]$

旋转变换矩阵Q为：

$Q=\left[\begin{array}{cccc}{u}_x& u_y& u_z& 0\\ v_x& v_y& v_z& 0\\ n_x& n_y& n_z& 0\\ 0& 0& 0& 1\end{array}\right]$

Q中的元素是模型坐标系

轴的单位向量在图像坐标系下的分量；由于投影面始终垂直于轴，将P″(x″_p，y″_p，z″_p)表示为平面坐标P″(x″_p，y″_p)；

步骤4.4：利用公式4-1、公式4-2得到模型空间中特征立方体的特征边端点V₀，V_x，V_y，V_z在投影面上的投影点V′₀，V′_x，V_y′，V′_z；利用公式4-3得到投影点V′₀，V′_x，V_y′，V′_z在图像坐标系中的坐标V″(x″₀，y″₀)，V″_x(x″_x，y″_x)，V″_y(x″_y，y″_y)，V″_z(x″_z，y″_z)；计算直线V″₀V″_x，V″₀V″_y，V″₀V″_z的斜率分别为k′_r，k′_g，k′_b，k_r′，k_g′，k′_b为为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.5：根据公式

$\left\{\begin{array}{c}{k}_r^{\′}=k_{R_i\min }\\ k_g^{\′}=k_{G_j\min }\\ k_b^{\′}=k_{B_k\min }\\ \frac{x_0^{\′\′}}{9.7}=\frac{x_{V_0}}{640}\\ \frac{y_0^{\′\′}}{7.9}=\frac{y_{V_0}}{480}\end{array}\right.$

计算得到模型空间中视点坐标V_l(x_l，y_l，z_l)和视点观察方向向量

以及视点观察方向向量；

步骤5：在模型空间中建立需要融合在实物图像中的虚拟物体模型，并确定虚拟物体模型的模型坐标系与特征立方体三维模型的模型坐标系间的变换关系，并将变化关系表示为平移矩阵T′和旋转矩阵Q′；

步骤6：根据步骤4得到的模型空间中的左视点和右视点坐标和视点观察方向，在OpenGL中对模型空间进行透视投影变换，得到模型空间的左图像和右图像；

步骤7：将步骤6得到的模型空间的左图像和右图像分别与摄像头采集的实物左图像和实物右图像重叠，并用将模型空间的左图像和右图像中的需要融合的虚拟物体模型将实物左图像和实物右图像对应部分覆盖；将融合后的左图像和右图像分别显示在眼镜式立体显示器的左眼显示器和右眼显示器上。

进一步的，通过调整平移矩阵T′和旋转矩阵Q′，实现将需要融合的虚拟物体模型在到融合后的图像中移动。

进一步的，在实时显示过程中，检测任一摄像头采集的实物图像中的特征立方体特征边与上一帧实物图像中的特征立方体特征边是否重合，若重合，则表示视点不变，模型空间的左图像和右图像不变，若不重合，则表示视点变化，则根据步骤3和步骤4，重新计算模型空间中视点坐标和视点观察方向向量。

Claims (4)

1.一种信息物理图像融合装置，其特征在于：包括眼镜式立体显示器、双目相机、图像处理装置和特征立方体；

所述眼镜式立体显示器包括左眼显示器和右眼显示器；

所述双目相机为两个微型CCD摄像头，每个摄像头的分辨率应不低于640*480，用于模拟人双眼采集图像；

所述摄像头安装在相机固定装置中，相机固定装置包括矩形支架和球形转动块；矩形支架一端面上有梯形滑块，矩形支架另一端面上开有球形凹槽，球形转动块安装在球形凹槽内，且球形转动块与矩形支架通过转轴连接，转轴过球形转动块球心，转轴平行于矩形支架端面且垂直于矩形支架上梯形滑块的滑动方向；在球形转动块朝外的方向上有相机安装孔，且相机安装孔中心轴线与球形转动块中心轴线垂直相交；摄像头固定在相机安装孔中，且摄像头的中心轴线与相机安装孔中心轴线重合；

所述相机固定装置安装在相机定位板上，相机定位板边缘有卡扣，用于将相机定位板卡接在眼镜式立体显示器上；相机定位板外侧面上有与梯形滑块配合的梯形滑槽；

所述特征立方体起到图像配准作用，特征立方体整体外表面为单一颜色，特征立方体中一个顶点的三条棱边分别为红、绿、蓝三种颜色，且三条棱边的颜色不同于特征立方体整体的颜色；所述三条棱边为特征立方体的特征边；

所述双目相机同步采集的双路图像信号经过图像处理装置转化为数字图像信号，并经过信息物理图像融合，输出至眼镜式立体显示器，实现左右模式立体图像的播放显示。

2.一种采用权利要求1所述装置的信息物理图像融合方法，其特征在于：包括以下步骤：

步骤1：基于OpenGL图形软件接口在模型空间中建立特征立方体三维模型，并设置透视投影所需的锥形视域体：

步骤1.1：在模型空间中设置模型坐标系与世界坐标系重合，并建立与实物空间中特征立方体外形尺寸相同的特征立方体三维模型，设置特征立方体三维模型同一顶点上的三条棱边V₀V_x，V₀V_y，V₀V_z的颜色属性与实物空间中特征立方体的特征边颜色相同；

步骤1.2：根据双目相机的物理参数，在模型空间中设置透视投影变换所需的锥形视域体的相关参数：锥形视域体的近裁剪面距视点的距离为摄像头的焦距f，近裁剪面设置为投影平面，投影面大小为摄像头物理感光元件的大小W×H，锥形视域体的后裁剪面距视点的距离为f+d，其中d为近裁剪面与后裁剪面的距离，同时锥形视域体中对象的显示窗口大小与摄像头采集到的图像大小一致；

步骤2：调节双目相机，使双目相机中两个摄像头的距离为眼镜式立体显示器佩戴者双眼瞳距S；将实物空间中特征立方体放置在摄像头的视角范围内，并使两个摄像头都能拍摄到实物空间中特征立方体的特征边；

步骤3：双目相机的两个摄像头同步连续采集实物空间的左图像和右图像，左图像和右图像的分辨率为U×Z；采用下列步骤分别提取实物空间左图像和右图像中特征立方体的特征边：

步骤3.1：将实物空间图像滤波灰度处理：检测实物空间图像中各像素点的红色分量，将图像中红色分量大于绿色分量与蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的红色滤波灰度图像；检测实物空间图像中各像素点的蓝色分量，将图像中蓝色分量大于绿色分量和红色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的蓝色滤波灰度图像；检测实物空间图像中各像素点的绿色分量，将图像中绿色分量大于红色分量和蓝色分量之和的像素点的灰度值置为255，其余像素点灰度值置为0，得到实物空间图像的绿色滤波灰度图像；

步骤3.2：采用数学形态学腐蚀和膨胀算法分别求出实物空间图像的三幅滤波灰度图像的边缘；

步骤3.3：采用运用Freeman准则的直线检测算法分别检测实物空间图像的三幅滤波灰度图像中的直线段，并保留长度不小于

个像素点的直线段，在每条直线段上均匀取至少6个像素点拟合出直线方程，得到三幅滤波灰度图像的直线段集合：红色滤波灰度图像中直线段集合

绿色滤波灰度图像中直线段集合

蓝色滤波灰度图像中直线段集合

步骤3.4：计算集合

中各直线与集合

中各直线的交点q_i，记交点q_i以及交点q_i在R和G中对应直线的集合为

计算集合

中各直线与集合

中各直线的交点s_i，记交点s_i以及交点s_i在R和B内的对应直线的集合为

步骤3.5：对于集合M和N中的任意一条直线

计算

在

中对应的点q_i和

在

中对应的点s_i之间的距离L_i；

步骤3.6：重复步骤3.5遍历集合M和N中的所有直线

得到L_i取到最小值min(L_i)时对应集合R、G和B中的三条直线

分别为特征立方体的红、绿、蓝三条特征边，红、绿、蓝三条特征边的斜率分别对应为

对应的交点q_imin和交点s_imin之间连线的中点为三条特征边的顶点

步骤4：根据步骤3提取的实物图像中特征立方体的特征边与步骤1建立的模型空间投影图像中特征立方体三维模型的特征边的对应关系分别确定模型空间中的左视点和右视点的坐标及视点观察方向向量，包括以下步骤：

步骤4.1：设置视点位置为V_l(x_l，y_l，z_l)，以及视点观察方向向量

得到视点在投影面上的投影点坐标为V′_l(x_l+f·u_l)，(y_l+f·v_l)，(z_l+f))，以及投影面方程为：

u_l[x-(x_l+f·u_l)]+v_l[y-(y_l+f·v_l)]+[z-(z_l+f)]=0    （4-1）

步骤4.2：设置模型空间中任一点P(x_p，y_p，z_p)与视点V_l(x_l，y_l，z_l)的空间直线方程为

$\stackrel{\→}{{\mathrm{OP}}^{\′}}=\stackrel{\→}{\mathrm{OP}}+t\stackrel{\→}{V_{l}P}---(4-2)$

其中O点为模型空间中模型坐标系原点；利用公式4-1和公式4-2联立求解出参数t和P点与投影面的交点P′(x′_P，y′_P，z′_P)，其中P′点坐标为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.3：在投影面上建立图像坐标系，图像坐标系原点为投影面左下角点O′(x_o，y_o，z_o)，投影面横向为

轴方向，纵向为

轴方向，

轴垂直于投影面且指向视点观察方向，；则模型坐标系与图像坐标系的齐次坐标变换关系为：

P″(x″_p，y″_p，z″_p，1)=Q·T·P′(x′_p，y′_p，z′_p，1)    （4-3）

其中P″(x″_p，y″_p，z″_p)为P′(x′_P，y′_P，z′_P)在图像坐标系下的坐标，平移转换矩阵T为：

$T=\left[\begin{array}{cccc}1& 0& 0& x_o\\ 0& 1& 0& y_o\\ 0& 0& 1& z_o\\ 0& 0& 0& 1\end{array}\right]$

旋转变换矩阵Q为：

$Q=\left[\begin{array}{cccc}{u}_x& u_y& u_z& 0\\ v_x& v_y& v_z& 0\\ n_x& n_y& n_z& 0\\ 0& 0& 0& 1\end{array}\right]$

Q中的元素是模型坐标系

轴的单位向量在图像坐标系下的分量；由于投影面始终垂直于

轴，将P″(x″_p，y″_p，z″_p)表示为平面坐标P″(x″_p，y″_p)；

步骤4.4：利用公式4-1、公式4-2得到模型空间中特征立方体的特征边端点V₀，V_x，V_y，V_z在投影面上的投影点V′₀，V′_y，V′_y，V′_z；利用公式4-3得到投影点V′₀，V′_x，V′_y，V′_z在图像坐标系中的坐标V″(x″₀，y″₀)，V″_x(x″_x，y″_x)，V″_y(x″_y，y″_y)，V″_z(x″_z，y″_z)；计算直线V″₀V″_x，V″₀V″_y，V″₀V″_z的斜率分别为k_r′，k_g′，k′_b，k_r′，k_g′，k′_b为为模型空间中视点坐标和视点观察方向向量的函数；

步骤4.5：根据公式

$\left\{\begin{array}{c}{k}_r^{\′}=k_{R_i\min }\\ k_g^{\′}=k_{G_j\min }\\ k_b^{\′}=k_{B_k\min }\\ \frac{x_0^{\′\′}}{W}=\frac{x_{V_0}}{Q}\\ \frac{y_0^{\′\′}}{H}=\frac{y_{V_0}}{Z}\end{array}\right.$

计算得到模型空间中视点坐标V_l(x_l，y_l，z_l)和视点观察方向向量以及视点观察方向向量；

步骤5：在模型空间中建立需要融合在实物图像中的虚拟物体模型，并确定虚拟物体模型的模型坐标系与特征立方体三维模型的模型坐标系间的变换关系，并将变化关系表示为平移矩阵T′和旋转矩阵Q′；

步骤6：根据步骤4得到的模型空间中的左视点和右视点坐标和视点观察方向，在OpenGL中对模型空间进行透视投影变换，得到模型空间的左图像和右图像；

步骤7：将步骤6得到的模型空间的左图像和右图像分别与摄像头采集的实物左图像和实物右图像重叠，并用将模型空间的左图像和右图像中的需要融合的虚拟物体模型将实物左图像和实物右图像对应部分覆盖；将融合后的左图像和右图像分别显示在眼镜式立体显示器的左眼显示器和右眼显示器上。

3.根据权利要求2所述的信息物理图像融合方法，其特征在于：通过调整平移矩阵T′和旋转矩阵Q′，实现将需要融合的虚拟物体模型在到融合后的图像中移动。

4.根据权利要求2或3所述的信息物理图像融合方法，其特征在于：检测任一摄像头采集的实物图像中的特征立方体特征边与上一帧实物图像中的特征立方体特征边是否重合，若重合，则表示视点不变，模型空间的左图像和右图像不变，若不重合，则表示视点变化，则根据步骤3和步骤4，重新计算模型空间中视点坐标和视点观察方向向量。

Images