CN104656893A - 一种信息物理空间的远程交互式操控系统及方法 - Google Patents

Abstract

本发明涉及一种信息物理空间的远程交互式操控系统及方法，该系统包括3D交互识别模块、2D交互识别模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；该方法可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制，与其他方法相比，该方法成本低廉，操作沉浸感强并且操作可以达到实时高效，对于未来的物理信息融合场景下人机交互有着非常广阔的应用前景。

Description

一种信息物理空间的远程交互式操控系统及方法

技术领域

本发明涉及物理信息融合环境下的人机交互技术，特别涉及一种人机交互系统与人机交互方法。

背景技术

物理信息融合技术，也就是虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。

目前，在现有的虚拟现实系统中，只是将虚拟信息静态的叠加现实在虚拟现实场景中，而不能对物理信息融合场景下的虚拟现实模型进行实时的人机操控。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种在虚拟现实融合系统下的实时人机交互系统和方法。该系统可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制。

技术方案

一种信息物理空间的远程交互式操控系统，其特征在于包括人机交互模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包括3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别，然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别模块用于进行3D交互识别模块操控的模式切换和对3D手势交互模块映射在虚拟场景范围进行操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物理对象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄的相关物理对象世界范围与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块用于显示物理信息场景融合模块的物理信息场景和人机交互模块的人手参数化模型。

所述的2D交互识别模块由一块2D的平面感应板所组成。

所述的3D交互识别模块由至少一个微型RGB摄像头和至少一个深度摄像头组成。

所述的物理世界场景采集模块由至少一个摄像头组成。

所述的视频显示模块为手机平板显示屏、电脑显示屏或眼镜式微显示屏。

一种信息物理空间的远程交互式操控方法，其特征在于包括下述步骤：

步骤1：物理世界场景采集模块获取世界物理场景；

步骤2：总处理器将获取的物理世界场景与信息对象融合在一起，转换成物理信息融合场景；

步骤3：人机交互模块捕获用户2D和3D的交互指令；

步骤4：总处理器接收用户2D和3D的交互指令，并将交互指令转化为控制指令；

步骤5：总处理器根据控制指令控制物理信息目标物体对象的变化；

步骤6：视频显示模块显示物理信息融合场景和人机交互模块控制对象变化的实时显示。

所述的步骤3包括下述步骤：

步骤3a：人机交互模块中的2D交互识别模块识别用户2D交互指令；

步骤3b：人机交互模块中的3D交互识别模块识别用户3D交互指令；

步骤3c：2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融合场景下的图像平面坐标；

$\left[\begin{array}{c}{\mathrm{\μ}}_a^{\′}\\ v_a^{\′}\end{array}\right]=\left[\begin{array}{c}{s}_x\×(n_x^{\′}{x}_p^{\′}+o_x^{\′}{y}_p^{\′})+p_x^{\′}\\ s_y\×(n_y^{\′}{x}_p^{\′}+o_y^{\′}{x}_p^{\′})+p_y^{\′}\end{array}\right]$

其中为平面感应板坐标系下的一点坐标；为映射到物理信息融合场景下的一点图像坐标；

s_x,s_y分别为平面感应板上单位距离到物理信息融合场景中的现实图像在X轴和Y轴的放缩比例系数；

${\stackrel{\→}{n}}^{\′}={\left[\begin{array}{cc}{n}_x^{\′}& n_y^{\′}\end{array}\right]}^T$ 是平面感应板X轴在物理信息融合场景中的方向向量；

${\stackrel{\→}{o}}^{\′}={\left[\begin{array}{cc}{o}_x^{\′}& o_y^{\′}\end{array}\right]}^T$ 是平面感应板Y轴在物理信息融合场景中的方向向量；

${\stackrel{\→}{p}}^{\′}={\left[\begin{array}{cc}{\stackrel{\→}{p}}_x^{\′}& {\stackrel{\→}{p}}_y^{\′}\end{array}\right]}^T$ 是平面感应板坐标原点在物理信息融合场景中的位置；

步骤4：3D交互识别模块将世界空间中任意一点三维坐标转换至物理信息融合场景中的图像坐标；

对相机进行内外参数的标定，计算出相机的内外参数相关矩阵参数；世界空间的任意一点，通过相机内外参数矩阵，映射到图像上一点对应的图像坐标，现实在虚拟场景之中；世界空间中任意一点三维坐标为A(x_wa,y_wa,z_wa)，映射到物理信息融合场景中的图像坐标为A'(μ_a,ν_a)，则有以下关系：

$\left[\begin{array}{c}{u}_a\\ v_a\\ 1\end{array}\right]=\left[\begin{array}{c}{k}_x\×\frac{(n_x{x}_{\mathrm{wa}}+o_x{y}_{\mathrm{wa}}+a_x{z}_{\mathrm{wa}}+p_x)}{z_{\mathrm{ca}}}+{\mathrm{\μ}}_0\\ k_y\×\frac{(n_y{x}_{\mathrm{wa}}+o_y{y}_{\mathrm{wa}}+a_y{z}_{\mathrm{wa}}+p_y)}{z_{\mathrm{ca}}}+v_0\\ \frac{(n_y{x}_{\mathrm{wa}}+o_y{y}_{\mathrm{wa}}+a_y{z}_{\mathrm{wa}}+p_y)}{z_{\mathrm{ca}}}\end{array}\right]$

其中k_x＝σ_xf；k_y＝σ_yf；σ_x,σ_y分别为成像平面到显示图像上x,y两个方向上的放缩比例系数；f为焦距；

(μ₀,ν₀)为图像物理坐标系原点在图像坐标系中的坐标；

$\stackrel{\→}{n}={\left[\begin{array}{ccc}{n}_x& n_y& n_z\end{array}\right]}^T$ 是X轴在相机坐标系中的方向向量；

$\stackrel{\→}{o}={\left[\begin{array}{ccc}{o}_x& o_y& o_z\end{array}\right]}^T$ 是Y轴在相机坐标系中的方向向量；

$\stackrel{\→}{a}={\left[\begin{array}{ccc}{a}_x& a_y& a_z\end{array}\right]}^T$ 是Z轴在相机坐标系中的方向向量；

$\stackrel{\→}{p}={\left[\begin{array}{ccc}{p}_x& p_y& p_z\end{array}\right]}^T$ 是世界坐标系原点在相机坐标系中的位置；

d_x,d_y为每一个像素点在x,y轴方向上的物理尺寸，则在虚拟场景显示图像与世界坐标的在x,y的比例系数分别为： $h_x=d_x\×\frac{u_a-u_b}{x_{\mathrm{wa}}-x_{\mathrm{wb}}};h_y=d_y\×\frac{v_a-v_b}{y_{\mathrm{wa}}-y_{\mathrm{wb}}};$

步骤3d：总处理器将2D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；

步骤3e：总处理器将3D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；

步骤3f：总处理器将2D和3D交互识别模块进行融合匹配，完成物理信息融合场景下的人机交互。

有益效果

本发明提出的一种信息物理空间的远程交互式操控系统及方法，该方法可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制，与其他方法相比，该方法成本低廉，操作沉浸感强并且操作可以达到实时高效，对于未来的物理信息融合场景下人机交互有着非常广阔的应用前景。

附图说明

图1为实施例提供的一种信息物理空间的远程交互式操控系统结构示意图

图2为本发明实施例提供的一种信息物理空间的远程交互式操控方法步骤流程图

图3为本发明实施例提供的人机交互模块的结构流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

图1为本发明实施例提供的一种信息物理空间的远程交互式操控设备结构示意图。

一种信息物理空间的远程交互式操控设备100，包括：物理工作场景采集模块110、物理信息融合模块160、2D交互识别模块120、2D交互识别模块130、人机交互模块140、总处理器150、视频显示模块170。

物理工作场景采集模块110：用于拍摄物理工作场景。在本发明提供的实施例中，物理工作场景采集模块110优选为有至少一个摄像头组成，世界坐标内的物理对象通过摄像头捕获；

2D交互识别模块120：用于进行3D交互识别模块操控的模式切换和对3D手势交互模块映射在虚拟场景范围进行操控范围的平移。在本发明提供的实施例中，2D交互识别模块120优选为由平板电脑或手机组成，对平板电脑或手机进行开发，通过socket通信与总处理器150进行数据传输；

3D交互识别模块130：用于对用户手势动作进行识别，然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值。在本发明提供的实施例中，2D交互识别模块130优选为由至少一个深度摄像头和至少一个RGB摄像头组成，用户的手势动作以及手的世界坐标被两摄像头捕获，经过2D交互识别模块130中的微型处理器处理后，将数据传输给总服务器，与物理信息融合模块160融合的物理信息融合场景进行坐标统一；

人机交互模块140：用于将2D交互识别模块120和2D交互识别模块130的数据经过人机交互模块140内嵌的为处理器进行处理，然后传输给总处理器150；

总处理器150：用于计算和处理物理信息融合模块160融合的物理信息场景以及人机交互模块140的相关数据；

物理信息融合模块160：用于将物理工作场景采集模块110远程拍摄的相关世界物理对象和世界物理场景范围的物理世界坐标和虚拟场景的虚拟信息对象和虚拟场景范围的虚拟场景坐标，经过总处理器150进行数据处理，然后将坐标融合统一在物理信息融合场景中；

物理信息融合模块160：还用于将人机交互模块140的手势动作三维坐标值统一融合在物理信息融合场景中；

视频显示模块170：用于显示物理信息场景融合模块120的物理信息场景和人机交互模块140的人手参数化模型。本发明提供的实施例中视频显示模块170优选为电脑显示屏或者眼镜式微显示屏，由物理工作场景采集模块110捕获的世界坐标内的物理对象和人机交互模块140捕获的人手参数化模型经视频视频显示模块170显示。可以理解，由上述2D交互识别模块120和2D交互识别模块130控制指令控制物理信息融合场景的物理信息对象的变化过程及结果也经视频显示模块170显示。

请参阅图2为本发明实施例提供的一种信息物理空间的远程交互式操控方法步骤流程图，其包括下述步骤：

步骤S210：物理工作场景采集模块110世界物理场景。在本发明提供的实施例中，物理工作场景采集模块110由至少一个摄像头组成，用于采集世界物理场景，将采集到的图像传输给总处理器150进行处理。

步骤S220：总处理器150将获取的物理工作场景与信息对象融合在一起，转换成物理信息融合场景。在本发明实施例中，总处理器150将物理工作场景采集模块110捕获的世界物理场景和世界物理对象与虚拟信息场景和虚拟信息对象进行融合，通过目前常用的坐标转换方法，将世界物理场景和世界物理对象与虚拟信息场景和虚拟信息对象坐标范围统一，再经过物理信息融合模块160，使得物理信息场景和对象融合在一起，通过视频显示模块170实时显示出来。

步骤S230：人机交互模块140捕获用户2D和3D的交互指令。人机交互模块140是由2D交互识别模块120和3D交互识别模块130共同组成的。2D交互识别模块120主要用于提供菜单进行交互模式切换、2D的交互操作，如2D范围内的平移、旋转、缩放等；3D交互识别模块130主要用于捕捉用户的手势动作以及用户人手的世界坐标位置信息，然后将捕捉到的数据传送给总处理器150，与物理信息融合模块160中的物理信息对象进行人机交互；其中3D手势根据用户操作需要可以设定，如手掌张开与合拢手势完成对物理信息融合模块160中的物理信息对象拾取与脱离，手掌上下左右平移完成对物理信息融合模块160中的物理信息对象的任意角度旋转等等；在本发明方法中，2D交互识别模块120和3D交互识别模块130可以结合使用，共同组成人机交互模块140；完成对物理信息融合模块160中的物理信息对象的任何设定的操作以及对操作范围的任意平移切换。

步骤S240：总处理器150接收用户的手势动作及其他交互信息，并将交互信息转化为控制指令。在本发明实施例中，总处理器150同时接收2D交互识别模块120和3D交互识别模块130的交互信息，并将其交互信息转化为控制指令。

步骤S250：总处理器150根据控制指令控制物理信息目标物体对象的变化。在本发明实施例中，控制指令由人机交互模块140实时的通过socket通讯与总处理器150进行传输。

步骤S260：视频显示模块170显示物理信息融合场景和人机交互模块140控制对象变化的实时显示。在发明实施例中，视频显示模块170可以实时的显示人机交互模块140控制物理信息对象接受控制指令，并且将物理信息对象执行人机交互模块140的控制指令，实时地显示出来。

图3为本发明实施例提供的人机交互模块140的结构流程图。包括以下步骤：

步骤S310：识别用户2D交互指令。在本发明实施例中，2D交互识别模块优选为平面感应板，用户通过平面感应板输入2D交互指令，控制物理信息融合模块160中的物理信息对象执行操作指令。例如，用户通过手指滑动平面感应板可以控制控制物理信息融合模块160中的物理信息操作范围进行平移，用户通过平面感应板的按钮可以控制3D交互识别模块130的操作模式的切换等；

步骤S320：3D交互识别模块130识别用户3D交互指令。在本实施例中，3D交互识别模块130优选为一个微型RGB摄像头和一个微型深度摄像头，用于捕捉人手的三维手势指令，然后通过3D交互识别模块130中的手势库完成3D交互指令的输入。

步骤S330：2D操作的坐标映射关系转换至图像平面坐标。在本发明实施例中，通过权利要求书中的2D操作的坐标映射关系转换至物理信息融合场景下的图像平面坐标的方法，将2D交互识别模块120在平面感应板上的2D交互范围映射到物理信息融合模块160中3D空间的2D操作平面上。

步骤S340：3D操作的坐标映射关系转换至图像平面坐标。在本发明实施例中，通过权利要求书中的3D操作的坐标映射关系转换至物理信息融合场景下的图像平面坐标的方法，将3D交互识别模块130在世界空间范围内的3D操作范围映射到物理信息融合模块160中的3D空间的3D操作空间。

步骤S350：通过总处理器150，将2D交互识别模块120映射过来的图像平面坐标与物理信息融合模块160内的物理信息融合场景的图像平面坐标进行匹配，使2D交互识别模块120的2D交互范围与物理信息融合模块160内的物理信息融合场景中的3D中的2D操作范围进行统一。

步骤S360：通过总处理器150，将3D交互识别模块130映射过来的图像平面坐标与物理信息融合模块160内的物理信息融合场景的图像平面坐标进行匹配，上述中的图像平面坐标与物理信息融合模块160内的物理信息融合场景的图像平面坐标进行匹配，使3D交互识别模块120的3D交互范围与物理信息融合模块160内的物理信息融合场景中的3D中的3D操作范围进行统一。

步骤S370：总处理器150将2D和3D交互模块进行融合匹配，完成物理信息融合场景下的人机交互。在本发明实施例中，2D和3D交互模块是相辅相成，相互协调统一的，因为在交互过程中，有些操作用2D交互容易完成，而有些操作则用3D交互容易完成，将两者结合使用，可以非常高效的完成交互。

Claims (7)

1.一种信息物理空间的远程交互式操控系统，其特征在于包括人机交互模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包括3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别，然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别模块用于进行3D交互识别模块操控的模式切换和对3D手势交互模块映射在虚拟场景范围进行操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物理对象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄的相关物理对象世界范围与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块用于显示物理信息场景融合模块的物理信息场景和人机交互模块的人手参数化模型。

2.根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的2D交互识别模块由一块2D的平面感应板所组成。

3.根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的3D交互识别模块由至少一个微型RGB摄像头和至少一个深度摄像头组成。

4.根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的物理世界场景采集模块由至少一个摄像头组成。

5.根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的视频显示模块为手机显示屏、电脑显示屏或眼镜式微显示屏。

6.一种信息物理空间的远程交互式操控方法，其特征在于包括下述步骤：

步骤1：物理世界场景采集模块获取世界物理场景；

步骤2：总处理器将获取的物理世界场景与信息对象融合在一起，转换成物理信息融合场景；

步骤3：人机交互模块捕获用户2D和3D的交互指令；

步骤4：总处理器接收用户2D和3D的交互指令，并将交互指令转化为控制指令；

步骤5：总处理器根据控制指令控制物理信息目标物体对象的变化；

步骤6：视频显示模块显示物理信息融合场景和人机交互模块控制对象变化的实时显示。

7.根据权利要求6所述的信息物理空间的远程交互式操控方法，其特征在于所述的

步骤3包括下述步骤：

步骤3a：人机交互模块中的2D交互识别模块识别用户2D交互指令；

步骤3b：人机交互模块中的3D交互识别模块识别用户3D交互指令；

步骤3c：2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融合场景下的图像平面坐标；

$\left[\begin{array}{c}{\mathrm{\μ}}_a^{\′}\\ v_a^{\′}\end{array}\right]=\left[\begin{array}{c}{s}_x\×(n_x^{\′}{x}_p^{\′}+o_x^{\′}{y}_p^{\′})+p_x^{\′}\\ s_y\×(n_y^{\′}{x}_p^{\′}+o_y^{\′}{x}_p^{\′})+p_y^{\′}\end{array}\right]$

其中(x′_p,y′_p)为平面感应板坐标系下的一点坐标；(μ′_a,ν′_a)为(x′_p,y′_p)映射到物理信息融合场景下的一点图像坐标；

s_x,s_y分别为平面感应板上单位距离到物理信息融合场景中的显示图像在X轴和Y轴的放缩比例系数；

${\stackrel{\→}{n}}^{\′}={\left[\begin{array}{cc}{n}_x^{\′}& n_y^{\′}\end{array}\right]}^T$ 是平面感应板X轴在物理信息融合场景中的方向向量；

${\stackrel{\→}{o}}^{\′}={\left[\begin{array}{cc}{o}_x^{\′}& o_y^{\′}\end{array}\right]}^T$ 是平面感应板Y轴在物理信息融合场景中的方向向量；

${\stackrel{\→}{p}}^{\′}={\left[\begin{array}{cc}{\stackrel{\→}{p}}_x^{\′}& {\stackrel{\→}{p}}_y^{\′}\end{array}\right]}^T$ 是平面感应板坐标原点在物理信息融合场景中的位置；

步骤4：3D交互识别模块将世界空间中任意一点三维坐标转换至物理信息融合场景中的图像坐标；

对相机进行内外参数的标定，计算出相机的内外参数相关矩阵参数；世界空间的任意一点，通过相机内外参数矩阵，映射到图像上一点对应的图像坐标，现实在虚拟场景之中；世界空间中任意一点三维坐标为A(x_wa,y_wa,z_wa)，映射到物理信息融合场景中的图像坐标为A'(μ_a,ν_a)，则有以下关系：

$\left[\begin{array}{c}{u}_a\\ v_a\\ 1\end{array}\right]=\left[\begin{array}{c}{k}_x\×\frac{(n_x{x}_{\mathrm{wa}}+o_x{y}_{\mathrm{wa}}+a_x{z}_{\mathrm{wa}}+p_x)}{z_{\mathrm{ca}}}+{\mathrm{\μ}}_0\\ k_y\×\frac{(n_y{x}_{\mathrm{wa}}+o_y{y}_{\mathrm{wa}}+a_y{z}_{\mathrm{wa}}+p_y)}{z_{\mathrm{ca}}}+v_0\\ \frac{(n_y{x}_{\mathrm{wa}}+o_y{y}_{\mathrm{wa}}+a_y{z}_{\mathrm{wa}}+p_y)}{z_{\mathrm{ca}}}\end{array}\right]$

其中k_x＝σ_xf；k_y＝σ_yf；σ_x,σ_y分别为成像平面到图像平面上x,y两个方向上的放缩比例系数；f为焦距；

(μ₀,ν₀)为图像物理坐标系原点在图像坐标系中的坐标；

$\stackrel{\→}{n}={\left[\begin{array}{ccc}{n}_x& n_y& n_z\end{array}\right]}^T$ 是X轴在相机坐标系中的方向向量；

$\stackrel{\→}{o}={\left[\begin{array}{ccc}{o}_x& o_y& o_z\end{array}\right]}^T$ 是Y轴在相机坐标系中的方向向量；

$\stackrel{\→}{a}={\left[\begin{array}{ccc}{a}_x& a_y& a_z\end{array}\right]}^T$ 是Z轴在相机坐标系中的方向向量；

$\stackrel{\→}{p}={\left[\begin{array}{ccc}{p}_x& p_y& p_z\end{array}\right]}^T$ 是世界坐标系原点在相机坐标系中的位置；

d_x,d_y为每一个像素点在x,y轴方向上的物理尺寸，则在虚拟场景显示图像与世界坐标的在x,y的比例系数分别为： $h_x=d_x\×\frac{u_a-u_b}{x_{\mathrm{wa}}-x_{\mathrm{wb}}};$ $h_y=d_y\×\frac{v_a-v_b}{y_{\mathrm{wa}}-y_{\mathrm{wb}}};$

步骤3d：总处理器将2D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；

步骤3e：总处理器将3D交互识别模块映射过来的图像平面坐标与物理信息融合模块内的物理信息融合场景的图像平面坐标进行匹配；

步骤3f：总处理器将2D和3D交互识别模块进行融合匹配，完成物理信息融合场景下的人机交互。