CN104090664A - 一种交互式投影方法、装置及系统 - Google Patents

Abstract

本发明提供一种交互式投影方法、装置及系统，该方法包括对图像进行投影；采集投影图像，选取特征点,并获取选定特征点的位置信息，建立坐标转换模型及获得参数信息；实时采集包括手势作用点的投影图像信息,得到对应的位置信息；在原始数据输入界面上的相应位置点执行相应的控制。该发明能够实现投影画面下手势作用点的准确识别，不受投影环境不断变化的限制。

Description

一种交互式投影方法、装置及系统

技术领域

本发明涉及投影领域，尤其涉及交互式投影方法、装置及系统。

背景技术

互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影显示技术，用户可以直接使用脚或手与投影区域上的虚拟场景进行交互，来营造一种动感的交互体验。互动投影系统通过图像采集设备对目标影像进行采集拍摄，然后由影像数据处理系统处理，来识别、判断目标手势作用点的方法，具有自然、简洁、直接的特点，在虚拟现实、人机交互、视觉监控等领域均有着广泛的应用前景。

但是现有便携式人机互动产品，如投影互动手机等所应用的手势识别主要基于红外技术，通过检测固定平面区域内是否有阻挡物来计算确定手势作用点，互动效果受到投影环境不断变化这些因素的限制，动态手势难以实时准确定位，不能够实现随时随处地进行人机交互。

发明内容

针对上述技术问题，本发明的目的在于提供一种交互式投影方法、装置及系统，能够实现投影画面下手势作用点的准确识别，不受投影环境不断变化这些因素的限制。为实现上述目的，本发明采用了如下技术方案：

一种交互式投影方法，所述方法包括以下步骤：

(1)使用投影装置对图像进行投影；

(2)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，利用采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，建立坐标转换模型及获得坐标转换参数信息；

(3)实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，得到手势作用点位置信息；以及

(4)根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位置点执行相应的控制。

优选地，所述步骤(2)进一步包括：

(2a)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息；

(2b)建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定；

(2c)建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定。

优选地，所述步骤(2b)所述投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系模型为：

$\left[\begin{array}{c}w\hat{x}\\ w\hat{y}\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& P\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；为采集装置成像面上点的像素坐标，和分别为采集装置成像面上点的列像素坐标值和行像素坐标值；w表示采集装置成像的景深参数，且w＝Z；c_x和c_y分别表示采集装置成像面上点的横向偏移量和纵向偏移量；f_x和f_y分别表示采集装置成像面上点的横向焦距参数和纵向焦距参数；为采集装置成像面上点的旋转矩阵；P＝[p_x,p_y,p_z]^T为采集装置成像的平移矩阵；所述的采集装置内部参数为：采集装置成像面上点的横向偏移量c_x和纵向偏移量c_y，以及采集装置成像面上点的横向焦距参数f_x和纵向焦距参数f_y；所述的采集装置外部参数为：旋转矩阵和平移矩阵P＝[p_x,p_y,p_z]^T。

优选地，所述步骤(2c)所述建立的投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型为:

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f_x}^{\′}& 0& {c_x}^{\′}\\ 0& {f_y}^{\′}& {c_y}^{\′}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& P^{\′}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；(u,v)表示投影装置物平面上点的像素坐标；s表示尺度比例系数；c_x'和c_y'分别表示投影装置物平面上点的像素坐标系上点的横向偏移量和纵向偏移量；f_x'和f_y'分别表示投影装置物平面上点的横向焦距参数和纵向焦距参数；为投影装置物平面上点的旋转矩阵；P'＝[p_x',p_y',p_z']^T为投影装置物平面上点的平移矩阵；所述的投影装置内部参数为：投影装置物平面上点的像素坐标系上点的横向偏移量c_x'和纵向偏移量c_y'，以及投影装置物平面上点的横向焦距参数f_x'和纵向焦距参数f_y'；所述的投影装置外部参数为：旋转矩阵和平移矩阵P'＝[p_x',p_y',p_z']^T。

优选地，所述步骤(3)进一步包括：

(3a)利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过步骤(2b)中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标；

(3b)根据步骤(2c)中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由步骤(3a)中得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标；

(3c)根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点位置信息。

优选地，所述步骤(4)进一步包括：系统模拟触控屏幕的操作控制，根据(3c)步骤中确定的手势作用点在投影装置物平面上对投影画面的实时作用点位置信息，确定实时作用点在系统输入装置中的位置信息，系统中的应用程序在接收到与相应位置信息相对应的控制信息后完成相应位置的输入控制。

根据本发明的另一实施例，还提供了一种交互式投影装置，所述装置包括：

对图像进行投影的投影模块；

采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，并将数据传送到数据处理单元，建立坐标转换模型及获得坐标转换参数信息的采集模块；

实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，得到手势作用点位置信息的处理模块；以及

根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位置点执行相应的控制的输入模块。

优选地，所述采集模块进一步包括：

使用采集装置来采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得投影图像上选定特征点的位置信息的数据采集模块；

建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定的采集装置模型建立模块；

建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定的投影装置模型建立模块。

优选地，所述处理模块进一步包括：

利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过采集装置模型建立模块中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标的手势作用点投影图像物理坐标计算模块；

利用投影装置模型建立模块中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由手势作用点投影图像物理坐标计算模块得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标的手势作用点投影装置物平面上的像素坐标计算模块；

根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点位置信息的手势作用点定位模块。

根据本发明的另一实施例，还提供了一种交互式投影系统，包括：

投影单元，配置成对图像进行投影；

与投影单元耦合的数据采集单元,配置成采集投影图像上特征点的数据信息，提取投影图像上特征点在投影图像空间的位置信息，图像采集单元成像面上的位置信息，以及投影系统物平面图像位置信息，并将数据传送到数据处理单元；

与数据采集单元耦合的数据处理单元,配置成将数据采集单元采集的数据信息通过坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；以及

与数据处理单元耦合的执行单元，配置成根据数据处理单元处理的执行位置信息在原始数据输入界面上的相应位置点执行相应的控制。

本发明提供了一种交互式投影系统和交互式投影方法，投影系统在采集装置的辅助下，实时地根据当前投影图像空间点的物理坐标、采集装置成像面上点的像素坐标以及投影装置物平面上点的像素坐标，建立投影图像空间的物理坐标系-采集装置成像面上点的像素坐标系的对应关系以及投影图像空间的物理坐标系-投影装置物平面上点的像素坐标系的转换关系，实现投影画面下动态手势实时作用点的准确定位。由于该交互式投影系统和交互式投影方法能够根据投影环境以及当前手势的变化，实时地获得采集装置和投影装置的外部参数，获取作用点手势的动态坐标值，因此该系统和方法不受投影环境不断变化这些因素的限制，使交互更为自然舒适，增强了用户的虚拟环境沉浸感和享受性。

而且该发明不需要借助外来工具即可实现动态调整手势定位，具有实现简单、实时性好等优点，能很好地应用于投影状态人机动态交互模式中。

附图说明

图1为根据本发明的实施例的一种交互式投影方法的流程图；

图2为根据本发明的实施例的一种交互式投影方法的具体流程图；

图3为根据本发明的实施例的一种交互式投影方法的坐标转换示意图；

图4为根据本发明的实施例的一种交互式投影装置的示意图；

图5为根据本发明的实施例的一种交互式投影系统的示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

图1示出根据本发明的一种实施例的一种交互式投影方法流程图。

在步骤101，使用投影装置对图像进行投影；在步骤102，采集投影图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得选定特征点在投影图像空间上的位置信息，利用图像采集单元成像面上的图像位置信息，以及投影系统物平面图像位置信息，建立坐标转换模型及获得坐标转换参数信息；在步骤103，实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；在步骤104，根据数据处理单元处理的执行位置信息在原始数据输入界面上的相应位置点执行相应的控制。

图2示出根据本发明的一种实施例的具体流程图，其中，所述步骤102进一步包括：102a，使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息；102b，建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定；102c，建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定。

在本发明的一种优选实施例中，所述步骤102b所述建立的投影图像空间物理坐标系与采集装置成像面像素坐标系的模型转换关系为：投影图像空间点的物理坐标系中的坐标与采集装置的外部参数旋转矩阵和平移矩阵进行运算，可将投影图像空间点的物理坐标系转换为采集装置摄像镜头坐标系；结合理想小孔成像模型，将采集装置摄像镜头坐标系与采集装置的内部参数进行运算，将采集装置镜头坐标系转换为采集装置成像面的像素坐标系。公知的是，理想小孔成像模型是用来描述空间中的任意点和其在图像上的成像点之间的对应关系的几何模型。这些几何模型参数就是采集装置的标定参数。投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系模型为：

$\left[\begin{array}{c}w\hat{x}\\ w\hat{y}\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& P\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；为采集装置成像面上点的像素坐标，和分别为采集装置成像面上点的列像素坐标值和行像素坐标值；w表示采集装置成像的景深参数，且w＝Z；c_x和c_y分别表示采集装置成像面上点的横向偏移量和纵向偏移量；f_x和f_y分别表示采集装置成像面上点的横向焦距参数和纵向焦距参数；为采集装置成像面上点的旋转矩阵；P＝[p_x,p_y,p_z]^T为采集装置成像的平移矩阵；所述的采集装置内部参数为：采集装置成像面上点的横向偏移量c_x和纵向偏移量c_y，以及采集装置成像面上点的横向焦距参数f_x和纵向焦距参数f_y；所述的采集装置外部参数为：旋转矩阵和平移矩阵P＝[p_x,p_y,p_z]^T。

在本发明的一种优选实施例中，所述步骤102c所述建立的投影图像空间物理坐标系与投影装置物平面像素坐标系的模型转换关系为：投影图像空间点的物理坐标系中的坐标与投影装置的外部参数旋转矩阵和平移矩阵进行运算，可将投影图像空间点的物理坐标系转换为投影装置投影镜头坐标系；结合理想小孔成像模型，将投影装置投影镜头坐标系与投影装置的内部参数进行运算，将投影装置投影镜头坐标系转换为投影装置物平面上点的像素坐标系。公知的是，理想小孔成像模型是用来描述空间中的任意点和其在图像上的成像点之间的对应关系的几何模型。这些几何模型参数就是采集装置的标定参数。所述投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型为:

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f_x}^{\′}& 0& {c_x}^{\′}\\ 0& {f_y}^{\′}& {c_y}^{\′}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& P^{\′}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；(u,v)表示投影装置物平面上点的像素坐标；s表示尺度比例系数；c_x'和c_y'分别表示投影装置物平面上点的像素坐标系上点的横向偏移量和纵向偏移量；f_x'和f_y'分别表示投影装置物平面上点的横向焦距参数和纵向焦距参数；为投影装置物平面上点的旋转矩阵；P'＝[p_x',p_y',p_z']^T为投影装置物平面上点的平移矩阵；所述的投影装置内部参数为：投影装置物平面上点的像素坐标系上点的横向偏移量c_x'和纵向偏移量c_y'，以及投影装置物平面上点的横向焦距参数f_x'和纵向焦距参数f_y'；所述的投影装置外部参数为：旋转矩阵和平移矩阵P'＝[p_x',p_y',p_z']^T。

在本发明的一种优选实施例中，所述步骤103进一步包括：103a，利用采集装置实时采集包括手势作用点的投影图像位置信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过步骤102b中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标；103b，根据步骤102c中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由步骤103a中得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标；103c，根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点。

在本发明的一种优选实施例中，所述步骤103a进一步包括：利用采集装置实时采集包括手势作用点的投影图像，利用图像处理算法，提取不包含手势作用点的位置的投影图像的实时特征点信息，并与所选的特征点的相应信息比较，确定采集装置和投影装置的实时外部参数信息。

在本发明的一种优选实施例中，所述步骤104进一步包括：系统模拟触控屏幕的操作控制，根据103c步骤中确定的手势作用点在投影装置物平面上对投影画面的实时作用点，确定实时作用点在系统输入装置中的位置信息，系统中的应用程序在接收到与相应位置信息相对应的控制信息后完成相应位置的输入控制。

如图3所示为坐标转换示意图，如图所述Q为投影图像空间点平面，q1为投影装置物平面，q2为采集装置成像面,Op为投影装置中心光轴，Oc为采集装置的中心轴。(X,Y,Z)表示投影图像空间点物理坐标系，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；

具体方法的实现过程如下：

首先使用投影装置对图像进行投影；确定投影图像空间点平面Q，获得投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值X、Y和Z；用采集装置采集投影图像,并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点,得到选定特征点的位置信息，；然后系统自动对选定特征点的位置信息进行处理，得到采集装置成像面q2上点的列像素坐标值和行像素坐标值和，以及采集装置成像的景深参数w，且w＝Z；建立投影图像空间点的物理坐标系与采集装置成像面上点的像素坐标系的对应转换关系模型：

$\left[\begin{array}{c}w\hat{x}\\ w\hat{y}\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& P\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right];$

系统自动对采集得到的信息进行提取和处理得到采集装置内部参数：采集装置成像面q2上点的横向偏移量和纵向偏移量c_x和c_y，采集装置成像面上点的横向焦距参数和纵向焦距参数f_x和f_y。其中：横向偏移量c_x和纵向偏移量c_y是采集装置成像面q2上特征点相对于光轴与图像平面交点的偏移量。横向焦距参数f_x和纵向焦距参数f_y是透镜的物理焦距长度与成像仪每个单元尺寸的乘积。根据该模型和已知数据进行计算，可以得到采集装置成像面q2的外部参数：采集装置成像面q2上点的旋转矩阵和平移矩阵P＝[p_x,p_y,p_z]^T。

然后系统采集投影装置物平面q1上点的位置信息，自动对采集得到的信息进行提取和处理，得到投影装置物平面q1上点的像素坐标(u,v)，以及尺度比例系数s；建立投影图像空间点的物理坐标系与投影装置物平面上点的像素坐标系的对应转换关系模型: $s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f_x}^{\′}& 0& {c_x}^{\′}\\ 0& {f_y}^{\′}& {c_y}^{\′}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& P^{\′}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right];$

系统自动对采集得到的信息进行提取和处理得到投影装置的内部参数：投影装置物平面q1上点的横向偏移量c_x'和纵向偏移量c_y'，投影装置物平面q1上点的横向焦距参数f_x'和纵向焦距参数f_y'。根据该模型和已知数据进行计算，得到投影装置外部参数：投影装置物平面q1上点的旋转矩阵以及平移矩阵P'＝[p_x',p_y',p_z']^T。

在系统实际工作过程中，由于投影距离和角度会随时发生变化，会引起当前投影图像的变化。如果有手势作用点H作用到投影图像空间点平面Q上，用采集装置采集当前投影图像上不包含手势作用点H的当前特征点在各个图像面的位置信息，然后系统自动对采集得到的信息进行提取和处理，获得采集装置和投影装置的模型和内部参数，用上述方法确定采集装置和投影装置的实时外部参数R,P,R′,P′。然后，采集装置实时采集当前手势作用点H的投影图像，利用所得的实时外部参数R,P,R′,P′、所建立的模型(1)和(2)以及手势作用点H在采集装置成像面上点的像素坐标系中的坐标和，根据投影图像空间点的物理坐标系与采集装置成像面q2上点的像素坐标系的对应转换关系(1)，计算出手势作用点H在图像空间点的物理坐标系中的坐标X、Y和Z；然后再根据上述得到的投影图像空间点的物理坐标系与投影装置物平面q1上点的像素坐标系的对应转换关系模型(2)，由手势作用点H在图像空间点的物理坐标系中的坐标X、Y和Z得到手势点H在投影装置物平面q1上点的像素坐标系中的坐标(u,v)。

得到手势作用点H在投影装置物平面q1上的像素坐标(u,v)之后，就可以准确地标定手势作用点H在投影装置物平面q1上的实时作用点。中央处理系统模拟触控屏幕的操作控制，根据手势作用点H在投影装置物平面q1上的实时作用点，确定实时作用点在系统中的输入位置信息，系统中的应用程序在接收到相应位置的控制信息后完成相应位置的输入控制，从而完成整个的交互投影过程。

图4示出根据本发明的实施例的一种交互式投影装置400，所述装置包括：对图像进行投影的投影模块401；采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，并将数据传送到数据处理单元，建立坐标转换模型及获得坐标转换参数信息的采集模块402；实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，得到对应的执行位置信息的处理模块403；以及根据数据处理单元处理的执行位置信息在原始数据输入界面上的相应位置点执行相应的控制的输入模块404。

根据本发明的优选实施例，采集模块又可以包括：使用采集装置来采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得投影图像上选定特征点的位置信息的数据采集模块；建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定的采集装置模型建立模块；建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定的投影装置模型建立模块。

根据本发明的优选实施例，处理模块进一步包括：利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过采集装置模型建立模块中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标的手势作用点投影图像物理坐标计算模块；利用投影装置模型建立模块中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由手势作用点投影图像物理坐标计算模块得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标的手势作用点投影装置物平面上的像素坐标计算模块；根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点位置信息的手势作用点定位模块。

图5示出根据本发明的实施例的一种交互式投影系统500，包括：投影单元501，配置成对图像进行投影；与投影单元耦合的数据采集单元502,配置成采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影面上的位置信息，图像采集单元成像面上的图像位置信息，以及投影系统物平面图像位置信息，并将数据传送到数据处理单元；与数据采集单元耦合的数据处理单元503,配置成将数据采集单元采集的位置信息通过坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；以及与数据处理单元耦合的执行单元504，配置成根据数据处理单元处理的执行位置信息在原始数据输入界面上的相应位置点执行相应的控制。

所述数据采集单元502的取景面积大于或等于投影单元501投影光出射面积并且所述投射面积包含在取景面积内。

本发明所述的交互式投影装置、系统和交互式投影方法中，投影装置和系统在采集装置的辅助下，实时地根据当前投影图像空间点的物理坐标、采集装置成像面上点的像素坐标以及投影装置物平面上点的像素坐标，建立投影图像空间的物理坐标系-采集装置成像面上点的像素坐标系的对应关系以及投影图像空间的物理坐标系-投影装置物平面上点的像素坐标系的转换关系，实现投影画面下动态手势实时作用点的准确定位。由于该交互式投影系统和交互式投影方法能够根据投影环境以及当前手势的变化，实时地获得采集装置和投影装置的外部参数，获取作用点手势的动态坐标值，因此该系统和方法不受投影环境不断变化这些因素的限制，使交互更为自然舒适，增强了用户的虚拟环境沉浸感和享受性。

而且该发明不需要借助外来工具即可实现动态调整手势定位，具有实现简单、实时性好等优点，能很好地应用于投影状态人机动态交互模式中。

所述的手势作用点不限于仅由手势作用而产生，也可以由其他身体部位或者物体作用产生。

本发明所述的交互式投影方法，装置和系统可以用于各种便携式设备上，如手机、iPAD、手提电脑、上网本等，但不限于此。所述投影装置内置在所述的便携式设备上，可以使用投影镜头等用于投影的设备。所述采集装置为设置在便携式设备内部，用于实现对图像的采集，可以使用摄像头、照相机等用于数据图像采集的设备。

以上内容是结合优选技术方案对本发明所做的进一步详细说明，不能认定发明的具体实施仅限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出简单的推演及替换，都应该视为本发明的保护范围。

Claims (10)

1.一种交互式投影方法，所述方法包括以下步骤：

(1)使用投影装置对图像进行投影；

(2)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，利用采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，建立坐标转换模型及获得坐标转换参数信息；

(3)实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，得到手势作用点位置信息；以及

(4)根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位置点执行相应的控制。

2.根据权利要求1所述的交互式投影方法，其特征在于，所述步骤(2)进一步包括：

(2a)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息；

(2b)建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定；

(2c)建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定。

3.根据权利要求2所述的交互式投影方法，其特征在于，步骤(2b)所述建立的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系模型为：

$\left[\begin{array}{c}w\hat{x}\\ w\hat{y}\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& P\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；为采集装置成像面上点的像素坐标，和分别为采集装置成像面上点的列像素坐标值和行像素坐标值；w表示采集装置成像的景深参数，且w＝Z；c_x和c_y分别表示采集装置成像面上点的横向偏移量和纵向偏移量；f_x和f_y分别表示采集装置成像面上点的横向焦距参数和纵向焦距参数；为采集装置成像面上点的旋转矩阵；P＝[p_x,p_y,p_z]^T为采集装置成像的平移矩阵；所述的采集装置内部参数为：采集装置成像面上点的横向偏移量c_x和纵向偏移量c_y，以及采集装置成像面上点的横向焦距参数f_x和纵向焦距参数f_y；所述的采集装置外部参数为：旋转矩阵和平移矩阵P＝[p_x，p_y，p_z]^T。

4.根据权利要求2所述的交互式投影方法，其特征在于步骤(2c)所述建立的投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型为:

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f_x}^{\′}& 0& {c_x}^{\′}\\ 0& {f_y}^{\′}& {c_y}^{\′}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& P^{\′}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(X,Y,Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点的物理坐标系的横坐标值、纵坐标值和径向坐标值；(u,v)表示投影装置物平面上点的像素坐标；s表示尺度比例系数；c_x'和c_y'分别表示投影装置物平面上点的像素坐标系上点的横向偏移量和纵向偏移量；f_x'和f_y'分别表示投影装置物平面上点的横向焦距参数和纵向焦距参数；为投影装置物平面上点的旋转矩阵；P'＝[p_x',p_y',p_z']^T为投影装置物平面上点的平移矩阵；所述的投影装置内部参数为：投影装置物平面上点的像素坐标系上点的横向偏移量c_x'和纵向偏移量c_y'，以及投影装置物平面上点的横向焦距参数f_x'和纵向焦距参数f_y'；所述的投影装置外部参数为：旋转矩阵和平移矩阵P'＝[p_x',p_y',p_z']^T。

5.根据权利要求2所述的交互式投影方法，其特征在于，所述步骤(3)进一步包括：

(3a)利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过步骤(2b)中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标；

(3b)根据步骤(2c)中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由步骤(3a)中得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标；

(3c)根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点位置信息。

6.根据权利要求5所述的交互式投影方法，其特征在于，所述步骤(4)进一步包括：系统模拟触控屏幕的操作控制，根据(3c)步骤中确定的手势作用点在投影装置物平面上对投影画面的实时作用点位置信息，确定实时作用点在系统输入装置中的位置信息，系统中的应用程序在接收到与相应位置信息相对应的控制信息后完成相应位置的输入控制。

7.一种交互式投影装置，所述装置包括：

对图像进行投影的投影模块；

采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，并将数据传送到数据处理单元，建立坐标转换模型及获得坐标转换参数信息的采集模块；

实时采集包括手势作用点的投影图像信息,将采集的位置信息通过坐标系的对应转换关系算法进行数据处理，得到手势作用点位置信息的处理模块；以及

根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位置点执行相应的控制的输入模块。

8.根据权利要求7所述的交互式投影装置，其特征在于，所述采集模块进一步包括：

使用采集装置来采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，获得投影图像上选定特征点的位置信息的数据采集模块；

建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成采集装置的标定的采集装置模型建立模块；

建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成投影装置的标定的投影装置模型建立模块。

9.根据权利要求8所述的交互式投影装置，其特征在于，所述处理模块进一步包括：

利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集装置成像面的像素坐标系中的坐标，通过采集装置模型建立模块中得到的投影图像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间的物理坐标系中的坐标的手势作用点投影图像物理坐标计算模块；

利用投影装置模型建立模块中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐标系的对应转换关系，由手势作用点投影图像物理坐标计算模块得到的手势作用点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平面上的像素坐标的手势作用点投影装置物平面上的像素坐标计算模块；根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物平面上对投影画面的实时作用点位置信息的手势作用点定位模块。

10.一种交互式投影系统，包括：

投影单元，配置成对图像进行投影；

与投影单元耦合的数据采集单元,配置成采集投影图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间的位置信息，图像采集单元成像面上的位置信息，以及投影系统物平面图像位置信息，并将数据传送到数据处理单元；

与数据采集单元耦合的数据处理单元,配置成将数据采集单元采集的位置信息通过坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；以及

与数据处理单元耦合的执行单元，配置成根据数据处理单元处理的执行位置信息在原始数据输入界面上的相应位置点执行相应的控制。