CN104052977B - 一种交互式图像投影方法和装置 - Google Patents

Abstract

本发明公开了一种交互式图像投影方法和装置，包括投影第一图像至投影桌面，形成投影区域；检测投影区域是否有物体进入，当有物体进入投影区域时，根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓；将需要显示在所述物体表面上的第二图像添加至所述第一图像内的所述物体投影轮廓中，以使所述第二图像投影到所述物体表面上。本发明将第二图像根据物体表面的大小和位置进行投影，从而基于交互方式，能够单独将第二图像能够投影到投影桌面以外的物体表面上。

Description

一种交互式图像投影方法和装置

技术领域

本发明涉及图像处理领域，尤其是一种交互式图像投影的方法和装置。

背景技术

图像投影是利用数字光处理技术将图像投射到投影平面上，从而使得用户能够在投影面上看到图像，并能够调节用户看到的图像的大小、颜色、清晰度等，该投影平面一般为一个实体平面。

目前的图像投影技术中，将图像投射到投影平面上时投影出来的画面为二维图像，如实践中利用图像投影技术进行的纸牌游戏，将纸牌场景投射到投影桌面上，所有玩家的纸牌都是背面朝上的，这样一来，所有玩家都不能互相看到对方的纸牌；满足了保密性的要求。

但是，现有的图像投影技术中，用户看到的是一个投影平面，当输入图像发生变化时，显示在二维投影平面上的投影图像同时发生变化，这样所有的用户都能够看到该变化，例如在上述纸牌游戏中，有玩家想要查看自己的纸牌，在同一个投影平面上查看的话其纸牌也会暴露给其他的玩家。因此，现有的二维图像投影技术仅能将输入图像投影到一个投影平面上，无法基于交互方式将部分图像单独显示到另外的投影平面上。

综上，现有的图像投影技术中，将整个图像投影到同一个二维投影面上，无法满足单独将部分图像显示到另外的投影平面的要求。

发明内容

本发明提供一种交互式图像投影的方法和装置，用以解决现有的二维图像投影技术中，不能基于交互方式将部分图像单独显示在另外的投影平面的问题。

本发明实施例提供的一种交互式图像投影方法包括：

投影第一图像至投影桌面，形成投影区域；

检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓；

将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以使第二图像投影到物体表面上。

进一步地，根据下列方式确定投影区域：在投影设备和投影桌面之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。

进一步地，根据下列方式确定有物体进入投影区域：判断是否有物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

进一步地，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。

进一步地，根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范围作为投影区域。

进一步地，根据下列方式确定有物体进入投影区域：在投影设备和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

进一步地，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定所述交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮廓。

进一步地，将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之前，包括：确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。

本发明还提供一种交互式图像投影装置，包括：

投影单元，用于投影第一图像至投影桌面，形成投影区域；

轮廓确定单元，用于检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，其中第一图像为当前被投影设备投射到投影桌面的图像；

图像调整单元，用于将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以使第二图像投影到物体表面上。

进一步地，轮廓确定单元根据下列方式确定投影区域：在投影设备和投影桌面之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。

进一步地，轮廓确定单元具体用于：判断是否有物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

进一步地，轮廓确定单元具体用于：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。

进一步地，轮廓确定单元根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范围作为投影区域。

进一步地，轮廓确定单元具体用于：在投影设备和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

进一步地，轮廓确定单元具体用于：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定所述交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮廓。

进一步地，图像调整单元还用于：将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之前，确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。

本发明实施例提供的交互式图像投影方法和装置，将第二图像投影到另外的物体表面上，并且根据物体表面的位置和大小对第二图像进行调整，使得第二图像能够根据物体表面进行投影，避免了二维图像投影时，无法基于交互方式单独将第二图像显示到另外的投影平面的问题。

附图说明

图1为本发明实施例提供的一种交互式图像投影的方法的具体流程示意图；

图2为投影机将多人纸牌场景投射到投影桌面上的具体结构示意图；

图3为本发明实施例提供的以多人纸牌场景为例的一种交互式图像投影方法的具体流程示意图；

图4为本发明实施例提供的以多人纸牌场景为例的另一种交互式图像投影方法的具体流程示意图；

图5为本发明实施例提供的一种交互式图像投影装置的具体结构示意图；

图6为本发明实施例提供的另一种交互式图像投影装置的具体结构示意图。

具体实施方式

本发明实施例中根据物体表面的位置和大小对第二图像进行调整，将第二图像添加至第一图像的对应区域内，使得第二图像能够投影到另外的物体表面上，从而实现了在另外的物体表面上单独显示第二图像的效果。

为了使本发明所解决的技术问题、技术方案以及有效果更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

图1是本发明实施例提供的一种交互式图像投影的方法的具体流程示意图。如图1所示，一种交互式图像投影的方法包括下列步骤：

步骤101，投影第一图像至投影桌面，形成投影区域；

步骤102，检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，其中第一图像为当前被投影设备投射到投影桌面的图像；

步骤103，将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以使第二图像投影到物体表面上。

其中，投影桌面为一个实体平面，能够显示出图像的投影，实际应用中可以为桌面、墙面、投影屏幕等。进入投影区域的物体为人体或其他表面能够显示图像投影的物体，例如，可以将人手作为单独显示部分图像的投影平面，判断人手进入输入图像投影区域后，检测到用户做出启动动作时，如人手的挥舞、推动等动作，则根据人手在投影区域内的位置得到人手在第一图像内的投影轮廓，然后将第二图像添加至人手在第一图像内的投影轮廓中，此时，第一图像投影的画面中，第二图像所对应的内容正好能够投射到投影区域内的人手表面上。

其中，第二图像可以是第一图像中选取的部分图像，包括第一图像中在桌面的投影被物体所遮挡的部分图像，也可以是全部第一图像，或者是其它预先设定的图像，本发明实施例提供的交互式图像投影方法能够应用于多种场景，例如当在手上显示第二图像时，可以是在人手上浏览信息、电影、游戏界面等，也可以是将人手表面作为触控界面对应用程序进行控制。

较佳地，本发明实施例可以根据下列方式确定投影区域：在投影设备和投影桌面之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。采用该方式确定投影区域之后，根据下列方式确定是否有物体进入投影区域：判断是否有物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

假设投影桌面到投影设备之间具有一定的距离L，在投影设备和投影桌面之间任取一个平行于投影桌面的平面，该平面到纸牌场景图像的距离为L’，L’的值应当小于等于L的值。

本发明实施例判断是否有物体与投影区域存在交线，可以通过下列方法：选取物体表面的至少三个特征点，根据各个特征点的空间坐标得到物体表面的平面方程；将投影桌面和平面之间的投影范围作为投影区域时，能够得到投影区域在这两个平面上的各个顶点，根据各个顶点的空间坐标得到投影区域的各个侧面的平面方程；将得到的物体表面的平面方程和各个侧面的平面方程联立，判断物体表面的平面方程和各个侧面的平面方程之间是否有交线，从而判断是否有物体与投影区域存在交线。

其中，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。

其中，还可以根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范围作为投影区域。采用该方式确定投影区域之后，根据下列方式确定有物体进入投影区域：在投影设备和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

假设投影桌面到投影设备具有一定的距离L，在投影设备和投影桌面之间任取N个平行于投影桌面的平面，任取的这N个平面到纸牌场景图像的距离为L₁’、L₂’、L₃’···L_N’，L₁’、L₂’、L₃’···L_N’的值应当小于等于L的值。

其中，判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，可以采用下列方法：选取物体表面的至少三个特征点，根据各个特征点的空间坐标得到物体表面的平面方程；同理在N个平面上分别选取至少三次特征点，根据各个特征点的空间坐标分别得到N个平面的平面方程，将得到的物体表面的平面方程和N个平面的平面方程联立，判断物体表面和N个平面中的任一平面在所述投影区域内是否有交线，若根据获得的交线的空间方程，能够确定该交线的一部分点在投影区域内，则确定物体与N个平面中的任一平面在投影区域内存在交线。

其中，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓，包括：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定每个平面的上述交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮廓。

其中，将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之前，包括：确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。

其中，根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置，可以首先根据最大内接矩形的大小，将选取的第二图像进行缩小或放大，使得第二图像的大小小于或等于最大内接矩形；然后根据最大内接矩形的位置，求取第二图像到最大内接矩形的旋转矩阵和平移矩阵，将第二图像经过旋转矩阵和平移矩阵的变化，放置到最大内接矩形内。

实施例二

本发明实施例提供的方法可以应用于例如多人纸牌游戏、多人麻将游戏、教学演示等多种场景，下面以多人纸牌游戏为例对本发明提供的一种交互式图像投影方法进行详细介绍。

在实际应用中，图像的投影由投影机完成，而进入投影区域的物体的位置信息可以由摄像机进行检测，具体实施时摄像机可以采用深度摄像机、RGB摄像机中的一种或多种，以完成位置信息的采集。而图像中物体投影轮廓的计算以及图像的调整等图像处理过程，可以由专用的处理器或者计算机完成。根据不同的实施方式，可以将处理器集成于投影机内作为一个独立的投影设备，也可以将计算机与投影机组合作为一个投影系统，从而实现图像的处理。

如图2所示，投影机210将多人纸牌场景的图像投射到投影桌面220上的区域2A中，形成投影画面。此时多人纸牌场景的图像就作为第一图像，第一图像中纸牌的图像投射到投影桌面上的区域2B内形成纸牌的画面。当其中的一个用户希望查看自己的一张纸牌时，该希望被查看的一张纸牌就作为第二图像，用户可以用一只手做出拖动纸牌的动作，从而启动系统对人手动作进行跟踪识别。将一张纸牌显示到人手表面的一种交互式图像投影方法如图3所示：

步骤301，将纸牌场景图像通过投影设备投射到投影桌面上,得到纸牌场景图像在投影桌面上的纸牌场景桌面投影；

步骤302，在投影设备和投影桌面之间任取一个平行于投影桌面的平面δ；

其中，投影桌面到投影设备具有一定的距离L，任取的一个平面δ到投影设备的距离为L’，L’的值应当小于等于L的值。

步骤303，将投影桌面和平面δ之间的投影范围作为纸牌场景图像的投影区域；

其中，将纸牌场景投射到桌面上，选取桌面投影的三个特征点的空间坐标(x₁，y₁，z₁)、(x₂，y₂，z₂)、(x₃，y₃，z₃)，根据这三个特征点的空间坐标得到桌面的平面方程为Ax+By+Cz＝0；

同理，选取平面δ上的三个特征点的空间坐标(x₁’，y₁’，z₁’)、(x₂’，y₂’，z₂’)、(x₃’，y₃’，z₃’)，根据这三个特征点的空间坐标得到平面δ的平面方程为A’x+B’y+C’z＝0；

截取投影桌面和平面δ之间的纸牌场景投影范围，可以得到投影范围在投影桌面的四个顶点以及在平面δ上的四个顶点；连接着八个顶点能够得到一个四棱锥，根据得到的这八个顶点的空间坐标得到四棱锥的四个侧面的平面方程，该四棱锥即是由两个平面截取得到的投影区域。

步骤304，判断是人手与投影区域存在交线，若存在交线，则确定人手进入投影区域；否则，确定人手没有进入投影区域；

其中，选取人手表面上的三个特征点的空间坐标(x_D1，y_D1，z_D1)、(x_D2，y_D2，z_D2)、(x_D3，y_D3，z_D3)，根据这三个特征点的空间坐标得到人手表面的平面方程为A_Dx+B_Dy+C_Dz＝0；

将人手表面的平面方程A_Dx+B_Dy+C_Dz＝0与步骤203中得到的四棱锥的四个侧面的平面方程联立求解，判断人手表面和四棱锥的四个侧面是否存在交线，若存在交线，则认为人手进入投影区域。

步骤305，将人手投射到投影桌面，得到人手在纸牌场景桌面投影中的桌面投影轮廓；

步骤306，根据纸牌场景桌面投影和纸牌场景图像之间的映射关系，由人手在纸牌场景桌面投影中的桌面投影轮廓，确定人手在纸牌场景图像中的人手投影轮廓；

其中，纸牌场景桌面投影与纸牌场景图像之间具有一定的映射关系M_T，

若纸牌场景图像中的点的二维坐标(u,v)，则纸牌场景图像中的点可以表示为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M_T\left[\begin{array}{c}{x}_N\\ y_N\\ z_N\\ 1\end{array}\right],$ (N＝1,2,3…n)，其中，(x_N，y_N，z_N)为纸牌场景桌面投影上的点的坐标；

根据纸牌场景桌面投影与纸牌场景图像之间的映射关系M_T，将人手在纸牌场景桌面投影中的桌面投影轮廓映射到纸牌场景图像之上，得到人手在纸牌场景图像内的人手投影轮廓。

步骤307，确定人手在纸牌场景图像内的人手投影轮廓的最大内接矩形；

步骤308，根据最大内接矩形的大小和位置，调整选取的一张纸牌图像的大小和位置，将选取的纸牌图像添加至纸牌场景图像内的最大内接矩形中，以使选取的纸牌图像能够投射在人手表面上。

在实践中，本发明实施例根据最大内接矩形的大小，对选取的一张纸牌图像进行放大或缩小，使得选取的一张纸牌图像的大小小于或等于最大内接矩形的大小；根据选取的一张纸牌图像在纸牌场景中的位置，以及最大内接矩形在纸牌场景中的位置，确定将一张纸牌图像调整至最大内接矩形内的旋转矩阵和平移矩阵。例如，若最大内接矩形的点的平面坐标为(u_J,v_J)，选取的一张纸牌图像上的平面坐标为(u_J',v_J')，当一张纸牌图像需要旋转的角度为θ，此时选取的一张纸牌图像上的平面坐标(u_J',v_J')转变为(u_θ,v_θ)，并且 $\left[\begin{array}{c}{u}_{\mathrm{\θ}}\\ v_{\mathrm{\θ}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{u}_{J^{\′}}\\ v_{J^{\′}}\\ 1\end{array}\right],$ 将得到的(u_θ,v_θ)进行平移，得到 $\left[\begin{array}{c}{u}_J\\ v_J\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ \mathrm{dx}& \mathrm{dy}& 1\end{array}\right]\left[\begin{array}{c}{u}_{\mathrm{\θ}}\\ v_{\mathrm{\θ}}\\ 1\end{array}\right]$ (dx为x方向上的移动量，dy为y方向上的移动量),即最终得到将一张纸牌图像放置到最大内接矩形内的旋转矩阵为 $\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right],$ 平移矩阵为 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ \mathrm{dx}& \mathrm{dy}& 1\end{array}\right];$ 根据确定的旋转矩阵和平移矩阵，对经过大小调整后的选取的一张纸牌图像进行旋转和平移，将选取的一张纸牌图像添加至纸牌场景图像内的最大内接矩形内，使得选取的一张纸牌图像能够投影到人手表面上。

实施例三

本发明实施例提供的方法可以应用于例如多人纸牌游戏、多人麻将游戏、教学演示等多种场景，下面以多人纸牌游戏为例对本发明提供的另一种交互式图像投影方法进行详细介绍。

仍以图2中的场景为例，将一张纸牌显示到人手表面的另一种交互式图像投影方法如图4所示：

步骤401，将纸牌场景图像通过投影设备投射到投影桌面上，得到纸牌场景图像在投影桌面上的纸牌场景桌面投影；

步骤402，在投影设备和投影桌面之间任取N个平行于投影桌面的平面；

假设投影桌面到投影设备具有一定的距离L，任取的N个平面到纸牌场景图像的距离为L₁’、L₂’、L₃’···L_N’，L₁’、L₂’、L₃’···L_N’的值应当小于等于L的值。

步骤403，判断是否有人手与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定人手进入投影区域；否则，确定人手没有进入投影区域；

其中，在N个平面上分别选取三个特征点，根据这些特征点的空间坐标分别得到N个的平面方程为A₁’x+B₁’y+C₁’z＝0、A₂’x+B₂’y+C₂’z＝0、A₃’x+B₃’y+C3z＝0···A_N’x+B_N’y+C_N’z＝0；

选取人手表面上的三个特征点的空间坐标(x_D1，y_D1，z_D1)、(x_D2，y_D2，z_D2)、(x_D3，y_D3，z_D3)，根据这三个特征点的空间坐标得到人手表面的平面方程为A_Dx+B_Dy+C_Dz＝0；

将人手表面的平面方程A_Dx+B_Dy+C_Dz＝0与N个平面的平面方程分别联立求解，判断人手表面和N个平面中的任一平面在所述投影区域内是否存在交线，若存在交线，则认为人手进入投影区域。

步骤404，获取人手与N个平面中每个平面在所述投影区域内的交点坐标；

步骤405，根据N个平面中的每个平面和纸牌场景图像之间的映射关系，确定每个平面的上述交点的坐标映射到纸牌场景图像中的交点的坐标；

其中，N个平面中的每个平面与纸牌场景图像之间都具有一定的映射关系M_T1、M_T2、M_T3···M_TN，根据这些映射关系将人手在每个平面的交点的坐标映射到纸牌场景图像之上，得到人手在纸牌场景图像内的人手投影轮廓。

步骤406，将映射到纸牌场景图像中的交点的坐标组成的区域作为人手在纸牌场景图像中的人手投影轮廓；

步骤407，确定人手在纸牌场景图像内的人手投影轮廓的最大内接矩形；

步骤408，根据最大内接矩形的大小和位置，调整选取的一张纸牌图像的大小和位置，将选取的纸牌图像添加至纸牌场景图像内的最大内接矩形中，以使选取的纸牌图像能够投射在人手表面上。

其中，根据最大内接矩形的大小，对选取的一张纸牌图像进行放大或缩小，使得选取的一张纸牌图像的大小小于或等于最大内接矩形的大小；根据选取的一张纸牌图像在纸牌场景中的位置，以及最大内接矩形在纸牌场景中的位置，确定将一张纸牌图像放置到最大内接矩形内的旋转矩阵和平移矩阵。例如，若最大内接矩形的点的平面坐标为(u_J,v_J)，选取的一张纸牌图像上的平面坐标为(u_J',v_J')，当一张纸牌图像需要旋转的角度为θ，此时选取的一张纸牌图像上的平面坐标(u_J',v_J')转变为(u_θ,v_θ)，并且 $\left[\begin{array}{c}{u}_{\mathrm{\θ}}\\ v_{\mathrm{\θ}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{u}_{J^{\′}}\\ v_{J^{\′}}\\ 1\end{array}\right],$ 将得到的(u_θ,v_θ)进行平移，得到 $\left[\begin{array}{c}{u}_J\\ v_J\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ \mathrm{dx}& \mathrm{dy}& 1\end{array}\right]\left[\begin{array}{c}{u}_{\mathrm{\θ}}\\ v_{\mathrm{\θ}}\\ 1\end{array}\right]$ (dx为x方向上的移动量，dy为y方向上的移动量),即最终得到将一张纸牌图像放置到最大内接矩形内的旋转矩阵为 $\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right],$ 平移矩阵为 $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ \mathrm{dx}& \mathrm{dy}& 1\end{array}\right];$ 根据确定的旋转矩阵和平移矩阵，对经过大小调整后的选取的一张纸牌图像进行旋转和平移，将选取的纸牌图像添加至纸牌场景图像内的最大内接矩形内，使得选取的一张纸牌图像能够投影到人手表面上。

实施例四

针对上述方法流程，本发明实施例还提供一种交互式图像投影的设备，该设备的具体内容可以参照上述方法实施，如图5所示，包括：

投影单元510，用于投影第一图像至投影桌面，形成投影区域；

轮廓确定单元520，用于检测投影区域是否有物体进入，当有物体进入投影区域时，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓；

图像调整单元530，用于将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以使第二图像投影到物体表面上。

其中，投影桌面为一个实体平面，能够显示出图像的投影，实际应用中可以为桌面、墙面、投影屏幕等。进入投影区域的物体为人体或其他表面能够显示图像投影的物体，例如，可以将人手作为单独显示部分图像的投影平面，判断人手进入输入图像投影区域后，检测到用户做出启动动作时，如人手的挥舞、推动等动作，则根据人手在投影区域内的位置得到人手在第一图像内的投影轮廓，然后将第二图像添加至人手在第一图像内的投影轮廓中，以使第二图像投影到人手表面上。

其中，第二图像是在第一图像中选取的部分图像，包括第一图像中在桌面的投影被物体所遮挡的部分图像，也可以是全部第一图像，或者是预先设定的其它图像。本发明实施例提供的交互式图像投影方法能够应用于多种场景，例如当在手上显示第二图像时，可以是在人手上浏览信息、电影、游戏界面等，也可以是将人手表面作为触控界面对应用程序进行控制。

轮廓确定单元520具体用于根据下列方式确定投影区域：在投影设备和投影桌面之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。

假设投影桌面到投影设备之间具有一定的距离L，在第一图像和投影桌面之间任取一个平行于投影桌面的平面，该平面到纸牌场景图像的距离为L’，L’的值应当小于等于L的值。

轮廓确定单元520具体用于：判断是否有物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

轮廓确定单元520具体用于：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。

轮廓确定单元520具体用于根据下列方式确定投影区域：将投影设备和投影桌面之间的投影范围作为投影区域。

轮廓确定单元520具体用于：在投影设备和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

假设投影桌面到投影设备具有一定的距离L，在第一图像和投影桌面之间任取N个平行于投影桌面的平面，任取的这N个平面到纸牌场景图像的距离为L₁’、L₂’、L₃’···L_N’，L₁’、L₂’、L₃’···L_N’的值应当小于等于L的值。

轮廓确定单元520具体用于：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定每个平面的交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮廓。

图像调整单元530还用于：将需要显示在物体表面上的第二图像放置到确定的物体投影轮廓中之前，确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。

其中，根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置，可以首先根据最大内接矩形的大小，将选取的第二图像进行缩小或放大，使得第二图像的大小小于或等于最大内接矩形；然后根据最大内接矩形的位置，求取第二图像到最大内接矩形的旋转矩阵和平移矩阵，将第二图像经过旋转矩阵和平移矩阵的变化，放置到最大内接矩形内。

实施例五

如图6所示，本申请实施例五提供的一种交互式图像投影装置，包括处理器610、存储器620、用户接口630、总线接口640和投影器件650。其中，处理器610、存储器620、用户接口630与投影器件650之间通过总线接口640连接。

处理器610，具体用于，检测投影区域是否有物体进入，当确定有物体进入投影区域时，根据物体在投影区域的位置确定物体在第一图像内的物体投影轮廓；将需要显示在物体表面上的第二图像添加至所述第一图像内的物体投影轮中，以使第二图像投影到物体表面上；

投影器件650，用于投影第一图像至投影桌面，形成投影区域。

较佳地，处理器610还用于根据下列方式确定投影区域：在第一图像和投影桌面之间任取一个平行于投影桌面的平面；将投影桌面和平面之间的投影范围作为投影区域。

较佳地，处理器610还用于根据下列方式确定有物体进入投影区域：判断是否有物体与投影区域存在交线；若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

较佳地，处理器610还用于：将物体投射到投影桌面，得到物体在投影桌面的桌面投影轮廓；根据第一图像在投影桌面上的桌面投影和第一图像之间的映射关系，确定桌面投影在第一图像内的物体投影轮廓。

较佳地，处理器610，还用于根据下列方式确定投影区域：将第一图像和投影桌面之间的投影范围作为投影区域。

较佳地，处理器610还用于根据下列方式确定有物体进入投影区域：在第一图像和投影桌面之间任取N个平行于投影桌面的平面；判断是否有物体与N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入投影区域；否则，确定没有物体进入投影区域。

较佳地，处理器610还用于：获取物体与N个平面中每个平面在所述投影区域内的交点的坐标；根据N个平面中的每个平面和第一图像之间的映射关系，确定每个平面的交点的坐标映射到第一图像中的交点的坐标；将映射到第一图像中的交点的坐标组成的区域作为物体在第一图像中的物体投影轮廓。

较佳地，处理器610还用于确定物体在第一图像内的物体投影轮廓的最大内接矩形；根据最大内接矩形的大小和位置，调整需要显示在物体表面上的第二图像的大小和位置。

在本发明实施例图6中，总线构架可以包括任意数量的互联的总线和桥，具体由处理器610代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。

在本发明实施例图6中，总线接口640提供接口，总线接口640包括播放设备与显示设备进行网络连接的通讯接口，也包括播放设备与显示设备以物理连接方式(HDMI、AV、端子的一种)进行双向通讯的接口。处理器610负责管理总线架构和通常的处理。存储器620可以存储处理器610在执行操作时所使用的数据。针对不同的用户设备，用户接口630还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。投影器件650是用于对图像进行投影的相关器件，可以包括镜头、光源等光学器件以及与投影功能相关的电子器件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (16)

1.一种交互式图像投影方法，其特征在于，包括：

投影第一图像至投影桌面，形成投影区域；

检测投影区域是否有物体进入，当有物体进入投影区域时，根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓；

将需要显示在所述物体表面上的第二图像添加至所述第一图像内的所述物体投影轮廓中，以使所述第二图像投影到所述物体表面上。

2.如权利要求1所述的方法，其特征在于，根据下列方式确定投影区域：

在投影设备和投影桌面之间任取一个平行于所述投影桌面的平面；

将所述投影桌面和所述平面之间的投影范围作为投影区域。

3.如权利要求2所述的方法，其特征在于，根据下列方式确定有物体进入投影区域：

判断是否有物体与所述投影区域存在交点；

若存在交点，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。

4.如权利要求2或3所述的方法，其特征在于，所述根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓，包括：

将所述物体投射到所述投影桌面，得到所述物体在所述投影桌面的桌面投影轮廓；

根据所述第一图像在所述投影桌面上的桌面投影和所述第一图像之间的映射关系，确定所述桌面投影在所述第一图像内的物体投影轮廓。

5.如权利要求1所述的方法，其特征在于，根据下列方式确定投影区域：

将投影设备和所述投影桌面之间的投影范围作为投影区域。

6.如权利要求5所述的方法，其特征在于，根据下列方式确定有物体进入投影区域：

在投影设备和所述投影桌面之间任取N个平行于所述投影桌面的平面；

判断是否有物体与所述N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。

7.如权利要求6所述的方法，其特征在于，所述根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓，包括：

获取所述物体与所述N个平面中每个平面在所述投影区域内的交点的坐标；

根据所述N个平面中的每个平面和所述第一图像之间的映射关系，确定所述交点的坐标映射到所述第一图像中的交点的坐标；

将映射到所述第一图像中的交点的坐标组成的区域作为所述物体在第一图像中的物体投影轮廓。

8.如权利要求1所述的方法，其特征在于，所述将需要显示在所述物体表面上的第二图像放置到确定的所述物体投影轮廓中之前，包括：

确定所述物体在所述第一图像内的物体投影轮廓的最大内接矩形；

根据所述最大内接矩形的大小和位置，调整所述需要显示在所述物体表面上的第二图像的大小和位置。

9.一种交互式图像投影装置，其特征在于，包括：

投影单元，用于投影第一图像至投影桌面，形成投影区域；

轮廓确定单元，用于检测投影区域是否有物体进入，当有物体进入投影区域时，根据所述物体在投影区域的位置确定所述物体在第一图像内的物体投影轮廓，其中所述第一图像为当前被投影设备投射到投影桌面的图像；

图像调整单元，用于将需要显示在所述物体表面上的第二图像添加至所述第一图像内的所述物体投影轮中，以使所述第二图像投影到所述物体表面上。

10.如权利要求9所述的装置，其特征在于，所述轮廓确定单元具体用于，根据下列方式确定投影区域：

在所述投影设备和投影桌面之间任取一个平行于所述投影桌面的平面；

将所述投影桌面和所述平面之间的投影范围作为投影区域。

11.如权利要求10所述的装置，其特征在于，所述轮廓确定单元具体用于：

判断是否有物体与所述投影区域存在交线；

若存在交线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。

12.如权利要求10或11所述的装置，其特征在于，所述轮廓确定单元具体用于：

将所述物体投射到所述投影桌面，得到所述物体在所述投影桌面的桌面投影轮廓；

根据所述第一图像在所述投影桌面上的桌面投影和所述第一图像之间的映射关系，确定所述桌面投影在所述第一图像内的物体投影轮廓。

13.如权利要求9所述的装置，其特征在于，所述轮廓确定单元具体用于，根据下列方式确定投影区域：

将所述投影设备和所述投影桌面之间的投影范围作为投影区域。

14.如权利要求13所述的装置，其特征在于，所述轮廓确定单元具体用于：

在所述投影设备和所述投影桌面之间任取N个平行于所述投影桌面的平面；

判断是否有物体与所述N个平面中的任一平面在所述投影区域内存在交线，若存在交线，则确定有物体进入所述投影区域；否则，确定没有物体进入投影区域。

15.如权利要求14所述的装置，其特征在于，所述轮廓确定单元具体用于：

获取所述物体与所述N个平面中每个平面在所述投影区域内的交点的坐标；

根据所述N个平面中的每个平面和所述第一图像之间的映射关系，确定所述交点的坐标映射到所述第一图像中的交点的坐标；

将映射到所述第一图像中的交点的坐标组成的区域作为所述物体在第一图像中的物体投影轮廓。

16.如权利要求9所述的装置，其特征在于，所述图像调整单元还用于

将需要显示在所述物体表面上的第二图像放置到确定的所述物体投影轮廓中之前，确定所述物体在所述第一图像内的物体投影轮廓的最大内接矩形；

根据所述最大内接矩形的大小和位置，调整所述需要显示在所述物体表面上的第二图像的大小和位置。