CN106897688A - 交互式投影装置、控制交互式投影的方法和可读存储介质 - Google Patents

Abstract

本发明的实施方式提供了一种交互式投影装置及控制交互式投影的方法。该交互式投影装置，包括：投影模块，用于向成像平面投射图像；深度相机，用于感测所述成像平面上或所述投影模块与所述成像平面之间的图像信息和深度信息；处理器，耦接至所述投影模块和所述深度相机，用于基于所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容；以及固连部件，耦接所述投影模块，所述深度相机和所述处理器。本发明的技术方案通过采用深度相机可以识别多种交互式操作，丰富了交互式投影装置的交互模式；通过采用固连部件，使得用户在需要进行交互式投影时，无需对各个设备进行组装，简化了用户的操作，能够提升用户的使用体验。

Description

交互式投影装置、控制交互式投影的方法和可读存储介质

技术领域

本发明的实施方式涉及交互投影领域，更具体地，本发明的实施方式涉及交互式投影装置、控制交互式投影的方法和可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着投影技术的发展，近年来互动投影越来越流行，互动投影是指采用计算机视觉技术和投影显示技术，识别用户与投影区域上的虚拟场景进行的交互操作，并根据交互操作调整投影内容，从而营造出一种动感的交互体验的技术。

发明内容

但是，在目前的交互式投影方案中，通常都是采用普通摄像头来进行图像采集，这样仅能够获取交互操作体的二维位置信息，难以实现多种交互模式。并且，目前的交互式投影方案都需要用户将投影装置、图像采集装置及处理器等设备进行组装连接，不仅操作繁琐，而且对专业性要求较高，严重影响了用户的使用体验。

为此，非常需要一种改进的交互式投影方案，以解决相关技术中交互模式过于单一的问题，同时避免用户在需要进行交互式投影时对各个设备进行组装而带来的繁琐操作，提升用户的使用体验。

在本上下文中，本发明的实施方式期望提供一种交互式投影装置及控制交互式投影的方法。

在本发明实施方式的第一方面中，提供了一种交互式投影装置，包括：投影模块，用于向成像平面投射图像；深度相机，用于感测所述成像平面上或所述投影模块与所述成像平面之间的图像信息和深度信息；处理器，耦接至所述投影模块和所述深度相机，用于基于所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容；以及固连部件，耦接所述投影模块，所述深度相机和所述处理器。

在本发明的一些实施例中，基于前述方案，所述投影模块包括DLP(Digital LightProcessing，数字光处理)投影模块。

在本发明的一些实施例中，基于前述方案，所述深度相机包括彩色深度相机。

在本发明的一些实施例中，基于前述方案，所述图像信息和深度信息用于解析交互操作体的交互动作。

在本发明的一些实施例中，基于前述方案，所述图像信息和深度信息用于解析在所述成像平面或在所述投影模块与所述成像平面之间放置的物体和/或物体的动作；所述处理器用于识别所述物体和/或物体的动作，并控制所述投影模块投射与所述物体和/或物体的动作相关的图像内容。

在本发明的一些实施例中，基于前述方案，所述处理器还用于：根据所述深度相机感测到的图像信息和深度信息，生成与外接设备的操作系统或所述处理器的操作系统相对应的输入事件；将所述输入事件传递至所述处理器的操作系统或所述外接设备的操作系统，以使所述处理器或所述外接设备响应所述输入事件。

在本发明的一些实施例中，基于前述方案，所述处理器还用于：接收对所述输入事件的响应结果；基于所述响应结果调整所述投影模块投射的图像内容。

在本发明的一些实施例中，基于前述方案，所述输入事件中的字段的数值用于传递以下交互信息中的至少一种：交互操作体的基本交互动作、交互操作体的运动方向、交互操作体与所述成像平面的夹角。

在本发明的一些实施例中，基于前述方案，所述处理器通过替换所述输入事件中已有字段的数值或通过所述输入事件中新增字段的数值，传递所述交互信息。

在本发明的一些实施例中，基于前述方案，所述投影模块在所述成像平面上投射的图像范围处于所述深度相机的感测范围之内。

在本发明实施方式的第二方面中，提供了一种控制交互式投影的方法，用于控制如上述实施例中任一项所述的交互式投影装置，所述方法包括：通过深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息；根据所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容。

在本发明的一些实施例中，基于前述方案，所述的方法还包括：控制所述投影模块向所述成像平面投射预定图案；通过所述深度相机采集所述预定图案的属性图像；基于所述预定图案和所述深度相机采集到的所述属性图像，对所述深度相机的感测范围与所述投影模块的投射范围进行校准。

在本发明的一些实施例中，基于前述方案，所述属性图像包括所述预定图案的颜色图像、深度图像、红外图像。

在本发明的一些实施例中，基于前述方案，所述的方法还包括：根据所述深度相机感测到的图像信息和深度信息，生成与处理器的操作系统或外接设备的操作系统相对应的输入事件；将所述输入事件传递至所述处理器的操作系统或所述外接设备的操作系统，以使所述处理器或所述外接设备响应所述输入事件。

在本发明的一些实施例中，基于前述方案，所述的方法还包括：接收对所述输入事件的响应结果；基于所述响应结果调整所述投影模块投射的图像内容。

在本发明的一些实施例中，基于前述方案，所述输入事件中字段的数值用于传递以下交互信息中的至少一种：交互操作体的基本交互动作、交互操作体的运动方向、交互操作体与所述成像平面的夹角。

在本发明的一些实施例中，基于前述方案，所述的方法还包括：通过替换所述输入事件中已有字段的数值或通过所述输入事件中新增字段的数值，以传递所述交互信息。

在本发明的一些实施例中，基于前述方案，所述图像信息和深度信息用于解析交互操作体的交互动作；

所述方法还包括：通过深度相机采集所述交互操作体的红外图像、彩色图像和深度图像；基于所述交互操作体的红外图像和彩色图像，对所述交互操作体进行形态学分析；基于所述形态学分析的结果和所述深度图像，识别所述交互操作体的交互动作。

在本发明的一些实施例中，基于前述方案，所述图像信息和深度信息用于解析在所述成像平面或在所述投影模块与所述成像平面之间放置的物体；

所述方法还包括：根据所述图像信息和深度信息，识别所述物体；控制所述投影模块投射与所述物体相关的图像。

在本发明实施方式的第三方面中，提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述第二方面中任一项所述的方法。

根据本发明实施方式的交互式投影装置和控制交互式投影的方法，通过采用深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息，使得能够通过深度相机来感测图像信息的同时，也能够感测到深度信息，进而可以基于感测到的图像信息和深度信息来识别多种交互式操作，极大地丰富了交互式投影装置的交互模式。

通过采用固连部件耦接投影模块、深度相机和处理器，使得交互式投影装置能够作为一个整体，进而使得用户在需要进行交互式投影时，无需对各个设备进行组装，简化了用户的操作，有利于提升用户的使用体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性示出根据本发明的实施方式的一个示例性应用场景的示意图；

图2示意性示出了根据本发明的实施方式的交互式投影装置的结构图；

图3示意性示出了根据本发明的第一个实施方式的控制交互式投影的方法的流程图；

图4示意性示出了根据本发明的一个实施方式的对深度相机的感测范围与投影模块的投射范围进行校准的流程图；

图5示意性示出了根据本发明的第二个实施方式的控制交互式投影的方法的流程图；

图6示意性示出了根据本发明的第三个实施方式的控制交互式投影的方法的流程图；

图7示意性示出了根据本发明的第四个实施方式的控制交互式投影的方法的流程图；

图8示意性示出了根据本发明的第五个实施方式的控制交互式投影的方法的流程图；

图9示意性示出了根据本发明的实施方式的控制交互式投影的设备的框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种交互式投影装置及控制交互式投影的方法。

在本文中，需要理解的是，所涉及的术语“深度相机”表示可采集基本图像与深度图像(Depth Frame)的设备；术语“彩色深度相机”即表示可采集彩色图像(RGB Frame)与深度图像的设备，可缩写为“RGB-D相机”。彩色图像获取原理同普通相机，深度图像获取原理包括结构光、飞行时间(Time of Flying)、双目相机等。以结构光方案为例，深度相机包括红外发射模块、红外补光模块、RGB+红外摄像头模块等，通过这些模块的配合来实现深度图像的采集。术语“投影模块”表示可将图像或视频投射到幕布上的设备，比如是投影仪、投影机等，而投影仪根据成像原理可分为阴极射线管(CRT)三枪投影仪、液晶(LCD)投影仪、数字光处理器(DLP)投影仪等。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，在目前的交互式投影方案中，通常都是采用普通摄像头来进行图像采集，这样仅能够获取交互操作体的二维位置信息，难以实现多种交互模式。并且，目前的交互式投影方案都需要用户将投影装置、图像采集装置及处理器等设备进行组装连接，不仅操作繁琐，而且对专业性要求较高，严重影响了用户的使用体验。

为此，本发明的实施方式通过深度相机来感测图像信息和深度信息，以基于感测到的图像信息和深度信息来识别多种交互式操作，极大地丰富了交互式投影装置的交互模式；同时，本发明的实施方式通过采用固连部件耦接投影模块、深度相机和处理器，使得交互式投影装置能够作为一个整体，进而使得用户在需要进行交互式投影时，无需对各个设备进行组装，简化了用户的操作，有利于提升用户的使用体验。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

场景一：

交互式投影装置向成像平面(如桌面、墙面、投影幕布等)投射图像，同时能够感测交互操作体(比如手指)在成像平面或成像平面与交互式投影装置之间的图像信息和深度信息，进而基于感测到的图像信息和深度信息来调整在成像平面上投射的图像内容。

在本发明的一个示例性场景中，参考图1，交互式投影装置1可以通过支架2固定在桌面3上，并可以向桌面3投射图像，同时能够感测交互操作体4在桌面3上或桌面3与交互式投影装置1之间的图像信息和深度信息，进而基于感测到的图像信息和深度信息来调整在桌面3上投射的图像内容。

场景二：

用户在成像平面(如桌面)或在交互式投影装置与成像平面之间放置物体，交互式投影装置能够识别到该物体，进而投射出与该物体相关的图像内容。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

示例性装置

下面结合上述的应用场景，参考图2来描述根据本发明示例性实施方式的交互式投影装置。

图2示意性示出了根据本发明的实施方式的交互式投影装置的结构图。

参照图2，根据本发明的实施方式的交互式投影装置，包括：投影模块102、深度相机106、处理器108和固连部件(图2中未示出)。

具体地，投影模块102用于向成像平面104投射图像；深度相机106用于感测所述成像平面104上或所述投影模块102与所述成像平面104之间的图像信息和深度信息；处理器108耦接至所述投影模块102和所述深度相机106，用于基于所述深度相机106感测到的图像信息和深度信息，调整所述投影模块102投射的图像内容；固连部件耦接所述投影模块102，所述深度相机106和所述处理器108。

根据本发明的示例性实施例，所述投影模块102在所述成像平面104上投射的图像范围处于所述深度相机106的感测范围之内。

根据本发明实施方式的交互式投影装置，通过采用深度相机106感测成像平面104上或投影模块102与成像平面104之间的图像信息和深度信息，使得能够通过深度相机106来感测图像信息的同时，也能够感测到深度信息，进而可以基于感测到的图像信息和深度信息来识别多种交互式操作，极大地丰富了交互式投影装置的交互模式。

而通过采用固连部件耦接投影模块102、深度相机106和处理器108，使得交互式投影装置能够作为一个整体，进而使得用户在需要进行交互式投影时，无需对各个模块进行组装，简化了用户的操作，有利于提升用户的使用体验。

根据本发明的示例性实施例，所述投影模块102包括DLP投影模块。DLP投影模块主要应用了DLP投影技术，而DLP投影技术是应用数字微镜晶片(Digital MicromirrorDevice，DMD)作为主要关键处理元件以实现数字光学处理的技术。具体地，光源通过色轮后折射在DMD芯片上，DMD芯片在接收到控制板的控制信号后将光线发射到投影屏幕上。DMD芯片包含高达数百万个铰链安装的微镜的矩形阵列，这些微镜可以将数字图像反射到屏幕或其他表面上。同时需要相应的LED驱动芯片产生光源，并需要相应的DMD驱动芯片来接收图像信号并控制、驱动DMD芯片。

根据本发明的示例性实施例，所述深度相机106包括彩色深度相机。彩色深度相机可以采用RGBD相机模块，感知深度的原理可以为红外结构光或红外飞行时间。彩色深度相机包括红外发射模块、红外补光模块、RGB+红外传感器模块等，彩色深度相机可以以较高的频率输出彩色图像、深度图像、原始红外图像等。

根据本发明的示例性实施例，处理器108可以采用X86架构的处理器，如可以是Intel、AMD生产的CPU(处理器上可以运行Windows系统或Linux系统等)，并与内存、硬盘等组成处理系统；处理器108也可采用ARM架构的处理器(处理器上可以运行Android系统等)，并与内存、flash等组成处理系统。

在本发明的示例性实施例中，处理器108可以设置在处理器系统板上，处理器系统板包含了：处理器芯片(X86架构或ARM架构)、内存芯片、闪存芯片、DMD控制芯片、DMD驱动芯片、电源管理芯片；以及外围设备处理芯片与接口，如USB、Wi-Fi、HDMI、麦克风、音频功放、红外接收等。处理器系统板连同彩色深度相机、投影模块一起，由固连部件组成一个整体模组。

由于投影模块102与深度相机106是两个独立的模块，它们的像素点不是一一对应的关系，且相机光轴与成像平面104可能不垂直，因此需要将投影模块102的投影画面在深度相机106的感测范围中的位置、角度进行标定。标定的方法是：在开机或者用户需要时，投影模块102向成像平面104投射一个特定图案(如可以是棋盘格)，然后捕捉深度相机106所输出的彩色图像、深度图像、红外图像，并基于深度相机106所输出的彩色图像、深度图像、红外图像计算相关的参数，并保存成系统配置文件，以对深度相机106的感测范围与投影模块102的投射范围进行校准。

前述的图像信息和深度信息可以用于解析交互操作体的交互动作或是用于解析在成像平面104或在投影模块102与成像平面104之间放置的物体，以下以不同的实施方式来进行说明：

实施方式一：

所述图像信息和深度信息用于解析交互操作体的交互动作。

需要说明的是：交互操作体可以是用户的肢体(如手指)，也可以是进行交互式操作借助的手柄等。

以用户的手指为例，在本发明的一种实施方式中，可以基于图像信息和深度信息来解析用户手指在成像平面104上的交互手势，比如类似于在智能手机等移动设备上进行的点按、滑动、双指滑动缩放等手势操作，同时通过彩色深度相机还可以计算手指与成像平面104的夹角、手指指向方向等信息。进而可以基于识别到的这些信息来实现相应的交互式反应。

在本发明的另一种实施方式中，还可以实现对成像平面104与投影模块102之间的空间中的一些交互式手势识别，比如静态手势和动态手势。静态手势即静止的手势，如五指张开、握拳、竖起大拇指等；动态手势即依靠运动轨迹定义的手势动作，如左右挥手、画圈等。进而可以基于识别到的这些手势设计如挥手翻页、五指张开播放、握拳暂停等交互方式。

在识别用户手势的过程中，需要运用手势识别的算法，通过对彩色图像、深度图像、红外图像的分析计算，分割交互操作体，进而识别判断出操作者的特定手势。比如，可以根据人手操作的一般情况，运用红外图像、彩色图像辅助进行初步的形态学分析，再根据深度图像进行精细的手势识别，由此提高手势识别的准确性，降低深度图处理的复杂度。

实施方式二：

所述图像信息和深度信息用于解析在所述成像平面104或在所述投影模块102与所述成像平面104之间放置的物体；所述处理器108用于识别所述物体，并控制所述投影模块102投射与所述物体相关的图像内容。

在一个实施例中，用户通过对投射图像上的控件的特定交互操作，进入物体识别模式。

在一个实施例中，投射与所述物体相关的图像内容包括进一步投射相关控件图像。基于实施方式二的方案，在第一种应用中，当在成像平面104上放置一个电子产品后，深度相机106能够识别出电子产品，然后投影模块102会在该电子产品的附近投射相关的内容(比如该电子产品的使用说明等)；在第二种应用中，当在成像平面104上放置一本书后，投影模块102会在书上投射有教育意义的有趣内容；在第三种应用中，当在成像平面104上放置一个碗后，深度相机106能够识别出放置的碗，然后投影模块102会在其周围投射料理教程的说明内容。当然，本发明实施方式二的应用并不限于此。

在实施方式二中，需要运用物体识别的算法，通过对彩色图像、深度图像的分析计算，分割目标物体，判断物体类型、位置、轮廓，从而使交互式投影装置做出交互式响应。

在一个实施例中，上述交互式投影装置安装于厨房的橱柜上，橱柜位于厨房操作台面的上方，处理器108控制投影模块102向厨房的操作台面上投射出一投影平面，可以把各种信息例如菜谱、教学视频、游戏、新闻等等投影到该投影平面上，深度相机106拍摄投影平面中的用户操作图像，处理器108对获取的图像进行分析和识别，调整投影出的图像内容，从而实现用户通过手势例如在投影平面进行点击、拖拽等来控制该投影平面的投影内容，实现用户做菜与查看信息同时进行。这样，即使做饭做菜时用户的双手沾满水、油、食物残留物等，也完全不影响其对投影内容的操作。

根据本发明的示例性实施例，所述处理器108还用于：根据所述深度相机106感测到的图像信息和深度信息，生成与外接设备的操作系统或所述处理器108的操作系统相对应的输入事件；将所述输入事件传递至所述处理器108的操作系统或所述外接设备的操作系统，以使所述处理器108或所述外接设备响应所述输入事件。

根据本发明的示例性实施例，所述处理器108还用于：接收对所述输入事件的响应结果；基于所述响应结果调整所述投影模块102投射的图像内容。

其中，所述输入事件中的字段的数值用于传递以下交互信息中的至少一种：交互操作体的基本交互动作、交互操作体的运动方向、交互操作体与所述成像平面104的夹角。

根据本发明的示例性实施例，所述处理器108通过替换所述输入事件中已有字段的数值或通过所述输入事件中新增字段的数值，传递所述交互信息。

以下以安卓系统为例进行说明，在安卓操作系统中，用户操作屏幕的任何行为，都由linux的input子系统包装成输入事件，从系统Native层传至应用层，并最终由获得焦点的应用窗口所响应。这些事件传递的信息主要包括手势动作及点按坐标，和有一些不常用的信息如压力、手指面积等。在应用层，针对屏幕上的一个View视图，会触发onTouchEvent事件，该事件最常处理消费的三种手势ACTION为ACTION_DOWN、ACTION_MOVE、ACTION_UP。

1、生成与处理器108的操作系统相对应的输入事件。

在本发明的实施方式中，处理器108可以为ARM架构的处理器，其上运行安卓操作系统。当识别到用户手指的按下、滑动、抬起等动作时，按照input子系统的协议规则转换为对应的输入事件，如同用户操作屏幕的事件一样，由android系统进行分发处理。另外，可以通过替换输入事件中字段的数值，如不常用字段的数值来复用这些字段信息用以传递手指的方向、手指和桌面夹角等信息，或者也可以新增字段来传递这些信息。

在这种情况下，交互式投影装置中可以直接安装各类现有安卓App，如工具、游戏等，交互式投影装置能直接响应用户在成像平面上的操作并传递给App。如果需要针对手指角度、空中手势等非移动设备常规手势进行交互，则可以根据特定的Action进行App开发。

2、生成与外接设备的操作系统相对应的输入事件。

在本发明的实施方式中，若本发明实施例的交互式投影装置与外接设备相连，比如与运行安卓系统的智能手机相连，则在识别到用户手指的按下、滑动、抬起等动作时，处理器108可以按照input子系统的协议规则转换为对应的输入事件，然后传递至该外接设备，由该外接设备进行响应。

当然，也可以通过替换输入事件中不常用字段的数值来复用这些字段信息用以传递手指的方向、手指和桌面夹角等信息，或者也可以新增字段来传递这些信息。

在这种情况下，交互式投影装置可以将外接设备需要显示的内容投射到成像平面，然后将感测到的用户在成像平面上的操作转换为输入事件传递至该外接设备，由该外接设备进行响应。

通过生成与操作系统相对应的输入事件，以及进一步替换或新增输入事件中字段的数值，拓宽了上述交互式投影装置的使用范围，不仅使多样化的三维交互操作动作可针对定制的专用软件进行控制，也可进一步针对通用软件进行控制，使得交互式投影装置可便利地用于所有系统中的软件，同时拓宽了交互式投影装置在通用软件上的控制方式和控制内容。

示例性方法

在介绍了本发明示例性实施方式的交互式投影装置之后，接下来，参考图3对本发明示例性实施方式的控制交互式投影的方法进行说明。

图3示意性示出了根据本发明的第一个实施方式的控制交互式投影的方法的流程图，该方法用于控制上述的示例性设备。

参照图3，根据本发明的第一个实施方式的控制交互式投影的方法，包括以下步骤：

步骤S302，通过深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息；

步骤S304，根据所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容。

图4示意性示出了根据本发明的一个实施方式的对深度相机的感测范围与投影模块的投射范围进行校准的流程图。

参照图4，根据本发明的一个实施方式的对深度相机的感测范围与投影模块的投射范围进行校准的方法，包括以下步骤：

步骤S402，控制所述投影模块向所述成像平面投射预定图案，该预定图案可以是棋盘格；

步骤S404，通过所述深度相机采集所述预定图案的属性图像；

步骤S406，基于所述预定图案和所述深度相机采集到的所述属性图像，对所述深度相机的感测范围与所述投影模块的投射范围进行校准。

根据本发明的示例性实施例，所述属性图像包括所述预定图案的颜色图像、深度图像、红外图像。

图5示意性示出了根据本发明的第二个实施方式的控制交互式投影的方法的流程图。

如图5所示，根据本发明的第二个实施方式的控制交互式投影的方法，包括如下步骤：

步骤S502，根据深度相机感测到的图像信息和深度信息，生成与处理器的操作系统或外接设备的操作系统相对应的输入事件。

步骤S504，将所述输入事件传递至所述处理器的操作系统或所述外接设备的操作系统，以使所述处理器或所述外接设备响应所述输入事件。

根据本发明的示例性实施例，如图6所示，根据本发明的第三个实施方式的控制交互式投影的方法，在具有图5中所示的步骤S502和步骤S504之外，还包括如下步骤：

步骤S602，接收对所述输入事件的响应结果；

步骤S604，基于所述响应结果调整所述投影模块投射的图像内容。

在图5和图6所示的方法中，所述输入事件中字段的数值用于传递以下交互信息中的至少一种：交互操作体的基本交互动作、交互操作体的运动方向、交互操作体与所述成像平面的夹角。

根据本发明的示例性实施例，通过替换所述输入事件中已有字段的数值或通过所述输入事件中新增字段的数值，以传递所述交互信息。

在本发明的示例性实施例中，如图7所示，当所述图像信息和深度信息用于解析交互操作体的交互动作时，根据本发明的实施方式的识别交互操作体的方法，包括以下步骤：

步骤S702，通过深度相机采集所述交互操作体的红外图像、彩色图像和深度图像；

步骤S704，基于所述交互操作体的红外图像和彩色图像，对所述交互操作体进行形态学分析；

步骤S706，基于所述形态学分析的结果和所述深度图像，识别所述交互操作体的交互动作。

在本发明的示例性实施例中，如图8所示，当所述图像信息和深度信息用于解析在所述成像平面或在所述投影模块与所述成像平面之间放置的物体时，根据本发明的实施方式的控制交互式投影的方法，还包括以下步骤：

步骤S802，根据所述图像信息和深度信息，识别所述物体；

步骤S804，控制所述投影模块投射与所述物体相关的图像。

示例性设备

在介绍了本发明示例性实施方式的方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的控制交互式投影的设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明实施方式的控制交互式投影的设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的控制交互式投影的方法中的步骤。例如，所述处理单元可以执行如图3中所示的步骤S302，通过深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息；步骤S304，根据所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容。又例如，所述处理单元可以执行如图4至8中任一图所示的相关步骤。

下面参照图9来描述根据本发明的这种实施方式的控制交互式投影的设备900。图9示意性示出本发明实施方式的控制交互式投影的设备900的框图，该控制交互式投影的设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，控制交互式投影的设备900以通用计算设备的形式表现。控制交互式投影的设备900的组件可以包括但不限于：上述至少一个处理单元901、上述至少一个存储单元902、连接不同系统组件(包括存储单元902和处理单元901)的总线903。

总线903表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元902可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022，还可以进一步包括只读存储器(ROM)9023。

存储单元902还可以包括具有一组(至少一个)程序模块9024的程序/实用工具9025，这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

控制交互式投影的设备900也可以与一个或多个外部设备904(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个能与控制交互式投影的设备900交互的设备通信，和/或该控制交互式投影的设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，控制交互式投影的设备900还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器906通过总线903与用于会话控制的设备900的其它模块通信。应当明白，尽管图9中未示出，可以结合控制交互式投影的设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

示例性程序产品

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的控制交互式投影的方法中的步骤，例如，所述终端设备可以执行如图3中所示的步骤S302，通过深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息；步骤S304，根据所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了控制交互式投影的设备的若干装置或子装置，但是这种划分仅仅是示例性的，并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种交互式投影装置，包括：

投影模块，用于向成像平面投射图像；

深度相机，用于感测所述成像平面上或所述投影模块与所述成像平面之间的图像信息和深度信息；

处理器，耦接至所述投影模块和所述深度相机，用于基于所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容；以及

固连部件，耦接所述投影模块，所述深度相机和所述处理器。

2.根据权利要求1所述的交互式投影装置，其中，所述图像信息和深度信息用于解析交互操作体的交互动作。

3.根据权利要求1所述的交互式投影装置，其中，所述图像信息和深度信息用于解析在所述成像平面或在所述投影模块与所述成像平面之间放置的物体和/或物体的动作；

所述处理器用于识别所述物体和/或物体的动作，并控制所述投影模块投射与所述物体和/或物体的动作相关的图像内容。

4.根据权利要求1所述的交互式投影装置，其中，所述处理器还用于：

根据所述深度相机感测到的图像信息和深度信息，生成与外接设备的操作系统或所述处理器的操作系统相对应的输入事件；

将所述输入事件传递至所述处理器的操作系统或所述外接设备的操作系统，以使所述处理器或所述外接设备响应所述输入事件。

5.根据权利要求4所述的交互式投影装置，其中，所述处理器还用于：

接收对所述输入事件的响应结果；

基于所述响应结果调整所述投影模块投射的图像内容。

6.根据权利要求4所述的交互式投影装置，其中，所述输入事件中的字段的数值用于传递以下交互信息中的至少一种：

交互操作体的基本交互动作、交互操作体的运动方向、交互操作体与所述成像平面的夹角。

7.根据权利要求6所述的交互式投影装置，其中，所述处理器通过替换所述输入事件中已有字段的数值或通过所述输入事件中新增字段的数值，传递所述交互信息。

8.一种控制交互式投影的方法，用于控制如权利要求1至7中任一项所述的交互式投影装置，所述方法包括：

通过深度相机感测成像平面上或投影模块与所述成像平面之间的图像信息和深度信息；

根据所述深度相机感测到的图像信息和深度信息，调整所述投影模块投射的图像内容。

9.根据权利要求8所述的方法，还包括：

控制所述投影模块向所述成像平面投射预定图案；

通过所述深度相机采集所述预定图案的属性图像；

基于所述预定图案和所述深度相机采集到的所述属性图像，对所述深度相机的感测范围与所述投影模块的投射范围进行校准。

10.一种可读存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求8或9所述的方法。