CN106774827B - 一种投影交互方法、投影交互装置和智能终端 - Google Patents

Abstract

本发明公开了一种投影交互方法、投影交互装置和智能终端。该方法包括：在投影过程中接收摄像头捕捉的手势图像；获取与手势图像同一时刻的投影图像，并将投影图像放大至与手势头像同等大小；将放大后的投影图像与手势图像进行比对，截取两幅图像中不同的区域作为目标区域；对目标区域进行静态手势识别，提取目标区域中的手势，将手势与预设手势模板进行匹配，获取手势对应的指令；使用获取的指令控制投影过程。可见，本发明仅对目标区域进行手势识别的处理，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率，有效防止了通过手势识别执行相应指令的时间延迟问题，增强用户的体验。

Description

一种投影交互方法、投影交互装置和智能终端

技术领域

本发明涉及投影技术领域，特别涉及一种投影交互方法、投影交互装置和智能终端。

背景技术

在追求高效率、快节奏的现代办公和现代生活中，投影技术作为新型办公技术已经得到广泛使用。投影技术不但可以应用于临时会议、技术讲座、网络中心、指挥监控中心，还可以与计算机、工作站等进行连接，或连接录像机、电视机、影碟机以及实物展台等，可以说它是一种应用十分广泛的大屏幕影像技术。

手势识别技术是通过计算机设备对人的手势进行精确结束，主要分为静态手势识别和动态手势识别。其中静态手势识别主要识别手的姿势和形状；动态手势识别是基于手势位置信息，识别一组连续的手型变化或者手势运动轨迹；相比较动态手势识别，静态手势识别容易实现和应用。

为了进一步提高社会生活的效率和便捷，将手势识别，特别是静态手势识别与投影技术相结合的技术成为一大趋势。现有技术中，在投影过程中，对手势识别的方法是直接对摄像头捕捉的图像全部进行处理，来对图像中包含的手势进行识别，但是图像处理本身就很复杂，进行图像全部处理的效率较低，消耗时间长，处理难度大。

发明内容

鉴于现有技术中的手势识别直接对摄像头捕捉的图像全部进行处理，效率较低，消耗时间长，处理难度大的问题，提出了本发明的一种投影交互方法、投影交互装置和智能终端，以便解决或至少部分地解决上述问题。

根据本发明的一个方面，提供了一种投影交互方法，所述方法包括：

在投影过程中接收摄像头捕捉的手势图像；

获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势头像同等大小；

将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；

对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令；

使用获取的指令控制投影过程。

根据本发明的另一个方面，提供了一种投影交互装置，包括：

手势图像接收单元，被配置为在投影过程中接收摄像头捕捉的手势图像；

投影图像获取单元，被配置为获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势头像同等大小；

目标区域截取单元，被配置为将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；

手势指令获取单元，被配置为对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令；

投影过程控制单元，被配置为使用获取的指令控制投影过程。

根据本发明的又一个方面，提供了一种智能终端，所述智能终端包括摄像头、投影模块，所述智能终端还包括：投影交互装置；

所述投影模块，用于将智能终端上的投影图像直接投影到投影面上或者连接投影设备将智能终端上的投影图像投影到投影面上；

所述摄像头，用于在开启后捕捉所述摄像头与投影面之间的手势图像发送给所述投影交互装置；

所述投影交互装置，用于在所述投影模块投影过程中接收所述摄像头捕捉的手势图像；获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势头像同等大小；将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令发送给所述投影模块；

所述投影模块，还用于接收所述投影交互装置的指令，根据所述指令控制投影过程。

综上所述，本发明的技术方案是通过摄像头捕捉到手势图像后，再获取同一时刻的投影图像，将投影图像放大至与手势图像相同大小，对比手势图像和放大后的投影图像，截取两图像中的不同区域作为目标区域，即将图像中包含手势的区域截取出来；最后对目标区域进行图像处理以达到手势识别的目的。可见，本发明仅对目标区域进行手势识别的处理，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率，有效防止了通过手势识别执行相应指令的时间延迟问题，增强用户的体验。这样，用户在享受大屏的观感的同时，还可以实时通过手势识别发出不同的指令，为用户带来极大方便。

附图说明

图1为本发明一个实施例提供的一种投影交互方法的示意图；

图2为本发明一个实施例提供的一种投影交互装置的示意图；

图3为本发明另一个实施例提供的一种投影交互装置的示意图；

图4为本发明一个实施例提供的一种智能终端的示意图；

图5为本发明另一个实施例提供的一种智能终端的示意图。

具体实施方式

本发明的设计思路是：鉴于现有技术中的手势识别直接对摄像头捕捉的图像全部进行处理，效率较低，消耗时间长，处理难度大的问题。本发明考虑到手势在图像中占的面积很小，在通过摄像头捕捉到手势图像后，再获取同一时刻的投影图像，将投影图像放大至与手势图像相同大小，对比手势图像和放大后的投影图像，截取两图像中的不同区域作为目标区域，即将图像中包含手势的区域截取出来，最后直接对目标区域进行图像处理以达到手势识别的目的，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明一个实施例提供的一种投影交互方法的示意图。如图1所示，方法包括：

步骤S110，在投影过程中接收摄像头捕捉的手势图像.

在投影过程中摄像头对摄像头与投影面之间的整个范围进行图像的捕捉，进行手势识别的时候，手势只需落在投影面和和摄像头之间，摄像头捕捉的图像就可将手势包含其中。

步骤S120，获取与手势图像同一时刻的投影图像，并将投影图像放大至与手势头像同等大小。

为了获取包含手势的目标区域，需要获取对应的同一时刻的不包含手势的投影图像；为了进行对比，将投影图像也放大至与手势图像相同的大小。

步骤S130，将放大后的投影图像与手势图像进行比对，截取两幅图像中不同的区域作为目标区域。

因为手势图像和投影图像是同一时刻的，手势图像与投影图像的区别就在于：前者包含了手势，后者不包含手势。为了缩小图像处理区域，将两者不同的区域，即手势所在的区域截取出来作为图像处理的目标区域。这里将两个图像进行比对的方法可以利用opencv(开源计算机视觉库)进行。

步骤S140，对目标区域进行静态手势识别，提取目标区域中的手势，将手势与预设手势模板进行匹配，获取手势对应的指令。

静态手势识别的时候可以采用模板匹配算法。预设手势模板，首先通过单目摄像头采集手势数据，然后对采集到的手势数据进行预处理，包括手势分割、手势跟踪、误差补偿和滤波处理；最后提取手势特征向量进行分类制成模板。当对目标区域进行手势识别后，将手势和预设手势模板中进行匹配，然后获取手势对应的指令。

预先设置不同手势所对应的不同指令。例如，在进行视频播放时，可以预先设置：手掌代表暂停、拳头代表播放、一根手指代表播放上一个、两根手指代表播放下一个、三根手指代表快退、四根手指代表快进；当播放PPT 时：一根手指代表下一页、两根手指代表上一页；听音乐时：手掌代表暂停、拳头代表播放、一根手指代表播放上一首、两根手指代表播放下一首。当用户想要关闭投影仪的时候，伸出双手代表关闭投影。

步骤S150，使用获取的指令控制投影过程。

可见，本发明仅对目标区域进行手势识别的处理，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率，有效防止了通过手势识别执行相应指令的时间延迟问题，增强用户的体验。

在投影过程中，需要用摄像头捕获手势图像，但是如果摄像头一直处于打开的状态，设备的功耗较大。为了降低摄像头带来的功耗，在本发明的一个实施例中，图1的方法还包括：

利用红外测温仪检测摄像头周围的温度变化，当用户在摄像头前做手势时，红外测温仪检测到周围的温度变化超过设定阈值，则控制摄像头开启，否则控制摄像头关闭；摄像头在开启后，捕捉摄像头与投影面之间的手势图像。

红外测温仪检测摄像头周围的温度，当用户做手势的时候会伴随着摄像头周围温度的变化，一旦红外测温仪检测到这种变化意味着用户做了一定的手势，就会控制摄像头开启，捕获手势图像；否则摄像头是出于关闭的状态。这样，摄像头可以不用一直处于打开状态，有效降低了功耗。

在本发明的一个实施例中，步骤S130中的将放大后的投影图像与手势图像进行比对，截取两幅图像中不同的区域作为目标区域包括：利用开源计算机视觉库(opencv)将放大后的投影图像与手势图像进行比对，首先找出两幅图像的重叠区域，去掉边界不同的部分，保证目标区域的精确，然后在重叠区域中截取两幅图像不同的区域作为目标区域。

根据预设手势对应的指令，在本发明的一个实施例中，步骤S150中的使用获取的指令控制投影过程实现如下的一种或多种功能：暂停播放、继续播放、快进播放、快退播放、PPT前后翻页、切换播放文件、关闭投影。

图2为本发明一个实施例提供的一种投影交互装置的示意图。如图2所示，该投影交互装置包括：

手势图像接收单元210，被配置为在投影过程中接收摄像头捕捉的手势图像。

在投影过程中摄像头对摄像头与投影面之间的整个范围进行图像的捕捉，进行手势识别的时候，手势只需落在投影面和和摄像头之间，摄像头捕捉的图像就可将手势包含其中。

投影图像获取单元220，被配置为获取与手势图像同一时刻的投影图像，并将投影图像放大至与手势头像同等大小。

为了获取包含手势的目标区域，需要获取对应的同一时刻的不包含手势的投影图像；为了进行对比，将投影图像也放大至与手势图像相同的大小。

目标区域截取单元230，被配置为将放大后的投影图像与手势图像进行比对，截取两幅图像中不同的区域作为目标区域。

因为手势图像和投影图像是同一时刻的，手势图像与投影图像的区别就在于：前者包含了手势，后者不包含手势。为了缩小图像处理区域，将两者不同的区域，即手势所在的区域截取出来作为图像处理的目标区域。这里将两个图像进行比对的方法可以利用opencv(开源计算机视觉库)进行。

手势指令获取单元240，被配置为对目标区域进行静态手势识别，提取目标区域中的手势，将手势与预设手势模板进行匹配，获取手势对应的指令。

静态手势识别的时候可以采用模板匹配算法。预设手势模板，首先通过单目摄像头采集手势数据，然后对采集到的手势数据进行预处理，包括手势分割、手势跟踪、误差补偿和滤波处理；最后提取手势特征向量进行分类制成模板。当对目标区域进行手势识别后，将手势和预设手势模板中进行匹配，然后获取手势对应的指令。

预先设置不同手势所对应的不同指令。例如，在进行视频播放时，可以预先设置：手掌代表暂停、拳头代表播放、一根手指代表播放上一个、两根手指代表播放下一个、三根手指代表快退、四根手指代表快进；当播放PPT 时：一根手指代表下一页、两根手指代表上一页；听音乐时：手掌代表暂停、拳头代表播放、一根手指代表播放上一首、两根手指代表播放下一首。当用户想要关闭投影仪的时候，伸出双手代表关闭投影。

投影过程控制单元250，被配置为使用获取的指令控制投影过程。

可见，本装置仅对目标区域进行手势识别的处理，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率，有效防止了通过手势识别执行相应指令的时间延迟问题，增强用户的体验。

在投影过程中，需要用摄像头捕获手势图像，但是如果摄像头一直处于打开的状态，设备的功耗较大。为了降低摄像头带来的功耗，图3为本发明另一个实施例提供的一种投影交互装置的示意图。如图3所示，投影交互装置300包括：手势图像接收单元310、投影图像获取单元320、目标区域截取单元330、手势指令获取单元340、投影过程控制单元350和摄像头开关单元 360。其中，手势图像接收单元310、投影图像获取单元320、目标区域截取单元330、手势指令获取单元340、投影过程控制单元350与图2所示的手势图像接收单元210、投影图像获取单元220、目标区域截取单元230、手势指令获取单元240、投影过程控制单元250具有对应相同的功能，相同的部分在此不再赘述。

摄像头开关单元360，被配置为利用红外测温仪检测摄像头周围的温度变化，当用户在摄像头前做手势时，红外测温仪检测到周围的温度变化超过设定阈值，则控制摄像头开启，否则控制摄像头关闭；摄像头在开启后，捕捉摄像头与投影面之间的手势图像，将捕捉的手势图像发送给手势图像接收单元。

红外测温仪检测摄像头周围的温度，当用户做手势的时候会伴随着摄像头周围温度的变化，一旦红外测温仪检测到这种变化意味着用户做了一定的手势，就会控制摄像头开启，捕获手势图像；否则摄像头是出于关闭的状态。这样，摄像头可以不用一直处于打开状态，有效降低了功耗。

在本发明的一个实施例中，还包括开源计算机视觉库。

目标区域截取单元330，具体被配置为利用开源计算机视觉库将放大后的投影图像与手势图像进行比对，找出两幅图像的重叠区域，去掉边界不同的部分，然后在重叠区域中截取两幅图像不同的区域作为目标区域。

图4为本发明一个实施例提供的一种智能终端的示意图。如图4所示，该智能终端400包括摄像头410、投影模块420和投影交互装置430。

投影模块420，用于将智能终端上的投影图像直接投影到投影面上或者连接投影设备将智能终端上的投影图像投影到投影面上；

摄像头410，用于在开启后捕捉摄像头与投影面之间的手势图像发送给投影交互装置；

投影交互装置430，用于在投影模块420投影过程中接收摄像头410捕捉的手势图像；获取与手势图像同一时刻的投影图像，并将投影图像放大至与手势头像同等大小；将放大后的投影图像与手势图像进行比对，截取两幅图像中不同的区域作为目标区域；对目标区域进行静态手势识别，提取目标区域中的手势，将手势与预设手势模板进行匹配，获取手势对应的指令发送给投影模块；

投影模块420，还用于接收投影交互装置430的指令，根据指令控制投影过程。

图5为本发明另一个实施例提供的一种智能终端的示意图。如图5所示，摄像头510、投影模块520、投影交互装置530和红外测温仪540。其中，摄像头510、投影模块520、投影交互装置530与图4所示的摄像头410、投影模块420、投影交互装置430具有对应相同的功能，相同的部分在此不再赘述。

红外测温仪540，用于检测摄像头周围的温度变化，当用户在摄像头前做手势时，检测到周围的温度变化超过设定阈值，则控制摄像头开启，否则控制摄像头关闭。

在本发明的一个实施例中，智能终端500为智能手机。

综上所述，本发明的技术方案是通过摄像头捕捉到手势图像后，再获取同一时刻的投影图像，将投影图像放大至与手势图像相同大小，对比手势图像和放大后的投影图像，截取两图像中的不同区域作为目标区域，即将图像中包含手势的区域截取出来；最后对目标区域进行图像处理以达到手势识别的目的。可见，本发明仅对目标区域进行手势识别的处理，大大缩小了图像处理区域，减少了图像处理的时间，进而提高了手势识别的效率，有效防止了通过手势识别执行相应指令的时间延迟问题，增强用户的体验。这样，用户在享受大屏的观感的同时，还可以实时通过手势识别发出不同的指令，为用户带来极大方便。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种投影交互方法，其特征在于，所述方法包括：

在投影过程中接收摄像头捕捉的手势图像；

获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势图像同等大小；

将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；

对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令；

使用获取的指令控制投影过程。

2.如权利要求1所述的投影交互方法，其特征在于，所述方法还包括：

利用红外测温仪检测摄像头周围的温度变化，当用户在摄像头前做手势时，所述红外测温仪检测到周围的温度变化超过设定阈值，则控制所述摄像头开启，否则控制所述摄像头关闭；

所述摄像头在开启后，捕捉摄像头与投影面之间的手势图像。

3.如权利要求1所述的投影交互方法，其特征在于，所述将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域包括：

利用开源计算机视觉库将放大后的所述投影图像与所述手势图像进行比对，找出两幅图像的重叠区域，去掉边界不同的部分，然后在重叠区域中截取两幅图像不同的区域作为目标区域。

4.如权利要求1所述的投影交互方法，其特征在于，使用获取的指令控制投影过程实现如下的一种或多种功能：暂停播放、继续播放、快进播放、快退播放、PPT前后翻页、切换播放文件、关闭投影。

5.一种投影交互装置，其特征在于，包括：

手势图像接收单元，被配置为在投影过程中接收摄像头捕捉的手势图像；

投影图像获取单元，被配置为获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势图像同等大小；

目标区域截取单元，被配置为将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；

手势指令获取单元，被配置为对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令；

投影过程控制单元，被配置为使用获取的指令控制投影过程。

6.如权利要求5所述的投影交互装置，其特征在于，还包括：

摄像头开关单元，被配置为利用红外测温仪检测摄像头周围的温度变化，当用户在摄像头前做手势时，所述红外测温仪检测到周围的温度变化超过设定阈值，则控制所述摄像头开启，否则控制所述摄像头关闭；

所述摄像头在开启后，捕捉摄像头与投影面之间的手势图像，将捕捉的手势图像发送给所述手势图像接收单元。

7.如权利要求5或6所述的投影交互装置，其特征在于，还包括开源计算机视觉库，

所述目标区域截取单元，具体被配置为利用所述开源计算机视觉库将放大后的所述投影图像与所述手势图像进行比对，找出两幅图像的重叠区域，去掉边界不同的部分，然后在重叠区域中截取两幅图像不同的区域作为目标区域。

8.一种智能终端，所述智能终端包括摄像头、投影模块，其特征在于，所述智能终端还包括：投影交互装置；

所述投影模块，用于将智能终端上的投影图像直接投影到投影面上或者连接投影设备将智能终端上的投影图像投影到投影面上；

所述摄像头，用于在开启后捕捉所述摄像头与投影面之间的手势图像发送给所述投影交互装置；

所述投影交互装置，用于在所述投影模块投影过程中接收所述摄像头捕捉的手势图像；获取与所述手势图像同一时刻的投影图像，并将所述投影图像放大至与所述手势图像同等大小；将放大后的所述投影图像与所述手势图像进行比对，截取两幅图像中不同的区域作为目标区域；对目标区域进行静态手势识别，提取目标区域中的手势，将所述手势与预设手势模板进行匹配，获取所述手势对应的指令发送给所述投影模块；

所述投影模块，还用于接收所述投影交互装置的指令，根据所述指令控制投影过程。

9.如权利要求8所述的智能终端，其特征在于，所述智能终端还包括红外测温仪，用于检测摄像头周围的温度变化，当用户在摄像头前做手势时，检测到周围的温度变化超过设定阈值，则控制所述摄像头开启，否则控制所述摄像头关闭。

10.如权利要求9所述的智能终端，其特征在于，所述智能终端为智能手机。