CN103500335A - 一种基于手势识别的照片拍摄与浏览的方法及其装置 - Google Patents

Abstract

本发明公开了一种基于手势识别的照片拍摄与浏览的方法，包括以下步骤：步骤A、采用手势识别的方式拍摄照片；步骤B、采用手势识别的方式浏览照片。本发明还公开了一种实现基于手势识别的照片拍摄与浏览的方法的装置，包括：视频获取单元：用于实时对环境进行拍摄，获取图片流，当检测到手时启动照片手势检测；手势识别及处理单元：用于识别手部运动及相应时刻的手势，锁定目标区域，拍摄具有相应形状的照片；图像显示单元：用于在浏览照片时，手势识别及视频获取单元通过识别手部运动，控制图像显示单元，对图片的投影进行切换操作。具有使照片更加的独特，操作更加人性化，带给用户全新的使用体验等优点。

Description

一种基于手势识别的照片拍摄与浏览的方法及其装置

技术领域

本发明涉及一种图像分析与识别技术，特别涉及一种基于手势识别的照片拍摄与浏览的方法及其装置，本发明可以用手势进行人机交互并控制照片的形状。

背景技术

人们对人机交互的便利性要求越来越高，而手势作为一种自然而直观的表现方式，其识别技术成为了新一代人机交互所不可缺少的一项关键技术。在照片拍摄及图片投影方面，我们可以通过加入手势识别功能来增添拍摄及投影控制的便利性和趣味性。目前通过手势识别而进行的控制还局限于识别手势种类单一，而且仅限于对拍摄时机等简单开关的控制，缺乏自由度以及通过手势对照片内容方面的控制。

目前对图片色彩、曝光度、对比度等特性进行处理的软件与算法虽然有很多，但对于照片的调整以及形状的设定还是局限于后期的处理，而且照片的显示也往往受到屏幕大小的限制。

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种基于手势识别的照片拍摄与浏览的方法，该方法主要采取了高斯背景模型、肤色识别、canny边缘检测等方法，具有实现简单，实时性好，识别率高的特点，能够很好的应用于人们的日常拍照中，具有很广阔的发展前景。

本发明的另一目的在于克服现有技术的缺点与不足，提供一种实现基于手势识别的照片拍摄与浏览的方法的装置，该装置克服了以往方法与设备成本较高、运算量大以致反应缓慢的问题，使拍照及图片浏览控制更加自由、直观，实现了一种全新的拍照模式，是一种非接触的用手势控制照片拍摄及浏览并产生独特形状照片的装置。

本发明的首要目的通过下述技术方案实现：一种基于手势识别的照片拍摄与浏览的方法，包括以下步骤：

步骤A、采用手势识别的方式拍摄照片；

步骤B、采用手势识别的方式浏览照片。

所述步骤A包括以下步骤：

步骤1：通过背景检测模块对当前背景进行记录；

步骤2：通过手势检测模块对手进行跟踪，判断手的轮廓，当手部静止时，确定目标区域；

步骤3：通过目标区域计算模块，根据之前获得的手部轮廓，获取具有特殊形状的照片；

在步骤1之前，需用户手动打开图像检测装置，之后图像采集装置才会对镜头前的环境进行连续的检测；

在步骤1之前，用户需选择是特定模式或者自定义模式，两种模式具体内容为：

（1）特定模式：在图像分析处理模块已经定义了几种规范的常见图形，如菱形、方形、心形、三角形，在获取到手势图片后，把所获取的手势轮廓与内置形状模板匹配，然后产生具有规范的特定形状的照片。特定模式的特点使得到的照片形状会十分规范标准；

（2）自定义模式：此模式产生的照片形状不会受到内置模板的影响，图像分析处理模块对手进行边缘检测获得手部轮廓，产生的图片形状完全由获取的使用者手势轮廓确定，自由度极高；使照片的独特性与唯一性不仅体现在照片的内容上，还体现在照片的形状上，这是本发明的一大亮点；

步骤2得到目标区域的形状，在对连通区域分析之前，要过滤掉面积很小的轮廓，提高判断效率；

步骤2得到目标区域的形状，所得目标区域的形状是根据手的摆放形状决定的，所以千变万化，如果之前选择的是自定义模式，则从照片还可以从其形状方面体现了唯一性与独特性，增加了照片的趣味性与收藏价值；

在步骤3之前，获取的只是目标区域的准确位置和形状，为了避免边缘毛刺的出现而影响美观，需要对边缘进行钝化处理，得到最终的目标区域的位置和形状；

步骤3为在已知手部形状和位置之后，得到目标照片，有两种方法可供选择：

（1）根据获得的目标位置以及大小，在未包含手势的起点图片中找到相应部分并进行截取，获得最终图片；这样做可以确保最终图片边缘不会受到手的影响，但需要起点与终点图片除了手势外完全相同；

（2）根据获得的目标位置以及大小，在已包含手势终点照片中找到相应部分并进行截取，获得最终图片；这样做可以不需考虑起点与终点必须一致，但易受到手部边缘的影响；

所述步骤B包括以下步骤：

步骤Ⅰ、通过摄像头获取当前环境的图像流，传送给背景检测模块，处理分析当前背景；

步骤Ⅱ、通过手势检测模块，判断出手的运动方向；

步骤Ⅲ、把所判断出的方向转化为相应的指令传送给投影仪，控制照片的切换操作；

在步骤Ⅰ之前，需手动开启浏览模式识别模式；

步骤Ⅰ具体包括：使用帧差法，对当前视频流相邻帧之间进行不间断的差值检测，由此判断手是否进入视野；通过对当前帧进行运动检测，提取运动前景，判断手是否进入视野；

步骤Ⅱ具体包括：由帧差的变化趋势或前景运动检测判断手的运动方向，执行照片投影的切换功能。

本发明的另一目的通过下述技术方案实现：一种实现基于手势识别的照片拍摄与浏览的方法的装置，该装置包括：

视频获取单元：通过实时对环境进行拍摄，获取图片流，当检测到手时启动照片手势检测；

手势识别及处理单元：通过识别手部运动及相应时刻的手势，锁定目标区域，拍摄具有独特形状的照片；

图像显示单元：在浏览照片时，手势识别及视频获取单元通过识别手部运动，控制图像显示单元，执行图片投影的切换操作。

本发明相对于现有技术具有如下的优点及效果：

1、首创了拍摄不仅记录图像信息，而且通过手部识别技术保留下了拍摄瞬间手部形状信息，进而产生具有该形状的照片，使得照片更加的独特，赋予了照片新的信息属性，极具市场前景。

2、融合了手势识别技术，使得照片操作更加人性化。在照片浏览时，可以随时随地的投影照片并通过手势进行的非接触式控制，实现照片的旋转、放大等变换功能，可以带给用户全新的使用体验。

3、实时性强，由于算法并不复杂，可行性较高，中央处理单元能够迅速对手做出反应，无论是捕捉手的形状或者手的运动方向以实现照片的拍摄、放大、旋转等功能，都不会有任何迟滞感。

附图说明

图1为本发明的实现基于手势识别的照片拍摄与浏览的方法的装置实的结构原理图，其中箭头表示信息的流动方向。

图2为本发明系统处理流程图。

图3为本发明第一实施例背景检测处理流程图。

图4为本发明第一实施例手势检测流程图。

图5为本发明第一实施例目标区域计算流程图。

图6为本发明第一实施例图像浏览流程图。

图7为本发明第二实施例背景检测处理流程图。

图8为本发明第二实施例手势检测流程图。

图9为本发明第二实施例目标区域计算流程图。

图10为本发明第二实施例图像浏览流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1所示，本实施方式提供了一种实现基于手势识别的照片拍摄与浏览的方法的装置，该装置包括如下几个部分：

视频获取单元20，即摄像头，用于对环境进行持续的监测，传送视频给手势识别及处理单元30。

手势识别及处理单元30，即中央处理系统，用于对获取到的图像流进行检测，确定该系统使用者10的手势形状与手部位置信息，产生最终照片。

图像显示单元40，即在中央处理系统控制下的投影仪，用于对得到的照片进行放映。

本实施例装置之间的信息流动主要包括如下步骤：

步骤1:视频获取单元20获取图像流传送给手势识别及处理单元进行分析处理；

步骤2：如图2所示，视频流中的每帧图片依次经过背景检测模块310、手势识别模块320，最终经过目标区域计算模块330，获得最终用户要求的图片。

步骤3：当用户进行照片浏览时，背景检测模块310与手势检测模块320通过对手势进行判断来控制图像浏览模块340，使用户可以非接触式的对投影照片进行切换控制。

在所述步骤1之前还包括人工手动对整个系统的触发式开启。

所述步骤1中还包括对即将输入的图像流单帧图像进行预处理的步骤，包括对图像的对比度调整、曝光度调整、去噪、平滑处理中的一种或多种。

如图2所示，是本实施方式的基于手势识别的照片拍摄与浏览系统的处理流程图。

从图2中可以看出，本发明基于手势识别的照片拍摄与浏览系统的运作流程共包括4个部分：

背景检测模块310，该模块用于处理背景图像信息，同时判断手进入视野时刻及此时背景图，然后启动下一模块。

手势检测模块320，在拍摄模式时，该模块用于判断当手进入拍摄视野之后最后保持的形状，之后把获取的形状传送给下一模块；在浏览模式时，该模块用于判断手进入拍摄视野后的动作，进而控制投影仪执行投影图片的切换功能。

目标区域计算模块330，根据所得到的手势轮廓获取目标照片。共有两种模式可供选择：特定模式和自定义模式。

图像浏览模块340，负责图片的投影部分，把图片经过投影设备投影出来，相应中央处理系统的切换指令。

下面为对以上各模块的具体介绍:

如图3所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的背景检测处理流程图，即背景检测模块的具体运作流程，在该模块，通过帧差法获得连续两张图片的变化情况，进而确定手部的运动及姿势。具体步骤如下：

步骤3101，通过手动触发打开摄像头，开启视频获取单元；

步骤3102，保存当前背景图像作为帧A，作为背景后备；

步骤3103，获取下一帧图像B，通过帧差法，并对两图像的差值图像进行去噪滤波处理，获取背景变化情况；

步骤3104，更新当前图像帧A并保存新的当前图像帧A；

步骤3105，对变化区域的面积作出判断，当小于设定阈值时执行步骤3014，当大于设定阈值时，则执行步骤3016；

步骤3106，对变化区域进行二次判断，即肤色检测，得出变化区域肤色面积；

步骤3107，当肤色面积大于设定阈值时，说明执行步骤3108；当不大于设定阈值时，则说明不是手部在运动，则回到步骤3012；

步骤3108，通过检测说明图像变化是由手的运动引起的，获得起点帧A，存储A,B。

如图4所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的手势检测流程图，即手势检测的具体运作流程，在该模块，依然通过帧差法对图像变化区域进行判断，具体步骤如下：

步骤3201，获得起点帧A，存储帧A,B；

步骤3202，获取B帧之后的下一帧C；

步骤3203，对帧C与帧B做差分，二值化所得差分图；

步骤3204，对连续两帧的图像进行差分比较，得到每组相邻帧间的差分图；

步骤3206，对每组帧差产生的图中变化区域的面积进行判断，判断变化区域的大小，当小于设定阈值时，执行步骤3207，当不小于设定阈值时执行步骤3205；

步骤3205，以下一图像帧C取代B作为当前图像帧；

步骤3207，由于视野中图像变化小于设定阈值，判定手处于静止状态；

步骤3208，保存手保持静止时的图像帧，记为终点图像帧C。

如图5所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的目标区域计算流程图，即在得到初始图像帧A与手势图像帧C之后，通过对这两帧的比较得出最终需要的照片，具体步骤如下：

步骤3301，通过帧差法，让终点图像帧与初始图像帧作差；

步骤3302，把作差产生的图像转化为灰度图像；

步骤3303，对得到的灰度图像进行平滑去噪处理；

步骤3304，对图像进行边缘检测，找出最大连通区域及手部区域；

步骤3305，保存的得到的手部区域的形状和在原图中的位置；

步骤3306，根据用户选择的模式决定接下来的处理流程，当选择特定模式时，执行步骤3307，当选择自定义模式时，执行步骤3310；

步骤3307，根据提前设定的形状模板，对得到的手部区域即目标区域进行匹配识别，判断目标的形状；

步骤3308，结合目标区域的位置，用之前设定好的形状模板在初始图像中截取相应部分；

步骤3309，产生具有手部轮廓形状的最终图片；

步骤3310，根据所得到目标区域的位置及形状，在初始图像中找到对应部分进行截取；

步骤3311，此时获得图片觉有手部轮廓形状，保存该图片；

步骤3312，由于形状完全由之前目标区域的形状决定，具有很大的随机性，对得到的图片边缘进行光滑处理；

步骤3313，得到最终图片。

如图6所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的图片浏览流程图，即在图片浏览环节，通过手非接触式控制照片投影切换的具体运作流程。包括如下步骤：

步骤3401，打开摄像头；

步骤3402，通过帧差法获取连续两帧图像之间的变化区域；

步骤3403，二值化得到的变化区域图像；

步骤3404，判断变化区域的大小，当大于设定阈值时，执行步骤3405，否则，否则执行步骤3402；

步骤3405，此时判断手已经进入视野，对连续两帧的图片作差，获得变化区域；

步骤3406，当变化区域大于设定阈值时，执行步骤3407，否则说明手已经停止了运动，执行步骤3411；

步骤3407，由变化区域的延伸方向得到一个子向量V；

步骤3408，将所得到的向量进行累加V；

步骤3409，更新需要做帧差处理的当前帧与下一帧，执行步骤3405；

步骤3410，对得到的子向量累加和进行分析，判断手的总体移动方向，当大于设定阈值时，判断为手向右运动，执行步骤3411，否则判断为手向左移动，执行步骤3412；

步骤3411，切换到前一张图片；

步骤3412，切换到下一张图片；

在步骤3401之前，用户需手动开启图片浏览模式，而非照片拍摄模式。

实施例2

如图1和图2所示，基于手势识别的照片拍摄与浏览的方法包括以下步骤：

步骤1，通过手动触发打开摄像头，开启视频获取单元；

步骤2，保存第一帧，初始化混合高斯模型；

步骤3，获取下一帧图像，对运动目标进行判定，并更新模型；

步骤4，对所检测到的运动目标做肤色检测，若肤色区域小于设定阈值则停止对这一帧的处理，跳转至步骤3，若肤色区域大于设定阈值，则进入下一步骤；

步骤5，计算肤色区域的中心，以该中心为矩形中心，在已设定的大小的矩形区域内对该帧做边缘检测，以获得完整的手势边缘，再对边缘做简化处理，得到最终目标照片区域；

步骤6，在原图中截取获得相应形状的照片。

如图7所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的背景检测处理流程图，具体步骤如下：

步骤3109，开始背景检测流程；

步骤3110，打开摄像头；

步骤3111，根据获得的图像流，建立混合高斯背景模型；

步骤3112，对当前帧进行运动物体检测，提取前景；

步骤3113，对提取的前景进行肤色检测，当通过检测时，执行步骤3114，否则执行步骤3112；

步骤3114，对通过了肤色检测的结果图像进行canny边缘检测，获得独立分散的轮廓；

步骤3115，滤去较小的轮廓块，剩下面积大于设定阈值的独立的肤色区域；

步骤3116，对各轮廓求中心，对各中心带权值加权，获得手势中心（X，Y）；

步骤3117，在以（X，Y）为中心，设定长度为边长的矩形区域内进行边缘检测；

步骤3118，获得手势轮廓。

如图8所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的手势检测流程图，在手势检测模块，具体步骤如下：

步骤3209，获得手势轮廓；

当用户选择的是自定义模式时，执行步骤3210，当选择的是特定模式时，执行步骤3211；

步骤3210，轮廓边缘内的部分设为1，边缘外的部分设置为0，得到二值图模板，传送到下一模块；

步骤3211，手势边缘信息与内置模板边缘信息进行匹配，得到对应的二值图模板，传送到下一模块；

如图9所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的目标区域计算流程图，在目标区域计算模块，即在得到相应的二值图模板之后，通过对当前帧的截取得出最终需要的照片，具体步骤如下：

步骤3314，得到二值图模板；

步骤3315，在设定的矩形区域内对拍摄背景进行截取；

步骤3316，对截取的场景边缘进行美化；

步骤3317，获得具有手势轮廓形状的照片。

如图10所示，为本实施方式的基于手势识别的照片拍摄与浏览系统的图像浏览流程图，在图片浏览环节，通过手非接触式的控制投影照片的切换，具体包括如下步骤：

步骤3413，开始图像浏览流程；

步骤3414，打开摄像头；

步骤3415，建立混合高斯背景模型；

步骤3416，对当前帧进行运动物体检测，即提取前景；

步骤3417，对提取的前景做肤色检测；

步骤3418，对肤色检测后的结果做边缘检测，获得独立分散的手部轮廓；

步骤3419，滤去面积很小的轮廓，对剩下来的轮廓求中心；

步骤3420，计算中心横坐标的移动方向；

步骤3421，根据中心移动方向切换图片，达到浏览功能。

在步骤1之前，用户需手动开启图片浏览模式，启动图像浏览模块，而非照片拍摄模式。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于手势识别的照片拍摄与浏览的方法，其特征在于，包括以下步骤：

步骤A、采用手势识别的方式拍摄照片；

步骤B、采用手势识别的方式浏览照片；

所述步骤A包括以下步骤：

步骤1、通过背景检测模块对当前背景进行记录；

步骤2、通过手势检测模块对手进行跟踪，判断手的轮廓，当手部静止时，确定目标区域，所述目标区域包括手的形状与其在摄像头视野中的位置信息；

步骤3、通过目标区域计算模块，根据之前获得的目标区域，在摄像头捕捉到的图像中进行截取，获取具有相应形状的照片,所述相应形状的照片即为目标照片。

2.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤1之前，用户手动打开图像检测装置后，图像采集装置对镜头前的环境进行连续的检测。

3.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤1之前，用户需选择特定模式或者自定义模式，所述特定模式指：在图像分析处理模块已经定义了规范的图形，在获取到手势图片后，把所获取的手势轮廓与内置形状模板匹配，然后产生具有规范的特定形状的照片；

所述自定义模式指：此模式产生的照片形状不会受到内置模板的影响，图像分析处理模块对手进行边缘检测获得手部轮廓，产生的图片形状由获取的使用者手势轮廓确定。

4.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤2中，判断出手的轮廓之后要实时对轮廓进行过滤，得到手部轮廓，以便手部静止时确定目标区域。

5.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤2中，所述目标区域的形状由手的摆放形状决定；

在步骤3之前，获取所述目标区域的初步位置和形状，对目标区域的初步位置和形状的边缘进行钝化处理，得到最终目标区域的位置和形状。

6.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤3中，得到所述目标照片的方法为第一种方法或第二种方法；

所述第一种方法为：根据获得目标的位置以及目标的大小，在起点图片中找到相应部分并进行截取，获得最终图片；

所述第二种方法为：根据获得的位置以及目标的大小，在终点照片中找到相应部分并进行截取，获得最终图片。

7.根据权利要求1所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，所述步骤B包括以下步骤：

步骤Ⅰ、通过摄像头获取当前环境的图像流，传送给背景检测模块，处理分析当前背景；

步骤Ⅱ、通过手势检测模块，判断出手的运动方向；

步骤Ⅲ、把所判断出的方向转化为相应的指令传送给投影仪，控制照片的切换操作。

8.根据权利要求7所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在步骤Ⅰ之前，需手动开启浏览模式识别模式。

9.根据权利要求7所述的基于手势识别的照片拍摄与浏览的方法，其特征在于，在所述步骤Ⅰ中，通过使用帧差法对当前视频流相邻帧之间进行连续的差值检测或者通过对当前帧进行运动检测，提取运动前景，以判断手是否进入视野；

在所述步骤Ⅱ中，由帧差的变化趋势或前景运动检测判断手的运动方向，进行照片投影的切换。

10.一种实现权利要求1所述的基于手势识别的照片拍摄与浏览的方法的装置，其特征在于，包括：

视频获取单元：用于实时对环境进行拍摄，获取图片流，当检测到手时启动照片手势检测；

手势识别及处理单元：用于识别手部运动及相应时刻的手势，锁定目标区域，拍摄具有相应形状的照片；

图像显示单元：用于在浏览照片时，手势识别及视频获取单元通过识别手部运动，控制图像显示单元，对图片的投影进行切换操作。

Images