CN102749996A - 空中双手的控制方法及系统 - Google Patents
空中双手的控制方法及系统 Download PDFInfo
- Publication number
- CN102749996A CN102749996A CN2012102234635A CN201210223463A CN102749996A CN 102749996 A CN102749996 A CN 102749996A CN 2012102234635 A CN2012102234635 A CN 2012102234635A CN 201210223463 A CN201210223463 A CN 201210223463A CN 102749996 A CN102749996 A CN 102749996A
- Authority
- CN
- China
- Prior art keywords
- target
- region
- tabulation
- candidate
- coupling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种空中双手的控制方法，包括以下步骤：获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；在帧图像中提取目标可能的候选区域，生成候选目标区域列表；定位各个目标对应的候选区域；得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。本发明还公开了一种空中双手的控制系统。本发明能够简单化非接触式交互系统中对浏览页面的放大、缩小、旋转等操作，提供更多的操作选择，更富有人性化。
Description
技术领域
本发明涉及人机交互控制技术领域，特别是涉及一种空中双手的控制方法及系统。
背景技术
在人机交互控制技术领域中，手势控制以其操作自然、直观、非接触等优势逐步被应用于家电控制、互动展示、游戏控制等场合。基于计算机视觉的手势交互，其核心是利用计算机视觉、图像处理等技术对图像采集设备采集到的视频序列进行处理，得到对手势控制行为的理解，从而进行相应响应。
在现有的人机交互系统中，已经实现空中单手的控制，如单手漫游、单手动作识别操作，来完成对信息的浏览与选中，在执行浏览页面的放大、缩小、旋转等操作时，通过选中相应的图标来完成。然而，这种方法不够贴近人的自然行为，同时阻碍了交互的多样化发展。
发明内容
基于此，针对上述问题，有必要提出一种空中双手的控制方法及系统。
为解决上述技术问题，本发明提供了一种空中双手的控制方法，包括以下步骤：
获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；
在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；
在帧图像中提取目标可能的候选区域，生成候选目标区域列表；
定位各个目标对应的候选区域；
得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。
本技术方案通过获取帧图像，对其进行分析处理，然后检测人手，将人手插入跟踪目标列表中，对于双手空中操作时，每一只手对应一个候选区域，双手操作时，就匹配了两个候选区域，然后即可实现双手控制。
在其中一个实施例中，在步骤“定位各个目标对应的候选区域”之后，还包括以下步骤：调整各个目标在其候选区域的位置，获得目标的准确位置。
在其中一个实施例中，“在帧图像中提取目标可能的候选区域，生成候选目标区域列表”包括以下步骤：
采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；
将目标原位置加入静止区域中，采用区域分割算法得到静止区域；
对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。
以上具体步骤的目的是分别得到运动区域和静止区域，然后将两者进行去重合并，能有效充分提取候选区域。
在其中一个实施例中，“定位各个目标对应的候选区域”包括以下步骤：
a.计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；
b.从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；
c.重复步骤b，直到匹配对列表为空。
以上具体步骤的目的是通过匹配对来使匹配列表中的候选区域进行一一配对，能有效保证准确定位各个目标对应的候选区域。
为解决上述技术问题，本发明还提供了一种空中双手的控制系统，它包括：
图像采集模块，用于获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；
人手检测模块，用于在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；
候选区域生成模块，用于在帧图像中提取目标可能的候选区域，生成候选目标区域列表；
区域定位模块，用于定位各个目标对应的候选区域；
结果转化模块，用于得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。
在其中一个实施例中，还包括候选区域调整模块，用于调整各个目标在其候选区域的位置，获得目标的准确位置。
在其中一个实施例中，所述候选区域生成模块包括：运动区域分割单元，用于采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；静止区域分割单元，用于将目标原位置加入静止区域中，采用区域分割算法得到静止区域；区域合并单元，用于对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。
在其中一个实施例中，所述区域定位模块包括：跟踪目标计算单元，用于计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；匹配对提取单元，用于从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；匹配对重复单元，用于重复运行匹配对提取单元，直到匹配对列表为空。
本发明的有益效果是：能够简单化非接触式交互系统中对浏览页面的放大、缩小、旋转等操作，提供更多的操作选择，更富有人性化。
附图说明
图1是本发明实施例所述空中双手的控制方法的流程图；
图2为本发明实施例所述空中双手的控制方法计算目标相对位置关系的示意图；
图3为本发明实施例所述空中双手的控制方法控制指令的示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例：
如图1所示，一种空中双手的控制方法，包括以下步骤：
步骤S101，使用传感器获取帧图像，传感器为普通摄像头或深度摄像头，并将该帧图像发送至目标检测与候选区域分割单元。
步骤S102，在帧图像中搜索人手，采用基于动态手势的方法进行人手检测，用户在摄像头范围内挥动手臂即可被检测到人手。若检测到人手，则将检测到的人手信息插入跟踪目标列表中。其具体过程为：
A.获得运动的帧间差分图像；
B.记录一段时间的运动历史；
C.对该运动历史进行分析判断是否满足检测条件，若满足，则检测出人手，将检测到的人手信息插入跟踪目标列表BlobList1中。
步骤S103，在帧图像中提取目标可能的候选区域，生成候选目标区域列表，该区域为候选的运动区域和候选的静止区域的合并。包括以下具体步骤：
（1）采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域Blobs1；
（2）将目标原位置加入静止区域中，采用区域分割算法得到静止区域Blobs2；
（3）对比运动区域与静止区域，计算两几何间任意两个Blob之间的欧氏距离d，若该距离小于指定阈值，则认为是同一区域，从Blobs2中删除重复的区域，合并运动区域与静止区域，得到最终的候选目标区域列表BlobList2={Blobs1，Blobs2}。
以上具体步骤的目的是分别得到运动区域和静止区域，然后将两者进行去重合并，能有效充分提取候选区域。
步骤S104，通过“目标-候选区域”最优匹配算法定位各个目标对应的候选区域。包括以下具体步骤：
a.计算跟踪目标列表BlobList1中每一个目标与目标候选区域列表BlobList2中所有候选区域之间的距离D(Blobi,Blobj)，将结果放入匹配对列表中；
b.从匹配对列表中取出距离最小的匹配对
采用MeanShift算法进行跟踪，并采用巴氏距离（Bhattacharyya Distance）计算跟踪后的图像与目标图像之间的相似度，若相似度大，则认为跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，认为跟踪错误，删除该匹配对；
c.重复步骤b，直到匹配对列表为空，完成“目标-候选区域”最优匹配。
以上具体步骤的目的是通过匹配对来使匹配列表中的候选区域进行一一配对，能有效保证准确定位各个目标对应的候选区域。
步骤S105，采用MeanShift跟踪算法，调整各个目标在其候选区域的位置，获得目标的准确位置。
步骤S106，得到各目标的跟踪结果，计算其相对位置关系，实现控制指令的转化。如图2所示，已知两只手的空间位置坐标为(x1,y1),(x2,y2)，由式
计算出两只手之间的相隔距离，由式
计算出两只手与水平方向所成的角度。如图3所示，对比前后两帧图像的计算结果：若s变大，则发出“放大”的控制指令；若s变小，则发出“缩小”的控制指令；若θ变小，则发出“顺时针旋转”的控制指令；若θ变大，则发出“逆时针旋转”的控制指令。
本实施例所述的空中双手的控制方法，通过获取帧图像，对其进行分析处理，然后检测人手，将人手插入跟踪目标列表中，对于双手空中操作时，每一只手对应一个候选区域，双手操作时，就匹配了两个候选区域，然后即可实现双手控制。
本实施例还针对上述控制方法设计了一种空中双手的控制系统，它包括：
图像采集模块，用于获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；
人手检测模块，用于在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；
候选区域生成模块，用于在帧图像中提取目标可能的候选区域，生成候选目标区域列表；
区域定位模块，用于定位各个目标对应的候选区域；
候选区域调整模块，用于调整各个目标在其候选区域的位置，获得目标的准确位置。
结果转化模块，用于得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。
本实施例中，所述候选区域生成模块包括运动区域分割单元、静止区域分割单元和区域合并单元，其中：
运动区域分割单元，用于采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；静止区域分割单元，用于将目标原位置加入静止区域中，采用区域分割算法得到静止区域；区域合并单元，用于对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。
本实施例中，所述区域定位模块包括跟踪目标计算单元、匹配对提取单元和匹配对重复单元，其中：
跟踪目标计算单元，用于计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；匹配对提取单元，用于从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；匹配对重复单元，用于重复运行匹配对提取单元，直到匹配对列表为空。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种空中双手的控制方法，其特征在于，包括以下步骤：
获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；
在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；
在帧图像中提取目标可能的候选区域，生成候选目标区域列表；
定位各个目标对应的候选区域；
得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。
2.根据权利要求1所述的空中双手的控制方法，其特征在于，在步骤“定位各个目标对应的候选区域”之后，还包括以下步骤：
调整各个目标在其候选区域的位置，获得目标的准确位置。
3.根据权利要求1或2所述的空中双手的控制方法，其特征在于，“在帧图像中提取目标可能的候选区域，生成候选目标区域列表”包括以下步骤：
采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；
将目标原位置加入静止区域中，采用区域分割算法得到静止区域；
对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。
4.根据权利要求1或2所述的空中双手的控制方法，其特征在于，“定位各个目标对应的候选区域”包括以下步骤：
a.计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；
b.从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；
c.重复步骤b，直到匹配对列表为空。
5.一种空中双手的控制系统，其特征在于，它包括：
图像采集模块，用于获取帧图像，并将该帧图像发送至目标检测与候选区域分割单元；
人手检测模块，用于在帧图像中搜索人手，若检测到人手，则将检测到的人手信息插入跟踪目标列表中；
候选区域生成模块，用于在帧图像中提取目标可能的候选区域，生成候选目标区域列表；
区域定位模块，用于定位各个目标对应的候选区域；
结果转化模块，用于得到各目标的跟踪结果，计算其相对位置关系，对控制指令进行转化。
6.根据权利要求5所述的空中双手的控制系统，其特征在于，还包括候选区域调整模块，用于调整各个目标在其候选区域的位置，获得目标的准确位置。
7.根据权利要求5或6所述的空中双手的控制系统，其特征在于，所述候选区域生成模块包括：
运动区域分割单元，用于采用运动检测算法以及形态学滤波得到运动区域的分割，通过连通区域标定得到运动区域；
静止区域分割单元，用于将目标原位置加入静止区域中，采用区域分割算法得到静止区域；
区域合并单元，用于对比运动区域与静止区域，去除重复区域，合并运动区域与静止区域，得到候选目标区域列表。
8.根据权利要求5或6所述的空中双手的控制系统，其特征在于，所述区域定位模块包括：
跟踪目标计算单元，用于计算跟踪目标列表中每一个目标与目标候选区域列表中所有候选区域之间的距离，将结果放入匹配对列表中；
匹配对提取单元，用于从匹配对列表中取出距离最小的匹配对进行跟踪，并对跟踪结果进行判定，如果跟踪正确，则从匹配对列表中删除与该目标以及候选区域相关的所有匹配对，否则，删除该匹配对；
匹配对重复单元，用于重复运行匹配对提取单元，直到匹配对列表为空。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102234635A CN102749996A (zh) | 2012-06-29 | 2012-06-29 | 空中双手的控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102234635A CN102749996A (zh) | 2012-06-29 | 2012-06-29 | 空中双手的控制方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102749996A true CN102749996A (zh) | 2012-10-24 |
Family
ID=47030257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012102234635A Pending CN102749996A (zh) | 2012-06-29 | 2012-06-29 | 空中双手的控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102749996A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504242A (zh) * | 2016-10-25 | 2017-03-15 | Tcl集团股份有限公司 | 目标检测方法及系统 |
| CN108596957A (zh) * | 2018-04-26 | 2018-09-28 | 北京小米移动软件有限公司 | 物体跟踪方法及装置 |
| CN109643206A (zh) * | 2016-06-28 | 2019-04-16 | 株式会社尼康 | 控制装置、显示装置、程序及检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
| CN101661329A (zh) * | 2009-09-22 | 2010-03-03 | 北京中星微电子有限公司 | 智能终端的操作控制方法及装置 |
-
2012
- 2012-06-29 CN CN2012102234635A patent/CN102749996A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
| CN101661329A (zh) * | 2009-09-22 | 2010-03-03 | 北京中星微电子有限公司 | 智能终端的操作控制方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 陈子豪: "基于深度信息的手势检测与跟踪", 《华南理工大学硕士论文》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643206A (zh) * | 2016-06-28 | 2019-04-16 | 株式会社尼康 | 控制装置、显示装置、程序及检测方法 |
| CN106504242A (zh) * | 2016-10-25 | 2017-03-15 | Tcl集团股份有限公司 | 目标检测方法及系统 |
| CN108596957A (zh) * | 2018-04-26 | 2018-09-28 | 北京小米移动软件有限公司 | 物体跟踪方法及装置 |
| CN108596957B (zh) * | 2018-04-26 | 2022-07-22 | 北京小米移动软件有限公司 | 物体跟踪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8897490B2 (en) | Vision-based user interface and related method | |
| KR101706365B1 (ko) | 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 | |
| US9098739B2 (en) | Systems and methods for tracking human hands using parts based template matching | |
| EP2374089B1 (en) | Method, apparatus and computer program product for providing hand segmentation for gesture analysis | |
| Suau et al. | Real-time head and hand tracking based on 2.5 D data | |
| CN103729128A (zh) | 一种摄像设备变换焦距的方法及装置 | |
| CN104423569A (zh) | 指向位置侦测装置、方法及计算机可读取纪录媒体 | |
| CN105425964A (zh) | 一种手势识别方法和系统 | |
| CN103472907B (zh) | 操作区的决定方法与系统 | |
| TW201322058A (zh) | 手勢辨識系統及方法 | |
| CN104794439A (zh) | 基于多相机的准正面人脸图像实时优选方法及系统 | |
| US20150363637A1 (en) | Robot cleaner, apparatus and method for recognizing gesture | |
| CN102841676A (zh) | 网页浏览控制系统及方法 | |
| JP2012191354A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN102749996A (zh) | 空中双手的控制方法及系统 | |
| Yousefi et al. | 3D gesture-based interaction for immersive experience in mobile VR | |
| US9497441B2 (en) | Image processing device and method, and program | |
| CN104065949B (zh) | 一种电视虚拟触控方法及系统 | |
| CN104866826A (zh) | 一种基于knn和像素比梯度特征的静态手语识别方法 | |
| Chowdhury et al. | Robust human detection and localization in security applications | |
| CN104731324A (zh) | 一种基于hog+svm框架的手势内平面旋转检测模型生成方法 | |
| Wang et al. | Layout and perspective distortion independent recognition of captured chinese document image | |
| EP3848778B1 (en) | Fingertip detection method, fingertip detection means, fingertip detection device, and medium | |
| Shih | Hand gesture recognition using color-depth association for smart home | |
| Ji et al. | Design of human machine interactive system based on hand gesture recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C05 | Deemed withdrawal (patent law before 1993) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |