CN111461059A - 一种多区域多分类可扩展手势识别控制装置及控制方法 - Google Patents
一种多区域多分类可扩展手势识别控制装置及控制方法 Download PDFInfo
- Publication number
- CN111461059A CN111461059A CN202010314974.2A CN202010314974A CN111461059A CN 111461059 A CN111461059 A CN 111461059A CN 202010314974 A CN202010314974 A CN 202010314974A CN 111461059 A CN111461059 A CN 111461059A
- Authority
- CN
- China
- Prior art keywords
- gesture
- module
- gesture recognition
- user
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 57
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 230000001133 acceleration Effects 0.000 claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 7
- 210000003811 finger Anatomy 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 210000003813 thumb Anatomy 0.000 claims description 11
- 210000004932 little finger Anatomy 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 210000005224 forefinger Anatomy 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/822—Strategy games; Role-playing games
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/807—Role playing or strategy games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出一种多区域多分类可扩展手势识别控制装置及控制方法，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控控制图像采集模块调整参数保证图像清晰、亮度合理。采集到的图像输入给手势识别模块，经分析得到手的位置、姿态、运动速度、加速度、角加速度、预定义手势种类、特征向量等信息。根据上述信息，生成手势命令，通过数据传输模块发送至受控设备。用户交互终端提供了一种扩展本发明所述控制装置功能的方式。本发明提出的手势识别控制装置直接为受控设备提供可以使用的控制信号，扩展性强，检测准确、控制灵敏，集成度高、体积小、功耗低，使用方式灵活，可为用户提供自然，舒适的体验。
Description
技术领域
本发明属于手势识别控制技术领域，特别是涉及一种多区域多分类可扩展手势识别控制装置及控制方法。
背景技术
近年来体感交互越来越流行，手势识别技术得到了大量应用。与传统的按键交互相比，手势控制具有灵活多样的优点，可以定义远超于实体按键的信号，更加方便用户的使用，令交互更加自然。手势识别控制器在辅助驾驶，智能家居，电玩游戏领域已经得到了很多应用，如用手势控制汽车的前进后退，控制家用电器的开关，控制3D游戏等。很多手势控制器都利用摄像头采集手势信息。图像采集方面既有单目摄像头的方案，双目摄像头的方案，还出现了阵列摄像头的方案；有的手势控制器使用RGB摄像头，操作范围广，但容易受背景的影响；有的控制器使用红外摄像头，排除了背景的影响，但操作范围较小。手势控制器识别的内容包括如下几类：定义几种手势，进行分类；检测手部在挥动的动作。控制器的原理包括：利用特征点识别手势；利用HOG及机器学习分类器进行手势分类；利用神经网络检测手部，并判断手势类别等。
现有的手势识别控制器基于手势分类，动作分类等原理。一部分手势控制器，只是手势分类，每种手势对应一个控制信号；还有一些手势控制器则是识别手部的简单动作，如手从右至左平移，从前至后平移等运动，每一种运动对应一个控制信号。不论以上哪种情况，都只能提供很少的几个信号，低估了手势识别的潜力，这也导致目前的手势识别控制器只能应用在简单的交互场景。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种多区域多分类可扩展手势识别控制装置及控制方法。本发明所述手势识别控制装置，能够从手势分类，手部位置，手部姿态，运动速度、加速度、角加速度、特征向量等多个方面提取手势信息，并合理地组合应用，使手部动作提供更多的交互信号，从而使手势识别控制装置可以在更为综合，更为复杂的交互场景下得到应用。
本发明是通过以下技术方案实现的，本发明提出一种多区域多分类可扩展手势识别控制装置，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；
所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；
所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
进一步地，所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度、预定义手势种类和特征向量。
进一步地，所述图像采集模块使用单目摄像头采集视频图像信息。
进一步地，所述目标手势包括握拳、伸出拇指、伸出拇指+食指、伸出拇指+食指+中指、伸出食指、伸出食指+中指、ok手势、伸出拇指+食指+小指、伸出食指+小指、伸出拇指+小指、五指张开和四指张开。
进一步地，所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。
本发明还提出一种多区域多分类可扩展手势识别控制方法，中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；预定义10种以上的手势作为目标手势；用户通过用户交互终端模块配置自定义的解析方式；
步骤1、图像采集模块采集视频图像信息；
步骤2、手势识别模块识别出视频图像中的目标手势；
步骤3、中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备；
步骤4、所述受控设备执行相应的操作并返回设备运行状态结果；
在步骤3中，所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
进一步地，在完成信号匹配后，对交互逻辑进行设计，设计多个手势对应同一个控制信号，但是操作难易程度不同，优先级不同，从而满足用户的不同使用需求。
进一步地，所述手势识别控制装置在出厂时已经有默认的配置，能够将手势信息解析成对应的手势命令；如果默认的解析方式不满足用户的需求，用户能够通过所述用户交互终端模块配置自定义的解析方式，所述自定义的解析方式包括修改区域分割方案、更改信号匹配和改变交互逻辑。
进一步地，所述手势识别模块能够在手以任何角度，任何位姿出现在用户手势操作区内时识别出目标手势。
进一步地，所述用户手势操作区包括左手操作区和右手操作区。
本发明带来的有益效果：
1、手势控制装置使交互不必与硬件接触，干净卫生，不会造成公共场所交叉感染；
2、手势的灵活性高，变化丰富，可以为受控设备提供更多的信号；
3、手势控制装置仅需为摄像头留出通光孔即可进行交互，可隐藏于受控设备体内，保持设备整体外观简洁美观，也可作为受控设备外设安装，结构灵活；
4、手势控制装置体积小、功耗低、集成度高；
5、手势控制装置功能扩展性强。
附图说明
图1为本发明所述的多区域多分类可扩展手势识别控制装置的总体组成框图；
图2为本发明所述的多区域多分类可扩展手势识别控制方法的流程图；
图3为预定义手势示意图；
图4为手势操作区分割方案示意图；
图5为手势操作区参考系示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，本发明提出一种多区域多分类可扩展手势识别控制装置，涉及智能交互领域，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；
所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；
所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度、预定义手势种类和特征向量。
所述图像采集模块使用单目摄像头采集视频图像信息，需要根据环境光线，以及手势采集任务的变化更换采集策略，具备调整帧率，自动曝光等功能。
所述手势识别模块具有很强的扩展性。基本组成包括：
1)检测手的基本信息。从图像数据中识别出手的位置坐标，6自由度姿态，运动速度，加速度，角加速度，特征向量等信息。
2)手势分类。预定义10种以上的手势作为目标手势，图3中给出了推荐手势，图3中以从右手手背方向观察为例，展示了12种预定义手势，本发明目标手势包括但不限于这几种手势。如图3所示，所述目标手势包括图3中a握拳、b伸出拇指、c伸出拇指+食指、d伸出拇指+食指+中指、e伸出食指、f伸出食指+中指、g ok手势、h伸出拇指+食指+小指、i伸出食指+小指、j伸出拇指+小指、k五指张开和l四指张开。手势识别模块在识别预定义手势时并不限制手势处于与图像采集装置正交的姿态。手势识别模块可以在手以任何角度，任何位姿出现在用户手势操作区时识别出目标手势。所述手势识别模块可以使用机器学习，神经网络等算法识别手势。
所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。
所述中控控制图像采集模块调整参数保证图像清晰、亮度合理。采集到的图像输入给手势识别模块，经分析得到手的位置、姿态、预定义手势种类、运动速度、加速度等信息。根据上述信息，生成手势命令，通过数据传输模块发送至受控设备。用户交互终端提供了一种扩展本发明所述控制装置功能的方式。本发明所述控制装置能够识别用户手部位置，姿态，运动速度、加速度、角加速度，特征向量，并识别超过10种预定义手势。将以上信息组合使用，结合用户手势操作区的区域分割方案、视场内参考系，可以提供丰富的交互信号。视场内参考系定义如下：选定摄像头前方一定距离的平面为操作平面，操作平面与摄像头轴线垂直，摄像头轴线与操作平面交点为原点。本发明所述控制装置具有很高的扩展性，用户可以根据需要将所述控制装置的交互信号与控制信号进行匹配。该控制装置可以应用在智能交互，工业控制，智能家居，电玩游戏等多种领域。本发明提出的手势识别控制装置直接为受控设备提供可以使用的控制信号，扩展性强，检测准确、控制灵敏，集成度高、体积小、功耗低，使用方式灵活，可为用户提供自然，舒适的体验。
结合图2，本发明还提出一种多区域多分类可扩展手势识别控制方法，中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；预定义10种以上的手势作为目标手势；用户通过用户交互终端模块配置自定义的解析方式；用户交互终端用于扩展手势识别控制装置的功能，可以为控制装置增删交互信号；
步骤1、图像采集模块采集视频图像信息；
步骤2、手势识别模块识别出视频图像中的目标手势；
步骤3、中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备；
步骤4、所述受控设备执行相应的操作并返回设备运行状态结果；
在步骤3中，所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，使手势变化出多种信号，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
在完成信号匹配后，对交互逻辑进行设计，使整个手势识别控制装置的交互体验更加流畅，更加便于操作。设计多个手势对应同一个控制信号，但是操作难易程度不同，优先级不同，从而满足用户的不同使用需求。
所述手势识别控制装置在出厂时已经有默认的配置，能够将手势信息解析成对应的手势命令；如果默认的解析方式不满足用户的需求，用户能够通过所述用户交互终端模块配置自定义的解析方式，所述自定义的解析方式包括修改区域分割方案、更改信号匹配和改变交互逻辑。所述用户交互终端模块具有强大的扩展性，带来无限可能。
所述手势识别模块能够在手以任何角度，任何位姿出现在用户手势操作区内时识别出目标手势。用户手势操作区是指摄像头视场中能够清晰有效呈现手部姿态的区域。
所述用户手势操作区包括左手操作区和右手操作区。所述左手操作区和右手操作区可交叉重叠，也可以互不交叉，既可独立操控，也可同时操作。
实施例--手势识别控制装置匹配离散量信号的交互(以魂斗罗游戏为例)
结合图4，本实施例中，采用本发明提出的多区域多分类可扩展手势识别控制装置对魂斗罗游戏进行控制。
本实施例展示了将区域信息与预定义手势信息的结合在交互方面的应用。左手握拳手势出现在左侧操作区不同区域代表向不同方向的运动信号，即只使用1个手势，就可以得到9个相互独立的信号。手势识别控制装置的机械结构：一个外壳为40mm*30mm*25mm的矩形小盒内，有微型计算机，电池，一个RGB摄像头提供尺寸为320*640尺寸的图像，外壳镶嵌开机按钮，电源线，USB接口，状态指示灯等结构，外壳底部装有吸盘，可以将所述手势识别控制装置吸附于光滑物体表面。使用时，将控制装置放置在茶几上，人手在装置上方进行操作，合理配置装置的高度，使有效的手势操作区尺寸达到400mm*800mm。与电子游戏机相连，打开开机键，用户在操作区内使用各种手势控制游戏。
手势使用的规则以及手势识别控制装置发出的信号如表1所示。为了提高手势交互的便利性，对相同信号设计了优先级不同的交互方式。优先级从0--2依次降低。优先级为0的操作，仅需要通过手势控制即可，匹配为停止运动，停止功能键等重要操作，对用户移动区域准确性的要求降低；优先级为1的操作为快捷操作，大部分靠预定义手势来控制信号，放松了对位置准确性的要求；优先级为2的操作，为基本操作，手势的变化不会很频繁，要求用户通过专心控制手的所在区域来控制信号。
表1手势使用规则
实施例--手势识别控制装置匹配连续变量的交互(以王者荣耀游戏为例)
上个实施例中展示的信号代表的都是离散量，本实施例展示如何用手的位置信息与预定义手势的分类来描述连续量。
本实施例硬件设备与上一实施例基本相同。主要在信号的匹配方面有所不同，如图5所示。将摄像头的视场划分为不同的操作区，然后按照视场内的参考系来解析手势信息。先看图5左手操作区，操作区内绘制了一只左手，手势为伸出食指。通过手势识别控制装置，可以识别出手的位置以及姿态，由此计算出手到操作区原点的距离d，以及手指的倾斜角度α。王者荣耀游戏中左手控制前进方向和前进速度。本实施例中倾角α信号取值范围0--180°，用于控制前进方向；距离d的绝对值匹配运动速度信号，绝对值越大游戏角色移动速度越快；操作手所在的象限决定游戏角色是前进还是后退。在图5的右手操作区内有一只右手，手势为伸出食指，该手势匹配挥砍武器的游戏动作。手势识别控制装置识别出右手运动的运动速度，摆动频率，摆动幅度，并将这些信号匹配给游戏中的出击频率，攻击力强弱等信号。
实施例--一个通用的可扩展手势识别控制装置
本实施例是一个可以扩展的手势识别控制装置，本实施例硬件设备与上述实施例基本相同，由于不同受控设备需要手势识别控制装置输出数量不同的信号，为了使手势识别控制装置兼容更多设备，本实施例为用户提供一个交互软件。故而，本实施例的使用分为两个步骤：1)先通过用户交互软件为受控设备定义交互规则，2)将控制装置与受控设备连接，投入使用。
手势识别模块识别出的原始变量包括：1)操作者手部的像素坐标，6自由度姿态，运动速度，加速度，角加速度。2)12种预定义的手势，如图3所示。双手对称，则相当于24个相互独立的手势。本实施例的用户交互软件，在windows操作系统运行，允许用户自行设计以下交互规则：
1)区域分割方案。对摄像头视场进行区域分割，每一个手势，都会有自己的区域分割方案。例如，如果用户把操作区域划分成9个区域，那么24种预定义手势，就可以对应24x9＝216个相互独立的交互信号。已经可以承担较为复杂的交互任务。
2)添加函数来实现连续变量的表达。最容易表达连续变量的手势信息包括：手掌中心的像素坐标；手掌中心坐标的运动速度；图3e中手势(食指伸出)中食指的角度，角速度等信息。这些变量都可以输入到用户自定义的函数中，用计算结果表达受控设备里的连续变量。
3)信号匹配方案。如果某一受控设备需要100个交互信号，2个连续变量，则从上述提到的交互信号中选出102个进行映射。
4)交互逻辑设计。考虑到用户操作的舒适性，将使用频繁的信号与最舒适的手势进行匹配。
在设置完交互规则后，控制装置才可以与受控设备通信并投入使用。
相关技术术语定义：
摄像头拍摄到的完整的区域称作视场。
将视场选择一块能够清晰完整地看到手的区域定义为用户手势操作区。比如用广角镜头，周边有畸变，所以广角镜头的周边就不会选进用户手势操作区。
用户手势操作区被分割成一个个单元区，每个单元区配合不同的手势，组合成不同的信号。在特殊情况下，如用户将本发明所述装置用于模拟手柄操作，会将左手手势相关的单元区集中安排在视场左侧，而右手手势单元区集中安排在视场右侧时，才将视场区分为左手操作区和右手操作区。其他应用场景下，不刻意区分左手操作区和右手操作区。
以上对本发明所提出的一种多区域多分类可扩展手势识别控制装置及控制方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种多区域多分类可扩展手势识别控制装置，其特征在于：所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；
所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；
所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
2.根据权利要求1所述的装置，其特征在于：所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度和特征向量。
3.根据权利要求1所述的装置，其特征在于：所述图像采集模块使用单目摄像头采集视频图像信息。
4.根据权利要求1所述的装置，其特征在于：所述目标手势包括握拳、伸出拇指、伸出拇指+食指、伸出拇指+食指+中指、伸出食指、伸出食指+中指、ok手势、伸出拇指+食指+小指、伸出食指+小指、伸出拇指+小指、五指张开和四指张开。
5.根据权利要求1所述的装置，其特征在于：所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。
6.一种多区域多分类可扩展手势识别控制方法，其特征在于：中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；预定义10种以上的手势作为目标手势；用户通过用户交互终端模块配置自定义的解析方式；
步骤1、图像采集模块采集视频图像信息；
步骤2、手势识别模块识别出视频图像中的目标手势；
步骤3、中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备；
步骤4、所述受控设备执行相应的操作并返回设备运行状态结果；
在步骤3中，所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。
7.根据权利要求6所述的方法，其特征在于：在完成信号匹配后，对交互逻辑进行设计，设计多个手势对应同一个控制信号，但是操作难易程度不同，优先级不同，从而满足用户的不同使用需求。
8.根据权利要求7所述的方法，其特征在于：所述手势识别控制装置在出厂时已经有默认的配置，能够将手势信息解析成对应的手势命令；如果默认的解析方式不满足用户的需求，用户能够通过所述用户交互终端模块配置自定义的解析方式，所述自定义的解析方式包括修改区域分割方案、更改信号匹配和改变交互逻辑。
9.根据权利要求8所述的方法，其特征在于：所述手势识别模块能够在手以任何角度，任何位姿出现在用户手势操作区内时识别出目标手势。
10.根据权利要求9所述的方法，其特征在于：所述用户手势操作区包括左手操作区和右手操作区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010314974.2A CN111461059A (zh) | 2020-04-21 | 2020-04-21 | 一种多区域多分类可扩展手势识别控制装置及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010314974.2A CN111461059A (zh) | 2020-04-21 | 2020-04-21 | 一种多区域多分类可扩展手势识别控制装置及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111461059A true CN111461059A (zh) | 2020-07-28 |
Family
ID=71685983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010314974.2A Pending CN111461059A (zh) | 2020-04-21 | 2020-04-21 | 一种多区域多分类可扩展手势识别控制装置及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461059A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112244705A (zh) * | 2020-09-10 | 2021-01-22 | 北京石头世纪科技股份有限公司 | 智能清洁设备、控制方法、计算机存储介质 |
| CN112882577A (zh) * | 2021-03-26 | 2021-06-01 | 歌尔光学科技有限公司 | 手势控制方法、装置及系统 |
| CN114007140A (zh) * | 2021-10-29 | 2022-02-01 | 海信视像科技股份有限公司 | 一种通过手势控制被控角色位置的方法及显示设备 |
| CN114913471A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510121A (zh) * | 2009-03-12 | 2009-08-19 | 重庆大学 | 一种基于手势识别的界面漫游操作方法与装置 |
| CN102368290A (zh) * | 2011-09-02 | 2012-03-07 | 华南理工大学 | 一种基于手指高级特征的手势识别方法 |
| CN106293103A (zh) * | 2016-10-21 | 2017-01-04 | 北京工商大学 | 基于惯性传感器的四轴飞行器手势控制装置和控制方法 |
| CN110308795A (zh) * | 2019-07-05 | 2019-10-08 | 济南大学 | 一种动态手势识别方法及系统 |
| CN110347266A (zh) * | 2019-07-23 | 2019-10-18 | 哈尔滨拓博科技有限公司 | 一种基于机器视觉的空间手势控制装置 |
| CN211979681U (zh) * | 2020-04-21 | 2020-11-20 | 哈尔滨拓博科技有限公司 | 一种多区域多分类可扩展手势识别控制装置 |
-
2020
- 2020-04-21 CN CN202010314974.2A patent/CN111461059A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510121A (zh) * | 2009-03-12 | 2009-08-19 | 重庆大学 | 一种基于手势识别的界面漫游操作方法与装置 |
| CN102368290A (zh) * | 2011-09-02 | 2012-03-07 | 华南理工大学 | 一种基于手指高级特征的手势识别方法 |
| CN106293103A (zh) * | 2016-10-21 | 2017-01-04 | 北京工商大学 | 基于惯性传感器的四轴飞行器手势控制装置和控制方法 |
| CN110308795A (zh) * | 2019-07-05 | 2019-10-08 | 济南大学 | 一种动态手势识别方法及系统 |
| CN110347266A (zh) * | 2019-07-23 | 2019-10-18 | 哈尔滨拓博科技有限公司 | 一种基于机器视觉的空间手势控制装置 |
| CN211979681U (zh) * | 2020-04-21 | 2020-11-20 | 哈尔滨拓博科技有限公司 | 一种多区域多分类可扩展手势识别控制装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112244705A (zh) * | 2020-09-10 | 2021-01-22 | 北京石头世纪科技股份有限公司 | 智能清洁设备、控制方法、计算机存储介质 |
| CN112882577A (zh) * | 2021-03-26 | 2021-06-01 | 歌尔光学科技有限公司 | 手势控制方法、装置及系统 |
| CN114007140A (zh) * | 2021-10-29 | 2022-02-01 | 海信视像科技股份有限公司 | 一种通过手势控制被控角色位置的方法及显示设备 |
| CN114913471A (zh) * | 2022-07-18 | 2022-08-16 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
| CN114913471B (zh) * | 2022-07-18 | 2023-09-12 | 深圳比特微电子科技有限公司 | 一种图像处理方法、装置和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461059A (zh) | 一种多区域多分类可扩展手势识别控制装置及控制方法 | |
| KR102181588B1 (ko) | 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치 | |
| Berman et al. | Sensors for gesture recognition systems | |
| Suarez et al. | Hand gesture recognition with depth images: A review | |
| US9959463B2 (en) | Gesture recognition system using depth perceptive sensors | |
| CN203300127U (zh) | 儿童教学监护机器人 | |
| WO2021035646A1 (zh) | 可穿戴设备及其控制方法、识别手势的方法和控制系统 | |
| KR20120045667A (ko) | 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법 | |
| CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
| CN102789313A (zh) | 一种用户交互系统和方法 | |
| CN211979681U (zh) | 一种多区域多分类可扩展手势识别控制装置 | |
| CN109933191B (zh) | 手势识别和控制方法及其系统 | |
| Biao et al. | A robot control system based on gesture recognition using Kinect | |
| CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
| CN106648068A (zh) | 一种双手三维动态手势识别方法 | |
| CN110412996A (zh) | 一种基于手势和眼动的无人机操控方法、装置和系统 | |
| Verdadero et al. | Hand gesture recognition system as an alternative interface for remote controlled home appliances | |
| CN109947243B (zh) | 基于触摸手检测的智能电子设备手势捕获与识别技术 | |
| CN112783318A (zh) | 人机交互系统和人机交互方法 | |
| Li et al. | Hand gesture tracking and recognition based human-computer interaction system and its applications | |
| CN116198435B (zh) | 车辆的控制方法、装置、车辆以及存储介质 | |
| Vidhate et al. | Virtual paint application by hand gesture recognition system | |
| CN109960406B (zh) | 基于双手手指之间动作的智能电子设备手势捕获与识别技术 | |
| CN113989834A (zh) | 基于机器视觉的手势控制的智能魔镜 | |
| CN109993059B (zh) | 智能电子设备上基于单摄像头的双目视觉与物体识别技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |