CN105912982A - 一种基于肢体动作识别的控制方法及装置 - Google Patents

一种基于肢体动作识别的控制方法及装置 Download PDF

Info

Publication number
CN105912982A
CN105912982A CN201610202178.3A CN201610202178A CN105912982A CN 105912982 A CN105912982 A CN 105912982A CN 201610202178 A CN201610202178 A CN 201610202178A CN 105912982 A CN105912982 A CN 105912982A
Authority
CN
China
Prior art keywords
baseline
human body
detection region
rectangle
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610202178.3A
Other languages
English (en)
Other versions
CN105912982B (zh
Inventor
杨闯
王�忠
王茂航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingtailangfan Precision Equipment Co Ltd
Original Assignee
Beijing Mingtailangfan Precision Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mingtailangfan Precision Equipment Co Ltd filed Critical Beijing Mingtailangfan Precision Equipment Co Ltd
Priority to CN201610202178.3A priority Critical patent/CN105912982B/zh
Publication of CN105912982A publication Critical patent/CN105912982A/zh
Application granted granted Critical
Publication of CN105912982B publication Critical patent/CN105912982B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于肢体动作识别的控制方法及装置。所述方法包括:获取拍摄范围内至少一条人体基线;根据所述至少一条人体基线确定至少两个检测区域;确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。本发明实施例提供的技术方案,通过获取拍摄范围内的至少一条人体基线,根据所述至少一条人体基线确定至少两个检测区域,并确认至少一个检测区域中有指令触发新事件发生后,获取并发送所述指令触发新事件对应的操作控制指令,采用普通摄像头进行图像拍摄,降低了肢体动作识别所需的设备成本,并有效提高了肢体动作识别的准确率。

Description

一种基于肢体动作识别的控制方法及装置
技术领域
本发明实施例涉及肢体动作识别领域,尤其涉及一种基于肢体动作识别方法及装置。
背景技术
随着电子技术的不断发展,非接触式电子设备控制方式被广泛应用于社会生活的各个领域。
现有技术已实现了基于肢体动作识别的非接触式控制,例如,菜谱类软件控制。目前常见的肢体动作捕捉方案包括Kinect体感器以及RealSense实感摄像头。Kinect体感器主要应用于Windows桌面平台,暂时无法在嵌入式平台运行,其深度检测距离在一米左右,且由于其对计算性能要求较高,一般采用独立主机的方式来进行计算。RealSense集成硬件较小,但硬件本身仅提供数据获取功能,因此对硬件设备的计算能力要求较高,其深度检测距离小于一米,且无法在Linux操作系统下使用。此外,Kinect体感器和RealSense实感摄像头采用了多摄像头方案,造价较高,且对用户动作的限制程度较大,易产生无用肢体动作的误识别。
发明内容
本发明提供一种基于肢体动作识别的控制方法及装置,以提高肢体动作识别的准确率。
第一方面,本发明实施例提供了一种基于肢体动作识别的控制方法,所述方法包括:
获取拍摄范围内至少一条人体基线;
根据所述至少一条人体基线确定至少两个检测区域;
确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
第二方面,本发明实施例还提供了一种基于肢体动作识别的控制装置,所述装置包括:
基线获取模块,用于获取拍摄范围内至少一条人体基线;
区域确定模块,用于根据所述至少一条人体基线确定至少两个检测区域;
指令获取模块,用于确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
本发明实施例提供的技术方案,通过获取拍摄范围内的至少一条人体基线,根据所述至少一条人体基线确定至少两个检测区域,并确认至少一个检测区域中有指令触发新事件发生后,获取并发送所述指令触发新事件对应的操作控制指令,采用普通摄像头进行图像拍摄,降低了肢体动作识别所需的设备成本,并有效提高了肢体动作识别的准确率。
附图说明
图1是本发明实施例一提供的一种基于肢体动作识别的控制方法流程示意图;
图2a是本发明实施例二提供的一种获取拍摄范围内至少一条人体基线的方法流程示意图;
图2b是本发明实施例二提供的基线确定过程示意图;
图2c是本发明实施例二提供的检测区域确定过程示意图;
图3是本发明实施例三提供的一种基于肢体动作识别的控制装置结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种基于肢体动作识别的控制方法流程示意图。本实施例可适用于基于人体肢体动作识别的电子设备控制领域,所述基于肢体动作识别的控制方法可以由基于肢体动作识别的控制装置执行。该装置可通过硬件和/或软件的方式实现,并一般可集成于识别肢体动作以实现控制的电子设备中。
参见图1,本实施例提供的基于肢体动作识别的控制方法具体可以包括:
步骤110、获取拍摄范围内至少一条人体基线。
本发明采用普通摄像头进行图像拍摄,用户可根据应用场景及使用需求对摄像头的拍摄范围进行设置,一般的,拍摄范围为动作主体(操作人员)所在的活动区域,例如,餐营业后厨查看菜品订单时,帮厨活动区即为拍摄区域,以便准确识别帮厨的肢体动作,进而根据识别出的肢体动作控制电子设备显示界面显示帮厨选择的内容,或按照帮厨的选择进行对应的选中等操作。值得注意的是,餐饮业后厨由于油烟大,需要对电子设备进行操作的人员,例如帮厨,其经常需要接触水或油,直接使用手指操作电子设备会造成设备污染,甚至影响电子设备的正常使用,在类似上述不便于用户接触操作的电子设备使用场景中,基于肢体动作识别来操作电子设备的方式优势明显。
人体的活动情况一般是无规律的,将人体指定动作作为操作控制指令的触发条件时会限制拍摄范围内人体的活动。针对上述问题,本实施例的技术方案基于人体基线为操作人员留有一定的活动区域,操作人员在上述活动区域中可自由活动而不会触发电子设备的操作控制指令,提高了人体活动的自由度。具体的,由于人体的头部和身体具有相对稳定的比例关系,例如,人体正常站姿身高为7个或7.5个头高,胳膊的长度从肩关节算起至中指指尖为3个头高,上臂为4/3头高,前臂为5/3个头高,肩宽为2.5个头高,腿部长度为4个头高,大腿和小腿各为2个头高,手部和脚部的长度接近,手的长度与脸部的宽度接近,脚的长度和脸部的高度接近。本实施例根据人体图像以及人体的头部高度确定至少一条人体基线,上述情况下,人体与摄像头的距离发生变化导致的人体图像尺寸变化不会对人体基线的确定产生影响,有效提高了人体动作识别的准确性。
步骤120、根据所述至少一条人体基线确定至少两个检测区域。
检测区域指以肢体进入该区域作为触发对应操作控制指令条件的拍摄范围内的二维区域。具体检测区域的数量与人体基线的条数相关,例如,一条人体基线至少可确定一个检测区域,此外,检测区域的面积和形状可由用户进行设置,考虑到基线为线段,一般检测区域设置为矩形。在本实施例中,至少两个检测区域的设置以至少一条人体基线为对齐基准,以人体头部高度为尺寸基准,且上述至少两个检测区域设置在人体周围,并与人体保持一定的距离,留出人体自由活动区域。
步骤130、确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
指令触发新事件指对应检测区域中有肢体进入,至少两个检测区域中每个检测区域对应一个指令触发新事件。需要注意的是,指令触发新事件与操作控制指令存在一一对应的关联关系,因此,根据至少一个检测区域中发生的指令触发新事件以及该指令触发新事件的关联关系,电子设备控制端获取对应的操作控制指令,并将该操作控制指令发送给电子设备执行端,以控制电子设备执行端执行对应的操作,其中,关联关系可由用户根据需要进行设定。例如,第一检测区域中的指令触发新事件与点击操作控制指令存在关联关系,则确定第一检测区域中有指令触发新事件发生时,电子设备控制端获取点击操作控制指令,并发送给电子设备执行端,控制其执行点击操作。
需要说明的是,本实施例技术方案支持一个检测区域中对应的指令触发新事件发生的情况,也支持多个检测区域同时有对应的指令触发新事件发生的情况。对应的,确认至少一个检测区域中有指令触发新事件发生,可以包括:判断任一检测区域的像素值累加和大于阈值,则确定该检测区域对应的指令触发新事件发生;判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域不同时包括Q1和Q3,以及Q2和Q4,则确定所述不止一个检测区域对应的指令触发新事件发生;判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域同时包括Q1和Q3,和/或Q2和Q4,则确定Q1和Q3,和/或Q2和Q4中像素值累加和较大的检测区域,以及剩余检测区域对应的指令触发新事件发生。以人体右臂上举为例,检测区域Q1和Q3的像素值累加和均大于阈值,但右臂上举为一个触发新事件,因此,为避免识别错误,在Q1和Q3的像素值累加和均大于阈值时,确定累加和较大的检测区域对应的指令触发新事件发生。人体左臂上举的动作识别过程同上。而对于其他情况,例如检测区域Q2和Q5的像素值累加和均大于阈值,由于人体肢体动作的限制,不存在动作识别混淆的情况,因此,可确定Q2和Q5对应的指令触发新事件同时发生,即同时出发两个操作指令,此外,还可以设置将不同检测区域对应的指令触发新事件同时发生作为特定操作指令的触发条件,例如,设置上述Q2和Q5对应的指令触发新事件同时发生作为点击操作的触发条件。其中,阈值可以为255与前景图素点个数的乘积,某一检测区域像素值累加和可通过前景图的积分图进行快速计算。
本发明实施例提供的技术方案,通过获取拍摄范围内的至少一条人体基线,根据所述至少一条人体基线确定至少两个检测区域,并确认至少一个检测区域中有指令触发新事件发生后,获取并发送所述指令触发新事件对应的操作控制指令,采用普通摄像头进行图像拍摄,降低了肢体动作识别所需的设备成本,并有效提高了肢体动作识别的准确率。
实施例二
本实施例二提供一种基于肢体动作识别的控制方法,该方法包括:获取拍摄范围内至少一条人体基线;根据所述至少一条人体基线确定至少两个检测区域;确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。本实施例以实施例一为基础,进一步说明人体基线及检测区域的确定过程。
图2a是本发明实施例二提供的一种获取拍摄范围内至少一条人体基线的方法流程示意图。如图2a所示,该方法具体可以包括:
步骤210、获取不包括人体图像的背景图像,以及包括人体图像的当前图像。
其中,背景图像指在操作人员未进入拍摄范围区域时拍摄的图像;当前图像指操作人员进入拍摄范围区域内后拍摄的图像。
步骤220、根据所述背景图像以及所述当前图像,采用帧差法获取人体图像前景图。
基于背景图像以及当前图像,采用帧差法获得人体的外轮廓,为了使得提取出的目标轮廓完整,需要对帧差后的图像进行膨胀、腐蚀操作。每次完成轮廓提取后,对人体所在的最大矩形区域进行一次背景更新,以提高模型的鲁棒性。之后会定时每N秒更新一次背景模型,其中N可由用户进行设定。根据提取出的人体外轮廓得到人体图像前景图,该人体图像前景图包括以人体轮廓为界限的第一部分和第二部分,每部分图像显示一种颜色,可用于确定人体图像在整幅图像中的位置,并易于对人体图像进行分析。
步骤230、根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H。
具体的,根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H,可以包括:对所述前景图中的人体图像进行投影;根据投影结果确定拍摄范围内人体的头顶位置以及头部高度H。
对前景图中的人体图像进行水平方向和竖直方向的投影,得到对应的高度分布图,在竖直方向的投影高度分布图中,头顶的高度最高,且在肩部与手指端位置均存在明显的变化,可据此并结合水平方向的投影高度分布图得到肩部及头顶的位置,进而将头顶到肩部所在水平线的距离作为人体头部高度H,上述为确定人体的头顶位置和头部高度H的第一种方式。
或者,根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H,可以包括:对所述当前图像进行人脸检测,确定人脸在所述当前图像中的位置;根据人脸在所述当前图像中的位置,确定人脸在所述前景图中的位置;检测所述前景图中所述位置周围的人体图像边界;根据所述人体图像边界,确定拍摄范围内人体的头顶位置以及头部高度H。
使用人脸检测能够在当前图像中确定人脸的位置,但由于人脸检测得到的人脸面积比当前图像中人脸的实际面积小,所以需要结合前景图确定人脸的大小及位置。由于前景图和当前图像是对应的,所以在当前图中确定人脸位置后,可对应到前景图中,再结合前景图中人体头部的外轮廓,即可得到人体头部的位置和高度,并确定人体远离地面的端点为人体头顶位置,上述为确定人体的头顶位置和头部高度H的第二种方式。
步骤240、以所述头顶位置为中点做一条水平线段,设置所述水平线段的长度为7.5H,以所述水平线段为第一基线。
至少一条基线的长度可由用户进行设定,以检测区域能够预留出的人体自由活动区域足够不引起误操作为基础,可选的,设置第一基线的长度为7.5H。
步骤250、根据所述第一基线以及所述头部高度H,确定剩余基线。
具体的,根据所述第一基线以及所述头部高度H,确定剩余基线,可以包括:分别以1H和6H为间隔距离,在所述第一基线靠近地面侧做所述第一基线的两条平行线段l1和l2,所述两条平行线段l1和l2与所述第一基线长度相等,且左端对齐,以l1为第二基线,以l2为第三基线。
图2b是本发明实施例二提供的基线确定过程示意图。如图2b所示,第一基线l以人体头顶为中点,长度为7.5H。第二基线l1与第一基线l的距离为1H,位于第一基线l靠近地面的一侧。第三基线l2与第一基线l的距离为6H,同样位于第一基线l靠近地面的一侧。上述三条基线的长度相同,且同侧端点对齐。图2b中的每个圆圈直径为人体的头部高度。
相应的,根据所述至少一条人体基线确定至少两个检测区域,包括:在所述第一基线背离地面侧构建两个长为2.75,高度为H的矩形Q1和Q2,两个矩形Q1和Q2的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q1和Q2内的区域为第一检测区域和第二检测区域;在所述第一基线靠近地面侧构建两个长为2.75,高度为H的矩形Q3和Q4,两个矩形Q3和Q4的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q3和Q4内的区域为第三检测区域和第四检测区域;在所述第二基线靠近地面侧构建两个长为1.75,高度为2.5的矩形Q5和Q6,两个矩形Q5和Q6的水平间距为4H,且均有一条长边与所述第二基线重合,以两个矩形Q5和Q6内的区域为第五检测区域和第六检测区域;在所述第三基线靠近地面侧构建两个长为2H,高度为1.5的矩形Q7和Q8,两个矩形Q5和Q6的水平间距为0,且均有一条长边与所述第三基线重合,以两个矩形Q7和Q8内的区域为第七检测区域和第八检测区域。
图2c是本发明实施例二提供的检测区域确定过程示意图。如图2c所示,第一基线l、第二基线l1和第三基线l2确定了八个检测区域Q1-Q8,设置方式如上所述。这八个检测区域的设定位置和形状是基于人体易于操作及足够的人体活动范围确定的,可以理解的是,用户能够根据自身需要重新设置检测区域。
本发明实施例提供的技术方案,根据背景图像以及当前图像获取人体图像前景图,根据当前图像和/人体图像前景图得到人体头顶位置和人体头部高度,基于人体头顶位置和人体头部高度做出至少一条人体基线,并进一步基于人体基线和人体头部高度确定至少两个检测区域,通过基线和检测区域的设置,为人体留出了一定的自由活动区域,降低了误操作的发生概率。
实施例三
图3是本发明实施例三提供的一种基于肢体动作识别的控制装置结构示意图。本实施例提供的基于肢体动作识别的控制装置可设置在识别肢体动作以实现控制的电子设备中。参见图3,该基于肢体动作识别的控制装置具体结构如下:
基线获取模块310,用于获取拍摄范围内至少一条人体基线;
区域确定模块320,用于根据所述至少一条人体基线确定至少两个检测区域;
指令获取模块330,用于确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
在本实施例中,所述基线获取模块310可以包括:
图像获取单元,用于获取不包括人体图像的背景图像,以及包括人体图像的当前图像;
前景获取单元,用于根据所述背景图像以及所述当前图像,采用帧差法获取人体图像前景图;
高度获取单元,用于根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H;
线段设置单元,用于以所述头顶位置为中点做一条水平线段,设置所述水平线段的长度为7.5H,以所述水平线段为第一基线;
基线确定单元,用于根据所述第一基线以及所述头部高度H,确定剩余基线。
在本实施例中,所述高度获取单元具体可以用于:
对所述前景图中的人体图像进行投影;
根据投影结果确定拍摄范围内人体的头顶位置以及头部高度H。
在本实施例中,所述高度获取单元具体可以用于:
对所述当前图像进行人脸检测,确定人脸在所述当前图像中的位置;
根据人脸在所述当前图像中的位置,确定人脸在所述前景图中的位置;
检测所述前景图中所述位置周围的人体图像边界;
根据所述人体图像边界,确定拍摄范围内人体的头顶位置以及头部高度H。
在本实施例中,所述基线确定单元具体可以用于:
分别以1H和6H为间隔距离,在所述第一基线靠近地面侧做所述第一基线的两条平行线段l1和l2,所述两条平行线段l1和l2与所述第一基线长度相等,且左端对齐,以l1为第二基线,以l2为第三基线。
在本实施例中,所述区域确定模块320可以包括:
第一区域确定单元,用于在所述第一基线背离地面侧构建两个长为2.75,高度为H的矩形Q1和Q2,两个矩形Q1和Q2的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q1和Q2内的区域为第一检测区域和第二检测区域;
第二区域确定单元,用于在所述第一基线靠近地面侧构建两个长为2.75,高度为H的矩形Q3和Q4,两个矩形Q3和Q4的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q3和Q4内的区域为第三检测区域和第四检测区域;
第三区域确定单元,用于在所述第二基线靠近地面侧构建两个长为1.75,高度为2.5的矩形Q5和Q6,两个矩形Q5和Q6的水平间距为4H,且均有一条长边与所述第二基线重合,以两个矩形Q5和Q6内的区域为第五检测区域和第六检测区域;
第四区域确定单元,用于在所述第三基线靠近地面侧构建两个长为2H,高度为1.5的矩形Q7和Q8,两个矩形Q5和Q6的水平间距为0,且均有一条长边与所述第三基线重合,以两个矩形Q7和Q8内的区域为第七检测区域和第八检测区域。
在本实施例中,所述指令获取模块330具体可以用于:
判断任一检测区域的像素值累加和大于阈值,则确定该检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域不同时包括Q1和Q3,以及Q2和Q4,则确定所述不止一个检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域同时包括Q1和Q3,和/或Q2和Q4,则确定Q1和Q3,和/或Q2和Q4中像素值累加和较大的检测区域,以及剩余检测区域对应的指令触发新事件发生。
本实施例提供的基于肢体动作识别的控制装置,与本发明任意实施例所提供的基于肢体动作识别的控制方法属于同一发明构思,可执行本发明任意实施例所提供的基于肢体动作识别的控制方法,具备相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的基于肢体动作识别的控制过程。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种基于肢体动作识别的控制方法,其特征在于,包括:
获取拍摄范围内至少一条人体基线;
根据所述至少一条人体基线确定至少两个检测区域;
确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
2.根据权利要求1所述的方法,其特征在于,获取拍摄范围内至少一条人体基线,包括:
获取不包括人体图像的背景图像,以及包括人体图像的当前图像;
根据所述背景图像以及所述当前图像,采用帧差法获取人体图像前景图;
根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H;
以所述头顶位置为中点做一条水平线段,设置所述水平线段的长度为7.5H,以所述水平线段为第一基线;
根据所述第一基线以及所述头部高度H,确定剩余基线。
3.根据权利要求2所述的方法,其特征在于,根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H,包括:
对所述前景图中的人体图像进行投影;
根据投影结果确定拍摄范围内人体的头顶位置以及头部高度H。
4.根据权利要求2所述的方法,其特征在于,根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H,包括:
对所述当前图像进行人脸检测,确定人脸在所述当前图像中的位置;
根据人脸在所述当前图像中的位置,确定人脸在所述前景图中的位置;
检测所述前景图中所述位置周围的人体图像边界;
根据所述人体图像边界,确定拍摄范围内人体的头顶位置以及头部高度H。
5.根据权利要求2所述的方法,其特征在于,根据所述第一基线以及所述头部高度H,确定剩余基线,包括:
分别以1H和6H为间隔距离,在所述第一基线靠近地面侧做所述第一基线的两条平行线段l1和l2,所述两条平行线段l1和l2与所述第一基线长度相等,且左端对齐,以l1为第二基线,以l2为第三基线。
6.根据权利要求5所述的方法,其特征在于,根据所述至少一条人体基线确定至少两个检测区域,包括:
在所述第一基线背离地面侧构建两个长为2.75,高度为H的矩形Q1和Q2,两个矩形Q1和Q2的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q1和Q2内的区域为第一检测区域和第二检测区域;
在所述第一基线靠近地面侧构建两个长为2.75,高度为H的矩形Q3和Q4,两个矩形Q3和Q4的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q3和Q4内的区域为第三检测区域和第四检测区域;
在所述第二基线靠近地面侧构建两个长为1.75,高度为2.5的矩形Q5和Q6,两个矩形Q5和Q6的水平间距为4H,且均有一条长边与所述第二基线重合,以两个矩形Q5和Q6内的区域为第五检测区域和第六检测区域;
在所述第三基线靠近地面侧构建两个长为2H,高度为1.5的矩形Q7和Q8,两个矩形Q5和Q6的水平间距为0,且均有一条长边与所述第三基线重合,以两个矩形Q7和Q8内的区域为第七检测区域和第八检测区域。
7.根据权利要求1或6所述的方法,其特征在于,确认至少一个检测区域中有指令触发新事件发生,包括:
判断任一检测区域的像素值累加和大于阈值,则确定该检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域不同时包括Q1和Q3,和/或Q2和Q4,则确定所述不止一个检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域同时包括Q1和Q3,和/或Q2和Q4,则确定Q1和Q3,和/或Q2和Q4中像素值累加和较大的检测区域,以及剩余检测区域对应的指令触发新事件发生。
8.一种基于肢体动作识别的控制装置,其特征在于,包括:
基线获取模块,用于获取拍摄范围内至少一条人体基线;
区域确定模块,用于根据所述至少一条人体基线确定至少两个检测区域;
指令获取模块,用于确认至少一个检测区域中有指令触发新事件发生,获取并发送所述指令触发新事件对应的操作控制指令。
9.根据权利要求8所述的装置,其特征在于,所述基线获取模块包括:
图像获取单元,用于获取不包括人体图像的背景图像,以及包括人体图像的当前图像;
前景获取单元,用于根据所述背景图像以及所述当前图像,采用帧差法获取人体图像前景图;
高度获取单元,用于根据所述前景图以及所述当前图像,获取拍摄范围内人体的头顶位置以及头部高度H;
线段设置单元,用于以所述头顶位置为中点做一条水平线段,设置所述水平线段的长度为7.5H,以所述水平线段为第一基线;
基线确定单元,用于根据所述第一基线以及所述头部高度H,确定剩余基线。
10.根据权利要求9所述的装置,其特征在于,所述高度获取单元具体用于:
对所述前景图中的人体图像进行投影;
根据投影结果确定拍摄范围内人体的头顶位置以及头部高度H。
11.根据权利要求9所述的装置,其特征在于,所述高度获取单元具体用于:
对所述当前图像进行人脸检测,确定人脸在所述当前图像中的位置;
根据人脸在所述当前图像中的位置,确定人脸在所述前景图中的位置;
检测所述前景图中所述位置周围的人体图像边界;
根据所述人体图像边界,确定拍摄范围内人体的头顶位置以及头部高度H。
12.根据权利要求9所述的装置,其特征在于,所述基线确定单元具体用于:
分别以1H和6H为间隔距离,在所述第一基线靠近地面侧做所述第一基线的两条平行线段l1和l2,所述两条平行线段l1和l2与所述第一基线长度相等,且左端对齐,以l1为第二基线,以l2为第三基线。
13.根据权利要求12所述的装置,其特征在于,所述区域确定模块包括:
第一区域确定单元,用于在所述第一基线背离地面侧构建两个长为2.75,高度为H的矩形Q1和Q2,两个矩形Q1和Q2的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q1和Q2内的区域为第一检测区域和第二检测区域;
第二区域确定单元,用于在所述第一基线靠近地面侧构建两个长为2.75,高度为H的矩形Q3和Q4,两个矩形Q3和Q4的水平间距为2H,且均有一条长边与所述第一基线重合,以两个矩形Q3和Q4内的区域为第三检测区域和第四检测区域;
第三区域确定单元,用于在所述第二基线靠近地面侧构建两个长为1.75,高度为2.5的矩形Q5和Q6,两个矩形Q5和Q6的水平间距为4H,且均有一条长边与所述第二基线重合,以两个矩形Q5和Q6内的区域为第五检测区域和第六检测区域;
第四区域确定单元,用于在所述第三基线靠近地面侧构建两个长为2H,高度为1.5的矩形Q7和Q8,两个矩形Q5和Q6的水平间距为0,且均有一条长边与所述第三基线重合,以两个矩形Q7和Q8内的区域为第七检测区域和第八检测区域。
14.根据权利要求8或13所述的装置,其特征在于,所述指令获取模块具体用于:
判断任一检测区域的像素值累加和大于阈值,则确定该检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域不同时包括Q1和Q3,以及Q2和Q4,则确定所述不止一个检测区域对应的指令触发新事件发生;
判断不止一个检测区域的像素值累加和大于阈值,且所述不止一个检测区域同时包括Q1和Q3,和/或Q2和Q4,则确定Q1和Q3,和/或Q2和Q4中像素值累加和较大的检测区域,以及剩余检测区域对应的指令触发新事件发生。
CN201610202178.3A 2016-04-01 2016-04-01 一种基于肢体动作识别的控制方法及装置 Expired - Fee Related CN105912982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610202178.3A CN105912982B (zh) 2016-04-01 2016-04-01 一种基于肢体动作识别的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610202178.3A CN105912982B (zh) 2016-04-01 2016-04-01 一种基于肢体动作识别的控制方法及装置

Publications (2)

Publication Number Publication Date
CN105912982A true CN105912982A (zh) 2016-08-31
CN105912982B CN105912982B (zh) 2020-07-14

Family

ID=56745352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610202178.3A Expired - Fee Related CN105912982B (zh) 2016-04-01 2016-04-01 一种基于肢体动作识别的控制方法及装置

Country Status (1)

Country Link
CN (1) CN105912982B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108006749A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006750A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108304817A (zh) * 2018-02-09 2018-07-20 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置
CN108596067A (zh) * 2018-04-15 2018-09-28 中少科普(北京)教育科技有限公司 一种少先队员敬礼姿势检测校正方法
CN117636698A (zh) * 2023-12-28 2024-03-01 北京奥康达体育科技有限公司 一种学生考试用数字化引体向上辅助训练系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20080170123A1 (en) * 2007-01-12 2008-07-17 Jacob C Albertson Tracking a range of body movement based on 3d captured image streams of a user
CN102509074A (zh) * 2011-10-18 2012-06-20 Tcl集团股份有限公司 一种目标识别方法和设备
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093582A (zh) * 2006-06-19 2007-12-26 索尼株式会社 动作捕捉装置和动作捕捉方法、以及动作捕捉程序
US20080170123A1 (en) * 2007-01-12 2008-07-17 Jacob C Albertson Tracking a range of body movement based on 3d captured image streams of a user
CN102812416A (zh) * 2010-06-17 2012-12-05 松下电器产业株式会社 指示输入装置、指示输入方法、程序、记录介质以及集成电路
CN102509074A (zh) * 2011-10-18 2012-06-20 Tcl集团股份有限公司 一种目标识别方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周韬: "动作捕捉系统在虚拟现实中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
钟艺霖 等: "基于FPGA的肢体动作捕捉系统设计与实现", 《电视技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108006749A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006750A (zh) * 2017-06-21 2018-05-08 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006750B (zh) * 2017-06-21 2023-09-15 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108006749B (zh) * 2017-06-21 2023-09-15 宁波方太厨具有限公司 一种吸油烟机的非接触控制装置及其控制方法
CN108304817A (zh) * 2018-02-09 2018-07-20 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置
WO2019153379A1 (zh) * 2018-02-09 2019-08-15 深圳市沃特沃德股份有限公司 实现手势操作的方法和装置
CN108304817B (zh) * 2018-02-09 2019-10-29 深圳市无限动力发展有限公司 实现手势操作的方法和装置
CN108596067A (zh) * 2018-04-15 2018-09-28 中少科普(北京)教育科技有限公司 一种少先队员敬礼姿势检测校正方法
CN117636698A (zh) * 2023-12-28 2024-03-01 北京奥康达体育科技有限公司 一种学生考试用数字化引体向上辅助训练系统
CN117636698B (zh) * 2023-12-28 2024-06-07 北京奥康达体育科技有限公司 一种学生考试用数字化引体向上辅助训练系统

Also Published As

Publication number Publication date
CN105912982B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN105912982A (zh) 一种基于肢体动作识别的控制方法及装置
CN103376890B (zh) 基于视觉的手势遥控系统
KR101792866B1 (ko) 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
EP3437557B1 (en) Gait analyzing device, gait analyzing method, and computer-readable recording medium
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9836130B2 (en) Operation input device, operation input method, and program
CN104063677A (zh) 用于估计人体姿态的设备和方法
CN109219426B (zh) 康复训练辅助控制装置以及计算机能够读取的记录介质
JP2016101229A (ja) 歩行解析システムおよび歩行解析プログラム
CN104199548B (zh) 一种三维人机交互操作装置、系统及方法
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
CN203386146U (zh) 基于红外视频定位的人机交互装置
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
CN107562205B (zh) 一种智能终端的投影键盘及该投影键盘的操作方法
KR101360322B1 (ko) 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법
KR102615799B1 (ko) 모션 캡쳐 시스템에서의 가상 공간 확장 장치 및 방법
JP2018161529A (ja) リハビリテーション支援装置
JP2013257830A (ja) 情報処理装置
KR100727827B1 (ko) 영상 감시 장치 및 이의 동작 방법
EP2908219A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
Horiuchi et al. Computational foresight: realtime forecast of human body motion
JP6400110B2 (ja) カーソル制御装置及びカーソル制御方法
CN117413295A (zh) 动线解析装置、动线解析方法以及计算机程序
JP2015207908A (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200714

Termination date: 20210401

CF01 Termination of patent right due to non-payment of annual fee