CN103135756B - 生成控制指令的方法和系统 - Google Patents

生成控制指令的方法和系统 Download PDF

Info

Publication number
CN103135756B
CN103135756B CN201110453879.1A CN201110453879A CN103135756B CN 103135756 B CN103135756 B CN 103135756B CN 201110453879 A CN201110453879 A CN 201110453879A CN 103135756 B CN103135756 B CN 103135756B
Authority
CN
China
Prior art keywords
attitude
image
marked region
module
control instruction
Prior art date
Application number
CN201110453879.1A
Other languages
English (en)
Other versions
CN103135756A (zh
Inventor
师丹玮
贺欢
Original Assignee
深圳泰山体育科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201110396235 priority Critical
Priority to CN201110396235.3 priority
Priority to CN2011103962353 priority
Application filed by 深圳泰山体育科技股份有限公司 filed Critical 深圳泰山体育科技股份有限公司
Priority to CN201110453879.1A priority patent/CN103135756B/zh
Publication of CN103135756A publication Critical patent/CN103135756A/zh
Application granted granted Critical
Publication of CN103135756B publication Critical patent/CN103135756B/zh

Links

Abstract

本发明提供了一种生成控制指令的方法和系统,所述方法包括以下步骤:采集包含标记区域的图像;识别标记区域的姿态;生成所述姿态对应的控制指令。本发明通过采集的图像来获取标记区域的姿态,从而获取到对应的控制指令,使得交互设备不需要设置按键和供电装置就能实现生成控制指令。

Description

生成控制指令的方法和系统 【技术领域】
[0001] 本发明涉及人机交互技术领域,尤其涉及一种生成控制指令的方法和系统。 【背景技术】
[0002] 人机交互系统通常由交互设备和被控装置组成,通过交互设备生成控制指令,通 过有线或无线的方式将控制指令发送到被控装置。传统的交互设备通常都具有按键,例如 鼠标,按下按键则产生相应的控制指令,常见的无线鼠标中还设有无线发射装置。然而,传 统的生成控制指令的方法中,在交互设备上必须设置按键和供电装置才能生成控制指令, 因此交互设备无法做到完全的无源(电源)。 【发明内容】
[0003] 基于此,有必要提供一种在交互设备上无需设置按键和供电装置也能生成控制指 令的生成控制指令的方法。
[0004] -种生成控制指令的方法,包括以下步骤:
[0005] 采集包含标记区域的图像;
[0006] 识别标记区域的姿态;
[0007] 生成所述姿态对应的控制指令。
[0008] 优选的,所述图像为二维图像,所述识别标记区域的姿态的步骤包括:
[0009] 获取所述图像中与预设颜色模型匹配的像素,对所述获取的像素进行连通域检 测,提取检测得到的连通域中的所述标记区域;
[0010] 获取所述标记区域中的像素坐标,根据所述像素坐标产生所述标记区域的姿态。 [0011]优选的,所述图像为三维图像,所述识别标记区域的姿态的步骤包括:
[0012] 对所述图像进行分割,提取所述图像中的连通域,计算所述连通域的属性值,将所 述连通域的属性值与预设的标记区域属性值进行对比,所述标记区域为符合所述预设的标 记区域属性值的连通域;
[0013] 获取所述标记区域中的像素坐标,根据所述像素坐标产生所述标记区域的姿态。
[0014] 优选的,在所述识别标记区域的姿态的步骤之前,还包括:判断所述图像为二维图 像还是为三维图像的步骤;
[0015] 若所述图像为二维图像,则所述识别标记区域的姿态的步骤包括:
[0016] 获取所述图像中与预设颜色模型匹配的像素,对所述获取的像素进行连通域检 测,提取检测得到的连通域中的所述标记区域;
[0017] 获取所述标记区域中的像素坐标,根据所述像素坐标产生所述标记区域的姿态;
[0018] 若所述图像为三维图像,则所述识别标记区域产生的姿态的步骤包括:
[0019] 对所述图像进行分割,提取所述图像中的连通域,计算所述连通域的属性值,将所 述连通域的属性值与预设的标记区域属性值进行对比,所述标记区域为符合所述预设的标 记区域属性值的连通域;
[0020]获取所述标记区域中的像素坐标,根据所述像素坐标产生所述标记区域的姿态。 [0021 ]进一步优选的,所述二维图像为二维红外图像。
[0022] 进一步优选的,所述标记区域包括第一连续区域和第二连续区域;所述根据所述 像素坐标产生所述标记区域的姿态的步骤包括:
[0023] 根据所述像素坐标计算第一连续区域的重心和第二连续区域的重心,根据所述第 一连续区域的重心的像素坐标和所述第二连续区域的重心的像素坐标产生所述连续区域 的姿态。
[0024] 优选的,所述生成所述姿态对应的控制指令的步骤包括:
[0025] 获取当前帧图像中的所述标记区域的姿态;
[0026] 根据预设的姿态与控制指令之间的映射关系生成与所述姿态对应的控制指令。
[0027] 优选的,所述图像为图像序列;所述生成所述姿态对应的控制指令的步骤包括:
[0028] 获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记区域的姿 态之间的相对姿态;
[0029] 根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态对应的控 制指令。
[0030] 此外,还有必要提供一种在交互设备上无需设置按键和供电装置也能生成控制指 令的生成控制指令的系统。
[0031] 一种生成控制指令的系统,包括:
[0032] 图像采集模块,用于采集包含标记区域的图像;
[0033] 姿态识别模块,用于识别标记区域的姿态;
[0034] 指令生成模块,用于生成所述姿态对应的控制指令。
[0035] 优选的,所述图像为二维图像,所述姿态识别模块包括:
[0036]第一图像处理模块,用于获取所述图像中与预设颜色模型匹配的像素,并对所述 获取的像素进行连通域检测,提取检测得到的连通域中的所述标记区域;
[0037]第一姿态产生模块,用于获取所述标记区域中的像素坐标,根据所述像素坐标产 生所述标记区域的姿态。
[0038]优选的,所述图像为三维图像,所述姿态识别模块包括:
[0039] 第二图像处理模块,用于对所述图像进行分割,提取所述图像中的连通域,并计算 所述连通域的属性值,将所述连通域的属性值与预设的标记区域属性值进行对比,所述标 记区域为符合所述预设的标记区域属性值的连通域;
[0040] 第二姿态产生模块,用于获取所述标记区域中的像素坐标,根据所述像素坐标产 生所述标记区域的姿态。
[0041]优选的,所述姿态识别模块还包括判断模块,用于判断所述图像为二维图像还是 为三维图像。
[0042] 进一步优选的,所述二维图像为二维红外图像。
[0043] 进一步优选的,所述标记区域包括第一连续区域和第二连续区域;所述第一姿态 产生模块还用于根据所述像素坐标计算第一连续区域的重心和第二连续区域的重心,根据 所述第一连续区域的重心的像素坐标和所述第二连续区域的重心的像素坐标产生所述连 续区域的姿态。
[0044] 优选的,所述指令生成模块包括:
[0045] 第一姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区 域的姿态;
[0046] 第一指令查找模块,用于根据预设的姿态与控制指令之间的映射关系生成与所述 姿态对应的控制指令。
[0047] 进一步优选的,所述图像为图像序列;所述第一姿态获取模块还用于从所述姿态 识别模块中获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记区域的 姿态之间的相对姿态;所述第一指令查找模块还用于根据预设的相对姿态与控制指令之间 的映射关系生成与所述相对姿态对应的控制指令。
[0048] 优选的,所述图像为图像序列;所述指令生成模块包括:
[0049] 第二姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区 域的姿态与上一帧图像中的所述标记区域的姿态之间的相对姿态;
[0050] 第二指令查找模块,用于根据预设的相对姿态与控制指令之间的映射关系生成与 所述相对姿态对应的控制指令。
[0051] 上述生成控制指令的方法和系统,根据采集到的包含标记区域的图像识别出标记 区域所产生的姿态,并生成姿态对应的控制指令。由于可根据标记区域的姿态即可得到相 应的控制指令,因此只要标记区域产生姿态就能生成控制指令,而交互设备本身是不需要 设置按键和供电装置的,即交互设备上无需设置按键和供电装置也能生成控制指令。 【附图说明】
[0052] 图1为本发明中生成控制指令的方法的流程示意图;
[0053] 图2为一个实施例中步骤S20的流程示意图;
[0054]图3为一个实施例中交互设备的结构示意图;
[0055]图4为一个实施例中构建坐标系的示意图;
[0056]图5为另一个实施例中的交互设备的结构示意图;
[0057]图6为另一个实施例中的交互设备的结构示意图;
[0058] 图7为另一个实施例中步骤S20的流程示意图;
[0059] 图8为另个实施例中构建坐标系的不意图;
[0060]图9为一个实施例中步骤S30的流程示意图;
[0061] 图10为另一个实施例中步骤S30的流程示意图;
[0062] 图11为本发明中生成控制指令的系统的结构示意图;
[0063] 图12为一个实施例中姿态识别模块的结构示意图;
[0064] 图13为另一个实施例中姿态识别模块的结构示意图;
[0065] 图14为一个实施例中指令生成模块的结构示意图;
[0066] 图15为另一个实施例中指令生成模块的结构示意图。 【具体实施方式】
[0067] 在一个实施例中,如图1所示,一种生成控制指令的方法,包括以下步骤:
[0068]步骤S10,采集包含标记区域的图像。
[0069] 本实施例中,标记区域是采集的图像中的一个区域,该区域可由交互设备形成。
[0070] 具体的,在一个实施例中,交互设备可以是手持装置,可将手持装置的一部分或全 部设定为指定的颜色或形状,采集手持装置的图像,图像中的手持装置中的该指定颜色或 形状的部分形成标记区域。另外,交互设备还可以是带标记的手持装置,即在手持装置上附 带指定颜色或形状的标记(如反光材料),采集手持装置的图像,图像中的手持装置上所附 带的指定颜色或形状的标记形成标记区域。
[0071] 在另一个实施例中,交互设备还可以是人体部位(例如人脸、手掌、手臂等),采集 人体部位的图像,图像中的人体部位形成标记区域。另外,交互设备还可以是带标记的人体 部位,即在人体部位上附带指定颜色或形状的标记(如反光材料),采集人体部位的图像时, 图像中的该指定颜色或形状的标记形成标记区域。
[0072] 步骤S20,识别标记区域的姿态。
[0073]具体的,对采集到的图像进行处理,提取图像中的标记区域,然后根据标记区域中 的像素在构建的图像坐标系中的像素坐标产生标记区域的姿态。所谓姿态,是指标记区域 在图像中所形成的姿势状态。进一步的,在二维图像中,姿态为二维图像中的标记区域与预 设位置之间的角度,即姿态角;在三维图像中,姿态为二维图像中的标记区域与预设位置之 间的多个姿态角所组成的矢量,即姿态向量。本发明中说的"标记区域产生的姿态","标记 区域的姿态"、"姿态"都是指所述姿态,也就是不同实施例的姿态角与姿态向量。
[0074]步骤S30,生成姿态对应的控制指令。
[0075]本实施例中,预先设定标记区域的姿态与控制指令之间的映射关系,并将该映射 关系存储在数据库中。在识别出标记区域的姿态后,可根据识别出的姿态从数据库中查找 与姿态对应的控制指令。进一步的,还可将查找到的控制指令发送到被控装置。
[0076]其中,被控装置可以是计算机、电视或其他装置。控制指令可以是传统的交互设备 中的特殊指令,如鼠标中的左键或右键点击指令;也可以是应用程序的特殊指令,如多媒体 的开始播放或暂停播放指令。
[0077]由于可生成与识别出的姿态相对应的控制指令,只要交互设备产生姿态就能生成 控制指令,而交互设备本身是不需要设置按键和供电装置的,即在交互设备上无需设置按 键和供电装置也能生成控制指令。
[0078] 如图2所示,在一个实施例中,所采集到的包含标记区域的图像为二维图像,上述 步骤S20的具体过程包括:
[0079] 步骤S202,提取图像中与预设颜色模型匹配的像素,对获取的像素进行连通域检 测,提取检测得到的连通域中的标记区域。
[0080] 具体的,可通过摄像机采集包含标记区域的图像,得到的图像为二维可见光图像。 优选的,还可在摄像机的镜头前加入红外滤光片,用于滤去除红外波段的其他波段光线,则 采集的图像为二维红外图像。由于可见光图像中,场景中的物体会对标记区域的识别形成 干扰,而红外图像因滤除掉了可见光信息,干扰较少,因此二维红外图像更有利于提取标记 区域。
[0081] 本实施例中,预先建立颜色模型。例如标记区域的色彩为红色,则预先建立红色模 型,该模型中像素的RGB值分量可在200到255之间,G、B分量可接近于零;获取采集的图像中 满足该红色模型的RGB值的像素即为红色像素。另外,当采集的图像中由人体部位形成标记 区域时,则可获取采集的图像中与预设肤色模型匹配的像素。对获取的像素进行连通域检 测,得到多个连通域,连通域是若个连续的像素组成的集合。
[0082]本实施例中,由于标记区域的大小和形状应大致是固定不变的,在对获取的像素 进行连通域检测时,可计算得到获取的像素中的所有连通域的周长和/或面积。具体的,连 通域的周长可为连通域边界像素的个数,连通域的面积可为连通域中的全部像素的个数。 进一步的,可将获取的连通域的周长和/或面积与预设标记区域的周长和/或面积进行对 比,获取满足预设标记区域的周长和/或面积的连通域即为标记区域。优选的,还可将周长 的平方与面积的比值作为判断准则,连通域的该比值满足预设标记区域的该比值,则该连 通域为标记区域。
[0083]步骤S204,获取标记区域中的像素坐标,根据所述像素坐标产生标记区域姿态。
[0084] 具体的,在一个实施例中,如图3所示,交互设备包括手持部分和附着于手持部分 的标记,其中,标记可为长条形状的反光材料,优选的,可以为椭圆或矩形形状。在其他实施 例中,交互设备还可为人体部位,如脸、手掌、手臂等,则采集到的图像中的标记区域即为人 体部位的区域。
[0085] 本实施例中,标记区域为一个连续区域,则根据像素坐标产生标记区域的姿态的 过程为:计算得到像素坐标的协方差矩阵,获取协方差矩阵最大特征值对应的特征向量,根 据特征向量产生标记区域的姿态,该标记区域的姿态为一个姿态角。
[0086] 具体的,如图4所示,构建二维图像坐标系,对于该坐标系上的两个点A(ul,vl)和B (u2,v2),其形成的姿态角则为斜率的反正切,即arctan((v2-vl)/(u2-ul))。具体的,本实 施例中,计算提取的标记区域中的像素坐标的协方差矩阵,获取协方差矩阵最大特征值对 应的特征向量,该特征向量的方向即为标记区域长轴所在直线的方向。如图4所示,标记区 域长轴所在直线方向为A、B两点所在直线的方向,设特征向量为[dir_u,dir_v] T,其中, dir_u描述标记区域长轴的方向在u轴上的投影,其绝对值正比于从A指向B的向量在u坐标 轴方向上的投影(即u2-ul);di r_v描述标记区域长轴的方向在v轴上的投影,其绝对值正比 于从A指向B的向量在v坐标轴方向上的投影(即v2-vl)。若dir_uSdir_v小于0,则修正为[-
[0087] 在另一个实施例中,标记区域包括第一连续区域和第二连续区域,则根据所述像 素坐标产生标记区域的姿态的具体过程为:根据像素坐标计算第一连续区域的重心和第二 连续区域的重心,根据第一连续区域的重心的像素坐标和第二连续区域的重心的像素坐标 产生标记区域的姿态。具体的,在一个实施例中,交互设备包括手持部分和附着在手持部分 的两个标记。如图5所示,标记为两个,分别附着在手持部分前端,标记的形状可以为椭圆形 或矩形。优选的,标记可以为位于手持部位前端的两个圆点。如图6所示,可将标记设置在手 持部分的两端。在其他实施例中,还可将标记设置在人体部位上,例如设置在人脸、手掌或 手臂上。应当说明的是,所设置的两个标记可以大小、形状、颜色等特征上不一致。
[0088] 本实施例中,提取的标记区域包括两个连续区域,分别为第一连续区域和第二连 续区域。进一步的,根据像素坐标计算这两个连续区域的重心。具体的,计算连续区域中的 全部像素坐标的平均值,所得到的像素坐标即为连续区域的重心。如图4所示,计算得到的 两个连续区域的重心分别为A(ul,vl)和B(u2,v2),则标记区域的姿态角为斜率的反正切, 即arctan((v2_vl)/(u2_ul))〇
[0089] 在另一个实施例中,所采集的图像可以为三维图像。具体的,可利用传统的立体视 觉系统(由两台空间位置已知的摄像机及相关数据处理设备组成)、结构光系统(右一台摄 像机、一台光源以及相关数据处理设备组成)或T0F(time of flight,飞行时间)深度相机 采集三维图像(即三维深度图像)。
[0090] 本实施例中,如图7所示,步骤S20的具体过程包括:
[0091] 步骤S210,对图像进行分割,提取所述图像中的连通域,计算连通域的属性值,将 连通域的属性值与预设的标记区域属性值进行对比,所述标记区域为符合所述预设的标记 区域属性值的连通域。
[0092] 具体的,当三维深度图像中两个相邻的像素深度相差小于预先设定的阈值时,例 如5厘米,则认为两个像素连通,对整个图像进行连通域检测,可得到包含标记连通域的一 系列连通域。
[0093] 本实施例中,连通域的属性值包括连通域的尺寸和形状。具体的,计算连通域的尺 寸/形状,与交互设备上的标记的尺寸/形状进行对比,得到符合标记的尺寸/形状的连通域 即为标记区域的连通域(标记区域)。以矩形标记为例,即交互设备上的标记在采集的图像 中为矩形,预先设定好标记的长度和宽度,计算连通域对应的物理区域的长度和宽度,该长 度和宽度与标记的长度和宽度越接近,则连通域与标记区域越相似。
[0094] 进一步的,计算连通域对应的物理区域的长度和宽度的过程如下:计算连通域像 素的三维坐标的协方差矩阵,采用如下公式计算连通域对应的物理区域的长度和宽度: / = Λ*λ/Ϊ,其中,k为预先设定的系数,例如设为4,当λ为协方差矩阵最大特征值时,则1为连 通域的长度,当λ为协方差矩阵第二大的特征值时,则1为连通域的宽度。
[0095] 进一步的,还可预先设定矩形标记的长宽比,例如长宽比为2,则连通域对应的物 理区域的长宽比越接近于预设设定的矩形标记的长宽比,则连通域与标记区域越相似,具
Figure CN103135756BD00101
体的,采用如下公式计算连通域对应的物理区域的长宽比 宽比,λ〇为协方差矩阵的最大特征值,心为协方差矩阵的第二大特征值。
[0096]步骤S220,获取标记区域中的像素坐标,根据该像素坐标产生标记区域的姿态。 [0097]具体的,本实施例中,标记区域的姿态为姿态向量。如图8所示,构建三维图像坐标 系,该坐标系为右手坐标系。在该坐标系中,设空间向量〇P,P在平面Χ0Υ的投影为P,则用极 坐标表示向量0P的姿态向量为[0,0]\ (1为角乂〇1),即乂轴到〇1)角,取值范围为〇到36〇度,0为 角pOP,即0P与Χ0Υ平面的夹角,取值范围为-90度到90度。设该坐标系中的空间射线上的两 点为A(xl,yl,zl)和B(x2,y2,z2),则这两点的姿态向量[α,θ] τ可用如下公式唯一确定:
Figure CN103135756BD00102
[0101]本实施例中,提取标记区域后,计算得到标记区域中的像素坐标的协方差矩阵,获 取协方差矩阵最大特征值对应的特征向量,并将该特征向量转换为姿态向量。具体的,设得 到的姿态向量为[虹1\,(1;[巧,(1;[1'2]1',其中,(1;[1\表示两点在1轴方向上的距离,(1;[巧表示两点 在y轴方向上的距离,dirz表示两点在z轴方向上的距离。可认为该姿态向量描述的射线上 有两个点,即(0,0,0)和(dir x,diry,dirz),即射线从原点触发,指向(dirx,dir y,dirz),贝1J姿 态角需满足上述公式(1)和(2),令上述公式(1)和(2)中的xl = 0,yl = 0,zl = 0,x2 = dirx, y2 = diry,z2 = dirz,即可得到姿态向量[α,θ]τ。
[0102] 在一个实施例中,标记区域为一个连续区域,则根据像素坐标产生标记区域的姿 态的过程为:计算得到像素坐标的协方差矩阵,获取协方差矩阵最大特征值对应的特征向 量,根据特征向量产生标记区域的姿态。如上所述,该标记区域的姿态为一个姿态向量。
[0103] 在另一个实施例中,标记区域包括第一连续区域和第二连续区域,则根据所述像 素坐标产生标记区域的姿态的具体过程为:根据像素坐标计算第一连续区域的重心和第二 连续区域的重心,根据第一连续区域的重心的像素坐标和第二连续区域的重心的像素坐标 计算标记区域的姿态。如图8所示,本实施例中,标记区域中的像素坐标为三维坐标,具体 的,可根据计算得到的两个连续区域的重心的像素坐标产生标记区域的姿态,该姿态为一 个姿态向量。
[0104] 在一个实施例中,在识别标记区域的姿态的步骤之前还可包括:判断采集的图像 为二维图像还是三维图像的步骤。具体的,若采集的图像为二维图像,则执行上述步骤S202 至步骤S204,若采集的图像为三维图像,则执行上述步骤S210至S220。
[0105]如图9所示,在一个实施例中,上述步骤S30的具体过程包括:
[0106] 步骤S302,获取当前帧图像中的所述标记区域的姿态。
[0107] 如上所述,步骤S302中获取的姿态可以是当前帧的二维图像中的标记区域的姿态 (即姿态角),也可以是当前帧的三维深图像中的标记区域的姿态(即姿态向量)。本实施例 中,预先设定了姿态与控制指令之间的映射关系。该姿态也可称为绝对姿态。
[0108] 步骤S304,根据预设的姿态与控制指令之间的映射关系生成与所述姿态对应的控 制指令。
[0109] 例如,控制指令为鼠标左键指令和右键指令。以二维图像为例,姿态角的取值范围 为-180度到180度。可预先设定当前帧图像中的姿态角在(a,b)的范围内,则触发左键指令, 当前帧图像中的姿态角在(c,d)的范围内,则触发右键指令。其中,a、b、c、d都为预先设定的 角度,满足a<b,c<d,且集合[a,b]和集合[c,d]的交集为空。。
[0110] 另外,在三维图像中,所识别出的姿态包含两个姿态角,可以使用其中的一个姿态 角来获取控制指令,也可以使用两个姿态角来获取控制指令。使用其中一个姿态角的方法 原理与二维图像类似,在此则不再赘述。使用两个姿态角时,可设置若两个姿态角均在预先 设定的指令触发范围内时,才触发控制指令。
[0111] 如图10所示,在另一个实施例中,采集的包含标记区域的图像为图像序列,上述步 骤S30的具体过程包括:
[0112] 步骤S310,获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记 区域的姿态之间的相对姿态。
[0113] 本实施例中,可实时采集由多个包含标记区域的图像组成的图像序列。如上所述, 步骤S310中获取的姿态可以是当前帧图像和上一帧图像中的标记区域的姿态角,也可以是 当前帧图像和上一帧图像中的标记区域的姿态向量。当前帧图像中的姿态与上一帧图像中 的姿态之间的相对姿态为两者的差值。
[0114] 步骤S320,根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态 对应的控制指令。
[0115] 例如,以二维图像为例,相对姿态为相对姿态角,可预先设定当前帧图像的姿态角 比上一帧的姿态角增加大于30度,即相对姿态角大于30度时,则触发鼠标的左键指令,当前 帧图像的姿态角比上一帧的姿态角减少大于40度时,即相对姿态角小于-40度时,则触发鼠 标的右键指令。三维图像的原理与其类似,在此则不再赘述。
[0116] 在三维图像中,所识别出的姿态包含两个姿态角,可以使用其中的一个姿态角来 获取控制指令,也可以使用两个姿态角来获取控制指令。使用其中一个姿态角的方法原理 与二维图像类似,在此则不再赘述。使用两个姿态角时,可设置若两个姿态角变化均满足预 设条件时,例如第一个姿态角变化大于预先设定的第一阈值,第二个姿态角变化大于预先 设定的第二阈值,则触发控制指令。
[0117] 在一个实施例中,如图11所示,一种生成控制指令的系统,包括图像采集模块10、 姿态识别模块20和指令生成模块30,其中:
[0118] 图像采集模块10用于采集包含标记区域的图像。
[0119] 本实施例中,标记区域是采集的图像中的一个区域,该区域可由交互设备形成。具 体的,在一个实施例中,交互设备可以是手持装置,可将手持装置的一部分或全部设定为指 定的颜色或形状,采集手持装置的图像,图像中的手持装置中的该指定颜色或形状的部分 形成标记区域。另外,交互设备还可以是带标记的手持装置,即在手持装置上附带指定颜色 或形状的标记(如反光材料),采集手持装置的图像,图像中的手持装置上所附带的指定颜 色或形状的标记形成标记区域。
[0120] 在另一个实施例中,交互设备还可以是人体部位(例如人脸、手掌、手臂等),采集 人体部位的图像,图像中的人体部位形成标记区域。另外,交互设备还可以是带标记的人体 部位,即在人体部位上附带指定颜色或形状的标记(如反光材料),采集人体部位的图像时, 图像中的该指定颜色或形状的标记形成标记区域。
[0121] 姿态识别模块20用于识别标记区域的姿态。
[0122] 具体的,对采集到的图像进行处理,提取图像中的标记区域,然后根据标记区域中 的像素在构建的图像坐标系中的像素坐标获取标记区域的姿态。所谓姿态,是指标记区域 在图像中所形成的姿势状态。进一步的,在二维图像中,姿态为二维图像中的标记区域与预 设位置之间的角度,即姿态角;在三维图像中,姿态为二维图像中的标记区域与预设位置之 间的多个姿态角所组成的矢量,即姿态向量。本发明中说的"标记区域产生的姿态","标记 区域的姿态"都是指所述姿态,也就是不同实施例的姿态角与姿态向量。
[0123] 指令生成模块30用于生成姿态对应的控制指令。
[0124] 本实施例中,预先设定标记区域的姿态与控制指令之间的映射关系,并将该映射 关系存储在数据库(图中未示出)中。在识别出标记区域的姿态后,指令生成模块30可用于 根据姿态识别模块20识别出的姿态从数据库中查找与姿态对应的控制指令。进一步的,还 可将查找到控制指令发送到被控装置。
[0125] 其中,被控装置可以是计算机、电视或其他装置。控制指令可以是传统的交互设备 中的特殊指令,如鼠标中的左键或右键点击指令;也可以是应用程序的特殊命令,如多媒体 的开始播放或暂停播放指令。
[0126] 由于指令生成模块30可生成与识别出的姿态相对应的控制指令,只要交互设备产 生姿态就能生成控制指令,而交互设备本身是不需要设置按键和供电装置的,即在交互设 备上无需设置按键和供电装置也能生成控制指令。
[0127] 如图12所示,在一个实施例中,图像采集模块10采集到的图像为二维图像,姿态识 别模块20包括第一图像处理模块202和第一姿态产生模块204,其中:
[0128] 第一图像处理模块202用于提取图像中与预设颜色模型匹配的像素,对获取的像 素进行连通域检测,提取检测得到的连通域中的标记区域。
[0129] 具体的,图像采集模块10可为摄像机,其采集得到的图像可为二维可见光图像。优 选的,还可在摄像机的镜头前加入红外滤光片,用于滤去除红外波段的其他波段光线,则图 像采集模块10采集的图像为二维红外图像。由于可见光图像中,场景中的物体会对标记区 域的识别形成干扰,而红外图像因滤除掉了可见光信息,干扰较少,因此二维红外图像更有 利于提取标记区域。
[0130]具体的,第一图像处理模块202用于预先建立颜色模型。例如标记区域的色彩为红 色,则预先建立红色模型,该模型中像素的RGB值分量可在200到255之间,G、B分量可接近于 零;第一图像处理模块202则用于获取帧图像中满足该红色模型的RGB值的像素即为红色像 素。另外,当采集的图像中由人体部位形成标记区域时,第一图像处理模块202则用于获取 图像中与预设肤色模型匹配的像素。第一图像处理模块202还用于对获取的像素进行连通 域检测,得到多个连通域,连通域是若个连续的像素组成的集合。
[0131] 本实施例中,由于标记区域的大小和形状应大致是固定不变的,第一图像处理模 块202在对获取的像素进行连通域检测时,可计算得到获取的像素中的所有连通域的周长 和/或面积。具体的,连通域的周长可为连通域边界像素的个数,连通域的面积可为连通域 中的全部像素的个数。进一步的,第一图像处理模块202可用于将获取的连通域的周长和/ 或面积与预设标记区域的周长和/或面积进行对比,获取满足预设标记区域的周长和/或面 积的连通域即为标记区域。优选的,第一图像处理模块202还可用于将周长的平方与面积的 比值作为判断准则,连通域的该比值满足预设标记区域的该比值,则该连通域为标记区域。
[0132] 第一姿态产生模块204用于获取标记区域中的像素坐标,根据该像素坐标产生标 记区域的姿态。
[0133] 本实施例中,标记区域产生的姿态为姿态角。在一个实施例中,标记区域为一个连 续区域,则第一姿态产生模块204用于计算得到像素坐标的协方差矩阵,获取协方差矩阵最 大特征值对应的特征向量,根据特征向量产生标记区域的姿态,该标记区域的姿态为一个 姿态角。
[0134] 在另一个实施例中,标记区域包括第一连续区域和第二连续区域,则第一姿态产 生模块204用于根据像素坐标计算第一连续区域的重心和第二连续区域的重心,根据第一 连续区域的重心的像素坐标和第二连续区域的重心的像素坐标计算标记区域的姿态。具体 的,计算连续区域中的全部像素坐标的平均值,所得到的像素坐标即为连续区域的重心。
[0135] 在另一个实施例中,图像采集模块10采集到的图像为三维图像。具体的,图像采集 模块10可采用传统的立体视觉系统(由两台控制位置已知的摄像机及相关软件组成)、结构 光系统(右一台摄像机、一台光源以及相关软件组成)或T0F(time of flight,飞行时间)深 度相机实现采集三维图像(即三维深度图像)。
[0136] 本实施例中,如图13所示,姿态识别模块20包括第二图像处理模块210和第二姿态 产生模块220,其中:
[0137] 第二图像处理模块210用于对所述图像进行分割,提取图像中的连通域,并计算连 通域的属性值,将连通域的属性值与预设的标记区域属性值进行对比,所述标记区域为符 合所述预设的标记区域属性值的连通域。
[0138] 具体的,第二图像处理模块210用于当三维图像中两个相邻的像素深度相差小于 预先设定的阈值时,例如5厘米,则认为两个像素连通,对整个图像进行连通域检测,可得到 包含标记连通域的一系列连通域。。
[0139] 本实施例中,连通域的属性值包括连通域的尺寸和形状。具体的,第二图像处理模 块210用于计算连通域的尺寸/形状,与交互设备上的标记的尺寸/形状进行对比,得到符合 标记的尺寸/形状的连通域即为标记区域的连通域(标记区域)。以矩形标记为例,即交互设 备上的标记在采集的图像中为矩形,预先设定好标记的长度和宽度,第二图像处理模块210 则用于计算连通域对应的物理区域的长度和宽度,该长度和宽度与标记的长度和宽度越接 近,贝连通域与标记区域越相似。
[0140]进一步的,第二图像处理模块210用于计算连通域对应的物理区域的长度和宽度 的过程如下:计算连通域像素的三维坐标的协方差矩阵,采用如下公式计算连通域对应的 物理区域的长度和宽度:/ = A * VI,其中,k为预先设定的系数,例如设为4,当λ为协方差矩 阵最大特征值时,则1为连通域的长度,当λ为协方差矩阵第二大的特征值时,则1为连通域 的宽度。
[0141] 进一步的,第二图像处理模块210还可用于预先设定矩形标记的长宽比,例如长宽 比为2,则连通域对应的物理区域的长宽比越接近于预设设定的矩形标记的长宽比,则连通 域与标记区域越相似,具体的,属性匹配模块234用于采用如下公式计算连通域对应的物理 区域的长宽比:
Figure CN103135756BD00141
,其中,r为连通域的长宽比,λ。为协方差矩阵的最大特征值为协 方差矩阵的第二大特征值。
[0142] 第二姿态产生模块220用于获取标记区域中的像素坐标,根据所述像素坐标产生 标记区域的姿态。
[0143] 本实施例中,标记区域的姿态为姿态向量。在一个实施例中,标记区域为一个连续 区域,则第二姿态产生模块220用于计算得到像素坐标的协方差矩阵,获取协方差矩阵最大 特征值对应的特征向量,根据特征向量产生标记区域的姿态。如上所述,该标记区域的姿态 为一个姿态向量。
[0144] 在另一个实施例中,标记区域包括第一连续区域和第二连续区域,则第二姿态产 生模块220用于根据像素坐标计算第一连续区域的重心和第二连续区域的重心,根据第一 连续区域的重心的像素坐标和第二连续区域的重心的像素坐标产生标记区域的姿态。本实 施例中,标记区域中的像素坐标为三维坐标,具体的,可根据计算得到的两个连续区域的重 心的像素坐标产生标记区域的姿态,该姿态为一个姿态向量。
[0145] 在一个实施例中,姿态识别模块20还包括判断模块(图中未示出),用于判断采集 的图像为二维图像还是三维图像。具体的,本实施例中,当判断模块判断到采集的图像为二 维图像时,则通知第一图像处理模块202提取二维图像中的标记区域,进而通过第一姿态产 生模块204产生该标记区域的姿态。当判断模块判断到采集的图像为二维图像时,则通知第 二图像处理模块210提取三维图像中的标记区域,进而通过第二姿态产生模块220产生该标 记区域的姿态。可以理解的,本实施例中,姿态识别模块20同时包括判断模块(图中未示 出)、第一图像处理模块202、第一姿态产生模块204、第二图像处理模块210和第二姿态产生 模块220。本实施例既可通过二维图像识别标记区域的姿态,又可通过二维图像识别标记区 域的姿态。
[0146] 如图14所示,在一个实施例中,指令生成模块30包括第一姿态获取模块302和第一 指令查找模块304,其中:
[0147] 第一姿态获取模块302用于从姿态识别模块20中获取当前帧图像中的所述标记区 域的姿态。
[0148] 具体的,该姿态可以是当前帧的二维图像中的标记区域的姿态角,也可以是当前 帧的三维深度图像中的标记区域的姿态向量。本实施例中,预先设定了姿态与控制指令之 间的映射关系。该姿态也可称为绝对姿态。
[0149] 第一指令查找模块304用于根据预设的姿态与控制指令之间的映射关系生成与所 述姿态对应的控制指令。
[0150]本实施例中,所采集的包含标记区域的图像可以是图像序列。第一姿态获取模块 302还用于从姿态识别模块20中获取当前帧图像中的标记区域的姿态与上一帧图像中的标 记区域的姿态之间的相对姿态。第一指令查找模块304还用于根据预设的相对姿态与控制 指令之间的映射关系生成与相对姿态对应的控制指令。
[0151] 在另一个实施例中,所采集的包含标记区域的图像可以是图像序列。如图15所示, 指令生成模块30包括第二姿态获取模块310和第二指令查找模块320,其中:
[0152] 第二姿态获取模块用于从姿态识别模块20中获取当前帧图像中的标记区域的姿 态与上一帧图像中的标记区域的姿态之间的相对姿态。
[0153] 第二指令查找模块320用于根据预设的相对姿态与控制指令之间的映射关系生成 与相对姿态对应的控制指令。
[0154] 上述生成控制指令的方法和系统,通过识别标记区域的姿态,根据预设的姿态与 控制指令之间的映射关系生成与标记区域的姿态对应的控制指令,从而可实现根据标记区 域的不同姿态来生成不同的控制指令。本发明除了可以采用手持的交互设备,还可以将人 体部位作为交互设备,通过识别人体姿态或设置在人体部位上的标记的姿态来生成控制指 令。本发明不需要在交互设备上设置按键和供电装置,实现了交互设备的完全无源。
[0155] 此外,本发明将传统的交互设备进行了简单化,能够降低成本,由于本发明中的交 互设备可以是无源的手持装置或人体部位,减少了电池的重量,因此易于使用;用户可以通 过对手持装置或人体部位进行简单的操控就能产生各种控制指令,因此提高了用户操作的 便利性,大大满足了用户的体验需求。
[0156] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并 不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员 来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保 护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1. 一种生成控制指令的方法,包括以下步骤: 采集包含标记区域的图像; 判断所述图像为二维图像还是为三维图像; 识别标记区域的姿态,若所述图像为二维图像,获取所述图像中与预设颜色模型匹配 的像素,对所述获取的像素进行连通域检测,提取检测得到的连通域中的所述标记区域,获 取所述标记区域中的像素坐标,根据所述像素坐标产生所述标记区域的姿态;若所述图像 为三维图像,对所述图像进行分割,提取所述图像中的连通域,计算所述连通域的属性值, 将所述连通域的属性值与预设的标记区域属性值进行对比,所述标记区域为符合所述预设 的标记区域属性值的连通域,获取所述标记区域中的像素坐标,根据所述像素坐标产生所 述标记区域的姿态; 生成所述姿态对应的控制指令; 其特征在于,若所述图像为二维图像,根据像素坐标产生标记区域的姿态的过程为:计 算得到像素坐标的协方差矩阵,获取协方差矩阵最大特征值对应的特征向量,根据特征向 量产生标记区域的姿态;若所述图像为三维图像,标记区域的姿态为姿态向量,提取标记区 域后,计算得到标记区域中的像素坐标的协方差矩阵,获取协方差矩阵最大特征值对应的 特征向量,并将该特征向量转换为姿态向量。
2. 根据权利要求1所述的生成控制指令的方法,其特征在于,所述二维图像为二维红外 图像。
3. 根据权利要求1所述的生成控制指令的方法,其特征在于,所述标记区域包括第一连 续区域和第二连续区域;所述根据所述像素坐标产生所述标记区域的姿态的步骤包括: 根据所述像素坐标计算第一连续区域的重心和第二连续区域的重心,根据所述第一连 续区域的重心的像素坐标和所述第二连续区域的重心的像素坐标产生所述连续区域的姿 ίέτ 〇
4. 根据权利要求1所述的生成控制指令的方法,其特征在于,所述生成所述姿态对应的 控制指令的步骤包括: 获取当前帧图像中的所述标记区域的姿态; 根据预设的姿态与控制指令之间的映射关系生成与所述姿态对应的控制指令。
5. 根据权利要求4所述的生成控制指令的方法,其特征在于,所述图像为图像序列;所 述生成所述姿态对应的控制指令的步骤包括: 获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记区域的姿态之 间的相对姿态; 根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态对应的控制指 令。
6. 根据权利要求3所述的生成控制指令的方法,其特征在于,所述生成所述姿态对应的 控制指令的步骤包括: 获取当前帧图像中的所述标记区域产生的姿态; 根据预设的姿态与控制指令之间的映射关系生成与所述姿态对应的控制指令。
7. 根据权利要求1或9所述的生成控制指令的方法,其特征在于,所述图像为图像序列; 所述生成所述姿态对应的控制指令的步骤包括: 获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记区域的姿态之 间的相对姿态; 根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态对应的控制指 令。
8. 根据权利要求3所述的生成控制指令的方法,其特征在于,所述图像为图像序列;所 述生成所述姿态对应的控制指令的步骤包括: 获取当前帧图像中的所述标记区域的姿态与上一帧图像中的所述标记区域的姿态之 间的相对姿态; 根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态对应的控制指 令。
9. 一种生成控制指令的系统,其特征在于,包括: 图像采集模块,用于采集包含标记区域的图像; 姿态识别模块,用于识别标记区域的姿态,所述姿态识别模块还包括判断模块,第一图 像处理模块,第一姿态产生模块,第二图像处理模块,第二姿态产生模块; 判断模块,用于判断所述图像为二维图像还是为三维图像; 第一图像处理模块,用于获取所述图像中与预设颜色模型匹配的像素,并对所述获取 的像素进行连通域检测,提取检测得到的连通域中的所述标记区域; 第一姿态产生模块,用于获取所述标记区域中的像素坐标,根据所述像素坐标产生所 述标记区域的姿态,其中,根据像素坐标产生标记区域的姿态的过程为:计算得到像素坐标 的协方差矩阵,获取协方差矩阵最大特征值对应的特征向量,根据特征向量产生标记区域 的姿态; 第二图像处理模块,用于对所述图像进行分割,提取所述图像中的连通域,并计算所述 连通域的属性值,将所述连通域的属性值与预设的标记区域属性值进行对比,所述标记区 域为符合所述预设的标记区域属性值的连通域; 第二姿态产生模块,用于获取所述标记区域中的像素坐标,根据所述像素坐标产生所 述标记区域的姿态,其中,标记区域的姿态为姿态向量,提取标记区域后,计算得到标记区 域中的像素坐标的协方差矩阵,获取协方差矩阵最大特征值对应的特征向量,并将该特征 向量转换为姿态向量; 指令生成模块,用于生成所述姿态对应的控制指令。
10. 根据权利要求9所述的生成控制指令的系统,其特征在于,所述二维图像为二维红 外图像。
11. 根据权利要求9所述的生成控制指令的方法,其特征在于,所述标记区域包括第一 连续区域和第二连续区域;所述第一姿态产生模块还用于根据所述像素坐标计算第一连续 区域的重心和第二连续区域的重心,根据所述第一连续区域的重心的像素坐标和所述第二 连续区域的重心的像素坐标产生所述连续区域的姿态。
12. 根据权利要求9所述的生成控制指令的系统,其特征在于,所述指令生成模块包括: 第一姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区域的 姿态; 第一指令查找模块,用于根据预设的姿态与控制指令之间的映射关系生成与所述姿态 对应的控制指令。
13. 根据权利要求12所述的生成控制指令的系统,其特征在于,所述图像为图像序列; 所述第一姿态获取模块还用于从所述姿态识别模块中获取当前帧图像中的所述标记区域 的姿态与上一帧图像中的所述标记区域的姿态之间的相对姿态;所述第一指令查找模块还 用于根据预设的相对姿态与控制指令之间的映射关系生成与所述相对姿态对应的控制指 令。
14. 根据权利要求11所述的生成控制指令的系统,其特征在于,所述指令生成模块包 括: 第一姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区域的 姿态; 第一指令查找模块,用于根据预设的姿态与控制指令之间的映射关系生成与所述姿态 对应的控制指令。
15. 根据权利要求9或14所述的生成控制指令的系统,其特征在于,所述图像为图像序 列;所述指令生成模块包括: 第二姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区域的 姿态与上一帧图像中的所述标记区域的姿态之间的相对姿态; 第二指令查找模块,用于根据预设的相对姿态与控制指令之间的映射关系生成与所述 相对姿态对应的控制指令。
16. 根据权利要求11所述的生成控制指令的系统,其特征在于,所述图像为图像序列; 所述指令生成模块包括: 第二姿态获取模块,用于从所述姿态识别模块中获取当前帧图像中的所述标记区域的 姿态与上一帧图像中的所述标记区域的姿态之间的相对姿态; 第二指令查找模块,用于根据预设的相对姿态与控制指令之间的映射关系生成与所述 相对姿态对应的控制指令。
CN201110453879.1A 2011-12-02 2011-12-29 生成控制指令的方法和系统 CN103135756B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110396235 2011-12-02
CN201110396235.3 2011-12-02
CN2011103962353 2011-12-02
CN201110453879.1A CN103135756B (zh) 2011-12-02 2011-12-29 生成控制指令的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110453879.1A CN103135756B (zh) 2011-12-02 2011-12-29 生成控制指令的方法和系统

Publications (2)

Publication Number Publication Date
CN103135756A CN103135756A (zh) 2013-06-05
CN103135756B true CN103135756B (zh) 2016-05-11

Family

ID=48488552

Family Applications (12)

Application Number Title Priority Date Filing Date
CN201110451741.8A CN103135755B (zh) 2011-12-02 2011-12-29 交互系统及方法
CN201110453879.1A CN103135756B (zh) 2011-12-02 2011-12-29 生成控制指令的方法和系统
CN201110451724.4A CN103135754B (zh) 2011-12-02 2011-12-29 采用交互设备实现交互的方法
CN201210011346.2A CN103135882B (zh) 2011-12-02 2012-01-13 控制窗口图片显示的方法和系统
CN201210011308.7A CN103135881B (zh) 2011-12-02 2012-01-13 显示控制方法及系统
CN201210023419XA CN103139508A (zh) 2011-12-02 2012-02-02 控制电视画面显示的方法和系统
CN201210024389.4A CN103127717B (zh) 2011-12-02 2012-02-03 控制操作游戏的方法及系统
CN201210024483.XA CN103135883B (zh) 2011-12-02 2012-02-03 控制窗口的方法及系统
CN201210025300.6A CN103135453B (zh) 2011-12-02 2012-02-06 家用电器控制方法及系统
CN201210031595.8A CN103136986B (zh) 2011-12-02 2012-02-13 手语识别方法及系统
CN201210032934.4A CN103135759B (zh) 2011-12-02 2012-02-14 多媒体播放控制方法和系统
CN201210032932.5A CN103135758B (zh) 2011-12-02 2012-02-14 实现快捷功能的方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110451741.8A CN103135755B (zh) 2011-12-02 2011-12-29 交互系统及方法

Family Applications After (10)

Application Number Title Priority Date Filing Date
CN201110451724.4A CN103135754B (zh) 2011-12-02 2011-12-29 采用交互设备实现交互的方法
CN201210011346.2A CN103135882B (zh) 2011-12-02 2012-01-13 控制窗口图片显示的方法和系统
CN201210011308.7A CN103135881B (zh) 2011-12-02 2012-01-13 显示控制方法及系统
CN201210023419XA CN103139508A (zh) 2011-12-02 2012-02-02 控制电视画面显示的方法和系统
CN201210024389.4A CN103127717B (zh) 2011-12-02 2012-02-03 控制操作游戏的方法及系统
CN201210024483.XA CN103135883B (zh) 2011-12-02 2012-02-03 控制窗口的方法及系统
CN201210025300.6A CN103135453B (zh) 2011-12-02 2012-02-06 家用电器控制方法及系统
CN201210031595.8A CN103136986B (zh) 2011-12-02 2012-02-13 手语识别方法及系统
CN201210032934.4A CN103135759B (zh) 2011-12-02 2012-02-14 多媒体播放控制方法和系统
CN201210032932.5A CN103135758B (zh) 2011-12-02 2012-02-14 实现快捷功能的方法及系统

Country Status (1)

Country Link
CN (12) CN103135755B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349197B (zh) * 2013-08-09 2019-07-26 联想(北京)有限公司 一种数据处理方法及装置
JP5411385B1 (ja) * 2013-08-12 2014-02-12 株式会社 ディー・エヌ・エー ゲームを提供するサーバ及び方法
CN104801042A (zh) * 2014-01-23 2015-07-29 鈊象电子股份有限公司 根据玩家挥手范围切换游戏画面的方法
CN103810922B (zh) * 2014-01-29 2016-03-23 上海天昊信息技术有限公司 手语翻译系统
CN103902045A (zh) * 2014-04-09 2014-07-02 深圳市中兴移动通信有限公司 通过非接触式姿势操作壁纸的方法及装置
CN105094785A (zh) * 2014-05-20 2015-11-25 腾讯科技(深圳)有限公司 一种配色文件生成方法及装置
CN104391573B (zh) * 2014-11-10 2017-05-03 北京华如科技股份有限公司 一种基于单姿态传感器识别投掷动作的方法及装置
CN104460988B (zh) * 2014-11-11 2017-12-22 陈琦 一种智能手机虚拟现实设备的输入控制方法
KR101608172B1 (ko) 2014-12-22 2016-03-31 주식회사 넥슨코리아 객체를 제어하는 방법 및 장치
CN106139590B (zh) * 2015-04-15 2019-12-03 乐线韩国股份有限公司 控制对象的方法和装置
US10543427B2 (en) * 2015-04-29 2020-01-28 Microsoft Technology Licensing, Llc Game controller function remapping via external accessory
CN105204354A (zh) 2015-09-09 2015-12-30 北京百度网讯科技有限公司 智能家居设备的控制方法及装置
US10234955B2 (en) * 2015-09-28 2019-03-19 Nec Corporation Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
CN105892638A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技(天津)有限公司 一种虚拟现实交互方法、装置和系统
CN106896732B (zh) * 2015-12-18 2020-02-04 美的集团股份有限公司 家用电器的展示方法和装置
CN105592367A (zh) * 2015-12-23 2016-05-18 青岛海信电器股份有限公司 一种图像显示参数调节方法和系统
CN105760106B (zh) * 2016-03-08 2019-01-15 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN105930050B (zh) * 2016-04-13 2018-01-26 腾讯科技(深圳)有限公司 行为确定方法及装置
CN106682593A (zh) * 2016-12-12 2017-05-17 山东师范大学 一种基于手势识别的手语会议方法及系统
CN108668042B (zh) * 2017-03-30 2021-01-15 富士施乐实业发展(中国)有限公司 一种复合机系统
CN109558000B (zh) 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
CN107831996B (zh) * 2017-10-11 2021-02-19 Oppo广东移动通信有限公司 人脸识别启动方法及相关产品
CN107861682A (zh) * 2017-11-03 2018-03-30 网易(杭州)网络有限公司 虚拟对象的移动控制方法和装置
CN108228251A (zh) * 2017-11-23 2018-06-29 腾讯科技(上海)有限公司 游戏应用中控制目标对象的方法和装置
CN108036479A (zh) * 2017-12-01 2018-05-15 广东美的制冷设备有限公司 空调器的控制方法、系统、视觉控制器和存储介质
CN110007748B (zh) * 2018-01-05 2021-02-19 Oppo广东移动通信有限公司 终端的控制方法、处理装置、存储介质及终端
WO2019153971A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 视觉交互装置及标记物
CN108693781A (zh) * 2018-07-31 2018-10-23 湖南机电职业技术学院 智能家居控制系统
CN109711349A (zh) * 2018-12-28 2019-05-03 百度在线网络技术(北京)有限公司 用于生成控制指令的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265240A (zh) * 2008-10-27 2011-11-30 索尼电脑娱乐公司 确定球体联结控制器的位置和运动

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH0918708A (ja) * 1995-06-30 1997-01-17 Omron Corp 画像処理方法およびその方法を用いた画像入力装置,制御装置,画像出力装置,ならびに画像処理システム
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
WO2005031552A2 (en) * 2003-09-30 2005-04-07 Koninklijke Philips Electronics, N.V. Gesture to define location, size, and/or content of content window on a display
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
CN100345085C (zh) * 2004-12-30 2007-10-24 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法
JP2009514106A (ja) * 2005-10-26 2009-04-02 株式会社ソニー・コンピュータエンタテインメント コンピュータプログラムとインタフェースするためのシステムおよび方法
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
WO2009124181A2 (en) * 2008-04-02 2009-10-08 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101388138B (zh) * 2007-09-12 2011-06-29 原相科技股份有限公司 互动图像系统、互动装置及其运作方法
CN101398896B (zh) * 2007-09-28 2012-10-17 三星电子株式会社 用于成像设备的提取有强识别力的颜色特征的设备和方法
JP4938617B2 (ja) * 2007-10-18 2012-05-23 幸輝郎 村井 オブジェクト操作装置、及び、デジタル画像フレームデータからマーカを特定する方法
CN101483005A (zh) * 2008-01-07 2009-07-15 致伸科技股份有限公司 多媒体文件播放遥控装置
JP5174492B2 (ja) * 2008-03-05 2013-04-03 公立大学法人首都大学東京 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN101551700B (zh) * 2008-03-31 2012-03-28 联想(北京)有限公司 电子游戏输入装置、电子游戏设备及电子游戏输入方法
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
CN101504728B (zh) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 一种电子设备的遥控系统及其遥控方法
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
CN101465116B (zh) * 2009-01-07 2013-12-11 北京中星微电子有限公司 一种显示设备控制方法及一种显示设备
CN101504586A (zh) * 2009-03-25 2009-08-12 中国科学院软件研究所 一种基于笔尾手势的指令方法
CN101527092A (zh) * 2009-04-08 2009-09-09 西安理工大学 特定会话场景下的计算机辅助手语交流方法
CN101539994B (zh) * 2009-04-16 2012-07-04 西安交通大学 一种手语语音互译系统及手语语音互译方法
CN101673094A (zh) * 2009-09-23 2010-03-17 曾昭兴 一种家电控制装置和控制方法
CN101763515B (zh) * 2009-09-23 2012-03-21 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
CN101799717A (zh) * 2010-03-05 2010-08-11 天津大学 基于手部行为捕捉的人机交互方法
CN101833653A (zh) * 2010-04-02 2010-09-15 上海交通大学 低分辨率视频中的人物识别方法
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
CN201750431U (zh) * 2010-07-02 2011-02-16 厦门万安智能股份有限公司 智能家居集控装置
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265240A (zh) * 2008-10-27 2011-11-30 索尼电脑娱乐公司 确定球体联结控制器的位置和运动

Also Published As

Publication number Publication date
CN103127717B (zh) 2016-02-10
CN103135883B (zh) 2016-07-06
CN103136986A (zh) 2013-06-05
CN103139508A (zh) 2013-06-05
CN103135881B (zh) 2016-12-14
CN103135754A (zh) 2013-06-05
CN103135754B (zh) 2016-05-11
CN103135882B (zh) 2016-08-03
CN103135759A (zh) 2013-06-05
CN103135758B (zh) 2016-09-21
CN103135882A (zh) 2013-06-05
CN103135881A (zh) 2013-06-05
CN103135758A (zh) 2013-06-05
CN103127717A (zh) 2013-06-05
CN103135759B (zh) 2016-03-09
CN103136986B (zh) 2015-10-28
CN103135755A (zh) 2013-06-05
CN103135453B (zh) 2015-05-13
CN103135756A (zh) 2013-06-05
CN103135755B (zh) 2016-04-06
CN103135453A (zh) 2013-06-05
CN103135883A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
Liu et al. Enhanced skeleton visualization for view invariant human action recognition
US10331731B2 (en) Method and apparatus for identifying input features for later recognition
CN104102343B (zh) 交互式输入系统和方法
US10529141B2 (en) Capturing and aligning three-dimensional scenes
CN105378593B (zh) 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
US8830312B2 (en) Systems and methods for tracking human hands using parts based template matching within bounded regions
US8615108B1 (en) Systems and methods for initializing motion tracking of human hands
US10007336B2 (en) Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
CN103365411B (zh) 信息输入设备、信息输入方法
US9098739B2 (en) Systems and methods for tracking human hands using parts based template matching
US20170293364A1 (en) Gesture-based control system
US20190258320A1 (en) Systems and methods of free-space gestural interaction
Palacios et al. Human-computer interaction based on hand gestures using RGB-D sensors
Ye et al. Accurate 3d pose estimation from a single depth image
Suarez et al. Hand gesture recognition with depth images: A review
AU2014204252B2 (en) Extramissive spatial imaging digital eye glass for virtual or augmediated vision
CN102737235B (zh) 基于深度信息和彩色图像的头部姿势估计方法
CN102375542B (zh) 一种肢体遥控电视的方法及电视遥控装置
KR20160000873A (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
JP2941207B2 (ja) ジェスチャ認識システム
CN101807114B (zh) 一种基于三维手势的自然交互方法
US9898651B2 (en) Upper-body skeleton extraction from depth maps
Stella et al. Inferring spatial layout from a single image via depth-ordered grouping
CN105407346B (zh) 影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
CB02 Change of applicant information

Address after: 518000 Shenzhen, Nanshan District Province, science and technology, South Road, the building of the big square, building 02, room 4,

Applicant after: SHENZHEN TAISHAN SPORTS TECHNOLOGY CORP., LTD.

Address before: 518000 Shenzhen, Nanshan District Province, science and technology, South Road, the building of the big square, building 02, room 4,

Applicant before: Shenzhen Tol Technology Co., Ltd.

GR01 Patent grant
C14 Grant of patent or utility model
COR Change of bibliographic data