CN102981623B - 触发输入指令的方法及系统 - Google Patents

触发输入指令的方法及系统 Download PDF

Info

Publication number
CN102981623B
CN102981623B CN201210505492.0A CN201210505492A CN102981623B CN 102981623 B CN102981623 B CN 102981623B CN 201210505492 A CN201210505492 A CN 201210505492A CN 102981623 B CN102981623 B CN 102981623B
Authority
CN
China
Prior art keywords
region
space coordinates
thing
human hands
demarcating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210505492.0A
Other languages
English (en)
Other versions
CN102981623A (zh
Inventor
梁国远
谢群群
唐成
吴新宇
徐扬生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210505492.0A priority Critical patent/CN102981623B/zh
Publication of CN102981623A publication Critical patent/CN102981623A/zh
Application granted granted Critical
Publication of CN102981623B publication Critical patent/CN102981623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种触发输入指令的方法,包括:采集标定物的空间坐标;获取标定区域;根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹;根据所述运动轨迹触发输入指令。此外,还提供了一种触发输入指令的装置。上述触发输入指令的方法和装置能够提高操作的便利性。

Description

触发输入指令的方法及系统
技术领域
本发明涉及计算机技术领域,特别是涉及一种触发输入指令的方法及系统。
背景技术
传统的计算机技术中输入指令的方法,包括鼠标输入方法、键盘输入方法以及触摸屏输入方法。鼠标和键盘输入的方式必须依赖手持设备,即鼠标、键盘等。传统的触摸屏的输入方式也需要用户对屏幕进行触摸操作才能触发输入指令。而在大型演示厅场景中,需要在输入指令时,位于鼠标或键盘放置的位置,且无法通过触摸方式进行指令输入。因此,传统技术中触发输入指令的方法便利性不足。
发明内容
基于此,有必要提供一种能提高操作便利性的触发输入指令的方法。
一种触发输入指令的方法,包括:
采集标定物的空间坐标;
获取标定区域;
根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹;
根据所述运动轨迹触发输入指令。
在其中一个实施例中,所述采集标定物的空间坐标的步骤包括:
通过多目摄像机采集图像帧;
获取所述图像帧中的运动前景,并以运动前景作为标定物;
获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
在其中一个实施例中,所述根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹的步骤包括:
提取所述标定物中的人体手部区域;
获取所述人体手部区域的空间坐标;
根据所述人体手部区域的空间坐标获取所述人体手部区域在所述标定区域中的运动轨迹。
在其中一个实施例中,所述提取所述标定物中的人体手部区域的步骤包括:
获取所述对应标定物的图像帧的颜色信息;
根据所述标定物的颜色信息和空间坐标提取所述标定物中的人体手部区域。
在其中一个实施例中,所述根据所述人体手部区域的空间坐标获取所述人体手部区域在所述标定区域中的运动轨迹的步骤为:
提取所述人体手部区域中的指尖区域;
获取所述指尖区域的空间坐标;
根据所述指尖区域的空间坐标获取所述指尖区域在所述标定区域中的运动轨迹。
此外,还有必要提供一种能提高安全性的触发输入指令的系统。
一种触发输入指令的系统,包括:
空间坐标采集模块,用于采集标定物的空间坐标;
标定区域获取模块,用于获取标定区域;
运动轨迹获取模块,用于根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹;
指令触发模块,用于根据所述运动轨迹触发输入指令。
在其中一个实施例中,所述空间坐标采集模块还用于通过多目摄像机采集图像帧,获取所述图像帧中的运动前景,并以运动前景作为标定物,获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
在其中一个实施例中,所述装置还包括手部区域提取模块,用于提取所述标定物中的人体手部区域;
所述运动轨迹获取模块还用于获取所述人体手部区域的空间坐标,根据所述人体手部区域的空间坐标获取所述人体手部区域在所述标定区域中的运动轨迹。
在其中一个实施例中,所述手部区域提取模块还用于获取所述对应标定物的图像帧的颜色信息;根据所述标定物的颜色信息和空间坐标提取所述标定物中的人体手部区域。
在其中一个实施例中,所述装置还包括
指尖区域提取模块,用于提取所述人体手部区域中的指尖区域;
所述运动轨迹获取模块还用于获取所述指尖区域的空间坐标,根据所述指尖区域的空间坐标获取所述指尖区域在所述标定区域中的运动轨迹。
上述触发输入指令的方法和装置,通过采集标定物的空间坐标,根据标定物在标定区域中的运动轨迹,并根据运动轨迹触发输入指令,使得用户只需在标定区域内移动标定物即可实现输入指令的触发,从而提高了操作的便利性。
附图说明
图1为一个实施例中触发输入指令的方法的流程图;
图2为一个实施例中获取掌心位置的过程示意图;
图3为一个实施例中提取指尖区域的过程示意图;
图4为一个实施例中触发输入指令的装置的结构示意图;
图5为另一个实施例中触发输入指令的装置的结构示意图。
具体实施方式
在一个实施例中,如图1所示,一种触发输入指令的方法,包括以下步骤:
步骤S102,采集标定物的空间坐标。
在本实施例中,可通过多目摄像机采集图像帧,获取图像帧中的运动前景,并以运动前景作为标定物,获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
在本实施例中,获取图像帧中的运动前景的步骤可具体为:根据混合高斯模型通过背景差分提取图像帧的运动前景。
在本实施例中,多目摄像机的摄像头的数量为2个(即双目摄像机),且水平设置。获取到的图像帧为同一时间由2个摄像头分别采集的左图像帧(left)和右图像帧(right)。
可根据公式:
Disparity=Xleft-Xright
x c = MX left Disparity y c = MY Disparity z c = Mf Disparity
计算运动前景的三维空间坐标。其中,Disparity为视差,Xleft为运动前景在左图像帧中的水平坐标,Xright为运动前景在右图像帧中的水平坐标;(xc,yc,zc)即为运动前景的三维空间坐标,且xc和yc为可视平面坐标,zc为深度信息,M为两个摄像头之间的水平距离,f为摄像头的焦距,Y为运动前景在左图像帧和右图像帧中得垂直坐标(由于摄像头水平设置,因此左图像帧中像素点的Y值和右图像帧中像素点的Y值相同),Disparity为左图像帧和右图像帧的视差。
需要说明的是在其他实施例中,摄像头也可垂直放置。在摄像头垂直放置时,M即为摄像头之间的垂直距离,可将Xleft/Xright和Y互换即可得到运动前景的三维空间坐标。
在其他实施例中,还可通过空间中摆放的两个以上的摄像头采集图像帧。可在两个以上的摄像头中选取多组摄像头,每组摄像头的数目为两个。可通过每组摄像头同时采集的图像帧计算运动前景的三维空间坐标,然后将计算得到的每组摄像头对应的运动前景的三维空间坐标求取平均值,从而提高测量精度。
步骤S104,获取标定区域。
标定区域为预先设置的三维空间区域。在本实施例中,可以前述的多目摄像机的视距范围建立空间坐标系,通过设置多个空间边界点的坐标来设置标定区域。
步骤S106,根据空间坐标获取标定物在标定区域中的运动轨迹。
本实施例中,如前所述,可预先以多目摄像机的视距范围建立空间坐标系,标定物的空间坐标即为该空间坐标系中的坐标。可对一定时间内获取到的标定物的空间坐标进行采样,并按时间顺序构成空间坐标序列,从而形成的标定物的运动轨迹。
步骤S108,根据运动轨迹触发输入指令。
可计算获取到的标定物的空间坐标序列的特征值,并将计算得到的特征值与预存的与输入指令对应的特征值进行比对,若匹配,则触发输入指令。
在一个实施例中,根据空间坐标获取标定物在标定区域中的运动轨迹的步骤包括:
提取标定物中的人体手部区域,获取人体手部区域的空间坐标,根据人体手部区域的空间坐标获取人体手部区域在标定区域中的运动轨迹。
进一步地,提取标定物中的人体手部区域的步骤包括:
获取对应标定物的图像帧的颜色信息,根据标定物的颜色信息和空间坐标提取标定物中的人体手部区域。
在本实施例中,根据标定物的颜色信息和空间坐标提取标定物中的人体手部区域的步骤可包括:
根据图像帧的颜色信息在标定物上划定手部候选区域,获取手部候选区域的空间坐标,根据手部候选区域的空间坐标在手部候选区域中提取人体手部区域。
在本实施例中,图像帧的颜色信息为YCbCr(DVD、摄像机、数字电视等消费类视频产品中,常用的色彩编码方案,其中Y是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量)颜色通道信息,包括亮度信息(luminance)、色差信息(chrominance)以及密度信息(compactness)。
在本实施例中,可通过高斯混合模型生成肤色分布的概率密度函数,并根据概率密度函数生成肤色概率分布函数,根据肤色概率分布函数在标定物中划定手部候选区域。
在本实施例中,可根据下述公式计算肤色概率分布函数:
μ S = 1 n Σ j = 1 n c j ;
Σ S = 1 n - 1 Σ j = 1 n ( c j - μ S ) ( c j - μ S ) T ;
p ( c | skin ) = 1 2 π | Σ S | 1 / 2 e - 1 2 ( c - μ S ) T Σ S - 1 ( c - μ S ) ;
P ( c | skin ) = Σ i = 1 k λ i p i ( c | skin ) , 且满足 Σ i = 1 k λ i = 1
其中,c为图像帧的颜色向量,n为预设的样本参数,μS和∑S为高斯混合模型的参数,p(c|skin)为肤色分布的概率密度函数,P(c|skin)为肤色概率分布函数,λi为预设的权重系数。k为预设的权重个数,本实施例中,优选为5个。
在本实施例中,高斯混合模型的参数可通过最大期望算法(EM,ExpectationMaximization)进行计算得到。
在本实施例中,可根据肤色概率分布函数获取颜色处于对应的阈值区间中的标定物的像素点的空间坐标,根据获取到的空间坐标生成手部候选区域。
进一步的,在本实施例中,还可对手部候选区域对应的像素点进行降噪处理。进行降噪处理可提高判断的准确度。
在本实施例中,根据手部候选区域的空间坐标在手部候选区域中提取人体手部区域的步骤可具体为:
根据手部候选区域的空间坐标,通过深度切割(DepthClipping)和区域生长(RegionGrowAlgorithm)提取人体手部区域。
人体手部区域为颜色一致的连续区域。可根据手部候选区域的空间坐标获取手部候选区域中深度信息(即空间坐标中的垂直于图像帧平面的分量)最小的像素点,并在此像素点的基础上进行区域生长,并根据区域生长的结果提取人体手部区域。
在标定物所处的区域中提取出人体手部区域,并根据人体手部区域的运动轨迹触发输入指令,可以排除杂物在标定区域中运动产生的影响,从而提高指令触发的准确率。
进一步的,根据人体手部区域的空间坐标获取人体手部区域在标定区域中的运动轨迹的步骤包括:
提取人体手部区域中的指尖区域,获取指尖区域的空间坐标,根据指尖区域的空间坐标获取指尖区域在标定区域中的运动轨迹。
在本实施例中,提取人体手部区域中的指尖区域的步骤可具体为:通过投影法提取人体手部区域中的手掌部区域,获取手掌部区域的掌心位置,根据该掌心位置提取人体手部区域的指尖区域。
在本实施例中,可在0°到180°之间,每间隔45°选择一个投影角度,对提取出来的人体手部区域按照该投影角度进行投影,获取与该投影角度对应的投影结果。在完成人体手部区域所有角度的投影之后,可将所有投影角度对应的投影结果整合成手掌部区域。由于手掌部区域通常为方形区域,因此用投影法可快速准确地提取出手掌部区域。
本实施例中,可根据公式:
C 0 = arg min { min P ∈ R palm , P B ∈ B ( d 2 ( P , P B ) ) }
计算掌心位置。其中,C0为掌心位置,Rpalm为手掌部区域中的像素点的集合,B为手掌部区域的边缘上的像素点的集合,P为手掌部区域中的像素点,PB为手掌部区域边缘的像素点,d2为像素点P和像素点PB之间的距离。
如图2所示,图2依次展示了获取手掌部区域的过程。
本实施例中,根据该掌心位置提取人体手部区域的指尖区域的步骤可包括:
根据公式:
R = min P B ∈ B ( d 2 ( C 0 , P B ) ) ;
计算掌心位置C0到手掌部区域的边缘的最小距离。其中,R为掌心位置C0到手掌部区域的边缘的最小距离,B为前述的手掌部区域的边缘上的像素点的集合,PB为前述手掌部区域边缘的像素点。
根据公式:
F={Pf|d2(PB,C0)>αR,PB∈B};
获取指尖区域的候选集。其中,F指尖区域的候选集,Pf为与掌心位置C0距离大于αR的像素点,α为预设的比例系数,优选为1.2。
根据公式:
θ P f = φ P f ∈ F ( P f , C 0 )
确定指尖区域侯选集的角度范围,并根据该角度范围对候选集中的像素点排序。其中,φ为Pf与C0连线与前述预设的空间坐标系中坐标轴的角度,θ为像素点Pf分布的角度范围。
根据公式:
D P i = d 2 P i . P i + 1 ∈ F ( P i , P i + 1 )
获取指尖区域。其中,Pi为候选集F中的像素点,Pi+1为Pi连续的像素点,为Pi和Pi+1之间的距离。若大于阈值,则表示Pi和Pi+1位于不同的手指上,其间的距离即手指间的缝隙,Pi和Pi+1即为相邻两个指尖区域的起始坐标点和终止坐标点。
如图3所示,图3从左至右依次展示了提取指尖区域的过程。
通过上述方法提取指尖部,与传统技术中的通过往向量机中输入训练样本训练学习得到核函数,然后结合核函数与决策树的方法相比,计算量小,速度更快。
同时,通过指尖区域的运动轨迹触发输入指令,使得用户通过活动指关节即可触发输入指令,从而提高了操作的便利性。
在一个实施例中,如图4所示,一种触发输入指令的装置,包括空间坐标采集模块102、标定区域获取模块104、运动轨迹获取模块106以及指令触发模块108,其中:
空间坐标采集模块102,用于采集标定物的空间坐标。
在本实施例中,空间坐标采集模块102可用于通过多目摄像机采集图像帧,获取图像帧中的运动前景,并以运动前景作为标定物,获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
在本实施例中,空间坐标采集模块102可用于根据混合高斯模型通过背景差分提取图像帧的运动前景。
在本实施例中,多目摄像机的摄像头的数量为2个(即双目摄像机),且水平设置。获取到的图像帧为同一时间由2个摄像头分别采集的左图像帧(left)和右图像帧(right)。
空间坐标采集模块102可用于根据公式:
Disparity=Xleft-Xright
x c = MX left Disparity y c = MY Disparity z c = Mf Disparity
计算运动前景的三维空间坐标。其中,Disparity为视差,Xleft为运动前景在左图像帧中的水平坐标,Xright为运动前景在右图像帧中的水平坐标;(xc,yc,zc)即为运动前景的三维空间坐标,且xc和yc为可视平面坐标,zc为深度信息,M为两个摄像头之间的水平距离,f为摄像头的焦距,Y为运动前景在左图像帧和右图像帧中得垂直坐标(由于摄像头水平设置,因此左图像帧中像素点的Y值和右图像帧中像素点的Y值相同),Disparity为左图像帧和右图像帧的视差。
需要说明的是在其他实施例中,摄像头也可垂直放置。在摄像头垂直放置时,M即为摄像头之间的垂直距离,可将Xleft/Xright和Y互换即可得到运动前景的三维空间坐标。
在其他实施例中,还可通过空间中摆放的两个以上的摄像头采集图像帧。可在两个以上的摄像头中选取多组摄像头,每组摄像头的数目为两个。可通过每组摄像头同时采集的图像帧计算运动前景的三维空间坐标,然后将计算得到的每组摄像头对应的运动前景的三维空间坐标求取平均值,从而提高测量精度。
标定区域获取模块104,用于获取标定区域。
标定区域为预先设置的三维空间区域。在本实施例中,可以前述的多目摄像机的视距范围建立空间坐标系,通过设置多个空间边界点的坐标来设置标定区域。
运动轨迹获取模块106,用于根据空间坐标获取标定物在标定区域中的运动轨迹。
本实施例中,如前所述,可预先以多目摄像机的视距范围建立空间坐标系,标定物的空间坐标即为该空间坐标系中的坐标。运动轨迹获取模块106可用于对一定时间内获取到的标定物的空间坐标进行采样,并按时间顺序构成空间坐标序列,从而形成的标定物的运动轨迹。
指令触发模块108,用于根据运动轨迹触发输入指令。
指令触发模块108可用于可计算获取到的标定物的空间坐标序列的特征值,并将计算得到的特征值与预存的与输入指令对应的特征值进行比对,若匹配,则触发输入指令。
在一个实施例中,如图5所示,触发输入指令的装置还包括手部区域提取模块110,用于提取标定物中的人体手部区域;
运动轨迹获取模块还用于获取人体手部区域的空间坐标,根据人体手部区域的空间坐标获取人体手部区域在标定区域中的运动轨迹。
进一步地,手部区域提取模块110还可用于获取对应标定物的图像帧的颜色信息;根据标定物的颜色信息和空间坐标提取标定物中的人体手部区域。
在本实施例中,手部区域提取模块110还可用于根据图像帧的颜色信息在标定物上划定手部候选区域,获取手部候选区域的空间坐标,根据手部候选区域的空间坐标在手部候选区域中提取人体手部区域。
在本实施例中,图像帧的颜色信息为YCbCr(DVD、摄像机、数字电视等消费类视频产品中,常用的色彩编码方案,其中Y是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量)颜色通道信息,包括亮度信息(luminance)、色差信息(chrominance)以及密度信息(compactness)。
在本实施例中,手部区域提取模块110还可用于通过高斯混合模型生成肤色分布的概率密度函数,并根据概率密度函数生成肤色概率分布函数,根据肤色概率分布函数在标定物中划定手部候选区域。
在本实施例中,手部区域提取模块110还可用于根据下述公式计算肤色概率分布函数:
μ S = 1 n Σ j = 1 n c j ;
Σ S = 1 n - 1 Σ j = 1 n ( c j - μ S ) ( c j - μ S ) T ;
p ( c | skin ) = 1 2 π | Σ S | 1 / 2 e - 1 2 ( c - μ S ) T Σ S - 1 ( c - μ S ) ;
P ( c | skin ) = Σ i = 1 k λ i p i ( c | skin ) , 且满足 Σ i = 1 k λ i = 1
其中,c为图像帧的颜色向量,n为预设的样本参数,μS和∑S为高斯混合模型的参数,p(c|skin)为肤色分布的概率密度函数,P(c|skin)为肤色概率分布函数,λi为预设的权重系数。k为预设的权重个数,本实施例中,优选为5个。
在本实施例中,高斯混合模型的参数可通过最大期望算法(EM,ExpectationMaximization)进行计算得到。
在本实施例中,手部区域提取模块110还可用于根据肤色概率分布函数获取颜色处于对应的阈值区间中的标定物的像素点的空间坐标,根据获取到的空间坐标生成手部候选区域。
进一步的,在本实施例中,手部区域提取模块110还可用于对手部候选区域对应的像素点进行降噪处理。进行降噪处理可提高判断的准确度。
在本实施例中,手部区域提取模块110还可用于根据手部候选区域的空间坐标,通过深度切割(DepthClipping)和区域生长(RegionGrowAlgorithm)提取人体手部区域。
人体手部区域为颜色一致的连续区域。手部区域提取模块110还可用于根据手部候选区域的空间坐标获取手部候选区域中深度信息(即空间坐标中的垂直于图像帧平面的分量)最小的像素点,并在此像素点的基础上进行区域生长,并根据区域生长的结果提取人体手部区域。
在标定物所处的区域中提取出人体手部区域,并根据人体手部区域的运动轨迹触发输入指令,可以排除杂物在标定区域中运动产生的影响,从而提高指令触发的准确率。
进一步的,如图5所示,触发输入指令的装置还包括指尖区域提取模块112,用于提取人体手部区域中的指尖区域。
运动轨迹获取模块106还可用于获取指尖区域的空间坐标,根据指尖区域的空间坐标获取指尖区域在标定区域中的运动轨迹。
在本实施例中,指尖区域提取模块112可用于通过投影法提取人体手部区域中的手掌部区域,获取手掌部区域的掌心位置,根据该掌心位置提取人体手部区域的指尖区域。
在本实施例中,指尖区域提取模块112可用于在0°到180°之间,每间隔45°选择一个投影角度,对提取出来的人体手部区域按照该投影角度进行投影,获取与该投影角度对应的投影结果。在完成人体手部区域所有角度的投影之后,可将所有投影角度对应的投影结果整合成手掌部区域。由于手掌部区域通常为方形区域,因此用投影法可快速准确地提取出手掌部区域。
本实施例中,指尖区域提取模块112可用于根据公式:
C 0 = arg min { min P ∈ R palm , P B ∈ B ( d 2 ( P , P B ) ) }
计算掌心位置。其中,C0为掌心位置,Rpalm为手掌部区域中的像素点的集合,B为手掌部区域的边缘上的像素点的集合,P为手掌部区域中的像素点,PB为手掌部区域边缘的像素点,d2为像素点P和像素点PB之间的距离。
如图2所示,图2依次展示了获取手掌部区域的过程。
本实施例中,指尖区域提取模块112还可用于根据公式:
R = min P B ∈ B ( d 2 ( C 0 , P B ) ) ;
计算掌心位置C0到手掌部区域的边缘的最小距离。其中,R为掌心位置C0到手掌部区域的边缘的最小距离,B为前述的手掌部区域的边缘上的像素点的集合,PB为前述手掌部区域边缘的像素点。
指尖区域提取模块112还可用于根据公式:
F={Pf|d2(PB,C0)>αR,PB∈B};
获取指尖区域的候选集。其中,F指尖区域的候选集,Pf为与掌心位置C0距离大于αR的像素点,α为预设的比例系数,优选为1.2。
指尖区域提取模块112还可用于根据公式:
θ P f = φ P f ∈ F ( P f , C 0 )
确定指尖区域侯选集的角度范围,并根据该角度范围对候选集中的像素点排序。其中,φ为Pf与C0连线与前述预设的空间坐标系中坐标轴的角度,θ为像素点Pf分布的角度范围。
指尖区域提取模块112还可用于根据公式:
D P i = d 2 P i . P i + 1 ∈ F ( P i , P i + 1 )
获取指尖区域。其中,Pi为候选集F中的像素点,Pi+1为Pi连续的像素点,为Pi和Pi+1之间的距离。若大于阈值,则表示Pi和Pi+1位于不同的手指上,其间的距离即手指间的缝隙,Pi和Pi+1即为相邻两个指尖区域的起始坐标点和终止坐标点。
如图4所示,图4从左至右依次展示了提取指尖区域的过程。
通过上述方法提取指尖部,与传统技术中的通过往向量机中输入训练样本训练学习得到核函数,然后结合核函数与决策树的方法相比,计算量小,速度更快。
同时,通过指尖区域的运动轨迹触发输入指令,使得用户通过活动指关节即可触发输入指令,从而提高了操作的便利性。
上述视频监控方法和装置,通过多目摄像机采集图像帧,并根据图像帧提取运动前景,然后将运动前景在图像帧中得像素坐标换算成其所处的实际位置的三维空间坐标,并根据运动前景所处的三维空间坐标触发异常事件,与传统技术相比,不仅可根据运动前景在二维平面上的位置触发异常事件,还可根据换算得到的运动前景的三维空间坐标中得深度信息(距离摄像头的距离)触发异常事件,使得异常事件的触发更加准确,从而提高了安全性。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种触发输入指令的方法,包括:
采集标定物的空间坐标;
获取标定区域;
根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹,具体包括:获取对应标定物的图像帧的颜色信息,根据图像帧的颜色信息在标定物上划定手部候选区域;根据手部候选区域的空间坐标,通过深度切割和区域生长提取标定物中的人体手部区域,具体为:根据手部候选区域的空间坐标获取手部候选区域中空间坐标中的垂直于图像帧平面的分量最小的像素点,并在此像素点的基础上进行区域生长,并根据区域生长的结果提取人体手部区域;获取人体手部区域的空间坐标,根据人体手部区域的空间坐标获取人体手部区域在标定区域中的运动轨迹;
根据所述运动轨迹触发输入指令。
2.根据权利要求1所述的触发输入指令的方法,其特征在于,所述采集标定物的空间坐标的步骤包括:
通过多目摄像机采集图像帧;
获取所述图像帧中的运动前景,并以运动前景作为标定物;
获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
3.根据权利要求2所述的触发输入指令的方法,其特征在于,所述根据所述人体手部区域的空间坐标获取所述人体手部区域在所述标定区域中的运动轨迹的步骤为:
提取所述人体手部区域中的指尖区域;
获取所述指尖区域的空间坐标;
根据所述指尖区域的空间坐标获取所述指尖区域在所述标定区域中的运动轨迹。
4.一种触发输入指令的装置,其特征在于,包括:
空间坐标采集模块,用于采集标定物的空间坐标;
标定区域获取模块,用于获取标定区域;
运动轨迹获取模块,用于根据所述空间坐标获取所述标定物在所述标定区域中的运动轨迹;
手部区域提取模块,用于获取对应标定物的图像帧的颜色信息,根据图像帧的颜色信息在标定物上划定手部候选区域,根据手部候选区域的空间坐标,通过深度切割和区域生长提取标定物中的人体手部区域,具体为:根据手部候选区域的空间坐标获取手部候选区域中空间坐标中的垂直于图像帧平面的分量最小的像素点,并在此像素点的基础上进行区域生长,并根据区域生长的结果提取人体手部区域;
所述运动轨迹获取模块还用于获取人体手部区域的空间坐标,根据人体手部区域的空间坐标获取人体手部区域在标定区域中的运动轨迹;
指令触发模块,用于根据所述运动轨迹触发输入指令。
5.根据权利要求4所述的触发输入指令的装置,其特征在于,所述空间坐标采集模块还用于通过多目摄像机采集图像帧,获取所述图像帧中的运动前景,并以运动前景作为标定物,获取标定物在图像帧中的像素坐标,并根据该像素坐标计算标定物的空间坐标。
6.根据权利要求5所述的触发输入指令的装置,其特征在于,所述装置还包括
指尖区域提取模块,用于提取所述人体手部区域中的指尖区域;
所述运动轨迹获取模块还用于获取所述指尖区域的空间坐标,根据所述指尖区域的空间坐标获取所述指尖区域在所述标定区域中的运动轨迹。
CN201210505492.0A 2012-11-30 2012-11-30 触发输入指令的方法及系统 Active CN102981623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210505492.0A CN102981623B (zh) 2012-11-30 2012-11-30 触发输入指令的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210505492.0A CN102981623B (zh) 2012-11-30 2012-11-30 触发输入指令的方法及系统

Publications (2)

Publication Number Publication Date
CN102981623A CN102981623A (zh) 2013-03-20
CN102981623B true CN102981623B (zh) 2016-05-18

Family

ID=47855742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210505492.0A Active CN102981623B (zh) 2012-11-30 2012-11-30 触发输入指令的方法及系统

Country Status (1)

Country Link
CN (1) CN102981623B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN108564063B (zh) * 2018-04-27 2020-12-18 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN111931569B (zh) * 2020-07-01 2021-03-19 江苏柏勋科技发展有限公司 安防监控热力图统计系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN101158883B (zh) * 2007-10-09 2010-07-28 深圳泰山网络技术有限公司 一种基于计算机视觉的虚拟体育系统及其实现方法
WO2011007204A1 (en) * 2009-07-16 2011-01-20 Ondo Inc. Control method of a graphic interface
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
CN101807114B (zh) * 2010-04-02 2011-12-07 浙江大学 一种基于三维手势的自然交互方法
KR101196291B1 (ko) * 2010-07-26 2012-11-09 이종우 손가락의 움직임을 인식하여 3d인터페이스를 제공하는 단말기 및 그 방법
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
CN102722249B (zh) * 2012-06-05 2016-03-30 上海鼎为电子科技(集团)有限公司 操控方法、操控装置及电子装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视觉技术的三维指尖跟踪算法;郭康德;《计算机研究与发展》;20101231;第1014页左栏第4段~第1017页左栏第3段 *
目标检测跟踪技术研究及DSP实现;崔青松;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》》;20060815;第13~15页 *

Also Published As

Publication number Publication date
CN102981623A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
CN103135756B (zh) 生成控制指令的方法和系统
CN106570903B (zh) 一种基于rgb-d摄像头的视觉识别与定位方法
CN103164711B (zh) 基于像素和支持向量机的区域人流密度估计的方法
CN103677274B (zh) 一种基于主动视觉的互动投影方法及系统
CN101996407B (zh) 一种多相机颜色标定方法
KR20120019008A (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
US9875412B2 (en) Crowd monitoring system and crowd monitoring method
CN105069751B (zh) 一种深度图像缺失数据的插值方法
CN105898216A (zh) 一种利用无人机进行的人数计数方法
CN104301712B (zh) 一种基于视频分析的监控摄像头抖动检测方法
CN103248906B (zh) 一种双目立体视频序列的深度图获取方法与系统
CN104391567A (zh) 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN105279372A (zh) 一种建筑物高度计算方法和装置
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN102156537A (zh) 一种头部姿态检测设备及方法
CN106210568A (zh) 图像处理方法以及装置
CN104732236B (zh) 一种基于分层处理的人群异常行为智能检测方法
CN102981623B (zh) 触发输入指令的方法及系统
CN103218601B (zh) 检测手势的方法及装置
CN103793922A (zh) 一种特定姿态实时检测方法
CN109685026A (zh) 一种驾驶员手持手机通话的实时监测方法
CN102779270A (zh) 一种针对购物图像搜索的目标衣物图像提取方法
CN106920250A (zh) 基于rgb‑d视频的机器人目标识别与定位方法及系统
CN104167006A (zh) 一种任意手形的手势跟踪方法
CN109583366A (zh) 一种基于视频图像和WiFi定位的体育建筑疏散人群轨迹生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant