CN110414363A - 一种基于高速图像处理的特征识别系统 - Google Patents
一种基于高速图像处理的特征识别系统 Download PDFInfo
- Publication number
- CN110414363A CN110414363A CN201910591949.6A CN201910591949A CN110414363A CN 110414363 A CN110414363 A CN 110414363A CN 201910591949 A CN201910591949 A CN 201910591949A CN 110414363 A CN110414363 A CN 110414363A
- Authority
- CN
- China
- Prior art keywords
- threshold
- palm
- centre
- line
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 22
- 239000004744 fabric Substances 0.000 claims description 16
- 239000004575 stone Substances 0.000 claims description 15
- 238000005530 etching Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- -1 scissors Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的一种基于高速图像处理的特征识别系统,包括:相机、图像序列特征提取模块、手部轮廓检测与掌心识别模块、掌心距交点建模模块和手势识别模块。手部轮廓检测与掌心识别模块从帧图像中获取手部轮廓,并获取手部轮廓的中心点作为掌心点;掌心距交点建模模块中建立平面坐标,并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点;掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线,并获取折线与各阈值线的交点数量,手势识别模块根据折线与各阈值线的相交点数量进行手势识别。本发明中,通过掌心距和平面坐标,将图像处理转换为坐标点的计算,有利于降低运算难度,并提高手势识别的运算效率和精确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于高速图像处理的特征方法及识别系统。
背景技术
手势识别是人机交互、行为识别等诸多领域的一项基础技术,各式人机交互、行为识别系统广泛应用于家庭、工厂、国防、生物信息探索等领域。
随着人机交互、行为识别应用领域的拓展,手势识别逐渐融入人类生产、生活,与人类关系日益密切,在快速图像处理、人机交互和行为识别等领域,对手势识别技术的应用研究不断提出更高的需求,迫切需要高速实时的人机交互系统帮助人与机器人能够更好地共同协作完成任务。例如可应用于通过手势控制家电的物联网家居生活、手语解读、作战指挥传达的手势命令、动物行为信号研究、仿生机器人等诸多实际场景。具有良好的实时性及准确性的图像处理识别算法是手势识别的重要基础。
由于传统手势动作具有快速性、随机性、多样性的特点,手势识别算法的设计需要考虑多方面的因素制约及技术要求,而传统人机交互与行为识别存在图像采集帧率较低、不能进行快速识别和反应等问题,难以适配手势快速识别的需求。
发明内容
基于背景技术存在的技术问题,本发明提出了一种基于高速图像处理的特征识别方法及系统。
本发明提出的一种基于高速图像处理的特征识别方法,包括:
S1、获取手部轮廓和掌心点;
S2、获取手部轮廓上各转折点到掌心点的距离作为掌心距;
S3、建立平面坐标,平面坐标以转折点为横坐标,掌心距为纵坐标;并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点;
S4、获取沿着横坐标方向依次连接各坐标点的折线;
S5、获取多条平行于横坐标的阈值线,根据折线与各阈值线的相交点数量进行手势识别。
优选的,步骤S1具体为:对手势进行动作捕捉,将获取的视频影像进行帧图像提取并缩放到预设尺寸;获取缩放后的帧图像中的前景与背景的灰度区分阈值,根据灰度区分阈值从缩放后的帧图像中提取多个备选区域轮廓,并从备选区域轮廓中筛选最大连通域作为手部轮廓。
优选的,步骤S5中获取预设的多条平行于横坐标的阈值线的具体方式为:预先设置多个阈值占比,阈值占比为大于0并小于1的数值;根据各阈值占比计算对应的阈值线,阈值线计算公式为:
Thresholdi=WIDTH×ai×b;
其中,Thresholdi为第i条阈值线对应的纵坐标值,WIDTH为缩放后的帧图像的水平像素或者垂直像素;ai为第i个阈值占比,b=手部展开尺寸/背景区域尺寸。
优选的,预先设置三个阈值占比,步骤S5中根据三个阈值占比对应设置三条阈值线,三个阈值占比分别为:
a1=30.8%,a2=51.4%,a3=57.1%。
优选的,步骤S5中设有三条平行于横坐标的阈值线,各阈值线对应的纵坐标值Threshold1、Threshold2、Threshold3分别为:
其中,D0min为本帧图像中手部轮廓的最小掌心距,最小掌心距为手部轮廓上各点与掌心点的最小距离;γ1、γ2、γ3均为比例因子,且γ1=1,γ2=2.38,γ3=2.14。
优选的,还包括步骤S0:设置手势分类,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型;步骤S5中,用于将折线与各阈值线的交点数量代入约束模型进行手势识别;
手势分类包括:石头、剪刀和布;
约束模型为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
约束模型中,Q1为折线与阈值线Threshold1的交点数量,Q2为折线与阈值线Threshold2的交点数量,Q3为折线与阈值线Threshold3的交点数量。
优选的,步骤S1中,获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
优选的,通过强腐蚀截去手指区域时,腐蚀核计算公式为:
CORE=max{1,Dmin/2};
其中,Dmin为上一帧图像中手部轮廓的最小掌心距,最小掌心距为手部轮廓上各点与掌心点的最小距离。
一种基于高速图像处理的特征识别系统,包括:
相机,用于对手势区域进行动作捕捉,获取视频影像;
图像序列特征提取模块,用于将所述视频影像拆解为帧图像后缩放到预设尺寸;
手部轮廓检测与掌心识别模块,用于获取图像序列特征提取模块输出的帧图像,并从帧图像中获取手部轮廓,并获取手部轮廓的中心点作为掌心点;
掌心距交点建模模块,用于建立平面坐标,平面坐标以手部轮廓上各转折点为横坐标,掌心距为纵坐标,掌心距为手部轮廓上各转折点到掌心点的距离;掌心距交点建模模块中生成有对应各转折点的坐标点,并生成沿着横坐标方向依次连接各坐标点的折线;掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线,并获取折线与各阈值线的交点数量;
手势识别模块,其内部设有多个手势分类,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型;手势识别模块用于将所述折线与各阈值线的交点数量代入约束模型,以获取对应的手势分类并输出。
优选的,手部轮廓检测与掌心识别模块,用于通过轮廓检测算法从帧图像中提取提取备选目标区域,并通过计算最大连通域,确定手部轮廓;手部轮廓检测与掌心识别模块还用于,在获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
优选的,相机采用100fps的相机;图像序列特征提取模块用于将帧图像缩放到100×100像素。
优选的,手势分类包括:剪刀、石头和布;
约束模型为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
约束模型中,Q1为折线与阈值线Threshold1的交点数量,Q2为折线与阈值线Threshold2的交点数量,Q3为折线与阈值线Threshold3的交点数量。
本发明提出的一种基于高速图像处理的特征识别方法,结合现有的成熟的图像处理技术进行手部识别,以获取手部轮廓和掌心点,然后以手部轮廓上的转折点为计算对象,根据帧图像上的像素点位置关系,将各转折点通过掌心距的引入转换为平面坐标关系,获取沿着横坐标方向依次连接各坐标点的折线,然后引入阈值线,通过折线与阈值线的交点进行手势识别。
如此,本发明中,通过掌心距和平面坐标,将图像处理转换为坐标点的计算,有利于降低运算难度,并提高手势识别的运算效率和精确率。
附图说明
图1为本发明提出的一种基于高速图像处理的特征识别方法流程图;
图2为本发明实施例提出的一种基于高速图像处理的特征识别方法流程图
图3为本发明具体实施方式中提供的计算最大连通域算法流程图;
图4(a)为本发明一个实施例中手部轮廓结构图;
图4(b)为图4(a)中手部轮廓对应的平面坐标折线图;
图5(a)为本发明另一个实施例中手部轮廓结构图;
图5(b)为图5(a)中手部轮廓对应的平面坐标折线图;
图6(a)为本发明又一个实施例中手部轮廓结构图;
图6(b)为图6(a)中手部轮廓对应的平面坐标折线图;
图7为本发明具体实施方式中提供的掌心距阈值截取算法流程图;
图8为本发明具体实施方式中提供的掌心点位置识别算法流程图。
具体实施方式
参照图1,本发明提出的一种基于高速图像处理的特征识别方法,包括:
S1、获取手部轮廓和掌心点。具体的,本步骤中,根据捕捉到的手部动作进行图片处理,以获取手部轮廓和掌心点。
具体的,本步骤S1具体为:对手势进行动作捕捉,将获取的视频影像进行帧图像提取并缩放到预设尺寸;获取缩放后的帧图像中的前景与背景的灰度区分阈值,根据灰度区分阈值从缩放后的帧图像中提取多个备选区域轮廓,并从备选区域轮廓中筛选最大连通域作为手部轮廓。
具体实施时,可采用100fps的高速相机对出拳手势区域进行快速动作捕捉。具体的,采用明亮的纯色环境作为出拳手势区域的背景,使得背景与手部颜色易于区分,更加有利于手部轮廓的提取。
本实施方式中,对帧图像进行缩放,有利于避免图像的大小对算法处理效率造成影响。本实施方式中,对手势识别的准确性与识别效率综合考虑进行多组实验分析得到设置图像缩放大小为100×100(像素)时可在相对较低耗时的情况下使识别准确性达到较好效果。
具体的,本实施方式中,获取帧图像后,首先运用OTSU最大类间方差法求得前景与背景的最佳区分阈值;然后通过轮廓检测算法从缩放后的帧图像中提取多个备选区域轮廓,使用Freeman链码保存初始点以及各个轮廓像素点的方向值,从而获得包括手部轮廓在内的若干备选区域轮廓数据,并对各个连通域进行面积大小排序,筛选出最大连通域为手部轮廓。
具体的,本实施方式中,在对原始的帧图像进行缩放后,还对缩放后的帧图像进行图像预处理,预处理后,再通过轮廓检测算法从帧图像中提取多个备选区域轮廓。本实施方式中,对帧图像进行图像预处理的具体方式为:将图像进行中值滤波处理,滤波所选取的核为3×3的矩形区域,为图像滤去少量噪声。
具体的,本实施方式中,获取最大连通域的方式如图3所示。
S2、获取手部轮廓上各转折点到掌心点的距离作为掌心距。
S3、建立平面坐标,平面坐标以转折点为横坐标,掌心距为纵坐标;并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点。
具体的,本实施方式中,设掌心点在帧图像中的像素坐标为(x0,y0),第i 个转折点在帧图像中的像素坐标为(xi,yi),则在平面坐标中第i个转折点对应的坐标点为(i,Di),
S4、获取沿着横坐标方向依次连接各坐标点的折线。
S5、获取预设的多条平行于横坐标的阈值线,根据折线与各阈值线的相交点数量进行手势识别。
具体的,不同手势时,步骤S4获取的折线不同,通过设置阈值线可通过交点对折线的走向进行机器评估,从而进行手势识别。
如图4(b)、图5(b)、图6(b)分别为图4(a)、图5(a)、图6(a)所示手部轮廓对应的折线。可见,不同手势对应的折线的走线趋势差别很大,从而具有与各阈值线不同数量的交点。图4(a)、图5(a)、图6(a)所示手部轮廓分别为石头、剪刀、布
具体的,本实施方式中,还包括步骤S0:设置手势分类,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型。步骤S5中,用于将折线与各阈值线的交点数量代入约束模型进行手势识别。
本实施方式中,步骤S5中获取预设的多条平行于横坐标的阈值线的具体方式为:预先设置多个阈值占比,阈值占比为大于0并小于1的数值。根据各阈值占比计算对应的阈值线,阈值线计算公式为:
Thresholdi=WIDTH×ai×b。
其中,Thresholdi为第i条阈值线对应的纵坐标值,WIDTH为缩放后的帧图像的水平像素或者垂直像素;
ai为第i个阈值占比,b=手部展开尺寸/背景区域尺寸。
如此,可实现根据帧图像尺寸设置不同的阈值线,从而保证阈值线随着帧图像动态变化,以保证阈值线根据校准环境进行调整,以适应不同标度比例下的环境。
具体的,本实施方式中,预先设置三个阈值占比,步骤S5中根据三个阈值占比对应设置三条阈值线,三个阈值占比分别为:
a1=30.8%,a2=51.4%,a3=57.1%。
具体实施时,也可设置三条阈值线分别为:
其中,D0min为本帧图像中手部轮廓的最小掌心距,最小掌心距为手部轮廓上各点与掌心点的最小距离;γ1、γ2、γ3均为比例因子,且γ1=1,γ2=2.38,γ3=2.14。
图4(b)、图5(b)、图6(b)所示实施例中,手势分类包括:石头、剪刀、布。且步骤S4中获取的折线与阈值线Threshold1的交点数量记为Q1,折线与阈值线 Threshold2的交点数量记为Q2,折线与阈值线Threshold3的交点数量记为Q3。
如此,本实施例中,约束模型设置为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
如果根据折线判断手部轮廓既不是石头,也不是剪刀,又不是布,则判断手部轮廓为未知手势。
具体的,本实施例中手势识别的具体步骤如图7所示。
本实施方式中,步骤S1中,获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
具体的,参照图8,本实施方式中,通过几何方法,对所得手部轮廓进行矩及中心点的计算,而从利用矩中心点对掌心位置点进行标定。
本实施方式中,对于一幅M×N的数字图像,其p+q阶几何矩mpq为:
式中:f(i,j)为图像在坐标点(i,j)处的灰度值;
掌心点坐标位置为图像的质心坐标(x0,y0),有:
x0=m10/m00 (2)
y0=m01/m00 (3)
式中:m00为图像的灰度质量。
由于手指全部或者部分伸展的状态下,手掌重心会向手指偏移,本实施方式中,在计算矩之前对手部区域进行强腐蚀,有利于改善手掌重心的偏移情况,获得坐标更接近于实际掌心位置的掌心点,更有利于提高后期对手势识别中掌心距求解的准确性。尤其是针对“剪刀”、“布”的情况下所出现的手指部分进行剔除,进而所得区域更接近于手掌区域,大大提高了掌心位置的拟合准确性。
具体的,本实施方式中,通过强腐蚀截去手指区域时,根据上一帧图像图像中手部轮廓的最小掌心距Dmin动态设置腐蚀核大小,最小掌心距Dmin为手部轮廓上各点与掌心点的最小距离。对于第一帧图像,则采用初始化的最小掌心距 Dmin设置腐蚀核。
腐蚀核计算公式为:
CORE=max{1,Dmin/2}。
本发明还提出一种采用以上方法的基于高速图像处理的特征识别系统,包括:相机、图像序列特征提取模块、手部轮廓检测与掌心识别模块、掌心距交点建模模块和手势识别模块。
相机用于对手势区域进行动作捕捉,获取视频影像。相机具体可采用使用 100fps的高速相机。
图像序列特征提取模块,用于将所述视频影像拆解为帧图像后缩放到预设尺寸。本实施方式中,对帧图像进行缩放,有利于避免图像的大小对算法处理效率造成影响。本实施方式中,对手势识别的准确性与识别效率综合考虑进行多组实验分析得到设置图像缩放大小为100×100(像素)时可在相对较低耗时的情况下使识别准确性达到较好效果。
手部轮廓检测与掌心识别模块,用于获取图像序列特征提取模块输出的帧图像,并从帧图像中获取手部轮廓,并获取手部轮廓的中心点作为掌心点。手部轮廓检测与掌心识别模块的具体工作方式可参考方法中的步骤S1,获取帧图像后,首先运用OTSU最大类间方差法求得前景与背景的最佳区分阈值;然后通过轮廓检测算法从缩放后的帧图像中提取多个备选区域轮廓,使用Freeman链码保存初始点以及各个轮廓像素点的方向值,从而获得包括手部轮廓在内的若干备选区域轮廓数据,并对各个连通域进行面积大小排序,筛选出最大连通域为手部轮廓。再通过几何方法,对所得手部轮廓进行矩及中心点的计算,而从利用矩中心点对掌心点进行标定。
具体的,本实施方式中,手部轮廓检测与掌心识别模块还用于,在获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
掌心距交点建模模块,用于建立平面坐标,平面坐标以手部轮廓上各转折点为横坐标,掌心距为纵坐标,掌心距为手部轮廓上各转折点到掌心点的距离。掌心距交点建模模块中生成有对应各转折点的坐标点,生成沿着横坐标方向依次连接各坐标点的折线。设掌心点在帧图像中的像素坐标为(x0,y0),第i个转折点在帧图像中的像素坐标为(xi,yi),则在平面坐标中第i个转折点对应的坐标点为(i,Di),
掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线,并获取折线与各阈值线的交点数量。具体的,图4(b)中,折线与Threshold1的交点数量为2,与Threshold2和Threshold3的交点数量均为0;图5(b)中,折线与Threshold1的交点数量为2,与Threshold2和Threshold3的交点数量均为4;图6(b)中,折线与Threshold1的交点数量为2,与Threshold2和Threshold3的交点数量均为8。
手势识别模块,其内部设有多个手势分类,具体的,手势分类可包括石头、剪刀和布,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型。具体的,约束模型为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
约束模型中,Q1为折线与阈值线Threshold1的交点数量,Q2为折线与阈值线Threshold2的交点数量,Q3为折线与阈值线Threshold3的交点数量。
手势识别模块用于将所述折线与各阈值线的交点数量代入约束模型,以获取对应的手势分类并输出。如此,将交点Q1=2、Q2=Q3=0代入约束模型,可知图4(b)中折线对应的手势为石头;将Q1=2、Q2=Q3=4代入约束模型,可知图5(b) 中折线对应的手势为剪刀;将Q1=2、Q2=Q3=8代入约束模型,可知图6(b)中折线对应的手势为布。具体的,如果折线与各阈值线的交点数量不满足约束模型中的所有手势,则手势识别模块将手部轮廓判断为未知手势。
以上所述,仅为本发明涉及的较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于高速图像处理的特征识别方法,其特征在于,包括:
S1、获取手部轮廓和掌心点;
S2、获取手部轮廓上各转折点到掌心点的距离作为掌心距;
S3、建立平面坐标,平面坐标以转折点为横坐标,掌心距为纵坐标;并在平面坐标中根据各转折点与掌心距的对应关系生成坐标点;
S4、获取沿着横坐标方向依次连接各坐标点的折线;
S5、获取多条平行于横坐标的阈值线,根据折线与各阈值线的相交点数量进行手势识别。
2.如权利要求1所述的基于高速图像处理的特征识别方法,其特征在于,步骤S1具体为:对手势进行动作捕捉,将获取的视频影像进行帧图像提取并缩放到预设尺寸;获取缩放后的帧图像中的前景与背景的灰度区分阈值,根据灰度区分阈值从缩放后的帧图像中提取多个备选区域轮廓,并从备选区域轮廓中筛选最大连通域作为手部轮廓。
3.如权利要求1或2所述的基于高速图像处理的特征识别方法,其特征在于,步骤S5中获取预设的多条平行于横坐标的阈值线的具体方式为:预先设置多个阈值占比,阈值占比为大于0并小于1的数值;根据各阈值占比计算对应的阈值线,阈值线计算公式为:
Thresholdi=WIDTH×ai×b;
其中,Thresholdi为第i条阈值线对应的纵坐标值,WIDTH为缩放后的帧图像的水平像素或者垂直像素;ai为第i个阈值占比,b=手部展开尺寸/背景区域尺寸。
优选的,预先设置三个阈值占比,步骤S5中根据三个阈值占比对应设置三条阈值线,三个阈值占比分别为:
a1=30.8%,a2=51.4%,a3=57.1%。
4.如权利要求1或2所述的基于高速图像处理的特征识别方法,其特征在于,步骤S5中设有三条平行于横坐标的阈值线,各阈值线对应的纵坐标值Threshold1、Threshold2、Threshold3分别为:
其中,D0min为本帧图像中手部轮廓的最小掌心距,最小掌心距为手部轮廓上各点与掌心点的最小距离;γ1、γ2、γ3均为比例因子,且γ1=1,γ2=2.38,γ3=2.14。
5.如权利要求4所述的基于高速图像处理的特征识别方法,其特征在于,还包括步骤S0:设置手势分类,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型;步骤S5中,用于将折线与各阈值线的交点数量代入约束模型进行手势识别;
手势分类包括:石头、剪刀和布;
约束模型为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
约束模型中,Q1为折线与阈值线Threshold1的交点数量,Q2为折线与阈值线Threshold2的交点数量,Q3为折线与阈值线Threshold3的交点数量。
6.如权利要求1或2所述的基于高速图像处理的特征识别方法,其特征在于,步骤S1中,获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
7.如权利要求6所述的基于高速图像处理的特征识别方法,其特征在于,通过强腐蚀截去手指区域时,腐蚀核计算公式为:
CORE=max{1,Dmin/2};
其中,Dmin为上一帧图像中手部轮廓的最小掌心距,最小掌心距为手部轮廓上各点与掌心点的最小距离。
8.一种基于高速图像处理的特征识别系统,其特征在于,包括:
相机,用于对手势区域进行动作捕捉,获取视频影像;
图像序列特征提取模块,用于将所述视频影像拆解为帧图像后缩放到预设尺寸;
手部轮廓检测与掌心识别模块,用于获取图像序列特征提取模块输出的帧图像,并从帧图像中获取手部轮廓,并获取手部轮廓的中心点作为掌心点;
掌心距交点建模模块,用于建立平面坐标,平面坐标以手部轮廓上各转折点为横坐标,掌心距为纵坐标,掌心距为手部轮廓上各转折点到掌心点的距离;掌心距交点建模模块中生成有对应各转折点的坐标点,并生成沿着横坐标方向依次连接各坐标点的折线;掌心距交点建模模块还用于在平面坐标中设置多条平行于横坐标的阈值线,并获取折线与各阈值线的交点数量;
手势识别模块,其内部设有多个手势分类,每一个手势分类均关联有根据折线与各阈值线的交点数量识别手势的约束模型;手势识别模块用于将所述折线与各阈值线的交点数量代入约束模型,以获取对应的手势分类并输出。
9.如权利要求8所述的基于高速图像处理的特征识别系统,其特征在于,手部轮廓检测与掌心识别模块,用于通过轮廓检测算法从帧图像中提取提取备选目标区域,并通过计算最大连通域,确定手部轮廓;手部轮廓检测与掌心识别模块还用于,在获取手部轮廓后,通过强腐蚀截去手指区域,再通过计算矩及中心点的方式对手部轮廓的掌心点进行定位。
优选的,相机采用100fps的相机;图像序列特征提取模块用于将帧图像缩放到100×100像素。
10.如权利要求8所述的基于高速图像处理的特征识别系统,其特征在于,手势分类包括:剪刀、石头和布;
约束模型为:
当Q2∈[0,1],则识别手部轮廓为石头;
当Q2∈[2,5]或者{Q2=1且Q3≥2},则识别手部轮廓为剪刀;
当Q1≠3且Q2∈[6,10],则识别手部轮廓为布;
约束模型中,Q1为折线与阈值线Threshold1的交点数量,Q2为折线与阈值线Threshold2的交点数量,Q3为折线与阈值线Threshold3的交点数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910591949.6A CN110414363B (zh) | 2019-07-02 | 2019-07-02 | 一种基于高速图像处理的特征识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910591949.6A CN110414363B (zh) | 2019-07-02 | 2019-07-02 | 一种基于高速图像处理的特征识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110414363A true CN110414363A (zh) | 2019-11-05 |
CN110414363B CN110414363B (zh) | 2022-10-21 |
Family
ID=68358758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910591949.6A Active CN110414363B (zh) | 2019-07-02 | 2019-07-02 | 一种基于高速图像处理的特征识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414363B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149574A (zh) * | 2020-09-24 | 2020-12-29 | 济南大学 | 一种面向陪护机器人的意图柔性映射方法及装置 |
CN113158912A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 手势识别方法及装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012036790A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
CN109919039A (zh) * | 2019-02-14 | 2019-06-21 | 上海磐启微电子有限公司 | 一种基于手掌和手指特征的静态手势识别方法 |
-
2019
- 2019-07-02 CN CN201910591949.6A patent/CN110414363B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012036790A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
CN109919039A (zh) * | 2019-02-14 | 2019-06-21 | 上海磐启微电子有限公司 | 一种基于手掌和手指特征的静态手势识别方法 |
Non-Patent Citations (1)
Title |
---|
范文兵等: "一种基于肤色特征提取的手势检测识别方法", 《现代电子技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149574A (zh) * | 2020-09-24 | 2020-12-29 | 济南大学 | 一种面向陪护机器人的意图柔性映射方法及装置 |
CN113158912A (zh) * | 2021-04-25 | 2021-07-23 | 北京华捷艾米科技有限公司 | 手势识别方法及装置、存储介质及电子设备 |
CN113158912B (zh) * | 2021-04-25 | 2023-12-26 | 北京华捷艾米科技有限公司 | 手势识别方法及装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110414363B (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103353935B (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
Khan et al. | Hand gesture recognition: a literature review | |
CN106056053B (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
CN104598915B (zh) | 一种手势识别方法与装置 | |
CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
CN107885327B (zh) | 一种基于Kinect深度信息的指尖检测方法 | |
CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
CN102937850B (zh) | 实时手写笔迹的美化方法及美化装置 | |
CN101976330B (zh) | 手势识别方法和系统 | |
CN103530619A (zh) | 基于rgb-d数据构成的少量训练样本的手势识别方法 | |
CN106845384B (zh) | 一种基于递归模型的手势识别方法 | |
CN108230367A (zh) | 一种对灰度视频中既定目标的快速跟踪定位方法 | |
CN102096471A (zh) | 一种基于机器视觉的人机交互方法 | |
WO2008139399A2 (en) | Method of determining motion-related features and method of performing motion classification | |
CN110414363A (zh) | 一种基于高速图像处理的特征识别系统 | |
CN107357414B (zh) | 一种点击动作的识别方法及点击动作识别装置 | |
CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
CN105354812B (zh) | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 | |
CN109410248B (zh) | 一种基于r-K算法的浮选泡沫运动特征提取方法 | |
CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸系统及方法 | |
Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
CN109993770A (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
CN106778813A (zh) | 深度图像的自适应聚类分割算法 | |
CN109189219A (zh) | 基于手势识别的非接触式虚拟鼠标的实现方法 | |
CN109857322B (zh) | 一种基于安卓的画笔宽度控制方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |