CN106250852A - 虚拟现实终端及手型识别方法和装置 - Google Patents

虚拟现实终端及手型识别方法和装置 Download PDF

Info

Publication number
CN106250852A
CN106250852A CN201610620787.0A CN201610620787A CN106250852A CN 106250852 A CN106250852 A CN 106250852A CN 201610620787 A CN201610620787 A CN 201610620787A CN 106250852 A CN106250852 A CN 106250852A
Authority
CN
China
Prior art keywords
hand
grader
type
angle point
decision tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610620787.0A
Other languages
English (en)
Inventor
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd, LeTV Holding Beijing Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201610620787.0A priority Critical patent/CN106250852A/zh
Publication of CN106250852A publication Critical patent/CN106250852A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers

Abstract

本发明的实施例提供一种虚拟现实终端及手型识别方法和装置,涉及人机交互技术领域。方法包括:获取手型图像;对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的决策树对应的每个分类器进行匹配以确定手型。通过本发明实施例的手型识别方法、装置和虚拟现实终端,可以降低相似手型的干扰,提高某些手型的识别率、降低误判率。

Description

虚拟现实终端及手型识别方法和装置
技术领域
本发明实施例涉及人机交互技术领域,尤其涉及一种虚拟现实终端及手型识别方法和装置。
背景技术
手型识别技术是人机交互的重要技术,例如,视觉机器人利用手型识别技术采集手势的动作而进行相应的处理。
自然的手势跟踪是真正的增强现实/虚拟现实(AR/VR)所必须的,需要能准确快速的识别复杂动作,并且作为软件开发工具包(SDK,Software Development Kit)提供给开发者只需要占用很少的资源。
手型识别,简单地说,这项技术是利用各类传感器对手部/手持工具的形态、位移等进行持续采集,每隔一段时间完成一次建模,形成一个模型信息的序列帧,再将这些信息序列转换为对应的指令,用来控制实现某些操作。
手型识别,目前通用的方法是,先将样本图像直接训练,得到分类器(如多类别的SVM分类器,或者ADABOOST分类器),但是,在实现本发明的过程中,发明人发现由于相似手型的干扰会导致某些手型的识别率不高、误判率很高。
发明内容
本发明实施例的目的在于提供一种虚拟现实终端及手型识别方法和装置,用以解决现有技术中相似手型的干扰会导致某些手型的识别率不高、误判率很高的问题。
本发明实施例采用的技术方案如下:
本发明的一实施例提供一种手型识别方法,包括:
获取手型图像;
对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
可选地,所述将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;
根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
可选地,所述手型识别方法还包括:
存储所述分类器与手型的对应关系。
可选地,在所述获取手型图像之前,所述方法还包括:
建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;
根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明的另一实施例提供一种手型识别装置,包括:
图像获取单元,用于获取手型图像;
处理单元,用于对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
可选地,所述处理单元用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
所述处理单元用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
可选地,所述手型识别装置还包括:
存储单元,用于存储所述分类器与手型的对应关系。
可选地,所述处理单元,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述处理单元用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
所述处理单元用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明的另一实施例提供一种虚拟现实终端,包括:
硬件处理器,用于获取手型图像;对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
可选地,所述硬件处理器用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
可选地,所述虚拟现实终端还包括:
存储器,用于存储所述分类器与手型的对应关系。
可选地,所述硬件处理器,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
所述硬件处理器用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明实施例的技术方案具有以下优点:
本发明实施例提供的一种手型识别方法和装置以及虚拟现实终端,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,可以降低相似手型的干扰,提高某些手型的识别率、降低误判率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明另一实施例的一种手型识别方法的流程示意图;
图2为本发明一实施例的一种手型识别装置的结构示意图;
图3为本发明一实施例的一种虚拟现实终端的结构示意图;
图4为本发明另一实施例的一种手型识别装置的结构示意图;
图5为本发明另一实施例的一种手型识别方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明一实施例的一种手型识别方法的流程示意图,所述手型识别方法可以应用于机器人、计算机和电视等等各种视觉机器,所述手型识别方法主要如下所述。
步骤11,获取手型图像。
步骤12,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
在本发明的另一实施例中,所述将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;
根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
在本发明的另一实施例中,所述手型识别方法还包括:
存储所述分类器与手型的对应关系。
在本发明的另一实施例中,在所述获取手型图像之前,所述手型识别方法还包括:
建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;
根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明实施例提供的手型识别方法,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,可以降低相似手型的干扰,提高某些手型的识别率、降低误判率。
如图2所示,为本发明一实施例的一种手型识别装置的结构示意图,所述手型识别装置可以设置于机器人、计算机和电视等等各种视觉机器中,所述手型识别装置包括:图像获取单元21和处理单元22。
所述图像获取单元21,用于获取手型图像。
所述处理单元22,用于对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
在本发明的另一实施例中,所述处理单元22用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:所述处理单元22用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
在本发明的另一实施例中,所述手型识别装置还包括:
存储单元,用于存储所述分类器与手型的对应关系。
在本发明的另一实施例中,所述处理单元22,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;其中,所述处理单元22用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:所述处理单元22用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明实施例提供的手型识别装置,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,可以降低相似手型的干扰,提高某些手型的识别率、降低误判率。
如图3所示,为本发明一实施例的一种虚拟现实终端的结构示意图,所述虚拟现实终端可以设置于机器人、计算机和电视等等各种视觉机器中,所述虚拟现实终端包括:硬件处理器31。
所述硬件处理器31,用于获取手型图像;对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
在本发明的另一实施例中,所述硬件处理器31用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
在本发明的另一实施例中,所述虚拟现实终端还包括:存储器32,用于存储所述分类器与手型的对应关系。
在本发明的另一实施例中,所述硬件处理器31,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;其中,所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:所述硬件处理器用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明实施例提供的虚拟现实终端,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,可以降低相似手型的干扰,提高某些手型的识别率、降低误判率。
如图4所示,为本发明另一实施例的一种手型识别装置的结构示意图,所述手型识别装置可以设置于机器人、计算机和电视等等各种视觉机器中,所述手型识别装置包括:图像获取单元41、处理单元42和存储单元43。
在本发明的另一实施例中,所述处理单元42进一步包括图像分割子单元421和角点处理子单元422。
所述图像获取单元41,用于获取手型图像并发送给所述处理器42。
例如,所述图像获取单元41用于获取手的V字、五指张开、石头、剪刀和布等等多个手型图像的一个或多个。则相应的,所述手型可以为V字、五指张开、石头、剪刀和布等等多个手型的一个或多个。
所述图像获取单元41可以为摄像头,例如,可以为视觉传感器,有线摄像头和无线摄像头,例如,USB摄像头,wifi摄像头,ARM接摄像头和cmos摄像头。
所述图像分割子单元421用于对获取的手型图像进行图像分割。
所述角点处理子单元422,用于对分割的手型图像采用角点检测获得对应的角点序列。
例如,所述随机森林的每个分类器对应一种手型,该分类器与手型的对应关系存储在存储单元43中。
在本发明的另一实施例中,所述处理单元42进一步包括匹配子单元423和确定子单元424。
所述匹配子单元423用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器。
例如,所述匹配子单元423用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
所述确定子单元424用于根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
所述随机森林算法可以存在所述存储单元43中。
角点检测(Corner Detection)是计算机视觉系统中用来获得图像特征的一种方法,广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中,也称为特征点检测。角点通常被定义为两条边的交点,更严格的说,角点的局部邻域应该具有两个不同区域的不同方向的边界。而实际应用中,大多数所谓的角点检测方法检测的是拥有特定特征的图像点,而不仅仅是“角点”。这些特征点在图像中有具体的坐标,并具有某些数学特征,如局部最大或最小灰度、某些梯度特征等。
角点检测方法的一个很重要的评价标准是其对多幅图像中相同或相似特征的检测能力,并且能够应对光照变化、图像旋转等图像变化。
角点检测算法可归纳为3类:基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度组合3类方法,其中基于模板的方法主要考虑像素领域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。常见的基于模板的角点检测算法有Kitchen-Rosenfeld角点检测算法,Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法。和其他角点检测算法相比,SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。
基于梯度的方法是通过计算边缘的曲率来判断角点的存在性,角点计算数值的大小不仅与边缘强度有关,而且与边缘方向的变化率有关,该方法对噪声比基于模板的角点检测方法对噪声更为敏感。
基于模板的方法主要考虑像素邻域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。
基于二值图像的角点检测为一种基于形态骨架的角点检测方法,该方法将原始图像看作一个多边形,则多边形的角点一定在骨架的延长线上,且角点所对应的骨架点的最大圆盘半径应该趋于0,检测骨架中的最大圆盘为0的点,即为角点。
所述处理单元42还包括随机森林建立子单元425,用于建立随机森林(RandomForest,RF),其中,所述随机森林由多个决策树组成,随机森林的每一棵决策树之间是没有关联的。每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型,所述匹配子单元423用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:所述匹配子单元423用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明的另一实施例中,分类(Categorization or Classification),是指按照某种标准给对象贴标签(label),再根据标签来区分归类。例如,对获取的某种行为动作的一系列手型图像进行标签。
分类是数据挖掘的一种非常重要的方法,分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即通常所说的分类器(Classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个,从而可以应用于数据预测。总之,分类器是数据挖掘中对样本进行分类的方法的统称,包含决策树(Decision Tree,DT)、逻辑回归、朴素贝叶斯、神经网络等算法。
分类器的构造和实施大体会经过以下多个步骤:
步骤1,选定样本(包含正样本和负样本),将所有样本分成训练样本和测试样本两部分。
步骤2,在训练样本上执行分类器算法,生成分类模型。
步骤3,在测试样本上执行分类模型,生成预测结果。
步骤4,根据预测结果,计算必要的评估指标,评估分类模型的性能。
随机森林,是用随机的方式建立一个森林,其中,所述随机森林由多个决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个输入样本应该属于那一类(对于分类算法),然后看看那一类被选择最多,就预测这个输入样本为那一类。
对于决策树,根据下列算法而建造每棵树:
1.用N来表示训练例子的个数,M表示变量的数目。
2.被告知一个数m,被用来决定当在一个节点上做决定时,会使用到多少个变量。m应小于M
3.从N个训练案例中以可重复取样的方式,取样N次,形成一组训练集(即bootstrap取样)。并使用这棵树来对剩余预测其类别,并评估其误差。
4.对于每一个节点,随机选择m个基于此点上的变量。根据这m个变量,计算其最佳的分割方式。
5.每棵树都会完整成长而不会剪枝(Pruning)(这有可能在建完一棵正常树状分类器后会被采用)。
在建立每一棵决策树的过程中,有两点需要注意-采样与完全分裂。首先是两个随机采样的过程,random forest对输入的数据要进行行、列的采样。对于行采样,采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那么采样的样本也为N个。这样使得在训练的时候,每一棵树的输入样本都不是全部的样本,使得相对不容易出现over-fitting。然后进行列采样,从M个特征feature中,选择m个(m<<M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树,这样决策树的某一个叶子节点要么是无法继续分裂的,要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤-剪枝,但是由于之前的两个随机采样的过程保证了随机性,所以就算不剪枝,也不会出现over-fitting。
本实施例中,所述的训练例子或样本是所述获取的手型图像。
综上所述,本实施例的手型识别装置,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,将基于角点序列对手型的描述融合进随机森林分类器中,达到了良好的识别效果,提高准确度。
如图5所示,为本发明另一实施例的一种手型识别方法的流程示意图,所述手型识别方法可以应用于机器人、计算机和电视等等各种视觉机器,所述手型识别方法主要如下所述。
步骤51,获取手型图像。
例如,利用图像获取单元用于获取手的V字、五指张开、石头、剪刀和布等等多个手型图像的一个或多个。则相应的,所述手型可以为V字、五指张开、石头、剪刀和布等等多个手型的一个或多个。
所述图像获取单元可以为摄像头,例如,可以为视觉传感器,有线摄像头和无线摄像头,例如,USB摄像头,wifi摄像头,ARM接摄像头和cmos摄像头。
步骤52,对获取的手型图像进行图像分割。
步骤53,对分割的手型图像采用角点检测获得对应的角点序列。
步骤54,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
例如,所述随机森林的每个分类器对应一种手型,该分类器与手型的对应关系存储在存储器中。
在本发明的另一实施例中,所述将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括如下内容。
步骤541,将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器。
步骤542,根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
所述随机森林算法可以存在所述存储器中。
角点检测(Corner Detection)是计算机视觉系统中用来获得图像特征的一种方法,广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中,也称为特征点检测。角点通常被定义为两条边的交点,更严格的说,角点的局部邻域应该具有两个不同区域的不同方向的边界。而实际应用中,大多数所谓的角点检测方法检测的是拥有特定特征的图像点,而不仅仅是“角点”。这些特征点在图像中有具体的坐标,并具有某些数学特征,如局部最大或最小灰度、某些梯度特征等。
角点检测方法的一个很重要的评价标准是其对多幅图像中相同或相似特征的检测能力,并且能够应对光照变化、图像旋转等图像变化。
角点检测算法可归纳为3类:基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度组合3类方法,其中基于模板的方法主要考虑像素领域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。常见的基于模板的角点检测算法有Kitchen-Rosenfeld角点检测算法,Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法。和其他角点检测算法相比,SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。
基于梯度的方法是通过计算边缘的曲率来判断角点的存在性,角点计算数值的大小不仅与边缘强度有关,而且与边缘方向的变化率有关,该方法对噪声比基于模板的角点检测方法对噪声更为敏感。
基于模板的方法主要考虑像素邻域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。
基于二值图像的角点检测为一种基于形态骨架的角点检测方法,该方法将原始图像看作一个多边形,则多边形的角点一定在骨架的延长线上,且角点所对应的骨架点的最大圆盘半径应该趋于0,检测骨架中的最大圆盘为0的点,即为角点。
在所述获取手型图像之前,所述手型识别方法还包括:
步骤540,建立随机森林(Random Forest,RF),其中,所述随机森林由多个决策树组成,随机森林的每一棵决策树之间是没有关联的,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型。
所述将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
步骤5421,将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树。
步骤5422,根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
本发明的另一实施例中,分类(Categorization or Classification),是指按照某种标准给对象贴标签(label),再根据标签来区分归类。例如,对获取的某种行为动作的一系列手型图像进行标签。
分类是数据挖掘的一种非常重要的方法,分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即通常所说的分类器(Classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个,从而可以应用于数据预测。总之,分类器是数据挖掘中对样本进行分类的方法的统称,包含决策树(Decision Tree,DT)、逻辑回归、朴素贝叶斯、神经网络等算法。
分类器的构造和实施大体会经过以下多个步骤:
步骤1,选定样本(包含正样本和负样本),将所有样本分成训练样本和测试样本两部分。
步骤2,在训练样本上执行分类器算法,生成分类模型。
步骤3,在测试样本上执行分类模型,生成预测结果。
步骤4,根据预测结果,计算必要的评估指标,评估分类模型的性能。
随机森林,是用随机的方式建立一个森林,其中,所述随机森林由多个决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个输入样本应该属于那一类(对于分类算法),然后看看那一类被选择最多,就预测这个输入样本为那一类。
对于决策树,根据下列算法而建造每棵树:
1.用N来表示训练例子的个数,M表示变量的数目。
2.被告知一个数m,被用来决定当在一个节点上做决定时,会使用到多少个变量。m应小于M
3.从N个训练案例中以可重复取样的方式,取样N次,形成一组训练集(即bootstrap取样)。并使用这棵树来对剩余预测其类别,并评估其误差。
4.对于每一个节点,随机选择m个基于此点上的变量。根据这m个变量,计算其最佳的分割方式。
5.每棵树都会完整成长而不会剪枝(Pruning)(这有可能在建完一棵正常树状分类器后会被采用)。
在建立每一棵决策树的过程中,有两点需要注意-采样与完全分裂。首先是两个随机采样的过程,random forest对输入的数据要进行行、列的采样。对于行采样,采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那么采样的样本也为N个。这样使得在训练的时候,每一棵树的输入样本都不是全部的样本,使得相对不容易出现over-fitting。然后进行列采样,从M个特征feature中,选择m个(m<<M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树,这样决策树的某一个叶子节点要么是无法继续分裂的,要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤-剪枝,但是由于之前的两个随机采样的过程保证了随机性,所以就算不剪枝,也不会出现over-fitting。
本实施例中,所述的训练例子或样本是所述获取的手型图像。
综上所述,本实施例的手型识别方法,对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型,将基于角点序列对手型的描述融合进随机森林分类器中,达到了良好的识别效果,提高准确度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种手型识别方法,其特征在于,包括:
获取手型图像;
对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的决策树对应的每个分类器进行匹配以确定手型。
2.如权利要求1所述的方法,其特征在于,所述将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;
根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
3.如权利要求2所述的方法,其特征在于,所述手型识别方法还包括:
存储所述分类器与手型的对应关系。
4.如权利要求2所述的方法,其特征在于,在所述获取手型图像之前,所述方法还包括:
建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;
根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
5.一种手型识别装置,其特征在于,包括:
图像获取单元,用于获取手型图像;
处理单元,用于对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
6.如权利要求5所述的装置,其特征在于,所述处理单元用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
所述处理单元用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
7.如权利要求6所述的装置,其特征在于,所述手型识别装置还包括:
存储单元,用于存储所述分类器与手型的对应关系。
8.如权利要求6所述的装置,其特征在于,所述处理单元,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述处理单元用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
所述处理单元用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
9.一种虚拟现实终端,其特征在于,包括:
硬件处理器,用于获取手型图像;对获取的手型图像进行图像分割,对分割的手型图像采用角点检测获得对应的角点序列,将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型。
10.如权利要求9所述的虚拟现实终端,其特征在于,所述硬件处理器用于将所述角点序列与随机森林的每个决策树对应的每个分类器进行匹配以确定手型具体包括:
所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器;根据分类器与手型的对应关系确定与所述角点序列匹配的分类器对应的手型。
11.如权利要求10所述的虚拟现实终端,其特征在于,所述虚拟现实终端还包括:
存储器,用于存储所述分类器与手型的对应关系。
12.如权利要求10所述的虚拟现实终端,其特征在于,所述硬件处理器,还用于建立随机森林,其中,所述随机森林由多个决策树组成,每一棵决策树即对应一个分类器,其中,所述分类器与手型的对应关系为每个分类器对应一个手型;
其中,所述硬件处理器用于将所述角点序列与所述随机森林的决策树对应的每个分类器进行匹配,以确定与所述角点序列匹配的分类器具体包括:
所述硬件处理器用于将所述角点序列与所述随机森林的每个决策树进行比较以确定出与所述角点序列对应的决策树;根据决策树与分类器的对应关系确定出与所述对应的决策树对应的分类器。
CN201610620787.0A 2016-08-01 2016-08-01 虚拟现实终端及手型识别方法和装置 Pending CN106250852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610620787.0A CN106250852A (zh) 2016-08-01 2016-08-01 虚拟现实终端及手型识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610620787.0A CN106250852A (zh) 2016-08-01 2016-08-01 虚拟现实终端及手型识别方法和装置

Publications (1)

Publication Number Publication Date
CN106250852A true CN106250852A (zh) 2016-12-21

Family

ID=57606677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610620787.0A Pending CN106250852A (zh) 2016-08-01 2016-08-01 虚拟现实终端及手型识别方法和装置

Country Status (1)

Country Link
CN (1) CN106250852A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120036097A1 (en) * 2010-08-05 2012-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems And Methods For Recognizing Events
CN102831404A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势检测方法及系统
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN105608441A (zh) * 2016-01-13 2016-05-25 浙江宇视科技有限公司 一种车型识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120036097A1 (en) * 2010-08-05 2012-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems And Methods For Recognizing Events
CN103577793A (zh) * 2012-07-27 2014-02-12 中兴通讯股份有限公司 手势识别方法及装置
CN102831404A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势检测方法及系统
CN105608441A (zh) * 2016-01-13 2016-05-25 浙江宇视科技有限公司 一种车型识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵显: "基于随机森林的手势检测与识别系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
龚声蓉: "《数字图像处理 第2版》", 31 May 2014 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备
CN108305260B (zh) * 2018-03-02 2022-04-12 苏州大学 一种图像中角点的检测方法、装置及设备

Similar Documents

Publication Publication Date Title
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
CN105809146B (zh) 一种图像场景识别方法和装置
CN108960278A (zh) 使用生成式对抗网络的鉴别器的新奇检测
EP3540636A1 (en) Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN107808126A (zh) 车辆检索方法及装置
CN108256454B (zh) 一种基于cnn模型的训练方法、人脸姿态估测方法及装置
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN116343287A (zh) 面部表情识别、模型训练方法、装置、设备及存储介质
CN109543744B (zh) 一种基于龙芯派的多类别深度学习图像识别方法及其应用
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113449548A (zh) 更新物体识别模型的方法和装置
EP4102463A1 (en) Image processing method and related device
CN106250852A (zh) 虚拟现实终端及手型识别方法和装置
CN106874835B (zh) 一种图像处理方法及装置
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
Shishkin et al. Methods for recognizing images of heterogeneous objects in small training sample
KR20170082412A (ko) 인식 대상 맞춤형 비전 시스템 생성 장치 및 방법
Elbatsh et al. WikiFish: Mobile App for Fish Species Recognition Using Deep Convolutional Neural Networks
Połap et al. Detection of important features from images using heuristic approach
Mavrikis et al. Comparative evaluation of computer vision technologies, targeting object identification and localization scenarios
Thevarasa et al. Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification
Bremberg et al. Classifying age and gender on historical photographs using convolutional neural networks
CN113362372B (zh) 一种单目标追踪方法及计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161221

WD01 Invention patent application deemed withdrawn after publication