CN111435429B - 一种基于双目立体数据动态认知的手势识别方法及系统 - Google Patents

一种基于双目立体数据动态认知的手势识别方法及系统 Download PDF

Info

Publication number
CN111435429B
CN111435429B CN201910033845.3A CN201910033845A CN111435429B CN 111435429 B CN111435429 B CN 111435429B CN 201910033845 A CN201910033845 A CN 201910033845A CN 111435429 B CN111435429 B CN 111435429B
Authority
CN
China
Prior art keywords
gesture
gesture recognition
hand
camera
outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910033845.3A
Other languages
English (en)
Other versions
CN111435429A (zh
Inventor
董霄剑
曾洪庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vizum Intelligent Technology Co ltd
Original Assignee
Beijing Vizum Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vizum Intelligent Technology Co ltd filed Critical Beijing Vizum Intelligent Technology Co ltd
Priority to CN201910033845.3A priority Critical patent/CN111435429B/zh
Publication of CN111435429A publication Critical patent/CN111435429A/zh
Application granted granted Critical
Publication of CN111435429B publication Critical patent/CN111435429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于双目立体数据动态认知的手势识别方法及系统,包括图像采集模块、轮廓数据处理模块、手势数据处理模块、手势识别模块。针对目前手势识别技术在复杂环境下识别率低的问题,通过双目可见光的立体智能认知方法可对目标手势进行精确识别,可增加红外线补光灯,对于纹理很弱、边界模糊的手势也能有较好的识别效果,使得烟雾、高温、黑暗等特殊环境下也能很好地工作;根据逻辑分段特征及色彩特征获取手部轮廓,手部轮廓获取更准确;采用深度学习技术对手势进行识别训练,使得手势识别成功率更高。

Description

一种基于双目立体数据动态认知的手势识别方法及系统
技术领域
本发明属于手势识别技术领域,具体而言是一种基于双目立体数据动态认知的手势识别方法及系统。
背景技术
手势控制技术是当前比较新颖的操控技术,因其具有更简单、更自然的操作方式而备受青睐,成为操控技术的发展趋势。手势识别分两种,一种是静态的手势识别,即在摄像头下检测到某个手势时就给出命令;另一种是动态手势识别,即能够识别手做的一些动作。由于静态手势识别技术应用的局限性较大,不够灵活,已日渐淘汰。动态手势识别技术具有实用性,但识别难度比静态手势识别大很多,目前大多数研究方案着眼于手势的最终识别,通常将手势背景简化,并在单一背景下利用所研究的算法将手势进行分割,然后采用常用的识别方法将手势表达的含义通过系统分析出来。在现实应用中,一方面由于目前的机器视觉识别系统本身有缺陷,导致识别速度慢、误差率高;另一方面,当手势处于复杂环境下,例如光线过亮或过暗、较多手势存在、手势与采集设备距离不同时,往往导致识别系统失灵而无法稳定工作。因此,让手势识别系统即使在复杂环境下也能准确识别手势,成为当前手势识别技术领域亟需解决的问题。
发明内容
针对目前手势识别技术在复杂环境下识别率低的问题,本发明提供一种基于双目立体数据动态认知的手势识别方法及系统。
本发明所指的基于双目立体数据动态认知的手势识别方法具体包括以下步骤:
(1)设置双目摄像头,对双目摄像头进行立体标定;
(2)左右摄像头分别摄取左右图像;
(3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓;
(4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓;
(5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量;
(6)取相机所摄连续多帧图片提取的三维特征向量,作为手势识别深度学习模型的输入,对手势特征识别进行训练;
(7)利用训练好的手势识别深度学习模型进行手势特征识别,判读手势含义。
本发明还包括实施上述方法的系统,其特征在于,包括:
(1)用于采集图像信息的图像采集模块,包括双目摄像模组及相应的电路;
(2)轮廓数据处理模块,用于对左右摄像头所摄的图像进行边缘计算并得到所有物体的轮廓,包括边缘检测算法模型;
(3)手势数据处理模块,用于提取手部轮廓数据、对提取的手部轮廓数据进行逻辑分段以及分析得到三维特征向量,包括图像分割算法模型、分类器模型;
(4)手势识别模块,用于接收已处理的手势特征向量数据并分析判定手势动作,包括手势识别深度学习模型。
上述轮廓数据处理模块、手势数据处理模块、手势识别模块安装在计算机内运行。
可选地,本发明在一些可能导致手势纹理弱、边界模糊的特殊使用场景下使用时,可以增加红外线补光灯进行红外补光,以使获取物体轮廓的效果更好。
本发明的有益效果是:针对目前手势识别技术在复杂环境下识别率低的问题,通过双目可见光的立体智能认知方法可对目标手势进行精确识别,可增加红外线补光灯,对于纹理很弱、边界模糊的手势也能有较好的识别效果,使得烟雾、高温、黑暗等特殊环境下也能很好地工作;根据逻辑分段特征及色彩特征获取手部轮廓,手部轮廓获取更准确;采用深度学习技术对手势进行识别训练,使得手势识别成功率更高。
附图说明
图1为使用本发明的一个实施例应用场景示意图;
图2为经逻辑分段后得到的特征向量示意图。
图中:1.图像采集模块;2.双目摄像头;3.红外线补光灯。
具体实施方式
参见图1-2,本发明提供一种基于双目立体数据动态认知的手势识别方法及系统,基本思路是通过双目可见光的立体智能认知方法,利用边缘识别算法计算得到双摄图像中所有物体的轮廓,再根据分段特征及色彩特征准确分离出手势轮廓,左右匹配后得到三维特征向量,然后经深度学习技术将三维特征向量的变化与手势特征进行对应,判读手势含义,使得手势识别成功率更高。
本发明的一个实施例的具体实施方法包括以下步骤:
(1)设置双目摄像头,对双目摄像头进行立体标定;
(2)左右摄像头分别摄取左右图像;
(3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓;
(4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓;
(5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量;
(6)取相机所摄连续多帧图片提取的三维特征向量,作为手势识别深度学习模型的输入,对手势特征识别进行训练;
(7)利用训练好的手势识别深度学习模型进行手势特征识别,判读手势含义。
上述步骤(1)中对双目摄像头进行立体标定是指:
双目立体视觉根据光学三角法获取物体的三维信息,其关键是精确标定双目系统获得内外参数,匹配空间点分别在两个相机成像面上的像素坐标,根据视差原理计算深度信息。为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系,需要在测量前对系统进行标定。
立体标定的方法包括:
对双目相机的左右摄像机分别标定,获得两个摄像机内参矩阵A,外参矩阵[R T];旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数,平移向量T是世界坐标系原点到摄像机平面原点位置偏差;再根据下式得出两相机之间的旋转矩阵R和平移向量T:
其中,Rr为左相机的旋转矩阵,R1为右相机的旋转矩阵,T1为左相机的平移向量,Tr为右相机的平移向量。
上述步骤(3)中计算出所有图像中物体轮廓所用方法包括:使用双目摄像头拍摄得到物体左右图像,利用边缘检测算法计算出所有图像中物体的轮廓。所用边缘检测算法可以是Sobel边缘检测算法,可以是Canny边缘检测算法,也可以是基于支持向量机(SVM)的边缘检测算法。
上述步骤(4)中分离出手部轮廓的方法包括:
首先根据手部色彩特征,在HSV彩色空间中进行肤色检验,将所摄图像转换至HSV格式,并将其分离至HSV三个通道,根据色度和饱和度分割图像,将符合手部色彩特征的图像分割出来。
由于背景中存在类肤色信息,利用该方法分割得到的手部候选区域较多。为了进一步确定手部轮廓,利用逻辑分段特征对手部轮廓进行确定。
所述逻辑分段是指在经上述步骤后得到的轮廓中利用线段的直线特性和弧线特性进行分段,将轮廓线分段为直线段与弧线段,其中手部轮廓在分段时指尖及指缝分段为弧线段,指侧沿分段为直线段。利用分类器对完成逻辑分段的轮廓线段进行分类筛选,筛选出符合手部轮廓的弧线段及直线段,同时根据手部色彩特征,最终分离出手部轮廓。
所述分类器可以是基于支持向量机(SVM)的分类器,也可以是基于深度学习的分类模型。
上述步骤(5)中得到手部轮廓三维特征向量的方法包括:
手部轮廓经上述逻辑分段及分类器的分类筛选后,得到符合手部轮廓特征的弧线段及直线段,提取弧线段及直线段的特征向量得到手部轮廓的指尖、指侧沿、指缝的特征向量,经左右匹配后得到三维特征向量。
上述步骤(6)中对手势特征识别进行训练包括:取相机所摄连续多帧图片按照上述方法分别提取出手部轮廓的三维特征向量,将得到的特征向量输入到手势识别深度学习模型,建立特征向量的变化与手势的对应关系,对模型进行手势特征识别训练。

Claims (11)

1.一种基于双目立体数据动态认知的手势识别方法,其特征在于,具体包括以下步骤:
(1)设置双目摄像头,对双目摄像头进行立体标定;
(2)左右摄像头分别摄取左右图像;
(3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓;
(4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓;分离出手部轮廓的方法包括:首先根据手部色彩特征,在HSV彩色空间中进行肤色检验,将所摄图像转换至HSV格式,并将其分离至HSV三个通道,根据色度和饱和度分割图像,将符合手部色彩特征的图像分割出来;由于背景中存在类肤色信息,利用该方法分割得到的手部候选区域较多,为了进一步确定手部轮廓,利用逻辑分段特征对手部轮廓进行确定,即:在经上述步骤后得到的轮廓中利用线段的直线特性和弧线特性进行分段,将轮廓线分段为直线段与弧线段,其中手部轮廓在分段时指尖及指缝分段为弧线段,指侧沿分段为直线段,利用分类器对完成逻辑分段的轮廓线段进行分类筛选,筛选出符合手部轮廓的弧线段及直线段,同时根据手部色彩特征,最终分离出手部轮廓;
(5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量;
(6)取相机所摄连续多帧图片提取的三维特征向量,作为手势识别深度学习模型的输入,对手势特征识别进行训练;
(7)利用训练好的手势识别深度学习模型进行手势特征识别,判读手势含义。
2.根据权利要求1所述的手势识别方法,其特征在于,对双目摄像头进行立体标定是指:双目立体视觉根据光学三角法获取物体的三维信息,其关键是精确标定双目系统获得内外参数,匹配空间点分别在两个相机成像面上的像素坐标,根据视差原理计算深度信息,为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系,需要在测量前对系统进行标定。
3.根据权利要求1所述的手势识别方法,其特征在于,对双目摄像头进行立体标定的方法包括:
对双目相机的左右摄像机分别标定,获得两个摄像机内参矩阵A,外参矩阵[R T];旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数,平移向量T是世界坐标系原点到摄像机平面原点位置偏差;再根据下式得出两相机之间的旋转矩阵R和平移向量T:
其中,Rr为左相机的旋转矩阵,Rl为右相机的旋转矩阵,Tl为左相机的平移向量,Tr为右相机的平移向量。
4.根据权利要求1所述的手势识别方法,其特征在于,计算得出图像中所有物体的轮廓所用方法包括:使用双目摄像头拍摄得到物体左右图像,利用边缘检测算法计算出所有图像中物体的轮廓。
5.根据权利要求4所述的手势识别方法,其特征在于,所用边缘检测算法为Sobel边缘检测算法、Canny边缘检测算法、基于支持向量机(SVM)的边缘检测算法中的任一种。
6.根据权利要求1所述的手势识别方法,其特征在于,所述分类器为基于支持向量机(SVM)的分类器或基于深度学习的分类模型。
7.根据权利要求1所述的手势识别方法,其特征在于,得到三维特征向量的方法包括:手部轮廓经逻辑分段及分类器的分类筛选后,得到符合手部轮廓特征的弧线段及直线段,提取弧线段及直线段的特征向量得到手部轮廓的指尖、指侧沿、指缝的特征向量,经左右匹配后得到三维特征向量。
8.根据权利要求1所述的手势识别方法,其特征在于,对手势特征识别进行训练包括:从相机所摄连续多帧图片中分别提取出手部轮廓的三维特征向量,将得到的特征向量输入到手势识别深度学习模型,建立特征向量的变化与手势的对应关系,对模型进行手势特征识别训练。
9.一种实施权利要求1至8任一项所述的手势识别方法的系统,其特征在于,包括:
(1)用于采集图像信息的图像采集模块,包括双目摄像模组及相应的电路;
(2)轮廓数据处理模块,用于对左右摄像头所摄的图像进行边缘计算并得到所有物体的轮廓,包括边缘检测算法模型;
(3)手势数据处理模块,用于提取手部轮廓数据、对提取的手部轮廓数据进行逻辑分段以及分析得到三维特征向量,包括图像分割算法模型、分类器模型;
(4)手势识别模块,用于接收已处理的手势特征向量数据并分析判定手势动作,包括手势识别深度学习模型。
10.根据权利要求9所述的系统,其特征在于,所述轮廓数据处理模块、手势数据处理模块、手势识别模块安装在计算机内运行。
11.根据权利要求9所述的系统,其特征在于,所述图像采集模块还包括红外线补光灯,用于进行红外补光,以使获取物体轮廓的效果更好。
CN201910033845.3A 2019-01-15 2019-01-15 一种基于双目立体数据动态认知的手势识别方法及系统 Active CN111435429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910033845.3A CN111435429B (zh) 2019-01-15 2019-01-15 一种基于双目立体数据动态认知的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910033845.3A CN111435429B (zh) 2019-01-15 2019-01-15 一种基于双目立体数据动态认知的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN111435429A CN111435429A (zh) 2020-07-21
CN111435429B true CN111435429B (zh) 2024-03-01

Family

ID=71579993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910033845.3A Active CN111435429B (zh) 2019-01-15 2019-01-15 一种基于双目立体数据动态认知的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN111435429B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667088B (zh) * 2021-01-06 2023-03-24 湖南翰坤实业有限公司 基于vr行走平台的手势应用识别方法及系统
CN112749664A (zh) * 2021-01-15 2021-05-04 广东工贸职业技术学院 一种手势识别方法、装置、设备、系统及存储介质
CN113870647A (zh) * 2021-11-19 2021-12-31 山西宁志科技有限公司 视觉识别系统教学实训台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097840A (en) * 1996-03-29 2000-08-01 Fujitsu Limited Profile extracting method and system
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
KR20160124361A (ko) * 2015-04-17 2016-10-27 가천대학교 산학협력단 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
CN108647654A (zh) * 2018-05-15 2018-10-12 合肥岚钊岚传媒有限公司 基于视觉的手势视频图像识别系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008052928A1 (de) * 2008-10-23 2010-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
US8805017B2 (en) * 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
US20180288387A1 (en) * 2017-03-29 2018-10-04 Intel Corporation Real-time capturing, processing, and rendering of data for enhanced viewing experiences

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097840A (en) * 1996-03-29 2000-08-01 Fujitsu Limited Profile extracting method and system
CN104598915A (zh) * 2014-01-24 2015-05-06 深圳奥比中光科技有限公司 一种手势识别方法与装置
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
KR20160124361A (ko) * 2015-04-17 2016-10-27 가천대학교 산학협력단 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
CN108647654A (zh) * 2018-05-15 2018-10-12 合肥岚钊岚传媒有限公司 基于视觉的手势视频图像识别系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hand Gesture Recognition Based on Convex Defect Detection;Yanan Xu 等;《2018 International Conference on Intelligent Systems and Computer Vision (ISCV)》;第12卷(第18期);7075-7079 *
基于改进霍夫变换算法的手势识别;郭闯世 等;《计算机系统应用》;243-248 *
基于深度数据的手势识别研究进展;陈红梅 等;《江汉大学学报(自然科学版)》;第46卷(第2期);101-108 *
手势图像识别算法研究;蒋磊磊;《中国优秀硕士学位论文全文数据库 信息科技辑》(第02期);I138-2368 *

Also Published As

Publication number Publication date
CN111435429A (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN111783820B (zh) 图像标注方法和装置
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
US10380763B2 (en) Hybrid corner and edge-based tracking
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
US10043279B1 (en) Robust detection and classification of body parts in a depth map
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
US10803604B1 (en) Layered motion representation and extraction in monocular still camera videos
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
US20200380723A1 (en) Online learning for 3d pose estimation
Guo Research of hand positioning and gesture recognition based on binocular vision
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN112613123A (zh) 一种飞机管路ar三维注册方法及装置
Ma et al. Binocular vision object positioning method for robots based on coarse-fine stereo matching
Kerdvibulvech Hand tracking by extending distance transform and hand model in real-time
Wang et al. Hand posture recognition from disparity cost map
CN111460858A (zh) 图像中指尖点的确定方法、装置、存储介质及电子设备
JP2017033556A (ja) 画像処理方法及び電子機器
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Simion et al. Finger detection based on hand contour and colour information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant