CN110991304A - 基于摄像头与热感探头的交互手势采集和识别方法及装置 - Google Patents

基于摄像头与热感探头的交互手势采集和识别方法及装置 Download PDF

Info

Publication number
CN110991304A
CN110991304A CN201911182879.5A CN201911182879A CN110991304A CN 110991304 A CN110991304 A CN 110991304A CN 201911182879 A CN201911182879 A CN 201911182879A CN 110991304 A CN110991304 A CN 110991304A
Authority
CN
China
Prior art keywords
image
thermal
gesture
calibration
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911182879.5A
Other languages
English (en)
Inventor
唐立军
周年荣
魏杰
杨家全
张林山
李浩涛
栾思平
杨洋
张旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201911182879.5A priority Critical patent/CN110991304A/zh
Publication of CN110991304A publication Critical patent/CN110991304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开基于摄像头与热感探头的交互手势采集和识别方法及装置,所述方法包括获取摄像头拍摄的原始图像;将原始图像进行颜色空间转化;通过阈值选取提取转化后图像的肤色信息;通过轮廓提取技术剔除肤色信息中的非手型区域,得到预处理图像;获取热感探头对感知区检测的热感图像;通过热感图像对预处理图像进行校准,得到校准图像;识别校准图像的手势。本申请以摄像头与热感探头为采集设备,摆脱外部专用体感交互硬件设备的限制,通过颜色空间转化、阈值选取等技术对非手型区域进行剔除。同时,热感探头对感知区进行同步检测,形成的热感图像对摄像头拍摄后的预处理图像进行校准,避免其他工具或物件产生误操作,提高交互手势识别的准确性。

Description

基于摄像头与热感探头的交互手势采集和识别方法及装置
技术领域
本申请涉及图像识别技术领域,特别涉及一种基于摄像头与热感探头的交互手势采集和识别方法及装置。
背景技术
随着虚拟现实技术的发展,传统的鼠标键盘式的交互方式已经无法满足人们操作虚拟物体的需求了,与此同时随着机器学习、神经网络等人工智能技术的发展,人们更加追求人机自然交互的方式。手势交互作为一种常见的人机交互方式广泛运用于体感应用中,常用的一些外置体感设备适用范围有限且价格昂贵。
发明内容
本申请的目的在于提供一种基于摄像头与热感探头的交互手势采集和识别方法及装置,以解决外置体感设备适用范围有限且价格昂贵的问题。
一方面,根据本申请的实施例,提供了一种基于摄像头与热感探头的交互手势采集和识别方法,包括:
获取摄像头拍摄的原始图像;
将所述原始图像进行颜色空间转化;
通过阈值选取提取转化后图像的肤色信息;
通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
获取热感探头对感知区检测的热感图像;
通过所述热感图像对所述预处理图像进行校准,得到校准图像;
识别所述校准图像的手势。
进一步地,将所述原始图像进行颜色空间转化的步骤包括:
从所述原始图像中提取RGB手型图像;
将所述RGB手型图像转换为YUV手型图像。
进一步地,所述轮廓提取技术包括特定颜色识别技术,或,特定颜色识别和热感信息协同识别技术。
进一步地,通过所述热感图像对所述预处理图像进行校准,得到校准图像的步骤包括:
根据所述热感图像计算图像深度;
根据所述图像深度对所述预处理图像进行校准,得到校准图像。
进一步地,所述识别校准图像的手势的步骤包括:
经过线性插值算法将所述校准图像放缩为预设大小;
提取所述校准图像的手势特征信息;
根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
另一方面,根据本申请的实施例,提供了基于摄像头与热感探头的交互手势采集和识别装置,包括:
第一获取单元,用于获取摄像头拍摄的原始图像;
转化单元,用于将所述原始图像进行颜色空间转化;
第一提取单元,用于通过阈值选取提取转化后图像的肤色信息;
剔除单元,用于通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
第二获取单元,用于获取热感探头对感知区检测的热感图像;
校准单元,用于通过所述热感图像对所述预处理图像进行校准,得到校准图像;
识别单元,用于识别所述校准图像的手势。
进一步地,所述转化单元包括:
第二提取单元,用于从所述原始图像中提取RGB手型图像;
转化子单元,用于将所述RGB手型图像转换为YUV手型图像。
进一步地,所述校准单元包括:
计算单元,用于根据所述热感图像计算图像深度;
校准子单元,用于根据所述图像深度对所述预处理图像进行校准,得到校准图像。
进一步地,所述识别单元包括:
放缩单元,用于经过线性插值算法将所述校准图像放缩为预设大小;
第三提取单元,用于提取所述校准图像的手势特征信息;
确定单元,用于根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
由以上技术方案可知,本申请实施例提供一种基于摄像头与热感探头的交互手势采集和识别方法及装置,所述方法包括获取摄像头拍摄的原始图像;将所述原始图像进行颜色空间转化;通过阈值选取提取转化后图像的肤色信息;通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;获取热感探头对感知区检测的热感图像;通过所述热感图像对所述预处理图像进行校准,得到校准图像;识别所述校准图像的手势。本申请以摄像头与热感探头为采集设备,摆脱了外部专用体感交互硬件设备的限制。本申请通过颜色空间转化、阈值选取,轮廓提取等方式对非手型区域进行剔除。同时,热感探头对感知区进行同步检测,形成的热感图像对摄像头拍摄后的预处理图像进行校准,避免其他工具或物件产生误操作,提高交互手势识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例示出的基于摄像头与热感探头的交互手势采集和识别方法的流程图;
图2为根据本申请实施例示出的基于摄像头与热感探头的交互手势采集和识别装置的结构框图。
具体实施方式
参阅图1,本申请实施例提供了一种基于摄像头与热感探头的交互手势采集和识别方法,包括:
步骤S1、获取摄像头拍摄的原始图像;
步骤S2、将所述原始图像进行颜色空间转化;
步骤S3、通过阈值选取提取转化后图像的肤色信息;
阈值具体为肤色阈值,肤色阈值可以是肤色RGB阈值,也可以是肤色YUV阈值。阈值选取具体为选取转化后图像中在阈值内的图像,即提取转化后图像的肤色信息。
步骤S4、通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
由于图像中存在非手型区域的肤色信息,通过轮廓提取的图像处理技术将非手型区域的信息剔除。经过以上方式处理之后的得到的预处理图像中只保留了与手型姿态相关的信息,降低了无关信息对手型姿态信息的干扰。
步骤S5、获取热感探头对感知区检测的热感图像;
步骤S6、通过所述热感图像对所述预处理图像进行校准,得到校准图像;
通过热感探头获得的热感图像的校准,避免其他工具或物件产生误操作。
步骤S7、识别所述校准图像的手势。
本申请采用摄像头与热感探头为采集设备以实现手势交互的功能,使得手势交互摆脱外部专用体感交互硬件设备的限制,以实现在拥有摄像头与热感探头的普通设备(如特定头盔)上进行手势交互。本申请通过颜色空间转化、阈值选取,轮廓提取等方式对非手型区域进行剔除。同时,热感探头对感知区进行同步检测,形成的热感图像对摄像头拍摄后的预处理图像进行校准,避免其他工具或物件产生误操作,提高交互手势识别的准确性。
进一步地,将所述原始图像进行颜色空间转化的步骤包括:
从所述原始图像中提取RGB手型图像;
将所述RGB手型图像转换为YUV手型图像。
RGB分别代表三原色红、绿、蓝。而在YUV颜色空间中,Y代表亮度,相当于灰阶值。U和V代表色度,用于描述色彩及其饱和度。U表示输入图像红色区域与RGB颜色空间亮度值之间的差异,V表示输入图像蓝色区域与RGB颜色空间亮度值之间的差异。
进一步地,所述轮廓提取技术包括特定颜色识别技术,或,特定颜色识别和热感信息协同识别技术。
特定颜色识别技术具体为数字化后图像RGB数值对比。本申请还可以结合热感探头的热感数据对非手型区域进行剔除,以完成手型图像的前期预处理,提高交互手势采集和识别的准确性。
进一步地,通过所述热感图像对所述预处理图像进行校准,得到校准图像的步骤包括:
根据所述热感图像计算图像深度;
根据所述图像深度对所述预处理图像进行校准,得到校准图像。
根据图像深度对所述预处理图像进行校准有助于提高交互手势采集和识别的准确性。
进一步地,所述识别校准图像的手势的步骤包括:
校准图像被采集于一矩形框内;
经过线性插值算法将所述校准图像放缩为预设大小;
提取所述校准图像的手势特征信息;
根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
参阅图2,本申请实施例提供了基于摄像头与热感探头的交互手势采集和识别装置,包括:
第一获取单元101,用于获取摄像头拍摄的原始图像;
转化单元102,用于将所述原始图像进行颜色空间转化;
第一提取单元103,用于通过阈值选取提取转化后图像的肤色信息;
剔除单元104,用于通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
第二获取单元105,用于获取热感探头对感知区检测的热感图像;
校准单元106,用于通过所述热感图像对所述预处理图像进行校准,得到校准图像;
识别单元107,用于识别所述校准图像的手势。
进一步地,所述转化单元包括:
第二提取单元,用于从所述原始图像中提取RGB手型图像;
转化子单元,用于将所述RGB手型图像转换为YUV手型图像。
进一步地,所述校准单元包括:
计算单元,用于根据所述热感图像计算图像深度;
校准子单元,用于根据所述图像深度对所述预处理图像进行校准,得到校准图像。
进一步地,所述识别单元包括:
放缩单元,用于经过线性插值算法将所述校准图像放缩为预设大小;
第三提取单元,用于提取所述校准图像的手势特征信息;
确定单元,用于根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
由以上技术方案可知,本申请实施例提供一种基于摄像头与热感探头的交互手势采集和识别方法及装置,所述方法包括获取摄像头拍摄的原始图像;将所述原始图像进行颜色空间转化;通过阈值选取提取转化后图像的肤色信息;通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;获取热感探头对感知区检测的热感图像;通过所述热感图像对所述预处理图像进行校准,得到校准图像;识别所述校准图像的手势。本申请以摄像头与热感探头为采集设备,摆脱了外部专用体感交互硬件设备的限制。本申请通过颜色空间转化、阈值选取,轮廓提取等方式对非手型区域进行剔除。同时,热感探头对感知区进行同步检测,形成的热感图像对摄像头拍摄后的预处理图像进行校准,避免其他工具或物件产生误操作,提高交互手势识别的准确性。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.基于摄像头与热感探头的交互手势采集和识别方法,其特征在于,包括:
获取摄像头拍摄的原始图像;
将所述原始图像进行颜色空间转化;
通过阈值选取提取转化后图像的肤色信息;
通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
获取热感探头对感知区检测的热感图像;
通过所述热感图像对所述预处理图像进行校准,得到校准图像;
识别所述校准图像的手势。
2.根据权利要求1所述的方法,其特征在于,将所述原始图像进行颜色空间转化的步骤包括:
从所述原始图像中提取RGB手型图像;
将所述RGB手型图像转换为YUV手型图像。
3.根据权利要求1所述的方法,其特征在于,所述轮廓提取技术包括特定颜色识别技术,或,特定颜色识别和热感信息协同识别技术。
4.根据权利要求1所述的方法,其特征在于,通过所述热感图像对所述预处理图像进行校准,得到校准图像的步骤包括:
根据所述热感图像计算图像深度;
根据所述图像深度对所述预处理图像进行校准,得到校准图像。
5.根据权利要求1所述的方法,其特征在于,所述识别校准图像的手势的步骤包括:
经过线性插值算法将所述校准图像放缩为预设大小;
提取所述校准图像的手势特征信息;
根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
6.基于摄像头与热感探头的交互手势采集和识别装置,其特征在于,包括:
第一获取单元,用于获取摄像头拍摄的原始图像;
转化单元,用于将所述原始图像进行颜色空间转化;
第一提取单元,用于通过阈值选取提取转化后图像的肤色信息;
剔除单元,用于通过轮廓提取技术剔除所述肤色信息中的非手型区域,得到预处理图像;
第二获取单元,用于获取热感探头对感知区检测的热感图像;
校准单元,用于通过所述热感图像对所述预处理图像进行校准,得到校准图像;
识别单元,用于识别所述校准图像的手势。
7.根据权利要求6所述的装置,其特征在于,所述转化单元包括:
第二提取单元,用于从所述原始图像中提取RGB手型图像;
转化子单元,用于将所述RGB手型图像转换为YUV手型图像。
8.根据权利要求6所述的装置,其特征在于,所述校准单元包括:
计算单元,用于根据所述热感图像计算图像深度;
校准子单元,用于根据所述图像深度对所述预处理图像进行校准,得到校准图像。
9.根据权利要求6所述的装置,其特征在于,所述识别单元包括:
放缩单元,用于经过线性插值算法将所述校准图像放缩为预设大小;
第三提取单元,用于提取所述校准图像的手势特征信息;
确定单元,用于根据所述手势特征信息以及预定义手势信息,确定当前手势的手势类型。
CN201911182879.5A 2019-11-27 2019-11-27 基于摄像头与热感探头的交互手势采集和识别方法及装置 Pending CN110991304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182879.5A CN110991304A (zh) 2019-11-27 2019-11-27 基于摄像头与热感探头的交互手势采集和识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182879.5A CN110991304A (zh) 2019-11-27 2019-11-27 基于摄像头与热感探头的交互手势采集和识别方法及装置

Publications (1)

Publication Number Publication Date
CN110991304A true CN110991304A (zh) 2020-04-10

Family

ID=70087306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182879.5A Pending CN110991304A (zh) 2019-11-27 2019-11-27 基于摄像头与热感探头的交互手势采集和识别方法及装置

Country Status (1)

Country Link
CN (1) CN110991304A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553930A (zh) * 2020-05-08 2020-08-18 吴修文 一种结合视频智能分析的在线体感自适应交互的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679242A (zh) * 2015-02-05 2015-06-03 吉林纪元时空动漫游戏科技股份有限公司 基于单目视觉复杂背景下的手势分割方法
US20150181136A1 (en) * 2011-03-29 2015-06-25 Thermal Matrix USA, Inc. Method and system for detecting concealed objects using handheld thermal imager
KR20160066445A (ko) * 2014-12-02 2016-06-10 삼성전자주식회사 열화상을 생성하는 방법 및 장치
US20170249503A1 (en) * 2016-02-26 2017-08-31 National Chiao Tung University Method for processing image with depth information and computer program product thereof
CN108681402A (zh) * 2018-05-16 2018-10-19 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN109685078A (zh) * 2018-12-17 2019-04-26 浙江大学 基于自动标注的红外图像识别方法
CN109684959A (zh) * 2018-12-14 2019-04-26 武汉大学 基于肤色检测和深度学习的视频手势的识别方法及装置
CN109727417A (zh) * 2017-10-27 2019-05-07 安讯士有限公司 控制视频处理单元以促进检测新来者的方法和控制器
CN109934790A (zh) * 2019-03-27 2019-06-25 北京理工大学 带有自适应阈值的红外成像系统非均匀性校正方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150181136A1 (en) * 2011-03-29 2015-06-25 Thermal Matrix USA, Inc. Method and system for detecting concealed objects using handheld thermal imager
KR20160066445A (ko) * 2014-12-02 2016-06-10 삼성전자주식회사 열화상을 생성하는 방법 및 장치
CN104679242A (zh) * 2015-02-05 2015-06-03 吉林纪元时空动漫游戏科技股份有限公司 基于单目视觉复杂背景下的手势分割方法
US20170249503A1 (en) * 2016-02-26 2017-08-31 National Chiao Tung University Method for processing image with depth information and computer program product thereof
CN109727417A (zh) * 2017-10-27 2019-05-07 安讯士有限公司 控制视频处理单元以促进检测新来者的方法和控制器
CN108681402A (zh) * 2018-05-16 2018-10-19 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN109684959A (zh) * 2018-12-14 2019-04-26 武汉大学 基于肤色检测和深度学习的视频手势的识别方法及装置
CN109685078A (zh) * 2018-12-17 2019-04-26 浙江大学 基于自动标注的红外图像识别方法
CN109934790A (zh) * 2019-03-27 2019-06-25 北京理工大学 带有自适应阈值的红外成像系统非均匀性校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵捷等: "基于MEMS技术的光学读出红外成像系统", 《微纳电子技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553930A (zh) * 2020-05-08 2020-08-18 吴修文 一种结合视频智能分析的在线体感自适应交互的方法

Similar Documents

Publication Publication Date Title
EP3153943A1 (en) Air gesture input method and apparatus
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
JP5997545B2 (ja) 信号処理方法及び信号処理装置
WO2013145295A1 (ja) カラーチャート検出装置、カラーチャート検出方法及びカラーチャート検出用コンピュータプログラム
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPH0877334A (ja) 顔画像の特徴点自動抽出方法
CN112614060A (zh) 人脸图像头发渲染方法、装置、电子设备和介质
CN111062891A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN107204034A (zh) 一种图像处理方法及终端
AU2018295212B2 (en) Intelligent whiteboard collaboration systems and methods
KR102470873B1 (ko) 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
CN102521567A (zh) 一种人机交互的指尖检测方法、装置及电视机
CN108521594B (zh) 一种基于体感相机手势识别的自由视点视频播放方法
CN111199198A (zh) 一种图像目标定位方法、图像目标定位装置及移动机器人
CN110991304A (zh) 基于摄像头与热感探头的交互手势采集和识别方法及装置
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
JP4682782B2 (ja) 画像処理装置
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN102855025A (zh) 一种基于视觉注意模型的光学多点触控触点检测方法
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
KR101766787B1 (ko) Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
JP6467994B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP6478282B2 (ja) 情報端末装置及びプログラム
CN113688674A (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
CN104866825B (zh) 一种基于Hu矩的手语视频帧序列分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410