CN111061367B - 一种自助设备手势鼠标的实现方法 - Google Patents

一种自助设备手势鼠标的实现方法 Download PDF

Info

Publication number
CN111061367B
CN111061367B CN201911233856.2A CN201911233856A CN111061367B CN 111061367 B CN111061367 B CN 111061367B CN 201911233856 A CN201911233856 A CN 201911233856A CN 111061367 B CN111061367 B CN 111061367B
Authority
CN
China
Prior art keywords
gesture
mouse
target
tracking
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911233856.2A
Other languages
English (en)
Other versions
CN111061367A (zh
Inventor
张琨
朱锦雷
张传锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN201911233856.2A priority Critical patent/CN111061367B/zh
Publication of CN111061367A publication Critical patent/CN111061367A/zh
Application granted granted Critical
Publication of CN111061367B publication Critical patent/CN111061367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开一种自助设备手势鼠标的实现方法，通过分析摄像头采集的视频，实时识别并且跟踪手势来驱动自助设备中的鼠标，进而完成相应的操作，本方法依靠视频驱动，交互体验自然高效，没有肢体接触，非常卫生。其次本方法通过目标手势检测与目标手势跟踪保证了资源占用与保证鼠标动作效果的平衡，在没有人机交互的情况下运行目标手势检测模型，当检测到模型后，转由手势跟踪模型跟踪，同时为了保证位置和目标手势分类准确度，在手势跟踪过程中定时执行目标手势检测模型，保证了手势鼠标良好的体验，既能保证手势识别的准确性，又能保证操作的流畅性。

Description

一种自助设备手势鼠标的实现方法
技术领域
本发明涉及一种自助设备手势鼠标的实现方法，属于机器视觉与人机交互技术领域。
背景技术
自从PC诞生以来，人机交互的方式主要是通过鼠标键盘，在交互的过程中人通过移动鼠标或者敲打键盘的方式输入信息，这种方式特点是：1、要求人比较准确的完成这些机械的动作；2、人与设备必然存在肢体接触。对于办公场景来说，不存在问题。但对于自助设备（咨询、导引、业务办理等）这种公共场所的机器，它会存在缺陷：1、交互过程不够顺畅高效；2、不够卫生。
发明内容
针对现有技术的缺陷，本发明提供一种自助设备手势鼠标的实现方法，依靠视频驱动，交互体验自然高效，没有肢体接触，非常卫生。
为了解决所述技术问题，本发明采用的技术方案是：一种自助设备手势鼠标的实现方法，包括以下步骤：
S01）、采集手势交互图像，利用安装在自助设备上的摄像头，采集目标手势与自助设备交互过程中录制的视频，从视频中抽取图像，形成原始图像集；
S02)、标注目标手势，利用图像标注软件，对原始图像集中目标手势的类别、在图片中的具体位置进行标注，形成特定格式数据集；
S03）、构建目标手势检测器，采用深度学习模型作为基本的目标手势检测器模型，然后利用步骤S02形成的特定格式数据集训练目标手势检测器，直至达到模型最高精度；
S04）、初始化，加载步骤S03训练的目标手势检测器，打开摄像头，初始化检测标志detect=1，跟踪计数track_count=0，最大跟踪计数track_max=M；
S05）、采集交互视频，实时采集自助设备摄像头录制的视频，判断检测标志detect是否等于1，如果是，则执行步骤S06，如果否，则执行步骤S08；
S06）、执行目标手势检测，将步骤S05采集的实时视频输入步骤S04加载的目标手势检测器，如果检测结果为目标手势，则进入步骤S07处理，否则返回步骤S05；
S07）、创建并初始化手势跟踪模型，采用相关滤波算法构建手势跟踪模型，利用目标手势检测器输出的目标手势位置初始化跟踪模型，重置当前的状态标志detect=0，track_count=0，进入步骤S09进行手势定位；
S08）、跟踪目标手势，将步骤S05采集的实时视频输入步骤S07构建的手势跟踪模型，如果输出错误，重置检测标志detect=1，返回步骤S05，否则，跟踪计数加一，并比较跟踪计数与最大跟踪计数，如果跟踪计数小于最大跟踪计数，直接进入步骤S09进行手势定位，如果跟踪计数大于最大跟踪计数，则重置检测标志detect=1，进入步骤S09进行手势定位；
S09）、手势定位，目标手势检测器或者手势跟踪器输出目标手势位置信息，然后根据整个手势边框位置计算边框中心坐标，以此代替手掌的位置，通过手势在摄像头中的活动区域与整个桌面建立的映射关系，计算手势鼠标的位置，手势鼠标的位置就是手势在摄像头的活动区域映射在桌面中的位置；
S10）、控制鼠标动作，依据步骤S06输出的目标手势类型和步骤S09输出的鼠标位置完成鼠标动作。
进一步的，步骤S05中摄像头拍摄人的角度与步骤S01中摄像头拍摄人的角度一致。
进一步的，步骤S01中，从采集的视频中按照固定的帧数间隔抽取图像，形成原始图像集。
进一步的，步骤S05中，从实时视频中采集每一帧图像或者每隔几帧采集一帧图像，然后进行目标手势检测或者手势跟踪。
进一步的，步骤S10完成的鼠标动作包括移动鼠标和鼠标点击操作。
本发明的有益效果：本发明首先通过分析摄像头采集的视频，实时识别并且跟踪手势来驱动自助设备中的鼠标，进而完成相应的操作，如鼠标移动、点击操作等。本方式依靠视频驱动，交互体验自然高效，没有肢体接触，非常卫生。
其次本方法保证了资源占用与保证鼠标动作效果的平衡，在没有人机交互的情况下运行目标手势检测模型，当检测到模型后，为了保证操作流畅度，转由手势跟踪模型跟踪，同时为了保证位置和目标手势分类准确度，在手势跟踪过程中定时执行目标手势检测模型。通过这样一个过程，保证了手势鼠标良好的体验，既能保证手势识别的准确性，又能保证操作的流畅性。
附图说明
图1为本方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种自助设备手势鼠标的实现方法，如图1所示，本方法包括以下步骤：
S01）、采集手势交互图像，利用安装在自助设备上的摄像头，采集目标手势与自助设备交互过程录制的视频。本实施例以两类手势举例，手掌表示鼠标一般状态，握拳表示鼠标左击操作。从录制视频中按照一定的规则（比如间隔相同的帧数）抽取图像，形成原始图像集；
S02）、标注目标手势，利用图像标注软件，对原始图像集中目标手势的类别、在图片中的具体位置进行标注，形成特定格式数据集；
S03）、构建目标手势检测器。很多手势识别方案采用经典方法，基于人工构建的特征去提取轮廓，然后进行识别，识别结果不够准确，鲁棒性差。本实施例采用深度学习模型（比如R-CNN、Fast-RCNN、Faster-RCNN、YOLO、SSD等）作为基本的目标手势检测器模型，然后使用步骤S02形成的特定格式数据集训练目标手势检测器，直至达到模型最高精度；
S04）、初始化，加载步骤S03训练的目标手势检测器，打开摄像头，初始化检测标志detect=1，跟踪计数track_count=0，最大跟踪计数track_max=M；
S05）、采集交互视频，实时采集自助设备摄像头录制的视频，采集每一帧或者每隔几帧采集一帧图像，判断检测标志detect是否等于1，如果是，则执行步骤S06，如果否，则执行步骤S08；
S06）、执行目标手势检测，将步骤S05采集的实时视频输入步骤S04加载的目标手势检测器，如果检测结果为目标手势，则进入步骤S07处理，否则返回步骤S05；
S07）、创建并初始化手势跟踪模型，当前主流的目标跟踪模型有相关滤波和深度学习，综合考虑准确度和算力要求，本实施例采用相关滤波算法（如KCF、DCF等）构建手势跟踪模型，利用目标手势检测器输出的目标手势位置初始化跟踪模型，重置当前的状态标志detect=0，track_count=0，进入步骤S09进行手势定位；
S08）、跟踪目标手势，将步骤S05采集的实时视频输入步骤S07构建的手势跟踪模型，如果输出错误，重置检测标志detect=1，返回步骤S05，否则，跟踪计数加一，并比较跟踪计数与最大跟踪计数，如果跟踪计数小于最大跟踪计数，直接进入步骤S09进行手势定位，如果跟踪计数大于最大跟踪计数，则重置检测标志detect=1，进入步骤S09进行手势定位；
S09）、手势定位，目标手势检测器或者手势跟踪器输出目标手势位置信息，然后根据整个手势边框位置计算边框中心坐标，以此代替手掌的位置，通过手势在摄像头中的活动区域与整个桌面建立的映射关系，计算手势鼠标的位置，手势鼠标的位置就是手势在摄像头的活动区域映射在桌面中的位置；
S10）、控制鼠标动作，依据步骤S06输出的目标手势类型和步骤S09输出的鼠标位置完成移动鼠标和左击鼠标的动作。
为了保证目标手势识别效果，步骤S05中摄像头拍摄人的角度与步骤S01中摄像头拍摄人的角度一致。
相比自助设备传统的输入方式，本实施例所述自助设备手势鼠标，不仅实现人机交互自然高效，还不用产生人机接触，非常卫生。还可以和语音输入相结合，使整个过程将更加流畅。
本实施例所述所述方法将目标手势检测与目标手势跟踪有机结合，在没有人机交互的情况下运行目标手势检测模型，当检测到模型后，为了保证操作流畅度，转由手势跟踪模型跟踪，同时为了保证位置和目标手势分类准确度，在手势跟踪过程中定时执行目标手势检测模型（通过设置检测标志和跟踪计数实现）。通过这样一个过程，保证了手势鼠标良好的体验。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (5)

1.一种自助设备手势鼠标的实现方法，其特征在于：包括以下步骤：
S01）、采集手势交互图像，利用安装在自助设备上的摄像头，采集目标手势与自助设备交互过程中录制的视频，从视频中抽取图像，形成原始图像集；
S02)、标注目标手势，利用图像标注软件，对原始图像集中目标手势的类别、在图片中的具体位置进行标注，形成特定格式数据集；
S03）、构建目标手势检测器，采用深度学习模型作为基本的目标手势检测器模型，然后利用步骤S02形成的特定格式数据集训练目标手势检测器，直至达到模型最高精度；
S04）、初始化，加载步骤S03训练的目标手势检测器，打开摄像头，初始化检测标志detect=1，跟踪计数track_count=0，最大跟踪计数track_max=M；
S05）、采集交互视频，实时采集自助设备摄像头录制的视频，判断检测标志detect是否等于1，如果是，则执行步骤S06，如果否，则执行步骤S08；
S06）、执行目标手势检测，将步骤S05采集的实时视频输入步骤S04加载的目标手势检测器，如果检测结果为目标手势，则进入步骤S07处理，否则返回步骤S05；
S07）、创建并初始化手势跟踪模型，采用相关滤波算法构建手势跟踪模型，利用目标手势检测器输出的目标手势位置初始化跟踪模型，重置当前的状态标志detect=0，track_count=0，进入步骤S09进行手势定位；
S08）、跟踪目标手势，将步骤S05采集的实时视频输入步骤S07构建的手势跟踪模型，如果输出错误，重置检测标志detect=1，返回步骤S05，否则，跟踪计数加一，并比较跟踪计数与最大跟踪计数，如果跟踪计数小于最大跟踪计数，直接进入步骤S09进行手势定位，如果跟踪计数大于最大跟踪计数，则重置检测标志detect=1，进入步骤S09进行手势定位；
S09）、手势定位，目标手势检测器或者手势跟踪器输出目标手势位置信息，然后根据整个手势边框位置计算边框中心坐标，以此代替手掌的位置，通过手势在摄像头中的活动区域与整个桌面建立的映射关系，计算手势鼠标的位置，手势鼠标的位置就是手势在摄像头的活动区域映射在桌面中的位置；
S10）、控制鼠标动作，依据步骤S06输出的目标手势类型和步骤S09输出的鼠标位置完成鼠标动作。
2.根据权利要求1所述的自助设备手势鼠标的实现方法，其特征在于：步骤S05中摄像头拍摄人的角度与步骤S01中摄像头拍摄人的角度一致。
3.根据权利要求1所述的自助设备手势鼠标的实现方法，其特征在于：步骤S01中，从采集的视频中按照固定的帧数间隔抽取图像，形成原始图像集。
4.根据权利要求1所述的自助设备手势鼠标的实现方法，其特征在于：步骤S05中，从实时视频中采集每一帧图像或者每隔几帧采集一帧图像，然后进行目标手势检测或者手势跟踪。
5.根据权利要求1所述的自助设备手势鼠标的实现方法，其特征在于：步骤S10完成的鼠标动作包括移动鼠标和鼠标点击操作。
CN201911233856.2A 2019-12-05 2019-12-05 一种自助设备手势鼠标的实现方法 Active CN111061367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911233856.2A CN111061367B (zh) 2019-12-05 2019-12-05 一种自助设备手势鼠标的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911233856.2A CN111061367B (zh) 2019-12-05 2019-12-05 一种自助设备手势鼠标的实现方法

Publications (2)

Publication Number Publication Date
CN111061367A CN111061367A (zh) 2020-04-24
CN111061367B true CN111061367B (zh) 2023-04-07

Family

ID=70299710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911233856.2A Active CN111061367B (zh) 2019-12-05 2019-12-05 一种自助设备手势鼠标的实现方法

Country Status (1)

Country Link
CN (1) CN111061367B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN105929944A (zh) * 2016-04-15 2016-09-07 济南大学 一种三维人机交互方法
CN107808143A (zh) * 2017-11-10 2018-03-16 西安电子科技大学 基于计算机视觉的动态手势识别方法
CN107885324A (zh) * 2017-09-28 2018-04-06 江南大学 一种基于卷积神经网络的人机交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN105929944A (zh) * 2016-04-15 2016-09-07 济南大学 一种三维人机交互方法
CN107885324A (zh) * 2017-09-28 2018-04-06 江南大学 一种基于卷积神经网络的人机交互方法
CN107808143A (zh) * 2017-11-10 2018-03-16 西安电子科技大学 基于计算机视觉的动态手势识别方法

Also Published As

Publication number Publication date
CN111061367A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN108227912B (zh) 设备控制方法和装置、电子设备、计算机存储介质
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
US8525876B2 (en) Real-time embedded vision-based human hand detection
US10572072B2 (en) Depth-based touch detection
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
WO2018228218A1 (zh) 身份识别方法、计算设备及存储介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
Badi Recent methods in vision-based hand gesture recognition
Schneider et al. Gesture recognition in RGB videos using human body keypoints and dynamic time warping
JP2017523498A (ja) 効率的なフォレストセンシングに基づくアイトラッキング
WO2022199360A1 (zh) 运动物体的定位方法、装置、电子设备及存储介质
US10937150B2 (en) Systems and methods of feature correspondence analysis
Kerdvibulvech A methodology for hand and finger motion analysis using adaptive probabilistic models
TW202201275A (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
CN108255352B (zh) 一种投影交互系统中多点触摸实现方法及系统
EP2618237B1 (en) Gesture-based human-computer interaction method and system, and computer storage media
JP7459949B2 (ja) 学習装置、学習方法、追跡装置及びプログラム
Shinde et al. Hand gesture recognition system using camera
CN110334576B (zh) 一种手部追踪方法及装置
CN111061367B (zh) 一种自助设备手势鼠标的实现方法
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
Soroni et al. Hand Gesture Based Virtual Blackboard Using Webcam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant