CN102103409A - 基于运动轨迹识别的人机交互方法及装置 - Google Patents

基于运动轨迹识别的人机交互方法及装置 Download PDF

Info

Publication number
CN102103409A
CN102103409A CN 201110024733 CN201110024733A CN102103409A CN 102103409 A CN102103409 A CN 102103409A CN 201110024733 CN201110024733 CN 201110024733 CN 201110024733 A CN201110024733 A CN 201110024733A CN 102103409 A CN102103409 A CN 102103409A
Authority
CN
China
Prior art keywords
marker
movement locus
identification
enabled
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201110024733
Other languages
English (en)
Inventor
杨铁军
黄琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN 201110024733 priority Critical patent/CN102103409A/zh
Publication of CN102103409A publication Critical patent/CN102103409A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于运动轨迹识别的人机交互方法及装置。该方法包括步骤：标识物启用检测、标识物跟踪和轨迹识别，根据用户操作标识物运动所形成的轨迹，识别轨迹的类型并触发相应的计算机控制命令来操控计算机。该装置包括标识物，图像采集模块和图像处理模块，首先通过图像采集模块实时采集用户操作标识物的图像，然后输入到图像处理模块中进行标识物启用检测、跟踪和轨迹识别，最后将轨迹识别种类转化成对应的计算机控制命令。本发明提供了一种简单、便捷的人机交互方式，能实现远距离的操控计算机。

Description

基于运动轨迹识别的人机交互方法及装置
技术领域
本发明涉及虚拟现实技术中的人机交互技术，具体是一种基于运动轨迹识别的人机交互方法及装置。
背景技术
鼠标、键盘等传统计算机输入设备具有体积大、受空间局限和需要辅助支撑物的缺点，而基于非触控式手势识别的方法依靠手势采集装置获取手势数据并进行识别，活动范围大，特别适合于人远离计算机时的操控。因此，基于手势识别等非传统输入方法的人机交互技术，以其能远距离、方便、快捷的操控计算机，近年来受到了广泛关注。
非触控式手势识别一般使用摄像头或者数据手套获取手势动作，然后将手势数据传送给手势识别程序进行识别。基于数据手套的方法，需要配戴专门的手势获取装置，成本高，不灵活；基于摄像头的方法，不需要携带专门的设备，活动范围大，使用灵活，但手势识别过程较复杂，识别花费的时间长，识别准确率不高，为了提高识别效率需要专门的识别硬件。所以，传统的基于非触控式手势识别方法都存在一定的缺陷。
发明内容
本发明的主要目的在于针对现有技术存在的上述的缺陷，提供基于运动轨迹识别的人机交互方法及装置，可实现简单、高效和远距离的操控计算机。用户只需手持一件标识物，通过向不同方向移动标识物来实现远距离操控计算机。
基于运动轨迹识别的人机交互方法具体步骤为：
(1)标识物启用检测：通过基于颜色直方图匹配的方法检测标识物是否已启用；标识物不使用时隐藏在用户的口袋或者手中，初始时系统状态为标识物未启用；未启用阶段，标识物启用检测模块每隔0.5秒捕获一帧图像进行启用检测；当用户拿出标识物并停留约0.5秒钟，检测模块使用预置的当前标识物特征，在捕获的图像帧中搜索，如果存在匹配项，系统状态转换为标识物已启用，并记录标识物的所在位置作为后续跟踪的起始位置；否则继续保持标识物未启用状态；
(2)标识物跟踪：通过基于Camshift的目标跟踪方法跟踪标识物的运动轨迹；用户手持标识物停留后，便按照一定的轨迹移动标识物，移动完成时间控制在1-2秒；当系统状态转换为标识物已启用时将触发标识物跟踪模块连续捕获1.5-2秒的视频，对该视频进行基于Camshift方法的标识物跟踪，获得标识物的运动轨迹；
(3)轨迹识别：通过基于人工神经网络的方法识别标识物运动轨迹；运动轨迹的编码采用八方向归一化链码，在获取标识物运动轨迹后，将其输入到已经训练好的人工神经网络中进行识别；输出结果与哪一种预置轨迹最接近，就被识别为此种轨迹；识别成功后，根据预先定义的轨迹种类与计算机控制命令的对应关系触发该计算机控制命令，如鼠标左键单击、双击。
实现上述方法的装置，包括标识物，图像采集模块和图像处理模块，标识物为彩色，手掌大小，颜色与用户衣着及周围环境有所区别即可，易于携带，是轨迹跟踪的目标物；图像采集模块中的摄像头面向用户，负责采集用户的图像并输入到图像处理模块中；图像处理模块包括标识物启用检测、标识物跟踪和运动轨迹识别3个子模块，其中标识物启用检测模块负责检测标识物是否已经启用，标识物跟踪模块负责获取标识物的运动轨迹，运动轨迹识别模块负责识别出当前运动轨迹的类型，并转化为该类型对应的计算机控制命令。
所述的图像采集模块包括一摄像头，所述的图像处理模块包括一台连接以上摄像头的计算机。
本发明具有以下优点和效果：本发明是一种简单、便捷的人机交互方式，用户仅需手持一彩色标识物，按照不同轨迹移动标识物，即可实现对计算机的简单控制；本发明使用了基于运动轨迹识别的技术，解决了传统的基于手势识别技术中需要佩戴专门的设备，识别过程复杂，需要专门的识别硬件的缺陷，提供了一种简单、高效的操作方式，可以远距离操控计算机；本发明的装置体积小巧，操作方便，只需将摄像头连接到受控计算机，用户手持标识物即可使用。
附图说明
图1为本发明实施例的硬件结构示意图；
图中标记：1-标识物；2-摄像头；3-受控计算机。
图2为本发明实施例的工作流程示意图。
具体实施方式
实施例：
如图1所示，基于运动轨迹识别的人机交互系统由标识物1、图像采集模块(包括摄像头2)和图像处理模块(包括受控计算机3)3部分组成。标识物1为彩色，手掌大小，易于携带，颜色有别于用户衣着及周围环境，用户可以方便的隐藏和展示标识物，例如使用橙红色、直径约为8cm的圆形硬纸片作为标识物；图像采集模块包括一摄像头2，负责实时采集用户的图像并输入到图像处理模块中，摄像头2通过USB接口直接连接到受控计算机3；图像处理模块运行在受控计算机3上，负责处理采集到的图像和触发相应受控计算机3控制命令，包括3个子模块：标识物启用检测、标识物跟踪和运动轨迹识别，其中标识物启用检测模块负责检测标识物是否已经启用，标识物跟踪模块负责获得标识物1的运动轨迹，运动轨迹识别模块负责识别出该运动轨迹的类型，并触发其对应的受控计算机3控制命令。
如图2所示，本发明的工作流程如下：首先，系统初始化需要预置当前标识物1特征、自定义的运动轨迹种类及对应的受控计算机3控制命令。标识物1特征通过计算其颜色直方图得到，每种自定义的运动轨迹需要使用多个样本输入到运动轨迹识别模块的人工神经网络中进行学习，训练好该人工神经网络分类器。系统初始化的状态为标识物1未启用，此时图像采集模块以0.5秒采集一帧的频率采集图像，并输入到图像处理模块的标识物启用检测中，如果此时用户没有展示出标识物1，那么继续保持标识物未启用状态，以0.5秒的间隔采集图像，不会进入后续的跟踪和识别；如果用户展示出标识物1并停留0.5秒左右，由图像采集的频率可知必定能够采集到包含了标识物1的图像，所以检测模块就能够检测到该标识物1，记录其位置作为跟踪的初始位置，系统状态转为标识物1已启用。同时，标识物跟踪模块将控制图像采集模块连续捕获1.5秒左右的视频图像，并使用Camshift目标跟踪方法跟踪标识物1的运动轨迹。获得轨迹之后，系统状态转为标识物1未启用，等待用户的下一次操作，同时轨迹识别模块对获取的运动轨迹进行八方向归一化链码编码，并输入到人工神经网络分类器中进行识别，识别的轨迹种类将触发对应的受控计算机3控制命令。

Claims (2)

1.一种基于运动轨迹识别的人机交互方法，其特征在于具体步骤为：
(1)标识物启用检测：通过基于颜色直方图匹配的方法检测标识物是否已启用；标识物不使用时隐藏在用户的口袋或者手中，初始时系统状态为标识物未启用；未启用阶段，标识物启用检测模块每隔0.5秒捕获一帧图像进行启用检测；当用户拿出标识物并停留约0.5秒钟，检测模块使用预置的当前标识物特征，在捕获的图像帧中搜索，如果存在匹配项，系统状态转换为标识物已启用，并记录标识物的所在位置作为后续跟踪的起始位置；否则继续保持标识物未启用状态；
(2)标识物跟踪：通过基于Camshift的目标跟踪方法跟踪标识物的运动轨迹；用户手持标识物停留后，便按照一定的轨迹移动标识物，移动完成时间控制在1-2秒；当系统状态转换为标识物已启用时将触发标识物跟踪模块连续捕获1.5-2秒的视频，对该视频进行基于Camshift方法的标识物跟踪，获得标识物的运动轨迹；
(3)轨迹识别：通过基于人工神经网络的方法识别标识物运动轨迹；运动轨迹的编码采用八方向归一化链码，在获取标识物运动轨迹后，将其输入到已经训练好的人工神经网络中进行识别；输出结果与哪一种预置轨迹最接近，就被识别为此种轨迹；识别成功后，根据预先定义的轨迹种类与计算机控制命令的对应关系触发该受控计算机控制命令。
2.一种实现权利要求1所述方法的装置，其特征在于包括标识物(1)，图像采集模块和图像处理模块；标识物(1)为彩色，手掌大小，颜色与用户衣着及周围环境有所区别即可；图像采集模块中的摄像头(2)面向用户；图像处理模块包括标识物启用检测、标识物跟踪和运动轨迹识别3个子模块；所述的图像处理模块包括一台连接上述摄像头(2)的受控计算机(3)。
CN 201110024733 2011-01-20 2011-01-20 基于运动轨迹识别的人机交互方法及装置 Pending CN102103409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110024733 CN102103409A (zh) 2011-01-20 2011-01-20 基于运动轨迹识别的人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110024733 CN102103409A (zh) 2011-01-20 2011-01-20 基于运动轨迹识别的人机交互方法及装置

Publications (1)

Publication Number Publication Date
CN102103409A true CN102103409A (zh) 2011-06-22

Family

ID=44156245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110024733 Pending CN102103409A (zh) 2011-01-20 2011-01-20 基于运动轨迹识别的人机交互方法及装置

Country Status (1)

Country Link
CN (1) CN102103409A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN103093221A (zh) * 2013-01-31 2013-05-08 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN103235653A (zh) * 2013-04-19 2013-08-07 西安理工大学 基于免疫粒子滤波的非接触人机交互方法
CN103744507A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 人机交互的手势操控方法及系统
CN103760983A (zh) * 2014-01-23 2014-04-30 中国联合网络通信集团有限公司 虚拟手势输入方法和手势采集装置
CN103777744A (zh) * 2012-10-23 2014-05-07 中国移动通信集团公司 一种实现输入控制的方法、装置及移动终端
CN104067295A (zh) * 2011-12-01 2014-09-24 诺基亚公司 姿势识别方法、用于该方法的装置和计算机程序
CN104298345A (zh) * 2014-07-28 2015-01-21 浙江工业大学 一种人机交互系统的控制方法
CN105765491A (zh) * 2015-09-23 2016-07-13 深圳还是威健康科技有限公司 一种识别手部运动的方法及智能手环、终端
CN105759963A (zh) * 2016-02-15 2016-07-13 众景视界（北京）科技有限公司 基于相对位置关系定位人手在虚拟空间中运动轨迹的方法
CN106940519A (zh) * 2016-01-05 2017-07-11 谢东恩 一种物体运动识别系统
CN107766852A (zh) * 2017-12-06 2018-03-06 电子科技大学 一种基于卷积神经网络的人机鼠标轨迹检测方法
CN108027647A (zh) * 2015-06-11 2018-05-11 杜瓦娱乐有限公司 用于与虚拟对象交互的方法和设备
CN108549877A (zh) * 2018-04-23 2018-09-18 重庆大学 一种基于神经网络的循迹机器人轨迹识别方法
CN110347266A (zh) * 2019-07-23 2019-10-18 哈尔滨拓博科技有限公司 一种基于机器视觉的空间手势控制装置
CN111796672A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 基于头戴设备的手势识别方法、存储介质
CN111796674A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 基于头戴设备的手势触控灵敏度调节方法、存储介质
CN111796675A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的手势识别控制方法、存储介质
CN111796671A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的手势识别和控制方法、存储介质
CN111796673A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的多指手势识别方法、存储介质
CN114550490A (zh) * 2022-02-22 2022-05-27 北京信路威科技股份有限公司 停车场的车位统计方法、系统、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354608A (zh) * 2008-09-04 2009-01-28 中兴通讯股份有限公司 一种视频输入实现方法及系统
CN101563710A (zh) * 2006-05-22 2009-10-21 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563710A (zh) * 2006-05-22 2009-10-21 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置
CN101354608A (zh) * 2008-09-04 2009-01-28 中兴通讯股份有限公司 一种视频输入实现方法及系统

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN104067295B (zh) * 2011-12-01 2018-06-22 诺基亚技术有限公司 姿势识别方法、用于该方法的装置和计算机程序
US9922241B2 (en) 2011-12-01 2018-03-20 Nokia Technologies Oy Gesture recognition method, an apparatus and a computer program for the same
CN104067295A (zh) * 2011-12-01 2014-09-24 诺基亚公司 姿势识别方法、用于该方法的装置和计算机程序
CN103777744A (zh) * 2012-10-23 2014-05-07 中国移动通信集团公司 一种实现输入控制的方法、装置及移动终端
CN103093221B (zh) * 2013-01-31 2015-11-11 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN103093221A (zh) * 2013-01-31 2013-05-08 冠捷显示科技（厦门）有限公司 一种智能跟踪阅读物并采集其图像的显示器及其方法
CN103235653B (zh) * 2013-04-19 2016-01-20 西安理工大学 基于免疫粒子滤波的非接触人机交互方法
CN103235653A (zh) * 2013-04-19 2013-08-07 西安理工大学 基于免疫粒子滤波的非接触人机交互方法
CN103744507B (zh) * 2013-12-31 2018-12-14 深圳泰山体育科技股份有限公司 人机交互的手势操控方法及系统
CN103744507A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 人机交互的手势操控方法及系统
CN103760983A (zh) * 2014-01-23 2014-04-30 中国联合网络通信集团有限公司 虚拟手势输入方法和手势采集装置
CN103760983B (zh) * 2014-01-23 2016-08-17 中国联合网络通信集团有限公司 虚拟手势输入方法和手势采集装置
CN104298345A (zh) * 2014-07-28 2015-01-21 浙江工业大学 一种人机交互系统的控制方法
CN104298345B (zh) * 2014-07-28 2017-05-17 浙江工业大学 一种人机交互系统的控制方法
CN108027647A (zh) * 2015-06-11 2018-05-11 杜瓦娱乐有限公司 用于与虚拟对象交互的方法和设备
CN108027647B (zh) * 2015-06-11 2021-08-10 杜瓦娱乐有限公司 用于与虚拟对象交互的方法和设备
WO2017049499A1 (zh) * 2015-09-23 2017-03-30 深圳还是威健康科技有限公司 一种识别手部运动的方法及智能手环、终端
CN105765491A (zh) * 2015-09-23 2016-07-13 深圳还是威健康科技有限公司 一种识别手部运动的方法及智能手环、终端
CN106940519A (zh) * 2016-01-05 2017-07-11 谢东恩 一种物体运动识别系统
CN105759963A (zh) * 2016-02-15 2016-07-13 众景视界（北京）科技有限公司 基于相对位置关系定位人手在虚拟空间中运动轨迹的方法
CN107766852A (zh) * 2017-12-06 2018-03-06 电子科技大学 一种基于卷积神经网络的人机鼠标轨迹检测方法
CN108549877A (zh) * 2018-04-23 2018-09-18 重庆大学 一种基于神经网络的循迹机器人轨迹识别方法
CN108549877B (zh) * 2018-04-23 2022-02-18 重庆大学 一种基于神经网络的循迹机器人轨迹识别方法
CN110347266A (zh) * 2019-07-23 2019-10-18 哈尔滨拓博科技有限公司 一种基于机器视觉的空间手势控制装置
CN111796671A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的手势识别和控制方法、存储介质
CN111796675A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的手势识别控制方法、存储介质
CN111796673A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 头戴设备的多指手势识别方法、存储介质
CN111796674A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 基于头戴设备的手势触控灵敏度调节方法、存储介质
CN111796672A (zh) * 2020-05-22 2020-10-20 福建天晴数码有限公司 基于头戴设备的手势识别方法、存储介质
CN111796671B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的手势识别和控制方法、存储介质
CN111796674B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 基于头戴设备的手势触控灵敏度调节方法、存储介质
CN111796673B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的多指手势识别方法、存储介质
CN111796672B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 基于头戴设备的手势识别方法、存储介质
CN111796675B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的手势识别控制方法、存储介质
CN114550490A (zh) * 2022-02-22 2022-05-27 北京信路威科技股份有限公司 停车场的车位统计方法、系统、计算机设备和存储介质
CN114550490B (zh) * 2022-02-22 2023-12-22 北京信路威科技股份有限公司 停车场的车位统计方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN102103409A (zh) 基于运动轨迹识别的人机交互方法及装置
CN102854983B (zh) 一种基于手势识别的人机交互方法
Sanna et al. A Kinect-based natural interface for quadrotor control
Xu A real-time hand gesture recognition and human-computer interaction system
CN108845668B (zh) 人机交互系统和方法
Chen et al. A real-time dynamic hand gesture recognition system using kinect sensor
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
US20150338651A1 (en) Multimodal interation with near-to-eye display
CN111104820A (zh) 一种基于深度学习的手势识别方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN101437124A (zh) 面向电视控制的动态手势识别信号处理方法
CN103150020A (zh) 一种三维指控操作方法及系统
CN102236413A (zh) 接口装置和手势识别方法
CN101354608A (zh) 一种视频输入实现方法及系统
CN103576840A (zh) 基于立体视觉的手势体感控制系统
CN103105924B (zh) 人机交互方法和装置
CN104346816A (zh) 一种深度确定方法、装置及电子设备
CN109933061A (zh) 基于人工智能的机器人及控制方法
CN102945362A (zh) 基于异构数据融合的传感器协同手势识别方法及系统
CN103995595A (zh) 一种基于手势的游戏体感控制方法
Wang et al. Vision–based framework for automatic interpretation of construction workers' hand gestures
CN102402289A (zh) 一种基于机器视觉的手势鼠标识别方法
CN103135748A (zh) 人机交互操作指令的触发控制方法和系统
CN104156650A (zh) 一种基于手部运动的用户身份识别方法
Sharma et al. Numeral gesture recognition using leap motion sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110622