CN104035560A - 一种基于摄像头的人机实时交互方法 - Google Patents
一种基于摄像头的人机实时交互方法 Download PDFInfo
- Publication number
- CN104035560A CN104035560A CN201410253564.6A CN201410253564A CN104035560A CN 104035560 A CN104035560 A CN 104035560A CN 201410253564 A CN201410253564 A CN 201410253564A CN 104035560 A CN104035560 A CN 104035560A
- Authority
- CN
- China
- Prior art keywords
- picture
- head
- people
- computer
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于摄像头的人机实时交互方法,属于人机交互技术领域。首先对参与人机交互的人的头或手进行识别训练,得到识别参数,建立计算机操作与人的头或手的动作之间的映射关系。摄像头实时拍摄动作,从拍摄的视频中提取多帧图片,识别图片中人的头或手的区域信息,得到锚点。比较相邻两帧图片中锚点的变化,得到锚点位移向量。根据该向量与四个主方向的单位向量的四个夹角的大小,得到与该向量夹角最小的方向作为主方向。根据映射关系,得到与该主方向关联的计算机操作,完成人机实时交互。本发明的人机实时交互方法,具有便携、低价、“即插即用”的特点,可以控制多种计算机应用程序和游戏,无需任何额外费用,即可感受全新用户体验。
Description
技术领域
本发明涉及一种基于摄像头的人机实时交互方法,属于人机交互技术领域。
背景技术
随着人体动作感知技术的快速发展,以及相关产品(设备)的推广,如MicrosoftKinect(http://www.microsoft.com/en-us/kinectforwindows),Wii(http://www.nintendo.com/wiiu)和PlayStation Move(http://playstationmove.com/index.html),有越来越多的计算机应用支持通过人的肢体动作来实现对计算机的控制。这些技术和设备使得人们不再受限于传统的人机交互方式,例如鼠标、键盘等,而可以通过更加新颖、有趣的方式进行人机交互。然而,现有的具有人体动作感知功能的设备通常具有以下几点局限性:(1)功能依赖于设备,人们若想使用动作感知功能,就必须随身携带这些设备等,而这一点降低了设备的便携性;(2)使用这些设备需要花费额外的费用,因为动作感知技术被固化到设备中,用户需要购买设备之后才能使用,但并不是所有用户都愿意或者有能力支付;(3)设备中可使用的应用程序、游戏需要定制,用户不能使用这些设备来控制他们现有的其它应用程序和游戏,这一点降低了设备的适用范围。因此,一种更加便携的、低价甚至免费的、具有“即插即用”特性的动作感知产品就更加具有实用价值。
发明内容
本发明的目的是设计一种基于摄像头的人机实时交互方法,利用已广泛配备在个人台式计算机、笔记本电脑等设备上的摄像头,通过摄像头实时捕捉人肢体的动作,以实现实时的人机交互。
本发明提出的基于摄像头的人机实时交互方法,包括以下步骤:
(1)对参与人机交互的人的头或手的动作进行识别训练,得到一组识别参数F;
(2)建立计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系;
(3)用摄像头对参与人机交互的人进行拍摄,得到人的头或手的动作的视频,根据一定的采样周期,从视频中获取多帧图片;
(4)根据步骤(1)得到的识别参数F,分别从上述获取的每一帧图片中识别出人的头或手在图片中的区域信息,该区域信息包括区域在图片中的二维坐标、长度和宽度;
(5)根据上述识别出的区域在图片中的长度和宽度,得到该区域的几何中心点,将该几何中心点记为锚点,重复本步骤,得到每帧图片的锚点;
(6)设前一帧图片的锚点的坐标为(xi,yi),后一帧图片的锚点的坐标为(xi+1,yi+1),计算得到相邻两帧图片的锚点的位移向量Di+1,该向量表示人的头或手的动作的方向和移动的距离,其中i表示图片的序号,序号i从1开始,第i+1帧图片即为第i帧图片的下一帧图片;
(7)分别计算上述位移向量Di+1在图片的二维坐标中与上、下、左、右四个方向的单位向量的四个夹角,将与四个夹角中的最小夹角相对应的方向作为主方向
(8)根据步骤(2)中的计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系,得到与方向相对应的计算机操作Ei+1;
(9)执行计算机操作Ei+1。
本发明提出的基于摄像头的人机实时交互方法,其优点在于,本发明的人机实时交互方法,不需要依赖于额外的设备,如Microsoft Kinect,Wii和PlayStation Move等,只要利用已广泛配备在个人台式计算机、笔记本电脑、平板电脑、手机等产品上的摄像头,即可通过摄像头实时的捕捉到人肢体的动作情况,将识别的图像区域的几何中心作为锚点,识别出锚点的运动轨迹,并判断出运动的主方向,然后查找出与该主方向关联的计算机事件,进而触发计算机相应的操作,从而实现实时的人机交互。本发明的人机实时交互方法,具有便携、低价、“即插即用”的特点,可以控制多种计算机应用程序和游戏,而不需要用户为本方法单独定制应用程序和游戏。最后,本发明的人机实时交互方法,无需任何额外费用,用户仅需在有摄像头的设备上安装本方法软件,即可感受全新用户体验。
附图说明
图1是本发明方法中涉及的位移向量与上、下、左、右四个方向夹角示意图。
具体实施方式
本发明提出的基于摄像头的人机实时交互方法,包括以下步骤:
(1)对参与人机交互的人的头或手的动作进行识别训练,得到一组识别参数F,例如使用常规的OpenCV的Cascade Classifier分类器,F将被用于实时的动作识别中,训练的目的是使得分类器能够正确地从摄像头捕捉到的图片中识别出目标对象,例如人的头、手等;
(2)建立计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系;人对计算机的控制实际上对应一连串的计算机操作,如鼠标左(右)键的单击事件、键盘左(右、上、下)方向键的事件、数字键的事件等等,而人的肢体的移动方向包括上、下、左、右四个基本的方向,用户在使用本发明方法时,根据自身需要将计算机操作分别与人的头或手的四个基本移动方向产生一一映射关系,即当识别出人的头或手的四个基本移动方向时,能够找到与之关联的计算机操作,进而执行该操作;
(3)用摄像头对参与人机交互的人进行拍摄,得到人的头或手的动作的视频,根据一定的采样周期,从视频中获取多帧图片,例如使用常规的OpenCV中的cvQueryFrame函数;其中的每一帧图片即为摄像头捕捉到的场景,而这连续的图片帧就形成了对人的头或手的运动描述的原始数据;
(4)根据步骤(1)得到的识别参数F,分别从上述获取的每一帧图片中识别出人的头或手在图片中的区域信息,该区域信息包括区域在图片中的二维坐标、长度和宽度;识别过程可以采用常规的OpenCV中的cvHaarDetectObjects函数;
(5)根据上述识别出的区域在图片中的长度和宽度,得到该区域的几何中心点,将该几何中心点记为锚点,重复本步骤,得到每帧图片的锚点;
(6)设前一帧图片的锚点的坐标为(xi,yi),后一帧图片的锚点的坐标为(Di+1,yi+1),计算得到相邻两帧图片的锚点的位移向量Di+1,该向量表示人的头或手的动作的方向和移动的距离,其中i表示图片的序号,序号i从1开始,第i+1帧图片即为第i帧图片的下一帧图片;
(7)分别计算上述位移向量Di+1在图片的二维坐标中与上、下、左、右四个方向的单位向量的四个夹角,将与四个夹角中的最小夹角相对应的方向作为主方向如图1所示,其中位移向量Di+1与上、下、左、右四个方向的夹角分别为α1、α2、α3和α4,四个夹角大小满足关系α1<α4<α3<α2。因此,图1中位移向量Di+1与上方向的夹角最小,于是,上方向将作为Di+1的主方向
(8)根据步骤(2)中的计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系,得到与方向相对应的计算机操作Ei+1;
(9)执行计算机操作Ei+1。在Windows操作系统中,可以通过操作系统自带的WinUser.h文件中定义的keybd_event函数和mouse_event函数分别对键盘和鼠标进行控制,由此达到对计算机进行控制的目的。在其它操作系统中,可使用相应的执行键盘、鼠标操作的函数进行实现。
本发明方法可使用多种编程语言开发,例如,使用C++编程语言,并使用开源的计算机视觉库OpenCV(http://opencv.org/)等。
Claims (1)
1.一种基于摄像头的人机实时交互方法,其特征在于该交互方法包括以下步骤:
(1)对参与人机交互的人的头或手的动作进行识别训练,得到一组识别参数F;
(2)建立计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系;
(3)用摄像头对参与人机交互的人进行拍摄,得到人的头或手的动作的视频,根据一定的采样周期,从视频中获取多帧图片;
(4)根据步骤(1)得到的识别参数F,分别从上述获取的每一帧图片中识别出人的头或手在图片中的区域信息,该区域信息包括区域在图片中的二维坐标、长度和宽度;
(5)根据上述识别出的区域在图片中的长度和宽度,得到该区域的几何中心点,将该几何中心点记为锚点,重复本步骤,得到每帧图片的锚点;
(6)设前一帧图片的锚点的坐标为(xi,yi),后一帧图片的锚点的坐标为(xi+1,yi+1),计算得到相邻两帧图片的锚点的位移向量Di+1,该向量表示人的头或手的动作的方向和移动的距离,其中i表示图片的序号,序号i从1开始,第i+1帧图片即为第i帧图片的下一帧图片;
(7)分别计算上述位移向量Di+1在图片的二维坐标中与上、下、左、右四个方向的单位向量的四个夹角,将与四个夹角中的最小夹角相对应的方向作为主方向
(8)根据步骤(2)中的计算机操作与参与人机交互的人的头或手的动作之间的一一映射关系,得到与方向相对应的计算机操作Ei+1;
(9)执行计算机操作Ei+1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410253564.6A CN104035560A (zh) | 2014-06-09 | 2014-06-09 | 一种基于摄像头的人机实时交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410253564.6A CN104035560A (zh) | 2014-06-09 | 2014-06-09 | 一种基于摄像头的人机实时交互方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104035560A true CN104035560A (zh) | 2014-09-10 |
Family
ID=51466360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410253564.6A Pending CN104035560A (zh) | 2014-06-09 | 2014-06-09 | 一种基于摄像头的人机实时交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104035560A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105068748A (zh) * | 2015-08-12 | 2015-11-18 | 上海影随网络科技有限公司 | 触屏智能设备的摄像头实时画面中用户界面交互方法 |
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN112926428A (zh) * | 2017-12-12 | 2021-06-08 | 精工爱普生株式会社 | 使用合成图像训练对象检测算法的方法和系统和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124702A1 (en) * | 2005-11-25 | 2007-05-31 | Victor Company Of Japan, Ltd. | Method and apparatus for entering desired operational information to devices with the use of human motions |
CN102830800A (zh) * | 2012-08-03 | 2012-12-19 | 中国科学技术大学 | 利用手势识别控制数字标牌的方法和系统 |
CN103324283A (zh) * | 2013-05-23 | 2013-09-25 | 广东欧珀移动通信有限公司 | 基于人脸识别控制视频播放的方法及其终端 |
-
2014
- 2014-06-09 CN CN201410253564.6A patent/CN104035560A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070124702A1 (en) * | 2005-11-25 | 2007-05-31 | Victor Company Of Japan, Ltd. | Method and apparatus for entering desired operational information to devices with the use of human motions |
CN102830800A (zh) * | 2012-08-03 | 2012-12-19 | 中国科学技术大学 | 利用手势识别控制数字标牌的方法和系统 |
CN103324283A (zh) * | 2013-05-23 | 2013-09-25 | 广东欧珀移动通信有限公司 | 基于人脸识别控制视频播放的方法及其终端 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN105989572B (zh) * | 2015-02-10 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN105068748A (zh) * | 2015-08-12 | 2015-11-18 | 上海影随网络科技有限公司 | 触屏智能设备的摄像头实时画面中用户界面交互方法 |
CN112926428A (zh) * | 2017-12-12 | 2021-06-08 | 精工爱普生株式会社 | 使用合成图像训练对象检测算法的方法和系统和存储介质 |
CN112926428B (zh) * | 2017-12-12 | 2024-01-16 | 精工爱普生株式会社 | 使用合成图像训练对象检测算法的方法和系统和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI742079B (zh) | 基於手勢的互動方法及裝置 | |
US9111138B2 (en) | System and method for gesture interface control | |
US20170038829A1 (en) | Social interaction for remote communication | |
KR101855639B1 (ko) | 프리젠테이션을 위한 카메라 탐색 | |
Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
WO2015188614A1 (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
US20150248167A1 (en) | Controlling a computing-based device using gestures | |
CN106201173B (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
CN111580652B (zh) | 视频播放的控制方法、装置、增强现实设备及存储介质 | |
CN112891943B (zh) | 一种镜头处理方法、设备以及可读存储介质 | |
WO2020078319A1 (zh) | 基于手势的操控方法及终端设备 | |
WO2023279713A1 (zh) | 特效展示方法、装置、计算机设备、存储介质、计算机程序和计算机程序产品 | |
CN107291221A (zh) | 基于自然手势的跨屏幕自适应精度调整方法及装置 | |
WO2016110009A1 (zh) | 投影设备的控制方法、系统及装置 | |
TWI630505B (zh) | 互動式擴增實境系統及其可攜式通訊裝置與互動方法 | |
CN104035560A (zh) | 一种基于摄像头的人机实时交互方法 | |
CN106502401B (zh) | 一种图像控制方法及装置 | |
CN110568931A (zh) | 交互方法、设备、系统、电子设备及存储介质 | |
US20180260031A1 (en) | Method for controlling distribution of multiple sub-screens and device using the same | |
CN105468249B (zh) | 智能互动系统及其控制方法 | |
JP6510134B1 (ja) | 推定システム、及び推定装置 | |
Xu et al. | Bare hand gesture recognition with a single color camera | |
Mariappan et al. | Picolife: A computer vision-based gesture recognition and 3D gaming system for android mobile devices | |
Siam et al. | Human computer interaction using marker based hand gesture recognition | |
CN104219587A (zh) | 一种用于对应用进行操控的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140910 |
|
RJ01 | Rejection of invention patent application after publication |