CN104460951A - 一种人机交互方法 - Google Patents
一种人机交互方法 Download PDFInfo
- Publication number
- CN104460951A CN104460951A CN201310418915.XA CN201310418915A CN104460951A CN 104460951 A CN104460951 A CN 104460951A CN 201310418915 A CN201310418915 A CN 201310418915A CN 104460951 A CN104460951 A CN 104460951A
- Authority
- CN
- China
- Prior art keywords
- mark
- hand
- mouse
- coordinate
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
本发明属于视觉测量技术及计算机技术领域，涉及一种人机交互方法，包括下列步骤：在手的两个不同部位贴上特定的标记，并将手置于摄像头的视场内；程序初始化，包括初始化视频配置，读取标记样本库和摄像头参数；获取视频图像，探测标记并识别不同标记样本；计算被探测到的标记中心点在标记坐标系中的三维坐标；根据不同标记的坐标值的变化实现对鼠标的控制。本发明采用三维信息实现了鼠标的基本功能，具有结构简单、成本低、采用非接触测量摆脱通讯线的束缚等特点。这一发明可以用于立体视觉、虚拟现实和增强现实系统中，开发民用级产品，也为开发新型的人机交互方式和控制模式提供一种新技术。
Description
技术领域
本发明涉及利用捕捉手部行为实现人机交互的方法，属于视觉测量技术及计算机技术领域。
背景技术
受主流显示设备和应用软件的限制，通常传统的人机交互方式是一种限于二维平面内的操作。随着立体视觉、虚拟现实、增强现实等概念的提出，用户喜欢更自然的方式，在更富于想象力的虚拟环境中，与操作对象进行交互作用与相互影响，从而产生“沉浸”于等同真实环境中的感受和体验，数据手套技术的研究因此得到了发展和应用。数据手套可以跟踪使用者灵活多变的手势及空间方位，使操作者自然而然地将自己的意识传递给计算机。国内外已有一些研究机构在数据手套的研发方面做了大量工作，并推出了一些数据手套产品及其应用。数据手套产品都必须利用较精密的传感器实现数据的测量，所用传感器的不同，使测量精度和最大采样频率这两项技术指标的差异较大。数据手套本体材料多为价格昂贵的弹性纤维，并在使用时都需要佩戴在操作者手部，数据手套操作使用过程与计算机之间用通信线连接，通讯接口采用RS232，最高波特率115.2kbps。这些数据手套产品价格昂贵而多用于科研，尚未见民用级产品推出。
发明内容
本发明的目的在于针对传统人机交互方式(传统鼠标)采用二维信息进行人机交互，不适应于新型的显示技术(如3D投影，三维显示)，而数据手套设备复杂、价格昂贵且有通讯线束缚等不足，提出了一种基于手部行为捕捉的人机交互方式，即视觉鼠标。采用视觉测量这一非接触测量方式，实现对操作手部特定标记三维信息的获取，并根据标记的坐标变化实现人机交互，已实现传统鼠标的功能。
本发明采用如下的技术方案：
一种人机交互方法，利用摄像头采集贴有标记的手部图像，将其送入计算机中，在计算机里存储有标记样本参数和摄像头特征参数，包括下列步骤：
(1)在手的至少两个能够独立活动的部位贴上不同的标记，并将手置于摄像头的视场内；
(2)利用摄像头连续采集包含全部标记的手部图像序列，将其送入计算机中；
(3)计算机根据所存储的相应的标记样本参数，探测标记并识别不同标记；
(4)根据所采集的手部图像和摄像头特征参数计算被探测到的标记中心点在标记 坐标系中的三维坐标；
(5)设定一个标记在一个手部图像与其后续的手部图像的坐标值的变化阈值，根据不同标记坐标改变量是否超出所设定的变化阈值，以及坐标变化的方向，实现对鼠标的控制。
作为优选实施方式，本发明的人机交互方法，其中的步骤(3)包括下列步骤：
(1)设定二值化阈值，将采集到的手部图像转换成二值图像；
(2)对该二值图像作连通域分析，搜索并识别所有具有边缘特征的图像区域；
(3)将识别出的各个具有边缘特征的图像区域与各个标记样本参数相比对，识别出各个不同标记。
设在手上贴有标记A和标记B两个不同的标记，所采集的手部图像为手部的平面图像，其中的步骤(5)包括下列步骤：
(1)对相邻两帧图像分别计算标记A和标记B的三维坐标值并求得各标记坐标值的改变量；判断标记A相对于手操作平面的左右方向或前后方向的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，根据坐标改变量，控制鼠标在当前位置的基础上的移动方向和移动像素点数。
(2)若判定标记A没有移动，则继续判断标记B相对于手操作平面的上下方向坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API中的mouse_event函数，控制鼠标产生右键操作。
(3)若判定标记B不进行右键操作，则继续判断标记B在手操作平面上的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，控制鼠标产生左键操作。
本发明的人机方式采用视觉技术进行三维坐标求取，受摄像头采样速度和程序运行时间的限制，最高采样频率为15.6Hz。光标控制的精度达到了2个像素，按键控制的出错率为4％，可以实现鼠标的光标移动控制和按键控制功能，能够完成对计算机的常规操作(浏览网页，文件操作等)，程序运行占用系统内存为40M。本发明采用三维信息实现了鼠标的基本功能，具有结构简单、成本低、采用非接触测量摆脱通讯线的束缚等特点。
附图说明
图1本发明所用标记示意图，(a)：手背部标记；(b)：食指端标记；
图2本发明使用的小孔成像模型示意图；
图3本发明实现鼠标控制程序流程图；
图4本发明实现鼠标光标定位功能流程图；
图5本发明实现鼠标按键控制功能流程图。
具体实施方式
本发明提供了一种采用摄像头代替专用的光纤传感器或者压电传感器的人机交互方法，能够实现对操作者手部三维信息的获取。只需在手背部和指端粘贴特定标记，采用非接触信息测量方式，摆脱了手套与通信线的束缚，提高了操作者手部的舒适度和自由度。本发明已能完成传统的鼠标基本功能，即基于手部行为捕捉的鼠标控制方法，既可以与鼠标共同使用，也可在没有鼠标的情况下独立使用，完全可以实现对计算机的各类操作，实验测试效果理想。
下面结合附图和实例对本发明作进一步说明。
本发明的外围设备由摄像头、特定标记、固定支架、图像数据传输线和计算机组成。选定具有自动对焦功能和卡尔·蔡司镜头，型号为罗技快看迷你高清型的摄像头，技术参数：200万像素CCD图像传感器，采样速度30帧／秒。将摄像头固定在支架上，正对手部所在操作平面拍摄。所采用的标记如图1所示，两个标记A和B分别粘贴于手背和食指端，按习惯通常贴于右手。标记特征为为黑色正方形边框类标记，并以标记符中心图案的不同来区分。手背标记A的尺寸选为边长5cm，食指端标记B边长1.5cm；标记A中心图案为圆，标记B中心图案为直角三角形。
通过实验验证了循迹有效范围(即可以捕获标记情况下摄像机与标记所在平面的最大距离)与标记尺寸之间的关系。这种人机交互方式对手部标记点的捕捉能力与标记尺寸的大小关系紧密。采用7cm、9cm、11cm和18cm四种不同尺寸的标记，获得不同尺寸参数下捕获手部标记点的有效范围。通过实验，可以获得如下结论：标记尺寸越大，循迹有效范围越大。但由于受视场影响，二者并不呈线性变化，随着标记尺寸的增大，循迹有效范围同比增长的越小。由于标记须贴于手掌背部和指端，受限于手背和指端的大小，最后确定标记A和B的尺寸分别为5cm和1.5cm，二者均可在25cm的循迹范围内有效的被捕获，由此确定固定支架的高度为30cm，摄像头距标记所在平面距离为25cm。
本发明采用Microsoft viscul c++6.0这一集成开发环境，通过上述硬件和程序，实现了鼠标操作的功能。图3为本发明实现鼠标操作的流程图。具体步骤如下：
(1)程序初始化，包括初始化视频配置，读取标记样本参数和摄像头特征参数。初始化视频配置包括拍摄图像尺寸、采样帧频和颜色空间，分别配置为640*480、30帧／秒和RGB24。
(2)获取视频图像，探测标记并识别不同标记样本。利用单摄像头获取包含全部标记的图像输入到系统中，采用二值化阈值100，将采集到的彩色图像转换成二值图像。对该二值图像作连通域分析，搜索并识别所有具有正方形边缘特征的图像区域。利用模板匹配算法，将提取到得图像区域与标记样本库中的标记进行比对，找出匹配度高于设定参数的区域即认为识别出系统采用的不同标记。
(3)计算被探测到的标记中心点在标记坐标系中的三维坐标。通过针孔成像模型， 建立标记坐标系Om-XmYmZm、摄像机坐标系Oc-XcYcZc和摄像机理想屏幕坐标系Ou-XuYu，坐标系间的相互关系如图4所示。通过标记中心点的理想屏幕坐标(xu，yu)和转换矩阵Tcm(标记坐标系到摄像机坐标系之间的转换矩阵)，解算出不同标记中心点在标记坐标系中的三维坐标(xm，ym，zm)。
(4)根据不同标记的坐标值的变化，调用Windows API函数库中的mouse_event函数，实现对鼠标的控制，光标定位操作的流程如图4所示。记录标记A的三维坐标值并计算相邻两帧图像坐标值的改变量；判断标记A的x方向(手操作平面左右方向)和y方向(手操作平面前后方向)的坐标改变量是否超过阈值10，若超过，则调用Windows API函数库中的SetCursorPos(xvalue，yvalue)函数，控制鼠标在当前位置的基础上的移动方向和移动像素点数。移动的像素点数与坐标改变量呈线性关系，比例系数可以通过程序设定。
(5)若判定标记A没有移动，则继续判断标记B的z方向(手操作平面上下方向)坐标改变量是否超过阈值20，若超过，则调用Windows API函数库中的mouse_event函数，控制鼠标产生左键操作。若判定标记B不进行左键操作，则继续判断标记B在x-y平面(手所在操作平面)上的坐标改变量是否超过设定阈值，若超过，则调用Windows API函数库中的mouse_event函数，控制鼠标产生右键操作。控制鼠标左右按键操作的流程图如图5所示。
(6)关闭视频采集，程序结束。
最后，通过手部标记点捕捉交互实验，对标记式手部行为捕捉人机交互技术的一些重要技术参数进行量化，评价该技术实际效果。实验测试得到该技术的最大采样频率为15.6Hz，光标控制的精度达到了2个像素，按键控制的出错率为4％，程序运行占用系统内存为40M，可以实现鼠标的光标移动控制和按键控制功能，能够完成对计算机的常规操作(浏览网页，文件操作等)。
本发明因系统简单而大大降低了成本，有利于技术的民用商业化普及。与传统的人机交互设备不同，该人机方式采用空间三维信息来实现交互操作，在立体视觉、虚拟现实和增强现实等一系列概念不断被提出的情况下，这种人机方式具有更加明显的优势，必将得到更广泛的应用和更长远的发展。
Claims (3)
1.一种人机交互方法，利用摄像头采集贴有标记的手部图像，将其送入计算机中，在计算机里存储有标记样本参数和摄像头特征参数，包括下列步骤：
(1)在手的至少两个能够独立活动的部位贴上不同的标记，并将手置于摄像头的视场内；
(2)利用摄像头连续采集包含全部标记的手部图像序列，将其送入计算机中；
(3)计算机根据所存储的相应的标记样本参数，探测标记并识别不同标记；
(4)根据所采集的手部图像和摄像头特征参数计算被探测到的标记中心点在标记坐标系中的三维坐标；
(5)设定一个标记在一个手部图像与其后续的手部图像的坐标值的变化阈值，根据不同标记坐标改变量是否超出所设定的变化阈值，以及坐标变化的方向，实现对鼠标的控制。
2.根据权利要求1所述人机交互方法，其特征在于，其中的步骤(3)包括下列步骤：
(1)设定二值化阈值，将采集到的手部图像转换成二值图像；
(2)对该二值图像作连通域分析，搜索并识别所有具有边缘特征的图像区域；
(3)将识别出的各个具有边缘特征的图像区域与各个标记样本参数相比对，识别出各个不同标记。
3.根据权利要求1所述人机交互方法，其特征在于，设在手上贴有标记A和标记B两个不同的标记，所采集的手部图像为手部的平面图像，其中的步骤(5)包括下列步骤：
(1)对相邻两帧图像分别计算标记A和标记B的三维坐标值并求得各标记坐标值的改变量；判断标记A相对于手操作平面的左右方向或前后方向的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，根据坐标改变量，控制鼠标在当前位置的基础上的移动方向和移动像素点数。
(2)若判定标记A没有移动，则继续判断标记B相对于手操作平面的上下方向坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API中的mouse_event函数，控制鼠标产生右键操作。
(3)若判定标记B不进行右键操作，则继续判断标记B在手操作平面上的坐标改变量是否超过所述的变化阈值，若超过，则调用Windows API函数库中的mouse_event函数，控制鼠标产生左键操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310418915.XA CN104460951A (zh) | 2013-09-12 | 2013-09-12 | 一种人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310418915.XA CN104460951A (zh) | 2013-09-12 | 2013-09-12 | 一种人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104460951A true CN104460951A (zh) | 2015-03-25 |
Family
ID=52907154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310418915.XA Pending CN104460951A (zh) | 2013-09-12 | 2013-09-12 | 一种人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104460951A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293078A (zh) * | 2016-08-02 | 2017-01-04 | 福建数博讯信息科技有限公司 | 基于摄像头的虚拟现实交互方法和装置 |
| CN107341818A (zh) * | 2016-04-29 | 2017-11-10 | 北京博酷科技有限公司 | 用于触摸屏响应性能测试的图像分析算法 |
| CN107450714A (zh) * | 2016-05-31 | 2017-12-08 | 大唐电信科技股份有限公司 | 基于增强现实和图像识别的人机交互支撑测试系统 |
| CN107925739A (zh) * | 2015-09-02 | 2018-04-17 | 株式会社万代南梦宫娱乐 | 投影系统 |
| CN108073276A (zh) * | 2016-11-15 | 2018-05-25 | 谷歌公司 | 增强和/或虚拟现实环境的拖拽虚拟元件 |
| CN108431738A (zh) * | 2016-02-02 | 2018-08-21 | 微软技术许可有限责任公司 | 基于波动的光标栓系 |
| CN108521545A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的图像调整方法、装置、存储介质和电子设备 |
| CN108717734A (zh) * | 2018-05-08 | 2018-10-30 | 南京思甲宁新材料科技有限公司 | 一种五金电子锁系统的方法 |
| US10262197B2 (en) | 2015-11-17 | 2019-04-16 | Huawei Technologies Co., Ltd. | Gesture-based object measurement method and apparatus |
| WO2022126775A1 (zh) * | 2020-12-14 | 2022-06-23 | 安徽鸿程光电有限公司 | 光标控制方法、装置、设备及介质 |
-
2013
- 2013-09-12 CN CN201310418915.XA patent/CN104460951A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107925739A (zh) * | 2015-09-02 | 2018-04-17 | 株式会社万代南梦宫娱乐 | 投影系统 |
| CN107925739B (zh) * | 2015-09-02 | 2020-12-25 | 株式会社万代南梦宫娱乐 | 投影系统 |
| US10262197B2 (en) | 2015-11-17 | 2019-04-16 | Huawei Technologies Co., Ltd. | Gesture-based object measurement method and apparatus |
| CN108431738A (zh) * | 2016-02-02 | 2018-08-21 | 微软技术许可有限责任公司 | 基于波动的光标栓系 |
| CN108431738B (zh) * | 2016-02-02 | 2021-06-08 | 微软技术许可有限责任公司 | 用于基于波动的光标栓系的方法和装置 |
| CN107341818A (zh) * | 2016-04-29 | 2017-11-10 | 北京博酷科技有限公司 | 用于触摸屏响应性能测试的图像分析算法 |
| CN107450714A (zh) * | 2016-05-31 | 2017-12-08 | 大唐电信科技股份有限公司 | 基于增强现实和图像识别的人机交互支撑测试系统 |
| CN106293078A (zh) * | 2016-08-02 | 2017-01-04 | 福建数博讯信息科技有限公司 | 基于摄像头的虚拟现实交互方法和装置 |
| CN108073276B (zh) * | 2016-11-15 | 2020-09-15 | 谷歌公司 | 增强和/或虚拟现实环境的拖拽虚拟元件 |
| CN108073276A (zh) * | 2016-11-15 | 2018-05-25 | 谷歌公司 | 增强和/或虚拟现实环境的拖拽虚拟元件 |
| CN108521545A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的图像调整方法、装置、存储介质和电子设备 |
| CN108521545B (zh) * | 2018-03-26 | 2020-02-11 | Oppo广东移动通信有限公司 | 基于增强现实的图像调整方法、装置、存储介质和电子设备 |
| CN108717734A (zh) * | 2018-05-08 | 2018-10-30 | 南京思甲宁新材料科技有限公司 | 一种五金电子锁系统的方法 |
| WO2022126775A1 (zh) * | 2020-12-14 | 2022-06-23 | 安徽鸿程光电有限公司 | 光标控制方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101799717A (zh) | 基于手部行为捕捉的人机交互方法 | |
| CN104460951A (zh) | 一种人机交互方法 | |
| US11030237B2 (en) | Method and apparatus for identifying input features for later recognition | |
| CN105718878B (zh) | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 | |
| CN100585329C (zh) | 基于指端标记的视频手指定位系统及其定位方法 | |
| CN101673161B (zh) | 一种可视可操作无实体的触摸屏系统 | |
| CN108256504A (zh) | 一种基于深度学习的三维动态手势识别方法 | |
| CN102508578B (zh) | 投影定位装置及方法、交互系统和交互方法 | |
| CN107357427A (zh) | 一种用于虚拟现实设备的手势识别控制方法 | |
| CN103472916A (zh) | 一种基于人体手势识别的人机交互方法 | |
| CN103365411A (zh) | 信息输入设备、信息输入方法和计算机程序 | |
| CN104423569A (zh) | 指向位置侦测装置、方法及计算机可读取纪录媒体 | |
| CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
| CN103383731A (zh) | 一种基于指尖定位的投影交互方法、系统及计算设备 | |
| CN102868811B (zh) | 一种基于实时视频处理的手机屏幕操控方法 | |
| CN106355647A (zh) | 增强现实系统和方法 | |
| CN102096471A (zh) | 一种基于机器视觉的人机交互方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN109242887A (zh) | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 | |
| CN109949900B (zh) | 三维脉波的显示方法、装置、计算机设备及存储介质 | |
| Baak et al. | Analyzing and evaluating markerless motion tracking using inertial sensors | |
| CN104952104A (zh) | 一种三维人体姿态估计方法和装置 | |
| CN107797648A (zh) | 虚拟触摸系统和图像识别定位方法、计算机可读存储介质 | |
| CN107564037A (zh) | 一种基于局部特征的多机器人检测与跟踪方法 | |
| CN103761011A (zh) | 一种虚拟触摸屏的方法、系统及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |