CN104536568B - 侦测用户头部动态的操控系统及其操控方法 - Google Patents

侦测用户头部动态的操控系统及其操控方法 Download PDF

Info

Publication number
CN104536568B
CN104536568B CN201410823719.5A CN201410823719A CN104536568B CN 104536568 B CN104536568 B CN 104536568B CN 201410823719 A CN201410823719 A CN 201410823719A CN 104536568 B CN104536568 B CN 104536568B
Authority
CN
China
Prior art keywords
user
head
manipulation
wearing part
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410823719.5A
Other languages
English (en)
Other versions
CN104536568A (zh
Inventor
马孟明
蓝俊坤
林意能
赵晋宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Priority to CN201410823719.5A priority Critical patent/CN104536568B/zh
Publication of CN104536568A publication Critical patent/CN104536568A/zh
Application granted granted Critical
Publication of CN104536568B publication Critical patent/CN104536568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种侦测用户头部动态的操控系统及其操控方法,包含一穿戴件、撷取单元、一运算单元,以及一操控单元。穿戴件用以穿戴于使用者头部,且穿戴件具有至少二个定位特征点,并且定义有一正面。撷取单元撷取具有二定位特征点的一第一取样画面,并且于穿戴件移动之后,再度撷取具有二定位特征点的一第二取样画面。运算单元由第一取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第一特征向量,并且运算单元由第二取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第二特征向量。操控单元,电性连接运算单元及电子装置;操控单元依据第一特征向量及第二特征向量得到一操控向量,用以产生一操控指令。

Description

侦测用户头部动态的操控系统及其操控方法
技术领域
本发明涉及一种智能穿戴系统,尤其涉及一种侦测用户头部动态的操控系统及其操控方法,能够藉由穿戴件撷取用户头部动态,达成操控另一电子装置。
背景技术
传统上,操控电子装置往往透过,例如鼠标、键盘、触摸板、轨迹球、轨迹点、游戏杆、触控屏幕和数字绘图板等装置,早已深深普及一般民众生活使用之中。但是,在一些特殊使用环境下,例如开车时不便于以手操控电子装置300,或者虚拟及远程操控屏幕等,均为上述传统操控方式所无法达成。甚至对于特殊使用族群而言,传统操控方式更无法满足使用需求,例如对于四肢障碍者,无法利用手部进行一般日常生活中各对象的动作,即使书本翻页、电视转台、计算机改变页面、甚至控制轮椅都需透过辅具帮助来完成动作。
所以,一些发明操控装置及方式之中,除了透过某些传感器来操控电子装置,如加速计及水平仪来获得身体动态信息外,最多采用为影像撷取辨识装置及方法,其透过撷取影像并转换为数字讯号后,此处理后的数字讯号可被利用于各种形形色色应用、甚至以操控装置。在影像撷取辨识装置中,最多研究应用以撷取人物影像为核心技术属为主流,而人物影像之中又针对侦测及辨识人脸为重点。故近年来成熟的人物或人脸影像辨识技术,已经渐渐地被广泛应用,例如侦测人脸用于判断一个特定区域内是否有人的存在,或者透过人脸辨识来开关电视屏幕,或者侦测人脸以分析比较人脸的视觉特征信息,用于判断及执行某项电子装置之功能指令。
然而,实际上人脸形状之影像很不稳定,一方面脸部肌肉变化所产生很多表情,容易增加人脸侦测及辨识的困难度,另外,在不同观察角度所拍摄人脸也会有所差异,而不同光照条件下明暗不均也造成误判可能性。另一方面,侦测及辨识人脸较适合一静态影像的捕捉,无法延伸转化于复杂的操控动作,所以对于类似操控鼠标等适合捕捉一动态影像,可能为人体某部位的动作,例如手势辨识来操控装置、体感游戏捕捉动作来进行游戏操控、及捕捉眼球转动来达成控制讯号输出。然而上述技术仍基于捕捉人体某部位之影像来达成,仍无法全面简化操控电子装置300的方式。
发明内容
有鉴于此,本发明的主要目的在于提供一种侦测用户头部动态的操控系统及其操控方法,利用捕捉人所穿戴件的影像,来达成侦测用户头部动态,进而产生操作指令,以符合使用环境上需求问题,并达到更灵活及安全性的应用。本发明的侦测用户头部动态的操控系统及其操控方法,透过非侦测人脸或身体部位的影像,来更换需由人脸或身体部位以操控电子装置的限制,以解决不同使用环境上需求问题,并达到更简易及安全的应用。
为达到上述目的,本发明的技术方案是这样实现的:
一种侦测用户头部动态的操控系统,适用于辨识用户的头部动态而转换为一操控指令,以操控一电子装置。侦测用户头部动态的操控系统包含一穿戴件、撷取单元、一运算单元,以及一操控单元。穿戴件用以穿戴于使用者头部,且穿戴件具有至少二个定位特征点,并且定义有一正面。撷取单元撷取具有二定位特征点的一第一取样画面,并且于穿戴件移动之后,再度撷取具有二定位特征点的一第二取样画面。运算单元由第一取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第一特征向量,并且运算单元由第二取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第二特征向量。操控单元电性连接运算单元及电子装置;其中,操控单元依据第一特征向量及第二特征向量得到一操控向量,用以产生一操作电子装置的操控指令。
于本发明至少一实施例中,侦测用户头部动态的操控系统更包含一储存单元,电性连接撷取单元,储存单元储存第一取样画面及第二取样画面,且运算单元电性连接储存单元,以读取第一取样画面及第二取样画面。
于本发明至少一实施例中,撷取单元由至少二摄影机所组成。
于本发明至少一实施例中,二摄影机设置相对于用户的不同视角的位置。
于本发明至少一实施例中,二摄影机分别为红外线摄影机。
于本发明至少一实施例中,操控向量可以为二维向量或三维向量。
本发明还提出一种侦测用户头部动态的操控方法,适用于辨识用户的头部动态而转换为一操控指令,以操控一电子装置300,侦测用户头部动态的操控方法包含:
于一穿戴件上设置至少二定位特征点,并于穿戴件定义一正面;
撷取具有二定位特征点的一第一取样画面,并且于穿戴件移动之后,再度撷取具有二定位特征点的一第二取样画面;
由第一取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第一特征向量;
由第二取样画面分析二定位特征点的相对位置,而决定穿戴件的正面的一第二特征向量;以及
依据第一特征向量及第二特征向量得到一操控向量,用以产生一操作电子装置的操控指令。
本发明所提供的侦测用户头部动态的操控系统及其操控方法,具有以下优点:
利用本发明,设定此操控装置中的穿戴件后,在使用过程藉由使用者头部的动作改变,穿戴件的位置进而移动改变,透过撷取单元撷取穿戴件在此移动前后的状态,并运算形成操控指令,用以操控电子装置。藉此使用者的穿戴件并透过简单动作,即可进行一种体感式、虚拟式及远程式的操作控制方式,有助提升使用的舒适便利性、不方便操作的环境下操作或者提供伤残人士的使用,达到控制电子装置的目的。
附图说明
图1为本发明一实施例的侦测用户头部动态的操控系统的示意图。
图2为本发明一实施例的侦测用户头部动态的操控系统的系统方块图。
图3为本发明一实施例的撷取影像示意图。
图4为本发明一实施例的侦测用户头部动态的操控方法的流程图。
【主要组件符号说明】
100 侦测用户头部动态的操控系统
110 穿戴件
112 定位特征点
120 撷取单元
130 储存单元
140 运算单元
150 操控单元
200 使用者
300 电子装置
V1 第一特征向量
V2 第二特征向量
dV 操控向量。
具体实施方式
下面结合附图及本发明的实施例对本发明的侦测用户头部动态的操控系统及其操控方法作进一步详细的说明。
本发明所谓的穿戴件110,泛指使用者200穿戴于头部的对象,其对象本身并不需具有任何主动式及被动式的电子式操控功能。藉由侦测用户200的头部动态,本发明可用于操控一电子装置300。例如,穿戴件110可为眼镜、头戴式耳机、帽子及安全帽,其必须穿戴于使用者200的头部、或其他易于辨识的明显穿着部位以助于撷取影像画面。
在本发明的一具体应用例中,穿戴件110为眼镜,且电子装置300例如为平面显示器的电视或计算机屏幕,或电子装置300例如为虚拟现实的屏幕。当使用者200已穿戴上眼镜时,用户200因视线缘故头部因而发生转动,即空间上使用者200所穿戴眼镜发生一移动,而造成眼镜自身的坐标向量改变,此时可藉由本发明的侦测用户头部动态的操控系统100及侦测用户头部动态的操控方法,用以辨识操控电子装置300。因此,当使用者200穿戴眼镜作为穿戴件110后,可用来移动电视及计算机屏幕中的鼠标指针或网页滚轴;或者,在虚拟现实的屏幕中,当用户200的眼镜可用来移动其视野角度。
请参照图1与图2所示,本发明第一实施例揭示一种侦测用户头部动态的操控系统100,适用于辨识用户200的头部动态而转换为一操控指令,以操控电子装置300。侦测用户头部动态的操控系统100包含一穿戴件110、撷取单元120、一储存单元130、一运算单元140及一操控单元150。
如图1,穿戴件110用以穿戴于该使用者200头部,且该穿戴件110具有至少二个定位特征点112,并且定义有一正面。前述正面通常对应于使用者200的脸部,亦即,正面的指向可以视为使用者200的脸部所朝向的方向。定位特征点112可为颜色明显的涂料达成,特别是与穿戴件110本身以及肤色差异大的颜色(例如自然界中极少存在的荧光色),或是,定位特征点112可以透过使用反射性涂料或直接设置光学反射对象来达成。
如图1与图2,撷取单元120用于撷取具有二定位特征点112的取样画面,以分析穿戴件110的坐标变化,包含位置的变化以及轴向转动的变化,从而决定对应于正面指向的特征向量。
为了决定特征向量的时变化率及变化量,撷取单元120撷取具有二定位特征点112的一第一取样画面,并且于穿戴件110移动之后,撷取单元120再度撷取具有二定位特征点112的一第二取样画面。
承上,储存单元130电性连接撷取单元120,用来储存上述撷取单元120所撷取的第一取样画面与第二取样画面。
运算单元140电性连接于储存单元130,用以读取第一取样画面与第二取样画面。
如图3所示,运算单元140由第一取样画面分析二定位特征点112的相对位置,而决定穿戴件110的正面的一第一特征向量V1,并且该运算单元140由第二取样画面分析二定位特征点112的相对位置,而决定穿戴件110的正面的一第二特征向量V2。定位特征点112的数量,并不限于两个,也可以是三个或三个以上。
于两个定位特征点112的场合,运算单元140必须同时分析定位特征点112的形状变化,以决定特征向量;或是撷取单元120可由二个以上摄影机所组成,二摄影机设置相对于该用户200的不同视角的位置,而于同一时间于不同视角撷取有差异性的取样画面,从而透过取样画面的差异决定对应的特征向量。此外,定位特征点112可以透过红外线光源呈现,而前述的摄影机可为红外线摄影机。
于三个以上的定位特征点112,则可直接由定位点于取样画面中的相对坐标关系,分析得到特征向量。
如图3所示,操控单元150电性连接运算单元140及电子装置300。依据第一特征向量V1及第二特征向量V2的时变化率及变化量,操控单元150转换为相对应的操控向量dV,可以当作操控指令200来操作电子装置300。所以,电子装置300为平面显示器,穿戴件110为眼镜,当用户200轻微视线往右移时,使眼镜产生移动,本发明的侦测用户头部动态的操控系统100立即对应产升操控指令200,达成体感操控平面显示器中的鼠标指针,同时,操控向量dV可以为二维向量或三维向量,使得鼠标指针进行二维移动,或是于虚拟的三维操作接口中移动。此外,依据电子装置300与撷取单元120的相对位置,操控单元150也可以决定第一特征向量V1及第二特征向量V2分别指向显示器的位置,使鼠标指针停留于该位置,或是在该位置进行显示影像的放大缩小、标记、显示跳出式对话框等操作指令。
如图4所示,依据前述操作系统,本发明还提出一种侦测用户头部动态的操控方法,适用于辨识用户200的头部动态而转换为一操控指令,以操控一电子装置300。侦测用户200头部动态的操控方法包含下列步骤。
首先,如步骤S310所示,于一穿戴件110上设置至少二定位特征点112,并于该穿戴件110定义一正面。
接着,以撷取单元120撷取具有二定位特征点112的一第一取样画面,如步骤S320所示;接着,于穿戴件110移动之后,再度以撷取撷取单元120具有二定位特征点112的一第二取样画面,如步骤S330所示。
以运算单元140由第一取样画面分析该二定位特征点112的相对位置,而决定穿戴件110的正面的一第一特征向量V1,如步骤S340所示。
以运算单元140由第二取样画面分析二定位特征点112的相对位置,而决定穿戴件110的正面的一第二特征向量V2,如步骤S340所示。
最后,操控单元150依据第一特征向量V1及第二特征向量V2得到一操控向量dV,用以产生一操作电子装置300的操控指令,如步骤S350所示。如前所述,操控向量dV可以为二维向量或三维向量。
综合上述,本发明的侦测用户200头部动态的操控系统及方法,可适用于使用者200穿戴任意具固定几何形状的穿戴件110,以使用者头部的运动来操控电子装置300。在特殊使用环境下,利用穿戴部位的连动关系,可提供更方便及安全的操控模式,或者藉由身体某部位,以提供额外的操控管道,而进行一种体感式、虚拟式及远程式的操作控制方式。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (6)

1.一种侦测用户头部动态的操控系统,适用于辨识用户的头部动态而转换为一操控指令,以操控一电子装置;其特征在于,该侦测用户头部动态的操控系统包含:
一穿戴件,用以穿戴于该用户 头部,且该穿戴件具有至少二个定位特征点,并且定义有一正面;
撷取单元,撷取具有该二定位特征点的一第一取样画面,并且于该穿戴件移动之后,再度撷取具有该二定位特征点的一第二取样画面;
一运算单元,由该第一取样画面分析该二定位特征点的相对位置,而决定该穿戴件之正面的一第一特征向量,并且该运算单元由该第二取样画面分析该二定位特征点的相对位置,而决定该穿戴件之正面的一第二特征向量;以及
一操控单元,电性连接该运算单元及该电子装置;其中,该操控单元依据该第一特征向量及该第二特征向量得到一操控向量,用以产生一操作该电子装置之操控指令,
其中,该撷取单元由至少二摄影机所组成,该二摄影机设置相对于该用户之不同视角之位置。
2.如权利要求1所述的侦测用户头部动态的操控系统,其特征在于,更包含一储存单元,电性连接该撷取单元,该储存单元储存该第一取样画面及该第二取样画面,且该运算单元电性连接该储存单元,以读取该第一取样画面及该第二取样画面。
3.如权利要求1所述的侦测用户头部动态的操控系统,其特征在于,其中,该二摄影机分别为红外线摄影机。
4.如权利要求1所述的侦测用户头部动态的操控系统,其特征在于,其中,该操控向量为二维向量或三维向量。
5.一种侦测用户头部动态的操控方法,适用于辨识用户的头部动态而转换为一操控指令,以操控一电子装置,其特征在于,该侦测用户头部动态的操控方法包含:
于一穿戴件上设置至少二定位特征点,并于该穿戴件定义一正面;
撷取具有该二定位特征点的一第一取样画面,并且于该穿戴件移动之后,再度撷取具有该二定位特征点的一第二取样画面;
由该第一取样画面分析该二定位特征点的相对位置,而决定该穿戴件的正面的一第一特征向量;
由该第二取样画面分析该二定位特征点的相对位置,而决定该穿戴件的正面的一第二特征向量;以及
依据该第一特征向量及该第二特征向量得到一操控向量,用以产生一操作该电子装置的操控指令,
其中,该撷取由至少二摄影机来执行,该二摄影机设置相对于该用户之不同视角之位置。
6.如权利要求5所述的侦测用户头部动态的操控方法,其中,其特征在于,该操控向量为二维向量或三维向量。
CN201410823719.5A 2014-12-26 2014-12-26 侦测用户头部动态的操控系统及其操控方法 Active CN104536568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410823719.5A CN104536568B (zh) 2014-12-26 2014-12-26 侦测用户头部动态的操控系统及其操控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410823719.5A CN104536568B (zh) 2014-12-26 2014-12-26 侦测用户头部动态的操控系统及其操控方法

Publications (2)

Publication Number Publication Date
CN104536568A CN104536568A (zh) 2015-04-22
CN104536568B true CN104536568B (zh) 2017-10-31

Family

ID=52852108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410823719.5A Active CN104536568B (zh) 2014-12-26 2014-12-26 侦测用户头部动态的操控系统及其操控方法

Country Status (1)

Country Link
CN (1) CN104536568B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445098A (zh) * 2016-07-29 2017-02-22 北京小米移动软件有限公司 用于头戴设备的控制方法、控制装置及移动设备
CN106445157B (zh) * 2016-09-30 2020-08-07 珠海市魅族科技有限公司 一种画面显示方向调整的方法以及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM254669U (en) * 2000-10-24 2005-01-01 Shin Hua Rung Head control device of adjustable image-tracking type
TW201017473A (en) * 2008-08-07 2010-05-01 Koninkl Philips Electronics Nv Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
TW201203089A (en) * 2010-06-22 2012-01-16 Microsoft Corp User tracking feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM254669U (en) * 2000-10-24 2005-01-01 Shin Hua Rung Head control device of adjustable image-tracking type
TW201017473A (en) * 2008-08-07 2010-05-01 Koninkl Philips Electronics Nv Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
TW201203089A (en) * 2010-06-22 2012-01-16 Microsoft Corp User tracking feedback

Also Published As

Publication number Publication date
CN104536568A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
Suarez et al. Hand gesture recognition with depth images: A review
Sato et al. Fast tracking of hands and fingertips in infrared images for augmented desk interface
US9911235B2 (en) Spatial interaction in augmented reality
Berman et al. Sensors for gesture recognition systems
CN104011628B (zh) 用于识别姿势的方法和姿势检测器
US20140139429A1 (en) System and method for computer vision based hand gesture identification
US9671873B2 (en) Device interaction with spatially aware gestures
Caputo et al. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware.
Premaratne et al. Historical development of hand gesture recognition
TW201120681A (en) Method and system for operating electric apparatus
TW201324235A (zh) 手勢輸入的方法及系統
CN103176605A (zh) 一种手势识别控制装置及控制方法
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
Tolle et al. Design of head movement controller system (HEMOCS) for control mobile application through head pose movement detection
US20150185851A1 (en) Device Interaction with Self-Referential Gestures
CN104536568B (zh) 侦测用户头部动态的操控系统及其操控方法
Halarnkar et al. Gesture recognition technology: A review
Dongre et al. Computer Cursor Control Using Eye and Face Gestures
Jain et al. Human computer interaction–Hand gesture recognition
Maidi et al. Interactive media control using natural interaction-based Kinect
Khan et al. Gesture recognition using Open-CV
TWI598769B (zh) Detection of the user's head dynamic control system and control methods
Prabhakar et al. Comparison of three hand movement tracking sensors as cursor controllers
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
Montanini et al. Real time message composition through head movements on portable Android devices

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant