CN103309466A - 指向性影像操控装置及其方法 - Google Patents

指向性影像操控装置及其方法 Download PDF

Info

Publication number
CN103309466A
CN103309466A CN2013100393364A CN201310039336A CN103309466A CN 103309466 A CN103309466 A CN 103309466A CN 2013100393364 A CN2013100393364 A CN 2013100393364A CN 201310039336 A CN201310039336 A CN 201310039336A CN 103309466 A CN103309466 A CN 103309466A
Authority
CN
China
Prior art keywords
user
image
directive property
hand
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100393364A
Other languages
English (en)
Inventor
邹嘉骏
黎沧琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN103309466A publication Critical patent/CN103309466A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种指向性影像操控装置及其方法,依据使用者的手指与手部所构成的直线向量,移动屏幕上的指针。主要包含影像撷取单元用以取得使用者影像,指向性处理单元分析使用者影像,生成使用者手指影像数据与使用者手部影像数据,并依此产生虚拟指定向量。利用此虚拟指定向量,画面中的操作指标将跟随使用者手指与手部所构成的直线向量产生移动,且操作指标位于虚拟指定向量与使用画面的交会处。

Description

指向性影像操控装置及其方法
技术领域
本发明是有关一种虚拟操控的装置及其方法,特别是一种适用于大型屏幕的指向性影像操控的装置及其方法。
背景技术
侦测人类的肢体动作来进行各种控制有多种技术已被揭露,如美国专利公告第7,931,535号“Game operating device” 提供一种游戏控制器,也就是由日本任天堂株式会社所开发的Wii游戏机的 Wiiremoter控制器。此游戏控制器内有摄影机、加速传感器与控制用的按钮,电视机上面装配有红外线的发光体,摄影机拍摄发光体所发射的红外线光,定位游戏控制器相对于屏幕的位置而藉此操控而进行游戏。
美国公开第US2010/0302145号“Virtual desktop coordinate transformation”揭露了另一种技术,于电视机上安装摄影机,取得站在电视前的玩家影像,透过游戏主机的运算处理,观测玩家的肢体动作而进行游戏中的各类控制。此技术的主要特征是将玩家的影像进行分析后,直接映设(mapping)到画面中。如图1所示,玩家挥动手臂,在画面中的指标就会近乎同步地移动,而且屏幕中出现的指针与玩家的手掌位在同样的相对位置,就像站在镜子前面一样。
以上技术虽能合理运作而具有一定的效果,然而第7,931,535号美国专利案所提供的技术,使用者必须要握持特定的游戏控制器才能加以操控。至于第US2010/0302145号美国专利申请案所揭露的技术,仅能适用于一般尺寸的屏幕,如家庭用的液晶电视机等。前述技术都不能使用在配备大型屏幕的设备,如户外广告广告牌等等,也无法进行控制操作。因为站在大型屏幕之前,使用者的体型显得相对渺小许多,完全不可能进行互动操作。
发明内容
本发明所要解决的技术问题是:针对上述现有技术的不足,提出一种指向性影像操控装置及其方法,依据使用者的手指与手部影像所组成的虚拟指定向量,控制画面中的指标,本发明具有操作直观简便等优点,在展览或广告等商业应用上具有突破性的优势。
为了解决上述技术问题,本发明所采用的技术方案是:一种指向性影像操控装置,搭配一显示设备而让使用者进行控制,该显示设备产生一使用画面,该使用画面具有可受控制的一操作指标,其特点是:该指向性影像操控装置包括有一影像撷取单元和一指向性处理单元,该影像撷取单元用以取得一使用者影像;该指向性处理单元用以分析该使用者影像,而生成一使用者手指影像数据以及一使用者手部影像数据,并依据该使用者手指影像数据及该使用者手部影像数据,生成一虚拟指定向量,该指向性处理单元依据该虚拟指定向量,控制该操作指标,其中该操作指标于该使用画面中的移动,跟随对应于使用者手指与手部的运动方向,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
本发明另提供一种指向性影像操控的方法,搭配一显示设备而让使用者进行控制,该显示设备产生一使用画面,该使用画面具有可受控制的一操作指标,其特点是:该方法包括有下列步骤:取得一使用者影像;分析该使用者影像,生成一使用者手指影像数据以及一使用者手部影像数据;依据使用者手指影像数据及该使用者手部影像数据,生成一虚拟指定向量;以及依据该虚拟指定向量,控制该操作指标,使该操作指标在该使用画面中的移动,跟随对应于使用者手指与手部的运动,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
本发明再一方面提供一种指向性影像操控装置,搭配一显示设备而让使用者进行控制,该显示设备产生使用画面,该使用画面具有可受控制的一操作指标,其特点是:该指向性影像操控装置包括有一影像撷取单元和一指向性处理单元,该影像撷取单元用以取得一使用者空间数据;该指向性处理单元用以分析该使用者空间数据,而生成一使用者手指空间数据以及一使用者手部空间数据,并依据该使用者手指空间数据及该使用者手部空间数据,生成一虚拟指定向量,该指向性处理单元依据该虚拟指定向量,控制该操作指标,其中该操作指标于该使用画面中的移动,跟随对应于使用者手指与手部的运动方向,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
本发明又提供一种指向性影像操控的方法,搭配一显示设备而让使用者进行控制,该显示设备产生使用画面,该使用画面具有可受控制的一操作指标,其特点是:方法包括有下列步骤:取得一使用者空间数据;分析该使用者空间数据,生成一使用者手指空间数据以及一使用者手部空间数据;依据使用者手指空间数据及该使用者手部空间数据,生成一虚拟指定向量;以及依据该虚拟指定向量,控制该操作指标,使该操作指标在该使用画面中的移动,跟随对应于使用者手指与手部的运动,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
依据本发明的指向性影像操控装置,其中该指向性处理单元,可依据该使用者影像与该虚拟指定向量,生成一虚拟三维空间数据。于一较佳实施例中,其中该使用者手部影像数据选自由使用者的手腕、手肘及手臂所组成的群组。进一步地,该影像撷取单元包含有一个以上的摄影机。又于一更佳实施例中,其中该指向性处理单元前端进一步与一影像处理单元连接,使该影像撷取单元所取得的使用者影像可先经强化处理后,再传送至该指向性处理单元进行后续使用者影像的分析。
依据本发明的指向性影像操控的方法,其中更包含有下列步骤:依据该使用者影像与该虚拟指定向量,生成一虚拟三维空间数据。进一步地,其中该使用者手部影像数据选自由使用者的手腕、手肘及手臂所组成的群组;于一较佳实施例中,其中该使用者影像透过一个以上的摄影机撷取该使用者影像。又依据本发明指向性影像操控的方法,其中更包含有下列步骤:侦测该操作指标是否进入该使用画面中的一控制区域;以及若该操作指针进入该控制区域,则进行一操作执行作业,其中该操作执行作业指操作确认指令或操作取消指令。
本发明相较于前述第US2010/0302145号美国专利申请案,该第US2010/0302145号的技术好比镜子,拍摄玩家的影像加以分析后映像(mapping)到屏幕上,如图1所示。也就是说,该美国专利的技术是把玩家的肢体动作直接对应反射在屏幕上。而本发明所揭露的技术,是取得使用者的手指与手部影像所构成的直线,经过运算处理后取得一虚拟指定向量,因此使用者能够自由指向屏幕中的任意区域。本发明所揭露的技术,特别适用于大型尺寸屏幕,而对使用户外大型屏幕的各类广告促销活动(promotion),提供一种创新的操作方式,而且使用上更为直观、操作上也更为简便。
有关本发明的详细技术内容、其它目的与特点,以下举较佳实施例并配合图式予以说明。
附图说明
图1是已知技术的使用示意图。
图2是本发明的装置的使用示意图。
图3是本发明的装置的另一使用示意图。
图4是本发明的装置架构示意图。
图5是本发明的方法流程示意图。
图6是本发明的接续方法流程示意图。
标号说明
10处理单元                 11影像处理单元
12指向性处理单元           20影像撷取单元
30显示设备                 50手指
51手部                     80使用画面
81操作指标                 90虚拟指定向量
S101取得使用者影像
S102生成使用者手指影像数据以及使用者手部影像数据
S103生成虚拟指定向量       S104生成虚拟三维空间数据
S105取得操作指标的控制权   S106等待操作指标进入
S107操作指针是否进入控制区域S108进行操作执行作业
具体实施方式
请参考图2、图3与图4,说明为本发明的指向性影像操控装置的基本架构与使用。本发明所提供的装置搭配显示设备30一起运作,比如户外大型显示屏幕等类的设备。本发明的装置主要包含有处理单元10、影像处理单元11、指向性处理单元12与影像撷取单元20。其中,影像撷取单元20包含第一摄影模块与第二摄影模块,取像摄影模块取得使用者影像,而第二摄影模块取得使用者另一个角度的影像,经过计算后就能取得使用者在空间中的三维空间坐标。补充说明,第二摄影模块也可以选择使用深度摄影模块,深度摄影模块用以取得使用者相对于影像撷取单元20的位置深度数据。关于影像撷取单元20的另一种作法是,不使用影像模块,直接使用深度摄影模块,藉以撷取使用者空间数据,利用深度摄影模块所取得的使用者空间数据,同样可以取得使用者在空间中的三维坐标空间。
处理单元10中的影像处理单元11,相连于影像撷取单元20,可对使用者影像进行初步的影像处理,如调整影像明度、亮度,或是进行影像锐化处理等等,另需补充的是,影像处理单元11是选择性地设置,而使影像撷取单元20直接连接该指向性处理单元12。于一较佳实施例中,该指向性处理单元12与影像处理单元11相连,接收影像处理单元11处理后的使用者影像并加以分析,生成使用者手指影像数据以及使用者手部影像数据,接着依据前述两个数据生成虚拟指定向量90。其中使用者手部影像数据,是指使用者的手腕、手肘或手臂等等。此外,指向性处理单元12还可以依据使用者影像与虚拟指定向量90,构建一个虚拟三维空间数据。当使用深度摄影模块时,可以取得使用者空间数据,比如使用者头部、身体、手部、脚部在空间中的三维空间位置信息。
指向性处理单元12还可以分析处理显示设备30所提供的使用画面80(具有XY两轴坐标数据),搭配上述的虚拟指定向量90(具有XYZ 三轴坐标数据)以及虚拟三维空间数据(具有XYZ 三轴坐标数据),控制使用画面80中的操作指标81。其中操作指标81于使用画面80中所产生的移动,将跟随对应于使用者手指50与手部51所构成的虚拟指定向量90的运动方向,当使用者的手移动时,使用者的手指50、手部51与操作指标81概略位于同一直线上,也就是操作指标81概略位于虚拟指定向量90的延伸直线上,虚拟指定向量90与使用画面的交会处。如此无论屏幕尺寸大小,使用者都能自由地把操作指标81移动到屏幕中的任何一个位置。如图2所示,本发明所揭露的指向性影像操控装置,特别适用于具有大型屏幕的设备。
本发明还提供一种指向性影像操控的方法,续请搭配前述装置部分的说明与图5、图6,说明本发明的方法的流程部分。本发明所提供的方法可搭配显示设备一起运作。首先取得使用者影像(S101),然后分析使用者影像,而生成使用者手指影像数据以及使用者手部影像数据(S102),依据前述的使用者手指影像数据与手部影像数据,生成虚拟指定向量 (S103)。接着,依据使用者影像与虚拟指定向量,生成虚拟三维空间数据(S104)。接着,取得显示设备的使用画面中的操作指标的控制权(S105),并使操作指标在画面上的移动,将跟随使用者手指与手部的运动方向,且使用者的手指、手部与操作指标,概略位于同一直线上。也就是操作指标将位于虚拟指定向量的延伸直线上,虚拟指定向量与使用画面的交会处。接着于显示设备一端,等待操作指标进入使用画面中的控制区域(S106),侦测操作指标是否进入控制区域?(S107),假如没有进入,则回到步骤S106,反之操作指标进入了控制区域,那么就依据操作指标的动作,进行操作执行作业(S108)。关于操作执行作业,依据不同的使用情境(scenario),操作执行作业可以是比如操作确认指令(confirm),或是操作取消指令(Cancel)等等。另需补充的是,前述步骤S106到S108的流程,是在显示设备一端完成,显示设备包含了产生使用画面的计算机。当然,也可以把显示设备直接整合于本发明的装置之内。上述流程中,假如使用了深度摄影模块,那么深度摄影模块会撷取使用者空间数据,比如使用者头部、身体、手部、脚部等在空间中的三维空间位置信息。前述流程中所使用的使用者影像替换为使用者空间数据,使用者手指影像数据替换为使用者手指空间数据,使用者手部影像数据替换为使用者手部空间数据,以此类推。
虽然本发明揭露较佳实施例如上,然其并非用以限定本发明,本发明领域中具有通常知识的人,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,本发明的保护范围当以后附的申请专利范围所界定的为准。

Claims (15)

1.一种指向性影像操控装置,搭配一显示设备而让使用者进行控制,该显示设备产生一使用画面,该使用画面具有可受控制的一操作指标,其特征在于:该指向性影像操控装置包括有: 
一影像撷取单元,用以取得一使用者影像;
一指向性处理单元,用以分析该使用者影像,而生成一使用者手指影像数据以及一使用者手部影像数据,并依据该使用者手指影像数据及该使用者手部影像数据,生成一虚拟指定向量,该指向性处理单元依据该虚拟指定向量,控制该操作指标,其中该操作指标于该使用画面中的移动,跟随对应于使用者手指与手部的运动方向,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
2.如权利要求1所述的指向性影像操控装置,其特征在于:所述指向性处理单元依据该使用者影像与该虚拟指定向量,生成一虚拟三维空间数据。
3.如权利要求1所述的指向性影像操控装置,其特征在于:所述使用者手部影像数据选自由使用者的手腕、手肘及手臂所组成的群组。
4.如权利要求1所述的指向性影像操控装置,其特征在于:所述影像撷取单元包含有一个以上的摄影机。
5.如权利要求1至4中任一项所述的指向性影像操控装置,其特征在于:所述指向性处理单元前端进一步与一影像处理单元连接。
6.一种指向性影像操控的方法,搭配一显示设备而让使用者进行控制,该显示设备产生一使用画面,该使用画面具有可受控制的一操作指标,其特征在于:该方法包括有下列步骤:
取得一使用者影像;
分析该使用者影像,生成一使用者手指影像数据以及一使用者手部影像数据;
依据使用者手指影像数据及该使用者手部影像数据,生成一虚拟指定向量;依据该虚拟指定向量,控制该操作指标,使该操作指标在该使用画面中的移动,跟随对应于使用者手指与手部的运动,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
7.如权利要求6所述的指向性影像操控的方法,其特征在于:该方法更包含有下列步骤:依据该使用者影像与该虚拟指定向量,生成一虚拟三维空间数据。
8.如权利要求6所述的指向性影像操控的方法,其特征在于:所述使用者手部影像数据选自由使用者的手腕、手肘及手臂所组成的群组。
9.如权利要求6所述的指向性影像操控的方法,其特征在于:所述使用者影像透过一个以上的摄影机撷取该使用者影像。
10.如权利要求6所述的指向性影像操控的方法,其特征在于:所述方法更包含有下列步骤:
侦测该操作指标是否进入该使用画面中的一控制区域;以及
若该操作指标进入该控制区域,则进行操作执行作业。
11.如权利要求10所述的指向性影像操控的方法,其特征在于:所述操作执行作业指操作确认指令或操作取消指令。
12.一种指向性影像操控装置,搭配一显示设备而让使用者进行控制,该显示设备产生使用画面,该使用画面具有可受控制的一操作指标,其特征在于:该指向性影像操控装置包括有:
一影像撷取单元,用以取得一使用者空间数据;
一指向性处理单元,用以分析该使用者空间数据,而生成一使用者手指空间数据以及一使用者手部空间数据,并依据该使用者手指空间数据及该使用者手部空间数据,生成一虚拟指定向量,该指向性处理单元依据该虚拟指定向量,控制该操作指标,其中该操作指标于该使用画面中的移动,跟随对应于使用者手指与手部的运动方向,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
13.如权利要求12所述的指向性影像操控装置,其特征在于:所述使用者手部空间数据所对应的使用者手部选自由使用者的手腕、手肘及手臂所组成的群组。
14.一种指向性影像操控的方法,搭配一显示设备而让使用者进行控制,该显示设备产生使用画面,该使用画面具有可受控制的一操作指标,其特征在于:方法包括有下列步骤:
取得一使用者空间数据;
分析该使用者空间数据,生成一使用者手指空间数据以及一使用者手部空间数据;
依据使用者手指空间数据及该使用者手部空间数据,生成一虚拟指定向量;以及依据该虚拟指定向量,控制该操作指标,使该操作指标在该使用画面中的移动,跟随对应于使用者手指与手部的运动,且该操作指标位于该虚拟指定向量与该使用画面的交会处。
15.如权利要求14所述的指向性影像操控的方法,其特征在于:所述使用者手部空间数据所对应的使用者手部选自由使用者的手腕、手肘及手臂所组成的群组。
CN2013100393364A 2012-03-09 2013-01-31 指向性影像操控装置及其方法 Pending CN103309466A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW101108113 2012-03-09
TW101108113A TW201337639A (zh) 2012-03-09 2012-03-09 指向性影像操控裝置及其方法

Publications (1)

Publication Number Publication Date
CN103309466A true CN103309466A (zh) 2013-09-18

Family

ID=49134766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100393364A Pending CN103309466A (zh) 2012-03-09 2013-01-31 指向性影像操控装置及其方法

Country Status (2)

Country Link
CN (1) CN103309466A (zh)
TW (1) TW201337639A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149712A1 (zh) * 2014-04-03 2015-10-08 华为技术有限公司 一种指向交互方法、装置及系统
CN107864390A (zh) * 2017-10-24 2018-03-30 深圳前海茂佳软件科技有限公司 电视机的控制方法、电视机和计算机存储介质
CN110389650A (zh) * 2018-04-23 2019-10-29 财团法人工业技术研究院 虚拟画面的操控系统及操控方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201510771A (zh) 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
TWI643092B (zh) 2016-08-10 2018-12-01 Giant Manufacturing Co., Ltd. 動態姿勢偵測系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935272A (en) * 2007-12-03 2009-08-16 Tse-Hsien Yeh Sensing apparatus and operating method thereof
US20110055865A1 (en) * 2009-08-31 2011-03-03 Dae Young Jung Digital broadcast receiver controlled by screen remote controller and space remote controller and controlling method thereof
US20110267265A1 (en) * 2010-04-30 2011-11-03 Verizon Patent And Licensing, Inc. Spatial-input-based cursor projection systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935272A (en) * 2007-12-03 2009-08-16 Tse-Hsien Yeh Sensing apparatus and operating method thereof
US20110055865A1 (en) * 2009-08-31 2011-03-03 Dae Young Jung Digital broadcast receiver controlled by screen remote controller and space remote controller and controlling method thereof
US20110267265A1 (en) * 2010-04-30 2011-11-03 Verizon Patent And Licensing, Inc. Spatial-input-based cursor projection systems and methods

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149712A1 (zh) * 2014-04-03 2015-10-08 华为技术有限公司 一种指向交互方法、装置及系统
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN104978012B (zh) * 2014-04-03 2018-03-16 华为技术有限公司 一种指向交互方法、装置及系统
US10466797B2 (en) 2014-04-03 2019-11-05 Huawei Technologies Co., Ltd. Pointing interaction method, apparatus, and system
CN107864390A (zh) * 2017-10-24 2018-03-30 深圳前海茂佳软件科技有限公司 电视机的控制方法、电视机和计算机存储介质
CN110389650A (zh) * 2018-04-23 2019-10-29 财团法人工业技术研究院 虚拟画面的操控系统及操控方法

Also Published As

Publication number Publication date
TW201337639A (zh) 2013-09-16

Similar Documents

Publication Publication Date Title
Mossel et al. 3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality
Nee et al. Augmented reality applications in design and manufacturing
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
CN105518575B (zh) 与自然用户界面的双手交互
KR101831350B1 (ko) 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
Benko et al. Cross-dimensional gestural interaction techniques for hybrid immersive environments
EP3275514A1 (en) Virtuality-and-reality-combined interactive method and system for merging real environment
US20110304632A1 (en) Interacting with user interface via avatar
KR20110022057A (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR20120034672A (ko) 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치
CN103309466A (zh) 指向性影像操控装置及其方法
JP2007323660A (ja) 描画装置、及び描画方法
Wang et al. Object impersonation: Towards effective interaction in tablet-and HMD-based hybrid virtual environments
Zaldívar-Colado et al. A mixed reality for virtual assembly
Scheggi et al. Shape and weight rendering for haptic augmented reality
CN201359720Y (zh) 多点触摸控制台
Bai et al. Free-hand gesture interfaces for an augmented exhibition podium
Fuvattanasilp et al. SlidAR+: Gravity-aware 3D object manipulation for handheld augmented reality
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
US20130271371A1 (en) Accurate extended pointing apparatus and method thereof
JP2013218423A (ja) 指向性映像コントロール装置及びその方法
Ismail et al. Implementation of natural hand gestures in holograms for 3D object manipulation
CN111901518A (zh) 显示方法、装置和电子设备
Grubert Mixed reality interaction techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130918