CN104423569A - 指向位置侦测装置、方法及计算机可读取纪录媒体 - Google Patents
指向位置侦测装置、方法及计算机可读取纪录媒体 Download PDFInfo
- Publication number
- CN104423569A CN104423569A CN201310489931.8A CN201310489931A CN104423569A CN 104423569 A CN104423569 A CN 104423569A CN 201310489931 A CN201310489931 A CN 201310489931A CN 104423569 A CN104423569 A CN 104423569A
- Authority
- CN
- China
- Prior art keywords
- sensing
- display screen
- hand
- point
- elbow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 16
- 210000000707 wrist Anatomy 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本发明公开了一种指向位置侦测装置、方法及计算机可读取纪录媒体。该指向位置侦测装置包含有一摄像单元以及连结于该摄像单元的处理单元。该摄像单元拍摄取得使用者于世界坐标系中的骨架数据。该处理单元包含有一影像分析模块，以及一指向位置分析模块。该影像分析模块经由该摄像单元取得该骨架数据，并用以撷取该骨架数据的手部影像以分别取得手部末端区域及手肘或肩膀区域。该指向位置分析模块经由该影像分析模块取得该手部末端区域及该手肘或肩膀区域并演算出手部末端位置及手肘或肩膀位置，由该手部末端位置及该手肘或该肩膀位置取得一指向向量，计算该指向向量延伸投射至目标平面的交点。
Description
技术领域
本发明有关于一种指向位置侦测装置，尤指一种透过分析使用者手腕以及手肘或肩膀间的向量以取得显示屏上投射点的指向侦测装置、方法及计算机可读取纪录媒体。
背景技术
随着影像处理技术日益精进，人与计算机之间的互动方式变得更为多样化，取代过往单调的讯息输入与输出。影像控制技术多方应用于计算机游戏、内容展示、以及广告促销等，令使用者得到新颖的操作体验，其产业发展性相当可观。然而，目前多数影像操控方式仍需要透过某些输入设备，如发出有向性光源的鼠标、或是纪录移动轨迹的感应手套等，而无法直接以肢体动作与计算机机械互动，使用上并不便利。
为解决上述问题，本发明的申请人曾于中国台湾专利申请案第101108113号专利提出一种指向性影像操控装置的技术，该指向性影像操控装置包含有一用以取得使用者影像的影像撷取单元，以及一用以分析使用者影像而生成使用者手指及使用者手腕、手肘及手臂的指向性处理单元，其藉由手指及选自由手腕、手肘及手臂所组成的群组所生成的影像数据间联机所产生的虚拟指定向量，藉此取得虚拟指定向量于显示设备上的交会点。藉此，先前技术并不需透过其它输入设备，仅凭分析使用者的手部影像，即可侦测出使用者所指向的目标位置。
然而，若使用者进行操作时伸出多根手指，且分别指向不同方向时，先前技术便无法正确判别使用者意图指向的位置，且若摄影机与使用者之间的距离较远，使用者手指的影像可能因与影像中其它手部位置重叠而使手指的轮廓难以辨识，导致产生的投影线并不能正确反映使用者所欲指示的方向。
发明内容
本发明目的在于解决先前技术中撷取使用者手指影像时，由于数根手指指向不同方向、或手指影像与手部重叠难以辨别使用者所欲指示的方向的问题。
为解决上述问题，本发明提供一种指向位置侦测装置，其包含有一摄像单元以及连结于该摄像单元的处理单元。该摄像单元拍摄取得使用者于世界坐标系中的骨架数据。该处理单元包含有一影像分析模块，以及一指向位置分析模块。该影像分析模块经由该摄像单元取得该骨架数据，并用以撷取该骨架数据的手部影像以分别取得该骨架数据的手部末端区域及手肘或肩膀区域。该指向位置分析模块经由该影像分析模块取得该手部末端区域及该手肘或肩膀区域并演算出手部末端位置及手肘或肩膀位置，由该手部末端位置及该手肘或该肩膀位置取得一指向向量，计算该指向向量延伸投射至目标平面的交点，该交点即为手部指向的指向位置。
进一步地，该摄像单元为为主动式深度摄影机及双眼摄影机中的至少一种。
进一步地，该手部末端位置为使用者手腕及手掌中的至少一种。
本发明另一目的，在于提供一种指向位置侦测方法，包含有下列步骤：a) 经由摄像单元取得使用者于世界坐标系中的骨架数据并持续追踪；b) 撷取使用者的手部影像以分别取得该使用者的手部末端位置，以及手肘位置或肩膀位置；c)计算取得该手部末端位置至该手肘或肩膀位置间的指向向量；d)计算该指向向量延伸投射至目标平面的交点决定该指向位置。
进一步地，于步骤b中该手部末端位置藉由以下方式取得：滤出该手部末端附近位置的有效深度；平均该有效深度以取得该手部末端位置并持续追踪。
进一步地，于步骤b中该手肘位置藉由以下方式取得：滤出连接该手部末端的手肘附近位置的有效深度；平均该有效深度以取得该手肘位置。
进一步地，于步骤b中该肩膀位置藉由以下方式取得：滤出连接该手部末端的肩膀附近位置的有效深度；平均该有效深度以取得该肩膀位置。
进一步地，于步骤d后包含有一步骤d1：d1) 判断该指向位置是否投射至显示屏上，若是，将该指向位置回传使一目标对象移动至该指向位置。
进一步地，于步骤a之前包含有步骤a0至a1：a0)持续判断是否有一个以上人员进入，若是，操作下一步骤；a1)持续判断是否有人员在操控区块范围内，若是，则操作步骤a。
进一步地，于步骤d中，该指向位置由下列步骤取得：依据该手肘位置于该显示屏所在平面上的投影建立一虚拟基准坐标并取得该手肘位置与该显示屏所在平面间的垂直距离；藉由该指向向量计算取得该指向向量分别投影于yz平面及xz平面上时与Z轴间的二夹角；由该垂直距离与该二夹角取得一相对于该虚拟基准坐标的暂存坐标；将该暂存坐标与基准坐标相加，取得该手部指向该显示屏所在平面于世界坐标上的指向位置。
进一步地，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：根据该摄像单元相对于该显示屏原点的位置对该指向位置进行补正，取得该指向位置相对该显示屏原点的相对坐标；将该相对坐标带入像元比例转换函数，使该相对坐标依该显示屏上像元的长宽比例进行单位换算，取得该相对坐标于该显示屏像元矩阵上的位置。
进一步地，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：将该指向位置带入像元比例转换函数，使该指向位置的坐标依该显示屏上像元的长宽比例进行单位换算，取得一暂存显示位置；根据该摄像单元相对于该显示屏原点的位置对该暂存显示位置进行补正，取得该暂存显示位置于该显示屏的像元矩阵上的显示位置。
进一步地，于步骤d中，该指向位置由下列步骤取得：依据该手部末端位置于该显示屏所在平面上的投影建立一虚拟基准坐标并取得该手部末端位置与该显示屏所在平面间的垂直距离；藉由该指向向量计算取得该指向向量分别投影于yz平面及xz平面上时与Z轴间的二夹角；由该垂直距离及该二夹角取得一相对于该虚拟基准坐标的暂存坐标；该暂存坐标与基准坐标相加，取得该手部指向该显示屏所在平面于世界坐标上的指向位置。
本发明再一目的在于提供一种计算机可读取纪录媒体，其可载置于电子装置上，该计算机可读取纪录媒体纪录有一指向位置侦测方法，该方法包含有下列步骤：a) 经由摄像单元取得使用者于世界坐标系中的骨架数据并持续追踪；b) 撷取使用者的手部影像以分别取得该使用者的手部末端位置及手肘位置；c) 计算取得该手部末端位置至该手肘或肩膀位置间的指向向量；d) 由该指向向量延伸所投射于显示屏上的位置决定该指向位置。
本发明更一目的在于提供另一种指向位置侦测装置，包含有一影像分析模块，以及一指向位置分析模块。该影像分析模块于取得使用者于世界坐标系中的骨架数据后，用以撷取该骨架数据的手部影像以分别取得该骨架数据的手部末端区域及手肘或肩膀区域。该指向位置分析模块经由该影像分析模块取得该手部末端区域及该手肘或肩膀区域并演算出手部末端位置及手肘或肩膀位置，由该手部末端位置及该手肘或该肩膀位置取得一指向向量，计算该指向向量延伸投射至目标平面的交点，该交点即为手部指向的指向位置。
本发明相较于先前技术具有以下优点：
1. 本发明撷取使用者手部末端作为取得指定向量的特征部位，克服了手指影像与手部其它部位重叠时轮廓难以辨识的问题，比起撷取手指，本发明撷取手部末端更能够取得有效的参考位置。
2. 本发明撷取使用者手肘或肩膀等特征部位做为另一参考点，由于手肘及肩膀均属手部较不易被遮蔽的部位，因此，对影像分析模块而言，摄像单元可持续地撷取到手肘或肩膀的影像，影像须要补偿的情况较少，故而可避免使用者手部于动态操作时产生丢失的情况。
附图说明
图1为本发明指向位置侦测装置的方块示意图。
图2为本发明指向位置侦测方法的操作流程示意图(一)。
图3为本发明指向位置侦测方法的操作流程示意图(二)。
图4为本发明指向位置侦测装置的操作示意图(一)。
图5为本发明指向位置侦测装置的操作示意图(二)。
图6为本发明指向位置侦测装置的操作示意图(三)。
图7为本发明指向位置侦测装置的操作示意图(四)。
图8为本发明指向位置侦测装置的操作示意图(五)。
图9为本发明指向位置侦测装置的指向位置判断流程示意图。
符号说明
1 指向位置侦测装置；
10 摄像单元；
20 影像分析模块；
30 指向位置分析模块；
40 显示屏；
41 目标对象；
50 处理单元；
60 手部末端区域；
61 手部末端位置；
70 手肘区域；
71 手肘位置；
80 肩膀区域；
81 肩膀位置；
90 指向向量；
A 虚拟基准坐标；
B 指向位置；
S201~S211 步骤；
θ1、θ2 夹角。
具体实施方式
兹就本案结构特征暨操作方式，并配合图示说明，谨述于后，提供审查参阅。然本发明图示仅为说明解释之用，图示中的比例并不限制本发明范围。
关于本发明技术，请参照图1，为本发明指向位置侦测装置的方块示意图，如图所示：
本发明为一种指向位置侦测装置1，其包含有一摄像单元10，以及一连结该摄像单元10的处理单元50。于本实施态样中，该指向位置侦测装置1配合显示屏40安装，以分别进行摄像、影像分析及影像输出等操作程序。本发明所述摄像单元10可选用主动式深度摄影机(Active Depth Camera)、或双眼视觉摄影机，于本发明实施方式中系举主动式深度摄影机为例。
于本发明中所述处理单元50，主要包含有一影像分析模块20，以及一指向位置分析模块30。该影像分析模块20主要用于影像分析、处理及部分特征的撷取等。具体而言，该影像分析模块20可针对所撷取到的图像进行影像处理如噪声抑制、调整对比、锐利度或针对部分图像特征进行上色等程序。
以下请一并参照图4内容，于本发明中，当该摄像单元10拍摄影像后，该影像分析模块20将由该摄像单元10连续取得多个深度影像，此时，影像分析模块20依据该深度影像辨识出使用者的骨架数据(此一骨架数据可以去背法取得、亦可经由建模的方式由图像中撷取出相似区块)，藉由该骨架数据取得使用者手部末端、手肘及/或肩膀的图像(此部分可以上色的方式、或以模糊滤镜的方式取得相对可供辨识的参考点)。所述手部末端区域60包含有手腕、手掌或手腕与手掌的总成，亦即为手部肢节的末端部位。手部末端区域60的数据可因选用的摄像单元10不同，而决定手部末端区域60所欲撷取的范围，其原因在于，若非使用双眼摄影机时，一般而言手掌部分大于手腕，造成手腕影像容易在不同的角度被遮蔽而无法取得，此时，以手掌做为手部末端区域60定义点较为准确；但若使用双眼摄影机时，较容易清楚拍摄手腕的影像，故而此时以手腕或手掌或两者做为手部末端区域60的定义点均可；或者，对某些摄影机而言，该手腕与手掌属于近似区块，因此，不须区分手腕及手掌影像，仅须要将其总成定义为大肢体末端的影像数据，去除小的连通区块(blobs)，如手部影像末端的手指影像，即可清楚且简单地由图像中定义并取得手部末端区域60。
该指向位置分析模块30为一运算模块，其可藉由该影像分析模块20中所撷取出来的图像中抽出该手部末端区域60、该手肘区域70及/或该肩膀区域80的位置(于世界坐标中的坐标位置)，藉此取得于坐标上的两个点；其中，所述手部末端、该手肘或该肩膀的区域60、70、80由影像分析模块20处理并提供，举例而言，可先由该影像中判定手部末端区域60、该手肘及该肩膀区域70、80，并决定撷取多大的范围，而后，将所撷取的影像形成一曲面，并判断该曲面是否为完整，因部分影像有可能被滤除噪声时一并滤除，造成影像所形成的曲面不稳定而无法取得参考点，因此，可先透过如领域平均法、低通滤波法或多影像平均法，对影像做平滑化(smooth)处理让影像形成相对稳定而可于影像中取得之点；或是，可先取得参考点后再对影像做平滑化(smooth)处理。此外，另须考虑，若所欲取得的点受遮蔽时，影像分析模块20须对该影像进行补偿，举例而言，若拍摄部位受遮蔽，其面积可能不完整而形成破碎面，然而该面积仍可形成一弧形，透过该弧形计算出其中心点(法向量位置)，而可以推论的方式补偿为完整面，且可再对该影像做平滑化处理而可取得相对的参考点；或者，若该取点部位受短暂遮蔽，则可利用上述补偿方式后，并比对连续影像分析并找出该参考点是否即为所需要的取点位置。
此时，该指向位置分析模块30藉由该手部末端位置61与该手肘或肩膀位于坐标上的两个点(手肘位置71、肩膀位置81)的位置间，取得一指向向量90，并计算该指向向量90的方向于显示屏40上的投射点，藉以取得该显示屏40上相对的二维坐标位置。手部末端区域60、手肘区域70及肩膀区域80均属人体手部较不易被遮蔽、且较容易辨识的关节部位，因此在使用者指出各种不同的指向时，可持续地判断使用者所欲指向的方位。
有关于本发明详细流程，请参阅图2至图3，为本发明指向位置侦测方法的操作流程示意图，如图所示：
请先参阅图2，于本发明指向位置侦测装置启动时，首先，藉由摄像单元10持续对操作区块进行取像(步骤S201)，并侦测于该摄像单元10的取像范围内是否有至少一个以上人员进入，若是，进入下一步骤，若否，持续此一步骤进行侦测(步骤S202)。接续，侦测是否有人进入该操控区块的范围内，若是，进入下一步骤，若否，持续此一步骤进行侦测(步骤S203)。于侦测到有使用者在操控区块内时，取出该使用者(第一个进入的人员)的骨架数据并持续追踪(步骤S204)。接续，请参阅图3，该影像分析模块20撷取使用者的手部影像并滤出手部末端区域60的多个有效深度数值(步骤S205)，取得该有效深度数值的均值以得出该手部末端位置61并持续追踪(步骤S206)。接着滤出连接该手部末端的手肘区域70(或肩膀区域80)的多个有效深度数值(步骤S207)，取得该多个有效深度数值的均值以得出该手肘位置71(或肩膀位置81)并持续追踪(步骤S208)。接续，由该指向向量90延伸计算出投射于该显示屏40于世界坐标中所在平面(即目标平面)的位置(步骤S209)，接着，判断该指向向量90延伸位置是否投射至该显示屏40上，若是，则续行下一步骤，若否，回到步骤S205继续追踪使用者的手部影像(步骤S210)。最后，承续上一步骤，若该侦测位置对应至该显示屏40上将该投射于显示屏40上的位置回传使该目标对象41移动至该投射于显示屏40上的指向位置(步骤S211)。
为便于理解本发明指向位置的详细计算流程，请一并参阅图4至图8的操作示意图，并配合参阅图9的流程图所示：
图4、图5及图6的实施态样中以使用者的手部末端位置61与手肘位置71联机构成该指向向量90，于图7及图8的实施态样中则是以使用者的手部末端位置61与肩膀位置81联机构成该指向向量90。有关于步骤S209中，使用者指向向量90于显示屏40所在平面上投射的指向位置B，可依以下流程计算取得：
首先，依据该手部末端位置61于该显示屏40所在平面上的投影建立一虚拟基准坐标A(x0, y0)，并取得该手部末端位置61与该显示屏40所在平面间的垂直距离Zh(亦即该手部末端位置61与该显示屏40所在平面于Z轴上的间距)(步骤S2091)。接续，经由该指向向量90计算取得该指向向量90分别投影于yz平面(如图3所示)及xz平面(如图4所示)上时与z轴间的夹角θ1及θ2(步骤S2092)。接续，将该垂直距离Zh分别乘以tanθ1及tanθ2以取得一相对于该虚拟基准坐标的暂存坐标(x1, y1)=(Zhtanθ1, Zhtanθ2) (步骤S2093)。将该暂存坐标(x1, y1)与基准坐标A相加，取得该使用者手部指向于世界坐标上的指向位置B(Zhtanθ1+x0, Zhtanθ2+ y0) (步骤S2094)。
至目前为止，由于该使用者手部指向投影至显示屏40上的位置为相对该摄像单元10而言，必须将摄像单元10所取得于世界坐标上的指向位置B转换为显示屏40像元矩阵上的坐标，因此，该指向位置B尚须以下列方式进行补正：
首先，必须根据该摄像单元10相对于该显示屏40原点的位置对该使用者手部指向的位置进行补正，将指向位置B所对应于摄像单元10上的原点转换为显示屏40上的原点，取得该指向位置B相对该显示屏40原点的相对坐标。在此必须注意的是，显示屏40上的坐标原点通常位于显示屏40的左上角，因此，由摄像单元10所定义的世界坐标，其上的y轴方向通常与显示屏40上的y轴方向相反，当世界坐标的原点欲转换为显示屏40上的像元矩阵的原点时，相对坐标于y轴方向的值必须乘上负值，才完成补正。
接续，由于世界坐标的位置指相对实际空间而言的位置坐标，因此，其坐标的表示通常利用公制单位(例如：mm)作为标准，然而显示屏40上的像元矩阵以像元所据的长宽作为显示的单位，因此，要确实取得指向位置B对应于显示屏40上的坐标，尚须将所取得的相对坐标带入像元比例转换函数，将像元的长、宽一并纳入考虑，始能求得该相对坐标于该显示屏40上所在的确实位置。举例而言，该显示屏上的像元对应于x轴上的长度为1.25mm，对应于y轴上的长度为1.33mm，因此该相对坐标的x轴坐标及y轴坐标必须分别乘上0.8及0.75使坐标的单位以像元数目为基准。
上述的两项补正程序亦可调换其先后次序，其调换后的步骤如下所示：
将该指向位置B带入像元比例转换函数，使该指向位置B的坐标依该显示屏40上像元的长宽比例进行单位换算，取得一暂存显示位置；接续再根据该摄像单元相对于该显示屏40原点的位置对该暂存显示位置进行补正，取得该暂存显示位置于该显示屏40的像元矩阵上的显示位置。
另一方面，补正的程序依照所选用的显示屏40不同，亦可能产生不同的补正公式，于本发明中并不欲予以限制。
由于摄像单元10所设置的位置不同，该摄像单元10取得使用者与显示屏40间的距离时尚须将摄像单元10于x轴、y轴、z轴方向的角度所产生的误差值考虑进去。为消弭该误差值，可预先将该指向位置侦测装置1于使用前预先执行一校正程序，如在该使用画面中显示出特定的标示点，并导引使用者指向这些标示点，此时摄像单元10拍摄使用者的影像，并由该影像分析模块20分析出使用者的手部末端、手肘或肩膀区域60、70、80后演算出这些特征区域的位置，藉由其间的指向向量90取得校准函式，藉由该校准函式可推算出使用者手部实际指向的位置。于校正程序中，该摄像单元10与显示屏40原点间的相对坐标亦可同时取得。
此外，本发明产品亦可作为程序或韧体配合处理单元50实施，或可实施于计算机可读取纪录媒体，如光盘、硬盘、软盘、USB或其它类此的媒体，用以载置于电子设备上使用。
综上所述，本发明撷取使用者手部末端作为取得指定向量的特征部位，比起撷取手指更能够取得有效的参考位置。再者，本发明撷取使用者手肘、肩膀等特征部位做为参考点，由于手肘、肩膀均属手部较不易被遮蔽的部位，摄像单元可持续地撷取到手肘或肩膀的影像，避免使用者手部于动态操作时产生丢失的情况。
本发明已藉上述较佳具体例进行更详细说明，惟本发明并不限定于上述所举例的实施态样，凡在本发明所揭示的技术思想范围内，对这些结构作各种变化及修饰，这些变化及修饰仍属本发明范围。
Claims (19)
1.一种指向位置侦测装置，其特征在于包含有：
一摄像单元，拍摄取得使用者于世界坐标系中的骨架数据；以及
一处理单元，包含有一影像分析模块，以及一指向位置分析模块，该影像分析模块经由该摄像单元取得该骨架数据，并用以撷取该骨架数据的手部影像以分别取得该骨架数据的手部末端区域及手肘或肩膀区域，该指向位置分析模块经由该影像分析模块取得该手部末端区域及该手肘或肩膀区域并演算出手部末端位置及手肘或肩膀位置，由该手部末端位置及该手肘或该肩膀位置取得一指向向量，计算该指向向量延伸投射至目标平面的交点，该交点即为手部指向的指向位置。
2.如权利要求1所述的指向位置侦测装置，其特征在于，该摄像单元为主动式深度摄影机及双眼摄影机中的至少一种。
3.如权利要求1所述的指向位置侦测装置，其特征在于，该手部末端位置为使用者手腕及手掌中的至少一种。
4.一种指向位置侦测方法，其特征在于包含有下列步骤：
a) 经由摄像单元取得使用者于世界坐标系中的骨架数据并持续追踪；
b) 撷取使用者的手部影像以分别取得该使用者的手部末端位置，以及手肘位置或肩膀位置；
c) 计算取得该手部末端位置至该手肘位置或该肩膀位置间的指向向量；
d) 计算该指向向量延伸投射至目标平面的交点决定该指向位置。
5.如权利要求4所述的指向位置侦测方法，其特征在于，步骤b中该手部末端位置藉由以下方式取得：
滤出该手部末端附近位置的有效深度；
平均该有效深度以取得该手部末端位置并持续追踪。
6.如权利要求5所述的指向位置侦测方法，其特征在于，步骤b中该手肘位置藉由以下方式取得：
滤出连接该手部末端的手肘附近位置的有效深度；
平均该有效深度以取得该手肘位置。
7.如权利要求5所述的指向位置侦测方法，其特征在于，步骤b中该肩膀位置藉由以下方式取得：
滤出连接该手部末端的肩膀附近位置的有效深度；
平均该有效深度以取得该肩膀位置。
8.如权利要求4所述的指向位置侦测方法，其特征在于，步骤d后包含有一步骤d1：
d1) 判断该指向位置是否投射至显示屏上，若是，将该指向位置回传使一目标对象移动至该指向位置。
9.如权利要求4所述的指向位置侦测方法，其特征在于，步骤a之前包含有步骤a0至a1：
a0) 持续判断是否有一个以上人员进入，若是，操作下一步骤；
a1)持续判断是否有人员在操控区块范围内，若是，则操作步骤a。
10.如权利要求4所述的指向位置侦测方法，其特征在于，步骤d中，该指向位置由下列步骤取得：
依据该手肘位置于显示屏所在平面上的投影建立一虚拟基准坐标并取得该手肘位置与该显示屏所在平面间的垂直距离；
藉由该指向向量计算取得该指向向量分别投影于yz平面及xz平面上时与Z轴间的二夹角；
由该垂直距离及该二夹角取得一相对于该虚拟基准坐标的暂存坐标；
将该暂存坐标与基准坐标相加，取得该手部指向该显示屏所在平面于世界坐标上的指向位置。
11.如权利要求10所述的指向位置侦测方法，其特征在于，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：
根据该摄像单元相对于该显示屏原点的位置对该指向位置进行补正，取得该指向位置相对该显示屏原点的相对坐标；
将该相对坐标带入像元比例转换函数，使该相对坐标依该显示屏上像元的长宽比例进行单位换算，取得该相对坐标于该显示屏的像元矩阵上的显示位置。
12.如权利要求10所述的指向位置侦测方法，其特征在于，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：
将该指向位置带入像元比例转换函数，使该指向位置的坐标依该显示屏上像元的长宽比例进行单位换算，取得一暂存显示位置；
根据该摄像单元相对于该显示屏原点的位置对该暂存显示位置进行补正，取得该暂存显示位置于该显示屏的像元矩阵上的显示位置。
13.如权利要求4所述的指向位置侦测方法，其特征在于，步骤d中，该指向位置由下列步骤取得：
依据该手部末端位置于显示屏所在平面上的投影建立一虚拟基准坐标并取得该手部末端位置与该显示屏所在平面间的垂直距离；
藉由该指向向量计算取得该指向向量分别投影于yz平面及xz平面上时与Z轴间的二夹角；
由该垂直距离及该二夹角取得一相对于该虚拟基准坐标的暂存坐标；
将该暂存坐标与基准坐标相加，取得该使用者手部指向该显示屏所在平面于世界坐标上的指向位置。
14.如权利要求13所述的指向位置侦测方法，其特征在于，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：
根据该摄像单元相对于该显示屏原点的位置对该指向位置进行补正，取得该指向位置相对该显示屏原点的相对坐标；
将该相对坐标带入像元比例转换函数，使该相对坐标依该显示屏上像元的长宽比例进行单位换算，取得该相对坐标于该显示屏的像元矩阵上的显示位置。
15.如权利要求13所述的指向位置侦测方法，其特征在于，该指向位置于显示屏上的像元矩阵的位置由下列步骤进行转换：
将该指向位置带入像元比例转换函数，使该指向位置的坐标依该显示屏上像元的长宽比例进行单位换算，取得一暂存显示位置；
根据该摄像单元相对于该显示屏原点的位置对该暂存显示位置进行补正，取得该暂存显示位置于该显示屏的像元矩阵上的显示位置。
16.如权利要求4所述的指向位置侦测方法，其特征在于，该手部末端位置为使用者手腕及手掌中的至少一种。
17.一种计算机可读取纪录媒体，其载置于电子装置上，其特征在于，该计算机可读取纪录媒体纪录有一指向位置侦测方法，该方法包含有权利要求4至16中任一项所述的步骤。
18.一种指向位置侦测装置，其特征在于包含有：
一影像分析模块，于取得使用者于世界坐标系中的骨架数据后，用以撷取该骨架数据的手部影像以分别取得该骨架数据的手部末端区域及手肘或肩膀区域；
一指向位置分析模块，经由该影像分析模块取得该手部末端区域及该手肘或肩膀区域并演算出手部末端位置及手肘或肩膀位置，由该手部末端位置及该手肘或该肩膀位置取得一指向向量，计算该指向向量延伸投射至目标平面的交点，该交点即为手部指向的指向位置。
19.如权利要求18所述的指向位置侦测装置，其特征在于，该手部末端位置为使用者手腕及手掌中的至少一种。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102132028 | 2013-09-05 | ||
| TW102132028A TW201510771A (zh) | 2013-09-05 | 2013-09-05 | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104423569A true CN104423569A (zh) | 2015-03-18 |
Family
ID=50112680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310489931.8A Pending CN104423569A (zh) | 2013-09-05 | 2013-10-18 | 指向位置侦测装置、方法及计算机可读取纪录媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150062010A1 (zh) |
| EP (1) | EP2846308A3 (zh) |
| KR (1) | KR101606628B1 (zh) |
| CN (1) | CN104423569A (zh) |
| TW (1) | TW201510771A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598422A (zh) * | 2016-10-25 | 2017-04-26 | 深圳奥比中光科技有限公司 | 基于指向型的操控、混合操控方法及操控系统和电子设备 |
| CN107943275A (zh) * | 2016-10-07 | 2018-04-20 | 宏达国际电子股份有限公司 | 模拟环境显示系统及方法 |
| CN108665480A (zh) * | 2017-03-31 | 2018-10-16 | 满景资讯股份有限公司 | 三维侦测装置的操作方法 |
| CN109446061A (zh) * | 2018-09-17 | 2019-03-08 | 平安科技（深圳）有限公司 | 一种页面检测方法、计算机可读存储介质及终端设备 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978012B (zh) * | 2014-04-03 | 2018-03-16 | 华为技术有限公司 | 一种指向交互方法、装置及系统 |
| KR101632007B1 (ko) * | 2014-10-29 | 2016-06-21 | 엘지전자 주식회사 | 와치 타입의 제어 디바이스 |
| US10088971B2 (en) * | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
| US10452195B2 (en) | 2014-12-30 | 2019-10-22 | Samsung Electronics Co., Ltd. | Electronic system with gesture calibration mechanism and method of operation thereof |
| US9811165B2 (en) * | 2015-03-11 | 2017-11-07 | Samsung Electronics Co., Ltd. | Electronic system with gesture processing mechanism and method of operation thereof |
| US10222869B2 (en) * | 2015-08-03 | 2019-03-05 | Intel Corporation | State machine based tracking system for screen pointing control |
| JP6488946B2 (ja) * | 2015-08-21 | 2019-03-27 | 富士通株式会社 | 制御方法、プログラム及び制御装置 |
| US9703387B2 (en) * | 2015-08-31 | 2017-07-11 | Konica Minolta Laboratory U.S.A., Inc. | System and method of real-time interactive operation of user interface |
| KR20170061294A (ko) * | 2015-11-26 | 2017-06-05 | 전자부품연구원 | 3d 가상 캐릭터의 어깨 움직임 정보 생성방법 |
| CN108392338A (zh) * | 2018-04-08 | 2018-08-14 | 深圳光韵达光电科技股份有限公司 | 基于太赫兹波探测的反馈调节床 |
| KR20200080047A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
| US11934584B2 (en) * | 2019-09-27 | 2024-03-19 | Apple Inc. | Finger orientation touch detection |
| US11783492B2 (en) | 2020-09-01 | 2023-10-10 | XRSpace CO., LTD. | Human body portion tracking method and human body portion tracking system |
| CN111145084B (zh) * | 2019-12-25 | 2023-06-16 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| US11907434B2 (en) | 2020-01-29 | 2024-02-20 | Sony Group Corporation | Information processing apparatus, information processing system, and information processing method |
| KR102477006B1 (ko) * | 2020-08-14 | 2022-12-14 | 주식회사 브이터치 | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| US11474690B2 (en) | 2020-08-14 | 2022-10-18 | VTouch Co., Ltd. | Method, system and non-transitory computer-readable recording medium for non-contact control |
| KR102513444B1 (ko) * | 2021-11-25 | 2023-03-24 | 한국과학기술원 | 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60133386T2 (de) | 2000-05-17 | 2009-04-02 | Koninklijke Philips Electronics N.V. | Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren |
| US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
| JP5201096B2 (ja) | 2009-07-17 | 2013-06-05 | 大日本印刷株式会社 | 対話操作装置 |
| US8351651B2 (en) * | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
| US8381108B2 (en) * | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
| TW201337639A (zh) | 2012-03-09 | 2013-09-16 | Utechzone Co Ltd | 指向性影像操控裝置及其方法 |
| US9367124B2 (en) * | 2012-03-20 | 2016-06-14 | A9.Com, Inc. | Multi-application content interactions |
-
2013
- 2013-09-05 TW TW102132028A patent/TW201510771A/zh unknown
- 2013-10-18 CN CN201310489931.8A patent/CN104423569A/zh active Pending
-
2014
- 2014-02-13 EP EP14000521.6A patent/EP2846308A3/en not_active Withdrawn
- 2014-02-24 US US14/188,326 patent/US20150062010A1/en not_active Abandoned
- 2014-02-28 KR KR1020140024309A patent/KR101606628B1/ko active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| POURMEHR SHOKOOFEH等: "A Robust Integrated System for Selecting and Commanding Multiple Mobile Robots", 《IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| ZHI LI等: "Real time Hand Gesture Recogniyion using a Range Camera", 《AUSTRALASIAN CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943275A (zh) * | 2016-10-07 | 2018-04-20 | 宏达国际电子股份有限公司 | 模拟环境显示系统及方法 |
| CN107943275B (zh) * | 2016-10-07 | 2021-01-08 | 宏达国际电子股份有限公司 | 模拟环境显示系统及方法 |
| US10896544B2 (en) | 2016-10-07 | 2021-01-19 | Htc Corporation | System and method for providing simulated environment |
| CN106598422A (zh) * | 2016-10-25 | 2017-04-26 | 深圳奥比中光科技有限公司 | 基于指向型的操控、混合操控方法及操控系统和电子设备 |
| CN108665480A (zh) * | 2017-03-31 | 2018-10-16 | 满景资讯股份有限公司 | 三维侦测装置的操作方法 |
| CN109446061A (zh) * | 2018-09-17 | 2019-03-08 | 平安科技（深圳）有限公司 | 一种页面检测方法、计算机可读存储介质及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101606628B1 (ko) | 2016-03-25 |
| TW201510771A (zh) | 2015-03-16 |
| EP2846308A3 (en) | 2015-06-17 |
| US20150062010A1 (en) | 2015-03-05 |
| EP2846308A2 (en) | 2015-03-11 |
| KR20150028181A (ko) | 2015-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104423569A (zh) | 指向位置侦测装置、方法及计算机可读取纪录媒体 | |
| US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
| US9047507B2 (en) | Upper-body skeleton extraction from depth maps | |
| CN110825234A (zh) | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 | |
| CN105992988A (zh) | 用于检测第一对象与第二对象之间的触摸的方法和设备 | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| TW201120681A (en) | Method and system for operating electric apparatus | |
| JP2013250882A5 (zh) | ||
| CN104834901A (zh) | 一种基于双目立体视觉的人脸检测方法、装置及系统 | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
| TW201322058A (zh) | 手勢辨識系統及方法 | |
| CN102306053B (zh) | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 | |
| CN103955316B (zh) | 一种指尖触碰检测系统及方法 | |
| CN102508578A (zh) | 投影定位装置及方法、交互系统和交互方法 | |
| CN103914679A (zh) | 一种图像识别方法、装置和电子设备 | |
| CN104952104A (zh) | 一种三维人体姿态估计方法和装置 | |
| CN111488775A (zh) | 注视度判断装置及方法 | |
| CN108582075A (zh) | 一种智能机器人视觉自动化抓取系统 | |
| CN107687818A (zh) | 三维量测方法及三维量测装置 | |
| CN104376323A (zh) | 一种确定目标距离的方法及装置 | |
| CN103761011B (zh) | 一种虚拟触摸屏的方法、系统及计算设备 | |
| Su et al. | Virtual keyboard: A human-computer interaction device based on laser and image processing | |
| CN111354018B (zh) | 一种基于图像的物体识别方法、装置及系统 | |
| TWI520110B (zh) | 判斷物體是否進入隨選區域之立體視覺偵測方法與系統 | |
| JP2014102183A (ja) | 画像処理装置および画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150318 |