CN103677229A - 手势结合扩增实境的图标控制方法 - Google Patents

Abstract

一种手势结合扩增实境的图标控制方法，利用一便携式电子设备实施，包括：一影像摄取单元摄取得到连续的多数实境影像，每幅实境影像中包括一手部及一作为该手部背景的景点环境，且一显示单元实时显示该等实境影像；依据其中一实境影像辨识出景点，进而从该存储单元中筛选出对应的景点信息；提供至少一与该景点信息相关的图标，并使该图标叠加于该实境影像上；及针对该等实境影像中的手部连同实境影像上叠加的图标进行辨识，依据辨识结果产生一预设的有关于对该图标的操作的输入指令。

Description

手势结合扩增实境的图标控制方法

【技朮领域】

本发明是有关于一种输入方法，特别是指一种利用手势结合扩增实境的图标控制方法。

【背景技朮】

扩增实境(Augmented Reality，简称AR)，是一种实时计算摄影机所摄取的影像中物件的位置及角度并在荧幕中显示该影像的技术，将荧幕上的虚拟世界与现实世界结合。

目前已发展的扩增实境的应用，例如台湾公开第201123934号专利揭露一种实时扩增实境装置，与一导航装置及一影像摄取装置搭配使用。该案中，实时扩增实境装置预存“物件的实际长度及实际宽度”，并根据影像摄取装置摄取的实时影像中的“物件的虚拟长度及虚拟宽度”，计算出影像摄取方向的仰角、偏角，然后依据导航装置预存的导航信息产生一指引信息，合成于实时影像中。从而让实时影像作为导航影像，减少对地图的使用。

然而前述扩增实境装置仅单纯用来辅助使导航影像真实而易于辨识，使用者仍通过该导航装置的触控面板或实体按钮进行输入操作。

【发明内容】

本发明的目的，在于提供一种利用一便携式电子设备的手势结合扩增实境的图标控制方法。

于是，本发明手势结合扩增实境的图标控制方法，利用该便携式电子装置执行。该便携式电子装置包括一显示单元、一影像摄取单元、一储存有多数景点信息及一有关该方法的程序码的存储单元，及一与前述元件电连接的控制器；该控制器读取该程序码执行该图标控制方法的以下步骤：

(A)使该影像摄取单元摄取得到序列的多数实境影像，并且使该显示单元实时显示该等实境影像，各该实境影像中包括一手部及一作为该手部背景的景点环境；

(B)依据其中一实境影像辨识出有关该影像摄取单元所对准的景点，进而从该存储单元中筛选出对应的景点信息；

(C)提供至少一与该景点信息相关的图标，并使该图标叠加于该实境影像上；

(D)针对该等实境影像中的手部连同实境影像上叠加的图标进行辨识，依据辨识结果产生一预设的可由该控制器读取且执行的输入指令，该输入指令是有关于对该图标的操作。

本发明的目的还可采用以下技术进一步实现：

所述便携式电子装置还包括一与该控制器连接且接收一卫星定位信号的卫星定位模块；该步骤(B)是依据该卫星定位模块接收的卫星定位信号得知该便携式电子装置所在的经纬度坐标，并且在该存储单元中筛选在该经纬度坐标通常可视范围内的景点信息，再依据从该实境影像中辨识的结果推断该实境影像中的景点，接着筛选出该景点信息。

另外，该步骤(D)是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识，当辨识该手部邻近该图标，产生该输入指令。

或者，该步骤(D)是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识及手势辨识，得到一代表一对该图标进行操作动作的手势信息且产生对应该手势信息的该输入指令。

在该步骤(D)中，当辨识该手部的其中一手指呈直线形，得到的手势信息为指，并辨识出指尖以及该图标在其中一实境影像中的平面坐标位置，当辨识出该指尖接近该图标平面坐标位置，依据该手势信息连同最接近该呈直线形的手指指尖的图标产生选取该图标的输入指令。在产生该选取该图标的输入指令之后，当辨识该手部的复数手指呈现封闭形状，得到的手势信息为捏持，连同该被选取的图标产生拖曳该图标的输入指令，拖曳路径即该手部移动路径。在产生该拖曳该图标的输入指令之后，当辨识该手部的复数手指呈现开放弧形，得到的手势信息为放开，产生终止输入的输入指令。

该步骤(A)还令该显示单元显示一占有一定面积且被特别标示的执行区块，当该步骤(D)先产生了拖曳该图标至该执行区块内的输入指令，接着产生了终止输入的输入指令，则产生执行或开启该图标所对应的一应用程序或一资料夹或一资料的输入指令。

或者，采用以下技术进一步实现：

该步骤(A)还令该显示单元显示一占有一定面积且被特别标示的执行区块，在该步骤(D)中是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识及手势辨识，当辨识该手部位在该执行区块内且其中复数手指从封闭形状变化呈开放弧形，则产生执行或开启最接近该手指指尖的图标所对应的一应用程序或一资料夹或一资料的输入指令。

前述各技术方案中，该步骤(C)可以是依据该景点信息中的一景点经纬度坐标，使该图标叠合于该实境影像中对应该坐标的位置。

前述各技术方案中，本发明方法可以是藉由以下机制启动：该控制器依据该影像摄取单元所摄取的多张连续的实境影像锁定一符合一预设的手部条件的物体即启动该方法，该手部条件以下其中之一者，一掌状样板、指头状样板，以及是占据特定影像范围的浅景物。

本发明的功效在于提供新颖的图标控制方式，让使用者以其手部伸到便携式电子装置前，对扩增实境影像中的图标进行虚拟操作，便携式电子装置即能执行预设的对应的输入指令。

【附图说明】

图1是一系统方块图，说明本发明便携式电子装置的系统架构；

图2是一流程图，说明本发明手势结合扩增实境的图标控制方法的执行步骤；

图3至图6分别是一实境影像图，说明本发明第一较佳实施例的操作画面；及

图7至图15分别是一实境影像图，说明本发明第二较佳实施例的操作画面。

【具体实施方式】

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考图示的二个较佳实施例的详细说明中，可以清楚的呈现。

参阅图1与图2，本发明手势结合扩增实境的图标控制方法的第一较佳实施例，利用一便携式电子装置100执行。该便携式电子装置100包括一使用时朝向一使用者而供该使用者观看的显示单元1、一朝前而与该使用者同向的影像摄取单元2、一存储单元3、一接收一卫星定位信号的卫星定位(GPS)模块4，及一与前述元件电连接的控制器5。存储单元3储存有多数笔景点信息及一有关该手势结合扩增实境的图标控制方法的程序码。景点信息例如经纬度坐标、景点地址、地图、建议行程，及景点介绍等。

一开始，该影像摄取单元2连续摄取实境影像，并由该显示单元1显示。当一使用者以其手部伸到便携式电子装置100的影像摄取单元2前方，该控制器5依据多张连续的实境影像锁定一符合一预设的手部条件的物体，该便携式电子装置100即启动本发明的方法。该手部条件例如是一掌状样板(pattern)、指头状样板，或者是占据特定影像范围的浅景物。

当本发明的方法启动，该控制器5读取该程序码而执行的步骤如下：

步骤11：令该影像摄取单元2不改变方位地继续摄取影像，得到序列的多数张例如图3所示的实境影像P1，各该实境影像P1中包括会随着时间变动的该手部，及一作为该手部的背景且原则上短时间内不会随着时间变动的景点环境。

步骤12：令该显示单元1继续实时地显示该等实境影像P1。

步骤13：控制器5另一方面依据GPS模块4接收的卫星定位信号，得知该便携式电子装置100所在的经纬度坐标，并且在该存储单元3中筛选在该经纬度坐标通常可视范围内的景点信息，再依据其中一实境影像P1辨识后推断该实境影像P1中的景点(例如建筑物)，接着筛选出有关该影像摄取单元2所对准的景点的景点信息。

须说明的是，本发明有关“找出该影像摄取单元2所对准的景点的景点信息”的方式，不以此处揭露的技术为限。也可以不利用卫星定位信号而在未知该便携式电子装置100所在的经纬度的状态下，直接依据实境影像P1辨识景点后比对筛选出存储单元3中的景点信息。

步骤14：提供一或多个图标并使该图标叠加于该实境影像P1上，供使用者以手势对其进行虚拟操控。各该图标代表一种操作功能，例如“首页”或“返回上一页”，或者代表与其中一笔景点信息相关的应用程序，例如“播放影片”，或者代表与其中一笔景点信息相关的资料夹或文件、网页等任何形式资料，例如“台北101大楼”、“地图”、“建议行程”、“景点介绍”等。

步骤15：针对接下来的多数张实境影像P1中的手部连同所叠加的图标进行辨识，在本实施例是辨识手势，得到一代表一对该图标进行操作动作的手势信息且产生一输入指令。但本发明不以辨识手势为限，也可以简化-例如，该控制器5依据该等实境影像P1连同所叠加的图标计算手部与图标位置，当手部位置与图标位置距离小于一预设临界值即产生预设的输入指令。

步骤16：执行该输入指令。

以下以图3至图6举例说明上述方法中，步骤14至16的具体执行流程。

如图3所示，控制器5(图1)在步骤14是提供一个代表“首页”的图标I1。当使用者以手势执行点选该图标I1的动作，控制器5在步骤15中，辨识该手部的其中一手指呈直线形，得到一手势信息为“指”，并辨识出指尖以及该图标I1在其中一实境影像P1中的平面坐标位置。当辨识出该指尖接近该图标I1平面坐标位置，依据该手势信息(“指”)连同指尖所对应的图标I1，产生一预设的对该图标I1进行操作的输入指令，在本实施例是“开启”。

但是本发明在本步骤的处理方式不以前述为限，对应于代表不同意义的图标，手势信息所产生对该图标I1的预设的输入指令也不同。此外，本步骤也可以简化而不进行手势辨识，例如，当辨识该手部邻近该图标I1，即执行该预设的输入指令。

控制器5执行步骤16，也就是开启首页之后，控制器5提供如图4所示的图标I2至I4，例如分别代表景点介绍、建议行程、地图。当使用者以手势执行点选其中的图标I2的动作而让控制器5再次执行后续步骤15(辨识手势)及16(执行输入指令)后，返回步骤14。此时控制器5提供如图5所示的与步骤13筛选出的景点信息相关的图标I5、I6，例如分别代表“台北101大楼”、“美丽华摩天轮”。该图标I5、I6分别是依据“台北101大楼”、“美丽华摩天轮”的景点信息中的景点坐标叠加于该实境影像P1上对应该坐标的位置。当使用者点选其中的图标I5而让控制器5再次执行后续的步骤15(辨识手势)及16(执行输入指令)后，返回步骤14。此时控制器5则提供如图6所示的内容为台北101大楼景点介绍的页面。上述图标I1至I6及页面皆叠加于该实境影像P1上。

由于本实施例步骤13已依据卫星定位信号得知该便携式电子装置100所在的经纬度坐标，又已经筛选出景点信息(含经纬度坐标)，因此该便携式电子装置100可利用其导航模块(图未示)进行该景点的导航。该便携式电子装置100可包含有软件程序，以及对应该软件程序的图标或列表等，让使用者得以启动上述导航功能。

参阅图1、图2及图9，本发明手势结合扩增实境的图标控制方法的第二较佳实施例与第一较佳实施例的差异主要在于步骤15的执行细节，以及步骤12还令该显示单元1显示一占有一定面积且被特别标示的执行区块10。

在本实施例中，存储单元3储存的有关该手势结合扩增实境的图标控制方法的程序码规划有较多样的手势辨识条件，或者存储单元3储存有手势辨识条件的列表。该步骤15中，若控制器5辨识该手部的其中一手指如图7所示呈直线形，得到的手势信息为“指”，连同最接近该呈直线形的手指指尖的图标I1产生“选取该图标”的输入指令。若控制器5辨识该手部的复数手指如图8所示呈现封闭形状，得到的手势信息为“捏持”，连同该被选取的图标I1产生“拖曳该图标”的输入指令，拖曳路径即该手部移动路径。

当使用者将图标I1拖曳至如图9所示的位置，也就是该执行区块10内，若该控制器5辨识该手部的复数手指如图10所示呈现开放弧形，得到的手势信息为“放开”，产生“终止输入”的输入指令。此时，自动产生“执行”或“开启”该图标I1所对应的应用程序或一资料夹或一资料的输入指令。该控制器5在步骤16中执行后出现图11所示的实境影像。

当使用者依照上述规则，以先“指”后“捏持”的方式将图11中的图标I2拖曳至如图12所示的位置，也就是执行区块10内，再如图13所示放开后，控制器5辨识而产生开启该图标I2所对应资料夹的输入指令。接着，控制器5提供如图13所示的图标I5、I6，图标I5、I6叠加于该实境影像P1上对应该坐标的位置，分别代表“台北101大楼”的景点介绍、“美丽华摩天轮”的景点介绍。

当使用者依照上述规则，以先“指”后“捏持”的方式将图13中的图标I5拖曳至如图14所示的位置，也就是执行区块10内，再放开后，控制器5辨识而产生开启该图标I5所对应内容的输入指令。经步骤16执行该输入指令后，呈现如图15所示影像。

需要说明的是，本实施例的步骤15也可简化，该控制器5依据该等实境影像P1连同所叠加的图标计算手部、执行区块10与图标位置并产生输入指令。当手部位置与图标位置距离小于一预设临界值即产生“选取及可拖曳”的输入指令，当手部位置连同图标进入该执行区块10，即产生“执行”或“开启”的输入指令。

综上所述，本发明提供新颖的图标控制方式，让使用者以其手部伸到便携式电子装置100前，对扩增实境影像中的图标进行虚拟操作，便携式电子装置100即能执行预设的对应的输入指令，能达成本发明的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种手势结合扩增实境的图标控制方法，利用一便携式电子装置执行，该便携式电子装置包括一显示单元、一影像摄取单元、一储存有多数景点信息及一有关该方法的程序码的存储单元，及一与前述元件电性连接的控制器；该控制器读取该程序码执行该图标控制方法的以下步骤：

(A)令该影像摄取单元摄取得到序列的多数实境影像，并且令该显示单元实时显示该等实境影像，各该实境影像中包括一手部及一作为该手部的背景的景点环境；

(B)依据其中一实境影像辨识出有关该影像摄取单元所对准的景点，进而从该存储单元中筛选出对应的景点信息；

(C)提供至少一个与该景点信息相关的图标，并使该图标叠加于该实境影像上；及

(D)针对该等实境影像中的手部连同实境影像上叠加的图标进行辨识，依据辨识结果产生一预设的可由该控制器读取且执行的输入指令，该输入指令是有关于对该图标的操作。

2.根据权利要求1所述的手势结合扩增实境的图标控制方法，其特征在于：所述便携式电子装置还包括一与该控制器连接且接收一卫星定位信号的卫星定位模块；该步骤(B)是依据该卫星定位模块接收的卫星定位信号得知该便携式电子装置所在的经纬度坐标，并且在该存储单元中筛选在该经纬度坐标通常可视范围内的景点信息，再依据从该实境影像中辨识的结果推断该实境影像中的景点，接着筛选出该景点信息。

3.根据权利要求1所述的手势结合扩增实境的图标控制方法，其特征在于：该步骤(D)是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识，当辨识该手部邻近该图标，产生该输入指令。

4.根据权利要求1所述的手势结合扩增实境的图标控制方法，其特征在于：该步骤(D)是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识及手势辨识，得到一代表一对该图标进行操作动作的手势信息且产生对应该手势信息的该输入指令。

5.根据权利要求4所述的手势结合扩增实境的图标控制方法，其特征在于：在该步骤(D)中，当辨识该手部的其中一手指呈直线形，得到的手势信息为指，并辨识出指尖以及该图标在其中一实境影像中的平面坐标位置，当辨识出该指尖接近该图标平面坐标位置，依据该手势信息连同最接近该呈直线形手指的指尖的图标产生选取该图标的输入指令。

6.根据权利要求5所述的手势结合扩增实境的图标控制方法，其特征在于：在该步骤(D)中，在产生该选取该图标的输入指令之后，当辨识该手部的复数手指呈现封闭形状，得到的手势信息为捏持，连同该被选取的图标产生拖曳该图标的输入指令，拖曳路径即该手部移动路径。

7.根据权利要求6所述的手势结合扩增实境的图标控制方法，其特征在于：在该步骤(D)中，在产生该拖曳该图标的输入指令之后，当辨识该手部的复数手指呈现开放弧形，得到的手势信息为放开，产生终止输入的输入指令。

8.根据权利要求7所述的手势结合扩增实境的图标控制方法，其特征在于：该步骤(A)还令该显示单元显示一占有一定面积且被特别标示的执行区块；当该步骤(D)先产生了拖曳该图标至该执行区块内的输入指令，接着产生了终止输入的输入指令，则产生执行或开启该图标所对应的一应用程序或一资料夹或一资料的输入指令。

9.根据权利要求1所述的手势结合扩增实境的图标控制方法，其特征在于：该步骤(A)还令该显示单元显示一占有一定面积且被特别标示的执行区块，在该步骤(D)中是针对该等实境影像中的手部连同所叠加的图标进行平面坐标位置辨识及手势辨识，当辨识该手部位在该执行区块内且其中复数手指从封闭形状变化呈开放弧形，则产生执行或开启最接近该手指指尖的图标所对应的一应用程序或一资料夹或一资料的输入指令。

10.根据权利要求1至9所述的手势结合扩增实境的图标控制方法，其特征在于：该步骤(C)是依据该景点信息中的一景点经纬度坐标，使该图标叠合于该实境影像中对应该坐标的位置。

11.根据权利要求1至9所述的手势结合扩增实境的图标控制方法，其特征在于：由以下机制启动：该控制器依据该影像摄取单元所摄取的多张连续的实境影像锁定一符合一预设的手部条件的物体即启动该方法，该手部条件以下其中之一者，一掌状样板、指头状样板，以及是占据特定影像范围的浅景物。

Images