CN103793053A - 一种便携式终端的手势投影方法及装置 - Google Patents

一种便携式终端的手势投影方法及装置 Download PDF

Info

Publication number
CN103793053A
CN103793053A CN201310756178.4A CN201310756178A CN103793053A CN 103793053 A CN103793053 A CN 103793053A CN 201310756178 A CN201310756178 A CN 201310756178A CN 103793053 A CN103793053 A CN 103793053A
Authority
CN
China
Prior art keywords
mobile terminal
image
projection
terminal screen
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310756178.4A
Other languages
English (en)
Other versions
CN103793053B (zh
Inventor
冯雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Samsung Electronics Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Tianjin Samsung Electronics Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Samsung Electronics Co Ltd, Samsung Electronics Co Ltd filed Critical Tianjin Samsung Electronics Co Ltd
Priority to CN201310756178.4A priority Critical patent/CN103793053B/zh
Publication of CN103793053A publication Critical patent/CN103793053A/zh
Application granted granted Critical
Publication of CN103793053B publication Critical patent/CN103793053B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了便携式终端手势投影方法及装置,其中,便携式终端手势投影方法步骤包括:获取检测到的手势在移动终端屏幕上的投影;将所述投影与预设的图像进行基于形状的图像匹配;当所述投影的形状与预设的图像的形状匹配时,根据所述投影在移动终端屏幕上生成第一图像,并将所述第一图像显示在与所述移动终端交互的界面上。通过本发明的方法,能够实现用户对移动终端操作的实时跟踪,使用户对移动终端的操作更加方便、灵活。

Description

一种便携式终端的手势投影方法及装置
技术领域
本发明涉及人机交互技术领域,特别是涉及一种便携式终端的手势投影方法和装置。
背景技术
随着信息技术的迅猛发展,移动终端(特别是便携式智能移动终端)的运用得到了广泛普及,移动终端的功能也越来越强大,比如可以在智能移动终端上玩游戏或者进行文字录入等操作。
由于智能移动终端(比如智能移动电话)的屏幕通常较小,在该智能移动终端上进行操作,不方便用户观看。因此目前采用了一种方案,将智能移动终端通过MHL(Mobile High-Definition Link,移动终端高清影音标准接口)与显示器(Monitor)连接,使智能移动终端上的画面(例如游戏画面)显示在显示器上,方便用户观看。
采用上述方案,能够使移动终端屏幕上的画面显示在显示器上,但用户在移动终端上进行操作时,用户既需要观看显示器上的画面,又需要观看移动终端的屏幕,才能对移动终端进行最准确的操作,给用户带来不便。
发明内容
本发明提供了一种对移动终端操作实时跟踪的方法和装置,能够实现有效跟踪用户对移动终端的操作,将用户对移动终端的操作灵活地显示在用户界面上。
本发明提供了如下方案:
依据本发明的一个方面,提供了便携式终端手势投影方法,包括:
获取检测到的手势在移动终端屏幕上的投影;
将所述投影与预设的图像进行基于形状的图像匹配;
当所述投影的形状与预设的图像的形状匹配时,根据所述投影在移动终端屏幕上生成第一图像,并将所述第一图像显示在与所述移动终端交互的界面上。
依据本发明的另一个方面,提供了便携式终端手势投影装置,包括:
投影获取模块,获取检测到的手势在移动终端屏幕上的投影;
图像匹配模块,将所述投影与预设的图像进行基于形状的图像匹配;
显示模块,当所述投影的形状与预设的图像的形状匹配时,根据所述投影在移动终端屏幕上生成第一图像,并将所述第一图像显示在与所述移动终端交互的界面上。
本发明提供的一种便携式终端的手势投影方法及装置,首先获取检测到的手势在移动终端屏幕上的投影并将该获取的投影与预设的图像进行基于形状的图像匹配,当两者的形状匹配时,根据投影在移动终端屏幕上生成第一图像,将生成的第一图像显示在与移动终端进行交互的界面上。采用本发明的方法,能够将用户对移动终端的手势操作实时地显示在用户界面上,方便用户观看,实现了对用户手势操作的实时跟踪,使用户无需观看移动终端即可实现对移动终端操作准确的定位,对移动终端的操作更加方便,增强了用户操作的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种便携式终端的手势投影方法流程图;
图2是本发明实施例提供的感光电阻薄膜工作原理图;
图3是本发明实施例提供的感光电阻薄膜实时产生的数据示意图;
图4是本发明实施例提供的单手操作时手势捕捉的示意图;
图5是本发明实施例提供的双手操作时手势捕捉的示意图;
图6是本发明实施例提供的操作训练示意图;
图7是本发明实施例提供的一种便携式终端的手势投影装置示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
实施例一、一种对移动终端操作实时跟踪的方法。下面结合图1-图6对本发明提供的方法进行详细说明。
图1中,S101、获取检测到的手势在移动终端屏幕上的投影。
具体的,用户在对移动终端(特别是便携式移动终端)进行操作时(例如玩游戏、文字录入等),由于移动终端的显示屏幕通常比较小,因此可以将移动终端上的画面(例如游戏画面)在较大屏幕的显示器端显示,以方便用户观看。具体实现时,可以通过MHL(Mobile High-Definition Link,移动终端高清影音标准接口)将移动终端与显示器连接,实现将移动终端上的画面显示在显示器端。另外,由于采用上述方法只能将移动终端的画面显示在显示器端,而并不能显示用户对移动终端的操作,此时用户仍需观看移动终端,才能进行准确的定位操作,不够方便,因此,希望将用户对移动终端的操作也显示在显示器端,实现移动终端的画面与用户对移动终端操作的画面同时显示在显示器端,实现用户对移动终端操作的实时跟踪。
在具体实施过程中,智能移动终端屏幕外层使用光感电阻薄膜,利用感光技术,当光感电阻薄膜接收的光产生变化时,感光电阻膜的电阻会发生变化,而感光电阻薄膜连接在电路上,此时会返回变化的电平值。具体的,当智能移动终端通过MHL与Monitor连接后,将智能移动终端的背光处于关闭状态,当用户对移动终端进行操作时,移动终端屏幕外层的光感电阻薄膜会捕捉到一个投影。如图2所示,例如用户通过手指对移动终端进行手势操作,则移动终端屏幕外层的光感电阻薄膜会捕捉一个用户手指的投影。移动终端上投影区域的坐标位置被遮挡,被遮挡部分的坐标位置会产生变化的电平(例如,被遮挡的位置坐标处返回1,未被遮挡的位置坐标处返回0),如图3中所示,其中电平值为1的区域即为捕捉到的投影的区域,这样就得到投影的位置和形状。
在此,需要说明的是,当用户对移动终端进行操作时,之所以让移动终端的背光处于关闭状态,主要是为了避免移动终端屏幕开启时移动终端的背光会影响感光模组对光的变化的判断,进而会影响到感光电阻薄膜对投影捕捉的准确性。
S102、将上述投影与预设的图像进行基于形状的图像匹配。
具体的,可以根据手势在移动终端屏幕上训练得到手势的标准图像,并提取标准图像的多个特征点;或者从标准图像库中获得手势的标准的图像,并提取手势图像的多个特征点。下面以根据手势在移动终端屏幕上训练得到手势的标准图像为例对本步骤进行说明。
具体实现时,可以在移动终端上设置一提示程序,提示用户进行基本的手指训练,通过用户的手指训练,获得用户手指的标准图像,并获得手指标准图像上的多个特征点,其中,特征点可以包括用户手指的指尖、指根和手掌。具体实施时,可以在移动终端上设置一训练提示程序,提示用户进行基本的手指训练,用户根据提示程序提示的具体操作进行手指操作,比如根据提示程序提示的具体位置和具体手势在移动终端屏幕上相应的位置进行相应的手指训练,通过反复的手指训练得到手指的标准图像。可以提示用户使用单手进行手指训练,也可以提示用户使用双手进行手指训练,因为在用户对移动终端实时操作的过程中,用户可能使用单手对移动终端进行操作,也可能使用双手对移动终端进行操作,对用户单手和双手分别进行训练,以便后续的对比识别。如图4中用户使用单手对移动终端操作时,感光电阻薄膜捕捉到的用户单手在移动终端屏幕上的投影;图5中用户使用双手对移动终端操作时,感光电阻薄膜捕捉到的用户双手在移动终端屏幕上的投影。在本实施例中,提示用户按照预期的操作进行手指训练,比如,提示用户在移动终端上具体的位置使用手指按压触摸屏,触屏时在移动终端上产生的坐标信号即为用户手指的指尖坐标,另外,用户手指的指根和手掌均未接触移动终端的屏幕,只是在移动终端的屏幕上留下投影,当然,用户手指的指尖也会在移动终端上留下投影,通过捕捉到的用户在移动终端上的投影可以获得用户手指图像。将用户在移动终端上产生的手指的指尖坐标与投影产生的坐标信号累加,首先可以确定用户手指的投影的指尖坐标,因为用户手指触屏时产生的指尖坐标与手指指尖产生的投影坐标是重合的,因此可以准确定位出手指指尖的坐标。将用户手指的投影的指尖坐标确定后,进而也可以确定出投影中用户手指指根处的坐标和用户手掌处的坐标,其中,用户手掌处的坐标为投影中最大阴影处的位置坐标,用户手指指根的坐标为投影中手指与大片阴影部分之间的位置坐标。为了描述方便,将投影中用户的手指指尖位置坐标、指根位置坐标以及手掌位置坐标分别称作A坐标、B坐标和C坐标。通过该方法获得手指的标准图像以及该标准手指图像上的A、B、C三个特征点的位置坐标,并提取用户手指指尖、手指指根和手掌处的特征,即获取这三处的轮廓,以便在图形匹配时利用。然后将步骤S101中获取的用户手势在移动终端屏幕上的投影与本步骤获得的用户手指标准图像进行基于形状的图像匹配,具体的基于形状的图像匹配方法是通过现有技术实现的,在此不再重复说明。
S103、当上述投影的形状与预设的图像的形状匹配时,根据投影在移动终端屏幕上生成第一图像,并将该第一图像显示在与移动终端进行交互的界面上。
具体的,上述步骤将用户手势在移动终端屏幕上的投影与手指的标准图像进行基于形状的图像匹配,若投影与标准图像的形状匹配时,根据投影的形状和大小在移动终端屏幕上生成第一图像。具体实现时,将步骤S101中获取的用户手势在移动终端屏幕上的投影的形状与步骤S102中获取的预设的图像进行基于形状的图像匹配。其中,在本实施例中,预设的图像为手指图像,上述将获得的手势的投影与预设的图像进行基于形状的图像匹配,即判断获得的投影是否为手指图像,只有当手指为手指图像时,用户对移动终端的操作才为有效操作。当确定投影的形状为手指图像时,根据该投影在移动终端屏幕上生成第一图像。
根据检测到的用户手势在移动终端屏幕上的投影生成第一图像后,对第一图像中的特征点进行检测并确定这些特征点在移动终端屏幕上的位置坐标,即手指指尖位置坐标A’、手指指根位置坐标B’、手掌位置坐标C’。具体的,将第一图像与预设的图像进行特征点匹配,并根据预设的图像中的特征点,确定第一图像的相应的特征点并记录所述特征点在移动终端屏幕的位置信息。以本实施例中第一图像为用户手指图像为例,将第一图像与用户手指的标准图像进行对比,首先确定出第一图像(即手指图像)的手掌处的坐标,然后确定出用户手指指根处的坐标,最后确定出用户手指指尖的坐标。之所以按照上述的顺序确定出第一图像的特征点在移动终端屏幕上位置坐标,是因为在将第一图像与预设的图像进行特征点比对时,最容易比对确定的是用户手指的图像中大片阴影部分的位置即为手掌位置,用户手指与大片阴影部分之间的位置即为手指指根位置,手指的最上方位置即为手指指尖位置,为了描述方便,将这三处的位置坐标称作A’坐标、B’坐标和C’坐标。
在获取到第一图像的三个特征点在移动终端屏幕上的具体位置坐标,当用户在移动终端上进行实时操作时,检测到第一图像为手指图像时,实时地获取到第一图像上的三个特征点在移动终端屏幕上的位置坐标。
当用户对移动终端实时操作时,用户手指在移动终端屏幕上是不断移动的,当用户手指移动时,用户手指在移动终端屏幕上的投影的位置也是不断变化的,则生成的第一图像在移动终端上的位置在不断地变化。如图6中所示的是用户单手对移动终端进行操作时移动的示意图。此时用户手指上的特征点(手指指尖、指根、手掌)的位置坐标是不断移动的,通过前述方法可以实时地确定出这些特征点在移动终端屏幕上的位置坐标。在实际实施的过程中,可以直接将生成的第一图像显示在与移动终端进行交互的界面上,也可以从多个特征点中选取一个特征点,比如用户手指的指尖在移动终端屏幕上的位置坐标(一般用户会使用用户手指的指尖对移动设备进行触摸操作,因此选择用户手指的指尖这个特征点),来代表用户手指对移动终端操作时用户手指的具体位置。确定了用户手指指尖在移动终端屏幕上的位置坐标后,在该位置坐标处生成一图标,并将该图标显示在与移动终端交互的界面上。该图标在界面上显示时的位置坐标与用户手指的指尖在移动终端屏幕的位置坐标相同。具体的,可以在用户界面上设置一虚拟光标的图标,虚拟光标的位置表示用户手指指尖在操作移动终端时的投影在移动终端屏幕上的实时位置坐标,虚拟光标的样式可以根据用户的需求自行确定。例如,用户手指的指尖在移动终端屏幕上的横坐标为1,纵坐标为2,即可表示为(1,2),则表示用户在移动终端的操作的虚拟光标的图标在用户界面上的坐标也为(1,2)。
另外,在用户对移动终端进行操作时,有时手指离移动终端屏幕的垂直距离较近,有时手指离移动终端屏幕的垂直距离较远,比如,当用户对移动终端上的某个应用或产品点击操作时,从用户手指未接触移动终端屏幕到用户手指接触移动终端屏幕的过程中,用户手指离移动终端的屏幕的垂直距离由远及近,此时在记录用户手指在移动终端上投影的三个特征点的位置坐标之外,还需要计算用户在操作时用户手指离移动终端屏幕的垂直距离。具体的,可以通过用户手指在移动终端屏幕上的投影的大小来计算。若用户在进行操作时,手指离移动终端屏幕的垂直距离较远时,用户手指在移动终端屏幕上的投影较小;若用户手指离移动终端屏幕的垂直距离较近时,用户手指在移动终端屏幕上的投影较大。在具体计算用户手指离移动终端屏幕的垂直距离时,可以将用户实时操作移动终端时用户手指在移动终端屏幕上的投影的大小与离移动终端固定垂直距离操作时用户手指在移动终端屏幕上的投影的大小进行比较,通过两者的比例大小关系来确定用户手指离移动终端屏幕的垂直距离。
需要说明的是,上述步骤S101生成的第一图像与步骤S102中获得的预设的图像均进行存储,比如可以存储在移动终端的DDR(Double Data Rate双倍速率同步动态随机存储器)中。在对用户手势在移动终端上的投影捕捉采集的过程中,以及对生成的第一图像以及第一图像在移动终端屏幕上实时的位置进行连续采集并存储,当存储的用户操作数据达到一定量或采集数据的时间达到一定时间时,对采集的数据进行分析处理,即上述的基于形状的图像匹配以及特征点的匹配等分析过程。
当确定出用户手指指尖在移动终端屏幕上的实时位置坐标以及每一坐标处用户手指离移动终端屏幕的垂直距离时,根据此用户手指指尖实时位置坐标以及垂直距离,生成一表示用户对移动终端操作的图标,并将该图标显示在与移动终端进行交互的界面上。该图标在界面上的位置坐标与用户操作时的手指的指尖在移动终端屏幕上的位置坐标相同,该图标的大小根据用户手指离移动终端屏幕的垂直距离来确定。具体的,可以通过设置虚拟光标的大小来表示用户对移动终端操作时手指离移动终端屏幕的垂直距离,当用户手指离移动终端屏幕的垂直距离较远时,虚拟光标可以设置得适当小一些;而当用户手指离移动屏幕的垂直距离较近时,虚拟光标可以设置得适当大一些。采用该方法,可以将移动终端屏幕上的画面显示在用户界面上的同时,也可以将用户对移动终端实时操作的手势显示在用户界面上,用户可以直接观看用户界面的屏幕,就能完成对移动终端准确的坐标定位,从而实现对移动终端准确的操作。
以上对本发明提供的一种对移动终端操作实时跟踪的方法进行了详细的描述,为了加深对本发明提供的方法的理解,下面对本发明提供的方法的整个流程进行描述。
首先在移动终端屏幕的外层使用透明感光电阻薄膜,当移动终端通过MHL与Monitor连接后,为了避免移动终端屏幕的背光对感光电阻薄膜的影响,可以选择将移动终端的背光关闭,使移动终端的屏幕处于背光关闭状态。具体实现时,在移动终端通过MHL与Monitor连接后,关闭背光,通过I/O(input/output,输入输出端口)向移动终端输入一个电信号。当用户对移动终端实时操作时,感光电阻薄膜捕捉用户对移动终端操作时在终端屏幕上的投影。将捕捉到的投影与预设的图像进行基于形状的图像匹配,若匹配时,将上述投影在移动终端生成一图像,并将生成的图像与预设的图像进行特征点匹配,根据预设的图像上的特征点确定生成的图像上的相应特征点的位置并记录生成的图像上的特征点在移动终端屏幕上的坐标。在用户对移动终端进行操作时,用户的手指也是在不断移动的,因此对用户手指对移动终端操作时在移动终端屏幕上的投影的手指特征点的位置坐标实时记录。选取生成的用户操作的图像中的特征点中某一特征点在移动终端的位置坐标表示用户手指对移动终端的操作时的位置坐标,在本实施例中,选取用户手指的指尖坐标作为用户操作时的坐标。在用户手指指尖在移动终端屏幕上的位置坐标处生成一图标(具体可以生成一虚拟光标)并将该图标显示与移动终端进行交互的界面上,图标在界面上的位置坐标与用户手指指尖在移动终端屏幕上的位置坐标相同。另外,可以记录每一手指指尖位置坐标处用户手指对移动终端进行操作时手指离移动终端屏幕的垂直距离,根据上述用户操作时手指指尖离移动终端屏幕的垂直距离,确定上述图标的大小,将该图标显示在交互界面上的相应位置。
实施例二、一种便携式终端的手势投影装置。下面结合图7对本发明提供的装置进行详细说明。
图7中,本发明提供的一种便携式终端的手势投影装置包括投影获取模块701、图像匹配模块702和显示模块703。
投影获取模块701获取检测到的手势在移动终端屏幕上的投影。
具体的,投影获取模块701利用感光技术对检测到的手势在移动终端屏幕上引起的电信号的变化进行捕捉获得手势在移动终端屏幕上的投影。
图像匹配模块702将投影获取模块701获取的投影与预设的图像进行基于形状的图像匹配。
具体的,预设的图像可以通过以下方式获得,根据手势在移动终端屏幕上训练得到手势的标准图像,并提取标准图像的多个特征点或者从标准图像库中获得手势的标准图像,并提取标准图像的多个特征点。
显示模块703适于当投影的形状与预设的图像的形状匹配时,根据该投影在移动终端屏幕上生成第一图像,并将该第一图像显示在与移动终端交互的界面上。
具体的,还可以检测根据投影生成的第一图像的特征点并获取第一图像的特征点在移动终端屏幕上的位置坐标,在特征点的位置坐标处创建一图标,并将该图标显示在与移动终端交互的界面上。
本发明提供的装置还包括图标大小确定模块,主要适于将生成的第一图像的大小与预设的图像的大小进行对比;根据第一图像的大小与预设的图像的大小的比例,确定检测到的手势对应的手指与移动终端屏幕的垂直距离;根据检测到手势对应的手指与移动终端屏幕的垂直距离确定所述图标的大小。显示模块703将该图标显示在界面上的相应位置坐标处。
以上对本发明提供的便携式终端的手势投影方法和装置进行了详细的介绍,当用户对移动终端操作时,通过感光技术获取用户对移动终端操作时在移动终端屏幕上的投影,将获取的投影与预设的图像进行基于形状的图像匹配,若匹配,则将该投影在移动终端屏幕上生成第一图像,然后将第一图像显示在与移动终端进行交互的界面上。采用本发明提供的方法,能够在现有技术将移动终端屏幕上的画面显示在用户界面的同时,将用户对移动终端的操作手势在移动终端屏幕上的投影实时地显示到用户界面上,实现将移动终端的画面与用户对移动终端的操作手势投影同时显示在用户界面上,使用户只需要观看用户界面,即可实现对移动终端准确的定位以及对移动终端进行准确的操作;根据用户操作时手指离移动终端屏幕的垂直距离确定该图标的大小,并将不同大小的图标显示在界面上,增强了用户的体验性。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者网络终端等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明所提供的一种实时手势跟踪的方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种便携式终端的手势投影方法,其特征在于,包括以下步骤:
获取检测到的手势在移动终端屏幕上的投影;
将所述投影与预设的图像进行基于形状的图像匹配;
当所述投影的形状与预设的图像的形状匹配时,根据所述投影在移动终端屏幕上生成第一图像,并将所述第一图像显示在与所述移动终端交互的界面上。
2.如权利要求1所述的方法,其特征在于,所述获取检测到的手势在移动终端屏幕上的投影步骤包括:
利用感光技术对所述检测到的手势在移动终端屏幕上引起的电信号的变化进行捕捉获得所述手势在移动终端屏幕上的投影。
3.如权利要求1所述的方法,其特征在于,所述预设的图像通过如下方式获得:
根据手势在移动终端屏幕上的训练得到手势的标准图像,并提取所述标准图像的多个特征点;
或者,
从标准图像库中获得手势的标准图像,并提取所述标准图像的多个特征点。
4.如权利要求1所述的方法,其特征在于,在根据所述投影在移动终端屏幕上生成第一图像之后还包括:
获取所述第一图像的特征点在移动终端屏幕上的位置坐标,在所述位置坐标处创建一图标,并将所述图标显示在与所述移动终端交互的界面上。
5.如权利要求4所述的方法,其特征在于,所述获取所述第一图像的特征点在移动终端屏幕上的位置坐标包括:
将所述投影与预设的图像进行特征点匹配,根据预设的图像上的特征点,确定所述投影上相应的特征点,根据投影上的特征点获取第一图像上相应的特征点,并记录所述第一图像上的特征点在移动终端屏幕上的位置坐标。
6.如权利要求5所述的方法,其特征在于,还包括:
将所述第一图像的大小与所述预设的图像的大小进行对比;
根据所述第一图像的大小与所述预设的图像的大小的比例关系,确定所述检测到的手势与移动终端屏幕的垂直距离;
根据所述检测到的手势与移动终端屏幕的垂直距离确定所述图标的大小。
7.如权利要求1-6任一项所述的方法,其特征在于,所述预设的图像为手指图像。
8.如权利要求7所述的方法,其特征在于,所述特征点为手指指尖、手指指根和手掌。
9.一种便携式终端的手势投影装置,其特征在于,包括:
投影获取模块,获取检测到的手势在移动终端屏幕上的投影;
图像匹配模块,将所述投影与预设的图像进行基于形状的图像匹配;
显示模块,当所述投影的形状与预设的图像的形状匹配时,根据所述投影在移动终端屏幕上生成第一图像,并将所述第一图像显示在与所述移动终端交互的界面上。
10.如权利要求9所述的装置,其特征在于,还包括:
图标大小确定模块,将所述第一图像的大小与所述预设的图像的大小进行对比;
根据所述第一图像的大小与所述预设的图像的大小的比例,确定检测到的手势对应的手指与移动终端屏幕的垂直距离;
在所述第一图像的特征点的位置坐标处生成一图标,根据所述检测到的手势对应的手指与移动终端屏幕的垂直距离确定所述图标的大小。
CN201310756178.4A 2013-12-27 2013-12-27 一种便携式终端的手势投影方法及装置 Expired - Fee Related CN103793053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310756178.4A CN103793053B (zh) 2013-12-27 2013-12-27 一种便携式终端的手势投影方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310756178.4A CN103793053B (zh) 2013-12-27 2013-12-27 一种便携式终端的手势投影方法及装置

Publications (2)

Publication Number Publication Date
CN103793053A true CN103793053A (zh) 2014-05-14
CN103793053B CN103793053B (zh) 2017-04-12

Family

ID=50668811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310756178.4A Expired - Fee Related CN103793053B (zh) 2013-12-27 2013-12-27 一种便携式终端的手势投影方法及装置

Country Status (1)

Country Link
CN (1) CN103793053B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756765A (zh) * 2018-12-20 2019-05-14 合肥凌极西雅电子科技有限公司 一种基于便携式投影设备的智能控制方法
CN109976628A (zh) * 2019-02-27 2019-07-05 Oppo广东移动通信有限公司 调整虚拟按键显示位置的方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100078294A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 진동 패턴 생성 방법 및 이를 이용한 휴대 단말기
CN202142026U (zh) * 2011-04-01 2012-02-08 冠捷投资有限公司 手势控制屏幕开关的触控显示器
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100078294A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 진동 패턴 생성 방법 및 이를 이용한 휴대 단말기
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别系统和方法
CN202142026U (zh) * 2011-04-01 2012-02-08 冠捷投资有限公司 手势控制屏幕开关的触控显示器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756765A (zh) * 2018-12-20 2019-05-14 合肥凌极西雅电子科技有限公司 一种基于便携式投影设备的智能控制方法
CN109756765B (zh) * 2018-12-20 2021-01-29 合肥凌极西雅电子科技有限公司 一种基于便携式投影设备的智能控制方法
CN109976628A (zh) * 2019-02-27 2019-07-05 Oppo广东移动通信有限公司 调整虚拟按键显示位置的方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN103793053B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US20180292946A1 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
KR20130088104A (ko) 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
Lee et al. Finger identification and hand gesture recognition techniques for natural user interface
CN106293315A (zh) 浮动窗口显示的方法和装置
US20130159940A1 (en) Gesture-Controlled Interactive Information Board
US9262012B2 (en) Hover angle
CN111596757A (zh) 一种基于指尖交互的手势控制方法和装置
CN112068698A (zh) 一种交互方法、装置及电子设备、计算机存储介质
CN102214039A (zh) 辅助实现多状态触摸屏检测的多模式义肢设备
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN107682595B (zh) 一种交互投影方法、系统及计算机可读存储介质
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
CN106383583B (zh) 用于隔空人机交互的控制虚拟物体精确定位的方法与系统
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
Bader et al. Lift-and-drop: crossing boundaries in a multi-display environment by airlift
CN113515228A (zh) 一种虚拟标尺显示方法以及相关设备
CN103793053B (zh) 一种便携式终端的手势投影方法及装置
TW201239717A (en) Method for detecting multi-object behavior of a proximity-touch detection device
US10860120B2 (en) Method and system to automatically map physical objects into input devices in real time
CN108829329B (zh) 一种操作对象展示方法、装置和可读介质
CN108874141B (zh) 一种体感浏览方法和装置
US20170277338A1 (en) Control method for terminal and terminal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20191227

CF01 Termination of patent right due to non-payment of annual fee