CN112445328A - 映射控制方法及装置 - Google Patents
映射控制方法及装置 Download PDFInfo
- Publication number
- CN112445328A CN112445328A CN201910827049.7A CN201910827049A CN112445328A CN 112445328 A CN112445328 A CN 112445328A CN 201910827049 A CN201910827049 A CN 201910827049A CN 112445328 A CN112445328 A CN 112445328A
- Authority
- CN
- China
- Prior art keywords
- user
- projection
- module
- point information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000004424 eye movement Effects 0.000 claims abstract description 66
- 230000014509 gene expression Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种映射控制的方法,包括:获取用户在投影区域上的注视点信息;其中,所述投影区域为投影模块将电子设备的屏幕信息进行投影得到;根据所述注视点信息、所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点在所述电子设备被投影的屏幕上的对应位置点;根据所述对应位置点信息确定操作对象;其中,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;获取用户下达的控制指令并发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作。本申请基于眼动追踪技术来实现对电子设备的控制,使得映射过程中,能方便快捷进行人机互动。本申请还提供了与所述方法相对应的映射控制装置。
Description
技术领域
本发明涉及人机交互技术领域,特别涉及一种映射控制方法及装置。
背景技术
随着手机、平板电脑等便携式电子设备的发展,现代人越来越习惯采用便携式的电子设备进行办公或观影等。由于便携式电子设备的屏幕都相对较小,所以通常会采用映射设备配合便携式电子设备使用,通过映射设备将便携式电子设备的屏幕映射放大,从而解决便携式电子设备屏幕过小的问题。
但现在的映射设备只是单纯地将便携式电子设备的屏幕信息映射到更大的背景上,并没有提供人机交互的功能;如打开文件、翻页或屏幕的放大和缩小等。用户只能像平常操作便携式电子设备一样,面对电子设备的小屏幕进行人机交互。在映射的过程中,用户通过这种方式进行人机交互,显然非常的不方便。
发明内容
基于上述现有技术的不足,本发明提出一种映射控制方法及装置,以解在电子设备映射过程中,人机交互不方便的问题。
为了实现上述目的,本发明提供了以下技术方案:
本发明第一方面提供了一种映射控制方法,应用于映射控制装置,所述方法包括:
获取用户在投影区域上的注视点信息;其中,所述投影区域为投影模块将电子设备的屏幕信息进行投影得到;
根据所述注视点信息、所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息;
根据所述对应位置点信息确定操作对象;其中,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;
获取用户下达的控制指令并发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作。
可选地,在上述映射控制方法中,所述获取用户在投影区域上的注视点信息,包括:
获取眼动模块拍摄得到的用户的脸部图像;
提取所述用户的脸部图像中的眼部特征;
根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
可选地,在上述映射控制方法中,所述获取用户在投影区域上的注视点信息,包括:
获取眼动模块计算得到的所述用户在投影区域上的注视点信息;其中,所述眼动模块从自身拍摄得到的用户的脸部图像中,提取得到所述用户的眼部特征,并依据所述用户的眼部特征计算所述用户在投影区域上的注视点信息。
可选地,在上述映射控制方法中,所述根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,包括:
获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例;
根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值;
根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
可选地,在上述映射控制方法中,所述获取用户下达的控制指令,包括:
获取用户下达的控制信息;其中,所述控制信息包括按键控制命令、用户的表情信息、动作信息、以及语音信息中至少一种或任意组合;
得到与所述控制信息对应的控制指令。
本发明第二方面提供了一种映射控制装置,所述映射控制装置为第一映射控制装置,包括主控模块和通信模块;其中:
所述主控模块,用于获取用户在投影区域上的注视点信息;根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在电子设备被投影的屏幕上的对应位置点信息;根据所述对应位置点信息确定操作对象,其中,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;获取用户下达的控制指令并通过所述通信模块发送所述控制命令至所述电子设备;
其中,所述投影区域为所述投影模块将所述电子设备的屏幕信息进行投影得到。
可选地,在上述映射控制装置中,所述主控模块获取用户在投影区域上的注视点信息时,用于:
获取眼动模块拍摄得到的用户的脸部图像,并提取所述用户的脸部图像中的眼部特征,再根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
可选地,在上述映射控制装置中,所述主控模块获取用户在投影区域上的注视点信息时,用于:
获取眼动模块计算得到的所述用户在投影区域上的注视点信息;其中,所述眼动模块从自身拍摄得到的用户的脸部图像中提取得到所述用户的眼部特征,并依据所述用户的眼部特征计算所述用户在投影区域上的注视点信息。
可选地,在上述映射控制装置中,所述主控模块根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息时,用于:
获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例;
根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值;
根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
可选地,在上述映射控制装置中,所述主控模块获取用户下达的控制指令时,用于:
获取用户下达的控制信息,得到与所述控制信息对应的控制指令。
其中,所述控制信息包括按键控制命令、用户的表情信息、动作信息、以及语音信息中至少一种或任意组合。
可选地,在上述映射控制装置中,还包括:
眼动模块,用于拍摄用户的脸部图像;或者,拍摄用户的脸部图像,并从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息。
可选地,在上述映射控制装置中,所述眼动模块,还用于:采集用户的表情信息。
可选地,在上述映射控制装置中,还包括:
镜像模块,用于获取所述电子设备的屏幕信息;
投影模块,用于将所述电子设备的屏幕信息进行投影得到所述投影区域;
测距模块,用于测量所述映射控制装置到所述投影区域的距离。
本发明第三方面提供了另一种映射控制装置,所述映射控制装置为第二映射控制装置,包括:
镜像模块,用于获取电子设备的屏幕信息;其中,所述电子设备包括第一映射控制装置;
投影模块,用于将所述电子设备的屏幕信息进行投影,得到投影区域;
眼动模块,用于拍摄用户的脸部图像;其中,所述用户的脸部图像用于提供于所述第一映射控制装置得到用户在所述投影区域上的注视点信息;
测距模块,用于测量所述投影模块到所述投影区域的距离;其中,根据所述注视点信息、所述投影模块到所述投影区域的距离、以及投影模块到所述投影区域的距离得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
可选地,在上述映射控制装置中,所述眼动模块还用于:从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息。
可选地,在上述映射控制装置中,所述眼动模块还用于采集用户的表情信息;其中,所述用户的表情信息用于使所述第一映射控制装置得到控制指令;其中,所述控制指令用于控制所述电子设备对所述对应位置点信息对应的操作对象执行所述控制指令对应的操作。
本发明提供的映射控制方法及装置,获取用户在投影区域上的注视点信息,然后根据注视点信息、投影模块到投影区域的距离和投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。并根据所述对应位置点信息确定操作对象。其中,所述操作对象为电子设备屏幕上的可操作的对象。用户无需注视着电子设备的较小的屏幕,直接通过用户在投影区域的注视点信息就可以该注视点信息确定在电子设备被投影的屏幕上的对应位置点信息,从而确定要进行操作的对象。并且,在获取所述用户下达的控制指令后,则将所述对应位置点信息和控制指令发送给所述电子设备,以使所述电子设备对所述操作对象进行相应的操作,实现了用户无需面对电子设备的小屏幕来进行人机交互,则可对电子设备进行控制,从而使得人机交互更加的便捷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种映射控制装置的结构示意图;
图2为本发明实施例提供的一种映射控制方法的流程图;
图3为本发明另一实施例提供的一种获取注视点信息的方式的流程图;
图4为本发明另一实施例提供的一种得到注视点信息的对应位置点信息的方式的流程图;
图5为本发明另一实施例提供的一种获取控制指令的方式的流程图;
图6为本发明另一实施例提供的一种映射控制装置与电子设备的示意图;
图7为本发明另一实施例提供的一种映射控制方法的流程图;
图8为本发明另一实施例提供的一种得到注视点信息的对应位置点信息的方式的流程图;
图9为本发明另一实施例提供的一种映射控制装置的结构示意图;
图10为本发明另一实施例提供的一种映射控制装置的结构示意图;
图11为本发明另一实施例提供的一种映射控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的一个实施例中,映射控制方法由一种映射控制装置来执行,如图1所示,本实施例中提供的映射控制装置,主要包括:镜像模块101、投影模块102、测距模块103、眼动模块104以及主控模块105。
首先需要说明的是,映射控制装置可以是一个可放置于平面上的平面映射控制装置,也可以是穿戴式的AR设备。当然,映射控制装置也可以是由包括有镜像模块101以及投影模块102的穿戴式AR设备,和包括有测距模块103、眼动模块104以及主控模块105的控制装置共同组成的装置。
具体地,镜像模块101主要用于获取电子设备的屏幕信息。投影模块102主要用于将电子设备的屏幕信息进行投影,得到投影区域。其中,投影模块102可以是普通的平面投影模块,也可以是穿戴式AR设备中的AR投影模块。测距模块103主要用于测量投影模块102到投影区域的面积。眼动模块104主要用于拍摄用户的眼部图像。主控模块105,主要用于获取用户在投影区域上的注视点信息;根据注视点信息、投影模块102到投影区域的距离、以及投影模块102的投影比例,得到所述注视点信息在电子设备被投影的屏幕上的对应位置点信息;获取用户下达的控制指令并通过所述通信模块转发所述控制命令至所述电子设备。
其中,所述电子设备可以是手机或平板电脑等电子设备。可选地,在映射控制装置是穿戴式的AR设备的情况下,穿戴式的AR设备可以与手机、平板电脑等电子设备进行连接。如此,穿戴式的AR设备中的镜像模块可以获取连接的电子设备的屏幕信息,再由穿戴式的AR设备中的其他模块执行后续动作。并且,可戴式的AR设备中的主控模块获取用户下达的控制指令并通过所述通信模块转发所述控制命令至所述电子设备。
在映射控制装置是由穿戴式AR设备和控制装置共同组成的装置的情况下,由穿戴式AR设备中的镜像模块获取电子设备的屏幕信息,并由投影模块进行投影,再由控制装置中的主控模块获取用户下达的控制指令并通过所述通信模块转发所述控制命令至所述电子设备。
当然,所述电子设备也可以是穿戴式的AR设备,这样,映射控制装置可以获取穿戴式的AR设备的屏幕信息,再由主控模块获取用户下达的控制指令并通过所述通信模块转发所述控制命令至所述穿戴式的AR设备。
还需要说明的是,镜像模块101、投影模块102、测距模块103、眼动模块104以及主控模块105,是映射控制装置完成映射控制方法的主要部件,当然,该映射控制装置还应该包括诸如可用于为上述几个模块供电的电源模块等基础功能模块。
基于上述实施例提供的映射控制装置,本发明实施例提供的映射控制方法,如图2所示,具体包括:
S201、获取用户在投影区域上的注视点信息。
其中,所述投影区域为投影模块102将电子设备的屏幕信息进行投影得到。
需要说明的是,用户在投影区域上的注视点信息通常对应着电子设备上的某一个操作对象,如客户端图标或虚拟按键等。用户通过注视所述操作对象,以最终实现对所述操作对象做出对应操作。例如,用户想打开客户端图标位于投影区域的左上角的一个客户端,则用户就会去注视所述客户端的图标。此时,所述注视点信息为投影区域的左上角,所述注视点信息对应的操作对象为所述客户端的图标。
具体地,镜像模块101获取电子设备的屏幕信息,经投影模块102将电子设备的屏幕信息,按一定的投影比例投影进行投影,得到投影区域。也就是说,所述投影区域为所述电子设备的屏幕按一定的比例进行投影后所显示的区域。需要说明的是,镜像模块101所获取的屏幕信息可以是电子设备的整个屏幕的信息,也可以只是电子设备的部分的屏幕信息,例如电子设备处于分屏状态,即电子设备的显示屏幕分区域显示不同的屏幕信息,镜像模块101获取电子设备的显示屏幕中的部分区域显示的屏幕信息。又例如,使用穿戴式AR设备进行投影时,投影屏幕信息可以是电子设备的全部屏幕信息,也可以是电子设备的部分屏幕信息。投影屏幕信息与电子设备被投影的屏幕信息形成注视点一对一的映射。所述获取的用户在投影区域上的注视点信息为用户眼睛注视投影区域上的位置点信息。其中,获取用户在投影区域上的注视点信息,可以是获取注视点信息的位置信息,例如坐标或相对位置关系等。
还需要说明的是,投影模块102具体可以是普通的平面投影模块,用于将屏幕信息投影到平面背景墙上。此时投影区域指的是屏幕信息投影在平面背景墙上的投影范围。当然,投影模块102也可以指的是AR设备中的AR投影模块。具体的,AR设备可以包括投影模块102和镜像模块101的穿戴设备。同样,AR设备可由镜像模块101获取电子设备或自身的屏幕信息,然后经投影模块102将电子设备的屏幕信息在三维空间中进行投影,得到一个虚拟屏幕。此时,投影区域则指是所投影出的虚拟屏幕。
可选地,本发明另一实施例中,所述步骤S201的一种实施方式,由主控模块105计算得到所述注视点信息,如图3所示,所述方式具体包括:
S301、获取眼动模块拍摄到的用户的脸部图像。
其中,所述用户的脸部图像中包括用户的眼部图像,并且眼动模块104所拍摄的脸部图像为用户注视所述投影区域时的脸部图像,即主控模块105获取用户注视所述投影区域时的用户的脸部图像。
具体地,可以是当用户注视所述投影区域时,并在用户的视线落入所述眼动模块104的追踪范围内时,眼动模块104拍摄用户的脸部图像。
当然这只是其中一种可选地的方式,也可以采用其他方式获取用户的注视信息。例如,当映射控制设备为AR设备时,眼动模块104设置于AR设备中。此时,眼动模块104可以是直接拍摄用户的眼部图像,并基于拍摄的眼部图像,提取用户的眼部特征。所以,本发明实施例获取用户的注视点信息的方式,并不仅限于通过拍摄用户的脸部图像来获取。
S302、提取所述用户的脸部图像中的眼部特征。
具体地,主控模块105从获取到的用户的脸部图像的中提取出用户的眼部特征。其中,所述眼部特征可以是用户的瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等眼部的特征。
S303、根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
主控模块105分析所述眼部特征得到所述用户在投影区域上的注视点信息,具体可以是:通过眼动追踪模型分析瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置,得到用户的视线方向以及在投影区域上的注视点信息。
当然,通过用户的眼部特征得到用户在投影区域上的注视点信息,只是其中一种可选地的方式。其他能得到用户在投影区域上的注视点信息的方式同样属于本发明的范畴。例如,通过用户的脸部外观也可以得到用户在投影区域上的注视点信息。具体为:将用户的脸部图像输入已经训练好的神经网络模型中,就可以不需要通过用户的眼部特征,而直接得到用户的注视点信息。
可选地,本发明另一实施例中,所述步骤S201的另一种实施方式,具体为:获取眼动模块104计算得到的所述用户在投影区域上的注视点信息。
其中,眼动模块104从自身拍摄得到的用户的脸部图像中,提取得到所述用户的眼部特征,并依据所述用户的眼部特征,计算所述用户在投影区域上的注视点信息。
也就是说,主控模块105获取的用户在投影区域上的注视点信息是由眼动模块计算得到。因此,眼动模块104可以视为一个眼动追踪装置,可以拍摄用户脸部图像,并根据所拍摄的脸部图像计算得到用户在投影区域上的注视点信息,然后发送给主控模块105。
还需要说明的是,用户为了得到投影区域上所显示的信息,会一直看着投影区域,所以为了区分用户是要对电子设备进行操作,还是只是在单纯的看着投影区域上的信息,避免主控模块105进行不必要的数据处理。在执行步骤S201后,还可以先执行:判断所述用户注视所述注视点信息的时间是否超过预设时间,若判断所述用户注视所述注视点信息的时间超过预设时间,则执行步骤S202。
当用户只是单纯地在看投影区域时,通常其视线是不会一直停留在某一个位置点信息的。所以,通过用户注视所述注视点信息的时间来确定用户是否要进行操作。当用户要进行操作时,则需要注视着某一位置点信息超过预设的时间。当然,若用户只是单纯的注视着投影区域上的某一位置点信息,但并想进行操作时,只要用户不下达控制指令,则就不会对电子设备进行操作。
其中,在步骤S202前执行所述判断所述用户注视所述注视点信息的时间是否超过预设时间,可以提前确定用户是否要进行操作,在用户注视时间未超过预设时间时,就可以直接不用执行包括步骤S202在内的所有后续步骤,从而减少主控模块105进行不必要的数据处理。
当然,所述判断所述用户注视所述注视点信息的时间是否超过预设时间的步骤,也可以在执行步骤S202后,在执行步骤S203前执行。
S202、根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
其中,所述对应位置点信息是所述用户在投影区域上的注视点信息,在电子设备被投影的屏幕上所对应的位置点信息。因为投影区域是所述电子设备的全部或者部分屏幕按投影比例投影后得到的显示区域,所以投影区域与电子设备被投影的屏幕上显示的内容是完全一致的,并且投影区域上的每一个位置点信息在所述电子设备被投影的屏幕上是存在着唯一的对应的位置点信息。所以,用户在所述投影区域的注视点信息,在所述电子设备被投影的屏幕上也存在着唯一的对应位置点信息。
具体地,测距模块103测量投影模块102到所述投影区域的距离,并发送给主控模块105。可选地,当投影模块102为平面投影模块时,测距模块103可以是红外测距传感器,通过红外线测量投影模块102到所述投影区域的距离,即测量投影模块102到投影平面的距离。当然,测距模块103也可以是其他的测距传感器,采用其他的测距方式进行测量,例如可以是超声波测距传感,通过发送超声波,并接收投影区域对超声波的反射时间,来测量投影模块102到所述投影区域的距离器。又或者是激光测距传感器或微波雷达测距传感器等。当投影模块102为AR设备中的AR投影模块时,由于屏幕信息并非是投影在屏幕上,所以通过传感器无法测得投影模块102到投影区域的距离,因此测距模块103不再是测距传感器。具体的,测距模块103可以是基于同步定位与建图算法(Simultaneous Localization AndMapping,SLAM)的一个模块,其可以通过SLAM算法,计算得到三维空间中的投影区域与投影设备102间的距离,即得到投影区域与AR设备的距离。
然后,由主控模块105根据投影模块102到所述投影区域的距离和投影模块102的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
需要说明的是,由于投影模块102的投影比例是确定好的,因此所述电子设备的屏幕投影的比例是随着投影模块102到所述投影区域的距离变化而变化的。所以,根据投影模块102到所述投影区域的距离、以及投影模块102的投影比例,就可以得到所述投影区域与所述电子设备被投影的屏幕的比例关系。根据所述比例关系,就可以确定所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
可选地,本发明另一实施例中,所述步骤S202的一种实施方式,如图4所示,具体包括:
S401、获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例。
其中,测距模块103可以包括红外测距传感器,通过红外线测量投影模块102到所述投影区域的距离。或者是基于SLAM算法的模块,通过基于SLAM算法计算得到投影模块102到所述投影区域的距离。
投影模块102的投影比例通常为默认的投影比例,并且用户根据自身的需求来选择设置,或按预设调整步幅进行调整。所以,投影比例是明确的。
S402、根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值。
需要说明的是,由于所述投影模块的投影比例是设置好的,所以所述投影区域的面积是随着投影模块102到所述投影区域的距离变化而相应变化的。所以,基于所述电子设备的屏幕的面积,主控模块105可以根据投影模块102到所述投影区域的距离和投影模块102的投影比例,得到所述投影区域的面积。需要说明的是,由于镜像模块101所获取的屏幕信息可以是电子设备的整个屏幕的信息,也可以只是电子设备的部分的屏幕信息,所以本发明实施例中所提及的电子设备的屏幕的面积相应的可以是整个屏幕的面积,也可以是部分的屏幕信息所对应的部分屏幕的面积。因为所述电子设备的屏幕是已知的,所以就可得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值。
S403、根据所述注视点信息以及所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
具体地,主控模块105根据所述用户在投影区域上的注视点信息的位置,以及所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。其中,所述注视点信息的位置可以是所述注视点信息在所述投影区域上的坐标,也可以是相对位置关系,相应的得到电子设备的屏幕上的所述对应位置点信息的坐标或相对位置关系。
例如,投影区域的面积与电子设备被投影的屏幕的面积的比值为9:4,并且所获取到的用户的注视点信息为用户的注视点在投影区域上的坐标,该坐标为(3,3)。对面积的比值9:4开根号,可以获得对应面积边长的比值即3:2,则用户在投影区域上的注视点的坐标的横坐标与在电子设备屏幕上的对应位置点的坐标的横坐标的比值为3:2,同理的,用户在投影区域上的注视点的坐标的纵坐标与在电子设备屏幕上的对应位置点的坐标的纵坐标的比值也为3:2,从而得到注视点在所述电子设备屏幕上的对应位置点的坐标为(2,2)。
需要说明的是,根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,只是其中一种可选地方式,可以是根据投影区域和电子设备被投影的屏幕的边长的比例来得到所述注视点信息在所述电子设备屏幕上的对应位置点信息。当然,也可以通过其他方式得到所述注视点信息在电子设备的屏幕上的映射的对应位置点信息。这都属于本发明的保护范畴。
S203、根据所述对应位置点信息确定操作对象,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象。
具体的,根据对应位置点确定出其在电子设备被投影的屏幕上所表示的位置,并且将显示在电子设备被投影的屏幕的该位置上的可操作的对象,确定为用户想用进行操作的操作对象。其中,可操作的对象可以是,电子设备的屏幕上显示的客户端的图标、虚拟按键或者进度条等可被用户进行操作的对象。
S204、获取所述用户下达的控制指令并发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作。
需要说明的是,确定所述注视点信息在所述电子设备屏幕上的对应位置点信息,就可以确定对应位置点信息所对应的操作对象。此时,获取所述用户下达的控制指令,以确定用户所希望执行的操作。其中,每一种控制指令对应着一种操作。
具体地,主控模块105获取所述用户下达的控制指令,并将控制指令转发至所述电子设备,控制所述电子设备对所述对应位置点信息所对应的屏幕上的操作对象执行所述控制指令对应的操作。最终,实现对所述电子设备的控制。
可选地,本发明另一实施例中,所述获取所述用户下达的控制指令的一种实施方式,如图5所示,具体包括:
S501、获取用户下达的控制信息;其中,所述控制信息包括按键控制命令、用户的表情信息、动作信息、以及语音信息中至少一种或任意组合。
具体地,用户表情信息、或动作信息等控制信息可以通过眼动模块104获取。眼动模块通过拍摄用户的表情或动作,获得用户的下达的控制信息。
S502、得到与所述控制信息对应的控制指令。
需要说明的是,一种控制信息对应一种控制指令,每一种控制信息都预先配置好了对应的控制指令。当然,一种控制指令可以对应多种控制信息。
具体地,主控模块105通过获取用户的下达的表情信息、动作信息、语音信息等控制信息来确定相应的控制指令。也就是说,用户可以通过多种方式来下达控制信息。例如,用户通过眨眼睛来下达点击的操作。具体地,可以通过眼动模块104来获取用户的表情或头部动作等姿态,然后通过相应的算法来识别用户下达的操作信息,如利用头动算法来识别用户的头部动作,从而得到相应的控制信息。用户只要通过简单的动作或表情就可以下达操作指令,无需与电子设备进行接触就能下达控制指令,这显然非常的简单便捷。
当然,用户也可以通过电子设备的上常用的按键来下达控制指令,例如,通过点击音量增加键下达向上划动的控制指令,而点击音量降低键下达向下划动的控制指令,点击起始键则可以下达点击操作对象的控制指令。通过几个常用到的按键就可以对各个操作对象下达控制指令。用户无需再对着比较小的电子设备的屏幕,通过众多的图标或虚拟按键等,来进行着较为繁琐的操作。
本发明实施例提供的映射控制方法,获取用户在投影区域上的注视点信息,然后根据投影模块到投影区域的距离和投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。并根据所述对应位置点信息确定操作对象,所述操作对象为电子设备屏幕上显示的可操作的对象。用户无需注视着电子设备的较小的屏幕,直接通过用户在投影区域的注视点信息就可以该注视点信息确定在电子设备被投影的屏幕上的对应位置点信息,从而确定要进行操作的对象。并且,在获取所述用户下达的控制指令后,则将所述对应位置点信息和控制指令发送给所述电子设备,以使所述电子设备对所述操作对象进行相应的操作,实现了用户无需面对电子设备的小屏幕来进行人机交互,则可对电子设备进行控制,从而使得人机交互更加的便捷。
在本发明的另一个实施例中,映射控制方法还可以由映射控制装置和电子设备配合执行。
其中,如图6所示,所述映射控制装置包括:镜像模块601、投影模块602、测距模块603和眼动模块604。镜像模块601,用于获取所述电子设备的屏幕信息;投影模块602,用于将所述电子设备的屏幕信息进行投影,得到投影区域;测距模块603,用于测量所述投影模块到所述投影区域的距离;眼动模块604,主要用于拍摄用户的脸部图像。
所述电子设备可以是手机、平板电脑或AR处理设备等电子设备。同样参见图6,所述电子设备包括主控模块605,与映射控制装置进行交互通信,用于获取用户在投影区域上的注视点信息;根据投影模块到投影区域的距离、以及投影模块的投影比例,得到所述注视点信息在电子设备被投影的屏幕上的对应位置点信息;获取用户下达的控制指令并通过所述通信模块转发所述控制命令至所述电子设备。同样,映射控制装置可以是放置于平面上的平面映射控制装置,也可以是穿戴式的AR设备。可选地,映射控制装置可以是一个包括镜像模块601、投影模块602、测距模块603和眼动模块604为一体的,可放置于平面上的平面映射控制装置。当然,映射控制装置也可以是:一个包括有镜像模块601、投影模块602,具有投影功能的AR设备和一个包括测距模块603和眼动模块604的控制设备共同组成的装置。也就是说,将AR设备与手机等电子设备连接,从而获取并将所述电子设备的屏幕信息进行投影,得到投影区域,再由控制设备测量投影模块602到投影区域的距离以及拍摄用户的脸部图像,并将获取的数据发送给电子设备进行处理。
其中,可选地,当采用AR设备进行投影,并且电子设备为AR处理设备时,该电子设备可以是位于AR设备中,即主控模块605设置于AR设备中,所以AR设备自带有处理中心。
基于上述应用场景,本发明实施例提供的一种映射控制方法,如图7所示,具体包括:
S701、映射控制装置拍摄用户的脸部图像。
其中,所获取的用户的眼部特征为用户注视所示投影区域时的眼部特征。
需要说明的是,步骤S701的具体实现过程可参见上述实施例中步骤S301,此处不再赘述。
S702、映射控制装置向电子设备发送用户的脸部图像。
需要说明的是,步骤S702也可以理解电子设备获取映射控制装置拍摄的用户的脸部图像。具体地,眼动模块604在拍摄用户的脸部图像后将用户的脸部图像发送给电子设备进行处理。
S703、电子设备提取所述用户的脸部图像中的眼部特征。
具体地,电子设备中的主控模块605从所述用户的脸部图像中提取得到用户的眼部特征。其中,步骤S703更具体实现过程可参见上述实施例中步骤S302,此处不再赘述。
S704、电子设备根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
其中,所述投影区域为所述映射控制装置将电子设备的屏幕信息进行投影得到。
具体地,映射控制装置中的镜像模块601获取所述电子设备的屏幕信息。其中,镜像模块601配置有无线宽带(Wireless-Fidelity,Wi-Fi)模块,并且Wi-Fi模块以无线显示标准Wi-Fi direct作为显示标准,从而可以通过无线的方式与电子设备进行数据交互,无需受到连接缆线长度的影响。再由投影模块602将电子设备的屏幕信息投影到平面背景墙上或者三位空间中,得到投影区域。
电子设备中的主控模块605根据所述眼部特征得到所述用户在投影区域上的注视点信息。其中,步骤S704的具体实现过程可参见上述实施例中步骤S303,此处不再赘述。
还需要说明的是,通常用户会一直看着投影区域,所以为了确定用户是否要进行操作,还是只是在单纯的看着投影区域上的内容。所以,在执行步骤S704后,还可以包括:所述电子设备判断所述用户注视所述注视点信息的时间是否超过预设时间,若判断出所述用户注视所述注视点信息的时间超过预设时间,则执行步骤S705。
当用户只是单纯地在看投影区域时,通常其视线是不会一直停留在某一个位置点信息的。所以,所述电子设备通过用户注视所述注视点信息的时间来确定用户是否要进行操作。当用户要对电子设备进行操作时,则需要注视着某一位置点信息超过预设的时间。
当然,所述判断所述用户注视所述注视点信息的时间是否超过预设时间的步骤,也可以在执行步骤S705后,在执行步骤S706前执行。在步骤S705前执行,可以在用户不进行操作时,可以不用执行包括步骤S705在内的后续步骤,减少电子设备进行不必要的数据处理。
可选地,本发明的另一实施例中,另一种可以达到和上述步骤S601~S604同样效果的实施方式,具体包括:
映射控制装置拍摄用户的脸部图像,从自身拍摄得到的用户的脸部图像中提取得到所述用户的眼部特征,并依据所述脸部图像计算得到所述用户在投影区域上的注视点信息,然后将所述用户在投影区域上的注视点信息发送给电子设备。
具体的,映射控制设备中的眼动模块604拍摄用户的脸部图像,再从所述用户的脸部图像中提取得到用户的眼部特征,并依据所述脸部图像计算得到所述用户在投影区域上的注视点信息,然后再将所述用户在投影区域上的注视点信息发送给电子设备。由眼动模块604直接得到用户在投影区域上的注视点信息,再将所述注视点信息直接发送给电子设备,而不再是由电子设备根据映射控制模块拍摄的用户的脸部图像,计算得到用户在投影区域上的注视点信息。
S705、电子设备根据所述注视点信息、所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
其中,所述对应位置点信息是所述用户在投影区域上的注视点信息,在电子设备被投影的屏幕上所对应的位置点信息。因为所述电子设备的屏幕是按投影比例投影后得到的显示区域,所以投影区域与电子设备被投影的屏幕上显示的内容是一致的,并且投影区域上的每一个位置点信息都在所述电子设备被投影的屏幕上是存在着对应的位置点信息。所以,用户在所述投影区域的注视点信息,在所述电子设备被投影的屏幕上存在着对应位置点信息。
具体地,电子设备的主控模块605可以预先获得投影模块602的投影比例,并且所述映射控制装置到所述投影区域的距离有测距模块进行测量后发送给电子设备。
需要说明的是,本发明实施例中投影模块602属于映射控制装置的组成部分,因此投影模块602的投影比例就是映射控制装置的投影比例。同样,投影模块602到投影区域的距离就是映射控制设备到投影区域的距离。并且,由于投影模块的投影比例在确定情况下,电子设备的屏幕被投影的比例是随着所述投影模块到所述投影区域的距离变化而变化的。所以,根据所述投影模块到所述投影区域的距离和所述投影模块的投影比例,就可以得到所述投影区域与所述电子设备被投影的屏幕的比例关系。根据所述比例关系,就可以确定所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
可选地,本发明的另一实施例中,所述步骤S705的一种实施方式,如图8所示,具体包括:
S801、映射控制装置测量所述投影模块到所述投影区域的距离。
具体地,步骤S701的具体实现过程可参见上述实施例中步骤S401,此处不再赘述。
S802、映射控制装置向电子设备发送所述投影模块到所述投影区域的距离。
其中,步骤S702也可以理解为电子设备获取映射控制装置测量的所述投影模块到所述投影区域的距离。
S803、电子设备根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值。
具体地,电子设备中的主控模块605根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值。其中,电子设备被投影的屏幕的面积可以是电子设备的整个屏幕的面积,也可以是部分屏幕的面积。需要说明的是,步骤S803更具体实现过程可参见上述实施例中步骤S402,此处不再赘述。
S804、电子设备根据所述注视点信息以及所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
具体地,电子设备中的主控模块605根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备屏幕上的对应位置点信息。其中,步骤S804更具体实现过程可参见上述实施例中步骤S403,此处不再赘述。
S706、电子设备根据所述对应位置点信息确定操作对象。
其中,所述操作对象为所述电子设备被投影的屏幕上的显示的可操作的对象。
S707、映射控制装置获取用户下达的控制信息;其中,所述控制信息包括按键控制命令和用户的表情信息、动作信息以及语音信息中至少一种或任意组合。
具体地,可以通过所述眼动模块来获取用户的表情或头部动作等姿态。眼动模块通过拍摄用户的表情、姿态或者动作等来获取用户下达的控制信息。
S708、映射控制装置向电子设备发送用户下达的控制信息。
具体地,步骤S708也可以理解为电子设备接收映射控制装置发送的用户下达的控制信息。
S709、电子设备根据所述控制信息得到相应的控制指令。
具体地,步骤S709的具体实现过程可参见上述实施例中步骤S502,此处不再赘述。
S710、电子设备对所述对应位置点信息对应的操作对象执行所述控制指令对应的操作。
具体地,可以是由所述电子设备的主控模块605控制所述电子设备根据对应位置点信息和控制指令,对所述对应位置点信息对应的操作对象执行所述控制指令所对应的操作。
本发明实施例提供的映射控制方法,通过映射控制装置和电子设备的配合,实现便捷的人机交互。通过获取用户在投影区域上的注视点信息,然后根据投影模块到投影区域的距离和投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,并根据所述对应位置点信息确定操作对象,所述操作对象为电子设备被投影的屏幕上显示的可操作的对象。用户无需注视着电子设备的较小的屏幕,直接通过用户在投影区域的注视点信息就可以该注视点信息确定在电子设备被投影的屏幕上的对应位置点信息,从而确定要进行操作的对象。并且,在获取所述用户下达的控制指令后,则将所述对应位置点信息和控制指令发送给所述电子设备,控制电子设备对对应位置点信息所对应的操作对象进行控制指令对应的操作,实现了用户无需面对电子设备的小屏幕来进行人机交互,则可对电子设备进行控制,从而使得人机交互更加的便捷。
本发明另一实施例提供了一种映射控制装置,所述映射控制装置为第一映射控制装置,如图9所示,所述映射控制装置包括:主控模块901和通信模块902。
其中:主控模块901,用于获取用户在投影区域上的注视点信息;根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在电子设备被投影的屏幕上的对应位置点信息;根据所述对应位置点信息确定操作对象,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;获取用户下达的控制指令并通过所述通信模块发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作。
其中,所述投影区域为所述投影模块将所述电子设备的屏幕信息进行投影得到。
具体地,主控模块901的更具体工作过程可参见上述方法实施例中步骤S201~S203,此处不再赘述。
可选地,本发明的另一实施例中,主控模块901根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息时,用于:
获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例。根据所述投影面模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影屏幕的面积的比值。根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
其中,主控模块901更具体的工作过程可参见上述方法实施例中步骤S401~S403,此处不再赘述。
可选地,本发明的另一实施例中,主控模块901获取用户下达的控制指令时,用于:获取用户下达的控制信息,再得到与所述控制信息对应的控制指令。其中,所述控制信息包括按键控制命令和用户的表情信息、动作信息、以及语音信息中至少一种或任意组合。
其中,主控模块901更具体的工作过程可参见上述方法实施例中步骤S501~S502,此处不再赘述。
可选地,本发明的另一实施例中,主控模块901获取用户在投影区域上的注视点信息时,用于:获取眼动模块拍摄得到的用户的脸部图像,并提取所述用户的脸部图像中的眼部特征,再根据所述眼部特征得到所述用户在投影区域上的注视点信息。
其中,主控模块901更具体的工作过程可参见上述方法实施例中步骤S301~S303,此处不再赘述。
可选地,本发明的另一实施例中,主控模块901获取用户在投影区域上的注视点信息时,用于:获取眼动模块拍摄得到的用户的脸部图像,并提取所述用户的脸部图像中的眼部特征,再根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
其中,主控模块901更具体的工作过程可参见上述方法实施例中步骤S201的另一种实施方式,此处不再赘述。
本发明另一实施例还公开了另一种映射控制装置,所述映射控制装置为第二映射控制装置,第二映射控制装置用于配合上述实施例公开的第一映射控制装置,来执行映射控制方法。如图10所示,本实施例公开的映射控制装置包括:
镜像模块1001,用于获取电子设备的屏幕信息。
其中,所述电子设备包括第一映射控制装置。
投影模块1002,用于将所述电子设备的屏幕信息进行投影,得到投影区域。
眼动模块1003,用于拍摄用户的脸部图像;其中,所述用户的脸部图像用于提供于所述第一映射控制装置得到用户在所述投影区域上的注视点信息。
测距模块1004,用于测量所述投影模块到所述投影区域的距离;其中,所述投影模块到所述投影区域的距离,用于提供于所述第一映射控制装置得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
具体地,本发明实施例公开的模块的具体工作过程可相应的参见上述方法实施例中的步骤S201、步骤S301以及步骤S202,此处不再赘述。
可选地,本发明的另一实施例中,眼动模块1003还可以用于:从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息以及采集用户的表情信息。
其中,所述用户的表情信息用于使所述第一映射控制装置得到控制指令;其中,所述控制指令用于控制所述电子设备对所述对应位置点信息对应的操作对象执行所述控制指令对应的操作。
具体地,本发明实施例中眼动模块的具体工程过程可参见上述方法实施例中的步骤S501,此处不再赘述。
本发明实施例提供的映射控制装置,通过配合上述实施例中的第一映射设备共同来实现映射控制。其中,眼动模块拍摄用户的脸部图像提供给所述第一映射控制装置,以得到用户在所述投影区域上的注视点信息,并且根据注视点信息、测距模块测量的投影模块到所述投影区域的距离得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,并根据所述对应位置点信息确定操作对象,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象。用户无需注视着电子设备的较小的屏幕,直接通过用户在投影区域的注视点信息就可以该注视点信息确定在电子设备被投影的屏幕上的对应位置点信息,从而确定要进行操作的对象。并且,在通过眼动模块获取用户的控制信息,得到用户的控制指令后,将所述对应位置点信息和控制指令发送给所述电子设备,控制电子设备对操作对象进行操作。其中,控制信息可以是表情或动作等。实现了用户无需面对电子设备的小屏幕来进行人机交互,则可对电子设备进行控制,从而使得人机交互更加的便捷。
还需要说明的是,图10绘示的第二映射控制装置中包括的模块,还可以设置于图9绘示的第一映射控制装置,由第一映射控制装置独立完成映射控制方法。
本实施例公开的独立完成映射控制方法的映射控制装置,如图11所示,包括:主控模块1101、通信模块1102、眼动模块1103、镜像模块1104、投影模块1105以及测距模块1106;其中:
眼动模块1103,用于拍摄用户的脸部图像;或者,拍摄用户的脸部图像,并从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息。
镜像模块1104,用于获取所述电子设备的屏幕信息。
投影模块1105,用于将所述电子设备的屏幕信息进行投影得到所述投影区域。
测距模块1106,用于测量所述映射控制装置到所述投影区域的距离。
主控模块1101和通信模块1102的功能,可参见对应图9中主控模块901和通信模块902的工作过程,此处不再赘述。
可选地,本发明的另一实施例中,眼动模块1103还用于:采集用户的表情信息。
具体地,眼动模块1103的具体的工作可参见上述方法实施例中步骤S501的另一种实施方式,此处不再赘述。
本发明实施例提供的映射控制装置,通过主控模块获取用户在投影区域上的注视点信息,然后根据注视点信息、投影模块到投影区域的距离和投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,并根据所述对应位置点信息确定操作对象,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象。用户无需注视着电子设备的较小的屏幕,而是直接通过用户在投影区域的注视点信息就可以该注视点信息确定在电子设备被投影的屏幕上的对应位置点信息,从而确定要进行操作的对象。并且,在通过主控模块获取所述用户下达的控制指令,来获取用户的操作后,通过通信模块将所述对应位置点信息和控制指令发送给所述电子设备,控制电子设备对对应位置点信息所对应的操作对象进行控制指令对应的操作。实现了用户无需面对电子设备的小屏幕来进行人机交互,则可对电子设备进行控制,从而使得人机交互更加的便捷。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。
Claims (16)
1.一种映射控制方法,其特征在于,应用于映射控制装置,所述方法包括:
获取用户在投影区域上的注视点信息;其中,所述投影区域为投影模块将电子设备的屏幕信息进行投影得到;
根据所述注视点信息、所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息;
根据所述对应位置点信息确定操作对象;其中,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;
获取用户下达的控制指令并发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作。
2.根据权利要求1所述的映射控制方法,其特征在于,所述获取用户在投影区域上的注视点信息,包括:
获取眼动模块拍摄得到的用户的脸部图像;
提取所述用户的脸部图像中的眼部特征;
根据所述眼部特征计算得到所述用户在投影区域上的注视点信息。
3.根据权利要求1所述的映射控制方法,其特征在于,所述获取用户在投影区域上的注视点信息,包括:
获取眼动模块计算得到的所述用户在投影区域上的注视点信息;其中,所述眼动模块从自身拍摄得到的用户的脸部图像中,提取得到所述用户的眼部特征,并依据所述用户的眼部特征计算所述用户在投影区域上的注视点信息。
4.根据权利要求1所述的映射控制方法,其特征在于,所述根据所述注视点信息、所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息,包括:
获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例;
根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值;
根据所述注视点信息以及所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
5.根据权利要求1所述的映射控制方法,其特征在于,所述获取用户下达的控制指令并发送至所述电子设备,包括:
获取用户下达的控制信息;其中,所述控制信息包括按键控制命令、用户的表情信息、动作信息、以及语音信息中至少一种或任意组合;
得到与所述控制信息对应的控制指令,并发送至所述电子设备。
6.一种映射控制装置,其特征在于,所述映射控制装置为第一映射控制装置,包括:主控模块和通信模块;其中:
所述主控模块,用于获取用户在投影区域上的注视点信息;根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在电子设备被投影的屏幕上的对应位置点;根据所述对应位置点信息确定操作对象,其中,所述操作对象为所述电子设备被投影的屏幕上显示的可操作的对象;获取用户下达的控制指令并通过所述通信模块发送至所述电子设备,以使所述电子设备对所述操作对象进行相应的操作;
其中,所述投影区域为所述投影模块将所述电子设备的屏幕信息进行投影得到。
7.根据权利要求6所述的映射控制装置,其特征在于,所述主控模块获取用户在投影区域上的注视点信息时,用于:
获取眼动模块拍摄得到的用户的脸部图像,并提取所述用户的脸部图像中的眼部特征,再根据所述眼部特征计算得到所述用户在投影区域上的注视点。
8.根据权利要求6所述的映射控制装置,其特征在于,所述主控模块获取用户在投影区域上的注视点信息时,用于:
获取眼动模块计算得到的所述用户在投影区域上的注视点信息;其中,所述眼动模块从自身拍摄得到的用户的脸部图像中,提取得到所述用户的眼部特征,并依据所述用户的眼部特征计算所述用户在投影区域上的注视点信息。
9.根据权利要求6所述的映射控制装置,其特征在于,所述主控模块根据所述注视点信息、投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息时,用于:
获取测距模块测量的所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例;
根据所述投影模块到所述投影区域的距离、以及所述投影模块的投影比例,得到所述投影区域的面积与电子设备被投影的屏幕的面积的比值;
根据所述投影区域的面积与电子设备被投影的屏幕的面积的比值,得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
10.根据权利要求6所述的映射控制装置,其特征在于,所述主控模块获取用户下达的控制指令时,用于:
获取用户下达的控制信息,得到与所述控制信息对应的控制指令;
其中,所述控制信息包括按键控制命令、用户的表情信息、动作信息、以及语音信息中至少一种或任意组合。
11.根据权利要求6所述的映射控制装置,其特征在于,还包括:
眼动模块,用于拍摄用户的脸部图像;或者,拍摄用户的脸部图像,并从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息。
12.根据权利要求11所述的映射控制装置,其特征在于,所述眼动模块,还用于:采集用户的表情信息。
13.根据权利要求6所述的映射控制装置,其特征在于,还包括:
镜像模块,用于获取所述电子设备的屏幕信息;
投影模块,用于将所述电子设备的屏幕信息进行投影得到所述投影区域;
测距模块,用于测量所述映射控制装置到所述投影区域的距离。
14.一种映射控制装置,其特征在于,所述映射控制装置为第二映射控制装置,包括:
镜像模块,用于获取电子设备的屏幕信息;其中,所述电子设备包括第一映射控制装置;
投影模块,用于将所述电子设备的屏幕信息进行投影,得到投影区域;
眼动模块,用于拍摄用户的脸部图像;其中,所述用户的脸部图像用于提供于所述第一映射控制装置得到用户在所述投影区域上的注视点信息;
测距模块,用于测量所述投影模块到所述投影区域的距离;其中,根据所述注视点信息、所述投影模块到所述投影区域的距离、以及投影模块到所述投影区域的距离得到所述注视点信息在所述电子设备被投影的屏幕上的对应位置点信息。
15.根据权利要求14所述的映射控制装置,其特征在于,所述眼动模块还用于:从所述用户的脸部图像中提取得到用户的眼部特征,再依据所述用户的眼部特征计算得到用户在投影区域上的注视点信息。
16.根据权利要求14所述的映射控制装置,其特征在于,所述眼动模块还用于:采集用户的表情信息;其中,所述用户的表情信息用于使所述第一映射控制装置得到控制指令;其中,所述控制指令用于控制所述电子设备对所述对应位置点对应的操作对象执行所述控制指令对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910827049.7A CN112445328A (zh) | 2019-09-03 | 2019-09-03 | 映射控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910827049.7A CN112445328A (zh) | 2019-09-03 | 2019-09-03 | 映射控制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112445328A true CN112445328A (zh) | 2021-03-05 |
Family
ID=74734739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910827049.7A Pending CN112445328A (zh) | 2019-09-03 | 2019-09-03 | 映射控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112445328A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113655638A (zh) * | 2021-07-21 | 2021-11-16 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090193353A1 (en) * | 2008-01-24 | 2009-07-30 | International Business Machines Corporation | Gantt chart map display and method |
CN102473033A (zh) * | 2009-09-29 | 2012-05-23 | 阿尔卡特朗讯 | 一种注视点检测方法及其装置 |
CN109634431A (zh) * | 2019-01-22 | 2019-04-16 | 像航(上海)科技有限公司 | 无介质浮空投影视觉追踪互动系统 |
-
2019
- 2019-09-03 CN CN201910827049.7A patent/CN112445328A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090193353A1 (en) * | 2008-01-24 | 2009-07-30 | International Business Machines Corporation | Gantt chart map display and method |
CN102473033A (zh) * | 2009-09-29 | 2012-05-23 | 阿尔卡特朗讯 | 一种注视点检测方法及其装置 |
CN109634431A (zh) * | 2019-01-22 | 2019-04-16 | 像航(上海)科技有限公司 | 无介质浮空投影视觉追踪互动系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113655638A (zh) * | 2021-07-21 | 2021-11-16 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
CN113655638B (zh) * | 2021-07-21 | 2024-04-30 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11262840B2 (en) | Gaze detection in a 3D mapping environment | |
US11383166B2 (en) | Interaction method of application scene, mobile terminal, and storage medium | |
CN110456907A (zh) | 虚拟画面的控制方法、装置、终端设备及存储介质 | |
CN108681399B (zh) | 一种设备控制方法、装置、控制设备及存储介质 | |
US20160132189A1 (en) | Method of controlling the display of images and electronic device adapted to the same | |
WO2021073743A1 (en) | Determining user input based on hand gestures and eye tracking | |
EP3175325B1 (en) | Reflection-based control activation | |
US11816924B2 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
CN111314616A (zh) | 图像获取方法、电子设备、介质及可穿戴设备 | |
US20180267604A1 (en) | Computer pointer device | |
WO2019214329A1 (zh) | 终端的控制方法、装置及终端 | |
CN109782968B (zh) | 一种界面调整方法及终端设备 | |
CN110825223A (zh) | 一种控制方法及智能眼镜 | |
CN106445098A (zh) | 用于头戴设备的控制方法、控制装置及移动设备 | |
CN112733673B (zh) | 一种内容显示方法、装置、电子设备及可读存储介质 | |
CN108307031B (zh) | 屏幕处理方法、装置及存储介质 | |
CN106951108B (zh) | 一种虚拟屏幕实现方法及装置 | |
CN112445328A (zh) | 映射控制方法及装置 | |
US20130187890A1 (en) | User interface apparatus and method for 3d space-touch using multiple imaging sensors | |
US11340703B1 (en) | Smart glasses based configuration of programming code | |
CN114115544B (zh) | 人机交互方法、三维显示设备及存储介质 | |
CN109727191B (zh) | 一种图像处理方法及移动终端 | |
CN105652451A (zh) | 一种智能眼镜 | |
CN114327047B (zh) | 设备控制方法、设备控制装置及存储介质 | |
US20240184499A1 (en) | Information display apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |