CN112732080A - 一种操作指令生成方法、装置、存储介质及电子设备 - Google Patents
一种操作指令生成方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112732080A CN112732080A CN202011627913.8A CN202011627913A CN112732080A CN 112732080 A CN112732080 A CN 112732080A CN 202011627913 A CN202011627913 A CN 202011627913A CN 112732080 A CN112732080 A CN 112732080A
- Authority
- CN
- China
- Prior art keywords
- point
- screen
- coordinate
- operation instruction
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 35
- 210000001747 pupil Anatomy 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 14
- 230000001960 triggered effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种操作指令生成方法、装置、存储介质及电子设备，其中，方法包括：获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。采用本申请，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，适应更多的使用环境，同时增加使用时的舒适度，提高使用效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种操作指令生成方法、装置、存储介质及电子设备。
背景技术
现有的终端设备多使用触摸屏，用手指点触来对终端设备上显示的应用进行操控，实现切换、滑动等功能，但很多情况下需要用手同时保持终端设备的位置和对终端设备进行控制，例如在单手使用手机的情况下需要同时握住手机并打字回复消息、切换网页，仅能通过点击屏幕才能触发对终端设备的操作指令，影响终端设备使用的舒适感。
发明内容
本申请实施例提供了一种操作指令生成方法、装置、存储介质及电子设备，可以利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，适应更多的使用环境，同时增加使用时的舒适度，提高使用效果。所述技术方案如下：
第一方面，本申请实施例提供了一种操作指令生成方法，所述方法包括：
获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
获取所述操作位置信息指示的操作指令，执行所述操作指令。
可选的，所述获取目标对象的瞳孔中心点之前，还包括：
获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
以所述屏幕标准点为原点建立屏幕坐标系。
可选的，所述基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的操作位置信息，包括：
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息；
基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息。
可选的，所述基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息，包括：
当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息；
当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息，包括：
当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息，包括：
当所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔；
当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
第二方面，本申请实施例提供了一种操作指令生成装置，所述装置包括：
指示点获取模块，用于获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
操作位置获取模块，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
操作指令执行模块，用于获取所述操作位置信息指示的操作指令，执行所述操作指令。
可选的，所述装置还包括：
校准点获取模块，用于获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
坐标系建立模块，用于以所述屏幕标准点为原点建立屏幕坐标系。
可选的，所述操作位置获取模块，包括：
坐标点获取单元，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息；
操作位置获取单元，用于基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息。
可选的，所述操作位置获取单元，具体用于：
当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息；
当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述操作位置获取单元，具体用于：
当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述操作位置获取单元，具体用于：
当所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔；
当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请一个或多个实施例中，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种瞳孔采集装置的举例示意图
图2是本申请实施例提供的一种操作指令生成方法的流程示意图；
图3是本申请实施例提供的一种操作指令生成方法的流程示意图；
图4a是本申请实施例提供的一种移动轨迹确认的举例示意图；
图4b是本申请实施例提供的一种操作指令的举例示意图；
图5是本申请实施例提供的一种操作指令生成装置的结构示意图；
图6是本申请实施例提供的一种操作指令生成装置的结构示意图；
图7是本申请实施例提供的一种操作位置获取模块的结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的操作指令生成方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的操作指令生成装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。本申请实施例中的操作指令生成装置可以是包括有瞳孔采集装置的手机、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等终端设备，也可以是终端设备中的瞳孔采集装置或可以调用瞳孔采集装置的模块，所述瞳孔采集装置可以为用于记录人在处理视觉信息时的眼动轨迹特征的眼动仪。请参见图1，为本申请实施例提供了一种瞳孔采集装置的举例示意图，所述眼动仪可以采用明瞳追踪，即光源与成像设备在同一条光学路径上，使瞳孔出现发亮的效果来捕捉瞳孔位置，也可以采用暗瞳追踪，即将光源放置在与成像设备不在同一条光学路径上的位置，产生瞳孔比虹膜暗的效果来捕捉瞳孔位置。本申请实施例中的瞳孔中心点为操作指令生成装置采集到的目标对象的瞳孔的中心点，用目标对象的瞳孔中心点的移动来代表将目标对象的瞳孔的移动，本申请实施例中的屏幕指示点与操作指令生成装置所采集到的瞳孔中心点相对应，代表此时目标对象的瞳孔注视的显示区域对应的位置，所述显示区域可以为操作指令生成装置的显示屏，用于显示操作指令生成装置的桌面或应用程序的进程，所述显示区域处于屏幕坐标系中，显示区域中的每一个位置在屏幕坐标系中都可以对应一个坐标，可以用屏幕坐标系中的坐标来代表显示区域中的点，所述屏幕坐标系可以是操作指令生成装置根据初始设置的原点和单位长度建立，也可以根据在操作指令生成装置上设置的原点和单位长度建立。
下面结合具体的实施例对本申请提供的操作指令生成方法进行详细说明。
请参见图2，为本申请实施例提供了一种操作指令生成方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤S101-S103。
S101，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点。
具体的，操作指令生成装置对瞳孔的获取功能可以是一直开启的，也可以由目标对象在操作指令生成装置中选择开启对瞳孔的获取功能，当开启对瞳孔的获取功能后，操作指令生成转置会利用眼动仪来获取目标对象的瞳孔中心点，并在显示区域所处的屏幕坐标系中获取到该瞳孔中心点所述对应的屏幕指示点，即获取到目标对象正在注视着显示区域的哪个位置。
S102，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息。
具体的，操作指令生成装置会对获取到的瞳孔中心点进行跟踪处理，即按照预设频率持续对瞳孔中心位置进行采集，所述预设频率可以为操作指令生成装置的初始设置，也可以在操作指令生成装置上进行设置。在操作指令生成装置对瞳孔中心点的跟踪处理过程中，还会获取该瞳孔中心点对应的屏幕指示点在屏幕坐标系中的坐标，并根据这些坐标生成操作位置信息，可以理解的是，根据获取到的坐标个数，操作位置信息可以是一个点，也可以是由多个坐标点连线构成的移动轨迹。
S103，获取所述操作位置信息指示的操作指令，执行所述操作指令。
具体的，操作指令生成装置会根据操作位置信息获取对应的操作指令，并执行该操作指令。例如当操作位置信息为一个点时，操作指令生成装置会获取到对应该操作位置信息的点的点击指令，达到点击显示区域中对应点的效果；当操作位置信息为一个移动轨迹时，操作指令生成装置会根据当前显示区域显示的应用进程来获取该移动轨迹对应的操作指令，包括但不限于翻页、滑动、绘制线条等。
在本申请实施例中，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
请参见图3，为本申请实施例提供了一种操作指令生成方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤S201-S205。
S201，获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点，以所述屏幕标准点为原点建立屏幕坐标系。
具体的，操作指令生成装置对瞳孔的获取功能可以是一直开启的，也可以由目标对象在操作指令生成装置中选择开启对瞳孔的获取功能，当开启对瞳孔的获取功能后，操作指令生成装置会获取一个目标对象的瞳孔中心点并将这个瞳孔中心点确认为瞳孔校准点，在之后获取到的瞳孔中心点都可以参照这个瞳孔校准点来判断所在的位置，操作指令生成装置获取到这个瞳孔校准点后，还会控制显示区域显示这个瞳孔校准点对应的屏幕校准点，所述屏幕指示点为此时目标对象的瞳孔所注视的显示区域中的位置。操作指令生成装置会以该屏幕标准点为原点建立屏幕坐标系。
可选的，操作指令生成装置可以在开启对瞳孔的获取功能后，先在显示区域显示一个校准点，并在显示区域显示提示消息，所述提示消息用于指示目标对象注视所述校准点，操作指令生成装置则将目标对象注视校准点时的瞳孔中心点确认为瞳孔校准点，将校准点确认为瞳孔校准点对应的屏幕校准点。所述校准点可以为操作指令生成装置的初始设置，也可以在操作指令生成装置上进行设置，
S202，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点。
具体可参见S101，操作指令生成装置建立了屏幕坐标系以后，会继续获取目标对象的瞳孔中心点，并在显示区域处获取屏幕坐标系中的屏幕指示点。
可选的，操作指令生成装置会在显示区域显示所述屏幕指示点，可以提示目标对象此时的瞳孔位置所注视的位置，使得目标对象在进行操作时更加方便、直观。
S203，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息。
具体的，操作指令生成装置会对获取到的瞳孔中心点进行跟踪处理，即持续对瞳孔中心位置进行采集。在操作指令生成装置对瞳孔中心点的进行跟踪处理的时间间隔中，也会获取该瞳孔中心点对应的屏幕指示点在屏幕坐标系中的坐标，将在时间间隔内获取到的这些坐标确认为屏幕指示点在屏幕坐标系中的坐标点信息，所述时间间隔可以为操作指令生成装置的初始设置，也可以在操作指令生成装置上进行设置。操作指令生成装置还可以判断所述坐标点信息中包含一个还是多个坐标点，若所述坐标点信息只包含一个坐标点时，执行S204；若所述坐标点信息包含多个坐标点时，执行S205。
可选的，跟踪处理的方法可以是操作指令生成装置按照预设频率对瞳孔中心位置进行采集，同样也会按照预设频率获取坐标点信息，所述预设频率可以为操作指令生成装置的初始设置，也可以在操作指令生成装置上进行设置。
可选的，因为是按照预设频率采集瞳孔中心位置和屏幕指示点的坐标点信息，在目标对象眨眼时操作指令生成装置会采集不到瞳孔中心位置和屏幕指示点的坐标点信息，还可能会由于外部光源等采集到错误数据，操作指令生成装置可以剔除没有采集到瞳孔中心位置和坐标点信息的错误数据，只保留采集到了瞳孔中心位置时对应的坐标点信息。
S204，当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息。
具体的，当所述坐标点信息中只有一个坐标点时，操作指令生成装置将所述坐标点确认为第一坐标点，并将该第一坐标点确认为屏幕指示点的操作位置信息，随后执行S207。
可以理解的是，即使目标对象的瞳孔在注视着一个固定点，目标对象的瞳孔也很难保持不动，所以所述第一坐标点可以不仅仅是一个坐标点，也可以是在时间间隔中所采集到的多个坐标点，当这多个坐标点两两之间的距离均小于目标距离时，可以将这多个坐标点看做一个坐标点，并且操作指令生成装置可以将其中任意一个坐标点确认为第一坐标点，将该坐标点的坐标确认为第一坐标点的坐标。
S205，当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔。
具体的，当在跟踪处理的时间间隔中采集到了多个坐标点时，操作指令生成装置将所述坐标点信息中采集到的坐标点均确认为第二坐标点，并获取到根据每个第二坐标点的获取时间，获取所述获取时间相邻的每两个第二坐标点之间的采集时间间隔。
S206，当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
具体的，当每两个相邻的第二坐标点的采集时间间隔均小于阈值时，将第二坐标点按照获取时间的由先到后进行连线，得到屏幕指示点的移动轨迹，并将该移动轨迹确认为操作位置信息。请参见图4a，为本申请实施例提供了一种移动轨迹确认的举例示意图，图中的五个点为在跟踪处理时间间隔中采集到的五个第二坐标点，获取时间分别为0.1s、0.2s、0.3s、0.4s、0.5s，将这个五个第二坐标点按照获取时间的由先到后进行连线，获取到屏幕指示点的移动轨迹。
S207，获取所述操作位置信息指示的操作指令，执行所述操作指令。
具体的，操作指令生成装置会获取操作位置信息对应的操作指令，并执行该操作指令。所述操作指令依据当前显示区域所显示的进程、操作位置信息是移动轨迹或第一坐标点来确认的，例如当操作位置信息为第一坐标点时，操作指令为对第一坐标点的位置进行点击操作；当操作位置为移动轨迹时，操作指令可以为依照移动轨迹的翻页、滑动、手写输入操作等。
请一并参见图4b，为本申请实施例提供了一种操作指令示意图，图4b左侧所示的操作位置信息为第一坐标点，则操作指令生成装置会执行针对第一坐标点在显示区域的位置上的点击操作，图4b中第一坐标点位于桌面照相功能的图表上，则操作指令生成装置会打开照相功能；图4b右侧所示的操作位置信息为一个由左至右的移动轨迹，则操作指令生成装置会执行由左至右的滑动操作，将当前手机桌面向右滑动。
本申请实施例中，获取目标对象的瞳孔校准点和显示区域上的屏幕校准点，并以屏幕校准点为原点建立屏幕坐标系，可以使得后续采集到的瞳孔中心点以瞳孔校准点为参照点来确认瞳孔位置的移动，屏幕坐标系也可能够更加精确的确认屏幕指示点的位置，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，根据在跟踪处理的时间间隔中获取的是一个坐标点还是多个坐标点，来判断不同操作位置信息对应的不同操作指令，例如点击、滑动等，能够完成更多的操作，提高了实用性与使用效果，之后获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
下面将结合附图5-附图7，对本申请实施例提供的操作指令生成装置进行详细介绍。需要说明的是，附图5-附图7中的操作指令生成装置，用于执行本申请图2和图3所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图2和图3所示的实施例。
请参见图5，其示出了本申请一个示例性实施例提供的操作指令生成装置的结构示意图。该操作指令生成装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括指示点获取模块11、操作位置获取模块12和操作指令执行模块13。
指示点获取模块11，用于获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
操作位置获取模块12，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
操作指令执行模块13，用于获取所述操作位置信息指示的操作指令，执行所述操作指令。
在本实施例中，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
请参见图6，其示出了本申请一个示例性实施例提供的操作指令生成装置的结构示意图。该操作指令生成装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括指示点获取模块11、操作位置获取模块12、操作指令执行模块13、校准点获取模块14和坐标系建立模块15。
指示点获取模块11，用于获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
操作位置获取模块12，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
具体的，请一并参见图7，为本申请实施例提供了一种操作位置获取模块的结构示意图。如图7所示，所述操作位置获取模块12，包括：
坐标点获取单元121，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息；
操作位置获取单元122，用于基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息。
可选的，所述操作位置获取单元122，具体用于：
当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息；
当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述操作位置获取单元122，具体用于：
当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
可选的，所述操作位置获取单元122，具体用于：
当所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔；
当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
操作指令执行模块13，用于获取所述操作位置信息指示的操作指令，执行所述操作指令；
校准点获取模块14，用于获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
坐标系建立模块15，用于以所述屏幕标准点为原点建立屏幕坐标系。
在本实施例中，获取目标对象的瞳孔校准点和显示区域上的屏幕校准点，并以屏幕校准点为原点建立屏幕坐标系，可以使得后续采集到的瞳孔中心点以瞳孔校准点为参照点来确认瞳孔位置的移动，屏幕坐标系也可能够更加精确的确认屏幕指示点的位置，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，根据在跟踪处理的时间间隔中获取的是一个坐标点还是多个坐标点，来判断不同操作位置信息对应的不同操作指令，例如点击、滑动等，能够完成更多的操作，提高了实用性与使用效果，之后获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
需要说明的是，上述实施例提供的操作指令生成装置在执行操作指令生成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的操作指令生成装置与操作指令生成方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图4b所示实施例的所述操作指令生成方法，具体执行过程可以参见图1-图4b所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图4b所示实施例的所述操作指令生成方法，具体执行过程可以参见图1-图4b所示实施例的具体说明，在此不进行赘述。
请参见图8，为本申请实施例提供了一种电子设备的结构示意图。如图8所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及操作指令生成应用程序。
在图8所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的操作指令生成应用程序，并具体执行以下操作：
获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
获取所述操作位置信息指示的操作指令，执行所述操作指令。
在一个实施例中，所述处理器1001在执行获取目标对象的瞳孔中心点之前，还执行以下操作：
获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
以所述屏幕标准点为原点建立屏幕坐标系。
在一个实施例中，所述处理器1001在执行基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的操作位置信息时，具体执行以下操作：
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息；
基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息。
在一个实施例中，所述处理器1001在执行基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息时，具体执行以下操作：
当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息；
当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
在一个实施例中，所述处理器1001在执行当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息时，具体执行以下操作：
当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
在一个实施例中，所述处理器1001在执行当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息时，具体执行以下操作：
当所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔；
当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
在本实施例中，获取目标对象的瞳孔校准点和显示区域上的屏幕校准点，并以屏幕校准点为原点建立屏幕坐标系，可以使得后续采集到的瞳孔中心点以瞳孔校准点为参照点来确认瞳孔位置的移动，屏幕坐标系也可能够更加精确的确认屏幕指示点的位置，获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点，基于对所述瞳孔中心点的跟踪处理，根据在跟踪处理的时间间隔中获取的是一个坐标点还是多个坐标点，来判断不同操作位置信息对应的不同操作指令，例如点击、滑动等，能够完成更多的操作，提高了实用性与使用效果，之后获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息，获取所述操作位置信息指示的操作指令，执行所述操作指令。通过采集目标对象的瞳孔位置来获取目标对象在屏幕上所注视的位置，利用目标对象所注视的屏幕位置来获取、执行操作指令，不需要在屏幕上进行点击也能触发操作指令，能够适应更多的使用环境，同时增加了使用时的舒适度，提高了使用效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种操作指令生成方法，其特征在于，所述方法包括：
获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
获取所述操作位置信息指示的操作指令，执行所述操作指令。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的瞳孔中心点之前，还包括：
获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
以所述屏幕标准点为原点建立屏幕坐标系。
3.根据权利要求1所述的方法，其特征在于，所述基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的操作位置信息，包括：
基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在屏幕坐标系中的坐标点信息；
基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述坐标点信息确定所述屏幕指示点在屏幕坐标系中的操作位置信息，包括：
当所述坐标点信息为第一坐标点时，将所述第一坐标点确定为所述屏幕指示点的操作位置信息；
当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
5.根据权利要求4所述的方法，其特征在于，所述当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息，包括：
当在所述跟踪处理的时间间隔中所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
6.根据权利要求4所述的方法，其特征在于，所述当所述坐标点信息为多个第二坐标点时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息，包括：
当所述坐标点信息为多个第二坐标点时，获取所述多个第二坐标点中相邻两个第二坐标点的采集时间间隔；
当所述采集时间间隔均小于阈值时，基于所述多个第二坐标点确定所述屏幕指示点的移动轨迹，将所述移动轨迹确定为操作位置信息。
7.一种操作指令生成装置，其特征在于，所述装置包括：
指示点获取模块，用于获取目标对象的瞳孔中心点，在显示区域所处的屏幕坐标系中获取所述瞳孔中心点对应的屏幕指示点；
操作位置获取模块，用于基于对所述瞳孔中心点的跟踪处理，获取所述屏幕指示点在所述屏幕坐标系中的操作位置信息；
操作指令执行模块，用于获取所述操作位置信息指示的操作指令，执行所述操作指令。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
校准点获取模块，用于获取目标对象的瞳孔校准点，控制显示区域显示所述瞳孔校准点对应的屏幕校准点；
坐标系建立模块，用于以所述屏幕标准点为原点建立屏幕坐标系。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011627913.8A CN112732080A (zh) | 2020-12-30 | 2020-12-30 | 一种操作指令生成方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011627913.8A CN112732080A (zh) | 2020-12-30 | 2020-12-30 | 一种操作指令生成方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112732080A true CN112732080A (zh) | 2021-04-30 |
Family
ID=75608110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011627913.8A Pending CN112732080A (zh) | 2020-12-30 | 2020-12-30 | 一种操作指令生成方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732080A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064520A (zh) * | 2013-01-31 | 2013-04-24 | 东莞宇龙通信科技有限公司 | 移动终端及其控制页面滚动的方法 |
| CN103885592A (zh) * | 2014-03-13 | 2014-06-25 | 宇龙计算机通信科技(深圳)有限公司 | 一种在屏幕上显示信息的方法及装置 |
| CN106708270A (zh) * | 2016-12-29 | 2017-05-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种虚拟现实设备的显示方法、装置以及虚拟现实设备 |
| CN107239144A (zh) * | 2017-06-09 | 2017-10-10 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
| CN108491072A (zh) * | 2018-03-05 | 2018-09-04 | 京东方科技集团股份有限公司 | 一种虚拟现实交互方法及装置 |
| CN109144267A (zh) * | 2018-09-03 | 2019-01-04 | 中国农业大学 | 人机交互方法及装置 |
| CN109254662A (zh) * | 2018-09-04 | 2019-01-22 | 平安普惠企业管理有限公司 | 移动设备操作方法、装置、计算机设备及存储介质 |
| CN109696954A (zh) * | 2017-10-20 | 2019-04-30 | 中国科学院计算技术研究所 | 视线追踪方法、装置、设备和存储介质 |
-
2020
- 2020-12-30 CN CN202011627913.8A patent/CN112732080A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064520A (zh) * | 2013-01-31 | 2013-04-24 | 东莞宇龙通信科技有限公司 | 移动终端及其控制页面滚动的方法 |
| CN103885592A (zh) * | 2014-03-13 | 2014-06-25 | 宇龙计算机通信科技(深圳)有限公司 | 一种在屏幕上显示信息的方法及装置 |
| CN106708270A (zh) * | 2016-12-29 | 2017-05-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种虚拟现实设备的显示方法、装置以及虚拟现实设备 |
| CN107239144A (zh) * | 2017-06-09 | 2017-10-10 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
| CN109696954A (zh) * | 2017-10-20 | 2019-04-30 | 中国科学院计算技术研究所 | 视线追踪方法、装置、设备和存储介质 |
| CN108491072A (zh) * | 2018-03-05 | 2018-09-04 | 京东方科技集团股份有限公司 | 一种虚拟现实交互方法及装置 |
| CN109144267A (zh) * | 2018-09-03 | 2019-01-04 | 中国农业大学 | 人机交互方法及装置 |
| CN109254662A (zh) * | 2018-09-04 | 2019-01-22 | 平安普惠企业管理有限公司 | 移动设备操作方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087239B (zh) | 一种人脸图像处理方法、装置及存储介质 | |
| CN109062479B (zh) | 分屏应用切换方法、装置、存储介质和电子设备 | |
| CN109062467B (zh) | 分屏应用切换方法、装置、存储介质和电子设备 | |
| EP2947553A1 (en) | Touch input control method and device | |
| US11829581B2 (en) | Display control method and terminal | |
| CN108958587B (zh) | 分屏处理方法、装置、存储介质和电子设备 | |
| CN112153283A (zh) | 拍摄方法、装置及电子设备 | |
| CN113055525A (zh) | 文件分享方法、装置、设备和存储介质 | |
| CN113792277A (zh) | 一种显示应用、图片的方法、装置及电子设备 | |
| CN118113204A (zh) | 长截屏方法、装置、终端及存储介质 | |
| US9846529B2 (en) | Method for processing information and electronic device | |
| CN112929860B (zh) | 蓝牙连接方法、装置和电子设备 | |
| CN105824422A (zh) | 一种信息处理方法及电子设备 | |
| CN109246292B (zh) | 一种终端桌面图标的移动方法及装置 | |
| CN112437231B (zh) | 图像拍摄方法和装置、电子设备及存储介质 | |
| WO2022001341A1 (zh) | 应用程序标签生成方法、应用界面显示方法以及装置 | |
| CN113873148A (zh) | 录像方法、装置、电子设备和可读存储介质 | |
| WO2024066759A1 (zh) | 一种切换应用的方法、装置、设备及介质 | |
| CN110244889B (zh) | 图片缩放方法、装置、终端及存储介质 | |
| CN111625176A (zh) | 设备控制方法、装置、存储介质及电子设备 | |
| CN109040427B (zh) | 分屏处理方法、装置、存储介质和电子设备 | |
| CN114995713B (zh) | 显示控制方法、装置、电子设备和可读存储介质 | |
| CN112732080A (zh) | 一种操作指令生成方法、装置、存储介质及电子设备 | |
| CN115756275A (zh) | 截屏方法、截屏装置、电子设备及可读存储介质 | |
| CN103793053B (zh) | 一种便携式终端的手势投影方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |