CN113760083A - 操作者目光在终端设备屏幕上落点位置的确定方法及装置 - Google Patents
操作者目光在终端设备屏幕上落点位置的确定方法及装置 Download PDFInfo
- Publication number
- CN113760083A CN113760083A CN202010483284.XA CN202010483284A CN113760083A CN 113760083 A CN113760083 A CN 113760083A CN 202010483284 A CN202010483284 A CN 202010483284A CN 113760083 A CN113760083 A CN 113760083A
- Authority
- CN
- China
- Prior art keywords
- operator
- model
- screen
- terminal equipment
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004215 lattice model Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 159
- 238000010586 diagram Methods 0.000 description 69
- 230000008569 process Effects 0.000 description 16
- 210000001061 forehead Anatomy 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文提供了一种操作者目光在终端设备屏幕上落点位置的确定方法及装置，适用于终端设备控制场景，其中，方法包括：根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间；记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，以使终端设备根据该落点位置生成控制指令。本文能对终端设备的图像采集设备性能要求低，能够不受环境影响，在无需手操作的情况下，利用操作者目光实现对终端设备的精准控制。
Description
技术领域
本文涉及设备的控制方法，尤其涉及一种操作者目光在终端设备屏幕上落点位置的确定方法及装置。
背景技术
随着社会的发展，终端设备在人们生活、工作中扮演着很重要的角色，而最新终端设备的控制方式主要有电容屏幕感应控制，声音指令(语音助手)控制，基于前置摄像头的手势控制等。上述控制方式虽然都能对终端设备进行控制，但均有一定的局限性，具体体现在：
1.对于电容屏幕感应控制的方式：天气寒冷或者手被占用的情况下，会影响终端设备的控制效果；
2.对于声音指令控制的方式：在嘈杂的环境下指令识别不准确，在要求保持安静的场所不宜使用，且很多功能需要预先设置；
3.对于基于前置摄像头的手势控制：在特殊情况下，例如天气寒冷时，会影响终端设备的控制效果。
发明内容
本文用于解决现有技术中，终端设备屏幕上的落点位置及终端设备的控制是由操作者手控、声控实现的，存在受环境影响会影响用户体验的问题，例如环境太冷，使得操作者无法用手控制终端设备。
为了解决上述技术问题，本文的第一方面提供一种操作者目光在终端设备屏幕上落点位置的确定方法，包括：
根据采集的所述操作者的图像，生成包括操作者人眼模型与终端设备模型在内的虚拟空间；
记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
进一步实施例中，根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间，包括：
根据所述操作者的图像，确定所述操作者与所述终端设备的空间位置关系；
根据所述操作者与所述终端设备的空间位置关系，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间。
进一步实施例中，记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系，包括：
按预先设定的规则，控制所述虚拟空间中的所述操作者人眼模型关注所述终端设备模型屏幕的预定位置，确定所述操作者人眼模型的特征信息，建立所述终端设备屏幕的被关注位置与所述人眼模型的特征信息的对应关系；
集合所述终端设备屏幕的每一被关注位置与相应的所述人眼模型的特征信息的对应关系，得到所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。
进一步实施例中，根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，包括：
从所述对应关系中，查找所述操作者的人眼特征信息；
将查找出的所述人眼特征信息对应的所述终端设备模型屏幕的被关注位置，作为所述操作者目光在所述终端设备屏幕上的落点位置。
进一步实施例中，所述操作者人眼模型预先建立，包括：虹膜边缘曲线及眼部周围特征，所述眼部周围特征用于定位所述操作者人眼模型。
进一步实施例中，所述操作者人眼模型的确定过程包括：
在所述操作者的各面部三维点阵模型中，查找并提取所述操作者的人眼特征信息，其中，所述操作者的面部三维点阵模型由三维扫描仪预先扫描得到；
根据提取出的人眼特征信息，构造所述操作者人眼模型。
本文的第二方面提供一种终端设备控制方法，包括：
采集操作者的图像；
根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间；
记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置；
根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令。
本文的第三方面提供一种操作者目光在终端设备屏幕上落点位置的确定装置，包括：
虚拟空间构建模块，用于根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间；
人眼运动模拟模块，用于记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
操作者目标定位模块，用于根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
本文的第四方面提供一种终端设备控制装置，包括：
图像采集模块，用于采集操作者的图像；
虚拟空间构建模块，用于根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间；
人眼运动模拟模块，用于记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
操作者目标定位模块，用于根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置；
控制模块，用于根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令。
本文的第五方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一实施例所述的操作者目光在终端设备屏幕上落点位置的确定方法。
本文的第六方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行计算机程序，所述计算机程序被处理器执行时实现前述任一实施例所述的操作者目光在终端设备屏幕上落点位置的确定方法。
本文提供的操作者目光在终端设备屏幕上落点位置的确定方法及装置、终端设备控制方法、计算机设备及计算机设备存储介质，通过步骤根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间，能够在虚拟空间中模拟操作者与终端设备本身及其位置关系；通过步骤记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系，能够模拟操作者关注终端设备屏幕各位置的情况，并确定终端设备屏幕被关注位置与操作者人眼模型的特征信息之间的对应关系；通过步骤根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，能够精确地确定操作者目光在终端设备屏幕上的落点位置；通过步骤根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令，能够利用操作者目光实现对终端设备的控制。本文能够适用于普通终端设备，对终端设备的图像采集设备性能要求低，能够不受环境影响，在无需手操作的情况下，利用操作者目光实现对终端设备的精准控制。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A示出了本文实施例的操作者目光在终端设备屏幕上落点位置的确定方法的流程图；
图1B示出了本文实施例的终端设备控制方法的流程图；
图2示出了本文实施例第一矢量图的示意图；
图3示出了本文实施例操作者的三维点阵模型示意图；
图4示出了本文实施例操作者的人眼特征信息示意图；
图5示出了本文实施例操作者的三维点阵模型建立过程示意图；
图6示出了本文实施例虚拟空间生成过程的流程图；
图7及图8示出了本文实施例虚拟空间不同视角的示意图；
图9示出了本文实施例虚拟空间中操作者人眼模型模拟操作者人眼注视终端设备过程的流程图；
图10示出了本文实施例终端设备模型屏幕分区的示意图；
图11示出了本文实施例其中一第二矢量图的示意图；
图12示出了本文实施例第二矢量图重合的示意图；
图13示出了本文实施例确定操作者目光在终端设备屏幕上的落点位置的流程图；
图14示出了本文一具体实施例终端设备控制方法的流程图；
图15示出了图14的具体实施例中得到的第一矢量图与第二矢量图对比过程的示意图；
图16示出了本文实施例操作者目光在终端设备屏幕上落点位置的确定装置的结构图；
图17示出了本文实施例终端设备控制装置的结构图；
图18示出了本文实施例计算机设备的结构图。
具体实施方式
为了使本文的技术特点及效果更加明显，下面结合附图对本文的技术方案做进一步说明，本文也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本文的保护范畴。
本文所述的终端设备为具有图像采集功能及触控功能的设备，例如智能手机、PAD等，本文对终端设备具体为何不做限定，只要具有图像采集功能及触控功能的设备均属于本文所述终端设备。
如图1A所示，图1A示出了本文实施例的操作者目光在终端设备屏幕上落点位置的确定方法的流程图。本实施例用于解决现有技术中，终端设备屏幕上的落点位置的控制是由操作者手控实现的，存在受环境影响会影响用户体验的问题，例如环境太冷，使得操作者无法用手控制终端设备。
具体的，操作者目光在终端设备屏幕上落点位置的确定方法包括：
步骤110，根据采集的操作者的图像，生成包括操作者人眼模型与终端设备模型在内的虚拟空间。
详细的说，操作者的图像由终端设备上的图像采集设备(例如为摄像头)采集的。本步骤于具体实施时，还可先利用预先存储于终端设备上的人脸识别软件，识别操作者的图像，得到操作者的图像中人眼特征信息。具体实施时，为了便于存储及管理这些特征点，根据采集的操作者图像得到的操作者图像中人眼特征信息可以以矢量图的形式表示，称之为第一矢量图，如图2所示，第一矢量图200中包含人眼特征信息，其至少包括人眼虹膜边缘曲线201，为了精确地实现人眼特征信息的定位，人眼特征信息还包括眼部周围特征信息202～204，例如左右眼的外眼角202、鼻尖203、额头与头发拐角形状相接处204等，还可以包括瞳孔中心点、瞳孔中心点旁的一个点。具体的，人眼虹膜边缘曲线201可以利用虹膜边缘特征连接而成，还可以直接将操作者的图像中的虹膜边缘，用矢量曲线描边，形成人眼虹膜边缘曲线201。
操作者人眼模型用于模拟操作者的人眼运动，为操作者眼球转动至各个方向时的人眼特征信息的集合，这些人眼特征信息的集合构成人眼的三维形状及运动规律。为了避免多个信息的干扰及适用于普通终端设备，普通终端设备在本文中指图像采集设备的性能较低，例如像素低，人眼模型中的人眼特征信息为简化后的人眼特征信息。
一些实施方式中，操作者人眼模型可根据当前采集的操作者的图像和/或历史采集的操作者的图像建立，具体建立过程可参见现有技术中利用图像建立三维模型的过程，本文对此不作限定。
其它实施方式中，操作者人眼模型的确定过程包括：
S1，在操作者的各面部三维点阵模型(如图3所示)中，查找并提取操作者的人眼特征信息401，需要说明的是，提取的人眼特征401与操作者真实图像中由人脸识别软件识别出的特征相同(如图4所示，至少包括人眼虹膜边缘的点阵，将这些点阵连成曲线构成虹膜边缘曲线)，其中，操作者的各面部三维点阵模型于操作者501逐一注视标定板502的过程中，由三维扫描仪503预先扫描得到(如图5所示)。
S2，根据步骤S1中提取出的人眼特征信息，构造操作者人眼模型，即集合提取出的人眼特征信息，到的操作者人眼模型。
终端设备模型具有虚拟屏幕及虚拟摄像头，用于模拟终端设备，其尺寸比例与终端设备相同，操作者人眼模型与终端设备模型在内的虚拟空间用于模拟真实场景中的操作者、终端设备及其位置关系。
步骤120，记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。本文所述的被关注位置通常为一区域范围。
具体实施时，终端设备模型屏幕被划分为多个区域，例如为24个区域，各区域的编号不同，虚拟空间中，操作者人眼模型逐一关注终端设备模型屏幕的各个区域。
终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系可以以数据列表的形式存储于数据库中，如表一所示：
表一
| 终端设备模型屏幕区域编号 | 人眼模型关注各区域时对应的人眼模型的特征信息 |
| 1001 | A1 |
| 1002 | A2 |
| … | … |
步骤130，根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，其中，落点位置可以为屏幕上的一点，还可以为一区域范围。
操作者的图像中人眼特征信息与操作者人眼模型的特征信息相同，也就是说，当操作者图像中的人眼特征信息由于终端设备的图像采集设备的性能所限，只能提取为简化的人眼特征信息时，则操作者人眼模型的特征信息也为简化的人眼模型特征信息，该简化的人眼模型特征信息与操作者图像简化的人眼特征信息相同，例如，操作者图像中人眼特征信息包括左右眼的外眼角、鼻尖、额头与头发拐角形状相接处及人眼虹膜边缘的点阵，则人眼模型中的特征信息也包括左右眼的外眼角、鼻尖、额头与头发拐角形状相接处及人眼虹膜边缘的点阵。
本实施例适用于终端设备控制的场景，确定操作者目光在终端设备屏幕上的落点位置之后，会根据操作者目光在终端设备屏幕上的落点位置生成并响应操作指令，完成操作者对终端设备的控制，例如当识别出操作者的目光落点位置后，停留一预定时间，则触发终端设备屏幕上该位置上进行点击操作，或者触发屏幕该位置(或者区域)上的控件功能。具体实施时，还可统计操作者目光在终端设备屏幕上的落点位置的时长，根据时长的不同，则触发终端设备屏幕上该位置上进行不同的操作。
本实施例还适用于服务器端获取用户感兴趣内容的场景，确定操作者目光在终端设备屏幕上的落点位置之后，终端设备会将操作者目光在终端设备屏幕上的落点位置所对应的内容发送至相应服务器端，以便服务器端根据接收到的内容分析用户的感兴趣的内容。在其他实施例中，终端设备还可以将操作者目光在终端设备屏幕上的落点位置(或者落点位置和目光停留时间等信息)发送至相应服务器端，以便服务器端根据接收到的内容分析用户的感兴趣的内容。
当本实施例应用于终端设备控制的场景时，如图1B所示，上述步骤130之后还包括：步骤140，根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令。
当本实施例应用于服务器端获取用户感兴趣内容的场景时，上述步骤130之后还包括：将操作者目光在所述终端设备屏幕上的落点位置发送至服务端。
当然，本实施例于实施时，还可以应用于其它场景，本文对此不作限定。
本文一实施例中，如图6所示，上述步骤110根据所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间，包括：
步骤610，根据所述操作者的图像，确定所述操作者与所述终端设备的空间位置关系。
在本步骤中，例如可以采用激光定位的方式，在所述终端设备的前置摄像头设置激光测距单元，从而可以获得所述终端设备与操作者的空间位置关系。或者，还可以利用终端设备图像采集得到的操作者图像，通过对图像的分析，例如根据操作者在图像中的大小或者根据普遍操作者的臂长等，通过计算得到操作者与终端设备的空间位置关系。
步骤620，根据所述操作者与所述终端设备的空间位置关系，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间。
如图7及图8所示，虚拟空间中包括操作者人眼模型710、终端设备模型720及其之间的位置关系，用于模拟真实操作者眼睛看向终端设备屏幕的某一区域。其中，操作者人眼模型710中包括：右外眼角711，左外眼角712，鼻尖713，右侧额头与头发拐角形状相接处714，以及操作者左右眼的虹膜边缘曲线715，716。
本文一实施例中，如图9所示，上述步骤120记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系，包括：
步骤910，按预先设定的规则，控制所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕的预定位置，确定所述操作者人眼模型的特征信息，建立所述终端设备屏幕的被关注位置与所述人眼模型的特征信息的对应关系。
为了保证终端设备模型中的每一位置均被操作者人眼模型关注到，实施时，如图10所示，会将终端设备模型屏幕划分为多个区域，例如为24个区域，1001～1024区域的具体个数视屏幕大小及触控范围而定，每一区域均有唯一的编号，通常情况下，是按从左至右、从上至下的顺序编号区域。本步骤具体操作时，按各区域的编号，控制虚拟空间中所述操作者人眼模型关注终端设备模型屏幕中相应编号的区域。
本步骤中，确定操作者人眼模型的特征信息的过程包括：当虚拟空间中操作者人眼模型关注终端设备模型屏幕的一位置时，终端设备模型上的虚拟摄像头(用于模拟真实终端设备上的图像采集设备)采集操作者人眼模型的图像，该图像可作为操作者人眼模型的特征信息，称之为第二矢量图，其中，第二矢量图与第一矢量图的格式相同。并且，针对于终端设备模型屏幕划分为多个区域(24个)，模拟拍摄得到24张第二矢量图，也就是说第二矢量图的个数与终端设备模型屏幕划分的区域个数相同。第二矢量图的渲染成像规则与终端设备的图像采集设备的成像规则保持一致。因为模仿拍摄，渲染的焦距未必与真实终端设备的图像采集设备一致，且真实终端设备的图像采集设备拍摄出图像中，图像边缘成像带有被拉伸的效果，例如拍摄人物的图像中图像边缘的人会显得更胖。因此，只有将终端设备模型模仿拍摄包括焦距、图像边缘被拉伸的效果等成像规则调整到与真实终端设备的图像采集设备焦距、图像边缘被拉伸的效果等成像规则一致，才能更准确地分析操作者目光在终端设备屏幕上的落点位置，以便更准确的控制终端设备。其中，真实终端设备的图像采集设备的焦距可以根据前述拍摄得到的人物图像中获得，或者从终端设备的图像采集设备拍摄所述人物图像时的设置参数获得，其他的拍摄人物图像时的图像采集设备的设置参数均可以从终端设备获取或者从拍摄得到的人物图像中获取，并采用这些成像参数来配置终端设备模型上的虚拟摄像头的参数，从而可以使得终端设备模型上的虚拟摄像头的成像规则与真实终端设备的图像采集设备的成像规则一致，得到与真实终端设备的图像采集设备采集到的人物图像相似度极高的人眼模型的图像。
一具体实施中，如图11所示，第二矢量图包括右外眼角1101，左外眼角1102，鼻尖1103，右侧额头与头发拐角形状相接处1104，以及操作者左右眼的虹膜边缘曲线1105，1106。若终端设备模型屏幕被划分为24个区域，那么将会得到24个第二矢量图(第二矢量图的编号分别为1502～1525)，24个第二矢量图重合后的效果如图12所示。
步骤920，集合所述终端设备屏幕的每一被关注位置与相应的所述人眼模型的特征信息的对应关系，得到所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。
本文一实施例中，如图13所示，上述步骤130根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，包括：
步骤1310，从步骤920确定出的终端设备模型屏幕不同的被关注位置与操作者人眼模型的特征信息的对应关系中，查找操作者的人眼特征信息。
步骤1320，将查找出的人眼特征信息对应的终端设备模型屏幕的被关注位置，作为操作者目光在终端设备屏幕上的落点位置。
为了更清楚说明本文技术方案，下面以利用操作者目光对终端设备进行控制为例进行详细说明。如图14及图15所示，终端设备控制方法包括：
步骤1410，终端设备前置的摄像头采集操作者图像。
步骤1420，利用终端设备预先存储的人脸识别软件对操作者图像进行识别，得到操作者的人眼特征信息，根据操作者的人眼特征信息渲染得到第一矢量图1501。其中，操作者的人眼特征信息包括左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处及虹膜边缘曲线。
步骤1430，根据操作者的人眼特征信息，确定人眼特征像素处射入终端设备前置摄像头镜头的光线与终端设备前置摄像头镜头法线之间的角度，该角度用于表示操作者与终端设备的位置关系。
步骤1440，根据步骤1430得出的角度，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间，用于模拟操作者与终端设备的位置关系。
步骤1450，控制虚拟空间中操作者人眼模型逐一关注终端设备模型屏幕的预定位置，确定包含操作者人眼模型的特征信息的第二矢量图1502～1525，建立终端设备屏幕的被关注位置与第二矢量图1502～1525的对应关系，如表二所示。其中，操作者人眼模型的特征信息包括左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处及虹膜边缘曲线。
表二：
| 终端设备屏幕的被关注位置编号 | 第二矢量图 |
| 1001 | 第二矢量图1502 |
| 1002 | 第二矢量图1503 |
| … | … |
步骤1460，比对第一矢量图1501及第二矢量图1502～1525，找出与第一矢量图1501最相似的第二矢量图，本实施例中，第二矢量图1505与第一矢量图最相似，则将第二矢量图1505对应的终端设备屏幕的被关注位置作为操作者目光在终端设备屏幕上的落点位置。
第一矢量图与任一第二矢量图对比的过程包括：
(1)先对比第一矢量图与第二矢量图中的左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处，因终端设备模型与操作者人眼模型的空间位置关系与现实中终端设备与操作者之间存在误差，因此，第一矢量图1501中的左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处不能与第二矢量图1502～1525中的左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处完全重合，因此，本步骤于具体实施时，只需保证第二矢量图的左眼角与第一矢量图中的左眼角的距离a，第二矢量图的右眼角与第一矢量图中的右眼角的距离b，第二矢量图的鼻尖与第一矢量图的鼻尖的距离c，第二矢量图的额头与第一矢量图的额头的距离d，这四个距离abcd尽量相等(差值在预定范围内)，就认为第一矢量图与第二矢量图中的左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处相匹配。
(2)第一矢量图与第二矢量图中的左外眼角、右外眼角、鼻尖、右侧额头与头发拐角形状相接处匹配上之后，然后对比第一矢量图与第二矢量图中的虹膜边缘曲线(包括对比虹膜边缘曲线形状及位置)，若第一矢量图与第二矢量图中的虹膜边缘曲线形状及位置相似，则认为第一矢量图与第二矢量图最相似。
具体实施时，若第二矢量图1502～1525中，只有一个第二矢量图中的虹膜边缘曲线与第一矢量图中虹膜边缘曲线位置及形状相似，则将该第二矢量图所对应的终端设备模型屏幕的区域，作为操作者目光在终端设备屏幕上的落点位置。
若第二矢量图1502～1525中，有两个之上的第二矢量图中的虹膜边缘曲线与第一矢量图中虹膜边缘曲线位置及形状相似，则说明操作者的目光落在相邻的两个之上屏幕区域之间，则返回步骤1450中，将操作者落入的屏幕区域进一步细分并编号，继续执行步骤1450及其之后的步骤。
步骤1470，根据操作者在终端设备屏幕上的落点位置，生成操作指令，终端设备运行操作指令完成操作者对终端设备的控制。
本实施例提供的终端设备控制方法适用于普通终端设备，对终端设备的图像采集设备性能要求低，能够不受环境影响，在无需手操作的情况下，利用操作者目光实现对终端设备的精准控制。
基于同一发明构思，本文还提供一种操作者目光在终端设备屏幕上落点位置的确定装置，如下面的实施例所述。由于该装置解决问题的原理与操作者目光在终端设备屏幕上落点位置的确定方法相似，因此该装置的实施可以参见操作者目光在终端设备屏幕上落点位置的确定方法的实施，重复之处不再赘述。
如图16所示，操作者目光在终端设备屏幕上落点位置的确定装置包括：
虚拟空间构建模块1610，用于根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间。
人眼运动模拟模块1620，用于记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。
操作者目标定位模块1630，用于根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
本文一实施例中，如图17所示，还提供一种终端设备控制装置，包括：
图像采集模块1710，用于采集操作者的图像。
虚拟空间构建模块1720，用于根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间。
人眼运动模拟模块1730，用于记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。
操作者目标定位模块1740，用于根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
控制模块1750，用于根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令。
本实施例提供的终端设备控制装置，以软件或硬件的方式设置于终端设备上，能够不受环境影响，在无需手操作的情况下，利用操作者目光实现对终端设备的精准控制。
本文一实施例中，还提供一种计算机设备，如图18所示，计算机设备1802可以包括一个或多个处理器1804，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1802还可以包括任何存储器1806，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1806可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1802的固定或可移除部件。存储器1806上存储有可在处理器1804上运行的计算机程序，处理器1804执行计算机程序时实现前述任一实施例所述的操作者目光在终端设备屏幕上落点位置的确定方法或终端设备控制方法。在一种情况下，当处理器1804执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1802可以执行相关联指令的任一操作。计算机设备1802还包括用于与任何存储器交互的一个或多个驱动机构1808，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1802还可以包括输入/输出模块1810(I/O)，其用于接收各种输入(经由输入设备1812)和用于提供各种输出(经由输出设备1814))。一个具体输出机构可以包括呈现设备1816和相关联的图形用户接口(GUI)1818。在其他实施例中，还可以不包括输入/输出模块1810(I/O)、输入设备1812以及输出设备1814，仅作为网络中的一台计算机设备。计算机设备1802还可以包括一个或多个网络接口1820，其用于经由一个或多个通信链路1822与其他设备交换数据。一个或多个通信总线1824将上文所描述的部件耦合在一起。
通信链路1822可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1822可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一实施例所述的操作者目光在终端设备屏幕上落点位置的确定方法。
本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行上述任一实施例所述的操作者目光在终端设备屏幕上落点位置的确定方法。
本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一实施例所述的终端设备控制方法。
本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行上述任一实施例所述的终端设备控制方法。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。
Claims (10)
1.一种操作者目光在终端设备屏幕上落点位置的确定方法，其特征在于，包括：
根据采集的所述操作者的图像，生成包括操作者人眼模型与终端设备模型在内的虚拟空间；
记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
2.如权利要求1所述的方法，其特征在于，根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间，包括：
根据所述操作者的图像，确定所述操作者与所述终端设备的空间位置关系；
根据所述操作者与所述终端设备的空间位置关系，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间。
3.如权利要求1所述的方法，其特征在于，记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系，包括：
按预先设定的规则，控制所述虚拟空间中的所述操作者人眼模型关注所述终端设备模型屏幕的预定位置，确定所述操作者人眼模型的特征信息，建立所述终端设备屏幕的被关注位置与所述人眼模型的特征信息的对应关系；
集合所述终端设备屏幕的每一被关注位置与相应的所述人眼模型的特征信息的对应关系，得到所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系。
4.如权利要求1所述的方法，其特征在于，根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置，包括：
从所述对应关系中，查找所述操作者的人眼特征信息；
将查找出的所述人眼特征信息对应的所述终端设备模型屏幕的被关注位置，作为所述操作者目光在所述终端设备屏幕上的落点位置。
5.如权利要求1所述的方法，其特征在于，所述操作者人眼模型预先建立，包括：虹膜边缘曲线及眼部周围特征，所述眼部周围特征用于定位所述操作者人眼模型。
6.如权利要求1所述的方法，其特征在于，所述操作者的人眼模型通过如下步骤预先确定：
在所述操作者的各面部三维点阵模型中，查找并提取所述操作者的人眼特征信息，其中，所述操作者的面部三维点阵模型由三维扫描仪预先扫描得到；
根据提取出的人眼特征信息，构造所述操作者的人眼模型。
7.一种终端设备控制方法，其特征在于，包括：
利用权利要求1至6中任一项所述的方法，确定所述操作者目光在所述终端设备屏幕上的落点位置；
根据所述操作者目光在所述终端设备屏幕上的落点位置，生成所述终端设备的操作指令。
8.一种操作者目光在终端设备屏幕上落点位置的确定装置，其特征在于，包括：
虚拟空间构建模块，用于根据采集的所述操作者的图像，生成包括所述操作者人眼模型与终端设备模型在内的虚拟空间；
人眼运动模拟模块，用于记录在所述虚拟空间中所述操作者人眼模型关注所述终端设备模型屏幕时，所述终端设备模型屏幕不同的被关注位置与所述操作者人眼模型的特征信息的对应关系；
操作者目标定位模块，用于根据所述操作者的图像中人眼特征信息与所述对应关系，确定所述操作者目光在所述终端设备屏幕上的落点位置。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的操作者目光在终端设备屏幕上落点位置的确定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的操作者目光在终端设备屏幕上落点位置的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010483284.XA CN113760083A (zh) | 2020-06-01 | 2020-06-01 | 操作者目光在终端设备屏幕上落点位置的确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010483284.XA CN113760083A (zh) | 2020-06-01 | 2020-06-01 | 操作者目光在终端设备屏幕上落点位置的确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760083A true CN113760083A (zh) | 2021-12-07 |
Family
ID=78782539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010483284.XA Pending CN113760083A (zh) | 2020-06-01 | 2020-06-01 | 操作者目光在终端设备屏幕上落点位置的确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760083A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092990A (ja) * | 1999-09-20 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体 |
| JP2008102902A (ja) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| US20110018862A1 (en) * | 2009-07-22 | 2011-01-27 | Imagemovers Digital Llc | Gaze Intent Estimation for Retargeting of Characters |
| CN103347437A (zh) * | 2011-02-09 | 2013-10-09 | 普莱姆森斯有限公司 | 3d映射环境中的凝视检测 |
| CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN108171152A (zh) * | 2017-12-26 | 2018-06-15 | 深圳大学 | 深度学习人眼视线估计方法、设备、系统及可读存储介质 |
| CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
| CN109829981A (zh) * | 2019-02-16 | 2019-05-31 | 深圳市未来感知科技有限公司 | 三维场景呈现方法、装置、设备及存储介质 |
| CN110794963A (zh) * | 2019-10-18 | 2020-02-14 | 天津理工大学 | 基于深度相机的眼控辅助输入方法 |
| CN111198611A (zh) * | 2018-11-19 | 2020-05-26 | 中兴通讯股份有限公司 | 确定视线落点的方法、终端以及计算机可读存储介质 |
-
2020
- 2020-06-01 CN CN202010483284.XA patent/CN113760083A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092990A (ja) * | 1999-09-20 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体 |
| JP2008102902A (ja) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| US20110018862A1 (en) * | 2009-07-22 | 2011-01-27 | Imagemovers Digital Llc | Gaze Intent Estimation for Retargeting of Characters |
| CN103347437A (zh) * | 2011-02-09 | 2013-10-09 | 普莱姆森斯有限公司 | 3d映射环境中的凝视检测 |
| CN104834381A (zh) * | 2015-05-15 | 2015-08-12 | 中国科学院深圳先进技术研究院 | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 |
| CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| CN108171152A (zh) * | 2017-12-26 | 2018-06-15 | 深圳大学 | 深度学习人眼视线估计方法、设备、系统及可读存储介质 |
| CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
| CN111198611A (zh) * | 2018-11-19 | 2020-05-26 | 中兴通讯股份有限公司 | 确定视线落点的方法、终端以及计算机可读存储介质 |
| CN109829981A (zh) * | 2019-02-16 | 2019-05-31 | 深圳市未来感知科技有限公司 | 三维场景呈现方法、装置、设备及存储介质 |
| CN110794963A (zh) * | 2019-10-18 | 2020-02-14 | 天津理工大学 | 基于深度相机的眼控辅助输入方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200753B2 (en) | Virtual try-on systems and methods for spectacles | |
| TWI751161B (zh) | 終端設備、智慧型手機、基於臉部識別的認證方法和系統 | |
| EP3285635B1 (en) | Systems and methods for determining distance from an object | |
| Sieberth et al. | Applying virtual reality in forensics–a virtual scene walkthrough | |
| WO2021135627A1 (zh) | 一种目标物的三维模型构建方法和相关装置 | |
| CN108012559A (zh) | 自动三维模型生成 | |
| JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| US20170169501A1 (en) | Method and system for evaluating fitness between wearer and eyeglasses | |
| JP6207210B2 (ja) | 情報処理装置およびその方法 | |
| CN102332091A (zh) | 摄像装置及其控制方法、拍摄支持系统及个体评价方法 | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| CN111667588A (zh) | 人物图像处理方法、装置、ar设备以及存储介质 | |
| JP2021144752A (ja) | 撮像装置、撮像装置の制御方法、および、プログラム | |
| Sengan et al. | Cost-effective and efficient 3D human model creation and re-identification application for human digital twins | |
| JP2020140630A (ja) | 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体 | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN111444928A (zh) | 关键点检测的方法、装置、电子设备及存储介质 | |
| CN106461982B (zh) | 用于确定至少一个行为参数的方法 | |
| JP6876312B1 (ja) | 学習モデル生成方法、コンピュータプログラム及び情報処理装置 | |
| CN110647790A (zh) | 注视信息的确定方法及装置 | |
| CN107659772A (zh) | 3d图像生成方法、装置及电子设备 | |
| CN113760083A (zh) | 操作者目光在终端设备屏幕上落点位置的确定方法及装置 | |
| JP2019113959A (ja) | 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム | |
| RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя | |
| CN114299598A (zh) | 确定注视位置的方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |