CN112651270A - 一种注视信息确定方法、装置、终端设备及展示对象 - Google Patents

一种注视信息确定方法、装置、终端设备及展示对象 Download PDF

Info

Publication number
CN112651270A
CN112651270A CN201910969422.2A CN201910969422A CN112651270A CN 112651270 A CN112651270 A CN 112651270A CN 201910969422 A CN201910969422 A CN 201910969422A CN 112651270 A CN112651270 A CN 112651270A
Authority
CN
China
Prior art keywords
information
marker
analyzed
markers
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910969422.2A
Other languages
English (en)
Other versions
CN112651270B (zh
Inventor
苑屹
王云飞
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910969422.2A priority Critical patent/CN112651270B/zh
Publication of CN112651270A publication Critical patent/CN112651270A/zh
Application granted granted Critical
Publication of CN112651270B publication Critical patent/CN112651270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种注视信息确定方法、装置、终端设备及展示对象。所述方法包括：获取前景图像和用户在前景图像上的原始注视信息；根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。利用该方法，能够实现对目标注视信息的自动确定，提升确定目标注视信息的效率。

Description

一种注视信息确定方法、装置、终端设备及展示对象
技术领域
本发明实施例涉及眼动追踪技术领域，尤其涉及一种注视信息确定方法、装置、终端设备及展示对象。
背景技术
随着计算机视觉、人工智能技术和数字化技术的迅速发展，眼动追踪技术已成为当前热点研究领域，在人机交互领域有着广泛的应用。眼动追踪，也称为视线追踪，是通过测量眼睛运动情况得到眼动数据，然后通过眼动数据来估计眼睛的注视信息的技术，注视信息包括视线和/或注视点。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。
目前，在对眼动数据分析时，采集到眼动数据后(前景视野的视频流以及对应的眼动数据流)，需要人工标定眼动数据在待分析对象上的目标注视信息，且随着时间推移、用户视角的改变、用户运动状态的改变等该标定工作需要多次执行。从而在确定用户在待分析对象上的目标注视信息时，需要花费大量人力进行人工标定，确定目标注视信息的效率低。
发明内容
本发明实施例提供了一种注视信息确定方法、装置、终端设备及展示对象，以实现对目标注视信息的自动确定，提升确定目标注视信息的效率。
第一方面，本发明实施例提供了一种注视信息确定方法，包括：
获取前景图像和用户在所述前景图像上的原始注视信息；
根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
可选的，满足预设条件的标志物，包括：
至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
可选的，所述根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，包括：
根据所述原始注视信息，从所述前景图像选取识别标志物。
可选的，根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，包括：
根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物；
根据选取的识别标志物，确定剩余待选取的标志物，所述剩余待选取的标志物包括所述前景图像中所述待分析对象的定位标志物；所述定位标志物用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
可选的，所述根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物，包括：
逐一确定所述前景图像所包括的识别标志物的第一相对位置信息和所述前景图像所包括的识别标志物所标识的展示物，所述第一相对位置信息为对应的识别标志物相对于对应的识别标志物所标识的展示物的相对位置信息；
逐一确定所述前景图像所包括的识别标志物相对于所述原始注视信息的第二相对位置信息；
从所述前景图像所包括的识别标志物中选取目标识别标志物作为满足预设位置条件的识别标志物；其中，所述目标识别标志物的第一相对位置信息和第二相对位置信息满足预设关系且所述目标识别标志物所标识的展示物与已排除的识别标志物所标识的展示物不同，所述已排除的识别标志物的第一相对位置信息和第二相对位置信息不满足预设关系，所述预设关系包括相同。
可选的，所述根据选取的识别标志物，确定剩余待选取的标志物，包括：
逐一确定选取的识别标志物的第三相对位置信息，所述第三相对位置信息为对应的识别标志物所标识展示物设置的标志物间的相对位置信息；
根据各所述第三相对位置信息和选取的识别标志物的第一相对位置信息，从所述前景图像中选取剩余待选取的标志物。
可选的，所述根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息，包括：
获取选取的标志物在所述待分析对象所在坐标系下的实际位置信息；
基于选取的标志物的图像位置信息和各所述实际位置信息，确定所述前景图像与所述待分析对象的空间关系信息；
基于所述空间关系信息，将所述原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
第二方面，本发明实施例还提供了一种注视信息确定装置，包括：
获取模块，用于获取前景图像和用户在前景图像上的原始注视信息；
选取模块，用于根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
转换模块，用于根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
第三方面，本发明实施例还提供了一种终端设备，前景采集装置和眼动模块，还包括：
分别与所述前景采集装置和所述眼动模块相连的一个或多个处理器；
所述前景采集装置，用于获取前景图像；
所述眼动模块，用于获取用户在所述前景图像上的原始注视信息；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的注视信息确定方法。
可选的，该终端设备，还包括：数据传输装置，所述数据传输装置用于将目标信息传输至服务器，以供所述服务器将至少一个终端设备传输的目标注视信息进行融合处理，所述目标信息包括目标注视信息。
第四方面，本发明实施例还提供了一种展示对象，包括：标志物和展示物，所述标志物设置在所述展示物的设定位置处，所述展示对象供本发明实施例所述的终端设备进行注视信息分析使用。
可选的，所述展示物设置有标志物，所述标志物包括编码形成的识别标志物，所述识别标志物用于标识所述展示物，所述识别标志物还用于供所述终端设备识别确定第一相对位置信息和/或第三相对位置信息，以将原始注视信息转换至所述展示物所在坐标系下，所述识别标志物包含有所标识展示物的部署信息和标识信息。
可选的，所述标志物还包括定位标志物，以使所述终端设备根据前景图像中所包括定位标志物确定所述前景图像所包括定位标志物的图像位置信息。
可选的，每个定位标志物间的步长根据所述终端设备在正常使用距离下前景采集装置的采集范围和所述展示物的尺寸确定。
第五方面，本发明实施例还提供了一种注视信息融合系统，包括终端设备、展示对象和服务器，所述终端设备执行如本发明实施例所述的注视信息确定方法；
所述服务器，用于接收所述终端设备传输的目标信息，并基于至少一个终端设备传输的目标信息进行目标注视信息的融合，所述目标信息包括目标注视信息。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的注视信息确定方法。
本发明实施例提供了一种注视信息确定方法、装置、终端设备及展示对象，首先获取前景图像和用户在前景图像上的原始注视信息；然后根据所述原始注视信息从所述前景图像选取满足预设条件的标志物；最后根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。利用上述技术方案，能够自动确定原始注视信息在待分析对象所在坐标系上的目标注视信息，提升了确定目标注视信息的效率。
附图说明
图1为本发明实施例一提供的一种注视信息确定方法的流程示意图；
图2a为本发明实施例二提供的一种注视信息确定方法的流程示意图；
图2b为本发明实施例二提供的部署流程示意图；
图2c为本发明实施例二提供的目标注视信息确定的流程示意图；
图3为本发明实施例三提供的一种注视信息确定装置的结构示意图；
图4为本发明实施例四提供的一种终端设备的结构示意图；
图5为本发明实施例五提供的一种展示对象的示意图；
图6为本发明实施例提供的一种注视信息融合系统。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种注视信息确定方法的流程示意图，该方法可适用于确定原始注视信息在待分析对象所在坐标系上的目标注视信息的情况，该方法可以由注视信息确定装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：增强现实(Augmented Reality，AR)设备，如眼镜设备和AR眼动设备等。
本实施例可应用至眼动追踪领域，目前，进行眼动追踪广泛应用的是光学记录法：用照相机或摄像机记录被试者，即用户的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征，如眼动数据用于建立视线/注视点估计的模型。其中，眼部特征可以包括但不限于：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。
在光学记录法中，目前主流的眼球追踪方法称为瞳孔-角膜反射法。
除了光学记录法外，还有其他的获取实现追踪的方法，包括但不限于以下方式：
1.眼球追踪装置可以是MEMS微机电系统，例如包括MEMS红外扫描反射镜、红外光源、红外接收器。
2.在其他另一个实施例中，眼球追踪装置还可以是接触/非接触式的传感器(例如电极、电容传感器)，其通过眼球与电容极板之间的电容值来检测眼球运动。
3.在其他又一个实施例中，眼球追踪装置还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。
其中，瞳孔-角膜反射法的工作原理可以概括为：获取眼部图像；根据眼部图像估计视线/注视点。
瞳孔-角膜反射法的硬件要求可以为：
(1)光源：一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；
(2)图像采集设备：例如红外摄像设备、红外图像传感器、照相机或摄像机等。
瞳孔-角膜反射法的具体实施可以为：
Part 1.眼部图像获取：
光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。
Part 2.视线/注视点估计：
随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。
目前，对于终端设备，如多眼动设备(即AR眼动眼镜)、多展示对象(包括广告机、展览品、海报、货架等)的复杂应用场景，将不同眼动设备的数据能够投射到对应的待分析对象上，从而简化其单人数据合并以及多人数据整合的过程，进而提高分析效率。
在对眼动数据分析时，需要人工对待分析对象进行标定，并且随着时间推移、用户视角的改变和用户运动状态的改变，该标定工作需要多次执行，人力成本较大。然而，该过程是一个单人眼动数据分析前的处理过程，对于多人眼动数据，该工作量还要乘上人数。且一般的不同人所在的位置是不一样的，将他们的数据精确的融合对于之前的标定工作的精度要求就非常的高。
目前，存在一些对多用户标定工作量简化的方案，这些方案大多都是通过对已标定物的追踪来减少单人标定时所需标定次数，通过一些图像的特性来进行数据匹配，从而对多人数据标定工作量进行简化。
从上述描述方案中可以看出，目前进行目标注视信息确定时，要么花费大量精力进行精确人工标定；要么使用一些基于图像特性的方式来减少工作量，但同时会增大数据误差，可能导致最终得到的目标注视信息的价值变小。
而本发明提供的方案能够极大的降低上述工作的工作量同时保证其数据的精度，因为本发明工作时提供的数据是根据实时识别的待分析对象的信息进行转换的，所以其在数据运算完成时就是位于待分析目标上的，也就不需要进行对该目标的标定，包括不同时间段和不同人的标定，进而减少工作量。
具体的，如图1所示，本发明实施例一提供的一种注视信息确定方法，包括如下步骤：
S110、获取前景图像和用户在所述前景图像上的原始注视信息。
在本实施例中，该方法可以集成在终端设备上，为完成对注视信息的确定，终端设备可以具备如下特性：
1.应拥有至少1个前景摄像头用于拍摄用户的真实视野，即前景图像；
2.应拥有至少1个眼动模块用于获取用户的原始注视信息(示例性的，一个眼动模块包括一组灯环和相对灯环位置已知的相机)；若包括两个眼动模块，则可以将两个眼动模块布设在用户左眼和右眼位置处，或布设在单眼不同位置处。
3.应具备实时的无线数据传输功能以便能够将获取得到的目标信息(如眼动信息和/或目标注视信息)传输到云端进行数据处理。
前景图像可以是对展示对象群进行注视信息分析时获取，所述展示对象群包括至少一个展示对象。前景图像可以为终端设备前景摄像头获取的图像。原始注视信息可以为用户在前景图像内的注视信息。该原始注视信息可以通过终端设备的眼动模块获取。原始注视信息可以包括视线和/或注视点。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。
S120、根据所述原始注视信息从所述前景图像选取满足预设条件的标志物。
所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物。
可以理解的是，本实施例的场景可以为多终端设备和多展示对象的场景下，确定多终端设备在各自对应的待分析对象上的目标注视信息。待分析对象可以为佩戴终端设备的用户当前注视的展示对象。
由于本实施例场景中可以包括多个待分析对象，多个可以为至少一个。故获取前景图像和原始注视信息后，本步骤可以基于原始注视信息从对应的前景图像中选取满足预设条件的标志物，以实现对注视信息的转换，即得到原始注视信息在对应该原始注视信息的待分析对象上的目标注视信息。
需要注意的是，本实施例场景中的展示对象可以包括标志物和展示物，所述标志物设置在所述展示物的设定位置处。如设置在展示物的外围，以用于对展示物进行标识和/或用于将原始注视信息转换至待分析对象所在坐标系下，得到目标注视信息。
具体的，该标志物可以包括定位标志物和识别标志物；或仅包括识别标志物，其中识别标志物，即识别用标志物，可以用于标识所述展示物，所述识别标志物还可以用于供所述终端设备确定目标注视信息使用，即用于将所述原始注视信息转换至所述待分析对象所在坐标系下。识别标志物中可以包含有所标识展示物的部署信息，还可以包括标识信息，标识信息用于表示所述识别标志物所标识的展示物，用于与其他展示物进行区分。对识别标志物进行识别可以获取相应的部署信息。该部署信息可以表示各标志物的第一相关性信息及各标志物与所标识展示物间的第二相关信息。第一相关性信息包括但不限于：该识别标志物的序号信息、该识别标志物在所标识展示物内的坐标信息、其余标志物在所标识展示物内的坐标信息、所标识展示物的尺寸、定位标志物间的步长、第三相对位置信息、所标识展示物的图像，如正拍图像及所标识展示物的感兴趣区域(region of interest，ROI)。另外，识别标志物可以就是一个标识，对该识别标志物进行识别，确定其标识，然后从云端获取部署信息。第二相关信息包括第一相对位置信息。每个识别标志物均可以存在对应的第一相对位置信息，所述第一相对位置信息为对应的识别标志物相对于所述对应的识别标志物所标识的展示物的相对位置信息。
定位标志物，即定位用标志物，可以用于将所述原始注视信息转换至所述待分析对象所在坐标系下。该定位标志物可以被图像算法定位。
在用户注视待分析对象时，在前景图像中可以包括定位标志物和识别标志物；或仅包括识别标识物。故本步骤基于原始注视信息从前景图像中选取满足预设条件的标志物，以基于选取出的标志物和原始注视信息确定对应的目标注视信息。
其中，预设条件此处不作限定，可以按照实际需求进行设定，只要能够保证选取出的标志物能够实现将原始注视信息进行坐标转换，得到目标注视信息即可，但是至少要包括一个识别标志物。如一种预设条件可以设定为：选取出的标志物个数为至少三个，当存在位于待分析对象水平方向的标志物和位于待分析对象竖直方向的标志物，并且所选取出的标志物中包括至少一个识别标志物的情况下，满足预设条件。又如，另一种预设条件可以设定为：选取出的标志物个数为至少四个，当存在至少两个位于待分析对象竖直方向的标志物和至少两个位于待分析对象水平方向的标志物，且所选取出的标志物中包括至少一个识别标志物的情况下，满足预设条件。当然，预设条件也可以设定为：选取的标志物个数为一个或者两个。
需要注意的是，根据预设条件的不同，所选取的标志物的个数也不同，所选取的标志物越多确定目标注视信息的准确度越高。在从前景图像中选取满足预设条件的标志物时，可以选取出位于前景图像中的待分析对象的全部标志物。
示例性的，从前景图像中选取满足预设条件的标志物时，可以首先从前景图像中选取该待分析对象的全部识别标志物，然后根据选取出的识别标志物从前景图像中选取该待分析对象的全部定位标志物；还可以先从前景图像中选取一个识别标志物，然后基于该识别标志物从前景图像中选取该待分析对象剩余的标志物。
如果没有选取出满足预设条件的标志物，则可以不确定该原始注视信息在待分析对象所在坐标系下的目标注视信息。
S130、根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
选取出标志物后，可以基于该标志物的图像位置信息和在待分析对象所在坐标系下的实际位置信息，将原始注视信息进行坐标转换，得到用户在所述待分析对象所在坐标系上的目标注视信息。
具体的，基于选取出的标志物的图像位置信息和实际位置信息，确定当前前景朝向与待分析对象所在坐标系的空间关系，即旋转和平移关系。然后基于确定出的旋转和平移关系，确定原始注视信息在待分析对象所在坐标系上的目标注视信息。
其中，目标注视信息可以理解为原始注视信息在待分析对象所在坐标系上的注视信息。图像位置信息可以理解为前景图像中的位置信息。实际位置信息可以理解为在待分析对象所在坐标系上的位置信息。
确定出原始注视信息在待分析对象所在坐标系上的目标注视信息后，可以将该目标注视信息上传至云端进行数据融合，以得到精确的多人眼动数据集，即汇总多个终端设备在至少一个展示对象上的目标注视信息。
本发明实施例一提供的一种注视信息确定方法，首先获取前景图像和用户在前景图像上的原始注视信息；然后根据所述原始注视信息从所述前景图像选取满足预设条件的标志物；最后根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。利用该方法，能够自动确定原始注视信息在待分析对象所在坐标系上的目标注视信息，提升了确定目标注视信息的效率。
进一步地，满足预设条件的标志物，包括：至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
可以理解的是，本示例在从前景图像中选取满足条件的标志物时，可以从前景图像中选取至少一个识别标志物。选取的识别标志物的数量不作限定，本领域技术人员可以根据坐标转换需求确定所选取的识别标志物的数量，如从前景图像中选取一个、两个、三个或四个识别标志物。该识别标志物用于识别确定待分析对象，从而实现坐标转换。
在一个实施例中，根据原始注视信息从前景图像选取满足预设条件的标志物，包括：根据原始注视信息，从前景图像选取识别标志物。
可以理解的是，本示例中可以根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物。本示例中仅从前景图像中选取识别标志物。选取出的识别标志物的个数可以为至少一个，也可以选取前景图像中所有满足预设位置条件的识别标志物。选取的识别标志物的个数越多，确定出的目标注视信息越准确。
选取出的识别标志物可以为用户注视的待分析对象的识别标志物。本示例中可以将满足预设位置条件的识别标志物确定为待分析对象的识别标志物。
其中，根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物，包括：
逐一确定所述前景图像所包括的识别标志物的第一相对位置信息和所述前景图像所包括的识别标志物所标识的展示物，所述第一相对位置信息为对应的识别标志物相对于对应的识别标志物所标识的展示物的相对位置信息；
逐一确定所述前景图像所包括的识别标志物相对于所述原始注视信息的第二相对位置信息；
从所述前景图像所包括的识别标志物中选取目标识别标志物作为满足预设位置条件的识别标志物；其中，所述目标识别标志物的第一相对位置信息和第二相对位置信息满足预设关系且所述目标识别标志物所标识的展示物与已排除的识别标志物所标识的展示物不同，所述已排除的识别标志物的第一相对位置信息和第二相对位置信息不满足预设关系，所述预设关系包括相同。
在一个示例中，满足预设条件的标志物，包括：至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
本实施例在确定满足预设条件的标志物时，可以首先从前景图像中选取识别标志物，再选取定位标志物。本示例中增加选取定位标志物能够实现更加精确的定位。
需要注意的是，本示例中选取识别标志物是必要步骤的而定位标志物的选取是可选的，另外选取出的识别标志物的个数和定位标志物的个数不作限定可以根据进行坐标转换时所需的定位标志物和识别标志物的个数确定；也可以为至少一个，如一个、两个、三个或四个。
本发明中进行坐标转换可以认为是将图像坐标系下的原始注视信息转换至待分析对象实体所构建的坐标系下。
可选的，预设条件的标志物还可以为至少两个位于待分析对象竖直方向的标志物和至少两个位于待分析对象水平方向的标志物，且所选取的标志物中包含至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。示例性的，识别标志物用于识别确定所述待分析对象的具体手段不作限定，可以根据识别标识物的编码方式确定。识别标志物可以由如下之一编码形成：二维码、产品编号和识别编号。
此处不对识别标志物的编码方式进行限定，只要能够解析该识别标志物确定对应的部署信息和所标识的展示物即可，如识别标志物为二维码。通过解析识别标志物可以确定其所标识的待分析对象。具体的，解析识别标识物后可以至少得到待分析对象的如下至少之一特征：名称、尺寸、编号、展示内容、产品特征、作者，从而确定该识别标志物所标识的待分析对象。进一步可以根据识别标志物包含的部署信息实现将原始注视信息转换至待分析对象所在坐标系上。
需要注意的是，解析识别标志物确定对应的部署信息可以在解析识别标志物后直接确定对应的部署信息，也可以解析识别标志物，得到该识别标志物的标识，然后基于该标识从服务器远程获取该识别标志物对应的部署信息。
实施例二
图2a为本发明实施例二提供的一种注视信息确定方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，具体包括：
根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物；
根据选取的识别标志物，确定剩余待选取的标志物，所述剩余待选取的标志物包括所述前景图像中所述待分析对象的定位标志物；所述定位标志物用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
进一步地，本实施例还将根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息，具体包括：
获取选取的标志物在所述待分析对象所在坐标系下的实际位置信息；
基于选取的标志物的图像位置信息和各所述实际位置信息，确定所述前景图像与所述待分析对象的空间关系信息；
基于所述空间关系信息，将所述原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
本实施例尚未详尽的内容请参考实施例一。
如图2a所示，本发明实施例二提供的一种注视信息确定方法，包括如下步骤：
S210、获取前景图像和用户在所述前景图像上的原始注视信息。
S220、根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物。
本实施例在从前景图像中选取满足预设条件的标志物时，可以先根据原始注视信息，从前景图像中选取满足预设位置条件的识别标志物。其中预设位置条件的识别标志物中的预设位置条件不作限定，只要保证选取的识别标志物是前景图像中待分析对象的识别标志物即可。
本步骤根据原始注视信息，从前景图像中选取包含在前景图像中的待分析对象的全部识别标志物。在选取满足预设位置条件的识别标志物后，可以将选取的识别标志物所标识的展示物确定为待分析对象。
可选的，所述根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物，包括：
逐一确定所述前景图像所包括的识别标志物的第一相对位置信息和所述前景图像所包括的识别标志物所标识的展示物，所述第一相对位置信息为对应的识别标志物相对于对应的识别标志物所标识的展示物的相对位置信息；
逐一确定所述前景图像所包括的识别标志物相对于所述原始注视信息的第二相对位置信息；
从所述前景图像所包括的识别标志物中选取目标识别标志物作为满足预设位置条件的识别标志物；其中，所述目标识别标志物的第一相对位置信息和第二相对位置信息满足预设关系且所述目标识别标志物所标识的展示物与已排除的识别标志物所标识的展示物不同，所述已排除的识别标志物的第一相对位置信息和第二相对位置信息不满足预设关系，所述预设关系包括相同。
在选取满足预设位置条件的识别标志物时，可以遍历前景图像中所包括的识别标志物，逐一确定各识别标志物的第一相对位置信息和各识别标志物所标识的展示物。逐一确定各识别标志物相对于原始注视信息的第二相对位置信息。
需要注意的是，确定第一相对位置信息、第二相对位置信息和所标识的展示物的顺序不作限定，可以根据实际情况确定。
确定第一相对位置信息、第二相对位置信息和所标识的展示物后，从各识别标志物中选取目标识别标志物。预设关系包括相同或相差预设范围，预设范围不作限定。即目标识别标志物相对于其所标识的展示物的相对位置信息，与目标识别标志物相对于原始注视信息的第二相对位置信息相同。
目标识别标志物与原始注视信息的位置关系和目标识别标志物与所标识展示物的位置关系满足预设条件，即第一相对位置信息和第二相对位置信息满足预设关系。此外，目标识别标志物所标识的展示物与已排除识别标志物所标识的展示物不同，即已排除识别标志物所标识的展示物的识别标志物不能作为目标识别标志物。
其中，第一相对位置信息和所标识展示物的确定可以通过解析相应识别标志物获取，也可以基于相应识别标志物的标识，从服务器远程获取。
S230、根据选取的识别标志物，确定剩余待选取的标志物。
所述剩余待选取的标志物包括所述前景图像中所述待分析对象的定位标志物；所述定位标志物用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
从前景图像中选取识别标志物后，可以根据选取的识别标志物选取待分析对象的剩余待选取的标志物。具体的，可以基于选取出的识别标志物的第一相对位置信息和识别标志物与定位标志物在待分析对象所在坐标系下的位置关系，即第三相对位置信息，从前景图像中选取包含在前景图像中的全部定位标志物。
可选的，所述根据选取的识别标志物，确定剩余待选取的标志物，包括：
逐一确定选取的识别标志物的第三相对位置信息，所述第三相对位置信息为对应的识别标志物所标识展示物设置的标志物间的相对位置信息；
根据各所述第三相对位置信息和选取的识别标志物的第一相对位置信息，从所述前景图像中选取剩余待选取的标志物。
第三相对位置信息为所对应的识别标志物所标识展示物设置的每个标志物间的相对位置信息。每个识别标志物均可以确定对应的第三相对位置信息。每个标志物间的相对位置信息包括但不限于，其余定位标志物与该识别标志物的相对位置关系，该相对位置关系的表示方式不作限定，可以通过步长确定，也可以通过坐标确定。
第三相对位置信息可以通过解析识别标志物确定。如可以直接解析获取识别标志物的第三相对位置信息，也可以基于识别标志物的标识从服务器远程获取第三相对位置信息。
确定选取的识别标志物的第三相对位置信息后，可以根据每个第三相对位置信息，从前景图像中选取与对应的第一相对位置信息满足第三相对位置信息的定位标志物。即从选取的识别标志物中选取一个标志物作为当前识别标志物，确定当前识别标志物的第三相对位置信息和第一相对位置信息，从前景图像中选取与当前识别标志物满足第三相对位置信息的定位标志物。然后继续从选取出的标志物中选取下一个当前识别标志物。
示例性的，当前识别标志物的第三相对位置信息为当前识别标志物正下方步长为A处存在一个定位标志物，当前识别标志物正下方步长为2A处存在一个定位标志物，当前识别标志物正右方步长为B处存在一个定位标志物。在确定剩余待选取的标志物时，可以先根据第一相对位置信息，确定当前识别图像与所标识展示物的位置关系，然后可以将从前景图像中该当前识别标志物正下方找到的第一个定位标志物认为是当前识别标志物正下方步长为A的定位标志物。在当前识别标志物正下方找到的第二个识别标志物，认为是当前识别标志物正下方步长为2A的定位标志物。沿着展示物的竖直方向和水平方向遍历当前识别标志物，将所有找到的定位标志物作为剩余待选取的标志物。在确定沿竖直方向和水平方向的剩余待选取的标志物时，可以基于当前识别标志物确定所标识展示物的竖直方向和水平方向，然后沿着确定出的竖直方向和水平方向选取定位标志物。
S240、获取选取的标志物在所述待分析对象所在坐标系下的实际位置信息。
在确定目标注视信息时，本步骤可以获取选取的标志物的实际位置信息。该实际位置信息可以通过解析选取的识别标志物确定。
S250、基于选取的标志物的图像位置信息和各所述实际位置信息，确定所述前景图像与所述待分析对象的空间关系信息。
各标志物的图像位置信息可以在选取标志物的过程中获取。本步骤基于图像位置信息和对应的实际位置信息，确定前景图像和待分析对象的坐标系的空间关系信息。即将图像位置信息和对应的实际位置信息代入相应坐标转换公式，得到空间关系信息。该空间关系信息可以为实现坐标转换所需的旋转和平移关系。
S260、基于所述空间关系信息，将所述原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
确定空间关系信息后，实现了坐标系的转换。基于确定的空间关系信息将原始注视信息进行坐标转换，以得到用户在待分析对象所在坐标系上的目标注视信息。
本发明实施例在上述各实施例的技术方案的基础上，提供了几种具体的实施方式。
作为本实施例一种具体的实施方式，本方案应用于对特定的一个或多个待分析目标(即展示对象)的多人(受测人)眼动数据进行分析融合的场景中，由于本方案的部署需要一部分先期工作，所以更偏向于待分析目标较为固定且需提供长期分析结果的场景。
部署阶段：
对于任一待分析目标，首先需确定分析目标序号，来确保它的数据在数据库中不会和其它待分析目标混淆。之后对该待分析目标的尺寸(即size)进行确认，根据其尺寸定义坐标系并设定适当的步长放置识别用标志物(即识别标志物)和定位用标志物(即定位标志物)，当然也可以不放置定位用标志物。步长设定原则可以根据选用的眼动设备，即终端设备在正常使用距离时，前置镜头内能够看到至少1个识别用标志物为最低标准；或根据预设条件的设定，能够看到满足预设条件的标志物的数量。例如：能够看到水平方向至少两个标志物，竖直方向至少两个标志物，且包括至少一个识别标志物。需要注意的，部署阶段放置标志物的步长根据预设条件的不同而不同。即预设条件需要选取的标志物数量比较多，则放置标志物的步长就应当减小；如果预设条件需要选取的标志物数量比较少，则放置标志物的步长就应当加大。
识别用标志物：应包含某个待分析目标的序号信息，以及该识别用标志物在该待分析目标的坐标系内的坐标，同一待分析目标的坐标系必须固定(此处使用的标志物编码有较多选择，常用的可以包括二维码)。
定位用标志物：仅用于被图像算法定位，可以不包含其他信息(此处用于定位的标志物形态及材料也有较多选择，具体要根据安装时的需求而定，如透明材质或具有荧光反射特性)。
之后，在待分析目标数据库中逐条保存如下信息：待分析目标的序号信息、全部识别用标志物的信息(用以和获取到的识别用标志物上的位置信息对照确认)，全部定位用标志物的信息(用以和图像算法定位到的定位用标志物的相对位置对照确认)，目标的各方向尺寸、放置步长(如各定位用标志物的放置步长)、待分析目标正拍图像及其ROI等信息。
在对每一个待分析目标均做好上述工作后，部署阶段的工作即初步完成，其中，待分析目标包括但不限于广告机、展览品、海报、货架等。
图2b为本发明实施例二提供的部署流程示意图。参见图2b，部署工作包括如下步骤：
S1、给该待分析对象符合标准的序号信息。
S2、测量该待分析目标的适合范围。
S3、基于上述范围确定合适的标志物坐标。
S4、基于该序号信息、不同的识别用标志物坐标和不同的定位标志物坐标生成不同的识别标志物或基于该序号信息、不同的识别用标志物坐标和不同的定位标志物与相应识别标志物的步长生成不同的识别标志物。
S5、基于确定的标志物的坐标放置识别标志物和定位标志物。
S6、将相关信息存入数据库中，相关信息包括：序号信息、待分析对象的坐标范围、待分析对象正拍图像、ROI信息、每个识别标志物的坐标、每个定位标志物的坐标、定位标志物和识别标志物的规格、标志物间的步长。
眼动数据采集阶段：
在进入该阶段之前，需要对终端设备的功能进行要求，终端设备应具备如下特性：
1.应拥有至少1个前景摄像头用于拍摄用户的真实视野；
2.应拥有至少1个眼动模块用于获取用户的注视信息；
3.应具备实时的无线数据传输功能以便能够将获取得到的眼动信息传输到云端进行数据处理。
在确保了终端设备具有上述功能之后，对于任意一个受测人的眼动数据处理方法如下(即此处可以允许多个受测人同时进行眼动数据采集，具体限制由网络状况和服务器端处理能力决定)：
首先，该受测人的终端设备随着该受测人位置、头部姿势的变动，其前景相机拍摄到的内容也随之变动，而对于任意一帧拍摄到的前景图像，该眼动设备都能够提供一个该受测人在该前景图像内的注视点，即原始注视信息。
得到该注视点后，我们会在其周围找到最合适的识别用标志物，即满足预设位置条件的识别标志物。若整个前景图像中都找不到识别用标志物，则认为该用户当前的关注点不在待分析目标范围内，则不传输该帧信息。
若找到了合适的识别用标志物，则先解析该识别用标志物，得到其序号信息，通过云端数据库的信息获得该待分析目标的具体部署信息，再根据当前识别用标志物的坐标(同样通过解析获得)，以及该待分析目标的全部定位用标志物来计算出当前前景朝向和该待观测物的坐标系的空间关系(即旋转及平移关系)。
得到了该空间关系后，可以将当前帧的原始注视信息转换到当前待分析对象所在坐标系中并上传至云端，至此，一帧数据的转换完成。
在和某个待分析对象建立了联系之后，可以优先追踪其视线和该待分析对象的空间关系的变化，若无超过该待分析对象的更优待分析对象出现则仅更新其可能变化的空间关系用于转换数据。若发生了待分析对象的改变则会重新重复上述过程。
图2c为本发明实施例二提供的目标注视信息确定的流程示意图。参见图2c，确定目标注视信息包括如下步骤：
S10、同步获取一帧前景图像和眼动数据。
S11、判断当前是否有已经匹配的待观测物，若是，则执行S12；若否，则执行S18。
其中，待观测物即待分析对象。
S12、检测该待观测物是否还和当前视线匹配，若是，则执行S13；若否，则执行S18。
S13、选取该待观测物，从服务端获取其相关信息。
S14、根据相关信息和与该待观测物对应的有效的定位标志物计算该待观测物在本帧中和前景图像的空间关系。
S15、根据空间关系转换眼动数据并上传至云端。
S16、判断终端设备是否还在工作，若是，则执行S10；若否，则执行S17。
S17、结束图像采集，结束操作。
S18、检测当前帧是否有在视线范围内的待观测物，若是，则执行S13；若否，则执行S19。
S19、如有需要传递原始数据，则传递原始数据到云端，执行S16。
原始数据包括未转化眼动数据，即眼动模块获取的数据，还包括对应未转化眼动数据的前景图像。
云端数据整合阶段：
在上述部署及眼动数据采集阶段的功能均正常运行的前提下，可以获取到如下几种维度的眼动数据：
1.单一用户的全部未转化眼动数据，如原始注视信息及其对应的前景图像数据，该数据可以采取和传统方法相同的分析方法进行分析。
2.单一用户在某个待分析对象上的全部眼动数据，即全部目标注视信息及该待分析对象的清晰正拍图像，此处的数据较传统方法更准确，且不需要人工进行任何标定可以直接使用该数据。
3.多个用户在任一待分析目标上的全部眼动数据累加及该待分析目标的清晰正拍图像，此处的数据除第二项的优点外，还可以清晰的将不同受测人的数据对比显示，以便分析不同种类受测人之间眼动数据的差别。
上述技术方案简化传统的通过图像本身或通过人工，确定目标注视信息的工作。从而简化了进行不同人之间的、同一人不同时间之间的数据(如目标注视信息)关联工作。将该工作转化为通过对实时前景相机所拍前景图像中特定标志物的识别，而不是对图像本身的识别，从而解决了将不同视角的眼动数据的归一问题。此外，使用标志物定位本身是比基于图像的定位更准的，也就进一步提高了采集到的眼动数据的精确度和价值。
本发明实施例二提供的一种注视信息确定方法，具体化了选取满足预设条件的标志物的操作和坐标转换的操作。利用该方法，针对人工标定和自动图像识别确定目标注视信息而言能够节省大量的人工成本，提升目标注视信息确定的精度。并且在多人眼动行为进行分析的场景中，提升效果更佳显著。
实施例三
图3为本发明实施例三提供的一种注视信息确定装置的结构示意图，该装置可适用于确定原始注视信息在待分析对象所在坐标系上的目标注视信息的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。
如图3所示，该装置包括：获取模块31、选取模块32和转换模块33；
其中，获取模块31，用于获取前景图像和用户在所述前景图像上的原始注视信息；
选取模块32，用于根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
转换模块33，用于根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
在本实施例中，该装置首先通过获取模块31获取前景图像和用户在所述前景图像上的原始注视信息；然后通过选取模块32根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；最后通过转换模块33根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
本实施例提供了一种注视信息确定装置，能够自动确定原始注视信息在待分析对象所在坐标系上的目标注视信息，提升了确定目标注视信息的效率。
进一步的，选取模块32中满足预设条件的标志物，包括：至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
进一步的，选取模块32中满足预设条件的标志物，还可以包括：
至少两个位于待分析对象竖直方向的标志物和至少两个位于待分析对象水平方向的标志物，且所选取的标志物中包含至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
进一步地，选取模块32包括：
选取单元，用于根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物；
确定单元，用于根据选取的识别标志物，确定剩余待选取的标志物，所述剩余待选取的标志物包括所述前景图像中所述待分析对象的定位标志物；所述定位标志物用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
进一步地，选取单元具体用于：
逐一确定所述前景图像所包括的识别标志物的第一相对位置信息和所述前景图像所包括的识别标志物所标识的展示物，所述第一相对位置信息为对应的识别标志物相对于对应的识别标志物所标识的展示物的相对位置信息；
逐一确定所述前景图像所包括的识别标志物相对于所述原始注视信息的第二相对位置信息；
从所述前景图像所包括的识别标志物中选取目标识别标志物作为满足预设位置条件的识别标志物；其中，所述目标识别标志物的第一相对位置信息和第二相对位置信息满足预设关系且所述目标识别标志物所标识的展示物与已排除的识别标志物所标识的展示物不同，所述已排除的识别标志物的第一相对位置信息和第二相对位置信息不满足预设关系，所述预设关系包括相同。
进一步地，确定单元具体用于：
逐一确定选取的识别标志物的第三相对位置信息，所述第三相对位置信息为对应的识别标志物所标识展示物设置的标志物间的相对位置信息；
根据各所述第三相对位置信息和选取的识别标志物的第一相对位置信息，从所述前景图像中选取剩余待选取的标志物。
进一步地，转换模块具体用于：
获取选取的标志物在所述待分析对象所在坐标系下的实际位置信息；
基于选取的标志物的图像位置信息和各所述实际位置信息，确定所述前景图像与所述待分析对象的空间关系信息；
基于所述空间关系信息，将所述原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
上述注视信息确定装置可执行本发明任意实施例所提供的注视信息确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种终端设备的结构示意图。如图4所示，本发明实施例四提供的终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的注视信息确定方法。
所述终端设备还可以包括：输入装置43和输出装置44。
终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供注视信息确定方法对应的程序指令/模块(例如，附图3所示的注视信息确定装置中的模块，包括：获取模块31、选取模块32和转换模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中注视信息确定方法。
存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的按键信号输入。输出装置44可包括显示屏等显示设备。
终端设备还包括前景采集装置45和眼动模块46，一个或多个处理器分别与前景采集装置45和眼动模块46相连；
前景采集装置45，用于获取前景图像；
眼动模块46，用于获取用户在所述前景图像上的原始注视信息。
进一步地，终端设备还包括数据传输装置，所述数据传输装置用于将目标信息传输至服务器，以供所述服务器将至少一个终端设备传输的目标注视信息进行融合处理，所述目标信息包括目标注视信息。
前景采集装置45包括但不限于前景摄像头。服务器将与其相连的至少一个终端设备传输的目标注视信息进行融合。具体的，将至少一个终端设备传输的目标注视信息融合至相应的展示对象上，以可以确定ROI区域。
并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：
获取前景图像和用户在前景图像上的原始注视信息；
根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
实施例五
图5为本发明实施例五提供的一种展示对象的示意图，如图5所示，展示对象包括：标志物50和展示物51，标志物50设置在展示物51的设定位置处，展示对象供本发明实施例所述的终端设备进行注视信息分析使用。即供终端设备确定目标注视信息使用。
本发明实施例提供的展示对象，能够供终端设备自动确定目标注视信息使用，提升了确定目标注视信息的效率。
进一步地，展示物51设置有标志物，所述标志物包括编码形成的识别标志物，所述识别标志物用于标识所述展示物，所述识别标志物还用于供所述终端设备识别确定第一相对位置信息和/或第三相对位置信息，以将原始注视信息转换至所述展示物所在坐标系下，所述识别标志物包含有所标识展示物的部署信息和标识信息。其中，标志物的个数可以为至少一个。如展示物51包括至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
可以理解的是，此处不对编码形成的识别标志物的编码方式进行限定，只要能够基于识别标识物确定部署信息和标识信息即可。识别标志物包含有标识展示物的部署信息和标识信息可以理解对识别标志物进行识别能够确定相应展示物的部署信息和标识信息。如，识别标志物为二维码，对识别标志物进行识别，能够确定该识别标志物对应的展示物的部署信息和标识信息。
进一步地，展示物51竖直方向设置有至少两个标志物50，水平方向设置有至少两个标志物50，标志物50包括识别标志物501，识别标志物501用于标识展示物50，识别标志物501还用于供所述终端设备识别确定第一相对位置信息和/或第三相对位置信息，以将原始注视信息转换至展示物51所在坐标系下。
进一步地，标志物50还包括定位标志物502，以使所述终端设备根据前景图像中所包括定位标志物502确定所述前景图像所包括定位标志物502的图像位置信息。
进一步地，每个定位标志物502间的步长根据所述终端设备在正常使用距离下前景采集装置的采集范围和所述展示物的尺寸确定。
实施例六
图6为本发明实施例提供的一种注视信息融合系统，如图6所示，该注视信息融合系统，包括终端设备61、展示对象62和服务器63，终端设备61执行如本发明实施例所述的注视信息确定方法；
服务器63，用于接收终端设备61传输的目标信息，并基于至少一个终端设备传输的目标信息进行目标注视信息的融合，所述目标信息包括目标注视信息。
注视信息融合系统包括的终端设备61的个数为至少一个，图6中以一个终端设备61为例。注视信息融合系统包括的展示对象62的个数为至少一个。该注视信息融合系统可以认为是多终端设备和多展示对象的眼动追踪数据融合系统。终端设备61的采集范围C能够涵盖各展示对象62。终端设备61通过前景采集装置拍摄包括展示对象62的前景图像，然后确定对应的目标注视信息，最后将目标信息发送至服务器63进行目标注视信息的融合，即融合至少一个终端设备在多展示对象上的目标注视信息，以可以进行ROI区域的确定。
其中目标信息可以理解为确定目标注视信息过程中的所有数据，如包括原始数据和目标注视信息。
该注视信息融合系统包括本发明实施例所述的终端设备和展示对象，具备终端设备和展示对象相应的有益效果。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行注视信息确定方法，该方法包括：
获取前景图像和用户在所述前景图像上的原始注视信息；
根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的注视信息确定方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种注视信息确定方法，其特征在于，包括：
获取前景图像和用户在所述前景图像上的原始注视信息；
根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
2.根据权利要求1所述的方法，其特征在于，满足预设条件的标志物，包括：
至少一个识别标志物，所述识别标志物用于识别确定所述待分析对象，并用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
3.根据权利要求2所述的方法，其特征在于，所述根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，包括：
根据所述原始注视信息，从所述前景图像选取识别标志物。
4.根据权利要求2所述的方法，其特征在于，所述根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，包括：
根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物；
根据选取的识别标志物，确定剩余待选取的标志物，所述剩余待选取的标志物包括所述前景图像中所述待分析对象的定位标志物；所述定位标志物用于将所述原始注视信息转换至所述待分析对象所在坐标系下。
5.根据权利要求4所述的方法，其特征在于，所述根据所述原始注视信息，从所述前景图像选取满足预设位置条件的识别标志物，包括：
逐一确定所述前景图像所包括的识别标志物的第一相对位置信息和所述前景图像所包括的识别标志物所标识的展示物，所述第一相对位置信息为对应的识别标志物相对于对应的识别标志物所标识的展示物的相对位置信息；
逐一确定所述前景图像所包括的识别标志物相对于所述原始注视信息的第二相对位置信息；
从所述前景图像所包括的识别标志物中选取目标识别标志物作为满足预设位置条件的识别标志物；其中，所述目标识别标志物的第一相对位置信息和第二相对位置信息满足预设关系且所述目标识别标志物所标识的展示物与已排除的识别标志物所标识的展示物不同，所述已排除的识别标志物的第一相对位置信息和第二相对位置信息不满足预设关系，所述预设关系包括相同。
6.根据权利要求5所述的方法，其特征在于，所述根据选取的识别标志物，确定剩余待选取的标志物，包括：
逐一确定选取的识别标志物的第三相对位置信息，所述第三相对位置信息为对应的识别标志物所标识展示物设置的标志物间的相对位置信息；
根据各所述第三相对位置信息和选取的识别标志物的第一相对位置信息，从所述前景图像中选取剩余待选取的标志物。
7.根据权利要求1所述的方法，其特征在于，所述根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息，包括：
获取选取的标志物在所述待分析对象所在坐标系下的实际位置信息；
基于选取的标志物的图像位置信息和各所述实际位置信息，确定所述前景图像与所述待分析对象的空间关系信息；
基于所述空间关系信息，将所述原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
8.一种注视信息确定装置，其特征在于，包括：
获取模块，用于获取前景图像和用户在前景图像上的原始注视信息；
选取模块，用于根据所述原始注视信息从所述前景图像选取满足预设条件的标志物，所述标志物用于进行待分析对象的识别确定和/或用于将所述原始注视信息转换至所述待分析对象所在坐标系下，所述待分析对象为所述用户当前注视的展示物；
转换模块，用于根据选取的标志物将原始注视信息进行坐标转换，得到所述用户在所述待分析对象所在坐标系上的目标注视信息。
9.一种终端设备，其特征在于，包括前景采集装置和眼动模块，还包括：
分别与所述前景采集装置和所述眼动模块相连的一个或多个处理器；
所述前景采集装置，用于获取前景图像；
所述眼动模块，用于获取用户在所述前景图像上的原始注视信息；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的注视信息确定方法。
10.根据权利要求9所述的终端设备，其特征在于，还包括：数据传输装置，所述数据传输装置用于将目标信息传输至服务器，以供所述服务器将至少一个终端设备传输的目标注视信息进行融合处理，所述目标信息包括目标注视信息。
11.一种展示对象，其特征在于，包括：标志物和展示物，所述标志物设置在所述展示物的设定位置处，所述展示对象供权利要求9-10任一所述的终端设备进行注视信息分析使用。
12.根据权利要求11所述的展示对象，所述展示物设置有标志物，所述标志物包括编码形成的识别标志物，所述识别标志物用于标识所述展示物，所述识别标志物还用于供所述终端设备识别确定第一相对位置信息和/或第三相对位置信息，以将原始注视信息转换至所述展示物所在坐标系下，所述识别标志物包含有所标识展示物的部署信息和标识信息。
13.根据权利要求11所述的展示对象，所述标志物还包括定位标志物，以使所述终端设备根据前景图像中所包括定位标志物确定所述前景图像所包括定位标志物的图像位置信息。
14.根据权利要求13所述的展示对象，每个定位标志物间的步长根据所述终端设备在正常使用距离下前景采集装置的采集范围和所述展示物的尺寸确定。
15.一种注视信息融合系统，其特征在于，包括终端设备、展示对象和服务器，所述终端设备执行如权利要求1-7任一所述的注视信息确定方法；
所述服务器，用于接收所述终端设备传输的目标信息，并基于至少一个终端设备传输的目标信息进行目标注视信息的融合，所述目标信息包括目标注视信息。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的注视信息确定方法。
CN201910969422.2A 2019-10-12 2019-10-12 一种注视信息确定方法、装置、终端设备及展示对象 Active CN112651270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969422.2A CN112651270B (zh) 2019-10-12 2019-10-12 一种注视信息确定方法、装置、终端设备及展示对象

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969422.2A CN112651270B (zh) 2019-10-12 2019-10-12 一种注视信息确定方法、装置、终端设备及展示对象

Publications (2)

Publication Number Publication Date
CN112651270A true CN112651270A (zh) 2021-04-13
CN112651270B CN112651270B (zh) 2024-08-02

Family

ID=75342980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969422.2A Active CN112651270B (zh) 2019-10-12 2019-10-12 一种注视信息确定方法、装置、终端设备及展示对象

Country Status (1)

Country Link
CN (1) CN112651270B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115826766A (zh) * 2023-02-16 2023-03-21 北京睛采智能科技有限公司 基于显示模拟器的眼动目标获取装置、方法和系统
WO2023155813A1 (zh) * 2022-02-18 2023-08-24 北京七鑫易维信息技术有限公司 注视信息确定方法、装置、眼动设备、待观测对象及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
CN102292017A (zh) * 2009-01-26 2011-12-21 托比技术股份公司 由光学基准信号辅助的对凝视点的检测
EP2503479A1 (en) * 2011-03-21 2012-09-26 Research In Motion Limited Login method based on direction of gaze
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
JP2014155635A (ja) * 2013-02-18 2014-08-28 Iwate Prefectural Univ 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法
CN104346612A (zh) * 2013-07-24 2015-02-11 富士通株式会社 信息处理装置和显示方法
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
CN105847679A (zh) * 2016-03-28 2016-08-10 联想(北京)有限公司 图像采集方法及电子设备
US20170069135A1 (en) * 2015-09-03 2017-03-09 Kabushiki Kaisha Toshiba Eyeglass-type wearable device and picking method using the device
CN106557167A (zh) * 2016-11-23 2017-04-05 上海擎感智能科技有限公司 智能眼镜及其控制设备的方法、系统及控制器
CN108681399A (zh) * 2018-05-11 2018-10-19 北京七鑫易维信息技术有限公司 一种设备控制方法、装置、控制设备及存储介质
KR20190056642A (ko) * 2017-11-17 2019-05-27 포인드 주식회사 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법
CN109920009A (zh) * 2019-03-13 2019-06-21 武汉汉宁轨道交通技术有限公司 基于二维码标识的控制点检测与管理方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
CN102292017A (zh) * 2009-01-26 2011-12-21 托比技术股份公司 由光学基准信号辅助的对凝视点的检测
CN103501688A (zh) * 2011-03-18 2014-01-08 感官运动仪器创新传感器有限公司 注视点映射的方法和装置
EP2503479A1 (en) * 2011-03-21 2012-09-26 Research In Motion Limited Login method based on direction of gaze
JP2014155635A (ja) * 2013-02-18 2014-08-28 Iwate Prefectural Univ 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法
CN104346612A (zh) * 2013-07-24 2015-02-11 富士通株式会社 信息处理装置和显示方法
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
US20170069135A1 (en) * 2015-09-03 2017-03-09 Kabushiki Kaisha Toshiba Eyeglass-type wearable device and picking method using the device
CN105847679A (zh) * 2016-03-28 2016-08-10 联想(北京)有限公司 图像采集方法及电子设备
CN106557167A (zh) * 2016-11-23 2017-04-05 上海擎感智能科技有限公司 智能眼镜及其控制设备的方法、系统及控制器
KR20190056642A (ko) * 2017-11-17 2019-05-27 포인드 주식회사 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법
CN108681399A (zh) * 2018-05-11 2018-10-19 北京七鑫易维信息技术有限公司 一种设备控制方法、装置、控制设备及存储介质
CN109920009A (zh) * 2019-03-13 2019-06-21 武汉汉宁轨道交通技术有限公司 基于二维码标识的控制点检测与管理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IYAD ALDAQRE AND ROBERTO DELFIORE: "Robust Marker Tracking System for Mapping Mobile Eye Tracking Data", ETRA ’18: 2018 SYMPOSIUM ON EYE TRACKING RESEARCH AND APPLICATIONS,, 17 June 2018 (2018-06-17), pages 1 - 3, XP058751803, DOI: 10.1145/3204493.3208339 *
龚秀锋;李斌;邓宏平;张文聪: "基于标记点检测的视线跟踪注视点估计", 计算机工程, vol. 37, no. 06, 31 March 2011 (2011-03-31), pages 289 - 290 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155813A1 (zh) * 2022-02-18 2023-08-24 北京七鑫易维信息技术有限公司 注视信息确定方法、装置、眼动设备、待观测对象及介质
CN115826766A (zh) * 2023-02-16 2023-03-21 北京睛采智能科技有限公司 基于显示模拟器的眼动目标获取装置、方法和系统
CN115826766B (zh) * 2023-02-16 2023-04-21 北京睛采智能科技有限公司 基于显示模拟器的眼动目标获取装置、方法和系统

Also Published As

Publication number Publication date
CN112651270B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
CN107390863B (zh) 设备的控制方法及装置、电子设备、存储介质
KR101471488B1 (ko) 시선 추적 장치 및 방법
CN103106401B (zh) 一种具有人机交互机制的移动终端虹膜识别装置
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN113808160B (zh) 视线方向追踪方法和装置
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN108594999B (zh) 用于全景图像展示系统的控制方法和装置
JPH11175246A (ja) 視線検出装置及びその方法
CN106778641B (zh) 视线估计方法及装置
CN108478184A (zh) 基于vr的视力测量方法及装置、vr设备
CN113467619B (zh) 画面显示方法、装置和存储介质及电子设备
KR20120127790A (ko) 시선추적 시스템 및 그 방법
CN115830675B (zh) 一种注视点跟踪方法、装置、智能眼镜及存储介质
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
CN112651270B (zh) 一种注视信息确定方法、装置、终端设备及展示对象
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
CN118092661A (zh) 一种融合多观测角度眼部图像特征的注视估计装置及方法
CN113093907B (zh) 人机交互方法、系统、设备及存储介质
Heo et al. Object recognition and selection method by gaze tracking and SURF algorithm
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
CN110275608B (zh) 人眼视线追踪方法
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
CN113283329B (zh) 视线追踪系统、眼动仪、视线追踪方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant