CN114063761B - 注视点显示方法及相关装置 - Google Patents

注视点显示方法及相关装置 Download PDF

Info

Publication number
CN114063761B
CN114063761B CN202010758194.7A CN202010758194A CN114063761B CN 114063761 B CN114063761 B CN 114063761B CN 202010758194 A CN202010758194 A CN 202010758194A CN 114063761 B CN114063761 B CN 114063761B
Authority
CN
China
Prior art keywords
distance
target
stress
point coordinate
display point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010758194.7A
Other languages
English (en)
Other versions
CN114063761A (zh
Inventor
吴义孝
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010758194.7A priority Critical patent/CN114063761B/zh
Publication of CN114063761A publication Critical patent/CN114063761A/zh
Application granted granted Critical
Publication of CN114063761B publication Critical patent/CN114063761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种注视点显示方法及相关装置，通过获取基础显示点坐标、实时注视点坐标和历史注视点坐标；接着，根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据；最后，根据所述加速度数据确定目标显示点坐标并显示。可以采用物理仿真为显示点赋予物理属性，即用力学规律来确定目标显示点的位置，在降低注视点显示的抖动的同时还能保证其跟随性，大大提升了用户体验。

Description

注视点显示方法及相关装置
技术领域
本申请涉及眼球追踪技术领域，特别是一种注视点显示方法及相关装置。
背景技术
随着技术的发展，眼球追踪技术的应用也逐渐进入大众视野，在确定眼球注视点的时候，由于外界环境的误差，往往计算出的眼球注视点会处于抖动状态，如果不对计算出的眼球注视点进行处理，会导致显示的眼球注视点一直处于抖动状态，举例来说，以图1A为例，可以看出尽管实际注视点是固定的，但是由于人体相对手机的微小位移以及前摄图像的误差，导致算法输出的注视点位置并不固定，而是在实际注视点周围区域不断的跳动；并且，另一个问题是延迟的问题，如图1B所示，图1B表征了用户从t1到t3时间段实际注视点从屏幕上左下角快速位移到右上角的示例，可以看出在中值滤波的效果下，算法输出的注视点位置的运动迟滞于实际注视点的速度，当实际注视点的移动速度越快，这种迟滞越明显。可见，直接显示算法输出的注视点会大大影响用户的使用体验。
发明内容
基于上述问题，本申请提出了一种注视点显示方法及相关装置，可以采用物理仿真为显示点赋予物理属性，即用力学规律来确定目标显示点的位置，在降低注视点显示的抖动的同时还能保证其跟随性，大大提升了用户体验。
第一方面，本申请实施例提供了一种注视点显示方法，所述方法包括：
获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置,所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；
根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；
根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
第二方面，本申请实施例提供了一种注视点显示装置，所述装置包括：
坐标获取单元，用于获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置,所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；
加速度确定单元，用于根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；
目标显示单元，用于根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
第三方面，本申请实施例提供了一种电子设备，包括应用处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述应用处理器执行，所述程序包括用于执行如本申请实施例第一方面任一项所述的方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面任一项所述的方法。
第五方面，本申请实施例提供了一种计算机产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可见，通过上述方法，首先获取基础显示点坐标、实时注视点坐标和历史注视点坐标；接着，根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据；最后，根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。可以采用物理仿真为显示点赋予物理属性，即用力学规律来确定目标显示点的位置，在降低注视点显示的抖动的同时还能保证其跟随性，大大提升了用户体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的一种现有的注视点显示的示意图；
图1B为本申请实施例提供的另一种现有的注视点显示的示意图；
图2为本申请实施例提供的一种眼球追踪方法的示意图；
图3为本申请实施例提供的一种电子设备的结构示意图；
图4为本申请实施例提供的一种注视点显示方法的流程示意图；
图5为本申请实施例提供的另一种注视点显示方法的流程示意图；
图6为本申请实施例提供的一种注视点显示装置的功能单元组成框图；
图7为本申请实施例提供的另一种注视点显示装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的背景技术进行介绍。
如图2所示，图2为本申请实施例所涉及的一种眼球追踪方法的示意图，O1为眼球中心，P1为瞳孔中心，G1为亮斑中心，可以通过相机获取到目标用户的眼部图像，O可以为相机的摄像头位置，通过小孔成像原理生成眼部图像，上述P1、G1在该眼部图像上反映为g1、p1，随着视线注视点的移动，p1、g1会形成不同的视线向量，每个向量对应一个唯一的视线注视点，可以通过获取眼部图像，然后根据眼部图像中的瞳孔中心和亮斑中心来确定视线向量，并根据预设的算法来确定上述视线向量对应的在屏幕上的注视点S。上述方法可以应用到VR游戏、眼球控制等多个领域，在此不做具体限定。
在实际显示过程中，由于眼球追踪容易受到众多环境因素的干扰，如光照，眼球姿态的轻微位移等，注视点会以不断抖动的状态显示在屏幕上，这十分影响用户的使用体验。
本申请实施例通过获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置,所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；根据所述加速度数据确定目标显示点坐标，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
可以采用物理仿真为显示点赋予物理属性，即用力学规律来确定目标显示点的位置，在降低注视点显示的抖动的同时还能保证其跟随性，大大提升了用户体验。
下面对本申请实施例中的注视点显示方法的软硬件环境进行说明，如图3所示，图3为本申请实施例提供的一种电子设备的结构示意图，该电子设备300可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。本申请中的电子设备300可以包括一个或多个如下部件：处理器310、存储器320、输入设备330和输出设备340。
处理器310可以包括一个或者多个处理核心。处理器310利用通信接口连接整个终端300内的各个部分，通过运行或执行存储在存储器320内的指令、程序、代码集或指令集，以及调用存储在存储器320内的数据，执行电子设备300的各种功能和处理数据。处理器310可以包括一个或多个处理单元，例如：处理器310可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。CPU主要用于处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。本申请实施例中以中央处理器CPU为例进行说明，例如，当电子设备100在获取目标用户的眼球图像数据时，CPU可以基于上述眼球图像数据计算出注视点，并根据预设显示规则确定应当如何显示目标用户的注视点。
处理器310中可以设置存储器320，用于存储指令和数据。在一些实施例中，处理器310中的存储器320为高速缓冲存储器。该存储器320可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器320中直接调用。避免重复存取，减少处理器310的等待时间，提高系统效率。
可以理解的是，上述处理器310在实际产品中可以映射为系统级芯片(System ona Chip，SOC)，上述处理单元和/或接口也可以不集成到处理器310中，单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系，只是示意性说明，并不构成对电子设备300的结构的唯一限定。
存储器320可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器320包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器320可用于存储指令、程序、代码、代码集或指令集。存储器320可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储电子设备300在使用中所创建的数据。
输入设备330可以包括摄像头，该摄像头可以为红外摄像头、摄像头阵列等，用于获取目标用户的眼部图像。
输出设备340可以包括显示屏，该显示屏用于显示各个应用程序的用户界面。显示屏通常设置在电子设备300的前面板。显示屏可被设计成为全面屏、曲面屏或异形屏。显示屏还可被设计成为全面屏与曲面屏的结合，异形屏与曲面屏的结合，本申请实施例对此不加以限定。
上面对本申请实施例的软硬件运行环境进行了介绍，下面结合图4对本申请实施例中的一种注视点显示方法进行详细说明，图4为本申请实施例提供的一种注视点显示方法的流程示意图，具体包括以下步骤：
步骤401，获取基础显示点坐标、实时注视点坐标和历史注视点坐标。
其中，上述实时注视点坐标表示在当前采样周期目标用户的注视点位置，上述所述基础显示点坐标表示在上述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置。需要说明的是，摄像头每个采样周期都会采集一次目标用户的眼部图像来确定注视点，如摄像时的画面为25帧，采样周期即为0.04秒，此时摄像头会每隔0.04秒采集一帧眼部图像以确定目标用户的注视点位置，并且在采集到一帧眼部图像确定注视点后会在显示屏上显示该注视点的位置。可以理解的是，实时注视点坐标表示根据眼球追踪算法计算出的目标用户当前的注视位置，此时还未确定实时注视点坐标对应的显示点坐标。
其中，可以实时获取目标用户的眼部图像，并通过基础的视线追踪算法得到上述实时注视点坐标，此处对确定实时注视点的实现追踪算法不做赘述，上述基础显示点坐标和上述历史注视点坐标可以从存储单元的数据库中调用。
上述历史注视点坐标可以为一个或多个注视点坐标，可以根据需要自行设定获取的历史注视点坐标的数量，同理，上述历史采样周期也可以为一个或多个采样周期，需要说明的是，获取的历史注视点坐标对应的历史采样周期一般与基础显示点坐标对应的采样周期构成连续的采样周期，举例来说，设定上述基础显示点坐标的采样周期为t5时刻，实时注视点坐标对应的采样周期为t6时刻，此时设定需要获取两个历史注视点坐标，那么这两个历史注视点坐标对应的历史采样周期一般为t4时刻和t3时刻。
可见，通过获取基础显示点坐标、实时注视点坐标和历史注视点坐标，可以为后续确定显示点提供充足的可参照数据，提升后续确定的注视点的准确性。
步骤402，根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据。
其中，上述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；上述目标惯性参数可以包括目标质量参数、距离受力常数和周期受力权重。
其中，可以对上述基础显示点坐标设置上述目标质量参数，可以理解的是，在上述基础显示点坐标具备质量属性后，其移动也会符合现实的物理规律，上述距离受力常数为预设常数，上述周期受力权重的大小与上述第一周期差值、上述第二周期差值的大小成反比，可以用于区分不同采样周期的历史注视点坐标对上述基础显示点坐标的力的影响。
具体的，可以将上述距离受力常数和上述第一距离代入距离受力公式确定第一距离受力数据，以及，将上述距离受力常数和上述第二距离代入上述距离受力公式确定第二距离受力数据。其中，上述第一距离受力数据可以包括水平方向的第一水平距离受力和竖直方向的第一竖直距离受力，上述第二距离受力数据包括水平方向的第二水平距离受力和竖直方向的第二竖直距离受力，上述第一距离包括第一水平距离和第一竖直距离，上述第二距离包括第二水平距离和第二竖直距离。举例来说，将当前时刻设定为i时刻，基础显示点坐标为(ai-1,bi-1)，实时注视点坐标为(xi,yi)，第一水平距离lx1可以为|xi-ai-1|，第一竖直距离ly1可以为|yi-bi-1|，以此类推确定第二水平距离lx2和第二竖直距离ly2，需要说明，lx2和ly2可能存在多个值，如历史注视点坐标为3个则lx2和ly2各有三个对应的值。以fxp表示基础显示点与其他注视点之间的水平方向的受力，以fyp表示基础显示点与其他注视点之间的竖直方向的受力，上述距离受力公式为：
上述函数A(l)为一个分段函数，
其中，l表示距离差值的大小，size表示距离受力常数，可以认为当距离差值接近于0的时候，受力也接近于0，距离差值的大小与受力的大小成正比，上述分段函数只是示例性举例说明，并不代表对本申请实施例中的距离受力公式的限定。
通过上述距离受力公式可以计算出第一水平距离受力、第一竖直距离受力、第二水平距离受力和第二竖直距离受力。
进一步的，可以将上述第一距离受力数据、第二距离受力数据和上述周期受力权重代入合力公式得到所述基础显示点坐标的目标受力数据，该目标受力数据为基础显示点坐标受到的最终合力，包括水平方向的水平目标受力和竖直方向的竖直目标受力，可以根据上述第一周期差值和上述第二周期差值确定上述周期受力权重，之后将上述第一水平距离受力、上述第二水平距离受力和上述周期受力权重代入上述合力公式得到上述水平目标受力；以及，将上述第一竖直受力、上述第二竖直受力和上述周期受力权重代入上述合力公式得到上述竖直目标受力。举例来说，由于基础显示点坐标受到实时注视点坐标的力的影响，也受到历史注视点坐标的力的影响，所以可以自行设定受到p个注视点坐标的力的影响，其中包括一个实时注视点坐标的力的影响和(p-1)个历史注视点坐标的力的影响，若p＝4，当前采样周期为t时刻，则历史注视点坐标的历史采样周期包括(t-2)时刻、(t-3)时刻和(t-4)时刻，如此可以确定周期受力权重ltemp，即t时刻的周期受力权重ltemp可以为0.4，(t-2)时刻的ltemp为0.3，(t-3)时刻的ltemp为0.2，(t-4)时刻的ltemp为0.1，水平目标受力为fx(t)，竖直目标受力为fy(t)，上述合力公式可以为：
通过上述合力公式确定水平目标受力和竖直目标受力后，可以除以目标质量参数m得到基础显示点的水平加速度和竖直加速度。
可见，根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，结合多个注视点进行受力分析，可以确定准确的加速度数据，在降低显示点抖动的同时保证注视点显示过程的跟随性。
步骤403，根据所述加速度数据确定目标显示点坐标并显示。
其中，上述目标显示点坐标表示在上述当前采样周期上述目标用户的注视点对应于屏幕上的显示点位置。可以对上述水平加速度进行二重积分处理得到目标显示点的横坐标，以及，对上述竖直加速度进行二重积分处理得到所述目标显示点的纵坐标；最后，生成所述基础显示点移动至所述目标显示点坐标的移动动画。
具体的，上述二重积分公式可以为：
上述ax(T)表示在当前时刻T的实时注视点对应的目标显示点的横坐标，上述bx(T)表示在当前时刻T的实时注视点对应的目标显示点的纵坐标，由于眼部图像为一帧一帧的离散数值，所以该二重积分转换为离散状态进行计算。可见，如此可以保证基础显示点移动至目标显示点的变化连续性，消除抖动的不利显示效果。
并且根据加速度数据来确定移动动画，加速度越大则基础显示点移动到目标显示点的移动动画速度越快，保证目标显示点显示的跟随性，不至于太过偏离目标用户的实际注视位置；加速度越小则基础显示点移动到目标显示点的移动动画速度越慢，起到消除抖动的效果，如此可以大大提升目标用户的观看体验。
下面结合图5对本申请实施例中的另一种注视点显示方法进行说明，图5为本申请实施例提供的另一种注视点显示方法，在执行图4的方法之前，需要先确定上述目标惯性参数，即先确定上述目标质量参数、距离受力常数和周期受力权重的值，此处通过求取优化函数fun的最小值来确定上述目标质量参数、距离受力常数和周期受力权重的值，设定算法输出的注视点坐标为(Xi,Yi)i∈[1,n]，上述i根据采样周期的增加而增加，显示点坐标为(ai,bi)i∈[1,n]，
用于衡量显示点坐标的跟随性；
|(ai-ai-1)-(ai-1-ai-2)|+|(bi-bi-1)-(bi-1-bi-2)|用于衡量显示点坐标的稳定性；
k是常数，用于衡量在跟随性以及显示点位置的稳定性之间的重要程度(优化函数对跟随性以及稳定性的偏好程度)；
在fun最小时，说明显示点坐标的跟随性和稳定性最佳。
其中求fun的最小值需要用到启发式算法(蚁群算法、粒子群算法等等)，设定多组预设惯性参数执行上述图4中的方法来确定多组显示点坐标数据，不停迭代计算直到确定fun的最小值为止，然后将fun最小值对应的预设惯性参数作为目标惯性参数。
如此，提出优化函数用于对显示点的跟随性以及稳定性进行量化评价，并利用启发式算法对求取显示点的相关参数进行优化，求取相关参数的最优数值。最终依照最优的参数数值求取稳定性和跟随性更好的显示点位置。可以大大提升显示点的稳定性和跟随性。
具体步骤包括：
步骤501，获取训练用历史显示点坐标、训练用基础显示点坐标、训练用实时注视点坐标和训练用历史注视点坐标。
步骤502，设置多个预设惯性参数。
其中，所述多个预设惯性参数包括多个预设目标质量参数、多个预设距离受力常数和多个预设周期受力权重。
步骤503，根据所述多个预设惯性参数、所述训练用基础显示点坐标、所述训练用实时注视点坐标和所述训练用历史注视点坐标确定对应的多个训练用目标显示点坐标。
其中，此处可以参见图4中确定目标显示点坐标的方法，在此不再赘述。
步骤504，根据所述训练用基础显示点坐标与所述多个训练用目标显示点坐标之间的距离差值、所述多个训练用目标显示点坐标与所述训练用户实时注视点坐标之间的距离差值确定多个优化函数值。
步骤505，筛选出所述多个优化函数值中的最小值作为目标优化函数，并将所述目标优化函数对应的预设惯性参数确定为所述目标惯性参数。
步骤506，获取基础显示点坐标、实时注视点坐标和历史注视点坐标。
步骤507，根据所述目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据。
步骤508，根据所述加速度数据确定目标显示点坐标并显示。
上述未详细说明的步骤可以参见图4中的全部或部分方法的描述，在此不再赘述。
通过上述方法，可以采用物理仿真为显示点赋予物理属性，即用力学规律来确定目标显示点的位置，在降低注视点显示的抖动的同时还能保证其跟随性，大大提升了用户体验。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，上述方法可以独立实现也可以结合实现，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，下面结合图6对本申请实施例中的一种注视点显示装置进行详细说明，图6为本申请实施例提供的一种注视点显示装置600的功能单元组成框图，包括：
坐标获取单元610，用于获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置,所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；
加速度确定单元620，用于根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；
目标显示单元630，用于根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，下面结合图7对本申请实施例中的另一种注视点显示装置700进行详细说明，该注视点显示装置700应用于支持应用程序运行功能的电子设备，所述电子设备包括处理器等，所述注视点显示装置700包括处理单元701和通信单元702，其中，所述处理单元701，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元702来完成相应操作。
其中，所述注视点显示装置700还可以包括存储单元703，用于存储电子设备的程序代码和数据。所述处理单元701可以是中央处理器，所述通信单元702可以是触控显示屏或者收发器，存储单元703可以是存储器。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。上述注视点显示装置600和注视点显示装置700均可执行上述实施例包括的全部的注视点显示方法。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种注视点显示方法，其特征在于，所述方法包括：
获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置, 所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；
根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的移动符合力学规律；
根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
2.根据权利要求1所述的方法，其特征在于，所述目标惯性参数包括目标质量参数、距离受力常数和周期受力权重；所述根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，包括：
对所述基础显示点坐标设置所述目标质量参数；
将所述距离受力常数和所述第一距离代入距离受力公式确定第一距离受力数据，以及，将所述距离受力常数和所述第二距离代入所述距离受力公式确定第二距离受力数据；
将所述第一距离受力数据、第二距离受力数据和所述周期受力权重代入合力公式得到所述基础显示点坐标的目标受力数据，所述周期受力权重的大小与所述第一采样周期差值、所述第二采样周期差值的大小成反比；
根据所述目标受力数据和所述目标质量参数计算得到所述加速度数据。
3.根据权利要求2所述的方法，其特征在于，所述第一距离受力数据包括水平方向的第一水平距离受力和竖直方向的第一竖直距离受力，所述第二距离受力数据包括水平方向的第二水平距离受力和竖直方向的第二竖直距离受力，所述第一距离包括第一水平距离和第一竖直距离，所述第二距离包括第二水平距离和第二竖直距离；所述将所述距离受力常数和所述第一距离代入距离受力公式确定第一距离受力数据，以及，将所述距离受力常数和所述第二距离代入所述距离受力公式确定第二距离受力数据，包括：
将所述距离受力常数和所述第一水平距离代入所述距离受力公式确定第一水平距离受力，将所述距离受力常数和所述第一竖直距离代入所述距离受力公式确定第一竖直距离受力；以及，
将所述距离受力常数和所述第二水平距离代入所述距离受力公式确定第二水平距离受力，将所述距离受力常数和所述第二竖直距离代入所述距离受力公式确定第二竖直距离受力。
4.根据权利要求3所述的方法，其特征在于，所述目标受力数据包括水平方向的水平目标受力和竖直方向的竖直目标受力；所述将所述第一距离受力数据、第二距离受力数据和所述周期受力权重代入合力公式得到所述基础显示点的目标受力数据，包括：
根据所述第一采样周期差值和所述第二采样周期差值确定所述周期受力权重；
将所述第一水平距离受力、所述第二水平距离受力和所述周期受力权重代入所述合力公式得到所述水平目标受力；以及，
将所述第一竖直距离受力、所述第二竖直距离受力和所述周期受力权重代入所述合力公式得到所述竖直目标受力。
5.根据权利要求4所述的方法，其特征在于，所述加速度数据包括水平加速度和竖直加速度；根据所述目标受力数据和所述目标质量参数计算得到所述加速度数据，包括：
根据所述水平目标受力和所述目标质量参数之比得到所述水平加速度，以及，根据所述竖直目标受力和所述目标质量参数之比得到所述竖直加速度。
6.根据权利要求5所述的方法，其特征在于，所述根据所述加速度数据确定目标显示点坐标并显示，包括：
对所述水平加速度进行二重积分处理得到目标显示点的横坐标，以及，对所述竖直加速度进行二重积分处理得到所述目标显示点的纵坐标；
生成所述基础显示点移动至所述目标显示点坐标的移动动画。
7.根据权利要求1所述的方法，其特征在于，所述获取基础显示点坐标、实时注视点坐标和历史注视点坐标之前，所述方法还包括：
获取训练用历史显示点坐标、训练用基础显示点坐标、训练用实时注视点坐标和训练用历史注视点坐标；
设置多个预设惯性参数，所述多个预设惯性参数包括多个预设目标质量参数、多个预设距离受力常数和多个预设周期受力权重；
根据所述多个预设惯性参数、所述训练用基础显示点坐标、所述训练用实时注视点坐标和所述训练用历史注视点坐标确定对应的多个训练用目标显示点坐标；
根据所述训练用基础显示点坐标与所述多个训练用目标显示点坐标之间的距离差值、所述多个训练用目标显示点坐标与所述训练用实时注视点坐标之间的距离差值确定多个优化函数值；
筛选出所述多个优化函数值中的最小值作为目标优化函数，并将所述目标优化函数对应的预设惯性参数确定为所述目标惯性参数。
8.一种注视点显示装置，其特征在于，所述装置包括：
坐标获取单元，用于获取基础显示点坐标、实时注视点坐标和历史注视点坐标，所述实时注视点坐标表示在当前采样周期目标用户的注视点位置, 所述基础显示点坐标表示在所述当前采样周期的前一个采样周期所述目标用户的注视点对应于屏幕上的显示点位置，所述历史注视点坐标表示在所述基础显示点坐标的采样周期之前的历史采样周期所述目标用户的注视点位置；
加速度确定单元，用于根据目标惯性参数、所述基础显示点坐标与所述实时注视点坐标之间的第一距离、所述基础显示点坐标与所述历史注视点之间的第二距离、所述基础显示点坐标与所述实时注视点坐标之间的第一采样周期差值、所述基础显示点坐标与所述历史注视点坐标之间的第二采样周期差值计算所述基础显示点坐标的加速度数据，所述目标惯性参数用于使所述基础显示点坐标的变化符合力学规律；
目标显示单元，用于根据所述加速度数据确定目标显示点坐标并显示，所述目标显示点坐标表示在所述当前采样周期所述目标用户的注视点对应于屏幕上的显示点位置。
9.一种电子设备，其特征在于，包括应用处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述应用处理器执行，所述程序包括用于执行如权利要求1~7任一项所述的方法中的步骤的指令。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1~7任一项所述的方法。
CN202010758194.7A 2020-07-31 2020-07-31 注视点显示方法及相关装置 Active CN114063761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010758194.7A CN114063761B (zh) 2020-07-31 2020-07-31 注视点显示方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010758194.7A CN114063761B (zh) 2020-07-31 2020-07-31 注视点显示方法及相关装置

Publications (2)

Publication Number Publication Date
CN114063761A CN114063761A (zh) 2022-02-18
CN114063761B true CN114063761B (zh) 2023-08-22

Family

ID=80227557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010758194.7A Active CN114063761B (zh) 2020-07-31 2020-07-31 注视点显示方法及相关装置

Country Status (1)

Country Link
CN (1) CN114063761B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115942049A (zh) * 2022-08-26 2023-04-07 北京博雅睿视科技有限公司 一种面向vr视频的视角切换方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085554A (zh) * 2018-08-30 2018-12-25 衡阳市衡山科学城科技创新研究院有限公司 一种主动雷达导引头视线角零位误差估计方法及装置
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190324528A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Adjusting gaze point based on determined offset adjustment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085554A (zh) * 2018-08-30 2018-12-25 衡阳市衡山科学城科技创新研究院有限公司 一种主动雷达导引头视线角零位误差估计方法及装置
CN111399658A (zh) * 2020-04-24 2020-07-10 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114063761A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110555796B (zh) 图像调整方法、装置、存储介质以及设备
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN109285211B (zh) 画面渲染方法、装置、终端及存储介质
CN109389663B (zh) 画面渲染方法、装置、终端及存储介质
CN110780742B (zh) 眼球追踪处理方法及相关装置
CN111602139A (zh) 图像处理方法、装置、控制终端及可移动设备
CN102968180A (zh) 基于头部方向的用户界面控制
JP2020537201A (ja) 挿入される画像コンテンツについての影生成
CN110780738B (zh) 虚拟现实拟真行走方法、装置、设备及可读存储介质
CN111290580B (zh) 基于视线追踪的校准方法及相关装置
CN114063761B (zh) 注视点显示方法及相关装置
CN111515929A (zh) 人体运动状态估计方法、装置、终端及计算机可读存储介质
CN107065164B (zh) 图像展示方法及装置
CN112767521B (zh) 特效实现方法、装置、电子设备及存储介质
CN112906571B (zh) 活体识别方法、装置及电子设备
CN111580665B (zh) 注视点预测方法、装置、移动终端及存储介质
WO2018171196A1 (zh) 一种控制方法、终端及系统
CN111580667B (zh) 注视点显示方法及相关装置
CN108509924A (zh) 人体姿态的评分方法和装置
US20230090457A1 (en) Face image displaying method and apparatus, electronic device, and storage medium
CN116196611A (zh) 基于挥手动作的体感游戏方法
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN111103979A (zh) 一种基于视觉焦点的分区渲染方法及装置
CN108027646A (zh) 一种终端显示防抖方法及装置
CN117461309A (zh) 对于计算机立体视觉的未对准观察点缓解

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant