CN111585943A - 用于流式传输注视数据包的方法、计算机程序和驱动器单元 - Google Patents

用于流式传输注视数据包的方法、计算机程序和驱动器单元 Download PDF

Info

Publication number
CN111585943A
CN111585943A CN201911273398.5A CN201911273398A CN111585943A CN 111585943 A CN111585943 A CN 111585943A CN 201911273398 A CN201911273398 A CN 201911273398A CN 111585943 A CN111585943 A CN 111585943A
Authority
CN
China
Prior art keywords
time
eye tracker
gaze data
time point
driver unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911273398.5A
Other languages
English (en)
Other versions
CN111585943B (zh
Inventor
丹尼尔·约翰森·托尼尔斯
安德斯·克劳森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Publication of CN111585943A publication Critical patent/CN111585943A/zh
Application granted granted Critical
Publication of CN111585943B publication Critical patent/CN111585943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H04W56/002—Mutual synchronization
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/826—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent periodically

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Communication Control (AREA)

Abstract

通过在第一接口中重复地接收注视数据包以及经由第二接口重复地提供该注视数据包，将含有注视数据的数据包从眼睛跟踪器经由驱动器单元流式传输到客户端。客户端向驱动器单元发送请求消息。请求消息在第一时间帧结构中定义递送时间点，在第一时间帧结构的每一帧中的递送时间点，注视数据包应当经由第二接口被提供给客户端。计算接收时间点和递送时间点之间的偏移。接收时间点指示相对于第一时间结构从眼睛跟踪器接收注视数据包的时间。基于偏移分配经调整的数据获取时例。经调整的数据获取时例表示第二时间帧结构中的经修改后的时间点，此时至少一个未来的注视数据包应当由眼睛跟踪器产生。

Description

用于流式传输注视数据包的方法、计算机程序和驱动器单元
技术领域
本发明总体涉及注视数据的高效处理。特别地，本发明涉及一种用于流式传输注视数据包的方法，一种执行该方法的驱动器单元以及一种被布置成实现基于注视数据的服务的计算机系统。本发明还涉及一种计算机程序产品和非易失性数据载体。
背景技术
眼睛/注视跟踪是测量眼睛相对于头部的运动或注视点的运动的过程。眼睛跟踪器是用于测量眼睛位置和眼睛运动的装置。眼睛跟踪器用于许多不同的应用中。存在多种用于测量眼睛运动的方法。最流行的变例使用从中提取眼睛位置的视频图像。其它方法使用搜索线圈，或者基于眼电图。眼睛跟踪技术最初用于视觉系统研究、心理学研究、心理语言学研究、市场研究和产品设计研究。今天，我们看到眼睛跟踪器越来越多地用作从智能电话到飞机的各种设备和装置中的用于人机交互的输入设备。这种研发需要从第三方设备和应用(即，所谓的客户端)方便和有效地访问眼睛跟踪器输出数据。
US 9,983,406描述了一种显示设备的操作方法，其包括基于指示用户的眼睛的运动的眼睛运动信息来计算用户的运动范围；以及基于所述运动范围调整三维图像的立体景深。当从3D渲染方案改变为2D渲染方案时，该方法包括考虑由眼睛跟踪器为获取眼睛移动信息而引起的时延(latency)。
然而，对于从眼睛跟踪器到客户端的数据流中的时延的一般问题仍然有待解决。
发明内容
因此，本发明的一个目的是提供一种解决方案，用于向客户端提供注视数据，以使得当客户端接收到注视数据时该注视数据尽可能地是新的。
根据本发明的一个方面，该目的通过一种在驱动器单元中执行的方法来实现，该方法用于将含有注视数据的注视数据包从眼睛跟踪器流式传输到客户端。该方法包括在第一接口中重复地接收来自眼睛跟踪器的注视数据包；以及经由第二接口重复地向客户端提供注视数据包。该方法还包括从客户端接收请求消息，该请求消息在第一时间帧结构中定义递送时间点，在第一时间帧结构的每一帧中的该递送时间点，应当经由第二接口向客户端提供注视数据包。即，请求消息指定客户端希望接收注视数据的时间。此外，该方法包括计算接收时间点和递送时间点之间的偏移。接收时间点指示相对于第一时间结构从眼睛跟踪器接收注视数据包的时间。然后，基于该偏移，分配经调整的数据获取时例。经调整的数据获取时例表示在第二时间帧结构中的修改后的时间点，此时眼睛跟踪器应当产生至少一个未来的凝视数据包。换言之，经调整的数据获取时例使眼睛跟踪器的数据记录时机的定时适应于由眼睛跟踪器、驱动器单元和它们之间的传输路径引起的时延。另外，该方法包括向眼睛跟踪器发送控制消息。控制消息适于使所述眼睛跟踪器在所述第二时间结构中的这样的经调整的获取时例处产生所述至少一个未来的注视数据包，使得所述至少一个未来的注视数据包的接收时间点预期落在所述递送时间点之前的一定余量(margin)内。
该方法是有利的，因为它确保当客户端请求访问这些数据时，最新的可能注视数据对客户可用。优选地，为了降低注视数据在时间上太接近递送点的风险，第二时间结构中的经调整的获取时例使得预期接收时间点至少是递送时间点之前的安全时间。
优选地，除了上述偏移之外，还基于眼睛跟踪器中的时延和眼睛跟踪器与驱动器单元之间的传输延迟来分配经调整的数据获取时例。因此，初始数据路径被适当地建模，并且可以使注视数据的定时相对于客户端的请求更加精确。
根据本发明该方面的一个实施例，该方法还包括使第二时间帧结构与第一时间帧结构同步，使得第一和第二帧结构共享公共时基基准。结果，不会发生时间滑移，因此不需要进一步的定时调整，至少在理论上不需要。
根据本发明该方面的另一实施例，第二时间帧结构与第一时间帧结构的同步包括调整连续数据获取时例之间的间隔以匹配第一时间帧结构的周期。当然，通过将第一和第二帧结构与公共时基基准相关联，可以最有效地获得这种调整。
根据本发明该方面的又一实施例，其中第一帧结构与第一时基基准同步，第一时基基准不同于第二时基基准，第二时间帧结构与第二时基基准同步。这里，该方法还包括重复地计算接收时间点和递送时间点之间的偏移的更新。如果更新的偏移不落在递送时间点之前的一定余量内，则该方法包括向眼睛跟踪器发送更新的控制消息。更新的控制消息适于使眼睛跟踪器在第二时间结构中的这一经调整的获取时例处产生至少一个未来的注视数据包，使得至少一个未来的注视数据包的接收时间点落在递送时间点之前的所述余量内。因此，可以有效地补偿第一帧结构和第二帧结构之间的任何时间滑移。
根据本发明的另一方面，所述目的通过含有指令的计算机程序来实现，当在处理电路中执行所述指令时，所述指令使所述处理电路执行上述方法。
根据本发明的另一方面，该目的通过含有这种计算机程序的非易失性数据载体来实现。
根据本发明的又一方面，上述目的通过驱动器单元来实现，所述驱动器单元适于将含有注视数据的注视数据包从眼睛跟踪器流式传输到客户端。驱动器单元含有第一和第二接口以及处理电路。第一接口被配置为重复地接收来自眼睛跟踪器的注视数据包。第二接口被配置为重复地向客户端提供注视数据包。处理电路被配置为以如下方式控制驱动器单元的整体运行。驱动器单元从客户端接收请求消息，该请求消息在第一时间帧结构中定义递送时间点。递送时间点指示在第一时间帧结构的每一帧中将经由第二接口将注视数据包提供给客户端的时间。处理电路还被配置为计算接收时间点和递送时间点之间的偏移。接收时间点指示相对于第一时间结构从眼睛跟踪器接收注视数据包的时间。另外，所述处理电路配置为基于所述偏移分配经调整的数据获取时例。经调整的数据获取时例表示第二时间帧结构中的时间点，此时眼睛跟踪器应当产生至少一个未来的注视数据包。此外，经由控制接口，驱动器单元被配置成向眼睛跟踪器发送控制消息。所述控制消息适于使眼睛跟踪器在第二时间结构中的这一经调整的获取时例处产生至少一个未来的注视数据包，使得所述至少一个未来的注视数据包的接收时间点预期落在所述递送时间点之前的一定余量内。该驱动器单元及其优选实施例的优点从上面参考用于流式传输注视数据包的方法的讨论中是显而易见的。
根据本发明的又一方面，该目的是通过一种计算机系统来实现的，该计算机系统被布置成实现至少一个基于注视数据的服务。该系统含有：上述驱动器单元，被配置成向驱动器单元产生含有注视数据的数据包的眼睛跟踪器，以及被配置成从驱动器单元接收数据包并且基于数据包实现所述至少一个基于注视数据的服务的客户端。从上面参考用于流式传输注视数据包的方法的讨论中，该系统的优点同样是显而易见的。
根据以下描述和从属权利要求，本发明的其它优点、有益特征和应用将是显而易见的。
附图说明
现在通过作为例子公开的优选实施例并参考附图更详细地解释本发明。
图1示出了根据本发明第一实施例的包括眼睛跟踪器、驱动器单元和客户端的计算机系统的框图；
图2通过示例示出了如何在眼睛跟踪器、驱动器单元和客户端之间交换注视数据包和控制消息；
图3示出了根据本发明第一实施例的时序的一个示例；
图4示出了根据本发明第二实施例的包括眼睛跟踪器、驱动器单元和客户端的计算机系统的框图；
图5示出了根据本发明第二实施例的时序的一个示例；以及
图6通过流程图示出了根据本发明的总体方法。
具体实施方式
图1示出了根据本发明第一实施例的计算机系统的框图，该计算机系统被布置为实现至少一个基于注视数据的服务。计算机系统包括眼睛跟踪器120、驱动器单元110和客户端130。
驱动器单元110又含有处理电路116，其例如可以包括一个或多个通用处理器。处理电路116还优选地通信连接到计算机可读存储介质形式的数据载体114，例如随机存取存储器(RAM)，闪存等。数据载体114含有计算机可执行指令，即计算机程序115，用于当计算机可执行指令在处理电路116中执行时，使处理电路116根据这里描述的本发明的实施例执行。
驱动器单元110适于将注视数据包DGT(i)从眼睛跟踪器120流式传输到客户端130。注视数据包DGT(i)含有注视数据，即通常关于用户的至少一只眼睛如何相对于用户头部移动和/或用户的注视点如何横跨特定表面(例如显示器)移动的信息。
现在还参考图2，我们看到如何在驱动器单元110中分别接收注视数据包DGT(1)、DGT(2)和DGT(3)并将其转发到客户端130的示例。具体地，在驱动器单元110中，第一接口111被配置成重复地接收来自眼睛跟踪器120的注视数据包DGT(1)、DGT(2)和DGT(3)；且第二接口112被配置为重复地向客户端130提供注视数据包DGT(1)、DGT(2)和DGT(3)。
处理电路116被配置为控制驱动器单元110的整体运行。尤其是，这意味着处理电路116控制驱动器单元110从客户端130接收请求消息mreq。请求消息mreq在第一时间帧结构FS1中定义递送时间点tD1。递送时间点指定tD1，此时，在第一时间帧结构FS1的每一帧中，注视数据包应当经由第二接口112被提供给客户端130，以便最好地适应在客户端130中实现的功能，所述客户端130例如为头戴显示器(HUD)形式的用于人机交互的输入设备。
此外，处理电路116被配置为计算接收时间点tR和递送时间点tD1之间的偏移tL1。接收时间点tR指示相对于第一时间帧结构FS1从眼睛跟踪器120接收注视数据包的时间。基于偏移tL1，处理电路116被配置为分配经调整的数据获取时例tDAcq’，其表示在第二时间帧结构FS2中的时间点，此时眼睛跟踪器应当产生至少一个未来的注视数据包。图2中的DGT(2)和DGT(3)应当由眼睛跟踪器120产生。
通过控制接口118，驱动器单元110被配置为向眼睛跟踪器120发送控制消息mctrl。控制消息mctrl适于使眼睛跟踪器120在第二时间帧结构FS2中的这一经调整的获取时例tDAcq’处产生至少一个未来的注视数据包DGT(2)和DGT(3)，使得至少一个未来的注视数据包DGT(2)和DGT(3)中的每一个的接收时间点tR预期落在递送时间点tD1之前的一定余量tm内。因此，眼睛跟踪器120将控制消息mctrl视为用于设定其注视数据记录时刻的定时的指令。当请求注视数据时，该调整能够使用要在客户端130中递送的最新的可能数据。
为了保证未来的注视数据包DGT(2)和DGT(3)不会以相对于递送时间点tD1过小的余量到达，并由此使得客户端130能够处理这些数据数据包DGT(2)和DGT(3)中承载的注视数据，第二时间结构FS2中的经调整的获取实例tDAcq’优选地被设定为使得预期接收时间点tR至少是在递送时间点tD1之前的安全时间tSAFE。
在图3中，曲线图示出了根据本发明第一实施例(图1所示)的时序的一个示例，其中驱动器单元110和眼睛跟踪器120连接到同一个时钟发生器140，该时钟发生器140被配置为分别为第一和第二帧结构FS1和FS2提供公共时基基准CLK。当然，这在保持第一和第二帧结构FS1和FS2之间的稳定时间关系方面是有利的。在图3中，这由以下事实反映：一旦已经设定了经调整的捕获时例tDAcq'，则更新后的偏移tL1可以在时间t上基本上保持恒定并且在余量tm内。
图4示出了根据本发明第二实施例的包括眼睛跟踪器120、驱动器单元110和客户端130的计算机系统的框图。这里，图1中也存在的带有附图标记的所有单元、信号和数据包表示与上面参考图1和2描述的相同的单元、信号和数据包。
因此，与本发明的第一实施例相反；在图4中，驱动器单元110连接到第一时钟发生器141并且眼睛跟踪器120连接到第二时钟发生器142，第一时钟发生器141被配置为提供用于第一帧结构FS1的第一时基基准CLK1，并且第二时钟发生器142被配置为提供用于第二帧结构FS2的第二时基基准CLK2。
这里，由于既不能保证也不能预期第一和第二帧结构FS1和FS2之间的稳定时间关系，所以处理电路116还被配置为执行以下过程。重复计算接收时间点tR和递送时间点tD1之间的偏移tL1的更新。如果更新的偏移tL1不在递送时间点tD1之前的余量tm内，则处理电路116被配置为向眼睛跟踪器120发送更新的控制消息mctrl +。更新的控制消息mctrl +适于使眼睛跟踪器120在第二时间结构FS2中的这一经调整的获取时例tDAcq’处产生至少一个未来的注视数据包，使得所述至少一个未来的注视数据包的接收时间点tR预期落在递送时间点tD1之前的余量tm内。
图5示出了根据本发明第二实施例的时序的一个示例。这里，分别假定第一和第二时基基准CLK1和CLK2之间的线性相对漂移。结果，如果未经调整，偏移tL1将从零逐渐增加到等于第一帧结构FS1的帧周期TFS1的最大值。在偏移tL1已经达到这个最大值之后，它将再次变为零，等等。然而，根据所应用的控制原理，接收时间点tR和递送时间点tD1之间的偏移tL1的重复更新限制了偏移tL1在零和余量tm之间的变化或在安全时间tSAFE和余量tm之间的变化。
根据本发明的一个实施例，当注视数据包DGT(2)和DGT(3)从眼睛跟踪器120被发出时，处理电路116被配置为进一步基于眼睛跟踪器120中的时延tL2以及眼睛跟踪器120与驱动器单元110之间的传输延迟，即接收时间点tR与第二帧结构FS2中的时间点tD2之间的时间差，来分配经调整的数据获取时例tDAcq’。
因此，眼睛跟踪器120和驱动器单元110之间的数据路径被适当地建模，并且在请求消息mreq中表示的第一时间帧结构FS1中，客户端130中的注视数据的定时可以相对于客户端130请求的递送时间tD1更加精确。
为了总结，并且参考图6中的流程图，现在将描述根据本发明的用于经由驱动器单元将注视数据从眼睛跟踪器流式传输到客户端的一般方法。底部的虚线框示出了本发明的一个实施例，如果眼睛跟踪器和客户端使用不同的时基基准，则优选应用该实施例。
在第一步骤610，检查是否已经从客户端接收到请求消息。如果是，则执行步骤620；否则，过程循环返回并停留在步骤610中。请求消息定义第一时间帧结构中的递送时间点，在该递送时间点，在第一时间帧结构的每一帧中的递送时间点注视数据包应当被提供给客户端。
在步骤620中，计算接收时间点和递送时间点之间的偏移。然后，在步骤630中，基于偏移分配经调整的数据获取时例。经调整的数据获取时例表示当眼睛跟踪器应当产生至少一个未来的注视数据包时在第二时间帧结构中的经修改的时间点。
随后，在步骤640中，向眼睛跟踪器发送控制消息。控制消息适于使所述眼睛跟踪器在所述第二时间结构中的经调整的获取时例处产生所述至少一个未来的注视数据包，使得所述至少一个未来的注视数据包的接收时间点预期落在所述递送时间点之前的一定余量内。
此后，根据本发明的一般方法，过程循环返回到步骤610。然而，如果眼睛跟踪器和客户端使用不同的时基基准，则随后是步骤650。
在步骤650中，计算接收时间点和递送时间点之间的更新的偏移。然后，步骤660，检查偏移是否落在递送时间点之前的所述余量内。如果是，则过程循环返回到步骤610。否则，接着执行步骤670，其中更新的控制消息被发送到眼睛跟踪器，用于将其数据获取时例调整到落在递送时间点之前的所述余量内。随后，过程循环返回到步骤610。
以上参照图6描述的所有处理步骤以及步骤的任何子序列可以通过至少一个经编程的处理器来控制。此外，尽管上面参考附图描述的本发明的实施例包括处理器和在至少一个处理器中执行的处理，但是本发明因此还扩展到计算机程序，特别是载体上或载体中的计算机程序，其适于将本发明投入实践。该程序可以是源代码、目标代码、代码中间源和目标代码的形式，例如以部分编译的形式，或者是适于在根据本发明的过程的实现中使用的任何其它形式。该程序可以是操作系统的一部分，或者是单独的应用程序。载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，例如闪存；ROM(只读存储器)，例如DVD(数字视频/多功能盘)、CD(光盘)或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)；或磁记录介质，例如软盘或硬盘。此外，载体可以是可传输的载体，例如可以经由电缆或光缆或通过无线电或通过其它方式传送的电或光信号。当程序包含在可以由电缆或其它设备或装置直接传送的信号中时，载体可以由这种电缆或设备或装置构成。或者，载体可以是其中嵌入程序的集成电路，该集成电路适于执行或用于执行相关处理。
当在本说明书中使用时，术语“包括(comprises/comprising)”用于指定所述特征、整体、步骤或部件的存在。然而，该术语不排除一个或多个附加特征、整体、步骤或部件或其群组的存在或附加。
本发明不限于附图中描述的实施例，而是可以在权利要求的保护范围内自由变化。

Claims (14)

1.一种在驱动器单元(110)中执行的用于将含有注视数据的注视数据包(DGT(i))从眼睛跟踪器(120)流式传输到客户端(130)的方法，所述方法包括：
在第一接口(111)中重复地接收来自所述眼睛跟踪器(120)的注视数据包(DGT(1)，DGT(2)，DGT(3))，以及
经由第二接口(112)重复地向所述客户端(130)提供注视数据包(DGT(1)，DGT(2)，DGT(3))，
其特征在于：
从所述客户端(130)接收请求消息(mreq)，所述请求消息(mreq)在第一时间帧结构(FS1)中定义递送时间点(tD1)，在所述第一时间帧结构(FS1)的每一帧中的所述递送时间点(tD1)，所述注视数据包(DGT(1)，DGT(2)，DGT(3))应当经由所述第二接口(112)被提供给所述客户端(130)；
计算接收时间点(tR)与所述递送时间点(tD1)之间的偏移(tL1)，所述接收时间点(tR)指示相对于所述第一时间结构(FS1)从所述眼睛跟踪器(120)接收注视数据包的时间，
基于所述偏移(tL1)而分配经调整的数据获取时例(tDAcq’)，所述经调整的数据获取时例(tDAcq’)表示在第二时间帧结构(FS2)中的经修改的时间点，在所述经修改的时间点，应当由所述眼睛跟踪器(120)产生至少一个未来的注视数据包(DGT(2)，DGT(3))；以及
向所述眼睛跟踪器(120)发送控制消息(mctrl)，所述控制消息(mctrl)适于使所述眼睛跟踪器(120)在所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)处产生所述至少一个未来的注视数据包(DGT(2)，DGT(3))，以使得所述至少一个未来的注视数据包(DGT(2)，DGT(3))的所述接收时间点(tR)预期落在所述递送时间点(tD1)之前的一定余量(tm)内。
2.根据权利要求1所述的方法，其中，所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)使得所述预期的接收时间点(tR)是所述递送时间点(tD1)之前的至少安全时间(tSAFE)。
3.根据权利要求1或2中任一项所述的方法，进一步包括使所述第二时间帧结构(FS2)与所述第一时间帧结构(FS1)同步，使得所述第一帧结构和第二帧结构(FS1；FS2)共享公共时基基准(CLK)。
4.根据权利要求3所述的方法，其中使所述第二时间帧结构(FS2)与所述第一时间帧结构(FS1)同步包括调整连续数据获取时例(tDAcq’)之间的间隔以匹配所述第一时间帧结构(FS1)的周期。
5.根据权利要求1所述的方法，其中，所述第一帧结构(FS1)与第一时基基准(141)同步，所述第一时基基准(141)不同于第二时基基准(142)，所述第二时间帧结构(FS2)与所述第二时基基准(142)同步，并且所述方法还包括：
重复地计算所述接收时间点(tR)和所述递送时间点(tD1)之间的所述偏移(tL1)的更新，并且如果更新的偏移(tL1)不落在所述递送时间点(tD1)之前的所述余量(tm)内，
则向所述眼睛跟踪器(120)发送更新的控制消息(mctrl +)，所述更新的控制消息(mctrl +)适于使所述眼睛跟踪器(120)在所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)处产生至少一个未来的注视数据包，以使得所述至少一个未来的注视数据包的所述接收时间点(tR)预期落在所述递送时间点(tD1)之前的所述余量(tm)内。
6.根据以上权利要求中任一项所述的方法，其中所述经调整的数据获取时例(tDAcq’)是进一步基于所述眼睛跟踪器(120)中的时延(tL2)以及所述眼睛跟踪器(120)与所述驱动器单元(110)之间的传输延迟(tR-tD2)来分配的。
7.一种计算机程序产品(115)，其可加载到通信地连接到处理电路(116)的非易失性数据载体(114)中，所述计算机程序产品(115)包括用于当所述计算机程序产品(115)在所述处理电路(116)上运行时执行根据权利要求1至6中任一项所述的方法的软件。
8.一种含有根据权利要求7所述的计算机程序产品(115)的非易失性数据载体(114)。
9.一种适于将含有注视数据的注视数据包(DGT(i))从眼睛跟踪器(120)流式传输到客户端(130)的驱动器单元(110)，所述驱动器单元(110)包括：
第一接口(111)，其配置成重复地接收来自所述眼睛跟踪器(120)的注视数据包(DGT(1)，DGT(2)，DGT(3))，
第二接口(112)，其配置成重复地向所述客户端(130)提供注视数据包(DGT(1)，DGT(2)，DGT(3))，以及
处理电路(116)，其配置成控制所述驱动器单元(110)的运行，
其特征在于：
所述驱动器单元(110)配置为从所述客户端(130)接收请求消息(mreq)，所述请求消息(mreq)在第一时间帧结构(FS1)中定义递送时间点(tD1)，在所述第一时间帧结构(FS1)的每一帧中的所述递送时间点(tD1)，所述注视数据包应当经由所述第二接口(112)被提供给所述客户端(130)；
所述处理电路(116)配置为：
计算在接收时间点(tR)与所述递送时间点(tD1)之间的偏移(tL1)，所述接收时间点(tR)指示相对于所述第一时间结构(FS1)从所述眼睛跟踪器(120)接收注视数据包的时间，并且
基于所述偏移(tL1)分配经调整的数据获取时例(tDAcq’)，所述经调整的数据获取时例(tDAcq’)表示第二时间帧结构(FS2)中的时间点，在所述时间点，至少一个未来的注视数据包(DGT(2)，DGT(3))应当由所述眼睛跟踪器(120)产生；以及
所述驱动器单元(110)配置为经由控制接口(118)向所述眼睛跟踪器(120)发送控制消息(mctrl)，所述控制消息(mctrl)适于使所述眼睛跟踪器(120)在所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)处产生所述至少一个未来的注视数据包(DGT(2)，DGT(3))，以使得所述至少一个未来的注视数据包(DGT(2)，DGT(3))的所述接收时间点(tR)预期落在所述递送时间点(tD1)之前的一定余量(tm)内。
10.根据权利要求9所述的驱动器单元(110)，其中，所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)使得预期的接收时间点(tR)是在所述递送时间点(tD1)之前的至少安全时间(tSAFE)。
11.根据权利要求9或10中任一项所述的驱动器单元(110)，其中，所述驱动器单元(110)和所述眼睛跟踪器(120)连接到公共时钟发生器(140)，所述公共时钟发生器(140)配置为向所述第一帧结构和第二帧结构(FS1；FS2)提供公共时基基准(CLK)。
12.根据权利要求9所述的驱动器单元(110)，其中，所述驱动单元(110)连接到第一时钟发生器(141)，所述第一时钟发生器(141)被配置为提供用于所述第一帧结构(FS1)的第一时基基准(CLK1)，并且所述眼睛跟踪器(120)连接到第二时钟发生器(142)，所述第二时钟发生器(142)被配置为提供用于所述第二帧结构(FS2)的第二时基基准(CLK2)，并且所述处理电路(116)还配置为：
重复地计算所述接收时间点(tR)和所述递送时间点(tD1)之间的所述偏移(tL1)的更新，并且如果更新的偏移(tL1)不落在所述递送时间点(tD1)之前的所述余量(tm)内，
则向所述眼睛跟踪器(120)发送更新的控制消息(mctrl +)，所述更新的控制消息(mctrl +)适于使所述眼睛跟踪器(120)在所述第二时间结构(FS2)中的所述经调整的获取时例(tDAcq’)处产生至少一个未来的注视数据包，以使得所述至少一个未来的注视数据包的所述接收时间点(tR)预期落在所述递送时间点(tD1)之前的所述余量(tm)内。
13.根据权利要求9至12中任一项所述的驱动器单元(110)，其中，所述处理电路(116)配置为进一步基于所述眼睛跟踪器(120)中的时延(tL2)和所述眼睛跟踪器(120)与所述驱动器单元(110)之间的传输延迟(tR-tD2)来分配所述经调整的数据获取时例(tDAcq’)。
14.一种布置成实现至少一个基于注视数据的服务的计算机系统，其包括：
根据权利要求9至13中任一项所述的驱动器单元(110)；
眼睛跟踪器(120)，其配置为向所述驱动器单元(110)产生含有注视数据的数据包(DGT(i))；以及
客户端(130)，其配置成从所述驱动器单元(110)接收所述数据包(DGT(i))，并且基于所述数据包(DGT(i))来实现所述至少一个基于注视数据的服务。
CN201911273398.5A 2018-12-12 2019-12-12 用于将注视数据包从眼睛跟踪器流式传输到客户端的方法、非易失性数据载体、驱动器单元和计算机系统 Active CN111585943B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1851562A SE542556C2 (en) 2018-12-12 2018-12-12 Method Computer Program and Driver Unit for Streaming Gaze Data Packets
SE1851562-7 2018-12-12

Publications (2)

Publication Number Publication Date
CN111585943A true CN111585943A (zh) 2020-08-25
CN111585943B CN111585943B (zh) 2022-03-25

Family

ID=68732732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273398.5A Active CN111585943B (zh) 2018-12-12 2019-12-12 用于将注视数据包从眼睛跟踪器流式传输到客户端的方法、非易失性数据载体、驱动器单元和计算机系统

Country Status (5)

Country Link
US (1) US11716365B2 (zh)
EP (1) EP3667461B1 (zh)
CN (1) CN111585943B (zh)
ES (1) ES2926303T3 (zh)
SE (1) SE542556C2 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959767A (zh) * 2011-12-21 2014-07-30 汤姆逊许可公司 检测时间同步失配的视频处理装置及方法
WO2015127361A1 (en) * 2014-02-23 2015-08-27 Interdigital Patent Holdings, Inc. Cognitive and affective human machine interface
CN106164818A (zh) * 2014-03-20 2016-11-23 微软技术许可有限责任公司 使用随着时间的眼睛注视评估进行选择
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8183982B2 (en) * 2007-08-14 2012-05-22 Infineon Technologies Ag System including reply signal that at least partially overlaps request
JP4941753B2 (ja) * 2007-08-31 2012-05-30 横河電機株式会社 フィールド制御システム
JP6020092B2 (ja) * 2012-11-29 2016-11-02 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
US10082870B2 (en) 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US20170041897A1 (en) * 2013-11-12 2017-02-09 Qualcomm Incorporated Apparatus and methods for synchronizing a controller and sensors
KR102250821B1 (ko) 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법
US9489045B2 (en) 2015-03-26 2016-11-08 Honeywell International Inc. Methods and apparatus for providing a snapshot truthing system for a tracker
US10341650B2 (en) 2016-04-15 2019-07-02 Ati Technologies Ulc Efficient streaming of virtual reality content
CN107742512B (zh) 2017-11-07 2020-09-01 北京京东方光电科技有限公司 一种显示驱动电路、其驱动方法及显示装置
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
US10802287B2 (en) * 2019-01-14 2020-10-13 Valve Corporation Dynamic render time targeting based on eye tracking
US10712817B1 (en) * 2019-06-27 2020-07-14 Tobii Ab Image re-projection for foveated rendering
US10997949B2 (en) * 2019-10-04 2021-05-04 Facebook Technologies, Llc Time synchronization between artificial reality devices
US11169604B2 (en) * 2019-11-15 2021-11-09 Tobii Ab Determination of gaze calibration parameters
US11163995B2 (en) * 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
US20210350550A1 (en) * 2020-05-11 2021-11-11 Nvidia Corporation Gaze estimation using one or more neural networks
US20210289336A1 (en) * 2020-10-23 2021-09-16 Facebook Technologies, Llc Systems and methods for smart devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959767A (zh) * 2011-12-21 2014-07-30 汤姆逊许可公司 检测时间同步失配的视频处理装置及方法
WO2015127361A1 (en) * 2014-02-23 2015-08-27 Interdigital Patent Holdings, Inc. Cognitive and affective human machine interface
CN106164818A (zh) * 2014-03-20 2016-11-23 微软技术许可有限责任公司 使用随着时间的眼睛注视评估进行选择
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking

Also Published As

Publication number Publication date
US11716365B2 (en) 2023-08-01
SE1851562A1 (en) 2020-06-02
US20210112107A1 (en) 2021-04-15
EP3667461B1 (en) 2022-08-03
ES2926303T3 (es) 2022-10-25
CN111585943B (zh) 2022-03-25
EP3667461A1 (en) 2020-06-17
SE542556C2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
US10628711B2 (en) Determining pose of handheld object in environment
CN109151301B (zh) 包括相机模块的电子装置
JP2019507509A (ja) 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
US20120163520A1 (en) Synchronizing sensor data across devices
WO2012040629A2 (en) Motion initiated time synchronization
US10368212B2 (en) Method and apparatus for providing augmented reality services
KR20210002648A (ko) 사용자와 자동화된 어시스턴트 인터페이스 간의 거리에 따른 자동화된 어시스턴트 콘텐츠의 생성 및/또는 적용
CN109189215B (zh) 一种虚拟内容显示方法、装置、vr设备及介质
US9877064B2 (en) Systems and methods for efficient event-based synchronization in media file transfer and real-time display rendering between a peripheral system and a host device
CN109560913B (zh) 一种蓝牙音频设备之间数据时间同步的方法及装置
CN108665522B (zh) 一种高帧频短延时动态场景仿真生成系统和方法
US20170026684A1 (en) Communications between a peripheral system and a host device in efficient event-based synchronization of media transfer for real-time display rendering
KR100829643B1 (ko) 이벤트 타임-스탬핑
EP2210450A1 (en) Method, system and server playing media using user equipment with motion sensor
JP7217990B2 (ja) パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
CN111585943B (zh) 用于将注视数据包从眼睛跟踪器流式传输到客户端的方法、非易失性数据载体、驱动器单元和计算机系统
EP3963463B1 (en) Synchronization of audio across multiple devices
US20200184929A1 (en) Phase locked multi-display synchronization
US10531243B2 (en) Method and apparatus for transmitting signals having temporal correlation
CN108476314B (zh) 内容显示方法以及执行该方法的电子装置
US20190007726A1 (en) Audio, video, and actuation (a/v/a) synchronization for mixed reality
CN116420129A (zh) 多协议同步
US20190327523A1 (en) Media information processing method, apparatus and system
WO2024140540A1 (zh) 虚拟现实显示方法及装置、增强现实光学采集装置、介质
WO2023042266A1 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant