CN108600731A - 用于预测眼睛位置的设备和方法 - Google Patents

用于预测眼睛位置的设备和方法 Download PDF

Info

Publication number
CN108600731A
CN108600731A CN201810915186.1A CN201810915186A CN108600731A CN 108600731 A CN108600731 A CN 108600731A CN 201810915186 A CN201810915186 A CN 201810915186A CN 108600731 A CN108600731 A CN 108600731A
Authority
CN
China
Prior art keywords
location information
predicted position
variable quantity
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810915186.1A
Other languages
English (en)
Other versions
CN108600731B (zh
Inventor
姜柄敏
许珍九
南东暻
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108600731A publication Critical patent/CN108600731A/zh
Application granted granted Critical
Publication of CN108600731B publication Critical patent/CN108600731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/916—Ultrasound 3-D imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于预测眼睛位置的设备和方法。所述设备包括：眼睛位置跟踪器，被配置为确定检测到的用户眼睛的位置信息；眼睛位置预测器，被配置为基于检测到的位置信息在采样时间间隔期间的变化量，产生用户眼睛在目标时间的预测位置信息,其中，所述眼睛位置预测器被配置为将权重应用于检测到的位置信息的变化量以生成预测信息，其中，应用于所述变化量的权重随着目标时间临近而增加。

Description

用于预测眼睛位置的设备和方法
本申请是申请日为2015年12月10日、申请号为201510909248.4、发明名称为“用于预测眼睛位置的设备和方法”的发明专利申请的分案申请。
技术领域
至少一个示例实施例涉及一种基于眼睛跟踪的三维(3D)显示。
背景技术
近来，三维(3D)显示由于其能以比二维(2D)显示更真实的方式呈现图像的能力而得到更多的关注。各种3D显示方法可包括基于眼睛跟踪的裸眼3D显示方法。基于眼睛跟踪的裸眼3D显示可利用检测用户的眼睛位置并将包括在3D图像中的左眼图像和右眼图像分别输出到用户的每只眼睛的显示方法。在基于眼睛跟踪的裸眼3D显示中，准确地将图像输出到用户的眼睛位置很重要。因此，当输出图像时需要准确地检测用户的眼睛位置。
发明内容
一些示例实施例涉及一种三维(3D)显示设备。
在一些示例实施例中，3D显示设备可包括：眼睛位置跟踪器，被配置为确定关于用户眼睛的位置信息；眼睛位置预测器，被配置为基于位置信息在采样时间间隔期间的变化量，产生关于用户眼睛在目标时间的预测位置信息；图像处理器，被配置为基于所述预测位置信息来渲染3D图像。
所述眼睛位置预测器可被配置为：基于位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和，产生在目标时间的预测位置信息。
所述眼睛位置预测器可被配置为：计算位置信息的变化量的加权平均值，并基于所述加权平均值产生所述预测位置信息。
所述眼睛位置预测器可被配置为：将权重应用于位置信息的变化量，其中，在采样时间间隔期间所述权重随着目标时间临近而增加。
所述权重可以是基于在目标时间具有最大值的正态分布来确定的。
所述预测位置信息可包括第一预测位置信息和第二预测位置信息，其中，第一预测位置信息是基于位置信息的变化量而产生的，第二预测位置信息是基于第一预测位置信息的变化量而产生的。
所述图像处理器可被配置为：基于第二预测位置信息来渲染3D图像。
所述眼睛位置预测器可包括：存储器，被配置为在采样时间间隔期间存储关于用户眼睛的位置信息，并且所述存储器被配置为响应于接收到新位置信息，将预先存储在所述存储器中的位置信息进行移位并在所述存储器中存储所述新位置信息。
所述图像处理器可被配置为：响应于存储在所述存储器中的位置信息的量少于或等于期望的(或者可选择地，预定的)参考，渲染与在目标时间的位置信息相应的3D图像。
所述眼睛位置跟踪器可被配置为：基于用户图像来确定位置信息。
其它示例实施例涉及一种用于预测眼睛位置的设备。
在一些示例实施例中，用于预测眼睛位置的设备可包括：存储器，被配置为在采样时间间隔期间存储关于用户眼睛的位置信息；计算器，被配置为计算位置信息的变化量的加权平均值；预测器，被配置为基于所述加权平均值来产生关于用户眼睛在目标时间的预测位置信息。
所述计算器可被配置为：计算所述预测位置信息在采样时间间隔期间的变化量的第二加权平均值，并且所述预测器可被配置为：基于所述第二加权平均值来产生关于用户眼睛在目标时间的第二预测位置信息。
所述计算器可被配置为：将权重应用于位置信息的变化量，其中，在采样时间间隔期间所述权重随着目标时间临近而增加。
所述预测器可被配置为：基于位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和，产生在目标时间的预测位置信息。
所述存储器被配置为：响应于接收到新位置信息，将预先存储在所述存储器中的位置信息进行移位并在所述存储器中存储所述新位置信息。
其它示例实施例涉及一种预测眼睛位置的方法。
在一些示例实施例中，预测眼睛位置的方法在采样时间间隔期间接收关于用户眼睛的位置信息，计算位置信息的变化量的加权平均值，并基于所述加权平均值产生关于用户眼睛在目标时间的预测位置信息。
所述预测眼睛位置的方法还可包括：计算所述预测位置信息在采样时间间隔期间的变化量的第二加权平均值，并基于所述第二加权平均值来产生关于用户眼睛在目标时间的第二预测位置信息。
所述计算的步骤可包括：将权重应用于位置信息的变化量，其中，在采样时间间隔期间所述权重随着目标时间临近而增加。
示例实施例的另外的方面将在以下描述中被部分阐述，部分从描述中将是清楚的，或可通过本公开的实践而领会。
附图说明
通过以下结合附图对示例实施例进行的描述，这些和/或其它方面将变得清楚并更加容易理解，在附图中：
图1A和图1B示出根据至少一个示例实施例的渲染检测的眼睛位置和预测的眼睛位置的示例；
图2是示出根据至少一个示例实施例的三维(3D)显示设备的示例的框图；
图3是示出根据至少一个示例实施例的眼睛位置预测器的示例的框图；
图4A至图4C示出根据至少一个示例实施例的存储器的存储处理的示例；
图5示出根据至少一个示例实施例的产生第一预测位置信息的处理的示例；
图6示出根据至少一个示例实施例的产生第二预测位置信息的处理的示例；
图7是示出根据至少一个示例实施例的产生3D图像的方法的示例的流程图；
图8是示出根据至少一个示例实施例的预测眼睛位置的方法的示例的流程图。
具体实施方式
在下文中，将参照附图详细描述一些示例实施例。关于分配给附图中的元件的参考标号，应注意，无论何处，相同的元件即使在不同的附图中被示出也仍将由相同的参考标号指定。此外，在实施例的描述中，当认为对公知的相关结构或功能的详细描述会造成本公开的解释不清楚时，这样的描述将会被省略。
然而，应该理解，并不意图将本公开限于所公开的特定的示例实施例。相反，示例实施例是为涵盖落入示例实施例的范围内的所有修改、等同物和替代物。贯穿附图的描述，相同的标号表示相同的元件。
在此使用的术语仅仅是为了描述特定实施例的目的，而并非意在限制。如在这里使用的，除非上下文清楚地另有指示，否则单数形式意在还包括复数形式。还将理解的是，当在这里使用术语“包含”、“包含……的”、“包括”和/或“包括……的”时，所述术语指定声明的特征、整体、步骤、操作、元件和/或组件的存在，但并不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或其组合。
还应注意，在一些可选的实现方式中，提到的功能/作用可以不按照图中指出的顺序发生。例如，根据涉及的功能/作用，连续示出的两幅图实际上可被基本同时执行，或者有时可以以相反顺序被执行。
现在将参照示出了一些示例实施例的附图来更加充分地描述各种示例实施例。在附图中，为简单起见，层的厚度或区域被夸大。
图1A和图1B示出根据至少一个示例实施例的渲染检测的眼睛位置和预测的眼睛位置的示例。
图1A示出渲染检测的眼睛位置的示例，图1B示出渲染预测的眼睛位置的示例。用户的眼睛位置可被检测以用于基于眼睛跟踪的裸眼三维(3D)显示。3D显示设备可显示与检测的用户的眼睛位置相应的3D图像。所述3D图像可包括输出到用户的右眼的图像和输出到用户的左眼的图像。为向用户提供清晰的3D图像，3D显示设备可准确地检测用户的眼睛位置并准确地将3D图像输出到用户的眼睛位置。
当用户移动时，检测用户的眼睛位置并准确地将3D图像输出到用户的眼睛位置的处理可能很难。例如，参照图1A和图1B，用户可能从初始位置穿过检测位置移动到渲染位置。在这里，检测位置可以是在3D显示设备检测用户的眼睛位置的时间点的用户的眼睛位置，并且渲染位置可以是在3D显示设备渲染3D图像的时间点的用户的眼睛位置。
当由3D显示设备将输入图像渲染为3D图像并从用户图像检测用户的眼睛位置时，期望的(或者可选择地，预定的)时间可能会过去。因此，当用户移动时，由于因所述期望的(或者可选择地，预定的)时间造成的延迟而可能产生串扰。例如，参照图1A，当用户的眼睛位置从检测位置移动到渲染位置时，在3D显示设备向检测到用户的眼睛的检测位置输出3D图像时可能产生串扰。参照图1B，当3D显示设备预测用户眼睛的渲染位置并向渲染位置输出3D图像时，可减少(或者可选择地，防止)串扰。因此，期望基于用户的移动来预测眼睛位置并向预测的眼睛位置输出3D图像。
图2是示出根据至少一个示例实施例的3D显示设备的示例的框图。
参照图2，3D显示设备100包括眼睛位置跟踪器110、眼睛位置预测器120和图像处理器130。
眼睛位置跟踪器110可基于用户图像确定关于用户眼睛的位置信息。眼睛位置跟踪器110可包括图像传感器。眼睛位置跟踪器110可使用图像传感器来感测用户图像，并确定关于用户眼睛的位置信息。位置信息可以是关于从用户图像检测到的用户眼睛的实际位置的信息。位置信息可包括用户眼睛的实际位置的坐标值。眼睛位置跟踪器110可从用户图像检测用户的面部，并可从检测出的用户面部确定关于用户眼睛的位置信息。眼睛位置跟踪器110可基于针对各种类型的面部和眼睛或面部和眼睛的相对位置而训练的数据来确定位置信息。
眼睛位置跟踪器110可在通过x-y-z坐标系表现的3D空间中跟踪用户的眼睛位置。位置信息可包括3D坐标值以指示用户的右眼的位置和用户的左眼的位置。
眼睛位置预测器120可基于位置信息在采样时间间隔期间的变化量，产生关于用户眼睛在目标时间的位置信息。预测位置信息可以是从位置信息计算的关于用户眼睛的预测位置的信息。例如，位置信息可对应于图1中示出的检测位置，预测位置信息可对应于图1中示出的渲染位置。预测位置信息可包括用户眼睛的预测位置的坐标值。
目标时间可以是渲染完成的时间点。目标时间可被称作当前时间。采样时间间隔可以是提供用于产生在目标时间的预测位置信息的采样的时间间隔。采样时间间隔可以是先于目标时间的期望的(或者可选择地，预定的)时间间隔。例如，当时间间隔“t”是“n－10”至“n”时，采样时间间隔是“n－10”至“n”，目标时间是“n”。
眼睛位置预测器120可基于位置信息在采样时间间隔期间的变化量，产生关于用户眼睛在目标时间的预测位置信息。预测位置信息可包括基于位置信息的变化量而产生的第一预测位置信息和基于第一预测位置信息的变化量而产生的第二预测位置信息。简而言之，眼睛位置预测器120可基于位置信息的变化量产生第一预测位置信息，并且基于第一预测位置信息的变化量产生第二预测位置信息。在下文中，将详细描述用于产生第一预测位置信息和第二预测位置信息的处理。
将参照以下说明来描述用于产生第一预测位置信息的处理。
第一预测位置信息可以是基于位置信息的变化量而产生的位置信息。将参照图5详细描述第一预测位置信息。
图5示出根据至少一个示例实施例的产生第一预测位置信息的处理的示例。
参照图5，示出了采样时间间隔n－10至n期间的位置信息和在目标时间n的第一预测位置信息的曲线图。
位置信息和第一预测位置信息可包括3D x-y-z坐标，图5中的位置信息和第一预测位置信息可以是3D坐标之中的任意一个轴的坐标值。此外，位置信息和第一预测位置信息可以是用户的左眼或右眼中的任意一个的坐标值。因此，当以下描述被应用于其余的轴和眼睛时，可获得关于双眼的3D第一预测位置信息。
眼睛位置预测器120可使用等式1来产生第一预测位置信息。
[等式1]
在等式1中，“pl(n)”表示在“n”的第一预测位置信息，“m(n)”表示在“n”的位置信息。“m(t)-m(t-1)”表示在“t”和“t-1”的位置信息的变化量。“w(t)”表示“m(t)-m(t-1)”的权重,“W”表示权重“w(t)”的总和。“α”表示乘法因子。“α”可由用户和/或基于经验证据来控制。例如，当在产生位置信息或渲染3D图像的操作中延迟增加时，用户可将“α”设置为相对较高的值。“T”表示用于产生第一预测位置信息的位置信息的数量。在下文中，相同的参数具有相同的含义。
权重可以是在采样时间间隔期间接近于目标时间的相对较高的值。例如，可基于在目标时间具有最大值的正态分布来确定权重。权重在更远离目标时间的时间可具有相对较低的值。这样，应该理解，在采样时间间隔期间，应用于位置信息的变化量的权重可随着目标时间的临近而增加。等式2表示根据至少一个示例实施例的“w(t)”。
[等式2]
等式2表示在目标时间具有最大值的正态分布。在等式2中，“σ2”表示正态分布的方差。“σ”可由用户控制。等式3表示“W”。
[等式3]
基于前面对参数的描述，等式1的右手边表示位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和。因此，眼睛位置预测器120可基于位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和，产生在目标时间的第一预测位置信息。此外，眼睛位置预测器120可计算位置信息的变化量的加权平均值，基于所述加权平均值来产生第一预测位置信息。眼睛位置预测器120可基于第一预测位置信息来产生第二预测位置信息。在下文中，将详细描述第二预测位置信息。
将参照以下说明来描述用于产生第二预测位置信息的处理。
第二预测位置信息可以是基于第一预测位置信息的变化量而产生的位置信息。将参照图6详细描述第二预测位置信息。
图6示出根据至少一个示例实施例的产生第二预测位置信息的处理的示例。
参照图6，示出了在采样时间间隔“n-10”至“n”期间的位置信息、在采样时间间隔“n-10”至“n”期间的第一预测位置信息以及在目标时间“n”的第二预测位置信息的曲线图。
位置信息和预测信息可包括3D x-y-z坐标，并且图6中的位置信息和预测信息可以是3D坐标之中的任意一个轴的坐标值。此外，图6中的位置信息和预测信息可以是用户的左眼或右眼中的任意一个的坐标值。因此，当以下描述被应用于其余的轴和眼睛时，可获得关于双眼的3D第二预测位置信息。
眼睛位置预测器120可使用等式4来产生第二预测位置信息。
[等式4]
在等式4中，“p2(n)”表示在“n”的第二预测位置信息，“m(n)”表示在“n”的位置信息。当“pl'(t)”为“t＝n”时，“pl'(t)”表示“m(t)”。当“pl'(t)”为“t≠n”时，“pl'(t)”表示“pl(t)”。“pl'(t)-pl(t-1)”表示在“t”和“t-1”第一预测位置信息的变化量。“w(t)”表示“pl'(t)-pl(t-1)”的权重,“W”表示权重“w(t)”的总和。“α”表示乘法因子。针对“α”，可将等式1的描述应用于“α”。“T”表示用于产生预测位置信息的位置信息的数量。
权重可以是在采样时间间隔期间接近于目标时间的相对较高的值。例如，可基于在目标时间具有最大值的正态分布来确定权重。权重在更远离目标时间的时间可具有相对较低的值。这样，应该理解，在采样时间间隔期间，应用于位置信息的变化量的权重可随着目标时间的临近而增加。针对“w(t)”和“W”，等式2和等式3的描述可被应用于“w(t)”和“W”。
基于前面对参数的描述，等式4的右手边表示第一预测位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和。因此，眼睛位置预测器120可基于第一预测位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和，产生在目标时间的第二预测位置信息。在本公开中，在采样时间间隔期间的第一预测位置信息的加权平均值可被称作第二加权平均值。
眼睛位置预测器120可计算第一预测位置信息的变化量的第二加权平均值，并可基于第二加权平均值来产生第二预测位置信息。
返回参照图2，将描述3D显示设备100。参照图2，图像处理器130基于预测位置信息产生输入图像的输出图像。在这里，预测位置信息可以是以上描述的第一预测位置信息或第二预测位置信息。此外，输入图像可以是立体图像，输出图像可以是基于预测位置信息被渲染的3D图像。输出图像可以是与基于预测位置信息的坐标值相应的3D图像。
为预测眼睛位置，可能期望多于或等于期望的(或者可选择地，预定的)参考的采样，例如，足够量的位置信息。例如，参照将在下文描述的图5和图6，可能需要与10帧相应的位置信息。当未存储到足够预测眼睛位置的采样(例如，足够量的位置信息)时，图像处理器130可渲染与位置信息相应的3D图像，直至足够的采样被存储为止。图像处理器130可响应于预先存储的位置信息的量少于或等于期望的(或者可选择地，预定的)参考，渲染与在目标时间的位置信息相应的3D图像。
图3是示出根据至少一个示例实施例的眼睛位置预测器的示例的框图。
参照图3，眼睛位置预测器120包括存储器121、计算器122和预测器123。
存储器121在采样时间间隔期间存储关于用户眼睛的位置信息。存储器121可从眼睛位置跟踪器110接收位置信息，并存储接收的位置信息。存储器121可响应于接收到新位置信息，将预先存储在存储器121中的位置信息进行移位。将参照图4详细描述存储器121的操作。
图4A至图4C示出根据至少一个示例实施例的存储器的存储处理的示例。
参照图4，示出了图3的存储器121和位置信息的坐标值“LE[k]”。在示例中，存储器121可以是缓冲器。坐标值“LE[k]”可被称作左眼坐标值。存储器121可存储被称作右眼坐标值的坐标值“RE[k]”。“LE[k]”和“RE[k]”均可包括3D x-y-z坐标值。参照图4，“n”表示为在存储器121中使用的帧的数量。
图4A示出预先存储的位置信息“LE[n-1]”至“LE[n-7]”。图4B示出预先存储的位置信息“LE[n-1]”至“LE[n-7]”的移位，所述移位在存储新位置信息“LE[n]”之前进行。图4C示出在移位之后存储新位置信息“LE[n]”的操作。存储器121可通过图4A至图4C的处理存储新位置信息“LE[n]”。由于位置信息根据时间流被存储在存储器121中，所以存储器121不需要进一步加索引就可管理位置信息。计算器122可通过将最高的权重应用于最近存储的值来计算加权总和。
返回参照图3，将描述眼睛位置预测器120。计算器122计算位置信息的变化量的加权平均值。计算器122可基于权重计算加权平均值。计算器122可将权重应用于位置信息的变化量，所述权重是在采样时间间隔期间根据与目标时间的接近的相对较高的值。此外，计算器122可基于第一预测位置信息在采样时间间隔期间的变化量来计算第二加权平均值。
预测器123基于加权平均值产生关于用户眼睛在目标时间的预测位置信息。预测器123可将产生的预测位置信息发送至图像处理器130。预测器123可基于位置信息在采样时间间隔期间的变化量的加权平均与在目标时间的位置信息之和，产生在目标时间的预测位置信息。预测器123可基于由计算器122计算的第二加权平均值来产生关于用户眼睛在目标时间的第二预测位置信息。
图7是示出根据至少一个示例实施例的产生3D图像的方法的示例的流程图。
参照图7，在操作310，3D显示设备100基于用户图像确定关于用户眼睛的位置信息。3D显示设备100可包括图像传感器以确定位置信息。3D显示设备100可使用图像传感器感测用户图像，并确定关于用户眼睛的位置信息。位置信息可以是关于从用户图像检测的用户眼睛的实际位置的信息。位置信息可包括用户眼睛的实际位置的坐标值。
在操作320，3D显示设备100基于位置信息在采样时间间隔期间的变化量，产生关于用户眼睛在目标时间的预测位置信息。预测位置信息可以是关于用户眼睛的预测位置的信息。预测位置信息可包括第一预测位置信息和第二预测位置信息。针对位置信息和预测位置信息，前述描述可被应用于所述位置信息和预测位置信息。
在操作330，3D显示设备100基于预测位置信息来渲染3D图像。3D显示设备100可渲染与基于预测位置信息的坐标值相应的3D图像。即使当用户移动时，用户仍可观看到与预测位置信息相应的清晰3D影像。
图8是示出根据至少一个示例实施例的预测眼睛位置的方法的示例的流程图。
参照图8，在操作321，一种用于预测眼睛位置的设备在采样时间间隔期间接收关于用户眼睛的位置信息。位置信息可包括用户的眼睛位置的坐标值。
在操作322，用于预测眼睛位置的设备可存储位置信息。用于预测眼睛位置的设备120可响应于接收到新位置信息，移位预先存储的位置信息并存储所述新位置信息。当未存储到足够预测眼睛位置的采样(例如，足够量的位置信息)时，用于预测眼睛位置的设备120可渲染与位置信息相应的3D图像，直至足够的采样被存储为止。用于预测眼睛位置的设备120可响应于预先存储的位置信息的量少于或等于期望的(或者可选择地，预定的)参考，渲染与在目标时间的位置信息相应的3D图像。
在操作323，用于预测眼睛位置的设备120计算位置信息的变化量的加权平均值。用于预测眼睛位置的设备120可基于权重计算加权平均值。用于预测眼睛位置的设备120可将权重应用于位置信息的变化量，其中，所述权重是在采样时间间隔期间根据与目标时间的接近的相对较高的值。此外，眼睛位置预测信息可基于关于采样时间间隔的第一预测位置信息的变化量来计算第二加权平均值。
在操作324，用于预测眼睛位置的设备120基于加权平均值产生关于用户眼睛在目标时间的预测位置信息。用于预测眼睛位置的设备可产生在目标时间的预测位置信息以及位置信息在采样时间间隔期间的变化量的加权平均。用于预测眼睛位置的设备120可基于第二加权平均值产生关于用户眼睛在目标时间的第二预测位置信息。
可使用硬件组件和软件组件来实现这里所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用一个或更多个被配置为通过执行算术、逻辑和输入/输出的操作来执行和/或运行程序代码的硬件装置来实现处理装置。处理装置可包括处理器(即，专用处理器)、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微型处理器或能够以限定的方式响应并执行指令的任何其它装置。处理装置可运行操作系统(OS)以及运行在OS上的一个或更多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置。然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或包括处理器和控制器。此外，不同的处理配置是可行的(诸如，并行处理器)。
软件可包括用于独立地或共同地指示和/或配置处理装置以如所期望的进行操作的计算机程序、一段代码、指令或它们的某些组合，从而使处理装置转变为专用处理器。软件和数据可在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中、或在能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中被永久地或临时地实现。软件也可被分布在联网的计算机系统上，使得软件按照分布式方式被存储并被执行。软件和数据可由一个或更多个非暂时性计算机可读记录介质进行存储。
根据上述示例实施例的方法可被记录在包括用于执行上述示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。在所述介质上记录的程序指令可以是针对示例实施例的目的而专门设计和构建的那些程序指令，或者它们可以是计算机软件领域的技术人员公知的和可用的种类的程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD ROM盘、DVD和/或蓝光盘)、磁光介质(诸如光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒)等)。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和包含可由计算机使用解释器来执行的更高级代码的文件两者。上述装置可被配置为充当一个或更多个软件模块以便执行上述示例实施例的操作，或者反之亦然。
许多示例实施例已经在上面被描述。但是，应该理解，可以对这些示例实施例做出各种修改。例如，如果以不同的顺序执行所描述的技术，和/或如果所描述的系统、架构、装置或电路中的组件被以不同的方式被组合和/或被其他组件或其等同物替代或补充，则可能实现合适的结果。因此，其他实施方式在权利要求的范围内。

Claims (18)

1.一种三维3D显示设备，包括：
眼睛位置跟踪器，被配置为确定检测到的用户眼睛的位置信息；
眼睛位置预测器，被配置为基于检测到的位置信息在采样时间间隔期间的变化量，产生用户眼睛在目标时间的预测位置信息,
其中，所述眼睛位置预测器被配置为将权重应用于检测到的位置信息的变化量以产生预测位置信息，其中，应用于所述变化量的权重随着目标时间临近而增加。
2.如权利要求1所述的3D显示设备，其中，所述眼睛位置预测器被配置为：基于检测到的位置信息在采样时间间隔期间的变化量的加权平均与在目标时间检测到的位置信息之和，产生在目标时间的预测位置信息。
3.如权利要求1所述的3D显示设备，其中，所述眼睛位置预测器被配置为：计算检测到的位置信息的变化量的加权平均值，并基于所述加权平均值产生所述预测位置信息。
4.如权利要求1所述的3D显示设备，其中，所述权重是基于在目标时间具有最大值的正态分布来确定的。
5.如权利要求1所述的3D显示设备，还包括：图像处理器，被配置为基于预测位置信息渲染3D图像。
6.如权利要求1所述的3D显示设备，其中，预测位置信息包括基于检测到的位置信息的变化量产生的第一预测位置信息和基于第一预测位置信息的变化量产生的第二预测位置信息。
7.如权利要求5所述的3D显示设备，其中，所述图像处理器被配置为基于第二预测位置信息来渲染3D图像。
8.如权利要求5所述的3D显示设备，其中，所述眼睛位置预测器包括：存储器，被配置为在采样时间间隔期间存储检测到的用户眼睛的位置信息，并且所述存储器被配置为响应于接收到新位置信息，将存储在所述存储器中的检测到的位置信息进行移位并在所述存储器中存储所述新位置信息。
9.如权利要求8所述的3D显示设备，其中，所述图像处理器被配置为：如果存储在所述存储器中的位置信息的量少于或等于参考量，则渲染与在目标时间检测到的位置信息相应的3D图像。
10.如权利要求1所述的3D显示设备，其中，所述眼睛位置跟踪器被配置为：基于用户图像来确定检测到的位置信息。
11.一种用于预测眼睛位置的设备，包括：
存储器，被配置为在采样时间间隔期间存储检测到的用户眼睛的位置信息；
计算器，被配置为将检测到的位置信息的变化量的权重确定为随着目标时间临近而增加，并基于确定的权重计算检测到的位置信息的变化量的加权平均值；
预测器，被配置为基于所述加权平均值来产生用户眼睛在目标时间的预测位置信息。
12.如权利要求11所述的设备，其中，所述计算器被配置为：计算所述预测位置信息在采样时间间隔期间的变化量的第二加权平均值，并且所述预测器被配置为：基于所述第二加权平均值来产生用户眼睛在目标时间的第二预测位置信息。
13.如权利要求11所述的设备，其中，所述预测器被配置为：基于检测到的位置信息在采样时间间隔期间的变化量的加权平均与在目标时间检测到的位置信息之和，产生在目标时间的预测位置信息。
14.如权利要求11所述的设备，其中，所述存储器被配置为：响应于接收到新位置信息，将存储在所述存储器中的检测到的位置信息进行移位并在所述存储器中存储所述新位置信息。
15.一种预测眼睛位置的方法，包括：
在采样时间间隔期间接收检测到的用户眼睛的位置信息；
将检测到的位置信息的变化量的权重确定为随着目标时间临近而增加；
基于确定的权重计算检测到的位置信息的变化量的加权平均值；
基于所述加权平均值来产生用户眼睛在目标时间的预测位置信息。
16.如权利要求15所述的方法，还包括：
计算所述预测位置信息在采样时间间隔期间的变化量的第二加权平均值；
基于所述第二加权平均值来产生用户眼睛在目标时间的第二预测位置信息。
17.如权利要求15所述的方法，还包括：
在存储器中存储检测到的位置信息；
接收新位置信息；
将所述存储器中的检测到的位置信息进行移位以存储所述新位置信息。
18.如权利要求15所述的方法，还包括：
基于所述预测位置信息来渲染图像。
CN201810915186.1A 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法 Active CN108600731B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0177448 2014-12-10
KR1020140177448A KR102333267B1 (ko) 2014-12-10 2014-12-10 눈 위치 예측 장치 및 방법
CN201510909248.4A CN105704471B (zh) 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510909248.4A Division CN105704471B (zh) 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法

Publications (2)

Publication Number Publication Date
CN108600731A true CN108600731A (zh) 2018-09-28
CN108600731B CN108600731B (zh) 2020-07-14

Family

ID=54703832

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510909248.4A Active CN105704471B (zh) 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法
CN201810915186.1A Active CN108600731B (zh) 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510909248.4A Active CN105704471B (zh) 2014-12-10 2015-12-10 用于预测眼睛位置的设备和方法

Country Status (5)

Country Link
US (1) US10178380B2 (zh)
EP (1) EP3037922B1 (zh)
JP (1) JP6837279B2 (zh)
KR (1) KR102333267B1 (zh)
CN (2) CN105704471B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
CN107277376A (zh) * 2017-08-03 2017-10-20 上海闻泰电子科技有限公司 摄像头动态拍摄的方法及装置
JP6524371B1 (ja) * 2018-07-06 2019-06-05 三菱電機株式会社 フィルタリング装置、センサ装置、フィルタリング方法及びプログラム
WO2020054193A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
JP7325521B2 (ja) * 2019-09-30 2023-08-14 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
CN111309146B (zh) * 2020-02-10 2022-03-29 Oppo广东移动通信有限公司 图像显示方法及相关产品
CN111580665B (zh) * 2020-05-11 2023-01-10 Oppo广东移动通信有限公司 注视点预测方法、装置、移动终端及存储介质
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
JP2022094223A (ja) * 2020-12-14 2022-06-24 京セラ株式会社 立体表示用コントローラ
WO2023013130A1 (ja) * 2021-08-05 2023-02-09 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1602322A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US20100202667A1 (en) * 2009-02-06 2010-08-12 Robert Bosch Gmbh Iris deblurring method based on global and local iris image statistics
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241574A (ja) * 1990-02-20 1991-10-28 Fujitsu Ltd トラックアクセス制御方式
JP2001147267A (ja) * 1999-11-19 2001-05-29 Mitsubishi Electric Corp 目標識別装置
JP4403626B2 (ja) * 2000-03-22 2010-01-27 ダイキン工業株式会社 Ｓｒモータセンサレス制御方法およびその装置
JP4615103B2 (ja) * 2000-08-25 2011-01-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 組織運動追跡方法および超音波診断装置
KR100380994B1 (ko) 2000-12-26 2003-04-26 한국전자통신연구원 응시지점을 따라가는 입체 영상 표시 장치 및 그 방법
JP2004029274A (ja) * 2002-06-25 2004-01-29 Fuji Xerox Co Ltd 信号パターン評価装置、信号パターン評価方法及び信号パターン評価プログラム
AU2003901528A0 (en) * 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
DE102007025069B4 (de) 2007-05-21 2018-05-24 Seereal Technologies S.A. Holographisches Rekonstruktionssystem
JP5217471B2 (ja) * 2008-02-04 2013-06-19 トヨタ自動車株式会社 車両用物体認識装置
US8203602B2 (en) * 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring
KR101729023B1 (ko) 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CN102098524B (zh) 2010-12-17 2011-11-16 深圳超多维光电子有限公司 跟踪式立体显示设备及跟踪式立体显示方法
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101675961B1 (ko) 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
US10321118B2 (en) * 2011-01-04 2019-06-11 Samsung Electronics Co., Ltd. 3D display device and method
KR101165764B1 (ko) 2011-05-31 2012-07-18 주식회사 넥서스칩스 Ｅｙｅ-ｔｒａｃｋｉｎｇ을 이용한 컨버전스 자동 조절 장치 및 그 방법
US9414049B2 (en) 2011-09-19 2016-08-09 Écrans Polaires Inc./Polar Screens Inc. Method and display for showing a stereoscopic image
KR101874494B1 (ko) 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR20130080355A (ko) 2012-01-04 2013-07-12 삼성디스플레이 주식회사 시청자 위치 추적 방법 및 이를 적용한 표시 장치
CN103051909B (zh) 2012-12-28 2015-08-12 北京邮电大学 用于裸眼3d显示的蒙版变换人眼跟踪方法
JP2014149796A (ja) * 2013-02-04 2014-08-21 Sharp Corp 位置検出装置、画像処理装置及び位置検出方法
JP5942130B2 (ja) * 2013-03-28 2016-06-29 株式会社ジャパンディスプレイ 表示装置
JP6689203B2 (ja) * 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1602322A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US20100202667A1 (en) * 2009-02-06 2010-08-12 Robert Bosch Gmbh Iris deblurring method based on global and local iris image statistics
CN102378032A (zh) * 2010-08-09 2012-03-14 Lg电子株式会社 显示三维图像的系统、装置和方法以及位置跟踪设备

Also Published As

Publication number Publication date
US10178380B2 (en) 2019-01-08
US20160173863A1 (en) 2016-06-16
JP6837279B2 (ja) 2021-03-03
EP3037922A1 (en) 2016-06-29
CN108600731B (zh) 2020-07-14
KR102333267B1 (ko) 2021-12-01
CN105704471A (zh) 2016-06-22
EP3037922B1 (en) 2020-07-22
CN105704471B (zh) 2018-09-11
KR20160070465A (ko) 2016-06-20
JP2016116221A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
CN105704471B (zh) 用于预测眼睛位置的设备和方法
US10217271B2 (en) Method and apparatus for compensating for movement of head-mounted display
EP3529639B1 (en) Determining subsurface layers using machine learning
US10964030B2 (en) Device and method with pose estimator based on current predicted motion state array
CN105528560B (zh) 将数据写入存储器和从其读取数据的方法、编解码模块
WO2017092334A1 (zh) 一种图像渲染处理的方法及装置
US10068347B2 (en) Method and apparatus for estimating depth, and method and apparatus for training distance estimator
US20230297243A1 (en) Method and apparatus for predicting service life of solid-state disk, and computer-readable storage medium
KR102622486B1 (ko) 유정 로그 데이터의 결측 구간 추정 방법 및 그 장치
EP3444726A1 (en) Method and apparatus for determining domain of sentence
EP2533212A1 (en) Reference layer for hole recovery within an output image.
CN104424361B (zh) 自动定义热存储和大工作负载
CN108109175A (zh) 一种图像特征点的跟踪方法及装置
CN113408693A (zh) 识别图像的方法和设备
US20180150134A1 (en) Method and apparatus for predicting eye position
US20220351633A1 (en) Learner engagement engine
CN110610185B (zh) 图像的显著目标的检测方法、装置及设备
US10203833B2 (en) Recommending application modifications using image area counts
CN107944343A (zh) 视频检测方法及装置
US20230169722A1 (en) Image processing method and apparatus with integrated optimization framework of heterogeneous features
KR102296783B1 (ko) 지층 분류 데이터 생성 방법 및 그 장치
CN114143612B (zh) 视频展示方法、装置、电子设备、存储介质及程序产品
KR102292041B1 (ko) 질병 발병 예측을 위한 시구간 단위 데이터 세트 구성 방법 및 그 장치
EP4198878A1 (en) Method and apparatus for image restoration based on burst image
US11324469B2 (en) Informatics radiomics integration system (IRIS): a novel combined informatics and radiomics method for integration of many types of data for classification into different groups for improved visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant