CN110032271B - 对比度调节装置及其方法、虚拟现实设备及存储介质 - Google Patents

对比度调节装置及其方法、虚拟现实设备及存储介质 Download PDF

Info

Publication number
CN110032271B
CN110032271B CN201810032553.3A CN201810032553A CN110032271B CN 110032271 B CN110032271 B CN 110032271B CN 201810032553 A CN201810032553 A CN 201810032553A CN 110032271 B CN110032271 B CN 110032271B
Authority
CN
China
Prior art keywords
user
gazing
brightness
coordinates
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810032553.3A
Other languages
English (en)
Other versions
CN110032271A (zh
Inventor
孙高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810032553.3A priority Critical patent/CN110032271B/zh
Priority to PCT/CN2018/106516 priority patent/WO2019137038A1/zh
Priority to EP18857405.7A priority patent/EP3739431B1/en
Priority to US16/335,952 priority patent/US11467661B2/en
Publication of CN110032271A publication Critical patent/CN110032271A/zh
Application granted granted Critical
Publication of CN110032271B publication Critical patent/CN110032271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种注视点确定方法、用于虚拟现实设备的对比度调节方法、对比度调节装置、虚拟现实设备及存储介质。该对比度调节方法包括：确定用户观看的显示区域中的注视点的坐标；根据注视点的坐标确定用户的注视区域；以及调节注视区域的亮度。该对比度调节方法能够调节用户注视区域的范围以及增强用户注视区域的亮度，同时降低了虚拟现实设备的功耗。

Description

对比度调节装置及其方法、虚拟现实设备及存储介质
技术领域
本发明的实施例涉及一种注视点确定方法、用于虚拟现实设备的对比度调节方法及对比度调节装置、虚拟现实设备及存储介质。
背景技术
随着电子科技水平的不断进步，虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)技术作为一种高新技术，已经越来越多地被应用在日常生活中。虚拟现实技术也称为灵境技术或人工环境。
现有的虚拟现实系统主要是通过带有中央处理器的高性能运算系统模拟一个虚拟的三维世界，并提供给使用者视觉、听觉等的感官体验，从而让使用者犹如身临其境，同时还可以进行人机互动。
发明内容
本公开至少一个实施例提供一种注视点确定方法，包括：获取用户的瞳孔的中心位置坐标；以及根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
例如，在本公开的一个实施例提供的一种注视点确定方法中，所述注视点的坐标通过如下表达式获得：
Figure BDA0001546940110000011
其中，XG，YG分别为注视点的横坐标和纵坐标，x，y分别为所述瞳孔的中心位置的横坐标和纵坐标，a0至a6以及b0至b6为映射参数。
例如，在本公开的一个实施例提供的一种注视点确定方法中，所述映射参数根据所述显示区域中预先设定的标定点坐标和预先获得的多个瞳孔的中心位置坐标确定。
例如，在本公开的一个实施例提供的一种注视点确定方法中，获取所述用户的瞳孔的中心位置坐标包括：获取所述用户的眼球以及眼球周边的图像信息；对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
本公开至少一个实施例还提供一种用于虚拟现实设备的对比度调节方法，包括：采用本公开一实施例提供的注视点确定方法确定所述用户观看的显示区域中的注视点的坐标；根据所述注视点的坐标确定用户的注视区域；以及调节所述注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述用户的注视区域确定为以所述注视点为中心且长度和宽度分别为所述用户观看的显示区域的长度和宽度的15～45％的区域。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述用户观看的显示区域还包括位于所述注视区域以外的非注视区域，并且所述亮度调节还包括调节所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，根据所述非注视区域到所述注视区域的距离，调节所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述调节所述注视区域的亮度为亮度增强操作，所述亮度增强操作包括：检测所述用户观看的显示区域的平均亮度值和所述预定功耗对应的平均亮度值的大小；在所述用户观看的显示区域的平均亮度值小于所述预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度，或者在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，增强所述注视区域的亮度包括：将所述注视区域的像素值分别乘以平均亮度比值；降低所述非注视区域的亮度包括：将所述非注视区域的像素值分别乘以平均亮度比值；所述平均亮度比值表示为：
Figure BDA0001546940110000021
其中，L表示所述平均亮度比值，Ave1表示所述用户观看的显示区域的平均亮度值，Ave2表示所述预定功耗对应的平均亮度值。
本公开至少一个实施例还提供一种对比度调节装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现本公开一实施例提供的对比度调节方法的指令。
本公开至少一个实施例还提供一种对比度调节装置，包括注视区域获得单元以及亮度调节单元。所述注视区域获得单元配置为，根据用户的瞳孔的中心位置坐标确定所述用户观看的显示区域中的注视点的坐标，并且根据所述注视点的坐标确定所述用户的注视区域；以及所述亮度调节单元配置为调节所述注视区域的亮度。
例如，本公开的一个实施例提供的一种对比度调节装置，还包括瞳孔中心位置获取单元。所述瞳孔中心位置获取单元配置为：获取所述用户的眼球以及眼球周边的图像信息，对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
本公开至少一个实施例还提供一种虚拟现实设备，包括本公开一实施例提供的对比度调节装置。
例如，本公开的一个实施例提供的虚拟现实设备，还包括图像采集装置。所述图像采集装置配置为获取所述用户瞳孔的图像。
本公开至少一个实施例还提供一种存储介质，用于非暂时性存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开一实施例提供的注视点确定方法或本公开一实施例提供的对比度调节方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开一实施例提供的一种用于虚拟现实设备的对比度调节方法的流程图；
图2为图1中所示的一种对比度调节方法中用户的注视区域和非注视区域的示意图；
图3为图1中所示的一种对比度调节方法中注视点确定方法的流程图；
图4为图3中所示的一种注视点确定方法中预先设定的标定点坐标的示意图；
图5为图3中所示的映射确定用户观看的显示区域中的注视点坐标的实现框图；
图6为图3中所示的注视点确定方法中确定瞳孔的中心位置坐标的流程图；
图7为图1中所示的一种对比度调节方法中调节注视区域亮度的流程图；
图8为本公开一实施例提供的一种用于虚拟现实设备的对比度调节装置的示意图；
图9为本公开一实施例提供的另一种用于虚拟现实设备的对比度调节装置的示意图；以及
图10为本公开另一实施例提供的一种虚拟现实设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面，将参照附图详细描述根据本公开的各个实施例。需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。
虚拟现实技术中一般采用机发光二极管(Organic Light Emitting Diode，OLED)显示装置作为显示屏幕。因此，为了降低虚拟现实设备的功耗，可以通过降低OLED显示装置的屏幕亮度来实现。但是，由于降低整个显示装置的显示区域的亮度会导致显示区域的图像显示不清晰，影响用户的使用效果和体验。所以，采用这种方式虽然能够降低虚拟现实设备的功耗，却严重影响了OLED的显示质量，从而对用户的视觉感受产生影响。
本公开至少一实施例提供一种注视点确定方法。该方法包括：获取用户的瞳孔的中心位置坐标；以及根据瞳孔的中心位置坐标，映射确定用户观看的显示区域中的注视点的坐标。
本公开至少一实施例提供一种用于虚拟现实设备的对比度调节方法。该对比度调节方法包括：确定用户观看的显示区域中的注视点的坐标；根据注视点的坐标确定用户的注视区域；以及调节注视区域的亮度。
本公开至少一实施例还提供了一种对应于上述对比度调节方法的对比度调节装置、虚拟现实设备及存储介质。
本公开至少一实施例提供的注视点确定方法、用于虚拟现实设备的对比度调节方法、对比度调节装置、虚拟现实设备及存储介质，一方面，该注视点确定方法可以提高在显示区域中确定注视点的准确率，例如可以使得确定注视点的误差率低于1.5°；另一方面，该注视点确定方法可以根据用户的瞳孔的中心位置坐标来确定用户的注视区域，并通过对该注视区域和非注视区域的亮度进行调节操作以增强虚拟现实设备的注视区域的亮度，从而提高了虚拟现实设备的显示区域的对比度，从而在保证显示质量的前提下降低了虚拟现实设备的功耗。
下面结合附图对本公开的实施例进行详细说明。
图1为本公开一实施例提供的一种用于虚拟现实设备的对比度调节方法的流程图。
如图1所示，该实施例提供的对比度调节方法包括步骤S110至步骤S130。
步骤S110：确定用户观看的显示区域中的注视点的坐标。
例如，可以根据瞳孔的中心位置坐标确定用户观看的显示区域中的注视点的坐标。例如，可以通过映射函数进行确定。例如，确定注视点的坐标也可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。例如，该处理单元可以为通用处理器或专用处理器，可以是基于X86或ARM架构的处理器等。
步骤S120：根据注视点的坐标确定用户的注视区域。
例如，图2示出了用户的注视区域101和非注视区域102的示意图。用户的注视区域101为以注视点为中心一定范围内的区域，例如，如图2所示，用户的注视区域101包括以注视点为中心且长度和宽度分别为用户观看的显示区域的长度和宽度的约15～45％的区域，例如为用户观看的显示区域的长度和宽度的30％的区域。例如，如图2所示，显示区域还包括位于注视区域101以外的非注视区域102。例如，该注视区域101会随着瞳孔的中心位置坐标的变化而发生改变。
需要注意的是，注视区域101并不限制于图3中所示的形状。例如，当双眼的注视区域重叠的时候，注视区域可以是两个注视区域的叠加，例如得到∞形状的注视区。
例如，注视区域101的确定可以通过注视区域获得单元来实现，该注视区域获得单元可以通过软件、固件或硬件等来实现，例如当至少部分使用软件模块时，可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来执行该软件模块来实现。
通过本实施例中的注视区域调节方法可以保证注视区域的位置跟随眼球的转动而不断变换，从而实现对注视区域的不断调节，甚至实现实时调节。而且，本实施例中的注视区域调节方法不依赖于不同用户的不同使用情况。
步骤S130：调节注视区域的亮度。
例如，调节注视区域的亮度可以包括对注视区域101的亮度和非注视区域102的亮度进行调节。例如，对注视区域101的亮度进行调节包括增强注视区域的亮度。例如，对非注视区域102的亮度进行调节包括降低非注视区域的亮度。例如，可以根据非注视区域到注视区域的距离，调节非注视区域的亮度程度，例如可以逐渐变化。例如，非注视区域102的亮度以注视区域为中心逐渐降低，也就是说，非注视区域102中距离注视区域101较近的部分的亮度高于其距离注视区域101较远的部分的亮度。例如，对注视区域的亮度的调节可以通过亮度调节单元来实现。同样地，该亮度调节单元可以通过软件、固件或硬件等来实现。
需要说明的是，本公开的实施例中，该对比度调节方法可以包括更多或更少的操作，这些操作可以顺序执行或并行执行，本公开的实施例对此不作限制。
本实施例中的调节注视区域亮度的方法不仅可以提高显示区域的对比度，同时又能在一定程度上降低显示屏幕的功耗。
图3是本公开一实施例提供的一种对比度调节方法中注视点确定方法的流程图。也就是说，图3为图1所示的步骤S110的一个示例的操作流程图。
如图3所示，该实施例提供的注视点确定方法包括步骤S111至步骤S112。
步骤S111：获取用户的瞳孔的中心位置坐标。
例如，瞳孔的中心位置坐标可以是用户的瞳孔的图像中心在采集的图像中的位置坐标。例如，用户的瞳孔的图像可以通过对抓取的眼球及眼球周边的图像信息进行特征提取和分类训练获得。例如，用户的瞳孔的中心位置坐标可以通过瞳孔中心位置获取单元来确定。同样地，该瞳孔中心位置获取单元可以通过软件、固件或硬件等来实现。
步骤S112：根据瞳孔的中心位置坐标，映射确定用户观看的显示区域中的注视点的坐标。
例如，在一个示例中，用户观看的显示区域中的注视点的坐标和瞳孔的中心位置坐标的映射关系可以表示为如下表达式：
Figure BDA0001546940110000071
其中，XG，YG分别为注视点的横坐标和纵坐标，x，y分别为所述瞳孔的中心位置的横坐标和纵坐标，a0至a6以及b0至b6为映射参数。
例如，上述表达式中的映射参数根据显示区域中预先设定的注视点标定点坐标和对应的预先获得的多个瞳孔的中心位置坐标确定。例如，该预先获得的多个瞳孔的中心位置坐标可以根据预先设定的标定点坐标获得。
例如，在一个具体示例中，图4示出了显示区域中预先设定的九个标定点的位置。例如，如图4所示，该预先设定的标定点坐标的坐标系原点可以设置在虚拟现实设备的显示区域的左上角，但是本公开的实施例不限于此。例如，该预先设定的标定点的坐标可以表示为：
(X1，Y1)＝(830，440)
(X2，Y2)＝(570，350)
(X3，Y3)＝(570，570)
(X4，Y4)＝(1200，570)
(X5，Y5)＝(1200，350)
(X6，Y6)＝(570，440)
(X7，Y7)＝(830，350)
(X8，Y8)＝(1200，440)
(X9，Y9)＝(830，570)
其中，(X1，Y1)至(X9，Y9)表示图4中所示的显示区域中预先设定的第1个至第9个标定点的坐标。
例如，当用户分别注视该九个预先设定的标定点时所提取的对应的瞳孔坐标可以表示为：
(x1，y1)＝(382.404，296.579)
(x2，y2)＝(450.586，283.600)
(x3，y3)＝(412.539，302.071)
(x4，y4)＝(352.949，313.447)
(x5，y5)＝(353.391，285.008)
(x6，y6)＝(410.668，296.006)
(x7，y7)＝(355.052，283.001)
(x8，y8)＝(355.777，298.334)
(x9，y9)＝(386.885，306.631)
其中，(x1，y1)至(x9，y9)表示与图4中所示的显示区域中预先设定的第1个至第9个标定点对应的瞳孔的中心位置坐标。例如，(x1，y1)是用户注视第一个标定点坐标(X1，Y1)时获得的瞳孔的中心位置坐标。需要注意的是，不同的用户可以获得不同的瞳孔的中心位置坐标(x1，y1)至(x9，y9)。例如，该瞳孔的中心位置坐标的坐标系原点可以设置在图像采集装置采集的图像区域的左上角。例如，该图像采集装置采集的图像包括眼球及眼球周边的图像信息，但是本公开的实施例不限于此。
例如，可以将上述(X1，Y1)，(x1，y1)至(X9，Y9)，(x9，y9)分别带入上述表达式中以求得a0至a6以及b0至b6的值。
需要注意的是，不限于此，该标定点的个数也可以设置为七个、八个或十个等，只要满足能够通过上述表达式求出映射参数a0至a6以及b0至b6的值即可。
例如，该预先设定的标定点坐标可以在注视点计算之前经过测量或计算得到，例如，标定点坐标可以是在OLED显示面板出厂前进行测量和计算得到的，也可以是在OLED显示面板出厂之后进行测量和计算得到的。例如，标定点坐标可以存储在OLED显示面板的存储器中，需要使用时OLED显示面板可以从该存储器中读取。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器，例如磁性存储介质、半导体存储介质等。
例如，在一个示例中，可以通过如图5所示的现场可编程门阵列(FPGA)200映射确定注视点的坐标。在本实施例中，如图5所示，FPGA包括寄存器存储单元201、多路选择器单元202、乘法器单元203、加法器单元204以及有限状态机单元205。例如，寄存器存储单元201控制数据的接收和发送；多路选择器单元202作为数据通道，对数据进行筛选；乘法器单元203和加法器单元204对筛选后的数据进行乘法和加法运算。例如，每个单元不可单独工作，寄存器存储单元201、多路选择器单元202、乘法器单元203和加法器单元204是在有限状态机单元205的控制下共同实现映射公式中的乘法和加法运算的。
例如，该映射公式的具体实现过程可以包括：首先，可以通过寄存器存储单元201对输入的瞳孔坐标(x，y)等数据进行缓存；然后，利用多路选择器单元202对该数据进行筛选，并输入映射参数a0至a6以及b0至b6的值；最后，通过有限状态机单元205控制乘法器单元203和加法器单元204实现乘法运算和累加运算以得到注视点的坐标(XG，YG)。
需要注意的是，本公开的实施例不限于上述方式，也可以通过其他可以实现该映射公式的方法进行注视点坐标的计算。
通过本实施例中的注视点确定方法可以提高在显示区域中确定注视点的准确率，例如可以使得确定注视点的误差率低于1.5°。
图6是本公开一实施例提供的注视点确定方法中确定瞳孔的中心位置坐标的流程图。也就是说，图6为图3所示的步骤S111的一个示例的操作流程图。
如图6所示，该瞳孔的中心位置坐标的确定过程包括步骤S1111至步骤S1113。
步骤S1111：获取用户的眼球以及眼球周边的图像信息。
例如，可以通过包括CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合器件)传感器、红外摄像头等的图像采集装置对用户的眼球以及眼球周边的图像信息进行图像采集。例如，图像采集装置可以设置在OLED显示屏所在的平面内，例如设置在VR设备的边框上。
步骤S1112：对图像信息进行特征提取以获得用户的瞳孔的图像。
例如，可以将采集到的图像信息进行二值化处理以转化为灰度图，并进行图像信息的特征提取。例如，可以采用Harr方法、HOG特征提取算法以及其他可以实现特征提取的方法进行图像信息的特征提取。例如，提取的特征图可以通过训练好的分类器进行分类，以得到属于瞳孔中的图像信息。例如，分类器可以采用支持向量机(SVM)或神经网络(例如二型模糊神经网络)等方式，但是本公开的实施例不限于具体的模型、方法。例如，通过分类器得到的属于瞳孔中的多个特征图中可以包括多个连通域。例如，可以通过膨胀腐蚀的方式对多个连通域进行处理，并通过对比优化以及选取合适的阈值对多个连通域进行图像的去噪处理。例如，可以根据选取的最大的一处连通域信息确定瞳孔的图像。例如，瞳孔的图像的获取可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。
步骤S1113：确定用户的瞳孔的图像的中心位置坐标。
例如，可以通过重心法提取瞳孔的图像的中心点。例如，也可以通过Canny边缘检测算法、Hough变换拟合法以及双椭圆拟合算法等方法确定瞳孔轮廓以及获得瞳孔图像的特征点，并验证拟合瞳孔的轮廓，以确定瞳孔的中心位置坐标。例如，瞳孔的中心位置坐标可以通过瞳孔中心位置获取单元来确定。同样地，该瞳孔中心位置获取单元可以通过软件、固件或硬件等来实现。
图7是本公开一实施例提供的对比度调节方法中调节注视区域的亮度的流程图。也就是说图7是图1中所示的步骤S130的一个示例的操作流程图。
如图7所示，该注视区域的亮度调节过程包括步骤S131至步骤S133。
步骤S131：检测用户观看的显示区域的平均亮度值是否小于预定功耗对应的平均亮度值的大小；如果是，则执行步骤S132；如果否，则执行步骤S133。
例如，预定功耗对应的平均亮度值可以表示为1W功耗对应的平均亮度值。例如，该预定功耗对应的平均亮度值可以在亮度调节之前根据亮度与功耗的对应关系测量或计算得到，例如，预定功耗对应的平均亮度值可以是在OLED显示面板出厂前进行测量和计算得到的，也可以是在OLED显示面板出厂之后进行测量和计算得到的。例如，预定功耗对应的平均亮度值可以存储在OLED显示面板的存储器中，需要使用时OLED显示面板可以从该存储器中读取。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。例如，可以通过统计显示区域中显示图像的直方图以获得显示区域的平均亮度值。例如，该步骤可以在亮度调节单元中进行。同样地，该亮度调节单元可以通过软件、固件或硬件等来实现。
步骤S132：增强注视区域的亮度。
例如，增强注视区域101的亮度包括将注视区域101的像素值分别乘以平均亮度比值。例如，平均亮度比值表示为：
Figure BDA0001546940110000111
其中，L表示平均亮度比值，Ave1表示用户观看的显示区域的平均亮度值，Ave2表示预定功耗对应的平均亮度值。
例如，该平均亮度比值可以存储于用于OLED面板的存储器中。
步骤S133：降低非注视区域的亮度。
例如，降低非注视区域102的亮度包括将非注视区域102的像素值分别乘以平均亮度比值L。该像素值在不同的示例中可以为对显示装置获得的图片数据或图像数据进行解码后得到像素数据数值，还可以为针对显示屏进行了进一步相应伽马(Gamma)变换后的像素数据数值，本公开的实施例对此不作限制。分别乘以平均亮度比值L的像素值最后被输入到显示屏中进行显示，从而实现降低非注视区域的亮度的显示效果。
在本公开一实施提供的亮度调节方法中，例如，通过判断当前显示区域中显示图像的功耗是否超过1W(例如通过比较对应的亮度值得出)，分别对注视区域和非注视区域单独进行调节。
例如，如果当前显示图像的功耗小于1W，即用户观看的显示区域的平均亮度值Ave1小于预定功耗对应的平均亮度值Ave2，说明显示图像的功耗虽然不高但整体画面的亮度偏低，此时可以通过增强注视区域的亮度来提高对比度，提升观感。例如，提升的比例系数为平均亮度比值L，同时保持非注视区域的亮度值不变，这样可以确保整个画面的功耗接近1W但不超过1W。
例如，如果当前显示图像的功耗大于1W，说明功耗较高，那么为了不降低注视区域的亮度，可以通过降低非注视区域的亮度来降低显示图像的功耗，例如降低的比例系数为平均亮度比值L。
本实施例中增强/降低比例系数的求解过程可以是动态进行的，并且可以保证图像的显示过程中不会出现闪屏的现象。因此，该亮度调节方法综合考虑了显示区域的对比度、注视区域的亮度值以及当前显示图像的功耗三个方面进行亮度的自适应调节，以降低显示设备的功耗，提升显示区域的对比度。
需要说明的是，本公开的实施例中，该用于虚拟现实的对比度调节方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚的了解，多个操作的顺序并不受限制。上文描述的对比度调节方法可以执行一次，也可以按照预定条件执行多次。
本公开一实施例提供的对比度调节方法可以根据用户的瞳孔的中心位置坐标来确定用户的注视区域，并通过对该注视区域和非注视区域的亮度进行调节操作以增强虚拟现实设备的注视区域的亮度，从而提高了虚拟现实设备的显示区域的对比度，从而在保证显示质量的前提下降低了虚拟现实设备的功耗。
图8为本公开一实施例提供的一种对比度调节装置10的示意框图。例如，如图8所示，对比度调节装置10可以包括处理器11、存储器12和一个或多个计算机程序模块13。例如，处理器11与存储器12通过总线系统15连接。例如，一个或多个计算机程序模块可以被存储在存储器12中。例如，一个或多个计算机程序模块13可以包括用于执行实现上述对比度调节方法的指令。例如，一个或多个计算机程序模块13中的指令可以由处理器11执行。例如，总线系统15可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。需要注意的是，图8所示的对比度调节装置10的组件和结构只是示例性的，而非限制性的，根据需要，对比度调节装置10也可以具有其他组件和结构。
关于对比度调节装置10的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
图9为本公开一实施例提供的另一种对比度调节装置20的示意框图。该对比度调节装置20可以执行上述公开的对比度调节方法。由于该对比度调节装置20中各个操作的细节与在上文中针对图1至图7描述的对比度调节方法基本相同，因此为了避免重复，在下文中对对比度调节装置20进行描述的同时，省略相同细节的描述。
例如，如图9所示，对比度调节装置20包括瞳孔中心位置获取单元21、注视区域获得单元22以及亮度调节单元23。如上所述，这些单元可以通过软件、固件或硬件等来实现。
例如，瞳孔中心位置获取单元21配置为，获取用户的眼球以及眼球周边的图像信息，并对图像信息进行特征提取以获得用户的瞳孔的图像，以及确定用户的瞳孔的图像的中心位置坐标。例如，该瞳孔中心位置获取单元21可以执行图6中所示的确定瞳孔的中心位置坐标的步骤。例如，获取用户的眼球以及眼球周边的图像信息可以通过包括例如CMOS传感器、CCD传感器或红外摄像头等图像采集装置实现，并且所获取的图像信息可以保存在存储当中。
例如，注视区域获得单元22配置为根据瞳孔中心位置获取单元21获取的瞳孔的中心位置坐标确定用户观看的显示区域中的注视点的坐标，并且根据注视点的坐标确定用户的注视区域101。例如，该注视区域获得单元22可以用于实现图1中所示的对比度调节方中的步骤S110和步骤S120。
例如，亮度调节单元23配置为调节注视区域101的亮度。例如，该亮度调节单元23可以执行图7中所示的调节注视区域的亮度的步骤。
关于对比度调节装置20的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
本公开一实施例还提供了一种虚拟现实设备1。该虚拟现实设备1包括本公开任一实施例提供的对比度调节装置。例如，包括图8中所示的对比度调节装置10或图9中所示的对比度调节装置20。图10为本公开一实施例提供的一种虚拟现实设备的示意框图。例如，如图10所示，虚拟现实设备1包括处理器11、存储器12、图像采集装置13和显示屏14。
例如，图像采集装置13可以配置为获取用户的瞳孔的图像。例如，图像采集装置13可以包括CMOS图像传感器、CCD图像传感器或红外摄像头，例如，可以设置在显示屏所在的平面内，例如设置在VR设备的边框上。例如，图像采集装置13可以将采集到的图像信息进行特征提取与分类以获取用户的瞳孔的图像。例如，图像采集装置13还可以包括图像处理单元，以对获取的瞳孔的图像进行膨胀腐蚀处理，例如，可以通过软件、固件或硬件等实现。
例如，显示屏14可以为OLED显示屏、微LED显示屏、硅基液晶(LCOS)显示屏等。
例如，这些组件通过总线系统15和/或其它形式的耦合机构(未示出)互连。例如，总线系统15可以是常用的串行、并行通信总线，本公开的实施例对此不作限制。需要注意的是，图10所示的虚拟现实设备1的组件和结构只是示例性的，而非限制性的，根据需要，虚拟现实设备1也可以具有其他组件和结构。
例如，该处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制虚拟现实设备1中的其它组件以执行期望的功能。存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现所述的本公开实施例中(由处理器11实现)的功能以及/或者其它期望的功能，例如亮度调节操作、注视点确定方法以及瞳孔的中心位置坐标的确定等。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如预先设定的标定点的坐标以及所述应用程序使用和/或产生的各种数据等。
关于虚拟现实设备1的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
本公开一实施例还提供一种存储介质。例如，该存储介质用于非暂时性存储计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以执行本公开任一实施例提供的注视点确定方法或本公开任一实施例提供的对比度调节方法。
例如，该存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于亮度增强操作的计算机可读的程序代码，另一个计算机可读存储介质包含注视点计算操作的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的亮度调节操作、注视点确定方法以及瞳孔的中心位置坐标的确定等操作方法。
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (14)

1.一种用于虚拟现实设备的对比度调节方法，包括：
采用注视点确定方法确定用户观看的显示区域中的注视点的坐标；
根据所述注视点的坐标确定用户的注视区域和位于所述注视区域以外的非注视区域；以及
调节所述注视区域的亮度或调节所述非注视区域的亮度；
其中，所述调节所述注视区域的亮度或调节所述非注视区域的亮度为亮度增强操作，所述亮度增强操作包括：
检测所述用户观看的显示区域的平均亮度值和预定功耗对应的平均亮度值的大小；
在所述用户观看的显示区域的平均亮度值小于所述预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度，或者
在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
2.根据权利要求1所述的对比度调节方法，其中，所述注视点确定方法，包括：
获取所述用户的瞳孔的中心位置坐标；以及
根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
3.根据权利要求2所述的对比度调节方法，其中，所述注视点的坐标通过如下表达式获得：
Figure FDA0002471728630000011
其中，XG，YG分别为注视点的横坐标和纵坐标，x，y分别为所述瞳孔的中心位置的横坐标和纵坐标，a0至a6以及b0至b6为映射参数。
4.根据权利要求3所述的对比度调节方法，其中，所述映射参数根据所述显示区域中预先设定的标定点坐标和预先获得的多个瞳孔的中心位置坐标确定。
5.根据权利要求2所述的对比度调节方法，其中，获取所述用户的瞳孔的中心位置坐标包括：
获取所述用户的眼球以及眼球周边的图像信息；
对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及
确定所述用户的瞳孔的图像的中心位置坐标。
6.根据权利要求1所述的对比度调节方法，其中，所述用户的注视区域确定为以所述注视点为中心且长度和宽度分别为所述用户观看的显示区域的长度和宽度的15～45％的区域。
7.根据权利要求1所述的对比度调节方法，其中，根据所述非注视区域到所述注视区域的距离，调节所述非注视区域的亮度。
8.根据权利要求1所述的对比度调节方法，其中，
增强所述注视区域的亮度包括：将所述注视区域的像素值分别乘以平均亮度比值；
降低所述非注视区域的亮度包括：将所述非注视区域的像素值分别乘以平均亮度比值；
所述平均亮度比值表示为：
Figure FDA0002471728630000021
其中，L表示所述平均亮度比值，Ave1表示所述用户观看的显示区域的平均亮度值，Ave2表示所述预定功耗对应的平均亮度值。
9.一种对比度调节装置，包括：
处理器；
存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现权利要求1-8任一所述的对比度调节方法的指令。
10.一种对比度调节装置，包括注视区域获得单元以及亮度调节单元；其中，
所述注视区域获得单元配置为，根据用户的瞳孔的中心位置坐标确定所述用户观看的显示区域中的注视点的坐标，并且根据所述注视点的坐标确定所述用户的注视区域和位于所述注视区域以外的非注视区域；以及
所述亮度调节单元配置为调节所述注视区域的亮度或调节所述非注视区域的亮度；
其中，所述亮度调节单元还配置为：
检测所述用户观看的显示区域的平均亮度值和预定功耗对应的平均亮度值的大小；
在所述用户观看的显示区域的平均亮度值小于所述预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度，或者
在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
11.根据权利要求10所述的对比度调节装置，还包括瞳孔中心位置获取单元，其中，所述瞳孔中心位置获取单元配置为：获取所述用户的眼球以及眼球周边的图像信息，对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
12.一种虚拟现实设备，包括如权利要求9-11任一所述的对比度调节装置。
13.根据权利要求12所述的虚拟现实设备，还包括图像采集装置，其中，所述图像采集装置配置为获取所述用户瞳孔的图像。
14.一种存储介质，用于非暂时性存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行根据权利要求1-8任一所述的对比度调节方法。
CN201810032553.3A 2018-01-12 2018-01-12 对比度调节装置及其方法、虚拟现实设备及存储介质 Active CN110032271B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810032553.3A CN110032271B (zh) 2018-01-12 2018-01-12 对比度调节装置及其方法、虚拟现实设备及存储介质
PCT/CN2018/106516 WO2019137038A1 (zh) 2018-01-12 2018-09-19 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
EP18857405.7A EP3739431B1 (en) 2018-01-12 2018-09-19 Method for determining point of gaze, contrast adjustment method and device, virtual reality apparatus, and storage medium
US16/335,952 US11467661B2 (en) 2018-01-12 2018-09-19 Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810032553.3A CN110032271B (zh) 2018-01-12 2018-01-12 对比度调节装置及其方法、虚拟现实设备及存储介质

Publications (2)

Publication Number Publication Date
CN110032271A CN110032271A (zh) 2019-07-19
CN110032271B true CN110032271B (zh) 2020-07-24

Family

ID=67218439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810032553.3A Active CN110032271B (zh) 2018-01-12 2018-01-12 对比度调节装置及其方法、虚拟现实设备及存储介质

Country Status (4)

Country Link
US (1) US11467661B2 (zh)
EP (1) EP3739431B1 (zh)
CN (1) CN110032271B (zh)
WO (1) WO2019137038A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766939A (zh) * 2019-03-15 2020-10-13 苹果公司 在光学透传显示器上的注意力方向
CN110648369B (zh) 2019-09-23 2022-07-19 京东方科技集团股份有限公司 视线计算模型参数的标定方法及装置
CN110867172B (zh) 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN111452616B (zh) * 2020-03-30 2021-10-12 广州小鹏汽车科技有限公司 一种信息的显示控制方法、装置和车辆
CN114281184A (zh) * 2020-09-28 2022-04-05 京东方科技集团股份有限公司 注视点计算装置及其驱动方法、电子设备
CN112819967A (zh) * 2021-01-14 2021-05-18 京东方科技集团股份有限公司 一种显示方法、装置及系统、存储介质、显示器
WO2022159630A1 (en) * 2021-01-22 2022-07-28 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
US20240111150A1 (en) * 2021-05-25 2024-04-04 Beijing Boe Optoelectronics Technology Co., Ltd. Control Method for Display Panel, Control Device Thereof, and Display Device
CN113890987A (zh) * 2021-08-23 2022-01-04 歌尔光学科技有限公司 一种自动调焦方法、装置、电子设备及存储介质
CN115729346A (zh) * 2021-08-31 2023-03-03 华为技术有限公司 界面显示方法和电子设备
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及系统
CN113793320A (zh) * 2021-09-14 2021-12-14 西安诺瓦星云科技股份有限公司 确定显示单元的偏移的方法、装置、电子设备及存储介质
CN114816065A (zh) * 2022-04-28 2022-07-29 歌尔股份有限公司 屏幕背光的调节方法、虚拟现实设备以及可读存储介质
CN115437508A (zh) * 2022-11-08 2022-12-06 北京易点淘网络技术有限公司 显示屏的控制方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
CN104484043A (zh) 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
US20170206862A1 (en) * 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Method of regulating brightness of a display screen
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US10409368B2 (en) * 2016-07-27 2019-09-10 Fove, Inc. Eye-gaze detection system, displacement detection method, and displacement detection program
CN107945766A (zh) * 2017-11-03 2018-04-20 苏州佳世达电通有限公司 显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置

Also Published As

Publication number Publication date
WO2019137038A1 (zh) 2019-07-18
US20210341998A1 (en) 2021-11-04
EP3739431A4 (en) 2021-10-06
US11467661B2 (en) 2022-10-11
EP3739431B1 (en) 2023-04-26
EP3739431A1 (en) 2020-11-18
CN110032271A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110032271B (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
TWI594193B (zh) 凝視追蹤之方法
US11715231B2 (en) Head pose estimation from local eye region
CN104331168B (zh) 显示调整方法和电子设备
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN107395958B (zh) 一种图像处理方法、装置、电子设备及存储介质
US10254831B2 (en) System and method for detecting a gaze of a viewer
EP4024270A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
US20130216154A1 (en) Method of performing eye circle correction an image and related computing device
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN104182723B (zh) 一种视线估计的方法和装置
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN108572735B (zh) 瞳孔中心定位装置和方法、虚拟现实设备
CN114078278A (zh) 注视点定位方法与装置、电子设备和存储介质
WO2018076172A1 (zh) 一种图像显示方法及终端
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN110473281A (zh) 三维模型的描边处理方法、装置、处理器及终端
Al-Rahayfeh et al. Application of head flexion detection for enhancing eye gaze direction classification
CN113628148A (zh) 红外图像降噪方法和装置
US20230245494A1 (en) Automatic face and human subject enhancement algorithm for digital images
US11675428B2 (en) Determining a gaze direction using depth information
CN118170306A (zh) 显示虚拟键盘的方法、装置、电子设备和存储介质
CN114546112A (zh) 一种注视点估计方法、装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant