CN110162185A - 一种智能显示方法及装置 - Google Patents
一种智能显示方法及装置 Download PDFInfo
- Publication number
- CN110162185A CN110162185A CN201910499123.7A CN201910499123A CN110162185A CN 110162185 A CN110162185 A CN 110162185A CN 201910499123 A CN201910499123 A CN 201910499123A CN 110162185 A CN110162185 A CN 110162185A
- Authority
- CN
- China
- Prior art keywords
- user
- state
- pupil
- eyes
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供了一种智能显示方法及装置，应用于虚拟现实设备，根据用户眼睛图像中的瞳孔状态信息，判断用户眼睛是否处于凝视状态，当用户眼睛处于凝视状态时，向虚拟现实设备的屏幕传输实时渲染的图像，当用户眼睛处于非凝视状态时，向虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。本申请技术方案在用户眼睛处于非凝视状态时，停止渲染新的图像，只在凝视状态渲染新的图像，这样可以大大减少显卡的渲染工作，节省显卡资源，降低功耗。
Description
技术领域
本发明涉及机器视觉技术领域，特别是涉及一种智能显示方法及装置。
背景技术
虚拟现实(VR，Virtual Reality)整机不断发展，出现各种整机模型，其中比较引人注目的是带有眼球追踪技术的VR整机，该类整机通常装有一个或者多个高规格相机来监测观察者眼球凝视位置，该相机帧数足够高，高于屏幕刷新帧率，保证屏幕上每一帧图像对应的注视点坐标都是实时最新的。
对于VR系统来说，由于显卡要实时渲染显示的内容，因此显卡承受的渲染压力很大，对显卡的损伤也比较严重。由于用户眼睛的生理特性，用户眼睛在观看VR场景时，存在眨眼和扫视抑制等短暂″失明″的时刻，然而在这些时刻，显卡依然在渲染场景，但是用户眼睛却观察不到，这就造成了渲染内容的浪费，此时显卡显然在做″无用功″。
发明内容
本发明提供一种智能显示方法及装置，以节省显卡资源，降低功耗。
为了解决上述问题，本发明公开了一种智能显示方法，应用于虚拟现实设备，所述方法包括：
获取用户眼睛的图像；
根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态，所述瞳孔状态信息至少包括瞳孔面积或瞳孔位置；
当所述用户眼睛处于凝视状态时，向所述虚拟现实设备的屏幕传输实时渲染的图像；
当所述用户眼睛处于非凝视状态时，向所述虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。
可选地，所述根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态的步骤，包括：
根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态，所述标定瞳孔面积为所述用户眼睛正常观看所述屏幕时的瞳孔面积；
当所述用户处于闭眼状态时，确定所述用户处于非凝视状态。
可选地，所述根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态的步骤，包括：
当所述标定瞳孔面积与所述当前帧图像中的瞳孔面积之差大于或等于第一预设阈值时，判定所述用户处于闭眼状态；
当所述标定瞳孔面积与所述当前帧图像中的瞳孔面积之差小于所述第一预设阈值时，判定所述用户处于非闭眼状态。
可选地，所述根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态的步骤，还包括：
根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态；
当所述用户处于扫视状态时，确定所述用户处于非凝视状态；
当所述用户处于非闭眼状态且非扫视状态时，确定所述用户处于凝视状态。
可选地，所述根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态的步骤，包括：
当所述第一瞳孔位置与所述第二瞳孔位置之间的距离大于或等于第二预设阈值时，判定所述用户处于扫视状态；
当所述第一瞳孔位置与所述第二瞳孔位置之间的距离小于所述第二预设阈值时，判定所述用户处于非扫视状态。
可选地，所述根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态的步骤，包括：
根据所述第一瞳孔位置、所述第二瞳孔位置以及瞳孔位置与屏幕上注视点之间的对应关系，确定所述第一瞳孔位置对应在所述屏幕上的第一注视点位置，以及所述第二瞳孔位置对应在所述屏幕上的第二注视点位置；
当所述第一注视点位置与所述第二注视点位置之间的距离大于或等于第三预设阈值时，判定所述用户处于扫视状态；
当所述第一注视点位置与所述第二注视点位置之间的距离小于所述第三预设阈值时，判定所述用户处于非扫视状态。
为了解决上述问题，本发明还公开了一种智能显示装置，应用于虚拟现实设备，所述装置包括：
获取模块，被配置为获取用户眼睛的图像；
判断模块，被配置为根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态，所述瞳孔状态信息至少包括瞳孔面积或瞳孔位置；
第一显示模块，被配置为当所述用户眼睛处于凝视状态时，向所述虚拟现实设备的屏幕传输实时渲染的图像；
第二显示模块，被配置为当所述用户眼睛处于非凝视状态时，向所述虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。
可选地，所述判断模块还被配置为：
根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态，所述标定瞳孔面积为所述用户眼睛正常观看所述屏幕时的瞳孔面积；
当所述用户处于闭眼状态时，确定所述用户处于非凝视状态。
可选地，所述判断模块还被配置为：
根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态；
当所述用户处于扫视状态时，确定所述用户处于非凝视状态；
当所述用户处于非闭眼状态且非扫视状态时，确定所述用户处于凝视状态。
为了解决上述问题，本发明还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行任一实施例所述的智能显示方法。
为了解决上述问题，本发明还公开了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的智能显示方法。
为了解决上述问题，本发明还公开了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的智能显示方法。
与现有技术相比，本发明包括以下优点：
本申请提供的技术方案，根据用户眼睛图像中的瞳孔状态信息，判断用户眼睛是否处于凝视状态，当用户眼睛处于凝视状态时，向虚拟现实设备的屏幕传输实时渲染的图像，当用户眼睛处于非凝视状态时，向虚拟现实设备的屏幕传输凝视状态下最后一帧的渲染图像。本申请技术方案在用户眼睛处于非凝视状态时，显卡停止渲染新的图像，只在凝视状态渲染新的图像，这样可以大大减少显卡的渲染工作，节省显卡资源，降低功耗。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了传统的虚拟现实VR系统的显示过程示意图；
图2示出了本申请实施例提供的一种智能显示方法的步骤流程图；
图3示出了本申请实施例提供的一种智能显示方法的流程示意图；
图4示出了本申请实施例提供的一种闭眼状态检测方法的步骤流程图；
图5示出了本申请实施例提供的一种闭眼状态检测方法的流程示意图；
图6示出了本申请实施例提供的一种扫视状态检测方法的步骤流程图；
图7示出了本申请实施例提供的一种扫视状态检测方法的流程示意图；
图8示出了本申请实施例提供的一种屏幕标定点的示意图；
图9示出了本申请实施例提供的一种与屏幕标定点对应的眼睛图像中的瞳孔位置示意图；
图10示出了本申请实施例提供的一种凝视状态检测方法的步骤流程图；
图11示出了本申请实施例提供的一种显卡工作状态示意图；
图12示出了本申请实施例提供的一种智能显示装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1示出了传统的虚拟现实VR系统的显示过程。首先相机拍摄眼球图像，根据眼球追踪技术获得注视点坐标；根据注视点坐标进行渲染，用户眼睛注视的区域分辨率高，其他区域分辨率较低；对渲染的图像进行图像算法处理，常见的算法有图像增强、LocalDimming算法等；将处理过的图通过传输线传输给VR系统；屏幕显示注视区域与非注视区域的拼接图像。
对于传统VR系统来说，显卡做了很多″无用功″，既增大了系统功耗，同时也造成了显卡资源浪费。这些″无用功″无时不在，例如：1)眨眼，用户在观看VR场景时会不停地眨眼，在用户闭眼的一段时间内，显卡依旧在实时渲染每帧图像，但是这些图像在用户闭眼的时间内显示，所以用户并不会看到，因此这些渲染的图像对用户来说就是无用的内容，可以认为显卡做了无用的渲染工作；2)扫视抑制，这是用户眼睛的另一种生理现象，研究表明，伴随快速扫视发生的视觉敏感性降低的现象，即扫视抑制。当用户将注视点从场景一部分移动至另一部分时，扫视就会发生。在没有追踪一个移动对象或专注于一个单一点时，用户的眼睛是不会从一个注视目标缓慢渐进地移动到另一个注视目标，用户不会注意到这种名为扫视的运动，这是一个仅需要数十毫秒的快速过程。扫视期间用户在短时间内″失明″，直到眼睛达到新的聚焦点。同理，扫视期间显卡渲染的图像用户也是无法看到或者注意到的，因此也是一种无用功。
为了节省显卡资源，降低功耗，本申请一实施例提供了一种智能显示方法，应用于虚拟现实设备，参照图2，该方法包括：
步骤201：获取用户眼睛的图像。
具体地，可以通过虚拟现实设备中的相机获取用户眼睛的图像(眼球图像)。
步骤202：根据用户眼睛图像中的瞳孔状态信息，判断用户眼睛是否处于凝视状态，瞳孔状态信息至少包括瞳孔面积或瞳孔位置。
具体地，可以根据用户眼睛图像中的瞳孔面积，判断用户眼睛是否处于凝视状态；还可以根据用户眼睛图像中的瞳孔位置，判断用户眼睛是否处于凝视状态；还可以根据用户眼睛图像中的瞳孔面积和瞳孔位置等瞳孔状态信息，判断用户眼睛是否处于凝视状态。
步骤203：当用户眼睛处于凝视状态时，向虚拟现实设备的屏幕传输实时渲染的图像。
具体地，参照图3，在凝视状态下，显卡处于持续工作状态，实时渲染每帧图像，并将实时渲染的图像传输给虚拟现实设备的屏幕进行显示。
步骤204：当用户眼睛处于非凝视状态时，向虚拟现实设备的屏幕传输凝视状态下最后一帧的渲染图像。
具体地，参照图3，在非凝视状态(如闭眼状态或扫视状态)下，显卡不再渲染新的图像，而是将用户在凝视状态下的最后一帧渲染图像(即闭眼状态或扫视状态之前渲染图像)传输给屏幕进行显示。显卡在非凝视状态下即在用户眼睛″失明″的状态下，基本处于休息状态(不工作)，从而为显卡减负，提高了显卡的利用效率。
在非凝视状态下，虚拟现实设备中的相机仍在实时拍摄用户眼睛的图像，当根据用户眼睛图像中的瞳孔状态信息判定用户切换为凝视状态时，显卡开始工作，重新渲染新的图像并传输给屏幕进行显示。
显卡可以在凝视状态和非凝视状态之间实时进行切换，显卡在非凝视状态下停止工作，并且不会被用户发现。本实施例技术方案的意义可以从两个方面进行阐述，一方面，如果显卡仅仅是渲染显示图像，不需要做其他额外工作，则本方案可以节省显卡资源，减低显卡功耗，提高显卡工作效率；另一方面，如果显卡除了渲染，还需要进行其他工作，如图像处理或者计算等工作可以在非凝视状态下进行，这样可以更高效地利用显卡能力，并且不会影响用户的观看效果。
本实施例提供的智能显示方法，基于虚拟现实设备内置的相机，利用眼睛生理现象，智能渲染每帧图像，当用户眼睛处于非凝视状态时，显卡停止渲染新的图像，当用户眼睛处于凝视状态时，显卡实时渲染新的图像。这样可以大大减少了显卡的渲染工作，提高显卡利用效率，降低无用功耗，节省显卡资源，节省出来的显卡资源可以用来进行其他运算工作。
一种实现方式中，参照图4，步骤202可以包括：
步骤401：根据用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断用户是否处于闭眼状态，标定瞳孔面积为用户眼睛正常观看屏幕时的瞳孔面积。
其中，标定瞳孔面积可以在佩戴者佩戴头显前的眼球标定流程中确定。由于不同的佩戴者，其眼球大小、瞳孔情况都不同，所以需要对佩戴者首先进行眼球标定，以保证算法判断使用的阈值等可实时智能因人而异。在实际进行眼球标定的过程中，可以制作特定场景，指导佩戴者眼球进行特定的运动，保证相机能够拍摄到充足充分的眼球图像，利用眼球追踪算法计算出观察者正常观看屏幕情况下的瞳孔面积S(后续详细介绍)。
具体地，当标定瞳孔面积S与当前帧图像中的瞳孔面积S1之差(Δ1＝S-S1)大于或等于第一预设阈值H时，判定用户处于闭眼状态；当标定瞳孔面积S与当前帧图像中的瞳孔面积S1之差(Δ1＝S-S1)小于第一预设阈值H时，判定用户处于非闭眼状态。
参照图5示出了一种闭眼状态检测算法流程图。在用户眼睛睁开和闭合的过程中，需要精确地确定出闭眼(进入闭眼状态)和睁眼(结束闭眼状态)的时刻，来判定显卡何时开始停止渲染工作和开始重新渲染工作。具体地，可以首先标记每帧用户眼睛图像中瞳孔的面积，假设用户眼睛的当前帧图像中的瞳孔面积为S1，上一帧(或前几帧)图像中的瞳孔面积为S2，设定Δ＝S1-S2，Δ1＝S-S1。
当Δ约等于0且Δ1小于第一预设阈值H时，说明用户此时处于正常睁眼观看状态，即非闭眼状态，显卡可以实时渲染图像并输出；当Δ小于0且Δ1的值越来越大时，用户眼睛的运动趋势是由睁开到闭合，当用户眼睛闭合到一定程度，即Δ1大于H时，判定用户处于闭眼状态，此时显卡可以停止渲染新图像，此时屏幕上显示的内容可以保持不变(显示闭眼状态之前显示的图像，即S1对应的屏幕图像)；当Δ大于0且Δ1的值越来越小时，用户眼睛的运动趋势是由闭合到睁开，当用户眼睛睁开到一定程度，即Δ1小于H时，判定用户处于眼睛睁开状态，即非闭眼状态，显卡可以重新开始渲染新的图像并输出。其中，第一预设阈值H＝P*S，S为标定瞳孔面积，系数P可根据实际情况来设定和调整。
步骤402：当用户处于闭眼状态时，确定用户处于非凝视状态。
具体地，在闭眼状态下，用户没有凝视屏幕，即处于非凝视状态。此时显卡不再渲染新的图像，而是将用户在闭眼状态之前的渲染图像传输给屏幕进行显示。需要说明的是，当用户处于非闭眼状态时，可以处于凝视状态，还可以处于其它非凝视状态如扫视状态等，因此，在非闭眼状态下，显卡的工作状态可以进一步根据实际情况确定。
一种实现方式中，参照图6，步骤202可以包括：
步骤601：根据当前帧图像的第一瞳孔位置以及当前帧图像之前的指定帧图像的第二瞳孔位置，判断用户是否处于扫视状态。
一种判断方式中，当第一瞳孔位置与第二瞳孔位置之间的距离大于或等于第二预设阈值时，判定用户处于扫视状态；当第一瞳孔位置与第二瞳孔位置之间的距离小于第二预设阈值时，判定用户处于非扫视状态。其中，第二预设阈值可以根据实际情况进行设定和调整。
另一种判断方式中，可以首先根据第一瞳孔位置、第二瞳孔位置以及瞳孔位置与屏幕上注视点之间的对应关系，确定第一瞳孔位置对应在屏幕上的第一注视点位置，以及第二瞳孔位置对应在屏幕上的第二注视点位置；当第一注视点位置与第二注视点位置之间的距离大于或等于第三预设阈值时，判定用户处于扫视状态；当第一注视点位置与第二注视点位置之间的距离小于第三预设阈值时，判定用户处于非扫视状态。
参照图7示出了一种扫视状态监测算法流程图。具体地，可以首先根据每一帧用户眼睛图像确定用户在屏幕上的注视位置，计算用户眼睛的当前帧图像对应在屏幕上的第一注视点位置D1(x1，y1)与上一帧(或前几帧)图像对应在屏幕上的第二注视点位置D2(x2，y2)之间的距离Δ＝|D1-D2|；当距离Δ小于第三预设阈值T时，判定用户眼睛处于非扫视状态，显卡可以实时渲染图像并输出；当距离Δ大于或等于T时，判定用户眼睛处于扫视状态，此时显卡可以停止渲染新图像，此时屏幕上显示的内容可以保持不变(显示扫视状态之前显示的图像，即D1对应的屏幕图像)。其中，第三预设阈值T可以根据实际情况进行设定和调整。
下面介绍如何采用眼球追踪算法确定用户眼睛图像中的瞳孔面积、瞳孔位置。
眼球追踪算法可以包括如径向对称变换、Hough变换、Starburst算法和圆周查分方法等。本实施例采用的眼球追踪算法主要步骤如下：获取使用者在红外LED照射下的眼部图像；找到眼部图像中红外LED在用户眼睛角膜上的成像点，并计算所有光斑成像点在图像中的平均质心位置；根据光斑的平均质心位置，确定瞳孔搜索框，基于滑动窗找到瞳孔内一点；从确定的瞳孔内一点发出一条射线，并延射线方向计算像素点的梯度变化情况，根据预设的瞳孔边界梯度阈值，确定初始瞳孔边缘点；得到初始瞳孔边缘点后，按照顺时针方向，在确定的边缘点周围进行其他边缘点的搜索，进一步得到瞳孔所有边缘点；标定出所有边缘点并连线拟合出一个闭合区域，计算这个闭合区域的面积，该面积计算可以通过统计闭和区域内的线像素数来表示，该面积可以用来计算用户眼睛图像中的瞳孔面积；获取到所有瞳孔边缘点后，将瞳孔边缘点均分成四份，分别进行水平和竖直方向上的椭圆拟合，并通过求取椭圆交点，定位瞳孔中心位置，即瞳孔位置。
下面介绍如何确定瞳孔位置与屏幕上注视点之间的对应关系。具体地，参照图8，通过在屏幕上特定像素位置设置9个标定点，即图8中的空心点，同时实心点按照特定顺序分别与空心点重合，用户眼睛时刻注视着图8中实心点运动，当实心点与九个空心点分别重合完毕后，标定过程结束。算法对标定后的用户眼睛图像进行图像处理，确定瞳孔位置。屏幕上的九个空心点(注视点)对应的用户眼睛图像中的瞳孔点位置如图9中黑色点所示。由于标定的九个点在屏幕上位置是已知的，因此可以得到九个标定点的屏幕位置与瞳孔位置的一一对应关系，根据这九个标定点关系进行拟合，拟合出一个关系式(插值法)，进而可以得出任意瞳孔位置对应的屏幕像素位置(即在屏幕上的注视点位置)。
步骤602：当用户处于扫视状态时，确定用户处于非凝视状态。
具体地，在扫视状态下，用户没有凝视屏幕，即处于非凝视状态。此时显卡不再渲染新的图像，而是将用户在扫视状态之前的渲染图像传输给屏幕进行显示。在实际应用中，当用户处于非扫视状态时，可以处于凝视状态，还可以处于其它非凝视状态如闭眼状态等，因此，在非扫视状态下，显卡的工作状态可以进一步根据实际情况确定。
一种实现方式中，参照图10，步骤202可以包括：
步骤1001：根据用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断用户是否处于闭眼状态，标定瞳孔面积为用户眼睛正常观看屏幕时的瞳孔面积。
具体地，本实施例中步骤1001与前述实施例中的步骤401相同或相似，在此不再赘述。本实施例重点说明与上一实施例的不同之处。
步骤1002：根据当前帧图像的第一瞳孔位置以及当前帧图像之前的指定帧图像的第二瞳孔位置，判断用户是否处于扫视状态。
具体地，本实施例中步骤1002与前述实施例中的步骤601相同或相似，在此不再赘述。本实施例重点说明与上一实施例的不同之处。
步骤1003：当用户处于闭眼状态或扫视状态时，确定用户处于非凝视状态。
具体地，参照图11，在闭眼状态或扫视状态下，用户没有凝视屏幕，即处于非凝视状态。此时显卡不再渲染新的图像，而是将用户在闭眼状态或扫视状态之前的渲染图像传输给屏幕进行显示。
步骤1004：当用户处于非闭眼状态且非扫视状态时，确定用户处于凝视状态。
具体地，参照图11，在非闭眼状态和非扫视状态下，判定用户处于凝视状态。此时显卡处于持续工作状态，实时渲染每帧图像，并将实时渲染的图像传输给虚拟现实设备的屏幕进行显示。
参照图11示出了一种显卡工作状态示意图。传统的虚拟现实系统中显卡一直重复不断的保持在状态1，即只要虚拟现实系统处于工作状态，显卡就处于持续工作状态。本实施例中，只有在凝视状态下显卡才工作在状态1，处于持续工作状态，而在闭眼或扫视状态下，由于用户处于暂时″失明″状态，屏幕上一直显示眼睛″失明″前的图像即可，显卡无需渲染新的图像，这时显卡在用户眼睛″失明″时间内，基本处于休息状态(不工作)，最大程度上为显卡减负，提高了显卡的有效功率。
在实际应用中，获取用户眼睛的图像后，进行状态监测，如果检测用户眼睛处于凝视状态，则显卡保持在正常工作状态，实时渲染图像；如果检测用户眼睛处于闭眼状态，则显卡不再渲染新的图像，而是使用用户闭眼前的那一帧图像进行显示，此时相机依旧在实时拍摄用户眼睛图像，当检测用户眼睛重新处于凝视状态时，显卡开始工作，重新渲染新的图像，进行显示；如果检测用户眼睛处于扫视状态，则显卡不再渲染新的图像，而是将扫视开始前一帧图像作为扫视过程中VR要显示的图像，此时相机依旧在实时拍摄用户眼睛图像，当检测用户眼睛重新处于凝视状态时，显卡开始工作，重新渲染新的图像，进行显示。本实施例提供的技术方案，根据用户眼睛生理特性，软件端智能渲染图像，保证了显卡渲染的每帧图像都″有用″，大大减少了显卡的″无用功″。
图12是根据一示例性实施例示出的一种智能显示装置框图。该智能显示装置应用于虚拟现实设备，参照图12，该装置包括：
获取模块1201，被配置为获取用户眼睛的图像；
判断模块1202，被配置为根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态，所述瞳孔状态信息至少包括瞳孔面积或瞳孔位置；
第一显示模块1203，被配置为当所述用户眼睛处于凝视状态时，向所述虚拟现实设备的屏幕传输实时渲染的图像；
第二显示模块1204，被配置为当所述用户眼睛处于非凝视状态时，向所述虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。
在一种可选地实现方式中，判断模块1202还被配置为：
根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态，所述标定瞳孔面积为所述用户眼睛正常观看所述屏幕时的瞳孔面积；
当所述用户处于闭眼状态时，确定所述用户处于非凝视状态。
进一步地，判断模块1202还被配置为：
根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态；
当所述用户处于扫视状态时，确定所述用户处于非凝视状态；
当所述用户处于非闭眼状态且非扫视状态时，确定所述用户处于凝视状态。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请另一实施例还提供了一种装置，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现任一实施例所述的智能显示方法。
本申请另一实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的智能显示方法。
本申请另一实施例还提供了一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备能够执行任一实施例所述的智能显示方法。
本申请实施例提供了一种智能显示方法及装置，应用于虚拟现实设备，根据用户眼睛图像中的瞳孔状态信息，判断用户眼睛是否处于凝视状态，当用户眼睛处于凝视状态时，向虚拟现实设备的屏幕传输实时渲染的图像，当用户眼睛处于非凝视状态时，向虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。本申请技术方案在用户眼睛处于非凝视状态时，停止渲染新的图像，只在凝视状态渲染新的图像，这样可以大大减少显卡的渲染工作，节省显卡资源，降低功耗。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句″包括一个......″限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种智能显示方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种智能显示方法，其特征在于，应用于虚拟现实设备，所述方法包括：
获取用户眼睛的图像；
根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态，所述瞳孔状态信息至少包括瞳孔面积或瞳孔位置；
当所述用户眼睛处于凝视状态时，向所述虚拟现实设备的屏幕传输实时渲染的图像；
当所述用户眼睛处于非凝视状态时，向所述虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。
2.根据权利要求1所述的智能显示方法，其特征在于，所述根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态的步骤，包括：
根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态，所述标定瞳孔面积为所述用户眼睛正常观看所述屏幕时的瞳孔面积；
当所述用户处于闭眼状态时，确定所述用户处于非凝视状态。
3.根据权利要求2所述的智能显示方法，其特征在于，所述根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态的步骤，包括：
当所述标定瞳孔面积与所述当前帧图像中的瞳孔面积之差大于或等于第一预设阈值时，判定所述用户处于闭眼状态；
当所述标定瞳孔面积与所述当前帧图像中的瞳孔面积之差小于所述第一预设阈值时，判定所述用户处于非闭眼状态。
4.根据权利要求2所述的智能显示方法，其特征在于，所述根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态的步骤，还包括：
根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态；
当所述用户处于扫视状态时，确定所述用户处于非凝视状态；
当所述用户处于非闭眼状态且非扫视状态时，确定所述用户处于凝视状态。
5.根据权利要求4所述的智能显示方法，其特征在于，所述根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态的步骤，包括：
当所述第一瞳孔位置与所述第二瞳孔位置之间的距离大于或等于第二预设阈值时，判定所述用户处于扫视状态；
当所述第一瞳孔位置与所述第二瞳孔位置之间的距离小于所述第二预设阈值时，判定所述用户处于非扫视状态。
6.根据权利要求4所述的智能显示方法，其特征在于，所述根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态的步骤，包括：
根据所述第一瞳孔位置、所述第二瞳孔位置以及瞳孔位置与屏幕上注视点之间的对应关系，确定所述第一瞳孔位置对应在所述屏幕上的第一注视点位置，以及所述第二瞳孔位置对应在所述屏幕上的第二注视点位置；
当所述第一注视点位置与所述第二注视点位置之间的距离大于或等于第三预设阈值时，判定所述用户处于扫视状态；
当所述第一注视点位置与所述第二注视点位置之间的距离小于所述第三预设阈值时，判定所述用户处于非扫视状态。
7.一种智能显示装置，其特征在于，应用于虚拟现实设备，所述装置包括：
获取模块，被配置为获取用户眼睛的图像；
判断模块，被配置为根据所述用户眼睛图像中的瞳孔状态信息，判断所述用户眼睛是否处于凝视状态，所述瞳孔状态信息至少包括瞳孔面积或瞳孔位置；
第一显示模块，被配置为当所述用户眼睛处于凝视状态时，向所述虚拟现实设备的屏幕传输实时渲染的图像；
第二显示模块，被配置为当所述用户眼睛处于非凝视状态时，向所述虚拟现实设备的屏幕传输所述凝视状态下最后一帧的渲染图像。
8.根据权利要求7所述的智能显示装置，其特征在于，所述判断模块还被配置为：
根据所述用户眼睛的当前帧图像中的瞳孔面积以及预先获取的标定瞳孔面积，判断所述用户是否处于闭眼状态，所述标定瞳孔面积为所述用户眼睛正常观看所述屏幕时的瞳孔面积；
当所述用户处于闭眼状态时，确定所述用户处于非凝视状态。
9.根据权利要求8所述的智能显示装置，其特征在于，所述判断模块还被配置为：
根据所述当前帧图像的第一瞳孔位置以及所述当前帧图像之前的指定帧图像的第二瞳孔位置，判断所述用户是否处于扫视状态；
当所述用户处于扫视状态时，确定所述用户处于非凝视状态；
当所述用户处于非闭眼状态且非扫视状态时，确定所述用户处于凝视状态。
10.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1至6任一项所述的智能显示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910499123.7A CN110162185A (zh) | 2019-06-10 | 2019-06-10 | 一种智能显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910499123.7A CN110162185A (zh) | 2019-06-10 | 2019-06-10 | 一种智能显示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110162185A true CN110162185A (zh) | 2019-08-23 |
Family
ID=67628361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910499123.7A Pending CN110162185A (zh) | 2019-06-10 | 2019-06-10 | 一种智能显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110162185A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475243A (zh) * | 2020-04-03 | 2020-07-31 | 广东小天才科技有限公司 | 一种页面加载方法及系统 |
| CN112578564A (zh) * | 2020-12-15 | 2021-03-30 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| CN113362450A (zh) * | 2021-06-02 | 2021-09-07 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及系统 |
| CN115294071A (zh) * | 2022-08-10 | 2022-11-04 | 中山大学中山眼科中心 | 基于视频数据的泪膜检测系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060203197A1 (en) * | 2005-02-23 | 2006-09-14 | Marshall Sandra P | Mental alertness level determination |
| CN1969249A (zh) * | 2004-06-18 | 2007-05-23 | 托比技术有限公司 | 基于眼跟踪控制计算机装置的装置、方法及计算机程序 |
| CN101642374A (zh) * | 2008-08-04 | 2010-02-10 | 南京大学 | 疲劳检测装置及方法 |
| CN103472915A (zh) * | 2013-08-30 | 2013-12-25 | 深圳Tcl新技术有限公司 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
| CN105718046A (zh) * | 2014-12-23 | 2016-06-29 | 联发科技股份有限公司 | 用于眼部追踪的基于移动设备的头戴式显示器 |
| CN106406501A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种控制渲染的方法以及装置 |
| CN106659441A (zh) * | 2014-06-17 | 2017-05-10 | 皇家飞利浦有限公司 | 评价医生注意力 |
| CN109388448A (zh) * | 2017-08-09 | 2019-02-26 | 京东方科技集团股份有限公司 | 图像显示方法、显示系统以及计算机可读存储介质 |
-
2019
- 2019-06-10 CN CN201910499123.7A patent/CN110162185A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1969249A (zh) * | 2004-06-18 | 2007-05-23 | 托比技术有限公司 | 基于眼跟踪控制计算机装置的装置、方法及计算机程序 |
| US20060203197A1 (en) * | 2005-02-23 | 2006-09-14 | Marshall Sandra P | Mental alertness level determination |
| CN101642374A (zh) * | 2008-08-04 | 2010-02-10 | 南京大学 | 疲劳检测装置及方法 |
| CN103472915A (zh) * | 2013-08-30 | 2013-12-25 | 深圳Tcl新技术有限公司 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
| CN106659441A (zh) * | 2014-06-17 | 2017-05-10 | 皇家飞利浦有限公司 | 评价医生注意力 |
| CN105718046A (zh) * | 2014-12-23 | 2016-06-29 | 联发科技股份有限公司 | 用于眼部追踪的基于移动设备的头戴式显示器 |
| CN106406501A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种控制渲染的方法以及装置 |
| CN109388448A (zh) * | 2017-08-09 | 2019-02-26 | 京东方科技集团股份有限公司 | 图像显示方法、显示系统以及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 林敏: ""基于眼动信息的人机交互关键技术研究"", 《中国博士学位论文全文数据库（电子期刊） 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475243A (zh) * | 2020-04-03 | 2020-07-31 | 广东小天才科技有限公司 | 一种页面加载方法及系统 |
| CN112578564A (zh) * | 2020-12-15 | 2021-03-30 | 京东方科技集团股份有限公司 | 一种虚拟现实显示设备及显示方法 |
| CN113362450A (zh) * | 2021-06-02 | 2021-09-07 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及系统 |
| CN115294071A (zh) * | 2022-08-10 | 2022-11-04 | 中山大学中山眼科中心 | 基于视频数据的泪膜检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110162185A (zh) | 一种智能显示方法及装置 | |
| US10488925B2 (en) | Display control device, control method thereof, and display control system | |
| CN103885589B (zh) | 眼动追踪方法及装置 | |
| CN104834446B (zh) | 一种基于眼球追踪技术的显示屏多屏控制方法及系统 | |
| KR102291461B1 (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| CN109633907B (zh) | 单眼ar眼镜亮度自动调节的方法、存储介质 | |
| WO2020015468A1 (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
| CN108427503A (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN109995942A (zh) | 一种智能终端的护眼方法及系统 | |
| US20190004600A1 (en) | Method and electronic device for image display | |
| EP2515526A2 (en) | Display device with image capture and analysis module | |
| US11322113B2 (en) | Techniques for eye fatigue mitigation | |
| CN110352033A (zh) | 用眼睛追踪装置确定眼睛睁开度 | |
| US20120256820A1 (en) | Methods and Systems for Ergonomic Feedback Using an Image Analysis Module | |
| EP3820353B1 (en) | Electronic devices with display operation based on eye activity | |
| US10842430B1 (en) | Eye fatigue detection using visual imaging | |
| TW201306573A (zh) | 具有影像擷取及分析模組之顯示裝置 | |
| CN109741289B (zh) | 一种图像融合方法和vr设备 | |
| US9959841B2 (en) | Image presentation control methods and image presentation control apparatuses | |
| US10929957B2 (en) | Display method, display device, electronic equipment, and storage medium | |
| CN105867605A (zh) | 虚拟现实头盔的功能菜单翻页方法、装置及头盔 | |
| CN109782913A (zh) | 一种控制屏幕内容显示的方法及装置 | |
| WO2023011103A1 (zh) | 参数控制方法、装置、头戴式显示设备以及存储介质 | |
| CN113491502A (zh) | 一种眼球追踪校准检验方法、装置、设备及存储介质 | |
| WO2022007247A1 (zh) | 头戴式设备及其渲染方法、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |