CN113473210A - 显示方法、设备和存储介质 - Google Patents
显示方法、设备和存储介质 Download PDFInfo
- Publication number
- CN113473210A CN113473210A CN202110801732.0A CN202110801732A CN113473210A CN 113473210 A CN113473210 A CN 113473210A CN 202110801732 A CN202110801732 A CN 202110801732A CN 113473210 A CN113473210 A CN 113473210A
- Authority
- CN
- China
- Prior art keywords
- user
- gazing area
- area
- dimensional space
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000009877 rendering Methods 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000013519 translation Methods 0.000 claims description 28
- 230000006399 behavior Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种显示方法、设备和存储介质，方法包括：获取用户的人脸深度和脸部朝向信息；根据人脸深度和脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区；对注视区的显示内容以第一清晰度为目标进行渲染，得到注视区的目标显示内容；以及，对非注视区的显示内容以第二清晰度为目标进行渲染，得到非注视区的目标显示内容；将注视区的目标显示内容和非注视区的目标显示内容进行合并，得到并显示合并内容，有效减少了渲染的工作量以及相应产生的渲染数据和数据传输量，减轻显示内容的传输压力；同时，减少了非注视区的渲染资源和传输资源的占有率，提高了注视区的显示内容的传输资源占比，确保注视区的显示内容的高清晰度和高刷新率。
Description
技术领域
本发明属于显示技术领域，具体涉及一种显示方法、设备和存储介质。
背景技术
目前高分辨率是各种显示装置的发展趋势，无论是4K电视(具有4K分辨率的电视)、8K电视(具有8K分辨率的电视)还是近年来流行的近眼显示，显示装置的每英寸的像素数目(Pixels Per Inch，PPI)都在不断提升，已经超越视网膜水平。
显示装置在追求高刷新率的同时也期待游戏画面的画质提升，通常情况下，显示装置使用一个较高的清晰度对整个屏幕显示的图像进行渲染，以满足用户的观看要求。
然而，分辨率和刷新率进一步提升，意味着传输图像时，每帧输出的信号量就越大，对传输带宽的要求就越高，系统的渲染能力和系统端到显示端的传输能力受到很大挑战。
因此，如何在有限的数据传输带宽和有限的算力情况下，保证较高的刷新率和较好的画面质量是本领域技术人员亟待解决的技术问题。
发明内容
本发明的主要目的是提供一种显示方法、设备和存储介质，以解决现有技术中显示装置对数据传输带宽和显卡算力需求较高的技术问题。
针对上述问题，本发明提供了一种显示方法，包括：
获取用户的人脸深度和脸部朝向信息；
根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区；
对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容；其中，所述第一清晰度高于所述第二清晰度；
将所述注视区的目标显示内容和所述非注视区的目标显示内容进行合并，得到合并内容；
将所述合并内容显示在所述显示屏幕。
进一步地，上述所述的显示方法中，根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区，包括：
根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标；
根据所述交点坐标，确定用户在所述显示屏幕上的注视区和非注视区。
进一步地，上述所述的显示方法中，根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标，包括：
根据所述人脸深度和所述脸部朝向信息，确定用户视线在显示屏幕上的多个投影点坐标；
将所有投影点坐标围城的第一投影区域的中心点作为所述交点坐标。
进一步地，上述所述的显示方法中，根据所述交点坐标，确定用户在所述显示屏幕上的注视区和非注视区，包括：
基于预设的边界参数，确定所述显示屏幕上以所述交点坐标为注视点坐标的第二投影区域作为所述显示屏幕上的注视区，以及，将所述显示屏幕上所述第二投影区域之外的区域作为所述非注视区。
进一步地，上述所述的显示方法中，所述人脸深度的获取过程包括：
获取单目相机捕捉的相邻两帧的二维空间点坐标、二维空间点坐标对应的二维空间点编码和单目相机的相机参数，根据二维空间点编码，将相邻两帧的二维空间点坐标进行匹配，得到多组二维空间特征对，将多组二维空间特征对和所述单目相机的相机参数构造线性方程组，求解出本质矩阵；
通过奇异值分解算法分解所述本质矩阵，得到多组旋转矩阵和平移矩阵；
通过所述二维空间特征对、所述多组所述旋转矩阵和所述平移矩阵，估算出三维空间点坐标；
获取所述三维空间点坐标的深度值，并将深度值为正数的一组所述旋转矩阵和平移矩阵定义为目标旋转矩阵和目标平移矩阵；
根据所述目标旋转矩阵和所述目标平移矩阵，确定相邻两帧的二维空间点的深度值；
根据相邻两帧的二维空间点的深度值，确定所述人脸深度。
进一步地，上述所述的显示方法中，所述人脸深度的获取过程包括：
通过双目相机或者深度相机获取所述人脸深度。
进一步地，上述所述的显示方法中，所述脸部朝向信息的获取过程包括：
提取脸部特征数据；
根据所述脸部特征数据，确定特征描述子向量；
根据所述特征描述子向量，确定所述脸部朝向信息。
进一步地，上述所述的显示方法，还包括：
获取用户观看信息；
基于所述用户观看信息，构建用户行为数据库；
当检测到当前用户为所述用户行为数据库对应的用户时，根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区。
本发明还提供了一种显示设备，包括存储器和控制器；
所述存储器上存储有计算机程序，所述计算机程序被控制器执行时实现上述任一项所述的显示方法的步骤。
本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的显示方法的步骤。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明的显示方法、设备和存储介质，通过获取用户的人脸深度和脸部朝向信息；并根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区，实现了对用户的位置和注视方向的精准定位，并对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容，有效减少了渲染的工作量以及相应产生的渲染数据和数据传输量，减轻显示内容的传输压力；同时，减少了非注视区的渲染资源和传输资源的占有率，提高了注视区的显示内容的传输资源占比，确保注视区的显示内容的高清晰度和高刷新率。
本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的显示方法实施例的流程图；
图2为邻两帧图像的对极几何约束的示意图；
图3为用户与显示屏幕之间的状态图；
图4为本发明的显示装置实施例的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
实施例一
为解决现有技术中存在的上述技术问题，本发明实施例提供了一种空调的控制方法。
图1为本发明的显示方法实施例的流程图，如图1所示，本实施例的显示方法具体可以包括如下步骤：
100、获取用户的人脸深度和脸部朝向信息；
在一个具体实现过程中，可以在显示设备上设置视觉传感器，利用视觉传感器对可视范围内的图像进行采集，并识别采集的图像中的所有人脸数据，计算出人脸深度和脸部朝向信息。其中，人脸深度为人脸距离显示设备对应的显示屏幕的距离。
在一个具体实现过程中，视觉传感器可以包括但不限制于单目相机、双目相机或深度相机。其中，单目相机结构简单，便于相机标定和识别，成本最低，缺点是单目相机具有尺度不确定性，需要初始化后才能工作。双目相机又叫立体摄像头，由两个单目相机组成，这种方案模仿人眼实现对空间内物体的三维定位，技术较成熟，定位精度和稳定性更强，缺点是相机标定和配置较为复杂，需要两次三角化计算，计算量大，成本较单目更高。深度相机是最便捷的解决方案，可以直接获取空间内物体的深度值，包括飞行时间相机和结构光相机两种。深度相机方案的优势是三维成像和距离探测直接、方便，缺点是测量噪声较大，容易收光线干扰，且无法测量玻璃等透明材质，而且成本比较高。在实际应用中，可以根据实际需求选取合适的相机，本实施例不做具体限制。
在一个具体实现过程中，若视觉传感器选取单目相机，可以按照如下步骤获取人脸深度：
(1)获取单目相机捕捉的相邻两帧的二维空间点坐标、二维空间点坐标对应的二维空间点编码和单目相机的相机参数，根据二维空间点编码，将相邻两帧的二维空间点坐标进行匹配，得到多组二维空间特征对，将多组二维空间特征对和所述单目相机的相机参数构造线性方程组，求解出本质矩阵；
在一个具体实现过程中，在获取单目相机捕捉的相邻两帧的二维空间点坐标和单目相机的相机参数后，可以构建对极约束关系式，从而得到包含基础矩阵和本质矩阵的对极约束关系式，然后利用二维空间点坐标对应的二维空间点编码将相邻两帧的二维空间点坐标进行匹配，得到多组二维空间特征对，将多组二维空间特征对和所述单目相机的相机参数构造线性方程组，求解出本质矩阵。其中，可以利用五点法、八点法得到对应的多组二维空间特征对。
在一个具体实现过程中，构建对极约束关系式的过程如下：
首先，求解单目相机在相邻两帧图像I1，I2之间的运动，图2为邻两帧图像的对极几何约束的示意图。假设第一帧图像I1到第二帧图像I2，相机的运动为R和t，其中，R为旋转矩阵，t为平移矩阵。两个单目相机的中心分别为O1，O2。第一帧图像I1中有一个第一特征点p1，它在第二帧图像I2中对应着第二特征点p2，它们是同一个空间点P在两个成像平面上的投影。如图2所示，P，O1，O2组成的平面称为极平面，e1称为第一极点，e2称为第一极点，O1 O2称为基线。设P的空间位置为P。
第一特征点p1的像素位置可以表示为：s1p1＝KP (1)；
其中，s1表示第一特征点p1的深度，K表示单目相机参数。
第二特征点p2的像素位置可以表示为：s2p2＝K(RP+t) (2)；
其中，s2表示第二特征点p2的深度。
把上式(1)和(2)写成在乘以非零常数下成立的等式可以得到计算式(3)和(4)：
p1＝KP (3)
p2＝K(RP+t) (4)
取x1＝K-1p1，x2＝K-1p2，其中，x1，x2是两个特征点在归一化平面的坐标。将x1，x2代入计算式(3)和(4)，得到计算式(5)：
x2＝Rx1+t (5)
计算式(5)两边同时乘以
得到计算式(6)：
将p1和p2代入计算式(7)得到计算式(8)：
令
F＝K-TEK-1，则有计算式(9)：
其中，F为基础矩阵，E为本质矩阵。
通过上述个各计算式，可以求得基础矩阵F，并进一步求得本质矩阵E。
(2)通过奇异值分解算法分解所述本质矩阵，得到多组旋转矩阵和平移矩阵；
在一个具体实现过程中，在得到本质矩阵E后，可以根据本质矩阵E恢复出多组旋转矩阵和平移矩阵。该步骤，可以通过奇异值分解算法得到四个可能的解，即为四组旋转矩阵和平移矩阵，其中只有一个正确的解在单目相机中具有正深度(深度值为正数)。因此还需要进行下一步检测深度信息的步骤。其中，详细算法可以参考现有相关技术，在此不再赘述。
(3)通过所述二维空间特征对、所述多组所述旋转矩阵和所述平移矩阵，估算出三维空间点坐标；
(4)获取所述三维空间点坐标的深度值，并将深度值为正数的一组所述旋转矩阵和平移矩阵定义为目标旋转矩阵和目标平移矩阵；
在一个具体实现过程中，可以通过所述二维空间特征对、所述多组所述旋转矩阵和所述平移矩阵，估算出三维空间点坐标，并获取所述三维空间点坐标的深度值，并将深度值为正数的一组所述旋转矩阵和平移矩阵定义为目标旋转矩阵和目标平移矩阵。详细的计算过程可以参考现有相关技术，在此不再赘述。
(5)根据所述目标旋转矩阵和所述目标平移矩阵，确定相邻两帧的二维空间点的深度值；
在一个具体实现过程中，可以x1，x2满足如下计算式(10)：
s1x1＝s2Rx2+t (10)
将计算式(10)左式乘以
可得计算式(11)：
可以通过计算式(11)求得s2，之后可以根据计算式(10)求得s1。
(6)根据相邻两帧的二维空间点的深度值，确定所述人脸深度。
在一个具体实现过程中，在求得s1和s2后，可以根据s1和s2确定人脸深度，如可以求取s1和s2的平均值作为人脸深度。
需要说明的是，若采用双目相机，可以构建3D-2D或3D-3D变换关系，可以利用PnP(Perspective-n-Point)方法求解，得到旋转矩阵和平移矩阵后，再得到人脸深度，详细过程可以参考现有相关技术，在此不再赘述。
若采用深度相机，可以构建3D-2D或3D-3D变换关系，可以直接获取到人脸深度，并还可以利用ICP(Iterative Closest Point，迭代最近点)算法求解，得到旋转矩阵和平移并矩阵。
在一个具体实现过程中，脸部朝向信息的获取过程可以包括：
(11)提取脸部特征数据；
(12)根据所述脸部特征数据，确定特征描述子向量；
(13)根据所述特征描述子向量，确定所述脸部朝向信息。
101、根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区；
在一个具体实现过程中，可以根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标。具体地，可以根据所述人脸深度和所述脸部朝向信息，确定用户视线在显示屏幕上的多个投影点坐标，并将所有投影点坐标围城的投影区域的中心点作为用户视线与显示屏幕的交点坐标。
图3为用户与显示屏幕之间的状态图，如图3所示，用户的人脸深度d和脸部朝向信息θ是已知的，因此，可以根据这两个值计算出用户视线在显示屏幕各坐标轴上的投影点坐标，然后将投影点坐标围城的第一投影区域，选取该第一投影区域的中心点作为用户视线与显示屏幕的交点坐标。
在一个具体实现过程中，在得到用户视线与显示屏幕的交点坐标后，可以根据用户视线与显示屏幕的交点坐标，确定用户在所述显示屏幕上的注视区和非注视区。具体地，可以基于预设的边界参数，确定所述显示屏幕上以用户视线与显示屏幕的交点坐标为注视点坐标的第二投影区域作为所述显示屏幕上的注视区，以及，将所述显示屏幕上所述第二投影区域之外的区域作为所述非注视区。
在一个具体实现过程中，可以以用户视线与显示屏幕的交点坐标为注视点坐标，然后根据该注视点坐标标推导出高清图像的FOV(Field of View，视场角)，由注视点坐标图像渲染引擎内虚拟相机默认六边界参数(左、右、上、下、近、远)可推导出高清区虚拟相机的六边界参数(按三角关系等比例变换)，由六边界参数计算相机投影矩阵，得到投影矩阵后直接作用于虚拟相机的projectionMatrix参数，可以得到对应的FOV，如下式：
其中，left表示左边界参数，right表示右边界参数，top表示上边界参数，bottom表示下边界参数，near表示近边界参数，far表示远边界参数。
102、对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容；
在一个具体实现过程中，可以对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容；其中，所述第一清晰度高于所述第二清晰度。
103、将所述注视区的目标显示内容和所述非注视区的目标显示内容进行合并，得到合并内容；
104、将所述合并内容显示在所述显示屏幕。
在一个具体实现过程中，在得到所述注视区的目标显示内容和所述非注视区的目标显示内容后，可以将二者进行合并，得到合并内容，并将所述合并内容显示在所述显示屏幕，从而使得显示屏幕中，针对注视区和非注视区按照不同清晰度进行显示。
本实施例的显示方法，通过获取用户的人脸深度和脸部朝向信息；并根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区，实现了对用户的位置和注视方向的精准定位，并对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容，有效减少了渲染的工作量以及相应产生的渲染数据和数据传输量，减轻显示内容的传输压力；同时，减少了非注视区的渲染资源和传输资源的占有率，提高了注视区的显示内容的传输资源占比，确保注视区的显示内容的高清晰度和高刷新率。
在一个具体实现过程中，该显示方法可以统计并获取用户观看信息；基于所述用户观看信息，构建用户行为数据库，这样在后续使用显示屏幕时，当检测到当前用户属于该用户行为数据库对应的用户时，可以根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区。
具体地，可以记录访问人数，驻留时间，不同用户习惯的注视区域等用户观看信息，并进行存储，以便构建用户行为数据库，这样，在获取当前用户的图像后，可以检测到当前用户属于用户行为数据库对应的用户，并在检测到当前用户属于已所述用户行为数据库对应的用户时，从根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区，从而可以方便快捷的确定出当前用户的初始注视区和初始非注视区。
需要说明的是，本实施例统计用户观看信息后，并不仅限于应用于生成所述当前用户的初始注视区和初始非注视区，也可以应用在其它场景。
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成的方法。
实施例二
为解决现有技术中存在的上述技术问题，本发明实施例提供了一种显示装置。
图4为本发明的显示装置实施例的结构示意图，如图4所示，本实施例的显示装置可以包括获取模块40、确定模块41、渲染模块42、合并模块43和显示模块44。
获取模块40，用于获取用户的人脸深度和脸部朝向信息；
在一个具体实现过程中，可以通过单目相机、双目相机或者深度相机获取所述人脸深度。
当通过单目相机获取所述人脸深度时，可以获取单目相机捕捉的相邻两帧的二维空间点坐标、二维空间点坐标对应的二维空间点编码和单目相机的相机参数，根据二维空间点编码，将相邻两帧的二维空间点坐标进行匹配，得到多组二维空间特征对，将多组二维空间特征对和所述单目相机的相机参数构造线性方程组，求解出本质矩阵；通过奇异值分解算法分解所述本质矩阵，得到多组旋转矩阵和平移矩阵；通过所述二维空间特征对、所述多组所述旋转矩阵和所述平移矩阵，估算出三维空间点坐标；获取所述三维空间点坐标的深度值，并将深度值为正数的一组所述旋转矩阵和平移矩阵定义为目标旋转矩阵和目标平移矩阵；根据所述目标旋转矩阵和所述目标平移矩阵，确定相邻两帧的二维空间点的深度值；根据相邻两帧的二维空间点的深度值，确定所述人脸深度。
在一个具体实现过程中，可以提取脸部特征数据；根据所述脸部特征数据，确定特征描述子向量；根据所述特征描述子向量，确定所述脸部朝向信息。
确定模块41，用于根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区；
在一个具体实现过程中，可以根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标。具体地，可以根据所述人脸深度和所述脸部朝向信息，确定用户视线在显示屏幕上的多个投影点坐标，并将所有投影点坐标围城的第一投影区域的中心点作为所述交点坐标。
在确定用户视线与显示屏幕的交点坐标后，可以根据根用户视线与显示屏幕的交点坐标，确定用户在所述显示屏幕上的注视区和非注视区。具体地，可以基于预设的边界参数，确定所述显示屏幕上以所述交点坐标为注视点坐标的第二投影区域作为所述显示屏幕上的注视区，以及，将所述显示屏幕上所述第二投影区域之外的区域作为所述非注视区。
渲染模块42，用于对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容；其中，所述第一清晰度高于所述第二清晰度；
合并模块43，用于将所述注视区的目标显示内容和所述非注视区的目标显示内容进行合并，得到合并内容；
显示模块44，用于将所述合并内容显示在所述显示屏幕。
在一个具体实现过程中，获取模块40，还可以统计并获取用户观看信息；基于所述用户观看信息，构建用户行为数据库，这样在后续使用显示屏幕时，当检测到当前用户属于该用户行为数据库对应的用户时，可以根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区。
具体地，可以记录访问人数，驻留时间，不同用户习惯的注视区域等用户观看信息，并进行存储，以便构建用户行为数据库，这样，在获取当前用户的图像后，可以检测到当前用户属于用户行为数据库对应的用户，并在检测到当前用户属于已所述用户行为数据库对应的用户时，从根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区，从而可以方便快捷的确定出当前用户的初始注视区和初始非注视区。
上述实施例的装置用于实现前述实施例中相应的方法，其具体实现方案可以参见前述实施例记载的方法及方法实施例中的相关说明，并且具有相应的方法实施例的有益效果，在此不再赘述。
实施例三
为解决现有技术中存在的上述技术问题，本发明实施例提供了一种显示设备，该显示设备包括存储器和控制器；
所述存储器上存储有计算机程序，所述计算机程序被控制器执行时实现上述实施例的显示方法的步骤。
为解决现有技术中存在的上述技术问题，本发明实施例提供了一种存储介质。
本实施例的存储介质，上存储有计算机程序，计算机程序被控制器执行时实现上述实施例的显示方法的步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块32中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种显示方法，其特征在于，包括：
获取用户的人脸深度和脸部朝向信息；
根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区；
对所述注视区的显示内容以第一清晰度为目标进行渲染，得到所述注视区的目标显示内容；以及，对所述非注视区的显示内容以第二清晰度为目标进行渲染，得到所述非注视区的目标显示内容；其中，所述第一清晰度高于所述第二清晰度；
将所述注视区的目标显示内容和所述非注视区的目标显示内容进行合并，得到合并内容；
将所述合并内容显示在所述显示屏幕。
2.根据权利要求1所述的显示方法，其特征在于，根据所述人脸深度和所述脸部朝向信息，确定用户在显示屏幕上的注视区和非注视区，包括：
根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标；
根据所述交点坐标，确定用户在所述显示屏幕上的注视区和非注视区。
3.根据权利要求2所述的显示方法，其特征在于，根据所述人脸深度和所述脸部朝向信息，确定用户视线与显示屏幕的交点坐标，包括：
根据所述人脸深度和所述脸部朝向信息，确定用户视线在显示屏幕上的多个投影点坐标；
将所有投影点坐标围城的第一投影区域的中心点作为所述交点坐标。
4.根据权利要求1所述的显示方法，其特征在于，根据所述交点坐标，确定用户在所述显示屏幕上的注视区和非注视区，包括：
基于预设的边界参数，确定所述显示屏幕上以所述交点坐标为注视点坐标的第二投影区域作为所述显示屏幕上的注视区，以及，将所述显示屏幕上所述第二投影区域之外的区域作为所述非注视区。
5.根据权利要求1所述的显示方法，其特征在于，所述人脸深度的获取过程包括：
获取单目相机捕捉的相邻两帧的二维空间点坐标、二维空间点坐标对应的二维空间点编码和单目相机的相机参数，根据二维空间点编码，将相邻两帧的二维空间点坐标进行匹配，得到多组二维空间特征对，将多组二维空间特征对和所述单目相机的相机参数构造线性方程组，求解出本质矩阵；
通过奇异值分解算法分解所述本质矩阵，得到多组旋转矩阵和平移矩阵；
通过所述二维空间特征对、所述多组所述旋转矩阵和所述平移矩阵，估算出三维空间点坐标；
获取所述三维空间点坐标的深度值，并将深度值为正数的一组所述旋转矩阵和平移矩阵定义为目标旋转矩阵和目标平移矩阵；
根据所述目标旋转矩阵和所述目标平移矩阵，确定相邻两帧的二维空间点的深度值；
根据相邻两帧的二维空间点的深度值，确定所述人脸深度。
6.根据权利要求1所述的显示方法，其特征在于，所述人脸深度的获取过程包括：
通过双目相机或者深度相机获取所述人脸深度。
7.根据权利要求1所述的显示方法，其特征在于，所述脸部朝向信息的获取过程包括：
提取脸部特征数据；
根据所述脸部特征数据，确定特征描述子向量；
根据所述特征描述子向量，确定所述脸部朝向信息。
8.根据权利要求1所述的显示方法，其特征在于，还包括：
获取用户观看信息；
基于所述用户观看信息，构建用户行为数据库；
当检测到当前用户为所述用户行为数据库对应的用户时，根据所述用户行为数据库，生成所述当前用户的初始注视区和初始非注视区。
9.一种显示设备，其特征在于，包括存储器和控制器；
所述存储器上存储有计算机程序，所述计算机程序被控制器执行时实现如权利要求1至8中任一项所述的显示方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110801732.0A CN113473210A (zh) | 2021-07-15 | 2021-07-15 | 显示方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110801732.0A CN113473210A (zh) | 2021-07-15 | 2021-07-15 | 显示方法、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113473210A true CN113473210A (zh) | 2021-10-01 |
Family
ID=77880660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110801732.0A Pending CN113473210A (zh) | 2021-07-15 | 2021-07-15 | 显示方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113473210A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829242A (zh) * | 2018-05-22 | 2018-11-16 | 深圳奥比中光科技有限公司 | 智能终端及其非触控式操作方法 |
| CN109766011A (zh) * | 2019-01-16 | 2019-05-17 | 北京七鑫易维信息技术有限公司 | 一种图像渲染方法和装置 |
| CN110324601A (zh) * | 2018-03-27 | 2019-10-11 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
| CN110460831A (zh) * | 2019-08-22 | 2019-11-15 | 京东方科技集团股份有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
| CN110689577A (zh) * | 2019-09-30 | 2020-01-14 | 深圳市瑞立视多媒体科技有限公司 | 单相机环境中主动式刚体的位姿定位方法及相关设备 |
| CN112528107A (zh) * | 2020-12-07 | 2021-03-19 | 支付宝(杭州)信息技术有限公司 | 内容数据的展示方法、装置和服务器 |
-
2021
- 2021-07-15 CN CN202110801732.0A patent/CN113473210A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324601A (zh) * | 2018-03-27 | 2019-10-11 | 京东方科技集团股份有限公司 | 渲染方法、计算机产品及显示装置 |
| CN108829242A (zh) * | 2018-05-22 | 2018-11-16 | 深圳奥比中光科技有限公司 | 智能终端及其非触控式操作方法 |
| CN109766011A (zh) * | 2019-01-16 | 2019-05-17 | 北京七鑫易维信息技术有限公司 | 一种图像渲染方法和装置 |
| CN110460831A (zh) * | 2019-08-22 | 2019-11-15 | 京东方科技集团股份有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
| CN110689577A (zh) * | 2019-09-30 | 2020-01-14 | 深圳市瑞立视多媒体科技有限公司 | 单相机环境中主动式刚体的位姿定位方法及相关设备 |
| CN112528107A (zh) * | 2020-12-07 | 2021-03-19 | 支付宝(杭州)信息技术有限公司 | 内容数据的展示方法、装置和服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10855909B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| US6868191B2 (en) | System and method for median fusion of depth maps | |
| US11276225B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
| US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
| CN111343367B (zh) | 一种十亿像素虚拟现实视频采集装置、系统与方法 | |
| CN110460835B (zh) | 图像处理装置及其控制方法和计算机可读存储介质 | |
| US11704883B2 (en) | Methods and systems for reprojection in augmented-reality displays | |
| WO2018161883A1 (zh) | 虚拟光线跟踪方法及光场动态重聚焦显示系统 | |
| US20150104097A1 (en) | Image processing apparatus and image processing method | |
| CN111275801A (zh) | 一种三维画面渲染方法及装置 | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| JP2015050482A (ja) | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム | |
| CN107483915B (zh) | 三维图像的控制方法及装置 | |
| CN111915739A (zh) | 一种实时三维全景信息互动影息系统 | |
| CA3131980A1 (en) | Processing of depth maps for images | |
| CN113473210A (zh) | 显示方法、设备和存储介质 | |
| CN114879377A (zh) | 水平视差三维光场显示系统的参数确定方法、装置及设备 | |
| CN110910482B (zh) | 视频数据组织调度的方法、系统及可读存储介质 | |
| US20140313199A1 (en) | Image processing device, 3d image display apparatus, method of image processing and computer-readable medium | |
| CN113821107B (zh) | 一种实时、自由视点的室内外裸眼3d系统 | |
| US20230243973A1 (en) | Real space object reconstruction within virtual space image using tof camera | |
| CN108471939A (zh) | 一种潘弄区测量方法、装置以及可穿戴显示设备 | |
| US20240236288A9 (en) | Method And Apparatus For Generating Stereoscopic Display Contents | |
| US12026903B2 (en) | Processing of depth maps for images | |
| CN112017138B (zh) | 一种基于场景三维结构的图像拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |