CN113315964B - 一种3d图像的显示方法、装置及电子设备 - Google Patents

Abstract

本公开实施例提供了一种3D图像的显示方法、装置及电子设备，方法包括：通过摄像头获取用户当前的视线坐标，根据视线坐标确定待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个；确定与待显示的视场画面相对应的预定TCON；将渲染后的待显示的视场画面对应的图像数据发送至预定TCON，以驱动预定像素岛内的预定子像素显示图像数据。本公开实施例将3D图像显示与人眼追踪技术相结合，通过摄像头获取用户当前的视线坐标，根据视线坐标确定用户当前视场，进而确定待显示的视场画面，即传输图像数据的过程由现有的传输所有数据变为传输用户视场所在范围内的数据，传输数据量变小，节省了系统功耗。

Description

一种3D图像的显示方法、装置及电子设备

技术领域

本公开涉及图像处理领域，特别涉及一种3D图像的显示方法、装置及电子设备。

背景技术

目前已有的3D图像驱动方案与传统的显示驱动架构一致，即GPU将需要显示的3D画面进行渲染后，把所有渲染后的图像数据全部传输给TCON(时序控制单元)，TCON按顺序把所有图像数据依次传输给Source Driver(驱动电路，简称为SD)，每一个TCON都会将接收到的图像数据传输给Source Driver，传输数据量较大，造成数据传输浪费，增加系统功耗。

发明内容

有鉴于此，本公开实施例提出了一种3D图像的显示方法、装置及电子设备，用以解决现有技术的如下问题：3D图像显示时，把所有渲染后的图像数据全部传输给TCON，每一个TCON都会将接收到的图像数据传输给Source Driver，传输数据量较大，造成数据传输浪费，增加系统功耗。

一方面，本公开实施例提出了一种3D图像的显示方法，包括：通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面，其中，所述待显示的视场画面至少为3D图像全部视场画面中的两个；确定与所述待显示的视场画面相对应的预定TCON；将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON，以驱动预定像素岛内的预定子像素显示所述图像数据。

在一些实施例中，所述根据所述视线坐标确定待显示的视场画面之后，还包括：对所述待显示的视场画面对应的图像数据进行渲染处理。

在一些实施例中，所述通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面之前，还包括：对全部视场画面对应的图像数据进行渲染处理。

在一些实施例中，所述将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON之后，还包括：对未接收到所述图像数据的子像素进行插黑帧处理。

在一些实施例中，所述确定与所述待显示的视场画面相对应的预定TCON之后，还包括：唤醒处于睡眠状态的所述预定TCON，其中，所述处于睡眠状态的所述预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

另一方面，本公开实施例提出了一种3D图像的显示装置，包括：第一确定模块，用于通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面，其中，所述待显示的视场画面至少为3D图像全部视场画面中的两个；第二确定模块，用于确定与所述待显示的视场画面相对应的预定TCON；发送模块，用于将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON，以驱动预定像素岛内的预定子像素显示所述图像数据。

在一些实施例中，还包括：渲染模块，用于对所述待显示的视场画面对应的图像数据进行渲染处理，或者，用于对全部视场画面对应的图像数据进行渲染处理。

在一些实施例中，还包括：处理模块，用于对未接收到所述图像数据的子像素进行插黑帧处理。

在一些实施例中，还包括：唤醒模块，用于唤醒处于睡眠状态的所述预定TCON，其中，所述处于睡眠状态的所述预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

另一方面，本公开实施例提出了一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述方法的步骤。

本公开实施例将3D图像显示与人眼追踪技术相结合，通过摄像头获取用户当前的视线坐标，根据视线坐标确定用户当前视场，进而确定待显示的视场画面，只将待显示的视场画面的图像数据传输至对应的TCON，不再给其它不显示视场画面的TCON传输图像数据，即传输图像数据的过程由现有的传输所有数据变为传输用户视场所在范围内的数据，传输数据量变小，在不影响用户观看的情况下节省了系统功耗，提升了系统性能。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开第一实施例提供的3D图像的显示方法的流程图；

图2为本公开第一实施例提供的3D图像的显示方法所应用系统的系统架构示意图；

图3为本公开第一实施例提供的每个像素岛内子像素的排布示意图；

图4为本公开第一实施例提供的显示方法的总体流程示意图；

图5为本公开第二实施例提供的3D图像的显示装置的结构示意图；

图6为本公开第三实施例提供的电子设备的结构示意图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。

现有3D图像显示方法，TCON不会分辨用户View(视场)情况，无论用户的View在哪，TCON都按顺序把所有图像数据依次传输给Source Driver。当部分View不需要显示时，前端仍会传输大量数据，造成数据的浪费，且无法对单独View进行关断/重启。

因此，当需要传输多View图像时(一般应用于眼动追踪的场景)，如果以传统的驱动架构进行，需要的数据量太大，现有的接口协议速率无法满足；当部分视点对应的图像不需要显示时，无法选择性的关闭前端的数据传输，造成功耗的增加。

本公开第一实施例提供了一种3D图像的显示方法，该方法的流程如图1所示，包括步骤S101至S103：

S101，通过摄像头获取用户当前的视线坐标，根据视线坐标确定待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个。

对于一个香蕉的3D图像，在拍摄时，需要从多个角度拍摄香蕉图像，多个角度拍摄的香蕉图像形成了香蕉的3D图像。用户在观看该香蕉的3D图像时，一定是从某一个角度观看的，该角度即用户的视场，例如用户从左侧观看香蕉，则从右侧角度拍摄的香蕉图像此时即使显示用户也无法观看到，因此，本公开实施例提供的3D图像的显示方法只显示左侧角度拍摄的香蕉图像，即结合eye-tracking(眼动)技术，根据人眼位置对TCON进行实时控制，以得到更快的响应速度。

具体实现时，根据eye-tracking技术使用的摄像头获取用户当前的视线坐标，即确定用户眼神所处位置，进而确定需要待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个，否则将无法为用户呈现一个3D效果。

S102，确定与待显示的视场画面相对应的预定TCON。

本公开实施例一个视场画面对应一个TCON，因此，一旦确定了待显示的视场画面，既可以确定与该视场画面对应的预定TCON。每一个TCON均对应多个Source Driver，SourceDriver的数量根据屏幕分辨率确定，通常情况下为4个。

S103，将渲染后的待显示的视场画面对应的图像数据发送至预定TCON，以驱动预定像素岛内的预定子像素显示图像数据。

该过程中，其它未接收到图像数据的TCON不再传输图像数据，节省了系统功耗。

将渲染后的待显示的视场画面对应的图像数据发送至预定TCON之后，由于SourceDriver只接收到了预定TCON传输的图像数据，没有接收到其它TCON传输的图像数据，因此，为了防止发生串扰，Source Driver可以直接对未接收到图像数据的子像素进行插黑帧处理。

本公开实施例将3D图像显示与人眼追踪技术相结合，通过摄像头获取用户当前的视线坐标，根据视线坐标确定用户当前视场，进而确定待显示的视场画面，只将待显示的视场画面的图像数据传输至对应的TCON，不再给其它不显示视场画面的TCON传输图像数据，即传输图像数据的过程由现有的传输所有数据变为传输用户视场所在范围内的数据，传输数据量变小，在不影响用户观看的情况下节省了系统功耗，提升了系统性能。

对于渲染图像数据的过程，由于现有方法是传输全部的3D图像数据，所以需要将显示的3D画面进行全部渲染，然而，本公开实施例只显示待显示的视场画面的图像数据，因此，在根据视线坐标确定待显示的视场画面之后，可以只对待显示的视场画面对应的图像数据进行渲染处理，等下一帧图像数据显示时，用户可能已经调整了视场，再根据新的视线坐标确定新的待显示的视场画面，进而再重新渲染新的待显示的视场画面对应的图像数据即可，该处理过程进一步降低了系统功耗。当然，也可以在通过摄像头获取用户当前的视线坐标之前就按照现有流程对全部视场画面对应的图像数据进行渲染处理，此处不进行限定。

为了进一步降低系统功耗，本公开实施例采用CHPI协议传输图像数据，即在当前帧图像数据显示后，无论是否工作的TCON均全部进入睡眠状态；所以，在确定与待显示的视场画面相对应的预定TCON之后，需要唤醒上一帧图像数据显示后处于睡眠状态的预定TCON，由于一个视场画面对应一个TCON，所以此时预定TCON的数量至少为两个。

本公开实施例以4个View为例，结合附图对上述实施过程进行详细描述。

如图2所示，为本公开实施例的3D图像的显示方法所应用系统的系统架构示意图，图2所示为4View视点对应的系统架构，GPU将图像渲染为4视角的片源后，通过4个独立的DP接口传给4颗TCON，即TCON 1只负责接收/发送第一视角的数据，并把数据按照实际的子像素排布情况依次传给4颗Source Driver(一般一个Source Driver有960个通道)。

如图3所示，为每个像素岛内子像素的排布示意图，TCON 1只负责传输S1、S5、S9等的数据，TCON 2负责S2、S6、S10等数据，以此类推，并由Source Driver将多颗TCON输入的不同View数据进行重新mapping(计算)，以符合实际的面板设计。

为了满足用户在不同位置时能看到图像的不同视角，当眼睛位置发生变化时，对应的View画面需要做相应的变化，才能满足多视点3D的需求。

以上文提到的4View为例，假如此时人眼坐标需要观看View 1和View 3的图像，View 1&3则被划分为显示View,而View 2&4则定义为非显示View。图4为本公开实施例的总体流程示意图，当摄像头抓取到眼动坐标后，由FPGA根据坐标进行View数据的选择，其总体流程如下。

对应View 1&3,在GPU对数据进行3D渲染的同时，对DP 1&3进行唤醒(DP或TCON可以在无数据传输时进入Lower power mode(简称为LPM)节省功耗，本公开实施例以DP进入睡眠状态为例)，同时结合CHPI协议中自有的Low power mode，提前一帧时间将坐标转换结果以CTRL-F(帧间隔)的协议格式传输给各个SD，SD接收到指令后按照设定将其对应的Channel(通道)进行休眠/唤醒动作。当GPU完成渲染并且DP&CHPI均完成唤醒动作后，将View 1&3的数据由DP 1&3传给TCON 1&3，最终发给各个Source Driver将显示View与插黑View进行整合。

对于View 2&4,因为View 2&4数据在此时不需要显示，所以把DP 2&4、TCON 2&4设定为Lower power mode进入休眠状态，节省非显示View对应的功耗。Source Driver内部则将TCON 2&4对应的通道进行数据插黑处理，防止产生串扰。

本公开第二实施例提供了一种3D图像的显示装置，该装置的结构示意如图5所示，包括：

第一确定模块10，用于通过摄像头获取用户当前的视线坐标，根据视线坐标确定待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个；第二确定模块20，与第一确定模块10耦合，用于确定与待显示的视场画面相对应的预定TCON；发送模块30，与第二确定模块20耦合，用于将渲染后的待显示的视场画面对应的图像数据发送至预定TCON，以驱动预定像素岛内的预定子像素显示图像数据。

对于一个香蕉的3D图像，在拍摄时，需要从多个角度拍摄香蕉图像，多个角度拍摄的香蕉图像形成了香蕉的3D图像。用户在观看该香蕉的3D图像时，一定是从某一个角度观看的，该角度即用户的视场，例如用户从左侧观看香蕉，则从右侧角度拍摄的香蕉图像此时即使显示用户也无法观看到，因此，本公开实施例提供的3D图像的显示方法只显示左侧角度拍摄的香蕉图像，即结合eye-tracking(眼动)技术，根据人眼位置对TCON进行实时控制，以得到更快的响应速度。

具体实现时，根据eye-tracking技术使用的摄像头获取用户当前的视线坐标，即确定用户眼神所处位置，进而确定需要待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个，否则将无法为用户呈现一个3D效果。

本公开实施例一个视场画面对应一个TCON，因此，一旦确定了待显示的视场画面，既可以确定与该视场画面对应的预定TCON。每一个TCON均对应多个Source Driver，SourceDriver的数量根据屏幕分辨率确定，通常情况下为4个。

发送模块工作时，其它未接收到图像数据的TCON不再传输图像数据，节省了系统功耗。

将渲染后的待显示的视场画面对应的图像数据发送至预定TCON之后，由于SourceDriver只接收到了预定TCON传输的图像数据，没有接收到其它TCON传输的图像数据，因此，为了防止发生串扰，上述显示装置还可以包括处理模块，用于对未接收到图像数据的子像素进行插黑帧处理。

上述显示装置还可以包括渲染模块，用于对待显示的视场画面对应的图像数据进行渲染处理，或者，用于对全部视场画面对应的图像数据进行渲染处理。对于渲染图像数据的过程，由于现有方法是传输全部的3D图像数据，所以需要将显示的3D画面进行全部渲染，然而，本公开实施例只显示待显示的视场画面的图像数据，因此，在根据视线坐标确定待显示的视场画面之后，可以只对待显示的视场画面对应的图像数据进行渲染处理，等下一帧图像数据显示时，用户可能已经调整了视场，再根据新的视线坐标确定新的待显示的视场画面，进而再重新渲染新的待显示的视场画面对应的图像数据即可，该处理过程进一步降低了系统功耗。当然，也可以在通过摄像头获取用户当前的视线坐标之前就按照现有流程对全部视场画面对应的图像数据进行渲染处理，此处不进行限定。

为了进一步降低系统功耗，本公开实施例采用CHPI协议传输图像数据，即在当前帧图像数据显示后，无论是否工作的TCON均全部进入睡眠状态；所以，上述显示装置还可以包括唤醒模块，用于唤醒处于睡眠状态的预定TCON，其中，处于睡眠状态的预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

本公开实施例将3D图像显示与人眼追踪技术相结合，通过摄像头获取用户当前的视线坐标，根据视线坐标确定用户当前视场，进而确定待显示的视场画面，只将待显示的视场画面的图像数据传输至对应的TCON，不再给其它不显示视场画面的TCON传输图像数据，即传输图像数据的过程由现有的传输所有数据变为传输用户视场所在范围内的数据，传输数据量变小，在不影响用户观看的情况下节省了系统功耗，提升了系统性能。

本公开第三实施例提供了一种电子设备，该电子设备的结构示意图可以如图6所示，至少包括存储器901和处理器902，存储器901上存储有计算机程序，处理器902在执行存储器901上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序步骤如下S11至S13：

S11，通过摄像头获取用户当前的视线坐标，根据视线坐标确定待显示的视场画面，其中，待显示的视场画面至少为3D图像全部视场画面中的两个；

S12，确定与待显示的视场画面相对应的预定TCON；

S13，将渲染后的待显示的视场画面对应的图像数据发送至预定TCON，以驱动预定像素岛内的预定子像素显示图像数据。

处理器在执行存储器上存储的根据视线坐标确定待显示的视场画面的计算机程序之后，还执行如下计算机程序：对待显示的视场画面对应的图像数据进行渲染处理。

处理器在执行存储器上存储的通过摄像头获取用户当前的视线坐标，根据视线坐标确定待显示的视场画面的计算机程序之前，还执行如下计算机程序：对全部视场画面对应的图像数据进行渲染处理。

处理器在执行存储器上存储的将渲染后的待显示的视场画面对应的图像数据发送至预定TCON的计算机程序之后，还执行如下计算机程序：对未接收到图像数据的子像素进行插黑帧处理。

处理器在执行存储器上存储的确定与待显示的视场画面相对应的预定TCON的计算机程序之后，还执行如下计算机程序：唤醒处于睡眠状态的预定TCON，其中，处于睡眠状态的预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

本公开实施例将3D图像显示与人眼追踪技术相结合，通过摄像头获取用户当前的视线坐标，根据视线坐标确定用户当前视场，进而确定待显示的视场画面，只将待显示的视场画面的图像数据传输至对应的TCON，不再给其它不显示视场画面的TCON传输图像数据，即传输图像数据的过程由现有的传输所有数据变为传输用户视场所在范围内的数据，传输数据量变小，在不影响用户观看的情况下节省了系统功耗，提升了系统性能。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围之内。

Claims (10)

1.一种3D图像的显示方法，其特征在于，包括：

通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面，其中，所述待显示的视场画面至少为3D图像全部视场画面中的两个；

确定与所述待显示的视场画面相对应的预定TCON，其中，一个视场画面对应一个TCON，每一个TCON均对应多个驱动电路，所述驱动电路的数量根据屏幕分辨率确定；

将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON，以驱动预定像素岛内的预定子像素显示所述图像数据。

2.如权利要求1所述的显示方法，其特征在于，所述根据所述视线坐标确定待显示的视场画面之后，还包括：

对所述待显示的视场画面对应的图像数据进行渲染处理。

3.如权利要求1所述的显示方法，其特征在于，所述通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面之前，还包括：

对全部视场画面对应的图像数据进行渲染处理。

4.如权利要求1所述的显示方法，其特征在于，所述将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON之后，还包括：

对未接收到所述图像数据的子像素进行插黑帧处理。

5.如权利要求1至4中任一项所述的显示方法，其特征在于，所述确定与所述待显示的视场画面相对应的预定TCON之后，还包括：

唤醒处于睡眠状态的所述预定TCON，其中，所述处于睡眠状态的所述预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

6.一种3D图像的显示装置，其特征在于，包括：

第一确定模块，用于通过摄像头获取用户当前的视线坐标，根据所述视线坐标确定待显示的视场画面，其中，所述待显示的视场画面至少为3D图像全部视场画面中的两个；

第二确定模块，用于确定与所述待显示的视场画面相对应的预定TCON，其中，一个视场画面对应一个TCON，每一个TCON均对应多个驱动电路，所述驱动电路的数量根据屏幕分辨率确定；

发送模块，用于将渲染后的所述待显示的视场画面对应的图像数据发送至所述预定TCON，以驱动预定像素岛内的预定子像素显示所述图像数据。

7.如权利要求6所述的显示装置，其特征在于，还包括：

渲染模块，用于对所述待显示的视场画面对应的图像数据进行渲染处理，或者，用于对全部视场画面对应的图像数据进行渲染处理。

8.如权利要求6所述的显示装置，其特征在于，还包括：

处理模块，用于对未接收到所述图像数据的子像素进行插黑帧处理。

9.如权利要求6至8中任一项所述的显示装置，其特征在于，还包括：

唤醒模块，用于唤醒处于睡眠状态的所述预定TCON，其中，所述处于睡眠状态的所述预定TCON为上一帧图像数据显示后全部进入睡眠状态的TCON中的至少两个。

10.一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至5中任一项所述方法的步骤。

Images