CN112748796A

CN112748796A - 显示方法及显示装置

Info

Publication number: CN112748796A
Application number: CN201911045922.3A
Authority: CN
Inventors: 贾红红; 石炳川
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2021-05-04
Anticipated expiration: 2039-10-30
Also published as: CN112748796B

Abstract

本申请公开了一种显示方法及显示装置。显示方法包括以下步骤：获取观看者面部的特征点的空间坐标；以所述空间坐标作为观看点，确定预先构建的三维模型中被观察到的图像区域；以所述图像区域作为显示装置的显示图像。上述方案，根据观看点的不同，从预先构建的三维模型中确定被观察到的图像区域，并以确定的图像区域作为显示装置的显示图像，也即只要观测点改变，则显示装置的显示图像即会改变，也就是说，随着观看者与显示装置之间的位置改变，显示装置的显示图像亦发生改变，实现了观看者与显示装置之间的交互。

Description

显示方法及显示装置

技术领域

本发明一般涉及显示技术领域，具体涉及一种显示方法及显示装置。

背景技术

现有的显示装置一般都是按照一定的播放源来进行播放显示，其与观看者之间不存在互动，即无论观看者相对于显示装置的位置是否改变，均不能对显示装置的显示图像带来改变，观看者只能被动的观看显示装置按照播放源所显示的图像。

发明内容

本申请期望提供一种显示方法及显示装置，用于在观看者在与显示装置之间的位置发生改变时，改变显示装置的显示图像。

第一方面，本发明提供一种显示方法，包括以下步骤：

获取观看者面部的特征点的空间坐标；

以所述空间坐标作为观看点，确定预先构建的三维模型中被观察到的图像区域；

以所述图像区域作为显示装置的显示图像。

进一步地，所述三维模型以所述显示装置的显示范围作为观察窗，于所述观察窗背离观看者的一侧设置预置图像，所述观察窗与所述预置图像所在平面之间距离为预设值。

进一步地，根据以下关系式确定所述图像区域：

其中，M_x为所述特征点的x轴坐标，M_y为所述特征点的y轴坐标，I_x为所述显示装置顶点的x轴坐标，I_y为所述显示装置顶点的y轴坐标，I'_x为所述图像区域顶点的x轴坐标，I'_y为所述图像区域顶点的y轴坐标，z为所述特征点到所述显示装置的距离，d为所述预设值。

进一步地，根据以下关系式确定所述图像区域内各像素点映射到所述显示装置的坐标：

其中，M_x为所述特征点的x轴坐标，M_y为所述特征点的y轴坐标，N'_x为所述图像区域的像素点N'的x轴坐标，N'_y为所述图像区域的像素点N'的y轴坐标，N_x为所述特征点与像素点N'的连线与所述显示装置交点N的x轴坐标，N_y为所述特征点与像素点N'的连线与所述显示装置交点的y轴坐标，z为所述特征点到所述显示装置的距离，d为所述预设值。

进一步地，所述获取观看者面部的特征点的空间坐标之前，还包括：

获取显示装置背离所述预置图像一侧的深度图像；

对所述深度图像进行人脸识别，若识别出多个人脸，则将距离显示装置最近的人脸作为观看者。

第二方面，本发明提供一种显示装置，包括：

获取单元，用于获取观看者面部的特征点的空间坐标；

图像区域确定单元，用于以所述空间坐标作为观看点，确定预先构建的三维模型中被观察到的图像区域；

驱动单元，用于以所述图像区域作为显示装置的显示图像。

进一步地，所述图像区域确定单元，用于根据以下关系式确定所述图像区域：

进一步地，所述驱动单元，用于根据以下关系式确定所述图像区域内各像素点映射到所述显示装置的坐标：

进一步地，图像获取单元，用于获取显示装置背离所述预置图像一侧的深度图像；

图像识别单元，用于对所述深度图像进行人脸识别，若识别出多个人脸，则将距离显示装置最近的人脸作为观看者。

上述方案，根据观看点的不同，从预先构建的三维模型中确定被观察到的图像区域，并以确定的图像区域作为显示装置的显示图像，也即只要观测点改变，则显示装置的显示图像即会改变，也就是说，随着观看者与显示装置之间的位置改变，显示装置的显示图像亦发生改变，实现了观看者与显示装置之间的交互。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为实施本发明实施例应用场景示意图；

图2为本发明实施例提供的显示方法的流程图；

图3为本发明另一实施例提供的显示方法的流程图；

图4为本发明实施例提供的显示装置的原理图；

图5为本发明另一实施例提供的显示装置的原理图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明实施例示出的一种应用场景示意图。该应用场景中设置以显示装置，显示装置可以但不限于为LCD(Liquid Crystal Display；液晶显示器)、LED(Light-Emitting Diode；发光二极管)显示器、OLED(Organic Light-Emitting Diode；有机发光二极管)显示器、QLED(Quantum Dot Light Emitting Diodes；量子点发光二极管)显示器等。观看者位于显示装置前进行观看。其中，以ABCD所标识的区域为显示装置的显示边界，在观看点M时，观看者在显示装置中看到的是A’B’C’D’图像区域的显示图像，当移动至观看点M’时，观看者在显示装置中看到的是A”B”C”D”图像区域的显示图像。在该应用场景中，显示装置可以作为虚拟的视窗(也可以认为是虚拟的窗户)，观看者通过显示装置进行显示图像的观看，相当于其站在窗口向窗外观看，随着其在显示装置前位置的变动，其观看到的视野也发生相应的变化。在该应用场景中，实现了观看者与显示装置的交互，随着观看者位置的改变，显示装置显示不同视野的显示图像。

如图2所示，本发明实施例提供一种显示方法，可以应用于上述场景，具体包括以下步骤：

S10：获取观看者面部的特征点的空间坐标；

在显示装置上或显示装置的前方设置可以获取深度图像的摄像机，通过摄像机来获得显示装置前方的深度图像，通过图像识别的方式识别深度图像中观看者面部的特征点。例如但不限于可以通过MTCNN(Multi-Task Cascaded Convolutional Networks；多任务级联卷积神经网络)模型识别观看者面部的特征点，采用该模型具有识别速度快和追踪稳定等优点。通过该模型可以识别双眼、鼻子及嘴角这五个关键点。可以将该5个关键点中的至少任一作为特征点，还可以将任意两个连线的中点作为特征点，该实施例中以双眼连线的中点作为特征点，以双眼连线的中点作为特征点为后续确定图像区域来进行显示。

例如但不限于，可以以显示装置的中心作为原点坐标，在进行结构设计时确定摄像机相对于原点坐标的坐标，也即摄像机相对于显示装置的位置是已知的。

在图像识别领域，对于任一相机都有一个相机坐标系，在该相机坐标系内可以确定通过该相机拍摄的各帧图像中各像素的相机坐标系的坐标，该相机坐标系的坐标包括平面坐标和深度坐标。特征点的空间坐标即为特征点在相机坐标系内的坐标与相机在原点坐标系内坐标之和。例如，相机坐标系的原点位于原点坐标系的X-Y轴平面呢，那么特征点在相机坐标系内的深度坐标值，也即特征点距离显示装置的距离。

S20：以所述空间坐标作为观看点，确定预先构建的三维模型中被观察到的图像区域；

在预先构建的三维模型中可以根据需要选定所要进行显示的图像，该图像可以是静态的也可以是动态的。参见图1，在观察点M透过显示装置，确定了所要显示的图像区域A’B’C’D’，一般地，图像区域A’B’C’D’仅为选定所要进行显示的图像的一部分。

S30：以所述图像区域作为显示装置的显示图像。

将选定的图像区域作为显示图像，通过显示装置来显示该显示图像。

进一步地，三维模型以显示装置的显示范围作为观察窗，于观察窗背离观看者的一侧设置预置图像，观察窗与预置图像所在平面之间距离为预设值。

预置图像可以是静态的也可以是动态的，例如但不限于，为图1中所示的建筑物的图像，也可以是其他的风景图像或物品图像等。

进一步地，可以根据以下关系式确定图像区域：

其中，M_x为特征点的x轴坐标，M_y为特征点的y轴坐标，I_x为显示装置顶点的x轴坐标(顶点A的x轴坐标可以表示为I_Ax，顶点B的x轴坐标可以表示为I_Bx，其他顶点坐标依次类推)，I_y为显示装置顶点的y轴坐标(顶点A的y轴坐标可以表示为I_Ay，顶点B的y轴坐标可以表示为I_By，其他顶点坐标依次类推)，I'_x为图像区域顶点的x轴坐标(顶点A’的x轴坐标可以表示为I’_Ax，顶点B’的x轴坐标可以表示为I’_Bx，其他顶点坐标依次类推)，I'_y为图像区域顶点的y轴坐标(顶点A’的y轴坐标可以表示为I’_Ay，顶点B’的y轴坐标可以表示为I’_By，其他顶点坐标依次类推)，z为特征点到显示装置的距离，也即特征点的深度坐标，d为预设值。

其中，显示装置各顶点的坐标是已知的，其是在显示装置设计阶段确定下来的。在确定特征点的空间坐标后，根据上述关系式可以确定显示装置各顶点A、B、C、D在三维模型中所对应的像点A’、B’、C’、D’的坐标，像点A’、B’、C’、D’连线所围成的区域即为在预先构建的三维模型中被观察到的图像区域。

进一步地，为了在显示装置内显示上述的显示图像，就需要确定显示图像各像素在显示装置中对应的像素坐标，根据以下关系式确定图像区域内各像素点映射到显示装置的坐标：

其中，M_x为特征点的x轴坐标，M_y为特征点的y轴坐标，N'_x为图像区域的像素点N'的x轴坐标，N'_y为图像区域的像素点N'的y轴坐标，N_x为特征点与像素点N'的连线与显示装置交点N的x轴坐标，N_y为特征点与像素点N'的连线与显示装置交点的y轴坐标，z为特征点到显示装置的距离，d为预设值。

在上述步骤中，确定了像点A’、B’、C’、D’的坐标后，基于预置图像的分辨率，可以确定预置图像内有多少像素及各像素的坐标。例如但不限于，A’、B’、C’、D’的坐标依次为(-100，50)、(100，50)、(100，-50)、(-100，-50)，A’至B’方向有200像素，A’至C’方向有100像素，像素是以矩形形式排布的，则A’至B’方向的像素坐标依次为(-100，50)、(-99，50)……(99，50)、(100，50)；A’至C’方向的像素坐标依次为(-100，50)、(-100，49)……(-100，-49)、(-100，-50)。在确定显示图像各像素的坐标后，根据上述关系式可以确定各像素映射到显示装置中对应的像素坐标。

进一步地，如图3所示，在获取观看者面部的特征点的空间坐标之前，还包括：

S101：获取显示装置背离所述预置图像一侧的深度图像；

通过可以获取深度图像的摄像机获取显示装置背离预置图像一侧的深度图像。

S102：对所述深度图像进行人脸识别，若识别出多个人脸，则将距离显示装置最近的人脸作为观看者。通过MTCNN模型进行人脸识别并获得特征点坐标。将距离显示装置最近的人脸作为观看者，可以使得在多人位于显示装置前进行观看时，因不能确定唯一的观看者而出现图像抖动的问题。

另外，需要说明的是，再进行人脸识别时，若当前帧中为识别出有人脸，则进行下一帧的识别，直至识别出人脸，并获取所识别人脸特征点的空间坐标。

如图4所述，本发明实施例还提供一种显示装置，包括：获取单元1用于获取观看者面部的特征点的空间坐标；图像区域确定单元2用于以空间坐标作为观看点，确定预先构建的三维模型中被观察到的图像区域；驱动单元3用于以图像区域作为显示装置的显示图像。

该显示装置用于实施上述方法实施例，其原理及效果参见上述方法实施例，这里不再赘述。

进一步地，三维模型以所述显示装置的显示范围作为观察窗，于所述观察窗背离观看者的一侧设置预置图像，所述观察窗与所述预置图像所在平面之间距离为预设值。

进一步地，图像区域确定单元用于根据以下关系式确定所述图像区域：

进一步地，驱动单元用于根据以下关系式确定所述图像区域内各像素点映射到所述显示装置的坐标：

进一步地，另参见图5所示，图像获取单元5用于获取显示装置背离所述预置图像一侧的深度图像；图像识别单元4用于对所述深度图像进行人脸识别，若识别出多个人脸，则将距离显示装置最近的人脸作为观看者。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。