CN114374810A - 一种实现屏幕显示画面跟随观者视角变动的方法及设备 - Google Patents

一种实现屏幕显示画面跟随观者视角变动的方法及设备 Download PDF

Info

Publication number
CN114374810A
CN114374810A CN202210113511.9A CN202210113511A CN114374810A CN 114374810 A CN114374810 A CN 114374810A CN 202210113511 A CN202210113511 A CN 202210113511A CN 114374810 A CN114374810 A CN 114374810A
Authority
CN
China
Prior art keywords
viewer
module
display
picture
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113511.9A
Other languages
English (en)
Inventor
戴睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210113511.9A priority Critical patent/CN114374810A/zh
Publication of CN114374810A publication Critical patent/CN114374810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实现屏幕显示画面跟随观者视角变动的方法及设备，涉及设备交互领域。本发明利用体感模块实时探测物体在空间中的深度与位置，并实时生成深度图发送给中央处理模块；中央处理模块通过体感模块提供的空间深度图计算观者的视角位置，并通过空间透视方法计算观者视角在运动变化过程中显示画面对应的显示变动；显示模块接收所述中央处理模块的画面计算结果，并呈现最终画面。本发明可以在显示设备中实现观看者视角变化后画面随之变化的效果，大大提升观者的沉浸感。

Description

一种实现屏幕显示画面跟随观者视角变动的方法及设备
技术领域
本发明涉及屏幕交互显示领域，具体为一种实现屏幕显示画面跟随观者视角变动的方法及设备。
背景技术
现有屏幕显示方式与设备多种多样，但都与观者的视角无关联，即观者视角的变动对屏幕显示画面并无影响；少数体感交互设备通过跟踪观者的人体骨架关节模型或手持设备的动作，而在应用层面做出相应的互动，如各类现有的体感游戏，但观者视角的变化依然被忽略。现实情况下，如观者看向窗外时，景观中的物体将随着观者视角的移动而变化，比如藏在某个物体背后的物体将随着观者视角的左右移动而呈现；同时，景观范围也将因观者的视角移动而被窗户(取景框)限定为与之前视角不同的部分。
现有屏幕显示方式或设备无法根据人的视角改变而实时改变，忽略了与观者视角的联动，即使画面再高清也无法做到现实般的效果。
发明内容
本发明的目的在于提供一种实现屏幕显示画面跟随观者视角变动的方法及设备，解决了上述背景技术中提出现有的问题。
为实现以上目的，本发明通过以下技术方案予以实现：
一种实现屏幕显示画面跟随观者视角变动的方法，包括以下步骤：
步骤S1：获取体感模块探测到的物体在空间中的深度图像，并将空间深度图发送给中央处理模块；
步骤S2：令所述中央处理模块通过所述体感模块提供的空间深度图计算观者的视角位置，再通过计算空间透视的方法计算观者视角在运动变化过程中显示画面对应的显示变动；
步骤S3：显示模块接收所述中央处理模块的画面计算结果数据，并呈现最终画面。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于，实现步骤S1、S2、S3所需的设备系统包括体感模块、中央处理模块以及显示模块；
所述体感模块与中央处理模块建立连接关系，体感模块用于实时探测三维空间中物体的位置生成实时的深度图像，并将深度图像信息实时发送给中央处理模块；完成上述步骤S1；
所述中央处理模块与显示模块建立连接关系，中央处理模块通过体感模块提供的深度图像识别空间中的人头部形状并计算出观者的视角位置，同时模拟计算观者视角在运动变化过程中画面素材对应视角位置的显示变动，并将计算结果发送到所述显示模块；完成上述步骤S2；
所述显示模块与中央处理模块建立关系，接收所述中央处理模块的画面计算结果，并呈现最终画面；完成上述步骤S3。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，所述步骤S1中的体感模块探测方法包括以下步骤：
S101:利用红外激光发射器在空间中投射红外激光点阵；
S102:利用红外摄像机接收空间中红外激光点阵的反射图样
S103:控制计算处理器通过红外激光点阵反射图样计算获得空间深度图
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，在所述步骤S2中的中央处理模块通过分类算法识别深度图数据中的人的身体部位及其动作。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，所述机器学习模块使用的算法步骤如下：
S201:在深度图内寻找最有可能是人体的区域，即最类似“大”型的物体；
S202:在局部区域内去除深度图中人体边缘与周围环境像素灰度值出现不连续性，确定区域边缘，将观者从背景图像中剥离出来；
S203:对被分离出来的人体深度图的每一个像素进行分析评估，其特征变量都会被机器分类学习算法对于人体部位快速识别，从而得到观者头部的空间位置；
S204:追踪头部中央位置作为观者视角位置进行计算，从而获得观者视角的空间位置。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于：所述步骤S2中的中央处理模块的画面计算方式包括以下步骤：
S301:通过所述体感模块获取观者视角的空间三维坐标；
S302:以观者视角为原点，用透视投影的原理进行计算，屏幕的显示面板边框为被投影的几何形状，该几何形状被投影到模拟三维空间所框住的画面，即为最终显示画面坐标范围；
S303:将最终显示画面范围的像素三维坐标转换为二维显示屏幕坐标，得到最终显示画面色彩的像素级坐标，即最终显示画面；
S304:将计算好的显示画面通过所述显示模块呈现。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于：上述步骤S2中还包括互联模块，所述互联模块与中央控制计算模块建立关系，互联模块用于连接互联网和周边智能设备，让用户可以在网络上浏览、购买、下载影片、照片等数字产品，也可以与周边智能设备进行交互控制与数据传输。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于：上述步骤S2中还包括数据储存模块，所述数据储存模块与所述中央处理模块建立关系，所述数据储存模块用于在本地保存用户使用中的数据，以及用于中央处理模块对数据的调取。
如上所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于：上述步骤S1、S2、S3中还包括移动端应用交互控制模块，所述移动端应用交互控制模块与所述互联模块建立关系，所述移动端应用交互控制模块用于让用户对设备进行远程的交互控制。
一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于：使用飞行时间(ToF)空间深度探测技术代替权利要求3中所述的空间深度探测方法。
一种电视机，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
一种电脑显示屏，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
一种具有画面显示功能的窗户，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
一种具有画面显示功能的镜子，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
本发明可以使显示设备与观者视角建立联动，当观者通过采用此技术的显示屏幕观看景物时，可以获得与现实中通过一个取景框观看景物相似的体验，提高画面素材的真实感，提升观者的沉浸感。
附图说明
图1为本发明结构示意图；
图2为本发明的方法流程图；
图3为本发明在二维素材应用的画面随视角变动示意图；
图4为本发明在三维素材应用的画面随视角变动示意图；
图5为本发明的标准透视模型示意图；
图6为本发明标准透视模型的二维简化解析图；
图7为本发明标准透视模型的视平面的坐标模型图；
图8为本发明显示屏幕的坐标模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅为本发明的可能的技术实现，而不是全部的实现可能。本领域技术人员完全可以结合本发明的实施例，在没有进行创造性劳动的情况下得到其他实施例，而这些实施例也在本发明的保护范围之内。
本发明人发现，在传统设备交互显示领域如使用微软Kinect的各类体感电视游戏，只注重了显示内容与观者的肢体动作互动，而忽略了与观者视角的变动进行互动。而在现实生活中，被观物体的表象呈现会随着观者视角的变动而变动。基于此，本发明人所提供的一实施例，在实现屏幕显示画面跟随观者视角变动的方法中，首先获得空间的深度感应数据从而获得空间中的深度图，再利用分类算法将深度图中的观者识别出来，并以观者的头部为视角计算原点，再通过空间透视的计算方法得到随观者视角变动所应该显示的画面范围，进一步通过坐标转换得到画面在屏幕上显示所需的像素级坐标，最后在屏幕上显示最终画面。该实施例所提供的方法，建立了观者视角与显示画面的连接互动，从而大大提升显示画面内容的真实度以及立体感，大大提高了观者的观看沉浸感。
如图1所示，在本发明一实施例中，实现屏幕显示画面跟随观者视角变动的方法，可以包括体感模块1、中央处理模块2以及显示模块3；其中体感模块可以使用华硕公司的Xtion，微软公司的Kinect或其他类型具有深度感应能力的设备；中央处理模块可以使用Intel Core系列、AMD Ryzen系列进行数据处理或结合Nvdia Geforce系列独立显卡或AMDRadeon系列独立显卡进行更快速的图像分析，或使用其它具有数据处理以及图像分析能力的处理器；其中显示模块可以使用电视屏幕、电脑屏幕、智能窗户、智能镜子等具有显示屏幕的设备。在一具体实施方式中，所述体感模块1与中央处理模块2建立连接关系，体感模块1用于实时探测三维空间中物体的位置生成实时的深度图像，并将深度图像信息实时发送给中央处理模块2；所述中央处理模块2与显示模块3建立连接关系，中央处理模块2通过体感模块1提供的深度图像识别空间中的人头部形状并计算出观者的视角位置，同时模拟计算观者视角在运动变化过程中画面素材对应视角位置的显示变动，并将计算结果发送到所述显示模块3；所述显示模块3与中央处理模块2建立关系，接收所述中央处理模块2的画面计算结果，并呈现最终画面；
参见图2，一种实现屏幕显示画面跟随观者视角变动的方法，所述方法的实现包括以下步骤：
步骤S1：获取体感模块1探测到的物体在空间中的深度图像，并将空间深度图发送给中央处理模块2；
步骤S2：令所述中央处理模块2通过所述体感模块提供的空间深度图计算观者的视角位置，再通过计算空间透视的方法计算观者视角在运动变化过程中显示画面对应的显示变动；
步骤S3：显示模块3接收所述中央处理模块2的画面计算结果数据，并呈现最终画面。
在本发明的一个具体实施例中，所述步骤S1中的体感模块包括红外激光发射器、深度感应器以及控制计算处理器；所述红外激光发射器与所述控制计算处理器建立连接，用于在空间中投射红外激光点阵；所述深度感应器与所述控制计算处理器建立连接，用于接收空间中红外激光点阵的反射图样；所述控制计算处理器通过红外点阵反射图样计算出空间的深度图。
深度感应所使用的技术称为光编码技术(Light Coding)，这是一种光学式技术。其本质就是产生一张红外激光编码图(IR Light Coding Image)，透过红外线投影机打到空间中，也就是用红外线发出发射前经过编码后、肉眼不可见的红外线散斑，打到空间中，使得空间中被加上标记，由于散斑具有高度的随机性，因此空间中任何两处的散斑都会是不同的图案。在空间中进行这种红外标定后，一个人进入这个空间，只要看人上面的散斑图案就可以知道人的位置。
标定的方法可以每隔一段距离，如在活动空间深度为5m的区域每隔5cm取一个参考平面，把参考平面上的散斑图案记录下来，我们就保存了100幅参考图像。需要测量的时候拍摄一幅待测场景的散斑图像，将这幅图形与已保存的100幅依次进行互相关运算，这样就可以得到待测空间中物体或人与保存的参考图像中存在相关性的峰值区域，该峰值区域存在的位置即待测空间中物体或人所在的区域。根据参考图像的不同深度值，我们就可以得到待测物体或人在空间中的深度值。
PrimeSense公司的PS1080芯片可完成上述数据处理任务并算出深度图。在微软的Kinect解决方案中，其体感模块除了红外投影机和红外接收器外，还加入了人眼可见光RGB摄像头，在牺牲一定隐私安全性的情况下能够提供更多画面信息供算法使用。
在本发明的另一个具体实施例中，所述步骤S1中的体感模块使用飞行时间(ToF)进行深度传感。
ToF相机通过使用调制光源(例如激光或LED)主动照亮物体，并用对激光波长敏感的图像传感器(例如红外摄影机或RGB摄影机)捕捉反射光，以此测量出目标距离。传感器可以测量出发射出的激光信号经目标反射，回到相机的时间延迟ΔT。该延迟与相机到目标物体间的两倍距离(往返)成正比；因此，深度可以估算为：
Figure BDA0003494718310000091
其中c表示光速。ToF相机的主要工作是估算发射光信号和反射光信号之间的延迟。目前存在多种不同的测量ΔT的方法，其中两种最为常用：连续波(CW)方法和脉冲方法。
连续波方法采用周期调制信号进行主动发光，然后对接收到的信号进行零差解调，以测量反射光的相移。当发射信号使用正弦调制是，可以表示为如下公式：
s(t)＝Ascos(2πfmodt)+Bs
其中
As表示信号的幅度，Bs表示信号的偏置量
fmod表示调制频率，fmod–1/Tmod其中Tmod表示调制周期。
接收信号r(t)是反射信号经过延迟和衰减得到的：
r(t)＝αs(t-ΔT)
0≤α≤1，α是衰减系数，其值取决于目标距离以及表面反射率，ΔT表示返回信号的延迟时间。
连续波飞行时间传感器通过按照相同的频率s(t)对接收信号r(t))和解调信号g(t)之间的相关函数进行采样，以此测量每个像素的距离。在理想情况下，解调信号也是一个正弦波：
g(t)＝Agcos(2πfmodt)+Bg
像素执行的操作为相关运算：
Figure BDA0003494718310000102
当发射信号和解调信号都是正弦波时，相关值作为延迟τ的函数应用到解调信号中：
c(τ)＝Acos(2πfmodt(ΔT-τ))+B
其中A＝AgAsαand B＝αBgBS。
之后，在每个四分之一周期内，对相关函数c(τ)采样(通过90°步进改变发射光信号相位)。对于发射信号和解调信号之间的相位偏置Φ＝2πfmodΔT，可以使用以下公式计算：
Figure BDA0003494718310000101
深度则与相移成正比：
Figure BDA0003494718310000111
由此获得深度数据。
在脉冲方法中，光源发出一系列激光短脉冲，这些脉冲被反射回带有电子快门的传感器，该传感器能够在一系列短时间窗口中进行曝光。我们可以使用三个快门窗口用于捕获反射光脉冲。A，B以及G窗口，其中A和B用于专门捕捉光源发射的脉冲反射，G窗口用于捕获环境光，计算深度时G窗口获得的环境光强度数据会被用于减低环境光噪。根据不同快门曝光测得的光强值，可以按照以下公式估算得出ToFΔT：
Figure BDA0003494718310000112
使用上式中的结果代入下式：
Figure BDA0003494718310000113
得到距离计算公式
Figure BDA0003494718310000114
由此获得深度数据。
在本发明的另一个具体实施例中，所述体感模块1使用立体视觉方法进行深度传感。使用立体视觉进行深度测量，需要用到多个相机，彼此之间相隔一定距离。就像人眼一样，会在空间中给每个相机一些参考点，这些点相互独立，因此如果在两个相机之间能够对应还原这些点的坐标，系统就能够计算这些点的位置。从不同位置获取被测物体的两幅图像，通过三角定位方法获取深度信息
在本发明的一个具体实施例中，中央处理模块2通过分类算法识别深度图数据中的人的轮廓及其动作。人体图形识别作为热门领域拥有成熟的解决方案，用到了机器学习技术，根据获得的深度图像为每个像素进行分类任务，首先在视场内寻找最有可能是人体的区域，即最类似“大”形的物体，再在局部区域内，去除深度图中人体边缘与周围环境像素灰度值出现不连续性，即灰度值产生“跳越”的地方，确定区域边缘，将观者从背景图像中剥离出来。方法对被分离出来的人体深度图的每一个像素进行分析评估，其特征变量都会被分类并通过机器学习算法对于人体部位快速识别，追踪头部中央位置即可作为观者视角位置进行近似计算，从而识别出观者头部即视角位置。Convolutional Pose Machine,Stacked Hourglass Network,VideoPose3D以及支持向量机识别算法都可以完成上述人体部位的图像识别任务。
在本发明的另一个具体实施例中，中央处理模块2可以通过以下人体姿态识别算法中的任一种识别深度图数据中的人的轮廓及其动作。
OpenPose(https://arxiv.org/pdf/1812.08008.pdf)
DeepCut(https://arxiv.org/abs/1511.06645)
RMPE(https://arxiv.org/abs/1612.00137)
Mask RCNN(https://arxiv.org/abs/1703.06870)
在现有技术中，应用PrimeSense提供的深度感应技术所做出的产品如华硕的Xtion以及微软的Kinect可以做到观者的空间位置以及人体部位的实时追踪识别，可惜二者都忽略了与观者视角的交互。
请参阅图3，本发明的一个具体实施例中，中央处理模块2模拟计算观者视角在运动变化过程中画面对应视角位置的显示变动的方法如下：
对于二维画面素材，给待显示画面中的图层设定一个深度值从而构建一个虚拟三维空间；可以理解成将显示屏模拟成窗户，画面在窗户后方一定距离的墙上。如图3所示，为仅包含一个二维图层的画面随视角变动示意图。从几何的原理来阐释，即以视角为原点进行透视投影，屏幕的显示面板边框为被投影的几何形状，构建视线延长线，该延长线继续延长至距离屏幕后方的图层上。观者的视线通过显示边框投影在画面素材图层上所框定的范围便是最终显示范围。
请参阅图4，本发明的另一个具体实施例中，中央处理模块2模拟计算观者视角在运动变化过程中画面对应视角位置的显示变动的方法如下：
对于具有三维深度信息的画面素材来说，显示屏展示的是一个具有深度的三维空间，空间中的景物呈现也会随着视角变动而变动。如图4所示，为具有三维深度信息的画面随视角变动的示意图。其中物体B在视角1中被遮挡在物体A后方，但随着视角转变到视角2时，物体B能够被观者看见。从几何的原理来阐释，即以视角为原点进行透视投影，屏幕的显示面板边框为被投影的几何形状，该几何形状被投影到三维空间所框住的画面，即为最终显示画面。
上述二维或三维画面素材通过中央处理模块2模拟计算观者视角在运动变化过程中画面对应视角位置的显示变动的方法可以通过建立空间坐标系，再根据已知坐标利用几何定理对待求坐标进行计算；
请参看图5，设视点E位于原点，视平面P垂直于Z轴，且四边分别平行于x轴和y轴，我们将该模型称为透视投影的标准模型，其中视椎体的近截面(显示屏幕)离视点的距离为n，远截面(模拟画面素材)离视点的距离为f，且一般取近截面为视平面。下面推导透视投影标准模型的变换方程。设位于视椎体内的任意一点X(x,y,z)在视平面的透视投影为Xp(xp,yp,zp)，从点X和Xp做z轴的垂线，并分别在X-Z平面和Y-Z平面投影，图6是在X-Z平面上的投影结果。
根据相似三角形原理，可得：
xp/n＝x/z,yp/n＝y/z
解上式得：
xp＝x*n/z,yp＝y*n/z,zp＝n.
对于一般模型，即视角随意变动的计算，先将一般模型变换为标准模型，然后使用标准模型的透视投影公式便能计算透视结果。下面研究一般模型变换为标准模型的数学公式。
令观者所在空间坐标系的x轴指向屏幕的右方，y轴指向屏幕的上方，z轴指向屏幕外(右手坐标系)。我们在讨论标准模型的时候，曾假设E的坐标为原点，其实视点E除了有位置属性外，还有姿态属性，通常用[L U D]表示(D3D中用的是[R U D]表示)，其中L表示视点的左向(Left)，U表示上方(Up)，D表示朝向(Direction)。在标准模型中，有L＝[-1,0,0]T,U＝[0,1,0]T,D＝[0,0,-1]T。
设一般模型中的点X，其对应在标准模型中的点为Y，那么当视点位于E，姿态为R时，X和Y有如下关系：
X＝E+RY
Y＝R-1(X-E)
通常取R为正交阵，即R-1＝RT，故有
Y＝RT(X-E)
把上式改写成齐次矩阵的形式有：
Figure BDA0003494718310000151
式中Hview便是透视投影从一般模型到标准模型的变换矩阵。
对于透视投影的标准模型，视平面的坐标模型如图7所示，它的坐标原点位于视平面的中心，x轴正向水平向右，y轴正向垂直向上。要把透视投影的结果在计算机屏幕上显示的话，需要对透视图进行坐标变换，将其从视平面坐标系转换到屏幕坐标系。
显示屏幕的坐标模型如图8所示，它的原点位于屏幕的左上角，y轴正向垂直向下。设视平面的宽度为Wp，高度为Hp；屏幕的宽度为Ws，高度为Hs。
令视平面坐标系中的点(xp,yp)对应于屏幕坐标系中的点(xs,ys)，它们的变换关系如下：
xs＝a*xp+b；
ys＝c*yp+d
由图7和图8可知，视平面中的(0,0)点对应于屏幕坐标系中的中心点(0.5*Ws-0.5,0.5*Hs-0.5)(由于屏幕坐标系是离散坐标系，所有屏幕右下点的坐标为(Ws-1,Hs-1)，而不是(Ws,Hs))；另外，视平面的(-0.5*Wp,-0.5*Hp)对应于屏幕的(0,0)点。将上述两种取值代入变换方程可以得出：
Figure BDA0003494718310000161
上式便为视平面坐标系到屏幕坐标系的变换方程，需要显示的像素便可以直接通过屏幕坐标系精准确定。
本发明的另一个具体实施例中，中央处理模块2模拟计算观者视角在运动变化过程中画面对应视角位置的显示变动的方法如下：
对于三维动画引擎所模拟的三维画面，只需要将体感视角信息与三维动画引擎内视角绑定并进行视场及灵敏度的调整，即用观者视角在空间坐标中移动的变化代替常规电脑上鼠标键盘对模拟画面的视角进行控制。
Figure BDA0003494718310000171
如上方Unreal Engine 4中的代码所示，可以将观者视角变换与Unreal Engine中的摄影机视角变换绑定，代码中PlayerController所需的信息便可以由中央处理模块2所提供的视角变换信息所替换。
在获取视角变换信息后，下一步将观者空间坐标系旋转值转化为三维模拟空间坐标系下的旋转值。具体函数代码如下：
Figure BDA0003494718310000181
最后通过Unreal Engine 4中的Event Blueprint Update Animation节点来获取上述的值，并且将其作为Aim Offset的控制变量。至此，可以实现Unreal Engine 4中模拟的三维空间显示画面与观者视角绑定联动。
如图1及图2所示，在本发明一实施例中，实现屏幕显示画面跟随观者视角变动的方法及设备进一步包括互联模块5，所述互联模块与中央处理模块2建立关系，互联模块5用于连接互联网和周边智能设备，让观者可以在网络上浏览、购买、下载影片、照片等数字产品，也可以与周边智能设备进行交互控制与数据传输。
互联模块可以使用具有wifi或蓝牙数据接发功能的装置，如正基科技所产双频Wifi及蓝牙模块AP6255、AP6256、AP6234、AP6330、AP6335的解决方案等
如图1所示，在本发明一实施例中，实现屏幕显示画面跟随观者视角变动的方法及设备，进一步包括数据储存模块4，所述数据储存模块与所述中央处理模块2建立关系，所述数据储存模块4用于在本地保存观者使用中的数据，以及用于中央处理模块2对数据的调取。
数据储存模块可以采用西部数据或酷鱼所产的2.5英寸/3.5英寸机械硬盘，或采用更快速度的固态硬盘，如三星PM981A Nvme固态硬盘，海康威视C2000pro Nvme固态硬盘等。
如图1所示，在本发明一实施例中，实现屏幕显示画面跟随观者视角变动的方法及设备，进一步包括移动端应用交互控制模块6，所述移动端应用交互控制模块6与所述互联模块5建立关系，所述移动端应用交互控制模块6用于让观者对设备进行远程的交互控制。
交互控制模块可以作为一款app，安装在手机、平板、控制器等移动端，基于安卓、苹果、鸿蒙、Windows等主流操作系统向互联模块6发送控制指令，进而控制本发明实施例的装置。
本发明提到的实现屏幕显示画面跟随观者视角变动的方法及设备，可以在具有画面显示功能的产品中应用，令使用本发明方法的终端产品具有创新性、新颖性以及实用性。具体可应用本发明方法的产品例如：电视机、电脑显示屏、具有画面显示功能的窗户以及镜子。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于，包括以下步骤：
步骤S1：获取体感模块探测到的物体在空间中的深度图像，并将空间深度图发送给中央处理模块；
步骤S2：令所述中央处理模块通过所述体感模块提供的空间深度图计算观者的视角位置，再通过计算空间透视的方法计算观者视角在运动变化过程中显示画面对应的显示变动；
步骤S3：显示模块接收所述中央处理模块的画面计算结果数据，并呈现最终画面。
2.根据权利要求1所述的一种实现屏幕显示画面跟随观者视角变动的方法，其特征在于，实现步骤S1、S2、S3所需的设备系统包括体感模块、中央处理模块以及显示模块；
所述体感模块与中央处理模块建立连接关系，体感模块用于实时探测三维空间中物体的位置生成实时的深度图像，并将深度图像信息实时发送给中央处理模块；完成上述步骤S1；
所述中央处理模块与显示模块建立连接关系，中央处理模块通过体感模块提供的深度图像识别空间中的人头部形状并计算出观者的视角位置，同时模拟计算观者视角在运动变化过程中画面素材对应视角位置的显示变动，并将计算结果发送到所述显示模块；完成上述步骤S2；
所述显示模块与中央处理模块建立关系，接收所述中央处理模块的画面计算结果，并呈现最终画面；完成上述步骤S3。
3.根据权利要求1所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于，所述步骤S1中的体感模块探测方法包括以下步骤：
S101:利用红外激光发射器在空间中投射红外激光点阵；
S102:利用红外摄像机接收空间中红外激光点阵的反射图样
S103:控制计算处理器通过红外激光点阵反射图样计算获得空间深度图
4.根据权利要求1所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于：所述步骤S2中的中央处理模块通过分类算法识别深度图数据中的人的身体部位及其动作。
5.根据权利要求4所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于，所述机器学习模块使用的算法步骤如下：
S201:在深度图内寻找最有可能是人体的区域，即最类似“大”型的物体；
S202:在局部区域内去除深度图中人体边缘与周围环境像素灰度值出现不连续性，确定区域边缘，将观者从背景图像中剥离出来；
S203:对被分离出来的人体深度图的每一个像素进行分析评估，其特征变量都会被机器分类学习算法对于人体部位快速识别，从而得到观者头部的空间位置；
S204:追踪头部中央位置作为观者视角位置进行计算，从而获得观者视角的空间位置。
6.根据权利要求1所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于：所述步骤S2中的中央处理模块的画面计算方式包括以下步骤：
S301:通过所述体感模块获取观者视角的空间三维坐标；
S302:以观者视角为原点,用空间透视投影的原理进行计算，屏幕的显示面板边框为被投影的几何形状，该几何形状被投影到模拟三维空间所框住的画面，即为最终显示画面坐标范围；
S303:将最终显示画面范围的像素三维坐标转换为二维显示屏幕坐标，得到最终显示画面色彩的像素级坐标，即最终显示画面；
S304:将计算好的显示画面通过所述显示模块呈现。
7.根据权利要求1所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于：所述步骤S2中还包括互联模块，所述互联模块与中央控制计算模块建立关系，互联模块用于连接互联网和周边智能设备，让用户可以在网络上浏览、购买、下载影片、照片等数字产品，也可以与周边智能设备进行交互控制与数据传输。
8.根据权利要求1所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于：所述步骤S2中还包括数据储存模块，所述数据储存模块与所述中央处理模块建立关系，所述数据储存模块用于在本地保存用户使用中的数据，以及用于中央处理模块对数据的调取。
9.根据权利要求1或7所述的一种实现屏幕显示画面跟随观看者视角变动的方法，其特征在于：所述步骤S1、S2以及S3中还包括移动端应用交互控制模块，所述移动端应用交互控制模块与所述互联模块建立关系，所述移动端应用交互控制模块用于让用户对设备进行远程的交互控制。
10.一种使用上述权利要求1或3中所述的实现屏幕显示画面跟随观者视角变动方法的方法，其特征在于：使用飞行时间(ToF)空间深度探测技术代替权利要求3中所述的空间深度探测方法。
11.一种电视机，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
12.一种电脑显示屏，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
13.一种具有画面显示功能的窗户，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
14.一种具有画面显示功能的镜子，其特征在于，使用上述权利要求1至8中任一项所述的实现屏幕显示画面跟随观者视角变动的方法。
CN202210113511.9A 2022-01-30 2022-01-30 一种实现屏幕显示画面跟随观者视角变动的方法及设备 Pending CN114374810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113511.9A CN114374810A (zh) 2022-01-30 2022-01-30 一种实现屏幕显示画面跟随观者视角变动的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113511.9A CN114374810A (zh) 2022-01-30 2022-01-30 一种实现屏幕显示画面跟随观者视角变动的方法及设备

Publications (1)

Publication Number Publication Date
CN114374810A true CN114374810A (zh) 2022-04-19

Family

ID=81146289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113511.9A Pending CN114374810A (zh) 2022-01-30 2022-01-30 一种实现屏幕显示画面跟随观者视角变动的方法及设备

Country Status (1)

Country Link
CN (1) CN114374810A (zh)

Similar Documents

Publication Publication Date Title
CA2786439C (en) Depth camera compatibility
Faion et al. Intelligent sensor-scheduling for multi-kinect-tracking
EP2531979B1 (en) Depth camera compatibility
Alhwarin et al. IR stereo kinect: improving depth images by combining structured light with IR stereo
US9041775B2 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
Wilson Depth-sensing video cameras for 3d tangible tabletop interaction
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN108475180A (zh) 在多个显示区域之间分布视频
Mulder et al. An affordable optical head tracking system for desktop VR/AR systems
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US11000756B2 (en) Pre-visualization device
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
CN114374810A (zh) 一种实现屏幕显示画面跟随观者视角变动的方法及设备
CN112449166B (zh) 全息投影设备、投影控制方法、装置、计算机设备和介质
Hahne Real-time depth imaging
TWI787853B (zh) 擴增實境系統與方法
Sharlin et al. A wireless, inexpensive optical tracker for the CAVE/sup TM
Gschwandtner Augmentation of a Radar Sensor with a Depth Camera for Pedestrian Tracking/submitted by Harald Gschwandtner
Pinedo Lopez Interaction for creative applications with the Kinect v2 device
Staretu et al. Microsoft Kinect Sensor Used to Capture Data for Robotics Applications
Hieda Digital video projection for interactive entertainment
CN117726675A (zh) 投影渲染方法、装置、投影设备及存储介质
CN105164617A (zh) 自主nui设备的自发现
Bhowmik Embedded 3D-Sensing Devices with Real-Time Depth-Imaging Technologies
Cortes et al. Depth Assisted Composition of Synthetic and Real 3D Scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination