CN110390686A - 裸眼3d显示方法及系统 - Google Patents

裸眼3d显示方法及系统 Download PDF

Info

Publication number
CN110390686A
CN110390686A CN201910672499.3A CN201910672499A CN110390686A CN 110390686 A CN110390686 A CN 110390686A CN 201910672499 A CN201910672499 A CN 201910672499A CN 110390686 A CN110390686 A CN 110390686A
Authority
CN
China
Prior art keywords
coordinate
camera
display
screen
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910672499.3A
Other languages
English (en)
Inventor
张天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910672499.3A priority Critical patent/CN110390686A/zh
Publication of CN110390686A publication Critical patent/CN110390686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种裸眼3D显示方法及系统，涉及显示技术领域，该方法包括：通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将视点3D坐标从相机坐标系转换至屏幕坐标系；将立体视频的场景模型转换至屏幕坐标系后，基于视点3D坐标，在显示器的屏幕中绘制场景模型的平面投影。本发明实施例通过RGBD相机进行视点检测，从而依靠RGBD相机来进行视点追踪，在观看者无需佩戴任何辅助设备的同时实现了对视点的3D坐标进行精确定位的目的，解决了现有技术中通过佩戴辅助设备进行定位存在的观看体验差的问题，极大的提升了观看体验。

Description

裸眼3D显示方法及系统
技术领域
本发明实施例涉及显示技术领域，具体涉及一种裸眼3D显示方法及系统。
背景技术
人眼视觉的立体感知线索主要有心理和生理线索，3D显示技术主要应用生理线索来提供立体视觉。具体地，生理线索包括运动视差、双目视差、辐辏和调节等，其中，运动视差提供最大动态范围的立体感知。运动视差通过给人提供连续的不同视角的立体场景的平面视图，由人的大脑对不同视角的信息生成立体知觉判断。
基于上述原理，无需更换传统2D显示器，通过利用运动视差就能够产生立体知觉，即通过在传统2D显示器上实时显示经过视点绑定的视图，可以达到裸眼3D显示效果。而视点的检测和追踪在显示过程中至关重要，然而现有技术中的视点检测需要依靠观看者佩戴辅助标志物来识别和定位，但这种方式造成了观看者观看体验差的缺陷；若不佩戴辅助标志物而利用单纯的二维图像识别和处理则难以精确定位视点3D坐标。
发明内容
为此，本发明实施例提供一种裸眼3D显示方法及系统，以解决现有技术中由于需要依靠观看者佩戴辅助标志物来识别和定位而导致的观看者观看体验差的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提供一种裸眼3D显示方法，包括：通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系；将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
进一步地，通过RGBD相机实时检测观看者视点的3D坐标，包括：通过RGBD相机的彩色图和深度图进行特征点检测，获得特征点的2D坐标；基于RGBD相机的内参数据，对2D坐标进行三维转换，获得观看者视点的3D坐标。
进一步地，外参数据包括旋转矩阵和平移向量；相应地，将3D坐标从相机坐标系转换至屏幕坐标系的方式具体为：
Pscreen＝Rcam→scr*Pcanera+Tcam→scr
式中，Pscreen(Xs,Ys,Zs)为屏幕坐标系中的3D坐标，Rcam→scr为旋转矩阵，Pcamera为相机坐标系中的3D坐标，Tcam→scr为平移向量。
进一步地，外参数据通过如下方式获取：通过RGBD相机捕捉相对于显示器的多点坐标；对多点坐标进行解算，获得相机坐标系相对于屏幕坐标系的外参数据。
进一步地，在显示器的屏幕中绘制场景模型的平面投影之后，还包括：对平面投影进行渲染。
进一步地，RGBD相机固定于显示器的上方或下方；RGBD相机包括TOF相机、结构光相机或双目相机。
进一步地，视点位于观看者的两眼中间的眉心处。
根据本发明实施例的第二方面，提供一种裸眼3D显示系统，包括：检测模块，用于通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；转换模块，用于基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系；绘制模块，用于将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的裸眼3D显示方法。
根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的裸眼3D显示方法。
本发明实施例具有如下优点：通过RGBD相机进行视点检测，从而依靠RGBD相机来进行视点追踪，在观看者无需佩戴任何辅助设备的同时实现了对视点的3D坐标进行精确定位的目的，极大的提升了观看体验。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例提供的裸眼3D显示方法的流程示意图；
图2为本发明实施例提供的显示原理示意图；
图3为本发明实施例提供的裸眼3D显示渲染流程示意图；
图4为本发明实施例提供的视点示意图；
图5为本发明实施例提供的裸眼3D显示系统的结构示意图；
图6为本发明实施例提供的电子设备的实体结构示意图；
图7为本发明实施例提供的视点追踪过程示意图；
图8为本发明实施例提供的相机-屏幕标定示意图；
图9为本发明实施例提供的视椎体投影示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种裸眼3D显示方法，该方法可应用于任意带有显示屏与相应硬件的设备，由视点追踪技术确定场景投影视角，由传统2D显示器面板作为显示平面的裸眼3D显示。运用该方法具体可实现如下目的：1、兼容传统2D显示器的情况下实现3D内容显示；2、解决依靠标志物或传统2D相机捕捉视点不精准的问题；3、提供真实的运动视差。
具体地，参见图1、图2和图3，该方法包括但不限于如下步骤：
步骤101、通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器。
其中，本发明实施例由视点追踪技术确定场景投影视角(视点追踪过程参见图7)，由传统2D显示器面板显示平面的裸眼3D画面。作为一种可选实施例，参见图4，视点位于观看者的两眼中间的眉心处。利用固定在显示器上的RGBD相机能够实时捕获并检测出人脸的位于两眼中间的眉心处的3D坐标(视点)。在视点检测的过程中，几类人脸关键点的获取方法和算法原理如下：1、基于先验规则的方法；2、基于形状和外观模型的方法；3、基于统计能量函数的方法；4、基于级联回归的方法；5、基于分类器的方法；6、基于深度学习的方法。
目前的主流的人脸关键点检测开源工具有Opencv，Dlib等库，本发明实施例以使用Dlib库为例，检测视点所在的特征点，得到视点在RGB图像上的二维坐标[u,v]。
步骤102、基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系。
换言之，将3D坐标通过相机屏幕标定技术得到的外参从相机坐标系转换到显示器屏幕坐标系中。
步骤103、将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
其中，将立体视频的场景模型转换到电脑屏幕坐标系中，并在屏幕上绘制模型关于视点在屏幕的平面投影。具体的：在绘制立体场景时，将立体场景转换到世界坐标系中，通过设定模型距离和位置来进一步转换到电脑屏幕坐标系Cscreen下；关于投影的计算可通过计算机图形学的视口变换和剪切技术实现，以视点为透视投影的中心点，以屏幕平面为投影平面，计算出立体场景透视投影的视图，如图1所示。
投影画面根据视点位置改变而发生变化，观看者在视点移动中获取立体场景的相应投影画面，由此获得运动视差带来的立体视觉。本发明实施例以电脑显示屏为例进行说明，但保护范围不限于此。
本发明实施例提供的裸眼3D显示方法，通过RGBD相机进行视点检测，从而依靠RGBD相机来进行视点追踪，在观看者无需佩戴任何辅助设备的同时实现了对视点的3D坐标进行精确定位的目的，极大的提升了观看体验。
基于上述实施例的内容，作为一种可选实施例，通过RGBD相机实时检测观看者视点的3D坐标，包括：通过RGBD相机的彩色图和深度图进行特征点检测，获得特征点的2D坐标；基于RGBD相机的内参数据，对2D坐标进行三维转换，获得观看者视点的3D坐标。
具体地，利用彩色图和深度图等信息进行人脸位于两眼中间的眉心处的特征点检测(如图4视点位置示意图)；所得特征点的2D坐标为深度图像坐标系中的2D坐标，进一步3D转换得到视点3D坐标；其中，3D转换利用深度相机的内参数据。
基于上述实施例的内容，作为一种可选实施例，外参数据包括旋转矩阵和平移向量；
相应地，将3D坐标从相机坐标系转换至屏幕坐标系的方式具体为：
Pscreen＝Rcam→scr*Pcamera+Tcam→scr
式中，Pscreen(Xs,Ys,Zs)为屏幕坐标系中的3D坐标，Rcam→scr为旋转矩阵，Pcamera为相机坐标系中的3D坐标，Tcam→scr为平移向量。
具体地，固定在电脑屏幕上方或下方的RGBD相机捕捉并检测人脸特征点，获得视点(图4)3D坐标Pcamera(Xc,Yc,Zc)。将3D坐标通过相机屏幕标定技术得到的外参从相机坐标系转换到显示器屏幕坐标系Cscreen中Pscreen(Xs,Ys,Zs)，具体为Pscreen＝Rcam→scr*Pcamera+Tcam→scr。
其中，对于深度相机内参为：
图像点[u,v]T的深度值为zp，该点到相机坐标系的坐标点[xc,yc,zc]T的变换公式为：
基于上述实施例的内容，作为一种可选实施例，外参数据通过如下方式获取：通过RGBD相机捕捉相对于显示器的多点坐标；对多点坐标进行解算，获得相机坐标系相对于屏幕坐标系的外参数据。
具体地，本发明实施例提供的相机-屏幕标定技术为通过RGBD相机捕捉相对于显示器面板已知的多点坐标，通过解算获得相机坐标系相对于屏幕坐标系的外参数据：旋转矩阵Rcam→scr以及平移向量Tcam→scr。屏幕坐标系Cscreen以屏幕中心点或屏幕四角点为原点，屏幕所在平面为XY平面，垂直于屏幕平面的为坐标系Z轴。
其中，参见图8，为了将相机坐标系中的坐标点转换到屏幕坐标系下，需要对相机和屏幕进行标定。该标定的目的是为了得到相机坐标系到屏幕坐标系的外参：3x3旋转矩阵Rcam→scr和3x1平移矩阵Tcam→scr。
标定原理如下：
1、寻找相应三维点之间的最优旋转和平移矩阵
本发明实施例所涉两个相同尺度的世界坐标系可以通过R,T进行转换，计算转换关系需要知道双方N(N>＝3)对对应点的坐标，设为A,B；则求解B＝R*A+T即可。由于N可能比较大，此方程通常为超定方程，可使用奇异值分解(Singular Value Decomposition(SVD))进行计算，其内部原理是最小二乘法。
[U,S,V]＝SVD(H)
Rcam→scr＝VUT
Tcam→scr＝-Rcam→scr*centroidA+centroidB
其中centroidA和centroidB是A,B的平均中心。
2、获得相机和屏幕的对应点坐标
本发明实施例考虑的标定技术需要获取3个以上非共线的对应点坐标。要求是，这些点在相机空间可被观测；这些点在屏幕空间已知。
本发明实施例采用的方案具体如下例：
标定过程：
a、首先设置一块棋盘格标定板，标定板与屏幕平面平行，标定板中心点与屏幕中心点连线垂直于两个平面，整个棋盘格置于RGBD相机视域范围内，且距离适中(与观看距离约等)，并记录该距离Dbro2scr；
b、由RGBD相机拍摄棋盘格。
c、计算对应点坐标：
相机坐标系下的坐标计算：对于拍摄的图片上棋盘格检测出的N个棋盘角点{Pi(u,v)|i＝1..N}，利用如前所述深度相机的变换公式，可得相机坐标下3D点坐标{Pi(xc,yc,zc)|i＝1..N}。
屏幕坐标系下的坐标计算：
屏幕坐标下3D点坐标{Qi(xs,ys,zs)|i＝1..N}。坐标计算公式：
其中，cx和cy分别是角点位置偏离棋盘格中心点的横向距离和纵向距离。
基于上述实施例的内容，作为一种可选实施例，在显示器的屏幕中绘制场景模型的平面投影之后，还包括：对平面投影进行渲染。
具体地，固定于显示器上的RGBD相机实时检测视点坐标，通过相机-屏幕外参标定获得的旋转矩阵R、平移向量T将视点坐标转换到屏幕空间坐标系中，再将立体场景转换到该坐标系下，并计算在屏幕上的关于视点的透视投影，最后经传统2D显示器显示经渲染的投影视图，完成一个渲染循环。渲染过程是循环并且是实时的，追踪的视点被用于实时更新立体场景的相应视角的视图。
其中，参见图9，对应视点的投影渲染包括如下步骤：
1、统一坐标系
本发明实施例以屏幕坐标系为统一的世界坐标系，以下所述世界坐标系均等同于屏幕坐标系。
将视点坐标[xc,yc,zc]T转换到世界坐标系中：
转换公式为[xe,ye,ze]T＝Rcam→scr*[xc,yc,zc]T+Tcam→scr,齐次化后，为[xw,yw,zw,1.0]T。
将场景模型转换到世界坐标系中：
模型齐次化后，经过缩放、旋转、平移等将模型转换到世界坐标：
[xw,yw,zw,1.0]T＝Scale*Rotate*T*[xm,ym,zm,1.0]T。
2、绘制目标3D场景
绘制的方案是透视投影变换。在透视投影的计算中，视口的大小与屏幕实际的尺寸保持一致。
投影公式为：
其中，若zw不在[znear,zfar]范围内，则截掉该点。
基于上述实施例的内容，作为一种可选实施例，RGBD相机固定于显示器的上方或下方；RGBD相机包括TOF相机、结构光相机或双目相机。
并且，在本发明实施例中，得益于将视点与模型统一变换到屏幕坐标系下，有两类显示方案：
方案一：固定式屏幕显示方案，如个人电脑，电视机，投影仪等固定式显示平台。以屏幕坐标系为统一的世界坐标系即将屏幕坐标系注册到真实的世界坐标系中，可以将人视点，视口与虚拟的立体场景模型的物理几何直观的连接并表达出来，给观看者带来裸眼3D沉浸式体验。
方案二：移动式屏幕显示方案，如手机，平板，可转动式显示器等屏幕相对世界坐标系可移动的显示平台。这种方案要求移动显示平台对真实世界进行空间注册，通过注册后，立体模型的坐标系需要转换到世界坐标系中，再进行下一步渲染操作。
其中，方案二的空间注册技术为：利用移动显示平台的IMU，机械传动装置或视觉传感器等，对显示平台进行空间标定，实时获取显示平台的空间坐标和位姿等信息。
综上所述，本发明实施例具有如下优点和积极效果：
1、本发明实施例利用RGBD相机来进行人脸视点的特征点追踪，在明确视点的位置情况下，利用深度相机获取深度数据的优势，可以在准确追踪视点位置的同时，无需佩戴任何额外标志物，可以有效提升观看体验；
2、本发明实施例提出了相机-屏幕标定技术，解决了视点坐标从相机坐标系到屏幕坐标系变换的难题，使得基于视点追踪的显示技术得到真实得到几何关系和准确的投影计算；
3、采用“屏下”的投影方案，真实的反映了虚拟3D场景根据视点进行投影的几何关系。利用获取的真实视点坐标，以及正确的投影关系建立，可以达到类似“观看者通过玻璃窗户观看外部3D世界”的良好3D沉浸式体验。
参见图5，本发明实施例提供一种裸眼3D显示系统，包括：检测模块301，用于通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；转换模块302，用于基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系；绘制模块303，用于将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
本发明实施例提供了一种电子设备，如图6所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的裸眼3D显示方法，例如包括：通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系；将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的裸眼3D显示方法，例如包括：通过RGBD相机实时检测观看者视点的3D坐标，其中，RGBD相机固定于显示器；基于RGBD相机的相机坐标系相对于显示器的屏幕坐标系的外参数据，将3D坐标从相机坐标系转换至屏幕坐标系；将立体视频的场景模型转换至屏幕坐标系后，基于3D坐标，在显示器的屏幕中绘制场景模型的平面投影。
以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种裸眼3D显示方法，其特征在于，包括：
通过RGBD相机实时检测观看者视点的3D坐标，其中，所述RGBD相机固定于显示器；
基于所述RGBD相机的相机坐标系相对于所述显示器的屏幕坐标系的外参数据，将所述3D坐标从所述相机坐标系转换至所述屏幕坐标系；
将立体视频的场景模型转换至所述屏幕坐标系后，基于所述3D坐标，在所述显示器的屏幕中绘制所述场景模型的平面投影。
2.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述通过RGBD相机实时检测观看者视点的3D坐标，包括：
通过所述RGBD相机的彩色图和深度图进行特征点检测，获得所述特征点的2D坐标；
基于所述RGBD相机的内参数据，对所述2D坐标进行三维转换，获得所述观看者视点的3D坐标。
3.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述外参数据包括旋转矩阵和平移向量；
相应地，将所述3D坐标从所述相机坐标系转换至所述屏幕坐标系的方式具体为：
Pscreen＝Rcam→scr*Pcanera+Tcam→scr
式中，Pscreen(Xs,Ys,Zs)为屏幕坐标系中的3D坐标，Rcam→scr为旋转矩阵，Pcamera为相机坐标系中的3D坐标，Tcam→scr为平移向量。
4.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述外参数据通过如下方式获取：
通过所述RGBD相机捕捉相对于所述显示器的多点坐标；
对所述多点坐标进行解算，获得所述相机坐标系相对于所述屏幕坐标系的外参数据。
5.根据权利要求1所述的裸眼3D显示方法，其特征在于，在所述显示器的屏幕中绘制所述场景模型的平面投影之后，还包括：
对所述平面投影进行渲染。
6.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述RGBD相机固定于所述显示器的上方或下方；所述RGBD相机包括TOF相机、结构光相机或双目相机。
7.根据权利要求1所述的裸眼3D显示方法，其特征在于，所述视点位于所述观看者的两眼中间的眉心处。
8.一种裸眼3D显示系统，其特征在于，包括：
检测模块，用于通过RGBD相机实时检测观看者视点的3D坐标，其中，所述RGBD相机固定于显示器；
转换模块，用于基于所述RGBD相机的相机坐标系相对于所述显示器的屏幕坐标系的外参数据，将所述3D坐标从所述相机坐标系转换至所述屏幕坐标系；
绘制模块，用于将立体视频的场景模型转换至所述屏幕坐标系后，基于所述3D坐标，在所述显示器的屏幕中绘制所述场景模型的平面投影。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述裸眼3D显示方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述裸眼3D显示方法的步骤。
CN201910672499.3A 2019-07-24 2019-07-24 裸眼3d显示方法及系统 Pending CN110390686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910672499.3A CN110390686A (zh) 2019-07-24 2019-07-24 裸眼3d显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910672499.3A CN110390686A (zh) 2019-07-24 2019-07-24 裸眼3d显示方法及系统

Publications (1)

Publication Number Publication Date
CN110390686A true CN110390686A (zh) 2019-10-29

Family

ID=68287338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910672499.3A Pending CN110390686A (zh) 2019-07-24 2019-07-24 裸眼3d显示方法及系统

Country Status (1)

Country Link
CN (1) CN110390686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365547A (zh) * 2020-11-06 2021-02-12 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931823A (zh) * 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
CN103354616A (zh) * 2013-07-05 2013-10-16 南京大学 在平面显示器上实现立体显示的方法和系统
CN103440036A (zh) * 2013-08-23 2013-12-11 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备
CN106251323A (zh) * 2015-12-22 2016-12-21 深圳超多维光电子有限公司 一种裸眼立体跟踪的方法、装置及电子设备
CN108182659A (zh) * 2018-02-01 2018-06-19 周金润 一种基于视点跟踪、单视角立体画的裸眼3d显示技术
CN109753153A (zh) * 2018-12-26 2019-05-14 浙江大学 用于360°悬浮光场三维显示系统的触觉交互装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931823A (zh) * 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
CN103354616A (zh) * 2013-07-05 2013-10-16 南京大学 在平面显示器上实现立体显示的方法和系统
CN103440036A (zh) * 2013-08-23 2013-12-11 Tcl集团股份有限公司 三维图像的显示和交互操作方法及装置
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备
CN106251323A (zh) * 2015-12-22 2016-12-21 深圳超多维光电子有限公司 一种裸眼立体跟踪的方法、装置及电子设备
CN108182659A (zh) * 2018-02-01 2018-06-19 周金润 一种基于视点跟踪、单视角立体画的裸眼3d显示技术
CN109753153A (zh) * 2018-12-26 2019-05-14 浙江大学 用于360°悬浮光场三维显示系统的触觉交互装置及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI LI 等: "Robust depth camera based multi-user eye tracking for autostereoscopic displays", 《 INTERNATIONAL MULTI-CONFERENCE ON SYSTEMS, SIGNALS & DEVICES》 *
陈浩 等: "一种应用于裸眼立体显示系统的双目跟踪算法", 《计算机辅助设计与图形学学报》 *
陈甜甜 等: "基于深度信息的动态手势识别综述", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365547A (zh) * 2020-11-06 2021-02-12 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统
CN112365547B (zh) * 2020-11-06 2023-08-22 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统

Similar Documents

Publication Publication Date Title
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US9407904B2 (en) Method for creating 3D virtual reality from 2D images
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
US7796134B2 (en) Multi-plane horizontal perspective display
US20120162384A1 (en) Three-Dimensional Collaboration
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
CN107810633A (zh) 立体渲染系统
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US9001115B2 (en) System and method for three-dimensional visualization of geographical data
CN109660783A (zh) 虚拟现实视差校正
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
US20060221071A1 (en) Horizontal perspective display
US20230298280A1 (en) Map for augmented reality
CN111275801A (zh) 一种三维画面渲染方法及装置
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
CN104134235A (zh) 真实空间和虚拟空间的融合方法和融合系统
JP2023172882A (ja) 三次元表現方法及び表現装置
US20190340773A1 (en) Method and apparatus for a synchronous motion of a human body model
CN110390686A (zh) 裸眼3d显示方法及系统
JP6168597B2 (ja) 情報端末装置
CN114967170A (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN108762855B (zh) 一种画面处理方法及装置
CN107635119B (zh) 投射方法和设备
US20200036960A1 (en) System & method for generating a stereo pair of images of virtual objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191029

RJ01 Rejection of invention patent application after publication