CN109963140A - 裸眼立体显示方法及装置、设备和计算机可读存储介质 - Google Patents

裸眼立体显示方法及装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN109963140A
CN109963140A CN201711420030.8A CN201711420030A CN109963140A CN 109963140 A CN109963140 A CN 109963140A CN 201711420030 A CN201711420030 A CN 201711420030A CN 109963140 A CN109963140 A CN 109963140A
Authority
CN
China
Prior art keywords
positioning object
eyes
value
face
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711420030.8A
Other languages
English (en)
Inventor
李亚鹏
乔双双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Technology Co Ltd filed Critical Shenzhen Super Technology Co Ltd
Priority to CN201711420030.8A priority Critical patent/CN109963140A/zh
Publication of CN109963140A publication Critical patent/CN109963140A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

本发明实施例涉及立体显示技术领域，公开了一种裸眼立体显示方法及装置、裸眼立体显示设备和计算机可读存储介质。其中，方法包括：获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；根据骨架信息确定定位对象的面部的空间位置信息；根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息；根据所述双眼的空间位置信息，进行裸眼立体显示。通过提供一种裸眼立体显示方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位。

Description

裸眼立体显示方法及装置、设备和计算机可读存储介质
技术领域
本发明实施例涉及图像处理技术领域，特别涉及一种裸眼立体显示方法及装置、设备和 计算机可读存储介质。
背景技术
三维(3D)高清视频技术逐步运用在胸腔镜手术中，医生只需佩戴辅助3D眼镜即可在 3D显示器上看到立体效果的手术画面。但是，辅助3D的胸腔镜手术有一个缺点就是医生需 要佩戴3D眼镜。临床医生发现戴着3D眼镜做手术存在诸多缺陷：一是光线经过偏光镜过滤 后，亮度降低50％，医生会感觉视野偏暗，看久了会感觉疲劳；二是对于不习惯佩戴眼镜的 医生，佩戴3D眼镜会带来的各种不适感，比如呼吸时水蒸气会使镜片模糊、长时间佩戴眼 镜给鼻子、耳朵带来的压迫感，在手术中有可能产生晕眩感；三是平时戴眼镜的医生，要同 时佩戴两副眼镜。
为了克服上述缺陷，目前在胸腔镜手术中引入了裸眼3D显示技术，医生不需要佩戴眼 镜，即可在3D显示器上看到立体效果的手术画面。为了保证良好的视觉感受效果，需要在 裸眼3D显示中追踪医生的人眼位置，即观看位置，基于医生的观看位置进行裸眼3d显示， 为了进行人眼位置的追踪，一般需要医生佩戴一个像头箍一样的红外线跟踪器(本文称为头 箍跟踪器)，通过对头箍跟踪器进行红外定位，从而实现观看位置的追踪。这对于不习惯戴 眼镜的医生来说，可以免去佩戴辅助3D眼镜带来的各种不适感，但医生需要佩戴一个头箍 跟踪器。
发明人发现现有技术中至少存在如下问题：佩戴头箍跟踪器会对头部产生压迫，并且需 要定时为头箍跟踪器充电，用户体验差。
发明内容
本发明实施方式的目的在于提供一种裸眼立体显示方法及装置、设备和计算机可读存储 介质，能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高用户体验。
为解决上述技术问题，本发明的实施方式提供了一种裸眼立体显示方法，包括：获取三 维体感摄像机提供的定位对象的骨架信息和定位对象的图像；
根据骨架信息确定定位对象的面部的空间位置信息；
根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；
基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获 得定位对象的双眼在定位对象的图像中的位置；
根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息；
根据双眼的空间位置信息，进行裸眼立体显示，以使定位对象观看到的显示内容与所述 双眼的空间位置相适配。
本发明的实施方式还提供了一种裸眼立体显示装置，包括：获取模块，用于获取三维体 感摄像机提供的定位对象的骨架信息和定位对象的图像；
第一处理模块，用于根据骨架信息确定定位对象的面部的空间位置信息；
第二处理模块，用于根据面部的空间位置信息，确定定位对象的面部在定位对象的图像 中的位置；
第三处理模块，用于基于定位对象的面部在定位对象的图像中的位置以及定位对象的图 像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；
第四处理模块，用于根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息；
显示模块，用于根据双眼的空间位置信息，进行裸眼立体显示，以使定位对象观看到的 显示内容与双眼的空间位置相适配。
本发明的实施方式还提供了一种裸眼立体显示设备，包括至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少 一个处理器能够执行上述实施方式中的裸眼立体显示方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序 被处理器执行时实现上述实施方式中的裸眼立体显示方法。
本发明的实施方式相对于现有技术而言，通过三维体感摄像机提供的定位对象的骨架信 息和定位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进 行定位。通过这种裸眼立体显示方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下 实现双眼定位，提高了用户体验。
另外，根据骨架信息确定定位对象的面部的空间位置信息，包括：
将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；
将骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；
将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；
将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；
将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定为定位对 象的面部的空间位置信息。
该方式中，通过三维体感摄像机提供的骨架信息中的头部位置首先确定出定位对象的面 部的空间位置信息，为进行双眼定位确定出一个基本范围，提高了双眼定位的效率。
另外，定位对象的图像包括定位对象的彩色图像；
根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置包括：
根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置；
基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获 得定位对象的双眼在定位对象的图像中的位置，包括：
根据定位对象的面部在定位对象的彩色图像中的位置，获取定位对象的面部彩色图像；
基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置；
根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色 图像中的位置。
该方式中，通过在面部彩色图像中进行双眼检测，将双眼在面部彩色图像中的位置转换 为双眼在彩色图像中的位置，降低了计算复杂度，提高了双眼检测效率。
另外，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置， 包括：调用三维体感摄像机提供的应用程序接口API函数，将面部的空间位置信息代入API 函数，获取API函数返回的定位对象的面部在定位对象的彩色图像中的位置；
或者，
利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变 换，获取定位对象的面部在定位对象的彩色图像中的位置。
另外，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置 包括：采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位 置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的特征点、或 者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼和脸部轮廓 处的特征点；根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色图像中的位 置。
该方式中，通过对人脸特征点的简化处理，提高了采用人脸对齐算法进行双眼检测的效 率，降低了检测复杂度。
另外，根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象 的彩色图像中的位置包括：
计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位 对象的左眼在定位对象的彩色图像中的横坐标值；
计算定位对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位 对象的左眼在定位对象的彩色图像中的纵坐标值；
计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位 对象的右眼在定位对象的彩色图像中的横坐标值；
计算定位对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位 对象的右眼在定位对象的彩色图像中的纵坐标值；
其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和 右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的 左上角的纵坐标值和右下角的纵坐标值中的最小值。
另外，定位对象的图像还包括定位对象的深度图像；
根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息包括：
根据双眼在定位对象的彩色图像中的位置，获取定位对象的双眼在定位对象的深度图像 中的位置处的深度值；
根据深度值以及定位对象的双眼在定位对象的彩色图像中的位置，确定双眼的空间位置 信息。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不 构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别 申明，附图中的图不构成比例限制。
图1是本发明第一实施方式的裸眼立体显示方法的流程图；
图2是本发明第二实施方式的裸眼立体显示方法的流程图；
图3A是本发明第二实施方式的人脸特征点的分布图；
图3B是现有技术中人脸特征点的分布图；
图4是本发明第三实施方式的裸眼立体显示装置的结构图；
图5是本发明第四实施方式的裸眼立体显示装置的结构图；
图6是本发明第五实施方式的裸眼立体显示设备的结构示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实 施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中， 为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于 以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种裸眼立体显示方法，该裸眼立体显示方法应用于裸眼立 体显示设备上，具体流程如图1所示，具体流程如下：
步骤101，获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像。
其中，通过三维体感摄像机对定位对象进行定位跟踪，可以得到的定位对象的骨架信息 和定位对象的图像。
其中，定位对象的图像可以包括定位对象的彩色图像以及定位对象的深度图像。该实施 方式中，假设定位对象的彩色图像表示为Irgb，定位对象的深度图像表示为以Idepth。
骨架的信息中包括定位对象的头部位置信息，该实施方式表示为Phead。
在通过三维体感摄像机拍摄某一场景时，一般而言，三维体感摄像机可以提供场景的图 像，即定位对象的图像，包括彩色图像和深度图像，还可以提供场景中人物的骨架数据等。 具体的，针对场景中的人物，三维体感摄像机可以提供第一信息，第一信息包括骨架信息， 身体信息等，该第一信息中，包括人物的面部信息、头部信息、手臂信息等人体各部位的信 息。因此，可以利用三维体感摄像机的这些功能、所提供的这些数据来，进行人物的定位、 人物的特定部位的定位。举例而言，三维体感摄像机可以为Kinect体感摄像机或者Xtion体 感摄像机。
一般来讲，针对三维体感摄像机，骨架信息对应空间坐标系，定位对象的彩色图像对应 彩色相机坐标系，定位对象的深度图像对应深度相机坐标系，这三个坐标系具有一定的坐标 转换关系，对于至少部分三维体感摄像机而言，可以对外提供应用程序接口API函数，来进 行这三个坐标系中至少两个坐标系之间的坐标转换。当然，在使用三维体感摄像机之前，也 可以对空间坐标系、彩色相机坐标系和深度相机坐标系中的至少一个坐标系进行标定，从而 获知三个坐标系之间的坐标转换参数。
步骤102，根据骨架信息确定定位对象的面部的空间位置信息。
其中，根据骨架信息中的头部位置信息Phead，能够估计定位对象的面部空间位置。
一个具体实现中，假设三维体感摄像机为Kinect，Kinect给定的Phead基本为鼻梁的位置， 在Phead的基础上进行扩展，可以得到定位对象的面部空间位置信息。
具体的，根据骨架信息中的头部空间位置得到定位对象的面部空间位置信息的具体过程 为：将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；将 骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；将骨架信 息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；将骨架信息中的 头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；将左边界值、右边界值、 上边界值和下边界值所限定的区域的位置信息，确定为定位对象的面部的空间位置信息。
上述推倒过程用公式进行表示，具体如以下公式所示：
rectface＝(l,t,r,b)
l＝Phead.x-Δl
t＝Phead.y+Δt
r＝Phead.x+Δr
b＝Phead.y-Δb
其中，l为定位对象面部区域的左边界值，t为定位对象面部区域的上边界值，r为定位对 象面部区域的右边界值，b为定位对象面部区域的下边界值，Δl表示第一预设值，Δr表示第 二预设值，Δt表示第三预设值，Δb表示第四预设值，以左边界值l、右边界值r、上边界值t 和下边界值b所限定的区域的位置信息用rectface表示，即为定位对象的面部的空间位置信息。 其中，第一预设值、第二预设值、第三预设值和第四预设值为预先设定，例如Δl、Δr的取值 分别为0.1，Δt的取值为0.08，Δb的取值为0.14，此处仅为举例说明，应用中可以根据经验值 设置左边界值l、右边界值r、上边界值t和下边界值b的取值。
需要说明的是，左边界值l、右边界值r、上边界值t和下边界值b所限定的区域为矩形 区域，并且在本实施方式中该矩形的左上角用PleftTop表示，右下角用PrightBottom表示。
步骤103，根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置。
具体的，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位 置。
在一个具体实施例中，可以采用两种方式实现：
一种方式为：通过调用三维体感摄像机提供的应用程序接口(ApplicationProgramming Interface，API)函数，将面部的空间位置信息代入API函数，获取API函数返回的定位对象 的面部在定位对象的彩色图像中的位置。
另一种方式为：利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置 信息进行坐标变换，获取定位对象的面部在定位对象的彩色图像中的位置。
需要说明的是，假设定位对象的彩色图像所对应的坐标系为uv坐标系，并且经过坐标变 换后得出定位对象的面部的空间位置信息中左上角PleftTop与右下角PrightBottom位置，分别在定 位对象的彩色图像中所对应的位置：在彩色图像中定位对象的面部的左上角为pleftTop，在彩 色图像中定位对象的面部的右下角为prightBottom。
步骤104，基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双 眼检测，获得定位对象的双眼在定位对象的图像中的位置。
具体的，是基于定位对象的面部在定位对象的彩色图像中的位置以及定位对象的的彩色 图像进行双眼检测，获得定位对象的双眼在定位对象的彩色图像中的位置。
步骤105，根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。
具体的说，根据双眼在定位对象的彩色图像中的位置，获得定位对象的双眼在定位对象 的深度图像中的位置处的深度值，根据深度值以及定位对象的双眼在定位对象的彩色图像中 的位置，确定双眼的空间位置信息。
具体计算过程如以下公式所示：
其中，表示双眼的空间位置坐标，D表示深度值，K表示三维体感摄像机中彩色相机 的内参矩阵，K-1表示内参矩阵的逆矩阵，表示定位对象的双眼在定位对象的彩色图像中 的位置。内参矩阵可以是预先对彩色相机进行标定的过程中获得，例如采用张正友标定法进 行标定。
步骤106，根据双眼的空间位置信息，进行裸眼立体显示，以使定位对象观看到的显示 内容与双眼的空间位置相适配。
在确定了定位对象的双眼的空间位置，即，其空间观看位置之后，将根据双眼空间位置 进行立体显示，使得显示内容与用户的相适配，保证正确的立体显示效果，有效避免出现反 视、串扰、重影等问题。需要说明的是，裸眼立体显示器通常包括显示面板和与显示面板相 对设置的分光器件，显示面板和分光器件相对设置，例如分光器件可以是光栅，该光栅可以 为狭缝光栅或透镜光栅等现有技术中裸眼立体显示器所能够采用的任意一种光栅，本发明对 此不做限定。在进行裸眼立体显示时，将左眼画面和右眼画面排列显示在显示面板上(即排 图)，配合分光器件的分光作用，做到将左眼画面送入定位对象(即定位对象)的左眼，将 右眼画面送入定位对象的右眼，从而使定位对象观看到立体影像。
为了使定位对象观看的显示内容与定位对象的观看位置相适配，将基于获取到的双眼空 间位置进行立体图像，即左眼图像和右眼图像的排图显示。具体可以根据该空间位置确定排 图参数，例如排图周期等，根据排图参数进行左右立体图像的排图等流程，从而进行立体显 示。可以在定位对象脸部移动，即观看位置发生变化时，根据跟踪到的双眼空间位置适应性 的进行显示调整，达到跟踪定位对象的观看位置进行显示的目的。
其中，具体排图过程可参见现有技术，可采用任意公知的方式，根据所确定的双眼空间 位置来确定跟踪排图参数，例如，预先设定空间位置与跟踪排图参数的对应函数关系，在确 定双眼空间位置后，将双眼空间位置代入函数关系，从而确定排图参数。当然，根据定位对 象的双眼空间位置信息进行立体化显示的方法不限，本领域技术人员可以任意选择，这里不 再赘述。
与现有技术相比，本实施方式中，通过三维体感摄像机提供的定位对象的骨架信息和定 位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位。 通过这种双眼定位方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位， 提高了用户体验。
本发明的第二实施方式涉及一种裸眼立体显示方法，第二实施方式是在第一实施方式的 基础上，对步骤104的具体实现方式进行说明，该方法的具体流程如图2所示。
其中，步骤201至步骤203，与第一实施方式中的步骤101至步骤103大致相同，此处不再赘述。步骤203之后执行步骤204。其中，步骤203中直接确定的是定位对象的面部在 定位对象的彩色图像中的位置。
步骤204，根据定位对象的面部在定位对象的彩色图像中的位置，获取定位对象的面部 彩色图像。
本实施方式中将定位对象的面部彩色图像记为Iface。
步骤205，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的 位置。
其中，在面部彩色图像中进行双眼检测，获得定位对象的左眼在面部彩色图像中的位置 (表示为pleftEye)，以及定位对象的右眼在面部彩色图像中的位置(表示为prightEye)。
具体过程为：采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸 特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的 特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼 和脸部轮廓处的特征点。根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色 图像中的位置。
在一个具体实现中，采用人脸对齐算法检测到的面部彩色图像Iface中的人脸的特征点包括眉 毛、双眼和脸部轮廓处的特征点，并且特征点的总个数为39。人脸特征点的具体分布图如图 3A所示。根据获得的39个人脸特征点，计算左眼在面部彩色图像中的位置pleftEye，以及右眼 在面部彩色图像Iface中的位置prightEye，计算过程如以下公式所示：
其中，pleftEye.u在面部彩色图像Iface中左眼中心的横坐标值，pleftEye.v为在面部彩色图像 Iface中左眼中心的纵坐标值，prightEye.u为在面部彩色图像Iface中右眼中心的横坐标值， prightEye.v为在面部彩色图像Iface中右眼中心的纵坐标值。Shape(n)为检测到的39个特征 点中的第n个特征点在彩色图像中的位置。
需要说明的是，现有技术中的人脸特征点对齐算法都以全脸即眉毛、双眼、脸部轮廓、 鼻子和嘴部的特征点为目标，其具体的人脸特征点的分布图如图3B所示。相对于现有技术， 本实施方式中不用对鼻子和嘴部的特征点进行检测，需要检测的特征点明显减少，因此提高 了检测的速率。另外，在背景技术所言的胸腔镜手术等医疗场景，一般需要进行定位的医生 都是带有口罩的，口罩遮挡住了嘴鼻等部位，是无法进行全脸特征点匹配的，而本实施方式 中，不需要使用鼻子和嘴部的特征点，能够准确实现带有口罩等遮挡物的定位对象的裸眼立 体显示。
步骤206，根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位 对象的彩色图像中的位置。
具体的，计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值 作为定位对象的左眼在定位对象的彩色图像中的横坐标值。计算定位对象的左眼在面部彩色 图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中 的纵坐标值。计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值 作为定位对象的右眼在定位对象的彩色图像中的横坐标值。计算定位对象的右眼在面部彩色 图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中 的纵坐标值。
其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和 右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的 左上角的纵坐标值和右下角的纵坐标值中的最小值。
该确定定位对象的双眼在彩色图像中的位置的过程可以通过以下公式表示：
p′leftEye.u＝pleftEye.u+min(pleftTop.u，prightBottom.u)
p′leftEye.v＝pleftEye.v+min(pleftTop.v,prightBottom.v)
p′rightEye.u＝prightEye.u+min(pleftTop.u,prightBottom.u)
p′rightEye.v＝prightEye.v+min(pleftTop.v,prightBottom.v)
其中，p′leftEye.u表示在定位对象的彩色图像Irgb中左眼的横坐标值，p′leftEye.v表示在定位 对象的彩色图像Irgb中左眼的纵坐标值，p′rightEye.u表示在定位对象的彩色图像Irgb中右眼的 横坐标值，p′rightEye.v表示在定位对象的彩色图像Irgb中右眼的纵坐标值，pleftEye.u在面部彩 色图像Iface中左眼中心的横坐标值，pleftEye.v为在面部彩色图像Iface中左眼中心的纵坐标值， prightEye.u为在面部彩色图像Iface中右眼中心的横坐标值，prightEye.v为在面部彩色图像Iface中右眼中心的纵坐标值，min(pleftTop.u,prigheBottom.u)表示的是第一值， min(pleftTop.v,prigheBottom.v)表示的是第二值。由于三维体感摄像机坐标系与彩色图像的坐标 系y轴方向相反，因此这里对偏移量进行了求最小值的计算。
步骤207，根据双眼在定位对象的彩色图像中的位置，确定双眼的空间位置信息。
步骤208，根据双眼的空间位置信息，进行裸眼立体显示。
其中，步骤207的具体实施可参见步骤105的具体描述，步骤208的具体实施可参见步 骤106的具体描述，此处不再赘述。
与现有技术相比，本实施方式中，通过三维体感摄像机提供的定位对象的骨架信息和定 位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位， 使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。并且， 在基于定位对象的面部在定位对象的图像中的位置进行双眼检测时，通过人脸对齐算法检测 人脸特征点的位置，根据检测到的人脸特征点的位置确定出定位对象的双眼在面部彩色图像 中的位置，使最终确定出的双眼的空间位置信息更加准确。
需要说明的是，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像 中的位置，除了上述的人脸对齐算法对双眼进行检测外，还可以采用openCV或深度学习方 法进行双眼检测。其中，openCV提供了Haar级联分类器可进行特定物体检测，并提供了已 经训练好的人眼检测文件，可以实现对双眼的检测，而深度学习方法则是利用深度学习方法 进行训练，在人脸图像中直接检测处人眼。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些 步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对 算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的 核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种裸眼立体显示装置，该装置的具体结构如图4所示，裸 眼立体显示装置400具体包括：获取模块401、第一处理模块402、第二处理模块403、第三 处理模块404、第四处理模块405和显示模块406。
其中，获取模块401用于获取三维体感摄像机提供的定位对象的骨架信息和定位对象的 图像，第一处理模块402用于根据骨架信息确定定位对象的面部的空间位置信息，第二处理 模块403用于根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置， 第三处理模块404用于基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像 进行双眼检测，获得定位对象的双眼在定位对象的图像中位置，第四处理模块405用于根据 双眼在定位对象的图像中的位置，确定双眼的空间位置信息，显示模块406，用于根据双眼 的空间位置信息，进行裸眼立体显示，以使定位对象观看到的显示内容与双眼的空间位置相 适配。
其中，第一处理模块402具体用于，将骨架信息中的头部位置向左偏移第一预设值，得 到定位对象面部区域的左边界值；将骨架信息中的头部位置向右偏移第二预设值，得到定位 对象面部区域的右边界值；将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面 部区域的上边界值；将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域 的下边界值；将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定 为定位对象的面部的空间位置信息。
其中，定位对象的图像包括定位对象的彩色图像，并且第二处理模块403具体用于，根 据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置。第二处理模 块403还用于调用三维体感摄像机提供的API函数，将面部的空间位置信息代入API函数， 获取API函数返回的定位对象的面部在定位对象的彩色图像中的位置。或者，利用预先标定 的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变换，获取定位对象 的面部在定位对象的彩色图像中的位置。
其中，定位对象的图像还包括定位对象的深度图像，并且第四处理模块405具体用于， 根据双眼在定位对象的彩色图像中的位置，获得定位对象的双眼在定位对象的深度图像中的 位置处的深度值，根据深度值以及定位对象的双眼在定位对象的彩色图像中的位置，确定双 眼的空间位置信息。
值得一提的是，第四处理模块405还用于按照公式确定所述双眼的空 间位置信息。其中，表示所述双眼的空间位置坐标，D表示所述深度值，K表示所述三维 体感摄像机中彩色相机的内参矩阵，K-1表示所述内参矩阵的逆矩阵，表示所述定位对象 的双眼在所述定位对象的彩色图像中的位置。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实 施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了 减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施 方式中。
本发明的第四实施方式涉及一种裸眼立体显示装置，该实施方式主要是在第三实施方式 的基础上对第三处理模块404的具体划分，其中第三处理模块404具体包括了第一获取模块 子4041、第二获取模块子4042和确定子模块4043，其它结构及连接关系与第一实施方式中 相同。该装置的具体结构如图5所示。
其中，第一获取模块子4041用于根据定位对象的面部在定位对象的图像中的位置，获取 定位对象的面部彩色图像，第二获取模块子4042用于基于面部彩色图像进行双眼检测，获得 定位对象的双眼在面部彩色图像中的位置，确定子模块4043用于根据定位对象的双眼在面部 彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置。
其中，第二获取模块子4042具体用于采用人脸对齐算法检测面部彩色图像中的人脸特征 点，获取检测到的人脸特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特 征点为眉毛和双眼处的特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人 脸特征点为眉毛、双眼和脸部轮廓处的特征点。根据检测到的人脸特征点的位置，确定定位 对象的双眼在面部彩色图像中的位置。
其中，确定子模块4043具体用于计算定位对象的左眼在面部彩色图像中的横坐标值与第 一值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的横坐标值。计算定位 对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在 定位对象的彩色图像中的纵坐标值。计算定位对象的右眼在面部彩色图像中的横坐标值与第 一值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的横坐标值。计算定位 对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在 定位对象的彩色图像中的纵坐标值。
其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和 右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的 左上角的纵坐标值和右下角的纵坐标值中的最小值。
由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合 实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所 能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地， 本实施方式中提到的相关技术细节也可应用在第二实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻 辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组 合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的 技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明的第五实施方式涉及一种裸眼立体显示设备，如图6所示为裸眼立体显示设备的 结构示例图，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502。 其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501 执行，以使至少一个处理器501能够执行裸眼立体显示的方法。
其中，处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连 接为例，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501、存储器 502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的 各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。 处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、 电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指 令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可 以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分 步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、 随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码 的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实 际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (18)

1.一种裸眼立体显示方法，其特征在于，包括：
获取三维体感摄像机提供的定位对象的骨架信息和所述定位对象的图像；
根据所述骨架信息确定所述定位对象的面部的空间位置信息；
根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置；
基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置；
根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息；
根据所述双眼的空间位置信息，进行裸眼立体显示，以使所述定位对象观看到的显示内容与所述双眼的空间位置相适配。
2.根据权利要求1所述的裸眼立体显示方法，其特征在于，根据所述骨架信息确定所述定位对象的面部的空间位置信息，包括：
将所述骨架信息中的头部位置向左偏移第一预设值，得到所述定位对象面部区域的左边界值；
将所述骨架信息中的头部位置向右偏移第二预设值，得到所述定位对象面部区域的右边界值；
将所述骨架信息中的头部位置向上偏移第三预设值，得到所述定位对象面部区域的上边界值；
将所述骨架信息中的头部位置向下偏移第四预设值，得到所述定位对象面部区域的下边界值；
将所述左边界值、所述右边界值、所述上边界值和所述下边界值所限定的区域的位置信息，确定为所述定位对象的面部的空间位置信息。
3.根据权利要求1或2所述的裸眼立体显示方法，其特征在于，
所述定位对象的图像包括所述定位对象的彩色图像；
所述根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置包括：
根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的彩色图像中的位置；
所述基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置，包括：
根据所述定位对象的面部在所述定位对象的彩色图像中的位置，获取所述定位对象的面部彩色图像；
基于所述面部彩色图像进行双眼检测，获得所述定位对象的双眼在所述面部彩色图像中的位置；
根据所述定位对象的双眼在所述面部彩色图像中的位置，确定所述定位对象的双眼在所述定位对象的彩色图像中的位置。
4.根据权利要求3所述的裸眼立体显示方法，其特征在于，
所述根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的彩色图像中的位置，包括：
调用所述三维体感摄像机提供的应用程序接口API函数，将所述面部的空间位置信息代入所述API函数，获取所述API函数返回的所述定位对象的面部在所述定位对象的彩色图像中的位置；
或者，
利用预先标定的所述三维体感摄像机的彩色相机拍摄参数对所述面部的空间位置信息进行坐标变换，获取所述定位对象的面部在所述定位对象的彩色图像中的位置。
5.根据权利要求3所述的裸眼立体显示方法，其特征在于，
所述基于所述面部彩色图像进行双眼检测，获得所述定位对象的双眼在所述面部彩色图像中的位置包括：
采用人脸对齐算法检测所述面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，所述人脸特征点为双眼处的特征点，或者，所述人脸特征点为眉毛和双眼处的特征点，或者，所述人脸特征点为双眼和脸部轮廓处的特征点，或者，所述人脸特征点为眉毛、双眼和脸部轮廓处的特征点；
根据所述检测到的人脸特征点的位置，确定所述定位对象的双眼在所述面部彩色图像中的位置。
6.根据权利要求3所述的裸眼立体显示方法，其特征在于，所述根据所述定位对象的双眼在所述面部彩色图像中的位置，确定所述定位对象的双眼在所述定位对象的彩色图像中的位置包括：
计算所述定位对象的左眼在所述面部彩色图像中的横坐标值与第一值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的横坐标值；
计算所述定位对象的左眼在所述面部彩色图像中的纵坐标值与第二值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的纵坐标值；
计算所述定位对象的右眼在所述面部彩色图像中的横坐标值与所述第一值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的横坐标值；
计算所述定位对象的右眼在所述面部彩色图像中的纵坐标值与所述第二值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的纵坐标值；
其中，所述第一值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，所述第二值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。
7.根据权利要求3所述的裸眼立体显示方法，其特征在于，
所述定位对象的图像还包括所述定位对象的深度图像；
所述根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息包括：
根据所述双眼在所述定位对象的彩色图像中的位置，获取所述定位对象的双眼在所述定位对象的深度图像中的位置处的深度值；
根据所述深度值以及所述定位对象的双眼在所述定位对象的彩色图像中的位置，确定所述双眼的空间位置信息。
8.根据权利要求7所述的裸眼立体显示方法，其特征在于，所述根据所述深度值以及所述定位对象的双眼在所述定位对象的彩色图像中的位置，确定所述双眼的空间位置信息包括：
按照公式确定所述双眼的空间位置信息，其中，表示所述双眼的空间位置坐标，D表示所述深度值，K表示所述三维体感摄像机中彩色相机的内参矩阵，K-1表示所述内参矩阵的逆矩阵，表示所述定位对象的双眼在所述定位对象的彩色图像中的位置。
9.一种裸眼立体显示装置，其特征在于，包括：
获取模块，用于获取三维体感摄像机提供的定位对象的骨架信息和所述定位对象的图像；
第一处理模块，用于根据所述骨架信息确定所述定位对象的面部的空间位置信息；
第二处理模块，用于根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的图像中的位置；
第三处理模块，用于基于所述定位对象的面部在所述定位对象的图像中的位置以及所述定位对象的图像进行双眼检测，获得所述定位对象的双眼在所述定位对象的图像中的位置；
第四处理模块，用于根据所述双眼在所述定位对象的图像中的位置，确定所述双眼的空间位置信息；
显示模块，用于根据所述双眼的空间位置信息，进行裸眼立体显示，以使所述定位对象观看到的显示内容与所述双眼的空间位置相适配。
10.根据权利要求9所述的裸眼立体显示装置，其特征在于，所述第一处理模块具体用于：
将所述骨架信息中的头部位置向左偏移第一预设值，得到所述定位对象面部区域的左边界值；
将所述骨架信息中的头部位置向右偏移第二预设值，得到所述定位对象面部区域的右边界值；
将所述骨架信息中的头部位置向上偏移第三预设值，得到所述定位对象面部区域的上边界值；
将所述骨架信息中的头部位置向下偏移第四预设值，得到所述定位对象面部区域的下边界值；
将所述左边界值、所述右边界值、所述上边界值和所述下边界值所限定的区域的位置信息，确定为所述定位对象的面部的空间位置信息。
11.根据权利要求9或10所述的裸眼立体显示装置，其特征在于，
所述定位对象的图像包括所述定位对象的彩色图像；
所述第二处理模块具体用于：
根据所述面部的空间位置信息，确定所述定位对象的面部在所述定位对象的彩色图像中的位置；
所述第三处理模块包括：第一获取子模块、第二获取子模块和确定子模块；
所述第一获取子模块，用于根据所述定位对象的面部在所述定位对象的彩色图像中的位置，获取所述定位对象的面部彩色图像；
所述第二获取子模块，用于基于所述面部彩色图像进行双眼检测，获得所述定位对象的双眼在所述面部彩色图像中的位置；
所述确定子模块，用于根据所述定位对象的双眼在所述面部彩色图像中的位置，确定所述定位对象的双眼在所述定位对象的彩色图像中的位置。
12.根据权利要求11所述的裸眼立体显示装置，其特征在于，
所述第二处理模块具体用于：
调用所述三维体感摄像机提供的应用程序接口API函数，将所述面部的空间位置信息代入所述API函数，获取所述API函数返回的所述定位对象的面部在所述定位对象的彩色图像中的位置；
或者，
利用预先标定的所述三维体感摄像机的彩色相机拍摄参数对所述面部的空间位置信息进行坐标变换，获取所述定位对象的面部在所述定位对象的彩色图像中的位置。
13.根据权利要求11所述的裸眼立体显示装置，其特征在于，所述第二获取子模块具体用于：
采用人脸对齐算法检测所述面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，所述人脸特征点为双眼处的特征点，或者，所述人脸特征点为眉毛和双眼处的特征点、或者，所述人脸特征点为双眼和脸部轮廓处的特征点，或者，所述人脸特征点为眉毛、双眼和脸部轮廓处的特征点；
根据所述检测到的人脸特征点的位置，确定所述定位对象的双眼在所述面部彩色图像中的位置。
14.根据权利要求11所述的裸眼立体显示装置，其特征在于，所述确定子模块具体用于：
计算所述定位对象的左眼在所述面部彩色图像中的横坐标值与第一值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的横坐标值；
计算所述定位对象的左眼在所述面部彩色图像中的纵坐标值与第二值的和，将所得和值作为所述定位对象的左眼在所述定位对象的彩色图像中的纵坐标值；
计算所述定位对象的右眼在所述面部彩色图像中的横坐标值与所述第一值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的横坐标值；
计算所述定位对象的右眼在所述面部彩色图像中的纵坐标值与所述第二值的和，将所得和值作为所述定位对象的右眼在所述定位对象的彩色图像中的纵坐标值；
其中，所述第一值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，所述第二值为所述定位对象的面部在所述定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。
15.根据权利要求11所述的裸眼立体显示装置，其特征在于，
所述定位对象的图像还包括所述定位对象的深度图像；
所述第四处理模块具体用于：
根据所述双眼在所述定位对象的彩色图像中的位置，获取所述定位对象的双眼在所述定位对象的深度图像中的位置处的深度值；
根据所述深度值以及所述定位对象的双眼在所述定位对象的彩色图像中的位置，确定所述双眼的空间位置信息。
16.根据权利要求15所述的裸眼立体显示装置，其特征在于，所述第四处理模块具体用于：
按照公式确定所述双眼的空间位置信息，其中，表示所述双眼的空间位置坐标，D表示所述深度值，K表示所述三维体感摄像机中彩色相机的内参矩阵，K-1表示所述内参矩阵的逆矩阵，表示所述定位对象的双眼在所述定位对象的彩色图像中的位置。
17.一种裸眼立体显示设备，其特征在于，包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～8任一项所述的裸眼立体显示方法。
18.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的裸眼立体显示方法。
CN201711420030.8A 2017-12-25 2017-12-25 裸眼立体显示方法及装置、设备和计算机可读存储介质 Withdrawn CN109963140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711420030.8A CN109963140A (zh) 2017-12-25 2017-12-25 裸眼立体显示方法及装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711420030.8A CN109963140A (zh) 2017-12-25 2017-12-25 裸眼立体显示方法及装置、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109963140A true CN109963140A (zh) 2019-07-02

Family

ID=67020948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711420030.8A Withdrawn CN109963140A (zh) 2017-12-25 2017-12-25 裸眼立体显示方法及装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109963140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885367A (zh) * 2020-07-20 2020-11-03 上海青研科技有限公司 显示装置及应用方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597518A (zh) * 2011-06-06 2014-02-19 微软公司 生成反映玩家外观的化身
CN104504856A (zh) * 2014-12-30 2015-04-08 天津大学 基于Kinect及人脸识别的疲劳驾驶检测方法
CN104536578A (zh) * 2015-01-13 2015-04-22 京东方科技集团股份有限公司 裸眼3d显示装置的控制方法及装置、裸眼3d显示装置
CN105469073A (zh) * 2015-12-16 2016-04-06 安徽创世科技有限公司 一种基于Kinect的驾驶员接打电话监控方法
CN105930821A (zh) * 2016-05-10 2016-09-07 上海青研信息技术有限公司 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597518A (zh) * 2011-06-06 2014-02-19 微软公司 生成反映玩家外观的化身
CN104504856A (zh) * 2014-12-30 2015-04-08 天津大学 基于Kinect及人脸识别的疲劳驾驶检测方法
CN104536578A (zh) * 2015-01-13 2015-04-22 京东方科技集团股份有限公司 裸眼3d显示装置的控制方法及装置、裸眼3d显示装置
CN105469073A (zh) * 2015-12-16 2016-04-06 安徽创世科技有限公司 一种基于Kinect的驾驶员接打电话监控方法
CN105930821A (zh) * 2016-05-10 2016-09-07 上海青研信息技术有限公司 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置
CN106991654A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 基于深度的人体美化方法和装置及电子装置
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885367A (zh) * 2020-07-20 2020-11-03 上海青研科技有限公司 显示装置及应用方法

Similar Documents

Publication Publication Date Title
US11199706B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
Vallino Interactive augmented reality
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN109801379A (zh) 通用的增强现实眼镜及其标定方法
CN106959759A (zh) 一种数据处理方法及装置
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
CN109700550A (zh) 一种用于牙科手术的增强现实方法及装置
CN107071388A (zh) 一种立体增强现实显示方法及装置
KR20170044318A (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
CN108282650A (zh) 一种裸眼立体显示方法、装置、系统及存储介质
CN108235778A (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
CN109961473A (zh) 双眼定位方法及装置、电子设备和计算机可读存储介质
WO2015130309A1 (en) Customizable profile to modify an identified feature in video feed
CN109963140A (zh) 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN108446595A (zh) 一种空间定位方法、装置、系统及存储介质
CN100461855C (zh) 一种广角镜头下的视频实时校正方法
CN111915739A (zh) 一种实时三维全景信息互动影息系统
CN108616736A (zh) 用于立体显示的跟踪定位方法及装置
CN106408666A (zh) 混合现实实境演示方法
US20230139989A1 (en) Videoconference method and videoconference system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190702