CN112752085A - 基于人眼跟踪的裸眼3d视频播放系统及方法 - Google Patents

基于人眼跟踪的裸眼3d视频播放系统及方法 Download PDF

Info

Publication number
CN112752085A
CN112752085A CN202011599775.7A CN202011599775A CN112752085A CN 112752085 A CN112752085 A CN 112752085A CN 202011599775 A CN202011599775 A CN 202011599775A CN 112752085 A CN112752085 A CN 112752085A
Authority
CN
China
Prior art keywords
video
human eye
eye tracking
tracking
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011599775.7A
Other languages
English (en)
Inventor
桑新柱
王葵如
邢树军
张恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011599775.7A priority Critical patent/CN112752085A/zh
Publication of CN112752085A publication Critical patent/CN112752085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

本发明提供一种基于人眼跟踪的裸眼3D视频播放系统及方法,该系统包括:人眼跟踪模块,用于在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;视点排布矩阵计算模块,用于根据播放视频文件的显示器终端的显示器参数和人眼实时坐标数据,获取视点排布二维矩阵;立体图像合成模块,用于根据视点排布二维矩阵,获取视频文件中当前时刻的两幅视差图像,得到对应的立体视频图像,其中,视频文件是通过Android系统进行播放的。本发明通过加入人眼跟踪功能,解决移动终端平台下的裸眼3D视频播放系统的伪立体图像的问题。

Description

基于人眼跟踪的裸眼3D视频播放系统及方法
技术领域
本发明涉及裸眼3D显示技术领域,尤其涉及一种基于人眼跟踪的裸眼3D视频播放系统及方法。
背景技术
在Windows平台下,视频播放系统播放单个视频文件,视频文件中的每一个画面都包含两幅或多幅视差图像。根据两视点(或多视点)的视点排布二维矩阵,将两幅(或多幅)视差图像合成为单幅立体图像,并在自由立体显示器上显示,实现裸眼3D效果。
虽然Windows操作系统在电脑操作系统中的市场占有率很高,但是在手机和平板电脑领域的市场占有率却很低。因此,在智能移动终端领域,Windows平台下的裸眼3D视频播放系统在便携性方面不如Android系统,无法做到让观看者随时随地享受裸眼3D的盛宴。从而导致视频播放系统无法做到更好的普及。
现有Android平台下的两视点(多视点)裸眼3D视频播放系统,会出现伪立体图像的问题,导致观看者的左眼看到(完整的)右视差图像,右眼看到(完整的)左视差图像,裸眼3D播放效果还有待提高。因此,现在亟需一种基于人眼跟踪的裸眼3D视频播放系统及方法来解决上述问题。
发明内容
针对现有技术存在的问题,本发明提供一种基于人眼跟踪的裸眼3D视频播放系统及方法。
本发明提供一种基于人眼跟踪的裸眼3D视频播放系统,包括:
人眼跟踪模块,用于在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;
视点排布矩阵计算模块,用于根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;
立体图像合成模块,用于根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;
其中,所述视频文件是通过Android系统进行播放的。
根据本发明提供的一种基于人眼跟踪的裸眼3D视频播放系统,所述基于人眼跟踪的裸眼3D视频播放系统设置在Android平台。
根据本发明提供的一种基于人眼跟踪的裸眼3D视频播放系统,所述人眼跟踪模块设置在第一Android平台;除所述人眼跟踪模块外,基于人眼跟踪的裸眼3D视频播放系统设置在第二Android平台,其中,所述第一Android平台和所述第二Android平台之间通过无线通信进行数据传输。
根据本发明提供的一种基于人眼跟踪的裸眼3D视频播放系统,所述系统还包括:数据持久化模块,用于存储和读取当前播放视频文件的显示器终端的显示参数。
根据本发明提供的一种基于人眼跟踪的裸眼3D视频播放系统,所述系统还包括:本地视频查找与显示模块,用于查找视频播放终端中的本地视频,并以列表的形式显示所述本地视频的信息。
根据本发明提供的一种基于人眼跟踪的裸眼3D视频播放系统,所述系统还包括:视频播放控制模块,用于对视频文件的播放过程进行控制。
本发明还提供一种基于人眼跟踪的裸眼3D视频播放方法,包括:
在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;
根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;
根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;
其中,所述视频文件是通过Android系统进行播放的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述基于人眼跟踪的裸眼3D视频播放方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述基于人眼跟踪的裸眼3D视频播放方法的步骤。
本发明提供的基于人眼跟踪的裸眼3D视频播放系统及方法,通过加入人眼跟踪功能,解决移动终端平台下的裸眼3D视频播放系统的伪立体图像的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于人眼跟踪的裸眼3D视频播放系统的结构示意图;
图2为本发明提供的视点排布矩阵的示意图;
图3为本发明提供的自由立体显示器的原理示意图;
图4为本发明提供的基于人眼跟踪的3D视频播放方法的流程示意图;
图5为本发明提供的基于人眼跟踪的3D视频播放方法的整体流程图;
图6为本发明提供的基于人眼跟踪的裸眼3D视频播放方法的数据流示意图;
图7为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
3D成像是靠人的两只眼睛的视觉差产生的,在现实生活中,人的两眼(瞳孔)之间一般会有8厘米左右的距离,在观看某个物体时,两只眼睛有一个角度差,使得左眼和右眼看到的图像稍有不同,然后在大脑中将两幅稍有不同的图像融合从而产生立体感。
在Android平台下,视频播放系统播放单个视频文件,视频文件中的每一个画面都包含两幅(多幅)视差图像,其中,视差图像是指多幅稍有不同的图像,人的两只眼睛分别看到其中任意两幅图像,就能够产生立体感。根据两视点(多视点)的视点排布二维矩阵,将两幅(多幅)视差图像按照一定的规则(即视点排布)合成为单幅立体图像,并在自由立体显示器(即移动终端的屏幕)上显示,当观察者的双眼分别看到任意的两幅视差图像时,能够产生立体感,从而实现裸眼3D效果。
由于一幅完整的视差图像共有两幅,分为左视差图像和右视差图像,只有当观看者的左眼看到左视差图像,右眼看到右视差图像时,才能在大脑中产生正确的立体图像。然而,当观看者的左眼看到(完整的)右视差图像,右眼看到(完整的)左视差图像时,会导致伪立体图像问题。
图1为本发明提供的基于人眼跟踪的裸眼3D视频播放系统的结构示意图,如图1所示,本发明提供了一种基于人眼跟踪的裸眼3D视频播放系统,包括:
人眼跟踪模块101,用于在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据。
需要说明的是,基于人眼跟踪的裸眼3D视频播放系统应用于Android移动终端,在本发明中,以Android平台进行说明。通过移动终端的前置摄像头拍摄观看者,获得拍摄画面后,计算画面中观看者的眼睛的坐标(即屏幕坐标,二维)。在本发明中,人眼跟踪模块101使用Android系统中的Camera2 API提供的人眼跟踪功能,通过在CaptureRequest.Builder中传入CaptureRequest.STATISTICS_FACE_DETECT_MODE参数,从而开启人眼跟踪功能,并通过连续拍摄画面,计算得到观看者的双眼在摄像头拍摄到的画面中的屏幕坐标。
视点排布矩阵计算模块102,用于根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵。
在本发明中,基于人眼跟踪的裸眼3D视频播放系统,需要根据从人眼跟踪模块101得到的人眼坐标数据,在GPU中实时计算视点排布二维矩阵,其中,视点排布,即多幅视差图像合成为单幅立体图像的规则。图2为本发明提供的视点排布矩阵的示意图,可参考图2所示,视点排布是一个二维矩阵,矩阵中的每一个位置都与显示器上的每一个像素一一对应,矩阵中的每一个位置上的数值表示对应位置的像素的视差图像序号。如图2所示,为一个视点排布图,它是一个27×9的二维矩阵,其对应于分辨率为27×9的显示器,第1行第2个位置的值为2,表示在显示器的第1行第2个位置的像素应该显示第2幅视差图像,显示器的第1行第2个位置的像素的像素值等于第2幅视差图像的第1行第2个位置像素的像素值。
立体图像合成模块103,用于根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;
其中,所述视频文件是通过Android系统进行播放的。
在本发明中,根据视点排布二维矩阵,将两幅视差图像合成单幅立体图像。在立体图像合成模块103中,首先,需要编写顶点着色器和片段着色器的glsl文件,实现视点排布二维矩阵的实时计算功能和立体图像合成功能;然后,编写glSurfaceView.Render的实现类,并在实现类中加载和使用glsl文件;最后,通过视频播放控制的MediaPlayer.setRender()函数,并传入实现类,将立体图像合成模块103加入到视频播放系统中。需要说明的是,在本发明中,对于本发明的裸眼3D视频播放系统的显示器,通过在普通2D显示器前,加上一些分光器件(例如狭缝光栅),使得不同的视差图像向不同的方向传播。图3为本发明提供的自由立体显示器的原理示意图,可参考图3所示,观看者站在视差图像的传播方向上,不需要佩戴辅助设备,双眼就能够看到不同的图像,从而达到立体效果。如图3所示,为4视点的自由立体显示器原理图,视点排布标注在左侧。可以看到4幅视差图像在2D显示面板上以像素为单位交替显示,观看者的单只眼睛在1号、2号、3号和4号位置,将分别看到视差图像1、视差图像2、视差图像3和视差图像4。
本发明提供的基于人眼跟踪的裸眼3D视频播放系统,通过加入人眼跟踪功能,解决移动终端平台下的裸眼3D视频播放系统的伪立体图像的问题。
在上述实施例的基础上,所述基于人眼跟踪的裸眼3D视频播放系统设置在Android平台。
在本发明中,通过使用Android Studio,在开源、便携性较高以及普及率最高的Android操作系统上开发基于人眼跟踪的裸眼3D视频播放系统,相比于运行在Windows系统下,便携性更高。
在上述实施例的基础上,所述人眼跟踪模块设置在第一Android平台;除所述人眼跟踪模块外,基于人眼跟踪的裸眼3D视频播放系统设置在第二Android平台,其中,所述第一Android平台和所述第二Android平台之间通过无线通信进行数据传输。
在本发明中,当Android平台下加入人眼跟踪功能后,对设备的性能要求较高,在低性能设备上会降低视频播放系统的运行流畅度。因此,对于低性能Android设备,需要通过降低便携性来提高系统流畅度。在一实施例中,基于人眼跟踪的裸眼3D视频播放系统需要在两个Android设备上运行,在第一个Android设备上进行人眼跟踪,在第二块设备上进行视频播放、计算视点排布以及立体图像合成,两块设备之间利用Wifi和Socket实现两个设备的实时通信,从而将人眼跟踪模块得到的观看者的眼睛坐标数据传递到视点排布矩阵计算模块,使得在低性能设备中流畅运行。
在上述实施例的基础上,所述系统还包括:数据持久化模块,用于存储和读取当前播放视频文件的显示器终端的显示参数。
在本发明中,在计算视点排布二维矩阵时,不仅需要考虑到人眼坐标,还需要考虑到自由立体显示器的一些显示参数(例如:线数、倾斜角度),对于同一块自由立体显示器,这些显示参数是不变的,因此需要将这些显示参数存储到Android设备中。在本发明中,数据持久化模块使用Android系统提供的SharedPreferences API,将显示器显示参数保存到xml文件中。
在上述实施例的基础上,所述系统还包括:本地视频查找与显示模块,用于查找视频播放终端中的本地视频,并以列表的形式显示所述本地视频的信息。
在本发明中,基于人眼跟踪的裸眼3D视频播放系统需要播放本地视频,因此需要查找到本地视频,并以列表的形式显示出这些视频的详细信息。本地视频查找与显示模块使用Android系统提供的内容提供者中的“MediaStore.Video.Media.External_Content_Uri”来查找本地视频,并使用Android视图ListView以列表的形式显示本地视频的详细信息。
在上述实施例的基础上,所述系统还包括:视频播放控制模块,用于对视频文件的播放过程进行控制。
在本发明中,当选择了一个本地视频文件后,就需要播放该视频文件,并在播放过程中提供暂停、停止、进度条等功能。在本发明中,视频播放控制模块使用Android系统的MediaPlayer API进行视频播放控制,用于打开视频文件、提供视频播放过程中的基本控制功能。
图4为本发明提供的基于人眼跟踪的3D视频播放方法的流程示意图,如图4所示,本发明提供了一种基于人眼跟踪的裸眼3D视频播放方法,包括:
步骤401,在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;
步骤402,根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;
步骤403,根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像。
在本发明中,图5为本发明提供的基于人眼跟踪的3D视频播放方法的整体流程图,可参考图5所示,用户进入视频播放系统后,可以设置并保存显示器的部分参数;在用户进入播放页面后,首先以列表的形式通过显示器,展示Android系统中所有的本地视频文件,然后由用户选择需要播放的本地视频文件,然后开始进行视频播放。在视频播放过程中,需要进行人眼跟踪功能,从而得到观看者眼睛图像在拍摄画面中的坐标,针对当前移动终端性能较低的情况,可通过在另一个移动终端设备上设置人眼跟踪功能,使得该功能和裸眼3D播放功能通过两个移动终端实现,从而提高视频播放的流畅度。具体地,在一实施例中,通过第一Android设备对用户眼睛进行人眼跟踪,获取人眼实时坐标数据;然后,通过无线网络将人眼实时坐标数据传递到第二Android设备;在第二Android设备上,根据裸眼3D视频播放系统显示器的显示参数和人眼实时坐标数据,获取视点排布二维矩阵;最后,根据视点排布二维矩阵,获取视频文件中当前时刻的两幅视差图像,并将两幅视差图像进行合成,得到对应的立体视频图像。
进一步地,根据观看者的眼睛坐标数据和显示器的部分参数实时计算视点排布二维矩阵,并根据该矩阵将视频文件中的两幅视差图像合成单幅立体图像;最后,立体图像在自由立体显示器上显示出来。在视频播放过程中,可通过在GPU内进行视点排布的计算以及单幅立体图像的合成。此外,移动用户终端可以对视频画面进行一些基本控制,包括:播放、暂停和进度条等操作。
在一实施例中,图6为本发明提供的基于人眼跟踪的裸眼3D视频播放方法的数据流示意图,可参考图6所示,为Android平台下的基于人眼跟踪的裸眼3D视频播放系统的数据流图。其中,事务包括用户的一系列操作,包括视频文件选择、显示参数的设置、标准/低性能设备的选择。视频播放控制信息包括用户选择的视频文件URI、用户标准/低性能设备的选择。如果是标准设备,那么人眼跟踪和计算视点排布将在同一个设备上运行。如果是低性能设备,那么人眼跟踪和计算视点排布将在两个设备上运行,并利用Wifi网络通信进行数据传输。
本发明提供的基于人眼跟踪的裸眼3D视频播放方法,通过加入人眼跟踪功能,解决移动终端平台下的裸眼3D视频播放系统的伪立体图像的问题。
图7为本发明提供的电子设备的结构示意图,如图7所示,该电子设备可以包括:处理器(processor)701、通信接口(CommunicationsInterface)702、存储器(memory)703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令,以执行基于人眼跟踪的裸眼3D视频播放方法,该方法包括:在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;其中,所述视频文件是通过Android系统进行播放的。
此外,上述的存储器703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于人眼跟踪的裸眼3D视频播放方法,该方法包括:在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;其中,所述视频文件是通过Android系统进行播放的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的基于人眼跟踪的裸眼3D视频播放方法,该方法包括:在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;其中,所述视频文件是通过Android系统进行播放的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于人眼跟踪的裸眼3D视频播放系统,其特征在于,包括:
人眼跟踪模块,用于在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;
视点排布矩阵计算模块,用于根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;
立体图像合成模块,用于根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;
其中,所述视频文件是通过Android系统进行播放的。
2.根据权利要求1所述的基于人眼跟踪的裸眼3D视频播放系统,其特征在于,所述基于人眼跟踪的裸眼3D视频播放系统设置在Android平台。
3.根据权利要求2所述的基于人眼跟踪的裸眼3D视频播放系统,其特征在于,所述人眼跟踪模块设置在第一Android平台;除所述人眼跟踪模块外,基于人眼跟踪的裸眼3D视频播放系统设置在第二Android平台,其中,所述第一Android平台和所述第二Android平台之间通过无线通信进行数据传输。
4.根据权利要求1所述的基于人眼跟踪的裸眼3D视频播放系统,其特征在于,所述系统还包括:数据持久化模块,用于存储和读取当前播放视频文件的显示器终端的显示参数。
5.根据权利要求1所述的基于人眼跟踪的裸眼3D视频播放系统,其特征在于,所述系统还包括:本地视频查找与显示模块,用于查找视频播放终端中的本地视频,并以列表的形式显示所述本地视频的信息。
6.根据权利要求1所述的基于人眼跟踪的裸眼3D视频播放系统,其特征在于,所述系统还包括:视频播放控制模块,用于对视频文件的播放过程进行控制。
7.一种基于人眼跟踪的裸眼3D视频播放方法,其特征在于,包括:
在进行视频文件播放时,对用户眼睛进行人眼跟踪,获取人眼实时坐标数据,所述人眼实时坐标数据为在跟踪人眼的摄像头拍摄到的实时画面中,用户眼睛的二维坐标数据;
根据播放所述视频文件的显示器终端的显示器参数和所述人眼实时坐标数据,获取视点排布二维矩阵;
根据所述视点排布二维矩阵,获取所述视频文件中当前时刻的两幅视差图像,并将所述两幅视差图像进行合成,得到对应的立体视频图像;
其中,所述视频文件是通过Android系统进行播放的。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求7项所述基于人眼跟踪的裸眼3D视频播放方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求7所述基于人眼跟踪的裸眼3D视频播放方法的步骤。
CN202011599775.7A 2020-12-29 2020-12-29 基于人眼跟踪的裸眼3d视频播放系统及方法 Pending CN112752085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011599775.7A CN112752085A (zh) 2020-12-29 2020-12-29 基于人眼跟踪的裸眼3d视频播放系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011599775.7A CN112752085A (zh) 2020-12-29 2020-12-29 基于人眼跟踪的裸眼3d视频播放系统及方法

Publications (1)

Publication Number Publication Date
CN112752085A true CN112752085A (zh) 2021-05-04

Family

ID=75647152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011599775.7A Pending CN112752085A (zh) 2020-12-29 2020-12-29 基于人眼跟踪的裸眼3d视频播放系统及方法

Country Status (1)

Country Link
CN (1) CN112752085A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079765A (zh) * 2021-11-17 2022-02-22 京东方科技集团股份有限公司 图像显示方法、装置及系统
CN115866232A (zh) * 2022-11-23 2023-03-28 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质
CN116184686A (zh) * 2022-05-10 2023-05-30 华为技术有限公司 立体显示装置和交通工具

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174182A (zh) * 2017-12-30 2018-06-15 上海易维视科技股份有限公司 三维跟踪式裸眼立体显示视区调整方法及显示系统
CN108600733A (zh) * 2018-05-04 2018-09-28 成都泰和万钟科技有限公司 一种基于人眼跟踪的裸眼3d显示方法
WO2019009243A1 (ja) * 2017-07-05 2019-01-10 京セラ株式会社 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
CN110662012A (zh) * 2019-09-18 2020-01-07 深圳市维超智能科技有限公司 一种裸眼3d显示效果优化的排图方法、系统及电子设备
EP3617774A1 (en) * 2017-04-26 2020-03-04 Kyocera Corporation Three-dimensional display device, three-dimensional display system, head-up display system, and mobile body
CN112135115A (zh) * 2020-08-21 2020-12-25 深圳市立体通科技有限公司 一种裸眼3d显示方法及智能终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3617774A1 (en) * 2017-04-26 2020-03-04 Kyocera Corporation Three-dimensional display device, three-dimensional display system, head-up display system, and mobile body
WO2019009243A1 (ja) * 2017-07-05 2019-01-10 京セラ株式会社 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
CN108174182A (zh) * 2017-12-30 2018-06-15 上海易维视科技股份有限公司 三维跟踪式裸眼立体显示视区调整方法及显示系统
CN108600733A (zh) * 2018-05-04 2018-09-28 成都泰和万钟科技有限公司 一种基于人眼跟踪的裸眼3d显示方法
CN110662012A (zh) * 2019-09-18 2020-01-07 深圳市维超智能科技有限公司 一种裸眼3d显示效果优化的排图方法、系统及电子设备
CN112135115A (zh) * 2020-08-21 2020-12-25 深圳市立体通科技有限公司 一种裸眼3d显示方法及智能终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079765A (zh) * 2021-11-17 2022-02-22 京东方科技集团股份有限公司 图像显示方法、装置及系统
CN116184686A (zh) * 2022-05-10 2023-05-30 华为技术有限公司 立体显示装置和交通工具
CN115866232A (zh) * 2022-11-23 2023-03-28 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质
CN115866232B (zh) * 2022-11-23 2023-06-02 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
CN112752085A (zh) 基于人眼跟踪的裸眼3d视频播放系统及方法
US20120044249A1 (en) Method and apparatus for processing three-dimensional images
WO2003081921A1 (fr) Procede de traitement d'images tridimensionnelles et dispositif
JP2004221700A (ja) 立体画像処理方法および装置
US20060171028A1 (en) Device and method for display capable of stereoscopic vision
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
JP2004007395A (ja) 立体画像処理方法および装置
JP2003284093A (ja) 立体画像処理方法および装置
JP2004007396A (ja) 立体画像処理方法および装置
US20170225077A1 (en) Special video generation system for game play situation
CN113382224B (zh) 一种基于全息沙盘的交互手柄展示方法及装置
JP2004221699A (ja) 立体画像処理方法および装置
JP2004220127A (ja) 立体画像処理方法および装置
US20210058611A1 (en) Multiviewing virtual reality user interface
CN111405262B (zh) 一种视点信息生成方法、装置、系统、设备和介质
CN113206991A (zh) 全息显示方法、系统、计算机程序产品及存储介质
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
CN110784728A (zh) 一种图像数据处理方法、装置、以及计算机可读存储介质
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
EP4030752A1 (en) Image generation system and method
CN115442580B (zh) 一种便携式智能设备裸眼3d图片效果处理方法
US11954786B2 (en) Reprojection for high field rate displays
Schild et al. Integrating stereoscopic video in 3D games
CN212969912U (zh) 一种头戴式影院系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210504