CN108989785B - 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 - Google Patents
基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 Download PDFInfo
- Publication number
- CN108989785B CN108989785B CN201810958977.2A CN201810958977A CN108989785B CN 108989785 B CN108989785 B CN 108989785B CN 201810958977 A CN201810958977 A CN 201810958977A CN 108989785 B CN108989785 B CN 108989785B
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- current
- layout
- coordinate system
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种基于人眼跟踪的裸眼3D显示方法、装置、终端和介质。该方法包括:确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。通过采用上述技术方案,实现了不同姿态的移动终端在进行裸眼3D显示时能共用相同的排图参数。
Description
技术领域
本发明实施例涉及裸眼3D技术领域,尤其涉及一种基于人眼跟踪的裸眼3D显示方法、装置、终端和介质。
背景技术
裸眼3D显示技术是指无需佩戴专用的3D眼镜,观者即可直接以肉眼观赏三维影像,呈现3D效果的一种3D显示技术。在实现裸眼3D显示的过程中,如果在没有进行人眼跟踪的情况下,固定的光线分布,需要用户在前后左右寻找合适的观看位置,才能看到理想的立体效果。当观看位置不合适时,本应进入左眼的光线可能会进入右眼,此时右眼既可看到左图又可看到右图,容易产生串扰(crosstalk)现象,用户体验较差。因此,需实时对人眼位置进行追踪,并根据采集到的人眼位置对显示内容进行调整。
在对显示内容进行调整时,一般都需要对一些排图参数进行标定,这些参数一般都与摄像头在显示屏所在坐标系中的位置相关,即摄像头的位置对前期排图参数的标定和后续显示内容的调整有直接影响。比如,摄像头的位置决定了排图内容的起始偏移量以及排图起点的位置。因此,如果摄像头的位置不同,将直接影响裸眼3D的显示效果。
当手机或平板电脑等移动终端在实现裸眼3D显示效果时,这些移动终端处于不同姿态均可追踪到人眼位置。但是,现有技术中,在对排图内容进行调整时,排图坐标系一般采用移动终端默认的屏幕坐标系,因此当移动终端处于不同姿态时,摄像头的位置也不同,这将导致排图起点的位置也不相同。因此,在利用不同姿态的移动终端进行人眼追踪时,如果采用相同的排图参数,则显示屏中的像素所要显示的视点图像可能会发生混乱,从而不能实现裸眼3D显示效果。如果要利用不同姿态的移动终端来追踪人眼位置,则需要对不同姿态的移动终端所对应的排图参数分别进行标定,但这样则增加了研发人员的标定工作,费时费力。
发明内容
本发明实施例提供一种基于人眼跟踪的裸眼3D显示方法、装置、终端和介质,以实现不同姿态的移动终端在进行裸眼3D显示时能共用相同的排图参数。
第一方面,本发明实施例提供了一种基于人眼跟踪的裸眼3D显示方法,该方法包括:
确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
第二方面,本发明实施例还提供了一种人眼空间位置的标定装置,该装置包括:
当前排图坐标系确定模块,用于确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
成像坐标获取模块,用于获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
显示内容调整模块,用于根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
第三方面,本发明实施例还提供了一种终端,该终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的基于人眼跟踪的裸眼3D显示方法。
本发明实施例的技术方案,当移动终端的当前姿态发生改变时,当前排图坐标系与移动终端屏幕的相对位置保持不变,即当移动终端旋转时,当前排图坐标系可看做以坐标系的原点为旋转中心,按照与移动终端相同的旋转方向和角度相应地发生旋转,从而使得摄像头和显示屏中每个像素在旋转前后的排图坐标系中的坐标保持不变。相对于现有技术中采用固定不变的屏幕坐标系作为排图坐标系的方式,本发明实施例的技术方案,在利用移动终端进行人眼跟踪和排图时,无论移动终端处于何种姿态,仍可按照预先已经标定的摄像头位置和排图参数进行排图,而无需在移动终端处于不同姿态时,分别标定不同姿态对应的排图参数。在利用移动终端进行裸眼3D显示时,通过获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标,并根据该成像坐标和预先已经标定的排图参数,可在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容,从而达到裸眼3D显示效果。
附图说明
图1为本发明实施例一提供的一种基于人眼跟踪的裸眼3D显示方法的流程图;
图2a为本发明实施例一提供的移动终端处于正向横屏姿态时的坐标系示意图;
图2b为本发明实施例一提供的移动终端处于正向竖屏姿态时的坐标系示意图;
图2c为本发明实施例一提供的移动终端处于反向横屏姿态时的坐标系示意图;
图2d为本发明实施例一提供的移动终端处于反向竖屏姿态时的坐标系示意图;
图3为本发明实施例二提供的一种基于人眼跟踪的裸眼3D显示的流程图;
图4为本发明实施例三提供的一种基于人眼跟踪的裸眼3D显示方法的流程图;
图5为本发明实施例三提供的一种预设光学分布图的条纹跟随双眼中心位置移动的示意图;
图6本发明实施例四提供的一种基于人眼跟踪的裸眼3D控制系统的结构框图;
图7为本发明实施例五提供的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于人眼跟踪的裸眼3D显示方法的流程图,该方法可以由基于人眼跟踪的裸眼3D显示装置来执行,该装置可以通过软件和/或硬件的方式实现,该装置可以集成在显示内容的播放控制器中。参见图1,本实施例的方法具体包括:
S110、确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,当前排图坐标系在移动终端旋转的过程中,与移动终端屏幕的相对位置保持不变。
其中,移动终端的当前姿态包括正向横屏姿态、正向竖屏姿态、反向横屏姿态和反向竖屏姿态。可选的,可利用移动终端内部的陀螺仪确定移动终端的当前姿态。不同姿态对应的排图坐标系的位置不同。
其中,正向横屏姿态为当移动终端的显示屏面向观看者时,摄像头位于移动终端的左侧;反向横屏姿态为当移动终端的显示屏面向观看者时,摄像头位于移动终端的右侧;正向竖屏姿态为当移动终端的显示屏面向观看者时,摄像头位于移动终端的上侧;反向竖屏姿态为当移动终端的显示屏面向观看者时,摄像头位于移动终端的下侧。
示例性的,本实施例中当前排图坐标系在移动终端旋转的过程中,与移动终端屏幕的相对位置保持不变,可以为:当前排图坐标系与屏幕上的预设参考点的相对位置保持不变。其中,预设参考点可以为屏幕上的任意一点,优选为正向横屏时屏幕的左上角,本实施例对其不做具体限定。在预设参考点位置确定后,本实施例中的当前排图坐标系可以为以移动终端上的预设参考点作为坐标原点,沿移动终端的长度方向作为横轴方向,沿移动终端的宽度方向作为纵轴方向。当然,原点的位置并不局限于预设参考点的位置,只要保证原点与预设参考点的相对位置不发生改变即可。
需要说明的是,本实施例中的当前排图坐标系并非移动终端固定的屏幕坐标系,由于在移动终端旋转的过程中,当前坐标系与移动终端屏幕的相对位置保持不变,可理解为当前排图坐标系跟随移动终端的旋转相应的发生旋转,即如果移动终端按照预设方向旋转设定角度,当前排图坐标系也按照预设方向旋转设定角度,因此,不管移动终端当前处于何种姿态,移动终端摄像头和屏幕中像素的坐标均不发生改变。
示例性的,图2a、图2b、图2c和图2d不同姿态时对应的坐标系位置示意图。图2a表示移动终端的正向横屏姿态、图2b表示移动终端的正向竖屏姿态,图2c表示移动终端的反向横屏姿态,图2d表示移动终端的反向竖屏姿态。对于上述任意一种姿态,均可通过移动终端中的陀螺仪进行确定,并可以移动终端上的预设参考点作为坐标原点,沿移动终端的长度方向作为横轴方向,沿移动终端的宽度方向作为纵轴方向,确定任意一种姿态所对应的排图坐标系。
如图2a和2b所示,正向竖屏姿态可看做是正向横屏姿态顺时针旋转90°后得到,相应的,图2b中的排图坐标系也可看做是图2a中的排图坐标系顺时针旋转了90°后得到的坐标系。图2c和图2d中的排图坐标系可看做是由图2a中的排图坐标系旋转分别按照顺时针方向选择180°和270°后得到的坐标系。从图2a、图2b、图2c和图2d可看出,不同移动终端姿态所对应的排图坐标系不同,但不同坐标系均是以移动终端处于正向竖屏姿态时的左上角为预设参考点,即坐标系的原点,坐标系的横轴方向为沿移动终端的长度方向、纵轴方向为沿移动终端的宽度方向,也即在移动终端旋转过程中,排图坐标系与移动终端屏幕的相对位置保持不变。相对于现有技术中移动终端屏幕的坐标系固定不变的方式,本实施例中的排图坐标系可看做以坐标原点为旋转中心,按照移动终端的旋转方向和角度跟随移动终端姿态的旋转而相应的发生旋转。例如,如果按照现有技术中固定坐标系的方式,移动终端处于正向横屏时某像素的坐标为(x,y),在正向竖屏时的坐标则为(y,x)。但如果按照本实施例提供的方式,当移动终端处于图2a~图2d中的任意一种姿态时,该像素的坐标均为(x,y)。
另外,本领域技术人员可以理解的是,摄像头位置在软件排图过程中的作用相当重要,对前期排图参数的标定和后续显示内容的调整有直接影响。一般的,预先标定的摄像头位置和排图参数均是在移动终端处于正向横屏姿态时进行标定的,并将摄像头位置作为排图起点。但由于本实施例提供的技术方案当前排图坐标系在移动终端旋转的过程中,与移动终端屏幕的相对位置保持不变,因此移动终端姿态的改变并不会影响软件排图过程中屏幕上任意一个像素的坐标,也不会影响摄像头的坐标。如果用户在利用移动终端观看3D内容的过程中,调整了移动终端的姿态,仍可按照预先标定的排图参数,并以预先标定的摄像头位置作为排图起点进行软件排图,而无需对摄像头位置和排图参数进行重新标定。
S120、获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标。
示例性的,在利用摄像头获取观看者双眼中点坐标时,可首先利用摄像头拍摄包含有观看者人脸的图像。基于人脸识别算法可识别出人脸图像,并识别出人脸图像中的左眼和右眼,进而可获取到左右眼在图像中的坐标。本实施例中,获取观看者左右眼的成像坐标是为了对人眼位置进行跟踪,以使显示屏的内容跟随人眼位置发生相应的调整,从而保证用户在不同位置均能够观看到3D效果。
S130、根据成像坐标和预设排图参数,在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容。
一般的,将摄像头在显示屏中的坐标作为排图起点,其中,预设排图参数包括:预先设定的成像瞳距与排图周期宽度之间的正比例关系的比例系数、双眼的起始偏移量和光栅膜相对于预设方向布设的倾斜角度等。上述预设排图参数均为预先标定的参数,这些参数的标定均与摄像头的位置相关,但由于本实施例中当前排图坐标系在移动终端旋转的过程中,与移动终端的相对位置保持不变,因此,摄像头在移动终端的当前姿态所对应的坐标系中的坐标,与摄像头在移动终端正向横屏姿态下的坐标相同。因此,在本实施例的当前排图坐标系中,仍然可以预先标定的摄像头位置为排图起点。
示例性的,本实施例中在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容,主要是指排图起点所对应的视点内容不发生改变,其他点的视点起始位置都发生相应的偏移。通过上述设置,在屏幕上所显示的图像跟随观看者的移动发生了相应的调整,避免了串扰现象的发生,提升了用户的观看体验。
可选的,在跟踪人眼位置对显示内容进行相应的调整时,可将人眼移动的方向划分为前后移动和上下左右移动。其中,上下左右方向这四个移动方向和对应的移动距离,均可通过成像坐标与预先标定的预设基准坐标来确定。其中,预设基准坐标为观看者双眼位置是否发生移动的参考点。为便于对人眼进行准确地跟踪,本实施例优选将预设基准坐标设置为摄像头拍摄图片的中心位置。通过比较双眼中点坐标与预设基准坐标的关系可以确定观看者双眼的移动方向,以及偏离预设基准坐标的移动距离。
示例性的,观看者前后移动也可以进行跟踪,由于观看者前后移动时,双眼在图像中的瞳距会发生相应的改变,因此,通过计算观看者左右眼在所拍摄图像中的目标成像瞳距,通过成像瞳距与排图周期宽度的比例关系,可确定目标成像瞳距所对应的目标排图周期宽度,并可按照该目标排图周期宽度对显示内容进行调整。
本发明实施例的技术方案,当移动终端的当前姿态发生改变时,当前排图坐标系与移动终端屏幕的相对位置保持不变,即当移动终端旋转时,当前排图坐标系可看按照与移动终端相同的旋转方向和角度相应地发生旋转,使得摄像头和显示屏中每个像素在旋转前后的排图坐标系中的坐标保持不变。相对于现有技术中采用固定不变的屏幕坐标系作为排图坐标系的方式,本发明实施例的技术方案,在利用移动终端进行人眼跟踪和排图时,无论移动终端处于何种姿态,仍可按照预先已经标定的摄像头位置和排图参数进行排图,而无需在移动终端处于不同姿态时,分别标定不同姿态对应的排图参数。通过获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标,并根据该成像坐标和预先已经标定的预设排图参数,可在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容,从而达到裸眼3D显示效果。
实施例二
图3为本发明实施例二提供的一种基于人眼跟踪的裸眼3D显示的流程图,本实施例在上述实施例的基础上,将预设排图参数细化为:预先设定的成像瞳距与排图周期宽度之间的正比例关系的比例系数,并对步骤“根据成像坐标和预设排图参数,在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容”进行优化,其中与上述实施例相同或相应的术语的解释在此不再赘述。参见图3,本实施例提供的方法包括:
S210、确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,当前排图坐标系在移动终端旋转的过程中,与移动终端屏幕的相对位置保持不变。
S220、获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标。
S230、根据成像坐标,计算观看者左右眼在摄像头所拍图像中的目标成像瞳距。
S240、基于预先设定的成像瞳距与排图周期宽度的比例关系和比例系数,根据目标成像瞳距确定目标排图周期的宽度。
本实施例中,预先设定的成像瞳距与排图周期宽度之间的正比例关系如下:
y=kx+b;其中,x为观看者双眼成像瞳距,y表示排图周期宽度,k和b均为预先标定的比例系数。通过上述线性关系,当摄像头拍摄到包含有观看者双眼的图像时,从图像中识别观看者双眼成像距离可以直接确定排图周期的宽度,避免了观看者距离屏幕的位置与排图周期宽度的关系之间的多次换算,简化了标定参数的个数,提升了跟踪人眼位置以对排图周期宽度进行相应处理的效率和准确性。
S250、在当前排图坐标系中以摄像头位置为排图起点,按照目标排图周期的宽度调整移动终端的显示内容。
本实施例中,在按照目标排图周期的宽度对排图内容进行调整时,可以排图基准线所在的位置为起始位置,即排图基准线上的视点位置不发生变化,使得其他视点位置发生偏移,例如,通过移动视点位置,可增加每个视点所对应的子像素个数,从而使得每个排图周期在屏幕的水平方向所对应的子像素的个数增多,即使排图周期的宽度增加。其中,在当前排图坐标系中以摄像头位置为排图起点,经过排图起点将平行于光栅膜布设方向的线段作为排图基准线。
本实施例在上述实施例的基础上进行了细化,将坐标系跟随移动终端旋转应用于对人眼的前后追踪过程中。通过基于观看者双眼成像距离与排图周期宽度之间的线性关系,可根据观看者的双眼的目标成像瞳距位置计算目标排图周期宽度,并可以当前排图坐标系中的摄像头位置为排图起点,按照目标排图周期宽度调整移动终端的显示内容,使得进入观看者双眼的光线,能够跟随观看者双眼前后位置的改变相应发生改变,避免了串扰的现象,提升了用户的观看体验。
实施例三
图4为本发明实施例三提供的一种基于人眼跟踪的裸眼3D显示方法的流程图。本实施例在上述实施例的基础上,将预设排图参数细化为:双眼的起始偏移量,所述起始偏移量为当双眼中点坐标位于预设基准坐标时时,摄像头光轴的轴心偏离排图起点的距离,所述预设基准坐标为预先标定的摄像头所拍图像的中心点。相应的,本实施例还对步骤“根据成像坐标和预设排图参数,在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容”进行优化,其中与上述实施例相同或相应的术语的解释在此不再赘述。参见图4,本实施例提供的方法包括:
S310、确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,当前排图坐标系在移动终端旋转的过程中,与移动终端屏幕的相对位置保持不变。
S320、获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标,并根据成像坐标,计算左右眼中点的中点成像坐标。
S330、通过比较中点成像坐标与预设基准坐标,确定观看者双眼的移动方向以及偏离预设基准坐标的移动距离。
本实施例中,预设排图参数还包括光栅膜相对于预设方向布设的倾斜角度。示例性的,步骤S330可以包括:根据倾斜角度、中点成像坐标以及预设基准坐标,计算中点成像坐标在预设方向偏离预设基准坐标的水平距离。
其中,预设方向可以为移动终端屏幕的长度方向(x轴方向),也可以为移动终端屏幕的宽度方向(y轴方向)。示例性的,用于达到裸眼3D效果的光栅膜可以垂直布设在显示屏的外表面,也可倾斜布设在显示屏的外表面。
优选的,若光栅膜与显示屏的底边存在一定的倾斜角度,则观看者双眼中点坐标相对于预设基准坐标在上、下、左或右任意一个方向上的移动,都可转换为在水平方向上的移动,即可以通过在水平方向上平移显示屏的显示内容解决由于双眼移动而产生的串扰现象。这样设置的好处在于,将排图的方向统一到设定的水平方向,简化了计算量,实现了裸眼3D显示效果。
S340、根据移动方向、移动距离和起始偏移量,在当前排图坐标系中以摄像头位置为排图起点,对移动终端的显示内容进行平移处理。
示例性的,步骤S340包括:计算通过步骤S330所得到的水平距离与预设排图周期的宽度之间的商值,并将得到的商值取小数部分;将计算出的小数部分的值与起始偏移量相加,得到当前排图内容在当前排图坐标系中相对于排图起点的平移量;以排图起点为平移起点,对当前排图内容按照平移量进行平移处理。
示例性的,预设排图周期的宽度可通过预设光学分布图来确定。其中,预设光学分布图为显示屏的显示内容在显示二维空间中的真实反映,因此,为了便于计算,可用预设光学分布图代替显示屏,计算摄像头拍摄的双眼位置的移动距离相对于预设光学分布图的移动距离。
其中,预设光学分布图包括交叉间隔排列的第一条纹和第二条纹。其中,第一条纹或第二条纹相对于显示屏幕底边的倾斜角度均为光栅膜的倾斜角度,每个第一条纹以及每个第二条纹每行像素点的总个数之和为预设排图周期的宽度。
具体的,图5为本发明实施例三提供的一种预设光学分布图的条纹跟随双眼中心位置移动的示意图。如图5所示,Z为摄像头光轴的轴心,C点为摄像头拍摄到的双眼中心位置,若要实现裸眼3D效果,如上述实施例所介绍的内容,C点需经过第一条纹和第二条纹的交界线,才可保证第一条纹和第二条纹分别进入左眼和右眼。因此,随着双眼中点位置的移动,需计算交界线的水平移动量offset。
示例性的,为了计算offset,可先假设摄像头光轴的轴心Z点位于第一条纹和第二条纹的交界线上,并以此轴心作为参考点。如图5所示,只要求出BC长度和一个红蓝条纹水平宽度,就可以计算出要偏移的offset值。以两幅图像为例,由于两幅图中的左图和右图顺序排列在一个条纹周期,即第一个条纹周期先排左图再排右图,第二个条纹周期也按照上述排列顺序先排左图再排右图,因此,左图和右图的排图顺序在每个条纹周期内均相同。所以,只需计算交界线的水平移动量offset占整个条纹周期的百分比即可,具体公式为:
offset=(BC/period)取小数部分。
其中,period为一个条纹周期,BC的长度可通过预先标定的条纹的倾斜角度计算得到。
在步骤S340中是假设摄像头光轴的轴心Z正好位于第一条纹和第二条纹的交界线上计算的offset。如图5所示,由于Z点并不位于交界线上,因此需利用起始偏移量的值加上交界线的偏移量即可得到当前排图内容相对于排图基准点的平移量。
本实施例在上述实施例的基础上进行了细化,将坐标系跟随移动终端旋转应用于对人眼的上下左右追踪过程中。通过将摄像头拍摄到的观看者双眼中点坐标的位置与利用该摄像头标定的预设光学分布图做比较,将观看者双眼中心位置相对于屏幕的移动转化为双眼中心坐标相对于预设光学分布图的移动。通过计算光学分布图中条纹的水平移动距离,可使得显示屏显示的内容跟随观看者双眼的移动相应的发生平移,进而保证了本应进入左眼的光线仍可进入左眼,本应进入右眼的光线仍可进入右眼,实现了裸眼3D显示效果,避免了串扰现象的发生。
实施例四
图6本发明实施例四提供的一种基于人眼跟踪的裸眼3D控制系统的结构框图。该控制系统可由软件和/或硬件实现,一般控制显示屏内容播放的播放控制器中,用于执行上述任意实施例所提供的基于人眼跟踪的裸眼3D显示方法。如图6所示,该装置包括:当前排图坐标系确定模块410、成像坐标获取模块420和显示内容调整模块430。
其中,当前排图坐标系确定模块410,用于确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
成像坐标获取模块420,用于获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
显示内容调整模块430,用于根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
本实施例的技术方案,当移动终端的当前姿态发生改变时,当前排图坐标系与移动终端屏幕的相对位置保持不变,即当移动终端旋转时,当前排图坐标系可看做按照与移动终端相同的旋转方向和角度相应地发生旋转,使得摄像头和显示屏中每个像素在旋转前后的排图坐标系中的坐标保持不变。相对于现有技术中采用固定不变的屏幕坐标系作为排图坐标系的方式,本发明实施例的技术方案,在利用移动终端进行人眼跟踪和排图时,无论移动终端处于何种姿态,仍可按照预先已经标定的摄像头位置和排图参数进行排图,而无需在移动终端处于不同姿态时,分别标定不同姿态对应的排图参数。通过获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标,并根据该成像坐标和预先已经标定的预设排图参数,可在当前排图坐标系中以摄像头位置为排图起点,调整移动终端的显示内容,从而达到裸眼3D显示效果。
在上述实施例的基础上,所述预设排图参数包括:预先设定的成像瞳距与排图周期宽度之间的正比例关系的比例系数;
相应的,所述显示内容调整模块430,具体用于:
根据所述成像坐标,计算观看者左右眼在摄像头所拍图像中的目标成像瞳距;
基于预先设定的成像瞳距与排图周期宽度的比例关系和所述比例系数,根据所述目标成像瞳距确定目标排图周期的宽度;
在所述当前排图坐标系中以所述摄像头位置为排图起点,按照所述目标排图周期的宽度调整所述移动终端的显示内容。
在上述实施例的基础上,所述预设排图参数还包括:双眼的起始偏移量,所述起始偏移量为当所述双眼中点坐标位于预设基准坐标时时,摄像头光轴的轴心偏离所述排图起点的距离,所述预设基准坐标为预先标定的摄像头所拍图像的中心点;
相应的,所述显示内容调整模块430包括:
中点成像坐标计算单元,用于根据所述成像坐标,计算左右眼中点的中点成像坐标;
移动方向和距离确定单元,用于通过比较所述中点成像坐标与所述预设基准坐标,确定所述观看者双眼的移动方向以及偏离所述预设基准坐标的移动距离;
平移处理单元,用于根据所述移动方向、所述移动距离和所述起始偏移量,在所述当前排图坐标系中以所述摄像头位置为排图起点,对所述移动终端的显示内容进行平移处理。
在上述实施例的基础上,所述预设排图参数还包括光栅膜相对于预设方向布设的倾斜角度;
相应的,所述移动方向和距离确定单元,具体用于:
根据所述倾斜角度、所述中点成像坐标以及所述预设基准坐标,计算所述中点成像坐标在所述预设方向偏离所述预设基准坐标的水平距离;
相应的,所述平移处理单元,具体用于:
计算所述水平距离与预设排图周期的宽度之间的商值,并将所述商值取小数部分;
将计算出的小数部分的值与所述起始偏移量相加,得到当前排图内容在所述当前排图坐标系中相对于排图起点的平移量;
以所述排图起点为平移起点,对所述当前排图内容按照所述平移量进行平移处理。
在上述实施例的基础上,所述当前姿态包括正向横屏姿态、正向竖屏姿态、反向横屏姿态和反向竖屏姿态。
在上述实施例的基础上,所述当前排图坐标系为:以移动终端上的预设参考点作为坐标原点,沿所述移动终端的长度方向作为横轴方向,沿所述移动终端的宽度方向作为纵轴方向。
在上述实施例的基础上,所述移动终端的旋转方向为顺时针方向或逆时针方向;旋转角度为90°、180°、270°或360°。
本发明实施例所提供的基于人眼跟踪的裸眼3D显示装置可执行本发明任意实施例所提供的基于人眼跟踪的裸眼3D显示方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的基于人眼跟踪的裸眼3D显示方法。
实施例五
图7为本发明实施例五提供的一种终端的结构示意图。图7示出了适于用来实现本发明实施方式的示例性终端12的框图。图7显示的终端12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,终端12以通用计算终端的形式表现。终端12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
终端12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。终端12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
终端12也可以与一个或多个外部终端14(例如键盘、指向终端、显示器24等)通信,还可与一个或者多个使得用户能与该终端12交互的终端通信,和/或与使得该终端12能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,终端12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与终端12的其它模块通信。应当明白,尽管图中未示出,可以结合终端12使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例所提供的基于人眼跟踪的裸眼3D显示方法,该方法包括:
确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所提供的基于人眼跟踪的裸眼3D显示方法,该方法包括:
确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于人眼跟踪的裸眼3D显示方法,其特征在于,包括:
确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
2.根据权利要求1所述的方法,其特征在于,所述预设排图参数包括:预先设定的成像瞳距与排图周期宽度之间的正比例关系的比例系数;
相应的,根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容,包括:
根据所述成像坐标,计算观看者左右眼在摄像头所拍图像中的目标成像瞳距;
基于预先设定的成像瞳距与排图周期宽度的比例关系和所述比例系数,根据所述目标成像瞳距确定目标排图周期的宽度;
在所述当前排图坐标系中以所述摄像头位置为排图起点,按照所述目标排图周期的宽度调整所述移动终端的显示内容。
3.根据权利要求1所述的方法,其特征在于,所述预设排图参数包括:双眼的起始偏移量,所述起始偏移量为当所述双眼中点坐标位于预设基准坐标时,摄像头光轴的轴心偏离所述排图起点的距离,所述预设基准坐标为预先标定的摄像头所拍图像的中心点;
相应的,根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容,包括:
根据所述成像坐标,计算左右眼中点的中点成像坐标;
通过比较所述中点成像坐标与所述预设基准坐标,确定所述观看者双眼的移动方向以及偏离所述预设基准坐标的移动距离;
根据所述移动方向、所述移动距离和所述起始偏移量,在所述当前排图坐标系中以所述摄像头位置为排图起点,对所述移动终端的显示内容进行平移处理。
4.根据权利要求3所述的方法,其特征在于,所述预设排图参数还包括光栅膜相对于预设方向布设的倾斜角度;
相应的,通过比较所述中点成像坐标与预设基准坐标,确定所述观看者双眼的移动方向以及偏离所述预设基准坐标的移动距离,包括:
根据所述倾斜角度、所述中点成像坐标以及所述预设基准坐标,计算所述中点成像坐标在所述预设方向偏离所述预设基准坐标的水平距离;
相应的,根据所述移动方向、所述移动距离和所述起始偏移量,在所述当前排图坐标系中以所述摄像头位置为排图起点,对所述移动终端的显示内容进行平移处理,包括:
计算所述水平距离与预设排图周期的宽度之间的商值,并将所述商值取小数部分;
将计算出的小数部分的值与所述起始偏移量相加,得到当前排图内容在所述当前排图坐标系中相对于排图起点的平移量;
以所述排图起点为平移起点,对所述当前排图内容按照所述平移量进行平移处理。
5.根据权利要求1所述的方法,其特征在于,所述当前姿态包括正向横屏姿态、正向竖屏姿态、反向横屏姿态和反向竖屏姿态。
6.根据权利要求1所述的方法,其特征在于,所述当前排图坐标系为:
以移动终端上的预设参考点作为坐标原点,沿所述移动终端的长度方向作为横轴方向,沿所述移动终端的宽度方向作为纵轴方向。
7.根据权利要求1所述的方法,其特征在于,所述移动终端的旋转方向为顺时针方向或逆时针方向;旋转角度为90°、180°、270°或360°。
8.一种基于人眼跟踪的裸眼3D显示装置,其特征在于,包括:
当前排图坐标系确定模块,用于确定移动终端当前姿态对应的当前排图坐标系,并获取预先标定的摄像头位置和排图参数,其中,所述当前排图坐标系在所述移动终端旋转的过程中,与所述移动终端屏幕的相对位置保持不变;
成像坐标获取模块,用于获取移动终端的摄像头所拍摄图像中观看者左右眼的成像坐标;
显示内容调整模块,用于根据所述成像坐标和预设排图参数,在所述当前排图坐标系中以所述摄像头位置为排图起点,调整所述移动终端的显示内容。
9.一种终端,其特征在于,所述终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于人眼跟踪的裸眼3D显示方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的基于人眼跟踪的裸眼3D 显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810958977.2A CN108989785B (zh) | 2018-08-22 | 2018-08-22 | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810958977.2A CN108989785B (zh) | 2018-08-22 | 2018-08-22 | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108989785A CN108989785A (zh) | 2018-12-11 |
CN108989785B true CN108989785B (zh) | 2020-07-24 |
Family
ID=64554267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810958977.2A Active CN108989785B (zh) | 2018-08-22 | 2018-08-22 | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108989785B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112929637A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 实现3d图像显示的方法、3d显示设备 |
CN113467602B (zh) * | 2020-03-31 | 2024-03-19 | 中国移动通信集团浙江有限公司 | Vr显示方法及系统 |
CN113867526B (zh) * | 2021-09-17 | 2024-07-19 | 深显科技(南京)有限责任公司 | 一种基于人眼追踪的优化显示方法、装置、设备及介质 |
CN114020150A (zh) * | 2021-10-27 | 2022-02-08 | 纵深视觉科技(南京)有限责任公司 | 图像显示方法、装置、电子设备及介质 |
CN114356273B (zh) * | 2021-12-30 | 2023-10-17 | 纵深视觉科技(南京)有限责任公司 | 一种独立驱动位置确定方法、装置、存储介质及电子设备 |
CN114327343B (zh) * | 2021-12-31 | 2024-06-18 | 珠海豹趣科技有限公司 | 一种裸眼3d效果显示优化方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015110852A1 (en) * | 2014-01-24 | 2015-07-30 | Sony Corporation | Face tracking for a mobile device |
CN104661011B (zh) * | 2014-11-26 | 2017-04-19 | 深圳超多维光电子有限公司 | 立体图像显示方法及手持终端 |
CN106445272A (zh) * | 2015-08-10 | 2017-02-22 | 中兴通讯股份有限公司 | 一种移动终端上的图片显示方法及相应的移动终端 |
CN106254845B (zh) * | 2015-10-20 | 2017-08-25 | 深圳超多维光电子有限公司 | 一种裸眼立体显示的方法、装置及电子设备 |
CN106713894B (zh) * | 2015-11-17 | 2019-06-18 | 深圳超多维科技有限公司 | 一种跟踪式立体显示方法及设备 |
CN107172417B (zh) * | 2017-06-30 | 2019-12-20 | 深圳超多维科技有限公司 | 一种裸眼3d屏幕的图像显示方法、装置及系统 |
CN107635132B (zh) * | 2017-09-26 | 2019-12-24 | 深圳超多维科技有限公司 | 裸眼3d显示终端的显示控制方法、装置及显示终端 |
CN107885325B (zh) * | 2017-10-23 | 2020-12-08 | 张家港康得新光电材料有限公司 | 一种基于人眼跟踪的裸眼3d显示方法及控制系统 |
-
2018
- 2018-08-22 CN CN201810958977.2A patent/CN108989785B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108989785A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108989785B (zh) | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 | |
CN107885325B (zh) | 一种基于人眼跟踪的裸眼3d显示方法及控制系统 | |
CN109040736B (zh) | 一种人眼空间位置的标定方法、装置、设备和存储介质 | |
US11244649B2 (en) | Calibration of augmented reality device | |
US11276225B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
US7492357B2 (en) | Apparatus and method for detecting a pointer relative to a touch surface | |
CN108881893A (zh) | 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质 | |
CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
CN108090942B (zh) | 针对用户的眼睛的三维渲染方法和设备 | |
JP6008397B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
US20100086199A1 (en) | Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map | |
CN101563709A (zh) | 校准照相机系统 | |
CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
US20170078570A1 (en) | Image processing device, image processing method, and image processing program | |
CN112399158A (zh) | 投影图像校准方法、装置及投影设备 | |
EP3572916A2 (en) | Apparatus, system, and method for accelerating positional tracking of head-mounted displays | |
JP2014106642A (ja) | 光学式シースルー型hmdを用いたarシステム | |
CN113438465A (zh) | 一种显示调节方法、装置、设备及介质 | |
CN111915739A (zh) | 一种实时三维全景信息互动影息系统 | |
CN113034615B (zh) | 一种用于多源数据融合的设备标定方法及相关装置 | |
CN114967170B (zh) | 基于柔性裸眼三维显示设备的显示处理方法及其装置 | |
CN114879377A (zh) | 水平视差三维光场显示系统的参数确定方法、装置及设备 | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
US20240119661A1 (en) | Three-dimensional perspective correction | |
CN118055324A (zh) | 桌面ar定位系统、方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200401 Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province Applicant after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd. Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant before: WZ TECHNOLOGY Inc. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |