CN108616753B - 一种裸眼立体显示方法及装置 - Google Patents
一种裸眼立体显示方法及装置 Download PDFInfo
- Publication number
- CN108616753B CN108616753B CN201611249192.5A CN201611249192A CN108616753B CN 108616753 B CN108616753 B CN 108616753B CN 201611249192 A CN201611249192 A CN 201611249192A CN 108616753 B CN108616753 B CN 108616753B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- space
- pixel
- image
- preset position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提供了一种裸眼立体显示方法及装置,该方法包括:获取立体摄像头模组拍摄的红外发射器发射红外线时的第一图像和第二图像,并确定所述红外发射器在所述第一图像中的第一像素坐标和所述红外发射器在所述第二图像中的第二像素坐标,其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化;根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配。本发明解决了由于利用了摄像头的内参和外参进行观看位置定位使得定位精确度较难把控的问题。
Description
技术领域
本发明涉及立体显示技术领域,尤其涉及一种裸眼立体显示方法及装置。
背景技术
随着裸眼3D(Three Dimensional,三维)技术的发展和日趋成熟,市面上已经出现了越来越多的裸眼3D显示产品,广大民众对于裸眼3D显示产品的关注和需求也在不断的增加。
现有主流的裸眼3D显示产品,通常通过在普通显示器上叠加特殊的分光装置,该分光装置能够向不同方向折射图像,让左眼和右眼的可视图像分开,使得使用者左眼只能接收到左眼图像,右眼只能接收到右眼图像,而左眼图像和右眼图像是具有视差的,从而实现让使用者无需佩戴3D眼镜就可观看到3D影像。
目前,为了提升使用者的观看体验,市面上的部分裸眼3D显示产品已经配置有跟踪显示功能,该跟踪显示功能利用摄像头等传感装置对使用者进行跟踪定位,确定使用者的观看位置,并根据使用者的观看位置适应性的进行显示调整,一方面可以使显示内容与使用者的不同视角相适配,另一方面可以有效保证在使用者的观看位置发生变化后,依然能够观看到正确的立体显示效果,避免出现反视、重影、失真等问题。
目前,具有跟踪显示功能的裸眼3D显示产品一般利用摄像头结合图形图像算法对使用者进行空间定位,主要包括如下两种空间定位方案:
第一种,主动空间定位:利用计算机视觉对空间场景进行分析,即利用计算机视觉的相关算法分析出特征点,进而通过对摄像头内参和外参的标定,利用摄像头的内参和外参,配合视觉图像算法,对特征点进行追踪定位。
第二种,辅助空间定位:通过在场景中安装外部发射器,利用摄像头捕捉发射器,即通过捕捉发射器的图像,利用摄像头内参和外参,配合算法实现空间定位。
然而,现有技术的上述两种方案都要使用到摄像头的内参和外参,其中,内参表示相机内部参数,例如焦距、视场角、分辨率、畸变系数等,外参表示相机的相对位置及朝向等信息,例如平移矩阵旋转矩阵等。而内参和外参通常需要很复杂的数学体系进行运算,不易标定且标定准确度较难控制。此外,由于内参和外参标定标准不统一,标定方式多种,例如标定次数、标定用图片数量等等,所以空间定位结果受标定方式的影响也较大。而且,裸眼立体显示产品出厂前是需要将摄像头内外参标定好的,但摄像头内参和外参标定较难标准化且较难量化,因此,现有定位方法并不适应产品的量产要求。
综上所述,现有技术由于利用了摄像头的内参和外参进行观看位置定位,使得定位精确度较难把控。
发明内容
本发明的实施例提供了一种裸眼立体显示方法及装置,通过将红外发射器在立体摄像模组拍摄的图像中的像素坐标转换为空间坐标来实现空间定位,其中不涉及摄像头内参和外参,易于标准化,解决了现有技术由于利用了摄像头的内参和外参进行观看位置定位,使得定位精确度较难把控的问题。
本发明的实施例提供了一种裸眼立体显示方法,包括:
获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标,获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标,其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化;
根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配。
其中,上述方案中,所述确定所述红外发射器在所述第一图像中的第一像素坐标的步骤,包括:
获取所述第一图像中的红外点的像素坐标;
若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述确定所述红外发射器在所述第二图像中的第二像素坐标的步骤,包括:
获取所述第二图像中的红外点的像素坐标;
若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标。
其中,上述方案中,所述空间坐标系的标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;
所述根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标的步骤,包括:
获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
其中,上述方案中,所述获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像的步骤之前,所述方法还包括:
将所述立体摄像头模组设置在预定拍摄位置,并利用所述第一摄像头分别拍摄标定物设置在所述标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
其中,上述方案中,所述空间坐标系的原点为所述第一摄像头和所述第二摄像头之间的中点,所述空间坐标系的Z方向轴为所述原点与所述目标标注点所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数的步骤,包括:
根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;
根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数;
根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4,其中,a4、b4、c4均为常量。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。
其中,上述方案中,所述根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数的步骤,包括:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
其中,上述方案中,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。
本发明的实施例还提供了一种裸眼立体显示装置,包括:
第一像素坐标确定模块,用于获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
第二像素坐标确定模块,用于获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
空间坐标确定模块,用于根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
显示模块,用于根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化。
其中,上述方案中,所述第一像素坐标确定模块包括:
第一红外点坐标获取单元,用于获取所述第一图像中的红外点的像素坐标;
第一确定单元,用于若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
第二确定单元,用于若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述第二像素坐标确定模块包括:
第二红外点坐标获取单元,用于获取所述第二图像中的红外点的像素坐标;
第三确定单元,用于若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
第四确定单元,用于若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标。
其中,上述方案中,所述空间坐标标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;
所述空间坐标确定模块包括:
视差确定单元,用于获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
Z坐标确定单元,用于将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
X坐标确定单元,用于将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
Y坐标确定单元,用于将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
其中,上述方案中,所述装置还包括:
图像拍摄模块,用于将利用所述第一摄像头分别拍摄标定物设置在所述标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述立体摄像头模组设置在预定拍摄位置,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
图像获取模块,用于分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
标定函数确定模块,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
其中,上述方案中,所述空间坐标系的原点为所述第一摄像头和所述第二摄像头之间的中点,所述空间坐标系的Z方向轴为所述原点与所述目标标注点所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。
其中,上述方案中,所述标定函数确定模块包括:
第一标定单元,用于根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;
第二标定单元,用于根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数;
第三标定单元,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
其中,上述方案中,所述第一标定单元具体用于:获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。
其中,上述方案中,所述第一标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。
其中,上述方案中,所述第二标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4,其中,a4、b4、c4均为常量。
其中,上述方案中,所述第二标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
其中,上述方案中,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。
其中,上述方案中,所述第三标定单元具体用于:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
其中,上述方案中,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。
本发明的实施例还提供了一种计算机可读存储介质,用于存储进行空间定位的计算机程序,所述计算机程序可被处理器执行如上述所述的裸眼立体显示方法。
本发明的实施例还提供了一种电子设备,所述电子设备包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化。
本发明实施例的有益效果是:
本发明的实施例,在进行裸眼3D显示时,利用红外发射器的位置标识用户的观看位置,确定红外发射器在立体摄像模组所拍摄的图像中的像素坐标,进而根据预先确定的该立体摄像头模组的空间坐标系的标定函数(即像素坐标与空间坐标的函数关系),获得红外发射器的空间坐标,从而实现空间定位。其中,由于本发明的实施例,不涉及摄像头内参和外参,所以本发明实施例的裸眼立体显示方法,能够准确把握定位精确度,而且易于标准化,可有效适应产品的量产要求。
附图说明
图1表示本发明第一实施例的裸眼立体显示方法的流程图;
图2表示本发明第一实施例中确定标定函数时所应用的标定物上的标注点的分布示意图;
图3表示本发明第一实施例中确定标定函数时所应用的标定平台上预设位置的分布示意图;
图4表示本发明第一实施例中确定标定函数时立体摄像头模组、标定平台、标定物之间的相对位置示意图;
图5表示本发明第二实施例的裸眼立体显示装置的结构框图之一;
图6表示本发明第二实施例的裸眼立体显示装置的结构框图之二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
本发明的实施例提供了一种裸眼立体显示方法,如图1所示,该方法包括:
步骤101:获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标。
本发明实施例中,利用红外发射器标志用户的观看位置,红外发射器可以佩戴在用户身上,例如头部,也可以设置在用户之外的某个位置,但需要使得红外发射器的空间位置跟随所述用户的观看位置的变化而相应变化。在进行显示时,将根据红外发射器的空间坐标进行显示,从而实现跟踪显示,即按照用户的观看位置进行显示,在用户的观看位置发生变化时对用户观看到的显示内容进行适应性调整,以使用户观看到的显示内容与用户的观看位置相适配。
本发明实施例的裸眼立体显示方法,需应用立体摄像头模组拍摄红外发射器的图像,进而通过图像中红外发射器的像素坐标,来确定红外发射器的空间坐标。其中,立体摄像头模组包括两个摄像头,即第一摄像头(左摄像头)和第二摄像头(右摄像头)。另外,红外发射器具有至少一个红外发射点。因此,第一摄像头和第二摄像头拍摄的红外发射器发射红外线时的图像中,均具有至少一个红外点。
其中,由于红外发射器具有至少一个红外发射点,所以所述第一图像中具有至少一个红外点。因此,可根据所述第一图像中红外点的像素坐标,确定红外发射器在所述第一图像中的第一像素坐标。即上述确定所述红外发射器在所述第一图像中的第一像素坐标的步骤,包括:获取所述第一图像中的红外点的像素坐标;若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标。
具体地,若所述第一图像中存在多个红外点,则将多个所述红外点在第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标。例如,第一图像中存在两个红外点,且这两个红外点在第一图像中的像素坐标分别为(x1,y1)和(x2,y2),那么,红外发射器在第一图像中的第一像素坐标则为((x1+x2)/2,(y1+y2)/2)。
若所述第一图像中存在定位红外点,则将所述定位红外点的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标。例如,当第一图像中存在的多个红外点中有一个红外点起主要定位作用(即该红外点为定位红外点),则该定位红外点在第一图像中的像素坐标即为红外发射器在第一图像中的第一像素坐标,而与其他辅助红外点的像素坐标无关。
步骤102:获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标。
其中,确定红外发射器相对于第一摄像头和第二摄像头的空间坐标时,需要获取第一摄像头拍摄红外发射器发射红外线时的第一图像,以及第二摄像头拍摄的红外发射器发射红外线时的第二图像。其中,所述第一摄像头拍摄所述第一图像时,以及所述第二摄像头拍摄所述第二图像时,所述红外发射器的位置未发生变化。进一步地,所述第一图像和所述第二图像的拍摄时间相同。
另外,红外发射器在第二图像中的第二像素坐标的确定方法,与红外发射器在第一图像中的第一像素坐标的确定方法相同。即上述确定所述红外发射器在所述第二图像中的第二像素坐标步骤,包括:获取所述第二图像中的红外点的像素坐标;若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标
具体地,若所述第二图像中存在多个红外点,则将多个所述红外点在第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标。例如,第二图像中存在两个红外点,且这两个红外点在第二图像中的像素坐标分别为(x3,y3)和(x42,y4),那么,红外发射器在第二图像中的第二像素坐标则为((x3+x4)/2,(y3+y4)/2)。
若所述第二图像中存在定位红外点,则将所述定位红外点在第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标。例如,当第二图像中存在的多个红外点中有一个红外点起主要定位作用(即该红外点为定位红外点),则该定位红外点的像素坐标即为红外发射器在第二图像中的第二像素坐标,而与其他辅助红外点的像素坐标无关。
步骤103:根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标。
其中,与所述立体摄像头模组对应的空间坐标系的标定函数是采用函数拟合方式确定的立体摄像头模组拍摄的图像中的像素坐标与空间坐标的函数关系,是预先获取并设定好的。因此,当获得红外发射器在第一摄像头拍摄的第一图像中的第一像素坐标和红外发射器在第二摄像头拍摄的第二图像中的第二像素坐标后,可以进一步根据该函数关系确定出红外发射器的空间坐标。
具体地,例如医生头部佩戴有红外发射器,面对裸眼3D手术屏,且该手术屏上部设置立体摄像头模组,那么利用本发明实施例的裸眼立体显示方法,可以确定出医生头部佩戴的红外发射器相对于立体摄像头模组的空间坐标。其中,当医生在手术屏前的位置发生移动后,红外发射器的位置发生变化,从而导致获得的红外发射器的空间坐标发生变化,从而使得裸眼3D手术屏能够配合医生的观看位置,即红外发射器的空间坐标进行立体显示。
其中,由于与所述立体摄像头模组对应的空间坐标系的标定函数是采用函数拟合方式,根据目标图像中的多个标注点确定的像素坐标与空间坐标的函数关系,其中,所述目标图像为设置有多个标注点的标定物位于标定平台上不同位置处时,立体摄像头模组拍摄的该标定物的图像,且上述第一像素坐标和第二像素坐标的确定过程均是通过图像处理获得的。因此,本发明实施例的裸眼立体显示方法并不涉及摄像头内参和外参,因此,本发明实施例的裸眼立体显示方法,易于标准化,且能够准确把握定位精确度。
进一步地,所述空间坐标系的标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;且步骤103包括:获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
即本发明的实施例中,空间Z坐标的标定函数为空间Z坐标与视差之间的函数关系;空间X坐标的标定函数为空间X坐标与空间Z坐标和x(即第一摄像头拍摄的目标对象的像素横坐标)之间的函数关系;空间Y坐标的标定函数为空间Y坐标与y(即第一摄像头拍摄的目标对象的像素纵坐标)之间的函数关系。因此,在获得红外发射器在第一图像中的第一像素坐标和第二像素坐标之后,可首先获得视差(即第一像素坐标的横坐标与第二像素坐标的横坐标之差),从而代入空间Z坐标的标定函数,获得红外发射器的空间Z坐标;然后,将获得的空间Z坐标和第一像素坐标的横坐标,代入空间X坐标的标定函数,获得红外发射器的空间X坐标;最后,将获得的空间Z坐标和第一像素坐标的纵坐标,代入空间Y坐标的标定函数,获得红外发射器的空间Y坐标。
此外,在步骤101之前,为了得到标定函数,本发明的实施例还包括:
将所述立体摄像头模组设置在预定拍摄位置,并利用所述第一摄像头分别拍摄标定物设置在所述标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
即,在利用立体摄像头模组对红外发射器进行空间定位之前,需要确定与该立体摄像头模组对应的空间坐标系的标定函数,即对立体摄像头模组进行标定。其中,在确定所述标定函数时,需要标定物和标定平台的配合使用。
如图2所示,标定物3上设置有位于第一直线上的多个第一标注点(即标注点a、b、c、d、e)和位于第二直线上的多个第二标注点即(标注点f、g、c、h、i),以及位于第一直线和第二直线的交点处的目标标注点(即标注点c),其中,第一直线与第二直线相互垂直。可以理解的是,图2仅为示例,第一和第二标定点的个数不限,可以任意设置。
如图3所示,标定平台4上设置有多个预设位置401,且所述预设位置401位于第三直线上。其中,对于标定平台4的具体覆盖范围,可根据实际需求进行确定。例如,在确定位于裸眼3D手术屏上方设置的立体摄像头模组的标定函数时,医生通常站在距离手术屏1.8m到2.2m的距离处,水平移动范围为左右30厘米,则以立体摄像头模组中心点(即两个摄像头所在位置之间的中点)为原点,场景区域可以为Z为1.8m到2.2m,X为-30cm到+30cm里面。
其中,在利用标定物3和标定平台4对立体摄像头模组进行标定时,需要将标定物3与标定平台4垂直放置,即将标定物3放置于标定平台4上的预设位置401处,并使得预设位置401所在的第三直线,与第一标注点所在的第一直线和第二标注点所在的第二直线均垂直。将立体摄像头模组设置在预定拍摄位置,该拍摄位置需要使得在标定物在预定位置时,第一摄像头1所在位置和第二摄像头2所在位置之间的中点O正对目标标注点,即标定物3上的目标标注点与第一摄像头1所在位置和第二摄像头2所在位置之间的中点O之间的连线与第三直线平行,如图4所示。
为了便于标定,标注点通常为红外发射器,而第一摄像头1和第二摄像头2为红外摄像头或者,第一摄像头1和第二摄像头2的镜头外面设置有红外滤波片,使得后续从第一摄像头1和第二摄像头2拍摄的照片中,仅包括红外发射器的光点图像,便于标注点的像素坐标的获取。
另外,确定出立体摄像头模组、标定物和标定平台的相对位置后,还需要建立空间坐标系。如图4所示,优选地,所述空间坐标系的原点为所述第一摄像头1和所述第二摄像头2之间的中点(即所述第一摄像头1所在位置和所述第二摄像头2所在位置之间的中点,即O点),所述空间坐标系的Z方向轴为所述原点与所述目标标注点301所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。当然,以上建立的空间坐标系的方式仅为示例,本领域技术人员可以合理修改,以不同位置为原点建立坐标系。
进一步地,建立空间坐标系后,为了利于空间坐标的获取和确认,可根据标定平台的具体覆盖范围,在平台上设置对应与各个预设位置401的标线(如图3和图4所示垂直于第三直线的第一标示线A、第二标示线B和第三标示线C),并标示出各个标线的空间Z坐标。例如,第一标示线A的Z坐标为1.9m,第二标示线B的Z坐标为2.0m,第三标示线的Z坐标为2.1m,从而使得各个预设位置的空间Z坐标可以一目了然。
将立体摄像头模组放置于标定平台上的拍摄位置上后,需要利用第一摄像头拍摄标定物位于标定平台上各个预设位置处的第三图像。其中,第一摄像头拍摄的第三图像的总数量与预设位置相对应,每个预设位置对应一张或多张标定物的第三图像。例如,在标注点为红外发射器时,可以将红外发射器同时点亮或者将按照一定顺序依次点亮红外发射器,并且每一次点亮均获取一张第三图像,从而基于这些第三图像获取每个预设位置处每个标注点的像素坐标。
同理,将立体摄像头模组放置于标定平台上的拍摄位置上后,还需要利用第二摄像头拍摄标定物位于标定平台上各个预设位置处的第四图像。其中,第二摄像头拍摄的第四图像的总数量与预设位置的数量相对应,每个预设位置对应一张或多张标定物的第四图像。
其中,当按照如图4所示建立空间坐标系时,上述根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数的步骤,包括:根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;根据与各个所述预设位置对应所述第三图像中的所述第二标注点的像素坐标,确定所述空间Y坐标的标定函数;根据与各个所述预设位置对应所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
其中,由于第一标注点位于空间X方向上,所以可根据第一标注点的像素坐标确定空间X坐标的标定函数;由于第二标注点位于空间Y方向上,所以可根据第二标注点的像素坐标确定空间Y坐标的标定函数;由于空间坐标系的Z轴穿过目标标注点,所以目标标注点的空间X坐标和空间Y坐标均为零,但Z坐标不为零,且目标标注点在第三图像和第四图像中的视差与其空间Z坐标相关,所以可根据第三图像和第四图像中的目标标注点的像素坐标确定空间Z坐标的标定函数。
另外,由于与立体摄像头模组对应的空间坐标系的标定函数是根据标定物上的各个标注点的像素坐标进行确定的,所以获取各个标注点的像素坐标的过程十分重要。其中,普通摄像头所拍摄的标定物的图像中不仅仅包含标注点,还包含其他位于拍摄范围内的拍摄对象,会使得后续从图像中获取标注点的像素坐标的过程比较复杂。
因此,为了能够更加容易,更加精确地获得各个标注点的像素坐标,可在第一摄像头和第二摄像头上分别设置红外滤波片,并在标定物上设置标注点的位置处均设置一红外发射器,从而通过确定红外点的像素坐标来确定对应标注点的像素坐标。对应地,在步骤101之前,还需要将设置在各个标注点位置处的红外发射器打开,从而分别利用设置有红外滤波片的第一摄像头和第二摄像头拍摄这些红外发射器发射红外线的图像。
其中,在利用设置有红外滤波片的第一摄像头和第二摄像头拍摄标定物的图像时,只有标注点位置处的红外发射器发射的红外线可以进入红外滤波片,从而有效防止拍摄范围内的其他拍摄对象进入图像中。因此,通过设置有红外滤波片的第一摄像头和第二摄像头拍摄的标定物的图像为黑色背景上分布有白色亮点(即标注点)的图像,从而更加容易更加精确地获得各个标注点的像素坐标。第一方面:
上述所述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
具体地,例如设第一摄像头拍摄的第三图像中的像素横坐标用x1表示,第二摄像头拍摄的第四图像中的像素横坐标用x2表示,则当第一标注点包括标注点a、b、c、d、e时(如图2所示)时,若标定物3位于第一标示线A上的预设位置处,则按照标注点a、b、c、d、e的顺序,获得的各个第一标注点的像素横坐标为:x1a、x1b、x1c、x1d、x1e。此时,可以确定出对应与第一标示线A上的预设位置的空间X方向上空间距离与像素距离之比 同理,可以确定出对应与第二标示线B上的预设位置的空间X方向上空间距离与像素距离之比KBX,以及对应与第三标示线C上的预设位置的空间X方向上空间距离与像素距离之比KCX。
另外,已知第一标示线A的空间Z坐标为Z1,第二标示线B的空间Z坐标为Z2,第三标示线C的空间Z坐标为Z3,则获得数据(KAX,Z1)、(KBX,Z2)、(KCX,Z3),进而对这些数据进行函数拟合,可以获得出空间X方向上空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ),进而获得空间X坐标的标定函数spaceX=x*f1(spaceZ)。优选地,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。即第一函数关系式,从而使得本发明的实施例获得的空间X坐标更加精确。其中,第一函数关系式并不局限于此,方程越复杂表示越精确。需要强调的,本发明实施例中,标定函数均按照一元二次方程这种函数关系进行拟合,但本发明不限于此,本领域技术人员可以合理选择拟合函数关系。
其中,由于上述第一函数关系式是根据第一摄像头拍摄的第三图像中的第一标注点进行确定的,而且,空间距离与像素距离的比可等价于空间X坐标与像素X坐标的比,所以,若已知某一目标对象在第一摄像头拍摄的图像中的像素横坐标时,就可以将该像素横坐标与f1(spaceZ)相乘,获得该目标对象的空间X坐标。
然而,由于硬件设备的固有差异,会使不同的立体模组在定位的时候有一些固定的差异,因此,还需要进一步确定空间X坐标偏差,才能进一步获得更加准确的空间X坐标的标定函数。
因此,上述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,还可包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
即本发明的实施例,在获得空间X方向的空间距离与像素距离之比与空间Z坐标的函数关系式后,还需要进一步确定空间X坐标偏差。其中,目标标注点的空间X坐标为多少,则代表空间X坐标偏差为多少。因此,通过确定目标标注点的空间X坐标,来确定空间X坐标偏差。如图2所示,标注点c为目标标注点,且该目标标注点在与第一标示线A上的预设位置对应的第三图像中的像素横坐标为x1Ac,在与第二标示线B上的预设位置对应的第三图像中的像素横坐标为x1Bc,在与第三标示线C上的预设位置对应的第三图像中的像素横坐标为x1Cc,,则当标定物3位于第一标示线A上的预设位置处时,目标标注点的空间X坐标xAc=x1Ac*KAX。同理,可以获得当标定物3位于第二标示线B上的预设位置处时,目标标注点的空间X坐标xBc=x1Bc*KBX,以及当标定物位于第三标示线C上的预设位置处时,目标标注点的空间X坐标xCc=x1Cc*KCX。
另外,由于已知第一标示线A的空间Z坐标为Z1,第二标示线B的空间Z坐标为Z2,第三标示线C的空间Z坐标为Z3,则获得数据(xAc,Z1)、(xBc,Z2)、(xCc,Z3),进而对这些数据进行函数拟合,即可获得空间X坐标偏差与空间Z坐标第三函数关系式f3(spaceZ)。
最后,由第二函数关系式和第三函数关系式获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ))。其中,优选地,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。即第二函数关系式和第三函数关系式均为一元二次方程,从而使得本发明的实施例获得的空间X坐标更加精确。其中,第二函数关系式和第三函数关系式并不局限于此,方程越复杂表示越精确。
第二方面
上述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
具体地,例如设第一摄像头拍摄的第三图像中的像素纵坐标用y1表示,第二摄像头拍摄的第四图像中的像素纵坐标用y2表示,则当第二标注点包括标注点f、g、c、h、i时(如图2所示)时,若标定物3位于第一标示线A上的预设位置处,则按照标注点f、g、c、h、i的顺序,获得的各个第二标注点的像素纵坐标为:y1f、y1g、y1c、y1h、y1i。此时,可以确定出对应与第一标示线A上的预设位置的空间Y方向上空间距离与像素距离之比 同理,可以确定出对应与第二标示线B上的预设位置的空间Y方向上空间距离与像素距离之比KBY,以及对应与第三标示线C上的预设位置的空间Y方向上空间距离与像素距离之比KCY。
另外,已知第一标示线A的空间Z坐标为Z1,第二标示线B的空间Z坐标为Z2,第三标示线C的空间Z坐标为Z3,则获得数据(KAY,Z1)、(KBY,Z2)、(KCY,Z3),进而对这些数据进行函数拟合,可以获得出空间Y方向上空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ),进而获得空间Y坐标的标定函数spaceY=y*f4(spaceZ)。优选地,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4其中,a4、b4、c4均为常量。即第四函数关系式,从而使得本发明的实施例获得的空间Y坐标更加精确。其中,第四函数关系式并不局限于此,方程越复杂表示越精确。
其中,由于上述第四函数关系式是根据第一摄像头拍摄的第三图像中的第二标注点进行确定的,而且,空间距离与像素距离的比可等价于空间Y坐标与像素Y坐标的比,所以,若已知某一目标对象在第一摄像头拍摄的图像中的像素纵坐标时,就可以将该像纵横坐标与f4(spaceZ)相乘,获得该目标对象的空间Y坐标。
然而,由于硬件设备的固有差异,会使不同的立体模组在定位的时候有一些固定的差异,因此,还需要进一步确定空间Y坐标偏差,才能进一步获得更加准确的空间Y坐标的标定函数。
因此,上述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,还可包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
即本发明的实施例,在获得空间Y方向的空间距离与像素距离之比与空间Z坐标的函数关系式后,还需要进一步确定空间Y坐标偏差。其中,目标标注点的空间Y坐标为多少,则代表空间Y坐标偏差为多少。因此,通过确定目标标注点的空间Y坐标,来确定空间Y坐标偏差。
如图2所示,标注点c为目标标注点,且该目标标注点在与第一标示线A上的预设位置对应的第三图像中的像素纵坐标为y1Ac,在与第二标示线B上的预设位置对应的第三图像中的像素纵坐标为y1Bc,在与第三标示线C上的预设位置对应的第三图像中的像素纵坐标为y1Cc,,则当标定物位于第一标示线A上的预设位置处时,目标标注点的空间Y坐标yAc=y1Ac*KAY。同理,可以获得当标定物位于第二标示线B上的预设位置处时,目标标注点的空间Y坐标yBc=y1Bc*KBY,以及当标定物位于第三标示线C上的预设位置处时,目标标注点的空间Y坐标yCc=y1Cc*KCY。
另外,由于已知第一标示线A的空间Z坐标为Z1,第二标示线B的空间Z坐标为Z2,第三标示线C的空间Z坐标为Z3,则获得数据(yAc,Z1)、(yBc,Z2)、(yCc,Z3),进而对这些数据进行函数拟合,可以获得目标标注点的空间Y坐标与空间Z坐标的函数关系式,即获得空间Y坐标偏差与空间Z坐标第六函数关系式f6(spaceZ)。
最后,由第五函数关系式和第六函数关系式获得空间Y坐标的标定函数spaceY=y*(f5(spaceZ)-f6(spaceZ))。其中,优选地,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。即第五函数关系式和第六函数关系式均为一元二次方程,从而使得本发明的实施例获得的空间Y坐标更加精确。其中,第五函数关系式和第六函数关系式并不局限于此,方程越复杂表示越精确。
第三方面
上述根据与各个所述预设位置对应所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数的步骤,包括:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
其中,设当标定物位于第一标示线A上的预设位置处时,目标标注点在X方向的视差为sxA,当标定物位于第二标示线B上的预设位置处时,目标标注点在X方向的视差为sxB,当标定物位于第三标示线C上的预设位置处时,目标标注点在X方向的视差为sxC。又由于已知第一标示线A的空间Z坐标为Z1,第二标示线B的空间Z坐标为Z2,第三标示线C的空间Z坐标为Z3,则获得数据(sxA,Z1)、(sxB,Z2)、(sxC,Z3),进而对这些数据进行函数拟合,可以获得出空间Z坐标与视差的函数关系式spaceZ(sx)。
优选地,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。即空间Z坐标的标定函数为一元二次方程,从而使得本发明的实施例获得的空间Z坐标更加精确。其中,f(sx)并不局限于此,方程越复杂表示越精确。
其中,需要注意的是,在确定空间X坐标的标定函数和空间Y坐标的标定函数时,仅仅需要依据立体摄像模组的其中一个摄像头拍摄的标定物在标定平台上的各个预设位置处的图像。即可以按照上述描述的过程根据第一摄像头拍摄的第三图像中的第一标注点确定空间X坐标的标定函数,并根据该第三图像中的第二标注点确定空间Y坐标的标定函数。或者,也可根据第二摄像头拍摄的第四图像中的第一标注点确定空间X坐标的标定函数,并根据该第四图像中的第二标注点确定空间Y坐标的标定函数。
由上述可知,立体摄像头模组按照上述标定方法进行标定后,其空间坐标系的标定函数中,空间Z坐标的标定函数与目标对象的像素横坐标视差相关,空间X坐标与目标对象的像素横坐标和空间Z坐标相关,空间Y坐标与目标对象的像素纵坐标和空间Z坐标相关。因此,具体地步骤103包括:获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
其中,需要注意的是,空间X坐标的标定函数和空间Y坐标的标定函数由哪一个摄像头拍摄的图像进行标定的,则代入到空间X坐标标定函数和空间Y坐标的标定函数中的目标对象的像素横坐标和像素纵坐标则为哪一个摄像头拍摄的该目标对象的图像中的。
步骤104,根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配。
当确定红外发射器的空间坐标后,即可利用该空间坐标进行显示。具体可以直接将该空间坐标作为用户的观看位置,根据该空间坐标进行左右立体图像的排图等流程,从而进行立体显示。当然,也可根据该空间坐标以及红外发射器与用户观看位置的对应关系,确定用户的观看位置,进而根据该观看位置进行排图显示,从而根据使用者的观看位置适应性的进行显示调整,达到跟踪用户观看位置进行显示的目的。
当然,根据用户的观看位置进行立体化显示的方法不限,本领域技术人员可以任意选择,这里不再赘述。
综上所述,本发明的实施例,在进行裸眼3D显示时,利用红外发射器的位置标识用户的观看位置,通过确定红外发射器在立体摄像模组所拍摄的图像中的像素坐标,进而根据预先确定的该立体摄像头模组的空间坐标系的标定函数(即像素坐标与空间坐标的函数关系),获得红外发射器的空间坐标,从而实现空间定位。其中,由于本发明的实施例,观看位置定位不涉及摄像头内参和外参,所以本发明实施例的裸眼立体显示方法,易于产品标准化,从而能够准确把握定位精确度。
此外,与现有标定技术相比,本发明的实施例的每一步做法和评判结果都是确定的,只要按照要求把平台(即标定物与标定平台)搭建好,并按照上述步骤可以在很短的时间内把参数采集下来,不需要重复哪个步骤。与现有空间定位技术由于标定结果正确与否不易确定,需要专业人员利用标定物进行数次以上的采集,铺之人工分析结果,本发明实施例的裸眼立体显示方法易于标准化和量化,更适合应用于批量裸眼立体显示设备的生产。
第二实施例
本发明的实施例提供了一种裸眼立体显示装置,如图5所示,该装置500包括:
第一像素坐标确定模块504,用于获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
第二像素坐标确定模块505,用于获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
空间坐标确定模块506,用于根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
显示模块507,用于根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化。
优选地,所述第一像素坐标确定模块504包括:
第一红外点坐标获取单元5041,用于获取所述第一图像中的红外点的像素坐标;
第一确定单元5042,用于若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
第二确定单元5043,用于若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述第二像素坐标确定模块505包括:
第二红外点坐标获取单元5051,用于获取所述第二图像中的红外点的像素坐标;
第三确定单元5052,用于若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
第四确定单元5053,用于若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标。
优选地,所述空间坐标标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;如图6所示,所述空间坐标确定模块506包括:
视差确定单元5061,用于获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
Z坐标确定单元5062,用于将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
X坐标确定单元5063,用于将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
Y坐标确定单元5064,用于将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
优选地,如图6所示,所述装置还包括:
图像拍摄模块501,用于利用所述第一摄像头分别拍摄标定物设置在所述标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述立体摄像头模组设置在预定拍摄位置,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
图像获取模块502,用于分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
标定函数确定模块503,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
优选地,所述空间坐标系的原点为所述第一摄像头和所述第二摄像头之间的中点,所述空间坐标系的Z方向轴为所述原点与所述目标标注点所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。
优选地,如图6所示,所述标定函数确定模块503包括:
第一标定单元5031,用于根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;
第二标定单元5032,用于根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数;
第三标定单元5033,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
优选地,所述第一标定单元5031具体用于:获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
优选地,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。
优选地,所述第一标定单元5031具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
优选地,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。
优选地,所述第二标定单元5032具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
优选地,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4,其中,a4、b4、c4均为常量。
优选地,所述第二标定单元5032具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
优选地,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。
优选地,所述第三标定单元5033具体用于:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
优选地,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。
本发明的实施例,通过确定红外发射器在立体摄像模组所拍摄的图像中的像素坐标,进而根据预先确定的该立体摄像头模组的空间坐标系的标定函数(即像素坐标与空间坐标的函数关系),获得红外发射器的空间坐标,从而实现空间定位。其中,由于本发明的实施例,不涉及摄像头内参和外参,所以本发明实施例的裸眼立体显示方法,能够准确把握定位精确度,而且易于标准化,可有效适应产品的量产要求。
第三实施例
本发明的实施例提供了一种计算机可读存储介质,用于存储进行空间定位的计算机程序,所述计算机程序可被处理器执行如上述所述的裸眼立体显示方法。
第四实施例
本发明的实施例提供了一种电子设备,即裸眼立体显示设备,所述电子设备包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
根据所述红外发射器的空间坐标,进行立体显示,以使所述用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
Claims (30)
1.一种裸眼立体显示方法,其特征在于,包括:
获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
根据所述红外发射器的空间坐标,进行立体显示,以使用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化;
所述确定所述红外发射器在所述第一图像中的第一像素坐标的步骤,包括:
获取所述第一图像中的红外点的像素坐标;
若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述确定所述红外发射器在所述第二图像中的第二像素坐标的步骤,包括:
获取所述第二图像中的红外点的像素坐标;
若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标;
所述空间坐标系的标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;
所述根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标的步骤,包括:
获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
2.根据权利要求1所述的方法,其特征在于,所述获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像的步骤之前,所述方法还包括:
将所述立体摄像头模组设置在预定拍摄位置,并利用所述第一摄像头分别拍摄标定物设置在标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
3.根据权利要求2所述的方法,其特征在于,所述空间坐标系的原点为所述第一摄像头和所述第二摄像头之间的中点,所述空间坐标系的Z方向轴为所述原点与所述目标标注点所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。
4.根据权利要求3所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数的步骤,包括:
根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;
根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数;
根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
5.根据权利要求4所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
6.根据权利要求5所述的方法,其特征在于,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。
7.根据权利要求4所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
8.根据权利要求7所述的方法,其特征在于,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。
9.根据权利要求4所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
10.根据权利要求9所述的方法,其特征在于,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4,其中,a4、b4、c4均为常量。
11.根据权利要求4所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数的步骤,包括:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
12.根据权利要求11所述的方法,其特征在于,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。
13.根据权利要求4所述的方法,其特征在于,所述根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数的步骤,包括:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
14.根据权利要求13所述的方法,其特征在于,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。
15.一种裸眼立体显示装置,其特征在于,包括:
第一像素坐标确定模块,用于获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
第二像素坐标确定模块,用于获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
空间坐标确定模块,用于根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
显示模块,用于根据所述红外发射器的空间坐标,进行立体显示,以使用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化;
所述第一像素坐标确定模块包括:
第一红外点坐标获取单元,用于获取所述第一图像中的红外点的像素坐标;
第一确定单元,用于若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
第二确定单元,用于若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述第二像素坐标确定模块包括:
第二红外点坐标获取单元,用于获取所述第二图像中的红外点的像素坐标;
第三确定单元,用于若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
第四确定单元,用于若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标;
所述空间坐标标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;
所述空间坐标确定模块包括:
视差确定单元,用于获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
Z坐标确定单元,用于将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
X坐标确定单元,用于将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
Y坐标确定单元,用于将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
图像拍摄模块,用于利用所述第一摄像头分别拍摄标定物设置在标定平台上的各个预设位置时的第三图像、利用所述第二摄像头拍摄标定物设置在所述标定平台上的各个预设位置时的第四图像,其中,所述立体摄像头模组设置在预定拍摄位置,所述标定物上设置有位于第一直线上的多个第一标注点、位于与所述第一直线垂直且相交的第二直线上的多个第二标注点以及位于所述第一直线和所述第二直线的交点处的目标标注点,所述预设位置位于第三直线上,且当所述标定物设置在所述标定平台上的任意预设位置时,所述第三直线与所述第一直线和所述第二直线均垂直,且所述拍摄位置使得所述第一摄像头和所述第二摄像头之间的中点与所述目标标注点之间的连线与所述第三直线平行;
图像获取模块,用于分别获取所述第一摄像头拍摄的第三图像和所述第二摄像头拍摄的第四图像;
标定函数确定模块,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述第一标注点、所述第二标注点和所述目标标注点的像素坐标,确定与所述立体摄像头模组对应的空间坐标系的标定函数。
17.根据权利要求16所述的装置,其特征在于,所述空间坐标系的原点为所述第一摄像头和所述第二摄像头之间的中点,所述空间坐标系的Z方向轴为所述原点与所述目标标注点所在的直线,所述空间坐标系的X方向轴为经过所述原点并与所述第一直线平行的直线,所述空间坐标系的Y方向轴为经过所述原点并与所述第二直线平行的直线。
18.根据权利要求17所述的装置,其特征在于,所述标定函数确定模块包括:
第一标定单元,用于根据与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素坐标,确定空间X坐标的标定函数;
第二标定单元,用于根据与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素坐标,确定空间Y坐标的标定函数;
第三标定单元,用于根据与各个所述预设位置对应的所述第三图像和所述第四图像中的所述目标标注点的像素坐标,确定空间Z坐标的标定函数。
19.根据权利要求18所述的装置,其特征在于,所述第一标定单元具体用于:获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第一函数关系式f1(spaceZ);
根据所述第一函数关系式f1(spaceZ),获得空间X坐标的标定函数spaceX=x*f1(spaceZ),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
20.根据权利要求19所述的装置,其特征在于,所述第一函数关系式为:f1(spaceZ)=a1*spaceZ2+b1*spaceZ+c1,其中,a1、b1、c1均为常量。
21.根据权利要求18所述的装置,其特征在于,所述第一标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第一标注点的像素横坐标;
根据第一预设公式确定与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,其中,KjX表示与第j个预设位置对应的空间X方向上空间距离与像素距离之比,pipi+1表示第i个第一标注点与第i+1个第一标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第一标注点的像素横坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第一标注点的像素横坐标,n表示所述第一标注点的总数量,且n大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间X方向上空间距离与像素距离之比,进行函数拟合,获得空间X方向的空间距离与像素距离之比与空间Z坐标的第二函数关系式f2(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据第二预设公式获得与各个所述预设位置对应的所述目标标注点的空间X坐标,其中,Xdj表示与第j个预设位置对应的所述目标标注点的空间X坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素横坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间X坐标,进行函数拟合,获得空间X坐标偏差与空间Z坐标的第三函数关系式f3(spaceZ);
根据所述第二函数关系式f2(spaceZ)和所述第三函数关系式f3(spaceZ)获得空间X坐标的标定函数spaceX=x*(f2(spaceZ)-f3(spaceZ)),其中,x为所述第一摄像头拍摄的目标对象的像素横坐标,spaceX表示空间X坐标,spaceZ表示空间Z坐标。
22.根据权利要求21所述的装置,其特征在于,所述第二函数关系式为:f2(spaceZ)=a2*spaceZ2+b2*spaceZ+c2,所述第三函数关系式为:f3(spaceZ)=a3*spaceZ2+b3*spaceZ+c3,其中,a2、b2、c2、a3、b3、c3均为常量。
23.根据权利要求18所述的装置,其特征在于,所述第二标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第四函数关系式f4(spaceZ);
根据所述第四函数关系式f4(spaceZ),获得空间Y坐标的标定函数spaceY=y*f4(spaceZ),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
24.根据权利要求23所述的装置,其特征在于,所述第四函数关系式为:f4(spaceZ)=a4*spaceZ2+b4*spaceZ+c4,其中,a4、b4、c4均为常量。
25.根据权利要求18所述的装置,其特征在于,所述第二标定单元具体用于:
获取与各个所述预设位置对应的所述第三图像中的所述第二标注点的像素纵坐标;
根据第四预设公式确定与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,其中,KjY表示与第j个预设位置对应的空间Y方向上空间距离与像素距离之比,qiqi+1表示第i个第二标注点与第i+1个第二标注点的空间距离,表示与第j个预设位置对应的所述第三图像中的第i个第二标注点的像素纵坐标,表示与第j个预设位置对应的所述第三图像中的第i+1个第二标注点的像素纵坐标,m表示所述第二标注点的总数量,且m大于1;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的空间Y方向上空间距离与像素距离之比,进行函数拟合,获得空间Y方向的空间距离与像素距离之比与空间Z坐标的第五函数关系式f5(spaceZ);
获取与各个所述预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据第五预设公式获得与各个所述预设位置对应的所述目标标注点的空间Y坐标,其中,Ydj表示与第j个预设位置对应的所述目标标注点的空间Y坐标,表示与第j个预设位置对应的所述第三图像中的所述目标标注点的像素纵坐标;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的空间Y坐标,进行函数拟合,获得空间Y坐标偏差与空间Z坐标的第六函数关系式f6(spaceZ);
根据所述第五函数关系式f5(spaceZ)和所述第六函数关系式f6(spaceZ),获得空间Y坐标的标定函数,spaceY=y*(f5(spaceZ)-f6(spaceZ)),其中,y为所述第一摄像头拍摄的目标对象的像素纵坐标,spaceY表示空间Y坐标,spaceZ表示空间Z坐标。
26.根据权利要求25所述的装置,其特征在于,所述第五函数关系式为:f5(spaceZ)=a5*spaceZ2+b5*spaceZ+c5,所述第六函数关系式为:f6(spaceZ)=a6*spaceZ2+b6*spaceZ+c6,其中,a5、b5、c5、a6、b6、c6均为常量。
27.根据权利要求18所述的装置,其特征在于,所述第三标定单元具体用于:
获取所述标定物位于各个所述预设位置上时,所述目标标注点在所述第三图像中的像素横坐标与在所述第四图像中的像素横坐标之差的绝对值,并作为所述目标标注点的视差;
根据各个所述预设位置的空间Z坐标,以及与各个所述预设位置对应的所述目标标注点的视差,进行函数拟合,获得空间Z坐标与视差的第七函数关系式,并确定为空间Z坐标的标定函数spaceZ=f(sx),其中,sx表示视差,spaceZ表示空间Z坐标。
28.根据权利要求27所述的装置,其特征在于,所述空间Z坐标的标定函数为:f(sx)=a7*sx2+b7*sx+c7,其中,a7、b7、c7均为常量。
29.一种计算机可读存储介质,其特征在于,用于存储进行空间定位的计算机程序,所述计算机程序可被处理器执行如权利要求1所述的方法。
30.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器,所述处理器被配置为执行如下方法:
获取立体摄像头模组的第一摄像头拍摄的红外发射器发射红外线时的第一图像,并确定所述红外发射器在所述第一图像中的第一像素坐标;
获取所述立体摄像头模组的第二摄像头拍摄的所述红外发射器发射红外线时的第二图像,并确定所述红外发射器在所述第二图像中的第二像素坐标;
根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标;
根据所述红外发射器的空间坐标,进行立体显示,以使用户观看到的显示内容与所述用户的观看位置相适配;
其中,所述红外发射器的空间位置跟随所述用户的观看位置的变化而变化;
所述确定所述红外发射器在所述第一图像中的第一像素坐标的步骤,包括:
获取所述第一图像中的红外点的像素坐标;
若所述第一图像中存在多个红外点,则将多个所述红外点在所述第一图像中的像素坐标的平均值作为所述红外发射器在所述第一图像中的第一像素坐标;
若所述第一图像中存在定位红外点,则将所述定位红外点在所述第一图像中的像素坐标作为所述红外发射器在所述第一图像中的第一像素坐标;
和/或
所述确定所述红外发射器在所述第二图像中的第二像素坐标的步骤,包括:
获取所述第二图像中的红外点的像素坐标;
若所述第二图像中存在多个红外点,则将多个所述红外点在所述第二图像中的像素坐标的平均值作为所述红外发射器在所述第二图像中的第二像素坐标;
若所述第二图像中存在定位红外点,则将所述定位红外点在所述第二图像中的像素坐标作为所述红外发射器在所述第二图像中的第二像素坐标;
所述空间坐标系的标定函数包括空间Z坐标的标定函数、空间X坐标的标定函数和空间Y坐标的标定函数;
所述根据所述第一像素坐标、所述第二像素坐标和预先确定的与所述立体摄像头模组对应的空间坐标系的标定函数,获得所述红外发射器的空间坐标的步骤,包括:
获得所述第一像素坐标的横坐标与所述第二像素坐标的横坐标之差的绝对值,并作为目标视差;
将所述目标视差代入到空间Z坐标的标定函数中,获得所述红外发射器的空间Z坐标;
将所述第一像素坐标的横坐标以及所述空间Z坐标代入空间X坐标的标定函数中,获得所述红外发射器的空间X坐标;
将所述第一像素坐标的纵坐标以及所述空间Z坐标代入空间Y坐标的标定函数中,获得所述红外发射器的空间Y坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611249192.5A CN108616753B (zh) | 2016-12-29 | 2016-12-29 | 一种裸眼立体显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611249192.5A CN108616753B (zh) | 2016-12-29 | 2016-12-29 | 一种裸眼立体显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108616753A CN108616753A (zh) | 2018-10-02 |
CN108616753B true CN108616753B (zh) | 2020-08-04 |
Family
ID=63658575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611249192.5A Active CN108616753B (zh) | 2016-12-29 | 2016-12-29 | 一种裸眼立体显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108616753B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421300B (zh) * | 2021-06-28 | 2023-05-12 | 上海迈外迪网络科技有限公司 | 确定鱼眼相机图像中物体实际位置的方法及装置 |
CN115147475B (zh) * | 2022-09-02 | 2022-12-06 | 汕头大学 | 目标位置定位方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103115613A (zh) * | 2013-02-04 | 2013-05-22 | 安徽大学 | 一种空间三维定位方法 |
CN103593658A (zh) * | 2013-11-22 | 2014-02-19 | 中国电子科技集团公司第三十八研究所 | 一种基于红外图像识别的三维空间定位系统 |
KR20160002510A (ko) * | 2014-06-30 | 2016-01-08 | 건국대학교 산학협력단 | 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법 |
CN105809654A (zh) * | 2014-12-29 | 2016-07-27 | 深圳超多维光电子有限公司 | 目标对象跟踪方法、装置和立体显示设备及方法 |
CN105959674A (zh) * | 2016-05-20 | 2016-09-21 | 京东方科技集团股份有限公司 | 3d显示装置及3d显示方法 |
-
2016
- 2016-12-29 CN CN201611249192.5A patent/CN108616753B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103115613A (zh) * | 2013-02-04 | 2013-05-22 | 安徽大学 | 一种空间三维定位方法 |
CN103593658A (zh) * | 2013-11-22 | 2014-02-19 | 中国电子科技集团公司第三十八研究所 | 一种基于红外图像识别的三维空间定位系统 |
KR20160002510A (ko) * | 2014-06-30 | 2016-01-08 | 건국대학교 산학협력단 | 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법 |
CN105809654A (zh) * | 2014-12-29 | 2016-07-27 | 深圳超多维光电子有限公司 | 目标对象跟踪方法、装置和立体显示设备及方法 |
CN105959674A (zh) * | 2016-05-20 | 2016-09-21 | 京东方科技集团股份有限公司 | 3d显示装置及3d显示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108616753A (zh) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
CN111210468B (zh) | 一种图像深度信息获取方法及装置 | |
US10198865B2 (en) | HMD calibration with direct geometric modeling | |
EP3665506B1 (en) | Apparatus and method for generating a representation of a scene | |
CN103207664A (zh) | 一种图像处理方法和设备 | |
WO2022233111A1 (zh) | 基于图像差异的透明物体追踪方法、系统 | |
CN110044301B (zh) | 基于单双目混合测量的三维点云计算方法 | |
CN107038722A (zh) | 一种设备定位方法及装置 | |
CN108989794B (zh) | 基于抬头显示系统的虚像信息测量方法及系统 | |
CN110006634B (zh) | 视场角测量方法、视场角测量装置、显示方法和显示设备 | |
CN108108021A (zh) | 人眼跟踪系统外参数校正治具及校正方法 | |
CN108616753B (zh) | 一种裸眼立体显示方法及装置 | |
CN107864372B (zh) | 立体拍照方法、装置及终端 | |
CN108257182A (zh) | 一种立体摄像头模组的标定方法及装置 | |
US20170359562A1 (en) | Methods and systems for producing a magnified 3d image | |
CN108462867A (zh) | 自动标定跟踪式裸眼立体显示设备的系统及方法 | |
CN112907647B (zh) | 一种基于固定式单目摄像机的三维空间尺寸测量方法 | |
CN113411564A (zh) | 一种人眼跟踪参数的测量方法、装置、介质及系统 | |
TWI640744B (zh) | Depth sensing photography system | |
CN107222689B (zh) | 基于vr镜头的实景切换方法及装置 | |
CN110068308B (zh) | 一种基于多目相机的测距方法及测距系统 | |
CN108195563B (zh) | 一种立体显示装置的显示效果测评方法、装置和测评终端 | |
Lai et al. | Exploring manipulation behavior on video see-through head-mounted display with view interpolation | |
CN111860275A (zh) | 手势识别数据采集系统、方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |