CN206946562U - 空间定位装置及虚拟现实系统 - Google Patents
空间定位装置及虚拟现实系统 Download PDFInfo
- Publication number
- CN206946562U CN206946562U CN201720724058.XU CN201720724058U CN206946562U CN 206946562 U CN206946562 U CN 206946562U CN 201720724058 U CN201720724058 U CN 201720724058U CN 206946562 U CN206946562 U CN 206946562U
- Authority
- CN
- China
- Prior art keywords
- camera
- vertical
- horizontal
- pixel
- positioning apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本实用新型公开了一种空间定位装置及虚拟现实系统。该空间定位装置包括水平摄像头组和垂直摄像头组,所述水平摄像头组和所述垂直摄像头组各自包括参数相同的至少两个摄像头,所述参数包括图像分辨率、水平方向的镜头视角和垂直方向的镜头视角;所述水平摄像头组的至少两个摄像头在所述水平方向上对齐设置,所述垂直摄像头组的至少两个摄像头在所述垂直方向上对齐设置。本实用新型装置由于在不同的方向上设置了摄像头组,可以有效减少甚至消除单一方向拍摄图像过程中出现的盲点数;另外,增设的垂直摄像头组还可以改善实物在垂直方向的空间位置坐标的测量精度,进而提高实物的定位精度。
Description
技术领域
本实用新型涉及空间定位技术领域,更具体地,本实用新型涉及一种空间定位装置及一种虚拟现实系统。
背景技术
目前的空间定位装置主要采用双目摄像头,通过双目摄像头采集的图像获取空间实物的空间位置数据,该空间位置数据包括深度值、沿水平方向的空间位置坐标、及沿垂直方向的空间位置坐标,进而实现空间实物的空间定位。在此基础上,通过比较空间实物在不同时间点的空间位置数据便可确定空间实物的动作,实现基于动作指挥的人机交互功能。
通过双目摄像头进行空间定位存在的问题包括盲区问题,盲区即为两个摄像头所拍摄图像的非重合区。参照图1所示,左侧摄像头C1对应拍摄区域Va1,右侧摄像头C2对应拍摄区域Va2,两个摄像头C1、C2不仅在拍摄区域Va1与拍摄区域Va2的非交叠区存在盲区,而且在拍摄区域Va1与拍摄区域Va2的交叠区也可能存在盲区,这是由于空间实物的凹凸不平所导致的,在某些特定的条件下便会出现该种现象。以图1为例,左侧摄像头C1在交叠区存在盲区D1,右侧摄像头C2在交叠区存在盲区D2,因此,左侧摄像头C1能够拍摄到的空间实物的特征是F1、F2、F3、F4、F6,右侧摄像头能够拍摄到的空间实物的特征是F2、F4、F5、F6、F7,以上每一特征对应图像上的一个像素点,这样,在特征F1至F7中,能够根据左侧摄像头C1和右侧摄像头C2采集的图像获得深度值的仅包括特征F2、F4、F6,特征F3、F5因分别位于右侧摄像头和左侧摄像头的盲区内而成为双目摄像头的盲点。由于特征F3、F5处于两个摄像头的拍摄区域的交叠区(中央区域),即二者位于期望的空间定位区域内,若无法获取深度值将是一个很大的技术漏洞,因此,交叠区的盲点问题已成为空间定位技术需要亟待解决的问题。
实用新型内容
本实用新型实施例的一个目的是提供一种空间定位装置的新的技术方案,以至少能够减少交叠区内的盲点数量。
根据本实用新型的第一方面,提供了一种空间定位装置,其包括水平摄像头组和垂直摄像头组,该水平摄像头组和该垂直摄像头组各自包括参数相同的至少两个摄像头,该参数包括图像分辨率、水平方向的镜头视角和垂直方向的镜头视角;该水平摄像头组的至少两个摄像头在该水平方向上对齐设置,该垂直摄像头组的至少两个摄像头在该垂直方向上对齐设置。
可选的是,该水平摄像头组包括第一摄像头和第二摄像头,该垂直摄像头组包括该第二摄像头和第三摄像头。
可选的是,该第一摄像头与该第二摄像头之间的水平基线长度不等于该第二摄像头与该第三摄像头之间的垂直基线长度。
可选的是,该第一摄像头与该第二摄像头之间的水平基线长度小于或者等于200mm,该第二摄像头与该第三摄像头之间的垂直基线长度小于或者等于200mm。
可选的是,该水平摄像头组还包括第四摄像头,该第一摄像头与该第四摄像头分设在该第二摄像头的两侧。
可选的是,该第一摄像头与该第二摄像头之间的水平基线长度不等于该第二摄像头与该第四摄像头之间的水平基线长度。
可选的是,该垂直摄像头组还包括第五摄像头,该第三摄像头与该第五摄像头分设在该第二摄像头的两侧。
可选的是,该第二摄像头与该第三摄像头之间的垂直基线长度不等于该第二摄像头与该第五摄像头之间的垂直基线长度。
可选的是,该空间定位装置还包括处理器和通信模块,该处理器与每一摄像头连接,该通信模块与该处理器连接。
根据本实用新型的第二方面,还提供了一种虚拟现实系统,其包括根据本实用新型第一方面的空间定位装置。
本实用新型的一个有益效果在于,设置水平摄像头组和垂直摄像头组,同时对图像进行采集处理,由于在不同的方向上设置了摄像头组,可以有 效减少甚至消除单一方向拍摄图像过程中出现的盲点数;另外,增设的垂直摄像头组还可以改善实物在垂直方向的空间位置坐标的测量精度,进而提高实物的定位精度。
通过以下参照附图对本实用新型的示例性实施例的详细描述,本实用新型的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本实用新型的实施例,并且连同其说明一起用于解释本实用新型的原理。
图1为现有双目摄像头的结构示意图;
图2为根据本实用新型实施例的空间定位装置的结构示意图;
图3a为任一摄像头的沿水平方向的像素与空间位置坐标换算关系的示意图;
图3b为任一摄像头的沿垂直方向的像素与空间位置坐标换算关系的示意图;
图4为根据本实用新型实施例的空间定位装置的定位处理方法的流程示意图。
图5为图2所示空间定位装置的一种定位处理方法的流程示意图。
具体实施方式
现在将参照附图来详细描述本实用新型的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本实用新型的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本实用新型及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一 旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<空间定位装置的摄像头配置结构>
根据本实用新型实施例的空间定位装置包括水平摄像头组和垂直摄像头组;
该水平摄像头组包括参数相同的至少两个摄像头,水平摄像头组的至少两个摄像头在水平方向上对齐设置;
该垂直摄像头组也包括参数相同的至少两个摄像头,垂直摄像头组的至少两个摄像头在垂直方向上对齐设置;
以上参数包括图像分辨率Px×Py、水平方向的视场角度2φ、及垂直方向的视场角度
摄像头的图像分辨率Px×Py决定了所采集图像的每行(水平方向)的像素数和每列(垂直方向)的像素数,其中,每行的像素数为Px,每列的像素数为Py。
摄像头的水平方向的视场角度2φ决定了摄像头在水平方向上的最大摄取范围。本实用新型中的水平方向具体指摄像头的图像传感器标定的水平方向。
摄像头的垂直方向的视场角度决定了摄像头在垂直方向上的最大拍摄范围。本实用新型中的垂直方向具体指摄像头的图像传感器标定的垂直方向,该垂直方向垂直于图像传感器标定的水平方向。
水平摄像头组的至少两个摄像头在水平方向上对齐设置。该对齐使得水平摄像头组的至少两个摄像头的图像传感器的任意相同点(例如中心点、四个边角点)的连线均平行于水平方向。
对于型号相同的各摄像头,例如可以通过设置各摄像头的底面共面、及各摄像头的前端面共面来实现各摄像头在水平方向上的对齐。
垂直摄像头组的至少两个摄像头在垂直方向上对齐设置。该对齐使得垂直摄像头组的至少两个摄像头的图像传感器的任意相同点(例如中心点、四个边角点)的连线均平行于垂直方向。
对于型号相同的各摄像头,例如可以通过设置各摄像头的前端面共面、 及各摄像头的左端面和/或右端面共面来实现各摄像头在垂直方向上的对齐。由于本实用新型实施例的空间定位装置分别在水平方向上和垂直方向上设置了水平摄像头组和垂直摄像头组,这样,通过控制两个摄像头组同时采集图像,便能获得空间实物的能够通过比对像素点内容被识别的特征在同一时刻的两组深度值数据,通过两组深度值数据的互相补充便可以有效减少甚至消除单一方向拍摄图像过程中出现的盲点数。另外,分别设置水平摄像头组和垂直摄像头组还可以提高实物在水平方向和垂直方向的空间位置坐标的测量精度,进而提高对空间实物的定位精度。根据本实用新型实施例的空间定位装置可以包括一个该种水平摄像头组,或者两个以上(包括两个)该种水平摄像头组。
根据本实用新型实施例的空间定位装置可以包括一个该种垂直摄像头组,或者两个以上(包括两个)该种垂直摄像头组。
<空间定位装置的定位处理方法>
图2为用于以上空间定位装置的一种定位处理方法的流程示意图。
根据图2所示,该定位处理方法可以包括:
步骤S210,分别获取水平摄像头组和垂直摄像头组在同一时间采集的图像。
实施本实用新型定位处理方法的定位处理装置例如可以通过至少一个处理器接收水平摄像头组和垂直摄像头组中的每一摄像头采集到的图像。
步骤S220,根据水平摄像头组采集的图像计算表示同一实物中相同特征的像素点对的水平像素差,及根据垂直摄像头组采集的图像计算表示同一实物中相同特征的像素点对的垂直像素差。
每一像素点对表示同一实物中相同特征说明:像素点对的图像内容为同一实物的相同特征,例如,像素点对的图像内容为同一人物的相同手部特征。
在水平摄像头组采集的图像及垂直摄像头组采集的图像中,能够通过比对像素点内容提取到像素点对的实物特征为该实物的边缘特征、角部特征等。例如,水平摄像头组采集的图像中,有两幅图像具有表示同一人物的手部特征的像素点,通过比对得到表示手部相同边缘特征的像素点在两 幅图像中位于相同的像素行,但具有不同的像素位置,二者之间的像素坐标的差值便为水平像素差。
又例如,垂直摄像头组采集的图像中,有两幅图像具有表示同一人物的头部特征的像素点,通过比对得到表示头部相同边缘特征的像素点在两幅图像中位于相同的像素列,但具有不同的像素位置,二者之间的像素坐标的差值便为垂直像素差。
在该步骤中,可以分别针对水平摄像头组采集的图像及垂直摄像头组采集的图像提取所有像素点,并通过来源摄像机及像素坐标标记每一像素点,再在来自水平摄像头组的像素点之间、及来自垂直摄像头组的像素点之间分别进行相同特征的比对,得到表示同一实物中相同特征的像素点对,进而根据每一像素点对的像素位置获得水平像素差或者垂直像素差。
步骤S230,根据像素点对的水平像素差,计算水平摄像头组采集的图像中的其他像素点对应的水平像素差,及根据像素点对的垂直像素差,计算垂直摄像头组采集的图像中的其他像素点对应的垂直像素差。
由于能够通过比对像素点内容得到像素点对的实物特征有限,仅限于边缘特征、角部特征等,而空间实物的测量不仅需要这些像素点对所表示特征的空间位置数据,也需要其他特征的空间位置数据,因此,在该步骤S230中,可以将像素点对的水平像素差作为基准,计算出水平摄像头组采集的图像中的其他像素点对应的水平像素差,及将像素点对的垂直像素差作为基准,计算垂直摄像头组采集的图像中的其他像素点对应的垂直像素差。
以水平摄像头组采集的第一图像为例,设其中的一部分像素点与水平摄像头组采集的其他图像通过比对成为像素点对,则第一图像的另外一部分像素点则为第一图像的其他像素点。
以垂直摄像头组采集的第三图像为例,设其中的一部分像素点与垂直摄像头组采集的其他图像通过比对成为像素点对,则第三图像的另外一部分像素点则为第三图像的其他像素点。
通过步骤S230,可以获得水平摄像头组采集的每一图像的所有像素点对应的水平像素差,及垂直摄像头组采集的每一图像的所有像素点对应 的垂直像素差。
例如,水平摄像头组采集的一图像中,像素点A1与水平摄像头组采集的另一图像中的像素点A2形成像素点对A,像素点对A之间的水平像素差为dxa,像素点B1与该另一图像中像素点B2形成像素点B,像素点B之间的水平像素差为dxb,其中,像素点A1与像素点B1位于同一像素行,二者之间在水平方向上间隔n个像素点,这样,可以通过对水平像素差dxb与水平像素差dxa在n个像素点上进行线性插值,得到n个像素点中每一像素点的水平像素差。
又例如,垂直摄像头组采集的一图像中,像素点C1与垂直摄像头组采集的另一图像中的像素点C2形成像素点对C,像素点对C之间的垂直像素差为dyc,像素点D1与该另一图像中像素点D2形成像素点D,像素点D之间的垂直像素差为dyd,其中,像素点C1与像素点D1位于同一像素列,二者之间在垂直方向上间隔m个像素点,这样,可以通过对垂直像素差dyc与垂直像素差dyd在m个像素点上进行线性插值,得到m个像素点中每一像素点的垂直像素差。
步骤S240,根据水平摄像头组采集的图像中每一像素点对应的水平像素差计算所表示特征的深度值作为水平深度值,及根据垂直摄像头组采集的图像中每一像素点对应的垂直像素差计算所表示特征的深度值作为垂直深度值。
以上水平深度值为对应特征与水平摄像头组的图像传感器所在平面间的距离,即在图3a和图3b中Z轴方向上的距离。
以上垂直深度值为对应特征与垂直摄像头组的图像传感器所在平面间的距离,即在图3a和图3b中Z轴方向上的距离。
在该步骤中,设对应特征F的水平像素差为dx、垂直像素差为dy、水平深度值为FZx、及垂直深度值为FZy,下面参照图3a和图3b说明水平深度值FZx与水平像素差dx之间的关系、及垂直深度值为FZy与垂直像素差为dy之间的关系。
对于水平摄像头组的任一摄像头,参照图3a和图3b所示,其所采集图像上的表示特征F的像素点的像素坐标为(Fx,Fy),该像素坐标与特 征F沿水平方向和垂直方向的空间位置坐标(UF,VF)之间的关系为:
根据图3a,UF=σFx×Fx+U0,
根据图3b,VF=σFy×Fy+V0,
在图3a和图3b中,U轴、V轴、Z轴代表空间坐标系,其中,U轴沿水平方向设置、V轴沿垂直方向设置、Z轴垂直于图像传感器所在平面。
在公式(1)和(2)中:(UF,VF)为特征F沿水平方向和垂直方向的空间位置坐标;(U0,V0)为像素坐标为(0,0)的像素点所表示的特征在水平方向和垂直方向上的空间位置坐标;(Fx,Fy)为特征F的像素点的像素坐标;FZx为水平深度值,Px为对应摄像头的每行的像素数,Py为对应摄像头的每列的像素数;φ为对应摄像头的水平方向的视场角度的一半;为对应摄像头的垂直方向的视场角度的一半。
如果该特征F同时存在于水平摄像头组的两个摄像头采集的图像中,则:
对于其中一个摄像头,按照上述公式(1)可以得到如下公式(3):
UF=σFx×Fx+U0 公式(3);
对于其中另一个摄像头,按照上述公式(1)可以得到如下公式(4):
UF=σFx×(Fx-dx)+(U0+a) 公式(4);
其中,a为两个摄像头在水平方向上的距离,即水平基线长度;dx为水平像素差。
结合公式(3)和公式(4),可得到:
因此,如果特征F同时存在于水平摄像头组的两个摄像头采集的图像中,则可以根据公式(1)、公式(2)和(5)计算得到特征F的空间位置数据,该空间位置数据包括特征F的水平深度值FZx、及沿水平方向和垂直方向的空间位置坐标(UF,VF)。
对于垂直摄像头组的任一摄像头,同样参照图3a和图3b所示,其所采集图像上的表示特征F的像素点的像素坐标为(Fx,Fy),该像素坐标与特征F沿水平方向和垂直方向的空间位置坐标(UF,VF)之间的关系为:
根据图3a,UF=σFx×Fx+U0,
根据图3b,VF=σFy×Fy+V0,
在公式(6)和(7)中:(UF,VF)为特征F沿水平方向和垂直方向的空间位置坐标;(U0,V0)为像素坐标为(0,0)的像素点所表示的特征在水平方向和垂直方向上的空间位置坐标;(Fx,Fy)为特征F的像素点的像素坐标;FZy为垂直深度值,Px为对应摄像头的每行的像素数,Py为对应摄像头的每列的像素数;φ为对应摄像头的水平方向的视场角度的一半;为对应摄像头的垂直方向的视场角度的一半。
如果该特征F同时存在于垂直摄像头组的两个摄像头采集的图像中,则:
对于其中一个摄像头,按照上述公式(7)可以得到如下公式(8):
VF=σFy×Fy+V0 公式(8);
对于其中另一个摄像头,按照上述公式(2)可以得到如下公式(9):
VF=σFy×(Fy-dy)+(V0+b) 公式(9);
其中,b为两个摄像头在垂直方向上的距离,即垂直基线长度;dy为垂直像素差。
结合公式(8)和公式(9),可得到:
因此,如果特征F同时存在于垂直摄像头组的两个摄像头采集的图像中,则可以根据公式(6)、公式(7)和公式(10)计算得到特征F的空间位置数据,该空间位置数据包括特征F的垂直深度值FZy、及沿水平方向和垂直方向的空间位置坐标(UF,VF)。
步骤S250,根据水平深度值和垂直深度值,计算得到对应特征的空间位置坐标。
在该步骤S250中,可以根据以上公式(1)、公式(2)和(5)或者以上公式(6)、公式(7)和公式(10)计算得到特征F沿水平方向和垂直方向的空间位置坐标。
由此可见,根据本实用新型的空间定位装置,可以通过以上定位处理 方法对水平摄像头组和垂直摄像头组在同一时间采集到的图像进行处理,由于在不同的方向上设置了摄像头组,因此,在步骤S220中,能够在不同的方向上通过比对像素点内容提取到表示同一实物中相同特征的像素点对,并得到每一像素点对的准确像素差作为基准像素差,以通过不同方向上的像素点对的相互补充减少甚至消除盲点的数量。这样,在步骤S230中,便具有更多的用于计算其他像素点对应的像素差的基准像素差,进而提高通过插值等手段计算得到的所有图像中每一像素点对应的像素差的准确性,提高空间定位的可靠性。
另外,由于摄像头的固有失真,摄像头成像与实物是有微小差异的,这体现在:位于图像中间的成像与实物一致,处于图像边缘的成像比实物略小,这就会导致基于图像进行实物的测量存在偏差。而根据本实用新型实施例的空间定位装置,由于分别设置了水平摄像头组和垂直摄像头组,因此,可以利用水平摄像头组中两个摄像头之间的具有参考作用的水平基线长度,有效减小通过由水平像素差计算得到的特征F沿水平方向的空间位置坐标、对实物进行水平方向测量的偏差,以能够将水平方向的测量偏差控制在可以接受的范围内,这对于进行实物在水平方向上的测量是有利的。同时,还可以利用垂直摄像头组中两个摄像头之间的具有参考作用的垂直基线长度,有效减小通过由垂直像素差得到的特征F沿垂直方向的空间位置坐标、对实物进行垂直方向测量的偏差,以还能够将垂直方向的测量偏差控制在可以接受的范围内,这对于进行实物在垂直方向上的测量是有利的。
本实用新型实施例的空间定位装置可以固定安装在选定的定位空间中。
本实用新型实施例的空间定位装置也可以固定安装在运动物体上,例如在虚拟现实应用中,安装在虚拟现实头盔上。
<例子1>
图4为根据本实用新型实施例的空间定位装置的配置结构示意图。
根据图4所示,在该实施例中,空间定位装置包括第一摄像头C1、第二摄像头C2和第三摄像头C3,三个摄像头C1、C2、C3具有相同的参 数,该参数包括图像分辨率Px×Py、水平方向的视场角度2φ、及垂直方向的视场角度
第一摄像头C1与第二摄像头C2在水平方向上对齐设置构成水平摄像头组的一对水平摄像头。
第三摄像头C3与第二摄像头C2在垂直方向上对齐设置构成垂直摄像头组的一对垂直摄像头。
在该实施例中,由于一对水平摄像头与一对垂直摄像头共用第二摄像头C2,因此,可以第二摄像头C2为基准确定水平基线长度和垂直基线长度,并以第二摄像头C2作为基准在一对水平摄像头之间及一对垂直摄像头之间进行全像素的匹配,进而实现对同一空间实物的空间位置数据的相互补充,以根据定位需求进行灵活的定位处理。
根据该实施例的空间定位装置,以图1中的特征F5为例,特征F5为第一摄像头C1的盲点,因此,根据一对水平摄像头C1、C2将无法获得特征F5的准确深度值。但是,通过增加摄像头C3与摄像头C2组成一对垂直摄像头,则在特征F5能够被摄像头C3所拍摄到的情况下,便可以根据一对垂直摄像头C2、C3获得特征F5的准确深度值,进而使得特征F5不再成为空间定位装置的盲点。由此可见,通过本实施例的空间定位装置,至少可以减少甚至消除盲点,提高空间定位的可靠性。
另外,根据本实施例的空间定位装置,由于通过摄像头C1和摄像头C2组成了一对水平摄像头,二者之间具有作为参考的水平基线长度a,该水平基线长度a可以有效减小通过由水平像素差计算得到的特征F沿水平方向的空间位置坐标、对实物进行水平方向测量的偏差,以能够将对实物进行水平方向的测量偏差控制在可以接受的范围内。这是由于对实物进行水平方向的测量是基于实物各特征沿水平方向的空间位置坐标的相对差值进行的,如果各特征的沿水平方向的空间位置坐标均是基于水平基线长度a得到的数据,那么,相同的误差便可在计算相对差值时得以消除,进而提高在水平方向上的测量精度。
同理,由于本实施例的空间定位装置还通过摄像头C2和摄像头C3组成的一对垂直摄像头,二者之间具有作为参考的垂直基线长度b,该垂 直基线长度b可以有效减小通过由垂直像素差计算得到的特征F沿垂直方向的空间位置坐标、对实物进行垂直方向测量的偏差,以还能够将垂直方向的测量偏差控制在可以接受的范围内。这是由于对实物进行垂直方向的测量是基于实物各特征沿垂直方向的空间位置坐标的相对差值进行的,如果各特征的沿垂直方向的空间位置坐标均是基于垂直基线长度b得到的数据,那么,相同的误差便可在计算相对差值时得以消除,进而提高在垂直方向上的测量精度。
图5为用于图4所示空间定位装置的一种定位处理方法的流程示意图。
根据图5所示,该定位处理方法可以包括如下步骤:
步骤S510,获取第一摄像头C1、第二摄像头C2和第三摄像头C3在同一时间采集到的图像,分别对应为第一图像、第二图像和第三图像。
步骤S521,比较第一图像和第二图像,沿水平方向匹配得到表示同一实物中相同特征的像素点对作为水平像素对。
该水平像素对在第一图像和第二图像上位于相同像素行的不同像素位置,因此,该水平像素对在第一图像和第二图像上具有水平像素差。
步骤S531,根据水平像素对在第一图像和第二图像上的像素位置,确定水平像素对在第一图像和第二图像上的水平像素差。
步骤S541,根据水平像素对的水平像素差,计算第一图像和第二图像中其他像素点对应的水平像素差。
在该步骤S541中,例如以水平像素对的水平像素差作为已知的基准像素差,并通过插值手段得到第一图像和第二图像中其他像素点对应的水平像素差。
步骤S551,根据第一图像和第二图像中每一像素点对应的水平像素差,计算所表示特征的深度值作为水平深度值。
在该步骤中,可以利用以上公式(5)计算第一图像和第二图像中每一像素点所表示特征F的深度值作为水平深度值FZx。
步骤S522,比较第二图像和第三图像,沿垂直方向匹配得到表示同一实物中相同的特征的像素点对作为垂直像素对。
该垂直像素对在第二图像和第三图像上位于相同像素列的不同像素 位置,因此,该垂直像素对在第二图像和第三图像上具有垂直像素差。
步骤S532,根据垂直像素对在第二图像和第三图像上的像素位置,确定垂直像素对在第二图像和第三图像上的垂直像素差。
步骤S542,根据垂直像素对的垂直像素差,计算第二图像和第三图像中其他像素点对应的垂直像素差。
在该步骤S542中,例如以垂直像素对的垂直像素差作为已知的基准像素差,并通过插值手段得到第二图像和第三图像中其他像素点对应的垂直像素差。
步骤S552,根据第二图像和第三图像中每一像素点对应的垂直像素差,计算所表示特征的深度值作为垂直深度值。
在该步骤中,可以利用以上公式(10)计算第二图像和第三图像中每一像素点所表示特征F的深度值作为垂直深度值FZy。
步骤S560,根据水平深度值和垂直深度值,计算对应特征沿水平方向和沿垂直方向的空间位置坐标。
在该步骤S560中,对于一对水平摄像头C1、C2,可以根据以上公式(1)、公式(2)计算得到水平深度值所表示特征沿水平方向和沿垂直方向的空间位置坐标。
在该步骤S560中,对于一对垂直摄像头C2、C3,可以根据以上公式(6)、公式(7)计算得到垂直深度值所表示特征沿水平方向和沿垂直方向的空间位置坐标。
例如,人体手部特征同时被摄像头C1、C2采集到,而未被摄像头C3采集到,则可以利用表示该人体手部特征的水平像素对的水平像素差作为基准像素差来计算表示人体其他特征的像素点对应的水平像素差,并利用该水平像素对的水平像素差计算得到该人体手部特征的准确的空间位置数据。
又例如,人体头部特征同时被摄像头C2、C3采集到,而未被摄像头C1采集到,则可以利用表示该人体头部特征的垂直像素对的垂直像素差作为基准像素差来计算表示人体其他特征的像素点对应的垂直像素差,并利用该垂直像素对的垂直像素差计算得到该人体头部特征的准确的空间位置 数据。
进一步地,可以基于人体各特征在水平方向上的空间位置坐标对人体进行水平方向上的测量,例如测量人体的腰围,及可以基于人体各特征在垂直方向上的空间位置坐标进行人体在垂直方向上的测量,例如测量人体的身高。
<例子2>
在图4所示实施例的空间定位装置的基础上,可以设置一对水平摄像头C1、C2间的水平基线长度a不等于一对垂直摄像头C3、C4间的垂直基线长度b,这样,便可有效解决增大能够使能的深度数据范围与增大两个摄像头之间的交叠区域范围之间的矛盾问题,该矛盾体现在:
(1)参照图1可知,两个摄像头之间的距离越远,则二者之间的交叠区域范围越小,因此,为了增大二者之间的交叠区域范围以减小盲区,则需要减小两个摄像头之间的距离。
(2)以一对水平摄像头为例,深度值越远的特征点,在第一图像和第二图像中的水平像素差越小,这会导致基于水平像素差计算的深度数据的误差过大而无法使用,因此,为了增加能够使用的深度数据范围,则需要增加两个摄像头之间的距离。
由于本实施例包括一对水平摄像头及一对垂直摄像头,且二者共用摄像头C2,因此,如果设置垂直基线长度b大于水平基线长度a,则可以通过一对水平摄像头解决增大交叠区域范围的问题,及通过一对垂直摄像头解决增大能够使用的深度数据范围的问题。如果设置水平基线长度a大于垂直基线长度b,则可以通过一对垂直摄像头解决增大交叠区域范围的问题,及通过一对水平摄像头解决增大能够使用的深度数据范围的问题。
在解决以上矛盾问题的基础上,为了使得一对水平摄像头及一对垂直摄像头均具有合理的交叠区域,以获得尽可能多的像素点对:
(1)以上水平基线长度a和垂直基线长度b中的较短者的范围可以小于或者等于200mm,例如等于100mm。
(2)以上水平基线长度和垂直基线长度中的较长者的范围可以大于或者等于100mm,小于或者等于200mm。例如等于200mm。
(3)以上垂直基线长度b与水平基线长度a的比值小于或者等于3倍。
对应一对水平摄像头C1、C2的水平基线长度a小于一对垂直摄像头C2、C3的垂直基线长度b的空间定位装置,以上步骤S560也可以进一步包括:
步骤S561,从所有水平深度值中筛选小于设定深度阈值的水平深度值,计算对应特征沿水平方向和沿垂直方向的空间位置坐标。
步骤S562,从所有垂直深度值中筛选大于或者等于该深度阈值的垂直深度值,计算对应特征沿水平方向和沿垂直方向的空间位置坐标。
以上水平基线长度a越短,该深度阈值将设定的越小。
在该例子中,对于深度值小于深度阈值的特征在水平方向上的测量将具有较高的测量精度,对于深度值大于或者等于深度阈值的特征在垂直方上的测量将具有较高的测量精度。
<例子3>
根据本实用新型实施例的空间定位装置还可以在图4所示实施例的基础上,增加参数相同的第四摄像头,第四摄像头与第一摄像头C1在水平方向上对齐排列构成水平摄像头组的另一对水平摄像头,其中,第一摄像头C1与第四摄像头分设在第二摄像头C2的两侧。进一步地,还可以设置一对水平摄像头的水平基线长度a不等于另一对水平摄像头的水平基线长度,以有效解决增大能够使能的深度数据范围与增大两个摄像头之间的交叠区域范围之间的矛盾问题。
在该例子中,两对水平摄像头中的每一对均可以按照图2或者图5所示的定位处理方法获得实物特征的空间位置数据。因此,该种结构能够通过第一摄像头C1、第二摄像头C2和第三摄像头C3组成共用第二摄像头C2的一组合,还能够通过第四摄像头、第二摄像头C2和第三摄像头C3组成共用第二摄像头C2的另一组合,两个组合不仅可以分别实现对同一空间实物特征F的数据补充,还能结合起来以第二摄像头C2为基准实现对同一空间实物特征F的数据补充,更有利于实现更精准和灵活的空间定位。
在另外的例子中,第四摄像头也可以设置在第一摄像头C1的旁侧, 以使第四摄像头与第二摄像头C2分设在第一摄像头C1的两侧,以还能够通过共用第一摄像头C1的水平摄像头组对空间实物特征F进行空间定位。
<例子4>
根据本实用新型实施例的空间定位装置还可以在图4所示实施例的基础上,增加参数相同的第五摄像头,第五摄像头与第三摄像头C3在垂直方向上对齐排列构成垂直摄像头组的另一对垂直摄像头,其中,第三摄像头C3与第五摄像头C5分设在第二摄像头C2的两侧。
进一步地,还可以设置一对垂直摄像头的垂直基线长度b不等于另一对垂直摄像头的垂直基线长度,以有效解决增大能够使能的深度数据范围与增大两个摄像头之间的交叠区域范围之间的矛盾问题。
在该例子中,两对垂直摄像头中的每一对均可以按照图2或者图5所示的定位处理方法获得实物特征的空间位置数据。因此,该种结构能够通过第一摄像头C1、第二摄像头C2和第三摄像头C3组成共用第二摄像头C2的一组合,还能够通过第五摄像头、第二摄像头C2和第一摄像头C1组成共用第二摄像头C2的另一组合,两个组合不仅可以分别实现对空间实物特征F的数据补充,还能结合起来以第二摄像头C2为基准实现对空间实物特征F的数据补充,更有利于实现更精准和灵活的空间定位。
在另外的例子中,第五摄像头也可以设置在第三摄像头C3的旁侧,以使第五摄像头与第二摄像头C2分设在第三摄像头C3的两侧,以还能够通过共用第三摄像头C3的垂直摄像头组对空间实物特征F进行空间定位。
在另外的例子中,本实用新型实施例的空间定位装置还可以在第四摄像头和/或第五摄像头的基础上,再增加其他摄像头成为水平摄像头组和/或垂直摄像头组的一部分。
<虚拟现实系统>
本实用新型还提供了一种虚拟现实系统,该虚拟现实系统包括以上任一种空间定位装置,例如图4所示的空间定位装置。
该空间定位装置可以进一步包括处理器和通信装置,每一摄像头与处理器例如通过MIPI总线连接,以接收每一摄像头采集到的图像。
该处理器可以直接执行以上定位处理方法,并将根据该定位处理方法 得到的空间位置数据(包括深度值、沿水平方向和垂直方向的空间位置坐标等)通过通信装置发送给虚拟现实系统的主机。
该处理器也可以将每一摄像头采集到的图像经过预处理后,通过通信装置发送给虚拟现实系统的主机执行以上定位处理方法。
该预处理例如可以包括灰度化处理、增强处理、滤波处理、二值化处理、白平衡处理、去马赛克处理、伽马校正处理等中的至少一种。
该处理器也可以执行以上定位处理方法得到深度数据,并将得到的深度数据发送给虚拟现实系统的主机计算沿水平方向和垂直方向的空间位置坐标等。
该虚拟现实系统还可以包括头戴设备、控制手柄等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分相互参见即可,每个实施例重点说明的都是与其他实施例的不同之处,而且各个实施例可以根据需要单独使用或者相互结合使用。
虽然已经通过例子对本实用新型的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本实用新型的范围。本领域的技术人员应该理解,可在不脱离本实用新型的范围和精神的情况下,对以上实施例进行修改。本实用新型的范围由所附权利要求来限定。
Claims (10)
1.一种空间定位装置,其特征在于,包括水平摄像头组和垂直摄像头组,所述水平摄像头组和所述垂直摄像头组各自包括参数相同的至少两个摄像头,所述参数包括图像分辨率、水平方向的镜头视角和垂直方向的镜头视角;所述水平摄像头组的至少两个摄像头在所述水平方向上对齐设置,所述垂直摄像头组的至少两个摄像头在所述垂直方向上对齐设置。
2.根据权利要求1所述的空间定位装置,其特征在于,所述水平摄像头组包括第一摄像头和第二摄像头,所述垂直摄像头组包括所述第二摄像头和第三摄像头。
3.根据权利要求2所述的空间定位装置,其特征在于,所述第一摄像头与所述第二摄像头之间的水平基线长度不等于所述第二摄像头与所述第三摄像头之间的垂直基线长度。
4.根据权利要求2或3所述的空间定位装置,其特征在于,所述第一摄像头与所述第二摄像头之间的水平基线长度小于或者等于200mm,所述第二摄像头与所述第三摄像头之间的垂直基线长度小于或者等于200mm。
5.根据权利要求2所述的空间定位装置,其特征在于,所述水平摄像头组还包括第四摄像头,所述第一摄像头与所述第四摄像头分设在所述第二摄像头的两侧。
6.根据权利要求5所述的空间定位装置,其特征在于,所述第一摄像头与所述第二摄像头之间的水平基线长度不等于所述第二摄像头与所述第四摄像头之间的水平基线长度。
7.根据权利要求2所述的空间定位装置,其特征在于,所述垂直摄像头组还包括第五摄像头,所述第三摄像头与所述第五摄像头分设在所述第二摄像头的两侧。
8.根据权利要求7所述的空间定位装置,其特征在于,所述第二摄像头与所述第三摄像头之间的垂直基线长度不等于所述第二摄像头与所述第五摄像头之间的垂直基线长度。
9.根据权利要求1所述的空间定位装置,其特征在于,所述空间定位装置还包括处理器和通信模块,所述处理器与每一摄像头连接,所述通信模块与所述处理器连接。
10.一种虚拟现实系统,其特征在于,包括权利要求1至9中任一项所述的空间定位装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720724058.XU CN206946562U (zh) | 2017-06-21 | 2017-06-21 | 空间定位装置及虚拟现实系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720724058.XU CN206946562U (zh) | 2017-06-21 | 2017-06-21 | 空间定位装置及虚拟现实系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206946562U true CN206946562U (zh) | 2018-01-30 |
Family
ID=61364757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201720724058.XU Active CN206946562U (zh) | 2017-06-21 | 2017-06-21 | 空间定位装置及虚拟现实系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN206946562U (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109186455A (zh) * | 2018-09-06 | 2019-01-11 | 安徽师范大学 | 一种基于视觉测量动态物体三维坐标的装置 |
-
2017
- 2017-06-21 CN CN201720724058.XU patent/CN206946562U/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109186455A (zh) * | 2018-09-06 | 2019-01-11 | 安徽师范大学 | 一种基于视觉测量动态物体三维坐标的装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599540B (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
CN106485275B (zh) | 一种实现盖板玻璃与液晶屏定位贴合的方法 | |
CN107274400A (zh) | 空间定位装置、定位处理方法及装置、虚拟现实系统 | |
CN104574350B (zh) | 三维数据撷取方法及其系统 | |
CN103033132B (zh) | 基于单目视觉的平面测量方法及装置 | |
CN104867113B (zh) | 图像透视畸变校正的方法及系统 | |
CN106815805A (zh) | 基于Bayer图像的快速畸变校正方法 | |
CN106875437A (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
WO2020147574A1 (zh) | 一种基于深度学习的双目动态视觉传感器立体匹配方法 | |
CN108510540A (zh) | 立体视觉摄像机及其高度获取方法 | |
CN107798702A (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
CN107977996A (zh) | 基于靶标标定定位模型的空间目标定位方法 | |
KR101653052B1 (ko) | 3차원 자세측정시스템 및 이를 이용한 자세측정방법 | |
CN107580203B (zh) | 沉浸式主动立体投影透视变换矩阵求解方法 | |
CN104216533B (zh) | 一种基于DirectX9的头戴式虚拟现实显示器 | |
CN105139336B (zh) | 一种多通道全景影像转换球幕鱼眼影片的方法 | |
CN105049827B (zh) | 裸眼3d成像方法及系统 | |
CN108269234A (zh) | 一种全景相机镜头姿态估计方法及全景相机 | |
CN113450416A (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
CN110021035B (zh) | Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法 | |
CN206946562U (zh) | 空间定位装置及虚拟现实系统 | |
KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
CN106097309B (zh) | 一种智能显示视觉图像的位置信息处理方法及系统 | |
CN110909571B (zh) | 一种高精度面部识别空间定位方法 | |
CN106683133A (zh) | 一种获取目标深度图像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201020 Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building) Patentee after: GoerTek Optical Technology Co.,Ltd. Address before: 261031 Dongfang Road, Weifang high tech Development Zone, Shandong, China, No. 268 Patentee before: GOERTEK Inc. |
|
TR01 | Transfer of patent right |