CN106681510A - 位姿识别装置、虚拟现实显示装置以及虚拟现实系统 - Google Patents

位姿识别装置、虚拟现实显示装置以及虚拟现实系统 Download PDF

Info

Publication number
CN106681510A
CN106681510A CN201611257089.5A CN201611257089A CN106681510A CN 106681510 A CN106681510 A CN 106681510A CN 201611257089 A CN201611257089 A CN 201611257089A CN 106681510 A CN106681510 A CN 106681510A
Authority
CN
China
Prior art keywords
target object
real
initial
pose
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611257089.5A
Other languages
English (en)
Other versions
CN106681510B (zh
Inventor
邱虹云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Speed Vision (beijing) Technology Co Ltd
Original Assignee
Speed Vision (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Speed Vision (beijing) Technology Co Ltd filed Critical Speed Vision (beijing) Technology Co Ltd
Priority to CN201611257089.5A priority Critical patent/CN106681510B/zh
Publication of CN106681510A publication Critical patent/CN106681510A/zh
Application granted granted Critical
Publication of CN106681510B publication Critical patent/CN106681510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种位姿识别装置以及安装此装置的虚拟现实系统及其装置。所述位姿识别装置包括:安置于目标物体上的图像采集单元,配置用以在所述目标物体处于初始位置和初始姿态时采集分布在预定形状的面上的多个标记的初始图像,以及实时地采集所述多个标记的实时图像,处理和计算单元,配置用以基于所述初始图像和实时图像、所述面的预定形状以及所述目标物体的初始位置和初始姿态计算所述目标物体的实时位置及实时姿态。通过处理和计算单元的算法计算,能够解决现有技术中安装外置摄像头法判断目标物体空间位置及姿态变化带来的检测盲区,造价高及线路运行维护难等问题,使得本发明的检测精度更高,设备成本低,处理速度快。

Description

位姿识别装置、虚拟现实显示装置以及虚拟现实系统
技术领域
本公开总体上涉及人机交互领域,具体涉及一种位姿识别装置及安装此装置的虚拟现实显示装置以及虚拟现实系统。
背景技术
目标物体的姿态及其运动检测是常用于人机交互领域的一种技术。在现有的目标物体姿态及其运动检测设备中,头部姿势变化或者运动通常关联相应的具体功能实现。其次,虚拟现实设备中画面的视角显示也依赖于目标物体的姿态及其运动检测。因此,精确地采集目标物体姿态及其运动成为虚拟现实装置中非常重要的一环。
当前,主要存在两种检测目标物体姿态的技术。一种是利用传统的运动传感器检测目标物体的运动来获得目标物体的姿态。例如:通过三轴加速度计,三轴陀螺仪和三轴地磁计来实现惯性姿态的检测。另一种是图像技术,其包括采用光学雷达技术或者外置摄像头对虚拟现实装置上的发光点进行检测定位。
传统的运动传感器检测方法由于误差的累计往往存在长时间零位飘移的问题。同时,采用惯性姿态检测也无法解决目标物体在一个空间内移动的情况。采用外置摄像头对虚拟现实装置上检测定位的缺点在于,由于虚拟现实设备上的发光点距离较近,导致位置检测精度差,存在盲区。例如,当目标物体背对摄像头时,则无法检测,因此检测范围小。同时,额外设置外置摄像头不仅导致设备成本的提高,而且大大增加线路接线和设备运行维护的难度。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种位姿识别装置以及安装此装置的虚拟现实(VR,virtual real ity)显示装置、虚拟现实系统以期解决运动传感器检测中长时间零位飘移的问题以及采用外置摄像头带来的图像技术检测盲区等问题。
第一方面,本发明提供一种位姿识别装置,包括:
安置于目标物体上的图像采集单元,配置用以在所述目标物体处于初始位置和初始姿态时采集分布在预定形状的面上的多个标记的初始图像,以及实时地采集所述多个标记的实时图像;
处理和计算单元,配置用以基于所述初始图像和实时图像、所述面的预定形状以及所述目标物体的初始位置和初始姿态计算所述目标物体的实时位置及实时姿态。
第二方面,本发明提供一种虚拟现实显示装置,用于佩戴在目标物体上以根据目标物体的位姿显示相应画面,包括上述位姿识别装置,配置用于获取所述目标物体的实时位置和实时姿态;以及显示组件,配置用以显示根据所述目标物体的实时位置及实时姿态而生成的画面。
第三方面,本发明还提供一种虚拟现实系统,用于根据目标物体的位姿显示相应画面,包括:上述虚拟现实显示装置,以及与所述位姿识别装置的处理和计算单元通信的上位机单元,配置用以根据来自所述处理和计算单元的所述目标物体的实时位置及实时姿态生成相应的画面,并将所述画面传送给所述虚拟现实显示装置。
根据本申请实施例提供的技术方案,通过图像采集单元以及处理和计算单元的配合使用,解决了现有技术中采用惯性姿态检测无法检测目标物体空间内移动的情况,同时,由于本发明中不需要额外设置外置摄像头对虚拟现实显示装置上的发光点进行检测定位。因此,检测盲区问题,连接线路复杂以及后续运行维护难等问题都可以避免。使得本公开的位姿识别装置的检测精度更高,设备成本低,处理速度快。进一步的,根据本申请的某些实施例,如通过微处理器的设置,还能解决因为多信号传输带来的信号丢失及其处理速度慢等问题,从而获得更高的检测效率和检测精确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1a为根据本发明实施例一的位姿识别装置的示意性框图;
图1b为图1a所示位姿识别装置的结构示意图;
图2a为根据本发明实施例二的位姿识别装置的示意性框图;
图2b和图2c分别为图2a所示位姿识别装置的两个示例的结构示意图;
图3a为根据本发明实施例三的虚拟现实显示装置的示意性框图;
图3b示意性地示出了根据本发明实施例三的虚拟现实眼镜;
图4为根据本发明实施例四的虚拟现实系统的示意性框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
首先参照图1a-1b以及图2a-2c介绍根据本发明实施例的位姿识别装置1,该位姿识别装置用于安装在目标物体上以实时地识别该目标物体的空间位置和姿态。例如,根据本发明实施例的位姿识别装置1可以佩戴在人的头部,用于实时地获取人头部的位置和姿态。
图1a、1b示意性地示出了根据本发明实施例一的位姿识别装置1A。
如图1a和1b所示,位姿识别装置1A包括可安置于目标物体10上的图像采集单元11以及处理和计算单元13。图像采集单元11采集目标物体10处于初始位置和初始姿态时分布在预定形状的面12上的多个标记14的初始图像以及实时地采集多个标记14的实时图像。处理和计算单元13基于图像采集单元11采集的初始图像以及实时图像、所述面12的预定形状和目标物体10的初始位置和初始姿态计算出所述目标物体10的实时位置及实时姿态。
通过图像采集单元11以及处理和计算单元13的配合使用,解决了现有技术中采用惯性姿态检测无法检测目标物体10在空间内移动的情况的问题。同时,由于本发明中不需要额外设置外置摄像头对虚拟现实显示装置上的发光点进行检测定位,因此,检测盲区问题,连接线路复杂以及后续运行维护难等问题都可以避免。
面12的预定形状可以为平面、曲面(例如球面、抛物面)或任意平面和/或曲面的组合,只要该预定形状是已知。同时,面12可以是建筑中已经存在的面,例如天花板、墙面、穹顶之类的,但是也可以是专门添设的面,例如投影幕布。此外,应该注意的是,本发明并不限于实体的面12,面12也可以是虚拟的空间概念上的面。例如从屋顶垂挂下来多盏灯用于发光提供多个标记14,这时,多盏灯所处的空间位置的集合即表征出面12。
多个标记14可以为安装在墙面或天花板或其它适合的面12上的灯具、烟雾报警器、开关、壁画或其他类似的实体物体,也可以是发光或反射光而形成的标记。多个标记14不均匀地分布于12面上。
在本实施例中,图像采集单元可以包括CCD(Charged Coupled Device)图像传感器、CMOS(Complementary Metal-Oxide Semiconductor)图像传感器或者任何其他类型的适合的图像传感器。
参考图1a,处理和计算单元13可以进一步包括图像处理单元131和位姿计算单元132。本公开中的处理和计算单元13可以通过如下方式实现目标物体10的实时位置和姿态计算:
图像处理单元131从初始图像中提取多个标记14在该图像中的初始二维坐标和从实时图像中提取多个标记14在该图像中的实时二维坐标。位姿计算单元132接收来自所述图像处理单元131的初始二维坐标和实时二维坐标。位姿计算单元132识别多个标记14,以建立所述实时图像中的多个标记14与初始图像中的多个标记14的对应关系。然后基于所述对应关系,计算多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵以及根据所述仿射矩阵以及目标物体10的初始位置和初始姿态,位姿计算单元132计算出目标物体10的实时位置和实时姿态。
图像处理单元131与图像采集单元11可以集成在能够佩戴在目标物体10上的支架上。
在一些示例中,位姿计算单元132可以形成为与图像处理单元131和图像采集单元11分立的部件。位姿计算单元132可以通过有线或无线的方式与图像处理单元131连接。这里,无线连接的方式包括但不限于蓝牙、Wi-Fi、RFID、ZigBee等。这种情况下,位姿计算单元132可以集成在上述支架上,或者也可以不集成在支架上。例如,除了佩戴在目标物体10上的部分之外,位姿识别装置1还可以包括与该部分有线或无线通讯的“主机”部分,位姿计算单元132可以集成在该“主机”部分中。这种情况下,可以减轻佩戴在目标物体10上的部件的重量,提高使用的轻便性和舒适性。
在另一些示例中,处理和计算单元13的图像处理单元131和位姿计算单元132可以用一个植入算法的微处理器实现。该微处理器与图像采集单元11为分立元件且例如通过支架固定设置于目标物体10上。微处理器接收图像采集单元11采集的初始图像以及实时图像,并且通过算法识别初始图像与实时图像中多个标记14的初始二维坐标及其实时二维坐标,并且基于多个标记14的初始二维坐标及其实时二维坐标、面12的预定形状以及目标物体10的初始位置和初始姿态计算目标物体10的实时位置及实时姿态。采用微处理器一体实现图像处理单元131和位姿计算单元132可以避免因为图像处理单元131跟位姿计算单元132通信过程中带来的信号缺失或者因为信号屏蔽导致图像处理单元131不能及时地将信号传输给位姿计算单元132。同时,通过在微处理器中植入算法程序,图像处理的效率更高,从而尽量减少图像采集到图像计算这个时间差造成的实时位姿计算的延迟。
以下通过一个具体示例对位姿识别装置1A进行示例性的说明:
在本示例中,图像采集单元11为相机,所述相机在预定三维坐标系的X轴的旋转角度为ψ、Y轴的旋转角度为θ,旋转范围均为(-90°,90°),即-π/2<θ<π/2,-π/2<ψ<π/2,Z轴的旋转角度为φ,旋转范围为(-180°,180°),即预定形状的面12优选为室内的屋顶平面,其中包括4个标记14。
由于相机佩戴在目标物体上,从而随着目标物体变换位姿,所以相机的X轴的旋转角度为ψ、Y轴的旋转角度为θ、Z轴的旋转角度为φ即为目标物体的X轴、Y轴和Z轴的旋转角度,反映出目标物体的姿态变化。
在其它实施例中,还可根据实际需求配置不同的图像采集单元11、预定三维坐标系及其各轴的旋转角度范围、面12的预定形状及标记14的数量,只要标记的数量不少于4个,X轴/Y轴的旋转范围不超过180°,即可实现本发明的技术效果。
具体地,所述相机在预定三维坐标系的预定参考位置处采集初始图像,以供图像处理单元131从初始图像中提取各标记14在初始图像中的初始二维坐标X0
当所述相机随目标物体10改变了位置或姿态之后,采集实时图像,以供图像处理单元131从实时图像中提取各标记14在实时图像中的实时二维坐标X1
位姿计算单元132例如通过星敏算法识别初始图像和实时图像中的各标记14。
识别出各标记14之后,位姿计算单元132建立实时图像中的各标记14与初始图像中的各标记14的对应关系:
对于各标记X,分别有:
X0=[X01 X02 1]T,X1=[X11 X12 1]T, (1)
其中,X01、X02分别为标记X在初始图像中的二维坐标X0的左右坐标,X11、X12分别为标记X在实时图像中的二维坐标X1的左右坐标;
以及,基于所述对应关系,计算所述多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵:
对于各组X0与X1,分别有:
X0=wHX1, (2)
其中,w为非零常数因子,H为初始图像和实时图像关于预定形状的面12的仿射矩阵。
根据各标记14的式(1)和(2)对仿射矩阵H进行求解:
其中,h11、h12、h13、h21、h22、h23、h31、h32分别为仿射矩阵H的解中对应位置的数值。
仿射矩阵H与目标物体10的旋转矩阵[R,t]满足以下关系:
其中,r11、r12、t1、r21、r22、t2、r31、r32分别为旋转矩阵中对应位置的数值,t1、t2分别为目标物体10在X轴/Y轴方向上位移,ψ、θ、φ分别为目标物体10从初始位置到实时位置发生的X轴、Y轴和Z轴旋转角度。
通过上述关系式(4),可以得到:
r11=cosθcosφ=h11 (5)
r21=cosθsinφ=h21 (6)
r12=sinψsinθcosφ-cosψsinφ=h12 (7)
r22=sinψsinθsinφ+cosψcosφ=h22 (8)
t1=h13, (9)
t2=h23, (10)
位姿计算单元132通过上述式(5)-(10),计算得到目标物体10从初始位置到实时位置发生的X轴、Y轴和Z轴旋转角度ψ、θ、φ以及目标物体10在X轴/Y轴方向上位移t1、t2,从而根据仿射矩阵H以及所述目标物体10的初始位置和初始姿态,计算出所述目标物体10的实时位置和实时姿态。
具体而言,由于-π/2<θ<π/2,-π/2<ψ<π/2,根据式(5)-(8)求解可得:
同时,根据式(5)-(6)求解可得:
其中,θ的正负符号根据所述坐标系中坐标的增量方向确定,具体地,将任一标记X的在初始图像中的二维坐标X0记为(X01,X02),在实时图像中的二维坐标X1记为(X11,X12),再将X1中绕Z轴的旋转量恢复到初始值,即将Z轴归零后的坐标记为(X21,X22),则有:
令X21-X11>0时,-π/2<θ<0,X21-X11≤0时,0≤θ<π/2,代入式(12),则有:
令a=sinθ,b=sinφ,c=cosφ,代入式(7)-(8),求解可得:
根据式(15)求解可得:
此外,根据式(4)可解得目标物体10在X轴/Y轴方向上的位移t1、t2,根据式(4)和相机的内部参数矩阵可解得目标物体10在Z轴方向上位移t3,从而最终根据目标物体10绕X轴/Y轴/Z轴的各旋转角度,以及在X轴/Y轴/Z轴方向上的各位移确定目标物体10的实时位置和实时姿态。
以所述相机绕X轴旋转30度,保持Y轴,Z轴不动、未发生位移,且标记14的数量为4个为例,4个标记(A,B,C,D)在初始图像中的初始二维坐标:A0(400,100);B0(600,100);C0(600,200);D0(400,200);在实时图像中的实时二维坐标:A1(400,86);B1(600,86);C1(600,173);D1(400,173)。
根据上述装置和方法求解得到:
最终解得ψ=29.5°、θ=0°,φ=0°,t1、t2、t3均为0。
图像采集单元11采集多个标记14的初始图像以及实时图像。图像处理单元131提取初始图像和实时图像中多个标记14的二维坐标。位姿计算单元132接收来自图像处理单元131的多个标记14的初始二维坐标和实时二维坐标。位姿计算单元132根据多个标记14的初始二维坐标、实时二维坐标以及目标物体10的初始位置和姿势计算出目标物体10的实时位置和姿势。
图2a-2c示意性地示出了根据本发明实施例二的位姿识别装置,其中图2a为根据本发明实施例二的位姿识别装置的示意性框图,图2b和图2c分别示出了两个示例。
如图2a所示,根据实施例二的位姿识别装置1B与根据本发明实施例一的位姿识别装置基本上相同,不同之处在于,如图2a所示,前者还包括一个合作标记单元15用以产生多个标记14。
在图2b所示位姿识别装置1B中,合作标记单元15为星点投射组件151,星点投射组件151发光以向预定形状的面12上投射作为多个标记14的多个星点(光斑)。星点不均匀地分布于预定形状的面12上。
优选,星点投射组件151发射脉冲光。图像采集单元11优选配置为与星点投射组件151的脉冲光同步地进行图像采集。由于图像采集单元11采用CMOS/CCD图像传感器能够以每秒几十帧到上百帧的拍摄速度进行拍摄,所以在星点投射组件151采用连续光源的情况下,在曝光过程中,如果目标物体10产生了快速运动,会导致所拍摄的星点拉线,进而影响星点的检测精度。若星点投射组件151采用脉冲光进行星点投射,由于发光脉冲较短,在短时间内即使头部速度较快,图像采集单元11采集的星点也依然为点状,不会产生拉线。同时,将图像采集单元11设置为与星点投射组件151的脉冲光同步,使得图像传感器的曝光时间设置为等于或者略大于脉冲时间,这样可以降低环境光对星点的干扰,提高星点检测的性噪比。在位姿识别装置1刚开始运行的时候,可以通过搜索过程来实现曝光时间与合作标记单元15脉冲发光时刻的同步。本领域技术人员已知有不同的同步实现方法,而本发明并不限于同步的具体实现方式,因此在此不再赘述。
图像采集单元11采集不均匀分布于面12上的初始星点图像(多个标记的初始图像)。处理和计算单元13包括图像处理单元131和位姿计算单元132。图像处理单元131提取位于初始星点图像上面的星点的二维坐标并产生一张初始星表。该初始星表包含有所获得初始星点图像的所有检测出的星点二维坐标。然后,通过无线或有线的方式将该星表传输给位姿计算单元132。初始拍摄完成后,图像采集单元11继续进行实时采集,并将经过图像处理单元131提取的实时星点坐标通过有线或者无线的方式传输给位姿计算单元132。
位姿计算单元132在获得当前帧的星点位置以后,可以采用例如星图匹配算法来识别出每一个星点与初始星表中星点的对应关系。然后选取当前帧和初始星表中共有的星点作为变化后和变化前的点集合,由于头部的姿态变化和在空间中的位移,当前帧所获得的星点集合可以视为初始帧的星点集合的仿射变换,因此如以上结合实施例一所讨论的,通过求解仿射变换矩阵,即可获得当前帧所对应的12面相对于初始帧所对应的面12的旋转、平移的变化量。由于实际的星点所在平面和星点位置并没有变化,该变化量是由于目标物体10的运动引起,所以上述变化量即为目标物体10相对于初始状态的位置、姿态变化量。
图2c示意性地示出了根据实施例二的位姿识别装置的另一示例,位姿识别装置1B’。如图2c所示,位姿识别装置1B’与位姿识别装置1B基本上相同,不同之处在于:位姿识别装置1B’中的合作标记单元15’包括分布在面12上的发光组件152,发光组件152发光以提供多个标记14。优选地,发光组件152为LED组件,所述多个标记14为LED组件发光产生的光点。更优选,可以通过控制LED组件的多个发光二极管发射脉冲光,并且设置图像采集单元11与所述脉冲光同步地采集标记的图像。在一个示例中,多个发光二极管发光产生的光点不均匀地分布于面12上,并且后续处理和计算单元13的位姿计算单元132可以例如通过星敏算法识别各个标记。
以下将结合图3a和图3b介绍根据本发明实施例三的虚拟现实显示装置2,其用于佩戴在目标物体10上以根据目标物体的位姿显示相应画面。例如可以佩戴在人的头部,以根据人的运动以及头部的姿态显示相应的虚拟现实画面。
如图3a所示,虚拟现实显示装置2包括位姿识别装置210,以及显示组件220。位姿识别装置210配置用于获取目标物体10的实时位置和实时姿态。显示组件220配置用以显示根据目标物体10的实时位置及实时姿态而生成的画面。所述画面可以为单幅的静态画面,也可以为由多幅画面组成的动态画面。
虚拟现实显示装置还可以包括支架230,用于将位姿识别装置210和显示组件220支撑在目标物体10上。
位姿识别装置210可以实现为根据上述实施例一的位姿识别装置。具体而言,位姿识别装置210可以包括图像采集单元211以及处理和计算单元213。图像采集单元211采集目标物体10处于初始位置和初始姿态时分布在预定形状的面12上的多个标记14的初始图像以及实时地采集多个标记14的实时图像。处理和计算单元213基于图像采集单元211采集的初始图像以及实时图像、所述面12的预定形状和目标物体10的初始位置和初始姿态计算出所述目标物体10的实时位置及实时姿态。
处理和计算单元213可以进一步包括图像处理单元2131和位姿计算单元2132。图像处理单元2131从初始图像中提取多个标记14在该图像中的初始二维坐标和从实时图像中提取多个标记14在该图像中的实时二维坐标。位姿计算单元2132接收来自所述图像处理单元2131的初始二维坐标和实时二维坐标。位姿计算单元2132识别多个标记14,以建立所述实时图像中的多个标记14与初始图像中的多个标记14的对应关系。然后基于所述对应关系,计算多个标记14的实时二维坐标与初始二维坐标之间的仿射矩阵以及根据所述仿射矩阵以及目标物体10的初始位置和初始姿态,位姿计算单元2132计算出目标物体10的实时位置和实时姿态。
在图3b所示示例中,虚拟现实显示装置2实现为虚拟现实眼镜。在其它示例中,还可根据实际需求将所述虚拟现实显示装置2配置为其它类型的头戴装置乃至由若干佩戴组件共同组成的装置等不同结构的虚拟现实显示装置。
在虚拟现实眼镜2中,支架230可以为眼镜的镜架;而显示组件220可以包括显示屏和投影镜头。在图3b所示示例中,显示组件220包括:第一显示屏221、第二显示屏222、第一投影镜头223以及第二投影镜头224。第一显示屏221、第二显示屏222、第一投影镜头223以及第二投影镜头224分别对应着人的左眼和右眼布置,第一投影镜头223以及第二投影镜头224布置为相对于第一显示屏221、第二显示屏222更加靠近人的眼睛。
以下将结合图4介绍根据本发明实施例四的虚拟现实系统3,该系统用于根据目标物体的位姿显示相应画面。图4示出了该系统的示意性框图。
如图4所示,虚拟现实系统3包括:虚拟现实显示装置32,以及与虚拟现实显示装置32通信的上位机单元31。上位机单元31配置用以根据来自虚拟现实显示装置32中的位姿识别装置310的所述目标物体的实时位置及实时姿态生成相应的画面,并将所述画面传送给所述虚拟现实显示装置32中的显示组件320,以显示相应的画面。
虚拟现实显示装置32可以实现为根据上述实施例三的虚拟现实显示装置2,在此不再赘述。
上位机单元31可以由通用计算机构成,也可以实现为专用于该虚拟现实系统的计算机装置。特别是,上位机单元31可以实现为便携式的主机装置,例如,能够佩戴在人的腰间的小型主机装置。本发明的虚拟现实显示系统3并不限于上位机单元31的具体形式,而只要其能够提供足够的运算能力,能够根据实时的位姿生成相应的虚拟现实画面。
虚拟现实系统3还可以包括合作标记单元315,用于产生配合根据本发明实施例的虚拟现实显示装置32使用的多个标记。合作标记单元315可以实现为例如结合图2b和2c介绍的合作标记单元15或合作标记单元15’,在此不再赘述。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种位姿识别装置,包括:
安置于目标物体上的图像采集单元,配置用以在所述目标物体处于初始位置和初始姿态时采集分布在预定形状的面上的多个标记的初始图像,以及实时地采集所述多个标记的实时图像;
处理和计算单元,配置用以基于所述初始图像和实时图像、所述面的预定形状以及所述目标物体的初始位置和初始姿态计算所述目标物体的实时位置及实时姿态。
2.如权利要求1所述的位姿识别装置,其中,所述标记为具有一定形状的图案。
3.如权利要求1-2任一项所述的位姿识别装置,其中,所述处理和计算单元包括:
图像处理单元,其配置成:
从初始图像中提取多个标记在该图像中的初始二维坐标;和
从实时图像中提取多个标记在该图像中的实时二维坐标;以及
位姿计算单元,其配置成:
接收来自所述图像处理单元的初始二维坐标和实时二维坐标;
识别所述多个标记,以建立所述实时图像中的所述多个标记与所述初始图像中的所述多个标记的对应关系;
基于所述对应关系,计算所述实时二维坐标与初始二维坐标之间的仿射矩阵;以及
根据所述仿射矩阵以及所述目标物体的初始位置和初始姿态,计算所述目标物体的实时位置和实时姿态。
4.如权利要求1-2任一项所述的位姿识别装置,其中,所述处理和计算单元包括一个微处理器,配置用以
从初始图像中提取多个标记在该图像中的初始二维坐标;和
从实时图像中提取多个标记在该图像中的实时二维坐标;接收来自所述图像处理单元的初始二维坐标和实时二维坐标;
识别所述多个标记,以建立所述实时图像中的所述多个标记与所述初始图像中的所述多个标记的对应关系;
基于所述对应关系,计算所述实时二维坐标与初始二维坐标之间的仿射矩阵;以及,
根据所述仿射矩阵以及所述目标物体的初始位置和初始姿态,计算所述目标物体的实时位置和实时姿态。
5.如权利要求1-4任一项所述的位姿识别装置,其中,还包括:合作标记单元,用于产生所述多个标记。
6.如权利要求5所述的位姿识别装置,其中,所述合作标记单元包括星点投射组件,所述星点投射组件发光以向所述预定形状的面上投射作为所述多个标记的多个星点。
7.如权利要求6所述的位姿识别装置,其中,所述星点投射组件发射脉冲光,并且所述图像采集单元配置为与所述星点投影组件的脉冲光同步地进行图像采集。
8.如权利要求5所述的位姿识别装置,其中,所述合作标记单元包括分布在所述面上的多个发光组件,所述多个发光组件发光以提供所述多个标记。
9.一种虚拟现实显示装置,用于佩戴在目标物体上以根据目标物体的位姿显示相应画面,包括:
如权利要求1-4任一项所述的位姿识别装置,配置用于获取所述目标物体的实时位置和实时姿态;以及,
显示组件,配置用以显示根据所述目标物体的实时位置及实时姿态而生成的画面。
10.如权利要求9所述的虚拟现实显示装置,还包括:
支架,用于将所述位姿识别装置和所述显示组件支撑在所述目标物体上。
11.一种虚拟现实系统,用于根据目标物体的位姿显示相应画面,包括:
如权利要求9或10所述的虚拟现实显示装置,以及:
与所述虚拟显示装置通信的上位机单元,配置用以根据来自所述虚拟显示装置中的位姿识别装置的所述目标物体的实时位置及实时姿态生成相应的画面,并将所述画面传送给所述虚拟现实显示装置中的显示组件。
12.如权利要求11所述的一种虚拟现实系统,还包括:合作标记单元,用于产生所述多个标记。
13.如权利要求12所述的一种虚拟现实系统,其中,所述合作标记单元包括星点投射组件,所述星点投射组件发光以向所述预定形状的面上映射多个星点以作为所述多个标记。
14.如权利要求13所述的一种虚拟现实系统,其中,所述星点投射组件进一步配置用于发射脉冲光以进行所述映射;所述图像采集单元进一步配置为与所述脉冲光同步地进行图像采集。
15.如权利要求12所述的一种虚拟现实系统,其中,所述合作标记单元包括分布在所述面上的多个发光组件,所述多个发光组件发射脉冲光以提供所述多个标记。
CN201611257089.5A 2016-12-30 2016-12-30 位姿识别装置、虚拟现实显示装置以及虚拟现实系统 Active CN106681510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611257089.5A CN106681510B (zh) 2016-12-30 2016-12-30 位姿识别装置、虚拟现实显示装置以及虚拟现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611257089.5A CN106681510B (zh) 2016-12-30 2016-12-30 位姿识别装置、虚拟现实显示装置以及虚拟现实系统

Publications (2)

Publication Number Publication Date
CN106681510A true CN106681510A (zh) 2017-05-17
CN106681510B CN106681510B (zh) 2020-06-05

Family

ID=58872575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611257089.5A Active CN106681510B (zh) 2016-12-30 2016-12-30 位姿识别装置、虚拟现实显示装置以及虚拟现实系统

Country Status (1)

Country Link
CN (1) CN106681510B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技(上海)有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107843258A (zh) * 2017-10-17 2018-03-27 深圳悉罗机器人有限公司 室内定位系统及方法
CN107992793A (zh) * 2017-10-20 2018-05-04 深圳华侨城卡乐技术有限公司 一种室内定位方法、装置以及存储介质
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法
CN108510545A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN110276242A (zh) * 2019-05-06 2019-09-24 联想(上海)信息技术有限公司 一种图像处理方法、装置及存储介质
CN110307784A (zh) * 2019-07-05 2019-10-08 郑州大学 虚拟现实装置及虚拟现实系统
WO2019210465A1 (en) * 2018-05-02 2019-11-07 SZ DJI Technology Co., Ltd. Optically supported object navigation
CN110606221A (zh) * 2019-09-19 2019-12-24 成都立航科技股份有限公司 一种用于挂弹车自动挂弹的方法
CN111090087A (zh) * 2020-01-21 2020-05-01 广州赛特智能科技有限公司 一种智能导航机器、激光雷达盲区补偿方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101099673A (zh) * 2007-08-09 2008-01-09 上海交通大学 采用红外反光球为标志点的手术器械定位方法
CN101777123A (zh) * 2010-01-21 2010-07-14 北京理工大学 一种基于红外投影标志点的视觉位置跟踪系统
CN102135842A (zh) * 2011-04-06 2011-07-27 南京方瑞科技有限公司 同步光笔电子白板系统
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
US20150356737A1 (en) * 2014-06-09 2015-12-10 Technical Illusions, Inc. System and method for multiple sensor fiducial tracking
CN105931272A (zh) * 2016-05-06 2016-09-07 上海乐相科技有限公司 一种运动对象追踪方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101099673A (zh) * 2007-08-09 2008-01-09 上海交通大学 采用红外反光球为标志点的手术器械定位方法
CN101777123A (zh) * 2010-01-21 2010-07-14 北京理工大学 一种基于红外投影标志点的视觉位置跟踪系统
CN102135842A (zh) * 2011-04-06 2011-07-27 南京方瑞科技有限公司 同步光笔电子白板系统
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20150356737A1 (en) * 2014-06-09 2015-12-10 Technical Illusions, Inc. System and method for multiple sensor fiducial tracking
CN105931272A (zh) * 2016-05-06 2016-09-07 上海乐相科技有限公司 一种运动对象追踪方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARK WARD: "A demonstrated optical tracker with scalable work area for head-mounted display systems", 《PROCEEDINGS OF THE 1992 SYMPOSIUM ON INTERACTIVE 3D GRAPHICS》 *
李林: "《飞行模拟器》", 31 December 2012 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018210305A1 (zh) * 2017-05-18 2018-11-22 腾讯科技(深圳)有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技(上海)有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技(上海)有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107843258A (zh) * 2017-10-17 2018-03-27 深圳悉罗机器人有限公司 室内定位系统及方法
CN107843258B (zh) * 2017-10-17 2020-01-17 深圳悉罗机器人有限公司 室内定位系统及方法
CN107992793A (zh) * 2017-10-20 2018-05-04 深圳华侨城卡乐技术有限公司 一种室内定位方法、装置以及存储介质
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法
CN108257177A (zh) * 2018-01-15 2018-07-06 天津锋时互动科技有限公司深圳分公司 基于空间标识的定位系统与方法
CN108510545A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质
US20190304130A1 (en) * 2018-03-30 2019-10-03 Beijing Boe Optoelectronics Technology Co., Ltd. Spatial positioning method, spatial positioning device, spatial positioning system and computer readable storage medium
US10872436B2 (en) * 2018-03-30 2020-12-22 Beijing Boe Optoelectronics Technology Co., Ltd. Spatial positioning method, spatial positioning device, spatial positioning system and computer readable storage medium
WO2019210465A1 (en) * 2018-05-02 2019-11-07 SZ DJI Technology Co., Ltd. Optically supported object navigation
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN109375764B (zh) * 2018-08-28 2023-07-18 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN110276242A (zh) * 2019-05-06 2019-09-24 联想(上海)信息技术有限公司 一种图像处理方法、装置及存储介质
CN110276242B (zh) * 2019-05-06 2022-03-25 联想(上海)信息技术有限公司 一种图像处理方法、装置及存储介质
CN110307784A (zh) * 2019-07-05 2019-10-08 郑州大学 虚拟现实装置及虚拟现实系统
CN110606221A (zh) * 2019-09-19 2019-12-24 成都立航科技股份有限公司 一种用于挂弹车自动挂弹的方法
CN111090087A (zh) * 2020-01-21 2020-05-01 广州赛特智能科技有限公司 一种智能导航机器、激光雷达盲区补偿方法及存储介质

Also Published As

Publication number Publication date
CN106681510B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN106681510A (zh) 位姿识别装置、虚拟现实显示装置以及虚拟现实系统
CN104217439B (zh) 一种室内视觉定位系统及方法
CN104834381B (zh) 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN105138135B (zh) 头戴式虚拟现实设备及虚拟现实系统
CN103279186B (zh) 融合光学定位与惯性传感的多目标运动捕捉系统
CN107289931B (zh) 一种定位刚体的方法、装置和系统
CN104029008B (zh) 利用视觉系统在遮挡环境下对齐两工件的系统与方法
CN206541271U (zh) 一种光学定位系统和虚拟现实系统
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN110470238A (zh) 一种手持激光三维扫描仪、扫描方法及装置
US11525883B2 (en) Acquisition equipment, sound acquisition method, and sound source tracking system and method
JP2010521733A (ja) 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法
CN107230224B (zh) 三维虚拟服装模型制作方法及装置
CN106908015B (zh) 一种高温物体自动化三维形貌测量装置及测量方法
CN110017769A (zh) 基于工业机器人的零件检测方法及系统
CN106767775B (zh) 一种基于图像传感器和惯导传感器的定位方法
US11585931B2 (en) Light direction detector systems and methods
US11712619B2 (en) Handle controller
CN108257177A (zh) 基于空间标识的定位系统与方法
CN110278371A (zh) 摄像机在空间的三轴向七变量全自由度定位与跟踪方法
CN106020456A (zh) 获取用户头部姿态的方法、装置和系统
CN106568420A (zh) 一种基于室内可见光的定位方法及系统
JP2018527575A5 (zh)
CN111596259A (zh) 一种红外定位系统、定位方法及其应用
CN107462248A (zh) 一种室内光学定位系统及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant