CN115278203A - 虚拟现实设备的校准方法、校准装置以及校准机器人 - Google Patents

虚拟现实设备的校准方法、校准装置以及校准机器人 Download PDF

Info

Publication number
CN115278203A
CN115278203A CN202210862176.2A CN202210862176A CN115278203A CN 115278203 A CN115278203 A CN 115278203A CN 202210862176 A CN202210862176 A CN 202210862176A CN 115278203 A CN115278203 A CN 115278203A
Authority
CN
China
Prior art keywords
image
display device
virtual reality
predetermined condition
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210862176.2A
Other languages
English (en)
Inventor
陈川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shixiang Technology Co Ltd
Original Assignee
Guangzhou Shixiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shixiang Technology Co Ltd filed Critical Guangzhou Shixiang Technology Co Ltd
Priority to CN202210862176.2A priority Critical patent/CN115278203A/zh
Publication of CN115278203A publication Critical patent/CN115278203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Abstract

本申请提供了一种虚拟现实设备的校准方法、校准装置以及校准机器人,该方法包括:在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的第一图像以及第二图像,并将第一图像以及第二图像显示在显示画面中;确定第一图像以及第二图像是否不满足预定条件,在不满足预定条件的情况下,控制调整第一显示设备和/或第二显示设备在壳体上的位置,使得调整后的第一图像和第二图像满足预定条件,预定条件包括:第一图像以及第二图像的对应位置在显示画面中的坐标差小于预定阈值,和/或第一图像以及第二图像的对应位置在显示画面中的坐标位于预设范围内。本申请缓解了使用虚拟现实设备造成视觉疲劳甚至眩晕的问题。

Description

虚拟现实设备的校准方法、校准装置以及校准机器人
技术领域
本申请涉及虚拟现实领域,具体而言,涉及一种虚拟现实设备的校准方法、校准装置、计算机可读存储介质、处理器、虚拟现实设备的校准机器人以及校准系统。
背景技术
头戴式虚拟现实设备的显示原理如图1所示,人眼正常视角看到实像以及人头戴虚拟现实设备看到虚像的图像对比图如图2所示,头戴式虚拟现实设备标定不可或缺且极其重要,标定含双目标定,显示与摄像头标定,IMU(Inertial Measurement Unit,惯性测量单元)、3DOF(degree of freedom,自由度)、6DOF等标定。但是如图3所示,现有的虚拟现实设备存在双目视差差异大的问题,会造成佩戴者的视觉疲劳,甚至产生眩晕感。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种虚拟现实设备的校准方法、校准装置、计算机可读存储介质、处理器、虚拟现实设备的校准机器人以及校准系统,以解决现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题。
根据本发明实施例的一个方面,提供了一种虚拟现实设备的校准方法,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,所述虚拟现实设备的一侧设置有模拟人眼摄像设备,所述方法包括:在所述虚拟现实设备显示画面的情况下,接收所述模拟人眼摄像设备获取的第一图像以及第二图像,并将所述第一图像以及所述第二图像显示在显示画面中,所述第一图像为所述第一显示设备的画面图像,所述第二图像为所述第二显示设备的画面图像;确定所述第一图像以及所述第二图像是否不满足预定条件,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,使得调整后的所述第一图像和所述第二图像满足所述预定条件,所述预定条件包括:所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标差小于预定阈值,和/或所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标位于预设范围内。
可选地,所述显示画面中显示有沿竖向轴线对称的第一定位标记以及第二定位标记,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:获取第一中心标记以及第二中心标记,所述第一中心标记为所述第一图像的中心点标记,所述第二中心标记为所述第二图像的中心点标记;确定所述第一中心标记是否与所述第一定位标记重合,以及所述第二中心标记是否与所述第二定位标记重合,在所述第一中心标记未与所述第一定位标记重合的情况下,确定所述第一图像不满足所述预定条件,在所述第二中心标记未与所述第二定位标记重合的情况下,确定所述第二图像不满足所述预定条件。
可选地,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:获取第一顶点坐标以及第二顶点坐标,所述第一顶点坐标为所述第一图像的至少两个顶点的坐标,所述第二顶点坐标为所述第二图像的至少两个对应位置的顶点的坐标;确定所述第一顶点坐标与对应的所述第二顶点坐标的差值是否小于所述预定阈值,在所述差值大于或者所述预定阈值的情况下,确定所述第一图像和/或所述第二图像不满足所述预定条件。
可选地,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,包括:在不满足所述预定条件的情况下,根据所述第一图像以及所述第二图像,确定第一调整方向以及对应的第一调整距离;控制所述第一显示设备和/或所述第二显示设备沿着所述第一调整方向移动所述第一调整距离,所述第一调整方向平行于所述显示画面。
可选地,所述预定条件还包括以下之一:所述第一图像以及所述第二图像的焦距分别位于第一预定范围、所述第一图像以及所述第二图像的视场角分别位于第二预定范围、所述第一图像以及所述第二图像的清晰度分别位于第三预定范围。
可选地,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,包括:在所述第一图像不满所述预定条件的情况下,根据所述第一图像以及所述第二图像,确定第二调整方向以及对应的第二调整距离;控制所述第一显示设备和/或所述第二显示设备沿着所述第二调整方向移动所述第二调整距离,所述第二调整方向垂直于所述显示画面。
可选地,所述虚拟现实设备为3D设备,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:将所述第一图像与所述第二图像进行图像融合,得到融合图像;将所述融合图像输入分析模型,确定所述第一图像与所述第二图像是否满足所述预定条件,所述分析模型为采用多组数据进行机器训练得到的,所述多组数据中的每组均包括历史融合图像以及历史确定结果,所述历史确定结果为表征所述历史融合图像是否满足所述预定条件的结果。
根据本发明实施例的另一方面,还提供了一种虚拟现实设备的校准装置,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,所述虚拟现实设备的一侧设置有模拟人眼摄像设备,所述装置包括接收单元以及确定单元,其中,所述接收单元用于在所述虚拟现实设备显示画面的情况下,接收所述模拟人眼摄像设备获取的第一图像以及第二图像,并将所述第一图像以及所述第二图像显示在显示画面中,所述第一图像为所述第一显示设备的画面图像,所述第二图像为所述第二显示设备的画面图像;所述确定单元用于确定所述第一图像以及所述第二图像是否不满足预定条件,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,使得调整后的所述第一图像和所述第二图像满足所述预定条件,所述预定条件包括:所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标差小于预定阈值。
根据本发明实施例的再一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行任意一种所述的方法。
根据本发明实施例的又一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。
根据本发明实施例的另一方面,还提供了一种虚拟现实设备的校准机器人,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,所述校准机器人包括模拟人眼摄像设备、调整设备以及所述调整设备的控制设备,其中,所述模拟人眼摄像设备位于所述虚拟现实设备的一侧;所述调整设备用于调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置;所述控制设备包括一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法。
可选地,所述模拟人眼摄像设备包括两个模拟人眼摄像头以及两个相机,其中,两个所述模拟人眼摄像头分别位于所述虚拟现实设备的一侧,且两个所述模拟人眼摄像头分别与所述第一显示设备以及所述第二显示设备对应;两个所述相机分别位于所述模拟人眼摄像头的远离所述虚拟现实设备的一侧,所述相机与所述模拟人眼摄像头一一对应,所述相机用于采集所述模拟人眼摄像头的画面图像。
可选地,所述调整设备包括连接的机械臂以及机械手,所述机械臂用于带动机械手移动至待调整的所述第一显示设备或者所述第二显示设备,所述机械手用于调整所述第一显示设备或所述第二显示设备的位置。
根据本发明实施例的再一方面,还提供了一种校准系统,包括任一种所述的校准机器人以及虚拟现实设备,其中,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备。
采用本申请的技术方案,所述的虚拟现实设备的校准方法中,在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的所述第一显示设备的第一图像以及所述第二显示设备的第二图像,并将所述第一图像以及所述第二图像显示在显示画面中;确定所述第一图像以及所述第二图像是否不满足预定条件,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,使得调整后的所述第一图像和所述第二图像满足所述预定条件,所述预定条件包括:所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标差小于预定阈值,和/或所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标位于预设范围内。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了头戴式虚拟现实设备的显示原理图;
图2示出了人眼正常视角看到实像以及人头戴虚拟现实设备看到虚像的对比示意图;
图3示出了虚拟现实设备由于双目视差差异大造成视觉疲劳的原理图;
图4示出了根据本申请的实施例的顶投虚拟现实设备以及校准机器人的结构示意图;
图5示出了根据本申请的实施例的侧投虚拟现实设备以及校准机器人的结构示意图;
图6示出了根据本申请的实施例的虚拟现实设备的校准方法的流程示意图;
图7示出了根据本申请的实施例的显示画面的示意图;
图8示出了根据本申请的实施例的将第一图像以及第二图像进行图像融合得到融合图像的示意图;
图9示出了根据本申请的实施例的虚拟现实设备的校准装置示意图。
其中,上述附图包括以下附图标记:
100、壳体;101、第一显示设备;102、第二显示设备;200、模拟人眼摄像设备;201、调整设备;202、模拟人眼摄像头;203、相机;204、底座;300、第一图像;301、第二图像;302、显示画面;303、第一定位标记;304、第二定位标记。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的,现有技术中,在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕,为了解决上述问题,本申请的一种典型的实施方式中,提供了一种虚拟现实设备的校准方法、校准装置、计算机可读存储介质、处理器、虚拟现实设备的校准机器人以及校准系统。
根据本申请的实施例,提供了一种虚拟现实设备的校准方法,如图4或者图5所示,上述虚拟现实设备包括壳体100以及位于上述壳体100上的第一显示设备101和第二显示设备102,上述虚拟现实设备的一侧设置有模拟人眼摄像设备200。
图6是根据本申请实施例的虚拟现实设备的校准方法的流程图。如图6所示,该方法包括以下步骤:
步骤S101,在上述虚拟现实设备显示画面的情况下,接收如图7所示上述模拟人眼摄像设备获取的第一图像300以及第二图像301,并将上述第一图像300以及上述第二图像301显示在显示画面302中,上述第一图像300为上述第一显示设备的画面图像,上述第二图像301为上述第二显示设备的画面图像;
步骤S102,确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。
上述的虚拟现实设备的校准方法中,在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的上述第一显示设备的第一图像以及上述第二显示设备的第二图像,并将上述第一图像以及上述第二图像显示在显示画面中;确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
需要说明的是,上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内,是指第一图像的预定位置在显示画面中的坐标位于第一预设范围,第二图像的与上述预定位置对应的位置在显示画面中的坐标位于第二预定范围,上述第一预设范围与上述第二预定范围不同且两者构成上述预设范围。
一种具体的实施例中,上述虚拟现实设备未头戴式虚拟现实设备。
在实际的应用过程中,在获取的是上述第一图像的中心点坐标时,那么上述第二图像的上述对应位置就是第二图像的中心点坐标,坐标差就是这两个中心点的坐标差值;在获取的是第一图像的左上顶点的顶点坐标时,那么上述第二图像的上述对应位置就是第二图像的左上顶点的顶点坐标,上述坐标差就是两个顶点坐标的坐标差值。
根据本申请的一种具体的实施例,如图7所示,上述显示画面302中显示有沿竖向轴线对称的第一定位标记303以及第二定位标记304,确定上述第一图像以及上述第二图像是否不满足预定条件,包括:获取第一中心标记以及第二中心标记,上述第一中心标记为上述第一图像的中心点标记,上述第二中心标记为上述第二图像的中心点标记;确定上述第一中心标记是否与上述第一定位标记重合,以及上述第二中心标记是否与上述第二定位标记重合,在上述第一中心标记未与上述第一定位标记重合的情况下,确定上述第一图像不满足上述预定条件,在上述第二中心标记未与上述第二定位标记重合的情况下,确定上述第二图像不满足上述预定条件。通过设置镜像对称的第一定位标记与第二定位标记,根据上述第一定位标记与第一图像的第一中心标记的重合程度来确定第一图像是否满足上述预定条件,根据上述第二定位标记与第二图像的第二中心标记的重合程度来确定第二图像是否满足上述预定条件,在第一定位标记与第一中心标记不重合,或者在第二定位标记与第二中心标记不重合的情况下,说明第一图像不位于上述第一预设范围,或者第二图像不满足上述第二预设范围,这样无需再获取第一图像与第二图像的预定位置处坐标,也无需将坐标与预设范围比较,就可确定第一图像以及第二图像是否满足上述预定条件,保证了较为简单快捷地确定上述第一图像或者上述第二图像是否满足上述预定条件。
当然,确定上述第一图像以及上述第二图像是否不满足预定条件的具体方式并不限于上述的方式,本领域技术人员可以根据实际情况灵活选择确定上述第一图像以及上述第二图像是否不满足预定条件的方式。根据本申请的另一种具体的实施例,确定上述第一图像以及上述第二图像是否不满足预定条件,包括:获取第一顶点坐标以及第二顶点坐标,上述第一顶点坐标为上述第一图像的至少两个顶点的坐标,上述第二顶点坐标为上述第二图像的至少两个对应位置的顶点的坐标;确定上述第一顶点坐标与对应的上述第二顶点坐标的差值是否小于上述预定阈值,在上述差值大于或者上述预定阈值的情况下,确定上述第一图像和/或上述第二图像不满足上述预定条件。
当然,如图8所示,上述的过程并不限于获取第一图像与第二图像的至少两个顶点坐标,如第一图像的四个顶点a,b,c,d,以及第二图像的四个顶点a’,b’,c’,d’,来作差比较,还可以分别获取实时第一图像与第二图像对应的一个顶点坐标以及一个中心点坐标,如图8中所示的第一图像的中心点坐标e、第二图像的中心点坐标e’来作差比较,还可以选择上述第一图像以及第二图像其他对应位置的坐标值来比较,如边缘任意点,或者画面中的任意点,本领域技术人员可以根据实际需要灵活选择。
为了进一步地缓解在使用虚拟现实设备的过程中,用户视觉疲劳甚至眩晕的问题,本申请的又一种具体的实施例中,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,包括:在不满足上述预定条件的情况下,根据上述第一图像以及上述第二图像,确定第一调整方向以及对应的第一调整距离;控制上述第一显示设备和/或上述第二显示设备沿着上述第一调整方向移动上述第一调整距离,上述第一调整方向平行于上述显示画面。
如图5所示,在上述虚拟现实设备为2D设备的情况下,上述调整方向可以为显示画面的X轴正方向、X轴负方向、Y轴正方向或者Y轴负方向。
在实际的应用过程中,如图4所示,上述虚拟现实设备还可以为3D设备,这种情况下,为了进一步地缓解视觉差异导致的疲劳甚至眩晕问题,具体地,上述预定条件还包括以下之一:上述第一图像以及上述第二图像的焦距分别位于第一预定范围、上述第一图像以及上述第二图像的视场角分别位于第二预定范围、上述第一图像以及上述第二图像的清晰度分别位于第三预定范围。通过确定第一图像与第二图像的焦距差异、视场角差异以及清晰度差异,来确定第一显示设备与第二显示设备在Z轴上的差异,进一步地实现了对第一显示设备与第二显示设备在Z轴上位置差异的监控与校准,进一步地缓解了由于第一显示设备与第二显示设备在Z轴上位置差异造成的视觉疲劳或者眩晕等问题。
一种具体的实施例中,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,包括:在上述第一图像不满上述预定条件的情况下,根据上述第一图像以及上述第二图像,确定第二调整方向以及对应的第二调整距离;控制上述第一显示设备和/或上述第二显示设备沿着上述第二调整方向移动上述第二调整距离,上述第二调整方向垂直于上述显示画面。在第一显示设备与第二显示设备在Z轴(即上述第二调整方向)上差异较大的情况下,通过确定Z轴上对应的第二调整距离,并进行对应调整,进一步地保证了调整后的第一显示设备与第二显示设备在Z轴上的位置差异较小。
根据本申请的又一种具体的实施例,上述虚拟现实设备为3D设备,确定上述第一图像以及上述第二图像是否不满足预定条件,包括:如图8所示,将上述第一图像与上述第二图像进行图像融合,得到融合图像;将上述融合图像输入分析模型,确定上述第一图像与上述第二图像是否满足上述预定条件,上述分析模型为采用多组数据进行机器训练得到的,上述多组数据中的每组均包括历史融合图像以及历史确定结果,上述历史确定结果为表征上述历史融合图像是否满足上述预定条件的结果。本实施例中,在上述虚拟现实设备为3D设备的情况下,通过将第一图像与第二图像进行图像融合,并对融合图像进行分析,确定其是否满足上述预定条件,进一步地实现了对第一显示设备与第二显示设备的视觉差异的有效监控,进一步地方便了在两者视觉差异较大时进行相应调整,从而进一步地保证了调整后的3D设备的使用体验感较好。
本申请的又一种具体的实施例中,在确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件之后,上述方法还包括:将第一显示设备以及第二显示设备与壳体进行点胶固化,使其位置固定;测试固化后的虚拟现实设备的显示性能。上述显示性能包括第一显示设备与第二显示设备的清晰度MTF(Modulation Transfer Function,调制传递函数)、色彩、亮度以及均匀性等显示参数的实际值。本申请可实现光学标定后,衍生的各类标定及测试,包括模拟人眼摄像设备与显示设备标定,进而使手势识别等各类识别,在实物与虚像上更好的重叠甚至融合。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种虚拟现实设备的校准装置,上述虚拟现实设备包括壳体以及位于上述壳体上的第一显示设备和第二显示设备,上述虚拟现实设备的一侧设置有模拟人眼摄像设备。需要说明的是,本申请实施例的虚拟现实设备的校准装置可以用于执行本申请实施例所提供的用于虚拟现实设备的校准方法。以下对本申请实施例提供的虚拟现实设备的校准装置进行介绍。
图9是根据本申请实施例的虚拟现实设备的校准装置的示意图。如图9所示,该装置包括接收单元10以及确定单元20,其中,上述接收单元10用于在上述虚拟现实设备显示画面的情况下,接收上述模拟人眼摄像设备获取的第一图像以及第二图像,并将上述第一图像以及上述第二图像显示在显示画面中,上述第一图像为上述第一显示设备的画面图像,上述第二图像为上述第二显示设备的画面图像;上述确定单元20用于确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。
上述的虚拟现实设备的校准装置中,通过接收单元在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的上述第一显示设备的第一图像以及上述第二显示设备的第二图像,并将上述第一图像以及上述第二图像显示在显示画面中;通过确定单元确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
需要说明的是,上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内,是指第一图像的预定位置在显示画面中的坐标位于第一预设范围,第二图像的与上述预定位置对应的位置在显示画面中的坐标位于第二预定范围,上述第一预设范围与上述第二预定范围不同且两者构成上述预设范围。
一种具体的实施例中,上述虚拟现实设备未头戴式虚拟现实设备。
在实际的应用过程中,在获取的是上述第一图像的中心点坐标时,那么上述第二图像的上述对应位置就是第二图像的中心点坐标,坐标差就是这两个中心点的坐标差值;在获取的是第一图像的左上顶点的顶点坐标时,那么上述第二图像的上述对应位置就是第二图像的左上顶点的顶点坐标,上述坐标差就是两个顶点坐标的坐标差值。
根据本申请的一种具体的实施例,如图7所示,上述显示画面302中显示有沿竖向轴线对称的第一定位标记303以及第二定位标记304,上述确定单元包括第一获取模块以及第一确定模块,其中,上述第一获取模块用于获取第一中心标记以及第二中心标记,上述第一中心标记为上述第一图像的中心点标记,上述第二中心标记为上述第二图像的中心点标记;上述第一确定模块用于确定上述第一中心标记是否与上述第一定位标记重合,以及上述第二中心标记是否与上述第二定位标记重合,在上述第一中心标记未与上述第一定位标记重合的情况下,确定上述第一图像不满足上述预定条件,在上述第二中心标记未与上述第二定位标记重合的情况下,确定上述第二图像不满足上述预定条件。通过设置镜像对称的第一定位标记与第二定位标记,根据上述第一定位标记与第一图像的第一中心标记的重合程度来确定第一图像是否满足上述预定条件,根据上述第二定位标记与第二图像的第二中心标记的重合程度来确定第二图像是否满足上述预定条件,在第一定位标记与第一中心标记不重合,或者在第二定位标记与第二中心标记不重合的情况下,说明第一图像不位于上述第一预设范围,或者第二图像不满足上述第二预设范围,这样无需再获取第一图像与第二图像的预定位置处坐标,也无需将坐标与预设范围比较,就可确定第一图像以及第二图像是否满足上述预定条件,保证了较为简单快捷地确定上述第一图像或者上述第二图像是否满足上述预定条件。
当然,确定上述第一图像以及上述第二图像是否不满足预定条件的具体方式并不限于上述的方式,本领域技术人员可以根据实际情况灵活选择确定上述第一图像以及上述第二图像是否不满足预定条件的方式。根据本申请的另一种具体的实施例,上述确定单元包括第二获取模块以及第二确定模块,其中,上述第二获取模块用于获取第一顶点坐标以及第二顶点坐标,上述第一顶点坐标为上述第一图像的至少两个顶点的坐标,上述第二顶点坐标为上述第二图像的至少两个对应位置的顶点的坐标;上述第二确定模块用于确定上述第一顶点坐标与对应的上述第二顶点坐标的差值是否小于上述预定阈值,在上述差值大于或者上述预定阈值的情况下,确定上述第一图像和/或上述第二图像不满足上述预定条件。
当然,如图8所示,上述的过程并不限于获取第一图像与第二图像的至少两个顶点坐标,如第一图像的四个顶点a,b,c,d,以及第二图像的四个顶点a’,b’,c’,d’,来作差比较,还可以分别获取实时第一图像与第二图像对应的一个顶点坐标以及一个中心点坐标,如图8中所示的第一图像的中心点坐标e、第二图像的中心点坐标e’来作差比较,还可以选择上述第一图像以及第二图像其他对应位置的坐标值来比较,如边缘任意点,或者画面中的任意点,本领域技术人员可以根据实际需要灵活选择。
为了进一步地缓解在使用虚拟现实设备的过程中,用户视觉疲劳甚至眩晕的问题,本申请的又一种具体的实施例中,上述确定单元还包括第三确定模块以及第一控制模块,其中,上述第三确定模块用于在不满足上述预定条件的情况下,根据上述第一图像以及上述第二图像,确定第一调整方向以及对应的第一调整距离;上述第一控制模块用于控制上述第一显示设备和/或上述第二显示设备沿着上述第一调整方向移动上述第一调整距离,上述第一调整方向平行于上述显示画面。
如图5所示,在上述虚拟现实设备为2D设备的情况下,上述调整方向可以为显示画面的X轴正方向、X轴负方向、Y轴正方向或者Y轴负方向。
在实际的应用过程中,如图4所示,上述虚拟现实设备还可以为3D设备,这种情况下,为了进一步地缓解视觉差异导致的疲劳甚至眩晕问题,具体地,上述预定条件还包括以下之一:上述第一图像以及上述第二图像的焦距分别位于第一预定范围、上述第一图像以及上述第二图像的视场角分别位于第二预定范围、上述第一图像以及上述第二图像的清晰度分别位于第三预定范围。通过确定第一图像与第二图像的焦距差异、视场角差异以及清晰度差异,来确定第一显示设备与第二显示设备在Z轴上的差异,进一步地实现了对第一显示设备与第二显示设备在Z轴上位置差异的监控与校准,进一步地缓解了由于第一显示设备与第二显示设备在Z轴上位置差异造成的视觉疲劳或者眩晕等问题。
一种具体的实施例中,上述确定单元包括第四确定模块以及第二控制模块,其中,上述第四确定模块用于在上述第一图像不满上述预定条件的情况下,根据上述第一图像以及上述第二图像,确定第二调整方向以及对应的第二调整距离;上述第二控制模块用于控制上述第一显示设备和/或上述第二显示设备沿着上述第二调整方向移动上述第二调整距离,上述第二调整方向垂直于上述显示画面。在第一显示设备与第二显示设备在Z轴(即上述第二调整方向)上差异较大的情况下,通过确定Z轴上对应的第二调整距离,并进行对应调整,进一步地保证了调整后的第一显示设备与第二显示设备在Z轴上的位置差异较小。
根据本申请的又一种具体的实施例,上述虚拟现实设备为3D设备,上述确定单元包括融合模块以及输入模块,其中,如图8所示,上述融合模块用于将上述第一图像与上述第二图像进行图像融合,得到融合图像;上述输入模块用于将上述融合图像输入分析模型,确定上述第一图像与上述第二图像是否满足上述预定条件,上述分析模型为采用多组数据进行机器训练得到的,上述多组数据中的每组均包括历史融合图像以及历史确定结果,上述历史确定结果为表征上述历史融合图像是否满足上述预定条件的结果。本实施例中,在上述虚拟现实设备为3D设备的情况下,通过将第一图像与第二图像进行图像融合,并对融合图像进行分析,确定其是否满足上述预定条件,进一步地实现了对第一显示设备与第二显示设备的视觉差异的有效监控,进一步地方便了在两者视觉差异较大时进行相应调整,从而进一步地保证了调整后的3D设备的使用体验感较好。
本申请的又一种具体的实施例中,上述装置还包括固化单元以及测试单元,其中,上述固化单元用于在确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件之后,将第一显示设备以及第二显示设备与壳体进行点胶固化,使其位置固定;上述测试单元用于测试固化后的虚拟现实设备的显示性能。上述显示性能包括第一显示设备与第二显示设备的清晰度MTF(Modulation Transfer Function,调制传递函数)、色彩、亮度以及均匀性等显示参数的实际值。本申请可实现光学标定后,衍生的各类标定及测试,包括模拟人眼摄像设备与显示设备标定,进而使手势识别等各类识别,在实物与虚像上更好的重叠甚至融合。
上述虚拟现实设备的校准装置包括处理器和存储器,上述接收单元以及上述确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述虚拟现实设备的校准方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述虚拟现实设备的校准方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,在上述虚拟现实设备显示画面的情况下,接收如图7所示上述模拟人眼摄像设备获取的第一图像300以及第二图像301,并将上述第一图像300以及上述第二图像301显示在显示画面302中,上述第一图像300为上述第一显示设备的画面图像,上述第二图像301为上述第二显示设备的画面图像;
步骤S102,确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,在上述虚拟现实设备显示画面的情况下,接收如图7所示上述模拟人眼摄像设备获取的第一图像300以及第二图像301,并将上述第一图像300以及上述第二图像301显示在显示画面302中,上述第一图像300为上述第一显示设备的画面图像,上述第二图像301为上述第二显示设备的画面图像;
步骤S102,确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。
根据本申请的另一种典型的实施例,还提供了一种虚拟现实设备的校准机器人,如图4或者图5所示,上述虚拟现实设备包括壳体100以及位于上述壳体100上的第一显示设备101和第二显示设备102,上述校准机器人包括模拟人眼摄像设备200、调整设备201以及上述调整设备201的控制设备(图中未示出),其中,上述模拟人眼摄像设备200位于上述虚拟现实设备的一侧;上述调整设备201用于调整上述第一显示设备101和/或上述第二显示设备102在上述壳体100上的位置;上述控制设备包括一个或多个处理器,存储器以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置为由上述一个或多个处理器执行,上述一个或多个程序包括用于执行任意一种上述的方法。
上述虚拟现实的校准机器人包括模拟人眼摄像设备、调整设备以及上述调整设备的控制设备,上述控制设备用于执行任一种上述的方法。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请的校准机器人通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
一种具体的实施例中,如图4或者图5所示,上述模拟人眼摄像设备200包括两个模拟人眼摄像头202以及两个相机203,其中,两个上述模拟人眼摄像头202分别位于上述虚拟现实设备的一侧,且两个上述模拟人眼摄像头202分别与上述第一显示设备101以及上述第二显示设备102对应;两个上述相机203分别位于上述模拟人眼摄像头202的远离上述虚拟现实设备的一侧,上述相机203与上述模拟人眼摄像头202一一对应,上述相机203用于采集上述模拟人眼摄像头202的画面图像。
另外,如图4或者图5所示,上述校准机器人还包括底座204,上述模拟人眼摄像设备200位于上述底座204上。通过上述底座固定上述模拟人眼摄像设备。
本申请的另一种具体的实施例中,上述调整设备包括连接的机械臂以及机械手,上述机械臂用于带动机械手移动至待调整的上述第一显示设备或者上述第二显示设备,上述机械手用于调整上述第一显示设备或上述第二显示设备的位置。
根据本申请的又一种典型的实施例,还提供了一种校准系统,包括任一种上述的校准机器人以及虚拟现实设备,其中,上述虚拟现实设备包括壳体以及位于上述壳体上的第一显示设备和第二显示设备。
上述的校准系统包括上述的校准机器人以及虚拟现实设备,上述校准机器人通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请上述的虚拟现实设备的校准方法中,在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的上述第一显示设备的第一图像以及上述第二显示设备的第二图像,并将上述第一图像以及上述第二图像显示在显示画面中;确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
2)、本申请上述的虚拟现实设备的校准装置中,通过接收单元在虚拟现实设备显示画面的情况下,接收模拟人眼摄像设备获取的上述第一显示设备的第一图像以及上述第二显示设备的第二图像,并将上述第一图像以及上述第二图像显示在显示画面中;通过确定单元确定上述第一图像以及上述第二图像是否不满足预定条件,在不满足上述预定条件的情况下,控制调整上述第一显示设备和/或上述第二显示设备在上述壳体上的位置,使得调整后的上述第一图像和上述第二图像满足上述预定条件,上述预定条件包括:上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标差小于预定阈值,和/或上述第一图像以及上述第二图像的对应位置在上述显示画面中的坐标位于预设范围内。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
3)、本申请上述虚拟现实的校准机器人包括模拟人眼摄像设备、调整设备以及上述调整设备的控制设备,上述控制设备用于执行任一种上述的方法。相比现有技术中在使用虚拟现实设备的过程中,用户双目视差差异较大,造成视觉疲劳甚至眩晕的问题,本申请的校准机器人通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
4)、本申请上述的校准系统包括上述的校准机器人以及虚拟现实设备,上述校准机器人通过模拟人左右眼看到的虚拟现实设备的第一图像以及第二图像,并在第一图像与第二图像的位置差异较大的情况下,对应双目视差差异较大,此时通过调整虚拟现实设备的第一显示设备和/或第二显示设备相对于壳体的位置,使得调整后的第一图像与第二图像的位置差异较小,从而缓解了由于双目视差差异大造成的视觉疲劳甚至眩晕等问题,保证了用户使用调整后的虚拟现实设备的使用体验感较好。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种虚拟现实设备的校准方法,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,其特征在于,所述虚拟现实设备的一侧设置有模拟人眼摄像设备,所述方法包括:
在所述虚拟现实设备显示画面的情况下,接收所述模拟人眼摄像设备获取的第一图像以及第二图像,并将所述第一图像以及所述第二图像显示在显示画面中,所述第一图像为所述第一显示设备的画面图像,所述第二图像为所述第二显示设备的画面图像;
确定所述第一图像以及所述第二图像是否不满足预定条件,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,使得调整后的所述第一图像和所述第二图像满足所述预定条件,所述预定条件包括:所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标差小于预定阈值,和/或所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标位于预设范围内。
2.根据权利要求1所述的方法,其特征在于,所述显示画面中显示有沿竖向轴线对称的第一定位标记以及第二定位标记,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:
获取第一中心标记以及第二中心标记,所述第一中心标记为所述第一图像的中心点标记,所述第二中心标记为所述第二图像的中心点标记;
确定所述第一中心标记是否与所述第一定位标记重合,以及所述第二中心标记是否与所述第二定位标记重合,在所述第一中心标记未与所述第一定位标记重合的情况下,确定所述第一图像不满足所述预定条件,在所述第二中心标记未与所述第二定位标记重合的情况下,确定所述第二图像不满足所述预定条件。
3.根据权利要求1所述的方法,其特征在于,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:
获取第一顶点坐标以及第二顶点坐标,所述第一顶点坐标为所述第一图像的至少两个顶点的坐标,所述第二顶点坐标为所述第二图像的至少两个对应位置的顶点的坐标;
确定所述第一顶点坐标与对应的所述第二顶点坐标的差值是否小于所述预定阈值,在所述差值大于或者所述预定阈值的情况下,确定所述第一图像和/或所述第二图像不满足所述预定条件。
4.根据权利要求2或3所述的方法,其特征在于,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,包括:
在不满足所述预定条件的情况下,根据所述第一图像以及所述第二图像,确定第一调整方向以及对应的第一调整距离;
控制所述第一显示设备和/或所述第二显示设备沿着所述第一调整方向移动所述第一调整距离,所述第一调整方向平行于所述显示画面。
5.根据权利要求1所述的方法,其特征在于,所述预定条件还包括以下之一:所述第一图像以及所述第二图像的焦距分别位于第一预定范围、所述第一图像以及所述第二图像的视场角分别位于第二预定范围、所述第一图像以及所述第二图像的清晰度分别位于第三预定范围。
6.根据权利要求5所述的方法,其特征在于,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,包括:
在所述第一图像不满所述预定条件的情况下,根据所述第一图像以及所述第二图像,确定第二调整方向以及对应的第二调整距离;
控制所述第一显示设备和/或所述第二显示设备沿着所述第二调整方向移动所述第二调整距离,所述第二调整方向垂直于所述显示画面。
7.根据权利要求1所述的方法,其特征在于,所述虚拟现实设备为3D设备,确定所述第一图像以及所述第二图像是否不满足预定条件,包括:
将所述第一图像与所述第二图像进行图像融合,得到融合图像;
将所述融合图像输入分析模型,确定所述第一图像与所述第二图像是否满足所述预定条件,所述分析模型为采用多组数据进行机器训练得到的,所述多组数据中的每组均包括历史融合图像以及历史确定结果,所述历史确定结果为表征所述历史融合图像是否满足所述预定条件的结果。
8.一种虚拟现实设备的校准装置,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,其特征在于,所述虚拟现实设备的一侧设置有模拟人眼摄像设备,所述装置包括:
接收单元,用于在所述虚拟现实设备显示画面的情况下,接收所述模拟人眼摄像设备获取的第一图像以及第二图像,并将所述第一图像以及所述第二图像显示在显示画面中,所述第一图像为所述第一显示设备的画面图像,所述第二图像为所述第二显示设备的画面图像;
确定单元,用于确定所述第一图像以及所述第二图像是否不满足预定条件,在不满足所述预定条件的情况下,控制调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置,使得调整后的所述第一图像和所述第二图像满足所述预定条件,所述预定条件包括:所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标差小于预定阈值,和/或所述第一图像以及所述第二图像的对应位置在所述显示画面中的坐标位于预设范围内。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序执行权利要求1至7中任意一项所述的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的方法。
11.一种虚拟现实设备的校准机器人,所述虚拟现实设备包括壳体以及位于所述壳体上的第一显示设备和第二显示设备,其特征在于,所述校准机器人包括:
模拟人眼摄像设备,位于所述虚拟现实设备的一侧;
调整设备,用于调整所述第一显示设备和/或所述第二显示设备在所述壳体上的位置;
所述调整设备的控制设备,所述控制设备包括一个或多个处理器,存储器以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的方法。
12.根据权利要求11所述的校准机器人,其特征在于,所述模拟人眼摄像设备包括:
两个模拟人眼摄像头,分别位于所述虚拟现实设备的一侧,且两个所述模拟人眼摄像头分别与所述第一显示设备以及所述第二显示设备对应;
两个相机,分别位于所述模拟人眼摄像头的远离所述虚拟现实设备的一侧,所述相机与所述模拟人眼摄像头一一对应,所述相机用于采集所述模拟人眼摄像头的画面图像。
13.根据权利要求11所述的校准机器人,其特征在于,所述调整设备包括连接的机械臂以及机械手,所述机械臂用于带动机械手移动至待调整的所述第一显示设备或者所述第二显示设备,所述机械手用于调整所述第一显示设备或所述第二显示设备的位置。
14.一种校准系统,其特征在于,包括:
权利要求11至13中任一项所述的校准机器人;
虚拟现实设备,包括壳体以及位于所述壳体上的第一显示设备和第二显示设备。
CN202210862176.2A 2022-07-20 2022-07-20 虚拟现实设备的校准方法、校准装置以及校准机器人 Pending CN115278203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862176.2A CN115278203A (zh) 2022-07-20 2022-07-20 虚拟现实设备的校准方法、校准装置以及校准机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862176.2A CN115278203A (zh) 2022-07-20 2022-07-20 虚拟现实设备的校准方法、校准装置以及校准机器人

Publications (1)

Publication Number Publication Date
CN115278203A true CN115278203A (zh) 2022-11-01

Family

ID=83766419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862176.2A Pending CN115278203A (zh) 2022-07-20 2022-07-20 虚拟现实设备的校准方法、校准装置以及校准机器人

Country Status (1)

Country Link
CN (1) CN115278203A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333665A1 (en) * 2013-05-10 2014-11-13 Roger Sebastian Sylvan Calibration of eye location
CN106325521A (zh) * 2016-08-31 2017-01-11 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
US20180091805A1 (en) * 2016-09-26 2018-03-29 Wistron Corporation Adjustable virtual reality device capable of adjusting display modules
CN109031688A (zh) * 2018-06-11 2018-12-18 歌尔股份有限公司 一种光学模组中显示屏的定位方法以及定位装置
US20190041643A1 (en) * 2017-08-01 2019-02-07 Wistron Corporation Near eye display system and operation method thereof
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
CN111694158A (zh) * 2020-06-17 2020-09-22 Oppo广东移动通信有限公司 近眼显示装置的校准方法、校准设备及校准系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333665A1 (en) * 2013-05-10 2014-11-13 Roger Sebastian Sylvan Calibration of eye location
CN106325521A (zh) * 2016-08-31 2017-01-11 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
US20180091805A1 (en) * 2016-09-26 2018-03-29 Wistron Corporation Adjustable virtual reality device capable of adjusting display modules
CN106598252A (zh) * 2016-12-23 2017-04-26 深圳超多维科技有限公司 一种图像显示调节方法、装置、存储介质及电子设备
US20190041643A1 (en) * 2017-08-01 2019-02-07 Wistron Corporation Near eye display system and operation method thereof
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
CN109031688A (zh) * 2018-06-11 2018-12-18 歌尔股份有限公司 一种光学模组中显示屏的定位方法以及定位装置
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
CN111694158A (zh) * 2020-06-17 2020-09-22 Oppo广东移动通信有限公司 近眼显示装置的校准方法、校准设备及校准系统

Similar Documents

Publication Publication Date Title
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
CN106502427B (zh) 虚拟现实系统及其场景呈现方法
CA2629903C (en) Ophthalmic lens simulation system and method
JP6023801B2 (ja) シミュレーション装置
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
US11423518B2 (en) Method and device of correcting image distortion, display device, computer readable medium, electronic device
CN109246463B (zh) 用于显示弹幕的方法和装置
CN109840946B (zh) 虚拟对象显示方法及装置
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CA3053004C (en) Method to control a virtual image in a display
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
CN109660783A (zh) 虚拟现实视差校正
US11132590B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
CN110378914A (zh) 基于注视点信息的渲染方法及装置、系统、显示设备
JPWO2014128747A1 (ja) 入出力装置、入出力プログラム、および入出力方法
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
CN103517060A (zh) 一种终端设备的显示控制方法及装置
CN105630152A (zh) 处理视觉数据的设备和方法以及相关的计算机程序产品
CN105867606A (zh) 虚拟现实头盔中的图像获取方法、装置及虚拟现实头盔
CN109696953A (zh) 虚拟现实文字显示的方法、装置和虚拟现实设备
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN115278203A (zh) 虚拟现实设备的校准方法、校准装置以及校准机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination