CN113189776B - 增强现实设备的校准系统、校准方法以及校准装置 - Google Patents
增强现实设备的校准系统、校准方法以及校准装置 Download PDFInfo
- Publication number
- CN113189776B CN113189776B CN202110449857.1A CN202110449857A CN113189776B CN 113189776 B CN113189776 B CN 113189776B CN 202110449857 A CN202110449857 A CN 202110449857A CN 113189776 B CN113189776 B CN 113189776B
- Authority
- CN
- China
- Prior art keywords
- calibration
- signal
- camera module
- optical axis
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种增强现实设备的校准系统,该校准系统包括:增强现实设备、光源和第一调整模块,增强现实设备包括相机模组和第一信号反馈模块,第一信号反馈模块设于相机模组的光轴上;光源与增强现实设备间隔设置,光源用于朝向相机模组发射目标光信号,目标光信号为光路沿增强现实设备的预设光轴设置的信号;第一调整模块与增强现实设备连接,第一调整模块用于根据目标光信号在第一信号反馈模块中对应形成的第一反馈信号调整相机模块的姿态,以使相机模组的光轴与预设光轴共轴。本发明还公开了一种增强现实设备的校准方法和校准装置。本发明旨在提高增强现实设备的校准精度,保证校准后设备的影像性能满足使用需求。
Description
技术领域
本发明涉及增强现实设备技术领域,尤其涉及增强现实设备的校准系统、增强现实设备的校准方法和校准装置。
背景技术
随着经济技术的发展,用户对增强现实设备的性能要求也越来越高。目前,增强现实设备中相机模块的姿态校准一般通过设备上设置的机构件实现,然而这样的校准方式精度较低,容易导致校准后设备的性能无法满足使用需求。
发明内容
本发明的主要目的在于提供一种增强现实设备的校准系统、增强现实设备的校准方法和校准装置,旨在提高增强现实设备的校准精度,保证校准后设备的影像性能满足使用需求。
为实现上述目的,本发明提供一种增强现实设备的校准系统,所述校准系统包括:
增强现实设备,所述增强现实设备包括相机模组和第一信号反馈模块,所述第一信号反馈模块设于所述相机模组的光轴上;
光源,所述光源与所述增强现实设备间隔设置,所述光源用于朝向所述相机模组发射目标光信号,所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号;
第一调整模块,所述第一调整模块与所述增强现实设备连接,所述第一调整模块用于根据第一反馈信号调整所述相机模块的姿态,以使所述相机模组的光轴与所述预设光轴共轴,其中,所述第一反馈信号为所述目标光信号在所述目标光信号在所述第一信号反馈模块中形成。
可选地,所述校准系统还包括校准件,所述校准件设于所述相机模组与所述光源之间,所述校准件设有沿所述预设光轴延伸设置的通孔,以使所述光源发射的光信号通过所述通孔时形成所述目标光信号。
可选地,所述校准系统还包括:
第二信号反馈模块,所述第二信号反馈模块设于所述光源与所述相机模组之间、且设于所述预设光轴上;
第二调整模块,所述第二调整模块用于根据所述光源发射的光信号在所述第二信号反馈模块中对应形成的第二反馈信号调整所述光源的位置,以使所述光源形成所述目标光信号。
可选地,所述第二信号反馈模块为半反半透膜,所述半反半透膜设于所述校准件靠近所述相机模组的一面、且覆盖所述通孔的边缘。
可选地,所述校准件固定设于所述增强现实设备内,所述相机模组靠近所述校准件的一端设有定位柱,所述定位柱沿所述相机模组的光轴的所在方向延伸设置;
其中,所述定位柱的长度根据所述相机模组的预设出瞳距离确定。
可选地,所述校准系统还包括图像坐标标定件,所述图像坐标标定件设有标识部;
所述第一调整模块还用于在所述标识部位于所述预设光轴上时,调整所述相机模组的姿态,以使所述相机模组的光轴对应的预设图像定位点与所述标识部对应的图像位置重合;
其中,所述图像位置通过所述相机模组采集所述图像坐标标定件的图像确定。
可选地,所述图像坐标标定件为透光结构,所述图像坐标标定件设于所述校准件与所述光源之间。
此外,为了实现上述目的,本申请还提出一种增强现实设备的校准方法,基于如上任一项所述的校准系统,所述增强显示设备包括相机模组,所述校准方法包括以下步骤:
控制光源朝向相机模组发射目标光信号;所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号;
根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态,以使所述相机模组的光轴与所述预设光轴共轴。
可选地,所述第一反馈信号由设于所述相机模组的光轴上的反射镜形成,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤包括:
调节所述相机模组的姿态,直至第一入射光路与第一反射光路共轴;
其中,所述第一入射光路为所述目标光信号入射到所述反射镜之前的光路,所述第一反射光路为所述目标光信号入射到所述反射镜后反射形成的光路。
可选地,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤之后,还包括:
在图像坐标标定件的标识部位于所述预设光轴上时,控制所述相机模组获取所述图像坐标标定件的图像;
确定所述图像中标识部的图像位置;
调整所述相机模组的姿态,以使所述相机模组的光轴对应的预设图像定位点与所述图像位置重合。
可选地,所述图像坐标标定件设于所述校准件与所述光源之间,所述控制所述相机模组获取所述图像坐标标定件的图像的步骤之前,还包括:
当所述光源发射的光信号的光路与所述预设光轴共轴时,根据所述光源发射的光信号的光路和所述标识部的位置调节图像坐标标定件的摆放位置,以使所述标识部位于所述预设光轴上。
可选地,所述控制光源朝向所述相机模组发射目标光信号的步骤包括:
控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号,所述光信号通过所述通孔时形成所述目标光信号;
其中,所述通孔贯穿设于校准件上,所述校准件设于所述相机模组与所述光源之间。
可选地,所述校准件靠近所述相机模组的一面设有覆盖所述通孔边缘的半反半透膜,所述控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号的步骤之后,还包括:
当所述光信号对应的第二入射光路与第二反射光路共轴时,确定所述光信号为所述目标光信号,执行所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤;
当所述第二入射光路与所述第二反射光路未共轴时,调整所述光源的位置,以使所述第二入射光路与所述第二反射光路共轴;
其中,所述第二入射光路为所述光源发射的光信号到达所述半反半透膜前的光路,所述第二反射光路为所述光源发射的光信号入射到所述半反半透膜后反射形成的光路。
可选地,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤之后,还包括:
将所述相机模组的位置调节至目标位置,以将所述相机模组的出瞳距离调节至预设出瞳距离;
其中,所述校准件固定于所述增强现实设备内,所述目标位置下所述相机模组的定位柱抵接于校准件。
此外,为了实现上述目的,本申请还提出一种校准装置,应用于校准增强现实设备,所述校准装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的校准程序,所述校准程序被所述处理器执行时实现如上任一项所述的校准方法的步骤。
本发明提出的一种增强现实设备的校准系统,该系统通过设置增强现实设备、光源和第一调整模块,在通过光源沿增强现实设备的预设光轴发射目标光信号的基础上,第一调整模块基于目标光信号在增强现实设备的相机模组的光轴上设置的第一信号反馈模块形成的反馈信号对相机模块的姿态进行调整,使相机模组的光轴与设备的预设光轴共轴,这里采用光学校准替代了传统的机械校准方式,可有效地提高增强现实设备的校准精度,可确保校准后相机模组与设备的预设光轴共轴,有利于设备中的虚拟现实图像与空间中的实际场景精准统一,保证校准后设备的影像性能满足使用需求。
附图说明
图1为本发明增强现实设备校准系统一实施例运行涉及的硬件结构示意图;
图2为图1中校准系统的俯视结构示意图;
图3为本发明校准装置一实施例运行涉及的硬件结构示意图;
图4为本发明校准方法一实施例的流程示意图;
图5为本发明校准方法另一实施例的流程示意图;
图6为本发明校准方法又一实施例的流程示意图。
附图标号说明:
标号 | 名称 | 标号 | 名称 |
1 | 增强现实设备 | 4a | 通孔 |
11 | 相机模组 | 5 | 第二信号反馈模块 |
12 | 第一信号反馈模块 | 6 | 第二调整模块 |
2 | 光源 | 7 | 图像坐标标定件 |
3 | 第一调整模块 | 71 | 标识部 |
4 | 校准件 | 8 | 定位柱 |
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:提出一种包括增强现实设备、光源和第一调整模块的校准系统,其中,所述增强现实设备包括相机模组和第一信号反馈模块,所述第一信号反馈模块设于所述相机模组的光轴上,所述光源与所述增强现实设备间隔设置,所述光源用于朝向所述相机模组发射目标光信号,所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号,所述第一调整模块与所述增强现实设备连接,所述第一调整模块用于根据所述目标光信号在所述第一信号反馈模块中对应形成的第一反馈信号调整所述相机模块的姿态,以使所述相机模组的光轴与所述预设光轴共轴。
由于现有技术中,增强现实设备中相机模块的姿态校准一般通过设备上设置的校准螺母等机械实现,这样的校准方式精度较低,容易导致校准后设备的性能无法满足使用需求。
本发明提供上述的解决方案,旨在提高增强现实设备的校准精度,保证校准后设备的影像性能满足使用需求。
本发明实施例提出一种增强现实设备1的校准系统,主要用于对增强现实设备1进行校准。增强现实设备1具体指的是,将实际拍摄到的实景图像与设备生成的虚拟图像进行结合显示的方案。这里的增强现实设备1可以是AR眼镜、AR头盔等。
在本实施例中,参照图1和图2,校准系统包括增强现实设备1、光源2以及第一调整模块3。
增强现实设备1包括相机模组11和第一信号反馈模块12,所述第一信号反馈模块12设于所述相机模组11的光轴上。相机模组11具体为增强现实设备1中用于拍摄实景图像的功能模块。第一信号反馈模块12具体为对光信号产生响应动作(如检测光信号、反射光信号)的模块等。在本实施例中,第一信号反馈模块12固定设于相机模组11的外壳。在其他实施例中,第一信号反馈模块12也可独立于相机模组11设置。具体的,第一信号反馈模块12为反射镜,其镜面与相机模组11的光轴垂直,可对找到其镜面上的光信号进行反射。
光源2具体为发射光信号的模块。在本实施例中,光源2可采用激光光源2,以保证其所发射光信号的准直性可确保后续校准结果的准确性。在其他实施例中,光源2还可根据实际需求采用点光源2等其他类型的光源2。所述光源2与所述增强现实设备1间隔设置,上述的第一信号反馈模块12设于相机模组11与光源2之间。所述光源2用于朝向所述相机模组11发射目标光信号,所述目标光信号为光路沿所述增强现实设备1的预设光轴设置的信号。预设光轴为预先设定的增强现实设备1拍摄实景图像时的中心光轴,具体应用于虚拟图像与实际图像的拟合。
第一调整模块3具体为用于调节相机模组11的姿态的功能模块。第一调整模块3的具体类型可按照实际需求进行选取,只需保证可对相机模块的姿态实现校准即可。具体的,为了保证相机模组11姿态校准的精准性,第一调整模块3为六轴调节支架,可调节相机模组11在六个不同方向上的位置。此外,在其他实施例中,也可根据实际的校准精度需求,第一调整模块3也可设置为三轴调节支架、五轴调节支架、八轴调节支架等。
其中,在校准时,光源2可朝向增强现实设备1的相机模组11发射光信号,在此过程中可通过人工或电控方式将光源2所发射的光信号的方向进行调整,使其光路沿增强现实设备1的预设光轴设置形成目标光信号。目标光信号照射到第一信号反馈模块12、照射不到第一信号反馈模块12或照射到第一信号反馈模块12上的不同位置时,均会使第一信号反馈模块12形成不同的反馈信号。在此基础上,由于第一信号反馈模块12设于相机模组11的光轴上,基于第一信号反馈模块12的对应形成的第一反馈信号可反映目标光信号的光路与相机模组11光轴的位置关系,通过人工或电控的方式基于第一反馈信号采用第一调整模块3对相机模块的姿态进行调整,便可将目标光信号的光路调整至与相机模组11的光轴共轴,实现相机模组11的光轴与增强现实设备1的预设光轴一致。这里的第一反馈信号可以是光信号、电信号、数字信号等。
本发明实施例的技术方案中,校准系统通过设置增强现实设备1、光源2和第一调整模块3,在通过光源2沿增强现实设备1的预设光轴发射目标光信号的基础上,第一调整模块3基于目标光信号在增强现实设备1的相机模组11的光轴上设置的第一信号反馈模块12形成的反馈信号对相机模块的姿态进行调整,使相机模组11的光轴与设备的预设光轴共轴,这里采用光学校准替代了传统的机械校准方式,可有效地提高增强现实设备1的校准精度,可确保校准后相机模组11与设备的预设光轴共轴,有利于设备中的虚拟现实图像与空间中的实际场景精准统一,保证校准后设备的影像性能满足使用需求。
进一步的,参照图1和图2,在一实施例中,所述校准系统还包括校准件4,所述校准件4设于所述相机模组11与所述光源2之间,所述校准件4设有沿所述预设光轴延伸设置的通孔4a,以使所述光源2发射的光信号通过所述通孔4a时形成所述目标光信号。
具体的,校准系统还包括底座,底座上设有固定支架和上述的第一调整模块3。在校准前,校准件4可固定安装于固定支架上,相机模组11可安装于第一调整模块3上。在本实施例中,预设光轴沿水平方向设置,基于此,在校准件4固定安装后可通过水平仪、目测、测量等方式使校准件4水平放置,从而保证其通孔4a可沿预设光轴延伸设置。此外,在其他实施例中,预设光轴沿其他方向设置时,也可类比这里的方式对校准件4的位置进行固定。
在校准时,光源2可朝向校准件4的通孔4a发射光信号,调整光信号的方向使其穿过通孔4a并朝向相机模组11射出,形成朝向沿预设光轴方向的目标信号。
其中,校准件4或安装其的底座可预先内置固定在增强现实设备1内,从而保证无需额外的辅助装置便可实现相机模组11的校准。
在本实施例中,通过光源2发射的光信号与校准件4上沿预设光轴设置的通孔4a配合,从而保证光源2发射的光信号可精准地沿预设光轴方向射入相机模组11,保证相机模组11姿态后其光轴可与预设光轴精准地一致性。
需要说明的是,在其他实施例中,也可无需设置校准件4,可通过预先采用测量标定的方式对光源2位置及其发射光信号方向进行精准的校准,将其光路校准至沿预设光轴设置后,再应用于对相机模组11的校准。
进一步的,参照图1和图2,在一实施例中,所述校准系统还包括第二信号反馈模块5和第二调整模块6。所述第二信号反馈模块5设于所述光源2与所述相机模组11之间、且设于所述预设光轴上;所述第二调整模块6用于根据所述光源2发射的光信号在所述第二信号反馈模块5中对应形成的第二反馈信号调整所述光源2的位置,以使所述光源2形成所述目标光信号。
第二调整模块6具体为用于调节光源2的姿态的功能模块。第二调整模块6的具体类型可按照实际需求进行选取,只需保证可对光源2的姿态实现校准即可。具体的,为了保证光源2位置校准的精准性,第二调整模块6为五轴调节支架,可调节光源2在无个不同方向上的位置。此外,在其他实施例中,也可根据实际的校准精度需求,第二调整模块6也可设置为三轴调节支架、六轴调节支架、八轴调节支架等。
第二信号反馈模块5可设于校准件4上,也可类似于上述的校准件4的安装方式安装在底座上。第二信号反馈模块5可设于校准件4靠近光源2的一侧,也可设于校准件4靠近相机模组11的一侧
光源2发射的光信号照射到第二信号反馈模块5、照射不到第二信号反馈模块5或照射到第二信号反馈模块5上的不同位置(如预设光轴上的位置和非预设光轴上的位置)时,均会使第一信号反馈模块12形成不同的反馈信号。在此基础上,由于第二信号反馈模块5设于预设光轴上,基于第二信号反馈模块5的对应形成的第二反馈信号可反映光源2发射的光信号的光路与相机模组11光轴的位置关系,因此通过人工或电控的方式基于第二反馈信号采用第二调整模块6对光源2的姿态进行调整,便可将光信号的光路调整至预设光轴共轴。这里的第二反馈信号可以是光信号、电信号、数字信号等。
在本实施例中,在设置校准件4的基础上,结合第二信号反馈模块5和第二调整模块6的设置对光源2的位置进行调整,从而保证光源2发出的光线可经过通孔4a并与预设光轴精准匹配。
进一步的,在本实施例中,所述第二信号反馈模块5为半反半透膜,所述半反半透膜设于所述校准件4靠近所述相机模组11的一面、且覆盖所述通孔4a的边缘。半反半透膜具体为对入射的光线部分反射、部分透射的光学器件。光源2发出的光线穿过通孔4a后,在半反半透膜的作用下,反射的光线可原路返回至光源2所在位置,表明光源2发出的光信号沿预设光轴设置、且其高度和水平度均可满足精度要求。基于此,可以半反半透膜的反射光线沿原路返回为目标采用第二调整模块6对光源2的位置进行调节,从而保证光源2的高度和水平度可确保其发出的光线照射到相机模组11后可实现相机模组11校准精确性的进一步提高。
进一步的,在一实施例中,参照图2,所述校准件4固定于所述增强现实设备1内,所述相机模组11靠近所述校准件4的一端设有定位柱8,所述定位柱8沿所述相机模组11的光轴的所在方向延伸设置;其中,所述定位柱8的长度根据所述相机模组11的预设出瞳距离确定。具体的,在本实施例中,定位柱8的长度为预设出瞳距离。这里预设出瞳距离为18cm。基于此,可以定位柱8抵接于基准件为目标对相机模组11沿预设光轴方向的位置进行调整,从而保证通过定位柱8可实现对增强现实设备1的出瞳距离进行调整,保证其实际出瞳距离可与预设出瞳距离一致,保证用户在增强现实设备1的使用过程中可通过设备看到清晰的高质量图像。
进一步的,在一实施例中,所述校准系统还包括图像坐标标定件7,所述图像坐标标定件7设有标识部71,所述第一调整模块3还用于在所述标识部71位于所述预设光轴上时,调整所述相机模组11的姿态,以使所述相机模组11的光轴对应的预设图像定位点与所述标识部71对应的图像位置共轴,其中,所述图像位置通过所述相机模组11采集所述图像坐标标定件7的图像确定。这里,预设图像定位点具体为相机模组11中虚拟图像对应的图像坐标的位置基准点,具体的,可以是预设光轴在虚拟图像中对应的位置点。基于此,在校准时,由于标识部71在预设光轴上,相机模组11所拍摄的图像坐标标定件7的图像中标识部71的图像位置可表征预设光轴在实景图像中的实际位置,因此通过将预设图像定位点和标识部71对应的图像位置重合,可保证增强现实设备1所成的虚像的坐标与实景图像的坐标一致,保证虚拟图像和实景图像结合时图像特征位置的精准性,从而进一步实现相机模组11的精准校准,保证校准后的增强现实设备1的性能可得到进一步的优化。
其中,为了便于校准系统的使用、安装,所述图像坐标标定件7为透光结构,所述图像坐标标定件7设于所述校准件4与所述光源2之间。具体的,在本实施例中,图像坐标标定件7为在中点设有可视的十字叉丝的透明图卡,其中,十字叉丝可作为标识部71。基于此,即使未利用图像坐标标定件7对相机模组11的姿态进行校准,也可先将图像坐标标定件7安装在光源2与相机模组11之间,而不影响基于校准件4等对相机模组11、光源2等的校准。
本发明实施例还提出一种校准装置,基于上述校准系统,可应用于对增强现实设备1进行校准。具体的,在本发明实施例中,参照图3,校准装置包括:处理器1001(例如CPU),存储器1002等。存储器1002可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。
上述的光源2、第一调整模块3、第二调整模块6可与这里的校准装置连接,以通过校准装置以电控的方式对上述的相机模组11、光源2姿态进行精确地校准。
其中,上述第一信号反馈模块12包括反射镜、或第二信号反馈模块5包括半反半透膜时,上述第一信号反馈模块12或第二信号反馈模块5还可包括设于光源2所在位置的信号接收模块01,基于信号接收模块01可与这里的校准装置检测,以使校准装置可基于信号接收模块01中的信号判断光源2发出的光信号是否在到达反射镜或半反半透膜后原路返回。
本领域技术人员可以理解,图3中示出的装置结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,作为一种计算机可读存储介质的存储器1002中可以包括校准程序。在图3所示的装置中,处理器1001可以用于调用存储器1002中存储的校准程序,并执行以下实施例中校准方法的相关步骤操作。
本发明实施例还提供一种校准方法,应用于上述的校准系统。
参照图4,提出本申请校准方法一实施例。在本实施例中,所述校准方法包括:
步骤S10,控制光源朝向所述相机模组发射目标光信号;所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号;
步骤S20,根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态,以使所述相机模组的光轴与所述预设光轴共轴。
通过上述的第一调整模块从多个不同方向对相机模组的姿态进行调整,直至第一反馈信号中存在相机模组的光轴与预设光轴共轴的特征信号为止。具体的,具体的,以预设光轴为其中一个坐标轴建立三轴坐标系。三轴坐标系中三个坐标轴相互垂直,定义预设光轴为X轴、其余两个分别为Y轴和Z轴,基于此,可通过第一调整模块调整相机模组相对于Y轴和Z轴上的倾斜角度,直至第一反馈信号中存在相机模组的光轴与预设光轴共轴的特征信号为止。
具体的,在本实施例中,所述第一反馈信号由设于所述相机模组的光轴上的反射镜形成,则第一反馈信号为目标光信号照射到反射镜上形成的反射信号。基于此,步骤S20包括:调节所述相机模组的姿态,直至第一入射光路与第一反射光路共轴;其中,所述第一入射光路为所述目标光信号入射到所述反射镜之前的光路,所述第一反射光路为所述目标光信号入射到所述反射镜后反射形成的光路。基于此,可通过上述的第一调整模块从多个不同方向对相机模组的姿态进行调整,直至反射信号沿原路返回,则可认为相机模组的光轴与预设光轴共轴。
本发明实施例提出的一种校准方法,采用光学校准替代了传统的机械校准方式,可有效地提高增强现实设备的校准精度,可确保校准后相机模组与设备的预设光轴共轴,有利于设备中的虚拟现实图像与空间中的实际场景精准统一,保证校准后设备的影像性能满足使用需求。
具体的,在本实施例中,步骤S10包括:控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号,所述光信号通过所述通孔时形成所述目标光信号;其中,所述通孔贯穿设于校准件上,所述校准件设于所述相机模组与所述光源之间。
在本实施例中,通过光源发射的光信号与校准件上沿预设光轴设置的通孔配合,从而保证光源发射的光信号可精准地沿预设光轴方向射入相机模组,保证相机模组姿态后其光轴可与预设光轴精准地一致性。
进一步的,在本实施例中,所述校准件靠近所述相机模组的一面设有覆盖所述通孔边缘的半反半透膜,也就是说,上述的第二信号反馈模块为这里的半反半透膜,第二反馈信号则为半反半透膜形成的反射信号。基于此,所述控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号的步骤之后,还包括:
当所述光信号对应的第二入射光路与第二反射光路共轴时,确定所述光信号为所述目标光信号,执行所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤;
当所述第二入射光路与所述第二反射光路未共轴时,调整所述光源的位置,以使所述第二入射光路与所述第二反射光路共轴;
其中,所述第二入射光路为所述光源发射的光信号到达所述半反半透膜前的光路;所述第二反射光路为所述光源发射的光信号入射到所述半反半透膜后反射形成的光路,也就是第二反馈信号的所在光路。
具体的,可通过第二调整模块调节光源的高度和水平度,直至光源发射的光信号沿原路返回为止。
在本实施例中,光源发出的光线穿过通孔后,在半反半透膜的作用下,反射的光线可原路返回至光源所在位置,表明光源发出的光信号沿预设光轴设置、且其高度和水平度均可满足精度要求。基于此,以半反半透膜的反射光线沿原路返回为目标采用第二调整模块对光源的位置进行调节,从而保证光源的高度和水平度可确保其发出的光线照射到相机模组后可实现相机模组校准精确性的进一步提高。
进一步的,基于上述实施例,提出本申请校准方法另一实施例。在本实施例中,参照图5,所述步骤S20之后,还包括:
步骤S30,在图像坐标标定件的标识部位于所述预设光轴上时,控制所述相机模组获取所述图像坐标标定件的图像;
图像坐标标定件的标识部的位置可通过人工进行调整、也可以通过电控方式进行调整。具体的,可通过测量标识部的水平度、高度等方式将标志部的位置调整至预设光轴上。
在本实施例中,为了确保标识部可位于预设光轴上,以保证后续相机模组校准结果的精准性可进一步提高,所述图像坐标标定件设于所述校准件与所述光源之间,所述控制所述相机模组获取所述图像坐标标定件的图像的步骤之前,还包括:当所述光源发射的光信号的光路与所述预设光轴共轴时,根据所述光源发射的光信号的光路和所述标识部的位置调节图像坐标标定件的摆放位置,以使所述标识部位于所述预设光轴上。图像坐标标定件的摆放位置可通过人工调整、也可以通过校准装置进行调整。具体的,由于光源发射的光路与预设光轴共轴,因此将图像坐标标定件的标识部调整至光源发射的光信号所在光路上,便可使标识部位于预设光轴上。
步骤S40,确定所述图像中标识部的图像位置;
这里的图像位置具体以增强现实设备的预先设置的图像坐标系中的坐标进行表征。这里的图像坐标系为增强现实设备中用于生成虚拟图像的图像坐标系。
步骤S50,调整所述相机模组的姿态,以使所述相机模组的光轴对应的预设图像定位点与所述图像位置重合。
这里,预设图像定位点具体为相机模组中虚拟图像对应的图像坐标的位置基准点,具体的,可以是预设光轴在虚拟图像中对应的位置点。
通过上述的第一调整模块从多个不同方向对相机模组的姿态进行调整,直至相机模组拍摄的图像坐标标定件的图像中标识部的图像位置与预设图像定位点一致为止。具体的,以预设光轴为其中一个坐标轴建立三轴坐标系,这里的三轴坐标系可认为是上述的图像坐标系。三轴坐标系中三个坐标轴相互垂直,定义预设光轴为X轴、其余两个分别为Y轴和Z轴,基于此,可通过第一调整模块调整相机模组Y轴和Z轴上的位移、以及相对于X轴的倾斜角度,直至相机模组拍摄的图像坐标标定件的图像中标识部的图像位置与预设图像定位点一致为止。
在本实施例中,由于标识部在预设光轴上,相机模组所拍摄的图像坐标标定件的图像中标识部的图像位置可表征预设光轴在实景图像中的实际位置,因此通过将预设图像定位点和标识部对应的图像位置重合,可保证增强现实设备所成的虚像的坐标与实景图像的坐标一致,保证虚拟图像和实景图像结合时图像特征位置的精准性,从而进一步实现相机模组的精准校准,保证校准后的增强现实设备的性能可得到进一步的优化。
进一步的,基于上述任一实施例,提出本申请校准方法的又一实施例。
在本实施例中,参照图6,步骤S20之后,还包括:
步骤S60,将所述相机模组的位置调节至目标位置,以将所述相机模组的出瞳距离调节至预设出瞳距离;其中,所述校准件固定于所述增强现实设备内,所述目标位置下所述相机模组的定位柱抵接于校准件。
具体的,采用第一调整模块调节相机模组在上述X轴方向上的位移,直至定位柱抵接字啊校准件靠近相机模组的一面为止。
在本实施例中,以定位柱抵接于基准件为目标对相机模组沿预设光轴方向的位置进行调整,从而保证通过定位柱可实现对增强现实设备的出瞳距离进行调整,保证其实际出瞳距离可与预设出瞳距离一致,保证用户在增强现实设备的使用过程中可通过设备看到清晰的高质量图像。
需要说明的是,步骤S20之后,还包括步骤S30至步骤S50时,可在步骤S50之后执行步骤S60,也可在步骤S30之前执行步骤S60,可根据实际需求进行设置。
进一步的,结合图1、图2,下面提供一个具体校准流程以更好地理解上述校准方法涉及的校准方案:
步骤1:产品校准块(即上述的校准件)水平放置在AA工装上,依靠定位基准面定位,后续校准动作以产品校准块为基准;
步骤2:透明图卡(即上述的图像坐标标定件)放置在固定支架上,与工装基准平面垂直;
步骤3:激光光源(即上述的光源)放置在五轴调节支架(即上述的第二调整模块)上;
步骤4:相机模组放置在六轴调节支架(即上述的第一调整模块)上;
步骤5:校准过程分为以下几个步骤:
步骤5.1:以产品校准块为基准,调整激光光源的调节支架,使激光入射到产品校准块的小孔内并经过半反半透膜原路(即上述的第二信号反馈模块)反射,此时激光光源的高度以及水平度调节完成;(校准激光光源)
步骤5.2:调节透明图卡的Plane-YZ面内的位置,使图卡的十字叉丝(即上述的标识部)与激光光源中心重合,此时透明图卡的位置调节完成;(保证图卡位置OK)
步骤5.3:激光光源通过产品校准块的小孔后,经过相机模组上的反射镜(即上述的第一信号反馈模块)反射,原路返回,此时相机模组的RY、RZ的倾斜调节完成;
步骤5.4:去下产品校准块,利用相机模组自身的十字叉丝与图卡十字叉丝保持重合,调节六轴支架上Y、Z的位移以及RX的旋转,确定相机模组的姿态;(调节相机模组姿态)
步骤5.5:相机模组的X轴位移通过18mm定位柱确定,18mm定位柱做在相机外壳上;此时相机模组的调节完成。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有校准程序,所述校准程序被处理器执行时实现如上校准方法任一实施例的相关步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种增强现实设备的校准系统,其特征在于,所述校准系统包括:
增强现实设备,所述增强现实设备包括相机模组和第一信号反馈模块,所述第一信号反馈模块设于所述相机模组的光轴上;
光源,所述光源与所述增强现实设备间隔设置,所述光源用于朝向所述相机模组发射目标光信号,所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号;
第一调整模块,所述第一调整模块与所述增强现实设备连接,所述第一调整模块用于根据第一反馈信号调整所述相机模块的姿态,以使所述相机模组的光轴与所述预设光轴共轴,其中,所述第一反馈信号为所述目标光信号在所述目标光信号在所述第一信号反馈模块中形成;
所述第一反馈信号由设于所述相机模组的光轴上的反射镜形成,所述第一调整模块还用于调节所述相机模组的姿态,直至第一入射光路与第一反射光路共轴;其中,所述第一入射光路为所述目标光信号入射到所述反射镜之前的光路,所述第一反射光路为所述目标光信号入射到所述反射镜后反射形成的光路。
2.如权利要求1所述的校准系统,其特征在于,所述校准系统还包括校准件,所述校准件设于所述相机模组与所述光源之间,所述校准件设有沿所述预设光轴延伸设置的通孔,以使所述光源发射的光信号通过所述通孔时形成所述目标光信号。
3.如权利要求2所述的校准系统,其特征在于,所述校准系统还包括:
第二信号反馈模块,所述第二信号反馈模块设于所述光源与所述相机模组之间、且设于所述预设光轴上;
第二调整模块,所述第二调整模块用于根据所述光源发射的光信号在所述第二信号反馈模块中对应形成的第二反馈信号调整所述光源的位置,以使所述光源形成所述目标光信号。
4.如权利要求3所述的校准系统,其特征在于,所述第二信号反馈模块为半反半透膜,所述半反半透膜设于所述校准件靠近所述相机模组的一面、且覆盖所述通孔的边缘。
5.如权利要求2所述的校准系统,其特征在于,所述校准件固定设于所述增强现实设备内,所述相机模组靠近所述校准件的一端设有定位柱,所述定位柱沿所述相机模组的光轴的所在方向延伸设置;
其中,所述定位柱的长度根据所述相机模组的预设出瞳距离确定。
6.如权利要求2至5中任一项所述的校准系统,其特征在于,所述校准系统还包括图像坐标标定件,所述图像坐标标定件设有标识部;
所述第一调整模块还用于在所述标识部位于所述预设光轴上时,调整所述相机模组的姿态,以使所述相机模组的光轴对应的预设图像定位点与所述标识部对应的图像位置重合;
其中,所述图像位置通过所述相机模组采集所述图像坐标标定件的图像确定。
7.如权利要求6所述的校准系统,其特征在于,所述图像坐标标定件为透光结构,所述图像坐标标定件设于所述校准件与所述光源之间。
8.一种增强现实设备的校准方法,其特征在于,基于如权利要求1至7中任一项所述的校准系统,所述校准方法包括以下步骤:
控制光源朝向相机模组发射目标光信号;所述目标光信号为光路沿所述增强现实设备的预设光轴设置的信号;
根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态,以使所述相机模组的光轴与所述预设光轴共轴;
所述第一反馈信号由设于所述相机模组的光轴上的反射镜形成,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤包括:
调节所述相机模组的姿态,直至第一入射光路与第一反射光路共轴;
其中,所述第一入射光路为所述目标光信号入射到所述反射镜之前的光路,所述第一反射光路为所述目标光信号入射到所述反射镜后反射形成的光路。
9.如权利要求8所述的校准方法,其特征在于,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤之后,还包括:
在图像坐标标定件的标识部位于所述预设光轴上时,控制所述相机模组获取所述图像坐标标定件的图像;
确定所述图像中标识部的图像位置;
调整所述相机模组的姿态,以使所述相机模组的光轴对应的预设图像定位点与所述图像位置重合。
10.如权利要求9所述的校准方法,其特征在于,所述图像坐标标定件设于所述校准件与所述光源之间,所述控制所述相机模组获取所述图像坐标标定件的图像的步骤之前,还包括:
当所述光源发射的光信号的光路与所述预设光轴共轴时,根据所述光源发射的光信号的光路和所述标识部的位置调节图像坐标标定件的摆放位置,以使所述标识部位于所述预设光轴上。
11.如权利要求8所述的校准方法,其特征在于,所述控制光源朝向所述相机模组发射目标光信号的步骤包括:
控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号,所述光信号通过所述通孔时形成所述目标光信号;
其中,所述通孔贯穿设于校准件上,所述校准件设于所述相机模组与所述光源之间。
12.如权利要求11所述的校准方法,其特征在于,所述校准件靠近所述相机模组的一面设有覆盖所述通孔边缘的半反半透膜,所述控制所述光源朝向沿所述预设光轴延伸设置的通孔发射光信号的步骤之后,还包括:
当所述光信号对应的第二入射光路与第二反射光路共轴时,确定所述光信号为所述目标光信号,执行所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤;
当所述第二入射光路与所述第二反射光路未共轴时,调整所述光源的位置,以使所述第二入射光路与所述第二反射光路共轴;
其中,所述第二入射光路为所述光源发射的光信号到达所述半反半透膜前的光路,所述第二反射光路为所述光源发射的光信号入射到所述半反半透膜后反射形成的光路。
13.如权利要求8至12中任一项所述的校准方法,其特征在于,所述根据所述目标光信号对应的第一反馈信号调节所述相机模组的姿态的步骤之后,还包括:
将所述相机模组的位置调节至目标位置,以将所述相机模组的出瞳距离调节至预设出瞳距离;
其中,所述校准件固定于所述增强现实设备内,所述目标位置下所述相机模组的定位柱抵接于校准件。
14.一种校准装置,应用于校准增强现实设备,其特征在于,所述校准装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的校准程序,所述校准程序被所述处理器执行时实现如权利要求8至13中任一项所述的校准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110449857.1A CN113189776B (zh) | 2021-04-25 | 2021-04-25 | 增强现实设备的校准系统、校准方法以及校准装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110449857.1A CN113189776B (zh) | 2021-04-25 | 2021-04-25 | 增强现实设备的校准系统、校准方法以及校准装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113189776A CN113189776A (zh) | 2021-07-30 |
CN113189776B true CN113189776B (zh) | 2022-09-20 |
Family
ID=76978738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110449857.1A Active CN113189776B (zh) | 2021-04-25 | 2021-04-25 | 增强现实设备的校准系统、校准方法以及校准装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113189776B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113984345B (zh) * | 2021-09-28 | 2024-04-19 | 歌尔科技有限公司 | 近眼穿戴设备红外灯测试方法和工装 |
CN114593688B (zh) * | 2022-03-03 | 2023-10-03 | 惠州Tcl移动通信有限公司 | 基于ar眼镜的三维测量方法、装置、ar眼镜及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104467953A (zh) * | 2014-10-31 | 2015-03-25 | 华东师范大学 | 一种无需精确对准的空间光通信系统 |
CN106343950A (zh) * | 2016-09-28 | 2017-01-25 | 天津工业大学 | 一种基于眼模型的眼底相机双目立体成像系统 |
WO2017062289A1 (en) * | 2015-10-08 | 2017-04-13 | Pcms Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
CN107064910A (zh) * | 2017-01-19 | 2017-08-18 | 宁波傲视智绘光电科技有限公司 | 激光光路光轴校准方法和系统 |
CN110160749A (zh) * | 2019-06-05 | 2019-08-23 | 歌尔股份有限公司 | 应用于增强现实设备的校准装置及校准方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016126672A1 (en) * | 2015-02-02 | 2016-08-11 | Brian Mullins | Head mounted display calibration |
KR102099232B1 (ko) * | 2019-07-03 | 2020-04-08 | 주식회사 레티널 | 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치 |
-
2021
- 2021-04-25 CN CN202110449857.1A patent/CN113189776B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104467953A (zh) * | 2014-10-31 | 2015-03-25 | 华东师范大学 | 一种无需精确对准的空间光通信系统 |
WO2017062289A1 (en) * | 2015-10-08 | 2017-04-13 | Pcms Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
CN106343950A (zh) * | 2016-09-28 | 2017-01-25 | 天津工业大学 | 一种基于眼模型的眼底相机双目立体成像系统 |
CN107064910A (zh) * | 2017-01-19 | 2017-08-18 | 宁波傲视智绘光电科技有限公司 | 激光光路光轴校准方法和系统 |
CN110160749A (zh) * | 2019-06-05 | 2019-08-23 | 歌尔股份有限公司 | 应用于增强现实设备的校准装置及校准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113189776A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113189776B (zh) | 增强现实设备的校准系统、校准方法以及校准装置 | |
US10171802B2 (en) | Calibration method and calibration device | |
JP2022515968A (ja) | 較正ターゲットを伴うポータブルドッキングステーションを使用するヘッドマウントディスプレイ較正 | |
US10469836B2 (en) | Head-mounted display device and computer program | |
CN111055030A (zh) | 一种光束指向稳定性监测与反馈装置及方法 | |
CN112819896B (zh) | 传感器的标定方法及装置、存储介质和标定系统 | |
CN111540004A (zh) | 单相机极线校正方法及装置 | |
CN104581136A (zh) | 图像校准系统和立体摄像机的校准方法 | |
JP7357124B2 (ja) | ターゲット、測量方法およびプログラム | |
JP2004191354A (ja) | キャリブレーション方法、キャリブレーション支援装置、キャリブレーション装置およびカメラシステムの製造方法 | |
CN109104583A (zh) | 控制方法及装置、深度相机、电子装置及可读存储介质 | |
CN108833889A (zh) | 控制方法及装置、深度相机、电子装置及可读存储介质 | |
JP7216775B2 (ja) | ロボットアームの座標系校正装置及び校正方法 | |
CN112492192B (zh) | 一种相机及用于相机生产的方法 | |
US10890430B2 (en) | Augmented reality-based system with perimeter definition functionality | |
KR101782317B1 (ko) | 3차원 스캐너를 이용한 로봇 캘리브레이션 장치 및 이를 이용한 로봇 캘리브레이션 방법 | |
CN110868582A (zh) | 具有校正功能的图像获取系统 | |
Moser et al. | Evaluation of user-centric optical see-through head-mounted display calibration using a leap motion controller | |
US20210370963A1 (en) | Advanced driver assistance calibration device for vehicle | |
KR102630606B1 (ko) | 디지털 뷰파인더 기반 골프거리 측정기 | |
WO2019090245A1 (en) | Laser marking through the lens of an image scanning system | |
US20220091267A1 (en) | Method for ascertaining an operating parameter for operating a surroundings detection system for a vehicle, and surroundings detection system | |
CN110579339A (zh) | 偏振角度校准方法、装置、设备、光学系统及存储介质 | |
JP2022011740A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111679541A (zh) | 投影模组的校准控制方法及系统、存储介质以及控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221121 Address after: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, high tech Zone, Weifang City, Shandong Province Patentee after: GoerTek Optical Technology Co.,Ltd. Address before: 261031 No. 268 Dongfang Road, hi tech Industrial Development Zone, Shandong, Weifang Patentee before: GOERTEK Inc. |
|
TR01 | Transfer of patent right |