CN117351090A - 发光单元与摄像头的标定方法、装置、设备和系统 - Google Patents

发光单元与摄像头的标定方法、装置、设备和系统 Download PDF

Info

Publication number
CN117351090A
CN117351090A CN202210753020.0A CN202210753020A CN117351090A CN 117351090 A CN117351090 A CN 117351090A CN 202210753020 A CN202210753020 A CN 202210753020A CN 117351090 A CN117351090 A CN 117351090A
Authority
CN
China
Prior art keywords
camera
emitting unit
image
light
built
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210753020.0A
Other languages
English (en)
Inventor
王喜龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210753020.0A priority Critical patent/CN117351090A/zh
Publication of CN117351090A publication Critical patent/CN117351090A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种发光单元与摄像头的标定方法、装置、设备及系统,其中方法包括:获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集的第二图像;根据第一摄像头的内外参数、第二摄像头的内外参数、第一图像和/或第二图像,确定平面镜的平面方程;获取第一摄像头采集的第三图像和/或第二摄像头采集的第四图像;根据第一摄像头的内外参数、第二摄像头的内外参数、第三图像和/或第四图像,确定内置发光单元的虚像坐标;根据平面镜的平面方程和内置发光单元的虚像坐标,对内置发光单元与第一摄像头和/或第二摄像头进行标定。本申请使得整个标定过程简单快捷,为安装有发光单元与摄像头的头戴设备批量化标定提供了条件。

Description

发光单元与摄像头的标定方法、装置、设备和系统
技术领域
本申请实施例涉及虚拟场景技术领域,尤其涉及一种发光单元与摄像头 的标定方法、装置、设备和系统。
背景技术
随着虚拟现实(Virtual Reality,VR)技术或增强现实(Augmented Reality, AR)技术的不断发展,眼球追踪技术已逐渐应用于VR/AR设备上,以丰富 VR/AR设备的交互方式。但因为基于眼球追踪技术进行人机交互时,需要通 过VR/AR设备上的发光单元向用户眼睛发射光线,并控制摄像头采集用户的 眼部图像。然后,检测眼部图像中眼球上的光斑,确定眼球的位置,从而根 据眼球的位置进行人机交互。因此,提前标定VR/AR设备中的发光单元和摄 像头之间的位置关系尤为重要。
目前,常借助惯性测量单元(Inertial Measurement Unit,IMU),标定 VR/AR设备中的发光单元和摄像头之间的位置关系。具体过程为:通过控制 安装有VR/AR设备的机械臂绕着不同坐标轴转动,以计算出发光单元和IMU 的坐标变换关系,然后再标定IMU和摄像头之间的外参数,以间接计算出发 光单元和相机之间的位置关系。然而,该方式除了需要IMU作为媒介间接计 算发光单元和摄像头之间的位置关系之外,还需要借助机械臂,不仅成本高, 而且因整个标定过程链路较长,导致耗费大量时间,从而不可避免的会引入 发光单元和IMU、以及IMU和摄像头的标定误差。
发明内容
本申请实施例提供一种发光单元与摄像头的标定方法、装置、设备及系 统,使得整个标定过程简单快捷,为安装有发光单元与摄像头的头戴设备批 量化标定提供了条件。
第一方面,本申请实施例提供了一种发光单元与摄像头的标定方法,包 括:
获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集的第 二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和所述 外置发光单元在平面镜中的虚像;
根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第 一图像和/或所述第二图像,确定所述平面镜的平面方程;
获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的第四 图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单元在 所述平面镜中的虚像;
根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第 三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标;
根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,对所述内 置发光单元与所述第一摄像头和/或所述第二摄像头进行标定。
第二方面,本申请实施例提供了一种发光单元与摄像头的标定装置,包 括:
图像获取模块,用于获取头戴设备中第一摄像头采集的第一图像和/或第 二摄像头采集的第二图像,所述第一图像和/或所述第二图像包括外置发光单 元的实像,和所述外置发光单元在平面镜中的虚像;
方程确定模块,用于根据所述第一摄像头的内外参数、所述第二摄像头 的内外参数、所述第一图像和/或所述第二图像,确定所述平面镜的平面方程;
图像获取模块,还用于获取所述第一摄像头采集的第三图像和/或所述第 二摄像头采集的第四图像,所述第三图像和/或所述第四图像包括所述头戴设 备中内置发光单元在所述平面镜中的虚像;
坐标确定模块,用于根据所述第一摄像头的内外参数、所述第二摄像头 的内外参数、所述第三图像和/或所述第四图像,确定所述内置发光单元的虚 像坐标;
标定模块,用于根据所述平面镜的平面方程,和所述内置发光单元的虚 像坐标,对所述内置发光单元与所述第一摄像头和/或所述第二摄像头进行标 定。
第三方面,本申请实施例提供了一种电子设备,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调 用并运行所述存储器中存储的计算机程序,以执行第一方面实施例所述的发 光单元与摄像头的标定方法。
第四方面,本申请实施例提供了一种发光单元与摄像头的标定系统,包 括:外置发光单元、平面镜、第一固定装置、第二固定装置、头戴设备以及 如第三方面所述的电子设备;
所述第一固定装置用于固定所述外置发光单元;
所述第二固定装置用于固定所述平面镜;
所述头戴设备至少包括内置发光单元、第一摄像头和第二摄像头;
所述电子设备用于执行如第一方面实施例所述的发光单元与摄像头的标 定方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,用于存储计 算机程序,所述计算机程序使得计算机执行如第一方面实施例所述的发光单 元与摄像头的标定方法。
第六方面,本申请实施例提供了一种包含程序指令的计算机程序产品, 当所述程序指令在电子设备上运行时,使得所述电子设备执行如第一方面实 施例所述的发光单元与摄像头的标定方法。
本申请实施例公开的技术方案,至少具有如下有益效果:
通过基于头戴设备中第一摄像头的内外参数、第二摄像头的内外参数、 第一摄像头采集的第一图像和/或第二摄像头采集的第二图像,确定平面镜的 平面方程,并基于第一摄像头的内外参数、第二摄像头的内外参数、第一摄 像头采集的第三图像和/或第二摄像头采集的第四图像,确定头戴设备中内置 发光单元的虚像坐标,然后根据平面镜的平面方程,和内置发光单元的虚像 坐标,对内置发光单元与第一摄像头和/或第二摄像头进行标定。由此,实现 基于外置发光单元和平面镜,对头戴设备中的发光单元和摄像头的标定目的, 使得整个标定过程简单快捷,从而为安装有发光单元与摄像头的头戴设备批 量化标定提供了条件。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中 所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的 前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种发光单元与摄像头的标定系统的示意性 框图;
图2是本申请实施例提供的一种部署头戴设备、外置发光单元以及平面 镜的示意图;
图3是本申请实施例提供的一种部署头戴设备和平面镜的示意图;
图4是本申请实施例提供的一种发光单元与摄像头的标定方法的流程示 意图;
图5是本申请实施例提供的另一种发光单元与摄像头的标定方法的流程 示意图;
图6是本申请实施例提供的再一种发光单元与摄像头的标定方法的流程 示意图;
图7是本申请实施例提供的一种发光单元与摄像头的标定装置的示意性 框图;
图8是本申请实施例提供的一种电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而 不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有做 出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申 请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术 语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如, 包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚 地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、 方法、产品或设备固有的其它步骤或单元。
本申请适用于标定虚拟现实(Virtual Reality,VR)设备或增强现实 (AugmentedReality,AR)设备中发光单元和摄像头之间的位置关系的场景。 考虑到目前借助惯性测量单元(Inertial Measurement Unit,IMU),标定VR/AR 设备中发光单元和摄像头之间的位置关系时,除了需要IMU作为媒介间接计 算发光单元和摄像头之间的位置关系之外,还需要借助机械臂,不仅成本高, 而且因整个标定过程链路较长,导致耗费大量时间,从而不可避免的会引入 发光单元和IMU,以及IMU和摄像头的标定误差。因此,本申请设计了一种 标定方法,以通过该方法使得整个标定过程简单快捷,以为安装有发光单元 与摄像头的头戴设备批量化标定提供了条件。
为了便于理解本申请实施例,在描述本申请各个实施例之前,首先对本 申请所有实施例中所涉及到的一些概念进行适当的解释说明,具体如下:
1)虚拟现实(Virtual Reality,简称为VR),创建和体验虚拟世界的技术, 计算生成一种虚拟环境,是一种多源信息(本文中提到的虚拟现实至少包括视 觉感知,此外还可以包括听觉感知、触觉感知、运动感知,甚至还包括味觉 感知、嗅觉感知等),实现虚拟环境的融合的、交互式的三维动态视景和实体 行为的仿真,使用户沉浸到模拟的虚拟现实环境中,实现在诸如地图、游戏、 视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种 虚拟环境的应用。
2)虚拟现实设备(VR设备),实现虚拟现实效果的终端,通常可以提供 为眼镜、头盔式显示器(Head Mount Display,简称为HMD)、隐形眼镜的形态, 以用于实现视觉感知和其他形式的感知,当然虚拟现实设备实现的形态不限 于此,根据实际需要可以进一步小型化或大型化。
可选的,本申请实施例中记载的虚拟现实设备可以包括但不限于如下几 个类型:
2.1)电脑端虚拟现实(PCVR)设备,利用PC端进行虚拟现实功能的相关计 算以及数据输出,外接的电脑端虚拟现实设备利用PC端输出的数据实现虚 拟现实的效果。
2.2)移动虚拟现实设备,支持以各种方式(如设置有专门的卡槽的头戴式 显示器)设置移动终端(如智能手机),通过与移动终端有线或无线方式的连接, 由移动终端进行虚拟现实功能的相关计算,并输出数据至移动虚拟现实设备, 例如通过移动终端的APP观看虚拟现实视频。
2.3)一体机虚拟现实设备,具备用于进行虚拟功能的相关计算的处理器, 因而具备独立的虚拟现实输入和输出的功能,不需要与PC端或移动终端连 接,使用自由度高。
3)AR(Augmented Reality,增强现实):一种在相机采集图像的过程中, 实时地计算相机在现实世界(或称三维世界、真实世界)中的相机姿态参数,根 据该相机姿态参数在相机采集的图像上添加虚拟元素的技术。虚拟元素包括 但不限于:图像、视频和三维模型。AR技术的目标是在屏幕上把虚拟世界套 接在现实世界上进行互动。
为了清楚说明本申请提供的发光单元与摄像头的标定方法,下面首先对 本申请提供的发光单元与摄像头的标定系统进行说明。
图1是本申请实施例提供的一种发光单元与摄像头的标定系统的示意性 框图。如图1所示,本申请提供的发光单元与摄像头的标定系统1000包括: 外置发光单元110、平面镜120、第一固定装置130、第二固定装置140、头 戴设备150以及电子设备160。
其中,第一固定装置130用于固定外置发光单元110;
第二固定装置140用于固定所述平面镜120;
头戴设备150至少包括内置发光单元151、第一摄像头152和第二摄像 头153;
电子设备160用于执行本申请提供的发光单元与摄像头的标定方法,以 实现对头戴设备150中内置发光单元151与第一摄像头152和/或第二摄像头 153的标定目的。
在本申请实施例中,头戴设备150可为VR头戴设备或者AR头戴设备。
应理解的是,头戴设备150中的内置发光单元151、第一摄像头152以 及第二摄像头153是用于对用户眼睛进行眼球追踪,以使头戴设备150根据 追踪结果与用户进行交互。
其中,内置发光单元151可以是普通LED灯,或者红外(Infrared Radiation,简称为,IR)灯等,此处对其不做具体限制。
并且,内置发光单元151的数量为至少两个,具体可根据眼动追踪精度 进行适应性设置,本申请对其不做具体限制。
也就是说,至少有一个内置发光单元与第一摄像头152对应,以及至少 有一个内置发光单元与第二摄像头153对应,这样才能保证第一摄像头152 和第二摄像头153能够采集到具有光斑的眼部图像,进而基于该眼部图像进 行人机交互操作。
考虑到外置发光单元110用于辅助电子设备160对头戴设备150中内置 发光单元151和摄像头进行标定。因此,本申请中外置发光单元110的类型 可根据头戴设备150上的内置发光单元151类型确定,以使头戴设备150中 第一摄像头152和第二摄像头153能够采集到包括该外置发光单元110的图 像,从而基于该图像进行标定操作。
示例性的,如果头戴设备150中内置发光单元151为普通LED灯,则本 申请中外置发光单元110为普通LED灯;如果头戴设备150中内置发光单元 151为红外(InfraredRadiation,简称为,IR)灯,则本申请中外置发光单元 110为IR灯。
应理解的是,内置发光单元151和摄像头是相对应的,那么当内置发光 单元151的类型为普通LED灯时,头戴设备150中的第一摄像头152和第二 摄像头153可选为普通摄像头或者其他类型摄像头,比如深度摄像头等。当 内置发光单元151的类型为IR灯时,头戴设备150中的第一摄像头152和第 二摄像头153可选为红外摄像头。
在本实施例中,电子设备160为任意具有数据处理功能的设备,比如电 脑等。其中电脑可以是但不限于:笔记本电脑、台式机和掌上电脑等。
具体实现时,技术人员可先将外置发光单元110固定在第一固定装置130 上,平面镜120固定在第二固定装置140上。然后,按照头戴设备150、外 置发光单元110和平面镜120的顺序,在标定场地或标定台上放置固定于第 一固定装置130上的外置发光单元110、固定于第二固定装置140上的平面 镜120以及头戴设备150,具体如图2所示。其中,放置头戴设备150时, 将头戴设备150的镜筒朝向外置发光单元110侧,并依据第一摄像头152和 第二摄像头153能够观测到外置发光单元110以及平面镜120中外置发光单 元110的虚像为准进行放置操作。具体实现过程为:确定第一摄像头152和 第二摄像头153能够观测到外置发光单元110,以及平面镜120中外置发光 单元110的虚像的目标位置。之后,将头戴设备150放置到该目标位置处。
将外置发光单元110、平面镜120以及头戴设备150放置好之后,可启 动头戴设备150,并通过电子设备160基于建立的通信连接,向外置发光单 元110发送点亮指令,以点亮该外置发光单元110。当外置发光单元110处于 点亮状态时,可通过电子设备160基于建立的通信连接,向头戴设备150中 第一摄像头152和/或第二摄像头153发送图像采集指令,以使第一摄像头152 和/或第二摄像头153采集包括外置发光单元110的实像,和外置发光单元110 在平面镜120中的虚像的第一图像和/或第二图像。当接收到第一摄像头152 发送的第一图像,和/或第二摄像头153发送的第二图像后,电子设备160可 读取第一摄像头152的内外参数和第二摄像头153的内外参数,以根据第一 摄像头152的内外参数、第二摄像头153的内外参数、第一图像和/或第二图 像,确定出平面镜120的平面方程。本申请实施例中,建立的通信连接可通 过USB数据线等方式实现,此处对其不做具体限制。
需要说明的是,第一图像和/或第二图像,可以是第一图像;或者,也可 以是第二图像;又或者,还可以是第一图像和第二图像。
其中,第一摄像头152的内外参数和第二摄像头153的内外参数是对第 一摄像头152和第二摄像头153标定完后,预先将标定参数配置于电子设备 160中的。并且,第一摄像头152的内外参数和第二摄像头153的内外参数 的标定实现过程,为本领域的常规技术,此处对其不做过多赘述。
进一步的,如图3所示,技术人员可将固定在第一固定装置130上外置 发光单元110,从头戴设备150和固定在第二固定装置140上的平面镜120 中间移除,同时保持头戴设备150和平面镜120的相对静止。之后,通过电 子设备160向头戴设备150中内置发光单元151发送点亮指令,以使内置发 光单元151对外发射光线。当内置发光单元151处于点亮状态时,可通过电 子设备160向第一摄像头152和第二摄像头153发送新图像采集指令,以使第一摄像头152采集包括内置发光单元151在平面镜120中的虚像的第三图 像,和/或第二摄像头153采集包括内置发光单元151在平面镜120中的虚像 的第四图像。当接收到第一摄像头152发送的第三图像,和/或第二摄像头153 发送的第四图像时,电子设备160可根据第一摄像头152的内外参数、第二 摄像头153的内外参数、第三图像和/或第四图像,确定出内置发光单元151 的虚像坐标。然后,根据确定出的平面镜120的平面方程和内置发光单元151 的虚像坐标,对内置发光单元151与第一摄像头152和/或第二摄像头153进 行标定。从而实现基于外置发光单元和平面镜,对头戴设备150中的内置发 光单元和摄像头的标定目的,使得整个标定过程简单快捷,从而为安装有发 光单元与摄像头的头戴设备150批量化标定提供了条件。
其中,虚像坐标是指内置发光单元151在镜像空间中的空间坐标。
可以理解的是,本申请根据确定出的平面镜120的平面方程和内置发光 单元151的虚像坐标,对内置发光单元151与第一摄像头152和/或第二摄像 头153进行标定,可包括如下情况:
情况一
根据平面镜120的平面方程和内置发光单元151的虚像坐标,分别对内 置发光单元151与第一摄像头152,以及内置发光单元151与第二摄像头153 进行标定。
也就是说,本申请可基于确定的平面方程和虚像坐标,对内置发光单元 151与第一摄像头152,以及对内置发光单元151与第二摄像头153进行同步 标定操作。
情况二
根据平面镜120的平面方程和内置发光单元151的虚像坐标,对内置发 光单元151与第一摄像头152进行标定。
考虑到头戴设备150中第一摄像头151和第二摄像头152的内外参数以 及设置位置是已知的,那么本申请可根据平面方程和虚像坐标,只对内置发 光单元151和第一摄像头152进行标定。然后,根据已知参数比如摄像头内 外参数以及设置位置等,基于标定后的内置发光单元151和第一摄像头152, 确定出内置发光单元151和第二摄像头153之间的标定参数进行标定。从而 能够简化标定过程,进一步提高标定速度和效率。
情况三
根据平面镜120的平面方程和内置发光单元151的虚像坐标,对内置发 光单元151与第二摄像头153进行标定。
考虑到头戴设备150中第一摄像头151和第二摄像头152的内外参数以 及设置位置是已知的,那么本申请可根据平面方程和虚像坐标,只对内置发 光单元151和第二摄像头153进行标定。然后,根据已知参数比如摄像头内 外参数以及设置位置等,基于标定后的内置发光单元151和第二摄像头153, 确定出内置发光单元151和第一摄像头152之间的标定参数进行标定。从而 能够简化标定过程,进一步提高标定速度和效率。
本申请实施例提供的发光单元和摄像头的标定系统,通过将固定于第一 固定装置上的外置发光单元、固定于第二固定装置上的平面镜以及头戴设备, 按照预设方式放置,并在放置好之后,电子设备则执行基于头戴设备中第一 摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第一图像和/ 或第二摄像头采集的第二图像,确定平面镜的平面方程,并基于第一摄像头 的内外参数、第二摄像头的内外参数、第一摄像头采集的第三图像和/或第二 摄像头采集的第四图像,确定头戴设备中内置发光单元的虚像坐标,然后根 据平面镜的平面方程,和内置发光单元的虚像坐标,对内置发光单元与第一 摄像头和/或第二摄像头进行标定。由此,实现基于外置发光单元和平面镜, 对发光单元和摄像头之间的标定目的,使得整个标定过程简单快捷,从而为 安装有发光单元与摄像头的设备批量化标定提供了条件。
对发光单元与摄像头的标定系统进行说明之后,下面基于上述发光单元 与摄像头的标定系统,对本申请实施例提供的发光单元与摄像头的标定方法 进行详细说明。
需要说明的是,本申请中对发光单元与摄像头的标定过程是基于上述标 定系统实现的。
具体的,如图4所示,本申请实施例提供的发光单元与摄像头的标定方 法可包括如下步骤:
S101,获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集 的第二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和 所述外置发光单元在平面镜中的虚像。
本申请实施例中,外置发光单元的类型可根据头戴设备上的内置发光单 元类型进行设置。例如,如果头戴设备中内置发光单元为普通LED灯,则本 申请中外置发光单元为普通LED灯。又例如,如果头戴设备中内置发光单元 为IR灯,则本申请中外置发光单元为IR灯。
可选的,当头戴设备、外置发光单元以及平面镜,按照头戴设备、外置 发光单元和平面镜的顺序放置好之后,技术人员可启动头戴设备,并通过标 定系统中的电子设备基于建立的通信连接,向外置发光单元发送点亮指令, 以使外置发光单元点亮。并且,当外置发光单元正常点亮之后,还可通过标 定系统中的电子设备基于建立的通信连接,向头戴设备中的第一摄像头和/或 第二摄像头发送图像采集指令,以使第一摄像头根据图像采集指令,采集包 括外置发光单元的实像,以及外置发光单元在平面镜中的虚像的第一图像,和/或第二摄像头根据该图像采集指令,采集包括外置发光单元的实像,以及 外置发光单元在平面镜中的虚像的第二图像。
当第一摄像头采集到第一图像,和/或第二摄像头采集到第二图像之后, 第一摄像头可将第一图像发送给电子设备,和/或第二摄像头可将第二图像发 送给电子设备,以为后续电子设备基于第一图像和/或第二图像确定出平面镜 的平面方程奠定基础。
其中,建立的通信连接可通过USB数据线等方式实现,此处对其不做具 体限制。
S102,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第一图像和/或所述第二图像,确定所述平面镜的平面方程。
其中,第一摄像头的内外参数,以及第二摄像头的内外参数是是在头戴 设备安装好第一摄像头和第二摄像头时标定好的,或者,还可以是对头戴设 备中内置发光单元和摄像头进行标定之前,对该第一摄像头和第二摄像头进 行内外参标定,此处对其不做限制。
并且,对第一摄像头和第二摄像头标定完成后,可预先将第一摄像头的 内外参数和第二摄像头的内外参数配置于电子设备中,以为确定平面镜的平 面方程奠定基础。
需要说明的是,本申请中第一摄像头和第二摄像头的内外参标定过程为 本领域的常规技术,此处对其不做过多赘述。
示例性的,接收到第一摄像头发送的第一图像,和/或第二摄像头发送的 第二图像后,本申请电子设备可从配置信息中获取第一摄像头的内外参数以 及第二摄像头的内外参数,然后根据第一摄像头的内外参数、第二摄像头的 内外参数、第一图像和/或第二图像,确定平面镜的平面方程。
考虑到任何一个平面都可以用它上面的一点及它的法线向量来确定,因 此本申请确定平面镜的平面方程时,可根据第一摄像头的内外参数、第二摄 像头的内外参数、第一图像和/或第二图像,确定出外置发光单元的实像坐标 和虚像坐标。之后,根据外置发光单元的实像坐标和虚像坐标,确定出用于 确定平面镜的平面方程的中点坐标和法线向量。进而,利用平面的点法式方 程,根据该中点坐标和法线向量确定出平面镜的平面方程。
其中,实像坐标具体是指外置发光单元在现实空间中的空间坐标;虚像 坐标具体是指外置发光单元在平面镜的镜像空间的空间坐标。
S103,获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的 第四图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单 元在所述平面镜中的虚像。
确定出平面镜的平面方程之后,技术人员可将放置在头戴设备和平面镜 之间的外置发光单元移除,同时保持头戴设备和平面镜相对静止。然后,通 过电子设备基于建立的通信连接,向头戴设备中内置发光单元发送点亮指令, 以使内置发光单元对外发射光线。当确定头戴设备中内置发光单元处于点亮 状态时,可通过电子设备向第一摄像头和/或第二摄像头发送新图像采集指 令,以使第一摄像头根据接收到的新图像采集指令,采集包括内置发光单元 在平面镜中的虚像的第三图像,和/或第二摄像头根据接收到的新图像采集指 令,采集包括内置发光单元在平面镜中的虚像的第四图像。
当第一摄像头采集到第三图像,和/或第二摄像头采集到第四图像之后, 第一摄像头可将第三图像发送给电子设备,和/或第二摄像头可将第四图像发 送给电子设备,以为后续电子设备基于接收到的第三图像和/或第四图像,确 定内置发光单元的虚像坐标奠定基础。
S104,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标。
示例性的,接收到第一摄像头发送的第三图像,和/或第二摄像头发送的 第三图像后,本申请可基于获取到第一摄像头的内外参数以及第二摄像头的 内外参数,结合第三图像和/或第四图像,确定内置发光单元的虚像坐标。
作为一种可选的实现方式,确定内置发光单元的虚像坐标时,可利用双 目测距算法,根据第一摄像头的内外参数、第二摄像头的内外参数、第三图 像和/或第四图像,计算出内置发光单元的虚像坐标。
其中,利用双目测距算法确定内置发光单元的虚像坐标为本领域的常规 技术,此处对其不做过多赘述。
S105,根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,对 所述内置发光单元与所述第一摄像头和/或所述第二摄像头进行标定。
本申请实施例中,对内置发光单元与第一摄像头和/或第二摄像头进行标 定,具体包括:对内置发光单元与第一摄像头进行标定,和/或对内置发光单 元与第二摄像头进行标定。
示例性的,对内置发光单元与第一摄像头和/或第二摄像头进行标定时, 可首先确定内置发光单元与第一摄像头之间的第一标定参数,和/或内置发光 单元与第二摄像头之间的第二标定参数。然后,根据第一标定参数,对内置 发光单元与第一摄像头进行标定,和/或根据第二标定参数,对内置发光单元 与第二摄像头进行标定。
其中,第一标定参数和/或第二标定参数,具体是指内置发光单元与第一 摄像头之间的位置关系,和/或内置发光单元与第二摄像头之间的位置关系。
本申请提供的发光单元与摄像头的标定方法,通过基于头戴设备中第一 摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第一图像和/ 或第二摄像头采集的第二图像,确定平面镜的平面方程,并基于第一摄像头 的内外参数、第二摄像头的内外参数、第一摄像头采集的第三图像和/或第二 摄像头采集的第四图像,确定头戴设备中内置发光单元的虚像坐标,然后根 据平面镜的平面方程,和内置发光单元的虚像坐标,对内置发光单元与第一 摄像头和/或第二摄像头进行标定。由此,实现基于外置发光单元和平面镜, 对头戴设备中的发光单元和摄像头的标定目的,使得整个标定过程简单快捷, 从而为安装有发光单元与摄像头的头戴设备批量化标定提供了条件。
通过上述描述可知,本申请实施例通过基于确定的平面镜的平面方程, 和内置发光单元的虚像坐标,对发光单元和摄像头进行标定。
在上述实施例的基础上,本申请对根据所述第一摄像头的内外参数、所 述第二摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述平面 镜的平面方程进行进一步解释说明,具体如图5所示。
如图5所示,该方法可以包括以下步骤:
S201,获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集 的第二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和 所述外置发光单元在平面镜中的虚像。
S202,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第一图像和/或所述第二图像,确定所述外置发光单元的实像坐标和虚像 坐标。
S203,根据所述外置发光单元的实像坐标和虚像坐标,确定所述平面镜 的平面方程。
本申请实施例中,确定外置发光单元的实像坐标和虚像坐标,具体可利 用双目测距算法,根据第一摄像头的内外参数、第二摄像头的内外参数、第 一图像和/或第二图像来计算得出。
其中,利用双目测距算法确定外置发光单元的实像坐标和虚像坐标为本 领域的常规技术,此处对其不做过多赘述。
考虑到外置发光单元的实像坐标和虚像坐标之间的中点坐标是位于平面 镜所在平面上。并且,基于外置发光单元的实像坐标和虚像坐标确定的方向 向量为垂直与平面镜的法线向量。因此,本申请可根据外置发光单元的实像 坐标和虚像坐标,确定中点坐标以及方向向量,然后根据确定的中点坐标和 方向向量,确定平面镜的平面方程。
示例性的,确定中点坐标,可通过如下公式(1)实现:
其中,Pm表示中点坐标,P表示外置发光单元的实像坐标,以及P'表示 外置发光单元的虚像坐标。
另外,确定方向向量(即法线向量),可通过如下公式(2)实现:
其中,表示法线向量,P表示外置发光单元的实像坐标,P′表示外 置发光单元的虚像坐标,以及||·||表示范数符号。
确定出中点坐标和法线法向量之后,本申请即可利用平面的点法式方程, 根据该中点坐标和方向向量确定出平面镜的平面方程。
S204,获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的 第四图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单 元在所述平面镜中的虚像。
S205,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标。
S206,根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,对 所述内置发光单元与所述第一摄像头和/或所述第二摄像头进行标定。
本申请提供的发光单元与摄像头的标定方法,通过基于头戴设备中第一 摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第一图像和/ 或第二摄像头采集的第二图像,确定平面镜的平面方程,并基于第一摄像头 的内外参数、第二摄像头的内外参数、第一摄像头采集的第三图像和/或第二 摄像头采集的第四图像,确定头戴设备中内置发光单元的虚像坐标,然后根 据平面镜的平面方程,和内置发光单元的虚像坐标,对内置发光单元与第一 摄像头和/或第二摄像头进行标定。由此,实现基于外置发光单元和平面镜, 对头戴设备中的发光单元和摄像头的标定目的,使得整个标定过程简单快捷, 从而为安装有发光单元与摄像头的头戴设备批量化标定提供了条件。
在上述实施例的基础上,本申请对根据所述平面镜的平面方程和所述内 置发光单元的虚像坐标,对所述内置发光单元与所述第一摄像头和/或所述第 二摄像头进行标定进行进一步解释说明,具体如图6所示。
如图6所示,该方法可以包括以下步骤:
S301,获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集 的第二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和 所述外置发光单元在平面镜中的虚像。
S302,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第一图像和/或所述第二图像,确定所述平面镜的平面方程。
S303,获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的 第四图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单 元在所述平面镜中的虚像。
S304,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、 所述第三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标。
S305,根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,确 定所述内置发光单元与所述第一摄像头之间的第一标定参数,和/或所述内置 发光单元与所述第二摄像头之间的第二标定参数。
S306,根据所述第一标定参数,对所述内置发光单元与所述第一摄像头 进行标定。
S307,根据所述第二标定参数,对所述内置发光单元与所述第二摄像头 进行标定。
需要说明的是,与S305中确定第一标定参数和/或第二标定参数对应, S306和S307之间也是和/或关系。具体的,可以是根据第一标定参数,对内 置发光单元与第一摄像头进行标定;或者,也可以是根据第二标定参数,对 内置发光单元与第二摄像头进行标定;又或者,还可以是根据第一标定参数, 对内置发光单元与第一摄像头进行标定,同时根据第二标定参数,对内置发 光单元与第二摄像头进行标定。
其中,第一标定参数是指内置发光单元与第一摄像头之间的位置关系; 第二标定参数是指内置发光单元与第二摄像头之间的位置关系。
在本实施例中,位置关系具体为外参数,并且该外参数代表内置发光单 元的实像坐标。
也就是说,本申请根据平面镜的平面方程和内置发光单元的虚像坐标, 确定的是内置发光单元的实体坐标。
考虑到确定内置发光单元与第一摄像头之间的第一标定参数,和/或内置 发光单元与第二摄像头之间的第二标定参数的实现原理及实现过程相同或类 似,因此本申请以确定内置发光单元与第一摄像头之间的第一标定参数为例 进行说明。
示例性的,确定第一标定参数时,可通过确定内置发光单元的虚像坐标, 关于平面镜的平面方程的对称点;然后,将该对称点的坐标,确定为内置发 光单元与第一摄像头之间的第一标定参数。即,将该对称点的坐标,确定为 内置发光单元的实像坐标。
其中,确定内置发光单元的虚像坐标,关于平面镜的平面方程的对称点 时,可通过如下方式实现:
方式一
可过内置发光单元的虚像坐标作一垂直于平面镜的直线,确定该直线与 平面镜的交点。然后,根据该交点确定出对称点。
其中,对称点是该交点坐标的2倍。
方式二
确定内置发光单元的虚像坐标与平面镜的平面方程的垂直距离,并根据 该垂直距离确定对称点。
需要说明的是,上述两种方式仅作为本申请的示例性说明,不作为对本 申请的具体限制。
本申请提供的发光单元与摄像头的标定方法,通过基于头戴设备中第一 摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第一图像和/ 或第二摄像头采集的第二图像,确定平面镜的平面方程,并基于第一摄像头 的内外参数、第二摄像头的内外参数、第一摄像头采集的第三图像和/或第二 摄像头采集的第四图像,确定头戴设备中内置发光单元的虚像坐标,然后根 据平面镜的平面方程,和内置发光单元的虚像坐标,对内置发光单元与第一 摄像头和/或第二摄像头进行标定。由此,实现基于外置发光单元和平面镜, 对头戴设备中的发光单元和摄像头的标定目的,使得整个标定过程简单快捷, 从而为安装有发光单元与摄像头的头戴设备批量化标定提供了条件。
下面参照附图7,对本申请实施例提出的一种发光单元与摄像头的标定 装置进行说明。图7是本申请实施例提供的一种发光单元与摄像头的标定装 置的示意性框图。
其中,该发光单元与摄像头的标定装置400包括:图像获取模块410、 方程确定模块420、坐标确定模块430和标定模块440。
其中,图像获取模块410,用于获取头戴设备中第一摄像头采集的第一 图像和/或第二摄像头采集的第二图像,所述第一图像和/或所述第二图像包括 外置发光单元的实像,和所述外置发光单元在平面镜中的虚像;
方程确定模块420,用于根据所述第一摄像头的内外参数、所述第二摄 像头的内外参数、所述第一图像和/或所述第二图像,确定所述平面镜的平面 方程;
图像获取模块410,还用于获取所述第一摄像头采集的第三图像和/或所 述第二摄像头采集的第四图像,所述第三图像和/或所述第四图像包括所述头 戴设备中内置发光单元在所述平面镜中的虚像;
坐标确定模块430,用于根据所述第一摄像头的内外参数、所述第二摄 像头的内外参数、所述第三图像和/或所述第四图像,确定所述内置发光单元 的虚像坐标;
标定模块440,用于根据所述平面镜的平面方程,和所述内置发光单元 的虚像坐标,对所述内置发光单元与所述第一摄像头和/或所述第二摄像头进 行标定。
本申请实施例的一种可选实现方式,方程确定模块420包括:坐标确定 单元和方程确定单元;
其中,坐标确定单元,用于根据所述第一摄像头的内外参数、所述第二 摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述外置发光单 元的实像坐标和虚像坐标;
方程确定单元,用于根据所述外置发光单元的实像坐标和虚像坐标,确 定所述平面镜的平面方程。
本申请实施例的一种可选实现方式,方程确定单元,具体用于:
确定所述外置发光单元的实像坐标和虚像坐标之间的中点坐标和方向向 量;
根据所述中点坐标和所述方向向量,确定所述平面镜的平面方程。
本申请实施例的一种可选实现方式,标定模块440包括:参数确定单元 和标定单元;
其中,参数确定单元,用于根据所述平面镜的平面方程和所述内置发光 单元的虚像坐标,确定所述内置发光单元与所述第一摄像头之间的第一标定 参数,和/或所述内置发光单元与所述第二摄像头之间的第二标定参数;
标定单元,用于根据所述第一标定参数,对所述内置发光单元与所述第 一摄像头进行标定;和/或,根据所述第二标定参数,对所述内置发光单元与 所述第二摄像头进行标定。
本申请实施例的一种可选实现方式,参数确定单元,具体用于:
确定所述内置发光单元的虚像坐标,关于所述平面镜的平面方程的对称 点;
将所述对称点的坐标,确定为内置发光单元与摄像头之间的标定参数。
本申请实施例的一种可选实现方式,标定参数为外参数。
本申请实施例提供的发光单元与摄像头的标定装置,通过基于头戴设备 中第一摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第一 图像和/或第二摄像头采集的第二图像,确定平面镜的平面方程,并基于第一 摄像头的内外参数、第二摄像头的内外参数、第一摄像头采集的第三图像和/ 或第二摄像头采集的第四图像,确定头戴设备中内置发光单元的虚像坐标, 然后根据平面镜的平面方程,和内置发光单元的虚像坐标,对内置发光单元 与第一摄像头和/或第二摄像头进行标定。由此,实现基于外置发光单元和平 面镜,对头戴设备中的发光单元和摄像头的标定目的,使得整个标定过程简 单快捷,从而为安装有发光单元与摄像头的头戴设备批量化标定提供了条件。
应理解的是,装置实施例与前述方法实施例可以相互对应,类似的描述 可以参照方法实施例。为避免重复,此处不再赘述。具体地,图7所示的装 置400可以执行图4对应的方法实施例,并且装置400中的各个模块的前述 和其它操作和/或功能分别为了实现图4中的各个方法中的相应流程,为了简 洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置400。应 理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现, 还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的第一方面 方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形 式的指令完成,结合本申请实施例公开的第一方面方法的步骤可以直接体现 为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执 行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质 中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成 上述第一方面方法实施例中的步骤。
图8是本申请实施例提供的一种电子设备的示意性框图。
如图8所示,该电子设备500可包括:
存储器510和处理器520,该存储器510用于存储计算机程序,并将该 程序代码传输给该处理器520。换言之,该处理器520可以从存储器510中 调用并运行计算机程序,以实现本申请实施例中的发光单元与摄像头的标定 方法。
例如,该处理器520可用于根据该计算机程序中的指令执行上述视频录 制方法实施例。
在本申请的一些实施例中,该处理器520可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集 成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门 或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器510包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读 存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM, PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除 可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器 可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速 缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随 机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM, DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍 数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,ESDRAM)、 同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序可以被分割成一个或多个模块, 该一个或者多个模块被存储在该存储器510中,并由该处理器520执行,以 完成本申请提供的视频录制方法。该一个或多个模块可以是能够完成特定功 能的一系列计算机程序指令段,该指令段用于描述该计算机程序在该电子设 备中的执行过程。
如图8所示,该电子设备还可包括:
收发器530,该收发器530可连接至该处理器520或存储器510。
其中,处理器520可以控制该收发器530与其他设备进行通信,具体地, 可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发 器530可以包括发射机和接收机。收发器530还可以进一步包括天线,天线 的数量可以为一个或多个。
应当理解,该电子设备中的各个组件通过总线系统相连,其中,总线系 统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算 机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含程序指令的计算机程序产品,当所述程序 指令在电子设备上运行时,使得所述电子设备执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。 该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计 算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该 计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。 该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存 储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个 网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数 字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等) 方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可 读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可 用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介 质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc, DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各 示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结 合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和 方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示 意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以 有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系 统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的 耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或 通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模 块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能 模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以 两个或两个以上模块集成在一个模块中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限 于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易 想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护 范围应以该权利要求的保护范围为准。

Claims (11)

1.一种发光单元与摄像头的标定方法,其特征在于,包括:
获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集的第二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和所述外置发光单元在平面镜中的虚像;
根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述平面镜的平面方程;
获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的第四图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单元在所述平面镜中的虚像;
根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标;
根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,对所述内置发光单元与所述第一摄像头和/或所述第二摄像头进行标定。
2.根据权利要求1所述的方法,其特征在于,根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述平面镜的平面方程,包括:
根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述外置发光单元的实像坐标和虚像坐标;
根据所述外置发光单元的实像坐标和虚像坐标,确定所述平面镜的平面方程。
3.根据权利要求2所述的方法,其特征在于,根据所述外置发光单元的实像坐标和虚像坐标,确定所述平面镜的平面方程,包括:
确定所述外置发光单元的实像坐标和虚像坐标之间的中点坐标和方向向量;
根据所述中点坐标和所述方向向量,确定所述平面镜的平面方程。
4.根据权利要求1所述的方法,其特征在于,对所述内置发光单元,与所述第一摄像头和/或所述第二摄像头进行标定,包括:
根据所述平面镜的平面方程和所述内置发光单元的虚像坐标,确定所述内置发光单元与所述第一摄像头之间的第一标定参数,和/或所述内置发光单元与所述第二摄像头之间的第二标定参数;
根据所述第一标定参数,对所述内置发光单元与所述第一摄像头进行标定;
和/或,根据所述第二标定参数,对所述内置发光单元与所述第二摄像头进行标定。
5.根据权利要求4所述的方法,其特征在于,确定内置发光单元与摄像头之间的标定参数,包括:
确定所述内置发光单元的虚像坐标,关于所述平面镜的平面方程的对称点;
将所述对称点的坐标,确定为内置发光单元与摄像头之间的标定参数。
6.根据权利要求4所述的方法,其特征在于,标定参数为外参数。
7.一种发光单元与摄像头的标定装置,其特征在于,包括:
图像获取模块,用于获取头戴设备中第一摄像头采集的第一图像和/或第二摄像头采集的第二图像,所述第一图像和/或所述第二图像包括外置发光单元的实像,和所述外置发光单元在平面镜中的虚像;
方程确定模块,用于根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第一图像和/或所述第二图像,确定所述平面镜的平面方程;
图像获取模块,还用于获取所述第一摄像头采集的第三图像和/或所述第二摄像头采集的第四图像,所述第三图像和/或所述第四图像包括所述头戴设备中内置发光单元在所述平面镜中的虚像;
坐标确定模块,用于根据所述第一摄像头的内外参数、所述第二摄像头的内外参数、所述第三图像和/或所述第四图像,确定所述内置发光单元的虚像坐标;
标定模块,用于根据所述平面镜的平面方程,和所述内置发光单元的虚像坐标,对所述内置发光单元与所述第一摄像头和/或所述第二摄像头进行标定。
8.一种电子设备,其特征在于,包括:
处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如权利要求1至6中任一项所述的发光单元与摄像头的标定方法。
9.一种发光单元与摄像头的标定系统,其特征在于,包括:外置发光单元、平面镜、第一固定装置、第二固定装置、头戴设备以及如权利要求8所述的电子设备;
所述第一固定装置用于固定所述外置发光单元;
所述第二固定装置用于固定所述平面镜;
所述头戴设备至少包括内置发光单元、第一摄像头和第二摄像头;
所述电子设备用于执行如上述1至6中任一项所述的发光单元与摄像头的标定方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至6中任一项所述的发光单元与摄像头的标定方法。
11.一种包含程序指令的计算机程序产品,其特征在于,当所述程序指令在电子设备上运行时,使得所述电子设备执行如权利要求1至6中任一项所述的发光单元与摄像头的标定方法。
CN202210753020.0A 2022-06-28 2022-06-28 发光单元与摄像头的标定方法、装置、设备和系统 Pending CN117351090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210753020.0A CN117351090A (zh) 2022-06-28 2022-06-28 发光单元与摄像头的标定方法、装置、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210753020.0A CN117351090A (zh) 2022-06-28 2022-06-28 发光单元与摄像头的标定方法、装置、设备和系统

Publications (1)

Publication Number Publication Date
CN117351090A true CN117351090A (zh) 2024-01-05

Family

ID=89365575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210753020.0A Pending CN117351090A (zh) 2022-06-28 2022-06-28 发光单元与摄像头的标定方法、装置、设备和系统

Country Status (1)

Country Link
CN (1) CN117351090A (zh)

Similar Documents

Publication Publication Date Title
RU2670784C2 (ru) Ориентация и визуализация виртуального объекта
US10984595B2 (en) Method and apparatus for providing guidance in a virtual environment
US9235051B2 (en) Multi-space connected virtual data objects
CN115803788A (zh) 用于大规模环境的交叉现实系统
CN115461787A (zh) 具有快速定位的交叉现实系统
KR20170095834A (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
JP2023515796A (ja) Wifi/gpsベースのマップマージを伴うクロスリアリティシステム
CN115512534B (zh) 远程设备的发现和连接
WO2018113759A1 (zh) 基于定位系统和ar/mr的探测系统及探测方法
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN117351090A (zh) 发光单元与摄像头的标定方法、装置、设备和系统
CN118251643A (zh) 用于锚定增强现实对象的电子设备和方法
US20240161390A1 (en) Method, apparatus, electronic device and storage medium for control based on extended reality
CN117666852A (zh) 虚拟现实空间中的目标对象确定方法、装置、设备及介质
CN117740025A (zh) 定位装置的定位精度确定方法、装置、设备及介质
US20240078734A1 (en) Information interaction method and apparatus, electronic device and storage medium
US20230410414A1 (en) Method and system for video transformation for video see-through augmented reality
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN117979414A (zh) 寻找物品的方法、装置、电子设备和存储介质
CN117812452A (zh) 眼部图像获取方法、装置、设备及介质
CN117197223A (zh) 空间标定方法、装置、设备、介质和程序
CN117689826A (zh) 三维模型构建和渲染方法、装置、设备以及介质
CN117742555A (zh) 控件交互方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination