CN114723826A - 参数标定方法、装置、存储介质及显示设备 - Google Patents

参数标定方法、装置、存储介质及显示设备 Download PDF

Info

Publication number
CN114723826A
CN114723826A CN202210432140.0A CN202210432140A CN114723826A CN 114723826 A CN114723826 A CN 114723826A CN 202210432140 A CN202210432140 A CN 202210432140A CN 114723826 A CN114723826 A CN 114723826A
Authority
CN
China
Prior art keywords
point
coordinate
calibration
display device
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210432140.0A
Other languages
English (en)
Inventor
王薪宇
徐乃江
尚晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210432140.0A priority Critical patent/CN114723826A/zh
Publication of CN114723826A publication Critical patent/CN114723826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种参数标定方法、装置、存储介质及显示设备,其中,本申请实施例根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点,在显示设备绘制对应第一投影点的第一绘制点,获取使得第一绘制点与第一特征点对齐的设备位移数据,根据设备位移数据对原始标定参数进行校准,得到目标标定参数。本申请通过获取使得第一绘制点与第一特征点对齐的设备位移数据对原始标定参数进行校准,得到目标标定参数,使得该显示设备在进行增强现实处理时,能通过目标标定参数更准确地将虚拟物体叠加在目标位置上,可以提高该显示设备进行增强现实处理的准确性。

Description

参数标定方法、装置、存储介质及显示设备
技术领域
本申请涉及电子技术领域,具体涉及一种参数标定方法、装置、存储介质及显示设备。
背景技术
在基于光学透射式显示设备进行增强现实处理时,由于不同用户的视点不同,导致光学透射式显示设备在使用时,无法准确地将虚拟物体准确地叠加在目标叠加位置上。
发明内容
本申请实施例提供一种参数标定方法、装置、存储介质及显示设备,能够在基于光学透射式显示设备进行增强现实处理时,准确地将虚拟物体准确地叠加在目标叠加位置上。
第一方面,本申请实施例提供一种参数标定方法,应用于显示设备,包括:
根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
第二方面,本申请实施例还提供一种参数标定装置,应用于显示设备,包括:
确定模块,用于根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
绘制模块,用于在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取模块,用于获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
校准模块,用于根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
第三方面,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在处理器上运行时,使得所述计算机执行如本申请任一实施例提供的参数标定方法。
第四方面,本申请实施例还提供一种显示设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的参数标定方法。
本申请实施例提供的技术方案,根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点,在显示设备绘制对应第一投影点的第一绘制点,获取使得第一绘制点与第一特征点对齐的设备位移数据,根据设备位移数据对原始标定参数进行校准,得到目标标定参数。本申请通过获取使得第一绘制点与第一特征点对齐的设备位移数据对原始标定参数进行校准,得到目标标定参数,使得该显示设备在进行增强现实处理时,能通过目标标定参数更准确地将虚拟物体叠加在目标位置上,可以提高该显示设备进行增强现实处理的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的参数标定方法的第一种流程示意图。
图2为本申请实施例提供的参数标定方法的第二种流程示意图。
图3为本申请实施例提供的参数标定方法的第一种应用场景示意图。
图4为本申请实施例提供的参数标定方法的第二种应用场景示意图。
图5为本申请实施例提供的参数标定装置的结构示意图。
图6为本申请实施例提供的显示设备的第一种结构示意图。
图7为本申请实施例提供的显示设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种参数标定方法,该参数标定方法的执行主体可以是本申请实施例提供的参数标定装置,或者集成了该参数标定装置的显示设备,其中该参数标定装置可以采用硬件或者软件的方式实现。其中,该显示设备可以是透射式显示设备。
透射式显示设备可包括透射式头戴显示设备,可以让人佩戴在头部,无需双手操作就可以方便使用,如AR眼镜和AR头盔等,其基本结构由三个主要组件组成:图像发生器(即生成虚拟图像的微显示器)、将虚拟和真实内容合并在一起的光学组合器,以及在舒适的视距下放大和准直虚拟图像的成像光学元件。透射式头戴显示设备的基本结构使其形成了一个半透半反的光学系统,它一方面像普通眼镜一样可以透过外部的环境光,使佩戴透射式头戴显示设备的用户可以看到眼前的真实世界,另一方面可以反射来自微型显示器的图像,叠加到人的视野中,即佩戴透射式头戴显示设备的用户不仅可以看到虚拟的图像,而且可以透过屏幕看到显示的世界。这样,利用透视式头戴显示设备,就可以实现虚拟信息与真实环境的融合。
请参阅图1,图1为本申请实施例提供的参数标定方法的第一种流程示意图。本申请实施例提供的参数标定方法的具体流程可以如下:
101、根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点。
其中,该标定板指的是具有固定间距图案的阵列平板,例如,该标定板可以是具有棋盘格图案的棋盘格标定板。
其中,标定板中的特征点可以是棋盘格标定板中,棋盘格图案上的内角点。
本实施例中,在开始进行参数标定之前,需要做的准备工作是:观察者需佩戴该显示设备,且在该显示设备正对视野范围内,如2米内设置第一标定板,观察者的眼睛透过该显示设备的显示器注视该第一标定板。
在准备工作完毕之后,该显示设备通过其带有的跟踪相机抓取空间中第一标定板中的第一特征点,并通过原始标定参数投影到该显示设备的显示器上,以确定对应该第一特征点的第一投影点。
102、在显示设备绘制对应第一投影点的第一绘制点。
需要说明的是,投影点是虚拟的点,绘制点用于展示投影点。
本实施例中,可以通过在显示设备的显示器上绘制该第一投影点对应的第一绘制点,使得观察者可以在空间中观察到该第一投影点。
103、获取使得第一绘制点与第一特征点对齐的设备位移数据。
其中,设备位移数据可以理解为,在显示设备绘制的第一绘制点和第一标定板上的第一特征点无法对齐的情况下,观察者通过调整自己的头部位置,如前进后退,转动头部,使得第一绘制点和第一特征点对齐的位移数据。
本实施例中,可以通过测量第一绘制点和第一特征点坐标之间的差异值,将该差异值作为该设备位移数据。
其中,在获取第一绘制点和第一特征点之间的差异值时,可以将第一绘制点和第一特征点的坐标变换至同一坐标系下,比如,转换至相机坐标系下。
104、根据设备位移数据对原始标定参数进行校准,得到目标标定参数。
本实施例中,可以根据设备位移数据建立损失函数对原始标定参数进行校准,得到优化后的目标标定参数。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的参数标定方法,根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点,在显示设备绘制对应第一投影点的第一绘制点,获取使得第一绘制点与第一特征点对齐的设备位移数据,根据设备位移数据对原始标定参数进行校准,得到目标标定参数。本申请通过获取使得第一绘制点与第一特征点对齐的设备位移数据对原始标定参数进行校准,得到目标标定参数,使得该显示设备在进行增强现实处理时,能通过目标标定参数更准确地将虚拟物体叠加在目标位置上,可以提高该显示设备进行增强现实处理的准确性。
根据前面实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图2,图2为本申请实施例提供的参数标定方法的第二流程示意图。所述方法包括:
201、根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点。
比如,在本实施例中,请参考图3,该第一标定版可以设置为棋盘格标定板,观察者需佩戴该显示设备,眼睛透过该显示设备的显示器注视该棋盘格标定板,该显示设备通过其带有的跟踪相机抓取空间中棋盘格标定板中的内角点作为第一特征点,并通过原始标定参数投影到该显示设备的显示器上,以确定对应该第一特征点的第一投影点。
202、在显示设备绘制对应第一投影点的第一绘制点。
本实施例中,可以通过在显示设备的显示器上绘制该第一投影点对应的第一绘制点,使得观察者可以在空间中观察到该第一投影点。
比如,同样参考图3,以下结合图3示意出的场景示意图对本申请方案进行具体阐述,为使阐述的更加清楚,现对后续需要用到的符号进行约定,并对相关参数进行说明,如下:
约定空间坐标用大写字母表示,如世界坐标系W。标量用小写字母表示,如焦距f,二维/三维点/矢量用小写黑体字母表示,上标表示参考坐标系,例如,世界坐标系中的三维点vW。矩阵用大写粗体字母表示,例如从坐标系A到B的刚性变换
Figure BDA0003611197760000051
针孔相机的内参矩阵K。4×4的变换矩阵表达为一个3×3的旋转矩阵和一个3×1的平移矩阵,例如参考系A和B中两个对应点之间的刚性变换为(均以齐次坐标表示):
Figure BDA0003611197760000052
进一步地,显示设备在抓取空间中棋盘格标定板中的第一特征点时,可以以棋盘格标定板左上内角点为世界坐标系的原点,跟踪相机实时抓取棋盘格内角点(也即第一标定板上的第一特征点),通过求解PnP(pespective-n-point,多点透视成像)问题将世界坐标系的内角点变换到跟踪相机坐标系下,再通过原始标定参数投影到光学透明头戴显示器的显示器上,然后根据这些内角点在显示器上实时绘制棋盘格,这样观察者就会在空间中观察到一个虚拟的棋盘格标定板,整个过程表达如下:
Figure BDA0003611197760000061
式中,vW为世界坐标系的棋盘格内角点(也即第一标定板上的第一特征点),iE为显示器平面上的第一绘制点,
Figure BDA0003611197760000062
为跟踪相机的位姿,K,
Figure BDA0003611197760000063
为原始标定参数。
需要说明的是,观察者观察到的虚拟的棋盘格标定板即为第一投影点构成。
203、获取使得第一绘制点与第一特征点对齐的设备位移数据。
本实施例中,在获取使得第一绘制点与第一特征点对齐的设备位移数据时,可以输出调整显示设备位置的提示信息,使得第一绘制点与第一特征点对齐,获取对齐后的第一特征点基于第一目标坐标系的对齐后的第一特征坐标,获取第一绘制点基于第一目标坐标系的第一绘制坐标,获取对齐后的第一特征坐标与第一绘制坐标的第一坐标差值,将第一坐标差值作为设备位移数据。
可选地,第一目标坐标系可以为相机坐标系。
具体地,在获取设备位移数据时,比如,可以固定住显示设备的显示器上的绘制点,也即固定住显示器上绘制的棋盘格标定板,显示器上的第一投影点不再随观察者的头部位姿的变化而更新,记录显示器上绘制的第一绘制点坐标为pE,此时输出提示信息,使得观察者调整自己的头部位姿,如前进后退、转动头部等,使得虚拟的棋盘格标定板和真实的棋盘格标定板重合,也即使得第一绘制点与第一特征点对齐。当观察者的头部在某个位姿下使得虚拟的棋盘格标定板和真实的棋盘格标定板重合时,获取对齐后的第一特征点在跟踪相机坐标系下的坐标:
Figure BDA0003611197760000064
式中,
Figure BDA0003611197760000065
进一步地,根据上述第一绘制点的坐标以及对齐后的第一特征点的坐标即可获取设备位移数据。
在一种实施方式中,在获取对齐后的第一特征点基于第一目标坐标系的对齐后的第一特征坐标之前,还可以包括:输出提醒用户在第一绘制点与第一特征点对齐后保持静止预设时长的提示信息;在预设时长内,获取连续多帧内第一绘制点对应的第一投影点的第一投影坐标;若第一投影坐标满足预设条件,则获取当前第一特征点基于第一目标坐标系的坐标作为对齐后的第一特征坐标。
比如,可以输出提示信息提示观察者,在观察者的头部在某个位姿下使得虚拟的棋盘格标定板和真实的棋盘格标定板重合时,保持静止预设时长,也即需要该观察者维持该位姿预设时长。具体判定标准可以为:设σ为阈值,第k帧显示器平面上的第一投影点的坐标记为
Figure BDA0003611197760000071
若满足预设条件:
Figure BDA0003611197760000072
Figure BDA0003611197760000073
Figure BDA0003611197760000074
即获取连续3帧内获取到的投影点坐标的变化都未超过阈值,则认为用户的此时位姿变化较小,可以视为保持静止,在此时获取第一特征点在跟踪相机坐标系下的坐标vS,作为对齐后的第一特征坐标。
204、根据设备位移数据对原始标定参数进行校准,得到目标标定参数。
比如,本实施例中,在根据设备位移数据对原始标定参数进行校准,得到目标标定参数时,可以根据设备位移数据建立损失函数,根据损失函数对原始标定参数进行校准,得到目标标定参数。
具体地,观察者可以向前或向后移动一定距离,使得虚拟的棋盘格标定板和真实的棋盘格标定板对齐2次,也即使得第一绘制点和第一特征点对齐2次。将2次采集到的对齐后的第一特征点在跟踪相机坐标系下的坐标vS通过显示设备的原始标定参数投影到显示器上,构建优化使其和第一绘制点坐标pE的投影误差最小。构建的损失函数可以如下:
Figure BDA0003611197760000075
其中,
Figure BDA0003611197760000076
均为标定参数。
fu和fv为焦距,cu和cv为主点,n为采样点的数量。以K和
Figure BDA0003611197760000077
为变量,固定其他参数,采用高斯牛顿等优化方法进行优化,以优化后的结果更新显示设备的原始标定参数,从而得到目标标定参数。
205、根据显示设备的目标标定参数,确定第二标定板中的第二特征点在显示设备的第二投影点。
本实施例中,在获取到该显示设备的目标标定参数之后,可以基于优化后的标定参数,对该显示设备的虚实注册误差进行测量,可以提高测得的虚实注册误差的精度。
其中,本申请中虚实注册误差指的是,笛卡尔坐标系中,真实点和虚拟点的欧式距离,可分解为X轴、Y轴、以及Z轴三个方向上的误差。
在对该显示设备的虚实注册误差进行测量时,同样需要观察者佩戴该显示设备,并在该显示设备正对视野范围内设置第二标定板,观察者眼睛透过该显示设备的显示器注视该第二标定板,该显示设备通过其带有的跟踪相机抓取空间中第二标定板中的第二特征点,并通过该目标标定参数投影到该显示设备的显示器上,以确定对应该第二特征点的第二投影点。
其中,请参考图4,该第二标定板可以是棋盘格标定板,第二特征点可以是棋盘格标定板中的内角点。
206、获取第二特征点基于第二目标坐标系的第二特征坐标,以及第二投影点基于第二目标坐标系的第二投影坐标。
本实施例中,第二目标坐标系可以为相机坐标系,可以通过显示设备获取相机坐标系下第二特征点的第二特征坐标以及第二投影点的第二投影坐标。
207、根据第二特征坐标和第二投影坐标,获取显示设备的虚实注册误差。
本实施例中,可以根据第二特征坐标和第二投影坐标之间的欧式距离偏差,获取显示设备的虚实注册误差。
具体地,本实施例中将X轴、Y轴误差和Z轴误差分开测量,可以提高获取到的虚实注册误差的准确性以及测量的便捷性。
在一种实施方式中,在根据第二特征坐标和第二投影坐标,获取显示设备在X轴、Y轴方向上的虚实注册误差时,可以包括:输出保持第二标定板与显示设备的距离不变的提示信息,在第二标定板与显示设备的距离保持不变的情况下,获取第二特征坐标和第二投影坐标的第二坐标差值,根据第二坐标差值,获取显示设备的虚实注册误差。
比如,请参考图4,在测量X轴、Y轴方向的虚实注册误差时,输出提示信息,以使第二标定板与显示设备距离不变,在固定距离下,该显示设备可以以棋盘格标定板左上内角点作为世界坐标系W的原点,跟踪相机实时抓取棋盘格内角点(也即第二标定板上的第二特征点),通过求解PnP问题将世界坐标系的内角点变换到跟踪相机坐标系S下,再通过目标标定参数投影到光学透明头戴显示器的显示器上并实时加以渲染,然后根据这些内角点在显示器上实时绘制棋盘格,这样观察者就会在空间中观察到一个虚拟的棋盘格标定板,整个过程表达如下:
Figure BDA0003611197760000091
式中,vW为世界坐标系的棋盘格内角点,iE为显示器平面上的绘制点,
Figure BDA0003611197760000092
为跟踪相机的位姿,K,
Figure BDA0003611197760000093
为目标标定参数。需要说明的是,显示设备经过参数标定处理之后,其标定参数的值由原始标定参数的值更新为目标标定参数的值,但是标定参数对应的符号未改变。此外,可以理解的是,观察者观察到的虚拟的棋盘格标定板即为第二投影点构成。
进一步地,可以测量第二投影点和第二特征点坐标之间的欧式距离偏差,将X轴方向上的欧式距离偏差作为X轴方向上的虚实注册误差,将Y轴方向上的欧式距离偏差作为Y轴方向上的虚实注册误差。
其中,在测量第二投影点和第二特征点坐标之间的欧式距离偏差时,可以由观察者告知辅助测量者每个第二投影点的位置,由辅助测量者用刻度尺测量。
在一种实施方式中,在测量X轴、Y轴方向上的虚实注册误差的时,可以在第二标定板上设计一个真实的特殊标识点,配备驱动硬件和自动化控制程序,使得观察者能通过简单的控制按键控制标识点在第二标定板的平面上二维移动,与第二投影点对齐。这样,就可以通过跟踪相机抓取识别标识点,并求出标识点在第二标定板平面上的位置,得到第二投影点和第二特征点之间的欧式距离偏差,进而得到显示设备在X轴、Y轴方向上的虚实注册误差,无需辅助测量者配合测量。
在一种实施方式中,在根据第二特征坐标和第二投影坐标,获取显示设备在Z轴方向上的虚实注册误差时,可以包括:输出调整第二标定板与显示设备的距离的提示信息,使得第二特征点与第二投影点对齐,获取对齐后第二特征点的对齐后的第二特征坐标,确定对齐后的第二特征坐标与第二投影坐标的第二特征坐标差值,根据第二特征坐标差值,获取显示设备的虚实注册误差。
具体地,比如,在测量Z轴方向的虚实注册误差时,可以输出提示信息,以调整棋盘格标定板与显示设备的距离,例如,在2米、3米、4米……内设置棋盘格标定板。其中,在调整棋盘格标定板与显示设备之间的距离时,可以通过辅助测量者对棋盘格标定板进行移动。同样,显示设备根据原始标定参数在显示器上绘制虚拟的棋盘格标定板,并设定虚拟的棋盘格标定板在深度方向(也即Z轴方向)的设定距离,例如可以将设定距离设置为1米。通过前后移动(也即在深度上移动)真实的棋盘格标定板的距离,使得观察者观察到的虚拟的棋盘格标定板与真实的棋盘格标定板在深度上对齐,然后测量此时真实的棋盘格标定板与显示设备的真实距离,真实距离和设定距离的偏差即为Z方向的虚实注册误差。为了使得虚实注册误差测量更加准确,可以改变虚拟的棋盘格的设定距离,重复上述操作,取多组真实距离和设定距离的偏差值进行分析,得到更精确的Z方向上的虚实注册误差。
在一种实施方式中,在测量Z轴方向的虚实注册误差时,可以将第二标定板安装到带导轨的机械臂上,使得观察者能手动控制机械臂在导轨上前后移动并获取移动距离,然后与观察到的虚拟的第二标定版对齐,进而得到显示设备在Z轴方向上的虚实注册误差,而无需辅助测量者的配合。
由上可知,本申请实施例提出的参数标定方法,可以根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点,在显示设备绘制对应第一投影点的第一绘制点,获取使得第一绘制点与第一特征点对齐的设备位移数据,根据设备位移数据对原始标定参数进行校准,得到目标标定参数,并根据显示设备的目标标定参数,确定第二标定板中的第二特征点在显示设备的第二投影点,获取第二特征点基于第二目标坐标系的第二特征坐标,以及第二投影点基于第二目标坐标系的第二投影坐标,根据第二特征坐标和第二投影坐标,获取显示设备的虚实注册误差。本申请在对显示器的原始标定参数进行校准之后,得到目标标定参数,再根据目标标定参数获取该显示器的虚实注册误差,使得获取的虚实注册误差更加准确。
在一实施例中还提供一种参数标定装置。请参阅图5,图5为本申请实施例提供的参数标定装置300的结构示意图。其中该参数标定装置300应用于显示设备,该参数标定装置300包括确定模块301、绘制模块302、获取模块303以及校准模块304,如下:
确定模块301,用于根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
绘制模块302,用于在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取模块303,用于获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
校准模块304,用于根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
在一种实施方式中,校准模块304,可以用于:根据所述设备位移数据建立损失函数;根据所述损失函数对所述原始标定参数进行校准,得到所述目标标定参数。
在一种实施方式中,获取模块303,可以用于:输出调整所述显示设备位置的提示信息,使得所述第一绘制点与所述第一特征点对齐;获取对齐后的所述第一特征点基于第一目标坐标系的对齐后的第一特征坐标;获取所述第一绘制点基于所述第一目标坐标系的第一绘制坐标;获取所述对齐后的第一特征坐标与所述第一绘制坐标的第一坐标差值;将所述第一坐标差值作为所述设备位移数据。
在一种实施方式中,校准模块304,可以用于:输出提醒用户在所述第一绘制点与所述第一特征点对齐后保持静止预设时长的提示信息;在所述预设时长内,获取连续多帧内所述第一绘制点对应的所述第一投影点的第一投影坐标;若所述第一投影坐标满足预设条件,则获取当前所述第一特征点基于第一目标坐标系的坐标作为所述对齐后的第一特征坐标。
在一种实施方式中,获取模块303,还可以用于:根据所述显示设备的所述目标标定参数,确定第二标定板中的第二特征点在所述显示设备的第二投影点;获取所述第二特征点基于第二目标坐标系的第二特征坐标,以及所述第二投影点基于所述第二目标坐标系的第二投影坐标;根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差。
在一种实施方式中,校准模块304,还可以用于:输出保持所述第二标定板与所述显示设备的距离不变的提示信息;在所述第二标定板与所述显示设备的距离保持不变的情况下,获取所述第二特征坐标和所述第二投影坐标的第二坐标差值;根据所述第二坐标差值,获取所述显示设备的所述虚实注册误差。
在一种实施方式中,校准模块304,还可以用于:输出调整所述第二标定板与所述显示设备的距离的提示信息,使得所述第二特征点与所述第二投影点对齐;获取对齐后所述第二特征点的对齐后的第二特征坐标;确定所述对齐后的第二特征坐标与所述第二投影坐标的第二特征坐标差值;根据所述第二特征坐标差值,获取所述显示设备的所述虚实注册误差。
应当说明的是,本申请实施例提供的参数标定装置与上文实施例中的参数标定方法属于同一构思,通过该参数标定装置可以实现参数标定方法实施例中提供的任一方法,其具体实现过程详见参数标定方法实施例,此处不再赘述。
由上可知,本申请实施例提供的参数标定装置300,通过确定模块301根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点;通过绘制模块302在显示设备绘制对应第一投影点的第一绘制点,通过获取模块303获取使得第一绘制点与第一特征点对齐的设备位移数据;通过校准模块304根据设备位移数据对原始标定参数进行校准,得到目标标定参数,可以提高显示设备所使用的标定参数的准确性,使得该显示设备进行增强现实处理的准确性也更高。
本申请实施例还提供一种显示设备。其中,该显示设备可以是透射式显示设备。请参阅图6,图6为本申请实施例提供的显示设备的第一种结构示意图。显示设备400包括处理器401和存储器402。其中,处理器401与存储器402电性连接。
处理器401是显示设备400的控制中心,利用各种接口和线路连接整个显示设备的各个部分,通过运行或调用存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行显示设备的各种功能和处理数据,从而对显示设备进行整体监控。
存储器402可用于存储计算机程序和数据。存储器402存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器401通过调用存储在存储器402的计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,显示设备400中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能:
根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
在一种实施方式中,请参阅图7,图7为本申请实施例提供的显示设备的第二种结构示意图。显示设备400还包括:射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409。其中,处理器401分别与射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
射频电路403用于收发射频信号,以通过无线通信与网络设备或其他显示设备进行通信。
显示屏404可用于显示由用户输入的信息或提供给用户的信息以及显示设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路405与显示屏404电性连接,用于控制显示屏404显示信息。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与显示设备之间的音频接口。其中,音频电路407包括麦克风。所述麦克风与所述处理器401电性连接。所述麦克风用于接收用户输入的语音信息。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源409用于给显示设备400的各个部件供电。在一种实施方式中,电源409可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
虽然图中未示出,显示设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,显示设备400中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能:
根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
在一种实施方式中,处理器401在执行根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数时,可以执行:根据所述设备位移数据建立损失函数;根据所述损失函数对所述原始标定参数进行校准,得到所述目标标定参数。
在一种实施方式中,处理器401在执行获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据时,可以执行:输出调整所述显示设备位置的提示信息,使得所述第一绘制点与所述第一特征点对齐;获取对齐后的所述第一特征点基于第一目标坐标系的对齐后的第一特征坐标;获取所述第一绘制点基于所述第一目标坐标系的第一绘制坐标;获取所述对齐后的第一特征坐标与所述第一绘制坐标的第一坐标差值;将所述第一坐标差值作为所述设备位移数据。
在一种实施方式中,处理器401在执行获取对齐后的所述第一特征点基于第一目标坐标系的对齐后的第一特征坐标之前,还可以执行:输出提醒用户在所述第一绘制点与所述第一特征点对齐后保持静止预设时长的提示信息;在所述预设时长内,获取连续多帧内所述第一绘制点对应的所述第一投影点的第一投影坐标;若所述第一投影坐标满足预设条件,则获取当前所述第一特征点基于第一目标坐标系的坐标作为所述对齐后的第一特征坐标。
在一种实施方式中,处理器401在执行根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数之后,还可以执行:根据所述显示设备的所述目标标定参数,确定第二标定板中的第二特征点在所述显示设备的第二投影点;获取所述第二特征点基于第二目标坐标系的第二特征坐标,以及所述第二投影点基于所述第二目标坐标系的第二投影坐标;根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差。
在一种实施方式中,处理器401在执行根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差时,可以执行:输出保持所述第二标定板与所述显示设备的距离不变的提示信息;在所述第二标定板与所述显示设备的距离保持不变的情况下,获取所述第二特征坐标和所述第二投影坐标的第二坐标差值;根据所述第二坐标差值,获取所述显示设备的所述虚实注册误差。
在一种实施方式中,处理器401在执行根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差时,可以执行:输出调整所述第二标定板与所述显示设备的距离的提示信息,使得所述第二特征点与所述第二投影点对齐;获取对齐后所述第二特征点的对齐后的第二特征坐标;确定所述对齐后的第二特征坐标与所述第二投影坐标的第二特征坐标差值;根据所述第二特征坐标差值,获取所述显示设备的所述虚实注册误差。
由上可知,本申请实施例提供了一种显示设备,所述显示设备根据显示设备的原始标定参数,确定第一标定板中的第一特征点在显示设备的第一投影点,在显示设备绘制对应第一投影点的第一绘制点,获取使得第一绘制点与第一特征点对齐的设备位移数据,根据设备位移数据对原始标定参数进行校准,得到目标标定参数。本申请通过获取使得第一绘制点与第一特征点对齐的设备位移数据对原始标定参数进行校准,得到目标标定参数,使得该显示设备在进行增强现实处理时,能通过目标标定参数更准确地将虚拟物体叠加在目标位置上,可以提高该显示设备进行增强现实处理的准确性。
本申请实施例还提供一种计算机可读存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,所述计算机执行上述任一实施例所述的参数标定方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可以存储于计算机可读存储介质中,所述存储介质可以包括但不限于:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的参数标定方法、装置、存储介质及显示设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种参数标定方法,应用于显示设备,其特征在于,包括:
根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
2.如权利要求1所述的参数标定方法,其特征在于,所述根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数,包括:
根据所述设备位移数据建立损失函数;
根据所述损失函数对所述原始标定参数进行校准,得到所述目标标定参数。
3.如权利要求1所述的参数标定方法,其特征在于,所述获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据,包括:
输出调整所述显示设备位置的提示信息,使得所述第一绘制点与所述第一特征点对齐;
获取对齐后的所述第一特征点基于第一目标坐标系的对齐后的第一特征坐标;
获取所述第一绘制点基于所述第一目标坐标系的第一绘制坐标;
获取所述对齐后的第一特征坐标与所述第一绘制坐标的第一坐标差值;
将所述第一坐标差值作为所述设备位移数据。
4.如权利要求1所述的参数标定方法,其特征在于,在获取对齐后的所述第一特征点基于第一目标坐标系的对齐后的第一特征坐标之前,还包括:
输出提醒用户在所述第一绘制点与所述第一特征点对齐后保持静止预设时长的提示信息;
在所述预设时长内,获取连续多帧内所述第一绘制点对应的所述第一投影点的第一投影坐标;
若所述第一投影坐标满足预设条件,则获取当前所述第一特征点基于第一目标坐标系的坐标作为所述对齐后的第一特征坐标。
5.如权利要求1所述的参数标定方法,其特征在于,在根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数之后,还包括:
根据所述显示设备的所述目标标定参数,确定第二标定板中的第二特征点在所述显示设备的第二投影点;
获取所述第二特征点基于第二目标坐标系的第二特征坐标,以及所述第二投影点基于所述第二目标坐标系的第二投影坐标;
根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差。
6.如权利要求5所述的参数标定方法,其特征在于,所述根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差,包括:
输出保持所述第二标定板与所述显示设备的距离不变的提示信息;
在所述第二标定板与所述显示设备的距离保持不变的情况下,获取所述第二特征坐标和所述第二投影坐标的第二坐标差值;
根据所述第二坐标差值,获取所述显示设备的所述虚实注册误差。
7.如权利要求5所述的参数标定方法,其特征在于,所述根据所述第二特征坐标和所述第二投影坐标,获取所述显示设备的虚实注册误差,包括:
输出调整所述第二标定板与所述显示设备的距离的提示信息,使得所述第二特征点与所述第二投影点对齐;
获取对齐后所述第二特征点的对齐后的第二特征坐标;
确定所述对齐后的第二特征坐标与所述第二投影坐标的第二特征坐标差值;
根据所述第二特征坐标差值,获取所述显示设备的所述虚实注册误差。
8.一种参数标定装置,应用于显示设备,其特征在于,包括:
确定模块,用于根据所述显示设备的原始标定参数,确定第一标定板中的第一特征点在所述显示设备的第一投影点;
绘制模块,用于在所述显示设备绘制对应所述第一投影点的第一绘制点;
获取模块,用于获取使得所述第一绘制点与所述第一特征点对齐的设备位移数据;
校准模块,用于根据所述设备位移数据对所述原始标定参数进行校准,得到目标标定参数。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在处理器上运行时,使得所述计算机执行如权利要求1至7任一项所述的参数标定方法。
10.一种显示设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的参数标定方法。
CN202210432140.0A 2022-04-22 2022-04-22 参数标定方法、装置、存储介质及显示设备 Pending CN114723826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210432140.0A CN114723826A (zh) 2022-04-22 2022-04-22 参数标定方法、装置、存储介质及显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210432140.0A CN114723826A (zh) 2022-04-22 2022-04-22 参数标定方法、装置、存储介质及显示设备

Publications (1)

Publication Number Publication Date
CN114723826A true CN114723826A (zh) 2022-07-08

Family

ID=82245914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210432140.0A Pending CN114723826A (zh) 2022-04-22 2022-04-22 参数标定方法、装置、存储介质及显示设备

Country Status (1)

Country Link
CN (1) CN114723826A (zh)

Similar Documents

Publication Publication Date Title
US11087728B1 (en) Computer vision and mapping for audio applications
US9401050B2 (en) Recalibration of a flexible mixed reality device
Grubert et al. A survey of calibration methods for optical see-through head-mounted displays
US9846968B2 (en) Holographic bird's eye view camera
WO2022005693A1 (en) Augmented reality experiences using speech and text captions
EP1306809A2 (en) Mixed reality imaging
US20230037922A1 (en) Image display method and apparatus, computer device, and storage medium
US20220398767A1 (en) Pose determining method and apparatus, electronic device, and storage medium
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
CN115956259A (zh) 生成用于虚拟现实体验的基础真实数据集
US10248191B2 (en) Virtual rigid framework for sensor subsystem
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
EP4172740A1 (en) Augmented reality eyewear with speech bubbles and translation
CN113129451B (zh) 基于双目视觉定位的全息三维影像空间定量投影方法
US20200184678A1 (en) Methods and systems for training an object detection algorithm using synthetic images
EP4172682A1 (en) Eyewear including multi-user, shared interactive experiences
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN109688400A (zh) 电子设备和移动平台
WO2022005970A1 (en) Eyewear with shared gaze-responsive viewing
US20240159621A1 (en) Calibration method of a portable electronic device
CN114723826A (zh) 参数标定方法、装置、存储介质及显示设备
CN116205980A (zh) 一种移动空间内虚拟现实定位追踪方法及装置
US11941851B2 (en) Systems and methods for calibrating imaging and spatial orientation sensors
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
CN111583339A (zh) 获取目标位置的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination