CN110874135A - 光学畸变的校正方法、装置、终端设备及存储介质 - Google Patents

光学畸变的校正方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN110874135A
CN110874135A CN201811020965.1A CN201811020965A CN110874135A CN 110874135 A CN110874135 A CN 110874135A CN 201811020965 A CN201811020965 A CN 201811020965A CN 110874135 A CN110874135 A CN 110874135A
Authority
CN
China
Prior art keywords
image
distortion
optical
virtual
coordinate data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811020965.1A
Other languages
English (en)
Other versions
CN110874135B (zh
Inventor
黄嗣彬
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201811020965.1A priority Critical patent/CN110874135B/zh
Priority to PCT/CN2019/104240 priority patent/WO2020048461A1/zh
Priority to US16/731,094 priority patent/US11380063B2/en
Publication of CN110874135A publication Critical patent/CN110874135A/zh
Application granted granted Critical
Publication of CN110874135B publication Critical patent/CN110874135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种光学畸变的校正方法、装置、终端设备及存储介质，该方法包括：获取无畸变虚像的坐标数据；根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，所述光学畸变模型用于拟合光学镜片产生的光学畸变；将所述预畸变图像进行显示，所述预畸变图像用于投射到所述光学镜片上，并经由所述光学镜片反射到人眼，形成所述无畸变虚像。该光学畸变的校正方法可以实现无畸变显示。

Description

光学畸变的校正方法、装置、终端设备及存储介质
技术领域
本申请涉及显示技术领域，更具体地，涉及一种光学畸变的校正方法、装置、终端设备及存储介质。
背景技术
近年来，随着科技的进步，增强现实(AR，Augmented Reality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
显示设备在显示内容时，由于其光学系统中光学镜片的原因，在将传统的图像进行显示时会使显示的图像产生畸变，导致用户看到畸变的图像。
发明内容
本申请实施例提出了一种光学畸变的校正方法、装置、终端设备及存储介质，能够实现无畸变显示。
第一方面，本申请实施例提供了一种光学畸变的校正方法，应用于终端设备，所述方法包括：获取无畸变虚像的坐标数据；根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，所述光学畸变模型用于拟合光学镜片产生的光学畸变；将所述预畸变图像进行显示，所述预畸变图像用于投射到所述光学镜片上，并经由所述光学镜片反射到人眼，形成所述无畸变虚像。
第二方面，本申请实施例提供了一种光学畸变的校正装置，应用于终端设备，所述装置包括：数据获取模块、预畸变模块以及图像显示模块，其中，所述数据获取模块用于获取无畸变虚像的坐标数据；所述预畸变模块用于根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，所述光学畸变模型用于拟合光学镜片产生的光学畸变；所述图像显示模块用于将所述预畸变图像进行显示，所述预畸变图像用于投射到所述光学镜片上，并经由所述光学镜片反射到人眼，形成所述无畸变虚像。
第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的光学畸变的校正方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的光学畸变的校正方法。
本申请提供的方案，通过获取无畸变虚像的坐标数据，然后根据光学畸变模型及无畸变虚像的坐标数据，得到待显示的预畸变图像，光学畸变模型用于拟合光学镜片产生的光学畸变，最后将预畸变图像进行显示，预畸变图像用于投射到光学镜片上，并经由光学镜片反射到人眼，形成无畸变虚像，从而实现无畸变显示。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图。
图2示出了本申请实施例提供的一种场景示意图。
图3示出了本申请实施例提供的另一种场景示意图。
图4示出了本申请实施例提供的又一种场景示意图。
图5示出了根据本申请一个实施例的光学畸变的校正方法流程图。
图6示出了根据本申请另一个实施例的光学畸变的校正方法流程图。
图7示出了根据本申请实施例提供的一种使用场景的示意图。
图8示出了根据本申请实施例提供的另一种使用场景的示意图。
图9示出了根据本申请实施例的光学畸变的校正方法中步骤S240的流程图。
图10示出了根据本申请一个实施例的光学畸变的校正装置的框图。
图11是本申请实施例的用于执行根据本申请实施例的光学畸变的校正方法的终端设备的框图。
图12是本申请实施例的用于保存或者携带实现根据本申请实施例的光学畸变的校正方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例提供的光学畸变的校正方法的应用场景进行介绍。
请参见图1，示出了本申请实施例提供的光学畸变的校正方法的应用场景的示意图，该应用场景包括显示系统10。该显示系统10包括：终端设备100以及标记物200。
在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。
在本申请实施例中，当上述标记物200处于终端设备100的视野范围内时，终端设备100可采集到包含上述标记物200的图像，且可以识别采集到的标记物200的图像，得到该标记物200的位置、朝向等空间位置信息，以及标记物200的身份信息等识别结果。可以理解地，具体的标记物200在本申请实施例中并不作为限定，仅需可以被终端设备识别追踪即可。
在本申请实施例中，上述头戴显示装置可以包括第一光学镜片以及第二光学镜片。其中，第一光学镜片用于将终端设备100发出的光射向左眼的观察位置，以将左眼对应的显示内容入射至用户左眼；第二光学镜片用于将终端设备100发出的光射向右眼的观察位置，以将右眼对应的显示内容入射至用户右眼，从而实现立体显示。
在本申请实施例中，请参阅图2，可通过显示的虚拟标记物与实体标记物306对齐时，利用跟踪相机301识别到的实体标记物306在现实空间中的坐标系的坐标，以及虚拟标记物在虚拟空间中的坐标系的坐标，得到现实空间中的坐标系与该虚拟空间中的坐标系之间的转换参数。
由于光学镜片的原因会使显示的图像形成虚像后会产生畸变，因此可以对显示的图像进行预畸变后进行显示，达到畸变校正的效果。例如，如图3所示，正常无畸变的实像311在经过光学镜片的显示后形成畸变后的虚像312，可以先获取无畸变的虚像314，并对无畸变的虚像314进行预畸变，得到用于显示的预畸变图像313，然后再将预畸变图像313进行显示，预畸变图像313通过光学镜片的光学畸变作用后，可形成无畸变的虚像314。
请参阅图4，在进行虚拟内容与实体内容的对齐的立体显示时，可以通过跟踪相机301识别设置有标记物的跟踪目标，得到跟踪目标在现实空间中以跟踪相机301为原点的坐标系中的坐标，再进行坐标转换，根据上述现实空间中的坐标系与该虚拟空间中的坐标系之间的转换参数，将跟踪目标在现实空间中的坐标系中的坐标，转换为虚拟空间中以虚拟相机304为坐标原点的坐标系中的渲染坐标；根据渲染坐标生成左眼显示图像以及右眼显示图像，将左眼显示图像进行左眼预畸变，得到左眼预畸变图像，将右眼显示图像进行右眼预畸变，得到右眼预畸变图像，左眼预畸变图像以及右眼预畸变图像经过显示屏303显示后，经过光学镜片302投射到人眼，形成无畸变的左眼虚像以及无畸变的右眼虚像，经过用户大脑的融合，则可以形成立体图像。从而实现虚拟内容与实体内容的对齐显示、立体显示以及无畸变显示。
下面对本申请实施例的内容进行详细介绍。
请参阅图5，本申请实施例提供了一种光学畸变的校正方法，可应用于终端设备，该方法可以包括：
步骤S110：获取无畸变虚像的坐标数据。
头戴显示装置为了使用户有观看时的真实感，通常利用弧形镜片或者球面镜片将传统的图像投射到人眼中，这就会导致将显示内容进行显示时，会使显示的图像产生畸变。因此，如果直接将待显示的图像进行显示，则会使用户看到畸变的虚像。
在本申请实施例中，可以对待显示的图像进行预畸变后进行显示，以使用户看到无畸变的虚像。在对待显示的图像进行预畸变时，可以获取无畸变虚像的坐标数据。其中，可以将待显示的图像的坐标数据作为无畸变虚像的坐标数据。可以理解的是，待显示的图像原本为没有畸变的图像，因此，可以将待显示的图像的坐标数据作为无畸变虚像的坐标数据，以获取预畸变的图像。
步骤S120：根据光学畸变模型及无畸变虚像的坐标数据，得到待显示的预畸变图像，光学畸变模型用于拟合光学镜片产生的光学畸变。
在本申请实施例中，终端设备中可以存储有光学畸变模型。该光学畸变模型用于拟合光学镜片产生的光学畸变。可以利用光学畸变模型以及上述无畸变虚像的坐标数据，获取待显示的预畸变图像。
在本申请实施例中，还可以将光学畸变模型与光学镜片的光学参数的对应关系进行存储，即存储有不同的光学参数所对应的光学畸变模型，在读取光学畸变模型对需要显示的图像进行预畸变时，可以根据其光学镜片的光学参数读取对应的光学畸变模型。
在本申请实施例中，根据光学畸变模型以及无畸变虚像的坐标数据，得到待显示的预畸变虚像，可以包括：
利用光学畸变模型对无畸变虚像的坐标数据进行反向计算，得到与无畸变虚像的坐标数据对应的屏幕坐标数据；根据屏幕坐标数据生成待显示的预畸变图像。
在对待显示的图像进行预畸变时，可以读取上述存储的光学畸变模型进行读取，将无畸变虚像的坐标数据，代入光学畸变模型，计算出畸变虚像的坐标数据对应的屏幕坐标数据，根据屏幕坐标数据以及待显示的图像的像素点即可生成待显示的预畸变图像。其中，光学畸变模型可以为
Figure BDA0001787310470000041
其中，X为实像的横坐标，Y为实像的纵坐标，A为第一畸变参数，B为第二畸变参数，I1为拟合光学镜片的横向的径向畸变的矩阵或者拟合光学镜片的横向的桶向畸变的矩阵，I2拟合光学镜片横向的切向畸变的矩阵，I3为拟合光学镜片的纵向的径向畸变的矩阵或者拟合光学镜片的纵向的桶向畸变的矩阵，I4拟合光学镜片的纵向的切向畸变的矩阵，I1中包括虚像的横坐标，I2包括虚像的横坐标以及纵坐标，I3中包括虚像的纵坐标，I4包括虚像的横坐标以及纵坐标。
另外，在本申请实施例中，当上述根据光学畸变模型的获得的屏幕坐标数据中存在非整数值坐标时，则需要将非整数值坐标转换为整数值坐标，以便生成预畸变图像。因此，可以利用像素插值法将屏幕数据中的非整数值坐标转换为整数值坐标。具体的，可以获取距离上述整数值坐标最近的像素坐标，然后将非整数值坐标替换为获取的像素坐标。
步骤S130：将预畸变图像进行显示，预畸变图像用于投射到光学镜片上，并经由光学镜片反射到人眼，形成无畸变虚像。
在得到预畸变图像之后，则可以将预畸变图像进行显示，在将预畸变图像进行显示之后，预畸变图像投射到光学镜片上，经过光学镜片的反射后入射到人眼，从而形成无畸变虚像，使用户观看到的内容为无畸变虚像。
在本申请实施例中，可以在利用光学畸变模型对左眼显示内容以及右眼显示内容进行预畸变之前，获取上述光学畸变模型。因此，构建上述光学畸变模型的步骤，可以包括：
读取光学镜片的光学厂商数据，光学厂商数据包括实验图像的坐标数据以及实验图像对应的畸变虚像的坐标数据；将实验图像的坐标数据与畸变虚像的坐标数据进行多项式拟合，得到光学畸变模型；将光学畸变模型进行存储。
其中，上述光学厂商数据为光学镜片的厂商所提供的光学数据，即光学镜片的厂商在该光学镜片出厂前，利用实验图像对该光学镜片测试获得的光学数据，上述光学厂商数据可以包括实验图像的坐标数据以及实验图像显示后的畸变虚像的坐标数据。
例如，光学厂商数据如下表所示：
Figure BDA0001787310470000051
在本申请实施例中，在获取到光学镜片的光学厂商数据之后，还可以根据显示参数调整畸变虚像的坐标数据，其中，显示参数包括光学镜片的缩放比例、屏幕尺寸、像素尺寸以及光心位置中的至少一种。
可以理解的是，可以获取光学镜片对应的缩放比例、屏幕尺寸、像素尺寸以及光心位置，然后根据光学镜片对应的缩放比例、屏幕尺寸、像素尺寸以及光心位置中的至少一种参数对上述实验图像对应的畸变虚像的坐标数据进行调整，达到实验图像与畸变图像的各个点对应，准确度高的效果。
在本申请实施例中，将实验图像的坐标数据与畸变虚像的坐标数据进行多项式拟合，得到光学畸变模型，可以包括：
根据实验图像的坐标数据及与实验图像对应的畸变虚像的坐标数据，计算光学畸变模型的第一畸变参数和第二畸变参数，第一畸变参数为拟合光学镜片在第一方向上畸变的系数，第二畸变参数为拟合光学镜片在第二方向上畸变的系数；根据第一畸变系数和第二畸变数据构建光学畸变模型。
具体的，根据式(1)，可利用横向多项式以及纵向多项式对畸变进行拟合，得到实像的横坐标由第一畸变参数与第一多项式相乘的第一表达式：X＝A*I1*I2以及实像的纵坐标由第二畸变参数与第二多项式相乘的第一表达式：Y＝B*I2*I3，其中，X为实像的横坐标，Y为实像的纵坐标，A为第一畸变参数，B为第二畸变参数，I1为拟合光学镜片的横向的径向畸变的矩阵或者拟合光学镜片的横向的桶向畸变的矩阵，I2拟合光学镜片横向的切向畸变的矩阵，I3为拟合光学镜片的纵向的径向畸变的矩阵或者拟合光学镜片的纵向的桶向畸变的矩阵，I4拟合光学镜片的纵向的切向畸变的矩阵，I1中包括虚像的横坐标，I2包括虚像的横坐标以及纵坐标，I3中包括虚像的纵坐标，I4包括虚像的横坐标以及纵坐标。
其中，第一畸变参数为拟合光学镜片在第一方向上畸变的系数，第二畸变系数为拟合光学镜片在第二方向上畸变的系数。另外，第一方向可以为横向，第二方向可以为纵向，当然，也可以是第一方向为纵向，第二方向为横向。
第一多项式为用于拟合光学镜片的横向的径向畸变的矩阵与用于拟合光学镜片横向的切向畸变的矩阵相乘获得，或者为用于拟合光学镜片的横向的桶向畸变的矩阵与用于拟合光学镜片横向的切向畸变的矩阵相乘获得。用于拟合光学镜片的横向的径向畸变的矩阵，以及于拟合光学镜片的横向的桶向畸变的矩阵，可以为虚像的横坐标构成的四行一列矩阵，用于拟合光学镜片横向的切向畸变的矩阵为虚像的横坐标及纵坐标构成的四行一列矩阵。
第二多项式为用于拟合光学镜片的纵向的径向畸变的矩阵与用于拟合光学镜片纵向的切向畸变的矩阵相乘获得，或者为用于拟合光学镜片的纵向的桶向畸变的矩阵与用于拟合光学镜片纵向的切向畸变的矩阵相乘获得。用于拟合光学镜片的纵向的径向畸变的矩阵，以及于拟合光学镜片的纵向的桶向畸变的矩阵，可以为虚像的纵坐标构成的四行一列矩阵，用于拟合光学镜片纵向的切向畸变的矩阵为虚像的横坐标及纵坐标构成的四行一列矩阵。
在得到上述第一表达式以及第二表达式之后，则可以代入上述实验图像的坐标数据以及根据光学参数调整后的畸变虚像的坐标数据，对第一表达式中的第一畸变参数，以及第二表达式中的第二畸变参数进行求解，从而得到上述第一畸变参数以及第二畸变参数。
在得到第一畸变参数以及第二畸变参数之后，则可以将第一畸变参数代入上述第一表达式，以及将第二畸变参数代入上述第二表达式，从而得到光学畸变模型，光学畸变模型中包括上述第一表达式以及第二表达式。
在本申请实施例中，在得到光学畸变模型之后，还可以考量得到的光学畸变模型，以确保光学畸变模型的准确性。因此，该显示方法还可以包括：对光学畸变模型进行验证。
进一步的，对光学畸变模型进行验证可以包括：
利用用于验证光学畸变模型的原始图像的坐标数据以及光学畸变模型，得到待显示的验证图像，并将验证图像进行显示；利用观看位置处的图像采集设备对终端设备显示的验证图像进行图像采集，得到包含验证图像的图像；判断包含验证图像的图像的参数是否满足预设条件；如果满足预设条件，则将光学畸变模型进行存储。
可以理解的是，终端设备中预先存储有用于验证光学畸变模型的原始图像。例如，原始图像可以为棋盘格。在未利用光学畸变模型对原始图像进行预畸变，将原始图像进行显示时，则显示出的虚像为原始图像对应的发生畸变的虚像。如果将原始图像利用上述光学畸变模型进行预畸变后进行显示，显示出的虚像为未产生畸变的虚像，则表示该光学畸变模型准确。
在本申请实施例中，可以利用上述得到的光学畸变模型对原始图像的坐标数据进行反向运算，得到原始图像对应的待显示的验证图像。
具体的，将原始图像的坐标数据作为虚像的坐标数据，此时的虚像为无畸变的虚像，代入上述光学畸变模型，即可求得待显示的验证图像的屏幕坐标数据，根据屏幕坐标数据以及原始图像的各个像素点的像素值即可生成待显示的验证图像，该验证图像即为通过光学畸变模型进行预畸变后的图像。
在得到待显示的验证图像之后，则可以将验证图像进行显示，然后可以录用观看位置处的图像采集设备对显示的验证图像进行图像采集，得到包含显示的验证图像的图像。例如，可以设置工业相机于头盔中的人眼观看位置，采集显示的验证图像。
在得到包含显示的验证图像的图像之后，则可以判断该图像中验证图像的宽高比是否为预设宽高比，线性度是否为线性度。当宽高比为预设宽高比，线性度为预设线性度时，则可以确定出得到的光学畸变模型为正确，因此可以将得到的光学畸变模型进行存储，以实现显示时的畸变校正。
当然，在本申请实施例中，对光学畸变模型的校正，也可以是在将上述待显示的验证图像进行显示后，检测到用户做出的模型确定操作时，该模型确定操作用于表征验证图像的线性度以及宽高比正常，以及左右视角交界处吻合，从而确定出该光学畸变模型为正确，将该光学畸变模型存储。
本申请实施例提供的光学畸变的校正方法，通过获取无畸变虚像的坐标数据，然后根据光学畸变模型以及无畸变虚像的坐标数据，得到待显示的预畸变图像，最后将预畸变图像进行显示，使预畸变图像入射到人眼，从而用户观察到无畸变虚像，实现无畸变显示。
请参阅图6，本申请又一实施例提供了一种光学畸变的校正方法，可应用于终端设备，该方法可以包括：
步骤S210：显示虚拟标记物。
在本申请实施例中，在实现虚拟内容与实体内容的对齐显示时，需要获取空间坐标系之间的转换参数。获取空间坐标系之间的转换参数时，可以对虚拟标记物进行显示，另外，可以设置有实体标记物于真实场景中，且实体标记物处于终端设备的视野范围内，以用于后续实现虚拟标记物与实体标记物的对齐显示。其中，终端设备的视野范围指终端设备的图像采集装置的视野范围，图像采集装置的视野范围可以由视场角的大小决定。
其中，虚拟标记物可以预先存储于终端设备中，虚拟标记物与实体标记物相同，即虚拟标记物的图案与实体标记物的形状及大小相同。
虚拟标记物在显示时，虚拟标记物对应的左眼内容投射至左眼光学镜片，并经由左眼光学镜片反射至用户的左眼，虚拟标记物对应的右眼内容投射至左眼光学镜片，并经由右眼光学镜片反射至用户的右眼，实现虚拟标记物的立体显示，当用户察看显示的虚拟标记物时，可以察看到虚拟标记物叠加到实体标记物所处的真实场景中。
在本申请实施例中，终端设备为头戴显示装置，或者终端设备设置于头戴显示装置。在显示虚拟标记物之前，可以对头戴显示装置的光学畸变校正的参数进行确定，以确保虚拟标记物正常的显示，即显示无畸变的虚拟标记物。
在验证光学畸变校正的参数时，可以通过显示预先设置的图像，例如，棋盘格图像，以供用户对光学畸变校正的参数进行确定。用户在确保显示的预设图像无畸变时，可以做出光学畸变校正的参数的确定操作。终端设备在检测到用户的确定操作时，则可以确定出当前光学畸变校正的参数准确。在本申请实施例中，在显示虚拟标记物后，当用户观察到显示的虚拟标记物与实体标记物未对齐，则可以移动实体标记物的位置，直至观察到虚拟标记物与实体标记物对齐，于终端设备做出对齐确定操作。
在将虚拟标记物进行显示后，用户可以察看到虚拟标记物叠加到实体标记物所处的真实场景中，此时虚拟空间中虚拟标记物与实体标记物可能处于未对齐的情况，例如图7所示，实体标记物500与虚拟标记物600未对齐；虚拟标记物与实体标记物也可能处于对齐的情况，例如图8所示，实体标记物500与虚拟标记物600对齐。其中，对齐是指虚拟标记物与实体标记物在虚拟空间中的位置完全相同，也可以理解为在用户的视觉感知中虚拟标记物与实体标记物是重叠在一起的。
进一步的，可以通过控制标记物的移动，而使虚拟标记物与实体标记物对齐。在本申请实施例中，实体标记物设置于可控制移动机构，可控制移动机构与终端设备连接。
在本申请实施例中，该光学畸变的校正方法还可以包括：
在检测到用户的移动控制操作时，向可控制移动机构发送移动指令，移动指令用于指示可控制移动机构根据移动控制操作进行移动。
可以理解的是，用户可以于终端设备做出移动控制操作，该移动控制操作用于控制上述可控制移动机构的移动，而带动标记物移动。在检测到用户的移动控制操作时，则可以发送移动指令至可控制移动机构，从而使可控制移动机构根据移动控制操作而移动，最终达到实体标记物与虚拟标记物对齐的目的。上述移动控制操作可以是通过终端设备的按键或者触控屏做出的操作，也可以是通过与终端设备连接的控制器做出的操作，当然，具体的操作方式在本申请实施例中可以不作为限定。
步骤S220：在检测到用户的对齐确定操作时，获取实体标记物在第一空间坐标系的第一坐标，其中，对齐确定操作用于表征虚拟标记物与实体标记物对齐，虚拟标记物与实体标记物对应。
当用户观察到虚拟标记物与实体标记物未对齐时，则可以移动实体标记物的位置，直至观察到虚拟标记物与实体标记物对齐，于终端设备做出对齐确定操作。
当用户观察到虚拟标记物与实体标记物对齐时，则可以于终端设备做出对齐确定操作，该对齐确定操作用于表征虚拟标记物与实体标记物对齐，此时即实现了虚拟标记物对齐于实体标记物的显示。
在本申请实施例中，上述对齐确定操作可以是通过终端设备的按键或者触控屏做出的操作，也可以是通过与终端设备连接的控制器做出的操作，当然，具体的操作方式在本申请实施例中可以不作为限定。
终端设备可以检测到用户做出的对齐确定操作，确定出此时虚拟标记物与实体标记物对齐，以根据当前实体标记物在现实空间中第一空间坐标系中的坐标以及当前显示的虚拟对象在虚拟空间中的第二空间坐标系的坐标，确定第一空间坐标系与第二空间坐标系之间的转换参数。
在本申请实施例中，第一空间坐标系为现实空间中以跟踪摄像头为原点的空间坐标系，第二空间坐标系为虚拟空间中以虚拟摄像头为原点的空间坐标系。其中，跟踪摄像头是指终端设备的图像采集装置，虚拟摄像头为3D软件系统中用于模拟人眼视角的摄像头。根据虚拟摄像头运动(即头部运动)的变化，跟踪虚拟空间中虚拟物体的运动变化，通过渲染，投射到光学镜片上实现立体显示。
在本申请实施例中，可以在检测到用户的对齐确定操作时，获取实体标记物在第一空间坐标系的第一坐标。
其中，实体标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同实体标记物内的子标记物的分布规则不同，因此，每个实体标记物可具备不同的身份信息。终端设备通过识别实体标记物中包含的子标记物，可以获取与实体标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识实体标记物的信息，但不限于此。
作为一种实施方式，实体标记物的轮廓可以为矩形，当然，实体标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个实体标记物。当然，上述实体标记物也可以为由光点构成的自身可以发光的物体等，光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与实体标记物对应的身份信息。当然，具体的实体标记物在本申请实施例中并不作为限定，实体标记物仅需要能被终端设备识别即可。
终端设备在采集得到包含上述实体标记物的图像之后，则可以对该包含上述实体标记物的图像进行识别，以得到对实体标记物的识别结果。其中，对目实体标记物的识别结果可以包括实体标记物相对终端设备的空间位置，以及实体标记物的身份信息等。其中，实体标记物相对终端设备的空间位置可以包括实体标记物相对终端设备的位置以及姿态信息等，姿态信息为实体标记物相对终端设备的朝向及旋转角度，从而，可以得到上述实体标记物在第一空间坐标系中的第一坐标。
在本申请实施例中，在根据实体标记物于第一空间坐标系中的第一坐标以及虚拟标记物在第二空间坐标系中的第二坐标，获取第一空间坐标系与第二空间坐标系之间的转换关系时，需要根据多个实体标记物在第一空间坐标系中的第一坐标以及多个虚拟标记物在第二空间坐标系中的第二坐标，计算第一空间坐标系与第二空间坐标系之间的转换关系，其中，多个实体标记物与多个虚拟标记物为一一对应的关系，即上述多个实体标记物中的每个实体标记物与多个虚拟标记物中的一个虚拟标记物对齐。
因此，在检测到用户的对齐确定操作时，获取实体标记物在第一空间坐标系的第一坐标，可以是，检测到用于表征多个实体标记物与多个虚拟标记物对齐的对齐确定操作时，获取所有实体标记物在第一空间坐标系的第一坐标。
在本申请实施例中，在利用终端设备的图像采集装置采集包含实体标记物的图像，以确定实体标记物在第一空间坐标系的第一坐标之前，还可以对图像采集装置的进行标定，以确保获取到实体标记物在第一空间坐标系中的准确坐标。
步骤S230：获取虚拟标记物在第二空间坐标系中的第二坐标。
在本申请实施例中，终端设备还需要获取虚拟标记物在第二空间坐标系中的第二坐标，虚拟标记物在第二空间坐标系中的第二坐标可以由虚拟相机跟踪虚拟标记物获得。从而可以获取到多个虚拟标记物对应的在第二空间坐标系中的第二坐标，多个虚拟标记物与上述多个标记物一一对应。
在本申请实施例中，在得到多个实体标记物在第一空间坐标系中的第一坐标，以及多个虚拟标记物在第二空间坐标系中的第二坐标之后，则可以根据多个实体标记物与多个虚拟标记物之间的一一对应的关系，将实体标记物的第一坐标以及实体标记物对应的虚拟标记物的第二坐标作为坐标对进行存储，以用于后续进行第一空间坐标系与第二空间坐标系的转换参数的计算。例如，实体标记物A与虚拟标记物a对应，实体标记物B与虚拟标记物b对应，则将实体标记物A的第一坐标以及虚拟标记物a的第二坐标作为一个坐标，将实体标记物B的第一坐标以及虚拟标记物b的第二坐标作为一个坐标对进行存储。
步骤S240：基于实体标记物的第一坐标，以及与实体标记物对应的虚拟标记物的第二坐标，获取第一空间坐标系与第二空间坐标系之间的转换参数。
在得到实体标记物的第一坐标，以及实体标记物对应的虚拟标记物的第二坐标之后，则可以计算第一空间坐标系与第二空间坐标系之间的转换参数。其中，第一空间坐标系与第二空间坐标系之间的转换参数可以包括：旋转参数以及平移参数。
在本申请实施例中，请参见图9，步骤S240可以包括：
步骤S241：根据姿态变换算法建立第一空间坐标系与第二空间坐标系之间的转换公式，转换公式包括旋转参数以及平移参数。
在本申请实施例中，在根据实体标记物的第一坐标以及虚拟标记物的第二坐标计算第一空间坐标系与第二空间坐标系之间的转换参数时，可以获取第一空间坐标系与第二空间坐标系之间的转换公式。
具体的，可以根据姿态变换算法建立第一空间坐标系与第二空间坐标系之间的转换公式。其中，姿态变换算法可以包括：刚体变换估计算法、PNP算法、DCM算法或者POSIT算法，具体的姿态变换算法在本申请实施例中可以不作为限定。
上述转换公式表示第一空间坐标系中的坐标与第二空间坐标系中的坐标的转换关系，并且该转换公式中包括转换参数。上述转换公式可以为，第二空间坐标系中的坐标由第一空间坐标系中的坐标以及转换参数表达，也可以为第一空间坐标系中的坐标由第二空间坐标系中的坐标以及转换参数表达。
进一步的，上述转换公式可以为，第二空间坐标系中的坐标所构成的矩阵由第一空间坐标系中的坐标所构成的矩阵与转换参数构成的矩阵相乘表达，其中转换参数构成的矩阵中包括旋转参数以及平移参数。
步骤S242：获取数量大于预设数值的坐标对，并将获取的坐标对代入转换公式，得到第一空间坐标系与第二空间坐标系之间的旋转参数以及平移参数。
在本申请实施例中，在得到第一空间坐标系与第二空间坐标系之间的转换公式后，则可以利用实体标记物的第一坐标以及与实体标记物对应的虚拟标记物的第二坐标求解上述转换公式中的转换参数。
具体的，可以读取预设数值的上述存储的第一坐标与对应的第二坐标的坐标对，将预设数值的第一坐标与第二坐标对代入上述转换公式，对转换公式中的转换参数进行求解，从而得到上述旋转参数以及平移参数。其中，预设数值根据具体利用的姿态变换算法建立的转换公式而定，例如，当转换公式为根据刚体变换估计算法建立的公式，则预设数值可以为4，具体的预设数值在本申请实施例中可以不作为限定。
可以理解的是，每个坐标对中第一空间坐标系中的第一坐标与一个第二空间坐标系中的第二坐标对应，将坐标对代入上述转换公式，为将坐标对中的第一坐标以及第二坐标代入转换公式，即第一坐标代入上述转换公式中第一空间坐标系中的坐标所构成的矩阵，第二坐标代入上述转换公式中第二空间系的坐标所构成的矩阵。在将预设数值的坐标对分别代入上述转换公式之后，则可以求解出转换公式中的转换参数所构成的矩阵，从而得到矩阵中的旋转参数以及平移参数，即获取到第一空间坐标系与第二空间坐标系之间的旋转参数以及平移参数。
在本申请实施例中，在获得第一空间坐标系与第二空间坐标系之间的转换参数之后，该光学畸变的校正方法还可以包括：
对跟踪摄像头的第一摄像头参数和/或虚拟摄像头的第二摄像头参数进行微调。
可以理解的是，由于光学镜片的镜面折射的存在以及姿态变换算法的误差，在利用上述转换参数实现虚拟内容叠加于真实场景中的内容进行显示时，可能无法实现虚拟内容与真实内容完全对齐。因此，还可以对跟踪摄像头(图像采集装置)的第一摄像头参数和/或虚拟摄像头的第二摄像头参数做一些微调，以使在利用转换参数进行虚拟内容显示时，虚拟内容完全对齐于真实内容。具体的，可以调节跟踪摄像头和/或虚拟摄像头的倾斜角度、深度等。
步骤S250：获取目标标记物在第一空间坐标系的第三坐标。
在获取到现实空间中的第一空间坐标系与虚拟空间中的第二空间坐标系之间的转换参数之后，则可以根据上述转换参数实现虚拟内容与真实内容的对齐显示。
在本申请实施例中，可以获取目标标记物在第一空间坐标系的第三坐标，即目标标记物在现实空间中以跟踪摄像头为原点的空间坐标系中的坐标。其中，目标标记物用于虚拟对象的显示，即虚拟对象与目标标记物的对齐显示。目标标记物与上述实体标记物类似，终端设备可以通过采集包含目标标记物的图像，然后对包含目标标记物的图像进行识别，从而得到目标标记物在第一空间坐标系的第三坐标。
步骤S260：利用转换参数将第三坐标转换为第二空间坐标系中的第四坐标。
在获取到目标标记物在第一空间坐标系中的第三坐标之后，则可以利用获取的转换参数将目标标记物在第一空间坐标系中的第三坐标转换为第二空间坐标系中的坐标，即虚拟空间中以虚拟摄像头为原点的空间坐标系中的坐标，以根据第三坐标生成虚拟对象的显示内容。
具体的，可以将目标标记物在第一空间坐标系中的第三坐标以及上述转换参数，代入第一空间坐标系与第二空间坐标系之间的转换公式，计算得到第二空间坐标系中的第四坐标。
步骤S270：获取待显示的虚拟对象的数据，并根据虚拟对象的数据以及第四坐标渲染虚拟对象，得到虚拟对象的左眼显示内容以及右眼显示内容。
在将目标标记物在第一空间坐标系中的第三坐标转换为第二空间坐标系中的第四坐标之后，则可以获取待显示的虚拟对象的数据，根据虚拟对象的数据以及上述第四坐标渲染虚拟对象。其中，上述待显示显示的虚拟对象对应的数据，可以包括虚拟对象的模型数据，模型数据为用于渲染虚拟对象的数据。例如，模型数据可以包括用于建立虚拟对象对应的模型的颜色、模型顶点坐标、模型轮廓数据等。
在本申请实施例中，上述虚拟摄像头包括左虚拟摄像头以及右虚拟摄像头。其中，左虚拟摄像头以用于模拟人眼左眼，右虚拟摄像头用于模拟人眼右眼。根据虚拟对象的数据以及渲染坐标渲染虚拟对象，得到虚拟对象的左眼显示内容以及右眼显示内容，包括：
根据虚拟对象的数据构建并渲染虚拟对象；根据渲染坐标分别计算虚拟对象在左虚拟摄像头及右虚拟摄像头中对应的像素坐标，得到左眼显示内容及右眼显示内容。
可以理解的是，根据上述用于渲染虚拟对象的数据，则可以构建并渲染出虚拟对象。根据上述渲染坐标以及构建并渲染出的虚拟对象，则可以得到虚拟对象的各个点上述虚拟空间中第二空间坐标系中的空间坐标。将上述空间坐标代入左虚拟摄像头对应的像素坐标系与上述虚拟空间中第二空间坐标系之间的转换公式，即可得到虚拟对象的各个点在左虚拟摄像头中对应的像素坐标，根据虚拟对象的各个点的像素值以及各个点在左虚拟摄像头中对应的像素坐标，则可以得到左眼显示内容。同理，将上述空间坐标代入右虚拟摄像头对应的像素坐标系与上述虚拟空间中第二空间坐标系之间的转换公式，即可得到虚拟对象的各个点在右虚拟摄像头中对应的像素坐标，根据虚拟对象的各个点的像素值以及各个点在右虚拟摄像头中对应的像素坐标，则可以得到右眼显示内容。
在渲染虚拟对象后，则可以得到虚拟对象对应的具有视差的左眼显示内容以及右眼显示内容，以实现显示时的立体显示效果。
步骤S280：根据光学畸变模型、左眼显示内容以及右眼显示内容，得到左眼显示内容对应的左眼预畸变图像以及右眼显示内容对应的右眼预畸变图像，光学畸变模型用于拟合光学镜片产生的光学畸变。
头戴显示装置在将显示内容进行显示时，由于头戴显示装置的光学系统的原因，会使显示的图像产生畸变。如果直接将上述左眼显示内容以及右眼显示内容进行显示，则会使用户看到畸变的虚拟对象的虚像。例如，请再次参阅图3，实像311在显示后形成畸变后的虚像312。。
因此，在将上述左眼显示内容以及右眼显示内容进行显示时，可以对上述左眼显示内容以及右眼显示内容进行预畸变后进行显示，以使用户看到无畸变的虚拟对象的虚像。
在本申请实施例中，可以根据存储的光学畸变模型对左眼显示内容进行反向畸变处理，得到左眼显示内容对应的左眼预畸变图像，并根据上述光学畸变模型对右眼显示内容进行反向畸变处理，得到右眼显示内容对应的右眼预畸变图像。其中，光学畸变模型用于拟合头戴显示装置的光学镜片的光学畸变，光学畸变模型可以为
Figure BDA0001787310470000131
其中，X为实像的横坐标，Y为实像的纵坐标，A为第一畸变参数，B为第二畸变参数，I1为拟合光学镜片的横向的径向畸变的矩阵或者拟合光学镜片的横向的桶向畸变的矩阵，I2拟合光学镜片横向的切向畸变的矩阵，I3为拟合光学镜片的纵向的径向畸变的矩阵或者拟合光学镜片的纵向的桶向畸变的矩阵，I4拟合光学镜片的纵向的切向畸变的矩阵，I1中包括虚像的横坐标，I2包括虚像的横坐标以及纵坐标，I3中包括虚像的纵坐标，I4包括虚像的横坐标以及纵坐标。
在对虚拟对象的左眼显示内容以及右眼显示内容进行预畸变时，可以读取上述存储的光学畸变模型进行读取。将左眼显示内容的坐标数据作为虚像的坐标数据，代入光学畸变模型，计算出左眼显示内容对应的屏幕坐标数据，根据屏幕坐标数据以及左眼显示内容的像素点即可生成待显示的左眼预畸变图像，该左眼预畸变图像与左眼显示内容对应。
同样的，将右眼显示内容的坐标数据作为虚像的坐标数据，代入光学畸变模型，计算出右眼显示内容对应的屏幕坐标数据，根据屏幕坐标数据以及右眼显示内容的像素点即可生成待显示的右眼预畸变图像，该右眼预畸变图像与右眼显示内容对应。
另外，在本申请实施例中，当上述根据光学畸变模型的获得的屏幕坐标数据中存在非整数值坐标时，则需要将非整数值坐标转换为整数值坐标，以便生成预畸变图像。因此，可以利用像素插值法将屏幕数据中的非整数值坐标转换为整数值坐标。具体的，可以获取距离上述整数值坐标最近的像素坐标，然后将非整数值坐标替换为获取的像素坐标。
步骤S290：将左眼预畸变图像以及右眼预畸变图像进行显示，左眼预畸变图像用于投射到第一光学镜片，并经由第一光学镜片反射到人眼，形成无畸变的左眼显示内容，右眼预畸变图像用于投射到第二光学镜片，并经由第二光学镜片反射到人眼，形成无畸变的右眼显示内容。
在得到进行预畸变后的左眼预畸变图像以及右眼预畸变图像之后，则可以将左眼预畸变图像以及右眼预畸变图像进行显示。在将左眼预畸变图像以及右眼预畸变图像显示后，左眼预畸变图像投射到第一光学镜片后，经过第一光学镜片的反射后入射到用户左眼，形成无畸变的上述左眼显示内容，右眼预畸变图像投射到第二光学镜片后，经过第二光学镜片的反射后入射到用户右眼，形成无畸变的上述右眼显示内容。从而用户可以看到具有视差的无畸变的左眼显示内容以及无畸变的右眼显示内容，经过用户大脑的融合形成无畸变的立体显示内容，达到虚拟对象与目标标记物对齐显示、虚拟对象的无畸变显示以及立体显示。
本申请实施例提供的光学畸变的校正方法，通过获取虚拟标记物与实体标记物对齐时，实体标记物在现实空间中的第一空间坐标系中的第一坐标以及虚拟标记物在虚拟空间中的第二空间坐标系中的第二坐标，获取现实空间中的第一空间坐标系与虚拟空间中的第二空间坐标系之间的转换参数之后，根据该转换参数获取目标标记物在第一空间坐标系的第三坐标对应于第二空间坐标系中的第四坐标，并根据第四坐标渲染虚拟对象生成左眼显示内容以及右眼显示内容，最后将左眼显示内容以及右眼显示内容进行预畸变后进行显示，从而实现虚拟对象与目标标记物的对齐显示、虚拟对象的无畸变显示以及立体显示。
请参阅图10，其示出了本申请实施例提供的一种光学畸变的校正装置400的结构框图，该光学畸变的校正装置400应用于终端设备。该光学畸变的校正装置400可以包括：数据获取模块410、预畸变模块420以及图像显示模块。其中，数据获取模块410用于获取无畸变虚像的坐标数据；预畸变模块420用于根据光学畸变模型及无畸变虚像的坐标数据，得到待显示的预畸变图像，光学畸变模型用于拟合光学镜片产生的光学畸变；图像显示模块430用于将预畸变图像进行显示，预畸变图像用于投射到光学镜片上，并经由光学镜片反射到人眼，形成无畸变虚像。
在本申请实施例中，该光学畸变的校正装置400还可以包括：数据读取模块、模型获取模块以及模型存储模块。其中，数据读取模块用于读取光学镜片的光学厂商数据，光学厂商数据包括实验图像的坐标数据以及实验图像对应的畸变虚像的坐标数据；模型获取模块用于将实验图像的坐标数据与畸变虚像的坐标数据进行多项式拟合，得到光学畸变模型；模型存储模块用于将光学畸变模型进行存储。
进一步的，模型获取模块可以具体用于：根据实验图像的坐标数据及与实验图像对应的畸变虚像的坐标数据，计算光学畸变模型的第一畸变参数和第二畸变参数，第一畸变参数为拟合光学镜片在第一方向上畸变的系数，第二畸变参数为拟合光学镜片在第二方向上畸变的系数；根据第一畸变系数和第二畸变数据构建光学畸变模型。
在本申请实施例中，该光学畸变的校正装置400还可以包括：数据调整模块。数据调整模块用于在读取光学镜片的光学厂商数据之后，根据显示参数调整畸变虚像的坐标数据，其中，显示参数包括光学镜片的缩放比例、屏幕尺寸、像素尺寸以及光心位置中的至少一种。
在本申请实施例中，该光学畸变的校正装置400还可以包括：模型验证模块。模型验证模块用于对光学畸变模型进行验证。
进一步的，模型验证模块可以具体用于：利用用于验证光学畸变模型的原始图像的坐标数据以及光学畸变模型，得到待显示的验证图像，并将验证图像待进行显示；利用观看位置处的图像采集设备对所终端设备显示的验证图像进行图像采集，得到包含验证图像的图像；判断包含验证图像的图像的参数是否满足预设条件；如果满足预设条件，则将光学畸变模型进行存储。
在本申请实施例中，预畸变模块420可以具体用于：利用光学畸变模型对无畸变虚像的坐标数据进行反向计算，得到与无畸变虚像的坐标数据对应的屏幕坐标数据；根据屏幕坐标数据生成待显示的预畸变图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上，本申请提供的方案，通过获取无畸变虚像的坐标数据，然后根据光学畸变模型及无畸变虚像的坐标数据，得到待显示的预畸变图像，光学畸变模型用于拟合光学镜片产生的光学畸变，最后将预畸变图像进行显示，预畸变图像用于投射到光学镜片上，并经由光学镜片反射到人眼，形成无畸变虚像，从而实现无畸变显示。
请参考图11，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
在本申请实施例中，图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。
请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种光学畸变的校正方法，其特征在于，应用于终端设备，所述方法包括：
获取无畸变虚像的坐标数据；
根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，所述光学畸变模型用于拟合光学镜片产生的光学畸变；
将所述预畸变图像进行显示，所述预畸变图像用于投射到所述光学镜片上，并经由所述光学镜片反射到人眼，形成所述无畸变虚像。
2.根据权利要求1所述的方法，其特征在于，在所述根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像之前，所述方法还包括：
读取光学镜片的光学厂商数据，所述光学厂商数据包括实验图像的坐标数据以及所述实验图像对应的畸变虚像的坐标数据；
将所述实验图像的坐标数据与所述畸变虚像的坐标数据进行多项式拟合，得到光学畸变模型；
将所述光学畸变模型进行存储。
3.根据权利要求2所述的方法，其特征在于，所述将所述实验图像的坐标数据与所述畸变虚像的坐标数据进行多项式拟合，得到光学畸变模型，包括：
根据所述实验图像的坐标数据及与所述实验图像对应的畸变虚像的坐标数据，计算光学畸变模型的第一畸变参数和第二畸变参数，所述第一畸变参数为拟合所述光学镜片在第一方向上畸变的系数，所述第二畸变参数为拟合所述光学镜片在第二方向上畸变的系数；
根据所述第一畸变系数和第二畸变数据构建所述光学畸变模型。
4.根据权利要求2所述的方法，其特征在于，在所述读取光学镜片的光学厂商数据之后，所述方法还包括：
根据显示参数调整所述畸变虚像的坐标数据，其中，所述显示参数包括所述光学镜片的缩放比例、屏幕尺寸、像素尺寸以及光心位置中的至少一种。
5.根据权利要求2所述的方法，其特征在于，在所述将所述光学畸变模型进行存储之前，所述方法还包括：
对所述光学畸变模型进行验证。
6.根据权利要求5所述的方法，其特征在于，所述对所述光学畸变模型进行验证，包括：
利用用于验证所述光学畸变模型的原始图像的坐标数据以及所述光学畸变模型，得到待显示的验证图像，并将所述验证图像待进行显示；
利用观看位置处的图像采集设备对所终端设备显示的所述验证图像进行图像采集，得到包含所述验证图像的图像；
判断所述包含所述验证图像的图像的参数是否满足预设条件；
如果满足所述预设条件，则将所述光学畸变模型进行存储。
7.根据权利要求1所述的方法，其特征在于，所述根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，包括：
利用光学畸变模型对所述无畸变虚像的坐标数据进行反向计算，得到与所述无畸变虚像的坐标数据对应的屏幕坐标数据；
根据所述屏幕坐标数据生成待显示的预畸变图像。
8.一种光学畸变的校正装置，其特征在于，应用于终端设备，所述装置包括：数据获取模块、预畸变模块以及图像显示模块，其中，
所述数据获取模块用于获取无畸变虚像的坐标数据；
所述预畸变模块用于根据光学畸变模型及所述无畸变虚像的坐标数据，得到待显示的预畸变图像，所述光学畸变模型用于拟合光学镜片产生的光学畸变；
所述图像显示模块用于将所述预畸变图像进行显示，所述预畸变图像用于投射到所述光学镜片上，并经由所述光学镜片反射到人眼，形成所述无畸变虚像。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN201811020965.1A 2018-09-03 2018-09-03 光学畸变的校正方法、装置、终端设备及存储介质 Active CN110874135B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811020965.1A CN110874135B (zh) 2018-09-03 2018-09-03 光学畸变的校正方法、装置、终端设备及存储介质
PCT/CN2019/104240 WO2020048461A1 (zh) 2018-09-03 2019-09-03 三维立体显示方法、终端设备及存储介质
US16/731,094 US11380063B2 (en) 2018-09-03 2019-12-31 Three-dimensional distortion display method, terminal device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811020965.1A CN110874135B (zh) 2018-09-03 2018-09-03 光学畸变的校正方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110874135A true CN110874135A (zh) 2020-03-10
CN110874135B CN110874135B (zh) 2021-12-21

Family

ID=69716743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811020965.1A Active CN110874135B (zh) 2018-09-03 2018-09-03 光学畸变的校正方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN110874135B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN113985611A (zh) * 2021-11-02 2022-01-28 福建天晴在线互动科技有限公司 一种头戴显示器变焦显示方法及系统
CN114063300A (zh) * 2020-07-30 2022-02-18 精工爱普生株式会社 虚像显示装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
US20080174659A1 (en) * 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
US20090129628A1 (en) * 2004-11-30 2009-05-21 Iee International Electronics & Engineering S.A. Method for determining the position of an object from a digital image
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
US20150077312A1 (en) * 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
CN105528770A (zh) * 2015-12-31 2016-04-27 河北工业大学 一种投影仪镜头畸变校正方法
CN205594239U (zh) * 2015-12-24 2016-09-21 深圳点石创新科技有限公司 一种抬头显示器
CN106444023A (zh) * 2016-08-29 2017-02-22 北京知境科技有限公司 一种超大视场角的双目立体显示的透射式增强现实系统
CN106526859A (zh) * 2016-12-14 2017-03-22 中国航空工业集团公司洛阳电光设备研究所 一种vr虚拟现实和ar增强现实兼容的头戴显示设备
CN106780633A (zh) * 2017-02-20 2017-05-31 北京创想智控科技有限公司 一种图像校正方法、装置及双目视觉系统
CN107369132A (zh) * 2017-07-21 2017-11-21 网易（杭州）网络有限公司 获取虚拟现实设备图像畸变规律的方法、系统及终端设备
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN107507244A (zh) * 2017-07-26 2017-12-22 成都通甲优博科技有限责任公司 一种单帧图像的相机标定方法、标定操作方法及标定装置
CN108090880A (zh) * 2017-12-29 2018-05-29 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
US20090129628A1 (en) * 2004-11-30 2009-05-21 Iee International Electronics & Engineering S.A. Method for determining the position of an object from a digital image
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
US20080174659A1 (en) * 2007-01-18 2008-07-24 Mcdowall Ian Wide field of view display device and method
US20150077312A1 (en) * 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
CN103792674A (zh) * 2014-01-21 2014-05-14 浙江大学 一种测量和校正虚拟现实显示器畸变的装置和方法
CN205594239U (zh) * 2015-12-24 2016-09-21 深圳点石创新科技有限公司 一种抬头显示器
CN105528770A (zh) * 2015-12-31 2016-04-27 河北工业大学 一种投影仪镜头畸变校正方法
CN106444023A (zh) * 2016-08-29 2017-02-22 北京知境科技有限公司 一种超大视场角的双目立体显示的透射式增强现实系统
CN106526859A (zh) * 2016-12-14 2017-03-22 中国航空工业集团公司洛阳电光设备研究所 一种vr虚拟现实和ar增强现实兼容的头戴显示设备
CN106780633A (zh) * 2017-02-20 2017-05-31 北京创想智控科技有限公司 一种图像校正方法、装置及双目视觉系统
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN107369132A (zh) * 2017-07-21 2017-11-21 网易（杭州）网络有限公司 获取虚拟现实设备图像畸变规律的方法、系统及终端设备
CN107507244A (zh) * 2017-07-26 2017-12-22 成都通甲优博科技有限责任公司 一种单帧图像的相机标定方法、标定操作方法及标定装置
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
CN108090880A (zh) * 2017-12-29 2018-05-29 杭州联络互动信息科技股份有限公司 一种图像的反畸变处理方法以及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN HOU 等: "Stereo Mapping for A Prototype Lunar Rover", 《2006 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
华希俊 等: "带切向畸变的模型可视化摄像机标定", 《工程图学学报》 *
李晓明 等: "摄像机畸变模型的比较与选择", 《计算机辅助设计与图形学学报》 *
王健 等: "投影图像畸变的一种校正方法", 《西安邮电学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114063300A (zh) * 2020-07-30 2022-02-18 精工爱普生株式会社 虚像显示装置
CN114063300B (zh) * 2020-07-30 2023-12-22 精工爱普生株式会社 虚像显示装置
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN113985611A (zh) * 2021-11-02 2022-01-28 福建天晴在线互动科技有限公司 一种头戴显示器变焦显示方法及系统
CN113985611B (zh) * 2021-11-02 2023-10-20 福建天晴在线互动科技有限公司 一种头戴显示器变焦显示方法及系统

Also Published As

Publication number Publication date
CN110874135B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
EP3018903B1 (en) Method and system for projector calibration
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
US9881421B2 (en) Image processing
CN110874868A (zh) 数据处理方法、装置、终端设备及存储介质
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN110874135B (zh) 光学畸变的校正方法、装置、终端设备及存储介质
JP6852355B2 (ja) プログラム、頭部装着型表示装置
CN108090880B (zh) 一种图像的反畸变处理方法以及装置
US10999412B2 (en) Sharing mediated reality content
US20180005424A1 (en) Display control method and device
CA2984785A1 (en) Virtual reality editor
CN110362193A (zh) 用手或眼睛跟踪辅助的目标跟踪方法及系统
CN110874867A (zh) 显示方法、装置、终端设备及存储介质
Hu et al. Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures
CN102004623A (zh) 一种三维图像显示装置及方法
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
JP2017102696A (ja) 頭部装着型表示装置およびコンピュータープログラム
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
CN114092668A (zh) 虚实融合方法、装置、设备及存储介质
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
KR101222153B1 (ko) 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
CN111818326B (zh) 图像处理方法、装置、系统、终端设备及存储介质
US20190122643A1 (en) Image processing system, image processing apparatus, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Optical distortion correction method, device, terminal equipment and storage medium

Effective date of registration: 20221223

Granted publication date: 20211221

Pledgee: CITIC Bank Co.,Ltd. Guangzhou Branch

Pledgor: GUANGDONG VIRTUAL REALITY TECHNOLOGY Co.,Ltd.

Registration number: Y2022440000335

PE01 Entry into force of the registration of the contract for pledge of patent right