CN113672077A - 一种数据处理方法及其设备 - Google Patents

一种数据处理方法及其设备 Download PDF

Info

Publication number
CN113672077A
CN113672077A CN202010415230.XA CN202010415230A CN113672077A CN 113672077 A CN113672077 A CN 113672077A CN 202010415230 A CN202010415230 A CN 202010415230A CN 113672077 A CN113672077 A CN 113672077A
Authority
CN
China
Prior art keywords
information
image
position information
distortion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010415230.XA
Other languages
English (en)
Inventor
宋碧薇
刘欣
闫云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010415230.XA priority Critical patent/CN113672077A/zh
Priority to CN202111556499.0A priority patent/CN114415826A/zh
Priority to PCT/CN2021/092269 priority patent/WO2021227969A1/zh
Priority to EP21803436.1A priority patent/EP4141621A4/en
Publication of CN113672077A publication Critical patent/CN113672077A/zh
Priority to US17/986,344 priority patent/US20230077753A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Geometry (AREA)

Abstract

本申请实施例公开了一种数据处理方法，用于人机交互系统。本申请实施例方法包括：第一设备接收第二设备发送的第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息，第一设备根据第一位置信息得到第一预畸变模型，第一设备根据第一预畸变模型校正投影图像，投影图像为第一设备投影的图像。本申请实施例中，第一设备根据第二设备发送的包括用户的特征信息的第一位置信息得到第一预畸变模型，使得第一设备可以实时的根据用户的特征信息得到的第一预畸变模型校正投影虚像，提升了用户的体验感。

Description

一种数据处理方法及其设备
技术领域
本申请实施例涉及计算机视觉技术领域，具体涉及一种数据处理方法及其设备。
背景技术
增强现实抬头显示器(Augmented Reality-Head Up Display，AR-HUD)利用光学投影系统将辅助驾驶信息(数字、图片、动画等)投影到汽车前挡风玻璃上以形成一个虚像，驾驶员通过挡风玻璃的显示区域可以观察到对应的辅助驾驶信息。
由于挡风玻璃的规格曲率是不同的,光学投影系统投影在挡风玻璃上的虚像往往会发生畸变。为了消除这种畸变，在AR-HUD正式使用之前的准备阶段，会在驾驶员的头部附近设置一个人眼模拟设备，该人眼模拟设备可以模拟驾驶员的眼睛的位置在驾驶区域拍摄经过AR-HUD显示系统投影出来的标定图像，通过标定图像上基准点的位置，计算该标定图像的畸变量，并通过畸变量来进行图像校正。
由于人眼模拟设备基本上是固定的，因此拍摄到的标定图像中的基准点基本也是固定的。在AR-HUD正式使用时，驾驶员的位置经常会发生变化，例如驾驶员的更换，座椅的调节等等，当驾驶员的位置发生变化时，此时驾驶员的人眼位置和人眼模拟设备在准备阶段时的位置不同，因此驾驶员看到的经过校正后的投影虚像可能还会存在畸变，因此导致驾驶员看到的投影虚像效果不佳。
发明内容
本申请实施例提供了一种数据处理方法及其设备，可以应用于人机交互系统，例如车内的人机交互系统，本申请实施例提供的方法用于实时校正产生畸变的投影虚像，提升了用户体验。
本申请实施例第一方面提供了一种数据处理方法。
在人机交互系统中使用的过程中，第一设备会接收到第二设备发送的第一位置信息，该第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示第二设备采集到的用户的特征信息。
第一设备根据第二设备发送的第一位置信息得到第一预畸变模型。第一设备根据第一预畸变模型校正投影图像，该投影图像为第一设备投影的图像。
本申请实施例中，第一设备根据第二设备发送的包括用户的特征信息的第一位置信息得到第一预畸变模型，使得第一设备可以实时的根据用户的特征信息得到的第一预畸变模型校正投影虚像，提升了用户的体验感。
可选地，在一种可能的实现方式中，第一设备在接收到第一位置信息之后，根据第一位置信息获取第二位置信息，该第二位置信息为多个预设值位置信息中与第一位置信息在预设坐标系中的距离小于预设阈值的位置信息，该预设置位置信息是第一设备预先设置的。第一设备获取到了第二位置信息之后，再获取第二位置信息对应的第一预畸变模型。
本申请实施例中，第一设备根据预设置的位置信息得到对应的第一预畸变模型，节省了需要在线计算第一预畸变模型所消耗的资源，提升了人机交互系统在使用阶段的执行效率。
可选地，在一种可能的实现方式中，第一设备在接收第二设备发送的第一位置信息之前，第一设备接收了第三设备发送的至少两个第一图像信息，该至少两个第一图像信息表示第三设备在预设坐标系中的不同位置采集到的第一设备投影的图像的信息。
第一设备获取标准图像信息，该标准图像信息表示未产生畸变的投影图像。第一设备将至少两个第一图像信息分别与标准图像信息进行比较，分别得到至少两个预设置畸变量，该预设置畸变量表示第一图像信息相对于标准图像信息的畸变量。
第一设备得到的至少两个预设置畸变量分别进行计算，以得到至少两个第一预畸变模型，该至少两个第一预畸变模型与第一图像信息是一一对应的。
本申请实施例中，通过第三设备在不同位置采集到的至少两个投影图像的信息和标准图像进行计算，得到对应的预设置畸变量，再通过对应的预设置畸变量得到至少两个第一预畸变模型，在后期使用时，可以对用户在不同的位置观看到的投影图像进行校准，进而提升了用户的体验。
可选地，在一种可能的实现方式中，第一设备接收第二设备发送的注视信息，该注视信息表示用户注视基准点的信息，该基准点标定在第一设备投影的图像中。第一设备根据注视信息确定第一视场范围，第一视场范围表示用户可以观察到的视场范围。
第一设备根据注视信息和第一位置信息确定第一畸变量，该第一畸变量表示人眼标定图像相对标准图像的畸变量，人眼标定图像表示第一设备的投影图像在用户的人眼中呈现的图像，标准图像为未产生畸变的投影图像。
第一设备根据确定的第一视场范围和第一畸变量得到第一预畸变模型。
本申请实施例中，根据实时采集用户的注视信息，并根据注视信息实时的校准投影图像，使得用户在不同的位置都可以观看到完整的投影图像，提升了用户的体验。
可选地，在一种可能的实现方式中，特征信息包括用户的人眼信息。
本申请实施例中，当特征信息包括了人眼信息时，提升了技术方案的可实现性。
可选地，在一种可能的实现方式中，第一设备根据第一预畸变模型校正投影图像的具体过程中，第一设备根据第一预畸变模型，通过中央处理器(central processingunit，CPU)、图形处理器(graphics processing unit，GPU)以及现场可编程逻辑门阵列(field programmable gate array，FPGA)中的一种或者多种进行图像处理，以校正投影图像。
本申请实施例中，当第一设备通过CPU、GPU及FPGA中的一种或多种进行图像处理，进而校正投影图像，提升了方案的可实现性。
可选地，在一种可能的实现方式中，第一设备根据第一预畸变模型校正投影图像的具体过程中，第一设备根据第一预畸变模型，通过硅基液晶(liquid crystal onsilicon，LCOS)、数字光处理技术(digital light processing，DLP)及液晶显示器(liquidcrystal display，LCD)中的一种或者多种进行光调制，以校正投影图像。
本申请实施例中，当第一设备通过LCOS、DLP以及LCD中的一种或者多种进行光调制，进而校正投影图像，提升了方案的可实现性。
本申请实施例第二方面提供了一种数据处理方法。
在人机交互系统使用的过程中，第二设备获取第一位置信息，该第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示第二设备获取到的用户的特征信息，第一位置信息用于第一设备校正投影图像，投影图像为第一设备投影的图像。第二设备向第一设备发送第一位置信息。
本申请实施例中，第二设备向第一设备发送包括用户的特征信息的第一位置信息，以便于第一设备可以实时的根据该第一位置信息对第一设备投影的图像进行校正，提升了用户的体验感。
可选地，在一种可能的实现方式中，第二设备采集第二图像信息，该第二图像信息包括用户的特征信息，第二设备根据第二图像信息进行计算，以得到第一位置信息。
本申请实施例中，第二设备通过采集包括了用户的特征信息的图像信息并进行计算，以得到第一位置信息，提升了方案的可实现性。
可选地，在一种可能的实现方式中，第二设备根据第一图像信息进行计算的过程中，第二设备通过特征识别算法进行计算，以得到特征信息在第二图像信息中的特征位置信息。第二设备通过特征位置信息再进行计算，以得到第一位置信息。
本申请实施例中，第二设备根据特征识别算法进行计算以得到特征位置信息，再根据特征位置信息得到第一位置信息，提升了方案的可实现性。
可选地，在一种可能的实现方式中，在第二设备通过特征位置信息进行计算以得到第一位置信息之前，第二设备还采集了深度信息，该深度信息表示特征信息到第二设备的直线距离。第二设备通过特征位置信息进行计算以得到第一位置信息的一种实现方式中，第二设备通过特征位置信息和深度信息进行计算，以得到第一位置信息。
本申请实施例中，第二设备通过采集到的深度信息和特征位置信息计算以得到第一位置信息，提升了计算第一位置信息的精确度。
可选地，在一种可能的实现方式中，特征信息包括用户的人眼信息。
本申请实施例中，当特征信息包括了人眼信息时，提升了技术方案的可实现性。
可选地，在一种可能的实现方式中，第二设备在获取了第一位置信息之后，第二设备还会获取用户的注视信息，该注视信息表示用户注视基准点的信息，该基准点标定在第一设备投影的图像中，注视信息是用于确定第一畸变量的，第一畸变量是用于确定第一预畸变模型的，而第一预畸变模型是用于校正第一设备投影的投影图像的。
第二设备在获取到了第一位置信息和注视信息之后，第二设备向第一设备发送第一位置信息和注视信息。
本申请实施例中，根据实时采集用户的注视信息，并根据注视信息实时的校准投影图像，使得用户在不同的位置都可以观看到完整的投影图像，提升了用户的体验。
本申请实施例第三方面提供了一种显示设备。
显示设备包括：
接收单元，用于接收第二设备发送的第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息；
处理单元，用于根据第一位置信息得到第一预畸变模型；
校正单元，用于根据第一预畸变模型校正投影图像，投影图像为第一设备投影的图像。
可选地，在一种可能的实现方式中，显示设备还包括：
获取单元，用于根据第一位置信息获取第二位置信息，第二位置信息为多个预设置位置信息中与第一位置信息在预设坐标系中的距离小于预设阈值的位置信息，预设置位置信息为第一设备预先设置的；
获取单元还用于获取第二位置信息对应的第一预畸变模型。
可选地，在一种可能的实现方式中，接收单元还用于接收第三设备发送的至少两个第一图像信息，至少两个第一图像信息表示第三设备在预设坐标系中的不同位置采集到的第一设备投影的图像的信息；
获取单元还用于获取标准图像信息，标准图像信息表示未产生畸变的投影图像；
处理单元还用于将至少两个第一图像信息分别与标准图像信息进行比较，以得到至少两个预设置畸变量，预设置畸变量表示第一图像信息相对于标准图像信息的畸变量；
处理单元还用于根据至少两个预设置畸变量分别计算以得到至少两个第一预畸变模型，至少两个第一预畸变模型与第一图像信息一一对应。
可选地，在一种可能的实现方式中，接收单元还用于接收第二设备发送的注视信息，注视信息表示用户注视基准点的信息，基准点标定在第一设备投影的图像中；
显示设备还包括：
确定单元，用于根据注视信息确定第一视场范围，第一视场范围表示用户观察到的视场范围；
确定单元还用于根据注视信息和第一位置信息确定第一畸变量，第一畸变量表示人眼标定图像相对标准图像的畸变量，人眼标定图像表示第一设备的投影图像在用户的人眼中呈现的图像，标准图像为未产生畸变的投影图像；
处理单元还用于根据第一视场范围和第一畸变量得到第一预畸变模型。
可选地，在一种可能的实现方式中，其特征在于，用户的特征信息包括用户的人眼信息。
可选地，在一种可能的实现方式中,校正单元具体用于根据第一预畸变模型，通过中央处理器CPU、图形处理器GPU及现场可编程逻辑门阵列FPGA中的一种或多种进行图像处理以校正投影图像。
可选地，在一种可能的实现方式中，校正单元具体用于根据第一预畸变模型，通过硅基液晶LCOS、数字光处理技术DLP及液晶显示器LCD中的一种或多种进行光调制以校正投影图像。
本申请第四方面提供了一种特征采集设备。
特征采集设备包括：
获取单元，用于获取第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息，第一位置信息用于第一设备校正投影图像，投影图像为第一设备投影的图像；
发送单元，用于向第一设备发送第一位置信息。
可选地，在一种可能的实现方式中，特征采集设备还包括：
采集单元，用于采集第二图像信息，第二图像信息包括用户的特征信息；
处理单元，用于根据第二图像信息计算以获取第一位置信息。
可选地，在一种可能的实现方式中，处理单元具体用于通过特征识别算法计算以得到特征信息在第二图像信息中的特征位置信息；
处理单元具体用于通过特征位置信息计算以得到第一位置信息。
可选地，在一种可能的实现方式中，采集单元还用于采集深度信息，深度信息表示特征信息到第二设备的直线距离；
处理单元还用于通过特征位置信息计算以得到第一位置信息包括：
处理单元还用于通过特征位置信息和深度信息计算以得到第一位置信息。
可选地，在一种可能的实现方式中，特征信息包括用户的人眼信息。
可选地，在一种可能的实现方式中，获取单元还用于获取用户的注视信息，注视信息表示用户注视基准点的信息，基准点标定在第一设备投影的图像中，注视信息用于确定第一畸变量，第一畸变量用于确定第一预畸变模型，第一预畸变模型用于校正投影图像；
发送单元还用于向第一设备发送第一位置信息和注视信息。
本申请实施例第五方面提供了一种人机交互系统。
人机交互系统包括：
显示设备，用于执行如本申请实施例中第一方面的方法。
特征采集设备，用于执行如本申请实施例中第二方面的方法。
本申请实施例第六方面提供了一种显示设备。
该显示设备包括：
处理器、存储器、输入输出设备；
处理器与存储器、输入输出设备相连；
处理器执行如本申请第一方面实施方式所述的方法。
本申请实施例第七方面提供了一种特征采集设备。
该特征采集设备包括：
处理器、存储器、输入输出设备；
处理器与存储器、输入输出设备相连；
处理器执行如本申请第一方面实施方式所述的方法。
本申请实施例第八方面提供了一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在所述计算机上执行时，使得计算机执行如本申请第一方面和/或第二方面实施方式所述的方法。
本申请实施例第九方面提供了一种计算机程序产品，所述计算机程序产品在计算机上执行时，使得所述计算机执行如本申请第一方面和/或第二方面实施方式所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，第一设备根据用户的特征信息在预设坐标系中的位置信息得到第一预畸变模型，使得第一设备可以实时的调整预畸变模型，进而使用第一预畸变模型校正了第一设备投影的图像，提升了用户看到的投影图像的质量。
附图说明
图1为本申请提供的人机交互系统的一个示意图；
图2为本申请提供的人机交互系统的另一示意图；
图3为本申请提供的数据处理方法的一个流程示意图；
图4为本申请提供的数据处理方法的另一流程示意图；
图5为本申请提供的数据处理方法的一个场景示意图；
图6为本申请提供的数据处理方法的另一场景示意图；
图7为本申请提供的数据处理方法的另一场景示意图；
图8为本申请提供的显示设备的一个结构示意图；
图9为本申请提供的显示设备的另一结构示意图；
图10为本申请提供的特征采集设备的一个结构示意图；
图11为本申请提供的特征采集设备的另一结构示意图；
图12为本申请提供的显示设备的另一结构示意图；
图13为本申请提供的特征采集设备的另一结构示意图。
具体实施方式
本申请实施例提供了一种数据处理方法及其设备，用于在驾驶系统中，根据用户的特征信息在预设坐标系中的位置信息，得到第一预畸变模型，使得第一设备可以实时的根据用户的特征信息调整预畸变模型，进而通过第一预畸变模型校正了第一设备投影的图像，提升了用户看到的投影图像的质量，从而提升用户的体验感。
请参阅图1，为本申请提供的人机交互系统的一个示意图。
本申请实施例提供了一种人机交互系统，该人机交互系统包括显示设备，特征采集设备和汽车的前挡风玻璃，特征采集设备和显示设备可以通过有线连接，也可以通过无线连接，具体此处不做限定。如果特征采集设备和显示设备通过有线连接，可以通过数据线连接的方式进行有线连接，例如通过COM接口的数据线、USB接口的数据线、Type-C接口的数据线、Micro-USB接口的数据线等方式进行有线连接，可以理解的是，还可以通过其他方式进行有线连接，例如通过光纤进行有线连接，具体此处不做限定。如果特征采集设备和显示设备通过无线连接，可以通过Wi-Fi无线连接、蓝牙连接、红外连接等无线连接方式连接，可以理解的是，还可以通过其他方式进行无线连接，例如通过第三代接入技术(thirdgeneration，3G)、第四代接入技术(fourth generation，4G)、第五代接入技术(fifthgeneration，5G)等进行无线连接，具体此处不做限定。
具体的，该显示设备可以是抬头显示系统(head up display，HUD)，还可以是增强现实抬头显示系统(augmented reality-head up display，AR-HUD)，或者带有投影成像功能的显示设备，具体此处不做限定。
具体的，特征采集设备可以是相机，还可以是单独的摄像头，或者是带有处理功能的摄像机，例如人眼追踪设备，具体此处不做限定。
可选的，显示设备还包括计算处理单元，该计算处理单元用于处理其他设备发送的信息，例如图像信息等，该计算处理单元可以集成与该显示设备中，也可以独立于显示设备之外的处理设备，具体此处不做限定。
在该人机交互系统中，显示设备用于将需要显示的图像投影在汽车的前挡风玻璃上，具体的，该显示设备还可以包括光学系统，该光学系统用于将需要显示的图像投射在汽车的前挡风玻璃上。特征采集设备用于获取用户的特征信息，并将该特征信息传输给计算处理单元，计算处理单元进行相关的计算，并将计算结果反馈给显示设备，具体的，该特征信息可以是人眼信息。显示设备再通过调整投影系统来适配用户的观看，使得用户在不同的位置都能观看到完整的投影虚像。
本申请实施例中，根据不同的实施方式，还可以包括更多的使用场景，如图2所示，为本申请提供的人机交互系统的另一示意图。
本申请实施例还提供了一种人机交互系统，该人机交互系统包括显示设备，拍摄设备和汽车的前挡风玻璃，拍摄设备和显示设备可以通过有线连接，也可以通过无线连接，具体此处不做限定。其中，拍摄设备和显示设备的连接方式与图1所示的人机交互系统中的特征采集设备与显示设备的连接方式类似，具体此处不再赘述。
具体的，该显示设备可以是抬头显示系统(head up display，HUD)，还可以是增强现实抬头显示系统(augmented reality-head up display，AR-HUD)，或者带有投影成像功能的显示设备，具体此处不做限定。
具体的，拍摄设备可以是相机，还可以是单独的摄像头，或者是带有处理功能的摄像机，例如人眼模拟设备，具体此处不做限定。
可选的，显示设备还包括计算处理单元，该计算处理单元用于处理其他设备发送的信息，例如图像信息等，该计算处理单元可以集成与该显示设备中，也可以独立于显示设备之外的处理设备，具体此处不做限定。
拍摄设备用于在特定的视场空间内模拟人眼的视觉角度对投影的图像进行拍摄，该特定的视场空间为车内可部分观察或者可全部观察到投影虚像的空间。
如图2所示的场景为人机交互系统的一种可实现方式中，在人机交互系统投入使用之前的准备阶段的场景，该场景下通过拍摄设备在特定的视场空间内的各个不同的角度对投影的虚像进行拍摄，再将拍摄的图像传输给计算处理单元，计算处理单元进行相关的计算，再将计算结果反馈给显示设备，显示设备从而根据不同的拍摄设备在不同的位置的信息来设置不同的预畸变模型，在人机交互系统投入使用的阶段，再根据用户在不同观看位置的情况，获取对应的预畸变模型调整投影虚像，进而让用户可以在不同的位置都能观看到完整的投影虚像。
为了方便理解本申请实施例，下面对本申请实施例中使用到的名词做一定的解释：
眼盒范围：在AR-HUD显示技术中，当驾驶员的眼睛处于眼盒范围内时，可以看到AR-HUD投影的完整的投影虚像。当驾驶员的眼睛超出设计的眼盒范围时，则会导致驾驶员只能看见部分投影虚像或者完全看不见投影虚像。
下面结合图1和图2所示的人机交互系统，对本申请实施例中的数据处理方法进行描述。
本申请实施例中，在人眼追踪装置获取到人眼特征信息并发送给AR-HUD显示系统之后，AR-HUD显示系统可以通过预先设置的预畸变模型来进行投影虚像的校正，也可以通过人眼追踪装置获取人眼的注视信息，并通过人眼的注视信息和人眼的特征信息得到预畸变模型，进而通过预畸变模型对投影虚像进行校正。下面对两种不同的实施方式分别进行描述。
一、通过预先设置的预畸变模型进行投影虚像的校正。
请参阅图3，为本申请实施例数据处理方法的一个流程示意图。
本实施例中，以AR-HUD显示系统表示第一设备，人眼追踪装置表示第二设备，人眼模拟设备表示第三设备为例进行说明。
在步骤301中，人眼模拟设备向AR-HUD显示系统发送至少两个第一图像信息。
在人机交互系统投入使用之前，会对人机交互系统进行预先的设置或者训练。在预先设置或者训练的阶段，人眼模拟设备会在预设坐标系中的不同位置采集由AR-HUD投影的图像的信息，即采集第一图像信息。在采集到至少两个第一图像信息之后，人眼模拟设备向AR-HUD显示系统发送该至少两个第一图像信息。
具体的，AR-HUD显示系统会先确定AR-HUD显示系统的可用视场范围，并且将该可用视场范围分为若干个小区域，并记录若干个小区域的中心点在预设坐标系中的位置信息，该若干个小区域的中心点在预设坐标系中的位置信息即表示预设置位置信息，该预设置位置信息是由AR-HUD显示系统预先设置的。
在一种可能的实现方式中，如图5所示，当预设坐标系为以人眼追踪装置为原点的相机坐标系时，则AR-HUD显示系统记录若干个小区域的中心点在相机坐标系下的位置坐标。
在一种可能的实现方式中，如图6所示，当预设坐标系为以AR-HUD显示系统为原点的世界坐标系时，则AR-HUD显示系统记录若干个小区域的中心点在世界坐标系下的位置坐标。
在AR-HUD系统记录了若干个小区域的中心点在预设坐标系中的位置信息之后，将人眼模拟设备安装或者放置在各个位置信息对应的空间点对投影虚像进行采集。需要说明的是，该采集的方式可以有很多种，例如通过拍摄的方式，或者通过摄影的方式，具体此处不做限定。例如，将人眼模拟设备放置在相机坐标系下的(12,31,22)对应的空间点，对AR-HUD显示系统投影的投影虚像进行拍摄。
在一种可能的实现方式中，在通过人眼模拟设备对投影虚像进行采集之前，还可以通过AR-HUD显示系统对投影虚像进行标定，例如通过棋盘格式进行标定，或者通过点阵图的方式进行标定，具体此处不做限定。
对投影虚像进行标定可以让图像在后期计算对应的畸变量时，可以通过标定的点进行计算，相对于对未标定的图像进行计算，可以提升计算畸变量的精准度。
在步骤302中，AR-HUD显示系统获取标准图像信息。
AR-HUD显示系统接收人眼模拟设备发送的至少两个第一图像信息之后，AR-HUD显示系统从本地获取标准图像信息，该标准图像信息表示未产生畸变的投影图像。
可选地，在一种可能的实现方式中，获取到的标准图像是经过标定的标准图像，具体的标定的方式可以通过棋盘格式进行标定或者点阵图的方式进行标定，具体此处不做限定，优选地，该标准图像的标定方式可以和接收到的至少两个第一图像信息的标定方式相同。
在步骤303中，AR-HUD显示系统将至少两个第一图像信息分别与标准图像进行比较，以得到至少两个预设置畸变量。
AR-HUD显示系统在获取了标准图像之后，将接收到的至少两个第一图像信息分别与标准图像进行比较，从而得到至少两个预设置畸变量，该预设置畸变量表示第一图像信息相对于标准图像信息的畸变量。
具体的，在一种可能的实现方式当中，当第一图像信息和标准图像分别进行了标定后，AR-HUD显示系统通过计算标准图像的标定点和第一图像信息中的标点的变换公式，例如该标准图像标定了一个100*100的点阵，第一图像信息中有一个80*80的点阵，则通过计算80*80的点阵变换到100*100的点阵的变换公式，得到预设置畸变量。
在实际应用过程中，由于第一图像信息相对于标准图像信息的畸变情况比较复杂，因此可以设计相对应的计算方式，具体的计算方式此处不做限定。
在步骤304中，AR-HUD显示系统根据至少两个预设置畸变量分别计算以得到至少两个第一预畸变模型。
在AR-HUD显示系统得到至少两个预设置畸变量之后，AR-HUD显示系统根据至少两个预设置畸变量分别进行计算，以得到至少两个第一预畸变模型，且该至少两个预畸变模型与第一图像信息一一对应。
具体的，在一种可能的实现方式中，AR-HUD显示系统可以通过标准图像和预设置畸变量进行计算，得到标准图像对应的变换数学模型，即该变换数学模型为第一预畸变模型。在实际应用过程中，AR-HUD显示系统可以根据该变换数学模型调整标准图像并投影该调整后的图像，使得用户在该变换数学模型对应的第一图像信息中的位置信息观看投影图像时，可以看到完整的标准图像。
具体的，在一种可能的实现方式中，AR-HUD显示系统还可以通过预设置畸变量和AR-HUD显示系统的投影参数进行计算，得到修改的投影参数，即该修改的投影参数为第一预畸变模型。在实际应用过程中，AR-HUD显示系统可以根据修改后的投影参数进行投影标准图像，由于投影参数被修改，则标准图像根据投影参数的变化而变化，由于该投影参数是根据预设置畸变量得到的，因此用户在该投影参数对应的第一图像信息中的位置信息观看投影图像时，可以看到完整的标准图像。
具体的，在得到多个第一预畸变模型之后，可以建立多个第一预畸变模型中每个第一预畸变模型和对应的第一图像信息中位置信息的对应关系，并将该对应关系存储在AR-HUD显示系统本地。
在步骤305中，人眼追踪装置采集第二图像信息。
在人机交互系统投入使用阶段，当用户进入车内时，人眼追踪装置采集第二图像信息，该第二图像信息包括了用户的特征信息。
具体的，在一种可能的实现方式中，用户的特征信息包括人眼信息。当用户进入车内时，人眼追踪装置对用户进行拍照或者录像，以采集到用户的第二图像信息，该第二图像信息包括用户的人眼信息。当人眼追踪装置通过录像的方式采集时，则在采集之后，通过录像中的画面帧提取，来确定用户的图像信息。
可以理解的是，该特征信息还可以包括更多的信息，例如脸部信息，鼻子信息，嘴部信息等等，具体此处不做限定。
在步骤306中，人眼追踪装置通过特征识别算法计算以得到特征信息在第二图像信息中的特征位置信息。
在人眼追踪装置在采集到第二图像信息之后，人眼模拟设备通过特征识别算法计算，以得到特征信息在第二图像信息中的特征位置信息，该特征位置信息表示特征信息在第二图像信息中的位置信息。
具体的，在一种可能的实现方式中，人眼追踪装置通过人眼识别算法识别用户的人眼信息在第二图像信息中的位置信息，进而获得人眼在图像坐标系中的位置，如图7所示，该图像坐标系表示以图像中心为坐标原点的二维坐标系。例如通过霍夫曼圆检测法识别用户的人眼信息在第二图像信息中的位置信息。或者通过卷积神经网络的方式识别用户的人眼信息在第二图像信息中的位置信息，具体此处不做限定。
在步骤307中，人眼追踪装置采集深度信息。
人眼追踪装置还用于采集深度信息，该深度信息表示用户的特征信息到人眼追踪装置的直线距离。
具体的，在一种可能的实现方式中，人眼追踪装置通过测距功能获得用户的人眼信息到人眼追踪装置的直线距离。例如，人眼追踪装置通过红外测距的方式，获得用户的人眼信息到人眼追踪装置的直线距离，可以理解的是，还可以通过其他方式获得该深度信息，例如通过超声波测距的方式，具体此处不做限定。
在步骤308中，人眼追踪装置通过特征位置信息和深度信息计算以得到第一位置信息。
人眼追踪装置在采集到深度信息之后，人眼追踪装置通过特征位置信息和深度信息进行计算，以得到第一位置信息，该第一位置信息表示用户的特征信息在预设坐标系中的位置信息。
具体的，在一种可能的实现方式中，当预设坐标系为相机坐标系时，人眼追踪装置通过特征位置信息和深度信息以及人眼追踪装置的内参计算得到第一位置信息。例如，可以通过如下公式计算得到：
zc＝ds
xc＝Z(u-Cu)/fu
yc＝Z(v-Cv)/fv
其中，zc表示用户的特征信息在相机坐标系中的位置信息中的Z轴对应的值，xc表示用户的特征信息在相机坐标系中的位置信息中的X轴对应的值，yc表示用户的特征信息在相机坐标系中的位置信息中的Y轴对应的值，d表示深度信息，s表示人眼追踪装置的内参中的缩放因子，fu表示人眼追踪装置的内参中的水平方向的焦距，fv表示人眼追踪装置的内参中垂直方向的焦距，u表示特征位置信息中图像坐标系中的X轴对应的值，v表示特征位置信息中图像坐标系中Y轴对应的值，Cu和Cv表示图像坐标系中的原点坐标对应的X轴和Y轴的值。
需要说明的是，当预设坐标系为相机坐标系时，第一位置信息等于用户的特征信息在相机坐标系中的位置信息。
可以理解的是，在实际应用过程中，还可以通过其他公式得到用户的特征信息在相机坐标系中的位置信息中，具体此处不做限定。
当预设坐标系是以AR-HUD显示系统为原点的世界坐标系时，第一位置信息表示用户的特征信息在世界坐标系中的位置信息，则人眼追踪装置根据用户的特征信息在相机坐标系中的位置信息计算得到第一位置信息。
具体的，在一种可能的实现方式中，人眼追踪装置可以通过如下方式计算得到第一位置信息：
Figure BDA0002494738650000111
R＝RZ*RY*RX,T＝(tx,ty,tz)T
Figure BDA0002494738650000112
其中，ω、δ和θ为旋转参数(ω，δ，θ)，tx、ty和tz为三个轴的平移参数(tx，ty，tz)，xw为用户的特征信息在世界坐标系中的位置信息中X轴的值，yw为用户的特征信息在世界坐标系中的位置信息中Y轴的值，zw为用户的特征信息在世界坐标系中的位置信息中Z轴的值，zc表示用户的特征信息在相机坐标系中的位置信息中的Z轴对应的值，xc表示用户的特征信息在相机坐标系中的位置信息中的X轴对应的值，yc表示用户的特征信息在相机坐标系中的位置信息中的Y轴对应的值。
可以理解的是，还可以通过其他公式计算出用户的特征信息在世界坐标系中的位置信息，具体此处不做限定。
在步骤309中，人眼追踪装置向AR-HUD显示系统发送第一位置信息。
人眼追踪装置在得到第一位置信息之后，人眼追踪装置将第一位置信息发送给AR-HUD显示系统。
在步骤310中，AR-HUD显示系统根据第一位置信息获取第二位置信息。
AR-HUD在接收到人眼追踪装置发送的AR-HUD显示系统之后，AR-HUD显示系统根据第一位置信息获取第二位置信息，该第二位置信息表示多个预设置位置信息中与第一位置信息在预设坐标系中的距离小于预设阈值的位置信息。
具体的，在一种可能的实现方式中，AR-HUD显示系统根据第一位置信息和多个预设置位置信息中每个预设置位置信息分别进行计算，得到与第一位置信息在预设坐标系中的距离最小的预设置位置信息。例如，可以通过如下公式进行计算：
Figure BDA0002494738650000113
其中，j表示预设置位置信息与第一位置信息的距离最小的值对应的索引号，xi表示预设置位置信息中X轴的值，yi表示预设置位置信息中Y轴的值，zi表示预设置位置信息中Z轴的值，xw为用户的特征信息在世界坐标系中的位置信息中X轴的值，yw为用户的特征信息在世界坐标系中的位置信息中Y轴的值，zw为用户的特征信息在世界坐标系中的位置信息中Z轴的值。
可以理解的是，还可以通过其他公式计算得到预设置位置信息与第一位置信息的距离，例如，当第一位置信息为用户的特征信息在相机坐标系中的位置信息时，则使用对应的相机坐标系中的位置信息的取值(xc，yc，zc)代替上述公式中(xw，yw，zw)，具体的计算公式此处不做限定。
通过上述方法得出每个预设置位置信息与第一位置信息的距离，再从中选出与第一位置信息距离小于预设范围的预设置位置信息作为第二位置信息，优选地，可以从中选出与第一位置信息距离最小的预设置位置信息作为第二位置信息。
在步骤311中，AR-HUD显示系统获取第二位置信息对应的第一预畸变模型。
AR-HUD显示系统在获得了第二位置信息之后，从本地中查找第二位置信息对应的第一预畸变模型。
在步骤312中，AR-HUD显示系统根据第一预畸变模型校正投影图像。
AR-HUD显示系统在获得了第一预畸变模型之后，AR-HUD显示系统根据第一预畸变模型校正第一设备投影的图像。
具体的，在一种可能的实现方式当中，当第一预畸变模型表示标准图像的变换数学模型时，则AR-HUD显示系统根据该变换数学模型调整标准图像并投影该调整后的图像，使得用户的人眼在该变换数学模型对应的预设置位置信息观看投影图像时，可以看到完整的标准图像。
具体的，在一种可能的实现方式中，AR-HUD显示系统可以根据变换数学模型，通过CPU、GPU及FPGA中的一种或者多种来处理标准图像，以得到调整后的图像，使得用户的人眼在该变换数学模型对应的预设置位置信息观看调整后的投影图像时，可以看到完整的标准图像。可以理解的是，还可以通过其他方式来处理标准图像以达到调整图像的目的，具体此处不做限定。
具体的，在一种可能的实现方式中，当第一预畸变模型表示修改的投影参数时，则AR-HUD显示系统根据修改后的投影参数进行投影标准图像，由于投影参数被修改，则标准图像根据投影参数的变化而变化，由于该投影参数是根据预设置畸变量得到的，因此用户的人眼在该投影参数对应的预设置位置信息观看投影图像时，可以看到完整的标准图像。
具体的，在一种可能的实现方式中，AR-HUD显示系统可以根据修改的投影参数，对硅基液晶LCOS、数字光处理技术DLP以及液晶显示器LCD中的一种或者多种进行光调制，这样可以让用户的人眼在该投影参数对应的预设置位置信息观看经过光调制的投影图像时，可以看到完整的标准图像。可以理解的是，还可以通过其他方式来进行光调制以达到调整投影图像的目的，具体此处不做限定。
本实施例中，步骤301至步骤304为人机交互系统在投入使用之前准备阶段的步骤，因此在实际应用过程中，即在人机交互系统使用阶段时，可以只执行步骤305至步骤312，具体此处不做限定。
本实施例中，AR-HUD显示系统通过人眼追踪装置采集到的用户的特征信息，进而确定第一预畸变模型，再根据第一预畸变模型校正投影图像，可以使得用户在不同的位置都可以观看到完整的投影图像，提升了用户的视觉体验。
二、通过人眼追踪装置实时获取人眼的注视信息进而对投影虚像进行校正。
请参阅图4，为本申请实施例数据处理方法另一流程示意图。
本实施例中，以AR-HUD显示系统表示第一设备，人眼追踪装置表示第二设备为例进行说明。
在步骤401中，人眼追踪装置采集第二图像信息。
在步骤402中，人眼追踪装置通过特征识别算法计算以得到特征信息在第二图像信息中的特征位置信息。
在步骤403中，人眼追踪装置采集深度信息。
在步骤404中，人眼追踪装置通过特征位置信息和深度信息计算以得到第一位置信息。
本实施例中步骤401至404所执行的方法步骤与前述图3所示实施例中的步骤305至308类似，具体此处不再赘述。
在步骤405中，人眼追踪装置获取用户的注视信息。
人眼追踪装置还用于获取用户的注视信息，该注视信息表示用户注视基准点的信息，基准点标定在第一设备投影的图像中。
具体的，在一种可能的实现方式中，当用户进入车内时，由用户来选择是否启动校准模式，该校准模式用于对当前的投影虚像进行校准。若用户启动了校准模式，则由AR-HUD系统投影出带有基准点标定的图像信息，例如点阵图标定法标定的图像或者棋盘标定法棋盘标定法标定的图像，该基准点就表示点阵图中的点或者棋盘中的点，具体此处不做限定。可以理解的是，该校准模式还可以通过自动启动来实现，例如，当检测到当前用户进入车内时，自动启动校准模式，具体启动校准模式的时机或者方式此处不做限定。
AR-HUD显示系统在投影了带有基准点标定的图像信息之后，就通过给用户发送指示信息来提示用户注视图像信息中的点，人眼追踪装置采集用户的人眼在注视时的人眼信息，得到注视信息。例如，AR-HUD显示系统发出系统语音提示用户进入校准模式，并将经过标定的图像信息投影到前挡风玻璃上。系统语音还指示用户逐个注视图像信息中的标定的基准点，当用户的人眼注视基准点的时间超过预置的时间段，例如人眼注视基准点的时间超过3秒时，则AR-HUD显示系统确定用户注视了该基准点，并获取对应的人眼信息。可以理解的是，这里的预置的时间段为3秒仅仅是示例，在实际应用过程中，可以根据场景的不同而设置不同的值，具体此处不做限定。需要说明的是，该指示信息可以是系统语音，或者投影图像上用来指示用户观看基准点的信息，具体此处不做限定。
具体的，在一种可能的实现方式中，当用户根据提示信息注视基准点时，人眼追踪装置通过发射红外线的方式，在人眼的瞳孔处形成一个亮斑，该亮斑由人眼追踪装置到人眼瞳孔的角度的不同而在瞳孔的不同位置形成亮斑，再通过亮斑相对于瞳孔中心点的位置，就能计算出人眼的视线方向，人眼追踪装置再根据人眼在预设坐标系中的位置，和人眼的视线方向确定人眼在投影虚像中实际观察到的基准点的坐标。
可以理解的是，在实际应用过程中，人眼追踪装置还可以通过其他方式采集人眼观察到的基准点的坐标，具体此处不做限定。
在人眼追踪装置采集人眼注视每个基准点的过程时，因为有的基准点已经超过了用户在当前位置可观察到的视场范围，所以人眼追踪装置则采集不到该基准点下的人眼观察基准点的坐标。当用户注视了每个可观察到的基准点之后，人眼追踪装置采集到的坐标点可以组成一个人眼标定图像信息，该人眼标定图像信息即是用户在当前位置可以观察到的标定的图像信息，即注视信息。
在步骤406中，人眼追踪装置向AR-HUD显示系统发送第一位置信息和注视信息。
人眼追踪装置在得到第一位置信息和注视信息之后，人眼追踪装置将第一位置信息和注视信息发送给AR-HUD显示系统。
在步骤407中，AR-HUD显示系统根据注视信息确定第一视场范围。
AR-HUD显示系统在接收到了注视信息之后，根据注视信息确定第一视场范围，该第一视场范围表示用户在当前位置可以观察到的视场范围。
具体的，AR-HUD显示系统根据注视信息中的人眼标定图像信息确定第一视场范围。
在步骤408中，AR-HUD显示系统根据注视信息和第一位置信息确定第一畸变量。
AR-HUD显示系统在确定了第一视场范围后，根据第一位置信息和注视信息确定第一畸变量，第一畸变量表示人眼标定图像相对标准图像的畸变量，标准图像为未产生畸变的投影图像。
具体的，在一种可能的实现方式中，AR-HUD显示系统根据第一位置信息中用户的人眼信息在预设坐标系中的位置信息，和注视信息中的人眼标定图像信息中的每个基准点的坐标，得到人眼标定图像相对于第一位置信息的坐标信息，再通过坐标转换，得到人眼标定图像在预设坐标系中的位置信息。再通过计算人眼标定图像在预设坐标系中的位置信息和标准图像在预设坐标系中的位置信息得到第一畸变量。
可以理解的是，在实际应用过程中，还可以通过其他方式确定第一畸变量，例如通过人眼标定图像中的某一个基准点在预设坐标系中的位置信息和用相同标定法标定的标准图像中对应的基准点在预设坐标系中的位置信息，得到第一畸变量，具体此处不做限定。
在步骤409中，AR-HUD显示系统根据第一视场范围和第一畸变量得到第一预畸变模型。
在AR-HUD显示系统得到第一畸变量之后，AR-HUD显示系统根据第一视场范围和第一畸变量得到第一预畸变模型。
具体的，在一种可能的实现方式中，AR-HUD显示系统根据用户的人眼在当前位置中可以看到的视场范围来确定投影虚像可以投射的范围大小，再根据第一畸变量和标准图像进行计算，得到标准图像对应的变换数学模型，再根据标准图像对应的变换数学模型，和投影虚像可以投射的范围大小来确定第一预畸变模型。
具体的，在一种可能的实现方式中，AR-HUD显示系统根据用户的人眼在当前位置中可以看到的视场范围来确定投影虚像可以投射的范围大小，再根据第一畸变量和AR-HUD显示系统的投影参数进行计算，得到修改的投影参数，再根据修改的投影参数，和投影虚像可以投射的范围大小来确定第一预畸变模型。
可以理解的是，在实际应用过程中，还可以根据其他方式确定第一预畸变模型，具体此处不做限定。
在步骤410中，AR-HUD显示系统根据第一预畸变模型校正投影图像。
本实施例中的步骤410与前述图3所示实施例中的步骤312类似，具体此处不再赘述。
本实施例中，AR-HUD显示系统通过采集人眼的注视信息进而确定第一预畸变模型，从而根据第一预畸变模型校正投影图像，使得用户可以实时的对投影图像进行校准，提升了用户的体验。
上面对本申请实施例中的信息处理方法进行了描述，下面对本申请实施例中的设备进行描述，请参阅图8，为本申请提供的显示设备的一个实施例的结构示意图。
一种显示设备，包括：
接收单元801，用于接收第二设备发送的第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息；
处理单元802，用于根据第一位置信息得到第一预畸变模型；
校正单元803，用于根据第一预畸变模型校正投影图像，投影图像为第一设备投影的图像。
本实施例中，显示设备各单元所执行的操作与前述图2和图3所示实施例中AR-HUD显示系统描述的类似，此处不再赘述。
请参阅图9，为本申请提供的显示设备的另一实施例的结构示意图。
一种显示设备，包括：
接收单元901，用于接收第二设备发送的第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息；
处理单元902，用于根据第一位置信息得到第一预畸变模型；
校正单元903，用于根据第一预畸变模型校正投影图像，投影图像为第一设备投影的图像。
可选地，显示设备还包括：
获取单元904，用于根据第一位置信息获取第二位置信息，第二位置信息为多个预设置位置信息中与第一位置信息在预设坐标系中的距离小于预设阈值的位置信息，预设置位置信息为第一设备预先设置的；
获取单元904还用于获取第二位置信息对应的第一预畸变模型。
可选地，接收单元901还用于接收第三设备发送的至少两个第一图像信息，至少两个第一图像信息表示第三设备在预设坐标系中的不同位置采集到的第一设备投影的图像的信息；
获取单元904还用于获取标准图像信息，标准图像信息表示未产生畸变的投影图像；
处理单元902还用于将至少两个第一图像信息分别与标准图像信息进行比较，以得到至少两个预设置畸变量，预设置畸变量表示第一图像信息相对于标准图像信息的畸变量；
处理单元902还用于根据至少两个预设置畸变量分别计算以得到至少两个第一预畸变模型，至少两个第一预畸变模型与第一图像信息一一对应。
可选地，接收单元901还用于接收第二设备发送的注视信息，注视信息表示用户注视基准点的信息，基准点标定在第一设备投影的图像中；
显示设备还包括：
确定单元905，用于根据注视信息确定第一视场范围，第一视场范围表示用户观察到的视场范围；
确定单元905还用于根据注视信息和第一位置信息确定第一畸变量，第一畸变量表示人眼标定图像相对标准图像的畸变量，人眼标定图像表示第一设备的投影图像在用户的人眼中呈现的图像，标准图像为未产生畸变的投影图像；
处理单元902还用于根据第一视场范围和第一畸变量得到第一预畸变模型。
可选地，用户的特征信息包括用户的人眼信息。
可选地，校正单元903具体用于根据第一预畸变模型，通过中央处理器CPU、图形处理器GPU及现场可编程逻辑门阵列FPGA中的一种或多种进行图像处理以校正投影图像。
可选地，校正单元903具体用于根据第一预畸变模型，通过硅基液晶LCOS、数字光处理技术DLP及液晶显示器LCD中的一种或多种进行光调制以校正投影图像。
本实施例中，显示设备各单元所执行的操作与前述图2和图3所示实施例中AR-HUD显示系统描述的类似，此处不再赘述。
请参阅图10，为本申请提供的特征采集设备的一个实施例的结构示意图。
一种特征采集设备，包括：
获取单元1001，用于获取第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息，第一位置信息用于第一设备校正投影图像，投影图像为第一设备投影的图像；
发送单元1002，用于向第一设备发送第一位置信息。
本实施例中，特征采集设备各单元所执行的操作与前述图2和图3所示实施例中人眼追踪装置描述的类似，此处不再赘述。
请参阅图11，为本申请提供的特征采集设备的另一实施例的结构示意图。
获取单元1101，用于获取第一位置信息，第一位置信息包括第一特征在预设坐标系中的位置信息，第一特征表示用户的特征信息，第一位置信息用于第一设备校正投影图像，投影图像为第一设备投影的图像；
发送单元1102，用于向第一设备发送第一位置信息。
可选地，特征采集设备还包括：
采集单元1103，用于采集第二图像信息，第二图像信息包括用户的特征信息；
处理单元1104，用于根据第二图像信息计算以获取第一位置信息。
可选地，处理单元1104具体用于通过特征识别算法计算以得到特征信息在第二图像信息中的特征位置信息；
处理单元1104具体用于通过特征位置信息计算以得到第一位置信息。
可选地，采集单元1103还用于采集深度信息，深度信息表示特征信息到第二设备的直线距离；
处理单元1104还用于通过特征位置信息计算以得到第一位置信息包括：
处理单元1104还用于通过特征位置信息和深度信息计算以得到第一位置信息。
可选地，特征信息包括用户的人眼信息。
可选地，获取单元1101还用于获取用户的注视信息，注视信息表示用户注视基准点的信息，基准点标定在第一设备投影的图像中，注视信息用于确定第一畸变量，第一畸变量用于确定第一预畸变模型，第一预畸变模型用于校正投影图像；
发送单元1102还用于向第一设备发送第一位置信息和注视信息。
本实施例中，特征采集设备各单元所执行的操作与前述图2和图3所示实施例中人眼追踪装置描述的类似，此处不再赘述。
需要说明的是，在实际应用过程中，本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。例如，特征采集设备的获取单元可以是摄像头，确定单元可以是处理器，或者，显示设备中的获取单元和确定单元都可以对应在一个处理器上，由处理器来实现获取单元和确定单元所描述的功能。
请参阅图12，为本申请提供的显示设备的另一实施例的结构示意图。
显示设备中包括处理器1201、存储器1202、总线1205、接口1204等设备，处理器1201与存储器1202、接口1204相连，总线1205分别连接处理器1201、存储器1202以及接口1204，接口1204用于接收或者发送数据，处理器1201是单核或多核中央处理单元，或者为特定集成电路，或者为被配置成实施本发明实施例的一个或多个集成电路。存储器1202可以为随机存取存储器(Random Access Memory，RAM)，也可以为非易失性存储器(non-volatile memory)，例如至少一个硬盘存储器。存储器1202用于存储计算机执行指令。具体的，计算机执行指令中可以包括程序1203。
本实施例中，该处理器1201可以执行前述图2和图3所示实施例中AR-HUD显示系统所执行的操作，具体此处不再赘述。
请参阅图13，为本申请提供的特征采集设备的另一实施例的结构示意图。
特征采集设备中包括处理器1301、存储器1302、总线1305、接口1304等设备，处理器1301与存储器1302、接口1304相连，总线1305分别连接处理器1301、存储器1302以及接口1304，接口1304用于接收或者发送数据，处理器1301是单核或多核中央处理单元，或者为特定集成电路，或者为被配置成实施本发明实施例的一个或多个集成电路。存储器1302可以为随机存取存储器(Random Access Memory，RAM)，也可以为非易失性存储器(non-volatile memory)，例如至少一个硬盘存储器。存储器1302用于存储计算机执行指令。具体的，计算机执行指令中可以包括程序1303。
本实施例中，该处理器1301可以执行前述图2和图3所示实施例中人眼追踪装置所执行的操作，具体此处不再赘述。
应理解，本申请以上实施例中提及的处理器，或者本申请上述实施例提供的处理器，可以是中央处理单元(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specificintegrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请中以上实施例中的处理器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。本申请实施例中的存储器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。
需要说明的是，当显示设备或者特征采集设备包括处理器(或处理单元)与存储单元时，本申请中的处理器可以是与存储单元集成在一起的，也可以是处理器与存储单元通过接口连接，可以根据实际应用场景调整，并不作限定。
本申请实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产品，该计算机程序在某一计算机上执行时，将会使所述计算机实现上述任一方法实施例中与AR-HUD显示系统或者人眼追踪装置的方法流程。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例中与AR-HUD显示系统或者人眼追踪装置相关的方法流程。
在上述图2-图3中各个实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (32)

1.一种数据处理方法，其特征在于，包括：
第一设备接收第二设备发送的第一位置信息，所述第一位置信息包括第一特征在预设坐标系中的位置信息，所述第一特征表示用户的特征信息；
所述第一设备根据所述第一位置信息得到第一预畸变模型；
所述第一设备根据所述第一预畸变模型校正投影图像，所述投影图像为所述第一设备投影的图像。
2.根据权利要求1所述的方法，其特征在于，所述第一设备根据所述第一位置信息得到第一预畸变模型包括：
所述第一设备根据所述第一位置信息获取第二位置信息，所述第二位置信息为多个预设置位置信息中与所述第一位置信息在所述预设坐标系中的距离小于预设阈值的位置信息，所述预设置位置信息为所述第一设备预先设置的；
所述第一设备获取所述第二位置信息对应的第一预畸变模型。
3.根据权利要求2所述的方法，其特征在于，所述在第一设备接收第二设备发送的第一位置信息之前，所述方法还包括：
所述第一设备接收第三设备发送的至少两个第一图像信息，所述至少两个第一图像信息表示所述第三设备在所述预设坐标系中的不同位置采集到的所述第一设备投影的图像的信息；
所述第一设备获取标准图像信息，所述标准图像信息表示未产生畸变的投影图像；
所述第一设备将所述至少两个第一图像信息分别与所述标准图像信息进行比较，以得到至少两个预设置畸变量，所述预设置畸变量表示所述第一图像信息相对于所述标准图像信息的畸变量；
所述第一设备根据所述至少两个预设置畸变量分别计算以得到至少两个第一预畸变模型，所述至少两个第一预畸变模型与所述第一图像信息一一对应。
4.根据权利要求1所述的方法，其特征在于，所述第一设备根据所述第一位置信息得到第一预畸变模型包括：
所述第一设备接收所述第二设备发送的注视信息，所述注视信息表示所述用户注视基准点的信息，所述基准点标定在所述第一设备投影的图像中；
所述第一设备根据所述注视信息确定第一视场范围，所述第一视场范围表示所述用户观察到的视场范围；
所述第一设备根据所述注视信息和所述第一位置信息确定第一畸变量，所述第一畸变量表示人眼标定图像相对标准图像的畸变量，所述人眼标定图像表示所述第一设备的投影图像在所述用户的人眼中呈现的图像，所述标准图像为未产生畸变的投影图像；
所述第一设备根据所述第一视场范围和所述第一畸变量得到第一预畸变模型。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述用户的特征信息包括所述用户的人眼信息。
6.根据权利要求1至5中任一项所述的方法，其特征在于,所述第一设备根据所述第一预畸变模型校正投影图像包括：
所述第一设备根据所述第一预畸变模型，通过中央处理器CPU、图形处理器GPU及现场可编程逻辑门阵列FPGA中的一种或多种进行图像处理以校正所述投影图像。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一设备根据所述第一预畸变模型校正投影图像包括：
所述第一设备根据所述第一预畸变模型，通过硅基液晶LCOS、数字光处理技术DLP及液晶显示器LCD中的一种或多种进行光调制以校正所述投影图像。
8.一种数据处理方法，其特征在于，包括：
第二设备获取第一位置信息，所述第一位置信息包括第一特征在预设坐标系中的位置信息，所述第一特征表示用户的特征信息，所述第一位置信息用于第一设备校正投影图像，所述投影图像为所述第一设备投影的图像；
所述第二设备向所述第一设备发送所述第一位置信息。
9.根据权利要求8所述的方法，其特征在于，所述第二设备获取第一位置信息包括：
所述第二设备采集第二图像信息，所述第二图像信息包括所述用户的特征信息；
所述第二设备根据所述第二图像信息计算以获取所述第一位置信息。
10.根据权利要求9所述的方法，其特征在于，所述第二设备根据所述第一图像信息计算以获取所述第一位置信息包括：
所述第二设备通过特征识别算法计算以得到所述特征信息在所述第二图像信息中的特征位置信息；
所述第二设备通过所述特征位置信息计算以得到第一位置信息。
11.根据权利要求10所述的方法，其特征在于，所述第二设备通过所述特征位置信息计算以得到第一位置信息之前，所述方法还包括：
所述第二设备采集深度信息，所述深度信息表示所述特征信息到所述第二设备的直线距离；
所述第二设备通过所述特征位置信息计算以得到第一位置信息包括：
所述第二设备通过所述特征位置信息和所述深度信息计算以得到所述第一位置信息。
12.根据权利要求8至11中任一项所述的方法，其特征在于，所述特征信息包括所述用户的人眼信息。
13.根据权利要求8至12中任一项所述的方法，其特征在于，第二设备获取第一位置信息之后，所述方法还包括：
所述第二设备获取所述用户的注视信息，所述注视信息表示所述用户注视基准点的信息，所述基准点标定在所述第一设备投影的图像中，所述注视信息用于确定第一畸变量，所述第一畸变量用于确定第一预畸变模型，所述第一预畸变模型用于校正所述投影图像；
所述第二设备向所述第一设备发送所述第一位置信息包括：
所述第二设备向所述第一设备发送所述第一位置信息和所述注视信息。
14.一种显示设备，其特征在于，包括：
接收单元，用于接收第二设备发送的第一位置信息，所述第一位置信息包括第一特征在预设坐标系中的位置信息，所述第一特征表示用户的特征信息；
处理单元，用于根据所述第一位置信息得到第一预畸变模型；
校正单元，用于根据所述第一预畸变模型校正投影图像，所述投影图像为所述第一设备投影的图像。
15.根据权利要求14所述的显示设备，其特征在于，所述显示设备还包括：
获取单元，用于根据所述第一位置信息获取第二位置信息，所述第二位置信息为多个预设置位置信息中与所述第一位置信息在所述预设坐标系中的距离小于预设阈值的位置信息，所述预设置位置信息为所述第一设备预先设置的；
所述获取单元还用于获取所述第二位置信息对应的第一预畸变模型。
16.根据权利要求15所述的显示设备，其特征在于，所述接收单元还用于接收第三设备发送的至少两个第一图像信息，所述至少两个第一图像信息表示所述第三设备在所述预设坐标系中的不同位置采集到的所述第一设备投影的图像的信息；
所述获取单元还用于获取标准图像信息，所述标准图像信息表示未产生畸变的投影图像；
所述处理单元还用于将所述至少两个第一图像信息分别与所述标准图像信息进行比较，以得到至少两个预设置畸变量，所述预设置畸变量表示所述第一图像信息相对于所述标准图像信息的畸变量；
所述处理单元还用于根据所述至少两个预设置畸变量分别计算以得到至少两个第一预畸变模型，所述至少两个第一预畸变模型与所述第一图像信息一一对应。
17.根据权利要求14所述的显示设备，其特征在于，所述接收单元还用于接收所述第二设备发送的注视信息，所述注视信息表示所述用户注视基准点的信息，所述基准点标定在所述第一设备投影的图像中；
所述显示设备还包括：
确定单元，用于根据所述注视信息确定第一视场范围，所述第一视场范围表示所述用户观察到的视场范围；
所述确定单元还用于根据所述注视信息和所述第一位置信息确定第一畸变量，所述第一畸变量表示人眼标定图像相对标准图像的畸变量，所述人眼标定图像表示所述第一设备的投影图像在所述用户的人眼中呈现的图像，所述标准图像为未产生畸变的投影图像；
所述处理单元还用于根据所述第一视场范围和所述第一畸变量得到第一预畸变模型。
18.根据权利要求14至17中任一项所述的显示设备，其特征在于，所述用户的特征信息包括所述用户的人眼信息。
19.根据权利要求14至18中任一项所述的显示设备，其特征在于,所述校正单元具体用于根据所述第一预畸变模型，通过中央处理器CPU、图形处理器GPU及现场可编程逻辑门阵列FPGA中的一种或多种进行图像处理以校正所述投影图像。
20.根据权利要求14至18中任一项所述的显示设备，其特征在于，所述校正单元具体用于根据所述第一预畸变模型，通过硅基液晶LCOS、数字光处理技术DLP及液晶显示器LCD中的一种或多种进行光调制以校正所述投影图像。
21.一种特征采集设备，其特征在于，包括：
获取单元，用于获取第一位置信息，所述第一位置信息包括第一特征在预设坐标系中的位置信息，所述第一特征表示用户的特征信息，所述第一位置信息用于第一设备校正投影图像，所述投影图像为所述第一设备投影的图像；
发送单元，用于向所述第一设备发送所述第一位置信息。
22.根据权利要求21所述的特征采集设备，其特征在于，所述特征采集设备还包括：
采集单元，用于采集第二图像信息，所述第二图像信息包括所述用户的特征信息；
处理单元，用于根据所述第二图像信息计算以获取所述第一位置信息。
23.根据权利要求22所述的特征采集设备，其特征在于，所述处理单元具体用于通过特征识别算法计算以得到所述特征信息在所述第二图像信息中的特征位置信息；
所述处理单元具体用于通过所述特征位置信息计算以得到第一位置信息。
24.根据权利要求23所述的特征采集设备，其特征在于，所述采集单元还用于采集深度信息，所述深度信息表示所述特征信息到所述第二设备的直线距离；
所述处理单元还用于通过所述特征位置信息计算以得到第一位置信息包括：
所述处理单元还用于通过所述特征位置信息和所述深度信息计算以得到所述第一位置信息。
25.根据权利要求21至24中任一项所述的特征采集设备，其特征在于，所述特征信息包括所述用户的人眼信息。
26.根据权利要求21至25中任一项所述的特征采集设备，其特征在于，所述获取单元还用于获取所述用户的注视信息，所述注视信息表示所述用户注视基准点的信息，所述基准点标定在所述第一设备投影的图像中，所述注视信息用于确定第一畸变量，所述第一畸变量用于确定第一预畸变模型，所述第一预畸变模型用于校正所述投影图像；
所述发送单元还用于向所述第一设备发送所述第一位置信息和所述注视信息。
27.一种显示设备，其特征在于，所述显示设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述显示设备执行如权利要求1-7中任一项所述的方法。
28.一种特征采集设备，其特征在于，所述特征采集设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述特征采集设备执行如权利要求8-13中任一项所述的方法。
29.一种显示设备，其特征在于，包括：处理器和接口电路；
所述接口电路，用于接收代码指令并传输至所述处理器；
所述处理器，用于运行所述代码指令以执行如权利要求1-7中任一项所述的方法。
30.一种特征采集设备，其特征在于，包括：处理器和接口电路；
所述接口电路，用于接收代码指令并传输至所述处理器；
所述处理器，用于运行所述代码指令以执行如权利要求8-13中任一项所述的方法。
31.一种人机交互系统，其特征在于，包括：
显示设备，用于执行如权利要求1-7中任一项所述的方法；
特征采集设备，用于执行如权利要求8-13中任一项所述的方法。
32.一种可读存储介质，用于存储有指令，当所述指令被执行时，使如权利要求1-13中任一项所述的方法被实现。
CN202010415230.XA 2020-05-15 2020-05-15 一种数据处理方法及其设备 Pending CN113672077A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010415230.XA CN113672077A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备
CN202111556499.0A CN114415826A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备
PCT/CN2021/092269 WO2021227969A1 (zh) 2020-05-15 2021-05-08 一种数据处理方法及其设备
EP21803436.1A EP4141621A4 (en) 2020-05-15 2021-05-08 DATA PROCESSING METHOD AND CORRESPONDING DEVICE
US17/986,344 US20230077753A1 (en) 2020-05-15 2022-11-14 Data Processing Method and Device Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415230.XA CN113672077A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111556499.0A Division CN114415826A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备

Publications (1)

Publication Number Publication Date
CN113672077A true CN113672077A (zh) 2021-11-19

Family

ID=78525245

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111556499.0A Pending CN114415826A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备
CN202010415230.XA Pending CN113672077A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111556499.0A Pending CN114415826A (zh) 2020-05-15 2020-05-15 一种数据处理方法及其设备

Country Status (4)

Country Link
US (1) US20230077753A1 (zh)
EP (1) EP4141621A4 (zh)
CN (2) CN114415826A (zh)
WO (1) WO2021227969A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019686A (zh) * 2021-11-23 2022-02-08 芜湖汽车前瞻技术研究院有限公司 抬头显示器的虚像显示方法、装置、设备和介质
CN115002431B (zh) * 2022-05-20 2023-10-27 广景视睿科技（深圳）有限公司 一种投影方法、控制装置和投影系统
CN116017174B (zh) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 Hud畸变矫正方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITBO20060027A1 (it) * 2006-01-17 2007-07-18 Ferrari Spa Metodo di controllo di sistema hud per un veicolo stradale
DE102010040694A1 (de) * 2010-09-14 2012-03-15 Robert Bosch Gmbh Head-up-Display
KR20170135522A (ko) * 2016-05-31 2017-12-08 엘지전자 주식회사 차량용 제어장치 및 그것의 제어방법
CN107333121B (zh) * 2017-06-27 2019-02-26 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
US10481599B2 (en) * 2017-07-24 2019-11-19 Motorola Solutions, Inc. Methods and systems for controlling an object using a head-mounted display
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN109086726B (zh) * 2018-08-10 2020-01-14 陈涛 一种基于ar智能眼镜的局部图像识别方法及系统
CN109688392B (zh) * 2018-12-26 2021-11-02 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN209542964U (zh) * 2019-03-12 2019-10-25 苏州车萝卜汽车电子科技有限公司 抬头显示装置
CN109917920B (zh) * 2019-03-14 2023-02-24 阿波罗智联(北京)科技有限公司 车载投射处理方法、装置、车载设备及存储介质
CN109803133B (zh) * 2019-03-15 2023-04-11 京东方科技集团股份有限公司 一种图像处理方法及装置、显示装置

Also Published As

Publication number Publication date
US20230077753A1 (en) 2023-03-16
EP4141621A1 (en) 2023-03-01
EP4141621A4 (en) 2024-01-17
CN114415826A (zh) 2022-04-29
WO2021227969A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
US11200646B2 (en) Compensation for deformation in head mounted display systems
CN113672077A (zh) 一种数据处理方法及其设备
WO2023011339A1 (zh) 视线方向追踪方法和装置
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US20150304625A1 (en) Image processing device, method, and recording medium
US20150339511A1 (en) Method for helping determine the vision parameters of a subject
CN103517060A (zh) 一种终端设备的显示控制方法及装置
CN107422844B (zh) 一种信息处理方法及电子设备
CN112099622B (zh) 一种视线追踪方法及装置
CN105630152A (zh) 处理视觉数据的设备和方法以及相关的计算机程序产品
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN108235778B (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
US20100123716A1 (en) Interactive 3D image Display method and Related 3D Display Apparatus
US10733711B2 (en) Image correction method and device
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
JP6906943B2 (ja) 車載器
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
CN109917908B (zh) 一种ar眼镜的图像获取方法及系统
CN108519215B (zh) 瞳距适应性测试系统及方法、测试主机
US20220067878A1 (en) Method and device for presenting ar information based on video communication technology
US10915169B2 (en) Correcting method and device for eye-tracking
US9661297B2 (en) Pictures positioning on display elements
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム
CN115373517A (zh) 一种基于注视点的智能眼镜宽视角调节方法
CN114359516A (zh) 虚实影像融合方法、虚实影像融合系统及非暂态计算机可读取媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination