CN117812236A - 图像处理器、处理方法、存储介质及扩展现实显示装置 - Google Patents

图像处理器、处理方法、存储介质及扩展现实显示装置 Download PDF

Info

Publication number
CN117812236A
CN117812236A CN202211184496.3A CN202211184496A CN117812236A CN 117812236 A CN117812236 A CN 117812236A CN 202211184496 A CN202211184496 A CN 202211184496A CN 117812236 A CN117812236 A CN 117812236A
Authority
CN
China
Prior art keywords
image
software
display
eye movement
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211184496.3A
Other languages
English (en)
Inventor
贾韬
王超昊
赵蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universal Gravitation Ningbo Electronic Technology Co ltd
Original Assignee
Universal Gravitation Ningbo Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universal Gravitation Ningbo Electronic Technology Co ltd filed Critical Universal Gravitation Ningbo Electronic Technology Co ltd
Priority to CN202211184496.3A priority Critical patent/CN117812236A/zh
Priority to PCT/CN2023/106703 priority patent/WO2024066660A1/zh
Publication of CN117812236A publication Critical patent/CN117812236A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了图像处理器、图像处理方法、计算机可读存储介质，以及扩展现实显示装置。所述图像处理器包括显示管线。所述显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置为：获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像；根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行光学矫正；以及根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行显示补偿矫正。

Description

图像处理器、处理方法、存储介质及扩展现实显示装置
技术领域
本发明涉及扩展现实显示技术，尤其涉及一种图像处理器、一种图像处理方法、一种计算机可读存储介质，以及一种扩展现实显示装置。
背景技术
扩展现实(Extended Reality，XR)显示技术，是指通过计算机将真实与虚拟相结合，以打造一个可人机交互的虚拟环境的技术，包括但不限于增强现实(AugmentedReality，AR)显示技术、虚拟现实(Virtual Reality，VR)显示技术、混合现实(MixedReality，MR)显示技术。通过将这三种视觉交互技术相融合，扩展现实显示技术能够为体验者带来虚拟世界与现实世界之间无缝转换的沉浸感。
针对XR领域的图像补偿矫正需求，现有的显示补偿算法往往不能支持复杂精细的补偿，补偿效果存在局限性。为了克服现有技术存在的上述缺陷，本领域亟需一种图像处理技术，用于结合用户的眼动信号及运动感知信息进行光学矫正及显示补偿矫正，并通过设置及复用图像处理硬化单元来提升数据的存储、处理及传输效率，从而基于有限的软硬件资源来提升XR显示设备的图像显示质量。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。
为了克服现有技术存在的上述缺陷，本发明提供了一种图像处理器、一种图像处理方法、一种计算机可读存储介质，以及一种扩展现实显示装置，能够结合用户的眼动信号及运动感知信息进行光学矫正及显示补偿矫正，并通过设置及复用图像处理硬化单元来提升数据的存储、处理及传输效率，从而基于有限的软硬件资源来提升XR显示设备的图像显示质量。
具体来说，根据本发明的第一方面提供的上述图像处理器包括显示管线。所述显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置为：获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像；根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行光学矫正；以及根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行显示补偿矫正。
进一步地，在本发明的一些实施例中，所述至少一个图像处理硬化单元包括第一存储器。所述第一存储器用于存储当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据。对所述虚拟渲染图像进行所述光学矫正和/或所述显示补偿矫正的步骤包括：从所述第一存储器获取当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据；以及根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第一软件对所述虚拟渲染图像进行所述光学矫正，和/或采用所述第二软件对所述虚拟渲染图像进行所述显示补偿矫正。
进一步地，在本发明的一些实施例中，所述至少一个图像处理硬化单元还包括至少一个硬化计算电路。对所述虚拟渲染图像进行所述光学矫正和/或所述显示补偿矫正的步骤进一步包括：根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第一软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行所述光学矫正；和/或根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第二软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行所述显示补偿矫正。
进一步地，在本发明的一些实施例中，所述根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第二软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行显示补偿矫正的步骤包括：根据所述眼动信号及所述运动感知信息，确定目标像素点；从所述第一存储器获取所述目标像素点及其至少一个相关像素点的原始数据；采用所述至少一个硬化计算电路，对所述目标像素点及其至少一个相关像素点的原始数据进行硬化计算；以及根据硬化计算的结果，采用所述第二软件对所述虚拟渲染图像进行去畸变、均匀度修正、去颜色分离和/或色彩准确度补偿的显示补偿矫正。
进一步地，在本发明的一些实施例中，所述至少一个图像处理硬化单元还包括第二存储器。所述第二存储器用于存储光学模组、显示面板和/或摄像头的标定数据。对所述虚拟渲染图像进行所述光学矫正的步骤还包括：从所述第二存储器获取所述标定数据，并采用所述第一软件及所述至少一个硬化计算电路，根据所述标定数据对所述虚拟渲染图像进行镜头光学矫正。此外，对所述虚拟渲染图像进行所述显示补偿矫正的步骤包括：从所述第二存储器获取所述标定数据，并采用所述第二软件及所述至少一个硬化计算电路，根据所述标定数据对所述虚拟渲染图像进行屏幕显示补偿矫正。
进一步地，在本发明的一些实施例中，所述对所述虚拟渲染图像进行显示补偿矫正的步骤包括：获取待处理的实景图像；根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第三软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行图层混叠，以获得混合现实图像；以及根据所述眼动信号及所述运动感知信息，采用所述第二软件以及所述至少一个图像处理硬化单元，对所述混合现实图像进行所述显示补偿矫正。
进一步地，在本发明的一些实施例中，所述根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第三软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行图层混叠的步骤包括：获取所述实景图像与所述虚拟渲染图像的交互信息；根据所述眼动信号、所述运动感知信息及所述交互信息，采用所述第三软件及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行所述图层混叠。
进一步地，在本发明的一些实施例中，所述显示管线还被配置为：根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第四软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像或所述混合现实图像进行色彩增强，以获得色彩增强图像；以及根据所述眼动信号及所述运动感知信息，采用所述第二软件以及所述至少一个图像处理硬化单元，对所述色彩增强图像进行所述显示补偿矫正。
进一步地，在本发明的一些实施例中，所述至少一个硬化计算电路还包括加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者。所述显示管线还被配置为：根据所述眼动信号，采用所述软件处理单元中配置的第五软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行空间扭曲纠正；和/或根据所述眼动信号，采用所述软件处理单元中配置的第六软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行重压缩处理。
此外，根据本发明的第二方面提供的上述图像处理方法包括以下步骤：获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像；根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行光学矫正；以及根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行显示补偿矫正。
此外，根据本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。所述计算机指令被处理器执行时，实施本发明的第二方面提供的上述图像处理方法。
此外，根据本发明的第四方面提供的上述扩展现实显示装置包括眼动仪、运动感知器、主处理器、协处理器及显示端。所述眼动仪用于采集用户的眼动信号。所述运动感知器用于采集用户的运动感知信息。所述主处理器用于输出待处理的虚拟渲染图像。所述协处理器可以选用本发明的第一方面提供的上述图像处理器。所述图像处理器分别连接所述眼动仪、所述运动感知器及所述主处理器，以获取所述眼动信号、所述运动感知信息及所述虚拟渲染图像。所述显示端连接所述图像处理器，以获取并显示经过所述图像处理器的光学矫正及显示补偿矫正的矫正图像。
进一步地，在本发明的一些实施例中，所述扩展现实显示装置还包括摄像头。所述图像处理器还连接所述摄像头，并被配置为：经由所述摄像头获取待处理的实景图像；根据所述眼动信号及所述运动感知信息，采用所述图像处理器中配置的软件处理单元及至少一个图像处理硬化单元，对经过光学矫正的虚拟渲染图像及所述实景图像进行图层混叠，以获得混合现实图像；以及根据所述眼动信号及所述运动感知信息，采用所述软件处理单元及所述至少一个图像处理硬化单元，对所述混合现实图像进行显示补偿矫正。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了根据本发明的一些实施例提供的扩展现实显示装置的示意图。
图2示出了根据本发明的一些实施例提供的图像处理方法的流程示意图。
图3示出了根据本发明的一些实施例提供的逐帧进行图像矫正处理的示意图。
图4示出了根据本发明的一些实施例提供的去畸变矫正的示意图。
图5示出了根据本发明的一些实施例提供的均匀度修正的示意图。
图6示出了根据本发明的一些实施例提供的去颜色分离矫正的示意图。
图7示出了根据本发明的一些实施例提供的色彩准确度补偿矫正的示意图。
图8示出了根据本发明的一些实施例提供的逐设备进行图像矫正处理的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合优选实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。
能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。
如上所述，针对XR领域的图像补偿矫正需求，现有的显示补偿算法大多在屏幕端的显示驱动芯片(Display Driver IC，DDIC)以硬件模块的方式实现，而现有的光学补偿算法则大多在图形处理器(Graphics Processing Unit，GPU)以软件的方式实现。然而，在经由DDIC硬件实现的显示算法中，受DDIC的制程及硬件资源的限制，现有技术往往不能支持复杂精细的补偿，补偿效果存在局限性。在经由GPU软件实现的光学畸变补偿方案中，则存在高功耗与高延迟的缺陷。此外，在XR显示装置的Micro-OLED显示器件与饼干镜头(pancake lens)光学器件的组合，以及0D/1D/2D背光模组的LCD显示器与饼干镜头(pancake lens)光学器件的组合中，也存在多项新的显示缺陷需要设计补偿算法。
为了克服现有技术存在的上述缺陷，本发明提供了一种图像处理器、一种图像处理方法、一种计算机可读存储介质，以及一种扩展现实显示装置，能够结合用户的眼动信号及运动感知信息进行光学矫正及显示补偿矫正，并通过设置及复用图像处理硬化单元来提升数据的存储、处理及传输效率，从而基于有限的软硬件资源来提升XR显示设备的图像显示质量。
在一些非限制性的实施例中，本发明的第二方面提供的上述图像处理方法，可以经由本发明的第一方面提供的上述图像处理器来实施。具体来说，该图像处理器可以经由协处理器的芯片形式，被独立配置于本发明的第四方面提供的上述扩展现实显示装置，也可以经由软件程序和硬件单元的形式，被集成于本发明的第四方面提供的上述扩展现实显示装置的中央处理单元(Central Processing Unit，CPU)、图形处理单元(GraphicsProcessing Unit，GPU)等主处理器中。
进一步地，本发明的第一方面提供的上述图像处理器中可以配置或连接软件程序的处理单元及存储单元。该存储单元包括但不限于本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理单元连接该存储单元，并被配置用于执行该存储单元上存储的计算机指令，以实施本发明的第二方面提供的上述图像处理方法。
以下将结合一些图像处理方法的实施例来描述上述图像处理器及扩展现实显示装置的工作原理。在一些非限制性的实施例中，该扩展现实显示装置可以采用协处理器的系统架构。本领域的技术人员可以理解，这些图像处理方法的实施例只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制该图像处理器及扩展现实显示装置的全部功能或全部工作方式。同样地，该图像处理器及扩展现实显示装置也只是本发明提供的一种非限制性的实施方式，不对这些图像处理方法中的各步骤的执行主体构成限制。
请结合参考图1及图2。图1示出了根据本发明的一些实施例提供的扩展现实显示装置的示意图。图2示出了根据本发明的一些实施例提供的图像处理方法的流程示意图。
如图1所示，在本发明的一些实施例中，扩展现实显示装置中可以配置有眼动仪10、运动感知器20、主处理器30、协处理器40及显示端50。该眼动仪10用于采集用户的眼动信号。该运动感知器20用于采集用户的运动感知信息。该主处理器30用于输出待处理的虚拟渲染图像。该协处理器40可以选用本发明的第一方面提供的上述图像处理器。该协处理器40分别连接眼动仪10、运动感知器20及主处理器30，以获取眼动信号、运动感知信息及虚拟渲染图像。该显示端50连接该协处理器40，以获取并显示经过协处理器40的光学矫正及显示补偿矫正的矫正图像。
进一步地，上述协处理器40中可以配置有显示管线(Display Pipeline)。该显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置用于采用不同的软件程序以及相同的图像处理硬化单元，进行虚拟渲染图像的光学矫正及显示补偿矫正等图像处理流程，从而提升数据的存储、处理及传输效率，并基于有限的软硬件资源来提升XR显示设备的图像显示质量。
具体来说，协处理器40的显示管线中配置的软件处理单元包括但不限于光学矫正单元及显示补偿矫正单元。该显示管线中配置的图像处理硬化单元可以选自晶体管级别的缓存存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者，用于缓存当前帧和/或之前若干历史帧的第一图像中的多个像素数据，和/或对这些像素数据进行加权求和、均值计算、滤波和/或像素位置关系映射的硬化计算。
如图2所示，在进行图像处理的过程中，显示管线可以首先获取用户的眼动信号、运动感知信息及待处理的虚拟渲染图像。
在此，该眼动信号包括但不限于用户的眼球偏转角度、凝视位置、凝视方向等数据。显示管线可以直接连接眼动仪10并直接从眼动仪10获取该眼动信号，也可以经由主处理器30的GPU等图像处理单元间接连接眼动仪10，并经由主处理器30间接地同步获取用户的眼动信号。在一些实施例中，协处理器40可以优选地配置有显示驱动软件和/或固件算力平台。该显示驱动软件和/或固件算力平台分别连接眼动仪10、运动感知器20及显示管线。在获取用户的眼动信号的过程中，协处理器40可以首先经由该显示驱动软件和/或固件算力平台，从眼动仪10获取用户的眼动信号，并进行眼动追踪计算以确定凝视点位置。之后，显示驱动软件和/或固件算力平台可以根据该凝视点位置更新系统内部的凝视点信息，以构建更新的压缩模型，并将更新的压缩模型的压缩参数传输到显示管线，以供其进行后续的图像处理。
此外，上述运动感知信息可以选自用户头部的X/Y/Z三自由度信息及对应计算得出的偏航、俯仰和横滚信息，或者用户头部的前/后、上/下、左/右、偏航、俯仰、滚动的六自由度信息。该虚拟渲染图像可以是由主处理器30的GPU等图像处理单元生成的原始图像。在一些实施例中，主处理器30也可以优选地连接眼动仪10，被配置用于从眼动仪10获取用户的眼动信号，并先根据该眼动信号对生成的原始虚拟渲染图像进行凝视点渲染压缩，再将凝视点渲染压缩后的压缩图像发送给协处理器40，以降低整个构架的数据传输负荷及数据处理负荷。
如图1及图2所示，在获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像之后，显示管线可以采用其中配置的光学矫正单元(即第一软件)，以及其中集成的至少一个图像处理硬化单元，对获取的虚拟渲染图像进行光学矫正处理。
具体来说，该至少一个图像处理硬化单元包括第一存储器。该第一存储器可以存储当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据。如图3所示，在进行光学矫正的过程中，配置于显示管线的光学矫正单元(即第一软件)可以首先根据用户的眼动信号及运动感知信息，确定凝视点对应的目标像素点及其至少一个相关像素点，再从该第一存储器获取当前帧的多个对应位置的像素点数据，和/或至少一帧历史帧的多个对应位置的像素点数据。之后，该光学矫正单元(即第一软件)即可根据获取的眼动信号、运动感知信息，以及当前帧的多个位置的像素点数据和/或该至少一帧历史帧的多个位置的像素点数据，对该虚拟渲染图像进行光学矫正处理。
进一步地，该至少一个图像处理硬化单元还包括至少一个硬化计算电路。该至少一个硬化计算电路选自加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者。在对虚拟渲染图像进行光学矫正的过程中，显示管线可以根据眼动信号、运动感知信息，以及当前帧的多个位置的像素点数据和/或该至少一帧历史帧的多个位置的像素点数据，采用该第一软件及该至少一个硬化计算电路，对虚拟渲染图像进行光学矫正。
例如，显示管线可以先将该目标像素点及其至少一个相关像素点的原始数据(即当前帧的多个位置的像素点数据，和/或该至少一帧历史帧的多个位置的像素点数据)，依次输入加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个硬化计算电路进行硬化计算，以得到对应的硬化计算结果，再采用该对第一软件根据该硬化计算结果对该虚拟渲染图像进行光学矫正。
如此，本发明可以在逐帧进行光学矫正的过程中，经由该第一存储器大量复用多帧图像中多个位置的像素点数据，以大幅降低对硬件存储资源的需求，并取消反复计算、缓存像各素点数据的需求，从而基于有限的软硬件资源来提升XR显示设备的图像显示质量。
此外，如图1及图2所示，在获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像之后，显示管线还可以采用其中配置的显示补偿矫正单元(即第二软件)，以及其中集成的至少一个图像处理硬化单元，对获取的虚拟渲染图像进行显示补偿矫正处理。
如上所述，该至少一个图像处理硬化单元包括第一存储器。该第一存储器可以存储当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据。如图3所示，在进行显示补偿矫正的过程中，配置于显示管线的显示补偿矫正单元(即第二软件)也可以根据用户的眼动信号及运动感知信息，确定凝视点对应的目标像素点及其至少一个相关像素点，再从该第一存储器获取当前帧的多个对应位置的像素点数据，和/或至少一帧历史帧的多个对应位置的像素点数据。之后，该显示补偿矫正单元(即第二软件)即可根据获取的眼动信号、运动感知信息，以及当前帧的多个位置的像素点数据和/或该至少一帧历史帧的多个位置的像素点数据，对该虚拟渲染图像进行显示补偿矫正处理。
进一步地，该至少一个图像处理硬化单元还包括上述加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一种硬化计算电路。在对虚拟渲染图像进行显示补偿矫正的过程中，显示管线可以根据眼动信号、运动感知信息，以及当前帧的多个位置的像素点数据和/或该至少一帧历史帧的多个位置的像素点数据，采用该第二软件及该至少一个硬化计算电路，对虚拟渲染图像进行显示补偿矫正处理。
例如，显示管线可以先将该目标像素点及其至少一个相关像素点的原始数据(即当前帧的多个位置的像素点数据，和/或该至少一帧历史帧的多个位置的像素点数据)，依次输入加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个硬化计算电路进行硬化计算，以得到对应的硬化计算结果，再采用该对第二软件根据该硬化计算结果对该虚拟渲染图像进行去畸变、均匀度修正、去颜色分离和/或色彩准确度补偿等显示补偿矫正处理。
具体请参考图4～图7。图4示出了根据本发明的一些实施例提供的去畸变矫正的示意图。图5示出了根据本发明的一些实施例提供的均匀度修正的示意图。图6示出了根据本发明的一些实施例提供的去颜色分离矫正的示意图。图7示出了根据本发明的一些实施例提供的色彩准确度补偿矫正的示意图。
如图4所示，去畸变矫正是基于像素坐标的对应来实现。具体来说，目标像素的像素点数据(rxout，gxout，bxout)是根据凝视点信息、权重设置和原始图像的像素位置信息(rxin，gxin，bxin)的3×3维度的对应映射关系Mx,3×3来确定，主要基于像素映射电路来实现，用于改善图像畸变等问题。
如图5所示，均匀度修正的原理是根据原始图像的像素位置信息rxin，以及均匀性补偿gaindemura、温度补偿gaintemperature和寿命补偿gainlife三个维度相关的增益系数，确定每个像素的目标像素值rxout，主要对子像素的均匀度做修正。
如图6所示，去颜色分离矫正是设置原始图像的像素位置信息(rxin，gxin，bxin)的加权平均系数，并对目标像素点的附近像素点的数据进行加权平均，从而将RGB三色对应到目标像素点的数据，主要用于处理RGB三种颜色受到图像畸变的程度不同而造成的颜色分离。
如图7所示，色彩准确度补偿矫正是通过一个3×3维度的矩阵f3dlut得出目标像素点的RGB三色的比例，从而根据原始图像的RGB数据(rxin，gxin，bxin)做映射确定目标像素点的像素点数据(rxout，gxout，bxout)，主要用于补偿显示面板的色彩准确。
综上，本发明一方面可以在逐帧进行显示补偿矫正的过程中，经由该第一存储器大量复用多帧图像中多个位置的像素点数据，以大幅降低对硬件存储资源的需求，并取消反复计算、缓存各像素点数据的需求，另一方面可以和光学矫正一起复用加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等硬化计算电路的硬件资源，以降低显示补偿矫正过程中的软件处理负荷，从而进一步基于有限的软硬件资源来提升XR显示设备的图像显示质量。
进一步地，如图1所示，在本发明的一些实施例中，扩展现实显示装置还可以优选地包括摄像头60。在此，该摄像头60选自双目鱼眼相机、单色IR相机、结构光深度感知相机、激光ToF深度感知相机中的至少一者，并经由图像信号处理(Image Signal Processing，ISP)模块连接协处理器40。配置于协处理器40的显示管线还可以优选地经由该摄像头60获取待处理的实景图像，并根据获取的眼动信号及运动感知信息，采用本地配置的图层混叠单元(即第三软件)，以及上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对经过光学矫正的虚拟渲染图像及该实景图像进行图层混叠，以获得混合现实图像。在此，该实景图像可以是经过ISP模块光学矫正的实景图像，也可以是未经过光学矫正的原始实景图像。之后，显示管线可以根据获取的眼动信号及运动感知信息，采用该软件处理单元及该至少一个图像处理硬化单元，对该混合现实图像进行上述显示补偿矫正。
更进一步地，在本发明的一些实施例中，上述至少一个图像处理硬化单元还可以优选地包括第二存储器。该第二存储器用于存储光学模组(例如：镜头模组)、显示面板和/或摄像头的标定数据。如图8所示，在对虚拟渲染图像进行光学矫正的过程中，显示管线还可以从该第二存储器逐一获取各设备的标定数据，采用上述光学矫正单元(即第一软件)，并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，根据这些标定数据对该虚拟渲染图像进行镜头光学矫正。此外，在对虚拟渲染图像进行显示补偿矫正的过程中，显示管线也可以从该第二存储器逐一获取各设备的标定数据，采用上述显示补偿矫正单元(即第二软件)，并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，根据这些标定数据对该虚拟渲染图像进行屏幕显示补偿矫正。如此，本发明可以进一步基于有限的软硬件资源来提升XR显示设备的图像显示质量。
此外，在对混合现实图像进行显示补偿矫正的过程中，显示管线还可以优选地从主处理器30的图形处理单元(GPU)获取实景图像与虚拟渲染图像的遮挡信息、相关图层的透明度等交互信息。之后，显示管线可以根据该眼动信号、该运动感知信息及该交互信息，采用上述图层混叠单元(即第三软件)，并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对经过光学矫正的虚拟渲染图像及实景图像进行图层混叠，再采用上述显示补偿矫正单元(即第二软件)以及上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对混叠获得的混合现实图像进行显示补偿矫正。对混合现实图像进行显示补偿矫正的具体方案与上述实施例类似，在此不再赘述。
此外，在本发明的一些实施例中，显示管线中还可以优选地配置有色彩增强单元(即第四软件)。在进行图像处理的过程中，显示管线还可以根据获取的眼动信号及运动感知信息，采用该色彩增强单元(即第四软件)并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对经过光学矫正的虚拟渲染图像或者混合现实图像进行色彩增强，以获得色彩增强图像，再根据该眼动信号及该运动感知信息，采用上述显示补偿矫正单元(即第二软件)以及上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对获得的色彩增强图像进行显示补偿矫正。对色彩增强图像进行显示补偿矫正的具体方案与上述实施例类似，在此不再赘述。
此外，在本发明的一些实施例中，显示管线中还可以优选地配置有空间扭曲纠正单元(即第五软件)。在进行图像处理的过程中，显示管线还可以根据获取的眼动信号，采用该空间扭曲纠正单元(即第五软件)，并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对该虚拟渲染图像进行空间扭曲纠正。
具体来说，在进行空间扭曲纠正的过程中，响应于获取到待处理的虚拟渲染图像，空间扭曲纠正单元(即第五软件)可以首先确定空间扭曲纠正处理需要用到的像素数据及处理参数。在一些实施例中，这些像素数据可以优选地根据用户的眼动信号来确定。之后，空间扭曲纠正单元(即第五软件)可以从各对应的存储器获取处理参数，并从各对应的第一存储器获取图像扭曲纠正处理需要用到的像素缓存数据，再将该处理参数及像素缓存数据依次输入上述加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的一者或多者，对这些像素缓存数据进行加权求和、求均值、滤波和/或像素位置关系映射的硬化计算，以得到对应的硬化计算结果。再之后，空间扭曲纠正单元(即第五软件)即可通过数据排列、赋值等软件操作，得到经过扭曲纠正处理的图像，从而进一步基于有限的软硬件资源来提升XR显示设备的图像显示质量。
此外，在本发明的一些实施例中，显示管线中还可以优选地配置有重压缩单元(即第六软件)。在进行图像处理的过程中，显示管线还可以根据获取的眼动信号，采用该重压缩单元(即第六软件)，并配合上述第一存储器、加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路等至少一个图像处理硬化单元，对该虚拟渲染图像进行重压缩处理。
具体来说，该重压缩处理可以分为上采样处理和下采样处理两部分来进行。在下采样处理的过程中，响应于从上述显示驱动软件和/或固件算力平台，获取到关联于用户眼动信号的压缩参数及待处理的虚拟渲染图像，重压缩单元(即第六软件)可以首先根据更新的压缩模型的压缩参数，将虚拟渲染图像基于用户的凝视点位置划分为多个分区，并分别确定各分区的坐标范围以及远离凝视点位置的各非关注分区的下采样倍率。之后，重压缩单元(即第六软件)可以根据各分区中各像素的坐标，从各对应的存储器获取下采样操作的处理参数，并从各对应的第一存储器，获取下采样处理需要用到的像素缓存数据。再之后，重压缩单元(即第六软件)可以将获取的各处理参数及各像素的像素缓存数据依次输入上述加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的一者或多者，对这些像素缓存数据进行加权求和、求均值、滤波和/或像素位置关系映射的硬化计算，以得到基于下采样处理的第一硬化计算结果。再之后，重压缩单元(即第六软件)即可通过数据排列、赋值等软件操作，得到经过下采样压缩的图像。
此外，在上采样处理的过程中，响应于获取到上述关联于用户眼动信号的压缩参数及待处理的虚拟渲染图像，重压缩单元(即第六软件)还可以根据更新的压缩模型的压缩参数，分别确定包含/临近凝视点位置的各关注分区的上采样倍率。之后，重压缩单元(即第六软件)可以根据各分区中各像素的坐标，从各对应的存储器获取上采样操作的处理参数，并从各对应的第一存储器，获取上采样处理需要用到的像素缓存数据。在此，该像素缓存数据包括但不限于当前帧的至少一个附近像素的缓存数据，以及这些附近像素之前的在至少一帧历史帧中的缓存数据。再之后，重压缩单元(即第六软件)可以将获取的各处理参数及各像素的像素缓存数据依次输入上述加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的一者或多者，对这些像素缓存数据进行加权求和、求均值、滤波和/或像素位置关系映射的硬化计算，以得到基于超分辨处理的第二硬化计算结果。再之后，重压缩单元(即第六软件)即可汇总该第二硬化计算结果及上述第一硬化计算结果，并通过数据排列、赋值等软件操作，以得到在包含/临近凝视点位置的关注分区中达到40像素点/度(pixels per degree)的4K显示的等效分辨率，并在远离该凝视点位置的至少一个非关注分区进行下采样的压缩处理的重压缩图像。如此，本发明可以进一步基于有限的软硬件资源来提升XR显示设备的等效分辨率及实时性。
综上，相比于在屏幕端的显示驱动芯片(DDIC)以硬件模块实现显示补偿矫正，并在图形处理器(GPU)以软件的方式实现光学补偿的现有技术，本发明通过在图像处理器40的显示管线中结合用户的眼动信号及运动感知信息来进行光学矫正及显示补偿矫正，并通过设置及复用图像处理硬化单元来提升数据的存储、处理及传输效率，从而基于有限的软硬件资源来提升XR显示设备的图像显示质量。此外，本发明还针对XR显示装置的Micro-OLED显示器件与饼干镜头(pancake lens)光学器件的组合，以及0D/1D/2D背光模组的LCD显示器与饼干镜头(pancake lens)光学器件的组合，引入了去畸变、均匀度修正、去颜色分离和/或色彩准确度补偿的显示补偿矫正等多种补偿算法，为以Micro-OLED+饼干镜头(pancake lens)以及LCD+饼干镜头(pancake lens)为显示光学解决方案的新一代VR头戴显示设备，提供了便捷的解决方案。
此外，在获得经过协处理器40的光学矫正及显示补偿矫正处理的矫正图像之后，协处理器40还可以将该矫正图像传输到显示终端50，以进行扩展现实图像的高质量显示。
本领域的技术人员可以理解，上述采用协处理器40的扩展现实显示装置的系统架构，只是本发明提供的一种非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一种便于公众实施的具体方案，而非用于限制性本发明的保护范围。
可选地，在另一些实施例中，本发明的第一方面提供的上述图像处理器还可以经由软件程序和硬件单元的形式，被集成于本发明的第四方面提供的上述扩展现实显示装置的中央处理单元(CPU)、图形处理单元(GPU)等主处理器单元中，以达到相同的技术效果，在此不再一一赘述。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将可理解，信息、信号和数据可使用各种不同技术和技艺中的任何技术和技艺来表示。例如，以上描述通篇引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、NPU AI网络模型计算加速处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (13)

1.一种图像处理器，其特征在于，包括显示管线，其中，所述显示管线中集成有软件处理单元及至少一个图像处理硬化单元，并被配置为：
获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像；
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行光学矫正；以及
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行显示补偿矫正。
2.如权利要求1所述的图像处理器，其特征在于，所述至少一个图像处理硬化单元包括第一存储器，其中，所述第一存储器用于存储当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据，对所述虚拟渲染图像进行所述光学矫正和/或所述显示补偿矫正的步骤包括：
从所述第一存储器获取当前帧的多个位置的像素点数据和/或至少一帧历史帧的多个位置的像素点数据；以及
根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第一软件对所述虚拟渲染图像进行所述光学矫正，和/或采用所述第二软件对所述虚拟渲染图像进行所述显示补偿矫正。
3.如权利要求2所述的图像处理器，其特征在于，所述至少一个图像处理硬化单元还包括至少一个硬化计算电路，对所述虚拟渲染图像进行所述光学矫正和/或所述显示补偿矫正的步骤进一步包括：
根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第一软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行所述光学矫正；和/或
根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第二软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行所述显示补偿矫正。
4.如权利要求3所述的图像处理器，其特征在于，所述根据所述眼动信号、所述运动感知信息，以及所述当前帧的多个位置的像素点数据和/或所述至少一帧历史帧的多个位置的像素点数据，采用所述第二软件及所述至少一个硬化计算电路，对所述虚拟渲染图像进行显示补偿矫正的步骤包括：
根据所述眼动信号及所述运动感知信息，确定目标像素点；
从所述第一存储器获取所述目标像素点及其至少一个相关像素点的原始数据；
采用所述至少一个硬化计算电路，对所述目标像素点及其至少一个相关像素点的原始数据进行硬化计算；以及
根据硬化计算的结果，采用所述第二软件对所述虚拟渲染图像进行去畸变、均匀度修正、去颜色分离和/或色彩准确度补偿的显示补偿矫正。
5.如权利要求3所述的图像处理器，其特征在于，所述至少一个图像处理硬化单元还包括第二存储器，所述第二存储器用于存储光学模组、显示面板和/或摄像头的标定数据，其中，
对所述虚拟渲染图像进行所述光学矫正的步骤还包括：从所述第二存储器获取所述标定数据，并采用所述第一软件及所述至少一个硬化计算电路，根据所述标定数据对所述虚拟渲染图像进行镜头光学矫正，和/或
对所述虚拟渲染图像进行所述显示补偿矫正的步骤包括：从所述第二存储器获取所述标定数据，并采用所述第二软件及所述至少一个硬化计算电路，根据所述标定数据对所述虚拟渲染图像进行屏幕显示补偿矫正。
6.如权利要求1所述的图像处理器，其特征在于，所述对所述虚拟渲染图像进行显示补偿矫正的步骤包括：
获取待处理的实景图像；
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第三软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行图层混叠，以获得混合现实图像；以及
根据所述眼动信号及所述运动感知信息，采用所述第二软件以及所述至少一个图像处理硬化单元，对所述混合现实图像进行所述显示补偿矫正。
7.如权利要求6所述的图像处理器，其特征在于，所述根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第三软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行图层混叠的步骤包括：
获取所述实景图像与所述虚拟渲染图像的交互信息；
根据所述眼动信号、所述运动感知信息及所述交互信息，采用所述第三软件及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像及所述实景图像进行所述图层混叠。
8.如权利要求1或6所述的图像处理器，其特征在于，所述显示管线还被配置为：
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第四软件，以及所述至少一个图像处理硬化单元，对经过所述光学矫正的虚拟渲染图像或所述混合现实图像进行色彩增强，以获得色彩增强图像；以及
根据所述眼动信号及所述运动感知信息，采用所述第二软件以及所述至少一个图像处理硬化单元，对所述色彩增强图像进行所述显示补偿矫正。
9.如权利要求1或2所述的图像处理器，其特征在于，所述至少一个硬化计算电路还包括加权求和电路、均值计算电路、滤波电路、像素位置关系的映射电路中的至少一者，所述显示管线还被配置为：
根据所述眼动信号，采用所述软件处理单元中配置的第五软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行空间扭曲纠正；和/或
根据所述眼动信号，采用所述软件处理单元中配置的第六软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行重压缩处理。
10.一种图像处理方法，其特征在于，包括以下步骤：
获取用户的眼动信号及运动感知信息，并获取待处理的虚拟渲染图像；
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第一软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行光学矫正；以及
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元中配置的第二软件，以及所述至少一个图像处理硬化单元，对所述虚拟渲染图像进行显示补偿矫正。
11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实施如权利要求10所述的图像处理方法。
12.一种扩展现实显示装置，其特征在于，包括：
眼动仪，用于采集用户的眼动信号；
运动感知器，用于采集用户的运动感知信息；
主处理器，用于输出待处理的虚拟渲染图像；
如权利要求1～10中任一项所述的图像处理器，其中，所述图像处理器分别连接所述眼动仪、所述运动感知器及所述主处理器，以获取所述眼动信号、所述运动感知信息及所述虚拟渲染图像；以及
显示端，连接所述图像处理器，以获取并显示经过所述图像处理器的光学矫正及显示补偿矫正的矫正图像。
13.如权利要求12所述的扩展现实显示装置，其特征在于，还包括摄像头，其中，所述图像处理器还连接所述摄像头，并被配置为：
经由所述摄像头获取待处理的实景图像；
根据所述眼动信号及所述运动感知信息，采用所述图像处理器中配置的软件处理单元及至少一个图像处理硬化单元，对经过光学矫正的虚拟渲染图像及所述实景图像进行图层混叠，以获得混合现实图像；以及
根据所述眼动信号及所述运动感知信息，采用所述软件处理单元及所述至少一个图像处理硬化单元，对所述混合现实图像进行显示补偿矫正。
CN202211184496.3A 2022-09-27 2022-09-27 图像处理器、处理方法、存储介质及扩展现实显示装置 Pending CN117812236A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211184496.3A CN117812236A (zh) 2022-09-27 2022-09-27 图像处理器、处理方法、存储介质及扩展现实显示装置
PCT/CN2023/106703 WO2024066660A1 (zh) 2022-09-27 2023-07-11 图像处理器、处理方法、存储介质及扩展现实显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211184496.3A CN117812236A (zh) 2022-09-27 2022-09-27 图像处理器、处理方法、存储介质及扩展现实显示装置

Publications (1)

Publication Number Publication Date
CN117812236A true CN117812236A (zh) 2024-04-02

Family

ID=90420446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211184496.3A Pending CN117812236A (zh) 2022-09-27 2022-09-27 图像处理器、处理方法、存储介质及扩展现实显示装置

Country Status (2)

Country Link
CN (1) CN117812236A (zh)
WO (1) WO2024066660A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029218A1 (en) * 2013-07-25 2015-01-29 Oliver Michael Christian Williams Late stage reprojection
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
US20160364904A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792531B2 (en) * 2019-09-27 2023-10-17 Apple Inc. Gaze-based exposure
US11216916B1 (en) * 2020-10-09 2022-01-04 Nvidia Corporation History clamping for denoising dynamic ray-traced scenes using temporal accumulation
CN114549718A (zh) * 2022-01-25 2022-05-27 广东虚拟现实科技有限公司 虚拟信息的渲染方法、装置、增强现实装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029218A1 (en) * 2013-07-25 2015-01-29 Oliver Michael Christian Williams Late stage reprojection
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
US20160364904A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays

Also Published As

Publication number Publication date
WO2024066660A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
US8456485B2 (en) Image processing apparatus and method, head mounted display, program, and recording medium
US10152814B2 (en) Image distortion compensation display device and image distortion compensation method using the same
CN110050250B (zh) 显示器同步的图像规整
US8242975B2 (en) Image processing method, image processing apparatus, and system
JP7050085B2 (ja) シングルパスフレキシブルスクリーン／スケールラスタライゼーション
EP2026283B1 (en) Graphic antialiasing method and graphic system employing the method
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
US11335066B2 (en) Apparatus and operating method for displaying augmented reality object
US9565414B2 (en) Efficient stereo to multiview rendering using interleaved rendering
JP2022504931A (ja) ポストレンダリング処理用ディスプレイエンジン
JP2010092360A (ja) 画像処理システム、画像処理装置、収差補正方法及びプログラム
JP2009544992A (ja) 自動立体システム
CN113240592A (zh) 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
US8422824B2 (en) Image transformation method device for obtaining a three dimensional image
CN117812236A (zh) 图像处理器、处理方法、存储介质及扩展现实显示装置
US20130120461A1 (en) Image processor and image processing method
JP2014006674A (ja) 画像処理装置及びその制御方法、プログラム
WO2021132298A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022054118A1 (ja) 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法
JP5533109B2 (ja) 画像表示装置、プロジェクター、および、画像表示装置におけるデータの取得方法
WO2019049289A1 (ja) 画像生成装置および画像生成方法
WO2019026183A1 (ja) 画像生成装置および画像生成方法
JP2013005393A (ja) 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN117834829A (zh) 图像处理器、处理方法、存储介质及扩展现实显示装置
JPWO2011161746A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination