CN112802131A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN112802131A
CN112802131A CN201911114519.1A CN201911114519A CN112802131A CN 112802131 A CN112802131 A CN 112802131A CN 201911114519 A CN201911114519 A CN 201911114519A CN 112802131 A CN112802131 A CN 112802131A
Authority
CN
China
Prior art keywords
color component
image
display device
images
refresh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911114519.1A
Other languages
English (en)
Inventor
王凯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911114519.1A priority Critical patent/CN112802131A/zh
Publication of CN112802131A publication Critical patent/CN112802131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种图像处理方法及装置。该方法可应用于增强现实显示装置，例如AR眼镜、AR头盔等。该方法包括根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在显示设备中各自的刷新时刻，再根据显示设备的一个历史姿态，预测显示设备在各自刷新时刻的姿态，根据显示设备在各自刷新时刻的姿态，分别获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像，合成至少两个颜色分量图像的映射图像，以用于显示设备的显示。通过对至少两个颜色的分量图像的调整，可实现对显示设备运动后的图像的补偿，从而可降低显示设备的运动造成显示设备显示的图像出现色彩分离的现象。

Description

一种图像处理方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
背景技术
增强现实(augmented reality，AR)技术是一种实时计算光引擎系统(也称为投影仪或光机)射出的影像的位置及角度并加上相应图像的技术。增强现实技术可以实现在屏幕上将虚拟世界套在现实世界，并进行互动，即可以将真实世界的时间空间范围内的很难体验到的实体信息(比如视觉信息、声音、或触觉等)通过电脑等模拟仿真后再叠加，将虚拟信息应用到真实世界。由于增强现实技术使虚拟世界与真实世界的互动可能，目前已广泛应用在增强现实显示装置中，比如AR眼镜，能够将虚拟图像投影到人眼之中，实现虚拟图像与真实图像的叠加。
增强现实显示装置主要包括光引擎系统和光波导系统，光引擎系统用于生成图像，光波导系统用于将光引擎系统生成的图像传输至人眼成像。为了满足光引擎系统的体积小，重量轻和易携带的特点，光引擎系统通常采用色序投影显示技术。色序投影显示技术通常以红绿蓝为三基色，在同一条光路上按时序进行投影，从而形成彩色图像。
然而，当观察者的眼睛快速移过画面时，会看到彩色图像出现色彩分离，即会看到彩色图像是由红绿蓝构成的。
发明内容
本申请提供一种图像处理方法及装置，用于尽可能避免显示设备显示的图像出现色彩分离的现象。
第一方面，本申请提供一种图像处理方法，该方法包括根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在显示设备中各自的刷新时刻，根据显示设备的一个历史姿态，预测显示设备在刷新时刻的姿态，根据显示设备在刷新时刻的姿态，分别获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像，合成至少两个颜色分量图像的映射图像，以用于显示设备的显示。
基于该方案，通过预测显示设备的至少两个颜色分量图像在各自刷新时刻的姿态，可补偿显示设备的运动，之再根据刷新时刻的姿态，获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像，即对至少两个颜色的分量图像的调整，可实现对显示设备运动后的图像的补偿，之后再对至少两个颜色分量的映射图像进行合成，可降低显示设备的运动造成显示设备显示的图像出现色彩分离的现象，从而有助于减弱人眼观察到色彩分离的现象。
在一种可能的实现方式中，至少两个颜色分量图像包括：红(red，R)颜色分量图像、绿(green，G)颜色分量图像和蓝(blue，B)颜色分量图像。
在一种可能的实现方式中，显示设备的参数可包括至少两个颜色分量图像在显示设备中的刷新顺序和刷新间隔，一个颜色分量图像的刷新时刻等于在刷新顺序中前一个颜色分量图像的刷新时刻延后前一个颜色分量图像的刷新间隔。
在一种可能的实现方式中，获取目标颜色分量图像在各自的目标刷新时刻对应的映射图像。
本申请示例性地给出了一种获取目标颜色分量图像对应目标刷新时刻的映射图像的实现方式，即重投影的方式。过程可为：基于目标刷新时刻的姿态和历史姿态，确定目标颜色分量图像的调整矩阵；基于调整矩阵，对目标颜色分量图像在历史姿态下的映射图像进行调整，以获得目标颜色分量图像在目标刷新时刻对应的映射图像。
通过该重投影方式来获得目标颜色分量图像对应目标刷新时刻的映射图像，可降低图像处理过程的开销。
本申请中，显示设备可包括增强现实显示装置。
第二方面，本申请提供一种装置，该装置可包括：确定单元、预测单元、获取单元和合成单元；其中，确定单元用于根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在显示设备中各自的刷新时刻；预测单元用于根据显示设备的一个历史姿态，预测显示设备在刷新时刻的姿态；获取单元用于根据显示设备在刷新时刻的姿态，分别获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像；合成单元用于合成至少两个颜色分量图像的映射图像，以用于显示设备的显示。
在一种可能的实现方式中，至少两个颜色分量图像包括：红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
在一种可能的实现方式中，显示设备的参数包括至少两个颜色分量图像在显示设备中的刷新顺序和刷新间隔，一个颜色分量图像的刷新时刻等于在刷新顺序中前一个颜色分量图像的刷新时刻延后前一个颜色分量图像的刷新间隔。
获取单元具体用于获取目标颜色分量图像在各自的目标刷新时刻对应的映射图像。
获取单元具体用于基于目标刷新时刻的姿态和历史姿态，确定目标颜色分量图像的调整矩阵；基于调整矩阵，对目标颜色分量图像在历史姿态下的映射图像进行调整，以获得目标颜色分量图像在目标刷新时刻对应的映射图像。
在一种可能的实现方式中，显示设备包括增强现实显示装置。
第三方面，本申请提供一种装置，该装置具有实现上述第一方面或第一方面中的任一种方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元或模块。有益效果可参见上述第一方面的描述，此处不再赘述。该装置可以包括处理器。该处理器可被配置为支持该装置执行以上所示第一方面的相应功能。可选地，该装置还可以包括存储器，该存储器可以与处理器耦合，其保存该装置必要的程序指令和数据。
第四方面，本申请提供一种增强现实显示装置，用于实现上述第一方面或第一方面中的任意一种方法，包括相应的功能模块，分别用于实现以上方法中的步骤。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被装置执行时，使得该装置执行上述第一方面或第一方面的任意可能的实现方式中的方法。
第六方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被装置执行时，实现上述第一方面或第一方面的任意可能的实现方式中的方法。
附图说明
图1为本申请提供的一种可能的颜色刷新顺序的示意图；
图2为本申请提供的一种图像出现色彩分离的示意图；
图3为本申请提供的一种图像处理方法流程示意图；
图4为本申请提供的一种获取目标颜色分量图像在各自目标刷新时刻对应的映射图像的方法流程示意图；
图5为本申请提供的一种增强现实显示装置的结构示意图；
图6为本申请提供的一种AR眼镜的结构示意图；
图7为本申请提供的一种装置的结构示意图；
图8为本申请提供的一种装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
一、刷新顺序和刷新间隔
刷新顺序，也可称为色序，可指示出在每个周期内各个颜色分量图像的刷新顺序，以及各个颜色分量图像的输出时长。以红(red，R)绿(green，G)蓝(blue，B)三基色分量图像为例，三基色分量图像的刷新顺序可以为R→G→B，或R→B→G、或B→G→R、或B→R→G、或G→R→B、或G→B→R。如图1所示，为本申请提供的一种可能的刷新顺序示意图。在一个周期内，三基色分量图像的刷新顺序为R→G→B，其中，R颜色分量图像的输出时长为时长1，G颜色分量图像的输出时长为时长2，B颜色分量图像的输出时长为时长3，R颜色分量图像的刷新时刻tR与G颜色分量图像的刷新时刻tG之间可能会存在一段输出黑色的时长Δ1，G颜色分量图像的刷新时刻tG与B颜色分量图像的刷新时刻tB之间可能会存在一段输出黑色的时长Δ2，B颜色分量图像的刷新时刻tB与R颜色分量图像的刷新时刻tR之间可能会存在一段输出黑色的时长Δ3。在一种情况下，时长1、时长2和时长3三者是相等的；在另一种情况下，时长1、时长2和时长3三者可能是不相等的。Δ1、Δ2和Δ3的大小与显示设备相关，通常，Δ3大于Δ2，Δ3大于Δ1。
刷新间隔，指刷新相邻两个颜色之间的时长。参考上述图1，R颜色分量图像的刷新间隔为时长1+Δ1，G颜色分量图像的刷新间隔为时长2+Δ2，B颜色分量图像的刷新间隔为时长3+Δ3。
一幅图像可由多种颜色组成，至少包括红、绿、蓝三基色；因此，一幅图像至少可分解为三基色的分量图像。
二、色彩分离(color-separation)
色彩分离，也可称为色散或彩虹效应，由于各个颜色刷新时刻不同，可能会导致显示设备的显示图像在给定时刻，要么是红色，要么是绿色，要么是蓝色。当佩戴显示设备的用户的眼球快速运动时，视网膜会在三个不同的点分别得到三基色各自的图像，即产生了色彩分离现象。
三、图像重投影
图像重投影，指通过对任意视点的参考图像进行投影来产生新的图像。也就是说，将图像投影到一个新的视平面(viewing plane)，也可称为投影映射(projectivemapping)。
四、渲染
渲染，也称为图像渲染，是将三维的光能传递处理转换为一个二维图像的过程。图像渲染流程包括：通过几何变换、投影变换、透视变换和窗口裁剪，再通过获取的材质与光影信息，生成图像。图像渲染主要可由中央处理器(central processing unit，CPU)的运算来完成的。在一种可能的方式中，图像渲染结束后，会把图像输出到显示设备的帧缓存器中。
五、色序投影显示技术
色序投影显示技术指以各个颜色(例如红绿蓝三基色)，在同一条光路上进行时序投影，从而形成彩色图像。
六、姿态
姿态，指显示设备的空间指向。该显示设备的直角坐标系的原点可以是任意位置，指向地面的Z轴反映偏移运动方向，Y轴反映俯仰方向，X轴反映滚动方向。
为了使得显示设备的体积小、重量轻、易携带等，显示设备通常采用色序投影显示技术来形成彩色图像，用户佩戴采用色序投影显示技术的显示设备时，当用户的眼睛快速移动时，由于显示设备中的各个颜色刷新时刻差异，可能会导致显示设备显示的图像出现色彩分离的问题。图2示例性地示出一种色彩分离的示意图。图2中以刷新三基色的顺序为R→G→B为例，从t1时刻到t2时刻，用户可能会依次观察到红色茶壶、绿色茶壶和蓝色茶壶。在显示的图像色彩分离不是很严重的情况下，红色茶壶、绿色茶壶和蓝色茶壶会有部分重叠，用户可能在t2时刻显示的图像的边缘观察到红色、绿色和蓝色。
鉴于此，本申请提出了一种图像处理方法。下面结合附图3和附图4，对本申请提出的图像处理方法进行具体阐述，以给出示例性的实现方案。
如图3所示，为本申请提供的一种图像处理方法的方法流程示意图。该方法可以应用于增强现实显示装置，例如AR眼镜、AR头盔等。该方法可包括以下步骤：
步骤301，根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在显示设备中各自的刷新时刻。
此处，显示设备的参数包括至少两个颜色分量图像在显示设备中的刷新顺序和刷新间隔。其中，一个颜色分量图像的刷新时刻等于刷新顺序中前一个颜色分量图像的刷新时刻延后前一个颜色分量图像的刷新间隔。其中，至少两个颜色分量图像可包括：R颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
结合上述图1，至少两个颜色分量图像以R颜色分量图像、G颜色分量图像和B颜色分量图像为例说明。R颜色分量图像在显示设备中的刷新时刻tR＝B颜色分量图像的刷新时刻tB+B颜色分量图像的刷新时刻Δ3；G颜色分量图像在显示设备中的刷新时刻tG＝R颜色分量图像的刷新时刻tR+R颜色分量图像的刷新间隔Δ1；B颜色分量图像在显示设备中的刷新时刻tB＝G颜色分量图像的刷新时刻tG+G颜色分量图像的刷新时刻Δ2。
在一种可能的实现方式中，若显示设备刚启动运行，则R颜色分量图像在显示设备中的刷新时刻tR为显示设备开始刷新图像的时刻。
步骤302，根据显示设备的一个历史姿态，预测显示设备在刷新时刻的姿态。
此处，一个历史姿态可以是显示设备中存储的历史姿态中的最新姿态，通过历史姿态中的最新姿态来预测显示设备在刷新时刻的姿态，有助于提高预测的姿态的准确度。
在一种可能的实现方式中，可采用姿态预测算法(例如，积分预测算法、滤波算法)，根据一个历史姿态，预测显示设备在刷新时刻的姿态。应理解，显示设备中可存储有各个历史姿态与对应的历史刷新时刻之间的关系。
一个历史姿态以历史姿态中最新姿态P0为例，该历史姿态P0在显示设备中的历史刷新时刻为t0。结合上述图1，可分别预测出显示设备在各自刷新时刻的姿态，即在tR的姿态P1、在tG的姿态P2、在tB的姿态P3。
示例性地，显示设备中包括算法模块，该算法模块中存储有积分预测算法，以及历史姿态P0和历史刷新时刻为t0之间的关系；向该算法模块输入R颜色分量图像的刷新时刻tR，可输出对应的姿态P1；向该算法模块中输入G颜色分量图像的刷新时刻tG，可输出对应的姿态P2；向该算法模块中输入B颜色分量图像的刷新时刻tB，可输出对应的姿态P3。应理解，预测姿态P1的积分区间为[t0-tR]，姿态P2的积分区间为[t0-tG]姿态P3的积分区间为[t0-t3]。
步骤303，根据显示设备在刷新时刻的姿态，分别获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像。
此处，可获取目标颜色分量图像在各自的目标刷新时刻对应的目标刷新时刻的映射图像。也可以理解为，获取至少两个颜色分量图像中的目标颜色分量图像对应目标刷新时刻的映射图像。目标颜色分量图像可能是两个颜色分量图像，也可能是三个颜色分量图像，也能是多于三个颜色分量图像。为方便说明，如下目标颜色分量图像以包括R颜色分量图像、G颜色分量图像和B颜色分量图像为例进行说明。也就是说，本申请后续所描述的R颜色分量图像、G颜色分量图像和B颜色分量图像均可替换为目标颜色分量图像。R颜色分量图像在刷新时刻tR对应的映射图像为R颜色分量图像的映射图像、G颜色分量图像在刷新时刻tG对应的映射图像为G颜色分量图像的映射图像、B颜色分量图像在刷新时刻tB对应的映射图像为B颜色分量图像的映射图像。
针对获取目标颜色分量图像对应目标刷新时刻的映射图像，如下示例性地的给出两种可能的实现方式。
实现方式一，重投影(asynchronous reprojection)的方式。
该实现方式一可参阅图4所示的方法流程示意图。该获取目标颜色分量图像在各自目标刷新时刻对应的映射图像的方法包括如下步骤：
步骤401，基于目标刷新时刻的姿态和历史姿态，确定目标颜色分量图像的调整矩阵。
示例性地，可基于显示设备在目标刷新时刻tR的姿态P1和历史姿态P0，确定R颜色分量图像的调整矩阵A1；基于显示设备在目标刷新时刻tG的姿态P2和历史姿态P0，确定G颜色分量图像的调整矩阵A2；基于显示设备在目标刷新时刻tB的姿态P3和历史姿态P0，确定B颜色分量图像的调整矩阵A3。其中，A1＝KR1R0 -1K-1，A2＝KR2R0 -1K-1，A3＝KR3R0 -1K-1，K为显示设备的参数，为常数；R0是历史姿态P0对应的旋转矩阵，R1是姿态P1对应的旋转矩阵，R2是姿态P2对应的旋转矩阵，R3是姿态P3对应的旋转矩阵。
需要说明的是，一个姿态对应一个旋转矩阵，调整矩阵A1、调整矩阵A2、调整矩阵A3可为4*4的矩阵。R1R0 -1可表征姿态P1和历史姿态P0的差异，R2R0 -1可表征姿态P2和历史姿态P0的差异，R3R0 -1可表征姿态P3和历史姿态P0的差异。
步骤402，基于调整矩阵，对目标颜色分量图像在历史姿态下的映射图像进行调整，以获得目标颜色分量图像对应目标刷新时刻的映射图像。
示例性地，目标颜色分量图像在历史姿态下的映射图像为图像I(可为上述待处理图像)颜色分量图像的映射图像可根据图像I和调整矩阵A1确定，G颜色分量图像的映射图像可根据图像I和调整矩阵A2确定，B颜色分量图像的映射图像可根据图像I和调整矩阵A3确定。即可通过调整矩阵A1对图像I进行纹理采样，得到R颜色分量图像的映射图像的坐标，即XR＝A1 -1X，X是图像I中的一个像素点坐标，XR是对应在R颜色分量图像的映射图像中的一个像素点坐标；通过调整矩阵A2对图像I进行纹理采样，得到G颜色分量图像的映射图像的坐标，即XG＝A2 -1 X，X是图像I中的一个像素点坐标，XG是对应在G颜色分量图像的映射图像中的一个像素点坐标；通过调整矩阵A3对图像I进行纹理采样，得到B颜色分量图像的映射图像的坐标，XB＝A3 -1X，X是图像I中的一个像素点坐标，XB是对应在B颜色分量图像的映射图像中的一个像素点坐标。
通过该实现方式一的重投影方式来获得目标颜色分量图像对应目标刷新时刻的映射图像，可降低图像处理过程的开销。
实现方式二，直接渲染。
可直接对目标颜色分量图像在各自的目标刷新时刻的姿态进行渲染，得到目标颜色分量图像在各自的目标刷新时刻对应的映射图像。
示例性地，对显示设备在目标刷新时刻tR的姿态P1进行渲染，得到R颜色分量图像在目标刷新时刻对应的映射图像，即得到R颜色分量图像的映射图像；对显示设备在目标刷新时刻tG的姿态P2进行渲染，得到G颜色分量图像在目标刷新时刻对应的映射图像，即得到G颜色分量图像的映射图像；对显示设备在目标刷新时刻tB的姿态P3进行渲染，得到B颜色分量图像在目标刷新时刻对应的映射图，即得到B颜色分量图像的映射图像。
步骤304，合成至少两个颜色分量图像的映射图像，以用于显示设备的显示。
此处，可通过着色器或其它渲染工具合成至少两个颜色分量图像的映射图像。
在一种可能实现方式中，可合成目标颜色分量图像在目标刷新时刻对应的映射图像。例如，可对R颜色分量图像的映射图像、G颜色分量图像的映射图像和B颜色分量图像的映射图像进行合成，得到一幅图像，用于显示设备的显示。
在一种可能的实现方式中，显示设备例如可以是增项现实显示装置。例如可穿戴设备，如AR眼镜，或者还可以是AR头盔等。
从上述步骤301至步骤304可以看出，通过预测显示设备的至少两个颜色分量图像在各自刷新时刻的姿态，可补偿显示设备的运动，之再根据刷新时刻的姿态，获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像，即可实现对至少两个颜色的分量图像的调整，实现对显示设备运动后的图像的补偿，之后再对至少两个颜色分量的映射图像进行合成，可降低显示设备的运动造成显示设备显示的图像出现色彩分离的现象，从而有助于减弱人眼观察到色彩分离的现象。
基于上述内容，本申请还可以提供一种增强现实显示装置，该增强现实显示装置可应用上述图像处理方法形成用于显示的图像。如图5所示，为本申请提供的一种增强现实显示装置的结构示意图。该增强现实显示装置可包括光引擎系统和光波导系统。光引擎系统用于产生并显示图像，光波导系统用于将光引擎系统显示的图像传输至人眼成像。
在一种可能的实现方式中，光引擎系统可采用单芯片的光路引擎系统，单芯片的光路引擎系统采用色序投影显示技术。其中，光引擎系统可包括光源、图像显示组件和处理器。其中，光源用于发射各种颜色的光。光源可为红绿蓝(red green blue，RGB)发光二极管(light emitting diode，LED)、也可以为RGB有机发光二极管(organic light emittingdiode，OLED)。处理器用于基于光源发射的各种颜色的光，采用上述图像处理的方式，对图像进行处理，具体过程可参见上述描述，此处不再一一赘述。图像显示组件用于显示经处理器应用上述图像处理方法处理后的图像。图像显示组件可以是硅基液晶(liquid crystalon silicon，LCOS)图像显示组件，也可以是数字光处理(digital light processing，DLP)图像显示组件。
可以理解的是，该增强现实显示装置还可以包括其他器件，例如存储器、无线通信模块、传感器和显示屏等，本申请对此不做限定。
为了便于说明，以增强现实装置是AR眼镜为例介绍。如图6所示，给出了增强现实装置的一种示例(例如AR眼镜)的结构示意图。该AR眼镜包括光波导镜片(即光波导系统)、光引擎系统、镜腿和镜架。光引擎系统用于产生并显示图像，并将携带图像的光射向光波导镜片，其中，光引擎系统处理图像的过程可参见上述图像处理方法，此处不再赘述。光波导镜片用于将接收到的图像传输至人眼成像。镜腿用于将该AR眼镜佩戴在用户的眼睛前方。镜架用于将光引擎系统、光波导镜片和镜腿进行固定。镜腿和镜架例如可以是金属结构或塑料结构，对于镜腿和镜架的结构，本申请不做限定。
可以理解的是，为了实现上述实施例中功能，该装置可包括执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
图7和图8为本申请的提供的可能的装置的结构示意图。这些装置可以用于实现上述方法实施例中的功能，因此也能实现上述方法实施例所具备的有益效果。在本申请中，该装置可以是如图5所示的增强现实显示装置，也可以是如图6所示的AR眼镜，还可以是应用于显示设备中的模块(如芯片)，也可以是应用于增强现实显示装置的模块(如芯片)。
如图7所示，该装置700包括确定单元701、预测单元702、获取单元703和合成单元704。装置700用于实现上述图3、图4所示的方法实施例中的功能。
当装置700用于实现图3所示的方法实施例的功能时：确定单元701用于根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在显示设备中各自的刷新时刻；预测单元702用于根据显示设备的一个历史姿态，预测显示设备在刷新时刻的姿态；获取单元703用于根据显示设备在刷新时刻的姿态，分别获取至少两个颜色分量图像在各自的刷新时刻对应的映射图像；合成单元704用于合成至少两个颜色分量图像的映射图像，以用于显示设备的显示。
有关上述确定单元701、预测单元702、获取单元703和合成单元704更详细的描述可以参考图3所示的方法实施例中相关描述直接得到，此处不再一一赘述。
基于上述内容和相同构思，如图8所示，本申请还提供一种装置800。该装置800可包括处理器801。可选地，装置800还可包括存储器802，用于存储处理器801执行的指令或存储处理器801运行指令所需要的输入数据或存储处理器801运行指令后产生的数据。
当装置800用于实现图3所示的方法时，处理器801用于执行上述确定单元701、预测单元702、获取单元703和合成单元704的功能。
可以理解的是，本申请的实施例中的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于显示设备中。当然，处理器和存储介质也可以作为分立组件存在于显示设备中。
在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中，“至少两个”是指两个或者两个以上。可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用完全硬件施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在所述显示设备中各自的刷新时刻；
根据所述显示设备的一个历史姿态，预测所述显示设备在所述刷新时刻的姿态；
根据所述显示设备在所述刷新时刻的姿态，分别获取所述至少两个颜色分量图像在各自的所述刷新时刻对应的映射图像；
合成所述至少两个颜色分量图像的映射图像，以用于所述显示设备的显示。
2.根据权利要求1所述的方法，其特征在于，所述显示设备的参数包括所述至少两个颜色分量图像在所述显示设备中的刷新顺序和刷新间隔，一个颜色分量图像的刷新时刻等于在所述刷新顺序中前一个颜色分量图像的刷新时刻延后所述前一个颜色分量图像的刷新间隔。
3.根据权利要求1或2所述的方法，其特征在于，所述分别获取所述至少两个颜色分量图像在各自的所述刷新时刻对应的映射图像，包括：
获取目标颜色分量图像在各自的目标刷新时刻对应的映射图像。
4.根据权利要求3所述的方法，其特征在于，所述获取目标颜色分量图像对应目标刷新时刻的映射图像，包括：
基于所述目标刷新时刻的姿态和所述历史姿态，确定所述目标颜色分量图像的调整矩阵；
基于所述调整矩阵，对所述目标颜色分量图像在所述历史姿态下的映射图像进行调整，以获得所述目标颜色分量图像在所述目标刷新时刻对应的映射图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述显示设备包括增强现实显示装置。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述至少两个颜色分量图像包括：红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
7.一种装置，其特征在于，包括：
确定单元，用于根据显示设备的参数，确定待处理图像的至少两个颜色分量图像在所述显示设备中各自的刷新时刻；
预测单元，用于根据所述显示设备的一个历史姿态，预测所述显示设备在所述刷新时刻的姿态；
获取单元，用于根据所述显示设备在所述刷新时刻的姿态，分别获取所述至少两个颜色分量图像在各自的所述刷新时刻对应的映射图像；
合成单元，用于合成所述至少两个颜色分量图像的映射图像，以用于所述显示设备的显示。
8.根据权利要求7所述的装置，其特征在于，所述显示设备的参数包括所述至少两个颜色分量图像在所述显示设备中的刷新顺序和刷新间隔，一个颜色分量图像的刷新时刻等于在所述刷新顺序中前一个颜色分量图像的刷新时刻延后所述前一个颜色分量图像的刷新间隔。
9.根据权利要求7或8所述的装置，其特征在于，所述获取单元，具体用于：
获取目标颜色分量图像在各自的目标刷新时刻对应的映射图像。
10.根据权利要求9所述的装置，其特征在于，所述获取单元，具体用于：
基于所述目标刷新时刻的姿态和所述历史姿态，确定所述目标颜色分量图像的调整矩阵；基于所述调整矩阵，对所述目标颜色分量图像在所述历史姿态下的映射图像进行调整，以获得所述目标颜色分量图像在所述目标刷新时刻对应的映射图像。
11.根据权利要求7至10任一项所述的装置，其特征在于，所述显示设备包括增强现实显示装置。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述至少两个颜色分量图像包括：红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
13.一种装置，其特征在于，包括处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述装置执行如权利要求1至6中任一项所述的方法。
14.一种增强现实显示装置，其特征在于，包括：用于执行如权利要求1至6中的任一项所述方法的模块。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被装置执行时，实现如权利要求1至6中任一项所述的方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被装置执行时，实现如权利要求1至6中任一项所述的方法。
CN201911114519.1A 2019-11-14 2019-11-14 一种图像处理方法及装置 Pending CN112802131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114519.1A CN112802131A (zh) 2019-11-14 2019-11-14 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114519.1A CN112802131A (zh) 2019-11-14 2019-11-14 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN112802131A true CN112802131A (zh) 2021-05-14

Family

ID=75803845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114519.1A Pending CN112802131A (zh) 2019-11-14 2019-11-14 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN112802131A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1751523A (zh) * 2003-02-14 2006-03-22 皇家飞利浦电子股份有限公司 处理用于一个颜色顺序显示器的信号
CN105393283A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 增强现实体验的重投影oled显示
CN105872373A (zh) * 2016-03-31 2016-08-17 北京奇虎科技有限公司 一种自动去雾拍照方法、装置和设备
CN106782260A (zh) * 2016-12-06 2017-05-31 歌尔科技有限公司 用于虚拟现实运动场景的显示方法及装置
CN108431739A (zh) * 2016-01-25 2018-08-21 微软技术许可有限责任公司 用于增强现实环境的帧投影
CN109656367A (zh) * 2018-12-24 2019-04-19 深圳超多维科技有限公司 一种应用于vr场景下的图像处理方法、装置及电子设备
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
US20190320187A1 (en) * 2016-12-19 2019-10-17 Sony Corpor Ation Image processing device, image processing method, and program
CN110431599A (zh) * 2017-03-17 2019-11-08 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1751523A (zh) * 2003-02-14 2006-03-22 皇家飞利浦电子股份有限公司 处理用于一个颜色顺序显示器的信号
CN105393283A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 增强现实体验的重投影oled显示
CN108431739A (zh) * 2016-01-25 2018-08-21 微软技术许可有限责任公司 用于增强现实环境的帧投影
CN105872373A (zh) * 2016-03-31 2016-08-17 北京奇虎科技有限公司 一种自动去雾拍照方法、装置和设备
CN106782260A (zh) * 2016-12-06 2017-05-31 歌尔科技有限公司 用于虚拟现实运动场景的显示方法及装置
US20190320187A1 (en) * 2016-12-19 2019-10-17 Sony Corpor Ation Image processing device, image processing method, and program
CN110431599A (zh) * 2017-03-17 2019-11-08 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
CN109656367A (zh) * 2018-12-24 2019-04-19 深圳超多维科技有限公司 一种应用于vr场景下的图像处理方法、装置及电子设备
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US10083538B2 (en) Variable resolution virtual reality display system
JP6866297B2 (ja) ヘッドマウントディスプレイの電子ディスプレイ安定化
US10089790B2 (en) Predictive virtual reality display system with post rendering correction
US11049476B2 (en) Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
JP6860488B2 (ja) 複合現実システム
US20190221044A1 (en) Display system having sensors
US10515573B2 (en) Head mounted display and method for controlling the same
JP2021103537A (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
US11107280B1 (en) Occlusion of virtual objects in augmented reality by physical objects
TW202019167A (zh) 產生和修改擴增實境或虛擬實境場景中的物件的表示方式
EP3572916B1 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
US11847552B2 (en) Pipeline with processor including neural network for rendering artificial reality
CN113362442A (zh) 一种虚拟现实图像的渲染方法、存储介质及虚拟现实设备
Zheng Spatio-temporal registration in augmented reality
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
CN112802131A (zh) 一种图像处理方法及装置
US11954786B2 (en) Reprojection for high field rate displays
JP7465133B2 (ja) 情報処理装置、情報処理方法
Santos et al. IMPROVE: Collaborative design review in mobile mixed reality
US20240013480A1 (en) Projection of an image in an extended reality device
JP2006252059A (ja) 画像処理方法、画像処理装置
JP2024003912A (ja) 画像処理装置、頭部装着型表示装置、画像処理装置の制御方法、頭部装着型表示装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination