CN112887646A - 图像处理方法及装置、扩展现实系统、计算机设备及介质 - Google Patents

图像处理方法及装置、扩展现实系统、计算机设备及介质 Download PDF

Info

Publication number
CN112887646A
CN112887646A CN202110087233.XA CN202110087233A CN112887646A CN 112887646 A CN112887646 A CN 112887646A CN 202110087233 A CN202110087233 A CN 202110087233A CN 112887646 A CN112887646 A CN 112887646A
Authority
CN
China
Prior art keywords
image
resolution
rendering
gazing
full view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110087233.XA
Other languages
English (en)
Other versions
CN112887646B (zh
Inventor
苗京花
鄢名扬
李文宇
王雪丰
范清文
张�浩
陈丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202110087233.XA priority Critical patent/CN112887646B/zh
Publication of CN112887646A publication Critical patent/CN112887646A/zh
Application granted granted Critical
Publication of CN112887646B publication Critical patent/CN112887646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开一种图像处理方法及装置、扩展现实系统、计算机设备及介质。该方法的一具体实施方式包括：获取人眼的注视点位置，确定图像的注视区；图像渲染装置对注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，图像渲染装置在第一分辨率渲染后输出注视区图像，在第二分辨率渲染后输出的是对注视区图像与全视场区图像拼接得到的第一拼接图像，或，向扩展现实装置输出的是对当前渲染得到的注视区图像与对全视场区图像进行n等分后得到的子图像拼接得到的第二拼接图像。该方法通过分时、分批输出全视场区图像，可提升注视区图像的传输资源占比，确保注视区图像的高清晰度和高刷新率。

Description

图像处理方法及装置、扩展现实系统、计算机设备及介质
技术领域
本申请涉及扩展现实技术领域。更具体地，涉及一种面向扩展现实的图像处理方法及装置、扩展现实系统、计算机设备及介质。
背景技术
扩展现实技术(XR，Extended Reality)作为一种新兴的技术，正在逐渐进入人们的视野，并且在各行各业中得到应用和普及。其中，扩展现实技术具体包含虚拟现实技术(VR，Virtual Reality)、增强现实技术(AR，Augmented Reality)、混合现实技术(MR，MixedReality)等。
随着扩展现实技术的发展，分辨率和刷新率进一步提升，意味着传输图像时，每帧输出的信号量就越大，对传输带宽的要求就越高，系统的渲染能力和系统端到显示端的传输能力受到很大挑战。现有技术中的扩展现实设备面对超高分辨率的扩展现实应用图像，性能有所不足，导致最终扩展现实设备显示的画面的帧率不足，画面存在卡顿现象，无法满足用户对于画面的流畅度要求；同时图像渲染过程中还存在冗余渲染，导致渲染资源和传输资源浪费。
发明内容
本申请的目的在于提供一种面向扩展现实的图像处理方法及装置、扩展现实系统、计算机设备及介质，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本申请采用下述技术方案：
本申请第一方面提供了一种面向扩展现实的图像处理方法，包括：
获取人眼的注视点位置，并根据所述注视点位置确定图像的注视区；
图像渲染装置对所述注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一帧率为所述第二帧率的n倍，n≥2；
图像渲染装置在第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像拼接得到的第二拼接图像。
本申请第一方面所提供的图像处理方法，通过不同的分辨率渲染注视区和全视场区，有效减少渲染的工作量以及相应产生的渲染数据和数据传输量，减轻图像数据的传输压力；同时，该方法通过对全视场区图像降频渲染，同时分时或者分批输出全视场区图像，减少非注视区的渲染资源和传输资源的占有率，提高注视区图像的传输资源占比，确保注视区图像的高清晰度和高刷新率，进而提升扩展现实系统的渲染有效性和传输有效率。
在一种可能的实现方式中，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，或，
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示。
在一种可能的实现方式中，所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。
在一种可能的实现方式中，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，其中，解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示，其中，解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
该实现方式通过对全视场区进行第二分辨率渲染并编码处理，并在扩展现实装置中解析图像，在减少传输至扩展现实装置中的数据量，避免占用较大带宽的同时，对全视场区的数据传输进行编码优化，从而与注视区的分辨率匹配，减少或者避免在数据传输过程中为保证图像输出所设置的无效区，进一步减少所需传输的数据量，进一步降低对传输带宽的需求，进一步提升注视区图像在传输带宽中的占有率。
在一种可能的实现方式中，所述扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示包括：
在接收到第一拼接图像时，扩展现实装置对第一拼接图像实时解析并显示；
在接收到注视区图像时，扩展现实装置对注视区图像实时解析并显示，并根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并显示；
所述扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示包括：
对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：
若是，则显示解析得到的注视区图像及全视场区图像；
若否，则显示解析得到的注视区图像，并根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并显示。
该实现方式通过扩展显示设备对全视场区图像进行插帧处理，从而避免注视区和全视场区之间不同的刷新率容易导致的区域边界错位的问题，弥补全视场区降频渲染所引入的与注视区边界撕裂的问题，确保注视区和全视场区的平滑过渡。
本申请第二方面提供一种面向扩展现实的图像处理装置，包括：
获取模块，用于获取人眼的注视点位置，并根据所述注视点位置确定图像的注视区；
渲染模块，用于对所述注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一帧率为所述第二帧率的n倍，n≥2；
输出模块，用于在第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像依序拼接得到的第二拼接图像。
在一种可能的实现方式中，所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。
本申请第三方面提供一种扩展现实系统，包括扩展现实装置和本申请第二方面所提供的图像处理装置，所述扩展现实装置包括解析模块和显示模块，
所述解析模块，用于对接收的注视区图像和第一拼接图像实时解析并通过所述显示模块进行显示，或，对接收的第二拼接图像实时解析，通过所述显示模块实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时通过所述显示模块显示。
在一种可能的实现方式中，所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像；
所述解析模块用于解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
所述解析模块用于解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
在一种可能的实现方式中，所述扩展现实装置还包括插帧模块，用于在扩展现实装置接收到注视区图像时，根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并通过所述显示模块显示；或，在所述解析模块对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：若否，则根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并通过所述显示模块显示。
本申请第四方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请第一方面所提供的方法。
本申请第五方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所提供的方法。
本申请的有益效果如下：
针对现有技术中存在的技术问题，本申请提供一种面向扩展现实的图像处理方法及装置、扩展现实系统、计算机设备及介质，该处理方法通过不同的分辨率渲染注视区和全视场区，有效减少渲染的工作量以及相应产生的渲染数据和数据传输量，减轻图像数据的传输压力；同时，该方法通过对全视场区图像降频渲染，同时分时或者分批输出全视场区图像，减少非注视区的渲染资源和传输资源的占有率，提高注视区图像的传输资源占比，确保注视区图像的高清晰度和高刷新率，进而提升扩展现实系统的渲染有效性和传输有效率。
附图说明
下面结合附图对本申请的具体实施方式作进一步详细的说明。
图1示出现有技术的扩展现实技术的处理流程图。
图2示出现有技术的结合注视区渲染的处理流程图。
图3示出现有技术的渲染区域分布图。
图4示出本申请的一个实施例的图像处理方法的流程图。
图5示出本申请的一个实施例的注视区渲染的流程图。
图6示出本申请的一个实施例的全视场区渲染的流程图。
图7示出本申请的一个实施例的注视区图像和全视场区图像的输出流程图。
图8示出本申请的另一个实施例的注视区图像和全视场区图像的输出流程图。
图9a-9b示出本申请的一个实施例的图像处理方法的相邻两帧输出的图像示意图。
图10示出现有技术中每一帧所输出的图像示意图。
图11示出本申请的又一个实施例的注视区图像和全视场区图像的输出流程图。
图12示出本申请的一个实施例的全视场区图像的解析显示流程图。
图13示出本申请的一个实施例的扩展现实装置解析流程图。
图14a-14b示出本申请的一个实施例的全视场区编码前后的效果图。
图15示出本申请的一个实施例的解码单元定向存储示意图。
图16示出本申请的一个实施例的面向扩展现实的图像处理装置的结构示意图。
图17示出本申请的一个实施例的扩展现实系统的示意图。
图18示出实现本申请实施例提供的计算机系统的结构示意图。
具体实施方式
为了更清楚地说明本申请，下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。
在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
可理解的是，目前扩展现实技术的发展处于部分沉浸期，在近眼显示、内容制作和渲染处理等方面仍有较大的发展空间，目前单目屏幕的分辨率门槛为1.5-2K，刷新率为90Hz，预计从明年开始将进入深度沉浸期，单目分辨率预计将提升至3-4K，刷新率达到120Hz，随着分辨率和刷新率的提升，系统的渲染能力和系统端到显示端的传输能力将受到很大挑战。
在系统渲染能力方面，目前现有技术中可支持4K渲染输出效果优异，与现有的单目屏幕分辨率1.5-2K相匹配。可理解的是，从以往的规律而言，显卡的性能提升每年大约提升30％，为了应对扩展现实技术对渲染能力的强劲需求，现有技术中推出深度学习超级采样DLSS技术，有意在一定的硬件处理性能前提下，对扩展现实技术提供更好的支持。然而，相较于注视点渲染保留注视区的绝对清晰度而言，现有技术的深度学习超级采样DLSS技术通过低分辨率的渲染经过超分后实现超高分辨率输出，其实质上与真实渲染不同，存在“造假”的嫌疑，这也从侧面说明现有的系统端渲染能力与扩展现实的需求仍存在较大的差距。现有的扩展现实处理流程如图1所示，扩展现实系统端基于传感器所上报的数据，通过位姿预测进行全视场区渲染，在经过后渲染处理后输出图像，扩展现实显示端根据时序直接进行扫描显示。但是全视角同等清晰度与人眼的真实视觉情境并不相同，同时还会造成渲染渲染资源的极大浪费，主要是由于人眼视觉方面在中心凹3°以内为超高清的区域，该区域可以感知精细内容，而越往外的区域，人眼对精细内容的敏感度会逐渐降低，例如在大约20°左右的区域，人眼可对文字、符号有感知，但是到了更大的视角后，人眼只能感知颜色、轮廓。
现有技术中结合注视点渲染的技术方案主要如图2所示，首先系统端根据算法获取用户人眼注视点的坐标，进而划分出不同的渲染区域，如注视区、全视场区和无效区，如图3所示，其中，注视区为用户当前所关注的区域，注视区图像做实时渲染处理，全视场区指的是整个水平360°，俯仰180度的区域，全视场区图像做下采样处理，无效区图像用于保证图像输出，对图像显示没有贡献。分区域采用不同的渲染策略，各区域渲染完成后进行图像拉伸，目标分辨率为显示端的物理分辨率，随后再做后渲染处理并输出图像。该技术方案在扩展现实的系统端内进行图像拉伸后再传输至显示端，极大占用了对系统端到显示端之间的传输带宽。可理解的是，传输带宽同样也是制约扩展现实系统向更高分辨率、更高刷新率发展的重要因素之一。现有技术中可支持到DP1.4，有效链路带宽为25.92Gbps，可支持4K乃至8K的图像输出，但是需要使用DSC算法，然后支持DSC压缩算法使用的驱动程序尚未面世，也就意味着传输能力会大打折扣。同时，如图2所示，非注视区的清晰度在渲染时已经进行下采样处理，再进行向上图像拉伸，这对清晰度本身并不会带来较大的贡献，同时还严重占用较大带宽，无法适用于带宽限制的情况。
为解决现有技术中存在的问题，本申请提供一种面向扩展现实的图像处理方法100，如图4所示，该处理方法100包括：
S101、获取人眼的注视点位置，并根据注视点位置确定图像的注视区；
在一个具体示例中，可通过采用眼球追踪(或视线追踪、人眼追踪)技术采集用户的瞳距信息，进而获取用户人眼的注视点位置。例如可通过扩展现实系统上的眼球追踪装置(如包括红外设备和图像采集设备)来实现，眼球追踪装置可根据初始设定采集用户眼睛的瞳距信息，其工作原理为针对每种标准脸设定一个标准瞳距，当用户佩戴该扩展现实系统时，眼球追踪装置(如图像采集设备)采集用户的瞳距图像，从而直接提取瞳距信息，获取用户眼睛的注视点位置，或者也可根据采集的瞳距图像与标准瞳距进行对比，从而得到该用户眼睛的注视点位置。
在另一个具体示例中，待渲染的图像可以为执行渲染的渲染引擎(Renderer)所针对的整个场景(Scene)。渲染是指用软件从模型生成图像的过程，具体而言是将三维场景中的模型，按照设定好的环境、灯光、材质及渲染参数，二维投影成数字图像的过程中。渲染引擎具体可以为GPU(Graphics Processing Unit，图像处理器)、FPGA或者专用的AI芯片等。
S102、图像渲染装置对注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，第一分辨率大于第二分辨率，第一帧率为第二帧率的n倍，n≥2；.
其中，该实施例中的“分辨率”，对应于显示画面中单位面积所包含的像素个数，其用于表征显示画面的精细程度，例如，分辨率之间的比较可以折算为单位面积的像素密度之间的比较，可通过DPI或者PPI等表征单位面积的像素密度。例如，第一分辨率可以为FHD(1080P)、QHD、4K、5K等高清分辨率，第二分辨率可以为HD(720P)、qHD等非高清分辨率。在一个具体实例中，第一分辨率可为1440*1440，全视场区为1080*1080，以上示例仅为示意性示例，可根据实际需要进行选择，确保第一分辨率大于第二分辨率即可。
另外，该实施例中的“第一帧率为第二帧率的n倍，n≥2”，即相比于对注视区以第一帧率渲染，该实施例对全视场区进行降频渲染，同时全视场区降频后的帧率E与注视区帧率F为可被整除的关系，即F/E＝n，n为整数，n可为2,3,4,5……等。在一个具体示例中，第一帧率可为60Hz，第二帧率可为30Hz；在另一个具体示例中，第一帧率可为60Hz，第二帧率可为20Hz。
其中，对注视区的渲染流程如图5所示，根据眼球跟踪算法得出的注视区坐标进行后续计算渲染，从而得到注视区图像；在一个示例中，对全视场区的渲染流程如图6所示，首先设定帧计数为M，第一帧率与第二帧率的倍数关系为n，通过M％n(即M对n的取余，可理解的是，若除数比被除数大，则直接除数就是余数)，从而判断全视场区是否进行渲染。如图6所示的示例中，在全视场区渲染之前，判断M％n是否为1，若是，则对全视场区进行渲染，若不满足，则不对全视场区进行渲染，也就是说，将全视场区每n帧渲染一次。
在一个具体示例中，第一帧率为第二帧率的2倍，即n＝2，第一帧时，根据注视区坐标进行注视区渲染，得到注视区图像；同时，判断全视场区的判定条件，即1％2＝1，从而进行全视场区渲染，得到全视场区图像。第二帧时，继续根据注视区坐标进行注视区渲染，得到注视区图像；同时，判断全视场区的判定条件，2％2＝0，不满足判定条件，不进行全视场区渲染，即全视场区每2帧渲染一次，后面的帧数的处理流程与上述相同，不再赘述。
在一个具体示例中，第一帧率为第二帧率的3倍，即n＝3，第一帧时，根据注视区坐标进行注视区渲染，得到注视区图像；同时，判断全视场区的判定条件，即1％3＝1，从而进行全视场区渲染，得到全视场区图像。第二帧时，继续根据注视区坐标进行注视区渲染，得到注视区图像；同时，判断全视场区的判定条件，2％3＝2，不满足判定条件，不进行全视场区渲染；第三帧时，继续根据注视区坐标进行注视区渲染，得到注视区图像；同时，判断全视场区的判定条件，3％3＝0，不满足判定条件，不进行全视场区渲染，即全视场区每3帧渲染一次，后面的帧数的处理流程与上述相同，不再赘述。
需要说明的是，由于现有的扩展现实装置中采用的是光学元件成像，用户需要通过光学元件观看所显示的图像，然而要显示的图像数据在经过光学元件后会产生一定的畸变，用户经过光学元件观看的显示屏以及显示屏上显示的图像的像可能会产生畸变。因此，在一个具体实例中，在对注视区和全视场区进行渲染后，分别对注视区渲染后的图像以及对全视场区渲染后的图像进行反畸变处理，反畸变处理的原理在于，考虑到光学元件的畸变效果，提前对要显示的图像进行变形，该变形能够抵消透镜单元固有的畸变效果，因此，当用户观看该实例所输出的注视区图像或者全视场区图像时，扩展现实装置的光学元件产生的畸变与反畸变处理的效果相抵消，用户可以观看到没有畸变或畸变很小的图像。
该实施例步骤S102实现图像的分区域不同帧率不同分辨率渲染，即每一帧均对整个显示区域中部分区域(即注视区)采用第一帧率进行第一分辨率进行注视区渲染，每n帧(例如每2帧、每3帧…)进行一次全视场区渲染，相对于将整个显示场景采用第一帧率进行第一分辨率渲染，从而减少全视场区渲染的工作量及相应产生的渲染数据和数据传输量，在保证用户观看需求的实时画面显示的同时，减轻渲染工作负担。
S103、图像渲染装置在每次第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在每次第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在每次第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像拼接得到的第二拼接图像。
在一个具体的实施方式中，针对注视区和全视场区的渲染流程如上述实施例所述，另外，通过M％n是否为1，从而判断将注视区图像和全视场区图像拼接输出或只输出注视区图像，结合图6-7所示，当M％n为1时，对注视区和全视场区分别进行渲染得到注视区图像和全视场区图像，同样地，M％n为1，满足判定条件，将注视区图像和全视场区图像拼接输出；当M％n不为1时，不对全视场区进行渲染，仅进行注视区渲染，同样，M％n不为1时，不满足判定条件，仅输出注视区的图像，即该实施方式中通过判断判定条件，满足判定条件时，则输出注视区图像与全视场区图像拼接得到的第一拼接图像，不满足判定条件，则输出注视区图像。可理解的是，注视区图像与全视场区图像拼接的第一拼接图像的图像大小(或分辨率)大于注视区图像的图像大小。在一个示例中，注视区渲染线程输出优先级较高，从而确保图像显示的帧率。
在一个具体示例中，第一帧率为第二帧率的2倍，即n＝2，第一帧，根据判定条件1％2＝1，同时进行注视区渲染和全视场区渲染，得到注视区图像和全视场区图像，判断输出的判定条件，1％2＝1，即满足判定条件，从而输出注视区图像和全视场区图像的拼接图像；第二帧时，根据判定条件2％2＝0，不满足判定条件，仅对注视区进行渲染，得到注视区图像，随后判断输出的判定条件，2％2＝0，不满足判定条件，因此，仅输出注视区图像，即全视场区每2帧渲染一次，每2帧仅输出一次全视场区渲染后的图像。后面的帧数的处理流程与上述相同，不再赘述。
在一个具体示例中，第一帧率为第二帧率的3倍，即n＝3，第一帧，根据判定条件1％3＝1，同时进行注视区渲染和全视场区渲染，得到注视区图像和全视场区图像，判断输出的判定条件，1％3＝1，即满足判定条件，从而输出注视区图像和全视场区图像的拼接图像；第二帧时，根据判定条件2％3＝2，不满足判定条件，仅对注视区进行渲染，得到注视区图像，随后判断输出的判定条件，2％3＝2，不满足判定条件，因此，仅输出注视区图像。第三帧时，根据判定条件3％3＝0，不满足判定条件，仅对注视区进行渲染，得到注视区图像，随后判断输出的判定条件，3％3＝0，不满足判定条件，因此，仅输出注视区图像，即全视场区每3帧渲染一次，每3帧仅输出一次全视场区渲染后的图像。后面的帧数的处理流程与上述相同，不再赘述。
该实施例步骤S103根据判定条件判断将注视区图像和全视场区图像拼接输出或只输出注视区图像，从而保证每一帧均输出注视区图像，保证注视区图像高清晰度和高刷新率的同时，提高传输速率，同时，全视场区图像每n帧渲染一次，每n帧仅输出一次全视场区渲染后的图像，进而减少全视场区图像在传输资源中的占比，提高注视区图像在传输资源中的占比。
在一个具体的实施方式中，针对注视区和全视场区的渲染流程如上述实施例所述。另外，每一帧图像输出时，对当前渲染得到的全视场区图像的1/n的子图像与渲染得到的注视区图像拼接成第二拼接图像后输出，以使得每一帧所输出的图像的分辨率相同，在一个具体示例中，通过判定条件M％n是否为1、2、3、。。。n-1，从而判断将当前渲染得到的全视场区图像的哪一部分子图像与渲染得到的注视区图像拼接输出。
在一个具体示例中，如图8所示，第一帧率为第二帧率的2倍，即n＝2，针对注视区和全视场区的渲染流程与上述实施例一致，即第一帧时，同时进行注视区渲染和全视场区渲染，得到注视区图像和全视场区图像，判断输出的判定条件，1％2＝1，从而将注视区图像与全视场区图像的前1/2的图像拼接输出，第二帧时，仅对注视区进行渲染，得到注视区图像，判断输出的判定条件，2％2＝0，不满足判定条件，从而将注视区图像与第一帧渲染的全视场区图像的后1/2的图像拼接输出，即每一帧输出渲染后的全视场区图像的1/2和注视区图像的拼接图像，后面的帧数的处理流程与上述相同，不再赘述。
如图9a-9b和图10所示，图9a-9b为根据上述实施例相邻两帧所输出的图像，图10为现有技术每一帧所输出的图像，可见，与图10相比，现有技术中每一帧均输出注视区、全视场区和无效区的完整图像，而图9a-9b中每一帧仅输出当前渲染的全视场区图像的1/2的图像量，同时需要补黑的区域(无效区)也相应地减少一半，从而减少非注视区的渲染资源和传输资源的占有率，提高注视区图像的传输资源占比。
在一个具体示例中，如图11所示，第一帧率为第二帧率的3倍，即n＝3，针对注视区和全视场区的渲染流程与上述实施例一致，即第一帧时，同时进行注视区渲染和全视场区渲染，得到注视区图像和全视场区图像，判断输出的判定条件，1％3＝1，则将注视区图像和全视场区图像的前1/3图像拼接输出，第二帧时，仅进行注视区渲染，得到注视区图像，判断输出的判定条件，2％3＝2，满足第二个判定条件，将注视区图像与第一帧渲染的全视场区图像的中1/3图像拼接输出，第三帧时，仅进行注视区渲染，得到注视区图像，判断输出的判定条件，3％3＝0，不满足以上判定条件，则将注视区图像与第一帧渲染的全视场区图像的后1/3图像拼接输出，即每一帧输出渲染后的全视场区图像的1/3与注视区的拼接图像，后面的帧数的处理流程与上述相同，不再赘述。
该实施的例每一帧图像输出时，对当前渲染得到的全视场区图像的1/n的子图像与渲染得到的注视区图像拼接成第二拼接图像后输出，以使得每一帧所输出的图像的分辨率相同，从而保证传输的图像的尺寸大小相同且避免出现某帧传输资源过大的问题，从而保证注视区图像的高清晰度和高刷新率，以及扩展现实系统的渲染有效性和传输有效率。
该实施例的图像处理方法，通过不同的分辨率、不同帧率渲染注视区和全视场区，结合人眼视觉特性，在保留注视区的绝对清晰度的前提下，对其他区域进行降采样，既保证清晰度，还可降低其他区域对硬件渲染的资源占有率，更有助于提升有效信息的资源占有率，有效减少渲染的工作量以及相应产生的渲染数据和数据传输量，减轻图像数据的传输压力，适用于计算能力不足的情况；同时，该实施例根据注视区图像和全视场区图像直接进行反畸变处理，并拼接输出，不进行图像拉伸，由扩展显示设备做图像解析和拉伸处理，有效节省传输带宽。再者，该方法通过对全视场区图像降频渲染，同时分时或者分批输出全视场区图像，减少非注视区的渲染资源和传输资源的占有率，提高注视区图像的传输资源占比，确保注视区图像的高清晰度和高刷新率，进而提升扩展现实系统的渲染有效性和传输有效率。
在一个具体的实施方式中，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，或，扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在每次获取到整幅全视场区图像时显示。
在一种具体示例中，通过M％n是否为1，从而判断将注视区图像和全视场区图像拼接输出或只输出注视区图像，即每n帧仅输出一次全视场区渲染后的图像，当扩展显示设备接收到注视区图像或者将注视区图像和全视场区图像拼接的图像，分别将其实时解析并显示。
在一种具体示例中，每一帧对当前渲染得到的全视场区图像的1/n的子图像与渲染得到的注视区图像拼接成第二拼接图像后输出，扩展显示设备接收到第二拼接图像后进行解析，将注视区图像进行实时刷新显示，同时通过判定条件M％n是否为1,2,3,…,n-1，从而判断是否已经接收到全视场区图像的整幅图像，当判断未接收到全视场区图像的整幅图像后，则将接收到的全视场区图像的部分图像进行保存，待判断接收到全视场区图像的整幅图像后，进行全视场区图像更新。
在一个具体示例中，如图12所示，第一帧率为第二帧率的2倍，即n＝2，第一帧时，扩展显示设备接收到注视区图像和全视场区图像的前1/2的图像拼接而成的第二拼接图像，将注视区图像进行实时刷新显示，同时判定条件1％2＝1，满足判定条件，则将输出过来的全视场区前1/2的图像保存；第二帧时，扩展显示设备接收到注视区图像和全视场区图像的后1/2的图像拼接而成的第二拼接图像，将注视区图像进行实时刷新显示，同时判定条件2％2＝0，则判断全视场区图像传输完整，则将保存的全视场区图像的前1/2的图像和全视场区图像的后1/2的图像整合刷新。
图13示出一个实施例的扩展现实装置解析流程图，其中，扩展显示设备接收到第二拼接图像后，先将注视区图像存储在RAM(随机存取存储器，Random Access Memory)中，如RAM A，随后进行图像解析，获取注视区坐标及全视场区信息，判断是否为全视场区的前半帧，若是，则基于前一帧存储的RAM B和RAM C预测插帧并显示，若为否，则将全视场区的后半帧图像存入RAM C中，读取RAM B和RAM C进行全视场区图像刷新。
在一个具体的实施方式中，第一分辨率的水平分辨率为a1、垂直分辨率为b1，第二分辨率的水平分辨率为a2、垂直分辨率为b2，对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。其中编码处理包括图像重排和图像穿插。
在一个具体示例中，注视区渲染的第一分辨率(水平分辨率a1和垂直分辨率b1)与全视场区渲染的第二分辨率(水平分辨率a2和垂直分辨率b2)分别与扩展显示设备的显示屏的物理分辨率(水平分辨率A和垂直分辨率B)存在整数倍的关系，即A/a1＝a’，A/a2＝a”，B/b1＝b’，B//b1＝b”。a1和a2存在有最大公约数，b1和b2同样也存在最大公约数.在一个具体示例中，设定a1大于a2，a’＝b’＝3，a”＝b”＝4，3a1＝4a2，也就是说，4行水平分辨率为a2的全视场区图像可以重新编码为3行水平分辨率为a1(即每行像素个数为a1)的图像，将全视场区进行编码后，全视场区的分辨率为a1×(b2×3/4)，从而与水平分辨率a1和垂直分辨率b1的注视区图像相匹配，无需设置无效补偿区。将编码后的全视场区与注视区拼接后，每一帧所输出的拼接图像的分辨率为a1×(b1+b2×3/4)，相比于现有技术中不进行全编码，直接将全视场区与注视区图像拼接，同时还需要填充(a1-a2)×b2的无效区以保证图像输出，每一帧所输出的拼接图像的分辨率为a1×(b1+b2)，该实施例节省a1×(b2×1/4)的数据传输量，效果如图14a-14b所示，其中图14a为编码前的全视场区图像，图14b为编码后的全视场区图像。
在一个具体的实施方式中，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，其中，解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在每次获取到整幅全视场区图像时显示，其中，解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
在一个具体示例中，通过M％n是否为1，从而判断将注视区图像和全视场区图像拼接输出或只输出注视区图像，注视区渲染的第一分辨率为1440×1440，全视场区的第二分辨率为1080×1080，通过对全视场区图像进行编码处理，使得原先全视场区中需要4行传输的数据量，用3行水平分辨率为1440的数据量即可实现传输，从而省略掉无效补偿区。通过采用上述实施例中对全视场区图像进行编码，使得全视场区的分辨率为1440×(1080×1080/1440)，当将编码后的全视场区与注视区图像拼接并输出至扩展显示设备中，扩展显示设备中可设置对应的解码单元，从而将经编码后的全视场区从而解码为水平分辨率为1080，竖直分辨率为1080的全视场区图像。例如该解码单元可通过对全视场区的每行数据对应的区域进行定向存储，在一个具体示例中，如图15所示，扩展显示设备的解码单元对第一行的后360列数据，第二行的后720列数据以及第三行的1080列数据进行定向存储，三行作为一个循环周期。
在一个具体示例中，每一帧对当前渲染得到的全视场区图像的1/n的子图像与渲染得到的注视区图像拼接成第二拼接图像后输出之前，采用上述实施例对全视场区图像的1/n的子图像进行编码，当将编码后的全视场区的1/n的子图像与注视区图像拼接并输出至扩展显示设备中，扩展显示设备中可设置对应的解码单元，从而将经编码后的全视场区的1/n的子图像从而解码为初始分辨率的全视场区的1/n的子图像。
该实施例通过对全视场区进行第二分辨率渲染并编码处理，在扩展现实装置中解析图像，在减少传输至扩展现实装置中的数据量，避免占用较大带宽的同时，对全视场区的数据传输进行编码优化，从而与注视区的分辨率匹配，减少或者避免在数据传输过程中为保证图像输出所设置的无效区，进一步减少所需传输的数据量，进一步降低对传输带宽的需求，进一步提升注视区图像在传输带宽中的占有率。
需要说明的是，通过对全视场区进行降频渲染容易导致全视场区的信息缺失，同时由于刷新率不同，还会引起全视场区与注视区的边界撕裂的问题，即在一帧图像中，当不同区域(如注视区和全视场区)的更新速度不同时，将导致内容断层，尤其在扩展现实装置这种高刷新率的系统中影响更为明显。
在一个具体的实施方式中，扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示包括：
在接收到第一拼接图像时，扩展现实装置对第一拼接图像实时解析并显示；
在接收到注视区图像时，扩展现实装置对注视区图像实时解析并显示，并根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并显示；
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在每次获取到整幅全视场区图像时显示包括：
对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：
若是，则显示解析得到的注视区图像及全视场区图像；
若否，则显示解析得到的注视区图像，并根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并显示。
在一个具体示例中，该处理方法通过判定M％n是否为1，从而判断将注视区图像和全视场区图像拼接输出或只输出注视区图像，例如n＝2时，扩展现实装置的刷新显示如下所示：当M％2为1，对注视区和全视场区分别渲染并输出注视区图像和全视场区图像的第一拼接图像，当扩展显示设备接收到第一拼接图像后，直接刷新接收解析出的注视区图像和全视场区图像；当M％2不为1时，仅对注视区进行渲染并只输出注视区图像，扩展显示设备接收到注视区图像后，扩展显示设备首先对注视区图像实时解析并显示，同时根据用户的姿态预测更新，得到对用户的位姿的检测结果，基于上一次解析所存储的全视场区图像(如上一次M％n为1时，接收得到的第一拼接图像中的全视场区图像)做预测插帧处理，从而得到当帧的插帧全视场区图像，并与当帧更新的注视区图像一起刷新显示。
在一个示例中，插帧处理依据异步时间扭曲(Asynchronous Timewarp，ATW)进行，异步时间扭曲(Asynchronous TimeWarp，缩写为ATW)技术是一种将图像渲染过程与时间扭曲(Timewarp，缩写为TW)处理过程安排在两个线程的中间帧生成方法，其中，时间扭曲处理的进程和对图像进行渲染的进程是平行运行的，时间扭曲处理的进程是基于最新完成渲染的图像(如全视场区图像)进行时间扭曲处理生成一帧新的图像，该进行时间扭曲处理的进程可以与对图像渲染的进程相分离，异步进行，其可有效降低图像的延时，大幅度消减抖动，避免形成动态对象的重影，取得良好的显示效果，减轻扩展现实图像延时传输所产生的头部眩晕问题。具体地，插帧处理为相较于上一帧所预测的显示时刻用户的位姿Quatpose1，下一帧用户又转动了多少角度Quatangle，新的一帧的显示时刻用户姿态预测结果为Quatpose2。Quatpose2＝Quatpose1×Quatangle。其中，Quat代表四元数，其中预测时间内转动的四元数Quatangle由角速度分量Angularspeedx、Angularspeedy、Angularspeedz以及预测时间Time构成。
Figure BDA0002911191080000171
Angle＝Angularspeed×Time
其中，转动的角度预测公式建立在物体在预测时间内保持匀速运动的假设上。
转动角度的四元数Quatangle包括有4个参数，分别为Quatangle.w、Quatangle.x、Quatangle.y、Quatangle.z，该转动角度的四元数Quatangle构建如下：
Quatangle.w＝cos(Angle/2)
Quatangle.x＝(Angularspeedx/Angularspeed)sin(Angle/2)
Quatangle.y＝(Angularspeedy/Angularspeed)sin(Angle/2)
Quatangle.z＝(Angularspeedz/Angularspeed)sin(Angle/2)
根据四元数Quatangle的参数Quatangle.w、Quatangle.x、Quatangle.y、Quatangle.z生成4×4矩阵Matrixangle。
Figure BDA0002911191080000172
Matrixangle与上一帧的全视场区图像的二维坐标(x,y)作用，将坐标(x,y)补充为4列向量(x,y,1,1)，将该列向量与矩阵Matrixangle相乘，从而得到新的坐标。
随后，通过IMU单元(InertialmeasurementUnit，惯性测量单元)上报的位姿信息，无论是已经硬件融合处理后的四元数或者裸数据经过软件算法融合后生成的四元数，在当帧渲染时，基于当前获取得到的位姿信息进行姿态预测，姿态预测为图像校正和插帧处理所需要的，将位姿信息处理后的四元数一并传输到扩展现实装置中，供扩展现实装置做插帧使用。在一个具体示例中，采用固定帧率进行补帧，从而取得更好的效果。
在一个具体示例中，每一帧对当前渲染得到的全视场区图像的1/n的子图像与渲染得到的注视区图像拼接成第二拼接图像后输出，扩展显示设备接收到第二拼接图像后进行解析，将注视区图像进行实时刷新显示，同时通过判定条件M％n是否为1,2,3,……,n-1，从而判断是否已经接收到全视场区图像的整幅图像，当判断接收到全视场区图像的整幅图像后，进行注视区和全视场区图像更新。当判断未接收到全视场区图像的整幅图像后，扩展显示设备首先对注视区图像实时解析并显示，同时根据用户的姿态预测更新，得到对用户的位姿的检测结果，基于上一次解析所存储的全视场区图像做预测插帧处理，从而得到当帧的插帧全视场区图像，并与当帧更新的注视区图像一起刷新显示。
该实现方式通过扩展显示设备对全视场区图像进行插帧处理，从而避免注视区和全视场区之间不同的刷新率容易导致的区域边界错位的问题，弥补全视场区降频渲染所引入的与注视区边界撕裂的问题，确保注视区和全视场区的平滑过渡。
在一个具体的实施方式中，该图像处理方法还包括：对扩展现实装置接收的图像进行拉伸后在显示屏上显示。具体可为，利用扩展现实装置通过集成电路(IC)接收的图像进行拉伸，之后在显示屏上显示。
本申请另一个实施例提供一种面向扩展现实的图像处理装置，如图16所示，包括：
获取模块，用于获取人眼的注视点位置，并根据注视点位置确定图像的注视区；
渲染模块，用于对注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，第一分辨率大于第二分辨率，第一帧率为第二帧率的n倍，n≥2；
输出模块，用于在每次第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在每次第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在每次第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像依序拼接得到的第二拼接图像。
在一个具体的实施方式中，第一分辨率的水平分辨率为a1、垂直分辨率为b1，第二分辨率的水平分辨率为a2、垂直分辨率为b2，渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。
需要说明的是，本实施例提供的面向扩展现实的图像处理装置的原理及工作流程与上述面向扩展现实的图像处理方法相似，相关之处可以参照上述说明，在此不再赘述。
本申请又一个实施例提供一种扩展现实系统，如图17所示，包括扩展现实装置和上述实施例所提供的图像处理装置，扩展现实装置包括解析模块和显示模块，
解析模块，用于对接收的注视区图像和第一拼接图像实时解析并通过显示模块进行显示，或，对接收的第二拼接图像实时解析，通过显示模块实时显示解析得到的注视区图像，存储解析得到的子图像并在每次获取到整幅全视场区图像时通过显示模块显示。
在一个具体示例中，扩展现实装置与图像处理装置可以通过有线网络或者无线网络通信连接，有线网络比如通用串行总线(Universal Serial Bus，USB)；无线网络例如无线保真(Wireless-Fldelity，Wi-Fi)、数据、蓝牙或者ZigBee(紫峰)等，本实施例对此不作限定。
在一个具体示例中，扩展现实装置可为头戴显示设备，例如VR眼镜或者VR头盔，扩展现实装置内可以设置有姿态传感器，姿态传感器可以采集佩戴该扩展现实装置的用户的头部姿态信息，其中，姿态传感器是一种基于微机电系统(MEMS)技术的高性能三维运动姿态测量器，其通常可包括有三轴陀螺仪、三轴加速度仪和三轴电子罗盘等辅助运动传感器，姿态传感器利用上述辅助运动传感器实现姿态信息的采集。例如，图像处理装置为与VR眼镜或者VR头盔通过有线网络或者无线网络连接的计算机设备。
在一个具体的实施方式中，第一分辨率的水平分辨率为a1、垂直分辨率为b1，第二分辨率的水平分辨率为a2、垂直分辨率为b2，渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像；
解析模块用于解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
解析模块用于解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
在一个具体的实施方式中，扩展现实装置还包括插帧模块，用于在扩展现实装置接收到注视区图像时，根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并通过显示模块显示；或，在解析模块对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：若否，则根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并通过显示模块显示。
需要说明的是，本实施例提供的扩展现实系统的原理及工作流程与上述面向扩展现实的图像处理方法相似，相关之处可以参照上述说明，在此不再赘述。
本申请的再一个实施例提供一种计算机设备，如图18所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述实施例所提供的图像处理方法。
如图18所示，适于用来实现上述实施例提供的图像处理方法的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括获取模块、渲染模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，获取模块还可以被描述为“图像注视点模块”。
作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：
获取人眼的注视点位置，并根据所述注视点位置确定图像的注视区；
图像渲染装置对所述注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一帧率为所述第二帧率的n倍，n≥2；
图像渲染装置在每次第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在每次第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在每次第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像拼接得到的第二拼接图像。
显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。

Claims (12)

1.一种面向扩展现实的图像处理方法，其特征在于，包括：
获取人眼的注视点位置，并根据所述注视点位置确定图像的注视区；
图像渲染装置对所述注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一帧率为所述第二帧率的n倍，n≥2；
图像渲染装置在第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像拼接得到的第二拼接图像。
2.根据权利要求1所述的方法，其特征在于，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，或，
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示。
3.根据权利要求1所述的方法，其特征在于，所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述对全视场区以第二帧率进行第二分辨率渲染包括：
对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。
4.根据权利要求3所述的方法，其特征在于，该方法还包括：
扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示，其中，解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示，其中，解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
5.根据权利要求2所述的方法，其特征在于，
所述扩展现实装置对接收的注视区图像和第一拼接图像实时解析并显示包括：
在接收到第一拼接图像时，扩展现实装置对第一拼接图像实时解析并显示；
在接收到注视区图像时，扩展现实装置对注视区图像实时解析并显示，并根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并显示；
所述扩展现实装置对接收的第二拼接图像实时解析，实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时显示包括：
对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：
若是，则显示解析得到的注视区图像及全视场区图像；
若否，则显示解析得到的注视区图像，并根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并显示。
6.一种面向扩展现实的图像处理装置，其特征在于，包括：
获取模块，用于获取人眼的注视点位置，并根据所述注视点位置确定图像的注视区；
渲染模块，用于对所述注视区以第一帧率进行第一分辨率渲染，对全视场区以第二帧率进行第二分辨率渲染，所述第一分辨率大于所述第二分辨率，所述第一帧率为所述第二帧率的n倍，n≥2；
输出模块，用于在第一分辨率渲染后向扩展现实装置输出注视区图像，其中，在第二分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与全视场区图像拼接得到的第一拼接图像，或，在第一分辨率渲染后向扩展现实装置输出的是对当前渲染得到的注视区图像与对当前渲染得到的全视场区图像进行n等分后得到的子图像依序拼接得到的第二拼接图像。
7.根据权利要求6所述的装置，其特征在于，所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：
对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像。
8.一种扩展现实系统，其特征在于，包括扩展现实装置和如权利要求6所述图像处理装置，所述扩展现实装置包括解析模块和显示模块，
所述解析模块，用于对接收的注视区图像和第一拼接图像实时解析并通过所述显示模块进行显示，或，对接收的第二拼接图像实时解析，通过所述显示模块实时显示解析得到的注视区图像，存储解析得到的子图像并在获取到整幅全视场区图像时通过所述显示模块显示。
9.根据权利要求8所述的系统，其特征在于，
所述第一分辨率的水平分辨率为a1、垂直分辨率为b1，所述第二分辨率的水平分辨率为a2、垂直分辨率为b2，所述渲染模块用于对全视场区以第二帧率进行第二分辨率渲染包括：对全视场区以第二帧率进行水平分辨率为a2、垂直分辨率为b2的渲染，并进行编码处理，以形成水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像；
所述解析模块用于解析第一拼接图像包括：将第一拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×a2/a1)的全视场区图像解析为水平分辨率为a2、垂直分辨率为b2的全视场区图像，或，
所述解析模块用于解析第二拼接图像包括：将第二拼接图像包含的水平分辨率为a1、垂直分辨率为(b2×(a2/a1)/n)的子图像解析为水平分辨率为a2、垂直分辨率为(b2/n)的子图像。
10.根据权利要求8所述的系统，其特征在于，所述扩展现实装置还包括插帧模块，用于在扩展现实装置接收到注视区图像时，根据对用户位姿的检测结果，基于上一次解析得到的全视场区图像预测得到插帧全视场区图像并通过所述显示模块显示；或，在所述解析模块对接收到的第二拼接图像进行解析后，判断是否获取到整幅全视场区图像：若否，则根据对用户位姿的检测结果，基于上一次获取到的整幅全视场区图像预测得到插帧全视场区图像并通过所述显示模块显示。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202110087233.XA 2021-01-22 2021-01-22 图像处理方法及装置、扩展现实系统、计算机设备及介质 Active CN112887646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110087233.XA CN112887646B (zh) 2021-01-22 2021-01-22 图像处理方法及装置、扩展现实系统、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110087233.XA CN112887646B (zh) 2021-01-22 2021-01-22 图像处理方法及装置、扩展现实系统、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN112887646A true CN112887646A (zh) 2021-06-01
CN112887646B CN112887646B (zh) 2023-05-26

Family

ID=76050168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110087233.XA Active CN112887646B (zh) 2021-01-22 2021-01-22 图像处理方法及装置、扩展现实系统、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN112887646B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676774A (zh) * 2021-08-20 2021-11-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置、显示装置和存储介质
CN117056869A (zh) * 2023-10-11 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子信息数据关联方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330496A1 (en) * 2016-05-16 2017-11-16 Unity IPR ApS System and method for rendering images in virtual reality and mixed reality devices
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN110322818A (zh) * 2018-03-29 2019-10-11 豪威科技股份有限公司 显示装置及操作方法
CN112164016A (zh) * 2020-09-23 2021-01-01 京东方科技集团股份有限公司 图像渲染方法及系统、vr设备、装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330496A1 (en) * 2016-05-16 2017-11-16 Unity IPR ApS System and method for rendering images in virtual reality and mixed reality devices
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN110322818A (zh) * 2018-03-29 2019-10-11 豪威科技股份有限公司 显示装置及操作方法
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN112164016A (zh) * 2020-09-23 2021-01-01 京东方科技集团股份有限公司 图像渲染方法及系统、vr设备、装置及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676774A (zh) * 2021-08-20 2021-11-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置、显示装置和存储介质
CN113676774B (zh) * 2021-08-20 2024-04-09 京东方科技集团股份有限公司 图像处理方法、图像处理装置、显示装置和存储介质
CN117056869A (zh) * 2023-10-11 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子信息数据关联方法及系统

Also Published As

Publication number Publication date
CN112887646B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US11704768B2 (en) Temporal supersampling for foveated rendering systems
CN110460831B (zh) 显示方法、装置、设备及计算机可读存储介质
CN110050250B (zh) 显示器同步的图像规整
US10853918B2 (en) Foveal adaptation of temporal anti-aliasing
US10585283B2 (en) Head mounted display and control method therefor
CN109672886B (zh) 一种图像帧预测方法、装置及头显设备
CN106919360B (zh) 一种头部姿态补偿方法及装置
US9595083B1 (en) Method and apparatus for image producing with predictions of future positions
US11436787B2 (en) Rendering method, computer product and display apparatus
CN109887065B (zh) 图像渲染方法及其装置
CN109920040B (zh) 显示场景处理方法和装置、存储介质
CN112887646B (zh) 图像处理方法及装置、扩展现实系统、计算机设备及介质
US20230267578A1 (en) Virtual reality display method, device and storage medium
CN109427283A (zh) 图像产生方法和使用该方法的显示装置
JP7358448B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
WO2020192493A1 (zh) 显示控制方法、存储介质、显示控制装置和显示装置
CN108241211B (zh) 一种头戴显示设备及图像渲染方法
JP7150134B2 (ja) ヘッドマウントディスプレイおよび画像表示方法
CN110267025A (zh) 虚拟3d显示的渲染方法、装置以及其显示方法、系统
WO2022042039A1 (zh) 虚拟现实系统的数据传输方法及相关装置
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
JPWO2020170456A1 (ja) 表示装置および画像表示方法
TW201913622A (zh) 顯示裝置及顯示方法
JP6965374B2 (ja) 画像処理装置および表示画像生成方法
JP5700998B2 (ja) 立体映像表示装置及びその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant