CN118071914A - 一种图像处理方法、终端设备及服务设备 - Google Patents

一种图像处理方法、终端设备及服务设备 Download PDF

Info

Publication number
CN118071914A
CN118071914A CN202211411188.XA CN202211411188A CN118071914A CN 118071914 A CN118071914 A CN 118071914A CN 202211411188 A CN202211411188 A CN 202211411188A CN 118071914 A CN118071914 A CN 118071914A
Authority
CN
China
Prior art keywords
image
sampling
circular
sub
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211411188.XA
Other languages
English (en)
Inventor
何紫轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211411188.XA priority Critical patent/CN118071914A/zh
Publication of CN118071914A publication Critical patent/CN118071914A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/30Clipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、终端设备及服务设备。该方法包括终端设备获取第一目标图像,并将第一目标图像中包含的多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像,之后显示第一叠加图像。其中,第一圆形图像是通过裁剪第一取点图像得到的,多个第一子图像是通过对第一中心图像进行分割得到的,第一中心图像是通过裁剪第二取点图像得到的,第一取点图像和第二取点图像是沿着第一方向以不同取点方式分别在第一采样图像中进行取点得到的,第一采样图像是通过以第一采样分辨率对待显示图像进行渲染采样得到的。如此,该方法可以实现在不增加屏幕分辨率或不减少FOV的前提下,有效地提高图像中心区域的角分辨率。

Description

一种图像处理方法、终端设备及服务设备
技术领域
本申请涉及光学成像技术领域,尤其涉及一种图像处理方法、终端设备及服务设备。
背景技术
虚拟现实(Virtual Reality,VR)技术是一种创造和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。
随着高端技术的集成,VR技术也开始应用于终端设备上,比如头戴式显示设备(例如VR眼镜或VR头盔等)。其中,头戴式显示设备的显示清晰度是由角分辨率(又可称空间分辨率)确定。角分辨率越大,头戴式显示设备的图像显示清晰度也会越高,人眼看图像就觉得越清晰,从而可以使得头戴式显示设备的使用者的视觉舒适感增加。针对于此,为了能够有效地增加头戴式显示设备的使用者的视觉舒适感,需要提高头戴式显示设备的角分辨率。
现阶段,用于提高头戴式显示设备的角分辨率的方案主要有:
(1)在不改变屏幕分辨率的前提下,通过减小头戴式显示设备的视场角来提高头戴式显示设备的角分辨率。但是,由于人单眼的视场角可以达到156°,较小的视场角将极大的压缩用户的可视区域,同时在用户的大视角的位置会有大面积的黑边出现,带来一种在洞中观看的感受,增加了空间的压迫感。
(2)通过使用更高分辨率的屏幕可以实现提高头戴式显示设备的角分辨率。但是,开发高分辨率的屏幕需要投入极大的资金和比较长的开发周期,导致短期内难以实现商用。
发明内容
本申请实施例提供一种图像处理方法、终端设备及服务设备,用以有效地提高图像中心区域的角分辨率。
第一方面,本申请实施例提供一种图像处理方法,该方法可以由终端设备或者能够支持终端设备实现该方法所需的功能的部件(比如芯片系统或电路等)执行。可选的,以终端设备执行图像处理方法为例,在该方法中,终端设备可以先获取第一目标图像。其中,第一目标图像中包括第一圆形图像和位于第一圆形图像四周的多个第一子图像,第一圆形图像是通过裁剪第一取点图像得到的,多个第一子图像是通过对第一中心图像进行分割得到的,第一中心图像是通过裁剪第二取点图像得到的,第一取点图像和第二取点图像是沿着第一方向以不同取点方式分别在第一采样图像中进行取点得到的,第一采样图像是通过以第一采样分辨率对待显示图像进行渲染采样得到的。之后,终端设备可以将多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像。然后,终端设备显示第一叠加图像。
上述设计中,终端设备通过将第一目标图像中包含的多个第一子图像错位叠加或偏移叠加在第一圆形图像的中心区域,即可实现在不增加屏幕分辨率或不减少FOV的前提下,在一个方向(比如横向方向或纵向方向)上有效地提高图像中心区域的角分辨率,从而可以有效地提高图像中心区域的细节清晰度。
在一种可能的设计中,获取第一目标图像,包括:
接收来自服务设备的第一目标图像;或者
生成第一目标图像。
上述设计中,终端设备获取第一目标图像的方式多样灵活,终端设备可以通过两种可能的实现方式获取到第一目标图像。一种实现方式是终端设备从服务设备获取,该服务设备负责生成第一目标图像。另一种实现方式是终端设备自身具有生成第一目标图像的功能,自己可以直接生成第一目标图像。
在一种可能的设计中,生成第一目标图像,包括:
以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像;
沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像;
裁剪第一取点图像,得到第一圆形图像;
裁剪第二取点图像,得到第一中心图像;
将第一中心图像分割为多个第一子图像,并将多个第一子图像拼接在第一圆形图像的四周,得到第一目标图像。
上述设计中,终端设备通过在同一方向(比如横向方向或纵向方向)上,以不同取点方式分别在第一采样图像中进行取点,以此可生成两个不同的取点图像,并对两个不同的取点图像分别进行相应的处理,得到第一圆形图像以及多个第一子图像。然后,终端设备可以将多个第一子图像拼接在第一圆形图像的四周,即可得到第一目标图像。如此,该设计可以实现在该方向上多个第一子图像错位叠加在第一圆形图像的中心区域,从而可以实现在该方向上有效地提高图像中心区域的角分辨率。
在一种可能的设计中,沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像,包括:
沿着第一方向,在第一采样图像中选取第一像素位置的像素点,生成第一取点图像;
沿着第一方向,在第一采样图像中选取第二像素位置的像素点,生成第二取点图像;其中,第一像素位置与第二像素位置不同。
上述设计中,终端设备通过沿着第一方向,分别在第一采样图像中选取不同像素位置的像素点,可以生成两个不同的取点图像,从而可以为后续能够生成错位叠加的图像提供支持。
在一种可能的设计中,裁剪第一取点图像,得到第一圆形图像,包括:
根据光学系统的最大视场角,对第一取点图像进行圆形裁剪,得到第一圆形图像;或者
根据光学系统的设定视场角,对第一取点图像进行圆形裁剪,得到第四圆形图像,第四圆形图像作为第一圆形图像,设定视场角小于最大视场角。
上述设计中,终端设备可以通过两种可能的实现方式得到第一圆形图像。一种实现方式是终端设备根据光学系统的最大视场角对第一取点图像进行圆形裁剪,得到第一圆形图像,如此可以尽可能地满足大视场的角分辨率,并在不增加屏幕分辨率或不减少整体FOV的前提下,实现在一个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。另一种实现方式是终端设备根据光学系统的设定视场角对第一取点图像进行圆形裁剪,得到可作为第一圆形图像的第四圆形图像,如此可能会在一定程度上降低大视场的角分辨率,但是可以增加中心叠加区域的面积,从而可以使得图像中高角分辨率的中心区域面积相对更大一些,并可以实现在一个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。
在一种可能的设计中,裁剪第二取点图像,得到第一中心图像,包括:
根据第一裁剪尺寸,对第二取点图像的中心区域进行裁剪,得到第一中心图像;或者
根据第三裁剪尺寸,对第二取点图像的中心区域进行裁剪,得到第三中心图像,第三中心图像作为第一中心图像,第三裁剪尺寸大于第一裁剪尺寸。
上述设计中,终端设备可以通过两种可能的实现方式得到第一中心图像。一种实现方式是终端设备根据第一裁剪尺寸裁剪第二取点图像,得到第一中心图像,如此可以使得第一中心图像的尺寸/大小能够与第一取点图像中除圆形裁剪的区域以外的其它区域的尺寸/大小(或终端设备的显示模块上四周未显示区域的尺寸/大小)相吻合或相匹配,以便为提高图像中心区域的角分辨率提供有效地支持。另一种实现方式是终端设备根据第三裁剪尺寸裁剪第二取点图像,得到可作为第一中心图像的第三中心图像,如此可以使得第三中心图像的尺寸/大小能够与尺寸/大小已经增加的第一取点图像中除圆形裁剪的区域以外的其它区域(或尺寸/大小已经增加的显示模块上四周未显示区域)相吻合或相匹配,以便为使得图像中高角分辨率的中心区域面积相对更大一些提供有效地支持。
在一种可能的设计中,多个第一子图像具有相同的尺寸/大小。
上述设计中,终端设备通过将第一中心图像分割为具有相同的尺寸/大小的多个第一子图像,可以使得多个第一子图像能够均匀分布在第一圆形图像的四周,从而可以使得多个第一子图像能够准确地叠加在第一圆形图像的中心区域,以此可以有效地增加图像中心区域的角分辨率。
第二方面,本申请实施例提供一种图像处理方法,该方法可以由服务设备或能够支持服务设备实现该方法所需的功能的部件(比如芯片系统或电路等)执行。可选的,以服务设备执行图像处理方法为例,在该方法中,服务设备以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像。之后,服务设备沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像,并可以裁剪第一取点图像,得到第一圆形图像,以及裁剪第二取点图像,得到第一中心图像。然后,服务设备可以将第一中心图像分割为多个第一子图像,并可以将多个第一子图像拼接在第一圆形图像的四周,得到第一目标图像。最后,服务设备可以向终端设备发送第一目标图像。
上述设计中,服务设备通过在同一方向(比如横向方向或纵向方向)上,以不同取点方式分别在第一采样图像中进行取点,以此可生成两个不同的取点图像,并对两个不同的取点图像分别进行相应的处理,得到第一圆形图像以及多个第一子图像。然后,服务设备可以将多个第一子图像拼接在第一圆形图像的四周,即可得到在终端设备显示的第一目标图像。如此,该设计可以实现在该方向上多个第一子图像错位叠加在第一圆形图像的中心区域,从而可以实现在该方向上有效地提高图像中心区域的角分辨率。
在一种可能的设计中,沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像,包括:
沿着第一方向,在第一采样图像中选取第一像素位置的像素点,生成第一取点图像;
沿着第一方向,在第一采样图像中选取第二像素位置的像素点,生成第二取点图像;其中,第一像素位置与第二像素位置不同。
上述设计中,服务设备通过沿着第一方向,分别在第一采样图像中选取不同像素位置的像素点,可以生成两个不同的取点图像,从而可以为后续终端设备能够生成错位叠加的图像提供支持。
在一种可能的设计中,裁剪第一取点图像,得到第一圆形图像,包括:
根据光学系统的最大视场角,对第一取点图像进行圆形裁剪,得到第一圆形图像;或者
根据光学系统的设定视场角,对第一取点图像进行圆形裁剪,得到第四圆形图像,第四圆形图像作为第一圆形图像,设定视场角小于最大视场角。
上述设计中,服务设备可以通过两种可能的实现方式得到第一圆形图像。一种实现方式是服务设备根据光学系统的最大视场角对第一取点图像进行圆形裁剪,得到第一圆形图像,如此可以尽可能地满足大视场的角分辨率,并在不增加屏幕分辨率或不减少整体FOV的前提下,实现在一个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。另一种实现方式是服务设备根据光学系统的设定视场角对第一取点图像进行圆形裁剪,得到可作为第一圆形图像的第四圆形图像,如此可能会在一定程度上降低大视场的角分辨率,但是可以增加中心叠加区域的面积,从而可以使得图像中高角分辨率的中心区域面积相对更大一些。
在一种可能的设计中,裁剪第二取点图像,得到第一中心图像,包括:
根据第一裁剪尺寸,对第二取点图像的中心区域进行裁剪,得到第一中心图像;或者
根据第三裁剪尺寸,对第二取点图像的中心区域进行裁剪,得到第三中心图像,第三中心图像作为第一中心图像,第三裁剪尺寸大于第一裁剪尺寸。
上述设计中,服务设备可以通过两种可能的实现方式得到第一中心图像。一种实现方式是服务设备根据第一裁剪尺寸裁剪第二取点图像,得到第一中心图像,如此可以使得第一中心图像的尺寸/大小能够与第一取点图像中除圆形裁剪的区域以外的其它区域的尺寸/大小(或终端设备的显示模块上四周未显示区域的尺寸/大小)相吻合或相匹配,以便为提高图像中心区域的角分辨率提供有效地支持。另一种实现方式是服务设备根据第三裁剪尺寸裁剪第二取点图像,得到可作为第一中心图像的第三中心图像,如此可以使得第三中心图像的尺寸/大小能够与尺寸/大小已经增加的第一取点图像中除圆形裁剪的区域以外的其它区域(或尺寸/大小已经增加的显示模块上四周未显示区域)相吻合或相匹配,以便为使得图像中高角分辨率的中心区域面积相对更大一些提供有效地支持。
在一种可能的设计中,多个第一子图像具有相同的尺寸/大小。
上述设计中,服务设备通过将第一中心图像分割为具有相同的尺寸/大小的多个第一子图像,可以使得多个第一子图像能够均匀分布在第一圆形图像的四周,从而可以使得多个第一子图像能够准确地叠加在第一圆形图像的中心区域,以此可以有效地增加图像中心区域的角分辨率。
第三方面,本申请实施例提供一种图像处理方法,该方法可以由终端设备或者能够支持终端设备实现该方法所需的功能的部件(比如芯片系统或电路等)执行。可选的,以终端设备执行图像处理方法为例,在该方法中,终端设备可以先获取第二目标图像。其中,第二目标图像中包括第三圆形图像和位于第三圆形图像四周的多个第二子图像,第三圆形图像是通过对第二采样图像进行裁剪得到的,第二采样图像是通过以第二采样分辨率对待显示图像进行渲染采样得到的,多个第二子图像是通过对第三采样图像进行分割得到的,第三采样图像是通过以第三采样分辨率对第二中心图像进行渲染采样得到的,第二中心图像是通过裁剪待显示图像得到的。之后,终端设备可以将多个第二子图像缩小后叠加在第三圆形图像的中心区域,得到第二叠加图像。然后,终端设备显示第二叠加图像。
上述设计中,终端设备通过将第二目标图像中包含的多个第二子图像缩小后叠加在第三圆形图像的中心区域,即可实现在不增加屏幕分辨率或不减少FOV的前提下,在两个方向(比如横向方向和纵向方向)上有效地增加图像中心区域的角分辨率,从而可以有效地提高图像中心区域的细节清晰度。
在一种可能的设计中,获取第二目标图像,包括:
接收来自服务设备的第二目标图像;或者
生成第二目标图像。
上述设计中,终端设备获取第二目标图像的方式多样灵活,终端设备可以通过两种可能的实现方式获取到第二目标图像。一种实现方式是终端设备从服务设备获取,该服务设备负责生成第二目标图像。另一种实现方式是终端设备自身具有生成第二目标图像的功能,自己可以直接生成第二目标图像。
在一种可能的设计中,生成第二目标图像,包括:
以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像;
裁剪第二采样图像,得到第三圆形图像;
裁剪待显示图像,得到第二中心图像;
以第三采样分辨率对第二中心图像进行渲染采样,得到第三采样图像,并将第三采样图像分割为多个第二子图像;
将多个第二子图像拼接在第三圆形图像的四周,得到第二目标图像。
上述设计中,终端设备通过直接裁剪第二采样图像即可得到第三圆形图像,以及直接通过裁剪待显示图像即可得到第二中心图像,并对第二中心图像进行相应的处理得到多个第二子图像。然后,终端设备可以将多个第二子图像拼接在第三圆形图像的四周,即可得到第二目标图像。如此,该设计可以实现在两个方向上(比如横向方向和纵向方向)有效地增加图像中心区域的角分辨率。
在一种可能的设计中,裁剪第二采样图像,得到第三圆形图像,包括:
根据光学系统的最大视场角,对第二采样图像进行圆形裁剪,得到第二圆形图像,并根据第二裁剪尺寸,裁剪掉第二圆形图像的中心区域,得到第三圆形图像;或者
根据光学系统的设定视场角,对第二采样图像进行圆形裁剪,得到第五圆形图像,并根据第四裁剪尺寸,裁剪掉第五圆形图像的中心区域,得到第六圆形图像,第六圆形图像作为第三圆形图像,设定视场角小于最大视场角。
上述设计中,终端设备可以通过两种可能的实现方式得到第三圆形图像。一种实现方式是终端设备根据光学系统的最大视场角对第二采样图像进行圆形裁剪,得到第三圆形图像,如此可以尽可能地满足大视场的角分辨率,并在不增加屏幕分辨率或不减少整体FOV的前提下,实现在两个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。另一种实现方式是终端设备根据光学系统的设定视场角对第二采样图像进行圆形裁剪,得到可作为第三圆形图像的第六圆形图像,如此可能会在一定程度上降低大视场的角分辨率,但是可以增加中心叠加区域的面积,从而可以使得图像中高角分辨率的中心区域面积相对更大一些,并可以实现在两个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。
在一种可能的设计中,裁剪待显示图像,得到第二中心图像,包括:
根据第二裁剪尺寸,对待显示图像的中心区域进行裁剪,得到第二中心图像;或者
根据第四裁剪尺寸,对待显示图像的中心区域进行裁剪,得到第四中心图像,第四中心图像作为第二中心图像。
上述设计中,终端设备可以通过两种可能的实现方式得到第二中心图像。一种实现方式是终端设备根据第二裁剪尺寸裁剪待显示图像的中心区域,得到第二中心图像,如此可以使得第二中心图像的尺寸/大小能够与第二采样图像中除圆形裁剪的区域以外的其它区域的尺寸/大小(或终端设备的显示模块上四周未显示区域的尺寸/大小)相吻合或相匹配,以便为提高图像中心区域的角分辨率提供有效地支持。另一种实现方式是终端设备根据第四裁剪尺寸裁剪待显示图像的中心区域,得到可作为第二中心图像的第四中心图像,如此可以使得第四中心图像的尺寸/大小能够与尺寸/大小已经增加的第二采样图像中除圆形裁剪的区域以外的其它区域(或尺寸/大小已经增加的显示模块上四周未显示区域)相吻合或相匹配,以便为使得图像中高角分辨率的中心区域面积相对更大一些提供有效地支持。
在一种可能的设计中,多个第二子图像具有相同的尺寸/大小。
上述设计中,终端设备通过将第三采样图像分割为具有相同的尺寸/大小的多个第二子图像,可以使得多个第二子图像能够均匀分布在第三圆形图像的四周,从而可以使得多个第二子图像能够准确地叠加在第三圆形图像的中心区域,以此可以有效地增加图像中心区域的角分辨率。
第四方面,本申请实施例提供一种图像处理方法,该方法可以由服务设备或能够支持服务设备实现该方法所需的功能的部件(比如芯片系统或电路等)执行。可选的,以服务设备执行图像处理方法为例,在该方法中,服务设备以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像,并可以裁剪第二采样图像,得到第三圆形图像,以及可以裁剪待显示图像,得到第二中心图像。之后,服务设备以第三采样分辨率对第二中心图像进行渲染采样,得到第三采样图像,并可以将第三采样图像分割为多个第二子图像。然后,服务设备可以将多个第二子图像拼接在第三圆形图像的四周,得到第二目标图像。最后,服务设备可以向终端设备发送第二目标图像。
上述设计中,服务设备通过直接裁剪第二采样图像即可得到第三圆形图像,以及直接通过裁剪待显示图像即可得到第二中心图像,并对第二中心图像进行相应的处理得到多个第二子图像。然后,终端设备可以将多个第二子图像拼接在第三圆形图像的四周,即可得到第二目标图像。如此,该设计可以实现在两个方向上(比如横向方向和纵向方向)有效地增加图像中心区域的角分辨率。
在一种可能的设计中,裁剪第二采样图像,得到第三圆形图像,包括:
根据光学系统的最大视场角,对第二采样图像进行圆形裁剪,得到第二圆形图像,并根据第二裁剪尺寸,裁剪掉第二圆形图像的中心区域,得到第三圆形图像;或者
根据光学系统的设定视场角,对第二采样图像进行圆形裁剪,得到第五圆形图像,并根据第四裁剪尺寸,裁剪掉第五圆形图像的中心区域,得到第六圆形图像,第六圆形图像作为第三圆形图像,设定视场角小于最大视场角。
上述设计中,服务设备可以通过两种可能的实现方式得到第三圆形图像。一种实现方式是服务设备根据光学系统的最大视场角对第二采样图像进行圆形裁剪,得到第三圆形图像,如此可以尽可能地满足大视场的角分辨率,并在不增加屏幕分辨率或不减少整体FOV的前提下,实现在两个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。另一种实现方式是服务设备根据光学系统的设定视场角对第二采样图像进行圆形裁剪,得到可作为第三圆形图像的第六圆形图像,如此可能会在一定程度上降低大视场的角分辨率,但是可以增加中心叠加区域的面积,从而可以使得图像中高角分辨率的中心区域面积相对更大一些,并可以实现在两个方向(比如横向或纵向)上有效地增加图像中心区域的角分辨率。
在一种可能的设计中,裁剪待显示图像,得到第二中心图像,包括:
根据第二裁剪尺寸,对待显示图像的中心区域进行裁剪,得到第二中心图像;或者
根据第四裁剪尺寸,对待显示图像的中心区域进行裁剪,得到第四中心图像,第四中心图像作为第二中心图像。
上述设计中,服务设备可以通过两种可能的实现方式得到第二中心图像。一种实现方式是服务设备根据第二裁剪尺寸裁剪待显示图像的中心区域,得到第二中心图像,如此可以使得第二中心图像的尺寸/大小能够与第二采样图像中除圆形裁剪的区域以外的其它区域的尺寸/大小(或终端设备的显示模块上四周未显示区域的尺寸/大小)相吻合或相匹配,以便为提高图像中心区域的角分辨率提供有效地支持。另一种实现方式是服务设备根据第四裁剪尺寸裁剪待显示图像的中心区域,得到可作为第二中心图像的第四中心图像,如此可以使得第四中心图像的尺寸/大小能够与尺寸/大小已经增加的第二采样图像中除圆形裁剪的区域以外的其它区域(或尺寸/大小已经增加的显示模块上四周未显示区域)相吻合或相匹配,以便为使得图像中高角分辨率的中心区域面积相对更大一些提供有效地支持。
在一种可能的设计中,多个第二子图像具有相同的尺寸/大小。
上述设计中,服务设备通过将第三采样图像分割为具有相同的尺寸/大小的多个第二子图像,可以使得多个第二子图像能够均匀分布在第三圆形图像的四周,从而可以使得多个第二子图像能够准确地叠加在第三圆形图像的中心区域,以此可以有效地增加图像中心区域的角分辨率。
第五方面,本申请实施例提供了一种终端设备,有益效果可以参见第一方面的描述,此处不再赘述。所述终端设备具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的设计中,所述终端设备包括显示单元和处理单元:所述显示单元,用于显示用户界面;所述处理单元,具体用于执行:获取第一目标图像;将多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像;在所述显示单元上显示第一叠加图像。其中,第一目标图像中包括第一圆形图像和位于第一圆形图像四周的多个第一子图像,第一圆形图像是通过裁剪第一取点图像得到的,多个第一子图像是通过对第一中心图像进行分割得到的,第一中心图像是通过裁剪第二取点图像得到的,第一取点图像和第二取点图像是沿着第一方向以不同取点方式分别在第一采样图像中进行取点得到的,第一采样图像是通过以第一采样分辨率对待显示图像进行渲染采样得到的。这些模块可以执行上述第一方面或第一方面任一种可能实现设计中的相应功能,具体参见方法示例中的详细描述,此处不做赘述。
第六方面,本申请实施例提供了一种终端设备,该终端设备包括显示屏、存储器和处理器。可选的,该终端设备还可以包括通信接口。其中,该显示屏用于显示用户界面,该存储器用于存储计算机程序或指令,处理器与存储器、通信接口、显示屏耦合,当处理器执行所述计算机程序或指令时,使得所述终端设备执行上述第一方面的任一种可能的设计中的方法。
在一种可能的设计中,终端设备还包含第一光学成像模块;处理器在将多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像时,具体用于:通过第一光学成像模块,将多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像。
在一种可能的设计中,终端设备中包含的第一光学成像模块中包括多个倾斜平板镜片、第一偏振组件、多个第一成像组件、多个第二偏振组件、多个反射镜和第二成像组件;多个第一子图像与多个倾斜平板镜片、多个第一成像组件、多个第二偏振组件以及多个反射镜一一对应;
其中,任一个倾斜平板镜片,用于平移对应的第一子图像的偏振光线;第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;任一个第一成像组件,用于对对应的第一子图像的偏振光线进行成像;任一个第二偏振组件,用于改变对应的第一子图像的偏振光线的偏振方向;任一个反射镜,用于反射对应的第一子图像的偏振光线;第二成像组件,用于对第一圆形图像的偏振光线和多个第一子图像的偏振光线进行成像。
第七方面,本申请实施例提供了一种终端设备,有益效果可以参见第三方面的描述,此处不再赘述。所述终端设备具有实现上述第三方面的方法实例中行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的设计中,所述终端设备包括显示单元和处理单元:所述显示单元,用于显示用户界面;所述处理单元,具体用于执行:获取第二目标图像;将多个第二子图像缩小后叠加在第三圆形图像的中心区域,得到第二叠加图像;在所述显示单元上显示第二叠加图像。其中,第二目标图像中包括第三圆形图像和位于第三圆形图像四周的多个第二子图像,第三圆形图像是通过对第二采样图像进行裁剪得到的,第二采样图像是通过以第二采样分辨率对待显示图像进行渲染采样得到的,多个第二子图像是通过对第三采样图像进行分割得到的,第三采样图像是通过以第三采样分辨率对第二中心图像进行渲染采样得到的,第二中心图像是通过裁剪待显示图像得到的。这些模块可以执行上述第三方面或第三方面任一种可能实现设计中的相应功能,具体参见方法示例中的详细描述,此处不做赘述。
第八方面,本申请实施例提供了一种终端设备,该终端设备包括显示屏、存储器和处理器。可选的,该终端设备还可以包括通信接口。其中,该显示屏用于显示用户界面,该存储器用于存储计算机程序或指令,处理器与存储器、通信接口、显示屏耦合,当处理器执行所述计算机程序或指令时,使得所述终端设备执行上述第三方面的任一种可能的设计中的方法。
在一种可能的设计中,终端设备还包含第二光学成像模块;处理器在将多个第二子图像错位叠加在第三圆形图像的中心区域,得到第二叠加图像时,具体用于:通过第二光学成像模块,将多个第二子图像缩小后叠加在第三圆形图像的中心区域,得到第二叠加图像。
在一种可能的设计中,终端设备中包含的第二光学成像模块中包括第一偏振组件、多个第三成像组件、多个第二偏振组件、多个反射镜和第二成像组件;多个第二子图像与多个第三成像组件、多个第二偏振组件、多个反射镜一一对应;
其中,第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;任一个第三成像组件,用于对对应的第二子图像的偏振光线进行缩小成像;任一个第二偏振组件,用于改变对应的第二子图像的偏振光线的偏振方向;任一个反射镜,用于反射对应的第二子图像的偏振光线;第二成像组件,用于对第三圆形图像的偏振光线和多个第二子图像的偏振光线进行成像。
第九方面,本申请实施例提供了一种服务设备,有益效果可以参见第二方面或第四方面的描述,此处不再赘述。所述服务设备包括通信接口、存储器和处理器。其中,该存储器用于存储计算机程序或指令,处理器与存储器、通信接口耦合,当处理器执行所述计算机程序或指令时,使得所述服务设备执行上述第二方面的任一种可能的设计中的方法或上述第四方面的任一种可能的设计中的方法。
第十方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行上述第一方面的任一种可能的设计中的方法或上述第二方面的任一种可能的设计中的方法或上述第三方面的任一种可能的设计中的方法或上述第四方面的任一种可能的设计中的方法。
第十一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被计算机执行时,使得所述计算机执行上述第一方面的任一种可能的设计中的方法或上述第二方面的任一种可能的设计中的方法或上述第三方面的任一种可能的设计中的方法或上述第四方面的任一种可能的设计中的方法。
第十二方面,本申请实施例还提供了一种芯片,所述芯片与存储器耦合,所述芯片用于读取存储器中存储的计算机程序,执行上述第一方面的任一种可能的设计中的方法或上述第二方面的任一种可能的设计中的方法或上述第三方面的任一种可能的设计中的方法或上述第四方面的任一种可能的设计中的方法。
第十三方面,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现上述第一方面的任一种可能的设计中的方法或上述第二方面的任一种可能的设计中的方法或上述第三方面的任一种可能的设计中的方法或上述第四方面的任一种可能的设计中的方法。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1示例性示出本申请实施例提供的一种可能的应用场景示意图;
图2示例性示出本申请实施例提供的一种终端设备的功能模块结构示意图;
图3示例性示出本申请实施例一提供的一种图像处理方法的流程示意图;
图4示例性示出本申请实施例一提供的一种采样图像示意图;
图5a示例性示出本申请实施例一提供的一种奇数取点图像示意图;
图5b示例性示出本申请实施例一提供的一种偶数取点图像示意图;
图6a示例性示出本申请实施例一提供的一种圆形图像示意图;
图6b示例性示出本申请实施例一提供的一种中心区域图像示意图;
图7示例性示出本申请实施例一提供的一种目标图像示意图;
图8示例性示出本申请实施例一提供的一种光学系统示意图;
图9示例性示出本申请实施例一提供的一种倾斜平板镜片平移偏振光线示意图;
图10示例性示出本申请实施例一提供的一种显示屏四个角上的第一子图像与显示屏中心区域图像错位叠加示意图;
图11示例性示出本申请实施例二提供的一种图像处理方法的流程示意图;
图12a示例性示出本申请实施例二提供的一种采样图像示意图;
图12b示例性示出本申请实施例二提供的一种圆形图像示意图;
图12c示例性示出本申请实施例二提供的另一种采样图像示意图;
图13示例性示出本申请实施例二提供的一种目标图像示意图;
图14示例性示出本申请实施例二提供的一种光学系统示意图;
图15示例性示出本申请实施例二提供的一种显示屏四个角上的第二子图像缩小后与显示屏中心区域图像叠加示意图;
图16示例性示出本申请实施例三提供的一种图像处理方法的流程示意图;
图17a示例性示出本申请实施例三提供的一种圆形图像示意图;
图17b示例性示出本申请实施例三提供的一种中心区域图像示意图;
图18示例性示出本申请实施例三提供的一种目标图像示意图;
图19示例性示出本申请实施例三提供的一种显示屏四个角上的第三子图像与显示屏中心区域图像错位叠加示意图;
图20示例性示出本申请实施例四提供的一种图像处理方法的流程示意图;
图21a示例性示出本申请实施例四提供的一种圆形图像示意图;
图21b示例性示出本申请实施例四提供的一种采样图像示意图;
图22示例性示出本申请实施例四提供的一种目标图像示意图;
图23示例性示出本申请实施例四提供的一种显示屏四个角上的第四子图像缩小后与显示屏中心区域图像叠加示意图;
图24示例性示出本申请实施例提供的一种可能的终端设备的结构示意图;
图25示例性示出本申请实施例提供的一种可能的终端设备的结构示意图;
图26示例性示出本申请实施例提供的一种可能的服务设备的结构示意图。
具体实施方式
在介绍本申请提供的技术方案之前,首先对本申请中涉及的部分用语进行解释说明,以便于本领域技术人员进行理解。
(1)视场角(Field Of View,FOV):是指人的眼睛在任一瞬间视觉可见的场景的边缘与观察点(眼睛所在位置)连线所形成的夹角;比如,在显示系统中,视场角通常是显示器边缘与观察点(眼睛)连线的夹角。在本申请实施例述中,由用户的FOV在某一画面帧上所确定出的区域被称为用户视场角区域(FOV区域)。
(2)角分辨率(Pixel Per Degree,PPD):是指头戴式显示设备视野中每一度视场角的像素数,可以用于衡量头戴式显示设备的图像显示清晰程度。对于头戴式显示设备(比如VR眼镜、VR一体机、头戴影院、头戴AR等)来说,PPD越大,人眼视野中单位区域的画面内填充的像素点的数量越多,用户对显示画面的感受就越清晰。
下面将结合附图,对本申请实施例进行详细描述。
图1示例性示出了本申请实施例提供的一种可能的应用场景示意图。该应用场景包括终端设备100和服务设备200。
其中,终端设备100可以为具有图像显示功能的设备。比如,终端设备100可以用于将服务设备200处理过的图像通过显示模块(比如显示屏)展示给用户。示例性地,终端设备100在需要显示某一个图像给终端设备100的使用用户时,可以从服务设备200获取该图像,并通过显示屏将该图像显示给用户。
可选的,在本申请一些实施例中,终端设备100可以是近眼显示(near eyedisplay,NED)设备(也可称为超广角NED设备),NED设备例如可以是VR设备,VR设备可以包括但不限于VR眼镜或VR头盔等。以VR眼镜为例示例,用户可以佩戴VR眼镜进行游戏、观看视频、参加虚拟会议或直播等应用服务,获得浸入式的场景体验。应当理解的是,在本申请其他一些实施例中,终端设备100也可以是佩戴在用户的其他部位的设备,例如可以是佩戴在用户的手部、肘部、脚部、膝盖处的设备等,本申请实施例对此并不作限定。
服务设备200具有信息处理以及信息转发的功能,是一种可以提供数据连通服务的设备。其中,服务设备200中可以包括中央处理器(Central Processing Unit,CPU)、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signal processor,DSP)等,因而服务设备200也具有较强的图像处理功能以及数据计算功能等,例如可以执行图像渲染操作、逻辑运算等。而且,由于服务设备200可以响应终端设备100的服务请求,并进行处理,因此一般来说,服务设备200需要具备承担服务并且保障服务的能力。
可选的,在本申请一些实施例中,服务设备200可以为手机、平板电脑、台式机、笔记本电脑、超多核服务器、部署有图形处理器(graphics processing unit,GPU)集群的计算机、大型的分布式计算机或硬件资源池化的集群计算机等。
示例性地,在服务设备200传输相关的图像信息给终端设备200的过程中,服务设备200可以在检测到终端设备100的图像显示请求或检测到终端设备100的开机信号或检测到终端设备100识别用户佩戴终端设备100的指令时,将相关的图像信息(比如深度信息、运动矢量、视角图像等)传输给终端设备100。
需要说明的是,在一个示例中,服务设备200所具有的功能单元可以单独进行设置,比如,如图1所示独立设置在终端设备100之外。在另一个示例中,服务设备200所具有的功能单元也可以集成在终端设备100中,由终端设备100来实现服务设备200具有的功能。
可选的,终端设备100与服务设备200之间可以通过通信网络进行连接。
其中,通信网络可以是局域网,也可以是通过中继(relay)设备转接的广域网。
当通信网络为局域网时,示例性地,通信网络可以是无线保真(wirelessfidelity,wifi)网络、蓝牙(bluetooth,BT)网络或近距离无线通信技术(near fieldcommunication,NFC)网络等近距离通信网络。当通信网络为广域网时,示例性地,通信网络可以是第三代移动通信技术(3rd-generation wireless telephone technology,3G)网络、第四代移动通信技术(the4th generation mobile communication technology,4G)网络、第五代移动通信技术(5th-generation mobile communication technology,5G)网络、未来演进的公共陆地移动网络(public land mobile network,PLMN)或因特网等。
需要说明的是,上述图1所示的应用场景仅是一种示例,该示意性的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不对本申请提供的图像处理方法的应用场景构成限定。而且,图1所示的应用场景中的各个结构的形态和数量仅用于举例,并不构成对本申请的限定。图1所示的应用场景中包括的终端设备、服务设备的数量也仅是示例,本申请对此不做限定。此外,图1所示的应用场景中的各个结构的名称仅是一个示例,具体实现中各个结构的名称也可能为其他名称,本申请对此不作具体限定。
基于图1所示的应用场景,本申请还提供了一种终端设备的功能模块结构。参见图2,按照终端设备的逻辑功能进行划分,可以划分出以下功能模块:显示模块、光学成像模块、存储器和传感器等。可选的,终端设备也可以包括数据处理模块。需要说明的是,图2所示意的各功能模块之间的连接关系仅是一种示例,并不构成对本申请的限定。下面分别对各个功能模块的功能进行说明。
显示模块作为图像源,可以为终端设备提供显示内容。比如,显示模块可以用于显示某一个目标对象的图像。可选的,目标对象可以是卡通图片、游戏图像、视频图像、交互画面、几何图形或3D内容等。
其中,在终端设备呈现某一个图像给用户的过程中,终端设备的显示模块中的图像所对应的光线经光学成像模块传播至人眼成像,人眼看到传播过来的光,会感知光来自其反向延长线交点的位置,反向延长线相交而成的像即为虚像。
可选的,在本申请一些实施例中,显示模块可以是液晶显示器(liquid crystaldisplay,LCD)、反射式显示屏、有机发光二极管(organic light emitting diode,OLED)或微型发光二极管(micro light emitting diode,micro-LED)等。
此外,在显示模块显示图像之前,还需要对图像进行渲染操作,例如,可以是服务设备先对图像进行渲染,或者也可以是数据处理模块先对图像进行渲染,显示模块用于显示渲染后的图像。
光学成像模块可以用于将显示模块显示的图像成像在距离用户的双目一定距离的虚像面上,虚像面上的像即为虚像。可选的,光学成像模块沿光轴的方向可以依次包括多个倾斜平板镜片、第一偏振组件(比如rp(reflecting polarizer)膜)、多个第一成像组件(比如凹透镜或镜片组合等)、多个第二偏振组件(比如半波片(Half Wave Plate,HWP)、四分之一波片(Quarter-Wave Plate,QWP)、多片反射镜等)、多个反射镜、第二成像组件(比如球面/非球面透镜或菲涅尔透镜等)等。可选的,上述镜片组合可以是多个凹透镜构成的镜片组合,或者也可以是至少一个凹透镜与至少一个菲涅尔透镜构成的组合等,本申请实施例对此并不作限定。
示例性地,显示模块显示的某一个目标图像(比如第一目标图像)包括第一圆形图像和位于该第一圆形图像四周的多个第一子图像;多个第一子图像与多个倾斜平板镜片、多个第一成像组件、多个第二偏振组件以及多个反射镜一一对应。
其中,任一个倾斜平板镜片,用于平移对应的第一子图像的偏振光线。
第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;比如,第一偏振组件可以透过传播至该第一偏振组件的第一子图像的偏振光线。
任一个第一成像组件,用于对对应的第一子图像的偏振光线进行成像;
任一个第二偏振组件,用于改变对应的第一子图像的偏振光线的偏振方向;
任一个反射镜,用于反射对应的第一子图像的偏振光线;
第二成像组件,用于对第一圆形图像的偏振光线和多个第一子图像的偏振光线进行成像。
可选的,光学成像模块沿光轴的方向也可以依次包括第一偏振组件、多个第三成像组件(比如球面/非球面透镜或菲涅尔透镜或镜片组合等)、多个第二偏振组件、多个反射镜、第二成像组件等。可选的,上述镜片组合可以是多个菲涅尔透镜构成的镜片组合,或者也可以是至少一个凹透镜与至少一个菲涅尔透镜构成的组合,或者也可以是多个球面/非球面透镜构成的镜面组合,或者也可以是至少一个凹透镜与至少一个球面/非球面透镜构成的组合等,本申请实施例对此并不作限定。
示例性地,显示模块显示的某一个目标图像(比如第二目标图像)包括第三圆形图像和位于该第三圆形图像四周的多个第二子图像;多个第二子图像与多个第三成像组件、多个第二偏振组件以及多个反射镜一一对应。
其中,第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;比如,第一偏振组件可以透过传播至该第一偏振组件的第二子图像的偏振光线。
任一个第三成像组件,用于对对应的第二子图像的偏振光线进行缩小成像;
任一个第二偏振组件,用于改变对应的第二子图像的偏振光线的偏振方向;
任一个反射镜,用于反射对应的第二子图像的偏振光线;
第二成像组件,用于对第三圆形图像的偏振光线和多个第二子图像的偏振光线进行成像。
数据处理模块可以用于对所需显示的图像进行渲染操作,并对渲染操作后的图像进行相应的处理,然后可以将处理后的图像传输给显示模块进行呈现。可选的,数据处理模块也可以用于对传感器采集的数据进行相应的分析处理,并可以将处理后的数据反馈给终端设备,以便终端设备根据处理后的数据做出相应的控制。
存储器可以用于存储某一个或某几个目标对象的图像,比如用于存储视频图像、图片或游戏图像等。可选的,存储器也可以用于存储传感器采集的数据。示例性地,存储器可以包括只读存储器(read-only memory,ROM)或随机存取存储器(random accessmemory,RAM)等。
传感器用于对周边和自身状态的识别进行定位和动作追踪。示例性地,传感器可以包括手势传感器、手指弯曲传感器、动作追踪传感器、触觉传感器、眼动追踪、声学传感器、光敏传感器、光纤传感器、激光传感器、红外感应传感器、红外摄像头、直立式摄像头、定位传感器、头像识别传感器、惯性传感器或嗅觉传感器等。例如,以惯性传感器为例,惯性传感器可以用于捕捉头部的朝向姿态及所处的物理位置。可选的,惯性传感器可以包括加速度传感器、陀螺仪传感器或地磁传感器等。
基于图1所示的应用场景,下面通过以下四个实施例对本申请实施例中图像处理方法的具体实现进行详细描述。
【实施例一】
图3示例性示出了本申请实施例一提供的一种图像处理方法的流程示意图。该方法适用于图1所示意的应用场景。该方法流程可以是由终端设备单独实现,或者也可以是通过终端设备与服务设备之间的数据交互来实现。可选的,终端设备可以是如图1所示意的终端设备100(比如VR眼镜),或者也可以是集成有服务设备200的各功能单元的终端设备(比如VR眼镜),服务设备可以是如图1所示意的服务设备200。为了便于介绍本申请实施例提供的技术方案,下面以通过终端设备与服务设备之间的数据交互来实现图像处理方法的流程为例进行介绍。如图3所示,该方法包括:
步骤301:服务设备以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像。
可选的,第一采样分辨率大于终端设备中显示模块(比如显示屏)的屏幕分辨率(或者称为显示分辨率)。
可选的,在设置第一采样分辨率时,在一个示例中,可以设置第一采样分辨率中的横向采样像素数量大于屏幕分辨率中的横向像素数量,且设置第一采样分辨率中的纵向采样像素数量与屏幕分辨率中的纵向像素数量相同。在另一个示例中,可以设置第一采样分辨率中的纵向采样像素数量大于屏幕分辨率中的纵向像素数量,且设置第一采样分辨率中的横向采样像素数量与屏幕分辨率中的横向像素数量相同。在又一个示例中,可以设置第一采样分辨率中的横向采样像素数量大于屏幕分辨率中的横向像素数量,且设置第一采样分辨率中的纵向采样像素数量大于屏幕分辨率中的纵向像素数量。
示例性地,假设第一采样分辨率为L*H,并假设显示模块的屏幕分辨率为n*n,其中,L表示横向采样像素数量,H表示纵向采样像素数量。可选的,L和H可以有以下取值方式:(1)L=k*n,H=n;(2)L=n,H=k*n;(3)L=k*n,H=k*n。可选的,k可以取大于1的实数,比如k取2。
例如,以L=2*n,H=n为例,如此,第一采样分辨率即为2n*n。当服务设备在需要对某一个待显示图像进行渲染采样时,可以根据第一采样分辨率2n*n,对该待显示图像进行渲染采样,得到如图4所示的采样图像。其中,图4所示的采样图中每个方格表示一个采样点。
步骤302:服务设备沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像。
可选的,第一方向可以为横向方向(或称为水平方向)或纵向方向(或称为垂直方向)中的任一个。且,第一方向是与第一采样分辨中像素数量取值有变化的方向对应匹配。比如,第一采样分辨率中的横向采样像素数量L取值为k*n(比如2n)且纵向采样像素数量H取值为n,则第一方向选择横向方向。再比如,第一采样分辨率中的横向采样像素数量L取值为n且纵向采样像素数量H取值为k*n(比如2n),则第一方向选择纵向方向。又例如,第一采样分辨率中的横向采样像素数量L取值为k*n(比如2n)且纵向采样像素数量H取值为k*n(比如2n),则第一方向可以选择横向方向或纵向方向中的任一个。
示例性地,以上述L和H的取值方式为L=k*n,H=k*n为例,当L和H的取值方式为L=k*n,H=n时,第一方向为横向方向。当L和H的取值方式为L=n,H=k*n时,第一方向也可以为纵向方向。
可选的,服务设备在生成第一取点图像时,可以沿着第一方向,在第一采样图像中选取第一像素位置的像素点,从而可以根据选取的第一像素位置的像素点,生成第一取点图像。
可选的,第一像素位置可以为奇数像素位置或偶数像素位置,或者第一像素位置也可以是其它形式的像素位置。
示例性地,当第一像素位置为奇数像素位置时,第一像素位置的取值可以为1、3、5、7、9等奇数(比如可以表示第1行、第3行、第5行、第7行、第9行等或可以表示第1列、第3列、第5列、第7列、第9列等),或者第一像素位置的取值也可以为1、5、9、13等奇数(比如可以表示第1行、第5行、第9行、第13行等或可以表示第1列、第5列、第9列、第13列等)。当第一像素位置为偶数像素位置时,第一像素位置的取值可以为2、4、6、8、10等偶数(比如可以表示第2行、第4行、第6行、第8行、第10行等或可以表示第2列、第4列、第6列、第8列、第10列等),或者第一像素位置的取值也可以为2、6、10、14等偶数(比如可以表示第2行、第6行、第10行、第14行等或可以表示第2列、第6列、第10列、第14列等)。可选的,第一像素位置的取值也可以为1、2、4、6、7、9等数值(比如可以表示第1行、第2行、第4行、第6行、第7行、第9行等或可以表示第1列、第2列、第4列、第6列、第7列、第9列等)。本申请实施例对此并不作具体限定。
基于上述内容,下面通过以下几个示例进行介绍服务设备生成第一取点图像的实现过程。
示例一:以第一方向为纵向方向,且第一像素位置为奇数像素位置为例,服务设备在得到第一采样图像后,沿着纵向方向,以奇数像素位置在该第一采样图像中进行取点,可以得到第一取点图像。
示例二:以第一方向为纵向方向,且第一像素位置为偶数像素位置为例,服务设备在得到第一采样图像后,沿着纵向方向,以偶数像素位置在该第一采样图像中进行取点,可以得到第一取点图像。
示例三:以第一方向为横向方向,且第一像素位置为奇数像素位置为例,服务设备在得到第一采样图像后,沿着横向方向,以奇数像素位置在该第一采样图像中进行取点,可以得到第一取点图像。
示例四:以第一方向为横向方向,且第一像素位置为偶数像素位置为例,服务设备在得到第一采样图像后,沿着横向方向,以偶数像素位置在该第一采样图像中进行取点,可以得到第一取点图像。
示例性地,基于上述示例三,以上述图4所示的采样图像为例,服务设备在横向方向上,将图4所示的采样图像中属于横向方向的第1个采样点、第3个采样点、第5个采样点、第7个采样点、第9个采样点等奇数采样点取出来,可以生成如图5a所示的奇数取点图像。
可选的,服务设备在生成第二取点图像时,可以沿着第一方向,在第一采样图像中选取第二像素位置的像素点,从而可以根据选取的第二像素位置的像素点,生成第二取点图像;其中,第一像素位置与第二像素位置不同。
可选的,当第一像素位置为奇数像素位置时,第二像素位置可以为偶数像素位置,或者当第一像素位置为偶数像素位置时,第二像素位置可以为奇数像素位置。可选的,在与第一像素位置不相同的情况下,第二像素位置也可以是其它形式的像素位置。
例如,当第二像素位置为偶数像素位置时,第二像素位置的取值可以为2、4、6、8、10等偶数(比如可以表示第2行、第4行、第6行、第8行、第10行等或可以表示第2列、第4列、第6列、第8列、第10列等),或者第二像素位置的取值也可以为2、6、10、14等偶数(比如可以表示第2行、第6行、第10行、第14行等或可以表示第2列、第6列、第10列、第14列等)。当第二像素位置为奇数像素位置时,第二像素位置的取值可以为1、3、5、7、9等奇数(比如可以表示第1行、第3行、第5行、第7行、第9行等或可以表示第1列、第3列、第5列、第7列、第9列等),或者第二像素位置的取值也可以为1、5、9、13等奇数(比如可以表示第1行、第5行、第9行、第13行等或可以表示第1列、第5列、第9列、第13列等)。可选的,第二像素位置的取值也可以为3、5、8、10、11、13等数值(比如可以表示第3行、第5行、第8行、第10行、第11行、第13行等或可以表示第3列、第5列、第8列、第10列、第11列、第13列等)。本申请实施例对此并不作具体限定。
示例性地,当第一像素位置为奇数像素位置时,第二像素位置为偶数像素位置。当第一像素位置为偶数像素位置时,第二像素位置为奇数像素位置。
基于上述内容,下面通过以下几个示例进行介绍服务设备生成第二取点图像的实现过程。
示例一:以第一方向为纵向方向,且第二像素位置为偶数像素位置为例,服务设备在得到第一采样图像后,沿着纵向方向,以偶数像素位置在该第一采样图像中进行取点,可以得到第二取点图像。
示例二:以第一方向为纵向方向,且第二像素位置为奇数像素位置为例,服务设备在得到第一采样图像后,沿着纵向方向,以奇数像素位置在该第一采样图像中进行取点,可以得到第二取点图像。
示例三:以第一方向为横向方向,且第二像素位置为偶数像素位置为例,服务设备在得到第一采样图像后,沿着横向方向,以偶数像素位置在该第一采样图像中进行取点,可以得到第二取点图像。
示例四:以第一方向为横向方向,且第二像素位置为奇数像素位置为例,服务设备在得到第一采样图像后,沿着横向方向,以奇数像素位置在该第一采样图像中进行取点,可以得到第二取点图像。
示例性地,基于上述示例三,继续以上述图4所示的采样图像为例,服务设备在横向方向上,将图4所示的采样图像中属于横向方向的第2个采样点、第4个采样点、第6个采样点、第8个采样点、第10个采样点等偶数采样点取出来,可以生成如图5b所示的偶数取点图像。
步骤303:服务设备裁剪第一取点图像,得到第一圆形图像。
可选的,服务设备在生成第一取点图像后,可以根据光学系统的最大视场角,对该第一取点图像进行圆形裁剪,得到第一圆形图像。
可选的,服务设备在生成第一取点图像后,也可以根据用户的实际需求,对该第一取点图像进行圆形裁剪,得到第一圆形图像。
其中,光学系统的最大视场角可以用于表征光学系统的最大圆形显示区。例如,以终端设备为VR眼镜为例,通常VR眼镜所使用的显示屏是矩阵的,比如以VR眼镜所使用的显示屏为正方形为例,正方形的显示屏发出的光线在通过VR眼镜的光学系统后,人眼只能看到一个圆形区域,而显示屏上除圆形区域以外的区域无法通过VR眼镜的光学系统看到,因此这部分区域不会有图像显示。
示例性地,以上述图5a所示的奇数取点图像为例,服务设备在得到图5a所示的奇数取点图像后,可以根据光学系统的最大视场角,对图5a所示的奇数取点图像进行圆形裁剪,得到如图6a所示的圆形图像。
步骤304:服务设备裁剪第二取点图像,得到第一中心图像。
可选的,服务设备在生成第二取点图像后,可以根据第一裁剪尺寸(或称为第一裁剪大小),对该第二取点图像的中心区域进行裁剪,得到第一中心图像。
可选的,第一裁剪尺寸可以是根据显示模块上四周未显示区域的尺寸/大小来确定,或者第一裁剪尺寸也可以是根据第一取点图像中除圆形裁剪的区域以外的其它区域的尺寸/大小来确定,或者第一裁剪尺寸也可以通过其它方式(比如本领域技术人员的经验等)进行确定,本申请实施例对此并不作限定。
可选的,服务设备在生成第二取点图像后,也可以根据用户的实际需求,选择一定的裁剪尺寸,对该第二取点图像的中心区域进行裁剪,得到第一中心图像。
示例性地,以上述图5b所示的偶数取点图像为例,服务设备在得到图5b所示的偶数取点图像后,可以根据第一裁剪尺寸,对图5b所示的偶数取点图像的中心区域进行截取,得到如图6b所示的中心区域图像。
步骤305:服务设备将第一中心图像分割为多个第一子图像,并将多个第一子图像拼接在第一圆形图像的四周,得到第一目标图像。
可选的,服务设备在得到第一中心图像后,可以将该第一中心图像分割为多个具有相同尺寸/大小的第一子图像。然后,服务设备可以将该多个具有相同尺寸/大小的第一子图像拼接在第一圆形图像的四周,即可得到第一目标图像。
示例性地,以上述图6b所示的中心区域图像为例,服务设备在得到图6b所示的中心区域图像后,可以将图6b所示的中心区域图像等分为4个第一子图像。然后,服务设备可以将该4个第一子图像拼接在图6a所示的圆形图像的四个角上,即可得到如图7所示的需要在显示模块上显示的第一目标图像。
步骤306:服务设备将第一目标图像发送给终端设备。终端设备接收第一目标图像。
其中,第一目标图像中包括第一圆形图像和位于该第一圆形图像四周的多个第一子图像。
步骤307:终端设备将多个第一子图像错位叠加在第一圆形图像的中心区域,得到第一叠加图像。
步骤308:终端设备显示第一叠加图像。
可选的,服务设备在生成第一目标图像后,可以将第一目标图像发送给终端设备。终端设备在接收到第一目标图像后,可以在终端设备的显示模块上显示第一目标图像。其中,显示模块上显示的第一目标图像可以通过终端设备配置的相关光学系统处理后得到第一叠加图像,从而实现将第一叠加图像呈现给人眼。
需要说明的是,由于显示模块中心区域的图像最终会与显示模块四周(比如显示模块四个角)显示的图像进行叠加,因此会导致显示模块中心区域的显示亮度的提高。基于此,为了使得最终叠加的图像的显示亮度与未叠加区域的图像的显示亮度一致,还需要改变显示模块中心区域和显示模块四周图像区域(比如显示模块四个角的图像区域)的显示亮度。可选的,改变显示模块中心区域和显示模块四周图像区域的显示亮度的方案包括但不限于修改显示模块显示驱动的配置,以便实现对这些区域的亮度进行修改、在显示模块上这几块需要降低亮度的区域(比如显示模块中心区域或显示模块四周图像区域)进行粘贴低透过率的膜片或显示模块中心叠加区域图像与显示模块四周区域图像(比如显示模块四个角的图像)分时显示(比如显示模块中心叠加区域图像与显示模块四周区域图像各亮0.5帧)等。
此外,为了能够使得显示模块四周(比如显示模块四个角)上的图像投影在显示模块中心区域显示,还需要为显示模块四周上的子图像配置对应的光学系统。可选的,也需要为显示模块的圆形显示区配置对应的光学系统。比如,以显示模块四个角为例,为显示模块四个角中每个角上的子图像配置相应的光学系统,显示模块四个角上的子图像所对应的光学系统增加在圆形显示区对应的光学系统的前端。
示例性地,参见图8,为本申请实施例一提供的一种光学系统示意图。可选的,光学系统包括显示屏、第一光学成像模块、人眼瞳孔等。其中,第一光学成像模块包括四个倾斜平板镜片、rp膜、四个第一成像透镜、四个半波片、四个反射镜、第二成像透镜等。其中,第一目标图像中包含的四个第一子图像与四个倾斜平板镜片、四个第一成像透镜、四个半波片以及四个反射镜一一对应;四个第一子图像分别在显示屏的四个角上呈现。
基于图8,下面对显示屏显示第一目标图像的光路流程进行介绍。
步骤a:显示屏发出第一目标图像的偏振光线。
可选的,出光是偏振光的显示屏不需要做特殊处理,比如LCD屏。可选的,出光是非偏振光的显示屏需要在显示屏前增加偏振片,以便将非偏振光转变为偏振光。
步骤b:显示屏任一个角对应的倾斜平板镜片将该角上的第一子图像的偏振光线进行平移。
其中,显示屏的四个角中任一个角都会对应一个倾斜平板镜片。
示例性地,参见图9,为本申请实施例一提供的一种倾斜平板镜片平移偏振光线示意图。基于图9,显示屏任一个角对应的倾斜平板镜片可以将该角上的第一子图像的偏振光线平移一定距离。比如,该角对应的倾斜平板镜片可以将该角上的第一子图像的偏振光线平移0.5个像素、1.5个像素或2.5个像素等。
此外,需要说明的是,平板镜片的倾斜方向可以是水平的,或者也可以是竖直的,具体可以根据终端设备需要增加PPD的方向来确定。比如,当在横向方向上增加图像中心区域的PPD时,平板镜片的倾斜方向是水平的,当在纵向方向上增加图像中心区域的PPD时,平板镜片的倾斜方向是竖直的。
示例性地,基于图9,平板镜片的倾斜角度可以通过下述方式计算:
其中,x表示偏振光线的平移距离,h表示平板镜片的厚度,α表示偏振光线入射角,即平板镜片光轴的倾斜角度,β表示平板镜片第一个界面的折射角,s表示显示屏像素宽度或显示屏像素长度,n0表示空气折射率,n表示平板镜片的折射率,m可以取大于或等于0的整数,比如m取0、1、2等整数。
步骤c:经过倾斜平板镜片平移的偏振光线穿过rp膜。
可选的,rp膜可以用于反射偏振方向垂直于透光轴的偏振光线,同时也可以用于透过偏振方向平行于透光轴的偏振光线。基于此,由于显示屏任一个角上的第一子图像的偏振光线的偏振方向平行于透光轴,所以rp膜可以透过任一个角上的第一子图像的偏振光线。
示例性地,上述rp膜可以粘贴在曲面镜片上,或者也可以粘贴在其它样式的镜片上,本申请实施例对rp膜粘贴的镜片样式不作限定。可选的,粘贴了rp膜的镜片的透光轴可以平行于显示屏出光的偏振方向,或者也可以平行于显示屏前偏振片的偏振方向。
步骤d:穿过rp膜的偏振光线在经过第一成像透镜和半波片后,偏振方向发生改变。
其中,显示屏的四个角中任一个角都会对应一个第一成像透镜(比如凹透镜或镜片组合等)。第一成像透镜可以用于将对应的角上的第一子图像的偏振光线进行成像。需要说明的是,本申请实施例对于第一成像透镜的数量、面型和材料等特性不作限定。
其中,显示屏的四个角中任一个角都会对应一个半波片。半波片可以用于改变偏振光线的偏振方向,比如可以将偏振光线的偏振方向旋转90°,其快轴或慢轴需要与显示屏出光偏振方向成45°。此外,也可以采用四分之一波片、多片反射镜等改变偏振光线的偏振方向。
步骤e:改变了偏振方向的偏振光线在经过反射镜和rp膜后,转移到图像中心区域。
可选的,显示屏的四个角中任一个角都会对应设置一个反射镜。
示例性地,以偏振光线的偏振方向旋转了90°为例,旋转了90°的偏振光线经反射镜反射后,可以反射到rp膜上。其中,由于rp膜会反射偏振方向垂直于透光轴的偏振光线,且旋转了90°的偏振光线的偏振方向垂直于透光轴,所以rp膜会反射旋转了90°的偏振光线。然后,rp膜反射的旋转了90°的偏振光线可以经过第二成像透镜进行成像。
需要说明的是,本申请实施例对于反射镜的面型等特性不作限定。
步骤f:显示屏圆形显示区域的第一圆形图像的偏振光线可直接透过rp膜,并经过第二成像透镜进行成像。
可选的,显示屏四个角上的第一子图像的偏振光线分别在基于上述步骤b至步骤e后,投影到图像中心区域的左上、右上、左下和右下,最终拼接在视场的中心区域。此外,由于显示屏圆形显示区域的第一圆形图像的偏振光线的偏振方向平行于透光轴,所以rp膜可以直接透过显示屏圆形显示区域的第一圆形图像的偏振光线。然后,显示屏圆形显示区域的第一圆形图像的偏振光线在透过rp膜后,与拼接在视场的中心区域的偏振光线,一起经过第二成像透镜进行成像。
示例性地,基于上述实施例一的技术方案,最终呈现给人眼的第一叠加图像可参见图10,图10为本申请实施例一提供的一种显示屏四个角上的第一子图像与显示屏中心区域图像错位叠加示意图。基于图10,显示屏圆形显示区域的中心图像与显示屏四个角上的第一子图像在叠加后,最终实现显示屏四个角上的第一子图像偏移或错开0.5个像素或(0.5+m)个像素叠加在圆形显示区域的中心区域。如此,上述实施例一中的技术方案可以实现在不增加屏幕分辨率或不减少FOV的前提下,在一个方向(比如横向或纵向)上有效地增加图像中心区域的PPD,如此可以达到提高图像中心区域的PPD的效果,从而可以有效地提高图像中心区域的细节清晰度。且,基于人眼视觉中心分辨能力高,边缘分辨能力低的生理特性,人眼大视场的分辨能力相较于中心视场弱很多,因此,终端设备的使用者在注视中心区域时,可以看到中心高PPD的内容,而边缘低PPD的内容不容易被察觉,如此可以达到接近全画面高PPD的效果。
基于实施例一,下面结合实施例二至实施例四描述一些可能的实现。
【实施例二】
图11示例性示出了本申请实施例二提供的一种图像处理方法的流程示意图。该方法适用于图1所示意的应用场景。该方法流程可以是由终端设备单独实现,或者也可以是通过终端设备与服务设备之间的数据交互来实现。可选的,终端设备可以是如图1所示意的终端设备100(比如VR眼镜),或者也可以是集成有服务设备200的各功能单元的终端设备(比如VR眼镜),服务设备可以是如图1所示意的服务设备200。为了便于介绍本申请实施例提供的技术方案,下面以通过终端设备与服务设备之间的数据交互来实现图像处理方法的流程为例进行介绍。如图11所示,该方法包括:
步骤1101:服务设备以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像。
可选的,第二采样分辨率可以与终端设备中显示模块(比如显示屏)的屏幕分辨率相同。
可选的,在设置第二采样分辨率时,可以设置第二采样分辨率中的横向采样像素数量等于屏幕分辨率中的横向像素数量,且设置第二采样分辨率中的纵向采样像素数量等于屏幕分辨率中的纵向像素数量。
示例性地,假设显示模块的屏幕分辨率为n*n,则设置第二采样分辨率也为n*n。服务设备在需要对某一个待显示图像进行渲染采样时,可以根据第二采样分辨率n*n,对该待显示图像进行渲染采样,得到如图12a所示的采样图像。其中,图12a所示的采样图中每个方格表示一个采样点。
步骤1102:服务设备裁剪第二采样图像,得到第三圆形图像。
可选的,服务设备在生成第二采样图像后,可以根据光学系统的最大视场角,对该第二采样图像进行圆形裁剪,得到第二圆形图像。
可选的,服务设备在生成第二采样图像后,也可以根据用户的实际需求,对该第二采样图像进行圆形裁剪,得到第二圆形图像。
然后,服务设备可以根据第二裁剪尺寸(或称为第二裁剪大小),将该第二圆形图像的中心区域裁剪掉,即可得到第三圆形图像。可选的,服务设备也可以将第二圆形图像四周未显示区域的内容裁剪掉。
其中,第二裁剪尺寸可以是根据显示模块上四周未显示区域的尺寸/大小来确定,或者第二裁剪尺寸也可以是根据第二采样图像中除圆形裁剪的区域以外的其它区域的尺寸/大小来确定,或者第二裁剪尺寸也可以通过其它方式(比如本领域技术人员的经验等)进行确定,本申请实施例对此并不作限定。
示例性地,以上述图12a所示的采样图像为例,服务设备在得到图12a所示的采样图像后,可以根据光学系统的最大视场角,对图12a所示的采样图像进行圆形裁剪,并根据第二裁剪尺寸,将图12a所示的采样图像的中心区域裁剪掉,得到如图12b所示的圆形图像。
步骤1103:服务设备裁剪待显示图像,得到第二中心图像。
可选的,服务设备在得到待显示图像后,可以根据第二裁剪尺寸,对该待显示图像的中心区域进行截取,得到第二中心图像。
步骤1104:服务设备以第三采样分辨率对第二中心图像进行渲染采样,得到第三采样图像,并将第三采样图像分割为多个第二子图像。
可选的,服务设备在得到第二中心图像后,可以根据第三采样分辨率,对第二中心图像进行渲染采样,得到第三采样图像。
可选的,服务设备也可以先根据第三采样分辨率,对待显示图像的中心区域进行渲染采样,得到渲染后的待显示图像。其中,待显示图像中需要进行渲染采样的中心区域的大小/尺寸与第二裁剪尺寸相同。之后,服务设备根据第二裁剪尺寸,对该渲染后的待显示图像的中心区域进行截取,即可得到第三采样图像。
然后,服务设备在得到第三采样图像后,可以将该第三采样图像分割为多个具有相同尺寸/大小的第二子图像。
可选的,第三采样分辨率可以大于终端设备中显示模块(比如显示屏)的屏幕分辨率。
可选的,在一个示例中,在设置第三采样分辨率时,可以根据用户实际需求进行设置,比如可以设置第三采样分辨率=w*显示模块的屏幕分辨率。其中,w可以取大于1的实数,比如w取1.5或2等。在另一个示例中,在设置第三采样分辨率时,也可以根据显示模块上四周未显示区域的尺寸/大小以及裁剪掉的中心区域的尺寸/大小来设置。
示例性地,假设显示模块的屏幕分辨率为n*n,并假设w为1.5,则第三采样分辨率为1.5*n*n。服务设备在得到第二中心图像后,可以根据1.5*n*n,对该第二中心图像进行渲染采样,得到如图12c所示的采样图像。然后,服务设备可以将图12c所示的采样图像等分为4个第二子图像。
步骤1105:服务设备将多个第二子图像拼接在第三圆形图像的四周,得到第二目标图像。
可选的,服务设备在得到多个具有相同尺寸/大小的第二子图像后,可以将该多个具有相同尺寸/大小的第二子图像拼接在第三圆形图像的四周,即可得到第二目标图像。
示例性地,以上述图12b所示的圆形图像和上述图12c所示的采样图像等分后得到的4个第二子图像为例,服务设备在得到图12b所示的圆形图像和图12c所示的采样图像等分后得到的4个第二子图像后,可以将该4个第二子图像拼接在图12b所示的圆形图像的四个角上,即可得到如图13所示的需要在显示模块上显示的第二目标图像。
步骤1106:服务设备将第二目标图像发送给终端设备。终端设备接收第二目标图像。
其中,第二目标图像中包括第三圆形图像和位于该第三圆形图像四周的多个第二子图像。
步骤1107:终端设备将多个第二子图像缩小后叠加在第三圆形图像的中心区域,得到第二叠加图像。
步骤1108:终端设备显示第二叠加图像。
可选的,服务设备在生成第二目标图像后,可以将第二目标图像发送给终端设备。终端设备在接收到第二目标图像后,可以在终端设备的显示模块上显示第二目标图像。其中,显示模块上显示的第二目标图像可以通过终端设备配置的相关光学系统处理后得到第二叠加图像,从而实现将第二叠加图像呈现给人眼。
此外,为了能够使得显示模块四周(比如显示模块四个角)上的图像投影在显示模块中心区域显示,还需要为显示模块四周上的子图像配置对应的光学系统。可选的,也需要为显示模块的圆形显示区配置对应的光学系统。比如,以显示模块四个角为例,为显示模块四个角中每个角上的子图像配置相应的光学系统,显示模块四个角上的子图像所对应的光学系统增加在圆形显示区对应的光学系统的前端。
示例性地,参见图14,为本申请实施例二提供的一种光学系统示意图。可选的,光学系统包括显示屏、第二光学成像模块、人眼瞳孔等。其中,第二光学成像模块包括rp膜、四个第三成像透镜、四个半波片、四个反射镜、第二成像透镜等。其中,第二目标图像中包含的四个第二子图像与四个第三成像透镜、四个半波片以及四个反射镜一一对应;四个第二子图像分别在显示屏的四个角上呈现。
基于图14,下面对显示屏显示第二目标图像的光路流程进行介绍。
步骤a:显示屏发出第二目标图像的偏振光线。
可选的,实施例二中步骤a的实施方式可以参考上述实施例一中步骤a的实施方式,在此不再赘述。
步骤b:显示屏任一个角上的第二子图像的偏振光线穿过rp膜。
可选的,实施例二中步骤b的实施方式可以参考上述实施例一中步骤c的实施方式,在此不再赘述。
步骤c:穿过rp膜的偏振光线在经过第三成像透镜和半波片后,偏振方向发生改变。
可选的,显示屏的四个角中任一个角都会对应一个第三成像透镜(比如菲涅尔透镜或镜片组合等)。第三成像透镜可以用于将对应角上的第二子图像的偏振光线进行缩小成像。需要说明的是,本申请实施例对于第三成像透镜的数量、面型和材料等特性不作限定。
可选的,显示屏的四个角中任一个角都会对应一个半波片。半波片可以用于改变偏振光线的偏振方向,比如可以将偏振光线的偏振方向旋转90°,其快轴或慢轴需要与显示屏出光偏振方向成45°。此外,也可以采用四分之一波片、多片反射镜等改变偏振光线的偏振方向。
步骤d:改变了偏振方向的偏振光线在经过反射镜和rp膜后,转移到图像中心区域。
可选的,实施例二中步骤d的实施方式可以参考上述实施例一中步骤e的实施方式,在此不再赘述。
步骤e:显示屏圆形显示区域的第三圆形图像的偏振光线可直接透过rp膜,并经过第二成像透镜成像。
可选的,显示屏四个角上的第三圆形图像的偏振光线分别在基于上述步骤b至步骤d后,投影到图像中心区域的左上、右上、左下和右下,最终拼接在视场的中心区域。此外,由于显示屏圆形显示区域的第三圆形图像的偏振光线的偏振方向平行于透光轴,所以rp膜可以直接透过显示屏圆形显示区域的第三圆形图像的偏振光线。然后,显示屏圆形显示区域的第三圆形图像的偏振光线在透过rp膜后,与拼接在视场的中心区域的偏振光线,一起经过第二成像透镜进行成像。
示例性地,基于上述实施例二的技术方案,最终呈现给人眼的第二叠加图像参见图15,图15为本申请实施例二提供的一种显示屏四个角上的第二子图像缩小后与显示屏中心区域图像叠加示意图。基于图15,显示屏四个角上的第二子图像缩小后与显示屏圆形显示区域的中心图像进行叠加,最终实现显示屏四个角上的第二子图像缩小后叠加在圆形显示区域的中心区域。如此,上述实施例二中的技术方案可以实现在不增加屏幕分辨率或不减少FOV的前提下,在两个方向(比如横向和纵向)上有效地增加图像中心区域的PPD,如此可以达到提高图像中心区域的PPD的效果,从而可以有效地提高图像中心区域的细节清晰度。此外,相比上述实施例一,由于上述实施例二中的光学系统会将显示模块四周的第二子图像都缩小,所以上述实施例二中高PPD的中心区域会相对小一些。
【实施例三】
图16示例性示出了本申请实施例三提供的一种图像处理方法的流程示意图。该方法适用于图1所示意的应用场景。该方法流程可以是由终端设备单独实现,或者也可以是通过终端设备与服务设备之间的数据交互来实现。可选的,终端设备可以是如图1所示意的终端设备100(比如VR眼镜),或者也可以是集成有服务设备200的各功能单元的终端设备(比如VR眼镜),服务设备可以是如图1所示意的服务设备200。为了便于介绍本申请实施例提供的技术方案,下面以通过终端设备与服务设备之间的数据交互来实现图像处理方法的流程为例进行介绍。如图16所示,该方法包括:
步骤1601:服务设备以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像。
可选的,实施例三中步骤1601的实施方式可以参考上述实施例一中步骤301的实施方式,在此不再赘述。
步骤1602:服务设备沿着第一方向以不同取点方式分别在第一采样图像中进行取点,生成第一取点图像和第二取点图像。
可选的,实施例三中步骤1602的实施方式可以参考上述实施例一中步骤302的实施方式,在此不再赘述。
步骤1603:服务设备根据光学系统的设定视场角,裁剪第一取点图像,得到第四圆形图像。
可选的,服务设备在生成第一取点图像后,可以根据光学系统的设定视场角,对该第一取点图像进行圆形裁剪,得到第四圆形图像。其中,光学系统的设定视场角小于光学系统的最大视场角。
其中,光学系统的设定视场角可以用于表征光学系统的设定圆形显示区。可选的,该光学系统的设定圆形显示区的尺寸/大小小于光学系统的最大圆形显示区的尺寸/大小。比如,在不改变终端设备(比如VR眼镜)的整体FOV的前提下,通过缩小显示模块的圆形显示区来增加显示模块四周(比如显示屏四个角)的可用区域尺寸/大小,可以实现增加图像中心区域的叠加面积,使得高PPD的中心区域面积变得更大,从而可以满足人眼在一定角度眼转时,察觉不到大视场的PPD降低的情况。
示例性地,以上述图5a所示的奇数取点图像为例,服务设备在得到图5a所示的奇数取点图像后,可以根据光学系统的设定视场角,对图5a所示的奇数取点图像进行圆形裁剪,得到如图17a所示的圆形图像。
步骤1604:服务设备根据第三裁剪尺寸,裁剪第二取点图像,得到第三中心图像。
可选的,服务设备在生成第二取点图像后,可以根据第三裁剪尺寸(或称为第三裁剪大小),对该第二取点图像的中心区域进行裁剪,得到第三中心图像。
其中,第三裁剪尺寸大于第一裁剪尺寸。
可选的,第三裁剪尺寸可以是根据显示模块上四周未显示区域的尺寸/大小来确定,或者第三裁剪尺寸也可以是根据第一取点图像中除圆形裁剪的区域以外的其它区域的尺寸/大小(此处第一取点图像中除圆形裁剪的区域以外的其它区域的尺寸/大小相比实施例一有所增加)来确定,或者第三裁剪尺寸也可以通过其它方式(比如本领域技术人员的经验等)进行确定,本申请实施例对此并不作限定。其中,显示模块上四周未显示区域的尺寸/大小已经通过缩小显示模块的圆形显示区进行增加。
示例性地,以上述图5b所示的偶数取点图像为例,服务设备在得到图5b所示的偶数取点图像后,可以根据第三裁剪尺寸,对图5b所示的偶数取点图像的中心区域进行截取,得到如图17b所示的中心区域图像。
步骤1605:服务设备将第三中心图像分割为多个第三子图像,并将多个第三子图像拼接在第四圆形图像的四周,得到第三目标图像。
可选的,服务设备在得到第三中心图像后,可以将该第三中心图像分割为多个具有相同尺寸/大小的第三子图像。然后,服务设备可以将该多个具有相同尺寸/大小的第三子图像拼接在第四圆形图像的四周,即可得到第三目标图像。
示例性地,以上述图17b所示的中心区域图像为例,服务设备在得到图17b所示的中心区域图像后,可以将图17b所示的中心区域图像等分为4个第三子图像。然后,服务设备可以将该4个第三子图像拼接在图17a所示的圆形图像的四个角上,即可得到如图18所示的需要在显示模块上显示的第三目标图像。
步骤1606:服务设备将第三目标图像发送给终端设备。终端设备接收第三目标图像。
其中,第三目标图像中包括第四圆形图像和位于该第四圆形图像四周的多个第三子图像。
步骤1607:终端设备将多个第三子图像错位叠加在第四圆形图像的中心区域,得到第三叠加图像。
步骤1608:终端设备显示第三叠加图像。
可选的,实施例三中步骤1606至步骤1608的实施方式可以参考上述实施例一中步骤306至步骤307的实施方式,在此不再赘述。
此外,以显示模块为显示屏为例,在将实施例三生成的第三目标图像呈现给人眼的过程中,实施例三中显示屏显示第三目标图像的光路流程也可以参考上述实施例一中显示屏显示第一目标图像的光路流程,在此不再赘述。
示例性地,基于上述实施例三的技术方案,最终呈现给人眼的第三叠加图像可参见图19,图19为本申请实施例三提供的一种显示屏四个角上的第三子图像与显示屏中心区域图像错位叠加示意图。基于图19,显示屏圆形显示区域的中心图像与显示屏四个角上的第三子图像在叠加后,最终实现显示屏四个角上的第三子图像偏移或错开0.5个像素或(0.5+m)个像素叠加在圆形显示区域的中心区域。如此,上述实施例三中的技术方案可以实现在不改变终端设备的整体FOV的前提下,通过缩小圆形显示区将显示模块四周的区域面积变大,且多个第三子图像的面积也会变大,以此来增加中心叠加区域的面积,从而可以使得图像中高PPD的区域面积变得更大,能够在一个方向(比如横向或纵向)上有效地增加图像中心区域的PPD,达到提高图像中心区域的PPD的效果,进而可以有效地提高图像中心区域的细节清晰度。此外,相比上述实施例一和上述实施例二,上述实施例三中的技术方案通过缩小圆形显示区,虽然在一定程度上降低了大视场的PPD,但是可以增加中心叠加区域的面积,使得图像中高PPD的中心区域面积相对更大一些,并可以满足人眼在一定角度转动时,察觉不到大视场的PPD降低的情况。
【实施例四】
图20示例性示出本申请实施例三提供的一种图像处理方法的流程示意图。该方法适用于图1所示意的应用场景。该方法流程可以是由终端设备单独实现,或者也可以是通过终端设备与服务设备之间的数据交互来实现。可选的,终端设备可以是如图1所示意的终端设备100(比如VR眼镜),或者也可以是集成有服务设备200的各功能单元的终端设备(比如VR眼镜),服务设备可以是如图1所示意的服务设备200。为了便于介绍本申请实施例提供的技术方案,下面以通过终端设备与服务设备之间的数据交互来实现图像处理方法的流程为例进行介绍。如图20所示,该方法包括:
步骤2001:服务设备以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像。
可选的,实施例四中步骤2001的实施方式可以参考上述实施例二中步骤1101的实施方式,在此不再赘述。
步骤2002:服务设备根据光学系统的设定视场角,裁剪第二采样图像,得到第六圆形图像。
可选的,服务设备在生成第二采样图像后,可以根据光学系统的设定视场角,对该第二采样图像进行圆形裁剪,得到第五圆形图像。然后,服务设备可以根据第四裁剪尺寸,将该第五圆形图像的中心区域裁剪掉,即可得到第六圆形图像。可选的,服务设备也可以将第五圆形图像四周未显示区域的内容裁剪掉。其中,光学系统的设定视场角小于光学系统的最大视场角。
可选的,第四裁剪尺寸可以是根据显示模块上四周未显示区域的尺寸/大小来确定,或者第四裁剪尺寸也可以是根据第二采样图像中除圆形裁剪的区域以外的其它区域的尺寸/大小来确定,或者第四裁剪尺寸也可以通过其它方式(比如本领域技术人员的经验等)进行确定,本申请实施例对此并不作限定。其中,显示模块上四周未显示区域的尺寸/大小已经通过缩小显示模块的圆形显示区进行增加。
示例性地,以上述图12a所示的采样图像为例,服务设备在得到图12a所示的采样图像后,可以根据光学系统的设定视场角,对图12a所示的采样图像进行圆形裁剪,并根据第四裁剪尺寸,将图12a所示的采样图像的中心区域裁剪掉,得到如图21a所示的圆形图像。
步骤2003:服务设备根据第四裁剪尺寸,裁剪待显示图像,得到第四中心图像。
可选的,服务设备在得到待显示图像后,可以根据第四裁剪尺寸,对该待显示图像的中心区域进行截取,得到第四中心图像。
步骤2004:服务设备以第三采样分辨率对第四中心图像进行渲染采样,得到第四采样图像,并将第三采样图像分割为多个第四子图像。
可选的,服务设备在得到第四中心图像后,可以根据第三采样分辨率,对第四中心图像进行渲染采样,得到第四采样图像。
可选的,服务设备也可以先根据第三采样分辨率,对待显示图像的中心区域进行渲染采样,得到渲染后的待显示图像。其中,待显示图像中需要进行渲染采样的中心区域的大小/尺寸与第四裁剪尺寸相同。之后,服务设备根据第四裁剪尺寸,对该渲染后的待显示图像的中心区域进行截取,即可得到第四采样图像。
然后,服务设备在得到第四采样图像后,服务设备可以将该第四采样图像分割为多个具有相同尺寸/大小的第四子图像。
示例性地,假设显示模块的屏幕分辨率为n*n,并假设w为1.5,则第三采样分辨率为1.5*n*n。服务设备在得到第四中心图像后,可以根据1.5*n*n,对该第四中心图像进行渲染采样,得到如图21b所示的采样图像。然后,服务设备可以将如图21b所示的采样图像等分为4个第二子图像。
步骤2005:服务设备将多个第四子图像拼接在第六圆形图像的四周,得到第四目标图像。
可选的,服务设备在得到多个具有相同尺寸/大小的第四子图像后,可以将该多个具有相同尺寸/大小的第四子图像拼接在第六圆形图像的四周,即可得到第四目标图像。
示例性地,以上述图21a所示的圆形图像和上述图21b所示的采样图像等分后得到的4个第四子图像为例,服务设备在得到图21a所示的圆形图像和图21b所示的采样图像等分后得到的4个第四子图像后,可以将该4个第四子图像拼接在图21a所示的圆形图像的四个角上,即可得到如图22所示的需要在显示模块上显示的第四目标图像。
步骤2006:服务设备将第四目标图像发送给终端设备。终端设备接收第四目标图像。
其中,第四目标对象包括第六圆形图像和位于该第六圆形图像四周的多个第四子图像。
步骤2007:终端设备将多个第四子图像缩小后叠加在第六圆形图像的中心区域,得到第四叠加图像。
步骤2008:终端设备显示第四叠加图像。
可选的,实施例四中步骤2006至步骤2008的实施方式可以参考上述实施例一中步骤1106至步骤1108的实施方式,在此不再赘述。
示例性地,以显示模块为显示屏为例,在将实施例四生成的第四目标图像呈现给人眼的过程中,实施例四中显示屏显示第四目标图像的光路流程也可以参考上述实施例二中显示屏显示第二目标图像的光路流程,在此不再赘述。
示例性地,基于上述实施例四的技术方案,最终呈现给人眼的第四叠加图像参见图23,图23为本申请实施例四提供的一种显示屏四个角上的第四子图像缩小后与显示屏中心区域图像叠加示意图。基于图23,显示屏四个角上的第四子图像缩小后与显示屏圆形显示区域的中心图像进行叠加,最终实现显示屏四个角上的第四子图像缩小后叠加在圆形显示区域的中心区域。如此,上述实施例四中的技术方案可以实现在不改变终端设备的整体FOV的前提下,通过缩小圆形显示区将显示模块四周的区域面积变大,且多个第四子图像的面积也会变大,以此来增加中心叠加区域的面积,从而可以使得图像中高PPD的区域面积变得更大,能够在两个方向(比如横向和纵向)上有效地增加图像中心区域的PPD,如此可以达到提高图像中心区域的PPD的效果,进而可以有效地提高图像中心区域的细节清晰度。此外,相比上述实施例一和上述实施例二,上述实施例四中的技术方案通过缩小圆形显示区,虽然在一定程度上降低了大视场的PPD,但是可以增加中心叠加区域的面积,使得图像中高PPD的中心区域面积相对更大一些,并可以满足人眼在一定角度转动时,察觉不到大视场的PPD降低的情况。另外,相比上述实施例三,由于上述实施例四中的光学系统会将显示模块四周的图像缩小,所以上述实施例四中高PPD的中心区域会相对小一些。
需要说明的是,在本申请的描述中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、同时存在A和B、单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如“A,B和C中的至少一个”包括A,B,C,AB,AC,BC或ABC。以及,除非有特别说明,本申请实施例提及“第一”、“第二”、“第三”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。
另外,需要说明的是,以上各个实施例中涉及的每个步骤可以为相应的设备执行,也可以是该设备内的芯片、处理器或芯片系统等部件执行,本申请实施例并不对其构成限定。以上各实施例仅以由相应设备执行为例进行说明。
需要说明的是,在以上各个实施例中,可以选择部分步骤进行实施,还可以调整图示中步骤的顺序进行实施,本申请对此不做限定。应理解,执行图示中的部分步骤、调整步骤的顺序或相互结合进行具体实施,均落在本申请的保护范围内。
可以理解的是,为了实现上述实施例中功能,上述实施例中涉及的各个设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的单元及方法步骤,本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用场景和设计约束条件。
应注意:本申请实施例中的“步骤”仅是个示意,是为了更好的理解实施例所采用的一种表现方法,不对本申请的方案的执行构成实质性限定,例如:该“步骤”还可以理解成“特征”。此外,该步骤不对本申请方案的执行顺序构成任何限定,任何在此基础上做出的不影响整体方案实现的步骤顺序改变或步骤合并或步骤拆分等操作,所形成的新的技术方案也在本申请公开的范围之内。
基于相同的构思,本申请实施例还提供了一种可能的终端设备,所述终端设备适用于如图1所示意的应用场景中。所述终端设备用于实现上述实施例中终端设备的技术方案,其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。在本申请实施例中,该终端设备可以是如图1所示意的终端设备或终端设备的模块(比如芯片或电路)。
参见图24,所述终端设备2400包括显示单元2401和处理单元2402。所述显示单元2401用于显示用户界面;所述处理单元,具体用于执行上述实施例中终端设备的技术方案。
关于上述显示单元2401和处理单元2402更详细的描述,可参考上述实施例中关于终端设备的相关描述,在此不再一一赘述。
应理解,本申请中的显示单元2401可以由显示屏或显示屏相关电路组件实现,处理单元2402可以由处理器或处理器相关电路组件实现。
需要说明的是,本申请中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个中的各功能单元可以集成在一个处理单元中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思,本申请还提供了一种可能的终端设备,所述终端设备适用于如图1所示意的应用场景中。该终端设备包括:一个或多个处理电路,一个或多个存储器,该一个或多个存储器存储有一个或多个计算机程序,该一个或多个计算机程序包括指令。当该指令被上述一个或多个处理电路运行时,使得终端设备执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
参见图25,所述终端设备2600包括显示屏2601、存储器2602和处理器2603。可选的,该终端设备还可以包括通信接口2604。其中,显示屏2601、存储器2602、处理器2603和通信接口2604之间相互连接。当所述终端设备2600用于实现上述实施例一或实施例三中终端设备所需执行的方法步骤时,显示屏2601可用于实现上述显示单元2401的功能,处理器2603用于实现上述处理单元2402的功能。
可选的,所述显示屏2601、所述存储器2602、所述处理器2603和所述通信接口2604之间通过总线2605相互连接。所述总线2605可以是外设部件互连标准(peripheralcomponent interconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图25中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
所述通信接口2604,用于接收和发送数据,实现与终端设备以外的其它设备(比如服务设备)进行通信,或者实现与终端设备中的其它功能部件之间的通信。可选的,所述通信接口2604可以为输入输出接口。例如,所述终端设备可以使用通信接口与服务设备进行通信。
所述处理器2603的功能可以参照以上实施例中的描述,此处不再赘述。其中,处理器2603可以是中央处理器(central processing unit,CPU),网络处理器(networkprocessor,NP)或者CPU和NP的组合等等。处理器2603还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。处理器2603在实现上述功能时,可以通过硬件实现,当然也可以通过硬件执行相应的软件实现。
所述存储器2602,用于存放程序指令等。具体地,程序指令可以包括程序代码,该程序代码包括计算机操作指令。存储器2602可能包含随机存取存储器(random accessmemory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。处理器2603执行存储器2602所存放的程序指令,实现上述功能,从而实现上述实施例中终端设备所需执行的方法步骤。
基于相同的构思,本申请还提供了一种可能的服务设备,所述服务设备适用于如图1所示意的应用场景中。所述服务设备用于实现上述实施例一、实施例二、实施例三或实施例四中服务设备具备的功能,因此也能实现上述实施例一、实施例二、实施例三或实施例四中服务设备所具备的有益效果。在本申请实施例中,该服务设备可以是如图1所示意的服务设备或服务设备的模块(比如芯片或电路)。
参见图26,所述服务设备2800包括通信接口2801、存储器2802和处理器2803。其中,通信接口2801、存储器2802和处理器2803之间相互连接。当所述服务设备2800用于实现上述实施例一、实施例二、实施例三或实施例四中服务设备的方法步骤时,通信接口2801可用于实现上述服务设备中收发模块的功能,处理器2803用于实现上述服务设备中处理模块的功能。可选的,服务设备中的收发模块可以用于向终端设备发送目标图像,或者可以用于接收终端设备发送的数据获取请求,该数据获取请求用于请求获取目标图像。可选的,服务设备中的处理模块可以用于执行上述实施例一、实施例二、实施例三或实施例四中服务设备生成目标图像的方法步骤。关于上述服务设备中的收发模块和处理模块更详细的描述,可参考上述方法中关于服务设备的相关描述,在此不再一一赘述。应理解,本申请中服务设备中的收发模块可以由通信接口或通信接口相关电路组件实现,服务设备中的处理模块可以由处理器或处理器相关电路组件实现。
可选的,所述通信接口2801、所述存储器2802和所述处理器2803之间通过总线2804相互连接。所述总线2804可以是外设部件互连标准(peripheral componentinterconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图26中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
所述通信接口2801,用于接收和发送数据,实现与服务设备以外的其它设备(比如终端设备)进行通信,或者实现与服务设备中的其它功能部件之间的通信。可选的,所述通信接口2801可以为输入输出接口。例如,所述服务设备可以使用通信接口与终端设备进行通信。
所述处理器2803的功能可以参照以上实施例中有关服务设备的描述,处理器2803的功能可以参照处理器2603中的描述,此处不再赘述。
所述存储器2802,用于存放程序指令等。具体地,程序指令可以包括程序代码,该程序代码包括计算机操作指令。存储器2802可能包含随机存取存储器(random accessmemory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。处理器2803执行存储器2802所存放的程序指令,实现上述功能,从而实现上述实施例中服务设备所需执行的方法步骤。
基于相同的构思,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行以上实施例提供的方法。
基于相同的构思,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被计算机执行时,使得所述计算机执行以上实施例提供的方法。
其中,存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
基于相同的构思,本申请实施例还提供了一种芯片,所述芯片与存储器耦合,所述芯片用于读取存储器中存储的计算机程序,实现以上实施例提供的方法。
基于相同的构思,本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,用于支持计算机装置实现以上实施例中终端设备或服务设备所涉及的功能。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD))、或者半导体介质(例如,固态硬盘(solidstate drive,SSD))等。
本申请实施例中所描述的方法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM、ROM、EEPROM、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选的,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (34)

1.一种图像处理方法,其特征在于,应用于终端设备,所述方法包括:
获取第一目标图像,其中,所述第一目标图像中包括第一圆形图像和位于所述第一圆形图像四周的多个第一子图像,所述第一圆形图像是通过裁剪第一取点图像得到的,所述多个第一子图像是通过对第一中心图像进行分割得到的,所述第一中心图像是通过裁剪第二取点图像得到的,所述第一取点图像和所述第二取点图像是沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点得到的,所述第一采样图像是通过以第一采样分辨率对待显示图像进行渲染采样得到的;
将所述多个第一子图像错位叠加在所述第一圆形图像的中心区域,得到第一叠加图像;
显示所述第一叠加图像。
2.如权利要求1所述的方法,其特征在于,获取第一目标图像,包括:
接收来自服务设备的所述第一目标图像;或者
生成所述第一目标图像。
3.如权利要求2所述的方法,其特征在于,生成所述第一目标图像,包括:
以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像;
沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点,生成所述第一取点图像和所述第二取点图像;
裁剪所述第一取点图像,得到所述第一圆形图像;
裁剪所述第二取点图像,得到所述第一中心图像;
将所述第一中心图像分割为多个第一子图像,并将所述多个第一子图像拼接在所述第一圆形图像的四周,得到所述第一目标图像。
4.如权利要求3所述的方法,其特征在于,沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点,生成所述第一取点图像和所述第二取点图像,包括:
沿着第一方向,在所述第一采样图像中选取第一像素位置的像素点,生成所述第一取点图像;
沿着所述第一方向,在所述第一采样图像中选取第二像素位置的像素点,生成所述第二取点图像;其中,所述第一像素位置与所述第二像素位置不同。
5.如权利要求3或4所述的方法,其特征在于,裁剪所述第一取点图像,得到所述第一圆形图像,包括:
根据光学系统的最大视场角,对所述第一取点图像进行圆形裁剪,得到所述第一圆形图像;或者
根据光学系统的设定视场角,对所述第一取点图像进行圆形裁剪,得到第四圆形图像,所述第四圆形图像作为所述第一圆形图像,所述设定视场角小于所述最大视场角。
6.如权利要求3-5任一项所述的方法,其特征在于,裁剪所述第二取点图像,得到所述第一中心图像,包括:
根据第一裁剪尺寸,对所述第二取点图像的中心区域进行裁剪,得到所述第一中心图像;或者
根据第三裁剪尺寸,对所述第二取点图像的中心区域进行裁剪,得到所述第三中心图像,所述第三中心图像作为所述第一中心图像,所述第三裁剪尺寸大于所述第一裁剪尺寸。
7.如权利要求1-6任一项所述的方法,其特征在于,所述多个第一子图像具有相同的尺寸/大小。
8.一种图像处理方法,其特征在于,应用于服务设备,所述方法包括:
以第一采样分辨率对待显示图像进行渲染采样,得到第一采样图像;
沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点,生成第一取点图像和第二取点图像;
裁剪所述第一取点图像,得到第一圆形图像;
裁剪所述第二取点图像,得到第一中心图像;
将所述第一中心图像分割为多个第一子图像,并将所述多个第一子图像拼接在所述第一圆形图像的四周,得到所述第一目标图像;
向终端设备发送所述第一目标图像。
9.如权利要求8所述的方法,其特征在于,沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点,生成第一取点图像和第二取点图像,包括:
沿着第一方向,在所述第一采样图像中选取第一像素位置的像素点,生成所述第一取点图像;
沿着所述第一方向,在所述第一采样图像中选取第二像素位置的像素点,生成所述第二取点图像;其中,所述第一像素位置与所述第二像素位置不同。
10.如权利要求8或9所述的方法,其特征在于,裁剪所述第一取点图像,得到第一圆形图像,包括:
根据光学系统的最大视场角,对所述第一取点图像进行圆形裁剪,得到所述第一圆形图像;或者
根据光学系统的设定视场角,对所述第一取点图像进行圆形裁剪,得到第四圆形图像,所述第四圆形图像作为所述第一圆形图像,所述设定视场角小于所述最大视场角。
11.如权利要求8-10任一项所述的方法,其特征在于,裁剪所述第二取点图像,得到第一中心图像,包括:
根据第一裁剪尺寸,对所述第二取点图像的中心区域进行裁剪,得到所述第一中心图像;或者
根据第三裁剪尺寸,对所述第二取点图像的中心区域进行裁剪,得到所述第三中心图像,所述第三中心图像作为所述第一中心图像,所述第三裁剪尺寸大于所述第一裁剪尺寸。
12.如权利要求8-11任一项所述的方法,其特征在于,所述多个第一子图像具有相同的尺寸/大小。
13.一种图像处理方法,其特征在于,应用于终端设备,所述方法包括:
获取第二目标图像,所述第二目标图像中包括第三圆形图像和位于所述第三圆形图像四周的多个第二子图像,所述第三圆形图像是通过对第二采样图像进行裁剪得到的,所述第二采样图像是通过以第二采样分辨率对待显示图像进行渲染采样得到的,所述多个第二子图像是通过对第三采样图像进行分割得到的,所述第三采样图像是通过以第三采样分辨率对第二中心图像进行渲染采样得到的,所述第二中心图像是通过裁剪所述待显示图像得到的;
将所述多个第二子图像缩小后叠加在所述第三圆形图像的中心区域,得到第二叠加图像;
显示所述第二叠加图像。
14.如权利要求13所述的方法,其特征在于,获取第二目标图像,包括:
接收来自服务设备的所述第二目标图像;或者
生成所述第二目标图像。
15.如权利要求14所述的方法,其特征在于,生成所述第二目标图像,包括:
以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像;
裁剪所述第二采样图像,得到第三圆形图像;
裁剪所述待显示图像,得到第二中心图像;
以第三采样分辨率对所述第二中心图像进行渲染采样,得到第三采样图像,并将所述第三采样图像分割为多个第二子图像;
将所述多个第二子图像拼接在所述第三圆形图像的四周,得到所述第二目标图像。
16.如权利要求15所述的方法,其特征在于,裁剪所述第二采样图像,得到第三圆形图像,包括:
根据光学系统的最大视场角,对所述第二采样图像进行圆形裁剪,得到第二圆形图像,并根据第二裁剪尺寸,裁剪掉所述第二圆形图像的中心区域,得到所述第三圆形图像;或者
根据光学系统的设定视场角,对所述第二采样图像进行圆形裁剪,得到第五圆形图像,并根据第四裁剪尺寸,裁剪掉所述第五圆形图像的中心区域,得到第六圆形图像,所述第六圆形图像作为所述第三圆形图像,所述设定视场角小于所述最大视场角。
17.如权利要求15或16所述的方法,其特征在于,裁剪所述待显示图像,得到第二中心图像,包括:
根据第二裁剪尺寸,对所述待显示图像的中心区域进行裁剪,得到所述第二中心图像;或者
根据第四裁剪尺寸,对所述待显示图像的中心区域进行裁剪,得到第四中心图像,所述第四中心图像作为所述第二中心图像。
18.如权利要求13-17任一项所述的方法,其特征在于,所述多个第二子图像具有相同的尺寸/大小。
19.一种图像处理方法,其特征在于,应用于服务设备,所述方法包括:
以第二采样分辨率对待显示图像进行渲染采样,得到第二采样图像;
裁剪所述第二采样图像,得到第三圆形图像;
裁剪所述待显示图像,得到第二中心图像;
以第三采样分辨率对所述第二中心图像进行渲染采样,得到第三采样图像,并将所述第三采样图像分割为多个第二子图像;
将所述多个第二子图像拼接在所述第三圆形图像的四周,得到第二目标图像;
向终端设备发送所述第二目标图像。
20.如权利要求19所述的方法,其特征在于,裁剪所述第二采样图像,得到第三圆形图像,包括:
根据光学系统的最大视场角,对所述第二采样图像进行圆形裁剪,得到第二圆形图像,并根据第二裁剪尺寸,裁剪掉所述第二圆形图像的中心区域,得到所述第三圆形图像;或者
根据光学系统的设定视场角,对所述第二采样图像进行圆形裁剪,得到第五圆形图像,并根据第四裁剪尺寸,裁剪掉所述第五圆形图像的中心区域,得到第六圆形图像,所述第六圆形图像作为所述第三圆形图像,所述设定视场角小于所述最大视场角。
21.如权利要求19或20所述的方法,其特征在于,裁剪所述待显示图像,得到第二中心图像,包括:
根据第二裁剪尺寸,对所述待显示图像的中心区域进行裁剪,得到所述第二中心图像;或者
根据第四裁剪尺寸,对所述待显示图像的中心区域进行裁剪,得到第四中心图像,所述第四中心图像作为所述第二中心图像。
22.如权利要求19-21任一项所述的方法,其特征在于,所述多个第二子图像具有相同的尺寸/大小。
23.一种终端设备,其特征在于,包括:
显示单元,用于显示用户界面;
处理单元,用于执行如权利要求1-7中的任一项所述方法。
24.一种终端设备,其特征在于,包括:显示屏、存储器和处理器;
所述显示屏,用于显示用户界面;
所述存储器,用于存储计算机程序指令;
所述处理器,用于执行调用所述存储器中的计算机程序指令,以使所述终端设备执行以下动作:
获取第一目标图像;其中,所述第一目标图像中包括第一圆形图像和位于所述第一圆形图像四周的多个第一子图像;所述第一圆形图像是通过裁剪第一取点图像得到的,所述多个第一子图像是通过对第一中心图像进行分割得到的,所述第一中心图像是通过裁剪第二取点图像得到的,所述第一取点图像和所述第二取点图像是沿着第一方向以不同取点方式分别在所述第一采样图像中进行取点得到的,所述第一采样图像是通过以第一采样分辨率对待显示图像进行渲染采样得到的;
将所述多个第一子图像错位叠加在所述第一圆形图像的中心区域,得到第一叠加图像;
在所述显示屏中显示所述第一叠加图像。
25.如权利要求24所述的终端设备,其特征在于,所述终端设备还包含第一光学成像模块;
所述处理器,在将所述多个第一子图像错位叠加在所述第一圆形图像的中心区域,得到第一叠加图像时,具体用于:
通过所述第一光学成像模块,将所述多个第一子图像错位叠加在所述第一圆形图像的中心区域,得到第一叠加图像。
26.如权利要求25所述的终端设备,其特征在于,所述第一光学成像模块中包括多个倾斜平板镜片、第一偏振组件、多个第一成像组件、多个第二偏振组件、多个反射镜和第二成像组件;所述多个第一子图像与所述多个倾斜平板镜片、所述多个第一成像组件、所述多个第二偏振组件以及所述多个反射镜一一对应;
任一个倾斜平板镜片,用于平移对应的第一子图像的偏振光线;
所述第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;
任一个第一成像组件,用于对对应的第一子图像的偏振光线进行成像;
任一个第二偏振组件,用于改变对应的第一子图像的偏振光线的偏振方向;
任一个反射镜,用于反射对应的第一子图像的偏振光线;
所述第二成像组件,用于对所述第一圆形图像的偏振光线和所述多个第一子图像的偏振光线进行成像。
27.一种终端设备,其特征在于,包括:
显示单元,用于显示用户界面;
处理单元,用于执行如权利要求13-18中的任一项所述方法。
28.一种终端设备,其特征在于,包括:显示屏、存储器和处理器;
所述显示屏,用于显示用户界面;
所述存储器,用于存储计算机程序指令;
所述处理器,用于执行调用所述存储器中的计算机程序指令,以使所述终端设备执行以下动作:
获取第二目标图像,所述第二目标图像中包括第三圆形图像和位于所述第三圆形图像四周的多个第二子图像,所述第三圆形图像是通过对第二采样图像进行裁剪得到的,所述第二采样图像是通过以第二采样分辨率对待显示图像进行渲染采样得到的,所述多个第二子图像是通过对第三采样图像进行分割得到的,所述第三采样图像是通过以第三采样分辨率对第二中心图像进行渲染采样得到的,所述第二中心图像是通过裁剪所述待显示图像得到的;
将所述多个第二子图像缩小后叠加在所述第三圆形图像的中心区域,得到第二叠加图像;
在所述显示屏中显示所述第二叠加图像。
29.如权利要求28所述的终端设备,其特征在于,所述终端设备还包含第二光学成像模块;
所述处理器,在将所述多个第二子图像缩小后叠加在所述第三圆形图像的中心区域,得到第二叠加图像时,具体用于:
通过所述第二光学成像模块,将所述多个第二子图像缩小后叠加在所述第三圆形图像的中心区域,得到第二叠加图像。
30.如权利要求29所述的终端设备,其特征在于,所述第二光学成像模块中包括第一偏振组件、多个第三成像组件、多个第二偏振组件、多个反射镜和第二成像组件;所述多个第二子图像与所述多个第三成像组件、所述多个第二偏振组件以及所述多个反射镜一一对应;
所述第一偏振组件,用于反射偏振方向垂直于透光轴的偏振光线或用于透过偏振方向平行于透光轴的偏振光线;
任一个第三成像组件,用于对对应的第二子图像的偏振光线进行缩小成像;
任一个第二偏振组件,用于改变对应的第二子图像的偏振光线的偏振方向;
任一个反射镜,用于反射对应的第二子图像的偏振光线;
所述第二成像组件,用于对所述第三圆形图像的偏振光线和所述多个第二子图像的偏振光线进行成像。
31.一种服务设备,其特征在于,包括通信接口、存储器以及处理器;
所述通信接口,用于接收和发送数据;
所述存储器,用于存储计算机程序指令和数据;
所述处理器,用于执行调用所述存储器中的计算机程序指令,以使所述服务设备执行如权利要求8-12中的任一项所述方法或者如权利要求19-22中的任一项所述方法。
32.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被计算机执行时,使得所述计算机执行如权利要求1-7中的任一项所述方法或者如权利要求8-12中的任一项所述方法或者如权利要求13-18中的任一项所述方法或者如权利要求19-22中的任一项所述方法。
33.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行如权利要求1-7中的任一项所述方法或者如权利要求8-12中的任一项所述方法或者如权利要求13-18中的任一项所述方法或者如权利要求19-22中的任一项所述方法。
34.一种芯片,其特征在于,所述芯片与存储器耦合,所述芯片读取存储器中存储的计算机程序,执行如权利要求1-7中的任一项所述方法或者如权利要求8-12中的任一项所述方法或者如权利要求13-18中的任一项所述方法或者如权利要求19-22中的任一项所述方法。
CN202211411188.XA 2022-11-11 2022-11-11 一种图像处理方法、终端设备及服务设备 Pending CN118071914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211411188.XA CN118071914A (zh) 2022-11-11 2022-11-11 一种图像处理方法、终端设备及服务设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211411188.XA CN118071914A (zh) 2022-11-11 2022-11-11 一种图像处理方法、终端设备及服务设备

Publications (1)

Publication Number Publication Date
CN118071914A true CN118071914A (zh) 2024-05-24

Family

ID=91094108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211411188.XA Pending CN118071914A (zh) 2022-11-11 2022-11-11 一种图像处理方法、终端设备及服务设备

Country Status (1)

Country Link
CN (1) CN118071914A (zh)

Similar Documents

Publication Publication Date Title
US12086919B2 (en) Video pipeline
US11217021B2 (en) Display system having sensors
CN112639579B (zh) 用于增强现实装置的空间分辨的动态调暗
US10877556B2 (en) Eye tracking system
US9360671B1 (en) Systems and methods for image zoom
US20180330652A1 (en) Near-eye display with extended effective eyebox via eye tracking
US10482666B2 (en) Display control methods and apparatuses
US20190098267A1 (en) Hololens light engine with linear array imagers and mems
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
US11714283B2 (en) Optical apparatus and near-eye display apparatus including the same
CN103018907A (zh) 显示方法及头戴显示器
US20230077212A1 (en) Display apparatus, system, and method
WO2021097102A1 (en) Ambient light management systems and methods for wearable devices
US20230013031A1 (en) Display method and display control apparatus
CN111158145A (zh) 一种单板反射式ar眼镜的投屏装置
CN118071914A (zh) 一种图像处理方法、终端设备及服务设备
US20230196621A1 (en) Sparse rgb filter hardware accelerator
US11187914B2 (en) Mirror-based scene cameras
JPH0713123A (ja) 頭部搭載型ディスプレー
WO2019173997A1 (en) Near eye display and associated method
Wetzstein Augmented and virtual reality
CN114446262B (zh) 色偏矫正方法和头戴显示装置
US20180017800A1 (en) Virtual image display apparatus
US11972047B1 (en) Control method and device for near eye display system
US11961184B2 (en) System and method for scene reconstruction with plane and surface reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication