CN116301349A - 图像处理方法、装置、设备和存储介质 - Google Patents

图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116301349A
CN116301349A CN202310140599.8A CN202310140599A CN116301349A CN 116301349 A CN116301349 A CN 116301349A CN 202310140599 A CN202310140599 A CN 202310140599A CN 116301349 A CN116301349 A CN 116301349A
Authority
CN
China
Prior art keywords
image
current
target image
initial
gaze point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310140599.8A
Other languages
English (en)
Inventor
崔新宇
李蕾
韩晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310140599.8A priority Critical patent/CN116301349A/zh
Publication of CN116301349A publication Critical patent/CN116301349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种图像处理方法、装置、设备和存储介质。该方法包括：确定人眼的当前注视方向和当前注视点位置；基于预设数量的摄像头视场角，对垂直于所述当前注视方向上的输入数据进行渲染，生成所述预设数量的初始图像；其中，各所述摄像头视场角均不同，且各所述初始图像的信息含量之间的差值小于或等于预设信息量阈值；基于所述当前注视点位置和各所述初始图像，生成目标图像；其中，所述目标图像用于显示在虚拟现实设备中，且所述目标图像的清晰度适配所述当前注视点位置。如此，在不增加硬件成本的同时，实时地跟随注视点位置来细化对应局部区域的图像画质，达到虚拟现实场景中的趋近自然的人眼视觉效果。

Description

图像处理方法、装置、设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。
背景技术
虚拟现实(Virtual Reality，VR)设备需根据用户视觉焦点(又称为注视点)对输入数据进行自动变焦的渲染处理，以呈现出符合人眼视觉特性的显示效果，即人眼注视点区域的画面清晰，而人眼注视点区域周围的画面的清晰度逐渐降低。
目前的VR设备渲染方案主要有基于深度学习的散焦渲染方案，其主要是捕获人眼的注视点，并利用基于深度学习的散焦渲染算法，对整个画面的全焦图像中注视点范围外的区域进行精准的模糊处理。但是，该方案需要极高的渲染速度和图像质量，对VR设备的硬件要求很高，普适应较差。
发明内容
为了解决上述技术问题，本公开提供了一种图像处理方法、装置、设备和存储介质。
第一方面，本公开提供了一种图像处理方法，该方法包括：
确定人眼的当前注视方向和当前注视点位置；
基于预设数量的摄像头视场角，对垂直于所述当前注视方向上的输入数据进行渲染，生成所述预设数量的初始图像；其中，各所述摄像头视场角均不同，且各所述初始图像的信息含量之间的差值小于或等于预设信息量阈值；
基于所述当前注视点位置和各所述初始图像，生成目标图像；其中，所述目标图像用于显示在虚拟现实设备中，且所述目标图像的清晰度适配所述当前注视点位置。
第二方面，本公开提供了一种图像处理装置，该装置包括：
当前注视信息确定模块，用于确定人眼的当前注视方向和当前注视点位置；
初始图像生成模块，用于基于预设数量的摄像头视场角，对垂直于所述当前注视方向上的输入数据进行渲染，生成所述预设数量的初始图像；其中，各所述摄像头视场角均不同，且各所述初始图像的信息含量之间的差值小于或等于预设信息量阈值；
目标图像生成模块，用于基于所述当前注视点位置和各所述初始图像，生成目标图像；其中，所述目标图像用于显示在虚拟现实设备中，且所述目标图像的清晰度适配所述当前注视点位置。
第三方面，本公开提供了一种电子设备，该电子设备包括：
处理器；
存储器，用于存储可执行指令；
其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现本公开任意实施例所说明的图像处理方法。
第四方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现本公开任意实施例所说明的图像处理方法。
本公开实施例的图像处理方法、装置、设备和存储介质，能够捕获人眼在当前时刻的注视方向和注视点位置，并采用预先配置的预设数量的摄像头视场角对垂直于当前注视方向上的输入数据进行渲染，确保在用户视线方向上获得中心区域的图像内容一致、但图像清晰度和图像视场范围均不同的预设数量的初始图像，为后续渲染出符合人眼视觉特性的显示效果的图像画面提供了丰富的数据基础；进而根据当前注视点位置对各初始图像进行处理，得到适配当前注视点位置处的图像清晰度的目标图像，实现了在不增加硬件成本的同时，实时地跟随注视点位置来细化对应局部区域的图像画质，达到虚拟现实场景中的图像自动变焦处理的技术效果，从而提升了虚拟现实渲染算法的普适性和用户的视觉效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种图像处理方法的流程示意图；
图2为本公开实施例提供的一种摄像头视场角和拍摄视图尺寸之间的关系示意图；
图3为本公开实施例提供的一种各摄像头视场角和各初始图像的关系示意图；
图4为本公开实施例提供的一种具有相同信息含量和不同摄像头视场角的两个图像的清晰度对比示意图；
图5为本公开实施例提供的一种摄像头视场角、摄像头焦点位置和初始图像的对应关系示意图；
图6为图1示出的图像处理方法中S130的细化流程示意图；
图7为本公开实施例提供的一种应用于虚拟现实设备的图像处理方法的流程示意图；
图8为本公开实施例提供的一种应用于虚拟现实设备对应的服务终端的图像处理方法的流程示意图；
图9为本公开实施例提供的一种图像处理装置的结构示意图；
图10为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在虚拟现实技术的发展过程中，为了使得显示的画面效果契合人眼的自然视觉效果，即人眼注视的关注区域最为清晰，而关注区域以外的周围区域则呈现模糊的效果，出现了注视点渲染技术。
目前的注视点渲染技术的主流实现方案主要有：第一，利用光场显示技术进行渲染，其本质上是利用阵列相机、多位置拍摄和全光相机等物理手段来获得整个画面均聚焦的全焦图像，以达到关注区域足够清晰的视觉效果；第二，获得全焦图像，并利用基于深度学习的散焦渲染算法对人眼关注区域之外的周边区域进行精准虚化。
但是，上述第一种方案的需要依赖高成本的硬件，而且渲染得到的画面的关注区域之外的物体仍然是清晰可见的，并不符合人眼视觉特性，还易造成视觉疲劳、眩晕等问题；第二种方案同样依赖于高成本的硬件来获得高质量的全焦图像，并且还需要较好的显卡性能来实现高速虚化渲染。
总之，相关技术中的注视点渲染技术，均依赖于高成本的硬件组件来获取高清晰度的全焦图像，且会在其基础上弱化注视区域之外的图像细节，不仅增加了硬件成本，使其只能适用于配置了高显卡性能的VR设备，降低了普适性；而且先聚焦再虚化的处理过程会造成冗余的性能损耗，降低渲染效率，且其只是给用户营造了一种心理感官，会损失更多的图像细节。
基于上述情况，本公开实施例提供一种图像处理方案，以捕获当前注视点位置和当前注视方向，并以不同的摄像头视场角对垂直于当前注视方向上的输入数据进行渲染，获得图像视图尺寸和图像清晰度呈现反比的预设数量的初始图像，并利用这些具有不同画质的初始图像，生成最终用于渲染与显示的、适配当前注视点位置的图像清晰度需求的目标图像；从而无需较高的硬件要求，便可实时地跟随注视点位置的变化、以适配的图像清晰度来细化相应局部区域的图像细节，实现图像自动变焦渲染的人眼视觉效果；另外，通过变焦后局部细化的处理过程，屏蔽了先聚焦再虚化的过程，保留了更多的图像细节，也降低了处理能耗，提高了渲染效率。
下面首先结合图1-8对本公开实施例提供的图像处理方法进行说明。
本公开实施例提供的图像处理方法，可适用于虚拟现实的渲染显示场景中。该方法可以由图像处理装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有一定的图像处理能力的电子设备中。该电子设备可以是VR设备，也可以是与VR设备具有通信连接的服务终端。该服务终端例如可以是笔记本电脑、移动工作站、台式电脑、服务器等。
图1示出了本公开实施例提供的一种图像处理方法的流程示意图。如图1所示，该图像处理方法可以包括如下步骤：
S110、确定人眼的当前注视方向和当前注视点位置。
其中，当前注视点位置是指当前时刻的人眼注视点的位置，其可通过VR设备的显示坐标系中的坐标点来表示。当前注视方向是指当前时刻的人眼的视线方向，其与当前注视点位置相对应。
具体地，为了提升注视点渲染效果，电子设备可进行实时的人眼追踪，以确定实时的注视点相关信息。例如，电子设备可获得当前时刻的人眼区域的图像(即人眼图像)，并利用相关技术中的眼球追踪技术对该人眼图像进行眼球相关特征的提取与识别，以得到当前注视方向和当前注视点位置。
S120、基于预设数量的摄像头视场角，对垂直于当前注视方向上的输入数据进行渲染，生成预设数量的初始图像。
其中，预设数量是预先设置的数量值，其用于限定参与虚拟现实显示场景中实现注视点渲染的初始图像的数量。预设数量可以根据渲染速度和渲染精度的业务需求来综合确定。例如，对于具有较高的渲染精度的业务需求，预设数量可以设置较大的数值，以获得视场角和清晰度均不同的更多的初始图像，为后续图像自动变焦的处理提供颗粒度更细的数据基础，这样后续图像自动变焦处理过程中便可选择出与当前注视点位置所需求的视场角和清晰度更加匹配的初始图像，提高渲染效果与自然的人眼视觉效果的相近程度；对于具有较高的渲染速度的业务需求，预设数量则可以设置相对较小的数值。示例性地，预设数量为大于或等于2的正整数。
摄像头视场角是指虚拟现实的显示场景中，对待渲染处理的输入数据进行拍摄的摄像头的视场角(Field of view，FOV)，其可通过3D渲染引擎(如unity)中的摄像头参数设置。初始图像是指对待渲染处理的输入数据进行拍摄而获得的、未经过自动变焦处理的图像。
具体地，为了迎合自然的人眼视觉效果，需要在人眼注视于某一处时，将视野中该处局部范围的图像清晰度调整为人眼需求的清晰度，而将其余范围的图像清晰度调整为相对较为模糊的清晰度，并且可以将显示的图像范围调整为人眼可视的视野范围。基于此，本公开实施例中可以在人眼注视方向上获取清晰度由低到高、以及视场角由大到小的多个初始图像。这样，当人眼注视点较远时，人眼分辨力下降，其需求的图像清晰度降低、视野范围扩大，则可由各初始图像得到适配的低清晰度和大视场角的图像；而当人眼注视点较近时，人眼分辨力增强，其需求的图像清晰度提升、视野范围缩小，则可由各初始图像得到适配的高清晰度和小视场角的图像。
考虑到虚拟现实设备的显示内容可以通过虚拟的摄像头对输入数据进行拍摄、并对其渲染来得到，本公开实施例中可以通过设置预设数量的摄像头参数的方式来获得各初始图像。
参见图2，对于同一个摄像头而言，当其配置较小的视场角α时，摄像头所捕获的视图范围(虚线示例)较小，当其配置较大的视场角β时，摄像头所捕获的视图范围(实线示例)较大。即同一个摄像头，其配置不同的视场角，所对应捕获的视图范围大小是不同的。所以，本公开实施例中可以通过为摄像头设置不同的摄像头视场角来实现图像所显示的视野范围的不同。
例如，参见图3，对于(a)所示的三个摄像头视场角FOV1>FOV2>FOV3，其拍摄示意图分别对应于(b)、(c)和(d)，所得的图像分别对应于(e)、(f)和(g)。可以看出，图像(e)所显示的视野范围>图像(f)所显示的视野范围>图像(g)所显示的视野范围。
参见图4，假设拍摄所得图像的信息量基本相当(相差较小或完全无差)，以FOV1和FOV3分别对人像进行拍摄，其所得图像分别如(a)和(c)所示。将图像(a)中与图像(c)相同内容的部分放大，得到图像(b)。因图像(a)与图像(c)的信息量基本相当，那么，图像(b)的信息量将会小于图像(c)的信息量。再通过图像(b)与图像(c)可看出，图像(b)的清晰度低于图像(c)的清晰度。所以，本公开实施例中可以通过将不同视场角的摄像头拍摄所得图像的信息含量设置为相同或相近，即各初始图像的信息含量之间的差值小于或等于一个预先设置的、取值较小的信息含量的临界值(即预设信息量阈值)，以确保不同视场角的初始图像具有不同的清晰度。
至此，本公开实施例中可通过对同一摄像头的预设数量的摄像头视场角的设置、以及拍摄结果的信息含量的设置，为实现根据人眼注视点进行自动变焦地图像生成提供基础。并且，通过上述分析可知，初始图像的清晰度与其对应的摄像头视场角呈反比变化。如此，对于上述图3的示例，图像(e)具有大视野范围和低清晰度的特性，图像(f)具有中等视野范围和中等清晰度的特性，图像(g)具有小视野范围和高清晰度的特性。那么，图像(g)→图像(f)→图像(e)的变化恰好符合人眼注视点由近及远时人眼所观察到景物变化规律。
具体实施时，可以预先根据业务需求来设置预设数量的摄像头参数(如摄像头视场角、摄像头焦距等)。例如，对于unity开发环境，可以为摄像头设置视场角FOV、摄像头焦距(Focal Length)、摄像头的空间坐标、旋转坐标等信息。
电子设备获得当前注视方向和输入数据后，便可调用上述摄像头参数，对垂直于当前注视方向上的输入数据进行渲染。这样，无论用户佩戴的VR设备如何转动，垂直于当前视线方向获取的视图都会由预设数量的摄像头分别获取预设数量的初始图像，并且，每个初始图像的信息含量基本一致。至此可得到图像清晰度和视野范围的变化均符合人眼注视点由近及远时人眼所观察到景物变化规律的各初始图像。
需要说明的是，因为各摄像头视场角等参数是针对同一摄像头设置的，故各初始图像的拍摄位置一致。另外，因为都是垂直于当前注视方向拍摄，故各初始图像中的主体内容及其在图像中的位置也是一致的，并且，各初始图像中的主体内容是随着用户视线变化而变化的。
在一些实施例中，在利用数据存储量表征信息含量的情况下，各初始图像的数据存储量之间的差值小于或等于预设数据量阈值。
其中，预设数据量阈值是预先设置的数据存储量的临界值，其可取值为一个相对较小的数值，例如可以是0，或者趋近于0的较小数。
具体地，为了更加便捷和量化地对各初始图像的清晰度进行限定，可采用数据存储量来表征信息含量。例如，可认为数据存储量越大的图像，其信息含量越高。如此，可为各初始图像设置相同或相近的数据存储量，以确保各初始图像之间的信息含量基本相当。
S130、基于当前注视点位置和各初始图像，生成目标图像。
其中，目标图像用于显示在虚拟现实设备中，且目标图像的清晰度适配当前注视点位置。
具体地，根据上述说明，各初始图像的清晰度和视野范围可适配远近不同的人眼注视点。所以，电子设备可根据当前注视点位置和各初始图像，生成图像清晰度和视野范围均可更好地匹配当前注视点位置的目标图像。
可以理解的是，如果当前注视点位置和当前注视方向中的任一个发生变化，均可通过上述的图像处理过程来获得适配的目标图像。例如，当前注视点位置变化，而当前注视方向未变时，各初始图像保持不变，电子设备可通过对各初始图像的处理来获得图像清晰度和视野范围变化的目标图像；当前注视点位置和当前注视方向均变化时，各初始图像的图像内容会相应地变化，那么电子设备可通过对新的各初始图像的处理来获得图像内容、图像清晰度和视野范围均变化的目标图像。
在一种实施方式中，当预设数量较大时，初始图像的数量较多，其在当前注视方向上的分布颗粒度较细，此时，各初始图像中很可能有可以直接适配当前注视点位置的视觉效果的图像，那么，电子设备可根据当前注视点位置，从各初始图像中选择一个匹配度最高的初始图像，确定为目标图像。
在另一种实施方式中，初始图像的数量有限时，电子设备可能无法从各初始图像中获得恰好适配当前注视点位置的图像。那么，电子设备可对各初始图像进行一定的图像处理，如图像融合处理，以得到目标图像。
在一些实施例中，电子设备可采用基于机器学习的融合模型对各初始图像进行融合处理，得到目标图像。即电子设备可将当前注视点位置和各初始图像输入预先训练的、基于机器学习的融合模型，经过模型运算处理，输出目标图像。该基于机器学习的融合模型可以直接利用各初始图像来计算得到适配当前注视点位置的清晰度和视野范围的图像。
在另一些实施例中，S130包括：基于当前注视点位置与各初始图像对应的摄像头焦点位置，利用各初始图像，生成目标图像。
其中，摄像头焦点位置是指摄像头的主焦点所在的位置。本公开实施例中，可根据摄像头的光心位置和焦距来确定摄像头焦点位置。摄像头的光心位置可与人眼位置一致。
具体地，为了简化算法、提高效率、降低对VR设备的性能要求，电子设备可以对各初始图像中的至少一部分图像采用诸如图像插值、像素加权融合、像素极大/极小值选择的融合、基于变换域的图像融合等融合处理，以得到目标图像。在该图像处理过程中，鉴于当前注视点位置是当前注视方向上的一个点，而各初始图像均为分布在当前注视方向上的图像，所以，根据各初始图像来计算当前注视点位置所适配的目标图像时，以各初始图像在当前注视方向上的分布位置和当前注视点位置之间的位置关系，作为图像融合处理的一个依据参量。例如，对于图像插值的融合处理，可利用上述位置关系来确定插值的系数；对于像素极大/极小值选择的融合，可利用上述位置关系来选择合适的极大/极小的像素值；对于像素加权融合，可利用上述位置关系来计算加权所需的权重值。
因为摄像头拍摄初始图像时，其所依据的摄像头参数至少包含摄像头视场角和摄像头焦距，而摄像头焦距可计算得到摄像头焦点位置。该摄像头焦点位置为初始图像的中心点位置。所以，可以利用摄像头焦点位置来表征初始图像在当前视线方向上的分布位置。
对于同一摄像头，如果摄像头视场角扩大，其摄像头焦距会缩短，摄像头焦点位置会靠近人眼位置/摄像头的光心位置。那么，对于图3的示例，三个摄像头视场角FOV1>FOV2>FOV3，对应的摄像头焦距关系为f1<f2<f3，对应的摄像头焦点位置从人眼位置/摄像头的光心位置开始依次为H1、H2和H3。如此，对于拍摄过程而言，摄像头视场角、摄像头焦点位置和初始图像的对应关系(可简称为拍摄对应关系)为：FOV1-H1-图像(e)、FOV2-H2-图像(f)和FOV3-H3-图像(g)。
但是，人眼视觉效果是距离人眼位置越近，视野范围越小，图像清晰度越高。所以，在拍摄得到初始图像后，重新构建并存储摄像头视场角、摄像头焦点位置和初始图像之间的对应关系(可简称为位置对应关系)，以用于图像处理过程。即为了迎合人眼视觉效果，可将图像处理过程中的位置对应关系确定为：FOV1-H1-图像(g)、FOV2-H2-图像(f)和FOV3-H3-图像(e)，其对应的图示关系可参见图5。如此，可利用上述位置对应关系中的摄像头焦点位置H1、H2和H3来分别表征图像(g)、图像(f)和图像(e)在当前注视方向上的分布位置。
在一些实施例中，可利用所有的初始图像进行图像融合处理。如此，上述“基于当前注视点位置与各初始图像对应的摄像头焦点位置，利用各初始图像，生成目标图像”，包括：基于当前注视点位置与各摄像头焦点位置之间的距离，确定初始图像对应的权重值；基于各权重值，对各初始图像进行加权融合，生成目标图像。
具体地，电子设备可计算当前注视点位置与每个摄像头焦点位置之间的距离，并以计算的距离作为上述位置对应关系中摄像头焦点位置对应的初始图像的加权权重值的计算基础。示例性地，可按照距离与权重值呈反比例关系，由各距离计算得到各权重值。例如，对于图5的示例，当前注视点位置与摄像头焦点位置H2最近、与摄像头焦点位置H3最远，故可得到图像(f)的权重值>图像(g)的权重值>图像(e)的权重值，且各权重值的总和为1。
然后，电子设备可利用上述各权重值对各初始图像进行加权融合，所得的融合结果便为目标图像。这样可确保VR设备在显示当前注视方向上的全部的视野范围的同时，在当前注视点位置所在的局部区域内显示清晰度适配人眼视觉需求的图像效果。
在另一些实施例中，为了进一步提高图像融合的准确性，使得目标图像可以呈现出更加符合自然的人眼视觉效果，可先对各初始图像进行筛选，以降低相关性较差的初始图像对目标图像的影响，同时可减少数据处理量，进一步提高图像处理效率。例如，对于图5示例，在当前注视点位置非常接近摄像头焦点位置H1的情况下，结合图像(e)的融合便会拉低图像的清晰度，使得最终的目标图像的清晰度与人眼视觉所需的清晰度产生差异。
参见图6，上述S130对应的“基于当前注视点位置与各初始图像对应的摄像头焦点位置，利用各初始图像，生成目标图像”，包括：
S631、基于当前注视点位置与各摄像头焦点位置之间的位置关系，从各初始图像中筛选至少一个候选图像。
具体地，电子设备根据当前注视点位置与各摄像头焦点位置之间的位置关系，将与当前注视点位置相距较远的初始图像剔除，剩余的初始图像便为后续参与图像融合处理的图像，即候选图像。
在一些实施例中，电子设备可确定当前注视点位置与每个摄像头焦点位置之间的距离。然后，剔除该距离大于预先设置的距离阈值的初始图像，得到候选图像。
在另一些实施例中，为了进一步提高图像筛选和后续图像融合的效率，可为每个摄像头焦点位置设置一个置信范围，以表征对应的初始图像与注视点位置之间的最佳适配程度。即，在某一摄像头焦点位置的置信范围内，可将上述位置对应关系中该摄像头焦点位置对应的初始图像直接作为目标图像。
在该实施例中，S631包括：
步骤A、匹配当前注视点位置与各焦点区间。
其中，焦点区间通过各摄像头焦点位置对应的预设置信边界而构建。该预设置信边界为上述置信范围的上下边界。参见图5，摄像头焦点位置H1对应的预设置信边界为H11和H12，摄像头焦点位置H2对应的预设置信边界为H21和H22，摄像头焦点位置H3对应的预设置信边界为H31和H32。那么，各焦点区间为[H11,H12]、[H12,H21]、[H21,H22]、[H22,H31]和[H31,H32]。
具体地，电子设备将当前注视点位置和各焦点区间的预设置信边界进行比较，以确定当前注视点位置匹配的焦点区间。
步骤B、基于预设对应关系，将匹配成功的焦点区间对应的初始图像，确定为候选图像。
其中，预设对应关系为基于人眼视觉特性而构建的、用于记录各初始图像与各焦点区间之间的对应关系。参见上述说明，可由人眼视觉特性构建位置对应关系，即FOV1-H1-图像(g)、FOV2-H2-图像(f)和FOV3-H3-图像(e)。再结合上述焦点区间，可得到预设对应关系，即图像(g)-[H11,H12]、图像(g)-图像(f)-[H12,H21]、图像(f)-[H21,H22]、图像(f)-图像(e)-[H22,H31]、图像(e)-[H31,H32]。
具体地，电子设备利用匹配成功的焦点区间查询预设对应关系，便可得到该当前注视点位置对应的候选图像。例如，图5中的当前注视点位置处于焦点区间[H12,H21]，那么通过查询预设对应关系，可将图像(g)和图像(f)确定为候选图像。
S632、基于候选图像，生成目标图像。
具体地，电子设备可根据候选图像的数量，确定对应的图像处理方式，以生成目标图像。
在一示例中，若候选图像为一个，则将候选图像确定为目标图像。例如，上述匹配成功的焦点区间为[H11,H12]、[H21,H22]或[H31,H32]，说明当前注视点位置处于摄像头焦点位置的置信范围内，可直接将确定出的候选图像便为图像(g)、图像(f)或图像(e)确定为目标图像。
在另一示例中，若候选图像为多个，则融合各候选图像，生成目标图像。对于多个候选图像，则对其进行图像融合处理，得到目标图像。融合方式同样可以是图像插值、像素加权融合、像素极大值/极小值融合等等。
在一些实施例中，上述“融合各候选图像，生成目标图像”包括：基于当前注视点位置与各候选图像对应的摄像头焦点位置之间的距离，确定候选图像对应的权重值；基于各权重值，对各候选图像进行加权融合，生成目标图像。
具体地，对多个候选图像进行加权融合时，可计算当前注视点位置与上述位置对应关系中每个候选图像对应的摄像头焦点位置之间的距离，并以计算的距离作为相应候选图像的加权权重值的计算基础，例如可按照距离与权重值呈反比例关系，由各距离计算得到各权重值。然后，利用各权重值对各候选图像进行加权融合，生成目标图像。
在一些实施例中，当上述图像处理方法应用于虚拟现实VR设备时，参见图7，该图像处理过程包括：
S710、获取当前人眼图像，并对当前人眼图像进行眼球追踪处理，确定当前注视方向和当前注视点位置。
具体地，VR设备实时捕获人眼的图像，即当前人眼图像。然后，利用眼球追踪技术对当前人眼图像进行处理，得到当前注视方向和当前注视点位置。
S720、基于预设数量的摄像头视场角，对垂直于当前注视方向上的输入数据进行渲染，生成预设数量的初始图像。
S730、基于当前注视点位置和各初始图像，生成目标图像。
S740、渲染目标图像，并在显示屏中显示渲染结果。
具体地，VR设备对目标图像进行渲染，并将渲染结果显示在显示屏幕中。
在一些实施例中，当上述图像处理方法应用于虚拟现实VR设备对应的服务终端时，参见图8，该图像处理过程包括：
S810、接收虚拟现实设备发送的当前人眼图像，并对当前人眼图像进行眼球追踪处理，确定当前注视方向和当前注视点位置。
具体地，VR设备捕获到当前人眼图像后，将其发送至服务终端。服务终端利用眼球追踪技术对当前人眼图像进行处理，得到当前注视方向和当前注视点位置。
S820、基于预设数量的摄像头视场角，对垂直于当前注视方向上的输入数据进行渲染，生成预设数量的初始图像。
S830、基于当前注视点位置和各初始图像，生成目标图像。
S840、将目标图像发送至虚拟现实设备，以使虚拟现实设备渲染目标图像并显示渲染结果。
具体地，服务终端将目标图像发送至VR设备。VR设备对目标图像进行渲染，并将渲染结果显示在VR设备的显示屏幕中。
以下是本发明实施例提供的图像处理装置的实施例，该装置与上述各实施例的图像处理方法属于同一个发明构思，在图像处理装置的实施例中未详尽描述的细节内容，可以参考上述图像处理方法的实施例。
图9示出了本公开实施例提供的一种图像处理装置的结构示意图。如图9所示，该图像处理装置900可以包括：
当前注视信息确定模块910，用于确定人眼的当前注视方向和当前注视点位置；
初始图像生成模块920，用于基于预设数量的摄像头视场角，对垂直于当前注视方向上的输入数据进行渲染，生成预设数量的初始图像；其中，各摄像头视场角均不同，且各初始图像的信息含量之间的差值小于或等于预设信息量阈值；
目标图像生成模块930，用于基于当前注视点位置和各初始图像，生成目标图像；其中，目标图像用于显示在虚拟现实设备中，且目标图像的清晰度适配当前注视点位置。
在一些实施例中，在利用数据存储量表征信息含量的情况下，各初始图像的数据存储量之间的差值小于或等于预设数据量阈值。
在一些实施例中，目标图像生成模块930用于：
基于当前注视点位置与各初始图像对应的摄像头焦点位置，利用各初始图像，生成目标图像。
在一些实施例中，目标图像生成模块930包括：
候选图像筛选子模块，用于基于当前注视点位置与各摄像头焦点位置之间的位置关系，从各初始图像中筛选至少一个候选图像；
目标图像生成子模块，用于基于候选图像，生成目标图像。
可选地，候选图像筛选子模块具体用于：
匹配当前注视点位置与各焦点区间；其中，焦点区间通过各摄像头焦点位置对应的预设置信边界而构建；
基于预设对应关系，将匹配成功的焦点区间对应的初始图像，确定为候选图像；其中，预设对应关系为基于人眼视觉特性而构建的、用于记录各初始图像与各焦点区间之间的对应关系。
可选地，目标图像生成子模块具体用于：
若候选图像为一个，则将候选图像确定为目标图像；
和/或，若候选图像为多个，则融合各候选图像，生成目标图像。
进一步地，目标图像生成子模块具体用于：
若候选图像为多个，则基于当前注视点位置与各候选图像对应的摄像头焦点位置之间的距离，确定候选图像对应的权重值；
基于各权重值，对各候选图像进行加权融合，生成目标图像。
在一些实施例中，目标图像生成模块930具体用于：
基于当前注视点位置与各摄像头焦点位置之间的距离，确定初始图像对应的权重值；
基于各权重值，对各初始图像进行加权融合，生成目标图像。
在一些实施例中，图像处理装置900配置于虚拟现实设备；
相应地，当前注视信息确定模块910具体用于：
获取当前人眼图像，并对当前人眼图像进行眼球追踪处理，确定当前注视方向和当前注视点位置；
相应地，图像处理装置900还包括显示模块，用于：
在基于当前注视点位置和各初始图像，生成目标图像之后，渲染目标图像，并在显示屏中显示渲染结果。
在一些实施例中，图像处理装置900配置于虚拟现实设备对应的服务终端；
相应地，当前注视信息确定模块910具体用于：
接收虚拟现实设备发送的当前人眼图像，并对当前人眼图像进行眼球追踪处理，确定当前注视方向和当前注视点位置；
相应地，图像处理装置900还包括目标图像发送模块，用于：
在基于当前注视点位置和各初始图像，生成目标图像之后，将目标图像发送至虚拟现实设备，以使虚拟现实设备渲染目标图像并显示渲染结果。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述图像处理装置的实施例中，所包括的各个模块和子模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块/子模块的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
本公开实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器，存储器可以用于存储可执行指令。其中，处理器可以用于从存储器中读取可执行指令，并执行可执行指令以实现上述实施例中的图像处理方法。
图10示出了本公开实施例提供的一种电子设备的结构示意图。
如图10所示，该电子设备1000可以包括处理装置1001(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出接口(I/O接口)1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。
需要说明的是，图10示出的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。即虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开任意实施例的图像处理方法中限定的上述功能。
本公开实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现本公开任意实施例中的图像处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行本公开任意实施例所说明的图像处理方法的步骤。
在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
确定人眼的当前注视方向和当前注视点位置；
基于预设数量的摄像头视场角，对垂直于所述当前注视方向上的输入数据进行渲染，生成所述预设数量的初始图像；其中，各所述摄像头视场角均不同，且各所述初始图像的信息含量之间的差值小于或等于预设信息量阈值；
基于所述当前注视点位置和各所述初始图像，生成目标图像；其中，所述目标图像用于显示在虚拟现实设备中，且所述目标图像的清晰度适配所述当前注视点位置。
2.根据权利要求1所述的方法，其特征在于，在利用数据存储量表征所述信息含量的情况下，各所述初始图像的数据存储量之间的差值小于或等于预设数据量阈值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述当前注视点位置和各所述初始图像，生成目标图像包括：
基于所述当前注视点位置与各所述初始图像对应的摄像头焦点位置，利用各所述初始图像，生成所述目标图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前注视点位置与各所述初始图像对应的摄像头焦点位置，利用各所述初始图像，生成所述目标图像包括：
基于所述当前注视点位置与各所述摄像头焦点位置之间的位置关系，从各所述初始图像中筛选至少一个候选图像；
基于所述候选图像，生成所述目标图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述当前注视点位置与各所述摄像头焦点位置之间的位置关系，从各所述初始图像中筛选至少一个候选图像包括：
匹配所述当前注视点位置与各焦点区间；其中，所述焦点区间通过各所述摄像头焦点位置对应的预设置信边界而构建；
基于预设对应关系，将匹配成功的所述焦点区间对应的所述初始图像，确定为所述候选图像；其中，所述预设对应关系为基于人眼视觉特性而构建的、用于记录各所述初始图像与各所述焦点区间之间的对应关系。
6.根据权利要求4所述的方法，其特征在于，所述基于所述候选图像，生成目标图像包括：
若所述候选图像为一个，则将所述候选图像确定为所述目标图像；
和/或，若所述候选图像为多个，则融合各所述候选图像，生成所述目标图像。
7.根据权利要求6所述的方法，其特征在于，所述融合各所述候选图像，生成所述目标图像包括：
基于所述当前注视点位置与各所述候选图像对应的摄像头焦点位置之间的距离，确定所述候选图像对应的权重值；
基于各所述权重值，对各所述候选图像进行加权融合，生成所述目标图像。
8.根据权利要求3所述的方法，其特征在于，所述基于所述当前注视点位置与各所述初始图像对应的摄像头焦点位置，利用各所述初始图像，生成所述目标图像包括：
基于所述当前注视点位置与各所述摄像头焦点位置之间的距离，确定所述初始图像对应的权重值；
基于各所述权重值，对各所述初始图像进行加权融合，生成所述目标图像。
9.根据权利要求1所述的方法，其特征在于，在所述方法应用于虚拟现实设备的情况下，所述确定人眼的当前注视方向和当前注视点位置包括：
获取当前人眼图像，并对所述当前人眼图像进行眼球追踪处理，确定所述当前注视方向和所述当前注视点位置；
在所述基于所述当前注视点位置和各所述初始图像，生成目标图像之后，所述方法还包括：
渲染所述目标图像，并在显示屏中显示渲染结果。
10.根据权利要求1所述的方法，其特征在于，在所述方法应用于虚拟现实设备对应的服务终端的情况下，所述确定人眼的当前注视方向和当前注视点位置包括：
接收虚拟现实设备发送的当前人眼图像，并对所述当前人眼图像进行眼球追踪处理，确定所述当前注视方向和所述当前注视点位置；
在所述基于所述当前注视点位置和各所述初始图像，生成目标图像之后，所述方法还包括：
将所述目标图像发送至所述虚拟现实设备，以使所述虚拟现实设备渲染所述目标图像并显示渲染结果。
11.一种图像处理装置，其特征在于，包括：
当前注视信息确定模块，用于确定人眼的当前注视方向和当前注视点位置；
初始图像生成模块，用于基于预设数量的摄像头视场角，对垂直于所述当前注视方向上的输入数据进行渲染，生成所述预设数量的初始图像；其中，各所述摄像头视场角均不同，且各所述初始图像的信息含量之间的差值小于或等于预设信息量阈值；
目标图像生成模块，用于基于所述当前注视点位置和各所述初始图像，生成目标图像；其中，所述目标图像用于显示在虚拟现实设备中，且所述目标图像的清晰度适配所述当前注视点位置。
12.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1-10中任一项所述的图像处理方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现上述权利要求1-10中任一项所述的图像处理方法。
CN202310140599.8A 2023-02-13 2023-02-13 图像处理方法、装置、设备和存储介质 Pending CN116301349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310140599.8A CN116301349A (zh) 2023-02-13 2023-02-13 图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310140599.8A CN116301349A (zh) 2023-02-13 2023-02-13 图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116301349A true CN116301349A (zh) 2023-06-23

Family

ID=86791611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310140599.8A Pending CN116301349A (zh) 2023-02-13 2023-02-13 图像处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116301349A (zh)

Similar Documents

Publication Publication Date Title
US11694353B2 (en) Single depth tracked accommodation-vergence solutions
JP6862569B2 (ja) 仮想光線追跡方法および光照射野の動的リフォーカス表示システム
CN109002796B (zh) 一种图像采集方法、装置和系统以及电子设备
CN112468796B (zh) 注视点生成方法、系统及设备
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
CN113262464A (zh) 一种虚拟现实场景的动态改变方法、装置及电子设备
CN110570383A (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2021169853A1 (zh) 一种显示方法、装置、终端设备及存储介质
CN113989717A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN105812709A (zh) 一种利用摄像头实现虚拟摄像头的方法
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
US9829721B2 (en) Method for determining a visual effect of an ophthalmic lens
CN115937291B (zh) 一种双目图像的生成方法、装置、电子设备及存储介质
US20230152883A1 (en) Scene processing for holographic displays
US20230122149A1 (en) Asymmetric communication system with viewer position indications
CN116301349A (zh) 图像处理方法、装置、设备和存储介质
CN115022526B (zh) 全景深图像生成方法和装置
CN110971813B (zh) 一种对焦方法、装置、电子设备及存储介质
CN111385460A (zh) 图像处理方法和装置
JP2018129026A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム
JP2018129025A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
RU2815753C1 (ru) Способ и устройство отображения, оконечное устройство и носитель для хранения данных
US12010442B1 (en) Systems and methods incorporating adjustable focus and extended depth-of-field correction
US20240171869A1 (en) Systems and methods incorporating adjustable focus and extended depth-of-field correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination