CN116129047A - 图像处理方法、电子设备及存储介质 - Google Patents

图像处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116129047A
CN116129047A CN202310004689.4A CN202310004689A CN116129047A CN 116129047 A CN116129047 A CN 116129047A CN 202310004689 A CN202310004689 A CN 202310004689A CN 116129047 A CN116129047 A CN 116129047A
Authority
CN
China
Prior art keywords
image
camera
position information
wearable device
separation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310004689.4A
Other languages
English (en)
Inventor
李国�
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xingji Shidai Technology Co Ltd
Original Assignee
Hubei Xingji Shidai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xingji Shidai Technology Co Ltd filed Critical Hubei Xingji Shidai Technology Co Ltd
Priority to CN202310004689.4A priority Critical patent/CN116129047A/zh
Publication of CN116129047A publication Critical patent/CN116129047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请实施例提供一种图像处理方法、电子设备及存储介质，所述方法包括：获取目标场景下的第一目标图像和第二目标图像；确定第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；将第一目标图像、第二目标图像、第一相对位置信息、第二相对位置信息以及第一摄像头和第二摄像头的基线距离输入至图像重构模型中进行3D图像构建和视角重构，得到智能穿戴设备佩戴者的立体图像；对立体图像进行图像分离，得到第一分离图像和第二分离图像，将第一分离图像和第二分离图像显示于智能穿戴设备的显示模块。本申请能够提高在目标场景如暗光场景下的图像显示效果。

Description

图像处理方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及存储介质。
背景技术
目前业内AR(Augmented Reality，增强现实)设备技术在不断的迭代发展中，通过摄像获取真实世界的环境信息，再将虚拟投射物叠加到真实世界的环境信息中。然而，目前多采用单目通过移动算法实现环境构建，这种算法得到的图像精度不高，在一些环境下比如暗光环境，只能看到虚拟投射物，实质成了VR(Virtual reality，虚拟现实)设备，无法看到真实世界，无法起到AR设备的效果。
因此，如何实现提高AR设备佩戴者的视觉感知能力，是当前亟需解决的技术问题。
发明内容
第一方面，本申请实施例提供一种图像处理方法，包括：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
在一些实施例中，还包括：对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备。
在一些实施例中，所述智能穿戴设备包括第一镜片和第二镜片；
所述对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备，包括：
基于3D图像分离算法对所述立体图像进行图像分离，得到第一分离图像和第二分离图像；
将所述第一分离图像显示于所述第一镜片，将所述第二分离图像显示于所述第二镜片。
在一些实施例中，所述确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息，包括：
获取所述第一摄像头的第一位置信息，以及所述第二摄像头的第二位置信息；
获取所述智能穿戴设备佩戴者的第一眼球的第三位置信息，以及所述智能穿戴设备佩戴者的第二眼球的第四位置信息；
基于所述第一位置信息和第三位置信息确定所述第一相对位置信息，基于所述第二位置信息和第四位置信息确定所述第二相对位置信息。
在一些实施例中，所述获取目标场景下的第一目标图像和第二目标图像之后，还包括：
分别对所述第一目标图像和第二目标图像进行预处理，得到左视增强图像以及右视增强图像；
所述预处理包括图像消噪和暗光增强。
在一些实施例中，所述3D图像构建和视角重构是基于训练完成的图像重构模型进行的，
所述训练完成的图像重构模型包括训练完成的3D图像构建子模型和训练完成的视角重构子模型，所述图像重构模型的训练方法包括：
获取图像训练集，所述图像训练集包括左视角图像样本和右视角图像样本以及所述左视角图像样本和右视角图像样本对应的立体图像样本；
建立待训练的初始模型，所述初始模型包括3D图像构建子模型和视角重构子模型；
将所述图像训练集输入至所述3D图像构建子模型中，得到3D图像；
将所述3D图像输入至所述视角重构子模型中，得到重构图像；
对所述3D图像构建子模型和视角重构子模型进行迭代更新，得到每次迭代的训练模型，基于所述重构图像和对应的立体图像样本获取迭代损失值，基于所述迭代损失值调整所述每次迭代的训练模型的模型参数，直至所述迭代损失值达到预设目标值，得到训练完成的3D图像构建子模型和训练完成的视角重构子模型。
第二方面，本申请实施例还提供一种智能穿戴设备，包括第一摄像头、第二摄像头、处理器以及存储器；
其中，所述第一摄像头用于采集目标场景下的第一目标图像，所述第二摄像头用于采集目标场景下的第二目标图像，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时，实现上述任一种所述的图像处理方法。
在一些实施例中，还包括：
第一镜片和第二镜片；
所述第一镜片和所述第二镜片分别用于显示对立体图像进行图像分离后得到的第一分离图像和第二分离图像。
第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像处理方法。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像处理方法。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的图像处理方法的流程示意图之一；
图2是本申请一个实施例提供的图像处理方法的流程示意图之二；
图3是本申请一个实施例提供的图像处理方法的流程示意图之三；
图4是本申请一个实施例提供的智能穿戴设备的硬件架构图之一；
图5是本申请一个实施例提供的智能穿戴设备的硬件架构图之二；
图6是本申请一个实施例提供的智能穿戴设备的硬件架构图之三；
图7是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的图像处理方法可以应用于可穿戴设备，可穿戴设备为智能穿戴设备。可以为：虚拟现实(virtual reality，VR)终端设备、增强现实(augmentedreality，AR)终端设备等。
参照图1，本申请一个实施例提供的一种图像处理方法，包括步骤110、步骤120、步骤130以及步骤140，该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
步骤120、确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
步骤130、基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
步骤140、基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
本实施例选用将上述方法执行于智能穿戴设备上，如AR眼镜。以下对本实施例的各步骤进行详细描述。
在上述步骤110中，目标场景可以为暗光场景、夜晚场景等视线不佳的场景。可以通过智能穿戴设备的图像采集模块获取目标场景下的视觉图像。比如，第一摄像头和第二摄像头可以为AR眼镜上的带有图像传感器的双目摄像头，该图像传感器具备在暗光条件下进行暗光捕捉的能力，以获取人眼感知不到的暗光细节。
本实施例通过两个图像传感器分别获取第一目标图像和第二目标图像，分别对应用户的左眼和右眼，即是通过两侧的双目摄像头实现立体图像的捕获。
在上述步骤120中，在用户使用过程中，需要对两侧的双目摄像头与用户同侧眼睛的位置进行校准，以确定摄像头与用户眼睛的相对位置。
具体地，其确定方式为：选取第一摄像头即左侧摄像头的中心点记为A点，选取第二摄像头即右侧摄像头的中心点记为B点，选取用户左眼的眼球中心位置记为C点，选取用户右眼的眼球中心位置记为D点。
然后，根据A点和C点的位置关系确定第一相对位置信息，即确定用户左眼与左侧摄像头的相对位置关系。根据B点和D点的位置关系确定第二相对位置信息，即确定用户右眼与右侧摄像头的相对位置关系。并且，可根据A点和B点确定两侧摄像头之间的距离，即第一摄像头和第二摄像头的基线距离。
在上述步骤130中，将步骤110和步骤120中获取的数据由AR眼镜主控的图像信号处理器(Image Signal Processing，ISP)之后，之后，通过AR眼镜的中央处理器(CentralProcessing Unit，CPU)/图像处理器(Graphics Processing Unit，GPU)进一步处理。
可以理解的是，本实施例中的3D图像重建以及视角重构均是基于图像重构模型进行的，图像重构模型是设置于AR眼镜的CPU/GPU中的，在一些可选的实施例中，图像重构模型可以是设置于与AR眼镜连接的手机端，或者设置于与AR眼镜连接的服务器端。图像重构模型是基于图像重构算法建立，并且经过训练完成的AI模型。
该图像重构模型可执行图像重构的功能，将上述步骤110中获取的第一目标图像以及第二目标图像分别输入到图像重构模型中，结合步骤120中获取的相对位置信息，能够通过智能算法得到人眼视角的立体图像，也就是真实人眼视角的图像。
本申请实施例提供的图像处理方法，通过获取目标场景下的第一目标图像和第二目标图像，然后将第一目标图像、第二目标图像、第一相对位置信息、第二相对位置信息以及所述第一摄像头和第二摄像头的基线距离输入至图像重构模型中进行3D图像构建和视角重构，得到智能穿戴设备佩戴者视角的立体图像，用户可以通过在智能穿戴设备上捕获立体图像，经过自身的视觉系统获得真实视角世界，从而提高在目标场景的图像显示效果。
在一些实施例中，还包括：对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备。
将图像重构模型输出的人眼视角的立体图像进行分离，得到第一分离图像和第二分离图像，也就是用于左视的分离图像和右视的分离图像。其图像分离方法可以通过AR眼镜的FPGA芯片执行完成。
然后将第一分离图像和第二分离图像显示于智能穿戴设备，也就是将分离得到的左视和右视的分离图像分别展示到相应的镜片上。当用户佩戴AR眼镜时，可通过捕获左镜片的第一分离图像和右镜片的第二分离图像，以获取暗光环境下经过暗光增强的真实视角世界，提高对于用户的图像显示效果。
在本实施例中，通过对立体图像进行图像分离，将得到的第一分离图像和第二分离图像显示于智能穿戴设备的显示模块上。用户可以通过在智能穿戴设备上捕获第一分离图像和第二分离图像，经过自身的视觉系统获得真实视角世界，从而提高在目标场景如暗光场景下的图像显示效果。
参照图2，将第一目标图像记为P1、第二目标图像记为P2、左右摄像头中心间距(第一摄像头和第二摄像头的基线距离)记为D1，然后将P1、P2以及D1输入到图像构建子模型中进行图像构建，得到摄像头视角的3D图像记为P3。也就是说，图像构建子模型可根据采集到的图像结合摄像头的距离，得到3D图像。
其次，将左侧摄像头与用户左眼之间的中心间距(第一相对位置信息)记为D2，将右侧摄像头与用户右眼之间的中心间距(第二相对位置信息)记为D3，然后将P3、D2、D3输入到视角重构子模型中，得到人眼视角的3D图像记为P4。也就是说，视角重构子模型即是利用用户眼睛和摄像头之间的相对位置进行校准，从而将摄像头视角的3D图像转化为人眼视角的3D图像。
本实施例提供的图像处理方法，通过图像重构模型的两个子模型，先后对摄像头采集到的左视图像和右视图像进行3D图像构建以及视角重构，分别得到摄像头视角的3D图像和人眼视角的3D图像，本实施例利用AI模型结合相对位置实现实时获取人眼视角的真实的3D立体图像。
在一些实施例中，所述确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息，包括：
获取所述第一摄像头的第一位置信息，以及所述第二摄像头的第二位置信息；获取所述所述智能穿戴设备佩戴者的第一眼球的第三位置信息，以及所述所述智能穿戴设备佩戴者的第二眼球的第四位置信息；
基于所述第一位置信息和第三位置信息确定所述第一相对位置信息，基于所述第二位置信息和第四位置信息确定所述第二相对位置信息。
可以理解的是，本实施例为相对位置确定的过程，即对用户人眼和摄像头进行校准的过程。
由于用户人眼的位置不同，每个用户在佩戴AR眼镜时，眼睛中心和摄像头中心可能无法完全对应，所以摄像头视角和人眼视角的图像也会不同，因此需要对人眼位置以及摄像头位置进行对应。
具体地，其确定方式为：选取第一摄像头即左侧摄像头的中心点记为A点，选取第二摄像头即右侧摄像头的中心点记为B点，选取用户左眼的眼球中心位置记为C点，选取用户右眼的眼球中心位置记为D点。
然后，根据A点和C点的位置关系确定第一相对位置信息，即确定用户左眼与左侧摄像头的相对位置关系。根据B点和D点的位置关系确定第二相对位置信息，即确定用户右眼与右侧摄像头的相对位置关系。并且，可根据A点和B点确定两侧摄像头之间的距离，即第一摄像头和第二摄像头的基线距离。
在一些实施例中，所述获取目标场景下的第一目标图像和第二目标图像之后，还包括：
分别对所述第一目标图像和第二目标图像进行预处理，得到左视增强图像以及右视增强图像；
所述预处理包括图像消噪和暗光增强。
本实施例中，为了提高图像的质量，可在图像进行视角重构之间，对图像进行预处理，得到高质量的图像。预处理过程可以为图像消噪或者暗光增强等。通过对图像进行预处理，能够得到高质量的暗光图像，以获取更加精准的立体图像，进一步提高图像的显示效果。
在一些实施例中，所述智能穿戴设备包括第一镜片和第二镜片；
所述对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备的显示模块，包括：
基于3D图像分离算法对所述立体图像进行图像分离，得到第一分离图像和第二分离图像；
将所述第一分离图像显示于所述第一镜片，将所述第二分离图像显示于所述第二镜片。
需要说明的是，本实施例中的第一镜片可为智能穿戴设备的左镜片，第二镜片可为智能穿戴设备的右镜片。
其中，所述左镜片用于基于用户的视觉系统对所述第一分离图像实现图像增强，所述右镜片用于基于用户的视觉系统对所述第二分离图像实现图像增强。
可以理解的是，本实施例为图像分离以及显示的过程。首先利用图像分离算法在智能穿戴设备的FPGA芯片上进行图像分离，也就是将3D立体图像分离成双眼两路的平面图像，分别为第一分离图像和第二分离图像。此处的第一分离图像和第二分离图像均为人眼视角的图像。
第一镜片和第二镜片即为AR眼镜的两个镜片，将第一分离图像和第二分离图像分别在左镜片和右镜片上显示，用户使用时能够同时实现图像增强，提供图像的显示效果。
需要说明的是，本实施例中将第一分离图像和第二分离图像显示到左右镜片上是利用光波导的方式。光波导(optical waveguide)是引导光波在其中传播的介质装置，即可以理解为将分离得到的图像通过投影的方式显示在左右镜片上。
在一些实施例中，所述3D图像构建和视角重构是基于训练完成的图像重构模型进行的，
所述训练完成的图像重构模型包括训练完成的3D图像构建子模型和训练完成的视角重构子模型，所述图像重构模型的训练方法包括：
获取图像训练集，所述图像训练集包括左视角图像样本和右视角图像样本以及所述左视角图像样本和右视角图像样本对应的立体图像样本；
建立待训练的初始模型，所述初始模型包括3D图像构建子模型和视角重构子模型；
将所述图像训练集输入至所述3D图像构建子模型中，得到3D图像；
将所述3D图像输入至所述视角重构子模型中，得到重构图像；
对所述3D图像构建子模型和视角重构子模型进行迭代更新，得到每次迭代的训练模型，基于所述重构图像和对应的立体图像样本获取迭代损失值，基于所述迭代损失值调整所述每次迭代的训练模型的模型参数，直至所述迭代损失值达到预设目标值，得到训练完成的3D图像构建子模型和训练完成的视角重构子模型。
本实施例即为图像重构模型的训练方法，
首先，获取大量的左视角图像样本和右视角图像样本作为图像训练集。
然后，建立需要训练的初始模型，将图像训练集输入到待训练的初始模型中，得到其立体重构结果，其过程可体现为将图像训练集输入至3D图像构建子模型中，得到3D图像，然后将3D图像输入至所述视角重构子模型中，得到重构图像，重构图像即为立体重构结果。
初始模型的训练过程为一个迭代更新的过程，即利用当前模型的识别结果与识别标签(期望结果)之间的训练损失值进行模型参数的调整，在当前的识别结果和期望结果之间的误差满足预设阈值，以及识别结果对应的准确性满足目标值的情况下，即表示模型训练完成，得到训练完成的图像重构模型。
参照图3，本发明提供的图像处理方法的具体流程为，将可视物体通过第一摄像头获取左视图像(第一目标图像)，通过第二摄像头获取右视图像(第二目标图像)。将左视图像、右视图像、第一摄像头相对左眼位置参数以及第二摄像头相对右眼位置参数输入到人眼视角重构模型中，得到3D图像并进行分离，将分离后的图像分别显示于左镜片和右镜片以适应用户的左眼和右眼。
参照图4，本申请实施例还提供一种智能穿戴设备，包括第一摄像头410、第二摄像头420、存储器440以及处理器430。
所述第一摄像头410用于采集目标场景下的第一目标图像，所述第二摄像头420用于采集目标场景下的第二目标图像，所述存储器440存储有计算机程序指令，当所述计算机程序指令被所述处理器430执行时，所述处理器430执行所述程序时实现如下方法：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
参照图5，智能穿戴设备还包括第一镜片510和第二镜片520，所述第一镜片510和所述第二镜片520分别用于显示对立体图像进行图像分离后得到的第一分离图像和第二分离图像。参照图6，图6是本申请一个实施例中的智能穿戴设备的硬件架构图。智能穿戴设备即为AR眼镜，第一摄像头和第二摄像头分别为左摄像头610和右摄像头620。
AR眼镜搭载左摄像头610和右摄像头620，用于获取原始暗光图像，例如在红、绿、蓝传感器之外，加入白光图像传感器来实现暗光增强。然后由主控630的图像信号处理(Image Signal Processing，ISP)后由中央处理器(Central Processing Unit，CPU)/图像处理器(Graphics Processing Unit，GPU)图像处理器中运行算法完成3D图像构建及人眼视角重构，输出3D图像交由FPGA芯片640将3D图像分离成二路平面图像，送至数字光处理(Digital Light Processing，DLP)数字光处理显示模块即左路光机DLP650和右路光机DLP660，然后通过光波导传到左镜片670和右镜片680上完成最终显示。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行图像处理方法，该方法包括：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像处理方法，该方法包括：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像处理方法，该方法包括：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取目标场景下的第一目标图像和第二目标图像，所述第一目标图像是基于智能穿戴设备的第一摄像头得到的，所述第二目标图像是基于所述智能穿戴设备的第二摄像头得到的；
确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息；
基于所述第一目标图像、第二目标图像以及所述第一摄像头和第二摄像头的基线距离进行3D图像构建，得到智能穿戴设备视角的3D图像数据；
基于所述第一相对位置信息、第二相对位置信息以及所述3D图像数据进行视角重构，得到所述智能穿戴设备佩戴者视角的立体图像。
2.根据权利要求1所述的图像处理方法，其特征在于，还包括：对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备。
3.根据权利要求2所述的图像处理方法，其特征在于，所述智能穿戴设备包括第一镜片和第二镜片；
所述对所述立体图像进行图像分离，得到第一分离图像和第二分离图像，将所述第一分离图像和第二分离图像显示于所述智能穿戴设备，包括：
基于3D图像分离算法对所述立体图像进行图像分离，得到第一分离图像和第二分离图像；
将所述第一分离图像显示于所述第一镜片，将所述第二分离图像显示于所述第二镜片。
4.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述第一摄像头与所述智能穿戴设备佩戴者的第一眼球的第一相对位置信息，确定所述第二摄像头与所述智能穿戴设备佩戴者的第二眼球的第二相对位置信息，包括：
获取所述第一摄像头的第一位置信息，以及所述第二摄像头的第二位置信息；
获取所述智能穿戴设备佩戴者的第一眼球的第三位置信息，以及所述智能穿戴设备佩戴者的第二眼球的第四位置信息；
基于所述第一位置信息和第三位置信息确定所述第一相对位置信息，基于所述第二位置信息和第四位置信息确定所述第二相对位置信息。
5.根据权利要求1所述的图像处理方法，其特征在于，所述获取目标场景下的第一目标图像和第二目标图像之后，还包括：
分别对所述第一目标图像和第二目标图像进行预处理，得到左视增强图像以及右视增强图像；
所述预处理包括图像消噪和暗光增强。
6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述3D图像构建和视角重构是基于训练完成的图像重构模型进行的，所述训练完成的图像重构模型包括训练完成的3D图像构建子模型和训练完成的视角重构子模型，所述图像重构模型的训练方法包括：
获取图像训练集，所述图像训练集包括左视角图像样本和右视角图像样本以及所述左视角图像样本和右视角图像样本对应的立体图像样本；
建立待训练的初始模型，所述初始模型包括3D图像构建子模型和视角重构子模型；
将所述图像训练集输入至所述3D图像构建子模型中，得到3D图像；
将所述3D图像输入至所述视角重构子模型中，得到重构图像；
对所述3D图像构建子模型和视角重构子模型进行迭代更新，得到每次迭代的训练模型，基于所述重构图像和对应的立体图像样本获取迭代损失值，基于所述迭代损失值调整所述每次迭代的训练模型的模型参数，直至所述迭代损失值达到预设目标值，得到训练完成的3D图像构建子模型和训练完成的视角重构子模型。
7.一种智能穿戴设备，其特征在于，包括第一摄像头、第二摄像头、处理器以及存储器；
其中，所述第一摄像头用于采集目标场景下的第一目标图像，所述第二摄像头用于采集目标场景下的第二目标图像，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时，实现权利要求1至6任一项所述的图像处理方法。
8.根据权利要求7所述的智能穿戴设备，其特征在于，还包括：
第一镜片和第二镜片；
所述第一镜片和所述第二镜片分别用于显示对立体图像进行图像分离后得到的第一分离图像和第二分离图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的图像处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像处理方法。
CN202310004689.4A 2023-01-03 2023-01-03 图像处理方法、电子设备及存储介质 Pending CN116129047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310004689.4A CN116129047A (zh) 2023-01-03 2023-01-03 图像处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310004689.4A CN116129047A (zh) 2023-01-03 2023-01-03 图像处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116129047A true CN116129047A (zh) 2023-05-16

Family

ID=86307496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310004689.4A Pending CN116129047A (zh) 2023-01-03 2023-01-03 图像处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116129047A (zh)

Similar Documents

Publication Publication Date Title
CN111415422B (zh) 虚拟对象调整方法、装置、存储介质与增强现实设备
CN107277495B (zh) 一种基于视频透视的智能眼镜系统及其透视方法
CN109074681B (zh) 信息处理装置、信息处理方法和程序
JP6023801B2 (ja) シミュレーション装置
JP4794678B1 (ja) 映像処理装置、映像処理方法、および映像通信システム
CN106484116B (zh) 媒体文件的处理方法和装置
CN109510975B (zh) 一种视频图像的提取方法、设备及系统
EP3547672A1 (en) Data processing method, device, and apparatus
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN108520510B (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
JP7459051B2 (ja) 角検出のための方法および装置
CN109521871B (zh) 一种融合功能的训练方法、装置、设备及存储介质
JP7148634B2 (ja) ヘッドマウントディスプレイ装置
CN111447428A (zh) 平面至立体图像的转换方法、装置、计算机可读存储介质及设备
CN112015264A (zh) 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
CN116129047A (zh) 图像处理方法、电子设备及存储介质
CN112929638A (zh) 眼部定位方法、装置及多视点裸眼3d显示方法、设备
GB2585197A (en) Method and system for obtaining depth data
CN109360270B (zh) 基于人工智能的3d人脸姿态对齐方法及装置
CN112949504A (zh) 立体匹配方法、装置、设备及存储介质
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡
JPH09179998A (ja) ３次元画像表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. B1337, Chuanggu Initiation Zone, Taizihu Cultural Digital Creative Industry Park, No. 18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province, 430058

Applicant after: Hubei Xingji Meizu Technology Co.,Ltd.

Address before: 430014 No. b1337, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province

Applicant before: Hubei Xingji times Technology Co.,Ltd.