CN115375827B - 光照估计方法及电子设备 - Google Patents

光照估计方法及电子设备 Download PDF

Info

Publication number
CN115375827B
CN115375827B CN202210859788.6A CN202210859788A CN115375827B CN 115375827 B CN115375827 B CN 115375827B CN 202210859788 A CN202210859788 A CN 202210859788A CN 115375827 B CN115375827 B CN 115375827B
Authority
CN
China
Prior art keywords
image
electronic device
scene
camera
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210859788.6A
Other languages
English (en)
Other versions
CN115375827A (zh
Inventor
龚少庆
彭金平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210859788.6A priority Critical patent/CN115375827B/zh
Publication of CN115375827A publication Critical patent/CN115375827A/zh
Application granted granted Critical
Publication of CN115375827B publication Critical patent/CN115375827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种光照估计方法及电子设备，涉及数字图像处理领域，该方法包括：电子设备可以通过飞行时间(timeofflight，TOF)摄像头采集到第一图像，第一图像为第一场景的深度图。电子设备可以基于RGB摄像头采集到第二图像，第二图像为第一场景的RGB图像。电子设备可以基于第一图像和第二图像获取到第三图像，第三图像为法向图。然后，电子设备可以将第三图像与第二图像进行张量拼接(concat)。电子设备可以基于第三图像与第二图像进行张量拼接后得到的数据进行光照估计，获取到第一场景对应的球谐系数，该第一场景对应的球谐系数可以用于表征第一场景的光照信息。

Description

光照估计方法及电子设备
技术领域
本申请涉及数字图像处理领域，尤其涉及一种光照估计方法及电子设备。
背景技术
随着数字图像处理技术的发展，基于图像的光照信息对图像进行处理成为了当前数字图像处理领域中较为重要的研究方向之一。在不同的光照环境下，物体会产生不同的表面颜色和阴影，因此，电子设备在基于不同的光照信息对图像进行处理时，就会得到完全不同的视觉效果。随着深度学习技术的发展，现有的图像光照估计方法常常会采用卷积神经网络(convolutionalneuralnetworks，CNN)。然而，基于卷积神经网络所分解出的图像的法向量往往不够精确，误差较大，导致基于法向量得到的光照估计结果也不精确。当电子设备基于上述不精确的光照估计结果进行图像处理时，最终所呈现出的视觉效果也会较差。因此，如何提高图像的光照估计结果的精度，成为了目前亟待解决的问题。
发明内容
本申请提供了一种光照估计方法及电子设备，实现了基于TOF摄像头和RGB摄像头获取到高精度的法向图。电子设备基于该精度较高的法向图进行光照估计时，可以提高光照估计的精度，获取到较为精确的第一场景的光照信息。当电子设备100基于该精确的光照信息进行图像处理后，图像所呈现出的视觉效果也会大大提升。
第一方面，本申请提供了一种光照估计方法，应用于电子设备，该电子设备包括第一摄像头和第二摄像头，该方法包括：该电子设备通过该第一摄像头，采集到第一场景的第一图像。其中，该第一图像记录有深度信息，该深度信息用于指示该第一图像中的物体到该第一摄像头的距离。该电子设备通过该第二摄像头，采集到该第一场景的第二图像。该电子设备基于该深度信息、该第一图像和该第二图像，生成第三图像。该第三图像指示该第一图像每个像素点的法向量。该电子设备基于该第二图像和该第三图像，确定出该第一场景的球谐系数。其中，该第一场景的球谐系数用于表征该第一场景的光照信息，该第一场景的球谐系数用于对图像进行光线处理。
在一种可能的实现方式中，该电子设备基于该深度信息、该第一图像和所第二图像，生成第三图像，具体包括：该电子设备基于该深度信息，将该第一图像上的像素点映射到该第二图像上，使得该第一图像和该第二图像配准。该电子设备基于已配准的该第一图像和该第二图像，补全该第一图像中深度信息缺失区域的深度信息。该电子设备基于该已补全的第一图像，计算出各像素点的法向量。该电子设备基于该各像素点的法向量，生成该第三图像。
在一种可能的实现方式中，该电子设备将该第一图像上的像素点映射到该第二图像上，使得该第一图像和该第二图像配准，具体包括：该电子设备基于该第一摄像头的内部参数，将该第一图像上各像素点的二维坐标，映射为各像素点对应的三维点在该第一坐标系下的三维坐标。该电子设备基于第一变换矩阵，将该第一图像上各像素点所对应的各三维点在该第一坐标系下的三维坐标，映射为在第二坐标系下的三维坐标。该电子设备基于该第二摄像头的内部参数，将上述各三维点在该第二坐标系下的三维坐标，映射为该第二图像上对应像素点的二维坐标。
在一种可能的实现方式中，该第一场景的球谐系数用于对图像进行光线处理，包括：夜景人物补光和/或图像背景增强。
在一种可能的实现方式中，该第一场景的光照信息包括：第一场景的光照方向和/或第一场景的光照强度。
在一种可能的实现方式中，该第二图像为该第一场景的彩色RGB图像。
第二方面，本申请实施例提供了一种电子设备，包括计算机指令，包括：一个或多个处理器、一个或多个存储器和显示屏。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，当包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
第四方面，本申请实施例提供了一种芯片或芯片系统，包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行上述第一方面任一项可能的实现方式中的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
附图说明
图1A为本申请实施例提供的一种光照估计方案示意图；
图1B为本申请实施例提供的另一种光照估计方案示意图；
图1C为本申请实施例提供的另一种光照估计方案示意图；
图1D为本申请实施例提供的一种U-Net网络示意图；
图2为本申请实施例提供的一种光照估计方法的具体流程示意图；
图3A为本申请实施例提供的一种深度信息采集方法的示意图；
图3B为本申请实施例提供的一种图像配准方法的示意图；
图3C为本申请实施例提供的一种像素点映射示意图；
图3D为本申请实施例提供的一种光照估计网络示意图；
图4为本申请实施例提供的一种电子设备100的硬件结构示意图；
图5为本申请实施例提供的一种电子设备100的软件模块及其交互示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先，介绍本申请实施例提供的一些基于单张图像进行光照估计的方案。
方案1：如图1A所示，电子设备可以通过摄像头采集到第一场景中部分场景区域的图像。其中，该包括第一场景中部分场景区域的图像可以被称为有限视场角(fieldofview，FOV)图像。该有限FOV图像可以是RGB图像，也即是说，该FOV图像可以基于三种分量(也可以被称为通道)，也即红色(red，R)分量、绿色(green，G)分量和蓝色(blue，B)分量的叠加来显示物体的彩色成像。然后，电子设备可以通过由神经网络(neuralnetworks，NN)构成的编码器和全连接((fully connected，FC)层，基于上述有限FOV图像进行光照估计，得出第一场景对应的球谐系数。其中，该球谐系数可以用于表征第一场景的光照信息。关于球谐系数的具体表达式，后续实施例中将详细描述，在此先不赘述。
从上述方案1的流程中可以看出，该方案1基于采集到的部分场景区域的图像进行光照估计，从而获取到全场景的光照信息。因此，光照估计的精度较差，所得出的光照信息与实际的光照信息之间的误差也较大。
方案2：如图1B所示，电子设备可以通过摄像头采集到第一场景的单张RGB图像。电子设备可以基于NN网络构成的编码器和解码器，对该RGB图像进行法向估计，以使得电子设备可以将第一场景的RGB图像转换成法向图(也可以被称为法向贴图、法线贴图)。然后，电子设备可以将上述法向图和第一场景的RGB图像进行张量拼接(concat)，并通过基于NN网络构成的编码器和FC层进行光照估计，得出第一场景对应的球谐系数。其中，该法向图可以包括图像中任一像素的法向量，该法向量为将RGB图像中的像素点转换到三维空间中之后，该像素所在曲面中，垂直于该像素的切线平面的三维向量。关于RGB图像和球谐系数的说明，可以参考上述实施例中的描述，在此不再赘述。
从上述方案2的流程中可以看出，该方案2基于单张RGB图像进行法向估计所得的法线方向精度较低，与实际的法线方向误差较大，因此，基于法向图进行光照估计所得到的光照信息与实际的光照信息之间的误差也较大。
方案3：如图1C所示，电子设备可以通过摄像头采集到第一场景的单张RGB图像。电子设备可以基于NN网络构成的编码器和解码器，对该RGB图像进行法向估计和反照率(也可以被称为反射率)估计，以使得电子设备可以将第一场景的RGB图像转换成第一场景的法向图和反照率图。然后，电子设备可以将第一场景的法向图、反照率图和RGB图像进行张量拼接(concat)，并通过基于NN网络构成的编码器和FC层进行光照估计，得出第一场景对应的球谐系数。其中，反照率指的是物体反射光线的能力。反照率图可以用于记录RGB图像上各物体的反照率。
在该方案中，电子设备可以基于U-Net网络进行法向估计和反照率估计。如图1D所示，在该方案的示例中，U-Net网络可以包括特征提取网络和特征融合网络。特征提取网络可以包括4个卷积网络，分别为：卷积网络1、卷积网络2、卷积网络3和卷积网络4。特征融合网络可以包括4个卷积网络，分别为：卷积网络5、卷积网络6、卷积网络7和卷积网络8。卷积网络1提取特征后输出的特征图像1可以作为卷积网络2的输入；卷积网络2提取特征后输出的特征图像2可以作为卷积网络3的输入；卷积网络3提取特征后输出的特征图像3可以作为卷积网络4的输入；卷积网络4提取特征后输出的特征图像4可以在进行降维后，作为卷积网络5的输入。在特征融合的过程中，卷积网络5可以基于降维后的特征图像4与原始特征图像4进行特征融合。卷积网络6可以基于卷积网络5的输出与卷积网络3的输出进行特征融合。卷积网络7可以基于卷积网络6的输出与卷积网络2的输出进行特征融合。卷积网络8可以基于卷积网络7的输出与卷积网络1的输出进行特征融合。其中，卷积网络5获取卷积网络4的输出(即原始特征图像4)、卷积网络6获取卷积网络3的输出、卷积网络7获取卷积网络2的输出、卷积网络8获取卷积网络2的输出等这样的方式，可以被称为跳层连接。关于法向图、RGB图像和球谐系数的说明，可以参考上述实施例中的描述，在此不再赘述。
示例性的，在该方案中，球谐系数L可以基于如下公式进行推导计算：
首先，可以基于如下的渲染公式对图像进行渲染：
I＝A⊙LB(N)
其中，I为渲染信息，A为反照率，L为球谐系数，N为法向量，B(N)为基于法向量计算的球谐基函数，⊙为矩阵间对应位置的元素相乘。因此，球谐系数L的计算公式可以如下：
L＝(I/A)B(N)+
其中，B(N)+为B(N)的伪逆矩阵，“/”为矩阵间对应位置的元素相除。
从上述方案3的流程中可以看出，该方案3基于单张RGB图像进行法向估计所得的法线方向精度较低，与实际的法线方向误差较大，并且，基于该单张RGB图像进行反照率估计所得到的反照率与物体实际反照率的误差也较大，因此，基于法向图和反照率图进行光照估计所得到的光照信息并不精确。
因此，本申请实施例提供了一种光照估计方法。
该方法可以应用于手机、平板电脑等电子设备上。后续统一使用电子设备100表示上述电子设备。不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。
在该方法中，电子设备100可以通过飞行时间(timeofflight，TOF)摄像头采集到第一图像，第一图像为第一场景的深度图。电子设备100可以基于RGB摄像头采集到第二图像，第二图像为第一场景的RGB图像。电子设备100可以基于第一图像和第二图像获取到第三图像，第三图像为法向图。然后，电子设备100可以将第三图像与第二图像进行张量拼接(concat)。电子设备100可以基于第三图像与第二图像进行张量拼接后得到的数据进行光照估计，获取到第一场景对应的球谐系数，该第一场景对应的球谐系数可以用于表征第一场景的光照信息。其中，TOF摄像头可以用于检测拍摄物体到TOF摄像头的距离并生成图像。
从上述流程中可以看出，本方案可以基于TOF摄像头和RGB摄像头获取到法向图。相较于基于NN网络进行法向估计所得到的法向图，本方案获取到的法向图的精度较高，误差较小，因此，基于该精度较高的法向图进行光照估计，可以提高光照估计的精度，获取到较为精确的第一场景的光照信息。当电子设备100基于该精确的光照信息进行图像处理后，图像所呈现出的视觉效果也会大大提升。
下面，介绍本申请实施例提供的一种光照估计方法的具体流程。
请参考图2，图2示例性示出了一种光照估计方法的具体流程示意图。
如图2所示，该方法的具体流程可以包括：
S201.电子设备100通过TOF摄像头采集到第一场景的第一图像。
其中，第一图像可以是深度图，深度图可以指的是：包括第一场景中各物体上各点到TOF摄像头的距离信息的图像。深度图中像素点的深度信息，可以用于表示该像素点所对应的实际空间中三维点(也可以简称为三维点)到TOF摄像头的距离。例如，若深度图中有一像素点，其深度信息为q，则表示该像素点对应的三维点到TOF摄像头的距离为q。深度图中每一个像素点的像素值可以存储该像素点的深度信息。当TOF摄像头无法获取三维点到TOF摄像头的距离信息时，此时其对应像素点的深度信息缺失，该像素点的像素值可以被赋值为0。
具体的，TOF摄像头(也可以被称为第一摄像头)可以包括TOF传感器。TOF摄像头可以通过TOF传感器向第一场景中的各物体表面发射光信号，然后接收从各物体表面反射回TOF摄像头的光信号。TOF摄像头可以通过TOF传感器获取到从发射光信号到接收反射光信号的时间。TOF摄像头可以基于该时间，计算得出各物体上各点到TOF摄像头的距离，并基于各点到TOF摄像头的距离值，采集到第一场景的深度图。
其中，该第一场景的深度图可以基于灰度图像显示，其每一个像素点的灰度值可以和像素值相同，因此，灰度值即是用于表示：该像素点对应的三维点到TOF摄像头的距离，单位可以为毫米。示例性的，当某像素点的灰度值为M时，则表示该像素点所对应的三维点到TOF摄像头的距离为M毫米。
示例性的，如图3A所示，例如第一场景中包括第一物体，第一物体上包括三维点A。TOF摄像头可以通过TOF传感器向第一物体的表面发射光信号，然后接收第一物体表面发射回该传感模块的光信号。因此，第一物体上的三维点A可以反射TOF摄像头通过TOF传感器发射的光信号。TOF摄像头可以获取到光信号从TOF摄像头发射到三维点A并被三维点A反射回来的时间T1。三维点A到TOF摄像头的距离(也即深度信息)即为：光速乘以T1，再除以2。然后，TOF摄像头基于该距离值，将第一物体上的三维点A，映射为深度图上的像素点B。像素点B的灰度值，即表示三维点A到TOF摄像头的距离。
需要说明的是，不限于上述示例中的TOF摄像头，电子设备100也可以通过其他方式(例如，结构光摄像头)来采集第一图像，本申请并不对采集第一图像的方法作限制。
S202.电子设备100通过RGB摄像头采集到第一场景的第二图像。
具体的，RGB摄像头也可以被称为第二摄像头。第二图像可以是第一场景的RGB图像。关于RGB图像的说明，可以参考前述实施例中的描述，在此不再赘述。
需要说明的是，不限于RGB摄像头采集的RGB图像，第二图像也可以是其他摄像头采集的其他图像，本申请对此不作限制。
S203.电子设备100将第一图像和第二图像进行配准。
其中，第一图像和第二图像进行配准指的是：使得第一图像中的像素点与第二图像中的像素点一一对应，且两对应的像素点所表征的物体信息(例如，物体的方位、形状、大小等)相同。
具体的，电子设备100将第一图像和第二图像进行配准的实现方式可以如下：
如图3B所示，第一图像和第二图像进行配准的具体流程可以包括：
a).电子设备100基于TOF摄像头的内部参数，将第一图像上各像素点的二维坐标，映射为各像素点对应的三维点在TOF相机坐标系下的三维坐标。
其中，TOF摄像头的内部参数(也可以被称为TOF摄像头的内参)可以包括TOF摄像头的焦距等。电子设备100可以通过张正友棋盘格标定法获取到TOF摄像头的内参。各像素点的二维坐标为像素坐标系下的坐标，像素坐标系为：以图像的左上角顶点为原点，以图像的横行为X轴，以图像的纵列为Y轴的坐标系。后续说明中的二维坐标皆为像素坐标系下的坐标。TOF相机坐标系(也可以被称为第一坐标系)为：以TOF摄像头的光轴中心为原点，以TOF摄像头的光轴为Z轴的坐标系。
示例性的，如图3C所示，若第一图像上包括一像素点e1，其对应的三维点为v。电子设备100可以基于如下公式，将像素点e1的二维坐标映射为三维点v在TOF相机坐标系下的三维坐标Sv1：
Sv1＝Ze1×Kt -1×Ee1
其中，Ze1为像素点e1的深度信息，Kt为TOF摄像头内参的矩阵表达式，Kt -1为Kt的逆矩阵，Ee1为像素点e1的二维坐标，“×”表示矩阵相乘。
第一图像上其余像素点对应的三维点在TOF相机坐标系下的三维坐标，也可以参考像素点i的计算方式，在此不再赘述。
b).电子设备100基于变换矩阵1，将第一图像上各像素点所对应的各三维点在TOF相机坐标系下的三维坐标，映射为在RGB相机坐标系下的三维坐标。
其中，变换矩阵1(也可以被称为第一变换矩阵)可以用于：将某三维点在TOF相机坐标系下的三维坐标映射为在RGB相机坐标系下的三维坐标，或者，在RGB相机坐标系下的三维坐标映射在TOF相机坐标系下的三维坐标。电子设备100可以基于张正友棋盘格标定法获取到变换矩阵1。变换矩阵1可以包括旋转矩阵R和平移矩阵T。RGB相机坐标系(也可以被称为第二坐标系)可以指的是：以RGB摄像头的光轴中心为原点，以RGB摄像头的光轴为Z轴的坐标系。
示例性的，如图3C所示，以上述三维点v为例，该三维点v在TOF相机坐标系下的三维坐标为Sv1，电子设备100可以基于如下公式，将Sv1映射为在RGB相机坐标系下的三维坐标Sv2：
Sv2＝R×Sv1+T
其中，“×”表示矩阵相乘。
将其余第一图像上各像素点所对应的各三维点在TOF相机坐标系下的三维坐标，映射为在RGB相机坐标系下的三维坐标，可以参考三维点v的计算方式，在此不再赘述。
c).电子设备100基于RGB摄像头的内部参数，将上述各三维点在RGB相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标。
其中，RGB摄像头的内部参数(也可以被称为RGB摄像头的内参)可以包括RGB摄像头的焦距等。电子设备100可通过张正友棋盘格标定法获取到RGB摄像头的内参。
示例性的，如图3C所示，三维点v在RGB相机坐标系下的三维坐标为Sv2，电子设备100可以通过如下公式，将Sv2映射为第二图像上对应像素点e2的二维坐标Ee2：
Ee2＝Kr×Sv2
其中，Kr为RGB摄像头内部参数的矩阵表达式，“×”表示矩阵相乘。
将其余各三维点在RGB相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标，可以参考上述三维点v的计算方式，在此不再赘述。
S204.电子设备100基于已配准的第一图像和第二图像，补全第一图像中深度信息缺失区域的深度信息。
需要说明的是，当第一图像和第二图像进行配准后，会出现：由于TOF摄像头和RGB摄像头的角度不一致，第一图像和第二图像包括的拍摄物体不完全相同，因此第二图像上存在无法与第一图像进行对应的像素点；或者，将各三维点在RGB相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标时，其计算结果为浮点数，取整后无法对应至第二图像等情况。因此，当第一图像和第二图像进行配准后，第一图像上会出现深度信息缺失区域。电子设备100需要补全第一图像中深度信息缺失区域的深度信息。
具体的，电子设备100可以基于插值计算，补全第一图像中深度信息缺失区域的深度信息。
首先，电子设备100以任意一个无深度信息的像素点N(也可以被称为无深度信息的像素点N)为中心，划分出指定大小的窗口W1(例如，5×5的窗口)。电子设备100可以统计出在该窗口W1中具有深度信息的像素点的个数。若电子设备100确定出该窗口W1中具有深度信息的像素点的个数大于或等于预设的指定阈值t1时，则电子设备100确定出该像素点N需要进行插值计算。否则，电子设备100不对该像素点N进行插值计算。
然后，当电子设备100确定出该像素点N需要进行插值计算时，电子设备100以该像素点N为中心，划分出指定大小的窗口W2(例如，3×3的窗口)。电子设备100计算出该窗口W2上四个顶点的平均深度信息以及标准差。当电子设备100确定出该标准差小于或等于预设的指定阈值t2时，电子设备100将上述平均深度信息作为该像素点N的深度信息。当电子设备100确定出该标准差大于预设的指定阈值t2时，则电子设备100不对该像素点N进行插值。其中，指定阈值t2可以是动态变化的，与窗口W2上四个顶点的平均深度信息成正比。
需要说明的是，不限于上述示例性列举出的插值计算方法，电子设备100也可以通过其他方法补全第一图像中深度信息缺失区域的深度信息，本申请对此不作限制。
S205.电子设备100基于已补全的第一图像生成第三图像。
其中，第三图像可以是法向图。第三图像可以用于指示第一图像上每个像素点的法线方向，法线方向可以用法向量来表示。可以理解的是，由于前述第一图像与第二图像已进行配准，因此，第三图像也可以用于指示第二图像上每个像素点的法线方向。
具体的，电子设备100可以基于第一图像中各像素点的二维坐标、各像素点的深度信息和TOF摄像头的内部参数(例如，TOF摄像头的焦距、像素大小等)，计算出第一图像中各像素点对应的三维点在TOF相机坐标系下的三维坐标。然后，电子设备100可以基于各像素点的相邻像素点所对应的三维点，计算出各像素点的法向量，其计算公式可以如下所示：
ni(x，y)＝(vi(x+1，y)-vi(x，y))×(vi(x，y+1)-vi(x，y))
其中，ni(x，y)表示像素点i的法向量，(x，y)表示该像素点i的二维坐标，vi(x+1，y)表示该像素点i向X轴正方向平移一个单位的邻近像素点所对应三维点在TOF相机坐标系下的三维坐标，vi(x，y+1)表示该像素点i向Y轴正方向平移一个单位的邻近像素点所对应三维点在TOF相机坐标系下的三维坐标，vi(x，y)表示像素点i对应的三维点在TOF相机坐标系下的三维坐标，“×”表示向量的叉乘。
接下来，电子设备100可以基于各像素点的法向量，生成第三图像。
示例性的，例如第一图像上有一像素点A1。A1的深度信息为Z，A1的二维坐标为Ea，TOF摄像头内部参数的矩阵表达式为Kt。则电子设备100可以基于Z、Ea和TOF摄像头的内部参数，按以下公式计算出像素点A1对应的三维点在TOF相机坐标系下的三维坐标Sa1：
Sa1＝Z×Kt -1×Ea
其中，Kt -1为矩阵Kt的逆矩阵，“×”表示矩阵相乘。
又，像素点A1向X轴正方向平移一个单位的邻近像素点为A2，像素点A1向Y轴正方向平移一个单位的邻近像素点为A3。与像素点A1的计算方式相同，电子设备100可以获取到像素点A2对应的三维点在TOF相机坐标系下的三维坐标Sa2；电子设备100可以获取到A3对应的三维点在TOF相机坐标系下的三维坐标Sa3。则电子设备可以基于如下公式获取到像素点A1的法向量n(A1)：
n(A1)＝(Sa2-Sa1)×(Sa3-Sa1)
第一图像上的其他各像素点的法向量的计算方式，可以参考如上所述像素点A1的计算方式，在此不再赘述。电子设备100可以基于第一图像上各像素点的法向量，生成第三图像。
需要说明的是，不限于上述示例性列举的方式，电子设备100还可以通过其他方式获取到第一图像上各像素点的法向量，继而生成第三图像，本申请对此不作限制。
在一些示例中，电子设备1 00执行图2所示实施例中S201-S205后获取到的法向图，也可以应用于前述方案3中。也即是说，前述方案3中的法向图不基于RGB图像通过编码器和解码器进行法向估计后获取，而是基于电子设备100执行S201-S205后获取，这样，获取到的法向图的精度较高，误差较小，因此，基于该精度较高的法向图进行光照估计，可以提高光照估计的精度，获取到较为精确的第一场景的光照信息。
S206.电子设备100将第二图像和第三图像进行张量拼接(concat)。
具体的，当电子设备100将第二图像和第三图像进行张量拼接(concat)后，其每一个像素点的信息可以基于6个通道值来表示，其中三个通道的值可以用于表示像素点的颜色，另外三个通道的值可以用于表示像素点的法向量。
示例性的，当电子设备100将第二图像和第三图像进行张量拼接(concat)后，有一像素点i1。该像素点i1的信息可以基于6个通道值来表示，其中三个通道的值为Ri1、Gi1和Bi1，可以用于表示像素点i1的颜色；另外三个通道的值可以用于表示像素点i1的法向量(nxi1，nyi1，nzi1)。其中，nxi1表示像素点i1的法向量在X轴方向上的分量，nyi1表示像素点i1的法向量在Y轴方向上的分量，nzi1表示像素点i1的法向量在Z轴方向上的分量。
S207.电子设备100基于第二图像和第三图像进行张量拼接(concat)后的数据，获取到第一场景对应的球谐系数。
具体的，电子设备100可以将第二图像和第三图像进行张量拼接(concat)后的数据作为光照估计网络的输入，该光照估计网络的输出可以是第一场景对应的球谐系数。其中，光照估计网络可以是预设的。示例性的，如图3D所示，该预设的光照估计网络可以包括由5层卷积层构成的编码器和1层FC层。第一场景的球谐系数可以用于表征第一场景的光照信息，例如第一场景的光照方向、第一场景的光照强度等等。电子设备100可以基于上述第一场景的球谐系数对图像进行光线处理，例如：夜景人物补光、图像背景增强等等。
接下来，介绍本申请实施例提供的一种电子设备100的硬件结构。
请参考图4，图4示例性示出了本申请实施例提供的一种电子设备100的硬件结构示意图。
如图4所示，电子设备100可以包括处理器401、存储器402、无线通信模块403、显示屏404、摄像头405、音频模块406和麦克风407。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合来实现。
处理器401可以包括一个或多个处理器单元，例如处理器401可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器401中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器401中的存储器为高速缓冲存储器。该存储器可以保存处理器401刚用过或循环使用的指令或数据。如果处理器401需要再次使用该指令或数据，可以从所述存储器中直接调用。避免了重复存取，减少了处理器401的等待时间，因而提高了系统的效率。
在一些实施例中，处理器401可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或USB接口等。
存储器402与处理器401耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器402可以包括易失性存储器(volatile memory)，例如随机存取存储器(randomaccessmemory，RAM)；也可以包括非易失性存储器(non-vlatile memory)，例如ROM、快闪存储器(flash memory)、硬盘驱动器(Hard Disk Drive，HDD)或固态硬盘(SolidState Drives，SSD)；存储器402还可以包括上述种类的存储器的组合。存储器402还可以存储一些程序代码，以便于处理器401调用存储器402中存储的程序代码，以实现本申请实施例在电子设备100中的实现方法。存储器402可以存储操作系统，例如uCOS、VxWorks、RTLinux等嵌入式操作系统。
无线通信模块403可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块403可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块403经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器401。无线通信模块403还可以从处理器401中接收待发送的信号，对其进行调频、放大，经天线转为电磁波辐射出去。在一些实施例中，电子设备100还可以通过无线通信模块403中的蓝牙模块(图4未示出)、WLAN模块(图4未示出)发射信号探测或扫描在电子设备100附近的设备，并与该附近的设备建立无线通信连接以传输数据。其中，蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate，BR/EDR)或蓝牙低功耗(bluetooth low energy，BLE)中一项或多项蓝牙通信的解决方案，WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。
显示屏404可以用于显示图像、视频等。显示屏404可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏404，N为大于1的正整数。
摄像头405用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头405，N为大于1的正整数。
在本申请实施例中，摄像头405可以包括TOF摄像头和RGB摄像头。其中，TOF摄像头用于采集第一场景的第一图像，RGB摄像头用于采集第一场景的第二图像。具体的实现方式可以参考图2所示实施例的描述，在此不再赘述。
音频模块406可以用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换成数字音频信号。音频模块406还可以用于对音频信号编码和解码。在一些实施例中，音频模块406还可以设置于处理器401中，或将音频模块406的部分功能模块设置于处理器401中。
麦克风407，也可以称“话筒”，“传声器”，可以用于采集电子设备周围环境中的声音信号，再将该声音信号转换为电信号，再将该电信号经过一系列处理，例如模数转换等，得到电子设备的处理器401可以处理的数字形式的音频信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风407发声，将声音信号输入到麦克风407。电子设备100可以设置至少一个麦克风407。在另一些实施例中，电子设备100可以设置两个麦克风407，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风407，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
电子设备100还可以包括传感器模块(图中未示出)。传感器模块可以包括多个传感器件，例如，触摸传感器(图中未示出)等。触摸传感器也可以称为“触控器件”。触摸传感器可以设置于显示屏404，由触摸传感器与显示屏404组成触摸屏，也称“触控屏”。触摸传感器可以用于检测作用于其上或附近的触摸操作。
需要说明的是，图4中示出的电子设备100仅仅用于示例性解释本申请所提供的电子设备的硬件结构，并不对本申请构成具体限制。
下面，介绍本申请实施例提供的一种电子设备100的软件模块。
请参考图5，图5示例性示出了本申请实施例提供的一种电子设备100的软件模块及其交互示意图。
如图5所示，电子设备100中的软件模块可以包括：图像采集模块501、图像处理模块520、光照估计模块503和存储模块504。其中：
图像采集模块501可以基于TOF摄像头采集到第一图像、基于RGB摄像头采集到第二图像。具体的实现过程可以参考前述图2所示实施例中的描述，在此不再赘述。
图像处理模块502可以用于对第一图像和第二图像进行图像处理。例如，将第一图像和第二图像配准、补全第一图像中深度信息缺失区域的深度信息、基于已补全的第一图像生成第三图像、将第二图像和第三图像进行张量拼接(concat)。具体的实现过程可以参考前述图2所示实施例中的描述，在此不再赘述。
光照估计模块503可以包括编码器和FC层。该模块可以将第二图像和第三图像进行张量拼接(concat)后的数据作为输入，通过编码器和FC层获取到第一场景的球谐系数，该第一场景的球谐系数可以用于表征第一场景的光照信息。
存储模块504可以用于存储第一场景的球谐系数，以便于后续电子设备100可以基于该第一场景的球谐系数进行图像处理。存储模块504还可以存储一些程序代码，以实现本申请实施例在电子设备100中的实现方法。具体的实现方式可以参考前述图2所示实施例中的描述，在此不再赘述。
上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (9)

1.一种光照估计方法，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，其特征在于，包括：
所述电子设备通过所述第一摄像头，采集到第一场景的第一图像；其中，所述第一图像记录有深度信息，所述深度信息用于指示所述第一图像中的物体到所述第一摄像头的距离；
所述电子设备通过所述第二摄像头，采集到所述第一场景的第二图像；
所述电子设备将所述第一图像上的像素点映射到所述第二图像上，使得所述第一图像和所述第二图像配准；
所述电子设备基于已配准的所述第一图像和所述第二图像，补全所述第一图像中深度信息缺失区域的深度信息；
所述电子设备基于所述已补全的第一图像，计算出各像素点的法向量；
所述电子设备基于所述各像素点的法向量，生成第三图像；
其中，所述第三图像指示所述第一图像每个像素点的法向量；
所述电子设备基于所述第二图像和所述第三图像，通过光照估计网络，确定出所述第一场景的球谐系数；其中，所述光照估计网络由卷积层和全连接FC层构成，所述第一场景的球谐系数用于表征所述第一场景的光照信息，所述第一场景的球谐系数用于对图像进行光线处理。
2.根据权利要求1所述的方法，其特征在于，所述电子设备将所述第一图像上的像素点映射到所述第二图像上，使得所述第一图像和所述第二图像配准，具体包括：
所述电子设备基于所述第一摄像头的内部参数，将所述第一图像上各像素点的二维坐标，映射为各像素点对应的三维点在第一坐标系下的三维坐标；
所述电子设备基于第一变换矩阵，将所述第一图像上各像素点所对应的各三维点在所述第一坐标系下的三维坐标，映射为在第二坐标系下的三维坐标；
所述电子设备基于所述第二摄像头的内部参数，将上述各三维点在所述第二坐标系下的三维坐标，映射为所述第二图像上对应像素点的二维坐标。
3.根据权利要求1所述的方法，其特征在于，所述第一场景的球谐系数用于对图像进行光线处理，包括：夜景人物补光和/或图像背景增强。
4.根据权利要求1所述的方法，其特征在于，所述第一场景的光照信息包括：第一场景的光照方向和/或第一场景的光照强度。
5.根据权利要求1所述的方法，其特征在于，所述第二图像为所述第一场景的彩色RGB图像。
6.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器和显示屏；所述一个或多个存储器与一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-5中的任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-5中的任一项所述的方法。
8.一种芯片或芯片系统，其特征在于，包括处理电路和接口电路，所述接口电路用于接收代码指令并传输至所述处理电路，所述处理电路用于运行所述代码指令以执行如权利要求1-5中任一项所述的方法。
9.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-5中的任一项所述的方法。
CN202210859788.6A 2022-07-21 2022-07-21 光照估计方法及电子设备 Active CN115375827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859788.6A CN115375827B (zh) 2022-07-21 2022-07-21 光照估计方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859788.6A CN115375827B (zh) 2022-07-21 2022-07-21 光照估计方法及电子设备

Publications (2)

Publication Number Publication Date
CN115375827A CN115375827A (zh) 2022-11-22
CN115375827B true CN115375827B (zh) 2023-09-15

Family

ID=84061752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859788.6A Active CN115375827B (zh) 2022-07-21 2022-07-21 光照估计方法及电子设备

Country Status (1)

Country Link
CN (1) CN115375827B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664701A (zh) * 2022-11-30 2023-08-29 荣耀终端有限公司 光照估计方法及其相关设备
CN115641333B (zh) * 2022-12-07 2023-03-21 武汉大学 一种基于球谐高斯的室内光照估计方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN103607584A (zh) * 2013-11-27 2014-02-26 浙江大学 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
WO2015177183A1 (en) * 2014-05-20 2015-11-26 Thomson Licensing Method and apparatus for selection of reliable points for 3d modeling
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
JP2017122993A (ja) * 2016-01-05 2017-07-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法
CN110211061A (zh) * 2019-05-20 2019-09-06 清华大学 基于神经网络的单深度相机深度图实时增强方法及装置
CN110458902A (zh) * 2019-03-26 2019-11-15 华为技术有限公司 3d光照估计方法及电子设备
CN110570496A (zh) * 2019-08-26 2019-12-13 武汉大学 一种基于球谐光照的rgbd图像环境光编辑方法和系统
CN112614057A (zh) * 2019-09-18 2021-04-06 华为技术有限公司 一种图像虚化处理方法及电子设备
CN113920036A (zh) * 2021-12-14 2022-01-11 武汉大学 一种基于rgb-d图像的交互式重光照编辑方法
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质
CN114511605A (zh) * 2022-04-18 2022-05-17 清华大学 光场深度估计方法、装置、电子设备及存储介质
WO2022124607A1 (en) * 2020-12-07 2022-06-16 Samsung Electronics Co., Ltd. Depth estimation method, device, electronic equipment and computer readable storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2543775B (en) * 2015-10-27 2018-05-09 Imagination Tech Ltd System and methods for processing images of objects
EP3887756A4 (en) * 2018-12-02 2022-01-26 Guardian Optical Technologies Ltd. SYSTEMS, DEVICES AND METHODS FOR MICROVIBRATION DATA EXTRACTION USING A TIME OF FLIGHT (TOF) IMAGING DEVICE

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999892A (zh) * 2012-12-03 2013-03-27 东华大学 基于区域遮罩的深度图像与rgb图像的智能融合方法
CN103607584A (zh) * 2013-11-27 2014-02-26 浙江大学 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
WO2015177183A1 (en) * 2014-05-20 2015-11-26 Thomson Licensing Method and apparatus for selection of reliable points for 3d modeling
JP2017122993A (ja) * 2016-01-05 2017-07-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法
CN110458902A (zh) * 2019-03-26 2019-11-15 华为技术有限公司 3d光照估计方法及电子设备
CN110211061A (zh) * 2019-05-20 2019-09-06 清华大学 基于神经网络的单深度相机深度图实时增强方法及装置
CN110570496A (zh) * 2019-08-26 2019-12-13 武汉大学 一种基于球谐光照的rgbd图像环境光编辑方法和系统
CN112614057A (zh) * 2019-09-18 2021-04-06 华为技术有限公司 一种图像虚化处理方法及电子设备
WO2022124607A1 (en) * 2020-12-07 2022-06-16 Samsung Electronics Co., Ltd. Depth estimation method, device, electronic equipment and computer readable storage medium
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质
CN113920036A (zh) * 2021-12-14 2022-01-11 武汉大学 一种基于rgb-d图像的交互式重光照编辑方法
CN114511605A (zh) * 2022-04-18 2022-05-17 清华大学 光场深度估计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115375827A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN115375827B (zh) 光照估计方法及电子设备
CN111325842B (zh) 地图构建方法、重定位方法及装置、存储介质和电子设备
CN110865388B (zh) 摄像机与激光雷达的联合标定方法、装置及存储介质
JP2022511427A (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
CN109584362B (zh) 三维模型构建方法及装置、电子设备和存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
JP2019534515A (ja) 移動体デバイスのための向上した深度マップ画像
CN115526983B (zh) 一种三维重建方法及相关设备
CN112805663A (zh) 电子装置及其姿势识别方法
WO2019179342A1 (zh) 图像处理方法、图像处理装置、图像处理系统及介质
CN113366527A (zh) 用于处理图像的电子装置和方法
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
CN115908120B (zh) 图像处理方法和电子设备
CN115358937B (zh) 图像去反光方法、介质及电子设备
WO2022206595A1 (zh) 一种图像处理方法以及相关设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN115205364A (zh) 对象高度的确定方法、装置及存储介质
KR20190114242A (ko) 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
CN114332118A (zh) 图像处理方法、装置、设备及存储介质
CN111179628B (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
CN115516494A (zh) 用于生成图像的方法及其电子装置
CN116631011B (zh) 手部姿态估计方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant