CN109523617A - 一种基于单目摄像机的光照估计方法 - Google Patents
一种基于单目摄像机的光照估计方法 Download PDFInfo
- Publication number
- CN109523617A CN109523617A CN201811197312.0A CN201811197312A CN109523617A CN 109523617 A CN109523617 A CN 109523617A CN 201811197312 A CN201811197312 A CN 201811197312A CN 109523617 A CN109523617 A CN 109523617A
- Authority
- CN
- China
- Prior art keywords
- depth
- illumination
- estimation
- monocular
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 9
- 238000012549 training Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机图形学，为基于单目摄像机的光照估计方法，包括以下步骤：单目摄像机采集RGB图像，作为深度估计的输入；构建用于单目摄像机深度估计的卷积神经网络并进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；将深度预测值进行上采样，使深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；将RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用亮度通道信息、深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。该方法通过单目摄像机获取真实场景中各方向光源信息，有效提高AR技术中渲染虚拟物体的逼真效果。
Description
技术领域
本发明涉及计算机图形学、人工智能领域，具体涉及一种基于单目摄像机的光照估计方法。
背景技术
现有用于光照估计的技术，主要有两大类。一类是借助鱼眼相机、深度相机等外部硬件设备来获取额外的场景信息，从而估计真实场景的光照条件。这类光照估计技术需要借助外部硬件设备，无疑会增加光照估计的成本，而且手机等移动设备需要考虑便携性，几乎不可能配置这些硬件设备。另一类是在场景中放置一些已知反射特性的规则物体并对其拍摄，根据图像中规则物体的光照效果估计出光照信息；这些规则物体称为光照探针。这类采用光照探针的估计方法，需要放置规则几何体到镜头中，那么拍摄出来的图像必定会包含这些几何体，这种方法会破坏真实场景的原始图像信息，故称为侵入式。
增强现实(Augmented Reality，简称AR)技术如今广泛应用于手机等移动设备中，AR 技术需要我们将虚拟物体无缝嵌入(绘制)到真实场景中，要绘制出逼真的效果就需要给虚拟物体渲染恰当的光照效果。当前主流的增强现实技术只实现了对给定摄像头图像中环境光强度的粗略估计(如Google公司的ARCore平台)，无法估计真实环境中的各个方向上的光源信息。也有部分研究可以估计真实环境中各个方向上的光源信息，但是必须借助外部硬件设备或者侵入到镜头中的光照探针来捕捉光照信息。然而现有光照估计技术局限于额外的硬件设备或者侵入式的光探针，不适用于仅有单目摄像机的移动设备中。
发明内容
为解决现有技术所存在的技术问题，本发明提供一种基于单目摄像机的光照估计方法，采用基于人工智能的单目摄像机深度估计技术，利用估计到的深度信息，结合图像中的亮度等信息求解光照信息，最后在虚拟物体上重现出这些光照信息；该方法通过单目摄像机获取真实场景中各个方向的光源信息，能有效提高AR技术中渲染虚拟物体的逼真效果。
本发明采用以下技术方案来实现：一种基于单目摄像机的光照估计方法，包括以下步骤：
第一步、单目摄像机采集RGB图像，作为深度估计的输入；
第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将 RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；
第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；
第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。
本发明与现有技术相比，具有如下优点和有益效果：
1、现有技术依赖于深度摄像机获取的深度信息；本发明不需要深度摄像机，只使用单目摄像机，利用预训练好的卷积神经网络直接从RGB图像中实时估计深度等信息，对预测深度图进行尺寸调整等操作后，结合基于球谐函数的光照估计方法，估计出真实场景各个方向上的光照信息，摆脱了深度摄像机和光照探针的限制。
由于只需要单目摄像机即可获取真实场景的光照信息，因此本发明方便部署于只有单目摄像机的移动设备上。
2、现有技术需要光照探针来捕捉光照信息，且只能粗略估计给定摄像头图像中环境光强度和平均色温(色温表示光线中包含颜色成分的一个计量单位)；本发明不需要额外的光照探针来获取光源信息，能估计出现有AR技术中尚未完善的基于单目摄像机、无需光照探针的各方向的光源信息。
3、本发明还提出了深度参考模板，因为深度预测图不可避免地会有细节上的深度误差，将深度预测图中误差较大的区域标志出来，可以提高光照估计时的采样点有效性，避免深度预测图细节部分精度不够高而影响到最终的光照估计结果的问题。
附图说明
图1是本发明方法的总流程图；
图2是卷积神经网络结构图；
图3是本发明光照估计环节的子流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例中，基于单目摄像机的光照估计方法整体流程如图1所示，包括以下步骤：
第一步、单目摄像机采集RGB图像，作为深度估计的输入；
第二步、构建用于单目摄像机深度估计的卷积神经网络，使用公开数据集对卷积神经网络进行训练；将RGB图像输入到参数已经训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；
本步骤的深度估计过程中，首先构建一个卷积神经网络来预测单目RGB图像中的深度信息，而训练数据是来自KITTI公开数据集，是带深度标注的RGB图像集合。训练完成后，输入一张RGB图像，实时输出带深度信息的RGBD图像。通过图2所示的卷积神经网络来推断深度信息，卷积神经网络主要包括网络前端的卷积层和全连接层，每个卷积层的后面还增加池化层以降低训练的参数数量。深度估计的具体步骤如下：
S21、网络前端的卷积层用于提取图像中不同种类的特征信息，高层全连接层用于包含整张图像的视野，并输出深度预测值。
卷积神经网络中，所有的隐藏神经单元使用修正线性激活函数，最后的输出层是使用线性激活函数。
S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：
其中：
通过对比输出像素点i、j的关系来表示误差，并令di＝logyi-logy*为像素点i预测值和ground truth(真实值)的差别，有以下等价定义：
损失函数：
S23、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。
第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；
深度估计部分只需要进行场景深度的粗略估计，忽略细节部分的精细估计，这是基于两个因素：一是深度信息只是用来辅助光照估计，并不要求高精度的深度信息；二是光照估计只需要采样部分像素点来进行估计，所以可以容忍细节部分的深度误差。因此，需要对上一步粗略预测得到的深度图进行预处理，即光照估计之前的预处理，其步骤如下：
S31、由于所得深度预测值为粗略结果，因此在边缘部分(细节部分)深度信息的误差较大，故边缘部分深度信息不宜作为深度参考。沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M。边缘指的是图像中相邻像素点变化明显的区域。
S32、为了降低卷积神经网络的训练难度，深度估计部分输出的深度预测图尺寸会低于原始图像，此处需要对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致。
S33、深度估计处理过程中产生的及所输出的都为对数域的深度预测值，因而需要将对数域的深度预测值转换为一般数域下的深度值，以用于后续的处理流程。
第四步、如图3所示，将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数；球谐函数由一组带系数的正交基底函数组成，可以用来表示复杂的光源信息。
本实施例在光照估计的过程中，采用球谐函数作为光照条件的表示方式，利用球谐函数可以将各个方向上复杂光照条件简化为几个系数。光照估计的具体步骤如下：
S41、将RGB图像转换到CIELab颜色空间下，以便取得亮度信息。
S42、选用带阴影的漫反射光照模型，物体上x点的渲染结果L为：
其中，Li(x,ωi)为ωi方向上的入射光，V为可见性函数，N为x点法线，V、N都可以通过深度信息运算得出，为x点简化的BRDF系数。
漫反射光照模型中的辐射传输项为：
RDS＝V(ωi)max(Nx·ωi,0)
漫反射光照模型中，除了辐射传输项之外，其余部分为光照项。
S43、把辐射传输项投影成球谐系数：
xj为球谐函数采样点，N为采样点数目，Y为球谐函数基底。
S44、利用球谐函数的正交性，将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式，物体上x点的光照结果如下：
其中，c为对应的球谐函数系数，k为球谐函数所用的频带数，I不包含BRDF项，I(x)可以通过亮度获得，可以从深度信息中获得。
S45、从Z个采样点中求解以下超定方程组Ay＝b，即可获得光源的球谐函数的系数 A是Z个采样点对应的球谐系数矩阵，每个采样点都有k2个辐射传输的球谐系数。其中，采样点亮度过低或者在模板M(光照估计预处理过程中产生)中被标记为不可做深度参考的采样点，则视为无效采样点，需要重新选择采样点，直到采样点数目达Z个。
为了提高移动设备的实时性，对漫反射光照模型部分做了以下简化：
假设真实场景的物体表面为Lambert朗伯材质，即理想的漫反射材质。这样其BRDF系数才可以用来表示。
第五步、最后利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体。
渲染虚拟物体的步骤，具体如下：
S51、通过球谐基底函数与对应的系数相乘得到重现的光照：
其中，c对应了上一步估计得到的光照项的球谐函数系数。
S52、最终的渲染结果：
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于单目摄像机的光照估计方法，其特征在于，包括以下步骤：
第一步、单目摄像机采集RGB图像，作为深度估计的输入；
第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；
第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；
第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。
2.根据权利要求1所述的光照估计方法，其特征在于，第二步所述卷积神经网络包括网络前端的卷积层和全连接层，深度估计的具体步骤如下：
S21、网络前端的卷积层用于提取图像中不同种类的特征信息，全连接层用于包含整张图像的视野，并输出深度预测值；
S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：
其中：
通过对比输出像素点i、j的关系来表示误差，并令di＝logyi-logy*为像素点i预测值和真实值的差别，有以下等价定义：
损失函数：
S24、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。
3.根据权利要求2所述的光照估计方法，其特征在于，卷积神经网络中，每个卷积层的后面还增加池化层。
4.根据权利要求1所述的光照估计方法，其特征在于，第三步包括如下步骤：
S31、沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M；
S32、对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致；
S33、将深度估计处理过程中产生的及所输出的对数域的深度预测值，转换为一般数域下的深度值。
5.根据权利要求4所述的光照估计方法，其特征在于，第四步的光照估计，具体步骤如下：
S41、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，取得亮度通道信息；
S42、选用带阴影的漫反射光照模型，物体上x点的渲染结果L为：
其中，Li(x,ωi)为ωi方向上的入射光，V为可见性函数，N为x点法线，V、N通过深度信息运算得出，为x点简化的BRDF系数；
漫反射光照模型中的辐射传输项为：
RDS＝V(ωi)max(Nx·ωi,0)
S43、把辐射传输项投影成球谐系数：
xj为球谐函数采样点，N为采样点数目，Y为球谐函数基底；
S44、利用球谐函数的正交性，将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式，物体上x点的光照结果如下：
其中，c为对应的球谐函数系数，k为球谐函数所用的频带数，I不包含BRDF项，I(x)通过亮度获得，从深度信息中获得；
S45、从Z个采样点中求解以下超定方程组Ay＝b，获得光源的球谐函数的系数A是Z个采样点对应的球谐系数矩阵，每个采样点都有k2个辐射传输的球谐系数；其中，采样点亮度过低或者在模板图像M中被标记为不可做深度参考的采样点，则视为无效采样点，需要重新选择采样点，直到采样点数目达Z个。
6.根据权利要求1所述的光照估计方法，其特征在于，所述光照估计方法还包括以下步骤：第五步、利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体。
7.根据权利要求4所述的光照估计方法，其特征在于，所述光照估计方法还包括以下步骤：第五步、利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体；
渲染虚拟物体包括如下步骤：
S51、通过球谐基底函数与对应的系数相乘得到重现的光照：
其中，漫反射光照模型中，除了辐射传输项之外，其余部分为光照项；c对应了上一步估计得到的光照项的球谐函数系数；
S52、最终的渲染结果：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811197312.0A CN109523617B (zh) | 2018-10-15 | 2018-10-15 | 一种基于单目摄像机的光照估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811197312.0A CN109523617B (zh) | 2018-10-15 | 2018-10-15 | 一种基于单目摄像机的光照估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109523617A true CN109523617A (zh) | 2019-03-26 |
| CN109523617B CN109523617B (zh) | 2022-10-18 |
Family
ID=65772699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811197312.0A Active CN109523617B (zh) | 2018-10-15 | 2018-10-15 | 一种基于单目摄像机的光照估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523617B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977876A (zh) * | 2019-03-28 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算设备、系统和存储介质 |
| CN110033423A (zh) * | 2019-04-16 | 2019-07-19 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN110310224A (zh) * | 2019-07-04 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 光效渲染方法及装置 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| CN111652963A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于神经网络的增强现实绘制方法 |
| CN111915533A (zh) * | 2020-08-10 | 2020-11-10 | 上海金桥信息股份有限公司 | 一种基于低动态范围的高精图像信息提取方法 |
| CN112116693A (zh) * | 2020-08-20 | 2020-12-22 | 中山大学 | 一种基于cpu的生物分子可视化光线追踪渲染方法 |
| CN112489101A (zh) * | 2020-11-04 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 基于球谐函数的场景信息的表达方法、装置、设备和介质 |
| CN112967201A (zh) * | 2021-03-05 | 2021-06-15 | 厦门美图之家科技有限公司 | 图像光照调节方法、装置、电子设备及存储介质 |
| US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
| CN113096228A (zh) * | 2021-06-09 | 2021-07-09 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及系统 |
| CN113537194A (zh) * | 2021-07-15 | 2021-10-22 | Oppo广东移动通信有限公司 | 光照估计方法、光照估计装置、存储介质与电子设备 |
| CN113658318A (zh) * | 2020-04-28 | 2021-11-16 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、训练数据生成方法和电子设备 |
| CN114529506A (zh) * | 2021-12-31 | 2022-05-24 | 厦门阳光恩耐照明有限公司 | 一种基于机器学习的灯光监测方法和监测系统 |
| CN115063565A (zh) * | 2022-08-08 | 2022-09-16 | 荣耀终端有限公司 | 一种可穿戴物品的试戴方法、装置及电子设备 |
| CN115296761A (zh) * | 2022-10-10 | 2022-11-04 | 香港中文大学（深圳） | 一种基于电磁传播模型的信道预测方法 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN117745924A (zh) * | 2024-02-19 | 2024-03-22 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、系统及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102082954A (zh) * | 2009-11-27 | 2011-06-01 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN106599805A (zh) * | 2016-12-01 | 2017-04-26 | 华中科技大学 | 一种基于有监督数据驱动的单目视频深度估计方法 |
| CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
| CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
| CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| CN107808140A (zh) * | 2017-11-07 | 2018-03-16 | 浙江大学 | 一种基于图像融合的单目视觉道路识别算法 |
| CN108416805A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于深度学习的本征图像分解方法及装置 |
| CN108447094A (zh) * | 2018-03-20 | 2018-08-24 | 清华大学 | 一种单目彩色相机的姿态估算方法及系统 |
-
2018
- 2018-10-15 CN CN201811197312.0A patent/CN109523617B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102082954A (zh) * | 2009-11-27 | 2011-06-01 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN106599805A (zh) * | 2016-12-01 | 2017-04-26 | 华中科技大学 | 一种基于有监督数据驱动的单目视频深度估计方法 |
| CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
| CN107204010A (zh) * | 2017-04-28 | 2017-09-26 | 中国科学院计算技术研究所 | 一种单目图像深度估计方法与系统 |
| CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
| CN107767413A (zh) * | 2017-09-20 | 2018-03-06 | 华南理工大学 | 一种基于卷积神经网络的图像深度估计方法 |
| CN107808140A (zh) * | 2017-11-07 | 2018-03-16 | 浙江大学 | 一种基于图像融合的单目视觉道路识别算法 |
| CN108416805A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于深度学习的本征图像分解方法及装置 |
| CN108447094A (zh) * | 2018-03-20 | 2018-08-24 | 清华大学 | 一种单目彩色相机的姿态估算方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡衡: "基于单目视觉的SLAM方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977876A (zh) * | 2019-03-28 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算设备、系统和存储介质 |
| CN110033423A (zh) * | 2019-04-16 | 2019-07-19 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| CN110310224A (zh) * | 2019-07-04 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 光效渲染方法及装置 |
| US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
| CN111105347A (zh) * | 2019-11-19 | 2020-05-05 | 贝壳技术有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| US11721006B2 (en) | 2019-11-19 | 2023-08-08 | Realsee (Beijing) Technology Co., Ltd. | Method and device for generating virtual reality data |
| CN111105347B (zh) * | 2019-11-19 | 2020-11-13 | 贝壳找房(北京)科技有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN110910486B (zh) * | 2019-11-28 | 2021-11-19 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN113658318A (zh) * | 2020-04-28 | 2021-11-16 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、训练数据生成方法和电子设备 |
| CN111652963A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于神经网络的增强现实绘制方法 |
| CN111652963B (zh) * | 2020-05-07 | 2023-05-02 | 浙江大学 | 一种基于神经网络的增强现实绘制方法 |
| CN111915533A (zh) * | 2020-08-10 | 2020-11-10 | 上海金桥信息股份有限公司 | 一种基于低动态范围的高精图像信息提取方法 |
| CN111915533B (zh) * | 2020-08-10 | 2023-12-01 | 上海金桥信息股份有限公司 | 一种基于低动态范围的高精图像信息提取方法 |
| CN112116693A (zh) * | 2020-08-20 | 2020-12-22 | 中山大学 | 一种基于cpu的生物分子可视化光线追踪渲染方法 |
| CN112116693B (zh) * | 2020-08-20 | 2023-09-15 | 中山大学 | 一种基于cpu的生物分子可视化光线追踪渲染方法 |
| CN112489101A (zh) * | 2020-11-04 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 基于球谐函数的场景信息的表达方法、装置、设备和介质 |
| CN112967201A (zh) * | 2021-03-05 | 2021-06-15 | 厦门美图之家科技有限公司 | 图像光照调节方法、装置、电子设备及存储介质 |
| CN112967201B (zh) * | 2021-03-05 | 2024-06-25 | 厦门美图之家科技有限公司 | 图像光照调节方法、装置、电子设备及存储介质 |
| CN113096228A (zh) * | 2021-06-09 | 2021-07-09 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及系统 |
| CN113096228B (zh) * | 2021-06-09 | 2021-08-31 | 上海影创信息科技有限公司 | 基于神经网络的实时光照估计与渲染方法及系统 |
| CN113537194A (zh) * | 2021-07-15 | 2021-10-22 | Oppo广东移动通信有限公司 | 光照估计方法、光照估计装置、存储介质与电子设备 |
| CN114529506A (zh) * | 2021-12-31 | 2022-05-24 | 厦门阳光恩耐照明有限公司 | 一种基于机器学习的灯光监测方法和监测系统 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115375827B (zh) * | 2022-07-21 | 2023-09-15 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115063565A (zh) * | 2022-08-08 | 2022-09-16 | 荣耀终端有限公司 | 一种可穿戴物品的试戴方法、装置及电子设备 |
| CN115296761B (zh) * | 2022-10-10 | 2022-12-02 | 香港中文大学（深圳） | 一种基于电磁传播模型的信道预测方法 |
| CN115296761A (zh) * | 2022-10-10 | 2022-11-04 | 香港中文大学（深圳） | 一种基于电磁传播模型的信道预测方法 |
| CN117745924A (zh) * | 2024-02-19 | 2024-03-22 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、系统及设备 |
| CN117745924B (zh) * | 2024-02-19 | 2024-05-14 | 北京渲光科技有限公司 | 基于深度无偏估计的神经渲染方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109523617B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523617A (zh) | 一种基于单目摄像机的光照估计方法 | |
| KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN100515042C (zh) | 多曝光图像增强方法 | |
| CN110197229A (zh) | 图像处理模型的训练方法、装置及存储介质 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN109658352A (zh) | 图像信息的优化方法及装置、电子设备和存储介质 | |
| CN111626951B (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN110097106A (zh) | 基于深度学习的U-net网络的低照度成像算法及装置 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN115656189B (zh) | 基于光度立体与深度学习算法的缺陷检测方法及装置 | |
| CN110084873B (zh) | 用于渲染三维模型的方法和装置 | |
| CA3199390A1 (en) | Systems and methods for rendering virtual objects using editable light-source parameter estimation | |
| CN116994162A (zh) | 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 | |
| CN112270759A (zh) | 基于图像的光效处理方法、装置、设备及存储介质 | |
| CN117649478B (zh) | 模型训练方法、图像处理方法及电子设备 | |
| CN117173343B (zh) | 一种基于神经辐射场的重新照明方法及系统 | |
| CN110827375A (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN117082359B (zh) | 图像处理方法及相关设备 | |
| US11830204B2 (en) | Systems and methods for performing motion transfer using a learning model | |
| CN117952883A (zh) | 一种基于双边网格和显著性引导的逆光图像增强方法 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN115620264B (zh) | 车辆定位方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |