CN106981080A - 基于红外图像和雷达数据的夜间无人车场景深度估计方法 - Google Patents

基于红外图像和雷达数据的夜间无人车场景深度估计方法 Download PDF

Info

Publication number
CN106981080A
CN106981080A CN201710106002.2A CN201710106002A CN106981080A CN 106981080 A CN106981080 A CN 106981080A CN 201710106002 A CN201710106002 A CN 201710106002A CN 106981080 A CN106981080 A CN 106981080A
Authority
CN
China
Prior art keywords
depth
image
radar data
deconvolution
characteristic pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710106002.2A
Other languages
English (en)
Inventor
姚广顺
孙韶媛
叶国林
高凯珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201710106002.2A priority Critical patent/CN106981080A/zh
Publication of CN106981080A publication Critical patent/CN106981080A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，首先构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；然后构建深度卷积‑反卷积神经网络，利用夜视图像数据集训练深度卷积‑反卷积神经网络；再实时获取待处理的图像，将待处理的图像输入深度卷积‑反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；最后将概率图，采取反log变换得到每个像素点的估计深度。试验证明，本发明提供的方法能够有效估计夜间场景的深度，保证估计的正确性和实时性。

Description

基于红外图像和雷达数据的夜间无人车场景深度估计方法
技术领域
本发明涉及一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，通过本方法可对红外图像中的场景的空间位置信息进行估计。
背景技术
图像的深度估计指的是从图像中获取深度距离信息，从本质上讲是一个深度感知的问题。从场景的一幅和多幅图像中恢复场景的三维深度信息是机器视觉领域的一个基本研究课题，在机器人运动控制、场景理解、场景重建等领域具有重要的应用。
深度估计技术主要有针对双目深度线索和基于图像序列的深度估计展开的方法，这两种方法都依赖于图像间的特征差异。对于单目图像深度估计，在早期的研究中比较经典的是由“阴影恢复形状(shape from shading)”，该算法以空间几何知识为基础，依据图像的阴影恢复物体的深度信息。之后，研究者逐渐发现经验的重要性，开始利用机器学习的方法去解决这一问题。斯坦福大学AndrewNg的团队通过利用马尔科夫场训练的模型对单幅图像进行深度估计，达到了很好的效果。之后，在此基础上，Liu Fayao等(F.Liu，C.Shen，and G.Lin.Deep convolutional neural fields for depth estimation from a singleimage.in Proc.IEEE Conf.Computer Vision and Pattern Recognition，2015.)引入条件随机场(Conditional Random Field，CRF)和深度卷积神经网络(Deep ConvolutionalNeural Networks，DNN)技术，经过深度网络学习，不需要任何先验知识和信息，即可完成通用场景的深度估计。
夜视图像深度估计的困难在于：夜视图像完全不同于可见光图像，它无色彩，只有单通道的灰度值，信噪比低且缺乏深度感。因此夜视图像深度估计难度极大。
目前，国内外对于夜视图像的深度估计研究还不够深入，尚无较好的解决方法。席林等(Xi Lin，Sun Shaoyuan，Li Linna，et al.Depth estimation from monocularinfrared images based on SVM model[J].laser&Infrared，2012，42(11)：1311-1315.)首先尝试结合逐步线性回归和独立成分分析(ICA)方法寻找与红外图像深度相关性较强的特征，然后以具有核函数的非线性支持向量机模型(SVM)为基础，采用监督学习方法对红外图像深度信息进行回归分析并训练。利用该模型能较为一致地估计单目红外图像的简单深度信息，该方法的缺点是计算速度较慢。沈振一等(沈振一，孙韶媛，赵海涛.基于PP-MRF模型的单目车载红外图像三维重建[J].东华大学学报(自然科学版)，2015(03)：341-347.)继续深入，提出了一种将超像素分割和面板参数马尔科夫随机场(PP-MRF)相结合的单目车载红外图像深度估计方法。该方法首先通过超像素分割得到红外图像中纹理和亮度较为接近的一系列小区域，即超像素；然后训练PP-MRF模型，建立超像素面板参数与其对应深度之间的非线性关系，从而实现估计给定超像素深度信息，该方法的缺点是需要人工选取特征，无法挖掘图像深层特征信息。
发明内容
本发明要解决的技术问题是如何实现夜视图像的深度估计，从而较为准确地估计红外图像的深度信息。
为了解决上述技术问题，本发明的技术方案是提供一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于，包括如下步骤：
步骤1：构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；
步骤2：构建深度卷积-反卷积神经网络，利用夜视图像数据集训练深度卷积-反卷积神经网络；深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始样本图像的特征，从而得到特征图；反卷积网络的作用将特征图映射到雷达数据矩阵的大小；
步骤3：实时获取待处理的图像，将待处理的图像输入步骤2训练后的深度卷积-反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；
步骤4：将步骤3得到的概率图，采取反log变换得到每个像素点的估计深度。
优选地，所述步骤1中，构建夜视图像数据集时，由于雷达数据存在缺省值，根据缺省值周围的距离进行缺省值的填充；根据所述距离的远近，将雷达数据映射到log空间，并分类。
优选地，所述步骤2中，深度卷积神经网络为一系列的卷积、激励和池化的过程，其中，卷积采用去掉全连接层的VGG16，池化采用最大值-池化。
优选地，所述步骤3中，采用Softmax分类器确定特征图中每个像素点所属类别。
本发明提供了一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，无需手工选取特征，通过端到端，像素到像素的训练，直接预测像素的真实距离值，从而实现夜间场景的深度估计，保证估计的正确性和实时性。
本发明提供的方法采用分类的思想，无需通过复杂的计算量，就可以保证深度估计的准确性，同时使用深度学习，无需手工选取特征，即可充分挖掘夜视图像中蕴含的丰富信息，提取出重要的深度信息。
附图说明
图1为红外图像和雷达数据的夜间无人车场景深度估计流程图；
图2为深度卷积-反卷积神经网络结构图；
图3为本实施例的夜视场景深度估计实验结果示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
图1所示为于红外图像和雷达数据的夜间无人车场景深度估计流程图，基于红外图像和雷达数据的夜间无人车场景深度估计的方法，首先需要对雷达数据进行缺省值处理，然后进行分类操作，得到夜视图像对应的深度类别。然后构建深度卷积-反卷积神经网络，将训练图像和对应的深度图放入构建的网络中进行迭代学习，得到网络的模型参数。接着输入测试图像，深度卷积-反卷积神经网络会根据前面训练得到的模型参数对测试图像进行深度估计，经过反log变换最终得到夜视图像中每个像素所对应的深度距离。其具体步骤如下：
步骤1：构建夜视图像数据集。采用实验室的车载红外热像仪和雷达自行采集的实验数据，通过对缺省值的处理以及对雷达数据的分类得到最终标签图，标签图的标记和原图的像素一一对应，一共有21类。数据集包含训练图片1000张，测试图片137张，图片尺寸为120×360。
步骤2：构建深度卷积-反卷积神经网络，利用步骤1得到的夜视图像数据集训练该深度卷积-反卷积神经网络，其中：深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始图像的特征，从而得到特征图，反卷积网络的作用将特征图映射到原始雷达数据矩阵的大小。
图2为深度卷积-反卷积神经网络结构图，深度卷积-反卷积神经网络主要包含两个部分：卷积网络和反卷积网络。卷积网络表示特征提取的过程，将输入的夜视图像转换成多维特征表示，而反卷积网络则表示形状生成的过程，将卷积网络中提取的特征生成原深度数据一样大小的特征图，网络最后一层表示Softmax层，能够输出夜视图像深度估计的概率图。图2中，a表示下采样层，b表示上采样层，c表示卷积激活层，d表示Softmax层。
本发明的算法采用的是基于VGG-16网络结构的基础得到的网络，这个深度学习网络结构采用了卷积层和反卷积层相结合的思想，特征由卷积层经过卷积进行提取，雷达数据通过反卷积映射得到。
卷积神经网络由一系列的卷积、激励和池化组成。本质上讲，卷积层的作用是局部特征提取，池化层的目的是把相似的特征结合起来。采用去掉全连接层的VGG16作为卷积网络，因此，本发明的卷积网络具有13个卷积层。假设深度卷积神经网络f，参数为θ，则f的数学表达式为：
f(X；θ)＝WLHL-1
其中，Hl为l层隐层单元的输出，bl为l层的偏差值，Wl为l层的权值，且bl和Wl组成可训练的参数θ，pool()表示池化操作，relu()表示激励操作，L为不小于1的整数。池化操作将小邻域内的特征点整合得到新特征，使得特征减少，参数减少，且池化单元具有平移不变性。池化的方法主要包括平均-池化和最大值-池化，本发明主要采用最大值-池化操作。
池化操作保留了上层特征图中的最大值，同时丢失了感知域中的空间信息，然而像素级场景深度对位置的精确度要求极高，为了解决这个问题，本发明采用反卷积网络进行反池化和反卷积操作，能够得到每个像素点特征描述子。本发明在反卷积网络中加入反池化层，模拟池化的逆过程，在池化过程中将最大激励值的坐标位置记录下来，在反池化时把池化过程中最大激励值的坐标位置的值(像素)还原，而其他位置则采用补0的方法。池化时记录像素点坐标，反池化时还原像素的位置。经过反池化操作的特征图扩大了2倍，但是得到的特征图是稀疏的，需要对特征图进行加密，因此引入了反卷积层。本发明的反卷积网络具有13个反卷积层。卷积操作将卷积核内的多个激励值连接得到一个激励值，而反卷积则是将一个激励值输出为多个激励值。同样地，反卷积操作也使用多个可学习的卷积核，并且反卷积网络和卷积网络是对称的结构，也能够获取不同层次的特征信息，较低的卷积层能够得到大致的全局信息。本发明的深度卷积-反卷积神经网络的详细配置如下表所示。
步骤4：实时获取待处理的大小为120×360×1的图像，将图像输入深度卷积-反卷积神经网络后，得到大小为120×360×64的特征图。具体如下：
步骤4.1：输入一幅120×360×1的夜视图像，通过卷积核大小为3×3的Convl-1和Conv1-2卷积层，再经过池化层pool1，输出为60×180×64的特征图；
步骤4.2：将步骤4.1中得到的特征图通过卷积核大小为3×3的Conv2-1和Conv2-2卷积层，再经过池化层pool2，输出为30×90×128的特征图；
步骤4.3：将步骤4.2中得到的特征图通过卷积核大小为3×3的Conv3-1、Conv3-2和Conv3-3卷积层，再经过池化层pool3，输出为15×45×256的特征图；
步骤4.4：将步骤4.3中得到的特征图通过卷积核大小为3×3的Conv4-1、Conv4-2和Conv4-3卷积层，再经过池化层pool4，输出为8×23×512的特征图；
步骤4.5：将步骤4.4中得到的特征图通过卷积核大小为3×3的Conv5-1、Conv5-2和Conv5-3卷积层，再经过池化层pool5，输出为4×12×512的特征图。完成卷积层的操作，实现特征提取；
步骤4.6：将步骤4.5中得到的特征图经过反池化层unpool5，再通过卷积核大小为3×3的Deconv5-1、Deconv5-2和Deconv5-3反卷积层，输出为8×23×256的特征图；
步骤4.7：将步骤4.6中得到的特征图经过反池化层unpool4，再通过卷积核大小为3×3的Deconv4-1、Deconv4-2和Deconv4-3反卷积层，输出为30×90×128的特征图；
步骤4.8：将步骤4.7中得到的特征图经过反池化层unpool3，再通过卷积核大小为3×3的Deconv3-1、Deconv3-2和Deconv3-3反卷积层，输出为60×180×64的特征图；
步骤4.9：将步骤4.8中得到的特征图经过反池化层unpool2，再通过卷积核大小为3×3的Deconv2-1和Deconv2-2反卷积层，输出为120×360×128的特征图；
步骤4.10：将步骤4.9中得到的特征图经过反池化层unpool1，再通过卷积核大小为3×3的Deconv1-1和Deconv1-2反卷积层，输出为120×360×64的特征图。完成反卷积操作，得到和原图尺寸一样的特征图；
步骤5：确定像素点所属类别。多分类问题主要采用Softmax函数确定像素点所属类别。详细步骤如下：
(1)假设现在有一个分k类的任务，本发明主要涉及到21个不同的类别，即k＝21。
其中，w为可训练的参数，表示预测像素点i属于a类别的概率，Fi表示样本，wb，表示模型参数。
(2)利用训练集T来训练Softmax分类器的目标就是找到适当的参数，使得Softmax分类器的某种损失函数达到最小值，一般采用的损失函数如下式：
其中，ci，a表示实际上像素点i属于a类别的概率，表示预测像素点i属于a类别的概率，k表示类别数，pixels表示所有的像素点，L表示损失值。而若雷达数据在像素点i被标记为a类，则ci，a＝1，否则为0。
(4)最后整个卷积网络的输出大小为h×w×k的概率图，h×w为原图像尺寸大小，k为类别数量，表示每个像素点属于预定义类别的概率，本发明的输出为120×360×21。从而确定每个像素点所属类别，识别结果如图3所示。图3中，第一行为测试图像，第二行为真实深度图像，第三行为本实施例的深度卷积-反卷积神经网络估计结果图。由图3可见，本实施例构建的深度卷积-反卷积神经网络对夜视图像场景深度估计有着很好的效果。

Claims (4)

1.一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于，包括如下步骤：
步骤1：构建夜视图像数据集，夜视图像数据集中包括原始样本图像及对原始样本图像进行预分类后的雷达数据，将原始样本图像和雷达数据写入对应的文本文件中；
步骤2：构建深度卷积-反卷积神经网络，利用夜视图像数据集训练深度卷积-反卷积神经网络；深度卷积-反卷积神经网络包括深度卷积神经网络及反卷积网络，深度卷积神经网络的作用是通过一系列的卷积、激励和池化的过程提取原始样本图像的特征，从而得到特征图；反卷积网络的作用将特征图映射到雷达数据矩阵的大小；
步骤3：实时获取待处理的图像，将待处理的图像输入步骤2训练后的深度卷积-反卷积神经网络，通过深度卷积神经网络得到特征图，将特征图输入反卷积网络得到特征图中每个像素点所属类别，输出概率图；
步骤4：将步骤3得到的概率图，采取反log变换得到每个像素点的估计深度。
2.如权利要求1所述的一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于：所述步骤1中，构建夜视图像数据集时，由于雷达数据存在缺省值，根据缺省值周围的距离进行缺省值的填充；根据所述距离的远近，将雷达数据映射到log空间，并分类。
3.如权利要求1所述的一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于：所述步骤2中，深度卷积神经网络为一系列的卷积、激励和池化的过程，其中，卷积采用去掉全连接层的VGG16，池化采用最大值-池化。
4.如权利要求1所述的一种基于红外图像和雷达数据的夜间无人车场景深度估计方法，其特征在于：所述步骤3中，采用Softmax分类器确定特征图中每个像素点所属类别。
CN201710106002.2A 2017-02-24 2017-02-24 基于红外图像和雷达数据的夜间无人车场景深度估计方法 Pending CN106981080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710106002.2A CN106981080A (zh) 2017-02-24 2017-02-24 基于红外图像和雷达数据的夜间无人车场景深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710106002.2A CN106981080A (zh) 2017-02-24 2017-02-24 基于红外图像和雷达数据的夜间无人车场景深度估计方法

Publications (1)

Publication Number Publication Date
CN106981080A true CN106981080A (zh) 2017-07-25

Family

ID=59339782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710106002.2A Pending CN106981080A (zh) 2017-02-24 2017-02-24 基于红外图像和雷达数据的夜间无人车场景深度估计方法

Country Status (1)

Country Link
CN (1) CN106981080A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN108876833A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN109344818A (zh) * 2018-09-28 2019-02-15 合肥工业大学 一种基于深度卷积网络的光场显著目标检测方法
CN109917419A (zh) * 2019-04-12 2019-06-21 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110348411A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置和设备
CN110472667A (zh) * 2019-07-19 2019-11-19 广东工业大学 基于反卷积神经网络的小目标分类方法
WO2020000390A1 (en) * 2018-06-29 2020-01-02 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
CN110969651A (zh) * 2018-09-29 2020-04-07 Tcl集团股份有限公司 3d景深估计方法、装置及终端设备
CN110998596A (zh) * 2017-09-28 2020-04-10 苹果公司 夜间感测
CN111007496A (zh) * 2019-11-28 2020-04-14 成都微址通信技术有限公司 基于神经网络关联雷达的穿墙透视方法
CN111091593A (zh) * 2018-10-24 2020-05-01 深圳云天励飞技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111830953A (zh) * 2019-04-12 2020-10-27 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
WO2020224244A1 (zh) * 2019-05-07 2020-11-12 深圳云天励飞技术有限公司 一种景深图获取方法及装置
CN112750155A (zh) * 2021-01-15 2021-05-04 福州大学 基于卷积神经网络的全景深度估计方法
CN113222033A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于多分类回归模型与自注意力机制的单目图像估计方法
US20220029305A1 (en) * 2017-12-02 2022-01-27 Metawave Corporation Method and apparatus for object detection with integrated environmental information
US11481916B2 (en) 2019-12-12 2022-10-25 Motorola Solutions, Inc. Method, system and computer program product for emulating depth data of a three-dimensional camera device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN106408015A (zh) * 2016-09-13 2017-02-15 电子科技大学成都研究院 基于卷积神经网络的岔路口识别及深度估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN106408015A (zh) * 2016-09-13 2017-02-15 电子科技大学成都研究院 基于卷积神经网络的岔路口识别及深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIJAY BADRINARAYANAN ET AL.: "SegNet:A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767413B (zh) * 2017-09-20 2020-02-18 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN110998596A (zh) * 2017-09-28 2020-04-10 苹果公司 夜间感测
CN110998596B (zh) * 2017-09-28 2023-11-07 苹果公司 夜间感测
US20220029305A1 (en) * 2017-12-02 2022-01-27 Metawave Corporation Method and apparatus for object detection with integrated environmental information
CN108062569B (zh) * 2017-12-21 2020-10-27 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108227707B (zh) * 2017-12-25 2021-11-26 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN108520535B (zh) * 2018-03-26 2022-02-15 天津大学 基于深度恢复信息的物体分类方法
US10896518B2 (en) 2018-03-29 2021-01-19 Beijing Kuangshi Technology Co., Ltd. Image processing method, image processing apparatus and computer readable storage medium
CN108876833A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN111066063A (zh) * 2018-06-29 2020-04-24 百度时代网络技术（北京）有限公司 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法
WO2020000390A1 (en) * 2018-06-29 2020-01-02 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
US11361456B2 (en) 2018-06-29 2022-06-14 Baidu Usa Llc Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
CN111066063B (zh) * 2018-06-29 2023-07-21 百度时代网络技术（北京）有限公司 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法
CN109344818A (zh) * 2018-09-28 2019-02-15 合肥工业大学 一种基于深度卷积网络的光场显著目标检测方法
CN110969651A (zh) * 2018-09-29 2020-04-07 Tcl集团股份有限公司 3d景深估计方法、装置及终端设备
CN111091593A (zh) * 2018-10-24 2020-05-01 深圳云天励飞技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111091593B (zh) * 2018-10-24 2024-03-22 深圳云天励飞技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111830953A (zh) * 2019-04-12 2020-10-27 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
CN109917419A (zh) * 2019-04-12 2019-06-21 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN109917419B (zh) * 2019-04-12 2021-04-13 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN111830953B (zh) * 2019-04-12 2024-03-12 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
WO2020224244A1 (zh) * 2019-05-07 2020-11-12 深圳云天励飞技术有限公司 一种景深图获取方法及装置
CN110059772B (zh) * 2019-05-14 2021-04-30 温州大学 基于多尺度解码网络的遥感图像语义分割方法
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110348411A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置和设备
CN110348411B (zh) * 2019-07-16 2024-05-03 腾讯科技（深圳）有限公司 一种图像处理方法、装置和设备
CN110472667B (zh) * 2019-07-19 2024-01-09 广东工业大学 基于反卷积神经网络的小目标分类方法
CN110472667A (zh) * 2019-07-19 2019-11-19 广东工业大学 基于反卷积神经网络的小目标分类方法
CN111007496B (zh) * 2019-11-28 2022-11-04 成都微址通信技术有限公司 基于神经网络关联雷达的穿墙透视方法
CN111007496A (zh) * 2019-11-28 2020-04-14 成都微址通信技术有限公司 基于神经网络关联雷达的穿墙透视方法
US11481916B2 (en) 2019-12-12 2022-10-25 Motorola Solutions, Inc. Method, system and computer program product for emulating depth data of a three-dimensional camera device
CN112750155B (zh) * 2021-01-15 2022-07-01 福州大学 基于卷积神经网络的全景深度估计方法
CN112750155A (zh) * 2021-01-15 2021-05-04 福州大学 基于卷积神经网络的全景深度估计方法
CN113222033A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于多分类回归模型与自注意力机制的单目图像估计方法

Similar Documents

Publication Publication Date Title
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107358576A (zh) 基于卷积神经网络的深度图超分辨率重建方法
CN107154023A (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107204025B (zh) 基于视觉感知的自适应服装动画建模方法
CN107833183A (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN110570522B (zh) 一种多视图三维重建方法
CN104835130A (zh) 一种多曝光图像融合方法
CN106067161A (zh) 一种对图像进行超分辨的方法
CN110047101A (zh) 物体姿态估计方法、获得稠密深度图像的方法、相应装置
CN111625608A (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN107944459A (zh) 一种rgb‑d物体识别方法
CN107481313A (zh) 一种基于学习有效点云生成的密集三维物体重建方法
CN103049891B (zh) 基于自适应窗口选择的视频图像去模糊方法
CN104835196B (zh) 一种车载红外图像彩色化三维重建方法
US20230281913A1 (en) Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN116664782B (zh) 一种基于融合体素的神经辐射场三维重建方法
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN109345604A (zh) 图片处理方法、计算机设备和存储介质
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN109447897A (zh) 一种真实场景图像合成方法及系统
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
Liao et al. Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170725

WD01 Invention patent application deemed withdrawn after publication