CN111105347A - 一种生成带深度信息的全景图的方法、装置及存储介质 - Google Patents

一种生成带深度信息的全景图的方法、装置及存储介质 Download PDF

Info

Publication number
CN111105347A
CN111105347A CN201911133455.XA CN201911133455A CN111105347A CN 111105347 A CN111105347 A CN 111105347A CN 201911133455 A CN201911133455 A CN 201911133455A CN 111105347 A CN111105347 A CN 111105347A
Authority
CN
China
Prior art keywords
image
depth information
depth
layer
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911133455.XA
Other languages
English (en)
Other versions
CN111105347B (zh
Inventor
施文博
顾晓东
潘慈辉
刘程林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN201911133455.XA priority Critical patent/CN111105347B/zh
Publication of CN111105347A publication Critical patent/CN111105347A/zh
Priority to US17/033,129 priority patent/US11055835B2/en
Priority to PCT/CN2020/128079 priority patent/WO2021098567A1/zh
Priority to JP2022554963A priority patent/JP7484055B2/ja
Application granted granted Critical
Publication of CN111105347B publication Critical patent/CN111105347B/zh
Priority to US17/338,008 priority patent/US11721006B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种生成带深度信息的全景图的方法和装置，该方法包括：获取当前场景的基于球面投影的二维图像；将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；从所述中间图像的水平方向上的中间位置截取出与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。本发明能够降低成本，并且因为是针对多份二维图像拼接成的中间图像进行的深度信息确定，使得二维图像的首尾相接部分不存在信息缺失，可以使确定的深度信息结果更加准确。

Description

一种生成带深度信息的全景图的方法、装置及存储介质
技术领域
本发明涉及三维模型重建技术领域，特别涉及一种生成带深度信息的全景图的方法、装置及存储介质。
背景技术
三维模型重建在工业检测、质量控制和机器视觉等领域中占有很重要的地位。在室内外场景三维重建领域中，需要深度数据形成点云从而建模，并且同时根据点云的距离信息，把传感器得到的不同位置的点云拼接起来。但是三维重建的深度数据的获取，通常需要结构光、基于时间飞行(Time Of Flight)原理的激光等等高成本专用深度传感器，由于其造价昂贵，在大规模的工业实用中，成本过高。
发明内容
有鉴于此，本发明的目的在于提供一种生成带深度信息的全景图的方法、装置及存储介质，能够降低成本。
为了达到上述目的，本发明提供了如下技术方案：
一种生成带深度信息的全景图的方法，包括：
获取当前场景的基于球面投影的二维图像；
将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；
利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；
从所述中间图像的水平方向上的中间位置截取出与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
可选地，
训练所述用于预测图像深度的神经网络模型的方法为：
将预训练好的卷积神经网络作为初始骨架网络，依据U-Net网络结构对所述初始网络骨架进行结构调整；
基于调整后的所述初始网络骨架对多个带有深度信息的彩色三位图像进行训练，生成所述用于预测图像深度的神经网络模型。
可选地，
所述预训练好的卷积神经网络为在ImageNet上预训练好的DenseNet169；
所述依据U-Net网络结构对所述初始网络骨架进行结构上的调整，包括：
删除在ImageNet上预训练好的DenseNet169的全连接层；
基于U-Net网络结构，在删除了全连接层后的DenseNet169的最后一层之后添加4个上采样层，并为每个上采样层设置对应的叠加层；其中，每个上采样层的输入通道数为输出通道数的2倍；且在添加的每个上采样层中，将该上采样层的输入信息做两倍分辨率的上采样，并将上采样结果与该上采样层对应的叠加层输出数据进行叠加，对叠加结果连续执行两次卷积运算，使用预设激活函数对卷积运算结果进行线性修正；
将最后一个上采样层的输出进行一次用于输出深度信息的卷积运算和一次用于输出自信度信息的卷积运算。
可选地，
在删除了全连接层后的DenseNet169的最后一层之后添加4层上采样层中，按照添加的上采样层从最前一层到最后一层的顺序，依次对应的叠加层为pool3_pool、pool2_pool、pool1、conv1/relu。
可选地，
基于调整后的所述初始网络骨架对多个带有深度信息的彩色三位图像进行训练之前，进一步包括：
对所述多个带有深度信息的彩色三维图像进行训练之前，对所述多个带有深度信息的彩色三维图像进行预处理，且在对所述多个带有深度信息的彩色三维图像进行进行预处理时，如果至少一个带有深度信息的彩色三位图像中存在破洞，则不对破洞进行填洞操作；所述破洞是指带有深度信息的彩色三位图像中无法确定深度信息的像素点；
基于调整后的所述网络骨架对所述多个带有深度信息的彩色三位图像进行训练时，采用监督学习方法进行训练，且对深度估计采用的损失函数为基于神经网络模型对每个像素的深度估计值和自信度估计值的函数。
可选地，
所述获取当前场景的基于球面投影的二维图像之后，进一步包括：如果所述二维图像中存在视角盲区，则将所述视角盲区填充为黑色；
所述将预设份数的所述二维图像在水平方向上首尾相连构成中间图像之后，进一步包括：对所述中间图像的上下边缘进行裁剪。
可选地，
所述对所述中间图像的上下边缘进行裁剪的方法为：
从所述中间图像的上边缘和下边缘分别裁剪掉高度为所述中间图像高度的预设比例的图像。
可选地，
所述预设份数的取值为3；
所述预设比例为15％。
一种生成带深度信息的全景图的装置，包括：
获取单元，用于获取当前场景的基于球面投影的二维图像；
拼接单元，用于将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；
处理单元，用于利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；
截取单元，用于在所述中间图像的水平方向上的中间位置截取与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
可选地，
所述处理单元，训练用于预测图像深度的神经网络模型时，用于：
将预训练好的卷积神经网络作为初始骨架网络，依据U-Net网络结构对所述初始网络骨架进行结构调整；
基于调整后的初始网络骨架对多个带有深度信息的彩色三维图像进行训练，生成所述用于预测图像深度的神经网络模型。
可选地，
所述预训练好的卷积神经网络为在ImageNet上预训练好的DenseNet169；
所述处理单元，包括：
删除子单元，用于删除在ImageNet上预训练好的DenseNet169的全连接层；
添加子单元，用于基于U-Net网络结构，在删除了全连接层后的DenseNet169的最后一层之后添加4个上采样层，并为每个上采样层设置对应的叠加层；其中，每个上采样层的输入通道数为输出通道数的2倍；且在添加的每个上采样层中，将该上采样层的输入信息做两倍分辨率的上采样，并将上采样结果与该上采样层对应的叠加层输出数据进行叠加，对叠加结果连续执行两次卷积运算，使用预设激活函数对卷积运算结果进行线性修正；
运算子单元，用于将最后一个上采样层的输出进行一次用于输出深度信息的卷积运算和一次用于输出自信度信息的卷积运算。
可选地，
所述添加子单元，在删除了全连接层后的DenseNet169的最后一层之后添加4层上采样层中，按照添加的上采样层从最前一层到最后一层的顺序，依次对应的叠加层为pool3_pool、pool2_pool、pool1、conv1/relu。
可选地，
所述处理单元，基于调整后的所述初始网络骨架对多个带有深度信息的彩色三位图像进行训练之前，进一步用于：
对所述多个带有深度信息的彩色三维图像进行训练之前，对所述多个带有深度信息的彩色三维图像进行预处理，且在对所述多个带有深度信息的彩色三维图像进行进行预处理时，如果至少一个带有深度信息的彩色三位图像中存在破洞，则不对破洞进行填洞操作；所述破洞是指带有深度信息的彩色三位图像中无法确定深度信息的像素点；
所述处理单元，基于调整后的所述网络骨架对所述多个带有深度信息的彩色三位图像进行训练时，采用监督学习方法进行训练，且对深度估计采用的损失函数为基于神经网络模型对每个像素的深度估计值和自信度估计值的函数。
可选地，
所述获取单元，获取当前场景的基于球面投影的二维图像之后，进一步用于：如果所述二维图像中存在视角盲区，则将视角盲区填充为黑色；
所述拼接单元，将预设份数的所述二维图像在水平方向上首尾相连构成所述中间图像之后，进一步用于：对所述中间图像的上下边缘进行裁剪。
可选地，
所述拼接单元，对所述中间图像的上下边缘进行裁剪时，用于：
从所述中间图像的上边缘和下边缘分别裁剪掉高度为中间图像高度的预设比例的图像。
可选地，
所述预设份数的取值为3；
所述预设比例为15％。
一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储指令，所述指令在由设备的处理器执行时使所述处理器执行上述生成带深度信息的全景图的方法中的步骤。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述生成带深度信息的全景图的方法中的步骤。
由上面的技术方案可知，本发明中，在获取当前场景的基于球面投影的二维图像后，将多份二维图像在水平方向上首尾相连构成中间图像，然后利用预先训练的用于预测图像深度的神经网络模型确定中间图像的深度信息，最后在中间图像的水平方向上的中间位置截取与二维图像等长的图像，由于已确定了中间图像的深度信息，因此从中间图像截取的图像也相应具有深度信息，因此可作为当前场景的带有深度信息的全景图。应用本发明的技术方案，不需要使用深度摄像头就可以得到当前场景的带深度信息的全景图，因此可以大大降低成本，并且因为是针对多份二维图像拼接成的中间图像进行的深度信息确定，使得二维图像的首尾相接部分不存在信息缺失，可以使确定的深度信息结果更加准确。
附图说明
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：
图1是本发明实施例生成带深度信息的全景图的方法流程图；
图2是本发明实施例多份二维图像首尾相连构成的中间图像示意图；
图3是本发明实施例对中间图像的上下边缘裁剪结果示意图；
图4是本发明实施例生成带深度信息的全景图的装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。
本发明中，利用普通摄像头拍摄得到当前场景的二维图像，然后将多份当前场景的二维图像在水平方向上首尾相连起来构成一中间图像，然后利用预先训练好的用于预测深度信息的神经网络模型确定中间图像的深度信息，最后从中间图像在水瓶方向的中间位置截取与当前场景的二维图像等长的图像，由于从中间图像中截取出的图像具有对应的深度信息，因此可作为当前场景的带深度信息的全景图。
参见图1，图1是本发明实施例生成带深度信息的全景图的方法流程图，如图1所示，该方法主要包括以下步骤：
步骤101、获取当前场景的基于球面投影的二维图像。
本发明中，使用图像采集设备获取得到当前场景的基于球面投影的二维图像。二维图像中仅需要具有全景图的RGB信息，不需要具有全景图的深度信息，因此对图像采集设备的要求很低，只要是带有RGB摄像头的扫描设备即可，例如RGB鱼眼相机，也可以是带有摄像头的移动设备，例如手机。由于使用的图像采集设备不要求带有深度摄像头，因此全景图的获取成本非常低。
本发明中，对获取的当前场景的二维图像的上边缘和下边缘，不要求视角齐备，只需要垂直视角拥有足够的纹理、线条、物体信息以供神经网络模型推断出二维图像的深度信息即可。
在视角不齐备的情况下，对于二维图像中的视角盲区，可以填充为黑色。即在获取得到当前场景的基于球面投影的二维图像之后，可以进一步判断所述二维图像中是否存在视角盲区，如果存在视角盲区，则将所述二维图像中的视角盲区统一填充为黑色。
步骤102、将预设份数的所述二维图像在水平方向上首尾相连构成中间图像。
本发明实施例中，预设份数N的取值为大于1的整数，较佳地，可以取值为3。
基于球面投影的二维图像，其本身的信息是首尾相接的。将预设份数的所述二维图像在水平方向上首尾相连构成中间图像，是指将第一份二维图像的尾部和第二份二维图像的首部相连，将第二份二维图像的尾部和第三份二位图像的首部相连，依此类推，并且第一份二维图像的首部和最后一份二维图像的尾部不相连，具体如图2所示的中间图像示意图。
通常情况下，基于球面投影的二维图像，其长度(水平方向上的长度)和宽度(垂直方向上的长度，也称为高度)的比例是2:1，将N份所述二维图像在水平方向上首尾相连构成的中间图像，其长度和宽度的比值是2N:1，例如N＝3时，中间图像的长宽比为6:1。
在实际应用中，由于球形投影图像中，上下边缘部分的畸变较大，会对后续卷积神经网络训练和深度估计产生不良影响，为减少此不良影响，本发明中，将预设份数的所述二维图像在水平方向上首尾相连构成中间图像之后，还可以对中间图像的上下边缘进行裁剪，即分别从中间图像的上边缘裁剪掉一定比例高度的图像，从中间图像的下边缘裁剪掉一定比例高度的图像，裁剪比例可以相同，也可以不同。
本发明实施例中，对中间图像的上下边缘进行裁剪的具体方法可以为：分别从中间图像的上边缘和下边缘裁剪掉高度为中间图像高度的预设比例的图像。这里的预设比例可以取值15％(中间图像的上下边缘各裁剪掉15％后，长宽比变为60:7)，也可以是其它取值，只要能够保证二维图像中的纹理、线条、物体信息的丢失不超过一定阈值即可，此阈值可以根据经验确定。经过上下边缘裁剪的中间图像如图3所示，其中的划斜线部分是被裁剪掉的图像部分。
步骤103、利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息。
本发明实施例中，需要预先训练得到用于预测图像深度的神经网络模型。可预先收集海量真实场景的带深度信息的彩色三维图像作为训练样本，训练样本要求像素级对齐，包括在室内同室外的各种场景，例如墙角、汽车、天花板、地面、窗、门等要素。
通常情况下，真实场景的带深度信息的彩色三维图像中会存在许多破洞，本发明实施例中，可以对收集到的海量训练样本(即带深度信息的彩色三维图像)进行预处理(例如高斯滤波，尺寸调整等)。需要说明的是，在对训练样本进行预处理时，如果训练样本中存在破洞，则不对破洞进行填洞处理。这里的破洞是指图像中无法确定深度信息的像素点。对这种无法确定深度信息的像素点，本发明中，仍然保持其深度信息未知的情况，不会通过预估或其它方法获取其深度值来实现填洞处理。
在收集了海量训练样本之后，可通过对训练样本进行训练得到用于预测图像深度的神经网络模型。
本发明实施例中，一种可能的训练用于预测图像深度的神经网络模型的方法具体包括以下步骤：
S1、将预训练好的卷积神经网络作为初始骨架网络，依据U-Net网络结构对所述初始网络骨架进行结构调整；
S2、基于调整后的所述初始网络骨架对多个带深度信息的彩色三维图像(即训练样本)进行训练，生成用于预测图像深度的神经网络模型。
上述步骤S1中，预训练好的卷积神经网络可以是在ImageNet上预训练好的DenseNet169。
上述步骤S1中，依据U-Net网络结构对所述初始网络骨架进行结构调整，具体可包括：
S11、删除DenseNet169的全连接层；
S12、基于U-Net网络结构，在删除了全连接层后的DenseNet169的最后一层之后添加4个上采样层，并为每个上采样层设置对应的叠加层。
需要说明的是上述步骤S1中，预训练好的卷积神经网络也可以是在ImageNet上预训练好的Google Inception,ResNet,VGG等模型，但是，当预训练好的卷积神经网络是在ImageNet上预训练好的Google Inception,ResNet,或VGG时，上述步骤S12的具体实现也不相同，例如添加的层的名字会发生变化。
本发明实施例中，上述步骤S12中，所述添加的4个上采样层分别作为改进后的DenseNet169中的一层。假设按照添加的4个上采样层从最前一层到最后一层的顺序依次为第一个上采样层、第二个上采样层、第三个上采样层、第四个上采样层，则删除了全连接层后的DenseNet169的最后一层的输出作为第一个上采样层的输入，第一个上采样层的输出作为第二个上采样层的输入，第二个上采样层的输出作为第三个上采样层的输入，第三个上采样层的输出作为第四个上采样层的输入。另外，所述第一个上采样层、第二个上采样层、第三个上采样层、第四个上采样层对应的叠加层可依次配置为：pool3_pool、pool2_pool、pool1、conv1/relu。
本步骤12中，每层上采样层的输入通道数为输出通道数的2倍；且在添加的每层上采样层中，将该层上采样层的输入信息做两倍分辨率的上采样，并将上采样结果与该层上采样层对应的叠加层输出数据进行叠加，对叠加结果连续执行两次卷积运算(先执行第一次卷积运算，再对第一次卷积运算结果进行第二次卷积运算，每次卷积运算可以是卷积核为3×3的二维卷积运算)，使用预设激活函数(例如relu激活函数)对卷积运算结果进行线性修正。
S13、将最后一层上采样层的输出进行一次用于输出深度信息的卷积运算和一次用于输出自信度信息的卷积运算，或者，将最后一层上采样层的输出进行输出通道为2的一次卷积运算，2个输出通道分别为自信度和深度信息。
本步骤13中，深度信息D可以以米为单位，自信度信息是指对所述中间图像中每个像素点的预测深度值的自信度，某一像素点的自信度值较高则说明该像素点的估测深度值与真实深度值较接近，自信度值较低则说明该像素点的估测深度值与真实深度值不够接近，自信度值为0，则说明该像素点实际上一个破洞，无法确定/估测出深度值。
本步骤13中的卷积运算也可以是卷积核为3×3的二维卷积运算。
上述步骤S2中，基于调整后的网络骨架对所述多个带深度信息的彩色三维图像进行训练时，可以基于监督学习方法进行训练，且对深度估计采用的损失函数为基于训练得到的神经网络模型对每个像素的深度估计值和自信度估计值的函数，具体地，可以是以下三个函数的结合：
函数1、基于神经网络模型对每个像素x的深度估计值的函数f1(x)：将神经网络模型对每个像素x的深度估计值与深度真值的差值的绝对值进行蒙版过滤；
函数2、基于神经网络模型对每个像素x的深度估计值的梯度函数f2(x)：将神经网络模型对每个像素x的深度估计值的梯度与深度真值的梯度的差值的绝对值进行蒙版过滤；
函数3、基于神经网络模型对每个像素x的自信度估计值的函数f3(x)：神经网络模型对每个像素x的自信度估计值与自信度真值的差的绝对值。其中，自信度真值可采用以下方法确定：当不存在神经网络模型对像素x的深度估计值时，确定自信度真值为0；当存在神经网络模型对像素x的深度估计值时，采用以下公式确定自信度真值：自信度真值＝1-预设调节因子(例如0.02)×(神经网络模型对像素x的深度估计值-像素x的深度真值)。
本发明实施例中，可以将图像中每个像素对应于上述三个函数的加权平均结果进行累加后再计算平均值，将计算得到的平均值作为损失函数的损失值。需要说明的是，上述的深度真值，是指像素在图像中的真实深度值。
以上所述的函数f1和函数f2，通过蒙版过滤，可以忽略掉深度真值中存在破洞的部分的深度估计值。以上所述的函数f3，是对自信度估计使用L1绝对值损失，采用此函数可使得深度真值破洞部分的自信度真值被设置为0，对深度估计值同深度真值背离比较远的像素点，自信度估计应接近0，对深度估计值同深度真值比较近的像素点，自信度估计应接近1。
步骤104、从所述中间图像的水平方向上的中间位置截取出与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
本发明中，利用预先训练的用于预测图像深度的神经网络模型确定中间图像的深度信息后，即得到一张具有深度信息和自信度信息的中间图像，可以从中间图像在水平方向的正中间位置截取出与当前场景的二维图像等长的图像作为当前场景的全景图。
实际上，利用预先训练的用于预测图像深度的神经网络模型确定的中间图像的深度信息中，包括了中间图像中每个像素点的深度信息，因此，从中间图像的水平方向上的中间位置截取出与所述二维图像等长的图像后，截取出来的图像中各像素点的深度信息是可以直接确定的，同理截取出来的图像中各像素点的自信度信息也是可以直接确定的。
可以使用自信度估计大于预设自信度阈值(例如0.8)的深度估计作为当前场景的全景图像中可信的深度来源。该自信度阈值0.8的取值可以调整，取决于最终应用需要更多的深度数据还是需要具有更高自信度的深度数据。
本发明中，在确定了当前场景的带深度信息的全景图之后，可以在后续的像素对齐、图像拼接算法中，使用此深度信息协助进行高精度的像素对齐和图像拼接等操作；同时该深度信息还可以转化为单点的点云，以便对室内外的场景整体进行后续三维重建工作，如三角面片化(meshing)，纹理贴图(texture mapping)等。
以上对本发明实施例生成带深度信息的全景图的方法进行了详细说明，本发明实施例中，还提供了一种生成带深度信息的全景图，以下结合图4进行详细说明。
参见图4，图4是本发明实施例生成带深度信息的全景图的装置的结构示意图，如图4所示，该装置包括：
获取单元401，用于获取当前场景的基于球面投影的二维图像；
拼接单元402，用于将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；
处理单元403，用于利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；
截取单元404，用于在所述中间图像的水平方向上截取与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
图4所示装置中，
所述处理单元403，训练用于预测图像深度的神经网络模型时，用于：
将预训练好的卷积神经网络作为初始骨架网络，依据U-Net网络结构对所述初始网络骨架进行结构调整；
基于调整后的所述初始网络骨架对多个带有深度信息的彩色三维图像进行训练，生成所述用于预测图像深度的神经网络模型。
图4所示装置中，
预训练好的卷积神经网络为在ImageNet上预训练好的DenseNet169；
所述处理单元403，包括：
删除子单元4031，用于删除在ImageNet上预训练好的DenseNet169的全连接层；
添加子单元4032，用于基于U-Net网络结构，在删除了全连接层后的DenseNet169的最后一层之后添加4个上采样层，并为每个上采样层设置对应的叠加层；其中，每个上采样层的输入通道数为输出通道数的2倍；且在添加的每个上采样层中，将该上采样层的输入信息做两倍分辨率的上采样，并将上采样结果与该上采样层对应的叠加层输出数据进行叠加，对叠加结果连续执行两次卷积运算，使用预设激活函数对卷积运算结果进行线性修正；
运算子单元4033，用于将最后一个上采样层的输出进行一次用于输出深度信息的卷积运算和一次用于输出自信度信息的卷积运算。
图4所示装置中，
所述添加子单元403，在删除了全连接层后的DenseNet169的最后一层之后添加4层上采样层中，按照添加的上采样层从最前一层到最后一层的顺序，依次对应的叠加层为pool3_pool、pool2_pool、pool1、conv1/relu。
图4所示装置中，
所述处理单元403，基于调整后的所述初始网络骨架对多个带有深度信息的彩色三维图像进行训练之前，进一步用于：
对所述多个带有深度信息的彩色三维图像进行预处理，并且在对所述多个带有深度信息的彩色三维图像进行预处理时，如果至少一个所述带有深度信息的彩色三维图像中存在破洞，则不对破洞进行填洞操作；所述破洞是指所述带有深度信息的彩色三位图像中无法确定深度信息的像素点；
所述处理单元403，基于调整后的所述初始网络骨架对所述多个带有深度信息的彩色三维图像进行训练时，采用监督学习方法进行训练，且对深度估计采用的损失函数为基于神经网络模型对每个像素的深度估计值和自信度估计值的函数。
图4所示装置中，
所述获取单元401，获取当前场景的基于球面投影的二维图像之后，进一步用于：如果所述二维图像中存在视角盲区，则将所述二维图像中的视角盲区填充为黑色；
所述拼接单元402，将预设份数的所述二维图像在水平方向上首尾相连构成中间图像之后，进一步用于：对所述中间图像的上下边缘进行裁剪。
图4所示装置中，
所述拼接单元402，对所述中间图像的上下边缘进行裁剪时，用于：
从所述中间图像的上边缘和下边缘分别裁剪掉高度为所述中间图像高度的预设比例的图像。
图4所示装置中，
所述预设份数的取值为3；
所述预设比例为15％。
本发明实施例还提供了一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储指令，所述指令在由设备的处理器执行时使所述处理器执行如图1所示的生成带深度信息的全景图的方法中的步骤。
本发明实施例还提供了一种电子设备，如图5所示，电子设备500包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现如上述图1所示的生成带深度信息的全景图的方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种生成带深度信息的全景图的方法，其特征在于，该方法包括：
获取当前场景的基于球面投影的二维图像；
将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；
利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；
从所述中间图像的水平方向上的中间位置截取出与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
2.根据权利要求1所述的方法，其特征在于，
训练所述用于预测图像深度的神经网络模型的方法为：
将预训练好的卷积神经网络作为初始骨架网络，依据U-Net网络结构对所述初始网络骨架进行结构调整；
基于调整后的所述初始网络骨架对多个带有深度信息的彩色三位图像进行训练，生成所述用于预测图像深度的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，
所述预训练好的卷积神经网络为在ImageNet上预训练好的DenseNet169；
所述依据U-Net网络结构对所述初始网络骨架进行结构上的调整，包括：
删除在ImageNet上预训练好的DenseNet169的全连接层；
基于U-Net网络结构，在删除了全连接层后的DenseNet169的最后一层之后添加4个上采样层，并为每个上采样层设置对应的叠加层；其中，每个上采样层的输入通道数为输出通道数的2倍；且在添加的每个上采样层中，将该上采样层的输入信息做两倍分辨率的上采样，并将上采样结果与该上采样层对应的叠加层输出数据进行叠加，对叠加结果连续执行两次卷积运算，使用预设激活函数对卷积运算结果进行线性修正；
将最后一个上采样层的输出进行一次用于输出深度信息的卷积运算和一次用于输出自信度信息的卷积运算。
4.根据权利要求3所述的方法，其特征在于，
在删除了全连接层后的DenseNet169的最后一层之后添加4层上采样层中，按照添加的上采样层从最前一层到最后一层的顺序，依次对应的叠加层为pool3_pool、pool2_pool、pool1、conv1/relu。
5.根据权利要求2所述的方法，其特征在于，
基于调整后的所述初始网络骨架对多个带有深度信息的彩色三位图像进行训练之前，进一步包括：
对所述多个带有深度信息的彩色三维图像进行训练之前，对所述多个带有深度信息的彩色三维图像进行预处理，且在对所述多个带有深度信息的彩色三维图像进行预处理时，如果至少一个带有深度信息的彩色三位图像中存在破洞，则不对破洞进行填洞操作；所述破洞是指带有深度信息的彩色三位图像中无法确定深度信息的像素点；
基于调整后的所述网络骨架对所述多个带有深度信息的彩色三位图像进行训练时，采用监督学习方法进行训练，且对深度估计采用的损失函数为基于神经网络模型对每个像素的深度估计值和自信度估计值的函数。
6.根据权利要求1所述的方法，其特征在于，
所述获取当前场景的基于球面投影的二维图像之后，进一步包括：如果所述二维图像中存在视角盲区，则将所述视角盲区填充为黑色；
所述将预设份数的所述二维图像在水平方向上首尾相连构成中间图像之后，进一步包括：对所述中间图像的上下边缘进行裁剪。
7.根据权利要求6所述的方法，其特征在于，
所述对所述中间图像的上下边缘进行裁剪的方法为：
从所述中间图像的上边缘和下边缘分别裁剪掉高度为所述中间图像高度的预设比例的图像。
8.一种生成带深度信息的全景图的装置，其特征在于，该装置包括：
获取单元，用于获取当前场景的基于球面投影的二维图像；
拼接单元，用于将预设份数的所述二维图像在水平方向上首尾相连构成中间图像；
处理单元，用于利用预先训练的用于预测图像深度的神经网络模型，确定所述中间图像的深度信息；
截取单元，用于在所述中间图像的水平方向上的中间位置截取与所述二维图像等长的图像，并确定截取的图像的深度信息，将该截取的带有深度信息的图像确定为当前场景的全景图。
9.一种非瞬时性计算机可读存储介质，其特征在于，所述非瞬时性计算机可读存储介质存储指令，所述指令在由设备的处理器执行时使所述处理器执行权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述方法中的步骤。
CN201911133455.XA 2019-11-19 2019-11-19 一种生成带深度信息的全景图的方法、装置及存储介质 Active CN111105347B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911133455.XA CN111105347B (zh) 2019-11-19 2019-11-19 一种生成带深度信息的全景图的方法、装置及存储介质
US17/033,129 US11055835B2 (en) 2019-11-19 2020-09-25 Method and device for generating virtual reality data
PCT/CN2020/128079 WO2021098567A1 (zh) 2019-11-19 2020-11-11 生成带深度信息的全景图的方法、装置及存储介质
JP2022554963A JP7484055B2 (ja) 2019-11-19 2020-11-11 深度情報付きのパノラマ画像を生成する方法、装置、記憶媒体、電子機器及びコンピュータプログラム
US17/338,008 US11721006B2 (en) 2019-11-19 2021-06-03 Method and device for generating virtual reality data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911133455.XA CN111105347B (zh) 2019-11-19 2019-11-19 一种生成带深度信息的全景图的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111105347A true CN111105347A (zh) 2020-05-05
CN111105347B CN111105347B (zh) 2020-11-13

Family

ID=70420809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133455.XA Active CN111105347B (zh) 2019-11-19 2019-11-19 一种生成带深度信息的全景图的方法、装置及存储介质

Country Status (3)

Country Link
JP (1) JP7484055B2 (zh)
CN (1) CN111105347B (zh)
WO (1) WO2021098567A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112524772A (zh) * 2020-11-30 2021-03-19 珠海格力电器股份有限公司 空调的控制方法和装置、存储介质、电子装置
WO2021098567A1 (zh) * 2019-11-19 2021-05-27 贝壳找房(北京)科技有限公司 生成带深度信息的全景图的方法、装置及存储介质
CN113129346A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 深度信息获取方法和装置、电子设备和存储介质
CN114742703A (zh) * 2022-03-11 2022-07-12 影石创新科技股份有限公司 双目立体全景图像的生成方法、装置、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808022B (zh) * 2021-09-22 2023-05-30 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
US8391640B1 (en) * 2008-08-29 2013-03-05 Adobe Systems Incorporated Method and apparatus for aligning and unwarping distorted images
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
CN104751162A (zh) * 2015-04-03 2015-07-01 哈尔滨工业大学 基于卷积神经网络的高光谱遥感数据特征提取方法
CN105611169A (zh) * 2015-12-31 2016-05-25 联想(北京)有限公司 图像获取方法和电子设备
CN105989573A (zh) * 2015-02-16 2016-10-05 上海钧铭商务咨询有限公司 一种基于360度数字全景技术提供展馆导览信息的方法及系统
CN106157354A (zh) * 2015-05-06 2016-11-23 腾讯科技（深圳）有限公司 一种三维场景切换方法及系统
CN106296783A (zh) * 2016-07-28 2017-01-04 众趣（北京）科技有限公司 一种结合空间全局3d视图和全景图片的空间展示方法
CN106815809A (zh) * 2017-03-31 2017-06-09 联想(北京)有限公司 一种图片处理方法和装置
CN107123136A (zh) * 2017-04-28 2017-09-01 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
CN107945112A (zh) * 2017-11-17 2018-04-20 浙江大华技术股份有限公司 一种全景图像拼接方法及装置
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN108416735A (zh) * 2018-03-19 2018-08-17 深圳市深图医学影像设备有限公司 基于几何特征的数字化x线图像的拼接方法及装置
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN109064549A (zh) * 2018-07-16 2018-12-21 中南大学 标志点检测模型生成方法及标志点检测方法
CN109409348A (zh) * 2018-12-29 2019-03-01 北京卡路里信息技术有限公司 一种用户体征的确定方法、装置、设备和存储介质
CN109472737A (zh) * 2018-10-22 2019-03-15 福州大学 一种车载六路摄像头的全景报警方法
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法
CN109584340A (zh) * 2018-12-11 2019-04-05 苏州中科广视文化科技有限公司 基于深度卷积神经网络的新视角合成方法
CN109621332A (zh) * 2018-12-29 2019-04-16 北京卡路里信息技术有限公司 一种健身动作的属性确定方法、装置、设备和存储介质
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109785376A (zh) * 2017-11-15 2019-05-21 富士通株式会社 深度估计装置的训练方法、深度估计设备及存储介质
CN109829406A (zh) * 2019-01-22 2019-05-31 上海城诗信息科技有限公司 一种室内空间识别方法
CN110288615A (zh) * 2019-06-28 2019-09-27 浙江明峰智能医疗科技有限公司 一种基于深度学习的倾斜定位框定位方法
CN110333494A (zh) * 2019-04-10 2019-10-15 马培峰 一种InSAR时序形变预测方法、系统及相关装置
CN110341597A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101396346B1 (ko) * 2007-09-21 2014-05-20 삼성전자주식회사 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法
US11126257B2 (en) 2018-04-17 2021-09-21 Toyota Research Institute, Inc. System and method for detecting human gaze and gesture in unconstrained environments
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391640B1 (en) * 2008-08-29 2013-03-05 Adobe Systems Incorporated Method and apparatus for aligning and unwarping distorted images
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置
CN105989573A (zh) * 2015-02-16 2016-10-05 上海钧铭商务咨询有限公司 一种基于360度数字全景技术提供展馆导览信息的方法及系统
CN104751162A (zh) * 2015-04-03 2015-07-01 哈尔滨工业大学 基于卷积神经网络的高光谱遥感数据特征提取方法
CN106157354A (zh) * 2015-05-06 2016-11-23 腾讯科技（深圳）有限公司 一种三维场景切换方法及系统
CN105611169A (zh) * 2015-12-31 2016-05-25 联想(北京)有限公司 图像获取方法和电子设备
CN106296783A (zh) * 2016-07-28 2017-01-04 众趣（北京）科技有限公司 一种结合空间全局3d视图和全景图片的空间展示方法
CN106815809A (zh) * 2017-03-31 2017-06-09 联想(北京)有限公司 一种图片处理方法和装置
CN107123136A (zh) * 2017-04-28 2017-09-01 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
CN109785376A (zh) * 2017-11-15 2019-05-21 富士通株式会社 深度估计装置的训练方法、深度估计设备及存储介质
CN107945112A (zh) * 2017-11-17 2018-04-20 浙江大华技术股份有限公司 一种全景图像拼接方法及装置
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN108416735A (zh) * 2018-03-19 2018-08-17 深圳市深图医学影像设备有限公司 基于几何特征的数字化x线图像的拼接方法及装置
CN110341597A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN109064549A (zh) * 2018-07-16 2018-12-21 中南大学 标志点检测模型生成方法及标志点检测方法
CN109523617A (zh) * 2018-10-15 2019-03-26 中山大学 一种基于单目摄像机的光照估计方法
CN109472737A (zh) * 2018-10-22 2019-03-15 福州大学 一种车载六路摄像头的全景报警方法
CN109584340A (zh) * 2018-12-11 2019-04-05 苏州中科广视文化科技有限公司 基于深度卷积神经网络的新视角合成方法
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109409348A (zh) * 2018-12-29 2019-03-01 北京卡路里信息技术有限公司 一种用户体征的确定方法、装置、设备和存储介质
CN109621332A (zh) * 2018-12-29 2019-04-16 北京卡路里信息技术有限公司 一种健身动作的属性确定方法、装置、设备和存储介质
CN109829406A (zh) * 2019-01-22 2019-05-31 上海城诗信息科技有限公司 一种室内空间识别方法
CN110333494A (zh) * 2019-04-10 2019-10-15 马培峰 一种InSAR时序形变预测方法、系统及相关装置
CN110288615A (zh) * 2019-06-28 2019-09-27 浙江明峰智能医疗科技有限公司 一种基于深度学习的倾斜定位框定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSE DOLZ等: "HyperDense-Net A hyper-densely connected CNN for multi-modal image segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
XIONG SHI等: "The Research on Multi-viewpoint Navigation Based on Spherical Panoramic Images", 《2010 INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
蒋曜寰等: "基于全景图像的虚拟导航系统研究及实现", 《中国卫星导航学术年会组委会 会议论文集》 *
邓忠豪等: "基于深度卷积神经网络的肺结节检测算法", 《计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098567A1 (zh) * 2019-11-19 2021-05-27 贝壳找房(北京)科技有限公司 生成带深度信息的全景图的方法、装置及存储介质
CN112524772A (zh) * 2020-11-30 2021-03-19 珠海格力电器股份有限公司 空调的控制方法和装置、存储介质、电子装置
CN113129346A (zh) * 2021-04-22 2021-07-16 北京房江湖科技有限公司 深度信息获取方法和装置、电子设备和存储介质
CN114742703A (zh) * 2022-03-11 2022-07-12 影石创新科技股份有限公司 双目立体全景图像的生成方法、装置、设备和存储介质
WO2023169283A1 (zh) * 2022-03-11 2023-09-14 影石创新科技股份有限公司 双目立体全景图像的生成方法、装置、设备、存储介质和产品

Also Published As

Publication number Publication date
CN111105347B (zh) 2020-11-13
JP2023502793A (ja) 2023-01-25
WO2021098567A1 (zh) 2021-05-27
JP7484055B2 (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
CN111105347B (zh) 一种生成带深度信息的全景图的方法、装置及存储介质
US10205896B2 (en) Automatic lens flare detection and correction for light-field images
US10609282B2 (en) Wide-area image acquiring method and apparatus
CN108702444B (zh) 一种图像处理方法、无人机及系统
US11050994B2 (en) Virtual reality parallax correction
US8761457B1 (en) Aligning ground based images and aerial imagery
EP3474236A1 (en) Image processing device
CN111316123B (zh) 单视图深度预测的光圈监督
WO2019221013A2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
CN113192182A (zh) 一种基于多传感器的实景重建方法及系统
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
US10154241B2 (en) Depth map based perspective correction in digital photos
CN108564654B (zh) 三维大场景的画面进入方式
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
CN112422848A (zh) 一种基于深度图和彩色图的视频拼接方法
US11055835B2 (en) Method and device for generating virtual reality data
Lueangwattana et al. Diminishing fence from sweep image sequences using structure from motion and light field rendering
CN117274543A (zh) 一种基于NeRF的ORB-SLAM3系统AR实时可视化方法和系统
JP4696669B2 (ja) 画像調整方法及び画像調整装置
CN117893417A (zh) 无人机航拍视频增强方法、系统、存储介质和电子设备
CN116823691A (zh) 光场图像处理方法及装置
TR2021015163A2 (tr) Bi̇r görüntü i̇şleme yöntemi̇ ve si̇stemi̇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200529

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 280 Tianjin Economic and Technological Development Zone Nangang Industrial Zone Office Building C Block 1, Room 112, Unit 05

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant