CN112037150A - 孔洞修复模型训练及修复方法、装置、系统 - Google Patents
孔洞修复模型训练及修复方法、装置、系统 Download PDFInfo
- Publication number
- CN112037150A CN112037150A CN202010930721.8A CN202010930721A CN112037150A CN 112037150 A CN112037150 A CN 112037150A CN 202010930721 A CN202010930721 A CN 202010930721A CN 112037150 A CN112037150 A CN 112037150A
- Authority
- CN
- China
- Prior art keywords
- panoramic image
- depth map
- depth
- brightness
- hole repairing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 11
- 230000008439 repair process Effects 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种孔洞修复模型训练及修复方法、装置、系统，其中，对全景图像进行预处理，选取部分全景图像对全景图像进行高亮或低亮处理；将处理后的所述全景图像输入神经网络，得到模拟深度图；根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。其次利用孔洞修复模型对新的全景图像进行孔洞修复处理。孔洞修复处理还需要参照深度图的自信度，自信度大的深度数值进行修复。通过深度学习的方法得到现有设备盲区的点云深度信息，从而对解决模型孔洞的问题。
Description
技术领域
本发明涉及计算机三维空间建模技术领域，尤其是一种孔洞修复模型训练及修复方法、装置、系统。
背景技术
在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图，这样就能够结合相机位姿将RGBD图转化为单个相机点位的点云。
由于设备本身采集方案限制(深度相机通过发射并接收结构光信息从而计算物体表面空间信息)，在一些特殊情况，采集到的深度是不完整的，甚至有些情况下完全采集不到深度信息。这样，重建出的相机点云就存在不完整的情况。这种不完整可能存在以下几种原因：
拍摄扫描物体距离设备太远，深度像机无法采集到响应信息；
拍摄扫描物体表面为黑色，深度相机发射的结构光射线被深色物体吸收而无法返回，则无法计算物体表面三维位置信息；
拍摄扫描物体表面光强太高，例如阳台等区域在阳光照射下光强太高，深度相机发射的结构光射线无法被自身设备识别，从而无法计算物体表面三维位置信息。
以上三种情况中，第一种情况由于远距离无法采集到的信息，可以通过其他位置继续采集从而进行弥补丢失信息。而其他两种情况，由于自身采集深度基本原理的限制，出现的点云不完整的现象，在整个房屋建模中，模型也会出现孔洞，或者大面积缺失的情况。
现有技术中，现有的方案是通过摄影师手动对地面、墙面等较大块平面缺失位置进行平面补充，这种方式存在诸多不足之处，例如，手动操作耗费人力、手动操作精确性存在不稳定性、对于较小孔洞或者复杂结构表面无法修补等。这种手动操作的方式效率低，成本高，并且不能保证精度和有效性。
发明内容
本发明实施例所要解决的一个技术问题是：提供一种孔洞修复模型训练及修复方法、装置、系统，解决现有技术三维模型重建过程中，由于模型重建技术本身缺陷导致的模型重建不完整，有孔洞，展示效果差等问题。
根据本发明的一个方面，提供了一种孔洞修复模型训练方法，所述方法包括：
对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；
将处理后的所述全景图像输入神经网络，得到模拟深度图；
根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
较佳的，所述方法还包括：
所述全景图像对应的原始深度图根据历史数据获取；或将所述全景图输入神经网络后得到所述全景图像对应的原始深度图。
较佳的，所述对全景图像进行高亮处理或低亮处理，包括：
所述高亮处理包括：
从所述全景图像中选取部分方形区域；
用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；
将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；
将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。
较佳的，所述对全景图像进行高亮或低亮处理，包括：
所述低亮处理包括：
识别所述全景图像中低亮的深色物体表面；
将所述深色物体表面区域像素值降低，模拟深色物体表面。
较佳的，所述将处理后的所述全景图像输入神经网络，得到模拟深度图，还包括：
对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；
所述自信度定义如下：
自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；
其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
较佳的，所述根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型，包括：
根据所述模拟深度图中每个位置的深度值的自信度确定是否用所述位置的模拟的深度值修正所述原始深度图中的真实深度值。
较佳的，所述根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型，包括：
将所述全景图像对应的原始深度图与所述模拟深度图进行比较，获取所述高亮或低亮处理对相应位置的深度图的偏差；
根据所述偏差训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
根据本发明的另一个方面，提供了一种孔洞修复方法，采用如上所述的孔洞修复模型，所述方法包括：
获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；
当确定所述深度图中存在缺失信息时，获取缺失处位置；
根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
较佳的，所述当确定所述深度图中存在缺失信息时，获取缺失处位置，还包括：
确定所述深度图中是否存在深度数据缺失；
当确定所述深度图中存在深度数据缺失时，则进一步确定所述深度数据缺失产生原因是否为对应的全景图像中的强光源照射或低亮度照射产生。
较佳的，所述根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复，包括：
根据所述孔洞修复模型获取所述缺失处位置的模拟深度图；
获取所述模拟深度图的自信度；
当所述自信度大于预设值时，用所述模拟深度图替换原始的深度图。
较佳的，所述根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复，包括：
确定所述缺失处位置对应的模拟深度图的数值预设的阈值时，根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
根据本发明的另一个方面，提供了一种孔洞修复模型训练装置，所述装置包括：
图像预处理单元，用于对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；
模拟深度图获取单元，用于将处理后的所述全景图像输入神经网络，得到模拟深度图；
孔洞修复模型训练单元，用于根据所述全景图像对应的深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
较佳的，所述装置还包括：
历史数据单元，用于获取和存储所述全景图像对应的深度图根据历史数据；
所述孔洞修复模型训练单元从所述历史数据单元获取所述全景图像对应的原始深度图。
较佳的，所述图像预处理单元，包括：
高亮处理子单元，用于从所述全景图像中选取部分方形区域；用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。
低亮处理子单元，用于识别所述全景图像中低亮的深色物体表面；将所述深色物体表面区域像素值降低，模拟深色物体表面。
较佳的，所述模拟深度图获取单元，还用于：
对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；
所述自信度定义如下：
自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；
其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
较佳的，所述模拟深度图获取单元，具体用于：
将所述全景图像对应的原始深度图与所述模拟深度图进行比较，获取所述高亮或低亮处理对相应位置的深度图的偏差；根据所述偏差训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
根据本发明的另一个方面，提供了一种孔洞修复系统，采用如上所述的孔洞修复模型训练装置训练生成的孔洞修复模型，具体包括：
全景图像获取单元，用于获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；
缺失位置确定单元，用于当确定所述深度图中存在缺失信息时，获取缺失处位置；
孔洞修复单元，用于根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
较佳的，所述缺失位置确定单元，具体用于：
确定所述深度图中是否存在深度数据缺失；当确定所述深度图中存在深度数据缺失时，则进一步确定所述深度数据缺失产生原因是否为对应的全景图像中的强光源照射或低亮度照射产生。
较佳的，所述系统还包括：
自信度判断单元，用于获取所述模拟深度图的自信度；
所述孔洞修复单元，用于当所述自信度大于预设值时，用所述模拟深度图替换原始的深度图。
较佳的，所述系统还包括：
深度阈值判断单元，用于确定所述缺失处位置对应的模拟深度图的数值预设的阈值时，通知所述孔洞修复单元；
所述孔洞修复单元，用于根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
根据本发明的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的方法。
根据本发明的另一个方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的方法。
基于本发明上述实施例提供的平面标定板方案，主要包括如下有益效果：
首先对全景图像进行预处理，选取部分全景图像对全景图像进行高亮处理或低亮处理；将处理后的所述全景图像输入神经网络，得到模拟深度图；根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。其次利用孔洞修复模型对新的全景图像进行孔洞修复处理。孔洞修复处理还需要参照深度图的自信度，自信度大的深度数值进行修复。通过深度学习的方法得到现有设备盲区的点云深度信息，从而对解决模型孔洞的问题。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明一个实施例提供的孔洞修复模型训练方法原理流程图。
图2为本发明一个实施例提供的孔洞修复方法原理流程图。
图3为本发明一个实施例提供的孔洞修复模型训练装置结构示意图。
图4为本发明一个实施例提供的孔洞修复系统结构示意图。
图5为本发明一个实施例中提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
本发明实施例能够通过深度学习的方式，直接通过一张RGB彩色全景图就能重建出该点位所在房间的结构模型。
本实施例通过搭建神经网络，利用公司内部海量数据对神经进行训练。神经网络输入全景图像，输出与之对应的深度图。通过公司内部海量数据中存储的全景图-深度图的对应(历史数据)，可以获取大量全景图对应的原始深度图，进而与修正过的模拟深度图进行对比，从而训练出孔洞修复模型。大量的数据可以对模型进行训练，从而使得孔洞修复模型更为精确。
如图1所示，为本实施例提供的孔洞修复模型训练方法源流流程图，其中，
步骤11，对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射。
本步骤是对全景图像的预处理过程。将获取的全景图像进行预处理，对其中的部分区域进行高亮或低亮处理，模拟强光源照射或低亮度照射时的全景图像。
全景图像与深度图一一对应，假设通过神经网络学习全景图像与深度图一一对应的关系，就能输入全景图像，得到深度图。但是由于我们的深度采集方式的限制，所有全景图像中强光区和深色区域对应深度图区域都没有值，这样我们训练中的一一对应关系实际是不完整的。通过学习得到的神经网络，遇到强光源的全景图像，输出的深度图在强光区域结果就非常差，我们可以理解为，神经网络并没有见过强光区的深度值，那么他就没法给出合理的估计。因此，我们希望对数据进行一些改造，将一些本来没有强光区的彩色图中某些区域模拟出强光源照射的效果(此时它有对应的深度值)，这样，我们数据中就有了强光源照射的深度真值，学习后能够更好的推测带强光源照射的全景图像的对应深度值。
模拟强光或者深色数据，是数据预处理的一部分，其实就是数据增强的一种形式。其目的是修改原来全景图像的饱和度范围，获取更多原本数据集中不存在的数据，增强神经网络的学习效果。
步骤12，将处理后的所述全景图像输入神经网络，得到模拟深度图。
将处理后的全景图像输入神经网络进行处理，得到与之对应的深度图，也就是模拟深度图。
步骤13，根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
将原始深度图和模拟深度图进行对比，得到二者的区别，从而获知强光源照射或者低亮度照射时全景图像的特点。通过大量全景图像的训练，可以得到一个孔洞修复模型。利用孔洞修复模型，可以对实际的全景图像中的强光源照射或低亮度照射的部分进行模拟，得到缺失的深度图数据。
在本发明的一个实施例中，所述全景图像对应的原始深度图根据历史数据获取；或将所述全景图输入神经网络后得到所述全景图像对应的原始深度图。
在本发明的一个实施例中，所述高亮处理包括：
从所述全景图像中选取部分方形区域；
用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；
将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；
将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。
在本发明的一个实施例中，所述低亮处理包括：
识别所述全景图像中低亮的深色物体表面；
将所述深色物体表面区域像素值降低，模拟深色物体表面。
在本发明的一个实施例中，所述将处理后的所述全景图像输入神经网络，得到模拟深度图，还包括：
对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；
所述自信度定义如下：
自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；
其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
根据所述模拟深度图中每个位置的深度值的自信度确定是否用所述位置的模拟的深度值修正所述原始深度图中的真实深度值。
在本发明的一个实施例中，所述根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型，包括：
将所述全景图像对应的原始深度图与所述模拟深度图进行比较，获取所述高亮或低亮处理对相应位置的深度图的偏差；
根据所述偏差训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
具体来说，本发明实施例中，采用基于深度学习方式，获取点云缺失处的信息。搭建神经网络，输入是全景图像，输出是全景图对应的深度图。通过海量数据训练，得到一个神经网络，输入全景图自动推断其对应深度图，就是AI的方式，实现模拟深度相机的功能。
现有建模的深度及彩色图像采集设备存在其自身应用范围的局限性，对于强光区、黑色表面区域无法采集到对应深度信息，从而建模过程中得到的模型会有孔洞，或者大面积缺失，影响可视化效果，现有方案是通过人工填平面方式解决，但是效率低，成本高，并且不能保证精度和有效性。
在本发明一个实施例中，通过搭建神经网络，利用公司内部海量数据对模型进行训练，模型输入为全景图像，输出为对应的深度图。现有数据也存在强光区无深度的情况，直接学习得到的强光区深度仍然不准确。训练过程中对数据预处理中采用模拟强光和黑色表面的数据增强方案。
训练过程包括：首先搭建神经网络，确定输入输出，确定网络结构，确定损失函数：
输入：全景彩色图像(640*224*3)；
输出：全景彩色图像对应深度图)(320*112*1)，以及深度图对应的自信度图(320*112*1)；
损失函数定义为：
L＝Ld+Lc；
Ld＝abs(depth_pred–depth_gt)，预测深度值的损失部分。
Lc＝1–abs(depth_pred–depth_gt)*alpha，自信度的损失部分。其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
模拟高亮处理方案：在训练数据集中随机选取20％(推荐值，可以根据需要调整)样本进行高亮处理，具体在全景图像中方形区域，添加高斯亮度源，模拟该区域被强光源照射的效果。具体就是用高斯核函数作用在方形区域的单位矩阵得到高斯亮度源，将方形区域内像素值与对应高斯亮度源数值相加，然后将区域内新的像素值归一化到0-255范围内，这样该区域就实现亮度增强。
在本发明的一个实施例中，随机选取的方形区域ROI(region of interest，感兴趣区域)中描述为中点(center)和长宽(h0,w0)。
高斯函数定义为：
模拟深色物体表面方案：在训练数据集中随机选取20％(推荐值，可以根据需要调整)样本进行物体颜色加深的处理，通过识别家电如冰箱、油烟机、电视、衣柜等物体对该物体表面区域像素值重新设置到原来的1/10(推荐值，可以根据需要调整)，模拟深色表面。修改比例为30％。
由于设备限制只能采集到5米以内的数据，并且越远数据精度越差，因此我们训练过程中采用4.5米以内的数据，我们填补确实深度的时候，只填补3米以内的数据，确保填充数据准确性和有效性。
通常，还需要设置一个自信度以描述数据的准确性。自信度是神经网络输出参数之一，定义在网络中，具体描述为：模拟深度图过程中，网络对于模拟出的深度图中每个位置深度值的自信程度。就是一个描述模拟的每个深度值与真实值的偏差的量。偏差越大表示越不能表征真值，也就是自信度低；偏差越小表示越能表征真值，自信度高。
自信度定义如下：
Loss_conf＝1–abs(depth_pred–depth_gt)*alpha。
其中，abs：取绝对值，depth_pred：网络预测得到的深度值；depth_gt：训练数据中的深度真值；alpha：超参数。
本发明实施例还提供一种孔洞修复方法，如图2所示，采用如上述各个实施例提供的孔洞修复模型，所述方法包括：
步骤21，获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图。
通过数据采集设备，获得各拍摄点的全景图像。
步骤22，当确定所述深度图中存在缺失信息时，获取缺失处位置。
将全景图像输入到神经网络中，获取深度图。判断原始深度图中是否有缺失信息，如果有缺失，则找到缺失处位置。
步骤23，根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
在本发明的一个实施例中，所述当确定所述深度图中存在缺失信息时，获取缺失处位置，还包括：
确定所述深度图中是否存在深度数据缺失；
当确定所述深度图中存在深度数据缺失时，则进一步确定所述深度数据缺失产生原因是否为对应的全景图像中的强光源照射或低亮度照射产生。
在本发明的一个实施例中，所述根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复，包括：
根据所述孔洞修复模型获取所述缺失处位置的模拟深度图；
获取所述模拟深度图的自信度；
当所述自信度大于预设值时，用所述模拟深度图替换原始的深度图。
自信度是通过网络学习得到的参数。网络输入为全景图像，网络输出对应图像位置的深度，以及该位置深度的自信程度(自信度高那么对该点深度预测可信度高，自信度低表示该点深度可信度低)。
在本发明的一个实施例中，确定所述缺失处位置对应的模拟深度图的数值预设的阈值时，根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
搭建神经网络，通过海量数据对网络进行训练，得到彩色图像与深度图像的映射关系。我们现在有一幅彩色图像、一张采集得到的深度图(准确，因为是测量出来的，可能有缺失)、一张模拟出的深度图(完整，但准确性差些，因为是神经网络算出来的)、计算出的深度图每个点的自信度参数。有了以上内容，我们对采集到的深度图进行检测，如果存在缺失，那么我们就用计算出的深度图中对应数据进行填充(填充时候还要对填充内容做一次判断)。这样我们就得到修复后的深度图，然后进行后续建模。
在本发明的一个实施例中，填充的时候需要对填充内容进行判断，具体条件为：1，自信度数值高于0.8(自信度本身范围0-1，自信度低于0.8则放弃填充)；2，填充的深度数值小于3米(具体数值可以根据实际情况调整)，这是由于采集数据点间距一般在3米以内，3米以外一定有其他相机点位对该点数据进行补充(我们总是相信相机获取近处结果要由于远处)。
本发明的一个实施例提供了一种孔洞修复模型训练装置，如图3所示，所述装置包括：
图像预处理单元31，用于对全景图像进行高亮或低亮处理；所述高亮处理以模拟强光源照射，低亮处理以模拟低亮度照射；
模拟深度图获取单元32，用于将处理后的所述全景图像输入神经网络，得到模拟深度图；
孔洞修复模型训练单元33，用于根据所述全景图像对应的深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
所述装置还包括：
历史数据单元34，用于获取和存储所述全景图像对应的深度图根据历史数据；
所述孔洞修复模型训练单元33从所述历史数据单元获取所述全景图像对应的原始深度图。
所述图像预处理单元31，包括：
高亮处理子单元，用于从所述全景图像中选取部分方形区域；用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。
低亮处理子单元，用于识别所述全景图像中低亮的深色物体表面；将所述深色物体表面区域像素值降低，模拟深色物体表面。
所述模拟深度图获取单元32，还用于：
对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；
所述自信度定义如下：
自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；
其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
所述模拟深度图获取单元32，具体用于：
将所述全景图像对应的原始深度图与所述模拟深度图进行比较，获取所述高亮或低亮处理对相应位置的深度图的偏差；根据所述偏差训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
在本发明的一个实施例中，还提供了一种孔洞修复系统，如图4所示，采用如上述各个实施例所述的孔洞修复模型训练装置训练生成的孔洞修复模型，具体包括：
全景图像获取单元41，用于获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；
缺失位置确定单元42，用于当确定所述深度图中存在缺失信息时，获取缺失处位置；
孔洞修复单元43，用于根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
所述缺失位置确定单元42，具体用于：
确定所述深度图中是否存在深度数据缺失；当确定所述深度图中存在深度数据缺失时，则进一步确定所述深度数据缺失产生原因是否为对应的全景图像中的强光源照射或低亮度照射产生。
所述系统还包括：自信度判断单元44，用于获取所述模拟深度图的自信度；
所述孔洞修复单元43，用于当所述自信度大于预设值时，用所述模拟深度图替换原始的深度图。
所述系统还包括：深度阈值判断单元45，用于确定所述缺失处位置对应的模拟深度图的数值预设的阈值时，通知所述孔洞修复单元43；
所述孔洞修复单元43，用于根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
在本发明的一个实施例中，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。
在本发明的一个实施例中，还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的方法。
图5为本发明电子设备一个应用实施例的结构示意图。如图5所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本发明的各个实施例的基于行为分析的匹配方法以及/或者其他期望的功能。
在一个示例中，电子装置还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图5中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本发明各种实施例的基于行为分析的匹配方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
基于本发明上述实施例提供的平面标定板方案，主要包括如下有益效果：
首先对全景图像进行预处理，选取部分全景图像对全景图像进行高亮处理或低亮处理；将处理后的所述全景图像输入神经网络，得到模拟深度图；根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。其次利用孔洞修复模型对新的全景图像进行孔洞修复处理。孔洞修复处理还需要参照深度图的自信度，自信度大的深度数值进行修复。通过深度学习的方法得到现有设备盲区的点云深度信息，从而对解决模型孔洞的问题。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种孔洞修复模型训练方法，其特征在于，所述方法包括：
对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；
将处理后的所述全景图像输入神经网络，得到模拟深度图；
根据所述全景图像对应的原始深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述全景图像对应的原始深度图根据历史数据获取；或将所述全景图输入神经网络后得到所述全景图像对应的原始深度图。
3.如权利要求1所述的方法，其特征在于，所述对全景图像进行高亮处理或低亮处理，包括：
所述高亮处理包括：
从所述全景图像中选取部分方形区域；
用高斯核函数作用在所述方形区域的单位矩阵，得到模拟的高斯亮度源；
将所述方形区域内全景图像的像素值与对应高斯亮度源数值相加，得到模拟像素值；
将所述方形区域内全景图像的所述模拟像素值归一化到0-255范围内，得到高亮处理后的全景图像。
4.如权利要求2或3所述的方法，其特征在于，所述对全景图像进行高亮或低亮处理，包括：
所述低亮处理包括：
识别所述全景图像中低亮的深色物体表面；
将所述深色物体表面区域像素值降低，模拟深色物体表面。
5.如权利要求1所述的方法，其特征在于，所述将处理后的所述全景图像输入神经网络，得到模拟深度图，还包括：
对于模拟深度图中每个位置深度值设置自信度；所述自信度描述模拟的每个深度值与真实深度值的偏差的量；
所述自信度定义如下：
自信度Loss_conf＝1–abs(depth_pred–depth_gt)*alpha；
其中，abs为取绝对值；depth_pred为模拟得到的深度值；depth_gt为真实的深度值；alpha为预设的超参数。
6.一种孔洞修复方法，其特征在于，采用如权利要求1～7任一所述的孔洞修复模型，所述方法包括：
获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；
当确定所述深度图中存在缺失信息时，获取缺失处位置；
根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
7.一种孔洞修复模型训练装置，其特征在于，所述装置包括：
图像预处理单元，用于对全景图像进行高亮处理或低亮处理；所述高亮处理用以模拟强光源照射，低亮处理用以模拟低亮度照射；
模拟深度图获取单元，用于将处理后的所述全景图像输入神经网络，得到模拟深度图；
孔洞修复模型训练单元，用于根据所述全景图像对应的深度图与所述模拟深度图，训练在强光源照射或者低亮度照射情况下的孔洞修复模型。
8.一种孔洞修复系统，其特征在于，采用如权利要求12～16任一所述的孔洞修复模型训练装置训练生成的孔洞修复模型，具体包括：
全景图像获取单元，用于获取全景图像，将所述全景图输入到神经网络中，获取对应的深度图；
缺失位置确定单元，用于当确定所述深度图中存在缺失信息时，获取缺失处位置；
孔洞修复单元，用于根据所述孔洞修复模型，将所述缺失处位置对应的深度图进行孔洞修复。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1-5任一所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930721.8A CN112037150B (zh) | 2020-09-07 | 2020-09-07 | 孔洞修复模型训练及修复方法、装置、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930721.8A CN112037150B (zh) | 2020-09-07 | 2020-09-07 | 孔洞修复模型训练及修复方法、装置、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112037150A true CN112037150A (zh) | 2020-12-04 |
| CN112037150B CN112037150B (zh) | 2022-05-24 |
Family
ID=73585388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010930721.8A Active CN112037150B (zh) | 2020-09-07 | 2020-09-07 | 孔洞修复模型训练及修复方法、装置、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037150B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862006A (zh) * | 2021-03-25 | 2021-05-28 | 北京百度网讯科技有限公司 | 图像深度信息获取模型的训练方法、装置及电子设备 |
| JP2022100299A (ja) * | 2020-12-23 | 2022-07-05 | 日本電気株式会社 | 画像処理の方法、デバイス及びコンピュータ可読記憶媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
| CN111629194A (zh) * | 2020-06-10 | 2020-09-04 | 北京中科深智科技有限公司 | 一种基于神经网络的全景视频转6dof视频的方法及系统 |
-
2020
- 2020-09-07 CN CN202010930721.8A patent/CN112037150B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
| CN111629194A (zh) * | 2020-06-10 | 2020-09-04 | 北京中科深智科技有限公司 | 一种基于神经网络的全景视频转6dof视频的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 阴敬方等: "基于引导对抗网络的人体深度图像修补方法", 《系统仿真学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022100299A (ja) * | 2020-12-23 | 2022-07-05 | 日本電気株式会社 | 画像処理の方法、デバイス及びコンピュータ可読記憶媒体 |
| JP7363883B2 (ja) | 2020-12-23 | 2023-10-18 | 日本電気株式会社 | 画像処理の方法、デバイス及びコンピュータ可読記憶媒体 |
| CN112862006A (zh) * | 2021-03-25 | 2021-05-28 | 北京百度网讯科技有限公司 | 图像深度信息获取模型的训练方法、装置及电子设备 |
| CN112862006B (zh) * | 2021-03-25 | 2024-02-06 | 北京百度网讯科技有限公司 | 图像深度信息获取模型的训练方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112037150B (zh) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN110069972B (zh) | 自动探测真实世界物体 | |
| CN111401246B (zh) | 一种烟雾浓度检测方法、装置、设备及存储介质 | |
| CN112037150B (zh) | 孔洞修复模型训练及修复方法、装置、系统 | |
| CN109635634B (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
| CN109902761B (zh) | 一种基于海洋环境因子融合和深度学习的渔情预测方法 | |
| CN115393727B (zh) | 一种路面线性裂缝识别方法、电子设备及存储介质 | |
| CN111160261A (zh) | 用于自动售货柜的样本图像标注方法、装置及存储介质 | |
| CN114066857A (zh) | 红外图像质量评价方法、装置、电子设备及可读存储介质 | |
| WO2020140826A1 (zh) | 一种基于轮廓提取的目标物红外测温方法、装置及存储介质 | |
| CN116612111B (zh) | 一种高强度复合材料加工质量检测方法 | |
| CN110826581A (zh) | 一种动物数量识别方法、装置、介质及电子设备 | |
| CN112801227A (zh) | 一种台风识别模型的生成方法、装置、设备及存储介质 | |
| CN116229451A (zh) | 一种三维目标检测方法、装置、设备及存储介质 | |
| CN111507135A (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| KR20230042706A (ko) | Lfa 테스트 스트립의 신경망 분석 | |
| CN114067172A (zh) | 一种仿真图像生成方法、仿真图像生成装置及电子设备 | |
| Nader et al. | Visual contrast sensitivity and discrimination for 3D meshes and their applications | |
| US11972562B2 (en) | Method for determining plant growth curve and electronic device | |
| CN111275642A (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| Abouali et al. | Fire ROS Calculator: a tool to measure the rate of spread of a propagating wildfire in a laboratory setting | |
| CN113627346A (zh) | 一种通道闸检测方法、装置、设备及可读存储介质 | |
| CN111144441B (zh) | 一种基于特征匹配的dso光度参数估计方法及装置 | |
| Lyu et al. | Validation of image systems simulation technology using a cornell box | |
| CN109146966B (zh) | 视觉slam前端处理方法、系统、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210414 Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd. Address before: Unit 05, room 112, 1st floor, office building, Nangang Industrial Zone, economic and Technological Development Zone, Binhai New Area, Tianjin 300457 Applicant before: BEIKE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220324 Address after: 100085 8th floor, building 1, Hongyuan Shouzhu building, Shangdi 6th Street, Haidian District, Beijing Applicant after: As you can see (Beijing) Technology Co.,Ltd. Address before: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing Applicant before: Seashell Housing (Beijing) Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201204 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: As you can see (Beijing) Technology Co.,Ltd. Contract record no.: X2023110000092 Denomination of invention: Hole repair model training and repair methods, devices, and systems Granted publication date: 20220524 License type: Common License Record date: 20230818 |
|
| EE01 | Entry into force of recordation of patent licensing contract |