CN109308678B - 利用全景图像进行重定位的方法、装置及设备 - Google Patents
利用全景图像进行重定位的方法、装置及设备 Download PDFInfo
- Publication number
- CN109308678B CN109308678B CN201710631246.2A CN201710631246A CN109308678B CN 109308678 B CN109308678 B CN 109308678B CN 201710631246 A CN201710631246 A CN 201710631246A CN 109308678 B CN109308678 B CN 109308678B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- processed
- feature map
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 85
- 238000011176 pooling Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质，涉及图像处理技术领域，能够提高利用全景图像进行定位的准确性。所述方法包括：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。本发明实施例可提高利用全景图像进行定位的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质。
背景技术
由于能够带给观者更广阔的视角，图像中包含更丰富的内容，因此全景图像的摄像头受到了越来越多的喜欢。
现有技术中提出了一种利用卷积神经网络、通过对场景图像进行分析从而进行位置识别的方案。在该方案中，考察了在以下两种情况下，均沿着同一路线进行两次往返，第一次往返采集的图像数据用作训练数据集，第二次用作测试数据集。通过固定相机位置的方式采集训练及测试数据集，没有引入由于相机旋转带来的视角偏移。经测试，第二次往返进行数据采集过程中相机发生了不超过5米的横向位置偏移。在此方案中，通过固定相机位置的方式采集训练及测试数据集，没有引入由于相机旋转带来的视角偏移。然而，在实际应用中，相机很可能发生水平旋转，而这将在一定程度上影响定位结果的准确性。
发明内容
有鉴于此，本发明提供一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质，能够提高利用全景图像进行定位的准确性。
为解决上述技术问题，一方面，本发明提供一种利用全景图像进行重定位的方法，包括：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，所述对所述全景图像进行预处理，获得待处理子图像，包括：
将所述全景图像的等距柱状投影映射到单位球面；
从所述单位球面的球面中心点将所述单位球面映射到外切立方体；
展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。
其中，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，
所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。
其中，当所述待处理子图像只包括所述全景图像的中间区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图；
当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
第二方面，本发明实施例提供一种利用全景图像进行重定位的装置，包括：
图像获取模块，用于获取全景图像；
图像预处理模块，用于对所述全景图像进行预处理，获得待处理子图像；
第一图像处理模块，用于将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
第二图像处理模块，用于对所述深层特征图进行旋转不变池化处理；
重定位模块，用于将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
第三方面，本发明实施例提供一种电子设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
本发明的上述技术方案的有益效果如下：
在本发明实施例中，将输入的全景图像经预处理后获得待处理子图像，而后将待处理子图像经多路径卷积神经网络后获得深层特征图。在通过对深层特征图进行旋转不变池化处理后，输入到全连接模型中，进而确定重定位后的位置信息。通过以上描述可以看出，将全景图像进行预处理，可去除图像中畸变，降低畸变对定位准确性的影响；而经预处理后的待处理子图像经卷积神经网络提取特征、对特征进行旋转不变池化处理，将处理后的特征图输入到全连接模型并回归出位置信息，可降低相机旋转对定位准确性的影响。
附图说明
图1为本发明实施例的全景图像拼接方法的流程图；
图2为本发明实施例的全景图像提取场景的示意图；
图3为本发明实施例的基于卷积神经网络及全景输入图像的重定位流程图；
图4为本发明实施例的全景图像拼接方法的流程图；
图5为全景图像的等距柱状投影；
图6为全景图像对应的立方体投影；
图7为本发明实施例中对所提取的全景图像的中间部分图像的特征图进行旋转不变池化操作的示意图；
图8为本发明实施例中对所提取全景图像的顶部图像的特征图进行旋转不变池化操作的示意图；
图9为本发明实施例的定位效果示意图；
图10为本发明实施例的利用全景图像进行重定位的装置的示意图；
图11为本发明实施例的图像预处理模块的示意图；
图12为本发明实施例的重定位模块的示意图；
图13为本发明实施例的重定位模块的示意图；
图14为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明实施例的全景图像拼接方法，包括：
步骤101、获取全景图像。
在本发明实施例中，在某个场景中，沿指定路线利用全景相机录制视频片段，并对该视频进行逐帧提取，并将提取的多帧全景图像作为训练(测试)数据集。如图2所示，场景维度为36m*36m。同时，为保证训练集及测试集之间的差异性，在不同时间进行训练及测试视频的摄取，进而获得全景图像。
步骤102、对所述全景图像进行预处理，获得待处理子图像。
在本发明实施例中，对全景图像进行预处理，将所述全景图像的等距柱状投影映射到单位球面，从所述单位球面的球面中心点将所述单位球面映射到外切立方体，展开所述外切立方体，得到待处理子图像。
在实际应用中，可将每个全景图像的等距柱状投影做如下划分：从全景图像的顶部开始，选取宽度为整个全景图像1/4宽的区域作为顶部区域；从全景图像的底部开始，选取宽度为整个全景图像1/4宽的区域作为底部区域；剩下的区域为中间区域，那么中间区域的宽度为整个全景图像宽度的1/2。各区域的长度与全景图像的长度相等。由于全景图像的等距柱状投影中间区域的畸变是在可接受范围内，如果其顶部及底部发生不合理畸变，因此，其中所述待处理子图像可以包括所述全景图像的中间区域图像。当然，对于全景图像顶部及底部含有较多信息的情况，可对其进行去除畸变，此时，所述待处理子图像还可以包括：所述全景图像的顶部区域图像；或者，所述待处理子图像还可以包括：所述全景图像的顶部区域图像和底部区域图像。
步骤103、将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图。
具体的，在此步骤中，当所述待处理子图像只包括所述全景图像的中间区域图像时，将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
具体的，在此步骤中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
具体的，在此步骤中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
步骤104、对所述深层特征图进行旋转不变池化处理。
具体的，在此步骤中，当所述待处理子图像包括所述全景图像的中间区域图像时，提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图；
具体的，在此步骤中，提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
步骤105、将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
当所述待处理子图像只包括所述全景图像的中间区域图像时，那么可直接将中间区域的新的特征图输入到全连接模型中，全连接模型的输出即为重定位后的位置信息。
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，在此，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图，然后，将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，在此，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图，然后，将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
在本发明实施例中，将输入的全景图像经预处理后获得待处理子图像，而后将待处理子图像经多路径卷积神经网络后获得深层特征图。在通过对深层特征图进行旋转不变池化处理后，输入到全连接模型中，进而确定重定位后的位置信息。通过以上描述可以看出，将全景图像进行预处理，可去除图像中畸变，降低畸变对定位准确性的影响；而经预处理后的待处理子图像经卷积神经网络提取特征、对特征进行旋转不变池化处理，将处理后的特征图输入到全连接模型并回归出位置信息，可降低相机旋转对定位准确性的影响。
图3示出了基于卷积神经网络及全景输入图像的重定位流程图。图3中，从上到下依次示出了顶部区域图像，中间区域图像和底部区域图像的处理过程。
输入全景图像大小为960*1920*3，输入图像顶部图像大小为448*448*3，输入图像中间部分图像大小为448*1792*3，输入图像底部图像大小为448*448*3。对于每部分图像，分别经过卷积神经网络的卷积块1、2、3、4、5，神经网络的输出再作为旋转不变池化的输入，旋转不变池化的输出经全连接层1、2、3后，得到位置信息。
结合图4，本发明实施例的利用全景图像进行重定位方法包括：
步骤401、获取全景图像。
在此，收集训练及测试数据集。在本发明实施例中，数据集的采集方法为：沿指定路线利用全景相机Theta S录制视频片段，将视频进行逐帧提取，并将提取的多帧图像作为训练(测试)数据集。在本实施例中，视频采集场景为A公司的办公场所，如图2所示，场景维度为36m*36m。同时，为保证训练集及测试集之间的差异性，在不同时间进行训练及测试视频的摄取。
步骤402、对获取的全景图像进行预处理。
处理方法包括以下步骤：
(1)剪切图像底部受噪声影响严重部分图像。上述处理的主要原因是，由于图像采集方式为手持相机，造成图像底部为采集人员的手指，可视为人为强干扰噪声。
(2)对经过上述处理后的得到的图像进行进一步处理以减少图像顶部的畸变。具体为：将全景相机Theta S输出的宽高比为2:1的等距柱状投影图像转换为立方体投影。
那么，输入的全景图像经上述步骤处理后可视为由以下两部分构成：经上述步骤去除畸变的立方体顶部图像，及具有可接受的拉伸的等距柱状投影的中间部分图像。
图5为全景图像的等距柱状投影，图6为全景图像对应的立方体投影。
步骤403、将所得的两部分图像分别作为两路卷积神经网络的输入，获得两部分图像对应的特征图。
步骤404、对两部分图像对应的特征图进行特征提取，具体包括：
加载卷积层的权值，其中该权值为在其他大数据集上预训练的权值。利用卷积网络对输入图像进行特征提取，并对特征进行旋转不变池化操作，使输入图像由具有旋转不变性的特征表示。具体步骤为：
结合图7，对于网络的输入为全景图像中间部分的情况，当相机发生水平旋转后，经卷积神经网的卷积层提取得到的特征图将发生如图所示的水平位移。针对这一变化，提取整个特征图的行最大值，即图中星号标记的位置，作为新的特征图，利用水平旋转后特征图行最大值不变的特点，获得具有旋转不变性的特征：
结合图8，对于网络的输入为全景图像顶部的情况，当相机发生水平旋转后，经卷积神经网的卷积层提取得到的特征图将发生如图所示的以中心为轴的旋转。针对这一变化，提取整个特征图的最大值，即图中星号标记的位置，作为新的特征图，利用发生以中心为轴的旋转后特征图的最大值不变的特点，获得具有旋转不变性的特征：
其中i，j分别表示所得特征图的行、列，m、n分别代表行列总数，k为特征图的深度。
上述提取新的特征图的过程可称为旋转不变池化处理。
步骤405、将两路径过池化后的特征图拼接，并将拼接后的特征图输入到全连接模型中。
经过多个全连接层，最终收敛到输出层，输出层为含有多个隐含节点的全连接层。该全连接模型的输出即为重定位后的相机的位置信息。
在本实施例中，全连接层数为3，其中隐含节点数分别为4096，2048，3。
在本实施例中，由于图像采集方式为手持相机的方式，导致全景图像底部区域为强人为干扰噪声，在实际应用中，如采集方式为固定相机的方式进行图像采集，那么，可在将底部区域图像去除畸变后，加以利用。此时，所述两路卷积神经网络可扩展到三路卷积神经网络。
如图9所示，图中显示了模型在测试数据集上的定位误差的累积直方图。基于此结果，本发明实施例所提出的重定位方案可以应用到基于定位的应用场景中，同时，本发明实施例所提出的多路径卷积神经网络结构性能优于单路径卷积神经网络结构，因此使用本发明提出的多路径卷积神经网络结构可以进一步改进重定位性能。
如图10所示，本发明实施例的利用全景图像进行重定位的装置1000，包括：
图像获取模块1001，用于获取全景图像；图像预处理模块1002，用于对所述全景图像进行预处理，获得待处理子图像；第一图像处理模块1003，用于将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；第二图像处理模块1004，用于对所述深层特征图进行旋转不变池化处理；重定位模块1005，用于将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，如图11所示，所述图像预处理模块1002可包括：
第一映射子模块10021，用于将所述全景图像的等距柱状投影映射到单位球面；第二映射子模块10022，用于从所述单位球面的球面中心点将所述单位球面映射到外切立方体；处理子模块10023，用于展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。
在本发明实施例中，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。
其中，所述第一图像处理模块1003可具体用于，当所述待处理子图像只包括所述全景图像的中间区域图像时，将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
其中，所述第一图像处理模块1003可具体用于，将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
其中，所述第一图像处理模块1003可具体用于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
其中，所述第二图像处理模块1004具体用于，当所述待处理子图像包括所述全景图像的中间区域图像时，提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图。
其中，所述第二图像处理模块1004具体用于，当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
其中，如图12所示，所述重定位模块1005包括：
第一拼接子模块10051，用于当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；第一重定位子模块10052，用于将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，如图13所示，所述重定位模块1005包括：
第二拼接子模块10053，用于当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；第二重定位子模块10054，用于将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
本发明实施例所述的装置的工作原理可参照前述方法实施例的描述。
在本发明实施例中，将输入的全景图像经预处理后获得待处理子图像，而后将待处理子图像经多路径卷积神经网络后获得深层特征图。在通过对深层特征图进行旋转不变池化处理后，输入到全连接模型中，进而确定重定位后的位置信息。通过以上描述可以看出，将全景图像进行预处理，可去除图像中畸变，降低畸变对定位准确性的影响；而经预处理后的待处理子图像经卷积神经网络提取特征、对特征进行旋转不变池化处理，将处理后的特征图输入到全连接模型并回归出位置信息，可降低相机旋转对定位准确性的影响。
如图14所示，本发明实施例提供了一种电子设备，包括：处理器1401和存储器1402，在所述存储器1402中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器1401执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
进一步地，如图14所示，电子设备还包括网络接口1403、输入设备1404、硬盘1405、和显示设备1406。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器1401代表的一个或者多个中央处理器(CPU)，以及由存储器1402代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口1403，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘1405中。
所述输入设备1404，可以接收操作人员输入的各种指令，并发送给处理器1401以供执行。所述输入设备1404可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备1406，可以将处理器1401执行指令获得的结果进行显示。
所述存储器1402，用于存储操作系统运行所必须的程序和数据，以及处理器1401计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器1402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器1402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统14021和应用程序14014。
其中，操作系统14021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序14014，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序14014中。
上述处理器1401，当调用并执行所述存储器1402中所存储的应用程序和数据，具体的，可以是应用程序14014中存储的程序或指令时，获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
本发明上述实施例揭示的方法可以应用于处理器1401中，或者由处理器1401实现。处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1402，处理器1401读取存储器1402中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
将所述全景图像的等距柱状投影映射到单位球面；从所述单位球面的球面中心点将所述单位球面映射到外切立方体；展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。
其中，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像只包括所述全景图像的中间区域图像时，将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的中间区域图像时，提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
具体地，处理器1401还用于读取所述计算机程序，执行如下步骤:
当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，所述对所述全景图像进行预处理，获得待处理子图像，包括：
将所述全景图像的等距柱状投影映射到单位球面；
从所述单位球面的球面中心点将所述单位球面映射到外切立方体；
展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。
其中，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，
所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。
其中，当所述待处理子图像只包括所述全景图像的中间区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图；
当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
本发明实施例的方案可应用于诸多领域，如移动机器人、导航和增强现实等。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种利用全景图像进行重定位的方法，其特征在于，包括：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的相机的位置信息；
其中，所述待处理子图像至少包括所述全景图像的中间区域图像；
当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域图像对应的深层特征图的行最大值，作为所述全景图像的中间区域图像对应的新的特征图。
2.根据权利要求1所述的方法，其特征在于，所述对所述全景图像进行预处理，获得待处理子图像，包括：
将所述全景图像的等距柱状投影映射到单位球面；
从所述单位球面的球面中心点将所述单位球面映射到外切立方体；
展开所述外切立方体，得到待处理子图像。
3.根据权利要求2所述的方法，其特征在于，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，
所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。
4.根据权利要求2所述的方法，其特征在于，当所述待处理子图像只包括所述全景图像的中间区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。
5.根据权利要求3所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。
6.根据权利要求3所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：
将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。
7.根据权利要求3所述的方法，其特征在于，
当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。
8.根据权利要求5所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
9.根据权利要求6所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：
将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；
将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。
10.一种利用全景图像进行重定位的装置，其特征在于，包括：
图像获取模块，用于获取全景图像；
图像预处理模块，用于对所述全景图像进行预处理，获得待处理子图像；
第一图像处理模块，用于将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
第二图像处理模块，用于对所述深层特征图进行旋转不变池化处理；
重定位模块，用于将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的相机的位置信息；
其中，所述待处理子图像至少包括所述全景图像的中间区域图像；
当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域图像对应的深层特征图的行最大值，作为所述全景图像的中间区域图像对应的新的特征图。
11.一种电子设备，其特征在于，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的相机的位置信息；
其中，所述待处理子图像至少包括所述全景图像的中间区域图像；
当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域图像对应的深层特征图的行最大值，作为所述全景图像的中间区域图像对应的新的特征图。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取全景图像；
对所述全景图像进行预处理，获得待处理子图像；
将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；
对所述深层特征图进行旋转不变池化处理；
将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的相机的位置信息；
其中，所述待处理子图像至少包括所述全景图像的中间区域图像；
当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：
提取所述中间区域图像对应的深层特征图的行最大值，作为所述全景图像的中间区域图像对应的新的特征图。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710631246.2A CN109308678B (zh) | 2017-07-28 | 2017-07-28 | 利用全景图像进行重定位的方法、装置及设备 |
| JP2018109129A JP6575638B2 (ja) | 2017-07-28 | 2018-06-07 | パノラマ画像を用いる再位置決め方法、装置及び電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710631246.2A CN109308678B (zh) | 2017-07-28 | 2017-07-28 | 利用全景图像进行重定位的方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109308678A CN109308678A (zh) | 2019-02-05 |
| CN109308678B true CN109308678B (zh) | 2023-10-27 |
Family
ID=65205161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710631246.2A Active CN109308678B (zh) | 2017-07-28 | 2017-07-28 | 利用全景图像进行重定位的方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6575638B2 (zh) |
| CN (1) | CN109308678B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258561B (zh) * | 2019-07-22 | 2023-08-25 | 复旦大学 | 针对图像拼接的匹配点获取方法 |
| KR102059305B1 (ko) * | 2019-09-09 | 2019-12-24 | 최한성 | 엘리베이터용 패널 제조 공정의 제어 방법 및 장치 |
| KR102056030B1 (ko) | 2019-09-16 | 2019-12-16 | 박근표 | 막구조물 제조 공정을 위한 제어 방법 및 장치 |
| KR102051974B1 (ko) * | 2019-09-20 | 2019-12-04 | 박흥용 | 금속 탱크 제조 공정의 제어 방법 및 장치 |
| CN110910344B (zh) * | 2019-10-12 | 2022-09-13 | 上海交通大学 | 一种全景图片无参考质量评价方法、系统及设备 |
| CN111091491B (zh) * | 2019-12-20 | 2023-05-05 | 知鱼科技丹阳有限公司 | 一种等距圆柱投影的全景视频像素再分配方法及系统 |
| CN113128662A (zh) * | 2020-01-16 | 2021-07-16 | 波音公司 | 卷积神经网络及基于卷积神经网络的图像处理方法 |
| CN111382696A (zh) * | 2020-03-06 | 2020-07-07 | 北京百度网讯科技有限公司 | 用于检测目标的边界点的方法和装置 |
| WO2021237443A1 (zh) * | 2020-05-26 | 2021-12-02 | 蜂图志科技控股有限公司 | 一种视觉定位方法、装置、设备及可读存储介质 |
| CN113516155A (zh) * | 2021-04-12 | 2021-10-19 | 佛山市顺德区美的洗涤电器制造有限公司 | 用于处理图像的方法、处理器、控制装置及家用电器 |
| CN114972267A (zh) * | 2022-05-31 | 2022-08-30 | 腾讯音乐娱乐科技（深圳）有限公司 | 全景视频评价方法、计算机设备和计算机程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609942A (zh) * | 2011-01-31 | 2012-07-25 | 微软公司 | 使用深度图进行移动相机定位 |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN106529446A (zh) * | 2016-10-27 | 2017-03-22 | 桂林电子科技大学 | 基于多分块深层卷积神经网络的车型识别方法和系统 |
| CN106776548A (zh) * | 2016-12-06 | 2017-05-31 | 上海智臻智能网络科技股份有限公司 | 一种文本的相似度计算的方法和装置 |
| US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
| CN106875446A (zh) * | 2017-02-20 | 2017-06-20 | 清华大学 | 相机重定位方法及装置 |
| CN106875450A (zh) * | 2017-02-20 | 2017-06-20 | 清华大学 | 用于相机重定位的训练集优化方法及装置 |
| CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000048187A (ja) * | 1998-07-29 | 2000-02-18 | Fuji Photo Film Co Ltd | 画像変換方法 |
| JP2004015766A (ja) * | 2002-06-12 | 2004-01-15 | Nippon Telegr & Teleph Corp <Ntt> | 全方位カメラパラメータ・姿勢検出方法、全方位カメラパラメータ・姿勢検出装置、全方位カメラパラメータ・姿勢検出プログラム、及びそのプログラムを記録した記録媒体 |
| US7565029B2 (en) * | 2005-07-08 | 2009-07-21 | Seiko Epson Corporation | Method for determining camera position from two-dimensional images that form a panorama |
| US20120300020A1 (en) * | 2011-05-27 | 2012-11-29 | Qualcomm Incorporated | Real-time self-localization from panoramic images |
| CN108604383A (zh) * | 2015-12-04 | 2018-09-28 | 奇跃公司 | 重新定位系统和方法 |
-
2017
- 2017-07-28 CN CN201710631246.2A patent/CN109308678B/zh active Active
-
2018
- 2018-06-07 JP JP2018109129A patent/JP6575638B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609942A (zh) * | 2011-01-31 | 2012-07-25 | 微软公司 | 使用深度图进行移动相机定位 |
| US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
| CN106529446A (zh) * | 2016-10-27 | 2017-03-22 | 桂林电子科技大学 | 基于多分块深层卷积神经网络的车型识别方法和系统 |
| CN106776548A (zh) * | 2016-12-06 | 2017-05-31 | 上海智臻智能网络科技股份有限公司 | 一种文本的相似度计算的方法和装置 |
| CN106875446A (zh) * | 2017-02-20 | 2017-06-20 | 清华大学 | 相机重定位方法及装置 |
| CN106875450A (zh) * | 2017-02-20 | 2017-06-20 | 清华大学 | 用于相机重定位的训练集优化方法及装置 |
| CN106934404A (zh) * | 2017-03-10 | 2017-07-07 | 深圳市瀚晖威视科技有限公司 | 一种基于cnn卷积神经网络的图像火焰识别系统 |
Non-Patent Citations (1)
| Title |
|---|
| Delving Deeper into Convolutional Neural Networks for Camera Relocalization;Jian Wu等;《2017 IEEE International Conference on Robotics and Automation (ICRA)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019029002A (ja) | 2019-02-21 |
| CN109308678A (zh) | 2019-02-05 |
| JP6575638B2 (ja) | 2019-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308678B (zh) | 利用全景图像进行重定位的方法、装置及设备 | |
| Yu et al. | Towards efficient and scale-robust ultra-high-definition image demoiréing | |
| US20200356818A1 (en) | Logo detection | |
| CN108875523B (zh) | 人体关节点检测方法、装置、系统和存储介质 | |
| EP2680222A1 (en) | Method, apparatus and computer program product for processing media content | |
| CN107633526A (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
| US9245315B2 (en) | Method, apparatus and computer program product for generating super-resolved images | |
| CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| Zhao et al. | Rs-mamba for large remote sensing image dense prediction | |
| CN108875492B (zh) | 人脸检测及关键点定位方法、装置、系统和存储介质 | |
| CN109919110B (zh) | 视频关注区域检测方法、装置及设备 | |
| CN113674146A (zh) | 图像超分辨率 | |
| CN107590811B (zh) | 基于场景分割的风景图像处理方法、装置及计算设备 | |
| US10129504B2 (en) | Method and system for measuring quality of video call | |
| CN108711144A (zh) | 增强现实方法及装置 | |
| CN106504196A (zh) | 一种基于空间球面的全景视频拼接方法及设备 | |
| US20150131909A1 (en) | Method, apparatus and computer program product for generating panorama images | |
| CN108805799A (zh) | 全景图像合成装置、方法及计算机可读存储介质 | |
| US20150154736A1 (en) | Linking Together Scene Scans | |
| CN112348008A (zh) | 证件信息的识别方法、装置、终端设备及存储介质 | |
| CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 | |
| CN110134815A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN107622498B (zh) | 基于场景分割的图像穿越处理方法、装置及计算设备 | |
| CN110097061A (zh) | 一种图像显示方法及装置 | |
| CN116912467A (zh) | 图像拼接方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |