CN109272442A - 全景球面图像的处理方法、装置、设备和存储介质 - Google Patents
全景球面图像的处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109272442A CN109272442A CN201811133511.5A CN201811133511A CN109272442A CN 109272442 A CN109272442 A CN 109272442A CN 201811133511 A CN201811133511 A CN 201811133511A CN 109272442 A CN109272442 A CN 109272442A
- Authority
- CN
- China
- Prior art keywords
- matrix
- spherical surface
- value
- convolution
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 270
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000010606 normalization Methods 0.000 claims description 84
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 21
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 abstract description 3
- 239000011248 coating agent Substances 0.000 description 11
- 238000000576 coating method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种全景球面图像的处理方法、装置、设备和存储介质。所述方法包括：对球面图像的球面像素矩阵进行至少一次卷积处理，形成球面卷积值矩阵；根据球面卷积值矩阵进行处理，形成球面图像的处理结果。本发明实施例的技术方案解决了现有技术中对全景数据的处理结果难以正确展现全景数据的图像特征，且存在全景数据丢失现象的技术缺陷，提高了全景数据的图像处理结果的有效性和正确性，使得全景数据的图像处理结果中图像信息完整，且可以很好地展现全景数据的图像特征，同时，还可以更好地对全景数据进行审核、修补、标注、匹配、猜词和关键点识别等处理。
Description
技术领域
本发明实施例涉及全景数据处理技术领域，尤其涉及一种全景球面图像的处理方法、装置、设备和存储介质。
背景技术
全景数据作为一种新型信息数据，和传统图像数据相比具有连贯性、数据的展示，多线性、多角度、临场感、大空间、高交互等优点。可为用户提供更丰富的视觉信息、更强烈的沉浸感，通过全景带给用户更真实和更有趣味的视觉体验。
全景数据通常存储成为一张2:1的图片，或者六张正方形图片，用来表示一个六面体。而全景数据的展示，是将存储的图片数据映射到一个球体的表面。现有技术中，对上述2:1的图片，一般是通过分类、目标检测、图像分割、图像视觉特征提取、图像猜词和图像关键点提取等方法进行图像处理。对上述六张正方形图片，一般是分别对这六张正方形图片进行分类、目标检测、图像分割、图像视觉特征提取、图像猜词和图像关键点提取等方法进行处理之后，综合这六张正方形图片各自的处理结果，得到全景图像数据的图像处理结果。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：全景数据的处理结果中存在数据丢失、难以正确展现全景数据无边界性的特点的问题。
发明内容
有鉴于此，本发明实施例提供了一种全景球面图像的处理方法、装置、设备和存储介质，以优化现有的全景数据的处理方式，提高全景数据处理结果的有效性和正确性。
在第一方面，本发明实施例提供了一种全景球面图像的处理方法，应用于卷积神经网络，包括：
依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵；
根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果。
在第二方面，本发明实施例提供了一种全景球面图像的处理装置，包括：
卷积模块，用于对球面图像的球面像素矩阵进行至少一次卷积处理，形成球面卷积值矩阵；
处理结果获取模块，用于根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果；
其中，所述卷积模块包括：
区域映射单元，用于针对待处理球面矩阵的每个待处理点，将所述待处理点的球面特征区域映射至平面特征区域，其中，所述待处理球面矩阵为所述球面像素矩阵或前一次卷积的球面卷积值矩阵；
卷积特征值计算单元，用于根据平面特征区域中的矩阵值，计算所述待处理点的卷积特征值；
待处理点更新单元，用于按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
在第三方面，本发明实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的全景球面图像的处理方法。
在第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所述的全景球面图像的处理方法。
本发明实施例提供了一种全景球面图像的处理方法、装置、设备和存储介质，通过直接对球面图像进行卷积处理，实现了直接使用球面图像的原始完整图像特征进行卷积操作，使得球面图像的卷积结果可以更加完整、更加准确地体现球面图像的原有图像特征，解决了现有技术中对全景数据的处理结果难以正确展现全景数据的图像特征，且存在全景数据丢失现象的技术缺陷，提高了全景数据的图像处理结果的有效性和正确性，使得全景数据的图像处理结果中图像信息完整，且可以很好地展现全景数据的图像特征，同时，还可以更好地对全景数据进行审核、修补、标注、匹配、猜词和关键点识别等处理。
附图说明
图1是本发明实施例一提供的一种全景球面图像的处理方法的流程图；
图2是本发明实施例二提供的一种全景球面图像的处理方法的流程图；
图3a是本发明实施例三提供的一种全景球面图像的处理方法的流程图；
图3b是本发明实施例三提供的一种视野圆锥、相交平面以及平面特征区域的示意图；
图4是本发明实施例四提供的一种全景球面图像的处理装置的结构图；
图5是本发明实施例五提供的一种设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种全景球面图像的处理方法的流程图，本实施例的方法可以由全景球面图像的处理装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于图像处理设备中，例如计算机等。本实施例的方法具体包括：
S101、依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵。
在本实施例中，球面图像具体是指将全景数据映射至球面上形成的球面图像。球面像素矩阵具体是指将球面图像中的各个像素点的像素数据及其球面坐标按照矩阵形式进行存储得到的矩阵。
在本实施例中，用于执行步骤101和步骤102所组成的全景球面图像的处理方法的卷积神经网络中的卷积层，不是常规意义上的用于对平面图像数据进卷积处理的卷积层，而是对球面图像数据进行处理的卷积层。由于所处理图像数据的维度不同，因此，本实施例中的卷积过程与现有技术中的卷积过程有着本质的区别。本实施例中的卷积过程具体包括下面A、B和C三个步骤：
A、针对待处理球面矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域，其中，待处理球面矩阵为球面像素矩阵或前一次卷积的球面卷积值矩阵。
在本实施例中，待处理球面矩阵具体可以是初始输入至卷积神经网络的球面像素矩阵，也可以是前一次卷积处理之后得到的球面卷积值矩阵。可以理解的是，卷积神经网络一般会包含有多个卷积层，即需要对卷积神经网络的输入数据进行多次卷积处理，因此，本实施例中的“待处理球面矩阵”可以是任一卷积层输出的球面卷积值矩阵。
进一步地，卷积神经网络中不但包含有卷积层，还可能在相邻的两个卷积层之间，或是最后一个卷积层与第一个全连接层之间设置有激活层、池化层以及归一化层中的一个或多个，以对本次卷积结果进行优化处理。因此，本实施例中的“待处理球面矩阵”还可以是激活层、池化层或归一化层输出的球面矩阵。
步骤101中的以下内容，以“待处理球面矩阵”为“球面像素矩阵”为例进行具体说明，当“待处理球面矩阵”为“前一次卷积的球面卷积值矩阵”时，可完全参考以下内容进行卷积处理。
在本实施例中，待处理点具体是指以球面像素矩阵中的第一个待处理点为起点，以卷积步长值为单位步长，遍历整个球面像素矩阵时，所遍历到的所有像素点。其中，第一个待处理点具体可以是球面像素矩阵中的任一像素点。卷积步长值具体可以是角度值或距离值等。
可以理解的是，球面像素矩阵对应的像素点为离散像素点，如果这些离散像素点并非均匀分布于球面图像中，那么由于卷积步长值是一个固定数值，所以在根据卷积步长值遍历整个球面像素矩阵时，可能无法遍历到上述所有离散像素点；如果这些离散像素点均匀分布于球面图像中，那么只有当卷积步长值和相邻像素点之间的角度距离或球面距离相匹配时，才能在根据卷积步长值遍历整个球面像素矩阵时遍历到上述所有离散像素点。
在本实施例中，待处理点的球面特征区域具体是指球面图像中与待处理点的位置匹配的，用于获取待处理点的卷积特征值的球面区域。示例性的，待处理点的球面特征区域可以是待处理点与球心的连接线以及设定视场角所确定的视野圆锥与球面图像的相交球面区域，还可以是以待处理点为中心，以设定规则进行外扩，进而在球面图像中圈定的球面区域(既可以是规则区域，也可以是不规则区域)等。但是需要明确的是，无论球面特征区域如何确定，所有待处理点的球面特征区域的确定方法应是相同的，以使卷积特征值可以完整体现球面图像的特征。
在本实施例中，平面特征区域具体是指球面特征区域与球面的相交线所组成的平面图形中的设定区域。示例性的，平面特征区域可以是上述平面图像中面积最大的正方形，或面积最大的长方形。
进一步地，平面特征区域既可以是连续的平面区域，也可以是不连续的平面区域，本实施例对此不进行限制。但是需要明确的是，所有待处理点对应的平面特征区域的划定方式(划定方式不但应限定平面特征区域的形状、各个边的边长，还应限定各个边相对于某一设定方向的夹角)应是相同的，以进一步保证卷积特征值可以完整体现球面图像的特征。
在本实施例中，将待处理点的球面特征区域映射至平面特征区域的过程具体可以是，在确定球面特征区域以及球面特征区域与球面的相交线所组成的平面图形之后，先将球面像素矩阵中与球面特征区域对应的所有像素点投影至平面图形形成平面图像，然后从该平面图像中获取平面特征区域。将球面图像(球面特征区域对应的所有像素点)投影至平面图像的方法(例如数学解析法等)属于现有技术，在此不再进行详细阐述。
B、根据平面特征区域中的矩阵值，计算待处理点的卷积特征值。
在本实施例中，在确定平面特征区域之后，具体可以将平面特征区域中的所有像素点映射成一个与卷积核大小相同的待卷积矩阵，具体来说，可以是通过压缩或插值的方法进行映射。
进一步地，在待卷积矩阵确定之后，使用卷积核对待卷积矩阵进行卷积处理，卷积结果即为待处理点的卷积特征值。
C、按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
在本实施例中，卷积步长值具体是指用于表征下一个待处理点与当前待处理点在球面图像中的位置关系的数值，典型的可以是下一个待处理点与当前待处理点的经度差和纬度差，还可以是下一个待处理点与当前待处理点的球面距离等。
在本实施例中，从第一个待处理点开始，按照卷积步长值遍历整个球面像素矩阵，确定所有的待处理点，并在确定每一个待处理点之后，通过步骤A和步骤B获取该待处理点的卷积特征值。在获取了各个待处理点的卷积特征值之后，根据所有卷积特征值以及各个卷积特征值对应的待处理点的球面坐标，确定球面卷积值矩阵。
S102、根据球面卷积值矩阵进行处理，形成球面图像的处理结果。
在本实施例中，如果卷积神经网络中仅有一个卷积层，且不包括激活层、池化层以及归一化层，那么在对球面像素矩阵进行一次卷积操作得到球面卷积值矩阵之后，就可以将该球面卷积值矩阵输入至卷积神经网络中的全连接层，以获取卷积神经网络的输出结果；如果卷积神经网络中有多个卷积层，或还包括有激活层、池化层以及归一化层中的一个或多个，那么则需要使用第一个卷积层之后的各个处理层(处理层包括卷积层、激活层、池化层以及归一化层)依次按顺序对第一个卷积层输出的球面卷积值矩阵进行后续处理，最后再通过全连接层得到卷积神经网络的输出结果。
进一步需要说明的是，在本实施例中，激活层、池化层以及归一化层对球面卷积值矩阵，或是前一层(卷积层、激活层、池化层或归一化层)输出的任一球面矩阵进行处理时，都是直接对该球面矩阵进行处理，而不是将球面矩阵映射至平面矩阵后再进行处理。由此可知，本实施例中的全景球面图像的处理方法从始至终都是直接对球面矩阵直接进行处理，并不存在将球面矩阵转换为平面矩阵进行处理的过程，因此，本实施例中的全景球面图像的处理结果可以更好地展现全景球面图像的图像特征。
本发明实施例提供了一种全景球面图像的处理方法，通过直接对球面图像进行卷积处理，实现了直接使用球面图像的原始完整图像特征进行卷积操作，使得球面图像的卷积结果可以更加完整、更加准确地体现球面图像的原有图像特征，解决了现有技术中对全景数据的处理结果难以正确展现全景数据的图像特征，且存在全景数据丢失现象的技术缺陷，提高了全景数据的图像处理结果的有效性和正确性，使得全景数据的图像处理结果中图像信息完整，且可以很好地展现全景数据的图像特征，同时，还可以更好地对全景数据进行审核、修补、标注、匹配、猜词和关键点识别等处理。
实施例二
图2是本发明实施例二提供的一种全景球面图像的处理方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，给出了一种增加对球面卷积矩阵进行激活、池化、归一化以及全连接的处理过程，并且在全连接处理之后，增加了对平面归一化特征值矩阵以列为单位进行轮转全连接的过程的具体实施方式。
相应的，本实施例的方法具体包括：
S201、针对球面像素矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域。
S202、根据平面特征区域中的矩阵值，计算待处理点的卷积特征值。
S203、按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
本实施例中的全景球面图像的处理方法，为简便起见，示例性地将卷积神经网络表示为仅包含一个卷积层(对应于步骤201)，且在该卷积层之后依次连接有一个激活层(对应于步骤204)、一个池化层(对应于步骤205至步骤207)和一个归一化层(对应于步骤208至步骤210)，以及最后的一个全连接层(对应于步骤211和步骤212)。
然而，在实际应用中，卷积神经网络可以包含有多个卷积层，以及多个全连接层，且相邻的两个卷积层之间，既可以设置有激活层、池化层以及归一化层中的任意一种层、任意两种层或全部三种层，也可以完全不设置激活层、池化层以及归一化层。进一步地，设置于相邻的两个卷积层之间的激活层、池化层以及归一化层的先后顺序是可以依据实际需要任意设置的，而不是必须按照本实施例中的先后顺序进行设置。本实施例中仅是对卷积神经网络的层次设置进行示例性表示，并不对应用于本实施例中的全景球面图像的处理方法的卷积神经网络的层次设置进行任何限制。
在本实施例中，将卷积步长值具体化为角度值，进一步地，将卷积步长值具体设定为位于球面图像中同一经线或同一纬线上任意相邻的两个待处理点与球心连接线的夹角。
进一步地，基于上述卷积步长值的设定方法、步骤211中对池化步长值的限定(即池化步长值为可被180整除的整数)以及之后步骤211和步骤212中的全连接计算方法，在本实施例中，球面像素矩阵的第一个待处理点不能随意设置。球面像素矩阵的第一个待处理点的选取方式应使得在任意一条经线上所能遍历到的待处理点的总个数乘以A的积可以被180整除，其中，A为池化步长值除以卷积步长值的商。
本实施例中的步骤201至步骤203与实施例一中的步骤A至步骤C相同，在此不再进行详细阐释。
S204、使用激活函数激活球面卷积值矩阵中的所有卷积特征值，得到球面激活值矩阵。
在本实施例中，在卷积之后增加了激活过程，具体可以是使用激活函数分别计算球面卷积值矩阵中每一个卷积特征值对应的激活特征值，然后根据所有激活特征值，以及该激活特征值对应的卷积特征值的球面坐标确定球面激活值矩阵。其中，激活函数具体可以是sigmoid、tanh、ReLu、或softmax等。
S205、针对球面激活值矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域。
在本实施例中，将球面激活值矩阵中的待处理点的球面特征区域映射至平面特征区域的方法，与实施例一中的步骤A所述的将待处理球面矩阵的待处理点的球面特征区域映射至平面特征区域的方法完全一样，在此不再进行详细阐述。
S206、根据池化规则，获取平面特征区域对应的池化值，并将池化值作为待处理球面矩阵中当前待处理点的池化特征值。
在本实施例中，池化规则具体可以是max pooling(取绝对值最大值)，或averagepooling(取平均值)等。
在本实施例中，获取平面特征区域对应的池化值的方法具体可以是先将平面特征区域中的所有特征值(即球面激活值矩阵中的待处理点的球面特征区域映射至平面特征区域得到的特征值)映射为设定大小的数值矩阵，然后根据池化规则对该数值矩阵进行池化处理，也可以直接根据池化规则对平面特征区域中的所有特征值进行池化处理等。
进一步地，在池化处理之后，将得到的池化值作为待处理点的池化特征值，并将待处理点对应的球面坐标作为该池化值对应的球面坐标。
S207、按照池化步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面池化特征值矩阵，其中，池化步长值为卷积步长值的整数倍。
可以理解的是，卷积神经网络中的池化层的作用一方面在于压缩输入的特征图像，进而简化神经网络的计算复杂度，另一方面在于通过压缩特征提取主要特征。
因此，在本实施例中，池化步长值(池化步长值也是角度值)应小于卷积步长值，以使池化处理之后的池化特征值的总数量小于卷积处理之后卷积特征值的数量。进一步地，池化步长值应设置为卷积步长值的整数倍，以保证根据池化步长值所确定的每一个待处理点的球面坐标均可以与球面激活值矩阵中的某一个激活特征值的球面坐标重合。进一步地，可以依据全景球面图像的处理要求确定池化步长值与卷积步长值的倍数关系，池化步长值典型的可以是卷积步长值的2倍。
S208、计算所有池化特征值对应的池化平均值和池化方差值。
在本实施例中，在卷积、激活以及池化之后，还会通过步骤208和步骤209完成归一化处理。
在本实施例中，池化平均值具体可以为将球面池化特征值矩阵中的所有池化特征值的和，除以上述所有池化特征值的总个数的商。池化方差值的计算公式可以为其中，σ2为池化方差值，μ为池化平均值，xi为第i个池化特征值，N为池化特征值的总个数。
S209、根据池化均值和池化方差值，计算各个池化特征值分别对应的归一化特征值。
在本实施例中，池化特征值分别对应的归一化特征值的计算公式可以为其中，Ai为第i个池化特征值对应的归一化特征值，xi为第i个池化特征值，μ为池化平均值，σ2为池化方差值，1≤i≤N，N为池化特征值的总个数。
S210、根据所有归一化特征值，生成球面归一化特征值矩阵。
在本实施例中，根据各个归一化特征值，以及各个归一化特征值分别对应的池化特征值的球面坐标，生成球面归一化特征值矩阵。
S211、将球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商，池化步长值为可被180整除的整数。
基于步骤201中对球面像素矩阵的第一个待处理点的设定方法，以及上述步骤201至步骤210的处理过程可知，球面归一化特征值矩阵中包括的所有归一化特征值所对应的球面位置应满足：球面归一化特征值矩阵对应的球面图像中任意一条经线中包括有M个归一化特征值，任意一条纬线中包括有N个归一化特征值，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商。
因此，在本实施例中，依据上述球面归一化特征值矩阵中包括的所有归一化特征值所对应的球面位置所满足的条件，将球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商。具体而言，M*N的平面归一化特征值矩阵中的每一行中，从左至右为球面归一化特征值矩阵对应的球面图像中同一根纬线上连续排布的所有归一化特征值；每一列中，从上至下为球面归一化特征值矩阵对应的球面图像中同一根经线上连续排布的所有归一化特征值。
S212、对M*N的平面归一化特征值矩阵与N*M*K的第一全连接参数矩阵进行全连接相乘，得到一个1*K的输出特征向量，其中，K为卷积神经网络的输出特征值数量。
可以理解的是，卷积神经网络中全连接层与输入的矩阵相乘的方法是将输入的矩阵转换为一个A维(A等于输入矩阵的行数与列数的乘积)的行向量，同时将参数矩阵转换为一个A*B(B为卷积神经网络的输出特征值的数量)的矩阵，A维的行向量与A*B的矩阵相乘得到一个B维的行向量，该B维的行向量中的各个数值即为卷积神经网络的输出特征值。
因此，在本实施例中，当输入至全连接层的矩阵为一个M*N的矩阵时，对应的全连接参数矩阵应是一个N*M*K的矩阵，其中，K为卷积神经网络的输出特征值数量。
本发明实施例提供了一种全景球面图像的处理方法，该方法具体增加了对球面卷积矩阵进行激活、池化、归一化、以及全连接的处理过程，实现了在卷积以及卷积之后的激活、池化和归一化的处理过程中，全部以直接对球面矩阵进行处理的方式，完成了对球面像素矩阵的完整卷积过程，使得卷积神经网络的输出特征值可以更加准确地体现全景球面图像的特征。
在上述各实施例的基础上，将对M*N的平面归一化特征值矩阵与N*M*K的第一全连接参数矩阵进行全连接相乘，得到一个1*K的输出特征向量，具体化为：将M*N的平面归一化特征值矩阵中第n列移动至第n+1列，第N列移动至第1列，得到N个M*N的平面归一化特征值矩阵；针对每个平面归一化特征值矩阵，与N*M*K的第一全连接参数矩阵进行全连接相乘，得到N个1*K的输出特征向量，其中，2≤n≤N-1，且n为正整数；将N个1*K的输出特征向量转换为一个N*K的输出特征矩阵。
可以理解的是，当仅使用一个M*N的平面归一化特征值矩阵作为全连接层的输入时，卷积神经网络的输出特征值难以正确体现全景球面图像的无边界性。因此，在本实施例中，首先，通过将M*N的平面归一化特征值矩阵中的所有列进行了整体轮转移动，得到了N个不同的M*N的平面归一化特征值矩阵，以此通过这N个不同的M*N的平面归一化特征值矩阵来体现全景球面图像的无边界性；然后将N个不同的M*N的平面归一化特征值矩阵分别与N*M*K的第一全连接参数矩阵进行全连接相乘，得到N个不同的1*K的输出特征向量，这N个不同的1*K的输出特征向量组成一个N*K的输出特征矩阵，通过该N*K的输出特征矩阵可以较好的体现全景球面图像的无边界性。
这样设置的好处是：卷积神经网络的输出特征值可以更好、更加全面地体现全景球面图像的无边界特征。
实施例三
图3a是本发明实施例三提供的一种全景球面图像的处理方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，给出了一种具体化球面特征区域映射至平面特征区域的方法以及增加对球面池化特征值矩阵进行归一化的过程以及对球面归一化特征值矩阵进行全连接处理过程的具体实施方式。
相应的，本实施例的方法具体包括：
S301、针对球面像素矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域。
在本实施例中，步骤301具体可以包括：3011、根据当前待处理点与球心的连接线，以及设定单位视场角确定视野圆锥；3012、确定视野圆锥与球面像素矩阵的相交平面，其中，相交平面与球面像素矩阵对应的球面相交的区域为球面特征区域；3013、在圆形的相交平面中，确定面积最大的正方形，作为平面特征区域，其中，正方形的边与设定方向平行或正交；3014将球面特征区域的矩阵值映射为平面特征区域的矩阵值。
上述步骤3011至步骤3014与步骤305至步骤308相同，在此不再对步骤3011至步骤3014进行详细阐述，详见步骤305至步骤308。
S302、根据平面特征区域中的矩阵值，计算待处理点的卷积特征值。
S303、按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
在本实施例中，卷积步长值也是角度值，且卷积步长值也是位于球面图像中同一经线或同一纬线上任意相邻的两个待处理点与球心连接线的夹角。
同样地，在本实施例中，球面像素矩阵的第一个待处理点的选取方式也应使得在任意一条经线上所能遍历到的待处理点的总个数乘以A的积可以被180整除，其中，A为池化步长值除以卷积步长值的商。
S304、使用激活函数激活球面卷积值矩阵中的所有卷积特征值，得到球面激活值矩阵。
S305、根据球面激活值矩阵中的当前待处理点与球心的连接线，以及设定单位视场角确定视野圆锥。
在本实施例中，通过步骤305至步骤308获取与当前待处理点对应的平面特征区域的矩阵值，首先，通过本步骤305确定视野圆锥。
如图3b所示，图中点A为当前待处理点，直线OA为当前待处理点与球心的连接线，E为设定单位视场角，B为视野圆锥，D为视野圆锥与球面激活值矩阵对应的球体的相交线，其中直线OA与D所在平面垂直。根据图3b可知，设定单位视场角越大，视野圆锥就会越大，视野圆锥所截取的球体面积就越大，相应地，用于计算当前待处理点的池化特征值的激活特征值就越多。因此，可以根据全景球面图像的图像内容、处理精度等信息确定设定单位视场角的大小。
S306、确定视野圆锥与球面激活值矩阵的相交平面，其中，相交平面与球面相交的区域为球面特征区域。
在本实施例中，根据视野圆锥可以确定球面特征区域，以及视野圆锥与球面激活值矩阵对应的球体的相交平面。如图3b所示，D为视野圆锥与球面激活值矩阵对应的球体的相交平面，D所截取的球面图像即为球面特征区域。
S307、在圆形的相交平面中，确定面积最大的正方形，作为平面特征区域，其中，正方形的边与设定方向平行或正交。
在本实施例中，将相交平面中面积最大的正方形作为平面特征区域，以使用尽量多的特征值计算当前待处理点的池化特征值。进一步地，在正方形平面区域的四条边应该是两条边与设定方向(例如图3b中的Z轴等)平行，另外两条边与设定方向正交。
这里需要说明的是，平面特征区域既可以是规则的多边形(正方形、长方形、正五边形等)，也可以是不规则的图像，但是，应使得平面特征区域的面积尽量大。进一步地，无论平面特征区如何选取，在整个池化的过程中，获取平面特征区域的方法必须是相同的，且应保证所有的平面特征区域的各个边与设定方向之间的角度关系必须是相同的。
S308、将球面特征区域的矩阵值映射为平面特征区域的矩阵值。
在本实施例中，在确定平面特征区域后，首先将球面特征区域中的激活特征值映射至图3b中的D组成的平面，形成圆形平面特征区域，然后从该圆形平面特征区域中截取平面特征区域，进而确定平面特征区域的矩阵值。
S309、根据池化规则，获取平面特征区域对应的池化值，并将池化值作为球面激活值矩阵中的当前待处理点的池化特征值。
S310、按照池化步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面池化特征值矩阵，其中，池化步长值为卷积步长值的整数倍。
S311、计算所有池化特征值对应的池化平均值和池化方差值。
S312、根据池化均值和池化方差值，计算各个池化特征值分别对应的归一化特征值。
S313、根据所有归一化特征值，生成球面归一化特征值矩阵。
S314、将球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商，池化步长值为可被180整除的整数。
在本实施例中，步骤314与实施例二中的步骤210相同，在此不再进行详细阐述。
S315、将两个M*N的平面归一化特征值矩阵进行拼接，得到M*2N的拼接平面特征值矩阵。
同样是为了更好地体现全景球面图像无边界性的特征，在本实施例中，通过对M*N的平面归一化特征值矩阵进行拼接，以使得输入至全连接层的矩阵可以更好地体现全景球面图像的无边界性。
在本实施例中，矩阵拼接的方法就是将连个完全相同的M*N的平面归一化特征值矩阵进行左右拼接，最终形成一个M*2N的拼接平面特征值矩阵。
S316、将M*2N的拼接平面特征值矩阵与2N*M*K的第二全连接参数矩阵进行全连接相乘，得到1*K的输出特征向量，其中，K为卷积神经网络的输出特征值数量。
在本实施例中，由于输入至全连接层的矩阵为一个M*2N的拼接平面特征值矩阵，因此，全连接参数矩阵为一个2N*M*K的矩阵。
在本实施例中，卷积神经网络的输出特征值的数量为K，即M*2N的拼接平面特征值矩阵与2N*M*K的第二全连接参数矩阵进行全连接相乘所得到1*K的输出特征向量中的K各数值。
本发明实施例提供了一种全景球面图像的处理方法，该方法具体化了球面特征区域映射至平面特征区域的方法，使得卷积特征值以及池化特征值可以更加准确地体现对应的待处理点的特征，还增加了对球面池化特征值矩阵进行归一化的过程以及对球面归一化特征值矩阵进行全连接处理过程，使得卷积神经网络的输出特征值可以更好地体现全景球面图像的无边界特征。
实施例四
图4是本发明实施例四提供的一种全景球面图像的处理装置的结构图。如图4所示，所述装置包括：卷积模块401以及处理结果获取模块402，其中：
卷积模块401，用于依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵；
处理结果获取模块402，用于根据球面卷积值矩阵进行处理，形成球面图像的处理结果。
本发明实施例提供了一种全景球面图像的处理装置，该装置首先通过卷积模块401对球面图像的球面像素矩阵进行至少一次卷积处理，形成球面卷积值矩阵，然后通过处理结果获取模块402根据球面卷积值矩阵进行处理，形成球面图像的处理结果。
该装置通过直接对球面图像进行卷积处理，实现了直接使用球面图像的原始完整图像特征进行卷积操作，使得球面图像的卷积结果可以更加完整、更加准确地体现球面图像的原有图像特征，解决了现有技术中对全景数据的处理结果难以正确展现全景数据的图像特征，且存在全景数据丢失现象的技术缺陷，提高了全景数据的图像处理结果的有效性和正确性，使得全景数据的图像处理结果中图像信息完整，且可以很好地展现全景数据的图像特征，同时，还可以更好地对全景数据进行审核、修补、标注、匹配、猜词和关键点识别等处理。
在上述各实施例的基础上，卷积模块401可以包括：
特征映射单元，用于针对待处理球面矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域，其中，待处理球面矩阵为球面像素矩阵或前一次卷积的球面卷积值矩阵；
卷积特征值计算单元，用于根据平面特征区域中的矩阵值，计算待处理点的卷积特征值；
球面卷积值矩阵获取单元，用于按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
在上述各实施例的基础上，处理结果获取模块402至少可以包括：
激活单元，用于使用激活函数激活球面卷积值矩阵中的所有卷积特征值，得到球面激活值矩阵。
在上述各实施例的基础上，处理结果获取模块402至少还可以包括：
平面区域映射单元，用于针对待处理球面矩阵的每个待处理点，将待处理点的球面特征区域映射至平面特征区域，其中，待处理球面矩阵为任一球面卷积值矩阵；
池化特征值获取单元，用于根据池化规则，获取平面特征区域对应的池化值，并将池化值作为待处理球面矩阵中当前待处理点的池化特征值；
池化特征值矩阵获取单元，用于按照池化步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面池化特征值矩阵，其中，池化步长值为卷积步长值的整数倍。
在上述各实施例的基础上，区域映射单元以及平面区域映射单元均可以包括：
视野圆锥确定子单元，用于根据当前待处理点与球心的连接线，以及设定单位视场角确定视野圆锥；
相交平面确定子单元，用于确定视野圆锥与待处理球面矩阵的相交平面，其中，相交平面与球面相交的区域为球面特征区域；
平面特征区域确定子单元，用于在圆形的相交平面中，确定面积最大的正方形，作为平面特征区域，其中，正方形的边与设定方向平行或正交；
矩阵值映射子单元，用于将球面特征区域的矩阵值映射为平面特征区域的矩阵值。
在上述各实施例的基础上，还可以包括：
池化平均值确定单元，用于在得到球面池化特征值矩阵之后，计算所有池化特征值对应的池化平均值和池化方差值；
归一化特征值确定单元，用于根据池化均值和池化方差值，计算各个池化特征值分别对应的归一化特征值；
归一化特征值矩阵确定单元，用于根据所有归一化特征值，生成球面归一化特征值矩阵。
在上述各实施例的基础上，还可以包括：
第一矩阵转换单元，用于在生成球面归一化特征值矩阵之后，将球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商，池化步长值为可被180整除的整数；
第一全连接单元，用于对M*N的平面归一化特征值矩阵与N*M*K的第一全连接参数矩阵进行全连接相乘，得到一个1*K的输出特征向量，其中，K为卷积神经网络的输出特征值数量；
其中，卷积步长值和池化步长值均为角度值。
在上述各实施例的基础上，第一全连接单元可以包括：
矩阵移动子单元，用于将M*N的平面归一化特征值矩阵中第n列移动至第n+1列，第N列移动至第1列，得到N个M*N的平面归一化特征值矩阵；
输出特征向量获取子单元，用于针对每个平面归一化特征值矩阵，与N*M*K的第一全连接参数矩阵进行全连接相乘，得到N个1*K的输出特征向量，其中，2≤n≤N-1，且n为正整数；
输出特征矩阵获取子单元，用于将N个1*K的输出特征向量转换为一个N*K的输出特征矩阵。
在上述各实施例的基础上，还可以包括：
第二矩阵转换单元，用于在生成球面归一化特征值矩阵之后，将球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以池化步长值的商，N等于360除以池化步长值的商，池化步长值为可被180整除的整数；
矩阵拼接单元，用于将两个M*N的平面归一化特征值矩阵进行拼接，得到M*2N的拼接平面特征值矩阵；
第二全连接单元，用于将M*2N的拼接平面特征值矩阵与2N*M*K的第二全连接参数矩阵进行全连接相乘，得到1*K的输出特征向量，其中，K为卷积神经网络的输出特征值数量；
其中，卷积步长值和池化步长值均为角度值。
本发明实施例所提供的全景球面图像的处理装置可用于执行本发明任意实施例提供的全景球面图像的处理方法，具备相应的功能模块，实现相同的有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的全景球面图像的处理方法。也即：依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵；根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果。
实施例六
本发明实施例六还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的全景球面图像的处理方法。也即：依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵；根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种全景球面图像的处理方法，应用于卷积神经网络，其特征在于，包括：
依次对球面图像的球面像素矩阵中的每个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵；
根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果。
2.根据权利要求1所述的方法，其特征在于，所述依次对球面图像的球面像素矩阵中的每一个待处理像素点对应的球面特征区域进行卷积处理，得到球面卷积值矩阵，包括：
针对待处理球面矩阵的每个待处理点，将所述待处理点的球面特征区域映射至平面特征区域，其中，所述待处理球面矩阵为所述球面像素矩阵或前一次卷积的球面卷积值矩阵；
根据平面特征区域中的矩阵值，计算所述待处理点的卷积特征值；
按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
3.根据权利要求1所述的方法，其特征在于，根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果的过程中，至少包括：
使用激活函数激活所述球面卷积值矩阵中的所有卷积特征值，得到球面激活值矩阵。
4.根据权利要求1所述的方法，其特征在于，根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果的过程中，至少包括：
针对待处理球面矩阵的每个待处理点，将所述待处理点的球面特征区域映射至平面特征区域，其中，所述待处理球面矩阵为任一球面卷积值矩阵；
根据池化规则，获取所述平面特征区域对应的池化值，并将所述池化值作为待处理球面矩阵中当前待处理点的池化特征值；
按照池化步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面池化特征值矩阵，其中，所述池化步长值为所述卷积步长值的整数倍。
5.根据权利要求2或4所述的方法，其特征在于，针对待处理球面矩阵的每个待处理点，将所述待处理点的球面特征区域映射至平面特征区域包括：
根据当前待处理点与球心的连接线，以及设定单位视场角确定视野圆锥；
确定所述视野圆锥与待处理球面矩阵的相交平面，其中，所述相交平面与球面相交的区域为球面特征区域；
在圆形的所述相交平面中，确定面积最大的正方形，作为平面特征区域，其中，所述正方形的边与设定方向平行或正交；
将所述球面特征区域的矩阵值映射为平面特征区域的矩阵值。
6.根据权利要求4所述的方法，其特征在于，得到球面池化特征值矩阵之后，还包括：
计算所有所述池化特征值对应的池化平均值和池化方差值；
根据所述池化均值和所述池化方差值，计算各个所述池化特征值分别对应的归一化特征值；
根据所有所述归一化特征值，生成球面归一化特征值矩阵。
7.根据权利要求6所述的方法，其特征在于，生成球面归一化特征值矩阵之后，还包括：
将所述球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以所述池化步长值的商，N等于360除以所述池化步长值的商，所述池化步长值为可被180整除的整数；
对所述M*N的平面归一化特征值矩阵与N*M*K的第一全连接参数矩阵进行全连接相乘，得到一个1*K的输出特征向量，其中，K为所述卷积神经网络的输出特征值数量；
其中，所述卷积步长值和所述池化步长值均为角度值。
8.根据权利要求7所述的方法，其特征在于，对所述M*N的平面归一化特征值矩阵与N*M*K的第一全连接参数矩阵进行全连接相乘，得到一个1*K的输出特征向量包括：
将所述M*N的平面归一化特征值矩阵中第n列移动至第n+1列，第N列移动至第1列，得到N个M*N的平面归一化特征值矩阵；
针对每个平面归一化特征值矩阵，与所述N*M*K的第一全连接参数矩阵进行全连接相乘，得到N个1*K的输出特征向量，其中，2≤n≤N-1，且n为正整数；
将所述N个1*K的输出特征向量转换为一个N*K的输出特征矩阵。
9.根据权利要求6所述的方法，其特征在于，生成球面归一化特征值矩阵之后，还包括：
将所述球面归一化特征值矩阵转换为M*N的平面归一化特征值矩阵，其中，M等于180除以所述池化步长值的商，N等于360除以所述池化步长值的商，所述池化步长值为可被180整除的整数；
将两个所述M*N的平面归一化特征值矩阵进行拼接，得到M*2N的拼接平面特征值矩阵；
将所述M*2N的拼接平面特征值矩阵与2N*M*K的第二全连接参数矩阵进行全连接相乘，得到1*K的输出特征向量，其中，K为所述卷积神经网络的输出特征值数量；
其中，所述卷积步长值和所述池化步长值均为角度值。
10.一种全景球面图像的处理装置，其特征在于，包括：
卷积模块，用于对球面图像的球面像素矩阵进行至少一次卷积处理，形成球面卷积值矩阵；
处理结果获取模块，用于根据所述球面卷积值矩阵进行处理，形成球面图像的处理结果；
其中，所述卷积模块包括：
区域映射单元，用于针对待处理球面矩阵的每个待处理点，将所述待处理点的球面特征区域映射至平面特征区域，其中，所述待处理球面矩阵为所述球面像素矩阵或前一次卷积的球面卷积值矩阵；
卷积特征值计算单元，用于根据平面特征区域中的矩阵值，计算所述待处理点的卷积特征值；
待处理点更新单元，用于按照卷积步长值更新当前待处理点，直至每个待处理点处理完成，以得到球面卷积值矩阵。
11.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的全景球面图像的处理方法。
12.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一项所述的全景球面图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811133511.5A CN109272442B (zh) | 2018-09-27 | 2018-09-27 | 全景球面图像的处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811133511.5A CN109272442B (zh) | 2018-09-27 | 2018-09-27 | 全景球面图像的处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109272442A true CN109272442A (zh) | 2019-01-25 |
| CN109272442B CN109272442B (zh) | 2023-03-24 |
Family
ID=65198470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811133511.5A Active CN109272442B (zh) | 2018-09-27 | 2018-09-27 | 全景球面图像的处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109272442B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163271A (zh) * | 2019-05-13 | 2019-08-23 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
| CN110503651A (zh) * | 2019-08-09 | 2019-11-26 | 北京航空航天大学 | 一种图像显著对象分割方法及装置 |
| CN111797860A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 特征提取方法、装置、存储介质及电子设备 |
| WO2023066143A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的图像分割方法、装置、计算机设备和存储介质 |
| CN116520987A (zh) * | 2023-04-28 | 2023-08-01 | 中广电广播电影电视设计研究院有限公司 | Vr内容问题检测方法、装置、设备及存储介质 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998002761A1 (en) * | 1996-07-11 | 1998-01-22 | Science Applications International Corporation | Terrain elevation measurement by interferometric synthetic aperture radar (ifsar) |
| US5901252A (en) * | 1991-12-11 | 1999-05-04 | Fujitsu Limited | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images |
| CN101877140A (zh) * | 2009-12-18 | 2010-11-03 | 北京邮电大学 | 一种基于全景图的全景虚拟游方法 |
| CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN105809704A (zh) * | 2016-03-30 | 2016-07-27 | 北京小米移动软件有限公司 | 识别图像清晰度的方法及装置 |
| CN106548451A (zh) * | 2016-10-14 | 2017-03-29 | 青岛海信网络科技股份有限公司 | 一种客车客流拥挤度计算方法和装置 |
| CN106780906A (zh) * | 2016-12-28 | 2017-05-31 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的人证合一识别方法及系统 |
| CN106815808A (zh) * | 2017-01-20 | 2017-06-09 | 长沙全度影像科技有限公司 | 一种利用分块运算的图像拼接方法 |
| CN106851092A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军空军预警学院监控系统工程研究所 | 一种红外视频拼接方法和装置 |
| CN106845330A (zh) * | 2016-11-17 | 2017-06-13 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的二维人脸识别模型的训练方法 |
| CN106841216A (zh) * | 2017-02-28 | 2017-06-13 | 浙江工业大学 | 基于全景图像cnn的隧道病害自动识别装置 |
| CN106846249A (zh) * | 2017-01-22 | 2017-06-13 | 浙江得图网络有限公司 | 一种全景视频拼接方法 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN106952220A (zh) * | 2017-03-14 | 2017-07-14 | 长沙全度影像科技有限公司 | 一种基于深度学习的全景图像融合方法 |
| CN106991415A (zh) * | 2017-06-05 | 2017-07-28 | 北京汽车集团有限公司 | 用于车载鱼眼相机的图像处理方法和装置 |
| CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
| CN107665479A (zh) * | 2017-09-05 | 2018-02-06 | 平安科技（深圳）有限公司 | 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质 |
| CN107689035A (zh) * | 2017-08-30 | 2018-02-13 | 广州华多网络科技有限公司 | 一种基于卷积神经网络的单应性矩阵确定方法及装置 |
| CN107944390A (zh) * | 2017-11-24 | 2018-04-20 | 西安科技大学 | 机动车行驶前方物体视频测距及方向定位方法 |
| CN108304821A (zh) * | 2018-02-14 | 2018-07-20 | 广东欧珀移动通信有限公司 | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 |
| CN108564527A (zh) * | 2018-04-04 | 2018-09-21 | 百度在线网络技术（北京）有限公司 | 基于神经网络的全景图内容补全和修复的方法及装置 |
-
2018
- 2018-09-27 CN CN201811133511.5A patent/CN109272442B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5901252A (en) * | 1991-12-11 | 1999-05-04 | Fujitsu Limited | Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images |
| WO1998002761A1 (en) * | 1996-07-11 | 1998-01-22 | Science Applications International Corporation | Terrain elevation measurement by interferometric synthetic aperture radar (ifsar) |
| CN101877140A (zh) * | 2009-12-18 | 2010-11-03 | 北京邮电大学 | 一种基于全景图的全景虚拟游方法 |
| CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN105809704A (zh) * | 2016-03-30 | 2016-07-27 | 北京小米移动软件有限公司 | 识别图像清晰度的方法及装置 |
| CN106548451A (zh) * | 2016-10-14 | 2017-03-29 | 青岛海信网络科技股份有限公司 | 一种客车客流拥挤度计算方法和装置 |
| CN106845330A (zh) * | 2016-11-17 | 2017-06-13 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的二维人脸识别模型的训练方法 |
| CN106780906A (zh) * | 2016-12-28 | 2017-05-31 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的人证合一识别方法及系统 |
| CN106851092A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军空军预警学院监控系统工程研究所 | 一种红外视频拼接方法和装置 |
| CN106815808A (zh) * | 2017-01-20 | 2017-06-09 | 长沙全度影像科技有限公司 | 一种利用分块运算的图像拼接方法 |
| CN106846249A (zh) * | 2017-01-22 | 2017-06-13 | 浙江得图网络有限公司 | 一种全景视频拼接方法 |
| CN106841216A (zh) * | 2017-02-28 | 2017-06-13 | 浙江工业大学 | 基于全景图像cnn的隧道病害自动识别装置 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN106952220A (zh) * | 2017-03-14 | 2017-07-14 | 长沙全度影像科技有限公司 | 一种基于深度学习的全景图像融合方法 |
| CN106991415A (zh) * | 2017-06-05 | 2017-07-28 | 北京汽车集团有限公司 | 用于车载鱼眼相机的图像处理方法和装置 |
| CN107689035A (zh) * | 2017-08-30 | 2018-02-13 | 广州华多网络科技有限公司 | 一种基于卷积神经网络的单应性矩阵确定方法及装置 |
| CN107665479A (zh) * | 2017-09-05 | 2018-02-06 | 平安科技（深圳）有限公司 | 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质 |
| CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
| CN107944390A (zh) * | 2017-11-24 | 2018-04-20 | 西安科技大学 | 机动车行驶前方物体视频测距及方向定位方法 |
| CN108304821A (zh) * | 2018-02-14 | 2018-07-20 | 广东欧珀移动通信有限公司 | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 |
| CN108564527A (zh) * | 2018-04-04 | 2018-09-21 | 百度在线网络技术（北京）有限公司 | 基于神经网络的全景图内容补全和修复的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 冯元力等: "球面深度全景图表示下的三维形状识别", 《计算机辅助设计与图形学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797860A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 特征提取方法、装置、存储介质及电子设备 |
| CN111797860B (zh) * | 2019-04-09 | 2023-09-26 | Oppo广东移动通信有限公司 | 特征提取方法、装置、存储介质及电子设备 |
| CN110163271A (zh) * | 2019-05-13 | 2019-08-23 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
| CN110163271B (zh) * | 2019-05-13 | 2020-12-01 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
| CN110503651A (zh) * | 2019-08-09 | 2019-11-26 | 北京航空航天大学 | 一种图像显著对象分割方法及装置 |
| WO2023066143A1 (zh) * | 2021-10-22 | 2023-04-27 | 影石创新科技股份有限公司 | 全景图像的图像分割方法、装置、计算机设备和存储介质 |
| CN116520987A (zh) * | 2023-04-28 | 2023-08-01 | 中广电广播电影电视设计研究院有限公司 | Vr内容问题检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109272442B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272442A (zh) | 全景球面图像的处理方法、装置、设备和存储介质 | |
| US10157309B2 (en) | Online detection and classification of dynamic gestures with recurrent convolutional neural networks | |
| US20220067512A1 (en) | Fine-grained per-vector scaling for neural network quantization | |
| US20190095791A1 (en) | Learning affinity via a spatial propagation neural network | |
| CN110222703A (zh) | 图像轮廓识别方法、装置、设备和介质 | |
| US11379420B2 (en) | Decompression techniques for processing compressed data suitable for artificial neural networks | |
| WO2023241097A1 (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| US11610370B2 (en) | Joint shape and appearance optimization through topology sampling | |
| CN103247072A (zh) | 基于安卓系统实现三维旋转界面的方法及装置 | |
| CN108205680A (zh) | 图像特征提取集成电路、方法、终端 | |
| US20210256759A1 (en) | Performance of ray-traced shadow creation within a scene | |
| US20220067530A1 (en) | Fine-grained per-vector scaling for neural network quantization | |
| CN110415237A (zh) | 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质 | |
| CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
| US11282258B1 (en) | Adaptive sampling at a target sampling rate | |
| CN112017159B (zh) | 一种遥感场景下的地面目标真实感仿真方法 | |
| US11069095B1 (en) | Techniques for efficiently sampling an image | |
| US11935194B2 (en) | Constrained BSDF sampling | |
| US20220398283A1 (en) | Method for fast and better tree search for reinforcement learning | |
| CN117726732A (zh) | 减少包围体层次结构中的假阳性光线遍历 | |
| CN117726496A (zh) | 使用光线剪裁减少假阳性光线遍历 | |
| Yang et al. | Deep learning based six‐dimensional pose estimation in virtual reality | |
| US11830145B2 (en) | Generation of differentiable, manifold meshes of arbitrary genus | |
| US11925860B2 (en) | Projective hash maps | |
| CN115619986A (zh) | 场景漫游方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |