CN108876707B - 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 - Google Patents
鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 Download PDFInfo
- Publication number
- CN108876707B CN108876707B CN201810515569.XA CN201810515569A CN108876707B CN 108876707 B CN108876707 B CN 108876707B CN 201810515569 A CN201810515569 A CN 201810515569A CN 108876707 B CN108876707 B CN 108876707B
- Authority
- CN
- China
- Prior art keywords
- view
- neural network
- training sample
- network system
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 525
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 312
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 title claims abstract description 197
- 240000004050 Pentaglottis sempervirens Species 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 212
- 230000009466 transformation Effects 0.000 claims abstract description 71
- 238000004590 computer program Methods 0.000 claims abstract description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 73
- 238000003786 synthesis reaction Methods 0.000 claims description 73
- 230000002194 synthesizing effect Effects 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000001131 transforming effect Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 abstract description 23
- 230000000007 visual effect Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种鸟瞰图生成及神经网络训练方法、装置、计算机程序产品、计算机可读存储介质和电子设备。其中，鸟瞰图生成方法包括：对正视图进行变换处理，得到中间视图；基于所述中间视图，得到所述正视图对应的鸟瞰图。采用本发明实施例的技术方案，能够直接基于正视图生成鸟瞰图，无需采用多摄像机或者采用雷达等设备生成鸟瞰图，成本较低；并保持图像中物体的细节信息和图像的整体结构，从而保证视角转换效果，提高生成的鸟瞰图的质量。
Description
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种鸟瞰图生成方法、装置、计算机程序产品、计算机可读存储介质和电子设备，以及一种神经网络训练方法、装置、计算机程序产品、计算机可读存储介质和电子设备。
背景技术
汽车的自动驾驶技术(又称为无人驾驶技术)是一种通过电脑系统实现汽车自动驾驶的技术，汽车的自动驾驶系统主要包含四个部分，分别是感知、定位、规划和控制。其中，环境感知是组成自动驾驶系统的重要部分，同时良好的感知性能是进行规划和控制的前提。环境感知的一个重要步骤是得到鸟瞰图，生成鸟瞰图存在车内摄像头视角受限的问题。
发明内容
本发明实施例提供一种鸟瞰图生成技术和一种神经网络训练技术。
根据本发明实施例的第一方面，提供一种鸟瞰图生成方法，包括：对正视图进行变换处理，得到中间视图；基于所述中间视图，得到所述正视图对应的鸟瞰图。
可选地，所述基于所述中间视图，得到所述正视图对应的鸟瞰图，包括：利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图。
可选地，在所述利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图之前，还包括：根据正视图训练样本，得到中间视图训练样本；利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述根据正视图训练样本，得到中间视图训练样本，包括：获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；根据所述特征匹配点，得到中间视图训练样本。
可选地，所述根据所述特征匹配点，获得中间视图训练样本，包括：根据所述特征匹配点确定变换矩阵；根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
可选地，所述利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图，包括：通过所述神经网络系统中的第一编码单元对所述中间视图训练样本进行编码处理，得到第一中间特征；通过所述神经网络系统中的第一合成单元对所述第一中间特征进行处理，得到第一鸟瞰图。
可选地，所述根据所述第一鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：通过所述神经网络系统中的第一判别单元对所述第一鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第一分类结果和第二分类结果；至少根据所述第一分类结果和所述第二分类结果，调整所述第一编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
可选地，所述方法还包括：利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图；至少根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图，包括：通过所述神经网络系统中的第二编码单元对所述鸟瞰图训练样本进行编码处理，得到第二中间特征；通过所述神经网络系统中的第一合成单元对所述第二中间特征进行处理，得到第二鸟瞰图。
可选地，所述根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：根据所述第二鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述第二编码单元和所述第一合成单元中至少一个的网络参数。
可选地，所述方法还包括：利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图；至少根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图，包括：通过所述神经网络系统中的第三编码单元对所述正视图训练样本进行编码处理，得到第三中间特征；通过所述神经网络系统中的第一合成单元对所述第三中间特征进行处理，得到第三鸟瞰图。
可选地，所述根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：通过所述神经网络系统中的第一判别单元对所述第三鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第三分类结果和第四分类结果；根据所述第三分类结果和所述第四分类结果，调整所述第三编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
可选地，所述方法还包括：利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图；至少根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统。
可选地，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图，包括：通过所述神经网络系统中的第二合成单元对第二中间特征进行处理，得到第一中间视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
可选地，所述根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统，包括：通过所述神经网络系统中的第二判别单元对所述第一中间视图和所述中间视图训练样本分别进行分类处理，得到第五分类结果和第六分类结果；至少根据所述第五分类结果和第六分类结果，调整所述第二编码单元、所述第二合成单元和第二判别单元中至少一个的网络参数。
可选地，所述方法还包括：利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图；至少根据所述正视图与所述正视图训练样本，训练所述神经网络系统。
可选地，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图，包括：通过所述神经网络系统中的第三合成单元对第二中间特征进行处理，得到正视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
可选地，所述根据所述正视图与所述正视图训练样本，训练所述神经网络系统，包括：通过所述神经网络系统中的第三判别单元对所述正视图和所述正视图训练样本分别进行分类处理，得到第七分类结果和第八分类结果；至少根据所述第七分类结果和第八分类结果，调整所述第二编码单元、所述第三合成单元和第三判别单元中至少一个的网络参数。
可选地，所述神经网络系统包括共享单元，所述共享单元设置于所述神经网络系统的至少一个编码单元与所述神经网络系统的至少一个合成单元之间；所述方法还包括：通过所述共享单元对所述至少一个编码单元得到的至少一个中间特征进行编码处理，得到至少一个高层特征，其中，所述第一鸟瞰图是所述至少一个合成单元基于所述至少一个高层特征得到的。
可选地，所述方法还包括：利用所述神经网络系统对所述第一鸟瞰图进行处理，得到第二中间视图；在所述第二中间视图与所述中间视图训练样本之间的差异超过第一预设范围的情况下，调整所述神经网络系统的网络参数。
可选地，所述方法还包括：利用所述神经网络系统对所述第一中间视图进行处理，得到第四鸟瞰图；在所述第四鸟瞰图与所述鸟瞰图训练样本之间的差异超过第二预设范围的情况下，调整所述神经网络系统的网络参数。
可选地，所述方法还包括：确定所述正视图训练样本的底层特征与所述第一鸟瞰图的底层特征之间的第一距离，在所述第一距离超过第一阈值的情况下，调整所述神经网络系统的网络参数；和/或，确定所述正视图训练样本的高层特征与所述第一鸟瞰图的高层特征之间的第二距离，在所述第二距离超过第二阈值的情况下，调整所述神经网络系统的网络参数。
根据本发明实施例的第二方面，提供一种神经网络训练方法，包括：根据正视图训练样本，得到中间视图训练样本；利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述根据正视图训练样本，得到中间视图训练样本，包括：获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；根据所述特征匹配点，得到中间视图训练样本。
可选地，所述根据所述特征匹配点，获得中间视图训练样本，包括：根据所述特征匹配点确定变换矩阵；根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
根据本发明实施例的第三方面，提供一种鸟瞰图生成装置，包括：变换模块，用于对正视图进行变换处理，得到中间视图；第一获取模块，用于基于所述中间视图，得到所述正视图对应的鸟瞰图。
可选地，所述第一获取模块用于利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图。
可选地，所述装置还包括：第二获取模块，用于根据正视图训练样本，得到中间视图训练样本；第一处理模块，用于利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；第一训练模块，用于至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第二获取模块包括：第一匹配单元，用于获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；第一获取单元，用于根据所述特征匹配点，得到中间视图训练样本。
可选地，所述第一获取单元包括：第一确定子单元，用于根据所述特征匹配点确定变换矩阵；第一变换子单元，用于根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
可选地，所述第一处理模块包括：第一编码处理单元，用于通过所述神经网络系统中的第一编码单元对所述中间视图训练样本进行编码处理，得到第一中间特征；第一合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第一中间特征进行处理，得到第一鸟瞰图。
可选地，所述第一训练模块包括：第一分类处理单元，用于通过所述神经网络系统中的第一判别单元对所述第一鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第一分类结果和第二分类结果；第一训练单元，用于至少根据所述第一分类结果和所述第二分类结果，调整所述第一编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
可选地，所述装置还包括：第二处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图；第二训练模块，用于至少根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第二处理模块包括：第二编码处理单元，用于通过所述神经网络系统中的第二编码单元对所述鸟瞰图训练样本进行编码处理，得到第二中间特征；第二合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第二中间特征进行处理，得到第二鸟瞰图。
可选地，所述第二训练模块用于：至少根据所述第二鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述第二编码单元和所述第一合成单元中至少一个的网络参数。
可选地，所述装置还包括：第三处理模块，用于利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图；第三训练模块，用于至少根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第三处理模块包括：第三编码处理单元，用于通过所述神经网络系统中的第三编码单元对所述正视图训练样本进行编码处理，得到第三中间特征；第三合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第三中间特征进行处理，得到第三鸟瞰图。
可选地，所述第三训练模块包括：第二分类处理单元，用于通过所述神经网络系统中的第一判别单元对所述第三鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第三分类结果和第四分类结果；第二训练单元，用于至少根据所述第三分类结果和所述第四分类结果，调整所述第三编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
可选地，所述装置还包括：第四处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图；第四训练模块，用于至少根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统。
可选地，所述第四处理模块用于：通过所述神经网络系统中的第二合成单元对第二中间特征进行处理，得到第一中间视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
可选地，所述第四训练模块包括：第三分类处理单元，用于通过所述神经网络系统中的第二判别单元对所述第一中间视图和所述中间视图训练样本分别进行分类处理，得到第五分类结果和第六分类结果；第三训练单元，用于至少根据所述第五分类结果和第六分类结果，调整所述第二编码单元、所述第二合成单元和第二判别单元中至少一个的网络参数。
可选地，所述装置还包括：第五处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图；第五训练模块，用于至少根据所述正视图与所述正视图训练样本，训练所述神经网络系统。
可选地，所述第五处理模块用于：通过所述神经网络系统中的第三合成单元对第三中间特征进行处理，得到正视图，其中，所述第三中间特征是所述神经网络系统的第三编码单元对所述正视图训练样本进行编码处理得到的。
可选地，所述第五训练模块包括：第四分类处理单元，用于通过所述神经网络系统中的第三判别单元对所述正视图和所述正视图训练样本分别进行分类处理，得到第七分类结果和第八分类结果；第四训练单元，用于至少根据所述第七分类结果和第八分类结果，调整所述第三编码单元、所述第三合成单元和第三判别单元中至少一个的网络参数。
可选地，所述神经网络系统包括共享单元，所述共享单元设置于所述神经网络系统的至少一个编码单元与所述神经网络系统的至少一个合成单元之间；所述装置还包括：共享模块，用于通过所述共享单元对所述至少一个编码单元得到的至少一个中间特征进行编码处理，得到至少一个高层特征，其中，所述第一鸟瞰图是所述至少一个合成单元基于所述至少一个高层特征得到的。
可选地，所述装置还包括：第六处理模块，用于利用所述神经网络系统对所述第一鸟瞰图进行处理，得到第二中间视图；第六训练模块，用于在所述第二中间视图与所述中间视图训练样本之间的差异超过第一预设范围的情况下，调整所述神经网络系统的网络参数。
可选地，所述装置还包括：第七处理模块，用于利用所述神经网络系统对所述第一中间视图进行处理，得到第四鸟瞰图；第七训练模块，用于在所述第四鸟瞰图与所述鸟瞰图训练样本之间的差异超过第二预设范围的情况下，调整所述神经网络系统的网络参数。
可选地，所述装置还包括：第八处理模块，用于确定所述正视图训练样本的底层特征与所述第一鸟瞰图的底层特征之间的第一距离；第八训练模块，用于在所述第一距离超过第一阈值的情况下，调整所述神经网络系统的网络参数；和/或，第九处理模块，用于确定所述正视图训练样本的高层特征与所述第一鸟瞰图的高层特征之间的第二距离；第九训练模块，用于在所述第二距离超过第二阈值的情况下，调整所述神经网络系统的网络参数。
根据本发明实施例的第四方面，提供一种神经网络训练装置，包括：第三获取模块，用于根据正视图训练样本，得到中间视图训练样本；第十处理模块，用于利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；第十训练模块，用于至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第三获取模块包括：第二匹配单元，用于获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；第二获取单元，用于根据所述特征匹配点，得到中间视图训练样本。
可选地，所述第二获取单元包括：第二确定子单元，用于根据所述特征匹配点确定变换矩阵；第二变换子单元，用于根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
根据本发明实施例的第五方面，提供一种计算机程序产品，包括：计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一鸟瞰图生成方法对应的步骤。
根据本发明实施例的第六方面，提供一种计算机程序产品，包括：计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的第七方面，提供了一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一鸟瞰图生成方法对应的步骤。
根据本发明实施例的第八方面，提供了一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的第九方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明实施例提供的任一鸟瞰图生成方法对应的步骤。
根据本发明实施例的第十方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明实施例提供的任一神经网络训练方法对应的步骤。
根据本发明实施例的鸟瞰图生成方案，通过将正视图进行变换处理得到中间视图，并将中间视图转换为鸟瞰图，可以基于正视图生成鸟瞰图，无需采用多摄像机或者采用雷达等设备生成鸟瞰图，成本较低；此外，通过两步转换的方式来保持图像中物体的细节信息和图像的整体结构，从而有利于提高生成的鸟瞰图的质量。
附图说明
图1是根据本发明一些实施例的鸟瞰图生成方法的流程图；
图2是根据本发明一些实施例的神经网络训练方法的流程图；
图3是根据本发明一些实施例提供的神经网络训练系统的示意性结构图；
图4是根据本发明一些实施例的鸟瞰图生成装置的结构框图；
图5是根据本发明一些实施例的电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
应理解，本公开实施例公开的技术方案可以主要应用于辅助/自动驾驶领域，但也可以应用于其他领域，本公开实施例对此不做限定。
图1是根据本发明一些实施例的鸟瞰图生成方法的流程图。
参照图1，在步骤S110，对正视图进行变换处理，得到中间视图。
在本发明实施例中，正视图可以为车辆前置摄像头在车辆行驶过程中拍摄的图像，或者为通过对前置摄像头拍摄的图像进行一种或多种处理得到的图像，或者也可以为通过其他方式得到的图像，本公开实施例对此不做限定。中间视图可视为正视角与鸟瞰视角之间的一种中间视角状态下的视图。这里，中间视图可用于搭建正视图与鸟瞰图之间相互转换的桥梁，中间视图可以为位于正视角和鸟瞰视角之间的任意视角下的视图，本发明实施例对此不作限制。
可选地，通过对正视图进行线性变换或非线性变换处理，得到中间视图。具体地，对正视图进行的变换处理操作包括但不限于，通过预先获取的透视变换矩阵对正视图进行变换处理，用于将正视图变换到中间视图。
在步骤S120，基于中间视图，得到正视图对应的鸟瞰图。
在一种可选的实施方式中，对中间视图进行视角转换处理，将中间视图转换为鸟瞰图。其中，可以利用机器学习的方式对中间视图进行处理，得到鸟瞰图。例如，利用神经网络系统对中间视图进行处理，得到正视图对应的鸟瞰图。这里，神经网络系统用于对输入神经网络系统的图像进行视角转换处理，包括但不限于将输入神经网络系统的中间视图转换为鸟瞰图。
根据本发明实施例的鸟瞰图生成方法，通过将正视图进行变换处理得到中间视图，并将中间视图转换为鸟瞰图，通过两步转换的方式来保持图像中物体的细节信息和图像的整体结构，从而有利于保证视角转换效果，提高生成的鸟瞰图的质量；而且可基于正视图生成鸟瞰图，无需采用多摄像机或者采用雷达等设备生成鸟瞰图，成本较低。
本实施例的鸟瞰图生成方法可以由任意适当的具有相应的图像或数据处理能力的设备执行，包括但不限于：终端设备以及集成在终端设备上的计算机程序、处理器等，例如，车辆或其他类型的交通工具上的辅助/自动驾驶系统，或者集成有辅助/自动驾驶系统的电子设备。
在本发明的一些可选实施例中，在执行前述步骤S120之前，训练用于对图像进行视角转换的神经网络系统，以利用神经网络系统执行前述步骤S120，对中间视图进行视角转换处理，得到正视图对应的鸟瞰图。
图2示出了本发明一些实施例提供的神经网络训练方法的流程图。
参照图2，在步骤S210，根据正视图训练样本，得到中间视图训练样本。
在本发明实施例中，用于训练神经网络系统的训练样本集包括正视图训练样本和鸟瞰图训练样本，还包括中间视图训练样本。其中，正视图训练样本可以为车辆前置摄像头在车辆行驶过程中拍摄的图像，或者为通过对前置摄像头拍摄的图像经过一种或多种处理得到的图像，或者为通过其他方式得到的图像；鸟瞰图训练样本与正视图训练样本对应，可以为车辆在行驶过程中通过雷达装置获取的图像，或者为通过对雷达装置获取的图像进行一种或多种处理得到的图像，或者为通过其他方式得到的图像。中间视图可视为正视图与鸟瞰图之间的一种中间视角状态下的视图，可通过将正视图变换到该中间视角下得到。
在一种可选实施方式中，通过对正视图训练样本进行变换得到中间视图训练样本。可选地，获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；根据特征匹配点，得到中间视图训练样本。可选地，在得到中间视图训练样本时，可根据特征匹配点确定变换矩阵；根据变换矩阵对正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
在实际应用中，作为一个例子，可采用例如ORB(Oriented FAST and RotatedBRIEF，快速特征点提取与描述)算法，对正视图训练样本与鸟瞰图训练样进行快速地特征提取与匹配，并获取特征匹配点。可以采用例如RANSAC(Random Sample Consensus，随机采样一致)算法，将获取的特征匹配点数最多时对应的参数矩阵确定为用于进行变换处理的参数矩阵，从而得到变换矩阵。
进而，根据得到的变换矩阵对正视图训练样本上的所有像素进行例如映射的变换处理，将变换得到的所有像素形成的图像确定为中间视图训练样本。如图2所示，在获取变换矩阵H之后，可将正视图训练样本Z通过变换矩阵进行映射变换，得到中间视图训练样本X。
在这里说明，在获取变换矩阵之后，存储获取的变换矩阵，以用于在训练过程中对其他正视图(训练样本)进行变换处理得到中间视图(训练样本)。其中，变换矩阵具有一定的普适性，可用于对同一相机(相机的高度、方向等参数没有变化)拍摄的不同图像进行变换处理，以分别获得不同图像对应的中间视图。例如，在执行前述步骤S110时，可利用该变换矩阵对同一相机拍摄的正视图进行变换处理，得到对应的中间视图。
可选地，神经网络系统可包括透视变换子网络，将正视图训练样本输入透视变换子网络，通过透视变换子网络执行本步骤，对正视图训练样本进行变换处理得到中间视图训练样本，从而将中间视图训练样本输入到神经网络系统的后续网络结构，以执行下述步骤，对神经网络系统进行训练。
在步骤S220，利用神经网络系统对中间视图进行处理，得到第一鸟瞰图。
这里，神经网络系统用于对输入神经网络系统的图像进行视角转换，在实际的应用场景中，神经网络系统可以是任意适当的可实现对图像的视角转换的神经网络，包括但不限于对抗神经网络、增强学习神经网络、深度卷积神经网络等等。神经网络系统中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如对抗神经网络中的生成网络和判别网络的个数和具体结构，以及深度卷积神经网络中卷积层的层数、卷积核的大小等等，本发明实施例对此不作限制。
可选地，通过神经网络系统将中间视图训练样本进行视角转换，以获取鸟瞰视角下的第一鸟瞰图。例如，获取中间视图与鸟瞰图之间的视角转换关系，根据中间视图训练样本和该视角转换关系生成第一鸟瞰图。
根据本发明的一种示例性实施方式，如图3所示，神经网络系统包括编码子网络E和合成子网络G。在将中间视图训练样本X输入到神经网络后，中间视图训练样本X导入编码子网络E，通过编码子网络E对对中间视图训练样本X进行编码处理，得到第一中间特征；并通过合成子网络G对第一中间特征进行处理，得到第一鸟瞰图，
其中，编码子网络E包括第一编码单元Ex，用于通过第一编码单元Ex对第一中间视图训练样本X进行编码处理，得到第一中间特征；生成子网络G包括第一合成单元Gy，用于通过第一合成单元Gy对第一中间特征进行例如解码处理的处理操作，将第一中间特征解码到鸟瞰视角下，得到第一鸟瞰图。
在步骤S230，至少根据第一鸟瞰图与正视图训练样本对应的鸟瞰图训练样本，训练神经网络系统。
可选地，获取第一鸟瞰图与鸟瞰图训练样本之间的差异数据，以根据获取的差异数据调整神经网络系统的网络参数。例如，根据预设的损失函数或偏差函数，计算第一鸟瞰图与鸟瞰图训练样本之间的损失值或偏差值，并根据计算得到损失值或偏差值调整神经网络系统的网络参数。
可选地，神经网络系统还包括判别子网络D，判别子网络D包括第一判别单元Dy，用于对得到的第一鸟瞰图和鸟瞰图训练样本Y分别进行分类处理，得到第一分类结果和第二分类结果。在得到第一分类结果和第二分类结果后，可基于第一分类结果和第二分类结果调整编码子网络E、合成子网络G和判别子网络D中至少一个的网络参数，从而实现对神经网络系统的训练。
在实际应用中，可重复执行上述神经网络训练方法对神经网络系统的网络参数进行调整，直至计算得到的差异数据(例如损失值或偏差值)等降低至预设的差异阈值，或者不再降低，使得神经网络系统较好地收敛。
训练完成的神经网络系统可用于对图像进行视角变换，尤其适用于将输入的正视图转换为鸟瞰图。针对汽车自动驾驶的问题，可利用普通摄像头拍摄的正视图进行透视变换得到中间视图，将中间视图输入神经网络系统即可直接生成鸟瞰图，无需采用多摄像机或者采用雷达等设备，降低了汽车自动驾驶过程中感知环境的成本。
而且，相对于现有技术中直接将正视图变换为鸟瞰图的技术，通过设置中间视图，采用两步转换的方式，将正视图变换得到的中间视图转换为鸟瞰图，可较好地保持图像中物体的细节信息和整体结构，从而避免大角度变换或存在大形变的变换造成的较好地保持物体外形的问题。
在一些可选的实施方式中，在执行步骤S220时，还可将正视图训练样本和鸟瞰图训练样本中的一个或两个输入到神经网络系统(本实施例中，将正视图训练样本、中间视图训练样本和鸟瞰图训练样本一起输入神经网络系统)，并通过将各训练样本图像(包括正视图训练样本、中间视图训练样本和鸟瞰图训练样本)分别输入编码子网络E，由编码子网络E进行编码处理得到中间特征，并通过合成子网络G对得到的各中间特征进行处理，解码到不同视角的表示上，以生成不同视角下的视图。也即，根据正视图训练样本对应中间特征生成正视图和鸟瞰图，以及根据中间视图训练样本对应的中间特征生成中间视图和鸟瞰图，以及根据鸟瞰图训练样本生成正视图、中间视图和鸟瞰图。这里，由于中间视图(训练样本)可直接通过正视图(训练样本)进行透视变换得到，无需将正视图训练样本转换为中间视图，也无需将中间视图训练样本转换为正视图。
相应地，在执行步骤S230时，可分别根据正视图与正视图训练样本、中间视图与中间视图训练样本、鸟瞰图与鸟瞰图训练样本，训练神经网络系统。
可选地，将各训练样本图像均编码到同一类型的中间特征，通过以同种特征表述的形式来表述各训练样本图像。其中，中间特征可以为一种常见的高层特征，用于表述图像的语义信息。
例如，在图3所示的神经网络系统中，编码子网络E还包括第二编码单元Ey和第三编码单元Ez，第一编码单元Ex用于对中间视图训练样本X进行编码处理，得到第一中间特征；第二编码单元Ey用于对鸟瞰图训练样本Y进行编码处理，得到第二中间特征；第三编码单元Ez用于对正视图训练样本Z进行编码处理，得到第三中间特征。
合成子网络G还包括第二合成单元Gx和第三合成单元Gz，第一合成单元Gy用于对第一中间特征进行例如解码的处理，得到第一鸟瞰图Y(x→y)；以及对第二中间特征进行处理，得到第二鸟瞰图Y(y→y)；以及对第三中间特征进行处理，得到第三鸟瞰图Y(z→y)；第二合成单元Gx用于对第二中间特征进行处理，得到第一中间视图X(y→x)，以及对第一中间特征进行处理，得到第三中间视图X(x→x)；第三合成单元Gz用于对第二中间特征进行处理，得到第一正视图Z(y→z)，以及对第三中间特征进行处理，得到第二正视图Z(z→z)。
判别子网络D还包括第二判别单元Dx和第三判别单元Dz，第一判别单元Dy用于对第一合成单元Gy得到的第一鸟瞰图Y(x→y)和鸟瞰图训练样本Y分别进行分类处理，以及对第一合成单元Gy得到的第三鸟瞰图Y(z→y)和鸟瞰图训练样本Y分别进行分类处理；第二判别单元Dx用于对第二合成单元Gx得到的第二中间视图X(y→x)与中间视图训练样本X分别进行分类处理；第三判别单元Dz还用于对第三合成单元Gz得到的第一正视图Z(y→z)与正视图训练样本G分别进行分类处理。
这里，第二鸟瞰图Y(y→y)由鸟瞰图训练样本Y编码得到的第二中间特征解码得到，也即，第二鸟瞰图Y(y→y)可视为由鸟瞰图训练样本Y重建得到。相应地，第三中间视图X(x→x)和第二正视图Z(z→z)分别为中间视图训练样本X和正视图训练样本Z重建得到。第三中间视图X(x→x)、第二鸟瞰图Y(y→y)和第二正视图Z(z→z)无需经过相应的判别单元进行分类处理。
可选地，神经网络系统还包括共享单元，共享单元设置于神经网络系统的至少一个编码单元与至少一个合成单元之间，具体可编码子网络E与合成子网络G之间，编码子网络E编码得到的各中间特征可输入共享单元。在实际应用中，第一编码单元Ex、第二编码单元Ey和第三编码单元Ez可分别用于对各自对应训练样本图像的底层特征进行初步编码处理；得到的初步编码结果输入共享单元，由共享单元对初步编码结果进行针对高层特征的进一步编码处理，得到包括至少一个高层特征的中间特征。也即，合成子网络G对经过进一步编码处理后的各中间特征进行解码处理，得到相应的鸟瞰图、中间视图或正视图，例如，第一鸟瞰图Y(x→y)是第一合成单元G y基于包括至少一个高层特征的第一中间特征进行处理得到的。
在实际应用中，第一编码单元Ex、第二编码单元Ey和第三编码单元Ez，均可使用6个blocks(子模块)堆叠组成，其中的非线性激活函数可使用LeakyReLU(Leaky RectifiedLinear Unit，漏斗形激活函数)，归一化函数可使用InstanceNorm(实例归一化)。同理，第一合成单元Gy、第二合成单元Gx和第三合成单元Gz，也均可使用6个blocks堆叠组成。对于第一判别单元Dy、第二判别单元Dx和第三判别单元Dz，可使用6个二维卷积核和LeakyReLU堆叠组成，其中的每个卷积核的大小可为3*3，步长可为2。应当理解，上述各单元的具体结构不限于此，在其他实施例中，还可采用其他能够实现相应功能的结构。
在一种具体地实施方式中，执行上述步骤S220和步骤S230，对神经网络系统进行训练的过程中，可通过第一编码单元Ex对中间视图训练样本X进行编码处理，得到第一中间特征；通过第一合成单元Gy对第一中间特征进行解码处理，得到第一鸟瞰图Y(x→y)；通过第一判别单元Dy对第一鸟瞰图Y(x→y)和鸟瞰图训练样本Y进行分类处理，以根据得到的第一分类结果和第二分类结果，调整第一编码单元Ex、第一合成单元Gy和第一判别单元Dy中至少一个的网络参数，例如，根据第一分类结果和第二分类结果获取第一鸟瞰图Y(x→y)与鸟瞰图训练样本Y之间的第一差异数据，并根据第一差异数据调整第一编码单元Ex、第一合成单元Gy和第一判别单元Dy中至少一个的网络参数。
以及，通过第三编码单元Ez对正视图训练样本Z编码到第三中间特征；通过第一合成单元Gy对第三中间特征进行解码处理，得到第三鸟瞰图Y(z→y)；通过第一判别单元Dy对第三鸟瞰图Y(z→y)和鸟瞰图训练样本Y进行分类处理，以根据得到的第三分类结果和第四分类结果获取第三鸟瞰图Y(z→y)与鸟瞰图训练样本Y之间的第二差异数据，并根据第二差异数据调整第三编码单元Ez、第一合成单元Gy和第一判别单元Dy中至少一个的网络参数。
也即，通过神经网络系统分别将中间视图训练样本X和正视图训练样本Z进行视角转换生成鸟瞰图，根据生成的鸟瞰图与鸟瞰图训练本Y之间的差异训练神经网络系统。其中，第一差异数据或第二差异数据可以通过第一判别单元Dy所进行的分类处理获取，也可以通过独立的计算单元获取。
以及，通过第二编码单元Ey对鸟瞰图训练样本Y进行编码处理，得到第二中间特征；通过第一合成单元Gy对第二中间特征进行解码处理，得到第二鸟瞰图Y(y→y)，以获取第二鸟瞰图Y(y→y)与鸟瞰图训练样本Y之间的差异，调整第二编码单元Ey和第一合成单元Gy中至少一个的网络参数。例如，获取第二鸟瞰图Y(y→y)与鸟瞰图训练样本Y之间的第三差异数据，并根据第三差异数据调整第二编码单元Ey和第一合成单元Gy的网络参数。这里，第三差异数据可以为根据第二鸟瞰图Y(y→y)与鸟瞰图训练样本Y上对应像素之间的差值计算得到的损失值。
也即，通过将鸟瞰图训练样本Y重建，根据重建生成的鸟瞰图与鸟瞰图训练样本Y之间的差异训练神经网络系统。
在另一种具体的实施方式中，通过神经网络系统对正视图训练样本Z、中间视图训练样本X或鸟瞰图训练样本Y进行处理，得到正视图和/或中间视图，并根据生成的正视图与正视图训练样本Z之间的差异，和/或，根据生成的中间视图与中间视图训练样本X之间的差异，训练神经网络系统。
例如，通过第二编码单元Ey对鸟瞰图训练样本Y进行编码处理，得到第二中间特征；通过第二合成单元Gx对第二中间特征进行解码处理，得到第二中间视图X(y→x)；通过第二判别单元Dx对第二中间视图X(y→x)与中间视图训练样本X分别进行分类处理，以根据得到的第五分类结果和第六分类结果，调整第二编码单元Ey、第二合成单元Gx和第二判别单元Dx中至少一个的网络参数。例如，根据第五分类结果和第六分类结果获取第一中间视图X(y→x)与中间视图训练样本X之间的第四差异数据，并根据第四差异数据调整第二编码单元Ey、第二合成单元Gx和第二判别单元Dx中至少一个的网络参数。也即，通过将鸟瞰图训练样本Y进行视角转换生成中间视图，根据生成的中间视图与中间视图训练样本X之间的差异训练神经网络系统。
再例如，通过第一编码单元Ex对中间视图训练样本X进行编码处理，得到第一中间特征；通过第二合成单元Gx对第一中间特征进行解码处理，得到第三中间视图X(x→x)，以获取第三中间视图X(x→x)与中间视图训练样本X之间的第五差异数据，并根据第五差异数据调整第一编码单元Ex和第二合成单元Gx的网络参数。也即，通过将中间视图训练样本X重建，根据重建生成的中间视图与中间视图训练样本X之间的差异训练神经网络系统。
再例如，通过第二编码单元Ey对鸟瞰图训练样本Y进行编码处理，得到第二中间特征；通过第三合成单元Gz对第二中间特征进行解码处理，得到第一正视图Z(y→z)；通过第三判别单元Dz对第一正视图Z(y→z)与正视图训练样本Z分别进行分类处理，以根据得到的第七分类结果和第八分类结果，调整第二编码单元Ey、第三合成单元Gz和第三判别单元Dz中至少一个的网络参数。例如，根据第七分类结果和第八分类结果获取第一正视图Z(y→z)与正视图训练样本Z之间的第六差异数据，并根据第六差异数据调整第二编码单元Ey、第三合成单元Gz和第三判别单元Dz中至少一个的网络参数。也即，通过将鸟瞰图训练样本Y进行视角转换生成正视图，根据生成的正视图与正视图训练样本Z之间的差异训练神经网络系统。
再例如，通过第三编码单元Ez对正视图训练样本Z进行编码处理，得到第三中间特征；通过第三合成单元Gz对第三中间特征进行解码处理，得到第二正视图Z(z→z)，以获取第二正视图Z(z→z)与正视图训练样本Z之间的第七差异数据，并根据第七差异数据调整第三编码单元Ez和第三合成单元Gz的网络参数。也即，通过将正视图训练样本Z重建，根据重建生成的正视图与正视图训练样本Z之间的差异训练神经网络系统。
在这里说明，图中示出的第三中间视图X(x→x)、第二鸟瞰图Y(y→y)以及第二正视图Z(z→z)均未经过相应的判别单元的分类处理，用于将这些重建得到的图像与例如第一鸟瞰图Y(x→y)、第一正视图Z(y→z)等通过视角转换得到的图像进行区别。在实际应用中，这些重建得到的图像同样可以经过判别子网络D中相应的判别单元的分类处理，并根据重建得到的图像与原始训练样本之间的差异训练相应的判别单元，以加强相应的判别单元的判别能力。
其中，在调整神经网络系统中各单元的网络参数时，可根据交替地调整判别单元(包括Dx、Dy、Dz)的网络参数以及编码单元(包括Ex、Ey、Ez)和合成单元(包括Gx、Gy、Gz)的网络参数.
例如，在根据第一差异数据调整第一编码单元Ex、第一合成单元Gy和第一判别单元Dy中至少一个的网络参数时，可在获取第一差异数据时，首先固定第一编码单元Ex和第一合成单元Gy的网络参数，根据第一差异数据更新第一判别单元Dy的网络参数；然后在再次获取第一差异数据时，固定第一判别单元Dy的网络参数，根据第一差异数据更新第一编码单元Ex和第一合成单元Gy的网络参数。
可选地，在一些可选的实施例的神经网络训练方法，还将合成子网络得到的鸟瞰图作为新的鸟瞰图训练样本，并根据新的鸟瞰图训练样本，通过神经网络系统生成重建的中间视图；根据重建的中间视图与原始的中间视图训练样本，调整神经网络系统的网络参数。以及，将合成子网络得到的中间视图作为新的中间视图训练样本，并根据新的中间视图训练样本，通过神经网络系统生成重建的鸟瞰图；根据鸟瞰图与原始的鸟瞰图训练样本，调整神经网络系统的网络参数。
例如，利用神经网络系统对第一鸟瞰图Y(x→y)进行处理，得到第二中间视图；根据第二中间视图与中间视图训练样本X之间的差异，调整神经网络系统的网络参数。具体地，将基于中间视图训练样本X进行编码处理得到的第一中间特征进行解码处理得到的第一鸟瞰图Y(x→y)，作为新的鸟瞰图训练样本输入到神经网络系统，通过第二编码单元Ey进行编码处理得到第四中间特征，以及通过第二合成单元Gx对第四中间特征进行解码处理，生成第二中间视图；获取第二中间视图与原始的中间视图训练样本X之间的差异数据，在该差异数据超过第一预设范围的情况下，调整第一编码单元Ex、第二编码单元Ey、第一合成单元Gy、第二合成单元Gx中至少一个的网络参数。
再例如，利用神经网络系统对第一中间视图X(y→x)进行处理，得到第四鸟瞰图；根据第四鸟瞰图与鸟瞰图训练样本之间的差异，调整神经网络系统的网络参数。具体地，将基于鸟瞰图训练样本Y进行编码处理得到的第二中间特征进行解码处理得到的第一中间视图X(y→x)，作为新的中间视图训练样本输入到神经网络系统，通过第一编码单元Ex进行编码处理得到第五中间特征，以及通过第一合成单元Gy对第五中间特征进行解码处理，生成第四鸟瞰图；获取第四鸟瞰图与原始的鸟瞰图训练样本Y之间的差异数据，在该差异数据超过第二预设范围的情况下，调整第一编码单元Ex、第二编码单元Ey、第一合成单元Gy、第二合成单元Gx中至少一个的网络参数。
也就是说，通过神经网络系统对输入的鸟瞰图训练样本和/或中间视图训练样本进行两次视角转换，根据重建生成新的鸟瞰图和/或中间视图与原始的鸟瞰图训练样本和/或中间视图训练样本之间的差异，调整神经网络系统的网络参数，直至该差异小于预设的阈值，以使重建的图片与原始图片尽量接近，从而保证二者之间的双向映射，相当于保证鸟瞰图与中间视图之间一一对应关系。并且，基于中间视图是通过正视图进行透视变换得到的，可保证鸟瞰图与正视图之间的一一对应关系，也即，保持不同视角之间转换关系的一致性，也就是一对一映射的关系。
可选地，在一些可选的实施例的神经网络训练方法，还分别提取合成子网络生成的鸟瞰图与正视图(正视图训练样本)的底层特征和高层特征；以根据鸟瞰图的底层特征与正视图(正视图训练样本)的底层特征之间的距离，和/或鸟瞰图的高层特征与正视图(正视图训练样本)的高层特征之间的距离，调整神经网络系统的网络参数。
例如，通过在神经网络系统中设置一个特征提取单元，用于提取生成的第一鸟瞰图Y(x→y)(或者第二鸟瞰图Y(y→y)、第三鸟瞰图Y(z→y))和正视图训练样本(或者第一正视图Z(y→z)、第二正视图Z(z→z))的底层特征和高层特征。这里，以向量的形式表示提取的特征，分别计算第一鸟瞰图Y(x→y)和正视图训练样本的底层特征向量之间的第一距离，和第一鸟瞰图Y(x→y)和正视图训练样本的高层特征向量之间的第二距离，在第一距离超过第一阈值和/或第二距离超过第二阈值的情况下，调整神经网络系统的网络参数。此外，还可以将第一距离与第二距离代入预设的距离计算公式，根据计算得到的距离与预设的距离阈值之间的差距调整神经网络系统的网络参数。
这里，通过约束鸟瞰图与正视图的底层特征和高层特征之间的距离，可保持鸟瞰图与正视图之间的底层特征和高层特征的一致性。其中，高层特征可表示图像的语义信息，例如图像的颜色，也即，使得鸟瞰图和正视图中出现的物体相同，两图像的颜色一致，从而保持不同视角下的图像的语义信息和底层特征的一致性。
根据本发明实施例提供的神经网络训练方法，通过将正视图训练样本、中间视图训练样本和鸟瞰图训练样本输入到神经网络系统，进行视角转换或者重建生成正视图、中间视图和鸟瞰图；根据生成的图像与相应的训练样本之间的差异训练神经网络系统，从而提高了神经网络系统的视角转换效果；以及，通过进行多种视角转换来保证生成的鸟瞰图与正视图具有相同的语义信息，并进一步提高了图像中物体细节信息的保持效果，从而提高视角转换效果；以及，通过设置不同视角之间转换关系的一致性，以及不同视角下图像的低层特征和高层特征的一致性，使得网络训练过程更加稳定，从而有效地避免神经网络系统陷入模型坍塌问题，并进一步提高神经网络的视角转换效果，从而提高生成图片的质量。
采用本发明实施例的提供的神经网络训练方法训练得到的神经网络系统，来执行本发明实施例的鸟瞰图生成方法，基于对正视图进行变换得到的中间视图生成鸟瞰图，避免了大角度变换或存在大形变的变换，有利于保持物体结构，并保持图片中物体的颜色等细节；而且实现过程中无需设置多个摄像头或者特殊传感器，成本较低。
本发明实施例提供的神经网络训练方法可以由任意适当的具有相应的图像或数据处理能力的设备执行，包括但不限于：例如计算机的终端设备，以及集成在终端设备上的计算机程序、处理器等。
基于相同的技术构思，图4是根据本发明一些实施例的一种鸟瞰图生成装置的结构框图。可用以执行以上实施例所述的鸟瞰图生成方法流程。
参照图4，本发明一些可选实施例的鸟瞰图生成装置包括：变换模块410，用于对正视图进行变换处理，得到中间视图；第一获取模块420，用于基于所述中间视图，得到所述正视图对应的鸟瞰图。
可选地，所述第一获取模块420用于利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图。
可选地，该鸟瞰图生成装置还包括：第二获取模块430，用于根据正视图训练样本，得到中间视图训练样本；第一处理模块440，用于利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；第一训练模块450，用于根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
在这里说明，第二获取模块430、第一处理模块440、第一训练模块450以及下文所述的各模块可组成一套神经网络训练装置，用于训练神经网络系统，也即，该鸟瞰图生成装置可包括一套神经网络训练装置。
可选地，所述第二获取模块430包括：第一匹配单元4301，用于获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；第一获取单元4302，用于根据所述特征匹配点，得到中间视图训练样本。
可选地，所述第一获取单元4302包括：第一确定子单元(图中未示出)，用于根据所述特征匹配点确定变换矩阵；第一变换子单元(图中未示出)，用于根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
可选地，所述第一处理模块440包括：第一编码处理单元4401，用于通过所述神经网络系统中的第一编码单元对所述中间视图训练样本进行编码处理，得到第一中间特征；第一合成处理单元4402，用于通过所述神经网络系统中的第一合成单元对所述第一中间特征进行处理，得到第一鸟瞰图。
可选地，所述第一训练模块450包括：第一分类处理单元4501，用于通过所述神经网络系统中的第一判别单元对所述第一鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第一分类结果和第二分类结果；第一训练单元4502，用于根据所述第一分类结果和所述第二分类结果，调整所述第一编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。在这里说明，第一编码处理单元4401具体可包括神经网络系统的第一编码单元，第一合成处理单元4402具体可包括神经网络系统的第一合成单元，第一分类处理单元4501具体可包括神经网络系统的第一判别单元。也即，本发明实施例的神经网络训练装置中的各编码处理单元、合成处理单元、分类处理单元可分别包括神经网络系统中的编码单元、合成单元、判别单元，下文不在赘述。
可选地，该鸟瞰图生成装置还包括：第二处理模块(该模块在图中未示出，本实施例的下文所述的各模块及单元在图中未示出，下文不在赘述)，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图；第二训练模块，用于根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第二处理模块包括：第二编码处理单元，用于通过所述神经网络系统中的第二编码单元对所述鸟瞰图训练样本进行编码处理，得到第二中间特征；第二合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第二中间特征进行处理，得到第二鸟瞰图。
可选地，所述第二训练模块用于：根据所述第二鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述第二编码单元和所述第一合成单元中至少一个的网络参数。
可选地，该鸟瞰图生成装置还包括：第三处理模块，用于利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图；第三训练模块，用于根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
可选地，所述第三处理模块包括：第三编码处理单元，用于通过所述神经网络系统中的第三编码单元对所述正视图训练样本进行编码处理，得到第三中间特征；第三合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第三中间特征进行处理，得到第三鸟瞰图。
可选地，所述第三训练模块包括：第二分类处理单元，用于通过所述神经网络系统中的第一判别单元对所述第三鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第三分类结果和第四分类结果；第二训练单元，用于根据所述第三分类结果和所述第四分类结果，调整所述第三编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
可选地，该鸟瞰图生成装置还包括：第四处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图；第四训练模块，用于根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统。
可选地，所述第四处理模块用于：通过所述神经网络系统中的第二合成单元对第二中间特征进行处理，得到第一中间视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
可选地，所述第四训练模块包括：第三分类处理单元，用于通过所述神经网络系统中的第二判别单元对所述第一中间视图和所述中间视图训练样本分别进行分类处理，得到第五分类结果和第六分类结果；第三训练单元，用于根据所述第五分类结果和第六分类结果，调整所述第二编码单元、所述第二合成单元和第二判别单元中至少一个的网络参数。
可选地，该鸟瞰图生成装置还包括：第五处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图；第五训练模块，用于根据所述正视图与所述正视图训练样本，训练所述神经网络系统。
可选地，所述第五处理模块用于：通过所述神经网络系统中的第三合成单元对第三中间特征进行处理，得到正视图，其中，所述第三中间特征是所述神经网络系统的第三编码单元对所述正视图训练样本进行编码处理得到的。
可选地，所述第五训练模块包括：第四分类处理单元，用于通过所述神经网络系统中的第三判别单元对所述正视图和所述正视图训练样本分别进行分类处理，得到第七分类结果和第八分类结果；第四训练单元，用于根据所述第七分类结果和第八分类结果，调整所述第三编码单元、所述第三合成单元和第三判别单元中至少一个的网络参数。
可选地，所述神经网络系统包括共享单元，所述共享单元设置于所述神经网络系统的至少一个编码单元与所述神经网络系统的至少一个合成单元之间；该鸟瞰图生成装置还包括：共享模块，用于通过所述共享单元对所述至少一个编码单元得到的至少一个中间特征进行编码处理，得到至少一个高层特征，其中，所述第一鸟瞰图是所述至少一个合成单元基于所述至少一个高层特征得到的。
可选地，该鸟瞰图生成装置还包括：第六处理模块，用于利用所述神经网络系统对所述第一鸟瞰图进行处理，得到第二中间视图；第六训练模块，用于根据所述第二中间视图与所述中间视图训练样本之间的差异，调整所述神经网络系统的网络参数。
可选地，该鸟瞰图生成装置还包括：第七处理模块，用于利用所述神经网络系统对所述第一中间视图进行处理，得到第四鸟瞰图；第七训练模块，用于根据所述第四鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述神经网络系统的网络参数。
可选地，该鸟瞰图生成装置还包括：第八处理模块，用于确定所述正视图训练样本的底层特征与所述第一鸟瞰图的底层特征之间的第一距离，以及所述正视图训练样本的高层特征与所述第一鸟瞰图的高层特征之间的第二距离；第八训练模块，用于根据所述第一距离和所述第二距离，调整所述神经网络系统的网络参数。
本发明实施例的鸟瞰图生成装置用于实现前述方法实施例中相应的鸟瞰图生成方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本发明的一些实施例还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一鸟瞰图生成方法的步骤。
本发明的一些实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一鸟瞰图生成方法的步骤。
本发明实施例的鸟瞰图生成装置用于实现前述方法实施例中相应的神经网络训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本发明的一些实施例还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一神经网络训练方法的步骤。
本发明的一些实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一神经网络训练方法的步骤。
本发明的一些实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，电子设备500包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件512和/或通信接口509。其中，通信组件512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口509包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口509经由诸如因特网的网络执行通信处理。
处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过通信总线504与通信组件512相连、并经通信组件512与其他目标设备通信，从而完成本发明实施例提供的任一项鸟瞰图生成方法对应的操作，例如，对正视图进行变换处理，得到中间视图；基于所述中间视图，得到所述正视图对应的鸟瞰图；或者完成本发明实施例提供的任一项神经网络训练方法对应的操作，例如，根据正视图训练样本，得到中间视图训练样本；利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501或GPU513、ROM502以及RAM503通过通信总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器执行上述鸟瞰图生成方法对应的操作。输入/输出(I/O)接口505也连接至通信总线504。通信组件512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口509。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的鸟瞰图生成方法步骤对应的指令，例如，对正视图进行变换处理，得到中间视图；基于所述中间视图，得到所述正视图对应的鸟瞰图。或者，程序代码包括对应执行本发明实施例提供的神经网络训练方法步骤对应的指令，例如，根据正视图训练样本，得到中间视图训练样本；利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (52)
1.一种鸟瞰图生成方法，其特征在于，包括：
对正视图进行变换处理，得到中间视图；
基于所述中间视图，得到所述正视图对应的鸟瞰图；
所述基于所述中间视图，得到所述正视图对应的鸟瞰图，包括：
利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图；
在所述利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图之前，还包括：
根据正视图训练样本，得到中间视图训练样本；
利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；
至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
2.根据权利要求1所述的方法，其特征在于，所述根据正视图训练样本，得到中间视图训练样本，包括：
获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；
根据所述特征匹配点，得到中间视图训练样本。
3.根据权利要求2所述的方法，其特征在于，所述根据所述特征匹配点，获得中间视图训练样本，包括：
根据所述特征匹配点确定变换矩阵；
根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图，包括：
通过所述神经网络系统中的第一编码单元对所述中间视图训练样本进行编码处理，得到第一中间特征；
通过所述神经网络系统中的第一合成单元对所述第一中间特征进行处理，得到第一鸟瞰图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：
通过所述神经网络系统中的第一判别单元对所述第一鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第一分类结果和第二分类结果；
至少根据所述第一分类结果和所述第二分类结果，调整所述第一编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图；
至少根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
7.根据权利要求6所述的方法，其特征在于，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图，包括：
通过所述神经网络系统中的第二编码单元对所述鸟瞰图训练样本进行编码处理，得到第二中间特征；
通过所述神经网络系统中的第一合成单元对所述第二中间特征进行处理，得到第二鸟瞰图。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：
至少根据所述第二鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述第二编码单元和所述第一合成单元中至少一个的网络参数。
9.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图；
至少根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
10.根据权利要求9所述的方法，其特征在于，所述利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图，包括：
通过所述神经网络系统中的第三编码单元对所述正视图训练样本进行编码处理，得到第三中间特征；
通过所述神经网络系统中的第一合成单元对所述第三中间特征进行处理，得到第三鸟瞰图。
11.根据权利要求10所述的方法，其特征在于，所述根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统，包括：
通过所述神经网络系统中的第一判别单元对所述第三鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第三分类结果和第四分类结果；
根据所述第三分类结果和所述第四分类结果，调整所述第三编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
12.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图；
至少根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统。
13.根据权利要求12所述的方法，其特征在于，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图，包括：
通过所述神经网络系统中的第二合成单元对第二中间特征进行处理，得到第一中间视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
14.根据权利要求13所述的方法，其特征在于，所述根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统，包括：
通过所述神经网络系统中的第二判别单元对所述第一中间视图和所述中间视图训练样本分别进行分类处理，得到第五分类结果和第六分类结果；
至少根据所述第五分类结果和第六分类结果，调整所述第二编码单元、所述第二合成单元和第二判别单元中至少一个的网络参数。
15.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图；
至少根据所述正视图与所述正视图训练样本，训练所述神经网络系统。
16.根据权利要求15所述的方法，其特征在于，所述利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图，包括：
通过所述神经网络系统中的第三合成单元对第二中间特征进行处理，得到正视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
17.根据权利要求16所述的方法，其特征在于，所述根据所述正视图与所述正视图训练样本，训练所述神经网络系统，包括：
通过所述神经网络系统中的第三判别单元对所述正视图和所述正视图训练样本分别进行分类处理，得到第七分类结果和第八分类结果；
至少根据所述第七分类结果和第八分类结果，调整所述第二编码单元、所述第三合成单元和第三判别单元中至少一个的网络参数。
18.根据权利要求1至3中任一项所述的方法，其特征在于，所述神经网络系统包括共享单元，所述共享单元设置于所述神经网络系统的至少一个编码单元与所述神经网络系统的至少一个合成单元之间；
所述方法还包括：
通过所述共享单元对所述至少一个编码单元得到的至少一个中间特征进行编码处理，得到至少一个高层特征，其中，所述第一鸟瞰图是所述至少一个合成单元基于所述至少一个高层特征得到的。
19.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述第一鸟瞰图进行处理，得到第二中间视图；
在所述第二中间视图与所述中间视图训练样本之间的差异超过第一预设范围的情况下，调整所述神经网络系统的网络参数。
20.根据权利要求12所述的方法，其特征在于，所述方法还包括：
利用所述神经网络系统对所述第一中间视图进行处理，得到第四鸟瞰图；
在所述第四鸟瞰图与所述鸟瞰图训练样本之间的差异超过第二预设范围的情况下，调整所述神经网络系统的网络参数。
21.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
确定所述正视图训练样本的底层特征与所述第一鸟瞰图的底层特征之间的第一距离，在所述第一距离超过第一阈值的情况下，调整所述神经网络系统的网络参数；
和/或，确定所述正视图训练样本的高层特征与所述第一鸟瞰图的高层特征之间的第二距离，在所述第二距离超过第二阈值的情况下，调整所述神经网络系统的网络参数。
22.一种用于鸟瞰图生成的神经网络训练方法，其特征在于，包括：
根据正视图训练样本，得到中间视图训练样本；
利用神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；
至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
23.根据权利要求22所述的方法，其特征在于，所述根据正视图训练样本，得到中间视图训练样本，包括：
获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；
根据所述特征匹配点，得到中间视图训练样本。
24.根据权利要求23所述的方法，其特征在于，所述根据所述特征匹配点，获得中间视图训练样本，包括：
根据所述特征匹配点确定变换矩阵；
根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
25.一种鸟瞰图生成装置，其特征在于，包括：
变换模块，用于对正视图进行变换处理，得到中间视图；
第一获取模块，用于基于所述中间视图，得到所述正视图对应的鸟瞰图；
所述第一获取模块用于利用神经网络系统对所述中间视图进行处理，得到所述正视图对应的鸟瞰图；
第二获取模块，用于根据正视图训练样本，得到中间视图训练样本；
第一处理模块，用于利用所述神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；
第一训练模块，用于至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
26.根据权利要求25所述的装置，其中，所述第二获取模块包括：
第一匹配单元，用于获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；
第一获取单元，用于根据所述特征匹配点，得到中间视图训练样本。
27.根据权利要求26所述的装置，其中，所述获取单元包括：
第一确定子单元，用于根据所述特征匹配点确定变换矩阵；
第一变换子单元，用于根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
28.根据权利要求25至27中任一项所述的装置，其中，所述第一处理模块包括：
第一编码处理单元，用于通过所述神经网络系统中的第一编码单元对所述中间视图训练样本进行编码处理，得到第一中间特征；
第一合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第一中间特征进行处理，得到第一鸟瞰图。
29.根据权利要求28所述的装置，其中，所述第一训练模块包括：
第一分类处理单元，用于通过所述神经网络系统中的第一判别单元对所述第一鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第一分类结果和第二分类结果；
第一训练单元，用于至少根据所述第一分类结果和所述第二分类结果，调整所述第一编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
30.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第二处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第二鸟瞰图；
第二训练模块，用于至少根据所述第二鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
31.根据权利要求30所述的装置，其中，所述第二处理模块包括：
第二编码处理单元，用于通过所述神经网络系统中的第二编码单元对所述鸟瞰图训练样本进行编码处理，得到第二中间特征；
第二合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第二中间特征进行处理，得到第二鸟瞰图。
32.根据权利要求31所述的装置，其中，所述第二训练模块用于：
至少根据所述第二鸟瞰图与所述鸟瞰图训练样本之间的差异，调整所述第二编码单元和所述第一合成单元中至少一个的网络参数。
33.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第三处理模块，用于利用所述神经网络系统对所述正视图训练样本进行处理，得到第三鸟瞰图；
第三训练模块，用于至少根据所述第三鸟瞰图与所述鸟瞰图训练样本，训练所述神经网络系统。
34.根据权利要求33所述的装置，其中，所述第三处理模块包括：
第三编码处理单元，用于通过所述神经网络系统中的第三编码单元对所述正视图训练样本进行编码处理，得到第三中间特征；
第三合成处理单元，用于通过所述神经网络系统中的第一合成单元对所述第三中间特征进行处理，得到第三鸟瞰图。
35.根据权利要求34所述的装置，其中，所述第三训练模块包括：
第二分类处理单元，用于通过所述神经网络系统中的第一判别单元对所述第三鸟瞰图和所述鸟瞰图训练样本分别进行分类处理，得到第三分类结果和第四分类结果；
第二训练单元，用于至少根据所述第三分类结果和所述第四分类结果，调整所述第三编码单元、所述第一合成单元和所述第一判别单元中至少一个的网络参数。
36.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第四处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到第一中间视图；
第四训练模块，用于至少根据所述第一中间视图与所述中间视图训练样本，训练所述神经网络系统。
37.根据权利要求36所述的装置，其中，所述第四处理模块用于：
通过所述神经网络系统中的第二合成单元对第二中间特征进行处理，得到第一中间视图，其中，所述第二中间特征是所述神经网络系统的第二编码单元对所述鸟瞰图训练样本进行编码处理得到的。
38.根据权利要求37所述的装置，其中，所述第四训练模块包括：
第三分类处理单元，用于通过所述神经网络系统中的第二判别单元对所述第一中间视图和所述中间视图训练样本分别进行分类处理，得到第五分类结果和第六分类结果；
第三训练单元，用于至少根据所述第五分类结果和第六分类结果，调整所述第二编码单元、所述第二合成单元和第二判别单元中至少一个的网络参数。
39.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第五处理模块，用于利用所述神经网络系统对所述鸟瞰图训练样本进行处理，得到正视图；
第五训练模块，用于至少根据所述正视图与所述正视图训练样本，训练所述神经网络系统。
40.根据权利要求39所述的装置，其中，所述第五处理模块用于：
通过所述神经网络系统中的第三合成单元对第三中间特征进行处理，得到正视图，其中，所述第三中间特征是所述神经网络系统的第三编码单元对所述正视图训练样本进行编码处理得到的。
41.根据权利要求40所述的装置，其中，所述第五训练模块包括：
第四分类处理单元，用于通过所述神经网络系统中的第三判别单元对所述正视图和所述正视图训练样本分别进行分类处理，得到第七分类结果和第八分类结果；
第四训练单元，用于至少根据所述第七分类结果和第八分类结果，调整所述第三编码单元、所述第三合成单元和第三判别单元中至少一个的网络参数。
42.根据权利要求25至27中任一项所述的装置，其中，所述神经网络系统包括共享单元，所述共享单元设置于所述神经网络系统的至少一个编码单元与所述神经网络系统的至少一个合成单元之间；
所述装置还包括：
共享模块，用于通过所述共享单元对所述至少一个编码单元得到的至少一个中间特征进行编码处理，得到至少一个高层特征，其中，所述第一鸟瞰图是所述至少一个合成单元基于所述至少一个高层特征得到的。
43.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第六处理模块，用于利用所述神经网络系统对所述第一鸟瞰图进行处理，得到第二中间视图；
第六训练模块，用于在所述第二中间视图与所述中间视图训练样本之间的差异超过第一预设范围的情况下，调整所述神经网络系统的网络参数。
44.根据权利要求36所述的装置，其中，所述装置还包括：
第七处理模块，用于利用所述神经网络系统对所述第一中间视图进行处理，得到第四鸟瞰图；
第七训练模块，用于在所述第四鸟瞰图与所述鸟瞰图训练样本之间的差异超过第二预设范围的情况下，调整所述神经网络系统的网络参数。
45.根据权利要求25至27中任一项所述的装置，其中，所述装置还包括：
第八处理模块，用于确定所述正视图训练样本的底层特征与所述第一鸟瞰图的底层特征之间的第一距离；
第八训练模块，用于在所述第一距离超过第一阈值的情况下，调整所述神经网络系统的网络参数；
和/或，
第九处理模块，用于确定所述正视图训练样本的高层特征与所述第一鸟瞰图的高层特征之间的第二距离；
第九训练模块，用于在所述第二距离超过第二阈值的情况下，调整所述神经网络系统的网络参数。
46.一种用于鸟瞰图生成的神经网络训练装置，其特征在于，包括：
第三获取模块，用于根据正视图训练样本，得到中间视图训练样本；
第十处理模块，用于利用神经网络系统对所述中间视图训练样本进行处理，得到第一鸟瞰图；
第十训练模块，用于至少根据所述第一鸟瞰图与所述正视图训练样本对应的鸟瞰图训练样本，训练所述神经网络系统。
47.根据权利要求46所述的装置，其特征在于，所述第三获取模块包括：
第二匹配单元，用于获取正视图训练样本与鸟瞰图训练样本之间的特征匹配点；
第二获取单元，用于根据所述特征匹配点，得到中间视图训练样本。
48.根据权利要求47所述的装置，其特征在于，所述第二获取单元包括：
第二确定子单元，用于根据所述特征匹配点确定变换矩阵；
第二变换子单元，用于根据所述变换矩阵，对所述正视图训练样本上的像素进行变换处理，得到中间视图训练样本。
49.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述程序指令被处理器执行时用于实现权利要求1至21中任一项所述的鸟瞰图生成方法对应的步骤。
50.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述程序指令被处理器执行时用于实现权利要求22至24中任一项所述的神经网络训练方法对应的步骤。
51.一种电子设备，其特征在于，包括：处理器和存储器，
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至21中任一项所述的鸟瞰图生成方法对应的步骤。
52.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求22至24中任一项所述的神经网络训练方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515569.XA CN108876707B (zh) | 2018-05-25 | 2018-05-25 | 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810515569.XA CN108876707B (zh) | 2018-05-25 | 2018-05-25 | 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108876707A CN108876707A (zh) | 2018-11-23 |
| CN108876707B true CN108876707B (zh) | 2022-09-23 |
Family
ID=64333871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810515569.XA Active CN108876707B (zh) | 2018-05-25 | 2018-05-25 | 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876707B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11017499B2 (en) * | 2018-12-21 | 2021-05-25 | Here Global B.V. | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image |
| CN110060230B (zh) * | 2019-01-18 | 2021-11-26 | 商汤集团有限公司 | 三维场景分析方法、装置、介质及设备 |
| CN113450298B (zh) * | 2021-08-31 | 2022-03-08 | 国汽智控(北京)科技有限公司 | 基于多传感器的视野图处理方法、装置和设备 |
| CN115565154A (zh) * | 2022-09-19 | 2023-01-03 | 九识(苏州)智能科技有限公司 | 可行域预测方法、装置、系统和存储介质 |
| CN115565155A (zh) * | 2022-09-27 | 2023-01-03 | 虹软科技股份有限公司 | 神经网络模型的训练方法、车辆视图的生成方法和车辆 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103299617A (zh) * | 2011-01-11 | 2013-09-11 | 爱信精机株式会社 | 图像生成装置 |
| CN105763854A (zh) * | 2016-04-18 | 2016-07-13 | 扬州航盛科技有限公司 | 一种基于单目摄像头的全景成像系统及其成像方法 |
| CN107545232A (zh) * | 2016-06-24 | 2018-01-05 | 福特全球技术公司 | 车道探测系统和方法 |
| CN107862652A (zh) * | 2017-11-22 | 2018-03-30 | 北京星球时空科技有限公司 | 一种鸟瞰图生成方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI417639B (zh) * | 2009-12-30 | 2013-12-01 | Ind Tech Res Inst | 全周鳥瞰影像無縫接合方法與系統 |
| TWI517670B (zh) * | 2012-12-28 | 2016-01-11 | 財團法人工業技術研究院 | 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置 |
-
2018
- 2018-05-25 CN CN201810515569.XA patent/CN108876707B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103299617A (zh) * | 2011-01-11 | 2013-09-11 | 爱信精机株式会社 | 图像生成装置 |
| CN105763854A (zh) * | 2016-04-18 | 2016-07-13 | 扬州航盛科技有限公司 | 一种基于单目摄像头的全景成像系统及其成像方法 |
| CN107545232A (zh) * | 2016-06-24 | 2018-01-05 | 福特全球技术公司 | 车道探测系统和方法 |
| CN107862652A (zh) * | 2017-11-22 | 2018-03-30 | 北京星球时空科技有限公司 | 一种鸟瞰图生成方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| A deep convolutional encoder-decoder architecture for image segmentation;Badrinarayanan V et al.;《IEEE》;20171215;第39卷(第12期);第2481-2495页 * |
| Generative Adversarial Nets;J.Pouget-Abadie et al.;《In NIPS》;20141230;第2672-2680页 * |
| ImageNet classification with deep convolutional neural networks;Krizhevsky A et al.;《Communication of the ACM》;20170615;第60卷(第6期);第84-90页 * |
| Learning to discover cross-domain relations with generative adversarial networks;T.Kim et al.;《arXiv preprint》;20171230;第1页 * |
| Unpaired image-to-image translation using cycle-consistent adversarial networks;J-Y.Zhu et al.;《arXiv preprint》;20171230;第1页 * |
| 单目视觉的智能电动小车车道线识别与跟踪;叶美松;《中国优秀硕士学位论文全文数据库信息科技辑》;20170715;第I138-836页 * |
| 基于深度学习的车道线检测系统的设计与实现;李松泽;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215;第1-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108876707A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876707B (zh) | 鸟瞰图生成及神经网络训练方法、装置、存储介质、设备 | |
| US11443445B2 (en) | Method and apparatus for depth estimation of monocular image, and storage medium | |
| EP3852068A1 (en) | Method for training generative network, method for generating near-infrared image and apparatuses | |
| CN107330439B (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
| US11232286B2 (en) | Method and apparatus for generating face rotation image | |
| US20190080455A1 (en) | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation | |
| KR20210031427A (ko) | 교통 이미지를 인식하는 방법, 장치, 컴퓨터 기기 및 매체 | |
| US20220335583A1 (en) | Image processing method, apparatus, and system | |
| CN110120024A (zh) | 图像处理的方法、装置、设备和存储介质 | |
| CN113284054A (zh) | 图像增强方法以及图像增强装置 | |
| CN109889849B (zh) | 视频生成方法、装置、介质及设备 | |
| CN115004242A (zh) | 同时进行实时对象检测和语义分割的系统和方法 | |
| JP2020523703A (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| CN110060230B (zh) | 三维场景分析方法、装置、介质及设备 | |
| CN113674421B (zh) | 3d目标检测方法、模型训练方法、相关装置及电子设备 | |
| US20240029297A1 (en) | Visual positioning method, storage medium and electronic device | |
| CN112581379A (zh) | 图像增强方法以及装置 | |
| CN112598597A (zh) | 一种降噪模型的训练方法及相关装置 | |
| US20220358675A1 (en) | Method for training model, method for processing video, device and storage medium | |
| CN112927234A (zh) | 点云语义分割方法、装置、电子设备和可读存储介质 | |
| EP4229540A1 (en) | Systems and methods for image detection | |
| WO2021147938A1 (en) | Systems and methods for image processing | |
| CN112819875B (zh) | 单目深度估计的方法、装置及电子设备 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| WO2021042774A1 (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |