CN114972962A - 一种自适应调控卷积与双路嵌入的街景分割方法及系统 - Google Patents
一种自适应调控卷积与双路嵌入的街景分割方法及系统 Download PDFInfo
- Publication number
- CN114972962A CN114972962A CN202210073719.2A CN202210073719A CN114972962A CN 114972962 A CN114972962 A CN 114972962A CN 202210073719 A CN202210073719 A CN 202210073719A CN 114972962 A CN114972962 A CN 114972962A
- Authority
- CN
- China
- Prior art keywords
- result
- regulation
- control model
- feature
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003044 adaptive effect Effects 0.000 title claims description 35
- 238000012360 testing method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 230000005284 excitation Effects 0.000 claims description 49
- 238000010276 construction Methods 0.000 claims description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 17
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000000605 extraction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自适应调控卷积与双路嵌入的街景分割方法及系统，构建第一实例分割数据集合；对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；构建第一调控模型，构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；对第一调控模型、所高级语义信息嵌入模块、多尺度低级空间信息嵌入分支进行融合，通过训练集合进行融合结果的训练，获得第二调控模型；基于测试集合对第二调控模型进行测试，当测试结果满足预定要求后，基于第二调控模型进行街景实例分割。解决了现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题。
Description
技术领域
本发明涉及城市街景智能分割相关领域，尤其涉及一种自适应调控卷积与双路嵌入的街景分割方法及系统。
背景技术
随着人工智能的发展，“无人驾驶”成为热门的研究方向之一，其包含的计算机视觉也成为了保证无人驾驶安全运行所不可忽略的关键技术，而视觉算法的识别精度和实时性是无人驾驶汽车对真实场景进行感知的核心，因此，无人驾驶技术对视觉算法的准确性、实时性和稳定性提出了较高的要求。
但在实现本申请中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题。
发明内容
本申请通过提供一种自适应调控卷积与双路嵌入的街景分割方法及系统，解决了现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题，通过自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量，进而实现提高定位的精确性、准确性和稳定性的技术效果。
鉴于上述问题，提出了本申请提供一种自适应调控卷积与双路嵌入的街景分割方法及系统。
第一方面，本申请提供了一种自适应调控卷积与双路嵌入的街景分割方法，所述方法包括：构建第一实例分割数据集合；对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
另一方面，本申请还提供了一种自适应调控卷积与双路嵌入的街景分割系统，所述系统包括：第一构建单元，所述第一构建单元用于构建第一实例分割数据集合；第一获得单元，所述第一获得单元用于对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；第二构建单元，所述第二构建单元用于进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；第三构建单元，所述第三构建单元用于构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；第二获得单元，所述第二获得单元用于对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；第一分割单元，所述第一分割单元用于基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面，本申请提供了一种计算机程序产品，包括计算机程序和/或指令，该计算机程序和/或指令被处理器执行时实现第一方面任一项所述方法的步骤。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了构建城市街景实例分割数据集；数据标注并划分训练集与测试集；实验参数调试和模型环境搭建；构建用自适应调控卷积模块替换原始残差结构的ResNet50-RCNet调控模型；构建高维语义信息嵌入模块；构建多尺度低级空间信息嵌入分支；将ResNet50-RCNet调控模型和双路信息嵌入分支融合并对测试集中常见六类实例目标进行检测与分割。通过提出自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量；针对小目标像素占比低和边缘特征模糊的问题，设计低级空间信息嵌入分支，对不同尺度特征图进行空间信息压缩与激励，实现不同尺度下特征张量之间空间信息的流动，丰富模型提取的细节信息量，以提高模型对目标的定位准确性；引入高级语义信息嵌入模块，减少目标信息经过骨干网络逐层抽象后造成的信息丢失，提高低级信息融合的效率，使网络提取的特征空间更为丰富，优化网络预测层输出结果，实现了提高定位的精确性、准确性和稳定性的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请一种自适应调控卷积与双路嵌入的街景分割方法的流程示意图；
图2为本申请一种自适应调控卷积与双路嵌入的街景分割方法的获得所述第一实例分割数据集合的流程示意图；
图3为本申请一种自适应调控卷积与双路嵌入的街景分割方法的获得所述训练集合和所述测试集合的流程示意图；
图4为本申请一种自适应调控卷积与双路嵌入的街景分割方法的构建所述第一调控模型的流程示意图；
图5为本申请一种自适应调控卷积与双路嵌入的街景分割系统的结构示意图；
图6为本申请一种电子设备的结构示意图。
附图标记说明：第一构建单元11，第一获得单元12，第二构建单元13，第三构建单元14，第二获得单元15，第一分割单元16，电子设备50，处理器51，存储器52，输入装置53，输出装置54。
具体实施方式
本申请通过提供一种自适应调控卷积与双路嵌入的街景分割方法及系统，解决了现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题，通过自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量，进而实现提高定位的精确性、准确性和稳定性的技术效果。下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
申请概述
随着人工智能的发展，“无人驾驶”成为热门的研究方向之一，其包含的计算机视觉也成为了保证无人驾驶安全运行所不可忽略的关键技术，而视觉算法的识别精度和实时性是无人驾驶汽车对真实场景进行感知的核心，因此，无人驾驶技术对视觉算法的准确性、实时性和稳定性提出了较高的要求。但现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题。
针对上述技术问题，本申请提供的技术方案总体思路如下：
本申请提供了一种自适应调控卷积与双路嵌入的街景分割方法，所述方法包括：构建第一实例分割数据集合；对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请提供了一种自适应调控卷积与双路嵌入的街景分割方法，所述方法包括：
步骤S100：构建第一实例分割数据集合；
步骤S200：对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；
具体而言，所述第一实例分割数据集合为整理得到的街景数据集合，其中，所述街景数据集合通过大数据进行数据采集，根据要求的采集特征，如行人、骑手、汽车、卡车、货车、自行车等常见特征的数量、总特征收集的数量，数据的质量要求等，进行数据筛选获得所述第一实例分割数据集合，所述第一实例分割集合为进行后续模型的训练的基础数据，通过所述第一实例分割集合的筛选获取，为后续进行准确的模型构建提供了数据支持。
进一步来说，通过对应的规则，基于标注工具进行所述第一实例分割数据集合进行标注，举例而言，所述标注工具可以是Labelme标注工具，通过标注工具进行所述第一实例分割数据集合中各个目标的特征标注，获得标注后的数据集合，对标注后的数据集合按照预先设定的训练集合和测试集合的样本分布比例进行划分，根据划分结果进行格式转换，获得训练集合和测试集合。
步骤S300：进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；
具体而言，针对电脑配置和数据集特点，对基础模型进行实验搭建和参数配置，确定适用于复杂街景条件下密集实例分割数据集的网络训练策略，超参数的数值和网络的优化策略包括对学习率、学习率策略、Momentum、Decay、Camma、Batch_size、热身迭代次数、热身迭代策略、迭代总数的参数设定。根据设定的参数配置和模型将环境搭建结果，用自适应调控卷积模块替换原始残差结构，获得所述第一调控模型。
步骤S400：构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；
步骤S500：对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；
进一步的，本申请步骤S500还包括：
步骤S510：所述高级语义信息嵌入模块嵌入计算公式为：y＝Upsample(yl+1)+F(xl,xl+1,...,xL)，其中，L为特征层的数量，F(x)为高分辨的低维特征空间；
步骤S520：将抽象语义的低分辨率特征图进行上采样送入卷积层进行信息聚合，将聚合结果与网络浅层输出结果进行点乘，完成所述高级语义信息嵌入模块的嵌入。
具体而言，所述高级语义嵌入模块嵌入计算公式为：y＝Upsample(yl+1)+F(xl,xl+1,...,xL)，其中，L为特征层的数量，F(x)为高分辨的低维特征空间，将抽象语义的低分辨率特征图进行上采样送入卷积层进行信息聚合，再与网络浅层输出结果进行点乘操作实现语义信息的嵌入。
通过在特征金字塔中插入高级语义信息模块，实现特征图与语义框的对齐，弥补特征图间语义与分辨率间存在差距的缺陷，提高不同尺度下特征信息融合的有效性，减少目标信息经过骨干网络逐层抽象后造成的信息丢失，使网络提取的特征空间更为丰富，优化网络预测输出结果。高级语义信息嵌入模块(SEB)由于增强了高、低级特征的融合效率、减少了信息损失量，因此在相同权重因子的情况下，添加的数量也直接影响了分割精度，SEB添加位置结果如表1所示：
表1 SEB添加位置
由表1可知，SEB模块添加的数量直接影响了算法的分割精度，精度随模块数量的增加而提高，高级语义信息模块能有效减少目标信息经过骨干网络逐层抽象后造成的信息丢失，提高信息融合的效率，丰富模型提取的特征空间。
进一步的，多尺度低级空间信息嵌入分支(SIE)对不同尺度特征图进行空间信息压缩与激励，实现不同尺度下特征张量之间空间信息的流动，丰富模型提取的细节信息量。对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型。通过所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支使得所述第二调控模型处理街景数据更加的准确、提高了分割精度和处理效率。
步骤S600：基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
具体而言，使用训练集合在融合后的算法模型上训练城市街景数据集的权重模型，在该权重模型下对测试集中常见六类目标实例进行检测与分割，通过测试集合进行所述第二调控模型的测试，通过平均分类精度(mean Average Precision,mAP)和平均召回率(mean Average Recall,mAR)两个指标综合评估所述第二调控模型对所述六类目标的检测和分割效果，当满足预期要求后，则所述第二调控模型可进行街景实例分割。通过提出自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量；针对小目标像素占比低和边缘特征模糊的问题，设计低级空间信息嵌入分支，对不同尺度特征图进行空间信息压缩与激励，实现不同尺度下特征张量之间空间信息的流动，丰富模型提取的细节信息量，以提高模型对目标的定位准确性；引入高级语义信息嵌入模块，减少目标信息经过骨干网络逐层抽象后造成的信息丢失，提高低级信息融合的效率，使网络提取的特征空间更为丰富，优化网络预测层输出结果，实现了提高定位的精确性、准确性和稳定性的技术效果。
进一步而言，如图2所示，本申请步骤S100还包括：
步骤S110：获得第一数据集合；
步骤S120：构建第一数量约束规则；
步骤S130：构建第一预定特征集合，其中，所述第一预定特征集合包括行人特征、自行车特征、骑手特征、汽车特征、卡车特征、货车特征；
步骤S140：根据所述第一预定特征集合设定第一特征约束规则，基于所述第一数量约束规则和所述第一特征约束规则进行所述第一数据集合的数据筛选，根据筛选结果获得所述第一实例分割数据集合。
具体而言，所述第一数据集合为通过大数据进行数据街景数据采集的集合，所述第一数量约束规则为根据对模型的准确度、精确度的需求，确定的用于进行模型的训练和测试的数据总量，一般取范围值，数据过小，会影响模型的处理数据的能力和精度，数据量过大，会影响模型的构建速度和设备的相响应速度。所述第一预定特征集合为进行模型识别特征的集合，本申请的所述第一预定特征集合包括行人特征、自行车特征、骑手特征、汽车特征、卡车特征、货车特征，所述第一特征约束规则为最少特征约束规则，即作为第一实例分割数据集合的数据至少包括所述第一预定特征集合中特征的一个，基于所述第一数量约束规则和所述第一特征约束规则进行所述第一数据集合的数据筛选，根据筛选结果获得所述第一实例分割数据集合。通过对数据的清洗和筛选，使得获得的所述第一实例分割数据集合更加的准确可靠，进而为后续获得更加准确的模型提供了准确的数据支持。
进一步而言，如图3所示，本申请步骤S200还包括：
步骤S210：通过Labelme标注工具对所述第一实例分割数据集合的特征进行逐像素标注，获得第一标注实例分割数据集合；
步骤S220：确定第一预定比例，基于所述第一预定比例进行所述第一标注实例分割数据集合进行数据划分，获得第一划分结果；
步骤S230：对所述第一划分结果进行格式转换，获得所述训练集合和所述测试集合。
具体而言，使用Labelme标注工具对数据集中目标实例进行逐像素标注，所述第一预定比例可以为4:1，标注的数据按4:1的比例划分训练集合和测试集合，并将数据集转换为COCO格式，训练集合用来训练网络的权重文件，测试集合用来对网络性能进行评估。
进一步的，如图4所示，本申请步骤S300还包括：
步骤S310：通过可变形卷积学习空间采样位置偏移量，根据学习结果获得所述自适应调控卷积模块；
步骤S320：获得并行分支结构，对所述并行分支结构进行通道清洗，获得第一清洗结果；
步骤S330：通过注意力机制进行所述第一清洗结果的通道自适应校准，获得第一校准结果；
步骤S340：基于所述自适应调控卷积模块和所述第一校准结果构建所述第一调控模型。
具体而言，在进行所述第一调控模型的构建之前，超参数的数值和网络的优化策略如下表2所示：
表2超参数的确定
使用可变形卷积学习空间采样位置偏移量，提高模型对图像复杂形变的建模能力；对并行分支结构进行通道混洗，加强不同通道间信息流动，丰富模型提取的特征空间；应用注意力机制实现对通道权重的自适应校准。所述自适应调控卷积模块，能对包含重要信息的特征区域并起到的权重校准作用，对目标的关注点集中于实例中心，同时也在一定程度上降低了背景对特征提取造成的干扰，能够对像素级实例分割任务提供一定指导作用，增强网络对图像纹理匮乏区域的特征提取能力，并对感兴趣区域进行有效判别，提高算法对目标实例的定位准确性，自适应调控卷积实验如表3所示：
表3不同卷积模块对比
由实验可得，ResNet50-ACNet的非对称并行卷积层虽然增加了模型提取特征的多样性，但其模型的时空复杂度和参数量都有极大增加，一定程度增加了过拟合问题对小样本数据集的影响，因此其分割精度反而有所下降；ResNet50-ASNet则在保留了ACNet优点的基础上，使用深度可分离卷积代替普通卷积，减少了时空复杂度；ResNet50-RCNet基于非对称混洗卷积模块改进，为丰富边缘细节信息，将并行分支提取的特征进行多次利用，丰富了模型的特征空间；同时，可变形卷积能有效扩大卷积核感受野，增强语义信息相关性，使得分割结果更加精确，ResNet50-RCNet相比于原始ResNet50骨干网络，精度有较大的提升，达到了45.9％，提升了4.7个百分点，因此所述第一调控模型优选为用自适应调控卷积模块替换原始残差结构的ResNet50-RCNet调控模型。
进一步的，本申请步骤S500还包括：
步骤S530：将残差块3输出特征图C3进行下采样，获得第一下采样结果，对残差快4输出特征图C4进行下采样，获得第二下采样结果；
步骤S540：将残差块2输出特征图C2与第一下采样结果、第二下采样结果进行信息压缩与激励，获得第一激励结果、第二激励结果、第三激励结果，其中，所述第一激励结果与所述特征图C2具有对应关系，所述第二激励结果与所述第一下采样结果具有对应关系，所述第三激励结果与所述第二下采样结果具有对应关系；
步骤S550：对所述第一激励结果、所述第二激励结果、所述第三激励结果进行权重分配，获得第一权重分配结果；
步骤S560：基于所述第一权重分配结果进行所述第一激励结果、所述第二激励结果、所述第三激励结果的通道拼接，获得第一通道拼接结果；
步骤S570：将所述第一通道拼接结果发送至特征精炼模块，进行空间位置重编码，获得第一重编码结果；
步骤S580：将所述第一重编码结果与残差块5输出特征图进行点乘，完成所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支的融合。
具体而言，下采样是指为使得图像符合显示区域的大小，进行图像缩小图像采样的过程，将残差块3，残差块4输出特征图C3、C4进行下采样，获得所述第一下采样结果、所述第二下采样结果。将残差块2输出特征图C2与所述第一下采样结果、所述第二下采样结果进行信息压缩与激励，获得所述第一激励结果C2`、所述第二激励结果C3`、所述第三激励结果C4`；对所述输出结果C2`、C3`，C4`分配不同权重因子，基于所述第一权重分配结果进行所述第一激励结果、所述第二激励结果、所述第三激励结果的通道拼接，获得第一通道拼接结果，将所述第一通道拼接结果通送入特征精炼模块，进行空间位置重编码，获得第一重编码结果，将所述第一重编码结果与残差块5输出特征图进行点乘，实现低维空间信息的嵌入与各尺度特征张量的信息流动，完成所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支的融合。多尺度低级空间信息嵌入分支(SIE)对不同尺度特征图进行空间信息压缩与激励，实现不同尺度下特征张量之间空间信息的流动，丰富模型提取的细节信息量，在添加了所述高级语义信息模块后对分支权重因子选取实验如表4所示：
表4SIE权重因子实验
由于低级空间信息嵌入分支权重因子对实验精度产生较大的影响，本申请分别设计了四种不同的权重因子分配方案，由实验结果可得，当浅层网络特征图在分支拼接嵌入模块中所占权重较大时，均取得了较好的实验结果，当权重因子为(0.5,0.33,0.17)时，测试精度有较大幅度的下降，表明浅层网络特征图包含的丰富空间几何信息对空间信息嵌入效果产生了较大影响；当权重因子保持不变均为(1，1，1)时，精度低于进行权重衰减后的实验结果，证明了本申请根据网络层深度而逐渐减小通道权重的有效性；当权重因子以空间信息最丰富的第二层特征图为基准、后续权重逐层衰减为上一层的1/3，即(1，0.67，0.37)时，取得的测试分割精度最高，达到了45.1％。
进一步的，本申请步骤S600还包括：
步骤S610：基于所述测试集合对所述第二调控模型进行测试，获得第一测试结果；
步骤S620：构建平均分类精度约束条件和平均召回率约束条件；
步骤S630：基于所述平均分类精度约束条件和平均召回率约束条件进行所述第一测试结果的评估，获得第一评估结果；
步骤S640：当所述第一评估结果为通过时，则基于所述第二调控模型进行街景实例分割。
具体而言，将ResNet50-RCNet调控模型和双路信息嵌入分支融合后使用训练集在融合后的算法模型上训练城市街景数据集的权重模型，在该权重模型下对测试集中常见六类目标实例进行检测与分割；使用平均分类精度(mean Average Precision,mAP)和平均召回率(mean Average Recall,mAR)两个指标综合评估该网络对所述六类目标的检测和分割效果，当所述第一评估结果为通过时，则基于所述第二调控模型进行街景实例分割。
将所述ResNet50-RCNet调控模型和双路信息嵌入分支融合，建立最优算法模型，消融实验如表5所示：
表5消融实验
由实验结果可得，本申请使用自适应调控卷积增强了模型的特征提取能力，使用可变形卷积在训练过程中自适应的扩大了卷积层感受野，增强了上下文信息的关联性，同时使用注意力机制校准了特征图通道权重的偏差，因此对实验精度的提升达到了4.7个百分点；SEB模块和SIE分支则分别针对高、低级特征间语义和空间信息的利用方式进行了改进，解决了不同尺度间信息直接融合造成的融合效率低问题，并对浅层特征中对定位准确性贡献较大的信息进行了精炼和再利用，因此在精度上分别提升了3.1％和3.9％；同时，三种方法组合使用时测试精度最高达到了51.6％，相较于原始Yolact网络模型，提升了10.4％。
为验证所提算法的有效性，在与原始单阶段网络Yolact、Yolact++，双阶段网络Mask R-CNN进行了实验对比与分析，实验结果如表6所示：
表6对比实验
由实验结果可得，Yolact++在Yolact基础上参添加了fast mask re-scoring分支，以更加准确的评价实例mask生成结果的优劣，并在骨干网络中引入可变形卷积以增强模型特征提取能力，实验精度有较大提升，达到了47.0％，并且在网络实时性上也有一定提升；Mask R-CNN作为经典双阶段网络，对骨干网络提取特征图进行了进一步细化，将其划分为固定大小的感兴趣区域，扩大中小目标在感兴趣区域的像素占比以提高定位精度和分割精度，Mask R-CNN最高精度达到了49.6％，但由于双阶段网络模型结构执行顺序的时序性，使得模型的实时性较低，仅为3.5FPS，极大降低了其应用价值；而本申请算法模型在保证了实时性的同时，取得了最高测试精度，达到了51.6％，相较于Yolact网络模型提高了10.4个百分点，验证了本申请算法的有效性。
综上所述，本申请所提供的一种自适应调控卷积与双路嵌入的街景分割方法及系统具有如下技术效果：
1、由于采用了构建城市街景实例分割数据集；数据标注并划分训练集与测试集；实验参数调试和模型环境搭建；构建用自适应调控卷积模块替换原始残差结构的ResNet50-RCNet调控模型；构建高维语义信息嵌入模块；构建多尺度低级空间信息嵌入分支；将ResNet50-RCNet调控模型和双路信息嵌入分支融合并对测试集中常见六类实例目标进行检测与分割。通过提出自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量；针对小目标像素占比低和边缘特征模糊的问题，设计低级空间信息嵌入分支，对不同尺度特征图进行空间信息压缩与激励，实现不同尺度下特征张量之间空间信息的流动，丰富模型提取的细节信息量，以提高模型对目标的定位准确性；引入高级语义信息嵌入模块，减少目标信息经过骨干网络逐层抽象后造成的信息丢失，提高低级信息融合的效率，使网络提取的特征空间更为丰富，优化网络预测层输出结果，实现了提高定位的精确性、准确性和稳定性的技术效果。
2、由于采用了通过对数据的清洗和筛选，使得获得的所述第一实例分割数据集合更加的准确可靠，进而为后续获得更加准确的模型提供了准确的数据支持。
实施例二
基于与前述实施例中一种自适应调控卷积与双路嵌入的街景分割方法同样发明构思，本发明还提供了一种自适应调控卷积与双路嵌入的街景分割系统，如图5所示，所述系统包括：
第一构建单元11，所述第一构建单元11用于构建第一实例分割数据集合；
第一获得单元12，所述第一获得单元12用于对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；
第二构建单元13，所述第二构建单元13用于进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；
第三构建单元14，所述第三构建单元14用于构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；
第二获得单元15，所述第二获得单元15用于对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；
第一分割单元16，所述第一分割单元16用于基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
进一步的，所述系统还包括：
第三获得单元，所述第三获得单元用于获得第一数据集合；
第四构建单元，所述第四构建单元用于构建第一数量约束规则；
第五构建单元，所述第五构建单元用于构建第一预定特征集合，其中，所述第一预定特征集合包括行人特征、自行车特征、骑手特征、汽车特征、卡车特征、货车特征；
第四获得单元，所述第四获得单元用于根据所述第一预定特征集合设定第一特征约束规则，基于所述第一数量约束规则和所述第一特征约束规则进行所述第一数据集合的数据筛选，根据筛选结果获得所述第一实例分割数据集合。
进一步的，所述系统还包括：
第五获得单元，所述第五获得单元用于通过Labelme标注工具对所述第一实例分割数据集合的特征进行逐像素标注，获得第一标注实例分割数据集合；
第六获得单元，所述第六获得单元用于确定第一预定比例，基于所述第一预定比例进行所述第一标注实例分割数据集合进行数据划分，获得第一划分结果；
第七获得单元，所述第七获得单元用于对所述第一划分结果进行格式转换，获得所述训练集合和所述测试集合。
进一步的，所述系统还包括：
第八获得单元，所述第八获得单元用于通过可变形卷积学习空间采样位置偏移量，根据学习结果获得所述自适应调控卷积模块；
第九获得单元，所述第九获得单元用于获得并行分支结构，对所述并行分支结构进行通道清洗，获得第一清洗结果；
第十获得单元，所述第十获得单元用于通过注意力机制进行所述第一清洗结果的通道自适应校准，获得第一校准结果；
第六构建单元，所述第六构建单元用于基于所述自适应调控卷积模块和所述第一校准结果构建所述第一调控模型。
进一步的，所述系统还包括：
第一计算单元，所述第一计算单元用于所述高级语义信息嵌入模块嵌入计算公式为：y＝Upsample(yl+1)+F(xl,xl+1,...,xL)，其中，L为特征层的数量，F(x)为高分辨的低维特征空间；
第一嵌入单元，所述第一嵌入单元用于将抽象语义的低分辨率特征图进行上采样送入卷积层进行信息聚合，将聚合结果与网络浅层输出结果进行点乘，完成所述高级语义信息嵌入模块的嵌入。
进一步的，所述系统还包括：
第十一获得单元，所述第十一获得单元用于将残差块3输出特征图C3进行下采样，获得第一下采样结果，对残差快4输出特征图C4进行下采样，获得第二下采样结果；
第十二获得单元，所述第十二获得单元用于将残差块2输出特征图C2与第一下采样结果、第二下采样结果进行信息压缩与激励，获得第一激励结果、第二激励结果、第三激励结果，其中，所述第一激励结果与所述特征图C2具有对应关系，所述第二激励结果与所述第一下采样结果具有对应关系，所述第三激励结果与所述第二下采样结果具有对应关系；
第十三获得单元，所述第十三获得单元用于对所述第一激励结果、所述第二激励结果、所述第三激励结果进行权重分配，获得第一权重分配结果；
第十四获得单元，所述第十四获得单元用于基于所述第一权重分配结果进行所述第一激励结果、所述第二激励结果、所述第三激励结果的通道拼接，获得第一通道拼接结果；
第十五获得单元，所述第十五获得单元用于将所述第一通道拼接结果发送至特征精炼模块，进行空间位置重编码，获得第一重编码结果；
第一融合单元，所述第一融合单元包括将所述第一重编码结果与残差块5输出特征图进行点乘，完成所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支的融合。
进一步的，所述系统还包括：
第十六获得单元，所述第十六获得单元用于基于所述测试集合对所述第二调控模型进行测试，获得第一测试结果；
第七构建单元，所述第七构建单元用于构建平均分类精度约束条件和平均召回率约束条件；
第十七获得单元，所述第十七获得单元用于基于所述平均分类精度约束条件和平均召回率约束条件进行所述第一测试结果的评估，获得第一评估结果；
第二分割单元，所述第二分割单元用于当所述第一评估结果为通过时，则基于所述第二调控模型进行街景实例分割。
前述图1实施例一中的一种自适应调控卷积与双路嵌入的街景分割方法的各种变化方式和具体实例同样适用于本实施例的一种自适应调控卷积与双路嵌入的街景分割系统，通过前述对一种自适应调控卷积与双路嵌入的街景分割方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种自适应调控卷积与双路嵌入的街景分割系统的实施方法，所以为了说明书的简洁，在此不再详述。
示例性电子设备
下面参考图6来描述本申请的电子设备。
图6图示了根据本申请的电子设备的结构示意图。
基于与前述实施例中一种自适应调控卷积与双路嵌入的街景分割方法的发明构思，本发明还提供一种电子设备，下面，参考图6来描述根据本申请的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，其上存储有计算机程序，该程序被处理器执行时实现前文所述方法的任一方法的步骤。
如图6所示，电子设备50包括一个或多个处理器51和存储器52。
处理器51可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备50中的其他组件以执行期望的功能。
存储器52可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器51可以运行所述程序指令，以实现上文所述的本申请的各个实施例的方法以及/或者其他期望的功能。
在一个示例中，电子设备50还可以包括：输入装置53和输出装置54，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
本发明实施例提供的一种自适应调控卷积与双路嵌入的街景分割方法，所述方法包括：构建第一实例分割数据集合；对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。解决了现有技术在基于视觉算法进行场景识别的过程中，存在定位的精确性、准确性和稳定性不高的技术问题，通过自适应调控卷积模块，优化模型对密集小目标及边缘目标的特征提取能力，提高轮廓定位精确性，改善模型的分割精度及掩码质量，进而实现提高定位的精确性、准确性和稳定性的技术效果。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从计算机可读存储介质向另计算机可读存储介质传输，所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种自适应调控卷积与双路嵌入的街景分割方法，其特征在于，所述方法包括：
构建第一实例分割数据集合；
对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；
进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；
构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；
对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；
基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获得第一数据集合；
构建第一数量约束规则；
构建第一预定特征集合，其中，所述第一预定特征集合包括行人特征、自行车特征、骑手特征、汽车特征、卡车特征、货车特征；
根据所述第一预定特征集合设定第一特征约束规则，基于所述第一数量约束规则和所述第一特征约束规则进行所述第一数据集合的数据筛选，根据筛选结果获得所述第一实例分割数据集合。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
通过Labelme标注工具对所述第一实例分割数据集合的特征进行逐像素标注，获得第一标注实例分割数据集合；
确定第一预定比例，基于所述第一预定比例进行所述第一标注实例分割数据集合进行数据划分，获得第一划分结果；
对所述第一划分结果进行格式转换，获得所述训练集合和所述测试集合。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过可变形卷积学习空间采样位置偏移量，根据学习结果获得所述自适应调控卷积模块；
获得并行分支结构，对所述并行分支结构进行通道清洗，获得第一清洗结果；
通过注意力机制进行所述第一清洗结果的通道自适应校准，获得第一校准结果；
基于所述自适应调控卷积模块和所述第一校准结果构建所述第一调控模型。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述高级语义信息嵌入模块嵌入计算公式为：y＝Upsample(yl+1)+F(xl,xl+1,...,xL)，其中，L为特征层的数量，F(x)为高分辨的低维特征空间；
将抽象语义的低分辨率特征图进行上采样送入卷积层进行信息聚合，将聚合结果与网络浅层输出结果进行点乘，完成所述高级语义信息嵌入模块的嵌入。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
将残差块3输出特征图C3进行下采样，获得第一下采样结果，对残差快4输出特征图C4进行下采样，获得第二下采样结果；
将残差块2输出特征图C2与第一下采样结果、第二下采样结果进行信息压缩与激励，获得第一激励结果、第二激励结果、第三激励结果，其中，所述第一激励结果与所述特征图C2具有对应关系，所述第二激励结果与所述第一下采样结果具有对应关系，所述第三激励结果与所述第二下采样结果具有对应关系；
对所述第一激励结果、所述第二激励结果、所述第三激励结果进行权重分配，获得第一权重分配结果；
基于所述第一权重分配结果进行所述第一激励结果、所述第二激励结果、所述第三激励结果的通道拼接，获得第一通道拼接结果；
将所述第一通道拼接结果发送至特征精炼模块，进行空间位置重编码，获得第一重编码结果；
将所述第一重编码结果与残差块5输出特征图进行点乘，完成所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支的融合。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述测试集合对所述第二调控模型进行测试，获得第一测试结果；
构建平均分类精度约束条件和平均召回率约束条件；
基于所述平均分类精度约束条件和平均召回率约束条件进行所述第一测试结果的评估，获得第一评估结果；
当所述第一评估结果为通过时，则基于所述第二调控模型进行街景实例分割。
8.一种自适应调控卷积与双路嵌入的街景分割系统，其特征在于，所述系统包括：
第一构建单元，所述第一构建单元用于构建第一实例分割数据集合；
第一获得单元，所述第一获得单元用于对所述第一实例分割数据集合进行标注，对标注后的所述第一实例分割数据集合按照第一预定比例划分，获得训练集合和测试集合；
第二构建单元，所述第二构建单元用于进行基础模型的参数配置和模型环境搭建，根据参数配置和模型环境搭建结果构建第一调控模型，其中，所述第一调控模型包括自适应调控卷积模块；
第三构建单元，所述第三构建单元用于构建高级语义信息嵌入模块和多尺度低级空间信息嵌入分支；
第二获得单元，所述第二获得单元用于对所述第一调控模型、所述高级语义信息嵌入模块、所述多尺度低级空间信息嵌入分支进行融合，通过所述训练集合进行融合结果的训练，获得第二调控模型；
第一分割单元，所述第一分割单元用于基于所述测试集合对所述第二调控模型进行测试，当测试结果满足预定要求后，基于所述第二调控模型进行街景实例分割。
9.一种电子设备，其特征在于，包括处理器和存储器；所述存储器，用于存储；所述处理器，用于通过调用，执行权利要求1至7中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073719.2A CN114972962A (zh) | 2022-01-21 | 2022-01-21 | 一种自适应调控卷积与双路嵌入的街景分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073719.2A CN114972962A (zh) | 2022-01-21 | 2022-01-21 | 一种自适应调控卷积与双路嵌入的街景分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972962A true CN114972962A (zh) | 2022-08-30 |
Family
ID=82975013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210073719.2A Pending CN114972962A (zh) | 2022-01-21 | 2022-01-21 | 一种自适应调控卷积与双路嵌入的街景分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972962A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886272A (zh) * | 2019-02-25 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 点云分割方法、装置、计算机可读存储介质和计算机设备 |
| CN111461978A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
-
2022
- 2022-01-21 CN CN202210073719.2A patent/CN114972962A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886272A (zh) * | 2019-02-25 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 点云分割方法、装置、计算机可读存储介质和计算机设备 |
| US20200357143A1 (en) * | 2019-05-09 | 2020-11-12 | Sri International | Semantically-aware image-based visual localization |
| CN111461978A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENLI ZHANG 等: "ExFuse: Enhancing Feature Fusion for Semantic Segmentation", 《ECCV 2018》, 6 October 2018 (2018-10-06), pages 273 - 288, XP047488335, DOI: 10.1007/978-3-030-01249-6_17 * |
| 何自芬 等: "基于非对称混洗卷积神经网络的苹果叶部病害分割", 《农业机械学报》, vol. 52, no. 8, 16 June 2021 (2021-06-16), pages 221 - 230 * |
| 何自芬 等: "自适应调控卷积与双路信息嵌入的城市街景实例分割", 《计算机辅助设计与图形学学》, vol. 35, no. 7, 19 July 2023 (2023-07-19), pages 1086 - 1096 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619369B (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
| CN113688652B (zh) | 一种异常驾驶行为的处理方法和装置 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN111767927A (zh) | 一种基于全卷积网络的轻量级车牌识别方法及系统 | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| CN111783844B (zh) | 基于深度学习的目标检测模型训练方法、设备及存储介质 | |
| CN112446870B (zh) | 管道损伤检测方法、装置、设备及存储介质 | |
| CN110826609B (zh) | 一种基于强化学习的双流特征融合图像识别方法 | |
| CN113177560A (zh) | 一种普适性轻量级深度学习车辆检测方法 | |
| CN114419583A (zh) | 一种大尺度特征的YOLOv4-tiny目标检测算法 | |
| CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN113313094B (zh) | 一种基于卷积神经网络的车载图像目标检测方法和系统 | |
| CN115376101A (zh) | 一种面向自动驾驶环境感知的增量式学习方法和系统 | |
| CN112784756A (zh) | 人体识别跟踪方法 | |
| CN111797769A (zh) | 一种小目标敏感的车辆检测系统 | |
| CN117152414A (zh) | 一种基于尺度注意力辅助学习方法的目标检测方法及系统 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN115909280A (zh) | 基于多头注意力机制的交通标志识别算法 | |
| CN116824543A (zh) | 一种基于od-yolo的自动驾驶目标检测方法 | |
| CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 | |
| CN113269156B (zh) | 一种基于多尺度特征融合的信号灯检测识别方法及系统 | |
| CN113989624A (zh) | 红外低慢小目标检测方法、装置、计算设备及存储介质 | |
| CN117011819A (zh) | 基于特征引导注意力的车道线检测方法、装置及设备 | |
| CN114972962A (zh) | 一种自适应调控卷积与双路嵌入的街景分割方法及系统 | |
| CN114067221B (zh) | 一种遥感影像林地提取方法及系统及装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |