CN117616425A - 基于深度学习道路图像生成方法、装置、设备及存储介质 - Google Patents
基于深度学习道路图像生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117616425A CN117616425A CN202180099924.XA CN202180099924A CN117616425A CN 117616425 A CN117616425 A CN 117616425A CN 202180099924 A CN202180099924 A CN 202180099924A CN 117616425 A CN117616425 A CN 117616425A
- Authority
- CN
- China
- Prior art keywords
- road image
- samples
- road
- image
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 238000002347 injection Methods 0.000 claims abstract description 49
- 239000007924 injection Substances 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000007613 environmental effect Effects 0.000 claims description 91
- 230000008439 repair process Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 44
- 238000003062 neural network model Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000012795 verification Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于深度学习道路图像生成方法、装置、设备及存储介质，所述方法包括：获取待处理道路图像；对待处理道路图像进行环境影响去除处理，以获得基础道路图像；根据不同环境影响对应的环境影响特征信息分别对基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。相较于现有技术中直接根据实时采集天气良好的道路图像制作高精度地图，导致制作高精度地图的环境影响图像样本较少，而本申请中获取道路图像的基础道路图像和不同环境影响下的环境影响特征信息，基础道路图像为无环境影响的道路图像，之后根据环境影响特征信息及基础道路图像生成不同环境影响下的环境影响道路图像，从而实现了环境影响道路图像的多样化。
Description
本申请涉及图像处理技术领域，尤其涉及一种基于深度学习道路图像生成方法、装置、设备及存储介质。
随着自动驾驶的发展及技术迭代，自动驾驶的量产越来越近。同时为了让自动驾驶系统在自动运行中更好的了解自身姿态，进行精确的行为规划和车身控制，制作高精度地图是非常重要的。现有技术中仅在天气良好的状况下通过激光、视觉等单一传感器或者多传感器融合（视觉、激光、毫米波等）实时采集道路图像，直接根据采集的道路图像制作高精度地图，导致制作高精度地图的环境影响道路图像较少。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
本申请的主要目的在于提供了一种基于深度学习道路图像生成方法、装置、设备及存储介质，旨在解决如何获取不同环境影响下的环境影响道路图像的技术问题。
为实现上述目的，本申请提供一种基于深度学习道路图像生成方法，所述基于深度学习道路图像生成方法包括以下步骤：
获取待处理道路图像；
对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像；
根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
在一实施例中，所述对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像的步骤，包括：
将所述待处理道路图像输入至预设环境剥离模型中，获得基础道路图像，所述预设环境剥离模型通过对第一初始神经网络模型进行训练获得。
在一实施例中，所述将所述待处理道路图像输入至预设环境剥离模型中，获得基础道路图像的步骤之前，还包括：
获取多张道路图像样本；
分别对各道路图像样本进行环境标记，获得多张标记图像样本；
按照预设规则从多张标记图像样本中选取多张道路图像训练样本；
根据多张道路图像训练样本对第一初始神经网络模型进行训练，获得预设环境剥离模型。
在一实施例中，所述获取多张道路图像样本的步骤，包括：
获取多张待处理道路图像样本；
对多张待处理道路图像样本对应的图像像素信息进行遍历，将遍历到的图像像素信息作为当前图像像素信息；
在所述当前图像像素信息满足预设像素条件时，从多张待处理道路图像样本中提取所述当前图像像素信息对应的缺失道路图像样本；
在对多张图像像素信息遍历结束后，根据提取结果建立缺失道路图像样本集；
根据多张待处理道路图像样本和所述缺失道路图像样本集确定多张道路图像样本。
在一实施例中，所述根据多张待处理道路图像样本和所述缺失道路图像样本集确定多张道路图像样本的步骤，包括：
分别对所述缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本；
根据多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本。
在一实施例中，所述分别对所述缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本的步骤，包括：
对所述缺失道路图像样本集中的缺失道路图像样本进行遍历，将遍历到的缺失道路图像样本作为当前缺失道路图像样本；
确定所述当前缺失道路图像样本对应的缺失特征信息；
根据所述缺失特征信息对所述当前缺失道路图像样本进行修补处理，获得道路图像修补样本；
在对多张图像数据遍历结束后，获取多张道路图像修补样本。
在一实施例中，所述根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像的步骤，包括：
将不同环境影响对应的环境影响特征信息和所述基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，所述预设环境注入模型通过对第二初始神经网络模型进行训练获得。
为实现上述目的，本申请还提供一种基于深度学习道路图像生成装置，所述基于深度学习道路图像生成装置包括：
获取模块，用于获取待处理道路图像；
剥离模块，用于对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像；
注入模块，用于根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
为实现上述目的，本申请还提供一种基于深度学习道路图像生成设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习道路图像生成程序，所述基于深度学习道路图像生成程序配置为实现如上文所述的基于深度学习道路图像生成方法的步骤。
此外，为实现上述目的，本申请还提出一种计算机存储介质，所述计算机存储介质上存储有基于交叉特征的建模程序，所述基于交叉特征的建模程序被处理器执行时实现如上所述的基于交叉特征的建模方法的步骤。
此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有基于深度学习道路图像生成程序，所述基于深度学习道路图像生成程序被处理器执行时实现如上文所述的基于深度学习道路图像生成方法的步骤。
本申请首先获取待处理道路图像，然后对待处理道路图像进行环境影响去除处理，以获得基础道路图像，最后根据不同环境影响对应的环境影响特征信息分别对基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。相较于现有技术中直接根据实时采集天气良好的道路图像制作高精度地图，导致制作高精度地图的环境影响图像样本较少，而本申请中获取道路图像对应的基础道路图像和不同环境影响下的环境影响特征信息，基础道路图像为无环境影响的道路图像，之后根据环境影响特征信息及基础道路图像快速生成不同环境影响下的环境影响道路图像，从而实现了环境影响道路图像的多样化。
图1是本申请实施例方案涉及的硬件运行环境的基于深度学习道路图像生成设备的结构示意图；
图2为本申请基于深度学习道路图像生成方法第一实施例的流程示意图；
图3为本申请基于深度学习道路图像生成方法第一实施例的预设环境剥离模型原理图；
图4为本申请基于深度学习道路图像生成方法第一实施例的预设环境注入模型原理图；
图5为本申请基于深度学习道路图像生成方法第二实施例的流程示意图；
图6为本申请基于深度学习道路图像生成方法第三实施例的流程示意图；
图7为本申请基于深度学习道路图像生成装置第一实施例的结构框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
本申请的实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的基于深度学习道路图像生成设备结构示意图。
如图1所示，该基于深度学习道路图像生成设备可以包括：处理器1001，例如中央处理器（Central
Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random
Access Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile
Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于深度学习道路图像生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度学习道路图像生成程序。
在图1所示的基于深度学习道路图像生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请基于深度学习道路图像生成设备中的处理器1001、存储器1005可以设置在基于深度学习道路图像生成设备中，所述基于深度学习道路图像生成设备通过处理器1001调用存储器1005中存储的基于深度学习道路图像生成程序，并执行本申请实施例提供的基于深度学习道路图像生成方法。
本申请实施例提供了一种基于深度学习道路图像生成方法，参照图2，图2为本申请基于深度学习道路图像生成方法第一实施例的流程示意图。
本实施例中，所述基于深度学习道路图像生成方法包括以下步骤：
步骤S10：获取待处理道路图像。
易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的基于深度学习道路图像生成设备，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。
待处理道路图像为当前车辆上的拍摄设备实时采集的道路图像，该待处理道路图像中存在环境影响特征信息，需要说明的是，环境影响特征信息包括天气特征信息，例如晴天特征信息、雨天特征信息或雾天特征信息等，环境影响特征信息还包括光线特征信息，例如清晨特征信息、中午特征信息或傍晚特征信息等。
天气特征信息可以理解为该天气对拍摄图像的影响信息，例如清晰度及模糊度等。光线特征信息可以理解为该光线对拍摄图像的影响信息，例如光线强度及图像亮度等。天气或光线不同，其对应的天气特征信息或光线特征信息不同。
假设待处理道路图像在雨天中午通过拍摄设备拍摄的图像，则待处理道路图像中存在的环境影响特征信息包括天气特征信息及光线特征信息，其中天气特征信息为雨天特征信息，光线特征信息为中午特征信息等。
步骤S20：对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像。
基础道路图像为无环境影响的道路图像，为了能够精准获取基础道路图像，对待处理道路图像进行环境影响去除处理，以获得基础道路图像的处理方式可以为将待处理道路图像输入至预设环境剥离模型中，以使预设环境剥离模型对待处理道路图像进行剥离处理，输出基础道路图像，该预设环境剥离模型通过对第一初始神经网络模型进行训练获得。
为了能够获取对图像进行环境剥离处理的预设环境剥离模型，需要预先获取多张道路图像样本，然后分别对各道路图像样本进行环境标记，获得多张标记图像样本，该环境标记可以为人工对道路图像样本进行环境对比标记，按照预设规则从多张标记图像样本中选取多张道路图像训练样本，最后根据多张道路图像训练样本对第一初始神经网络模型进行训练，获得预设环境剥离模型。预设规则为用户自定义设置的图像选取比例，可以为百分之七十，还可以为百分之六十等。
在具体实现中，多张道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像，根据环境对比对道路图像样本进行标注，之后可以从多张标记的道路图像样本即标记图像样本中提取百分之七十的道路图像样本作为多张道路图像训练样本，根据剩余的标记图像样本确定多张道路图像验证样本。
需要说明的是，根据多张道路图像训练样本对第一初始神经网络模型进行训练，得到初始环境剥离模型，之后需要将多张道路图像验证样本输入至初始环境剥离模型进行验证，在验证通过时，将初始环境剥离模型作为预设环境剥离模型。
在本实施例中还需要获取多张道路图像测试样本，将多张道路图像测试样本输入至预设环境剥离模型中进行测试，在获取道路图像样本的数据量较少时，训练集、验证集及测试集三者比例可按照6：2：2进行划分；在获取道路图像样本的数据量较大时，训练集、验证集及测试集三者比例可按照98：1：1进行划分等。
应理解的是，预设环境剥离模型可以输出待处理图像的环境信息及基础图像，其中环境信息中包括环境影响名称及对应的环境影响特征信息，在本实施例中可以根据输出的环境影响名称及对应的环境影响特征信息生成天气特征数据库，天气特征数据库中存在不同环境影响对应的环境影响特征信息。
在具体实现中，可以对多张待处理道路图像样本进行图像回环检测，从多张待处理道路图像样本中提取缺失道路图像样本，之后分别对缺失道路图像样本进行修补处理，获得多张道路图像修补样本，最后将多张道路图像修补样本替换对应的缺失道路图像样本，根据多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本。
分别对缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本的处理方式可以为对缺失道路图像样本集中的缺失道路图像样本进行遍历，将遍历到的缺失道路图像样本作为当前缺失道路图像样本，然后确定当前缺失道路图像样本对应的缺失特征信息，之后根据缺失特征信息对当前缺失道路图像样本进行修补处理，获得道路图像修补样本，最后在对多张图像数据遍历结束后，获取多张道路图像修补样本。
参考图3，图3为本申请基于深度学习道路图像生成方法第一实施例的预设环境剥离模型原理图，图3中通过拍摄设备采集多张道路图像样本，多张待处理道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像等，之后对多张待处理道路图像样本进行图像回环检测，从多张待处理道路图像样本中提取缺失道路图像样本，之后分别对缺失道路图像样本进行修补处理，获得多张道路图像修补样本，对多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本，根据天气影响对比对多张道路图像样本进行环境标注，之后根据标注后的道路图像样本组建剥离数据集，其中剥离数据集中包括多张道路图像训练样本和多张道路图像验证样本。
需要说明的是，根据多张道路图像训练样本对第一初始神经网络模型进行训练，得到初始环境剥离模型，之后需要将多张道路图像验证样本输入至初始环境剥离模型进行验证，在验证通过时，获得预设环境剥离模型。
在本实施例中，获取缺失道路图像，之后根据缺失道路图像的当前缺失特征信息获取对应的标准道路图像，该标准道路图像为具有完整像素信息的缺失道路图像对应的无环境影响的道路图像，之后根据无环境影响的道路图像对缺失道路图像进行修补处理，获得道路图像修补样本，该道路图像修补样本的天气影响信息与缺失道路图像的天气影响信息一致，该道路图像修补样本为具有完整像素信息和天气影响信息的道路图像。
步骤S30：根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
将不同环境影响对应的环境影响特征信息和基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，预设环境注入模型通过对第二初始神经网络模型进行训练获得。
为了能够获取对图像进行环境注入的预设环境注入模型，需要预先需要预先获取多张道路图像样本及天气特征数据库，按照预设规则从多张道路图像样本中选取多张道路图像训练样本，并将剩余的多张道路图像样本作为多张道路图像验证样本，最后根据多张道路图像训练样本及天气特征数据库对第二初始神经网络模型进行训练，并根据多张道路图像验证样本对训练好的初始神经网络模型进行验证，在训练后的初始神经网络模型验证成功后，将训练后的初始神经网络模型作为预设环境注入模型，之后利用多张道路图像测试样本对预设环境注入模型进行测试，在测试成功后，预设环境注入模型中输出的结果为不同环境影响下的环境影响道路图像，预设规则为用户自定义设置的图像选取比例，可以为百分之七十，还可以为百分之六十等。
参考图4，图4为本申请基于深度学习道路图像生成方法第一实施例的预设环境注入模型原理图，图4中通过拍摄设备采集多张道路图像样本，多张待处理道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像等，根据多张道路图像样本确定注入数据集，注入数据集中包括多张道路图像训练样本和多张道路图像验证样本，之后根据多张道路图像训练样本及天气特征数据库对第二初始神经网络模型进行训练，并根据多张道路图像验证样本对训练好的初始神经网络模型进行验证，在训练后的初始神经网络模型验证成功后，将训练后的初始神经网络模型作为预设环境注入模型。
假设不同环境影响下的环境影响特征信息分别为雾天特征信息、清晨特征信息、雨天特征信息及中午特征信息，将雾天特征信息、清晨特征信息、雨天特征信息及中午特征信息及基础道路图像输入至预设环境注入模块中，则获得雾天清晨特征信息的道路图像、雾天中午特征信息的道路图像、雨天清晨特征信息的道路图像、雨天中午特征信息的道路图像及雨天傍晚特征信息的道路图像。
在本实施例中，首先获取待处理道路图像，然后对待处理道路图像进行环境影响去除处理，以获得基础道路图像，最后根据不同环境影响对应的环境影响特征信息分别对基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。相较于现有技术中直接根据实时采集天气良好的道路图像制作高精度地图，导致制作高精度地图的环境影响图像样本较少，而本实施例中获取道路图像对应的基础道路图像和不同环境影响下的环境影响特征信息，基础道路图像为无环境影响的道路图像，之后根据环境影响特征信息及基础道路图像生成不同环境影响下的环境影响道路图像，从而实现了环境影响道路图像的多样化，进而丰富了高精度地图种类。
参考图5，图5为本申请基于深度学习道路图像生成方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S20，还包括：
步骤S201：将所述待处理道路图像输入至预设环境剥离模型中，获得基础道路图像，所述预设环境剥离模型通过对第一初始神经网络模型进行训练获得。
为了能够获取对图像进行环境剥离处理的预设环境剥离模型，需要预先获取多张道路图像样本，然后分别对各道路图像样本进行环境标记，获得多张标记图像样本，该环境标记可以为人工对道路图像样本进行环境对比标记，按照预设规则从多张标记图像样本中选取多张道路图像训练样本，最后根据多张道路图像训练样本对第一初始神经网络模型进行训练，获得预设环境剥离模型。
假设多张道路图像样本分别为图像A、图像B、图像C、图像D、图像E及图像F，若图像A为晴天道路图像，图像B为雨天道路图像，图像C为雾天道路图像，图像D为清晨道路图像，图像E为中午道路图像，图像F为傍晚道路图像，则图像A的环境标注为晴天、图像B的环境标注为雨天、图像C的环境标注为雾天、图像D的环境标注为清晨、图像E的环境标注为中午及图像F的环境标注为傍晚。
预设规则为用户自定义设置的图像选取比例，可以为百分之七十，还可以为百分之六十等。
在具体实现中，多张道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像，根据环境对比对道路图像样本进行标注，之后可以从多张标记的道路图像样本即标记图像样本中提取百分之七十的道路图像样本作为多张道路图像训练样本，根据剩余的标记图像样本确定多张道路图像验证样本。
需要说明的是，根据多张道路图像训练样本对第一初始神经网络模型进行训练，得到初始环境剥离模型，之后需要将多张道路图像验证样本输入至初始环境剥离模型进行验证，在验证通过时，将初始环境剥离模型作为预设环境剥离模型。
应理解的是，预设环境剥离模型可以输出待处理图像的环境信息及基础图像，其中环境信息中包括环境影响名称及对应的环境影响特征信息，在本实施例中可以根据输出的环境影响名称及对应的环境影响特征信息生成天气特征数据库，天气特征数据库中存在不同环境影响对应的环境影响特征信息。
获取多张道路图像样本的处理方式可以为获取多张待处理道路图像样本，对多张待处理道路图像样本对应的图像像素信息进行遍历，将遍历到的图像像素信息作为当前图像像素信息，在当前图像像素信息满足预设像素条件时，从多张待处理道路图像样本中提取当前图像像素信息对应的缺失道路图像样本，在对多张图像像素信息遍历结束后，根据提取结果建立缺失道路图像样本集，根据多张待处理道路图像样本和缺失道路图像样本集确定多张道路图像样本。预设像素条件可以理解为图像中存在缺失像素信息等。
在具体实现中，可以对多张待处理道路图像样本进行图像回环检测，从多张待处理道路图像样本中提取缺失道路图像样本，之后分别对缺失道路图像样本进行修补处理，获得多张道路图像修补样本，最后将多张道路图像修补样本替换对应的缺失道路图像样本，根据多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本。
分别对缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本的处理方式可以为对缺失道路图像样本集中的缺失道路图像样本进行遍历，将遍历到的缺失道路图像样本作为当前缺失道路图像样本，然后确定当前缺失道路图像样本对应的缺失特征信息，之后根据缺失特征信息对当前缺失道路图像样本进行修补处理，获得道路图像修补样本，最后在对多张图像数据遍历结束后，获取多张道路图像修补样本。
在本实施例中，获取缺失道路图像，之后根据缺失道路图像的当前缺失特征信息获取对应的标准道路图像，该标准道路图像为具有完整像素信息的缺失道路图像对应的无环境影响的道路图像，之后根据无环境影响的道路图像对缺失道路图像进行修补处理，获得道路图像修补样本，该道路图像修补样本的天气影响信息与缺失道路图像的天气影响信息一致，该道路图像修补样本为具有完整像素信息和天气影响信息的道路图像。
参考图6，图6为本申请基于深度学习道路图像生成方法第三实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S30，还包括：
步骤S301：将不同环境影响对应的环境影响特征信息和所述基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，所述预设环境注入模型通过对第二初始神经网络模型进行训练获得。
不同环境影响对应的环境影响特征信息可以从天气特征数据库中获取，天气特征数据库中包括多个环境影响名称及对应的环境影响特征信息，其中环境影响名称与环境影响特征信息存在一一对应的关系。
将不同环境影响对应的环境影响特征信息和基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，预设环境注入模型通过对第二初始神经网络模型进行训练获得。
为了能够获取对图像进行环境注入的预设环境注入模型，需要预先需要预先获取多张道路图像样本及天气特征数据库，按照预设规则从多张道路图像样本中选取多张道路图像训练样本，并将剩余的多张道路图像样本作为多张道路图像验证样本，最后根据多张道路图像训练样本及天气特征数据库对第二初始神经网络模型进行训练，并根据多张道路图像验证样本对训练好的初始神经网络模型进行验证，在训练后的初始神经网络模型验证成功后，将训练后的初始神经网络模型作为预设环境注入模型，预设环境注入模型中输出的结果为不同环境影响下的环境影响道路图像，预设规则为用户自定义设置的图像选取比例，可以为百分之七十，还可以为百分之六十等。
在具体实现中，多张道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像，可以从多张道路图像样本中提取百分之七十的道路图像样本作为多张道路图像训练样本，根据剩余的标记图像样本确定多张道路图像验证样本。
假设不同环境影响下的环境影响特征信息分别为晴天特征信息、中午特征信息、雨天特征信息及傍晚特征信息，将晴天特征信息、中午特征信息、雨天特征信息、傍晚特征信息及基础道路图像输入至预设环境注入模块中，则获得晴天中午特征信息的道路图像、晴天傍晚特征信息的道路图像、雨天中午特征信息的道路图像及雨天傍晚特征信息的道路图像。
在本实施例中，将不同环境影响对应的环境影响特征信息和基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，预设环境注入模型通过对第二初始神经网络模型进行训练获得，相较于现有技术中直接通过拍摄设备实时采集具有环境影响的道路图像，但这种方式导致不同环境影响下的道路图像较少，还会增加图像拍摄的工作量，而本实施例中将不同环境影响对应的环境影响特征信息和基础道路图像输入至预设环境注入模型中，以使预设环境注入模型对基础道路图像叠加环境影响特征信息，从而获取不同环境影响下的环境影响道路图像，进而降低图像拍摄的工作量。
此外，本申请实施例还提出一种存储介质，所述存储介质上存储有基于深度学习道路图像生成程序，所述基于深度学习道路图像生成程序被处理器执行时实现如上文所述的基于深度学习道路图像生成方法的步骤。
参照图7，图7为本申请基于深度学习道路图像生成装置第一实施例的结构框图。
如图7所示，本申请实施例提出的基于深度学习道路图像生成装置包括：
获取模块7001，用于获取待处理道路图像。
待处理道路图像为当前车辆上的拍摄设备实时采集的道路图像，该待处理道路图像中存在环境影响特征信息，需要说明的是，环境影响特征信息包括天气特征信息，例如晴天特征信息、雨天特征信息或雾天特征信息等，环境影响特征信息还包括光线特征信息，例如清晨特征信息、中午特征信息或傍晚特征信息等。
天气特征信息可以理解为该天气对拍摄图像的影响信息，例如清晰度及模糊度等。光线特征信息可以理解为该光线对拍摄图像的影响信息，例如光线强度及图像亮度等。天气或光线不同，其对应的天气特征信息或光线特征信息不同。
假设待处理道路图像在雨天中午通过拍摄设备拍摄的图像，则待处理道路图像中存在的环境影响特征信息包括天气特征信息及光线特征信息，其中天气特征信息为雨天特征信息，光线特征信息为中午特征信息等。
剥离模块7002，用于对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像。
基础道路图像为无环境影响的道路图像，为了能够精准获取基础道路图像，对待处理道路图像进行环境影响去除处理，以获得基础道路图像的处理方式可以为将待处理道路图像输入至预设环境剥离模型中，以使预设环境剥离模型对待处理道路图像进行剥离处理，输出基础道路图像，该预设环境剥离模型通过对第一初始神经网络模型进行训练获得。
为了能够获取对图像进行环境剥离处理的预设环境剥离模型，需要预先获取多张道路图像样本，然后分别对各道路图像样本进行环境标记，获得多张标记图像样本，该环境标记可以为人工对道路图像样本进行环境对比标记，按照预设规则从多张标记图像样本中选取多张道路图像训练样本，最后根据多张道路图像训练样本对第一初始神经网络模型进行训练，获得预设环境剥离模型。预设规则为用户自定义设置的图像选取比例，可以为百分之七十，还可以为百分之六十等。
在具体实现中，多张道路图像样本包括多张晴天道路图像、多张雨天道路图像、多张雾天道路图像、多张清晨道路图像、多张中午道路图像及多张傍晚道路图像，根据环境对比对道路图像样本进行标注，之后可以从多张标记的道路图像样本即标记图像样本中提取百分之七十的道路图像样本作为多张道路图像训练样本，将剩余的标记图像样本作为多张道路图像验证样本。
需要说明的是，根据多张道路图像训练样本对第一初始神经网络模型进行训练，得到初始环境剥离模型，之后需要将多张道路图像验证样本输入至初始环境剥离模型进行验证，在验证通过时，将初始环境剥离模型作为预设环境剥离模型。
应理解的是，预设环境剥离模型可以输出待处理图像的环境信息及基础图像，其中环境信息中包括环境影响名称及对应的环境影响特征信息，在本实施例中可以根据输出的环境影响名称及对应的环境影响特征信息生成天气特征数据库，天气特征数据库中存在不同环境影响对应的环境影响特征信息。
在具体实现中，可以对多张待处理道路图像样本进行图像回环检测，从多张待处理道路图像样本中提取缺失道路图像样本，之后分别对缺失道路图像样本进行修补处理，获得多张道路图像修补样本，最后将多张道路图像修补样本替换对应的缺失道路图像样本，根据多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本。
分别对缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本的处理方式可以为对缺失道路图像样本集中的缺失道路图像样本进行遍历，将遍历到的缺失道路图像样本作为当前缺失道路图像样本，然后确定当前缺失道路图像样本对应的缺失特征信息，之后根据缺失特征信息对当前缺失道路图像样本进行修补处理，获得道路图像修补样本，最后在对多张图像数据遍历结束后，获取多张道路图像修补样本。
在本实施例中，获取缺失道路图像，之后根据缺失道路图像的当前缺失特征信息获取对应的标准道路图像，该标准道路图像为具有完整像素信息的缺失道路图像对应的无环境影响的道路图像，之后根据无环境影响的道路图像对缺失道路图像进行修补处理，获得道路图像修补样本，该道路图像修补样本的天气影响信息与缺失道路图像的天气影响信息一致，该道路图像修补样本为具有完整像素信息和天气影响信息的道路图像。
注入模块7003，用于根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
不同环境影响对应的环境影响特征信息可以从天气特征数据库中获取，天气特征数据库中包括多个环境影响名称及对应的环境影响特征信息，其中环境影响名称与环境影响特征信息存在一一对应的关系。
将不同环境影响对应的环境影响特征信息和基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，预设环境注入模型通过对第二初始神经网络模型进行训练获得。
为了能够获取对图像进行环境注入的预设环境注入模型，需要预先需要预先获取多张道路图像样本，之后根据多张道路图像样本对第二初始神经网络模型进行训练和验证，最后训练后的初始神经网络模型验证成功后，将训练后的初始神经网络模型作为预设环境注入模型，预设环境注入模型中输出的结果为不同环境影响下的环境影响道路图像。
假设不同环境影响下的环境影响特征信息分别为晴天特征信息、中午特征信息、雨天特征信息及傍晚特征信息，将晴天特征信息、中午特征信息、雨天特征信息、傍晚特征信息及基础道路图像输入至预设环境注入模块中，则获得晴天中午特征信息的道路图像、晴天傍晚特征信息的道路图像、雨天中午特征信息的道路图像及雨天傍晚特征信息的道路图像。
在本实施例中，首先获取待处理道路图像，然后对待处理道路图像进行环境影响去除处理，以获得基础道路图像，最后根据不同环境影响对应的环境影响特征信息分别对基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。相较于现有技术中直接根据实时采集天气良好的道路图像制作高精度地图，导致制作高精度地图的环境影响图像样本较少，而本实施例中获取道路图像对应的基础道路图像和不同环境影响下的环境影响特征信息，基础道路图像为无环境影响的道路图像，之后根据环境影响特征信息及基础道路图像生成不同环境影响下的环境影响道路图像，从而实现了环境影响道路图像的多样化，进而丰富了高精度地图种类。
本申请基于深度学习道路图像生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
- 一种基于深度学习道路图像生成方法，其特征在于，所述基于深度学习道路图像生成方法，包括以下步骤：获取待处理道路图像；对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像；根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
- 如权利要求1所述的方法，其特征在于，所述对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像的步骤，包括：将所述待处理道路图像输入至预设环境剥离模型中，获得基础道路图像，所述预设环境剥离模型通过对第一初始神经网络模型进行训练获得。
- 如权利要求2所述的方法，其特征在于，所述将所述待处理道路图像输入至预设环境剥离模型中，获得基础道路图像的步骤之前，还包括：获取多张道路图像样本；分别对各道路图像样本进行环境标记，获得多张标记图像样本；按照预设规则从多张标记图像样本中选取多张道路图像训练样本；根据多张道路图像训练样本对第一初始神经网络模型进行训练，获得预设环境剥离模型。
- 如权利要求3所述的方法，其特征在于，所述获取多张道路图像样本的步骤，包括：获取多张待处理道路图像样本；对多张待处理道路图像样本对应的图像像素信息进行遍历，将遍历到的图像像素信息作为当前图像像素信息；在所述当前图像像素信息满足预设像素条件时，从多张待处理道路图像样本中提取所述当前图像像素信息对应的缺失道路图像样本；在对多张图像像素信息遍历结束后，根据提取结果建立缺失道路图像样本集；根据多张待处理道路图像样本和所述缺失道路图像样本集确定多张道路图像样本。
- 如权利要求4所述的方法，其特征在于，所述根据多张待处理道路图像样本和所述缺失道路图像样本集确定多张道路图像样本的步骤，包括：分别对所述缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本；根据多张道路图像修补样本和多张待处理道路图像样本确定多张道路图像样本。
- 如权利要求5所述的方法，其特征在于，所述分别对所述缺失道路图像样本集中的缺失道路图像样本进行修补处理，获得多张道路图像修补样本的步骤，包括：对所述缺失道路图像样本集中的缺失道路图像样本进行遍历，将遍历到的缺失道路图像样本作为当前缺失道路图像样本；确定所述当前缺失道路图像样本对应的缺失特征信息；根据所述缺失特征信息对所述当前缺失道路图像样本进行修补处理，获得道路图像修补样本；在对多张图像数据遍历结束后，获取多张道路图像修补样本。
- 如权利要求1-6任一项所述的方法，其特征在于，所述根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像的步骤，包括：将不同环境影响对应的环境影响特征信息和所述基础道路图像输入至预设环境注入模型中，以生成不同环境影响下的环境影响道路图像，所述预设环境注入模型通过对第二初始神经网络模型进行训练获得。
- 一种基于深度学习道路图像生成装置，其特征在于，所述基于深度学习道路图像生成装置包括：获取模块，用于获取待处理道路图像；剥离模块，用于对所述待处理道路图像进行环境影响去除处理，以获得基础道路图像；注入模块，用于根据不同环境影响对应的环境影响特征信息分别对所述基础道路图像进行注入处理，以生成不同环境影响下的环境影响道路图像。
- 一种基于深度学习道路图像生成设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习道路图像生成程序，所述基于深度学习道路图像生成程序配置为实现如权利要求1至7中任一项所述的基于深度学习道路图像生成方法的步骤。
- 一种存储介质，其特征在于，所述存储介质上存储有基于深度学习道路图像生成程序，所述基于深度学习道路图像生成程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习道路图像生成方法的步骤。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/113511 WO2023019507A1 (zh) | 2021-08-19 | 2021-08-19 | 基于深度学习道路图像生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117616425A true CN117616425A (zh) | 2024-02-27 |
Family
ID=85239313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180099924.XA Pending CN117616425A (zh) | 2021-08-19 | 2021-08-19 | 基于深度学习道路图像生成方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117616425A (zh) |
| WO (1) | WO2023019507A1 (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8645067B2 (en) * | 2009-07-31 | 2014-02-04 | Baron Services, Inc. | System and method for determining road conditions |
| CN110297926B (zh) * | 2018-12-29 | 2022-06-07 | 中国科学院软件研究所 | 星载图像处理装置在轨配置方法 |
| CN110288550B (zh) * | 2019-06-28 | 2020-04-24 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110647986A (zh) * | 2019-08-13 | 2020-01-03 | 杭州电子科技大学 | 一种基于对抗式生成网络的道路破损图像生成方法 |
| US11113570B2 (en) * | 2019-09-16 | 2021-09-07 | The Boeing Company | Systems and methods for automatically generating training image sets for an environment |
| CN111161160B (zh) * | 2019-12-04 | 2023-07-18 | 新奇点企业管理集团有限公司 | 一种雾天障碍物检测方法、装置、电子设备和存储介质 |
| CN110956146B (zh) * | 2019-12-04 | 2024-04-12 | 新奇点企业管理集团有限公司 | 一种道路背景建模方法、装置、电子设备和存储介质 |
| CN111524349B (zh) * | 2020-04-14 | 2021-05-25 | 长安大学 | 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法 |
| CN112884147B (zh) * | 2021-02-26 | 2023-11-28 | 上海商汤智能科技有限公司 | 神经网络训练方法、图像处理方法、装置及电子设备 |
| CN113077424A (zh) * | 2021-03-23 | 2021-07-06 | 广东电网有限责任公司广州供电局 | 一种基于深度学习的输电线路通道环境变化检测方法及系统 |
-
2021
- 2021-08-19 CN CN202180099924.XA patent/CN117616425A/zh active Pending
- 2021-08-19 WO PCT/CN2021/113511 patent/WO2023019507A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023019507A1 (zh) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961008B (zh) | 基于文字定位识别的表格解析方法、介质及计算机设备 | |
| CN107909107B (zh) | 纤维检测方法、装置及电子设备 | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN109117863B (zh) | 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置 | |
| CN111767228A (zh) | 基于人工智能的界面测试方法、装置、设备和介质 | |
| CN111428448B (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
| CN112381092B (zh) | 跟踪方法、装置及计算机可读存储介质 | |
| CN111310613B (zh) | 一种图像检测方法、装置以及计算机可读存储介质 | |
| CN112329751A (zh) | 一种基于深度学习的多尺度遥感影像目标识别系统及方法 | |
| WO2021159736A1 (zh) | 应用程序兼容性测试的方法、装置及计算机设备 | |
| CN112712121A (zh) | 一种基于深度神经网络的图像识别模型训练方法、装置及存储介质 | |
| CN110619528A (zh) | 行为验证数据处理方法、装置、设备及存储介质 | |
| CN115290104A (zh) | 仿真地图生成方法、装置、设备及可读存储介质 | |
| CN112579907A (zh) | 一种异常任务检测方法、装置、电子设备和存储介质 | |
| CN112633341A (zh) | 一种界面测试方法、装置、计算机设备和存储介质 | |
| CN109145955B (zh) | 一种木材识别方法及系统 | |
| CN113033297B (zh) | 实物编程方法、装置、设备及存储介质 | |
| CN110795706B (zh) | 基于哈希的验证方法、设备、存储介质及装置 | |
| CN117616425A (zh) | 基于深度学习道路图像生成方法、装置、设备及存储介质 | |
| CN115713669B (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 | |
| CN111292396B (zh) | 图像样本集生成方法、设备、装置及存储介质 | |
| CN109684615B (zh) | 一种行人碰撞试验报告生成方法及装置 | |
| CN114706589A (zh) | 一种重复代码扫描方法、装置和电子设备 | |
| CN110110280B (zh) | 对坐标的曲线积分计算方法、装置、设备及存储介质 | |
| KR20220095964A (ko) | 정밀지도 기반 학습 데이터 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |