CN117765186A - 一种环境空间的重构方法、装置、设备和存储介质 - Google Patents
一种环境空间的重构方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117765186A CN117765186A CN202410179355.5A CN202410179355A CN117765186A CN 117765186 A CN117765186 A CN 117765186A CN 202410179355 A CN202410179355 A CN 202410179355A CN 117765186 A CN117765186 A CN 117765186A
- Authority
- CN
- China
- Prior art keywords
- target
- initial image
- module
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000007613 environmental effect Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种环境空间的重构方法、装置、设备和存储介质，通过获取目标环境的各张第一初始图像；确定每一张第一初始图像中的各个现场物体，将各个现场物体与数据特征库中进行匹配，将匹配成功的作为目标物体，将未匹配成功的从第一初始图像中删除，得到与每一张第一初始图像对应的，包含有各个目标物体的第二初始图像；利用特征提取网络模型处理各张第二初始图像，得到各个目标物体的目标形态和目标位置信息；基于目标形态创建物体模型；利用各个目标物体对应的物体模型以及目标位置信息构建空间模型。该方案可以准确快速地确定出目标物体的真实形态和位置信息，从而可以得到目标环境的真实环境信息，完成空间的重构。
Description
技术领域
本申请涉及空间重构技术领域，具体涉及一种环境空间的重构方法、装置、设备和存储介质。
背景技术
如今在空间建模、空间建设等领域，都会对目标环境或目标空间进行建模或进行空间重构，比如需要对某处环境空间进行建筑研究，对环境空间中的各个物体之间的相对关系进行分析，对环境空间进行建设前的规划等等。业内常用摄像探头获取空间图像，并利用空间图像进行简单建模，但是这种方式得到的空间中各个目标位置和目标之间的关系并不准确，因此激光雷达、声波雷达等高精度探测技术逐渐应用起来。
但是利用激光雷达、声波雷达等进行空间重构的方法基本上都是基于单点测距与成像技术，其需要对空间进行多点、多次扫描，工作耗时比较大，影响技术人员的工作效率。
发明内容
有鉴于此，本申请提供了一种环境空间的重构方法、装置、设备和存储介质，用于解决利用激光雷达、声波雷达等进行空间重构的方法基本上都是基于单点测距与成像技术，其需要对空间进行多点、多次扫描，工作耗时比较大，影响技术人员的工作效率的问题。
为实现以上目的，现提出的方案如下：
第一方面，一种环境空间的重构方法，包括：
获取目标环境的各张第一初始图像；
针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
优选地，所述利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息，包括：
利用预先训练的特征提取网络模型中的补齐模块对各张所述第二初始图像进行补齐操作，以得到各张第二初始图像对应的各张第三初始图像；
利用所述特征提取网络模型中的卷积模块对各张所述第三初始图像进行卷积操作，得到各张卷积图像；
利用所述特征提取网络模型中的提取模块分别提取各张卷积图像中的各个第一目标特征；
利用所述特征提取网络模型中的残差模块对提取出的各张卷积图像中的各个第一目标特征进行优化处理，以得到各个第二目标特征；
利用所述特征提取网络模型中的物体识别模块处理各个所述第二目标特征，得到所述目标环境中各个所述目标物体的初始形态和初始位置信息；
利用所述特征提取网络模型中的相似空间匹配模块对各个所述目标物体的初始形态和初始位置信息进行相似空间匹配处理，以得到所述目标环境中各个所述目标物体的目标形态和目标位置信息。
优选地，所述特征提取网络模型包括依次连接的补齐模块、第一卷积模块、第二卷积模块、特征提取模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、物体识别模块和相似空间匹配模块。
优选地，所述物体识别模块包括物体确定单元、关联关系确定单元和距离确定单元；
其中，所述物体确定单元的输入端与所述第四残差模块的输出端连接，所述物体确定单元的输出端与所述关联关系确定单元的输入端连接，所述关联关系确定单元的输出端与所述距离确定单元的输入端连接，所述距离确定单元的输出端与所述相似空间匹配模块的输入端连接。
优选地，所述特征提取网络模型的训练过程，包括：
设置损失函数；
利用预先构建的训练集，并以所述损失函数最小化为目标对特征提取网络模型进行预设轮次的训练，以调整所述特征提取网络模型的各个网络参数；
在所述特征提取网络模型按照预设伦次训练完成后，利用预先构建的测试集对训练完成的特征提取网络模型进行测试，得到测试结果；
根据所述测试结果判断所述训练完成的特征提取网络模型是否符合预设要求；
若是，则将所述训练完成的特征提取网络模型作为训练好的特征提取网络模型；
若否，则对所述特征提取网络模型继续训练，直到符合所述预设要求。
优选地，所述训练集的构建过程，包括：
分别在各个预设的时间点获取多个不同环境空间的环境图像，以得到各张环境图像；
获取各张所述环境图像所属的图像类型；
基于所述图像类型对各张所述环境图像进行标记，得到各张标记图像；
分别对各张所述标记图像进行翻转处理和增强处理，得到各张已处理图像；
将各张所述已处理图像和各张所述标记图像进行汇总，得到训练集。
第二方面，一种环境空间的重构装置，包括：
第一初始图像获取模块，用于获取目标环境的各张第一初始图像；
去噪处理模块，用于针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
特征处理模块，用于利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
物体模型创建模块，用于基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
空间模型构建模块，用于利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
第三方面，一种环境空间的重构设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如第一方面所述的环境空间的重构方法的各个步骤。
第四方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的环境空间的重构方法的各个步骤。
从上述技术方案可以看出，本申请通过获取目标环境的各张第一初始图像；针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；基于所述目标形态创建与各个所述目标物体对应的各个物体模型；利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。该方案通过与数据特征库进行匹配的过程去除各张第一初始图像中的“噪音物体”，准确定位目标环境中的各个目标物体，并利用预先训练的特征提取网络模型处理包含有各个目标物体的图像，可以更准确、快速地确定出目标物体的真实信息，包括真实的形态和真实的位置信息，然后根据形态创建物体模型，再根据位置信息和物体模型模拟出与目标环境对应的空间模型，完成空间的重构，相比于现有技术中多次多点扫描的方式，本方案可以在短时间内快速构建精准的空间模型，效率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种环境空间的重构方法的可选流程图；
图2为本申请实施例提供的一种特征提取网络模型的结构示意图；
图3为本申请实施例提供的一种环境空间的重构装置的结构示意图；
图4为本申请实施例提供的一种环境空间的重构设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供一种环境空间的重构方法，该方法可以应用在各种计算机终端或是智能终端中，其执行主体可以为计算机终端或是智能终端的处理器或服务器，所述方法的方法流程图如图1所示，具体包括：
S1：获取目标环境的各张第一初始图像。
具体地，为了方便高效，可以直接获取目标环境中的监控摄像头拍摄多张图像作为第一初始图像。
另外，若要更准确的进行空间重构，可以利用监控探头在目标环境的多个不同的角度或视角获取环境图像，并将这些环境图像作为各张第一初始图像。
获取多个角度和视角的环境图像可以保证没有监控死角，确保目标环境的所有物体、环境设施等都被拍摄进去，并且可以在后续的重构过程中利用多张第一初始图像来掌握目标环境的具体形态，各个物体在目标环境中的准确位置、大小和体积，还可以确定物体之间的关系等信息，使空间重构的精准度更高，最终构建出更加完整精细的空间模型。
在本申请提供的实施例中，目标环境可以是马路、公园、办公室等包含有多个固定物体或固定建筑的现实环境。
S2：针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像。
可以理解的是，对于属于公共区域的目标环境，是会存在一些不定因素的，比如路过的行人、车辆、动物或者临时出现在目标环境中的其他物体，即“噪音物体”。这些物体不属于目标环境的固定物体，可以不用构建在空间模型中，因此需要对各张第一初始图像进行去噪处理，只对需要构建在空间模型中的目标物体进行后续处理即可，这样可以简化构建过程，加快构建速度。
其中，为了使去噪效果更好，可以预先建立一个数据特征库，该数据特征库中包含了各种环境中的固定物体的基本图像或基本形态特征，因此，针对每一张第一初始图像来说，利用数据特征库对该第一初始图像进行去噪处理，具体可以将第一初始图像中的每一个物体分别与数据特征库中的图像进行匹配，若匹配成功，就将该物体图像留在第一初始图像中，若匹配不成功，则将该物体图像删除，最终得到与该第一初始图像对应的第二初始图像，去噪完成。此时的第二初始图像中包含的各个物体称为各个目标物体，这些目标物体是要在后续过程中进行空间重构的。
具体地，针对每一张第一初始图像来说，可以首先确定该第一初始图像中的各个现场物体，比如目标环境是街道环境，该目标环境中所包含的现场物体包括马路、花坛、道路两侧建筑物、行人、车辆、路灯、电线杆、输电线路、花草树木等等。而针对街道环境的数据特征库中的已记录物体形态包括：马路、花坛、建筑物、路灯、电线杆、输电线路、树木、花草等，因此匹配成功的现场物体即为马路、花坛、建筑物、路灯、电线杆、输电线路和花草树木，然后将这些物体确定为目标物体，将其他不属于目标物体的现场物体，比如行人、车辆等从该第一初始图像中删除，就可以得到只包含目标物体的第二初始图像。
设置去噪过程可以减少后续利用特征提取网络模型确定形态和位置的步骤，即只需要针对目标物体即可，可以大大缩减空间重构的时间，提高效率。
可选的，还可以从现场物体是否变动的角度出发，若各张第一初始图像中，某一物体在各张第一初始图像中的位置并不相同，并且位置之间的差距较大，比如路过的车辆等，就可以说明该物体并非是静止的物体，而是临时出现在该环境中的物体，即将其确定为“噪音物体”。
S3：利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息。
在本步骤中，可以首先获取一个CNN（Convolutional Neural Network，卷积神经网络）或自编码器神经网络作为初始的网络模型，选取CNN或自编码器神经网络作为特征提取网络模型的初始模型，可以提取图像的一些高纬度特征，利用这些高纬度特征进行空间重构，可以使构建的空间模型的准确率更高。首先这个初始网络模型并没有被训练过，然后对该模型进行训练，训练完成后就可以处理各种环境图像，并输出环境中各个目标物体的目标形态和目标位置。
目标形态指的是按比例还原出的目标物体的大小和形态，比如长、宽和高，在目标环境中所占据的空间大小，目标位置指的是目标物体在目标环境中的具体分布位置以及各个目标物体之间的距离和位置关系。
特征提取网络模型是以环境图像样本集为训练样本，以环境图像样本集中每一张环境图像中的物体真实形态和物体真实位置信息为训练标签训练得到。
S4：基于所述目标形态创建与各个所述目标物体对应的各个物体模型。
本步骤是对每一个目标物体进行建模，根据目标形态，按比例创建与每一个目标物体对应的物体模型。在创建过程中，可以按需确定目标物体的明显特征，或唯一特征，或标志性特征，将这些特征作为创建物体模型的必要元素，同时舍弃一些小细节或复杂特征，以简化物体模型的创建过程，提高效率。
S5：利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
具体地，可以首先建立一个空白空间模型，依次将各个目标物体对应的物体模型设置在该空白空间模型中。在设置过程中，首先随机选取一个目标物体，根据该目标物体的目标形态与该空白空间模型之间的比例关系，对该目标物体对应的物体模型进行大小或方向的变化，并放置在空白空间模型中，然后，再挑选一个与该目标物体有直接位置关系的目标物体，再根据其与该目标物体之间的直接位置关系对其进行放置，依次类推，最终得到放置完所有目标物体的空间模型。
该空间模型可以认为是目标环境的三维立体环境图，该三维立体环境图是对目标环境进行空间重构的结果，技术人员可以根据构建出来的三维空间立体图像进行各种研究和分析。
从上述技术方案可以看出，本申请通过获取目标环境的各张第一初始图像；针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；基于所述目标形态创建与各个所述目标物体对应的各个物体模型；利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。该方案通过与数据特征库进行匹配的过程去除各张第一初始图像中的“噪音物体”，准确定位目标环境中的各个目标物体，并利用预先训练的特征提取网络模型处理包含有各个目标物体的图像，可以更准确、快速地确定出目标物体的真实信息，包括真实的形态和真实的位置信息，然后根据形态创建物体模型，再根据位置信息和物体模型模拟出与目标环境对应的空间模型，完成空间的重构，相比于现有技术中多次多点扫描的方式，本方案可以在短时间内快速构建精准的空间模型，效率更高。
下面对本申请中的利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息的过程进行详细说明。
利用预先训练的特征提取网络模型中的补齐模块对各张所述第二初始图像进行补齐操作，以得到各张第二初始图像对应的各张第三初始图像；
利用所述特征提取网络模型中的卷积模块对各张所述第三初始图像进行卷积操作，得到各张卷积图像；
利用所述特征提取网络模型中的提取模块分别提取各张卷积图像中的各个第一目标特征；
利用所述特征提取网络模型中的残差模块对提取出的各张卷积图像中的各个第一目标特征进行优化处理，以得到各个第二目标特征；
利用所述特征提取网络模型中的物体识别模块处理各个所述第二目标特征，得到所述目标环境中各个所述目标物体的初始形态和初始位置信息；
利用所述特征提取网络模型中的相似空间匹配模块对各个所述目标物体的初始形态和初始位置信息进行相似空间匹配处理，以得到所述目标环境中各个所述目标物体的目标形态和目标位置信息。
具体地，特征提取网络模型包括依次连接的补齐模块、卷积模块、提取模块、残差模块、物体识别模块和相似空间匹配模块。
其中，补齐模块可以根据各张第二初始图像进行补齐操作，由于第二初始图像可能并没有完整的展示出目标环境的所有目标物体，比如某一个或多个边缘物体只被拍摄到了一部分，而其他的照片上完整的拍摄了出来；或者两张不同的第二初始图像分别拍摄到了某一目标物体的一部分，这两张第二初始图像分别拍摄的该目标物体的部分可以组成该目标物体的完整形态，那么就可以对各张第二初始图像进行补齐处理，对没有拍摄到的部分进行补充，这样就能得到各张完整的第三初始图像，有利于后面对第三初始图像的物体识别和特征比对过程。
卷积模块可以对各张第三初始图像进行卷积操作，通过卷积模块可以有效地确定第三初始图像中的各个局部特征，从而可以实现高层次的抽象表示。接下来提取模块将卷积模块中确定的各个局部特征提取出来，作为各个第一目标特征。
本申请中提取到的第一目标特征包括第三初始图像中各个目标物体的形状特征、颜色特征、物体之间的距离特征还有目标物体之间的约束关系特征，约束关系特征包括边界特征、物体邻域特征。可以理解的是，将目标物体的形状特征、颜色特征、物体之间的距离特征、边界特征、物体邻域特征都提取出来，再结合，去确定目标物体的目标形态和目标位置信息的方法，相比于只提取形状特征或距离特征，可以更精确的确定出目标物体的形态和位置，兼顾了每一个目标物体本身的特征、信息，和目标物体的周围环境信息。
残差模块可以对各个第一目标特征进行优化处理，以便更好的确定目标形态和目标位置信息。
优选地，特征提取网络模型可以包括依次连接的补齐模块、第一卷积模块、第二卷积模块、特征提取模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、物体识别模块和相似空间匹配模块，如图2所示。其中，物体识别模块包括物体确定单元、关联关系确定单元和距离确定单元；所述物体确定单元的输入端与所述第四残差模块的输出端连接，所述物体确定单元的输出端与所述关联关系确定单元的输入端连接，所述关联关系确定单元的输出端与所述距离确定单元的输入端连接，所述距离确定单元的输出端与所述相似空间匹配模块的输入端连接。
第一残差模块、第二残差模块、第三残差模块和第四残差模块可以分别对不同的第一目标特征进行优化处理，具体地，将各个第一目标特征进行分为四类特征，一类特征对应一个残差模块，因此在第四残差模块处理完后，每一个第一目标特征都已经被优化处理过了，这样可以保证没有遗漏的第一目标特征，并且提高了优化深度和优化精度，可以更好的确定目标形态和目标位置信息。
具体地，在物体识别模块中，物体确定单元可以确定每个目标物体的具体类型，比如确定某一个目标物体是楼房，确定另一个目标物体是花坛；关联关系确定单元可以确定出目标物体之间的关联关系，比如电线杆在路面上，电线杆与路面相互连接；距离确定单元可以确定出每两个目标物体之间的距离，比如在真实环境中架空输电线路与路面之间的距离为10米。
具体地，相似空间匹配模块可以对被其他目标物体遮挡的目标物体进行补齐操作，还可以对目标物体的模糊边缘进行清晰化处理，从而恢复目标物体的模糊边缘或被遮挡区域的形状，精准的确定出每一个目标物体的目标形态和目标位置信息。
上述实施例对本申请中的利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息的过程进行了说明，下面对本申请中特征提取网络模型的训练过程进行详细解释。
首先设置损失函数；
利用预先构建的训练集，并以所述损失函数最小化为目标对特征提取网络模型进行预设轮次的训练，以调整所述特征提取网络模型的各个网络参数；
在所述特征提取网络模型按照预设伦次训练完成后，利用预先构建的测试集对训练完成的特征提取网络模型进行测试，得到测试结果；
根据所述测试结果判断所述训练完成的特征提取网络模型是否符合预设要求；
若是，则将所述训练完成的特征提取网络模型作为训练好的特征提取网络模型；
若否，则对所述特征提取网络模型继续训练，直到符合所述预设要求。
可选的，上述训练集的构建过程，具体步骤包括：
分别在各个预设的时间点获取多个不同环境空间的环境图像，以得到各张环境图像；
获取各张所述环境图像所属的图像类型；
基于所述图像类型对各张所述环境图像进行标记，得到各张标记图像；
分别对各张所述标记图像进行翻转处理和增强处理，得到各张已处理图像；
将各张所述已处理图像和各张所述标记图像进行汇总，得到训练集。
对于模型的训练来说，其需要大量的训练样本进行训练，不断地优化、调整，使损失函数达到最小，并确定出最优的各个网络参数。对各张环境图像进行标记的目的是为了检查在模型训练中，哪一类的环境图像更容易、准确和快速的得到目标物体的目标形态和目标位置信息。另外在获取到各张标记图像后，为了扩大训练样本，对各张标记图像进行翻转处理和增强处理，然后再将处理后的图像与处理前的图像共同作为训练集中的样本。
进一步利用测试集中的环境图像进行测试，若得到的环境图像中的目标形态和目标位置信息是正确且真实的，则说明该特征提取网络模型已经训练成功。
与图1所述的方法相对应，本发明实施例还提供了环境空间的重构装置，用于对图1中方法的具体实现，本发明实施例提供的环境空间的重构装置可以在计算机终端或各种移动设备中，结合图3，对环境空间的重构装置进行介绍，如图3所示，该装置可以包括：
第一初始图像获取模块10，用于获取目标环境的各张第一初始图像；
去噪处理模块20，用于针对每一张第一初始图像，针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
特征处理模块30，用于利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
物体模型创建模块40，用于基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
空间模型构建模块50，用于利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
从上述技术方案可以看出，本申请通过获取目标环境的各张第一初始图像；针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；基于所述目标形态创建与各个所述目标物体对应的各个物体模型；利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。该方案通过与数据特征库进行匹配的过程去除各张第一初始图像中的“噪音物体”，准确定位目标环境中的各个目标物体，并利用预先训练的特征提取网络模型处理包含有各个目标物体的图像，可以更准确、快速地确定出目标物体的真实信息，包括真实的形态和真实的位置信息，然后根据形态创建物体模型，再根据位置信息和物体模型模拟出与目标环境对应的空间模型，完成空间的重构，相比于现有技术中多次多点扫描的方式，本方案可以在短时间内快速构建精准的空间模型，效率更高。
更进一步地，本申请实施例提供了一种环境空间的重构设备。可选的，图4示出了环境空间的重构设备的硬件结构框图，参照图4，环境空间的重构设备的硬件结构可以包括：至少一个处理器01，至少一个通信接口02，至少一个存储器03和至少一个通信总线04。
在本申请实施例中，处理器01、通信接口02、存储器03、通信总线04的数量为至少一个，且处理器01、通信接口02、存储器03通过通信总线04完成相互间的通信。
处理器01可以是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等。
存储器03可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器。
其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于执行下述环境空间的重构方法，包括：
获取目标环境的各张第一初始图像；
针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
可选的，程序的细化功能和扩展功能可参照方法实施例中的环境空间的重构方法的描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，在所述程序运行时控制所述存储介质所在的设备执行下述环境空间的重构方法，包括：
获取目标环境的各张第一初始图像；
针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
具体地，该存储介质可以是一种计算机可读存储介质，计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。
可选的，程序的细化功能和扩展功能可参照方法实施例中的环境空间的重构方法的描述。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种环境空间的重构方法，其特征在于，包括：
获取目标环境的各张第一初始图像；
针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息，包括：
利用预先训练的特征提取网络模型中的补齐模块对各张所述第二初始图像进行补齐操作，以得到各张第二初始图像对应的各张第三初始图像；
利用所述特征提取网络模型中的卷积模块对各张所述第三初始图像进行卷积操作，得到各张卷积图像；
利用所述特征提取网络模型中的提取模块分别提取各张卷积图像中的各个第一目标特征；
利用所述特征提取网络模型中的残差模块对提取出的各张卷积图像中的各个第一目标特征进行优化处理，以得到各个第二目标特征；
利用所述特征提取网络模型中的物体识别模块处理各个所述第二目标特征，得到所述目标环境中各个所述目标物体的初始形态和初始位置信息；
利用所述特征提取网络模型中的相似空间匹配模块对各个所述目标物体的初始形态和初始位置信息进行相似空间匹配处理，以得到所述目标环境中各个所述目标物体的目标形态和目标位置信息。
3.根据权利要求1所述的方法，其特征在于，所述特征提取网络模型包括依次连接的补齐模块、第一卷积模块、第二卷积模块、特征提取模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、物体识别模块和相似空间匹配模块。
4.根据权利要求3所述的方法，其特征在于，所述物体识别模块包括物体确定单元、关联关系确定单元和距离确定单元；
其中，所述物体确定单元的输入端与所述第四残差模块的输出端连接，所述物体确定单元的输出端与所述关联关系确定单元的输入端连接，所述关联关系确定单元的输出端与所述距离确定单元的输入端连接，所述距离确定单元的输出端与所述相似空间匹配模块的输入端连接。
5.根据权利要求1所述的方法，其特征在于，所述特征提取网络模型的训练过程，包括：
设置损失函数；
利用预先构建的训练集，并以所述损失函数最小化为目标对特征提取网络模型进行预设轮次的训练，以调整所述特征提取网络模型的各个网络参数；
在所述特征提取网络模型按照预设伦次训练完成后，利用预先构建的测试集对训练完成的特征提取网络模型进行测试，得到测试结果；
根据所述测试结果判断所述训练完成的特征提取网络模型是否符合预设要求；
若是，则将所述训练完成的特征提取网络模型作为训练好的特征提取网络模型；
若否，则对所述特征提取网络模型继续训练，直到符合所述预设要求。
6.根据权利要求5所述的方法，其特征在于，所述训练集的构建过程，包括：
分别在各个预设的时间点获取多个不同环境空间的环境图像，以得到各张环境图像；
获取各张所述环境图像所属的图像类型；
基于所述图像类型对各张所述环境图像进行标记，得到各张标记图像；
分别对各张所述标记图像进行翻转处理和增强处理，得到各张已处理图像；
将各张所述已处理图像和各张所述标记图像进行汇总，得到训练集。
7.一种环境空间的重构装置，其特征在于，包括：
第一初始图像获取模块，用于获取目标环境的各张第一初始图像；
去噪处理模块，用于针对每一张第一初始图像，确定该第一初始图像中的各个现场物体，将各个所述现场物体与预先构建的数据特征库中的各个已记录物体形态进行匹配，并判断各个所述现场物体是否匹配成功；将匹配成功的各个现场物体作为各个目标物体，将未匹配成功的各个现场物体从所述第一初始图像中删除，得到与该第一初始图像对应的，包含有各个目标物体的第二初始图像；
特征处理模块，用于利用预先训练的特征提取网络模型处理各张第一初始图像对应的各张第二初始图像，得到所述目标环境中各个所述目标物体的目标形态和目标位置信息；
物体模型创建模块，用于基于所述目标形态创建与各个所述目标物体对应的各个物体模型；
空间模型构建模块，用于利用各个所述目标物体对应的物体模型以及目标位置信息构建与所述目标环境对应的空间模型。
8.一种环境空间的重构设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-6任一项所述的环境空间的重构方法的各个步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的环境空间的重构方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179355.5A CN117765186B (zh) | 2024-02-18 | 2024-02-18 | 一种环境空间的重构方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179355.5A CN117765186B (zh) | 2024-02-18 | 2024-02-18 | 一种环境空间的重构方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765186A true CN117765186A (zh) | 2024-03-26 |
| CN117765186B CN117765186B (zh) | 2024-05-28 |
Family
ID=90325976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410179355.5A Active CN117765186B (zh) | 2024-02-18 | 2024-02-18 | 一种环境空间的重构方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765186B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
| CN114240811A (zh) * | 2021-11-29 | 2022-03-25 | 浙江大学 | 一种基于多张图像生成新图像的方法 |
| CN115588085A (zh) * | 2021-07-05 | 2023-01-10 | 高德软件有限公司 | 轴线重建方法、设备及存储介质 |
| CN116310237A (zh) * | 2023-03-01 | 2023-06-23 | 杭州易现先进科技有限公司 | 在线三维地图的构建方法、系统、电子设备和存储介质 |
| US20230257237A1 (en) * | 2021-04-12 | 2023-08-17 | Structural Services, Inc. | Systems and methods for calculating a path |
| CN117073662A (zh) * | 2023-08-15 | 2023-11-17 | 深圳鹏行智能研究有限公司 | 地图构建方法、装置、机器人以及存储介质 |
| CN117197388A (zh) * | 2023-09-15 | 2023-12-08 | 中国人民大学 | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 |
| CN117237935A (zh) * | 2023-09-18 | 2023-12-15 | 北京蜂巢世纪科技有限公司 | 一种空间物体的识别方法、装置、电子设备及存储介质 |
-
2024
- 2024-02-18 CN CN202410179355.5A patent/CN117765186B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110148170A (zh) * | 2018-08-31 | 2019-08-20 | 北京初速度科技有限公司 | 一种应用于车辆定位的定位初始化方法及车载终端 |
| US20230257237A1 (en) * | 2021-04-12 | 2023-08-17 | Structural Services, Inc. | Systems and methods for calculating a path |
| CN115588085A (zh) * | 2021-07-05 | 2023-01-10 | 高德软件有限公司 | 轴线重建方法、设备及存储介质 |
| CN114240811A (zh) * | 2021-11-29 | 2022-03-25 | 浙江大学 | 一种基于多张图像生成新图像的方法 |
| CN116310237A (zh) * | 2023-03-01 | 2023-06-23 | 杭州易现先进科技有限公司 | 在线三维地图的构建方法、系统、电子设备和存储介质 |
| CN117073662A (zh) * | 2023-08-15 | 2023-11-17 | 深圳鹏行智能研究有限公司 | 地图构建方法、装置、机器人以及存储介质 |
| CN117197388A (zh) * | 2023-09-15 | 2023-12-08 | 中国人民大学 | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 |
| CN117237935A (zh) * | 2023-09-18 | 2023-12-15 | 北京蜂巢世纪科技有限公司 | 一种空间物体的识别方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765186B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
| CN109658419A (zh) | 一种医学图像中小器官的分割方法 | |
| CN109410318A (zh) | 三维模型生成方法、装置、设备和存储介质 | |
| CN109492665A (zh) | 水稻生育期的检测方法、装置及电子设备 | |
| CN107832849B (zh) | 一种基于知识库的电力线廊道三维信息提取方法及装置 | |
| CN109871829A (zh) | 一种基于深度学习的检测模型训练方法和装置 | |
| CN112464766A (zh) | 一种农田地头自动识别方法及系统 | |
| CN113780200A (zh) | 基于计算机视觉的路面多种病害面积检测及定位方法 | |
| CN113344956A (zh) | 基于无人机航摄三维建模的地物轮廓提取分类方法 | |
| CN104182757A (zh) | 获取被测目标实际覆盖面积的方法及装置 | |
| CN112819066A (zh) | 一种Res-UNet单木树种分类技术 | |
| CN112580511A (zh) | 道路面积率的估算方法、装置、设备及存储介质 | |
| CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
| CN112215293A (zh) | 植物病虫害识别方法、装置及计算机设备 | |
| CN115886792A (zh) | 一种牲畜智能体尺测定方法、系统及装置 | |
| Rahmat et al. | Android-based automatic detection and measurement system of highway billboard for tax calculation in Indonesia | |
| CN117765186B (zh) | 一种环境空间的重构方法、装置、设备和存储介质 | |
| CN112966698A (zh) | 基于轻量化卷积网络的淡水鱼图像实时识别方法 | |
| CN117078821A (zh) | 基于深度学习的植物快速三维渲染与表征提取工具 | |
| CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 | |
| CN116152654A (zh) | 基于卷积神经网络的土体含水率识别方法及装置 | |
| CN114897790A (zh) | 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 | |
| CN114299029A (zh) | 地面点云的确定方法、装置、存储介质及电子装置 | |
| CN112651987A (zh) | 一种样方草地覆盖度计算方法及系统 | |
| CN112580510A (zh) | 可渗透地面面积率的估算方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |