CN117765050A - 建筑物纹理图像采集方法、装置、电子设备及存储介质 - Google Patents
建筑物纹理图像采集方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117765050A CN117765050A CN202211122496.0A CN202211122496A CN117765050A CN 117765050 A CN117765050 A CN 117765050A CN 202211122496 A CN202211122496 A CN 202211122496A CN 117765050 A CN117765050 A CN 117765050A
- Authority
- CN
- China
- Prior art keywords
- building
- image
- corner points
- initial
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 230000009466 transformation Effects 0.000 claims abstract description 46
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001788 irregular Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种建筑物纹理图像采集方法、装置、电子设备及存储介质，涉及了图像识别技术领域，解决了目前实景三维重建结果中的侧面纹理信息缺失严重的问题，方法包括：获取包含目标建筑物的建筑物视频，从建筑物视频中检测目标建筑物，生成建筑物检测框，根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点，对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像，本申请通过采集包含目标建筑物的建筑物视频，根据建筑物视频能够自动分析出目标建筑物的建筑物纹理图像，便于采集建筑物低楼层侧面纹理图像，采集成本低且时效高。
Description
技术领域
本申请涉及图像识别技术领域，具体涉及一种建筑物纹理图像采集方法、装置、电子设备及存储介质。
背景技术
实景三维关系着智慧交通、智能房管、管线规划、环保监测等诸多民生领域，对提高人民生活水平大有助益。推进大规模实景三维重建，尤其是城市、省甚至国家级别的三维模型重建，需要基于大视野的卫星数据三维重建。
目前的技术受限于当前商用卫星的分辨率(0.3米/像素至0.5米/像素)和有限视角，通过卫星取得的实景三维重建结果往往缺少侧面纹理信息，无法获得完整三维图像，因此通常是通过尽可能多角度的卫星影像去获取侧面纹理，但存在成本高，时效差，且由于卫星成像距离过远，低楼层侧面纹理缺失严重的问题。
发明内容
本申请提供一种便于采集建筑物低楼层侧面纹理图像，采集成本低且时效高的一种建筑物纹理图像采集方法、装置、电子设备及存储介质。
一方面，本申请提供一种建筑物纹理图像采集方法，包括：
获取包含目标建筑物的建筑物视频；
从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框；
根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点；
对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
在本申请一种可能的实现方式中，所述根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点，包括：
截取所述建筑物检测框中与所述目标建筑物对应区域的建筑物初始图像；
将所述建筑物初始图像从RGB颜色空间转换至Lab颜色空间；
获取Lab颜色空间的所述建筑物初始图像的L波段纹理信息；
根据所述建筑物初始图像的L波段纹理信息，确定所述建筑物初始图像中与所述目标建筑物对应的多个候选角点。
在本申请一种可能的实现方式中，所述根据所述建筑物初始图像的L波段纹理信息，确定所述建筑物初始图像中与所述目标建筑物对应的多个候选角点，包括：
根据所述L波段纹理信息，采用Harris角点检测器计算出所述建筑物初始图像中的多个初始角点；
根据所述多个初始角点与所述建筑物检测框的多个顶点之间的欧拉距离，过滤所述建筑物初始图像中的不处于所述建筑物检测框的多个顶点附近的多个所述初始角点，将所述建筑物初始图像中的剩余的多个所述初始角点作为多个所述候选角点。
在本申请一种可能的实现方式中，所述多个候选角点包括处于水平方向上的多个水平角点和处于垂直方向上的多个垂直角点，所述对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像，包括：
计算多个所述水平角点之间的最大水平距离和多个所述垂直角点之间的最大垂直距离；
根据所述最大水平距离和所述最大垂直距离，计算仿射变换矩阵；
根据所述多个候选角点和所述仿射变换矩阵，对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
在本申请一种可能的实现方式中，所述从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框，包括：
将所述建筑物视频作为输入，通过预设的建筑物检测模型进行所述目标建筑物检测，得到包含所述目标建筑物的图像帧和所述建筑物检测框。
在本申请一种可能的实现方式中，在所述获取包含目标建筑物的建筑物视频之前，所述方法还包括：
获取建筑物样本视频的多个样本图像帧；
对所述样本图像帧进行预处理，得到预处理样本图像帧；
将所述预处理样本图像帧作为输入，将所述包含有样本建筑物检测框的所述预处理样本图像帧作为输出，进行模型训练，得到所述建筑物检测模型。
在本申请一种可能的实现方式中，所述对所述样本图像帧进行预处理，得到预处理样本图像帧，包括：
对所述样本图像帧进行随机裁剪；
将随机裁剪后的所述样本图像帧作为所述预处理样本图像帧。
在本申请一种可能的实现方式中，所述对所述样本图像帧进行预处理，得到预处理样本图像帧，包括：
随机将多个所述样本图像帧中的任意四张所述样本图像帧拼接在一张马赛克图像中，得到拼接后得到的拼接图像；
将所述拼接图像作为所述预处理样本图像帧。
另一方面，本申请提供一种建筑物纹理图像采集装置，所述装置包括：
获取模块，用于获取包含目标建筑物的建筑物视频；
检测模块，用于从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框；
角点确定模块，用于根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点；
仿射变换模块，用于对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的建筑物纹理图像采集方法中的步骤。
本申请通过获取包含目标建筑物的建筑物视频，从建筑物视频中检测目标建筑物，生成建筑物检测框；根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点，对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像，即本申请通过采集包含目标建筑物的建筑物视频，根据建筑物视频能够自动分析出目标建筑物的建筑物纹理图像，便于采集建筑物低楼层侧面纹理图像，采集成本低且时效高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的建筑物纹理图像采集系统的场景示意图；
图2是本申请实施例中提供的建筑物纹理图像采集方法的一个实施例流程示意图；
图3是本申请实施例中提供的建筑物纹理图像采集装置的一个实施例结构示意图；
图4是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种建筑物纹理图像采集方法、装置、电子设备及存储介质，以下分别进行详细说明。
本申请实施例建筑物纹理图像采集方法的执行主体可以为本申请实施例提供的建筑物纹理图像采集装置，或者集成了该建筑物纹理图像采集装置的服务器设备、物理主机或者用户设备(User Equipment，UE)等不同类型的电子设备，其中，建筑物纹理图像采集装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。
该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。
如图1所示，图1是本申请实施例所提供的建筑物纹理图像采集系统的场景示意图。其中，该建筑物纹理图像采集系统可以包括用于拍摄目标建筑物的视频采集设备和用于完成建筑物纹理图像采集方法的电子设备100，电子设备100中集成有建筑物纹理图像采集装置。例如，该电子设备可以获取包含目标建筑物的建筑物视频；从建筑物视频中检测目标建筑物，生成建筑物检测框；根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点；对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
另外，如图1所示，该建筑物纹理图像采集系统还可以包括存储器200，用于存储数据，如存储目标建筑物的视频数据、图像数据以及用于拍摄目标建筑物的视频的视频采集设备的设备数据等。
需要说明的是，图1所示的建筑物纹理图像采集系统的场景示意图仅仅是一个示例，本申请实施例描述的建筑物纹理图像采集系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着建筑物纹理图像采集系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
下面，开始介绍本申请实施例提供的建筑物纹理图像采集方法，本申请实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该建筑物纹理图像采集方法包括：
包含目标建筑物的建筑物视频；从建筑物视频中检测目标建筑物，生成建筑物检测框；根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点；对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
本申请通过采集包含目标建筑物的建筑物视频，根据建筑物视频能够自动分析出目标建筑物的建筑物纹理图像，便于采集建筑物低楼层侧面纹理图像，采集成本低且时效高。
如图2所示，为本申请实施例中建筑物纹理图像采集方法的一个实施例流程示意图，图2是本申请实施例提供的建筑物纹理图像采集方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该建筑物纹理图像采集方法具体包括步骤201～204：
201、获取包含目标建筑物的建筑物视频。
目标建筑物可以是街景中的任意需要进行建筑物纹理图像采集的建筑物，建筑物视频为通过该视频采集设备在目标建筑物外部从任意角度拍摄得到的视频，应用过程中，视频采集设备可以是布置于目标建筑物附近的固定拍摄设备，例如雷视一体机和摄像头等，视频采集设备还可以是移动拍摄设备，例如车载拍摄设备等，本实施例对此不做具体限定。
因此，本申请能够实时获取建筑物的建筑物视频，能够从低视角获取建筑物的侧面图像，获取的图像更加清晰，更加接近建筑物真实的建筑纹理，同时采用上述的视频采集设备获取建筑物的建筑物视频时效更高，成本更低。
在本实施例中，视频采集设备采集到目标建筑物的建筑物视频后，与用于执行建筑物纹理图像采集方法的电子设备之间通过网络传输模块建立连接通道，将视频采集设备采集的建筑物视频或者图像以消息的形式发送至电子设备，实现目标建筑物的建筑物视频的获取，降低建筑物视频的数据传输成本，同时提高了传输效率。
在本实施例中，为了记录所拍摄的目标建筑物的地理信息和拍摄时间信息，视频采集设备向电子设备传送建筑物视频时，同时传送视频采集设备的时空地理信息，时空地理信息包括所述视频采集设备在采集所述目标建筑物的所述建筑物视频时的坐标位置信息、姿态角信息和时间戳信息等信息，本实施例对视频采集设备传送的数据内容不做具体限定。
202、从建筑物视频中检测目标建筑物，生成建筑物检测框。
由于视频采集设备采集建筑物视频时，会采集到除目标建筑物之外的其他元素的画面，为了避免建筑物视频中其他元素的画面对目标建筑物的建筑物纹理图像采集产生干扰，在对建筑物视频中的目标建筑物进行建筑物纹理图像采集前，需要从建筑物视频中确定目标建筑物的所在区域，即首先需要从建筑物视频中检测目标建筑物，生成建筑物检测框。
在本实施例中，从建筑物视频中检测目标建筑物，生成建筑物检测框，可以具体包括：
将建筑物视频作为输入，通过预设的建筑物检测模型进行目标建筑物检测，得到包含目标建筑物的图像帧和建筑物检测框。
即将建筑物视频的图像帧合集作为输入，通过训练完成的建筑物检测模型对建筑物视频进行目标建筑物检测，输出每个图像帧均具有目标建筑物和建筑物检测框的图像帧合集，后文对目标建筑物的建筑物纹理图像采集的分析，均是基于图像帧合集中具有目标建筑物和建筑物检测框的其中一帧图像帧进行；应用过程中，可以是基于图像帧合集中的任意一帧具有目标建筑物和建筑物检测框的图像帧进行分析，以采集得到一张目标建筑物的建筑物纹理图像，为了获取更加全面完整的建筑物纹理图像，也可以基于图像帧合集中的多帧图像帧或者每一帧图像帧进行分析，以对应采集得到多张目标建筑物的建筑物纹理图像，本实施例对此不做具体限定。
203、根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点。
在本实施例中，根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点，具体包括步骤301～304：
301、截取建筑物检测框中与目标建筑物对应区域的建筑物初始图像。
由于每帧图像帧中会包括目标建筑物和其他无关区域，为避免图像帧中的其他无关区域对目标建筑物的建筑物纹理图像采集产生干扰，在本实施例中，基于建筑物检测框所标注出的目标建筑物所在区域，截取该目标建筑物所在区域的图像，得到建筑物初始图像，后文基于建筑物初始图像进行目标建筑物的建筑物纹理图像采集。在本实施例中，建筑物初始图像的尺寸可以与建筑物检测框的尺寸相同，即截取到的建筑物初始图像的多个顶点分别与建筑物检测框的多个顶点一一对应，本实施例对此不做具体限定。
302、将建筑物初始图像从RGB颜色空间转换至Lab颜色空间。
在本实施例中，得到建筑物初始图像之后，为了将建筑物初始图像尽量还原清晰，以便于提取建筑物初始图像中与目标建筑物对应的多个候选角点，先采用opencv中的cvtColor函数将建筑物初始图像从RGB颜色空间转换至Lab颜色空间。
303、获取Lab颜色空间的建筑物初始图像的L波段纹理信息。
由于Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。在本实施例中，通过获取建筑物初始图像的L波段纹理信息，得到包含纯黑和纯白两种亮度通道的建筑物初始图像，以方便建筑物纹理图像采集。在本实施例中，可以采用灰度共生矩阵、灰度行程统计、灰度差分统计、局部灰度统计、半方差图、自相关函数等方法提取建筑物初始图像的L波段纹理信息，本实施例对此不做具体限定。
304、根据建筑物初始图像的L波段纹理信息，确定建筑物初始图像中与目标建筑物对应的多个候选角点。
在本实施例中，根据建筑物初始图像的L波段纹理信息，确定建筑物初始图像中与目标建筑物对应的多个候选角点，具体包括步骤3041～3042：
3041、根据L波段纹理信息，采用Harris角点检测器计算出建筑物初始图像中的多个初始角点。
具体的，采用Harris角点检测器在建筑物初始图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，滑动窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，则可以认为该滑动窗口中存在兴趣点，该兴趣点也称为角点；
初次采用Harris角点检测器在建筑物初始图像进行角点检测，会得到建筑物初始图像中的多个初始角点，但并非多个初始角点中的每个初始角点都能够帮助后续确定目标建筑物在建筑物初始图像中的边缘，因此，需要从多个初始角点中确定出所需要的候选角点。
3042、根据多个初始角点与建筑物检测框的多个顶点之间的欧拉距离，过滤建筑物初始图像中的不处于建筑物检测框的多个顶点附近的多个初始角点，将建筑物初始图像中的剩余的多个初始角点作为多个候选角点。
根据多个初始角点与建筑物检测框的多个顶点之间的欧拉距离，具体包括：
计算多个初始角点中每个初始角点与建筑物检测框的每个顶点之间的欧拉距离，即计算在特定的平面直角坐标系里，初始角点与建筑物检测框的顶点之间的距离，得到分别与多个初始角点对应的多组距离计算数值组，每组距离计算数值组均包括多个距离计算数值，每组距离计算数值组中的距离计算数值的数量与建筑物检测框的顶点数量相同；
过滤建筑物初始图像中的不处于建筑物检测框的多个顶点附近的多个初始角点，将建筑物初始图像中的剩余的多个初始角点作为多个候选角点，具体包括：
将计算得到的所有距离计算数值进行排序，可以升序也可以降序，不论升序或者降序，将距离计算数值中超过预设的距离阈值的初始角点过滤(即不处于建筑物检测框的多个顶点附近的多个初始角点)，将距离计算数值中小于预设的距离阈值的初始角点保留(即处于建筑物检测框的多个顶点附近的多个初始角点)，并将保留的初始角点作为多个候选角点。
204、对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
在确定多个候选角点之后，连接多个候选角点围成的图像即为目标建筑物的建筑物纹理图像，但该多个候选角点直接围成的图像在平面坐标系上通常为不规则图像，为了使多个候选角点连接后围成的图像更加贴合目标建筑物实际的建筑物纹理图像，需要对多个候选角点连接后得到的图像进行仿射变换，即对多个候选角点围成的不规则图像进行平移、旋转、尺度变换等，以对不规则图像进行图像纠正和纹理纠正，将不规则多边形图像转换为规则多边形图像。
在本实施例中，多个候选角点包括处于水平方向上的多个水平角点和处于垂直方向上的多个垂直角点，水平方向即为平面坐标系中的水平轴方向，垂直方向即为平面坐标系中的垂直轴方向；对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像，具体包括：
计算多个水平角点之间的最大水平距离和多个垂直角点之间的最大垂直距离；根据最大水平距离和最大垂直距离，计算仿射变换矩阵；根据多个候选角点和仿射变换矩阵，对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
在本实施例中，将最大水平距离作为不规则多边形图像仿射变换后的矩形宽度值，将最大垂直距离作为不规则多边形图像仿射变换后的矩形高度值；
仿射变换可以用以下公式表示：
其中，表示仿射变换矩阵，(tx，ty)表示平移量，参数ai(i＝1,2,3,4)反应了不规则多边形图像仿射变换过程中的变化，根据不规则多边形图像的最大水平距离和最大垂直距离，计算出参数tx，ty和ai，即得到与该不规则多边形图像对应的仿射变换矩阵；
示例性的，多个候选角点中具有最大水平距离所对应的两个水平角点的坐标为A(x1，y1)和B(x2，y2)，多个候选角点中具有最大垂直距离所对应的两个水平角点的坐标为C(x3，y3)和D(x4，y4)，分别将A(x1，y1)、B(x2，y2)、C(x3，y3)、D(x4，y4)代入式(1)进行计算，计算出参数tx，ty和ai，即得到与该不规则多边形图像对应的仿射变换矩阵；
再根据计算得到的仿射变换矩阵、多个候选角点围成的不规则多边形的坐标原点以及变换后的规则多边形的坐标点，对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
在本申请的另一个实施例中，在获取包含目标建筑物的建筑物视频之前，方法还包括以下步骤401～403：
401、获取建筑物样本视频的多个样本图像帧。
训练之前，通过视频采集设备收集多个不同的建筑物的建筑物样本视频，将每个建筑物样本视频的多个样本图像帧进行数据标注，示例性的，对具有对应建筑物图像的样本图像帧标注“有建筑物图像”，对不具有对应建筑物图像的样本图像帧标注“没有建筑物图像”，将标注后的多个样本图像帧作为模型的训练数据，并存储至用于存储样本图像帧的建筑物样本图像库中。
402、对样本图像帧进行预处理，得到预处理样本图像帧。
训练过程中，为了提高模型的建模能力，可以采用不同的数据增强方式对输入的样本图像帧进行预处理，得到预处理样本图像帧，对样本图像帧进行预处理具体可以包括以下但不限于以下几种方式：
(1)对样本图像帧进行随机裁剪(Random Crop)；将随机裁剪后的样本图像帧作为预处理样本图像帧；具体可以是，对目标物外表面预处理样本图像进行随机0.6～1.0的比率大小的区域进行裁剪，将裁剪后的预处理样本图像帧作为待训练模型的输入；
(2)采用马赛克Mosaic实现数据增强，随机将多个样本图像帧中的任意四张样本图像帧拼接在一张马赛克图像中，得到拼接后得到的拼接图像；将拼接图像作为预处理样本图像帧。
403、将预处理样本图像帧作为输入，将包含有样本建筑物检测框的预处理样本图像帧作为输出，进行模型训练，得到建筑物检测模型。
在本实施例中，可以采用efficientnet作为主干网络，并采用yolox或者anchorfree目标检测模型作为待训练模型进行训练，得到建筑物检测模型，可以提高建筑物检测模型的建模能力。
训练过程中，为进一步增强提高建筑物检测模型的建模能力，可以在网络中嵌入Dropblock层，即主干网络包括多个内卷层、池化层和Dropblock层，在Dropblock层，丢弃特征图中K×K×R区域大小的邻域空间像素点，丢弃概率为p，示例性的，Dropblock层设置丢弃特征图中的区域大小为3×3×3的邻域空间像素点，丢弃概率设置为0.1。
在本实施例中，采用多尺度训练，能够进一步减少模型过拟合风险，增强建筑物检测模型的鲁棒性。
在本申请的另一个实施例中，在对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像之后，方法还包括：
将建筑物纹理图像存储至建筑物样本图像库中。
建筑物样本图像库中的图像数据可用于训练建筑物检测模型，在对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像之后，将该建筑物纹理图像重新作为建筑物纹理样本图像存储至建筑物样本图像库中，实现了持续积累模型训练数据，以便于持续迭代建筑物检测模型。
在本申请的另一个实施例中，将多个待分析样本图像输入至待训练模型进行训练，得到建筑物纹理图像采集模型，包括：
为了更好实施本申请实施例中建筑物纹理图像采集方法，在建筑物纹理图像采集方法基础之上，本申请实施例中还提供一种建筑物纹理图像采集装置500，如图3所示，所述建筑物纹理图像采集装置500包括：
获取模块501，用于获取包含目标建筑物的建筑物视频；
检测模块502，用于从建筑物视频中检测目标建筑物，生成建筑物检测框；
角点确定模块503，用于根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点；
仿射变换模块504，用于对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
角点确定模块503还具体为：
用于截取建筑物检测框中与目标建筑物对应区域的建筑物初始图像；
用于将建筑物初始图像从RGB颜色空间转换至Lab颜色空间；
用于获取Lab颜色空间的建筑物初始图像的L波段纹理信息；
用于根据建筑物初始图像的L波段纹理信息，确定建筑物初始图像中与目标建筑物对应的多个候选角点。
角点确定模块503还具体为：
用于根据L波段纹理信息，采用Harris角点检测器计算出建筑物初始图像中的多个初始角点；
用于根据多个初始角点与建筑物检测框的多个顶点之间的欧拉距离，过滤建筑物初始图像中的不处于建筑物检测框的多个顶点附近的多个初始角点，将建筑物初始图像中的剩余的多个初始角点作为多个候选角点。
用于多个候选角点包括处于水平方向上的多个水平角点和处于垂直方向上的多个垂直角点，
仿射变换模块504还具体为：
用于计算多个水平角点之间的最大水平距离和多个垂直角点之间的最大垂直距离；
用于根据最大水平距离和最大垂直距离，计算仿射变换矩阵；
用于根据多个候选角点和仿射变换矩阵，对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
建筑物纹理图像采集装置还包括模型应用模块，模型应用模块具体为：
用于将建筑物视频作为输入，通过预设的建筑物检测模型进行目标建筑物检测，得到包含目标建筑物的图像帧和建筑物检测框。
建筑物纹理图像采集装置还包括模型训练模块，模型训练模块具体为：
用于获取建筑物样本视频的多个样本图像帧；
用于对样本图像帧进行预处理，得到预处理样本图像帧；
用于将预处理样本图像帧作为输入，将包含有样本建筑物检测框的预处理样本图像帧作为输出，进行模型训练，得到建筑物检测模型。
模型训练模块还具体为：
用于对样本图像帧进行随机裁剪；
用于将随机裁剪后的样本图像帧作为预处理样本图像帧。
模型训练模块还具体为：
用于随机将多个样本图像帧中的任意四张样本图像帧拼接在一张马赛克图像中，得到拼接后得到的拼接图像；
用于将拼接图像作为预处理样本图像帧。
在本申请的另一个实施例中，如图4所示，本申请还提供一种电子设备300，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图4中示出的该电子设备结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该电子设备的控制中心，利用各种接口和线路连接整个该电子设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行该电子设备的各种功能和处理数据，从而对该电子设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据该电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
该电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，该电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，该电子设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取包含目标建筑物的建筑物视频；
从建筑物视频中检测目标建筑物，生成建筑物检测框；
根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点；
对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
在本申请一些实施例中，本申请还提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的建筑物纹理图像采集方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
获取包含目标建筑物的建筑物视频；
从建筑物视频中检测目标建筑物，生成建筑物检测框；
根据建筑物检测框，确定与目标建筑物对应区域的建筑物初始图像和建筑物初始图像中与目标建筑物对应的多个候选角点；
对多个候选角点围成的多边形进行仿射变换，得到目标建筑物的建筑物纹理图像。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
以上对本申请实施例所提供的一种建筑物纹理图像采集方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种建筑物纹理图像采集方法，其特征在于，包括：
获取包含目标建筑物的建筑物视频；
从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框；
根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点；
对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
2.如权利要求1所述的建筑物纹理图像采集方法，其特征在于，所述根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点，包括：
截取所述建筑物检测框中与所述目标建筑物对应区域的建筑物初始图像；
将所述建筑物初始图像从RGB颜色空间转换至Lab颜色空间；
获取Lab颜色空间的所述建筑物初始图像的L波段纹理信息；
根据所述建筑物初始图像的L波段纹理信息，确定所述建筑物初始图像中与所述目标建筑物对应的多个候选角点。
3.如权利要求2所述的建筑物纹理图像采集方法，其特征在于，所述根据所述建筑物初始图像的L波段纹理信息，确定所述建筑物初始图像中与所述目标建筑物对应的多个候选角点，包括：
根据所述L波段纹理信息，采用Harris角点检测器计算出所述建筑物初始图像中的多个初始角点；
根据所述多个初始角点与所述建筑物检测框的多个顶点之间的欧拉距离，过滤所述建筑物初始图像中的不处于所述建筑物检测框的多个顶点附近的多个所述初始角点，将所述建筑物初始图像中的剩余的多个所述初始角点作为多个所述候选角点。
4.如权利要求3所述的建筑物纹理图像采集方法，其特征在于，所述多个候选角点包括处于水平方向上的多个水平角点和处于垂直方向上的多个垂直角点，所述对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像，包括：
计算多个所述水平角点之间的最大水平距离和多个所述垂直角点之间的最大垂直距离；
根据所述最大水平距离和所述最大垂直距离，计算仿射变换矩阵；
根据所述多个候选角点和所述仿射变换矩阵，对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
5.如权利要求1所述的建筑物纹理图像采集方法，其特征在于，所述从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框，包括：
将所述建筑物视频作为输入，通过预设的建筑物检测模型进行所述目标建筑物检测，得到包含所述目标建筑物的图像帧和所述建筑物检测框。
6.如权利要求5所述的建筑物纹理图像采集方法，其特征在于，在所述获取包含目标建筑物的建筑物视频之前，所述方法还包括：
获取建筑物样本视频的多个样本图像帧；
对所述样本图像帧进行预处理，得到预处理样本图像帧；
将所述预处理样本图像帧作为输入，将包含有样本建筑物检测框的所述预处理样本图像帧作为输出，进行模型训练，得到所述建筑物检测模型。
7.如权利要求6所述的建筑物纹理图像采集方法，其特征在于，所述对所述样本图像帧进行预处理，得到预处理样本图像帧，包括：
对所述样本图像帧进行随机裁剪；
将随机裁剪后的所述样本图像帧作为所述预处理样本图像帧。
8.如权利要求6所述的建筑物纹理图像采集方法，其特征在于，所述对所述样本图像帧进行预处理，得到预处理样本图像帧，包括：
随机将多个所述样本图像帧中的任意四张所述样本图像帧拼接在一张马赛克图像中，得到拼接后得到的拼接图像；
将所述拼接图像作为所述预处理样本图像帧。
9.一种建筑物纹理图像采集装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标建筑物的建筑物视频；
检测模块，用于从所述建筑物视频中检测所述目标建筑物，生成建筑物检测框；
角点确定模块，用于根据所述建筑物检测框，确定与所述目标建筑物对应区域的建筑物初始图像和所述建筑物初始图像中与所述目标建筑物对应的多个候选角点；
仿射变换模块，用于对所述多个候选角点围成的多边形进行仿射变换，得到所述目标建筑物的建筑物纹理图像。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的建筑物纹理图像采集方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211122496.0A CN117765050A (zh) | 2022-09-15 | 2022-09-15 | 建筑物纹理图像采集方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211122496.0A CN117765050A (zh) | 2022-09-15 | 2022-09-15 | 建筑物纹理图像采集方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117765050A true CN117765050A (zh) | 2024-03-26 |
Family
ID=90310917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211122496.0A Pending CN117765050A (zh) | 2022-09-15 | 2022-09-15 | 建筑物纹理图像采集方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765050A (zh) |
-
2022
- 2022-09-15 CN CN202211122496.0A patent/CN117765050A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Image based localization in indoor environments | |
| WO2018107910A1 (zh) | 一种全景视频融合方法及装置 | |
| CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| KR20190128686A (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| US20090213224A1 (en) | Fast Imaging System Calibration | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| CN111629146B (zh) | 拍摄参数的调整方法、调整装置、调整设备及存储介质 | |
| CN112991218B (zh) | 图像处理的方法、装置、设备以及存储介质 | |
| CN113688820B (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN113326836B (zh) | 车牌识别方法、装置、服务器及存储介质 | |
| CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
| JP2011039596A (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
| CN117711130A (zh) | 基于3d建模的厂区安全生产监管方法及系统、电子设备 | |
| CN108234932B (zh) | 视频监控图像中的人员形态提取方法及装置 | |
| Wang et al. | Automatic measurement of grid structures displacement through fusion of panoramic camera and laser scanning data | |
| CN117765050A (zh) | 建筑物纹理图像采集方法、装置、电子设备及存储介质 | |
| WO2022011560A1 (zh) | 图像裁剪方法与装置、电子设备及存储介质 | |
| CN115690573A (zh) | 基站验收方法、装置、设备及存储介质 | |
| CN105930813A (zh) | 一种在任意自然场景下检测行文本的方法 | |
| CN109064555B (zh) | 3d建模的方法、装置和存储介质 | |
| CN117764897A (zh) | 目标物裂缝检测方法、装置、电子设备及存储介质 | |
| CN112465850A (zh) | 外围边界建模方法、智能监控方法及装置 | |
| CN117764896A (zh) | 建筑物完整性检测方法、装置、电子设备及存储介质 | |
| Shao et al. | Digital image aesthetic composition optimization based on perspective tilt correction | |
| CN110740256A (zh) | 门铃摄像头协作方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |