CN114283237B - 一种无人机仿真视频生成方法 - Google Patents
一种无人机仿真视频生成方法 Download PDFInfo
- Publication number
- CN114283237B CN114283237B CN202111559647.4A CN202111559647A CN114283237B CN 114283237 B CN114283237 B CN 114283237B CN 202111559647 A CN202111559647 A CN 202111559647A CN 114283237 B CN114283237 B CN 114283237B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- data set
- action
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 6
- 230000019771 cognition Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明属于无人机视觉技术领域，提供一种无人机仿真视频生成方法。利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据；并通过添加和更换背景语义信息生成用于研究无人机状态的目标检测仿真训练数据集；通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集；通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集，用于测试整个行为认知算法框架的完整性，并提供反馈信息。本发明能够生成各种复杂环境下的飞行视频，应用在无人机群体智能领域中，降低训练无人机智能视觉模型的难度。
Description
技术领域
本发明属于空对空场景下计算机视觉和无人机视觉技术领域，具体涉及一种无人机仿真视频生成方法。
背景技术
随着计算机视觉技术的不断发展，许多需要大量人力资源的工作开始由智能机器代替，从人脸支付到视频监控，从自动驾驶到航天飞行，人类社会已经发生了革命性的变化。空对空场景下的无人机视觉是计算机视觉的拓展，其在无人机上搭载计算芯片和图像传感器，对从真实世界获取的其他无人机数字图像信号进行感知与理解，以实现无人机群体智能。在无人机视觉中，丰富的、精准的无人机飞行视频数据是研究无人机运动的保障和基石，其为分析无人机的运动范式和行为语义提供了大量可挖掘的隐藏模式信息。此外，视频数据量的丰富程度直接决定了最终算法模型性能的好坏，是否意味着算法模型具备一定能力的泛化性和鲁棒性。
无人机仿真视频生成是计算机视觉研究领域的一个重要组成部分，是计算机视觉与计算机图形学等多种技术的集合，是一门富有挑战性的基础性研究领域。它在视频监控、智能人机交互、无人机巡航等领域都起到了十分重要的应用。无人机的仿真数据生成，主要是模拟实际场景中可能出现的情况，在计算设备上通过三维模型生成用于目标任务的数据，并通过计算机视觉技术增强生成的数据。然而，目前还没有一项专门用于无人机仿真视频生成的技术。无人机仿真视频生成主要面临着难以有效表示无人机复杂的动作行为、频繁的视角变换和有效的像素比例的困难。此外，背景环境的多样性也是无人机仿真视频生成的所面临的挑战。因此，本发明旨在通过模拟无人机不同尺度下的动作行为和视角变化构造无人机模板，并通过计算机视觉技术增强生成具有各种复杂背景的无人机仿真视频。
发明内容
本发明的目的是提供一种无人机仿真视频生成方法，解决目前空对空无人机视频数据集构造效率低的问题。
为达到上述目的解决上述技术问题，本发明的技术方案如下，包括如下步骤：
步骤1、利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据集；
其中，连续动作模板是无人机三维模型到二维平面的映射，包含四个设置：无人机自身动作设置，无人机像素尺度设置，无人机垂直观察角度设置和无人机水平观察角度设置；
无人机自身动作设置是描述无人机的一个完整动作序列；
无人机像素尺度设置是描述无人机在不同像素感知下尺度的大小；
无人机垂直观察角度和水平观察角度是无人机在不同视角下观察的角度；
步骤2、利用多尺度多角度无人机模板数据集，通过添加和更换背景语义信息生成用于研究无人机状态的目标检测仿真训练数据集；
2.1收集拥有丰富语义信息的真实背景图像；
2.2将不同尺度和不同角度的无人机目标作为前景信息融入到背景图像上；
步骤3、利用多尺度多角度无人机模板数据集，通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集；
步骤4、利用多尺度多角度无人机模板数据集，通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集，用于测试整个行为认知算法框架的完整性，并提供反馈信息，包括无人机的检测、跟踪和动作识别过程。
进一步，真实背景图像覆盖了不同分辨率的各种真实环境，包含城市、森林、草原、戈壁、平原、天空。
进一步，前景信息融入到背景图像，采用随机位置选取的方式，将生成的飞机模板添加在收集的真实图像上，以充分模拟真实情况下可能遇到的飞行环境。
本发明的有效收益是：
1、本发明生成大量用于无人机目标检测器和动作识别器训练的数据，并生成实时的无人机飞行视频数据，用于各类无人机视觉任务。
2、作为一种对空对空场景下无人机飞行的仿真数据，本发明能够生成各种复杂环境下的飞行视频，构建的各类数据集大小可以根据各自的任务需求而定，对机器硬件要求不高，应用在无人机群体智能领域中，降低训练无人机智能视觉模型的难度。
附图说明
图1为本发明无人机仿真视频生成的总体流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细的解释和说明。
在空对空场景下，由于无人机较快的飞行速度和复杂的天气变化，很难通过一架搭载图像传感器的无人机收集目标无人机的有效飞行视频；此外，无人机从地面视角观察目标小，很难采集有效飞行视频数据。这对研究无人机的飞行状态和姿态有较大影响。本发明利用三维无人机模型生成无人机的各种动作模板，并通过计算机视觉技术增强无人机动作模板，最终生成用于无人机视觉的飞行视频数据。
本发明的具体实现过程如图1所示，包括如下步骤：
步骤1、利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据集；
无人机3D模型到2D平面的映射包含四个设置：无人机自身动作设置，无人机像素尺度设置，无人机垂直观察角度设置和无人机水平观察角度设置。
无人机自身动作设置是描述无人机的一个完整动作序列。
无人机像素尺度设置是描述无人机在不同像素感知下尺度的大小。
无人机垂直观察角度和水平观察角度是无人机在不同视角下观察的角度。
多尺度多角度模板是从3D模型中映射而来的2D透明背景图片，旨在模拟无人机飞行过程中的各种行为和尺度，其能够添加不同类型的背景图片用于构建无人机检测、跟踪和识别任务的仿真数据集，能够充分覆盖无人机动作和外观语义信息。
步骤2、利用多尺度多角度无人机模板数据集，通过添加和更换背景语义信息生成用于研究无人机状态的目标检测仿真训练数据集。
目标检测仿真训练数据集的构建过程主要分为两步：第一步，收集拥有丰富语义信息的真实背景图像。第二步，将不同尺度和不同角度的无人机目标作为前景信息融入到背景图像上。
收集的真实背景图像覆盖了不同分辨率的各种真实环境，包含城市、森林、草原、戈壁、平原、天空等。此外，对于前景目标和背景图像的融合，以随机位置选取的方式，将生成的飞机模板添加在收集的真实图像上，充分模拟了在真实情况下可能遇到的飞行环境。
目标检测训练数据集主要被用于训练无人机检测器，学习复杂多变的无人机外观语义信息和背景语义信息，使得检测器能够在复杂的情况下快速准确定位目标。
步骤3、利用多尺度多角度无人机模板数据集，通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集。
动作识别训练数据集旨在构建无人机动作行为序列，然后利用深度学习模型提取行为序列的时空语义信息。因此动作识别数据集的样本是一个完整的视频动作序列。为了生成这种样本，在多尺度多角度无人机模板数据集上，直接对动作序列的的背景区域添加时空连续背景信息。通过以上方式生成的动作识别训练数据集被用于学习一个动作语义模型，其能够提取无人机的动作语义信息并进行语义判断。
步骤4、利用多尺度多角度无人机模板数据集，通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集。行为认知视频数据集被用来测试整个行为认知算法框架的完整性，并提供反馈信息，包括无人机的检测、跟踪和动作识别过程。
实施例1
步骤1、利用3D模型将无人机动作行为根据旋转度数分解为31个动作帧，每度代表一个视频帧，对无人机的自身行为动作进行设置。其次，将无人机的像素大小以10像素为间隔，下限设置为30×30像素，上限设置为100×100像素，总共得到8种类型的像素尺度。然后，将无人机的垂直观察角度分为俯视25度，俯视30度和俯视35度。最后，将无人机的水平观察角度以15度为间隔分为7组，最小为左视角45度，最大为右视角45度。通过以上四个对无人机3D模型的设置，获取无人机在不同尺度和角度下的动作序列，将得到的模板图片均设置为为透明背景，称为多尺度多角度无人机模板。
步骤2、收集拥有丰富语义信息的真实背景图像，从多尺度多角度无人机模板数据集中随机选取1个模板，并在背景图像中随机选取1张图像。首先，随机选取背景图像上1点，作为无人机模板的左上角坐标，使无人机模板的坐标系转化为背景图像所在的坐标系。然后，判断3个无人机的坐标区域是否重叠或者超出背景图像的边界。最后，对没有重叠和超出边界的区域变换成无人机模板像素。以此将不同尺度和不同角度的无人机作为前景信息融入到背景图像上，构建无人机目标检测训练数据集。
步骤3、从多尺度多角度模板中选取31帧动作序列，并从收集到的真实背景图像中抽取1张图片。然后，在抽取的背景图像中裁剪出31块与无人机模板大小一致的区域，为了模拟动作序列的时间运动性质，每一个区域之间的存在一定的像素偏移，即相对的背景的运动代表着前景运动。最后，将前景与背景融合生成无人机动作识别训练数据集。
步骤4、收集一定帧数的视频作为无人机行为认知视频数据集的背景信息。对于105帧的视频样本，设置为一个0001010的编码表示，每一个编码代表无人机的15帧动作。0编码代表着无人机15帧的动作角度持续为0，即飞机不进行机翼动作行为。1编码代表着无人机15帧的动作角度为机翼动作左旋转或者右旋转。由于无人机左旋转或右旋转共31帧动作，比如左旋转是0度到-15度再到0度，因此需要在31帧动作中随机抽取15帧作为一个动作序列。此外，无人机的机翼的左右旋转动作行为属于交替进行，即左旋转之后只能进行右旋转。最后，将前景与背景融合图像按顺序排列生成无人机行为认知视频数据集。
需要说明的是，以上仅为本发明实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。
Claims (3)
1.一种无人机仿真视频生成方法，其特征在于，包括如下步骤：
步骤1、利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据集；
所述连续动作模板是无人机三维模型到二维平面的映射，包含四个设置：无人机自身动作设置，无人机像素尺度设置，无人机垂直观察角度设置和无人机水平观察角度设置；
所述无人机自身动作设置是描述无人机的一个完整动作序列；
所述无人机像素尺度设置是描述无人机在不同像素感知下尺度的大小；
所述无人机垂直观察角度和水平观察角度是无人机在不同视角下观察的角度；
步骤2、利用多尺度多角度无人机模板数据集，通过添加和更换背景语义信息生成用于研究无人机状态的目标检测仿真训练数据集；
2.1收集拥有丰富语义信息的真实背景图像；
2.2将不同尺度和不同角度的无人机目标作为前景信息融入到背景图像上；
步骤3、利用多尺度多角度无人机模板数据集，通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集；
步骤4、利用多尺度多角度无人机模板数据集，通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集，用于测试整个行为认知算法框架的完整性，并提供反馈信息，包括无人机的检测、跟踪和动作识别过程。
2.根据权利要求1所述的一种无人机仿真视频生成方法，其特征在于，所述真实背景图像覆盖了不同分辨率的各种真实环境，包含城市、森林、草原、戈壁、平原、天空。
3.根据权利要求1所述的一种无人机仿真视频生成方法，其特征在于，所述前景信息融入到背景图像，采用随机位置选取的方式，将生成的飞机模板添加在收集的真实图像上，以充分模拟真实情况下可能遇到的飞行环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111559647.4A CN114283237B (zh) | 2021-12-20 | 2021-12-20 | 一种无人机仿真视频生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111559647.4A CN114283237B (zh) | 2021-12-20 | 2021-12-20 | 一种无人机仿真视频生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114283237A CN114283237A (zh) | 2022-04-05 |
| CN114283237B true CN114283237B (zh) | 2024-05-10 |
Family
ID=80873394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111559647.4A Active CN114283237B (zh) | 2021-12-20 | 2021-12-20 | 一种无人机仿真视频生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283237B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423729A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法 |
| CN109918988A (zh) * | 2018-12-30 | 2019-06-21 | 中国科学院软件研究所 | 一种结合成像仿真技术的可移植的无人机检测系统 |
| CN112767297A (zh) * | 2021-02-05 | 2021-05-07 | 中国人民解放军国防科技大学 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
| WO2021142902A1 (zh) * | 2020-01-17 | 2021-07-22 | 五邑大学 | 基于DANet的无人机海岸线漂浮垃圾巡检系统 |
-
2021
- 2021-12-20 CN CN202111559647.4A patent/CN114283237B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423729A (zh) * | 2017-09-20 | 2017-12-01 | 湖南师范大学 | 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法 |
| CN109918988A (zh) * | 2018-12-30 | 2019-06-21 | 中国科学院软件研究所 | 一种结合成像仿真技术的可移植的无人机检测系统 |
| WO2021142902A1 (zh) * | 2020-01-17 | 2021-07-22 | 五邑大学 | 基于DANet的无人机海岸线漂浮垃圾巡检系统 |
| CN112767297A (zh) * | 2021-02-05 | 2021-05-07 | 中国人民解放军国防科技大学 | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度神经网络的低空弱小无人机目标检测研究;王靖宇;王霰禹;张科;蔡宜伦;刘越;;西北工业大学学报;20180415(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114283237A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Power line-guided automatic electric transmission line inspection system | |
| CN103530619B (zh) | 基于rgb-d数据构成的少量训练样本的手势识别方法 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN102053563A (zh) | 模拟机飞行训练数据采集及质量评估系统 | |
| Li et al. | Paralleleye pipeline: An effective method to synthesize images for improving the visual intelligence of intelligent vehicles | |
| Tong et al. | CSPC-dataset: New LiDAR point cloud dataset and benchmark for large-scale scene semantic segmentation | |
| CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
| CN101572770B (zh) | 一种可用于实时监控的运动检测方法与装置 | |
| Wen et al. | Single-rotor UAV flow field simulation using generative adversarial networks | |
| Yu et al. | Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management | |
| Liu et al. | Software-defined active LiDARs for autonomous driving: A parallel intelligence-based adaptive model | |
| Florea et al. | Wilduav: Monocular uav dataset for depth estimation tasks | |
| CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
| Zhu et al. | Large-scale architectural asset extraction from panoramic imagery | |
| CN114283237B (zh) | 一种无人机仿真视频生成方法 | |
| CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| CN111611869A (zh) | 一种基于串行深度神经网络的端到端单目视觉避障方法 | |
| Mittal et al. | A simulated dataset in aerial images using Simulink for object detection and recognition | |
| CN115984319A (zh) | 一种基于改进YoLov7和DeepSort的无人机目标跟踪方法 | |
| He et al. | Neural Radiance Field in Autonomous Driving: A Survey | |
| Lu et al. | M2fNet: Multi-Modal Forest Monitoring Network on Large-Scale Virtual Dataset | |
| Awed et al. | Towards realizing a visual UAV flying environment: A novel approach based aerial imagery to construct a dataset for visual servoing | |
| Zheng et al. | Air2Land: A deep learning dataset for unmanned aerial vehicle autolanding from air to land | |
| Zhang et al. | A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images | |
| XUHUI | A Design Method of Group Animation Fusion Motion Capturing Data Based on Virtual Reality Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |