CN111127324A - 一种针对运动无人机群的超分辨成像方法和装置 - Google Patents
一种针对运动无人机群的超分辨成像方法和装置 Download PDFInfo
- Publication number
- CN111127324A CN111127324A CN201911371512.8A CN201911371512A CN111127324A CN 111127324 A CN111127324 A CN 111127324A CN 201911371512 A CN201911371512 A CN 201911371512A CN 111127324 A CN111127324 A CN 111127324A
- Authority
- CN
- China
- Prior art keywords
- block
- sequence
- unmanned aerial
- aerial vehicle
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 46
- 230000004927 fusion Effects 0.000 claims description 28
- 230000000903 blocking effect Effects 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种针对运动无人机群的超分辨成像方法和装置，通过采集一组原始图像序列进行分块处理再拼接成一张结果图像，由一组低分辨率大视场的图像序列处理得到一张高分辨率大视场的结果图像。可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果，且操作过程简便，对硬件要求低，可以安装在小型无人机上面进行操作。
Description
技术领域
本发明涉及针对动态目标跟踪的超分辨成像领域，特别是涉及一种针对运动无人机群的超分辨成像方法和装置。
背景技术
在传统成像过程中，分辨率和视场是一对矛盾的属性。在成像中，光学倍率的计算方法是图像传感器CCD相机元素尺寸比视野尺寸。
当我们需要拍摄大视野的场景时，光学倍率就相应小；若我们想要大的光学倍率，能覆盖的视野就小。
对于需要极大视野的运动无人机群的成像，将会导致光学倍率越小，传统成像方法对无人机群的分辨率低。
发明内容
本发明提供一种针对运动无人机群的超分辨成像方法和装置，可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果。
本发明一方面提供一种针对运动无人机群的超分辨成像方法，包括：
获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；
采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；
对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；
根据各所述融合块，得到运动无人机群的超分辨成像。
可选的，所述获取运动无人机群的图像序列集，包括：
采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；
在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。
可选的，所述对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块，包括：
对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；
根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。
可选的，所述根据各所述融合块，得到运动无人机群的超分辨成像，包括：
根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。
本发明另一方面还提供一种运动无人机群的超分辨成像装置，用于执行上述运动无人机群的超分辨成像方法，该装置包括：
获取模块，用于获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；
分块模块，用于采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；
融合模块，用于对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；
拼接模块，用于根据各所述融合块，得到运动无人机群的超分辨成像。
可选的，所述获取模块具体用于，
采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；
在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。
可选的，所述融合模块具体用于，
对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；
根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。
可选的，所述拼接模块具体用于，
根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。
本发明提供的针对运动无人机群的超分辨成像方法，通过采集一组原始图像序列进行分块处理再拼接成一张结果图像，由一组低分辨率大视场的图像序列处理得到一张高分辨率大视场的结果图像。这种方法可以实现对运动无人机群的跟踪成像，成像结果同时具备大的观察视场和高的分辨率效果，且操作过程简便，对硬件要求低，可以安装在小型无人机上面进行操作。
附图说明
图1为无人机群图像采集过程的流程图；
图2为超分辨处理过程的流程图；
图3为图像采集中序列图像之中的一张原始低分辨率图像的示意图；
图4为图像采集中序列图像之中的一张原始低分辨率图像的分块图像和其超分辨结果小块图像的对比图的示意图；
图5为图像处理中拼接得到的大视场高分辨率的恢复图像的示意图。
具体实施方式
下面对本发明提供的针对运动无人机群的超分辨成像方法进行说明。
图1为无人机群图像采集过程的流程图，图2为超分辨处理过程的流程图；参照图1和图2，针对运动无人机群的超分辨成像方法，包括；
首先准备好可以在空中改变运动轨迹或者变换队形的无人机群。
然后在固定相机中进行观察和图像采集，采用预设帧率，如30帧/秒，对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集，帧率的选择对于不同速度的运动相应有差异。在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。图3 为图像采集中序列图像之中的一张原始低分辨率图像的示意图，如图3所示，完成图像采集后便得到一组大视场包含整个无人机群的低分辨率图像序列，并且相邻帧之间无人机只具有微小的位移。
最后进行图像处理部分。图4为图像采集中序列图像之中的一张原始低分辨率图像的分块图像和其超分辨结果小块图像的对比图的示意图。将得到的图像序列中的每一张图像进行同等分块，同一张图像中分块大小可以不同但应保证在序列图像的每一张中分块方式相同。分块的标准是使得每一小块不能包含两架及两架以上无人机的部分结构，如30﹡30像素的小块，如图4左侧所示，若满足分块标准，则进入图像处理流程；若不满足分块标准，则调整分块大小重新进行分块，直至每一小块不包含两架及两架以上无人机的部分结构。对于提取出每一小块的所有序列图像，先利用梯度位移估计算法对其相邻帧之间的位移进行估计，再利用序列中相邻帧的亚像素位移对该序列进行像素超分辨图像处理，由一个图像序列得到恢复的高分辨率小块，也称融合块，如图4右侧所示。
图5为图像处理中拼接得到的大视场高分辨率的恢复图像的示意图。运用图像拼接算法将所有的恢复得到的小块高分辨率图像拼接起来，得到完整的整幅高分辨率图像，如图5所示。
本发明提出了一种可以用于运动无人机群超分辨成像的方法，这种方法能够同时实现大视场和高分辨率的运动目标物体成像，并且便于操作、成像速度高。
根据本发明，在地面或者空中用固定相机观察并拍摄空中运动的无人机群，调焦使得视场可以覆盖整个无人机群，可以观察到无人机群在视场中变换队形和运动轨迹。通过连续快速拍摄一序列图像来记录无人机群在一段时间内的运动，其拍照帧率与无人机的运动速度匹配以得到具有亚像素位移的图像序列。在整个图像序列内无人机的位移非常不规则，但当我们把分块取得只覆盖单架无人机时，就可以在对应拍照帧率下得到具有亚像素位移的小块局部图像。利用梯度位移估计算法和像素超分辨算法可以得到高分辨率的小块恢复图像，将这些小块高分辨率图像拼接起来就可以得到大视场的高分辨率图像，从而同时实现大视场和高分辨率成像。
Claims (8)
1.一种针对运动无人机群的超分辨成像方法，其特征在于，包括：
获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；
采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；
对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；
根据各所述融合块，得到运动无人机群的超分辨成像。
2.根据权利要求1所述的方法，其特征在于，所述获取运动无人机群的图像序列集，包括：
采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；
在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。
3.根据权利要求1所述的方法，其特征在于，所述对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块，包括：
对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；
根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。
4.根据权利要求1所述的方法，其特征在于，所述根据各所述融合块，得到运动无人机群的超分辨成像，包括：
根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。
5.一种针对运动无人机群的超分辨成像装置，其特征在于，包括：
获取模块，用于获取运动无人机群的图像序列集，所述图像序列集的帧率满足相邻帧亚像素位移；
分块模块，用于采用相同的分块方式，将所述图像序列集中的每一帧图像进行分块，得到多个块的序列，每个所述块中仅包含一架无人机或一架无人机的部分结构；
融合模块，用于对每个块的序列进行位移估计，根据每个块的序列的位移估计对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块；
拼接模块，用于根据各所述融合块，得到运动无人机群的超分辨成像。
6.根据权利要求5所述的装置，其特征在于，所述获取模块具体用于，
采用预设帧率对运动无人机群进行拍摄，获取运动无人机群的初始图像序列集；
在初始图像序列集中的相邻帧图像之间的位移大于1个像素时，提高所述预设帧率，采用提高后的预设帧率获取新的初始图像序列集，直至初始图像序列集中的相邻帧图像满足相邻帧亚像素位移。
7.根据权利要求5所述的装置，其特征在于，所述融合模块具体用于，
对每个块的序列进行位移估计，得到每个块的序列中每两个相邻块之间的位移估计结果；
根据每个块的序列以及对应的位移估计结果，对每个块的序列进行像素超分辨图像处理，得到每个块的序列对应的融合块。
8.根据权利要求5所述的装置，其特征在于，所述拼接模块具体用于，
根据各所述融合块对应的块在图像序列集中的图像中的位置，采用图像拼接算法将各所述融合块进行拼接，得到运动无人机群的超分辨成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371512.8A CN111127324A (zh) | 2019-12-26 | 2019-12-26 | 一种针对运动无人机群的超分辨成像方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371512.8A CN111127324A (zh) | 2019-12-26 | 2019-12-26 | 一种针对运动无人机群的超分辨成像方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111127324A true CN111127324A (zh) | 2020-05-08 |
Family
ID=70503505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911371512.8A Pending CN111127324A (zh) | 2019-12-26 | 2019-12-26 | 一种针对运动无人机群的超分辨成像方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127324A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489173A (zh) * | 2013-09-23 | 2014-01-01 | 百年金海科技有限公司 | 一种视频图像超分辨率重建方法 |
| CN104111242A (zh) * | 2014-06-17 | 2014-10-22 | 费鹏 | 一种三维像素超分辨显微成像方法 |
| CN107133969A (zh) * | 2017-05-02 | 2017-09-05 | 中国人民解放军火箭军工程大学 | 一种基于背景反投影的移动平台运动目标检测方法 |
| CN110226184A (zh) * | 2016-12-27 | 2019-09-10 | 杰拉德·迪尔克·施密茨 | 用于机器感知的系统和方法 |
-
2019
- 2019-12-26 CN CN201911371512.8A patent/CN111127324A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489173A (zh) * | 2013-09-23 | 2014-01-01 | 百年金海科技有限公司 | 一种视频图像超分辨率重建方法 |
| CN104111242A (zh) * | 2014-06-17 | 2014-10-22 | 费鹏 | 一种三维像素超分辨显微成像方法 |
| CN110226184A (zh) * | 2016-12-27 | 2019-09-10 | 杰拉德·迪尔克·施密茨 | 用于机器感知的系统和方法 |
| CN107133969A (zh) * | 2017-05-02 | 2017-09-05 | 中国人民解放军火箭军工程大学 | 一种基于背景反投影的移动平台运动目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107659774B (zh) | 一种基于多尺度相机阵列的视频成像系统及视频处理方法 | |
| CN108769578B (zh) | 一种基于多路摄像头的实时全景成像系统及方法 | |
| CN109348119B (zh) | 一种全景监控系统 | |
| CN103024350A (zh) | 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统 | |
| EP2632160B1 (en) | Method and apparatus for image processing | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| EP3185174A1 (en) | Method for controlling movement of at least one movable object, computer readable storage medium and apparatus configured to control movement of at least one movable object | |
| CN110622499A (zh) | 图像生成装置、图像生成系统、图像生成方法及图像生成程序 | |
| US9418299B2 (en) | Surveillance process and apparatus | |
| CN103841297A (zh) | 一种适用于合成运动摄像载体的电子稳像方法 | |
| US20170206633A1 (en) | Method and apparatus for up-scaling an image | |
| JP2006287589A (ja) | 画像処理方法、画像処理装置 | |
| CN110278366B (zh) | 一种全景图像虚化方法、终端及计算机可读存储介质 | |
| CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
| CN109151334B (zh) | 一种无人车相机系统 | |
| CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
| US11044399B2 (en) | Video surveillance system | |
| US10943334B2 (en) | Method and system for representation of vehicle surroundings with reduced artefacts | |
| CN111127324A (zh) | 一种针对运动无人机群的超分辨成像方法和装置 | |
| CN108492254B (zh) | 图像采集系统及方法 | |
| CN108665410B (zh) | 一种图像超分辨率重构方法、装置及系统 | |
| CN110086994A (zh) | 一种基于相机阵列的全景光场的综合系统 | |
| CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
| CN110770649A (zh) | 用于贯穿场景跟踪一或多个物体的多相机系统 | |
| Kawasaki et al. | Super‐resolution omnidirectional camera images using spatio‐temporal analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |
|
| RJ01 | Rejection of invention patent application after publication |