CN110390636A - 无人机超、高清图片或视频数据的模拟变焦方法 - Google Patents

无人机超、高清图片或视频数据的模拟变焦方法 Download PDF

Info

Publication number
CN110390636A
CN110390636A CN201910529643.8A CN201910529643A CN110390636A CN 110390636 A CN110390636 A CN 110390636A CN 201910529643 A CN201910529643 A CN 201910529643A CN 110390636 A CN110390636 A CN 110390636A
Authority
CN
China
Prior art keywords
resolution
image
convolutional neural
neural networks
networks model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910529643.8A
Other languages
English (en)
Inventor
李百傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huiyuan Creative Technology Ltd
Original Assignee
Shenzhen Huiyuan Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiyuan Creative Technology Ltd filed Critical Shenzhen Huiyuan Creative Technology Ltd
Priority to CN201910529643.8A priority Critical patent/CN110390636A/zh
Publication of CN110390636A publication Critical patent/CN110390636A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人机超、高清图片或视频数据的模拟变焦方法，包括：发送端将无人机的图像采集单元获取的图像数据转制为低分辨率图像；发送端将低分辨率图像通过无线传输方式传输至接收端；接收端利用预设的图像重建流程将低分辨率图像重建为预设分辨率的结果图像；其中，图像重建流程包括：利用插值算法将低分辨率图像转制为大尺寸图像；将大尺寸图像输入训练好的卷积神经网络模型，卷积神经网络模型输出结果图像。本发明的无人机超、高清图片或视频数据的模拟变焦方法既能保证图片或者视频图片传输的距离，也能保证视频传输的流畅，同时用户可得到想要的高清图片或视频。

Description

无人机超、高清图片或视频数据的模拟变焦方法
技术领域
本发明涉及无人机图像、视频实时传输技术领域，特别是涉及一种无人机超、高清图片或视频数据的模拟变焦方法。
背景技术
随着科技的发展和进步，用户对于超高清图片或者视频的需求也越来越大，尤其在无人机图传这个领域，用户对于2K/4K甚至更高分辨率的图传方案的需求量正在显著上升，但由于高/超清图片或者视频数据量巨大，无线传输比较困难，传输距离也会大大降低，因此很多图传方案不得以将图片分辨率降低以获得远距离流畅传输，这样用户获得的只是一个低分辨率的图片或者视频，反而失去了高/超清相机存在的意义。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种既可保证传输效率与流畅度，又能保证用户可获得高质量高分辨率图片或视频的无人机超、高清图片或视频数据的模拟变焦方法。
技术方案：为实现上述目的，本发明的无人机超、高清图片或视频数据的模拟变焦方法，应用于数据传输系统，所述数据传输系统包括发送端与接收端，所述方法包括：
发送端将无人机的图像采集单元获取的图像数据转制为低分辨率图像；
发送端将所述低分辨率图像通过无线传输方式传输至接收端；
接收端利用预设的图像重建流程将所述低分辨率图像重建为预设分辨率的结果图像；
其中，所述图像重建流程包括：
利用插值算法将所述低分辨率图像转制为大尺寸图像；
将所述大尺寸图像输入训练好的卷积神经网络模型，所述卷积神经网络模型输出所述结果图像。
所述卷积神经网络模型有多个，每一卷积神经网络模型对应于一种预设分辨率的图像，所述利用插值算法将所述低分辨率图像转制为大尺寸图像之前还包括：
获取用户输入的放大倍率；
根据所述放大倍率得到目标分辨率；
所述将所述大尺寸图像输入训练好的卷积神经网络模型具体为：
将所述大尺寸图像输入所述目标分辨率对应的卷积神经网络模型。
还包括卷积神经网络模型训练流程，所述卷积神经网络模型训练流程包括：
量化最大分辨率与最小分辨率之间放大倍率的级数，得到放大倍率序列以及与放大倍率序列对应的分辨率序列；
将最大分辨率的训练图像分别转换成最小分辨率大小以及对应于所述分辨率序列中各分辨率大小的图像；
利用训练图像及各级低分辨率图像分别对卷积神经网络模型进行训练，得到最小分辨率图像至分辨率序列中各级分辨率以及最大分辨率的训练模型。
所述量化最大分辨率与最小分辨率之间放大倍率的级数包括：
利用最大分辨率与最小分辨率之比值与预设步长确定最大分辨率与最小分辨率之间放大倍率的级数。
所述卷积神经网络模型为三层卷积神经网络，其第一层卷积的卷积核尺寸为9×9，卷积核数目为64；其第二层卷积的卷积核尺寸为1×1，卷积核数目为32；其第三层卷积的卷积核尺寸为5×5，卷积核数目为1；其损失函数为MSE函数。
所述最大分辨率为4K，所述最小分辨率为720P。
所述预设步长为0.1，所述放大倍数序列为[1.1，1.2，1.3，…，3.2]，所述分辨率序列为[1408x792，1536x864，1664x936，…，4096x2304]。
有益效果：本发明的无人机超、高清图片或视频数据的模拟变焦方法通过先超、高清图片或视频数据进行降分辨率处理传输至接收端，再通过卷积神经网络模型进行重建将图片或视频最大程度的恢复到高、超清分辨率，这样既能保证图片或者视频图片传输的距离，也能保证视频传输的流畅，同时用户可得到想要的高清图片或视频。
附图说明
附图1为无人机超、高清图片或视频数据的模拟变焦方法的流程示意图；
附图2为图像重建流程的流程示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明的无人机超、高清图片或视频数据的模拟变焦方法，应用于数据传输系统，所述数据传输系统包括发送端与接收端。发送端置于无人机上，此外无人机上还设置有用于图片或视频采集的图像采集单元，图像采集单元可以是相机或其他带有相机功能的设备(如智能手机等)；接收端可以为专用的数据接收器或者各种现有的可接收数据的设备(如智能手机、平板电脑、台式电脑、笔记本电脑等)。发送端与接收端之间通过无线方式通信连接。
如附图1所示，所述方法包括如下步骤S101-S103：
步骤S101，发送端将无人机的图像采集单元获取的图像数据转制为低分辨率图像；
本步骤中，图像采集单元获取的图像数据可以是图片或视频，当为视频时，可将视频包含的图像序列依次转制为低分辨率图像。
步骤S102，发送端将所述低分辨率图像通过无线传输方式传输至接收端；
步骤S103，接收端利用预设的图像重建流程将所述低分辨率图像重建为预设分辨率的结果图像；
上述步骤通过先将图像数据进行降分辨率处理传输，可减少传输的压力，再通过图像重建流程将图像进行重建恢复为高分辨率图像，如此可在保证传输效率与流畅性的同时使接收端用户得到高、超清图像。步骤S103中的图像重建流程并非普通的插值算法，为了得到高质量的、能最大程度使重建的图像逼近原始获得的图像，如附图2所示，所述图像重建流程包括如下步骤S201-S202：
步骤S201，利用插值算法将所述低分辨率图像转制为大尺寸图像；
本步骤中，优选采用双三次差值算法对低分辨率图像进行插值放大。
步骤S202，将所述大尺寸图像输入训练好的卷积神经网络模型，所述卷积神经网络模型输出所述结果图像。
其中，训练好的卷积神经网络模型可根据大尺寸图像进行图像修正，使其细节特征更加丰富、细腻，逼近原始获得的图像。
由于接收端的用户所需要的图像的分辨率不确定，因此为了方便用户选择目标分辨率，所述卷积神经网络模型有多个，每一卷积神经网络模型对应于一种预设分辨率的图像，所述利用插值算法将所述低分辨率图像转制为大尺寸图像之前首先获取用户输入的放大倍率，根据所述放大倍率可以得到目标分辨率，即需要输出多少分辨率的图像；所述将所述大尺寸图像输入训练好的卷积神经网络模型具体为：将所述大尺寸图像输入所述目标分辨率对应的卷积神经网络模型。
上述训练好的卷积神经网络模型通过卷积神经网络模型训练流程完成，所述卷积神经网络模型训练流程包括如下步骤S301-S303：
步骤S301，量化最大分辨率与最小分辨率之间放大倍率的级数，得到放大倍率序列以及与放大倍率序列对应的分辨率序列；
步骤S302，将最大分辨率的训练图像分别转换成最小分辨率大小以及对应于所述分辨率序列中各分辨率大小的图像；
步骤S303，利用训练图像及各级低分辨率图像分别对卷积神经网络模型进行训练，得到最小分辨率图像至分辨率序列中各级分辨率以及最大分辨率的训练模型。即由最小分辨率图像至每一个分辨率较它高的分辨率等级都对应训练一个卷积神经网络模型。
所述量化最大分辨率与最小分辨率之间放大倍率的级数包括：
利用最大分辨率与最小分辨率之比值与预设步长确定最大分辨率与最小分辨率之间放大倍率的级数。
在一种实施例中，所述卷积神经网络模型为三层卷积神经网络，其第一层卷积的卷积核尺寸为9×9，卷积核数目为64，输出64张特征图；其第二层卷积的卷积核尺寸为1×1，卷积核数目为32，输出32张特征图；其第三层卷积的卷积核尺寸为5×5，卷积核数目为1，输出1张特征图。
训练模型如下：
(1)训练数据集：采用若干张(100张左右)自然图像作为训练数据集，对训练集中的图像先使用双三次差值缩小到最小分辨率大小，然后将其放大到目标分辨率大小，再切割成诸多33×33图像块作为训练数据，作为标签数据的则为图像中心的21×21图像块(与卷积层细节设置相关)；
(2)损失函数：采用MSE函数作为卷积神经网络损失函数；
(3)卷积层细节设置：第一层卷积核9×9，得到特征图尺寸为(33-9)/1+1＝25；第二层卷积核1×1，得到特征图尺寸不变；第三层卷积核5×5，得到特征图尺寸为(25-5)/1+1＝21。训练时得到的尺寸为21×21，因此图像中心的21×21图像块作为标签数据。
验证模型方式如下：
(1)全卷积网络：所用网络为全卷积网络，因此作为实际测试时，直接输入完整图像即可；
(2)Padding：训练时得到的实际上是除去四周(33-21)/2＝6像素外的图像，若直接采用训练时的设置(无padding)，得到的图像最后会减少四周各6像素(如插值放大后输入512×512，输出500×500)。因此在测试时每一层卷积都进行了padding(卷积核尺寸为1×1的不需要进行padding)。这样保证插值放大后输入与输出尺寸的一致性。
当本实施例中最大分辨率为4K，最小分辨率为720P，所述预设步长为0.1，上述步骤S301-S303的具体执行过程如下：
(1)量化720P分辨率图像到4K分辨率图像的放大倍数的级数。
由于4096/1280＝3.2，那么720P分辨率到4K分辨率共有22级放大倍数((3.2-1)/0.1)，因此所述放大倍数序列为[1.1，1.2，1.3，…，3.2]，对应地所述分辨率序列为[1408×792，1536×864，1664×936，…，4096×2304]，放大倍数序列与分辨率序列一一对应。
(2)获取一定数量的4K分辨率的图片，并将4K分辨率图像分别降低到上一步中给出的分辨率序列中的各分辨率，另外还需要将图像降低到720P分辨率。
(3)训练卷积神经网络模型。
分别训练720P分辨率图像到1408×792、1536×864、1664×936、...、4096×2304分辨率的模型，得到22个模型。
如此，当用户需要多大分辨率的结果图像，可选择对应放大倍率，系统可选择相应的卷积神经网络模型，将720P分辨率的图像重建到高分辨率，以达到数字变焦的效果。
本发明的无人机超、高清图片或视频数据的模拟变焦方法通过先超、高清图片或视频数据进行降分辨率处理传输至接收端，再通过卷积神经网络模型进行重建将图片或视频最大程度的恢复到高、超清分辨率，这样既能保证图片或者视频图片传输的距离，也能保证视频传输的流畅，同时用户可得到想要的高清图片或视频。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，应用于数据传输系统，所述数据传输系统包括发送端与接收端，所述方法包括：
发送端将无人机的图像采集单元获取的图像数据转制为低分辨率图像；
发送端将所述低分辨率图像通过无线传输方式传输至接收端；
接收端利用预设的图像重建流程将所述低分辨率图像重建为预设分辨率的结果图像；
其中，所述图像重建流程包括：
利用插值算法将所述低分辨率图像转制为大尺寸图像；
将所述大尺寸图像输入训练好的卷积神经网络模型，所述卷积神经网络模型输出所述结果图像。
2.由权利要求1所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，所述卷积神经网络模型有多个，每一卷积神经网络模型对应于一种预设分辨率的图像，所述利用插值算法将所述低分辨率图像转制为大尺寸图像之前还包括：
获取用户输入的放大倍率；
根据所述放大倍率得到目标分辨率；
所述将所述大尺寸图像输入训练好的卷积神经网络模型具体为：
将所述大尺寸图像输入所述目标分辨率对应的卷积神经网络模型。
3.由权利要求2所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，还包括卷积神经网络模型训练流程，所述卷积神经网络模型训练流程包括：
量化最大分辨率与最小分辨率之间放大倍率的级数，得到放大倍率序列以及与放大倍率序列对应的分辨率序列；
将最大分辨率的训练图像分别转换成最小分辨率大小以及对应于所述分辨率序列中各分辨率大小的图像；
利用训练图像及各级低分辨率图像分别对卷积神经网络模型进行训练，得到最小分辨率图像至分辨率序列中各级分辨率以及最大分辨率的训练模型。
4.由权利要求3所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，所述量化最大分辨率与最小分辨率之间放大倍率的级数包括：
利用最大分辨率与最小分辨率之比值与预设步长确定最大分辨率与最小分辨率之间放大倍率的级数。
5.由权利要求1所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，所述卷积神经网络模型为三层卷积神经网络，其第一层卷积的卷积核尺寸为9×9，卷积核数目为64；其第二层卷积的卷积核尺寸为1×1，卷积核数目为32；其第三层卷积的卷积核尺寸为5×5，卷积核数目为1；其损失函数为MSE函数。
6.由权利要求3所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，所述最大分辨率为4K，所述最小分辨率为720P。
7.由权利要求6所述的无人机超、高清图片或视频数据的模拟变焦方法，其特征在于，所述预设步长为0.1，所述放大倍数序列为[1.1，1.2，1.3，…，3.2]，所述分辨率序列为[1408x792，1536x864，1664x936，…，4096x2304]。
CN201910529643.8A 2019-06-19 2019-06-19 无人机超、高清图片或视频数据的模拟变焦方法 Pending CN110390636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910529643.8A CN110390636A (zh) 2019-06-19 2019-06-19 无人机超、高清图片或视频数据的模拟变焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910529643.8A CN110390636A (zh) 2019-06-19 2019-06-19 无人机超、高清图片或视频数据的模拟变焦方法

Publications (1)

Publication Number Publication Date
CN110390636A true CN110390636A (zh) 2019-10-29

Family

ID=68285576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910529643.8A Pending CN110390636A (zh) 2019-06-19 2019-06-19 无人机超、高清图片或视频数据的模拟变焦方法

Country Status (1)

Country Link
CN (1) CN110390636A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740350A (zh) * 2019-10-31 2020-01-31 北京金山云网络技术有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111654621A (zh) * 2020-05-26 2020-09-11 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN109741253A (zh) * 2018-12-12 2019-05-10 深圳慧源创新科技有限公司 无人机图传视频近景远景切换技术
WO2019104705A1 (zh) * 2017-12-01 2019-06-06 华为技术有限公司 图像处理的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104705A1 (zh) * 2017-12-01 2019-06-06 华为技术有限公司 图像处理的方法和设备
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108805808A (zh) * 2018-04-04 2018-11-13 东南大学 一种利用卷积神经网络提高视频分辨率的方法
CN109741253A (zh) * 2018-12-12 2019-05-10 深圳慧源创新科技有限公司 无人机图传视频近景远景切换技术

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740350A (zh) * 2019-10-31 2020-01-31 北京金山云网络技术有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111654621A (zh) * 2020-05-26 2020-09-11 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法

Similar Documents

Publication Publication Date Title
CN105611303B (zh) 图像压缩系统、解压缩系统、训练方法和装置、显示装置
Rane et al. Structure and texture filling-in of missing image blocks in wireless transmission and compression applications
CN106791927A (zh) 一种基于深度学习的视频增强与传输方法
CN107463989B (zh) 一种基于深度学习的图像去压缩伪影方法
CN101176351B (zh) 动态缩放文件编码方法及系统
CN102857751B (zh) 一种视频编解码方法和装置
CN108885783A (zh) 编码和解码可逆制作质量单层视频信号
CN103379351B (zh) 一种视频处理方法及装置
US9042678B2 (en) Method and apparatus for reducing size of image data
CN102047287B (zh) 利用稀疏变换的图像/视频质量增强和超分辨率
CN109525859A (zh) 模型训练、图像发送、图像处理方法及相关装置设备
CN111510739B (zh) 一种视频传输方法及装置
CN112887728A (zh) 电子装置、电子装置的控制方法以及系统
CN110390636A (zh) 无人机超、高清图片或视频数据的模拟变焦方法
CN108665415A (zh) 基于深度学习的图像质量提升方法及其装置
CN110519601A (zh) 数字视频的编码方法和装置
CN108769684A (zh) 基于WebP图像压缩算法的图像处理方法以及装置
CN108174084A (zh) 全景视频处理方法及终端设备
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备
CN109741253A (zh) 无人机图传视频近景远景切换技术
CN106658107A (zh) 多路多模式图像显示方法
CN111860363A (zh) 一种视频图像的处理方法及装置、电子设备、存储介质
Liu et al. Video image scaling technology based on adaptive interpolation algorithm and TTS FPGA implementation
WO2019130794A1 (ja) 映像処理装置
CN108347615A (zh) 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191029

RJ01 Rejection of invention patent application after publication