CN111510683A - 一种图像传输装置及其图像数据处理方法 - Google Patents

一种图像传输装置及其图像数据处理方法 Download PDF

Info

Publication number
CN111510683A
CN111510683A CN202010338858.4A CN202010338858A CN111510683A CN 111510683 A CN111510683 A CN 111510683A CN 202010338858 A CN202010338858 A CN 202010338858A CN 111510683 A CN111510683 A CN 111510683A
Authority
CN
China
Prior art keywords
image
module
data
transmission apparatus
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010338858.4A
Other languages
English (en)
Inventor
邸若海
杨冰超
郭锦
李晓艳
王鹏
李亮亮
张炜尧
李良杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202010338858.4A priority Critical patent/CN111510683A/zh
Publication of CN111510683A publication Critical patent/CN111510683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Abstract

本发明公开一种图像传输装置及其图像数据处理方法,本发明装置包括图像采集预处理装置和PC上位机系统;该装置可完成图像的高清采集、实时远程传输、上位机显示以及图像背景去雾和行人检测等功能;图像采集预处理装置包括Raspberry Pi 3B+模块、视频图像采集模块、系统启动存储模块、以太网口模块、无线通信模块、液晶显示调试模块和电源模块,本发明的图像传输装置及其图像数据处理方法,极大提高了图像传输的质量和接收端的稳定性,接收帧率稳定在20FPS以上,并且可以在受大雾影响和能见度不高情况下有效实现图像增强,还可以实现行人检测与数量统计。

Description

一种图像传输装置及其图像数据处理方法
技术领域
本发明属于无人机航测及视频监控技术领域,尤其涉及一种图像传输装置及其图像数据处理方法。
背景技术
无人机在民用三维城市建模、环境监测、军事无人机巡检侦察等方面得到了广泛的应用。该应用方面均涉及高清图像和测控数据的实时可靠性远程传输。
由于微型无人机的实时图像信息的采集存在抗干扰能力差、时延较大、传输距离短、恶劣环境条件下不能保证可观的视频传输质量。现有市场存在的图传系统大多是基于像素采集数据,对于网络资源的消耗大;图像数据传输的实时可靠性差,容易造成视频的卡顿;图像传输受距离限制,不能得到有效的数据提取和决策分析;对于在能见度不高的环境下采集的图像信息,图像信息不明显,容易造成视觉可观性不佳;对于无人机航测需要行人数量统计分析没有明确的自动统计功能。
发明内容
本发明提供一种图像传输装置及其图像数据处理方法,解决现有技术中于微型无人机的实时图像信息的采集存在抗干扰能力差、时延较大、传输距离短等技术问题。
为了达到上述目的,本发明的技术方案如下:
一种图像传输装置,包括图像采集预处理装置和PC上位机系统,所述图像采集预处理装置包括Raspberry Pi 3B+模块、视频图像采集模块、系统启动存储模块、以太网口模块、无线通信模块、液晶显示调试模块和电源模块;所述各个模块均与所述Raspberry Pi3B+模块连接;无线通信模块与PC上位机系统连接。
进一步的,所述视频图像采集模块选择CSI接口特性的500W像素摄像头OV5647模组。
进一步的,所述无线通信模块采用SIM7600CE芯片,用于实现图像数据并行远程传输。
进一步的,所述液晶显示调试模块为标准的HDMI接口,用于对图像采集预处理装置的配置。
进一步的,所述的系统启动存储模块采用Micro-SD卡接口,用于装载嵌入式操作系统。
进一步的,所述的以太网口模块采用Microchip ENC28J60芯片,用于传输采集的数据进行有效性分析。
可靠性图像传输装置进行图像数据压缩编码的方法,包括如下步骤:
步骤1、视频图像采集模块采集原始图像;
步骤2、原始图像帧经三级离散小波处理变为小波域;
步骤3、在变换域中进行帧间运动估计和运动补偿;
步骤4、对每一帧残差信号进行编码并数据缓存;
步骤5、利用无线通信模块向指定PC上位机系统进行数据发送。
本发明的有益效果:
1.本发明系统针对现有图像采集系统进行改进,一方面通过高清摄像头提高了图像采集清晰度,另一方面通过人为设定采集的图像传输分辨率,最高可以达到720P高清图像。所采集的图像具有视野角度大,分辨力明显和图像细节信息丰富。
2.本发明实现了图像的实时远程传输,即通过高效图像压缩和4G并行传输技术,实现了图像的实时远程传输。高效图像压缩指的是采用三级离散小波变换也就是DWT结合帧间运动估计和运动补偿,对残差信号进行编码,该图像压缩技术压缩效率高,抗干扰能力强。4G并行传输指的是通过4G通信模块采用并行数据流进行远程传输,数据通信时延保持在200ms左右,传输距离远,时延低。
3.本发明系统可实现图像信息处理分析,即图像背景去雾和图像视觉增强。通过PC上位机实现图像实时显示后,通过调用丰富的OpenCV计算机视觉库与改进暗通道先验去雾算法相融合来进行图像信息的适应性调整,通过手动调节“曝光时间、增益、对比度”等使得成像质量更为高效,清晰,更好适应恶劣环境。
4.本发明系统可实现视频流可靠接收,即减少视频接收端的图像卡顿现象。使用接收队列来接收从发送端传输过来的数据流片中的数据,经过对接收数据的预处理,将图像数据存入图像流数据缓存区;需要图像时,可以通过图像数据流缓存区进行读取,实现图像数据的显示输出,保证了接收端可靠接收。
5.本发明系统可以实现行人数量统计:为了应对小型无人机在对人流量较大区域进行监测过程中无法获取实时人量的不便性,增加了行人检测及数量统计功能,为后台决策提供数据支撑。
附图说明
图1为本发明装置的整体结构框图;
图2为系统启动存储模块的电路连接图;
图3为液晶显示调试模块的电路连接图;
图4为以太网口模块的电路连接图;
图5为视频图像采集模块的电路连接图;
图6为无线通信模块的电路连接图;
图7为本发明图像数据压缩编码方法的示意图;
图8为本发明上位机系统的实用界面图;
图9为本发明图像传输方法的示意图;
图10、11为图像去雾增强前后对比图;
图12为通过本发明装置进行行人检测的流程示意图;
图13为行人检测效果图;
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附和实施例对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明设计的一种图像传输装置搭载在民用微小型多用途无人机上,主要作为微型无人机的载荷而执行航测航拍等多种任务,该装置主要利用无人机平台进行高清图像的采集、实时远程传输、后台上位机显示以及图像背景去雾和行人检测等功能,旨在提高图像传输的可靠性以及图像接收的可观性,为后续决策评估提高可靠数据。与现有技术相比较,本发明的图像传输装置,将嵌入式技术、远程通信技术、图像增强算法与可视化界面相结合,实现了采集图像信息清晰,传输时延小,传输数据可靠,显示界面功能多样化与一体等特点,为无人机航拍、航测提供了高效、稳定的数据传输与便捷的监控管理系统,从而达到资源的最大化利用,经济效益的最大化。
本发明实施例中提供一种图像传输装置,包括图像采集预处理装置和PC上位机系统,图像采集预处理装置包括Raspberry Pi 3B+模块、视频图像采集模块、系统启动存储模块、以太网口模块、无线通信模块、液晶显示调试模块和电源模块;各个模块均与所述Raspberry Pi 3B+模块连接;无线通信模块与PC上位机系统连接。参照图1,Raspberry Pi3B+模块作为预处理的核心,Raspberry Pi是一款基于ARM的微型电脑主板,以SD/Micro SD卡作为内存硬盘,搭载Linux系统,具有高达1GB RAM。可直接采用CSI接口进行外接摄像头,便于更便利的进行实时图像的采集。该平台具有低功耗、运行速率方面的突出优势也提高了数据处理速度,提高了整个系统的传输速率。Linux系统承担“图像采集”+“图像预处理”+“显示”+“低功耗”等几大任务,实现了整个系统安全稳定地运行。
参照图2,系统启动存储模块采用Micro-SD卡作为存放操作系统文件的资料,其具有四个数据线接口(D0~D3),分别接有上拉电阻,CMD为命令线与CPU进行命令交互,旨在Raspberry Pi 3B+平台上搭建Linux操作系统来完成后续任务。
参照图3,液晶显示调试模块为标准的HDMI接口,其中一对时钟信号和3数据信号,CEC为控制信号线,还有一对I2C信号,主要是获取显示器的基本信息,其中SCL接CPU的5号管脚,SDA接CPU的3号管脚;HPD为热插拔信号,该信号比较重要,当HPD引脚大于2V,TMDS才会输出。因此,如果屏幕没有显示,首先要测量该信号。
参照图4,以太网口模块采用的是Microchip ENC28J60芯片作为以太网模块,ENC28J60是带有行业标准串行外设接口(SPI)的独立以太网控制器。它可作为任何配备有SPI的控制器的以太网接口。与主控制器的通信通过SPI接口协议通信,数据传输速率高达10Mb/s。两个专用的引脚用于连接LED,进行网络活动状态指示。CPU的19号管脚与ENC28J60芯片的MDSI输入相接,CPU的21号管脚与ENC28J60芯片的MDSO输出相接,CS为设备使能端口,SCLK为时钟信号由CPU产生,通过该接口我们可以进行后续的数据共享和控制器编程调试,以改善系统性能。
参照图5,视频图像采集模块选择的一款CSI接口特性的500W像素摄像头OV5647模组,OV5647拥有2组Datalane,还有1组Clocklane,因此可以如下方式连接OV5640和CPU,其中(CN,CP)为OV5640的用于传输时钟的引脚,(DN0,DP0),(DN1,DP1)为用于传输数据的引脚。(SCL0,SDA0)为OV5640的I2C控制信号,一个很明显的用途就是来设置OV5640的图像输出格式,比如是输出RGB格式还是YUV格式。
参考图6,无线通信模块采用SIM7600CE,该芯片具有全网通7模、LTE CAT4(高达150Mbps网速)、低功耗等特性,直接通过CPU串口就能与模块进行数据交互,使用AT指令即可快速开发。SIM7600CE的VCC接3.3V电源,RXD接CPU模块引出的串口TXD(发送端)口,TXD引脚接CPU模块引出的串口RXD(接受端)口。
本发明图像传输装置进行图像数据压缩编码的方法,包括如下步骤:
步骤1、视频图像采集模块采集原始图像;
步骤2、原始图像帧经三级离散小波处理变为小波域;
步骤3、在变换域中进行帧间运动估计和运动补偿;
步骤4、对每一帧残差信号进行编码并数据缓存;
步骤5、利用无线通信模块向指定PC上位机系统进行数据发送。
具体的,参照图7,图像数据压缩编码采用三级离散小波变换也就是DWT(DiscreteWavelet Transform),把空间域图像变换到频率域进行分析,所构成的基向量与图像内容无关,在变换域中进行帧间运动估计和运动补偿,对残差信号再进行编码,这样对于图像的噪声也具有一定的抗干扰能力。图像经过DWT变换后,其频率系数主要集中分布在比较小的范围内,且主要分布在低频部分。稀疏化频谱中能量较小的部分,保留传输频谱中主要的频率分量,进而达到压缩数据的目的。小波变换也可以同时在时域和频域观察到数据的信息,在JPEG2000编解码系统中小波变换可以生成大量0或者近似0的小波变换系数,从而得到较高的压缩率。
参照图8,本发明图像传输装置的PC上位机系统软件设计架构如下:上位机软件采用微软开发的Microsoft Visual Studio 2012开发工具,编写了基于UDP网络传输的“低时延可靠性视频传输”上位机软件,开启Server服务,控制Client端图像采集的模式及图像数据的实时显示与保存功能,为了使获得图像质量更清晰,通过采用Python3+Pyqt5+OpenCv的技术对采集到的图像进行了实时的处理,以符合人眼视觉观测效果,有效改善了恶劣环境所获得图像质量不清的影响。
参照图9,为保证接收端的视频流数据能够产生丝滑的视频效果,使用接收队列来接收从发送端传输过来的数据流片中的数据,经过对接收数据的预处理,将图像数据存入图像流数据缓存区。需要图像时,可以通过图像数据流缓存区进行读取,实现图像数据的显示输出。同时在数据传输端对图像数据流进行分片处理,通过传输队列并行传送,提高了传输效率,保证了接收端的可靠接收。
图10、11为PC上位机系统图像增强对比图:通过选择性开启去雾功能后,实时进行数据帧处理与合成显示。图像处理算法采用改进的先验去雾算法,具有明显的实时性,符合人眼视觉可观性,有效增强了在可见度不佳状况下的画质改善。
参照图12,通过本发明系统进行行人检测流程:行人检测主要通过OpenCV目标检测库来完成,通过上位机行人检测功能按钮与相应槽函数进行绑定去判断是否需要进行行人检测,将检测数量保存在局部变量中,每间隔10秒将数据保存在SQL数据库中以备历史数据查询,检测结果见图13所示。
通过实验测试,极大的提高了微型无人机图像传输的可靠性和有效性,为航测航拍工作人员及时掌握实时图像信息提供了便利,为后台监控管理人员进行远程操控提供了基础,为克服恶劣天气环境下采集的图像质量不佳提供了有效的技术手段。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换,都应涵盖在本发明的包含范围之内。

Claims (7)

1.一种图像传输装置,其特征在于:包括图像采集预处理装置和PC上位机系统,所述图像采集预处理装置包括Raspberry Pi 3B+模块、视频图像采集模块、系统启动存储模块、以太网口模块、无线通信模块、液晶显示调试模块和电源模块;所述各个模块均与所述Raspberry Pi 3B+模块连接;无线通信模块与PC上位机系统连接。
2.根据权利要求1所述图像传输装置,其特征在于:所述视频图像采集模块选择CSI接口特性的500W像素摄像头OV5647模组。
3.根据权利要求1或2所述可靠性图像传输装置,其特征在于:所述无线通信模块采用SIM7600CE芯片,用于实现图像数据并行远程传输。
4.根据权利要求1所述图像传输装置,其特征在于:所述液晶显示调试模块为标准的HDMI接口,用于对图像采集预处理装置的配置。
5.根据权利要求1所述可靠性图像传输装置,其特征在于:所述的系统启动存储模块采用Micro-SD卡接口,用于装载嵌入式操作系统。
6.根据权利要求1所述可靠性图像传输装置,其特征在于:所述的以太网口模块采用Microchip ENC28J60芯片,用于传输采集的数据进行有效性分析。
7.根据权利要求1所述可靠性图像传输装置进行图像数据压缩编码的方法,其特征在于,包括如下步骤:
步骤1、视频图像采集模块采集原始图像;
步骤2、原始图像帧经三级离散小波处理变为小波域;
步骤3、在变换域中进行帧间运动估计和运动补偿;
步骤4、对每一帧残差信号进行编码并数据缓存;
步骤5、利用无线通信模块向指定PC上位机系统进行数据发送。
CN202010338858.4A 2020-04-26 2020-04-26 一种图像传输装置及其图像数据处理方法 Pending CN111510683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010338858.4A CN111510683A (zh) 2020-04-26 2020-04-26 一种图像传输装置及其图像数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010338858.4A CN111510683A (zh) 2020-04-26 2020-04-26 一种图像传输装置及其图像数据处理方法

Publications (1)

Publication Number Publication Date
CN111510683A true CN111510683A (zh) 2020-08-07

Family

ID=71864891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010338858.4A Pending CN111510683A (zh) 2020-04-26 2020-04-26 一种图像传输装置及其图像数据处理方法

Country Status (1)

Country Link
CN (1) CN111510683A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471321A (zh) * 2003-07-14 2004-01-28 大唐微电子技术有限公司 基于运动估计的小波视频编解码方法
CN101146222A (zh) * 2006-09-15 2008-03-19 中国航空无线电电子研究所 视频系统的运动估计内核
US20180181815A1 (en) * 2016-12-28 2018-06-28 Panasonic Intellectual Property Management Co., Ltd. Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
CN111016915A (zh) * 2019-12-10 2020-04-17 西安工业大学 基于人脸多特征的驾驶行为判别预警装置及实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471321A (zh) * 2003-07-14 2004-01-28 大唐微电子技术有限公司 基于运动估计的小波视频编解码方法
CN101146222A (zh) * 2006-09-15 2008-03-19 中国航空无线电电子研究所 视频系统的运动估计内核
US20180181815A1 (en) * 2016-12-28 2018-06-28 Panasonic Intellectual Property Management Co., Ltd. Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
CN111016915A (zh) * 2019-12-10 2020-04-17 西安工业大学 基于人脸多特征的驾驶行为判别预警装置及实现方法

Similar Documents

Publication Publication Date Title
CN110708513B (zh) 一种8k视频多核异构处理装置
CN103440117B (zh) 视频图像处理的方法及系统
CN107659784A (zh) CameraLink图像处理装置和光电转塔
CN102202171A (zh) 一种嵌入式高速多通道图像采集与存储系统
CN109714621A (zh) 一种时序可配置的多路动态视频模拟方法及其处理系统
CN109584186A (zh) 一种无人机机载图像去雾方法和装置
Guo et al. Design of real-time video transmission system for drone reliability
CN108093175A (zh) 一种实时高清视频自适应去雾方法及装置
CN108512600B (zh) 面对面数据传输方法和装置
CN111510683A (zh) 一种图像传输装置及其图像数据处理方法
CN109685088A (zh) 基于云端分离卷积神经网络的窄带通信智能图像分析系统
CN101325712A (zh) 一种基于arm的便携式图像实时采集和显示终端
CN104159015A (zh) 基于无人机的摄像系统
CN101127888A (zh) 车载图像采集设备
CN204498285U (zh) 一种4g-wifi高清网络视频服务器
CN113497883B (zh) 一种图像处理方法及系统、相机模组、图像采集系统
CN114222032A (zh) 应用于大型车辆的视觉辅助方法
CN117319591B (zh) 一种视频传输方法、装置、计算机可读存储介质及设备
CN110661785A (zh) 视频处理方法、装置、系统、电子设备及可读存储介质
CN217011034U (zh) 一种基于高清视频去雾的雾天倒车影像装置
CN112019808A (zh) 一种基于MPSoC的车载实时视频信息智能识别装置
Jian et al. A new efficient airborne video dehaze system for UCAV
CN111016915A (zh) 基于人脸多特征的驾驶行为判别预警装置及实现方法
CN204180158U (zh) 基于无人机的摄像系统
CN110753229A (zh) 基于h.265编码的视频采集装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication