CN104767973B - 一种多路视频实时无线传输与显示系统及构建方法 - Google Patents

Abstract

一种多路视频实时无线传输与显示系统,它包括下位机硬件电路板和上位机软件；上位计算机安装的是WIN7_64系统并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,并能够向下位机传递控制指令；下位机硬件包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC‑DC电源芯片、RT3070WIFI模块；5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。本发明的构建方法有六大步骤。本发明最终能够实现五路PAL制视频实时无线传输到上位机并拼接显示的功能。

Description

一种多路视频实时无线传输与显示系统及构建方法

技术领域

本发明涉及一种多路视频实时无线传输与显示系统及构建方法,它最终能够实现五路PAL制视频实时无线传输到上位机并拼接显示的功能。属于无线通信、图像处理及视频监控等技术领域。

背景技术

视频监控是安全防范系统的重要组成部分，英文Cameras and Surveillance。传统的监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。

全景地图也称为360度全景地图、全景环视地图。全景地图是指把三维图片模拟成真实物体的三维效果的地图，浏览者可以拖拽地图从不同的角度浏览真实物体的效果。现在技术的发展已经能够通过数字的方式运用数码相机对现有场景进行多角度环视拍摄之后，再利用计算机进行后期缝合。因此结合视频监控及图像拼接的技术，设计并实现多路视频实时无线传输与显示系统，得到远距离大场景的实时图像信息已经成为了可能。

发明内容

1、目的:本发明的目的在于提供一种多路视频实时无线传输与显示系统及构建方法,它能实现五路PAL制视频实时无线传输到上位机拼接显示的功能。

2、技术方案:本发明的目的通过以下技术方案来实现。

(1)本发明是一种多路视频实时无线传输与显示系统,它包括下位机硬件电路板和上位机软件两大部分，如图1。其中:上位计算机安装的是WIN7_64系统并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,除此之外能够向下位机传递控制指令；下位机硬件部分包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块。5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。

摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头。五路对外接口均为标准AV端子,五路视频同时进行信号采样。

该ADC采用采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片。

该系统核心芯片选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARMCortex A9处理器。主要实现视频信号的压缩、封包、上传等处理；它通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频。

该视频压缩芯片最小系统外围电路,包括时钟源,SRAM,程序加载FLASH。时钟源为一个有源晶振,提供系统稳定工作的时钟参考；SRAM作为系统的“内存”,作为程序加载及运算结果存储的“临时场所”,断电后存储的信息会丢失；FLASH作为bootloader,系统内核,系统文件系统的固化场所。

每次系统上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测系统外围设备并加载对应的设备驱动,实现系统外设的初始化；随后将烧写在FLASH中的文件系统载入SRAM中,实现系统的启动,然后运行应用程序。

WIFI模块采用核心芯片是RT3070的集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连。

该电源芯片提供整个系统工作所需的电压。外界给系统输入+12V的电压,通过电源芯片将+12V的电压转换成系统所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片(+3.3V、+1.0V)、程序加载FLASH(+3.3V、+1.0V)、时钟提供源(+3.3V)、ADC采样芯片(+1.8V)、WIFI模块(+5V)。

(2)本发明是一种多路视频实时无线传输与显示系统,其实现的过程概述如下:ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中；视频压缩芯片对每路信号分别进行H.264压缩编码；将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包；将封好的数据包通过无线模块发送；接收端接收数据包并解包恢复视频流；通过软件方法实现对5路视频流的解压缩；使用软件算法对其中的4路视频显示的信息进行拼接融合；在上位机监视器对视频流进行恢复显示。

综上所述,本发明一种多路视频实时无线传输与显示系统的构建方法，其具体步骤如下:

步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中

如图2所示：5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头。5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片。

ADC采样芯片采用Nextchip公司生产的NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能。单片芯片支持八路相机,电视或者DVD的复合视频信号输入；具有8路960H分辨率视频同时编码能力；能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度。

本方案使用该芯片的5路。模拟输入端传接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片。后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片。

步骤二:视频压缩芯片对每路信号分别进行压缩编码

如图3所示：视频压缩芯片使用选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器。其内含视频输入，视频预处理，视频压缩等功能模块，并对用户封装了一些方便用来调用的接口函数(API)。

芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道(Chn0～Chn4)，VI通道对视频流不做处理直接输入视频压缩模块(VENC模块)进行压缩编码。

编码方式选用片内视频压缩模块所支持的h.264编码，需通过相关的接口函数进行配置使其正常运行

步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包。

如图4所示：编码完成的一帧帧的视频流会存入系统的缓冲池中,对应于内存地址中的一段数据。五路视频流将交替存入缓冲区中。由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致。对于每一帧的数据需加上标志信息便于上位机接收端解包。此外数据包传输过程中由于网络条件等原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复。

步骤四:下位机将封好的数据包通过无线模块发送给上位机

下位机作为服务器(AP端)，需要在HI3521中移植WIFI模块AP工作的模式的驱动。其中WIFI模块采用RT3070WIFI模块，驱动采用其公司提供的Linux驱动进行交叉编译。移植成功之后，下位机就相当于一个无线路由器。

上位机具备无线上网功能，只需要连接AP。

上位机和下位机连接成功之后能够相互通过PING指令ping通。下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口。

步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码

如图5所示，上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区。与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流。然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像。其中软件解码器采用开源项目FFMPEG函数库进行实现。

步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。

由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠。采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图。调用OPENCV库函数对这些大图一帧帧进行显示，进而恢复成大场景实时信息。

3、优点及功效:本发明的优点及功效在于:该多路视频实时无线传输与显示系统以海思3521视频压缩芯片作为核心处理器件,外围电路除了视频压缩核心芯片工作所需的最小系统电路外，所有的控制逻辑和调度采用嵌入式的软件方法实现,这种设计可以大大减少电路的复杂度,增加硬件系统的集成化程度；上位机软件只需要在一个通用能上无线网的计算机平台上运行,不需要额外的硬件设备,相比其他的实现方法,极大的减少了系统的复杂程度。此外,在实现图像拼接时,由传统在下位机的“硬拼接”转为在上位机端的“软拼接”,减少下位机的负荷并充分利用了上位机的优秀性能,提升了整个系统的延迟并增加了拼接的灵活性。

附图说明

图1系统结构框图。

图2ADC采样信号流图。

图3编码过程信号流图。

图4封包过程信号流图。

图5上位机工作信号流图。

具体实施方式

下面根据发明内容，结合说明书附图，对本发明一种多路视频实时无线传输与显示系统及构建方法，进行具体说明：

目的:本发明的目的在于提供一种多路视频实时无线传输与显示系统及构建方法,包含一整套下位机硬件及上位机软件。实现五路PAL制视频实时无线传输到上位机拼接显示的功能。

(1)本发明是一种多路视频实时无线传输与显示系统,包括下位机硬件电路板和上位机软件两大部分。其中:上位计算机安装的是WIN7_64系统并具备无线上网功能,上位机软件实现接受下位机硬件传来的数据包并解包,解压缩,拼接显示视频,除此之外能够向下位机传递控制指令；下位机硬件部分包含:海思3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块。它们之间的位置连接关系及信号走向如图1所示,5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入海思3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机。

摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头。五路对外接口均为标准AV端子,五路视频同时进行信号采样。

该ADC采用采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片。

该系统核心芯片选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARMCortex A9处理器。主要实现视频信号的压缩、封包、上传等处理；它通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频。

该视频压缩芯片最小系统外围电路,包括时钟源,SRAM,程序加载FLASH。时钟源为一个有源晶振,提供系统稳定工作的时钟参考；SRAM作为系统的“内存”,作为程序加载及运算结果存储的“临时场所”,断电后存储的信息会丢失；FLASH作为bootloader,系统内核,系统文件系统的固化场所。

每次系统上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测系统外围设备并加载对应的设备驱动,实现系统外设的初始化；随后将烧写在FLASH中的文件系统载入SRAM中,实现系统的启动,然后运行应用程序。

WIFI模块采用核心芯片是RT3070的集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连。

该电源芯片提供整个系统工作所需的电压。外界给系统输入+12V的电压,通过电源芯片将+12V的电压转换成系统所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片(+3.3V、+1.0V)、程序加载FLASH(+3.3V、+1.0V)、时钟提供源(+3.3V)、ADC采样芯片(+1.8V)、WIFI模块(+5V)。

(2)本发明是一种多路视频实时无线传输与显示系统,其实现的过程概述如下:ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中；视频压缩芯片对每路信号分别进行H.264压缩编码；将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包；将封好的数据包通过无线模块发送；接收端接收数据包并解包恢复视频流；通过软件方法实现对5路视频流的解压缩；使用某些软件算法对其中的4路视频显示的信息进行拼接融合；在上位机监视器对视频流进行恢复显示。

综上所述,本发明一种多路视频实时无线传输与显示系统的构建方法，其具体步骤如下:

步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中

如图2所示：5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头。5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片。

ADC采样芯片采用Nextchip公司生产的NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能。单片芯片支持八路相机,电视或者DVD的复合视频信号输入；具有8路960H分辨率视频同时编码能力；能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度。

本方案使用该芯片的5路。模拟输入端传接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片。后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片。

步骤二:视频压缩芯片对每路信号分别进行压缩编码

如图3所示：视频压缩芯片使用选择海思公司生产的HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器。其内含视频输入，视频预处理，视频压缩等功能模块，并对用户封装了一些方便用来调用的接口函数(API)。

芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道(Chn0～Chn4)，VI通道对视频流不做处理直接输入视频压缩模块(VENC模块)进行压缩编码。

编码方式选用片内视频压缩模块所支持的h.264编码，需通过相关的接口函数进行配置使其正常运行

步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包。

如图4所示：编码完成的一帧帧的视频流会存入系统的缓冲池中,对应于内存地址中的一段数据。五路视频流将交替存入缓冲区中。由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致。对于每一帧的数据需加上标志信息便于上位机接收端解包。此外数据包传输过程中由于网络条件等原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复。

步骤四:下位机将封好的数据包通过无线模块发送给上位机

下位机作为服务器(AP端)，需要在HI3521中移植WIFI模块AP工作的模式的驱动。其中WIFI模块采用RT3070WIFI模块，驱动采用其公司提供的Linux驱动进行交叉编译。移植成功之后，下位机就相当于一个无线路由器。

上位机具备无线上网功能，只需要连接AP。

上位机和下位机连接成功之后能够相互通过PING指令ping通。下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口。

步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码

如图5所示，上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区。与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流。然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像。其中软件解码器采用开源项目FFMPEG函数库进行实现。

步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。

由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠。采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图。调用OPENCV库函数对这些大图一帧帧进行显示，进而恢复成大场景实时信息。

多路视频实时无线传输与显示系统的主要器件为：

视频压缩编码核心芯片

选用海思半导体公司的HI3521

Hi3521是针对多路D1和多路高清DVR、NVR产品应用开发的一款专业高端SOC芯片。Hi3521内置高性能A9处理器、高达8路D1实时多协议编解码能力的引擎和专用TOE网络加速模块，应对越来越高的高清应用和网络需求；集成优异的视频引擎和编解码算法并结合多路高清显示输出能力，充分满足客户产品的高质量图像体验。Hi3521高度集成和丰富的外围接口，在满足客户差异化产品功能、性能、图像质量要求的同时，大大降低ebom成本。

程序加载FLASH芯片的选择：

MXIC公司的MX25L12845EMI-10G，SPI

程序加载DDR芯片的选择：

南亚公司的NT5CB128M16BP-CG

无线模块选择：长虹电视机无线网卡

1、标准SMA天线可拆御接口最高可配置24dbi调增益天线

2、高速A型USB接口

3、最高传输速度达到：150Mbps

4、采用的是最新的11N 150M标准

5、支持一键AP发射模式

ADC采样芯片的选择：

NEXTCHIP公司的NVP1918

电源芯片的选择：

12V转5V选用LM2596，5V转3.3V采用7805，5V转1V采用PTV05010

本发明多路视频实时无线传输与显示系统的设计与实现，在实际的实验过程中测试通过，实现了多路视频的无线传输与实时拼接，并且有以下特点：

硬件电路简单，体积较小，为未来系统集成提供了探索和依据。

将拼接算法置于上位机端实现，减少了硬件的功耗和压力

主要功能通过编程简单，易于修改，使系统具有很大的通用性和灵活性。

完整实现预期的功能，实现简单。

可见，多路视频实时无线传输与显示系统具有很高的应用价值，在实际应用中具有很大的通用性和灵活性，有很好的应用前景。

Claims (2)

1.一种多路视频实时无线传输与显示系统,其特征在于：它包括下位机硬件电路板和上位机软件两大部分，其中:上位计算机安装的是WIN7_64系统并具备无线上网功能,上位机软件实现接收下位机硬件传来的数据包并解包,解压缩,拼接显示视频,并能够向下位机传递控制指令；下位机硬件部分包含:HI3521视频压缩芯片、NVP1918视频编码芯片、DC-DC电源芯片、RT3070WIFI模块；5路PAL制模拟视频信号经过NVP1918芯片转换为数字形式并送入HI3521芯片做视频压缩及封包处理,处理结果通过RT3070WIFI模块上传到上位机；

摄像头视频源共包含5路,其中一路为700线主摄像头,另外四路为480线辅助摄像头；五路对外接口均为标准AV端子,五路视频同时进行信号采样；

ADC采用1片NVP1918,负责将5路PAL制模拟视频信号采样转换为数字信号,并编码成为RGB格式,通过SPI协议直接传送给视频压缩芯片；

系统核心芯片选择HI3521视频压缩芯片,内置高性能ARM Cortex A9处理器，实现视频信号的压缩、封包、上传处理；通过RT3070接收到上位机传来的控制指令后,根据控制指令完成上传4路辅助摄像头视频或是上传1路主摄像头视频；

该视频压缩芯片最小系统外围电路,包括时钟源,SRAM,程序加载FLASH，时钟源为一个有源晶振,提供系统稳定工作的时钟参考；SRAM芯片型号为NT5CB128M16BP-CG，是系统的内存,作为程序加载及运算结果存储的临时场所,断电后存储的信息会丢失；FLASH芯片型号为MX25L12845EMI-10G，作为BOOTLOADER、系统内核和系统文件系统的固化场所；

每次系统上电后,先启动FLASH中的BOOTLOADER,将烧写在FLASH中的内核程序加载入SRAM中,运行内核,检测系统外围设备并加载对应的设备驱动,实现系统外设的初始化，随后将烧写在FLASH中的文件系统载入SRAM中,实现系统的启动,然后运行应用程序；

WIFI模块的核心芯片是RT3070，该WIFI模块为集成USB转WIFI模块,通过USB2.0接口与视频压缩核心芯片相连；

该电源芯片提供整个系统工作所需的电压，外界给系统输入+12V的电压,通过电源芯片将+12V的电压转换成系统所需要的+3.3V、+1.8V、+1.0V,来分别提供给HI3521核心芯片+3.3V、+1.0V，程序加载FLASH+3.3V、+1.0V，时钟提供源+3.3V，ADC采样芯片+1.8V，WIFI模块+5V，其中+12V转+5V选用LM2596，+5V转+3.3V采用7805，+5V转+1.0V采用PTV05010；

ADC采样芯片同时采集5路PAL制视频信号送入视频压缩芯片中，视频压缩芯片对每路信号分别进行H.264压缩编码，将压缩编码后的5路视频流增加时间戳信息封成一定大小的数据包，将封好的数据包通过无线模块发送，接收端接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解压缩，使用软件算法对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示。

2.一种多路视频实时无线传输与显示系统的构建方法，其特征在于：该方法具体步骤如下:

步骤一:5路PAL制视频信号经过ADC采样芯片采样送入视频压缩芯片中；

5路PAL制信号由摄像头视频源提供,其中一路为700线主摄像头,另外四路为480线辅摄像头，5路对外视频输出接口均为标准复合视频接口,输出给ADC采样芯片，ADC采样芯片采用NVP1918视频编码芯片,该芯片在多通道视频编码领域具有优越的性能，单片芯片支持八路相机,电视或者DVD的复合视频信号输入，具有8路960H分辨率视频同时编码能力，能输出8位CCIR656亮度色度比例为4:2:2的视频流并且支持36MHZ,72MHz和144MHz三种速度；模拟输入端串接50欧姆电阻限制电流,并对地并联防雷放电二极管以保护ADC芯片；后级通过IIC总线对ADC芯片的寄存器进行配置使其工作在正确的工作模式，将串行数字视频流输送给后级视频压缩芯片；

步骤二:视频压缩芯片对每路信号分别进行压缩编码；

视频压缩芯片使用HI3521视频压缩芯片,它内置高性能ARM Cortex A9处理器，其内含视频输入，视频预处理，视频压缩功能模块，并对用户封装了一些方便用来调用的接口函数API，芯片内部DEV模块对输入的串行数字视频流解复用，产生5路视频流并输入5个VI通道Chn0～Chn4，VI通道对视频流不做处理直接输入视频压缩模块进行压缩编码，编码方式选用片内视频压缩模块所支持的H.264编码，通过相关的接口函数进行配置使其正常运行；

步骤三:将压缩编码后的5路视频流增加标志信息封成一定大小的数据包；

编码完成的每一帧的视频流会存入系统的缓冲池中,对应于内存地址中的一段数据；五路视频流将交替存入缓冲区中，由于视频压缩后的每一帧数据的数据量并不完全相同，为便于无线发送需对数据进行切分和拼接使得每一包数据量一致；对于每一帧的数据需加上标志信息便于上位机接收端解包；此外数据包传输过程中由于网络条件原因可能产生丢包或者包顺序错乱，因此在每一帧数据中还应加上时间戳信息，便于接收端恢复；

步骤四:下位机将封好的数据包通过无线模块发送给上位机；

下位机作为服务器AP端，需要在HI3521中移植WIFI模块AP工作的模式的驱动；其中WIFI模块采用RT3070WIFI模块，驱动采用提供的Linux驱动进行交叉编译，移植成功之后，下位机就相当于一个无线路由器；上位机具备无线上网功能，只需要连接AP；

上位机和下位机连接成功之后能够相互通过PING指令ping通，下位机发送的数据包通过UDP协议发送给上位机的IP地址及指定端口；

步骤五:上位机接收数据包并解包恢复视频流，通过软件方法实现对5路视频流的解码；

上位机监听指定端口，当接收到下位机传来的数据包时，依次存入内存中开辟的缓冲区，与此同时，根据每个数据包的标志及时间戳，进行解包并还原成五路视频流，然后调用软件解码器对五路视频流分别调用软件解码器进行解码，解码后生成一帧帧的图像，其中软件解码器采用开源项目FFMPEG函数库进行实现；

步骤六:对其中的4路视频显示的信息进行拼接融合，在上位机监视器对视频流进行恢复显示；由于四路摄像头事先进行过标定和位置矫正，所以视频信息存在一部分的重叠，采用均值法对这四路视频边沿重叠部分进行平均处理，将四张图像拼合成一张大图，调用OPENCV库函数对这些大图的每一帧进行显示，进而恢复成大场景实时信息。