CN106534787A - 一种视频显示系统 - Google Patents

一种视频显示系统 Download PDF

Info

Publication number
CN106534787A
CN106534787A CN201611034405.2A CN201611034405A CN106534787A CN 106534787 A CN106534787 A CN 106534787A CN 201611034405 A CN201611034405 A CN 201611034405A CN 106534787 A CN106534787 A CN 106534787A
Authority
CN
China
Prior art keywords
video
module
real
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611034405.2A
Other languages
English (en)
Inventor
杨贵强
宝音扎布
庞利祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingtailangfan Precision Equipment Co Ltd
Original Assignee
Beijing Mingtailangfan Precision Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mingtailangfan Precision Equipment Co Ltd filed Critical Beijing Mingtailangfan Precision Equipment Co Ltd
Priority to CN201611034405.2A priority Critical patent/CN106534787A/zh
Publication of CN106534787A publication Critical patent/CN106534787A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种视频显示系统,包括:视频实时采集模块,与数据传输模块相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块;数据传输模块,与视频信息融合模块相连,用于将所述视频实时采集模块发送过来的视频数据传输给视频信息融合模块;视频信息融合模块,与实时显示模块相连,用于对数据传输模块发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给所述实时显示模块;实时显示模块,用于对所述平滑的完整视频图像进行实时显示,实现了对系统周围场景进行360°全景视频采集,并对采集到的视频进行360°实时显示。

Description

一种视频显示系统
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种视频显示系统。
背景技术
基于红外线视频采集的“透视眼”系统是一套可应用到密闭空间或者视线不开阔的空间,用于对所述密闭空间或者视线不开阔的空间之外的场景进行实时监测的系统,是集光学、微电子、精密机械以及信号处理等技术为一体的一种全新现代显示技术,能够实现视频的实时采集、实时呈现,并且达到增强视频的目的,在安保、军事反恐以及深海探测等领域具有广阔的应用前景,例如:应用到坦克、装甲车或者运钞车中。
目前,基于红外线视频采集的“透视眼”系统还没有形成完善的体系,同时也存在着许多问题需要改进。
发明内容
本发明实施例提供了一种视频显示系统,以实现对系统周围场景进行360°全景视频采集,并对采集到的视频进行360°实时显示。
本发明实施例提供了一种视频显示系统,该系统包括:
视频实时采集模块,与数据传输模块相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块;
数据传输模块,与视频信息融合模块相连,用于将所述视频实时采集模块发送过来的视频数据传输给视频信息融合模块;
视频信息融合模块,与实时显示模块相连,用于对数据传输模块发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给所述实时显示模块;
实时显示模块,用于对所述平滑的完整视频图像进行实时显示。
进一步地,所述系统还包括:信息处理模块,分别与所述视频信息融合模块和所述实时显示模块相连,用于识别所述平滑的完整视频图像中的设定信息,并对所述设定信息进行标记后发送给所述实时显示模块进行显示。
进一步地,所述系统还包括:音频模块,用于对所述系统的操作人员的声音信号进行采集,并将所述声音信号发送给指挥中心或者其它的系统操作人员,同时接收所述指挥中心或者其它的系统操作人员发送过来的音频信息,实现与所述指挥中心或者其它的系统操作人员进行通话。
进一步地,所述系统还包括:定位模块,用于对所述系统的位置信息进行定位,并将所述位置信息发送给指挥中心或者其它的系统操作人员。
进一步地,所述系统还包括:预警模块,用于根据指挥中心发布的信息给所述系统操作人员发出预警信息。
进一步地,所述系统还包括:健康评估模块,用于根据所述系统的操作人员的动作信息、眼动信息以及声音信息对所述系统的操作人员的健康状态进行评估。
进一步地,所述系统还包括:姿态采集模块,与所述实时显示模块相连,用于采集操作所述系统的操作人员的头部姿态信息,并将所述头部姿态信息发送给所述实时显示模块;
对应地,所述实时显示模块还用于根据所述操作人员的头部姿态信息对所述平滑的完整视频图像中特定的部分视频图像进行显示,以满足所述操作人员的需求。
进一步地,所述数据传输模块采用的数据传输协议包括:MUDP传输协议和低延迟频码率控制算法。
进一步地,所述视频信息融合模块包括:
图像预处理单元,与所述数据传输模块相连,用于对所述数据传输模块发送过来的视频数据进行几何畸形校正和噪声点抑制;
图像配准单元,与所述图像预处理单元相连,用于根据参考图像对进行几何畸形校正和噪声点抑制后的视频数据进行提取,对提取的视频数据完成视频图像间的匹配对齐;
图像融合单元,分别与所述图像配准单元和所述实时显示模块相连,用于对匹配对齐的视频图像进行缝合,并对缝合的边界进行平滑处理,得到平滑的完整视频图像,并将所述平滑的完整视频图像发送给所述实时显示模块。
本发明实施例提供的一种视频显示系统,通过视频实时采集模块对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块,通过数据传输模块将所述视频数据传输给视频信息融合模块进行图像拼接融合,并将拼接融合后的平滑视频图像发送给实时显示模块进行实时显示,实现了对系统周围场景进行360°全景视频采集,并对采集到的视频进行360°实时显示。
附图说明
图1是本发明实施例一提供的一种视频显示系统的结构示意图;
图2是本发明实施例一提供的视频显示系统的应用示意图;
图3是本发明实施例一提供的视频实时采集模块在载具(即密闭空间)周围的布置形式示意图;
图4是本发明实施例一提供的图像拼接融合算法的处理过程示意图;
图5是本发明实施例一提供的图像融合的过程示意图;
图6本发明实施例一提供的高清晰度的液晶显示屏幕示意图;
图7是本发明实施例二提供的一种视频显示系统的结构示意图;
图8是本发明实施例三提供的一种视频显示系统的结构示意图;
图9是本发明实施例三提供的头部运动传感器感应运动情况的示意图;
图10是本发明实施例三提供的视频显示系统的机械结构示意图;
图11是本发明实施例四提供的一种视频显示系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各项步骤的顺序可以被重新安排。当其步骤完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种视频显示系统的结构示意图,该系统可应用于密闭空间中,用来对密闭空间周围的场景视频进行实时采集并实时显示,典型地,所述密闭空间可以是坦克、装甲车或者运钞车等。该系统可通过硬件和软件的方式实现。该系统具体包括如下:
视频实时采集模块110,与数据传输模块120相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块120;
数据传输模块120,与视频信息融合模块130相连,用于将视频实时采集模块110发送过来的视频数据传输给视频信息融合模块130;
视频信息融合模块130,与实时显示模块140相连,用于对数据传输模块120发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给实时显示模块140;
实时显示模块140,用于对所述平滑的完整视频图像进行实时显示。
具体地,本实施例提供的视频显示系统可以是一种头戴式视频显示系统,能够为应用该系统的操作人员提供跟随操作人员头部运动的、实时的360°无缝拼接的视频信号,从而达到在不可视状态下,为操作人员实时提供周边环境的视频的目的。例如,在军用条件下,配合战场指挥系统的应用,本系统能够为操作人员提供全方位的环境显示功能,全面提高车载作战效率,最大限度地保证特殊环境下操作人员的安全,降低人员受伤的可能性。在特殊的民用条件下,本系统能够为密闭的空间内部的操作人员(例如:运钞车、押运车、深海探测设备等)提供周围场景实时、高清的视频图像,从而实现保证人员安全、确保设备安全的目的。具体可以参见图2所示的视频显示系统的应用示意图。
相应地,视频实时采集模块110设置在载具(即密闭空间)的外部,以实现对载具周围环境进行视频采集;进一步地,视频实时采集模块110可以由4~6个高清红外线摄像机组成(该高清红外线摄像机为一种90°*90°的高清摄像机),用于捕获载具周围环境的360°实时全景视频图像,多个红外线摄像机的共同配合,能够捕获载具周围环境的360°全景红外线视频图像;高清红外线摄像机能够被动感知物体所发射的红外线信息,能够在不被被观测物体察觉的情况下,接收被观测物体发射的红外线信息,并且根据不同温度下的红外线信息形成视频信息。具体可以参见图3所示的视频实时采集模块在载具(即密闭空间)周围的布置形式示意图。高清红外线摄像机均匀分布到载具的周围,通过视频采集范围的重叠,来保证能够得到360°的全景视频信息。
数据传输模块120具体可以由数据发送装置、数据传输协议组成,其中,数据发送装置与视频实时采集模块110中的高清红外线摄像机设置在一起,当高清红外线摄像机获得视频信号后,数据发送装置根据数据传输协议,将获得的视频信号转换成数据传输信号,并且发送给视频信息融合模块130。
为了能够快速地发送视频数据,最大限度地减少视频数据延时情况,数据发送装置采用增强的多路复用输入输出接口Epoll(改进后大批量处理文件的传输方式),加快数据传输速率。相较于传统的输入输出接口Select(通过穷举的方式传输文件),多路复用输入输出接口Epoll具备如下优点:提高程序在大量并发连接中只有少量活跃的情况下的系统CPU(Central Processing Unite,中央处理器)的利用率;使用mmap加速内核与用户空间的消息传递;获取事件的时候,无须遍历整个被侦听的描述符集,只要遍历那些被内核输入输出事件异步唤醒的、而加入准备队列的描述符集合。
示例性地,数据传输协议由基于UDP的可靠传输协议MUDP和低延迟视频码率控制算法组成,能够确保数据传输模块120以最快速度进行视频数据的发送。
基于UDP的可靠传输协议MUDP有如下特点:MUDP基于UDP,完全在UDP协议实现;MUDP增加了拥塞控制和数据可靠性控制机制;可支持可靠数据流传输和部分可靠的数据报传输;支持高速数据传输;发送端根据流量控制和速率控制来发送(和重传)应用程式数据;接收端接收数据包和控制包,并根据接收到的包发送控制包。
低延迟视频码率控制算法:
1)跳帧算法:
W=max(Wprev+Bprev-R/F+Bi RT)
W为当前帧的缓存器的比特数;
Wprev为前一帧的缓存器的比特数;
Bprev为编码前帧所用的比特数;
R为目标码率;
F为目标帧率;
Bi RT)为当前帧与前帧的时间间隔内重传(RT)的比特数。
当W大于缓存器大小Wprev的80%时,则编码器将跳过下一帧。
2)帧层码率控制算法:
在视频数据传输中采用IPPP形式的图像组结构。即第1帧为I帧,其余为P帧。帧分配采用如下三步:a、计算当前帧的初始目标比特数;b、计算目标缓存大小;c、采用PID缓存控制算法,计算当前P帧的目标比特率。
3)宏块层码率控制算法:
为了优化分配比特数,采用Lagrange方法来优化失真度。
视频信息融合模块130由一个视频融合终端、多个信号分配器和多个信号放大器组成,能够实现将采集到的视频数据进行拼接、融合成一个360°的视频信息,然后分解成多个视频输出信号,发送给实时显示模块140进行显示,根据实际需求可以将融合后的视频信息扩展至15~20个视频输出信号,采用这种方式进行视频分配是为了最大限度地减小视频信号的延迟,保证操作人员看到视频信号的实时性。
在视频信息融合模块130中最关键的技术是图像拼接融合算法,具体地,可以参见图4所示的图像拼接融合算法的处理过程示意图。
示例性地,视频信息融合模块130可以包括:
图像预处理单元,与数据传输模块120相连,用于对所述数据传输模块发送过来的视频数据进行几何畸形校正和噪声点抑制;
图像配准单元,与所述图像预处理单元相连,用于根据参考图像对进行几何畸形校正和噪声点抑制后的视频数据进行提取,对提取的视频数据完成视频图像间的匹配对齐;图像配准采用了特征点匹配算法,该算法的主要优点是图像的特征信息得到了利用,能够有的放矢,不是在盲目的搜索。特征点匹配算法的基本过程是以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况,即像素点的兴趣值,然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点。
图像融合单元,分别与所述图像配准单元和实时显示模块140相连,用于对匹配对齐的视频图像进行缝合,并对缝合的边界进行平滑处理,得到平滑的完整视频图像,并将所述平滑的完整视频图像发送给所述实时显示模块。图像融合的基本规则:将图像中每个像素均看作区域或边缘的一部分,并用区域和边界等图像信息来指导融合选取。图像融合的方法:将N幅待融合的图象的每一幅分解成M幅子图象,然后在每一级上对来自N幅待融合图象的M幅子图象进行融合,得到该级的融合图象,在得到所有M级的融合图象后,实施逆变换得到融合结果。具体可以参见图5所示的图像融合的过程示意图。由于在成像过程中受到各种变形因素的影响(摄像机位置、光照、摄像机类型等),所以的得到的各幅图像间存在着相对的差异(分辨率、色彩空间、亮度、几何位置等),在进行图像拼接融合之前,需要调整这些影响因素,最大限度地降低这些相对差异对于图像拼接融合效果的影响,提高图像拼接融合的质量。
在所述头戴式视频显示系统中,实时显示模块140可以设置在操作人员的眼睛正前方,以方便操作人员观看;可以由圆弧形状的液晶显示屏幕构成,用于显示操作人员头部面对位置的外部信息,显示屏幕与操作人员眼部的相对位置、显示画面的亮度以及对比度等可以进行调整,保证显示屏幕更符合操作人员的视力要求,为操作人员提供高品质的视频图像;具体可以参见图6所示的高清晰度的液晶显示屏幕示意图,圆弧形的屏幕能够为操作人员提供100~120度左右的视场范围,能够保证操作人员的观察范围,进而使得操作人员能够及时获取足够的视频信息。
本实施例提供的一种视频显示系统,通过视频实时采集模块对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块,通过数据传输模块将所述视频数据传输给视频信息融合模块进行图像拼接融合,并将拼接融合后的平滑视频图像发送给实时显示模块进行实时显示,实现了对系统周围场景进行360°全景视频采集,并对采集到的视频进行360°实时显示。
实施例二
图7为本发明实施例二提供的一种视频显示系统的结构示意图,在实施例一的基础上,本实施例增加了“信息处理模块”,这样优化的好处是可以实现将系统周围有特殊意义的目标视频信息进行区别显示,例如将敌方的坦克与我方的坦克分别用不同的颜色进行标记显示,以方便操作人员区分敌我信息。具体参见图7所示,该系统具体包括如下:
视频实时采集模块110,与数据传输模块120相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块120;
数据传输模块120,与视频信息融合模块130相连,用于将视频实时采集模块110发送过来的视频数据传输给视频信息融合模块130;
视频信息融合模块130,与实时显示模块140相连,用于对数据传输模块120发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给实时显示模块140;
实时显示模块140,用于对所述平滑的完整视频图像进行实时显示;
信息处理模块150,分别与视频信息融合模块130和实时显示模块140相连,用于识别所述平滑的完整视频图像中的设定信息,并对所述设定信息进行标记后发送给所述实时显示模块进行显示。
例如,所述平滑的完整视频图像中包括敌方信息和我方信息,为了方便操作人员及时辨认敌我,可以在对所述敌方信息和我方信息分别进行识别和标记,然后在实时显示模块进行区别显示。
具体的,信息处理模块150可以由稳态电源、信息处理终端组成,用于快速处理各种数据信息,并且发送给实时显示模块140等执行单元。其中,稳态电源为信息处理模块150提供电源,保证系统的正常工作;信息处理终端是用来接收、处理所有信息的中枢,能够快速处理大量的交流数据,保证快速实现信息的转换和数据发布。稳态电源为整个系统提供动力,由于整个系统可能在高速移动、存在较大冲击震动的环境中使用,所以电源需要做到“耐冲击、震动,输出稳定”的要求。电源在安装形式上采用了能够削弱冲击震动的“减震器”安装形式,电源输出形式也采用的螺栓锁扣连接形式,防止由于冲击、震动造成的连接处脱落的现象。信息处理终端采用高速的、服务器级的处理器,来保证运算的稳定高效,配备大容量的内存和企业级的高速硬盘,来保证信息处理处于一个较高的运算速度,并且,在信息处理终端上设置了多个外接接口,为扩展模块的添加预留了空间。
本实施例提供的一种视频显示系统,通过视频实时采集模块对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块,通过数据传输模块将所述视频数据传输给视频信息融合模块进行图像拼接融合,并将拼接融合后的平滑视频图像发送给信息处理模块对所述平滑的完整视频图像中的设定信息进行识别,并对所述设定信息进行标记后发送给所述实时显示模块进行显示,实现了对系统周围场景进行360°全景视频采集,并对采集到的视频进行360°实时显示,并且实现了将系统周围有特殊意义的目标视频信息进行分别显示,方便操作人员及时辨认。
实施例三
图8为本发明实施例三提供的一种视频显示系统的结构示意图,在上述实施例的基础上,本实施例增加了“姿态采集模块”,这样优化的好处是实现了更精准地显示当前操作人员真正想看到的视频图像。具体参见图8所示,该系统具体如下:
视频实时采集模块110,与数据传输模块120相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块120;
数据传输模块120,与视频信息融合模块130相连,用于将视频实时采集模块110发送过来的视频数据传输给视频信息融合模块130;
视频信息融合模块130,与实时显示模块140相连,用于对数据传输模块120发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给实时显示模块140;
实时显示模块140,用于对所述平滑的完整视频图像进行实时显示;
信息处理模块150,分别与视频信息融合模块130和实时显示模块140相连,用于识别所述平滑的完整视频图像中的设定信息,并对所述设定信息进行标记后发送给所述实时显示模块进行显示。
姿态采集模块160,与实时显示模块140相连,用于采集操作所述系统的操作人员的头部姿态信息,并将所述头部姿态信息发送给实时显示模块140;
对应地,实时显示模块140还用于根据所述操作人员的头部姿态信息对所述平滑的完整视频图像中特定的部分视频图像进行显示,以满足所述操作人员的需求。
具体地,姿态采集模块160可以由眼动仪、头部运动传感器组成,用于实时采集操作人员的运动状态,其中,眼动仪捕捉操作人员的眼睛动作,将眼睛动作生成对应的眼动信号;头部运动传感器负责感应操作人员的头部运动,将头部运行生成对应的头部运动信号;眼动信息和头部运动信息传递给实时显示模块140。实时显示模块140根据预设的匹配条件,做出响应的交互动作;例如:操作人员通过眼睛动作发出对目标进行自动跟踪、锁定;或者根据头部运动信号确定操作人员的观察范围,则实时显示模块140只显示确定的所述操作人员的观察范围内的视频图像。进一步地,实时显示模块140可以包括:视频整合装置和显示装置,所述视频整合装置安装在操作人员的头部位置,由一台微型信息处理器构成,用来实现特殊信息的加载等处理工作,例如接收姿态采集模块提供的信息,并根据所述信息整合出要显示的视频信息发送给显示装置进行显示。
眼动仪由一台微型摄像机和相关动作分析软件组成,微型摄像机安装在操作人员眼部正前方偏上的位置,用于捕捉操作人员的眼部动作、眼睑的眨动频次、眼睑覆盖区域、瞳孔对焦状态等信息。捕捉到的视频信息直接传递到相关动作分析软件,根据瞳孔位置、眼睑运动情况瞳孔对焦面积等信息,得到准确的眼部运动信号。头部运动传感器安装在操作人员头部位置,通过霍尔传感器感应操作人员的头部运动角度和位移,从而得到操作人员的头部运动信号。具体地参见图9所示头部运动传感器感应运动情况的示意图。
具体的视频显示系统的机械结构示意图可以参见图10所示,在该系统中,以高清红外线摄像机作为视频实时采集模块110,布置在封闭空间外部,具体布局形式以能够采集到周围360°环绕视频为目的;数据传输模块120与视频实时采集模块110布置在一起,方便实时、快速、准确地传递采集到的视频信号;姿态采集模块160与操作人员佩戴的头盔安装170在一起,为了能够方便地采集操作人员的头部姿态;实时显示模块140安装在操作人员的眼睛正前方,方便操作人员随时观察;视频信息融合模块130、信息处理模块150安装在封闭空间内部,能够保证信息处理的快速、安全、高效运行。当系统未被操作人员开启时,该系统处于一种休眠状态,整个系统处于无辐射、低功耗的非工作模式,因此不会对操作人员的身体健康带来影响。当操作人员开启系统时,进行初始化设定以后,系统自动连接视频实时采集模块,自动整理、拼接视频信息,并且显示在实时显示模块140上。
本实施例提供的一种视频显示系统,在上述实施例的技术方案的基础上,增加了“姿态采集模块”,实现了对操作人员的眼部动作和头部动作进行采集,并根据操作人员的眼部动作和头部动作对要显示的视频图像进行整理,以显示操作人员想看到的视频图像,使得该系统更加个性化,智能化,从而帮助操作人员在密封条件下,大幅提高环境态势的感知能力,进而辅助操作人员对目标进行跟踪与锁定。
实施例四
图11为本发明实施例四提供的一种视频显示系统的结构示意图,在上述实施例的基础上,本实施例增加了一系列扩展模块,这样优化的好处是进一步丰富了该视频显示系统的功能,使之成为一套更加完善的系统,具体参见图11所示,该系统具体如下:
视频实时采集模块110,与数据传输模块120相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块120;
数据传输模块120,与视频信息融合模块130相连,用于将视频实时采集模块110发送过来的视频数据传输给视频信息融合模块130;
视频信息融合模块130,与实时显示模块140相连,用于对数据传输模块120发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给实时显示模块140;
实时显示模块140,用于对所述平滑的完整视频图像进行实时显示;
信息处理模块150,分别与视频信息融合模块130和实时显示模块140相连,用于识别所述平滑的完整视频图像中的设定信息,并对所述设定信息进行标记后发送给所述实时显示模块进行显示。
姿态采集模块160,与实时显示模块140相连,用于采集操作所述系统的操作人员的头部姿态信息,并将所述头部姿态信息发送给实时显示模块140;
对应地,实时显示模块140还用于根据所述操作人员的头部姿态信息对所述平滑的完整视频图像中特定的部分视频图像进行显示,以满足所述操作人员的需求。
进一步地,所述系统还包括:音频模块180,用于对所述系统的操作人员的声音信号进行采集,并将所述声音信号发送给指挥中心或者其它的系统操作人员,同时接收所述指挥中心或者其它的系统操作人员发送过来的音频信息,实现与所述指挥中心或者其它的系统操作人员进行通话。具体的,音频模块180可以由高清麦克风、耳机、音频传输系统组成,用于采集、发送操作人员的声音信号,实现与指挥中心进行远程通话,接收指挥中心发送的战斗指令或者报警信息。例如:操作人员可以通过音频模块180向指挥中心发出请求指令或报告战场情况等;或者不同载具内的操作人员也可以通过音频模块180进行实时通话。
进一步地,所述系统还包括:定位模块190,用于对所述系统的位置信息进行定位,并将所述位置信息发送给指挥中心或者其它的系统操作人员,以实现位置共享。具体的,定位模块190由惯性导航单元、无线数据传输单元组成,用于发送载具的位置、姿态信息,保证整个作战指挥系统第一时间掌握载具的具体情况。惯性导航单元能实时监测当前载具移动位移距离、方向角、所在高度以及倾角等各种重要参数,同时,各种参数可以通过无线数据传输单元发送到指挥中心,保证指挥中心能够实时掌握载具的具体状态。
进一步地,所述系统还包括:预警模块200,用于根据指挥中心发布的信息给所述系统操作人员发出预警信息,以为操作人员提供准确的防护、处理建议,最大限度地增加载具内操作人员的存活率。
进一步地,所述系统还包括:健康评估模块210,用于根据所述系统的操作人员的动作信息、眼动信息以及声音信息对所述系统的操作人员的健康状态进行评估。具体的,健康评估模块210可以由动作分析部分、眼动分析部分、音频分析部分组成,主要用来评估操作人员的健康状态,保证操作人员的人身安全。其中,动作分析部分主要通过载具内布置的摄像头来监视、评估载具内操作人员的异常动作和动作持续时间,进而对操作人员的健康状况做出评价;眼动分析部分主要是通过眼动仪提供的,根据操作人员的眼部运动情况对操作人员的疲劳、健康状况做出综合的评价;音频分析部分主要通过采集到的音频信号,通过关键字符的拾取和检测,得到操作人员自我评估的健康状态。例如,健康评估模块210能够为战备指挥中心提供第一手的操作人员资料,保证人员能够形成足够的战斗力,为负伤人员提供精准的医疗救护等。
进一步地,所述系统还可以包括:数据共享模块,用于不同系统间的通讯,保证不同载具之间的操作人员之间可以进行信息共享和信息交换。
本实施例提供的一种视频显示系统,在上述实施例的技术方案的基础上,增加了扩展模块,进一步丰富了该视频显示系统的功能,使之成为一套更加完善的系统,使该显示系统不仅具有实时通讯功能、实时对讲功能以及精确定位功能,而且还能够提高操作人员对瞬息万变的环境态势的感知能力,进而辅助操作人员对目标进行跟踪与锁定而实施精确打击。
本发明实施例所称的操作人员包括,但不限于,在军队作战或执行战备任务中使用该系统的作战指挥员、通讯员和士兵、炮兵等军人,本实施例仅以军队战时或执行任务时中的操作人员为例进行了详细阐述。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种视频显示系统,其特征在于,包括:
视频实时采集模块,与数据传输模块相连,用于对系统周围的场景视频进行360°实时采集,并将采集到的视频数据发送给数据传输模块;
数据传输模块,与视频信息融合模块相连,用于将所述视频实时采集模块发送过来的视频数据传输给视频信息融合模块;
视频信息融合模块,与实时显示模块相连,用于对数据传输模块发送过来的视频数据进行图像拼接融合,以得到平滑的完整视频图像,并将得到的所述平滑的完整视频图像发送给所述实时显示模块;
实时显示模块,用于对所述平滑的完整视频图像进行实时显示。
2.根据权利要求1所述的系统,其特征在于,还包括:
信息处理模块,分别与所述视频信息融合模块和所述实时显示模块相连,用于识别所述平滑的完整视频图像中的设定信息,并对所述设定信息进行标记后发送给所述实时显示模块进行显示。
3.根据权利要求1所述的系统,其特征在于,还包括:
音频模块,用于对所述系统的操作人员的声音信号进行采集,并将所述声音信号发送给指挥中心或者其它的系统操作人员,同时接收所述指挥中心或者其它的系统操作人员发送过来的音频信息,实现与所述指挥中心或者其它的系统操作人员进行通话。
4.根据权利要求1所述的系统,其特征在于,还包括:
定位模块,用于对所述系统的位置信息进行定位,并将所述位置信息发送给指挥中心或者其它的系统操作人员。
5.根据权利要求1所述的系统,其特征在于,还包括:
预警模块,用于根据指挥中心发布的信息给所述系统操作人员发出预警信息。
6.根据权利要求1所述的系统,其特征在于,还包括:
健康评估模块,用于根据所述系统的操作人员的动作信息、眼动信息以及声音信息对所述系统的操作人员的健康状态进行评估。
7.根据权利要求1所述的系统,其特征在于,还包括:
姿态采集模块,与所述实时显示模块相连,用于采集操作所述系统的操作人员的头部姿态信息,并将所述头部姿态信息发送给所述实时显示模块;
对应地,所述实时显示模块还用于根据所述操作人员的头部姿态信息对所述平滑的完整视频图像中特定的部分视频图像进行显示,以满足所述操作人员的需求。
8.根据权利要求1所述的系统,其特征在于,所述数据传输模块采用的数据传输协议包括:MUDP传输协议和低延迟频码率控制算法。
9.根据权利要求1所述的系统,其特征在于,所述视频信息融合模块包括:
图像预处理单元,与所述数据传输模块相连,用于对所述数据传输模块发送过来的视频数据进行几何畸形校正和噪声点抑制;
图像配准单元,与所述图像预处理单元相连,用于根据参考图像对进行几何畸形校正和噪声点抑制后的视频数据进行提取,对提取的视频数据完成视频图像间的匹配对齐;
图像融合单元,分别与所述图像配准单元和所述实时显示模块相连,用于对匹配对齐的视频图像进行缝合,并对缝合的边界进行平滑处理,得到平滑的完整视频图像,并将所述平滑的完整视频图像发送给所述实时显示模块。
CN201611034405.2A 2016-11-16 2016-11-16 一种视频显示系统 Pending CN106534787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611034405.2A CN106534787A (zh) 2016-11-16 2016-11-16 一种视频显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611034405.2A CN106534787A (zh) 2016-11-16 2016-11-16 一种视频显示系统

Publications (1)

Publication Number Publication Date
CN106534787A true CN106534787A (zh) 2017-03-22

Family

ID=58356286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611034405.2A Pending CN106534787A (zh) 2016-11-16 2016-11-16 一种视频显示系统

Country Status (1)

Country Link
CN (1) CN106534787A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218602A (zh) * 2017-06-29 2019-01-15 佳能企业股份有限公司 影像撷取装置、影像处理方法及电子装置
CN110659623A (zh) * 2019-09-27 2020-01-07 深圳看到科技有限公司 基于分帧处理的全景画面展示方法、装置及存储介质
CN113163173A (zh) * 2021-04-27 2021-07-23 沈勤标 一种基于大数据的视频数据采集处理和传输的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201238357Y (zh) * 2008-03-12 2009-05-13 中国科学院声学研究所 一种全方位无线监控装置
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
CN201947404U (zh) * 2010-04-12 2011-08-24 范治江 一种全景视频实时拼接显示系统
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法
CN104392622A (zh) * 2014-11-07 2015-03-04 南京富士通南大软件技术有限公司 一种基于车联网的多功能辅助驾驶服务系统
CN104486551A (zh) * 2014-12-24 2015-04-01 上海摩软通讯技术有限公司 移动终端以及移动终端的全景拍摄方法
US20160050370A1 (en) * 2012-07-03 2016-02-18 Gopro, Inc. Rolling Shutter Synchronization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201238357Y (zh) * 2008-03-12 2009-05-13 中国科学院声学研究所 一种全方位无线监控装置
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
CN201947404U (zh) * 2010-04-12 2011-08-24 范治江 一种全景视频实时拼接显示系统
US20160050370A1 (en) * 2012-07-03 2016-02-18 Gopro, Inc. Rolling Shutter Synchronization
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法
CN104392622A (zh) * 2014-11-07 2015-03-04 南京富士通南大软件技术有限公司 一种基于车联网的多功能辅助驾驶服务系统
CN104486551A (zh) * 2014-12-24 2015-04-01 上海摩软通讯技术有限公司 移动终端以及移动终端的全景拍摄方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218602A (zh) * 2017-06-29 2019-01-15 佳能企业股份有限公司 影像撷取装置、影像处理方法及电子装置
CN109218602B (zh) * 2017-06-29 2020-12-08 佳能企业股份有限公司 影像撷取装置、影像处理方法及电子装置
CN110659623A (zh) * 2019-09-27 2020-01-07 深圳看到科技有限公司 基于分帧处理的全景画面展示方法、装置及存储介质
CN110659623B (zh) * 2019-09-27 2022-04-08 深圳看到科技有限公司 基于分帧处理的全景画面展示方法、装置及存储介质
CN113163173A (zh) * 2021-04-27 2021-07-23 沈勤标 一种基于大数据的视频数据采集处理和传输的方法
CN113163173B (zh) * 2021-04-27 2022-09-23 国网山东省电力公司泰安供电公司 一种基于大数据的视频数据采集处理和传输的方法

Similar Documents

Publication Publication Date Title
US10169923B2 (en) Wearable display system that displays a workout guide
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
WO2021031755A1 (zh) 基于增强现实设备的交互方法及系统、电子设备、计算机可读介质
JP2015122102A (ja) 改善された仮想ウィンドウ作成方法
US11165955B2 (en) Album generation apparatus, album generation system, and album generation method
WO2018088037A1 (ja) 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム
CN111625091A (zh) 基于ar眼镜的标签叠加方法及装置
CN105829938A (zh) 用于制作场景图像的设备
KR20220004754A (ko) 포토리얼리스틱 합성 데이터를 사용한 머리 포즈 및 응시 추정을 위한 신경망
KR102125299B1 (ko) 전투차량용 전장상황인식 시스템 및 방법
CN106534787A (zh) 一种视频显示系统
JP6157170B2 (ja) 監視支援システム
RU120270U1 (ru) Комплекс контроля проезда пешеходных переходов
US11875080B2 (en) Object sharing method and apparatus
CN110933314B (zh) 追焦拍摄方法及相关产品
CN108012141A (zh) 显示装置、显示系统和显示装置的控制方法
KR20150123094A (ko) 어라운드 뷰 시스템의 동작방법
CA2549772A1 (en) Sports training device for real time video feedback of body position and movement
CN112788443A (zh) 基于光通信装置的交互方法和系统
JP6941458B2 (ja) 監視システム
KR102468685B1 (ko) 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN112584341A (zh) 一种通信方法及装置
CN116887020B (zh) 一种视觉增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322