CN109657639A - 一种基于全景视觉的态势感知系统和方法 - Google Patents
一种基于全景视觉的态势感知系统和方法 Download PDFInfo
- Publication number
- CN109657639A CN109657639A CN201811633130.3A CN201811633130A CN109657639A CN 109657639 A CN109657639 A CN 109657639A CN 201811633130 A CN201811633130 A CN 201811633130A CN 109657639 A CN109657639 A CN 109657639A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- panoramic
- image
- situation awareness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims description 46
- 238000012544 monitoring process Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 17
- 230000005764 inhibitory process Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 239000000835 fiber Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000010354 integration Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 abstract description 2
- 230000002411 adverse Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/22—Adaptations for optical transmission
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于全景视觉的态势感知系统和方法，通过由移动部署单元和综合操控单元构成的态势感知系统，依次进行采集图像、多目标检测跟踪、提取目标坐标、拼接图像和获取目标在全景视景图像中的态势信息；本发明通过基于全景视觉的态势感知系统和方法，实现了装置的不仅成像质量高，性能稳定，且集成度高，功能扩展方便，维护方便，同时使监视距离能够长达五公里，使得本发明拥有世界领先的作用距离指标，同时，综合运用多目标跟踪技术、图像增强及融合技术、全景图像拼接技术等先进技术，使得系统探测能力极强，能适用于动、静安装平台及各种恶劣环境和气候条件。
Description
技术领域
本发明涉及态势感知技术领域，尤其涉及一种基于全景视觉的态势感知系统和方法。
背景技术
人对环境信息的感知、理解和预测的过程被称作态势感知，在态势感知过程中，视觉是重要的感知手段,具有信息丰富、形象直观、准确度高、时效性强等特点。视觉成像技术能充分调动决策者的认知能力,强化对信息的感知和理解,被广泛应用于态势感知系统中。
基于全景视觉的态势感知系统是采用传感器技术、全景光机设计技术、全景图像处理技术等将环境信息转换为图像信息，在屏幕上显示出来,并进行交互的理论、方法和技术。
目前已有的全景视觉态势感知系统实现方式有以下四种：一是单探测器移动拼接全景视觉系统，此种方法探测成像实时性较差，一般用于低速场合；二是基于鱼眼镜头的光学全景视觉感知系统，此种方法成像分辨率较低、探测距离在较近，一般在一公里以内；三是由一个曲面反射镜与一台摄像机组成的反射式全景视觉系统，此种方法成像效果一般，探测距离较近，一般在一公里以内；四是由折反射透镜组与摄像机组成的折反式全景视觉系统，此种方法成像效果一般，探测距离较近，一般在一公里以内。综合考虑上述五种系统实现的技术难度、光学加工水平、探测距离、分辨率、实时性等因素，选择多探测器全景拼接的态势感知系统综合性能优势突出。
发明内容
本发明的目的是提供一种基于全景视觉的态势感知系统和方法，能够对指定区域进行全方位电视监视和整体态势感知，成像质量高，性能稳定可靠，且作用距离远、探测能力强、适用范围广。
本发明采用的技术方案为：
一种基于全景视觉的态势感知系统，包括移动部署单元和综合操控单元；
移动部署单元包括移动部署平台，移动部署平台上设有多探测器拼接全景监视模块、全景视频处理模块、全景视频监视控制机箱和视频发送光端机，全景视频监视控制机箱内设有全景光学与通信控制单元；视频发送光端机通过全景视频监视控制机箱和全景视频处理单元电连接多探测器拼接全景监视模块；
综合操控单元包括综合操控台，综合操控台上设有视频接收光端机、监控管理模块、网络交换机、网络视频服务单元、视频显示器和管理显示器；视频接收光端机通过四芯光纤与视频发送光端机连接，且视频接收光端机分别电连接监控管理模块、网络视频服务单元和视频显示器，监控管理模块分别电连接网络交换机和与管理显示器；
所述多探测器拼接全景监视模块包括安装架、倾角传感器和多个探测器模块，倾角传感器设置在安装架上，多个探测器模块沿圆周方向均匀设置在安装架上；探测器模块包括光学镜头和相机；
所述全景视频处理模块包括综合处理板和多个子处理板，子处理板分别与探测器模块一一对应连接，综合处理板与多个子处理板分别连接。
进一步地，所述全景光学与通信控制单元包括单片机和设置在单片机并行总线上的四通道串口扩展单元，视频发送光端机、倾角传感器和多个探测器模块分别通过四通道串口扩展单元连接单片机。
进一步地，所述四通道串口扩展单元型号采用TL16C754扩展芯片。
进一步地，所述探测器模块的数量为六个。
进一步地，所述相机采用500万像素可见光CCD相机。
一种基于上述基于全景视觉的态势感知系统的态势感知方法，包括以下步骤：
A、每个探测器模块分别采集对应区域的单区域视频图像Ti，i＝1,2，…，N，N表示探测器模块数量；
B、在单区域视频图像Ti中进行多目标检测跟踪，获取第j个目标Xij的信息数据Aij；所述多目标检测跟踪包括以下步骤：
b1：采用背景抑制算法对输入图像进行背景抑制；
b2：采用自适应阈值分割算法对输入图像进行自适应阈值分割，获取分割后的二值化图像；
b3：采用目标聚类算法对分割后的二值化图像进行聚类分析处理，获取候选目标位置信息；
b4：利用目标运动特性，对目标进行管道滤波，获取真实目标；
b5：跟踪真实目标并获取目标信息数据；目标信息数据包括坐标；
C、提取信息数据Aij中的目标坐标Bij；
D、拼接单区域视频图像T1至单区域视频图像TN，获取全景视景图像；
E：将步骤C所得目标坐标Bij与全景视镜图像进行融合，获取Xij在全景视景图像中的态势信息。
进一步地，所述步骤b1中的背景抑制算法具体过程如下：
b1.1：目标信号空间位置及灰度值关系，将图像归纳为八种基本模型，用于描述图像中的背景、角点、边缘、边界、纹理、噪声、目标点及介于它们之间的疑似点；
b1.2：采用Perona-Malik偏微分模型对背景抑制过程进行规整化，用于从图像的八种基本模型中识别出目标，并进行增强，同时抑制和平滑其余类型；规整化过程等价于原始图像与局部自适应算子的卷积，具体公式如下：
公式(1)和(2)中，I和u分别为原始图像和背景抑制后图像，H为局部自适应算子，加权系数λE、λW、λN和λS分别为一阶邻域内四个方向上的扩散量。
进一步地，所述步骤b2中自适应阈值分割算法具体过程如下：
对于输入的背景抑制图像e(x,y)，定义阈值分割输出二值图像为
公式(3)中，T表示阈值。
进一步地，所述步骤b3中目标聚类算法具体过程如下：
a)选定同一个目标上的点；判定条件为：如果两个点之间的横坐标差和纵坐标差均小于10个像素，则将这两个点视为同一个目标上的点；
b)将单区域视频图像上属于同一个目标的所有点的横坐标累加并求平均数，所得平均数即为目标的横坐标；
c)将单区域视频图像上属于同一个目标的所有点的纵坐标累加并求平均数，所得平均数即为目标的纵坐标；
d)步骤a)至步骤c)为一个目标的坐标信息确定方式，重复步骤a)至步骤c)并获取该单区域视频图像上所有目标的坐标信息。
进一步地，所述步骤b4中管道滤波采用基于移动管道滤波的跟踪算法；具体过程如下：
b4.1：输入序列图像；
b4.2：读图并检测单帧图像；
b4.3：输入候选目标；
b4.4：判定目标是否属于现有管道，是则更新现有管道发现目标次数，否则建立新管道；
b4.5：进行每个管道处理；
b4.6：判断目标出现次数是否达到要求，是则检测到目标并输出，否则返回步骤b4.2。
本发明具有以下有益效果：
(1)通过由移动部署单元和综合操控单元构成的态势感知系统，利用由多个沿圆周方向均匀设置的探测器模块的图像采集，实现了待测区域上方360空间的监视成像和态势感知，给出物体或目标自身各方向的状态和周边视景的相对方位角度信息，且全向视景可进一步辅助相关人员进行近距导航，不仅成像质量高，性能稳定，且集成度高，功能扩展方便，维护方便；同时，本发明可在横向360°范围内进行全景态势感知，使得信息获取更完善，感知能力得到较大提升，保障目标的有效运行工作；
(2)通过将全景视频处理模块设计为包括综合处理板和多个子处理板，子处理板分别与探测器模块一一对应连接，结构设计灵活，通用性强，能够满足模块化设计的要求，使算法的效率得到提高，且整个系统由开发到成型的时间短，硬件维护方便，可方便的进行功能扩展，能够满足高速信号处理的要求；
(3)通过将全景光学及通信控制单元设计为包括单片机和设置在单片机并行总线上的四通道串口扩展单元，视频发送光端机、倾角传感器和多个探测器模块分别通过四通道串口扩展单元连接单片机，实现了系统前、后端光学及通信控制功能，便于后续目标的检测、跟踪及全景视频的拼接融合，完成系统视频采集同步、优化成像效果、减轻后端图像处理压力，实现系统前后端的通讯链接；
(4)通过本发明所公开的态势感知方法，监视距离能够长达五公里，使得本发明拥有世界领先的作用距离指标，同时，综合运用多目标跟踪技术、图像增强及融合技术、全景图像拼接技术等先进技术，使得系统探测能力极强，能适用于动、静安装平台及各种恶劣环境和气候条件；
(5)通过在态势感知方法中采用多目标检测跟踪技术，能够解决360°视场范围内背景复杂、干扰多，以及飞机在整个过程中既有低、小、慢，又有高、大、快成像特性的目标实时稳定跟踪技术难题，实现了对多个目标的稳定跟踪提取。
附图说明
图1为本发明中态势感知系统的原理框图；
图2为图1中多探测器拼接全景监视模块的结构示意图；
图3为具体实施方式中全景光学与通信控制单元的结构原理框图；
图4为全景视觉的态势感知系方法中移动管道滤波跟踪算法的流程图。
具体实施方式
本发明公开了一种基于全景视觉的态势感知系统及方法。
基于全景视觉的态势感知系统包括移动部署单元和综合操控单元；
移动部署单元包括移动部署平台，移动部署平台上设有多探测器拼接全景监视模块、全景视频处理模块、全景视频监视控制机箱和视频发送光端机，全景视频监视控制机箱内设有全景光学与通信控制单元；视频发送光端机通过全景视频监视控制机箱和全景视频处理单元电连接多探测器拼接全景监视模块；
综合操控单元包括综合操控台，综合操控台上设有视频接收光端机、监控管理模块、网络交换机、网络视频服务单元、视频显示器和管理显示器；视频接收光端机通过四芯光纤与视频发送光端机连接，且视频接收光端机分别电连接监控管理模块、网络视频服务单元和视频显示器，监控管理模块分别电连接网络交换机和与管理显示器；
多探测器拼接全景监视模块包括安装架、倾角传感器和多个探测器模块，倾角传感器设置在安装架上，多个探测器模块沿圆周方向均匀设置在安装架上；探测器模块包括光学镜头和相机；
全景视频处理模块包括综合处理板和多个子处理板，子处理板分别与探测器模块一一对应连接，综合处理板与多个子处理板分别连接。
基于全景视觉的态势感知方法包括以下步骤：
A、每个探测器模块分别采集对应区域的单区域视频图像Ti，i＝1,2，…，N，N表示探测器模块数量；
B、在单区域视频图像Ti中进行多目标检测跟踪，获取第j个目标Xij的信息数据Aij；
C、提取信息数据Aij中的目标坐标Bij；
D、拼接单区域视频图像T1至单区域视频图像TN，获取全景视景图像；
E：将步骤C所得目标坐标Bij与全景视镜图像进行融合，获取Xij在全景视景图像中的态势信息。
为了更好地理解本发明，下面结合附图对本发明的技术方案做进一步说明。
如图1所示，本发明公开了一种基于全景视觉的态势感知系统，包括移动部署单元和综合操控单元；
移动部署单元包括移动部署平台，移动部署平台上设有多探测器拼接全景监视模块、全景视频处理模块、全景视频监视控制机箱和视频发送光端机；全景视频处理模块包括六块子处理板、一块综合处理板和一块视频处理底板，主要实现全景图像实时处理和全景视频拼接功能；全景视频监视控制机箱内设有全景光学与通信控制板，以实现系统的全景光学及通信控制功能；视频发送光端机通过全景视频监视控制机箱和全景视频处理单元电连接多探测器拼接全景监视模块。
如图2所示，多探测器拼接全景监视模块包括安装架、倾角传感器和六个探测器模块，倾角传感器设置在安装架上，六个探测器模块沿圆周方向均匀设置在安装架上；探测器模块主要完成360°监视成像，每个探测器模块均包括一组镜头、一台Camera Link接口的相机(即探测器)和相应的光控电路及同步电路组成。
本发明采用六个探测器，实现了监视视场的360°覆盖，每个探测器的实际有效视场为60°，考虑相邻探测器视场重合的需求，计算可以得出水平视场角需求为75°，镜头的光学参数如下：
靶面尺寸：1英寸
焦距：f＝8.3毫米，
探测器换算成视场角角度如下：
水平视场角：75°
垂直视场角：60°
经计算可知，系统监视水平视场角满足360°视场覆盖要求，垂直视场角满足5公里探测300米高度目标的视场角要求。
相机采用500万像素可见光CCD相机，使用了全局快门技术，具有高量子效率、宽动态范围和极低的噪音水平，使得探测器即使在光线条件不佳的情况下，也能实现非常高的成像质量。
全景视频处理模块的硬件组成优选采用多DSP+多FPGA的并串架构，以及一个视频综合处理板+多个视频子处理板的并行处理硬件架构，其主要优点是结构设计比较灵活，通用性强，能够满足模块化设计的要求，使算法的效率得到提高；而且整个系统由开发到成型的时间短，硬件维护方便，可方便的进行功能扩展，能够满足高速信号处理的要求。
子处理板采用FPGA+多DSP的设计方案，主要负责相对较为复杂的目标检测算法和视频抽样压缩，完成多目标检测和跟踪等功能。子处理板首先接收CCD相机发送的差分视频数据，而后由FPGA和DSP协同进行相应的信号处理，按系统要求进行图像处理和检测图像中的目标，并将视频图像压缩以备后续的拼接显示。
综合处理板主要负责对子板处理后的六路视频数据进行全景视频拼接、视频图像数据叠加转换、标准视频编码合成、串口数据收发等功能。视频综合处理板的硬件设计以单FPGA芯片为核心，同时还包括外部存储、视频输入、输出模块及相关外围器件。
综合操控单元包括综合操控台，综合操控台上设有视频接收光端机、监控管理计算机、网络交换机、网络视频服务单元、视频显示器和管理显示器；视频接收光端机通过四芯光纤与视频发送光端机连接，且视频接收光端机分别电连接监控管理计算机、网络视频服务单元和视频显示器，监控管理计算机分别电连接网络交换机和与管理显示器，网络视频服务单元采用网络视频压缩器，对视频文件进行压缩等处理，管理显示器配有人机交互配件，例如鼠标和键盘，或者采用具有触摸功能的管理显示器实现人机交互操作；为便于与外系统集成或与其他设备通信，系统预留网络交换机接口进行数据交换。
如图3所示，针对全景视觉态势感知系统需要同时与六个探测器模块、一个光端机和一个倾角传感器共八个设备进行通信的需求，本发明在全景光学与通信控制板上设计一种简单可靠的异步串口扩展方法，全景光学与通信控制板包括单片机和在单片机并行总线上设置的四通道扩展芯片TL16C754，以实现四串口通道的扩展。全景光学与通信控制板包括第一串口控制单元、第二串口控制单元、第三串口控制单元、第四串口控制单元和第五串口控制单元，第一串口控制单元至第五串口控制单元上均包括四个串口接口；第四串口控制单元、第二串口控制单元、第一串口控制单元、第三串口控制单元和第五串口控制单元依次连接，第一串口控制单元的两路串口分别连接上位机(即监控管理计算机)，两路串口中一路用于传输控制信号，另一路用于传输同步信号；第二串口控制单元、第三串口控制单元、第四串口控制单元和第五串口控制单元分别与六个探测器模块、一个光端机和一个倾角传感器连接。全景光学与通信控制板中的串口单元硬件通过级联，可选配4个至10个串口的的灵活配置模式，系统通用性极强，本实施例中实际只用了其中的8个串口通道，剩余两个备用接口用以扩展，用最简单的硬件连接和软件编程就能实现多路异步的串行通信，能满足系统实际功能要求。
通信控制系统中的单片机选用Microchip公司的高性能RISC微处理器PIC16F877A，内置POR和两种复位功能和上电延时定时器，一个看门狗定时器，3个定时器及2个CCP模块，程序存储器最多可到8K的字(14位宽)，数据存储器(RAM)最多到368的字节(8位)以及256字节的数据存储器。串口扩展芯片是TI公司的四通道扩展芯片TL16C754，该芯片引脚与微处理器PIC16F877A兼容，内置4套可独立工作的UART系统，最高波特率3Mbit/s，芯片内部具有64字节触发等级可控的FIFO。总线接口芯片是MAX485，它是一个标准的RS485半双工收发器，内含一个输出驱动器和一个信号接收器。
微处理器PIC16F877A与四通道扩展芯片TL16C754的配置原理是RE0-RE2连接A2-A0地址端，结合对四通道扩展芯片TL16C754的读、写及LCR的BI1_7用于选择TL16C754内置的各个寄存器，根据需要对其进行配置。RA0-RA2连接CSA-CSD，CPU根据约定的协议或者中断信号源选择相应的通道，发送或者接收相应通道的数据，并对这些数据进行处理。RB4-RB7连接INTA-INTD，TL16C754产生FIFO接收数据有效中断、超时中断、接收器线路状态中断、发送器保持寄存器空中断等中断时，将中断信号发给CPU，CPU收到中断信号后，进入相应的中断处理程序。RC0-RC2分别连接IOW，IOR及RESET，由CP控制所选TL16C754通道的写操作、读操作及内部寄存器复位操作。
本发明所述全景视觉态势感知系统的工作原理为：
目标进入全景视觉态势感知系统作用范围后，全景监视设备完成对指定区域的360°方向上的图像采集，通过全景视频处理模块生成全方位视景图像。全景视频处理模块在视频图像中搜索目标，并自动跟踪目标，监视其进入、运动、离开的全过程。基于全景视觉的态势感知系统具备目标提取、跟踪和方位测量、态势感知的能力，依赖多探测器的固定焦距和视场安装，根据目标在探测器靶面上的坐标信息，完成其空间相对位置解算和整体态势感知，并将全部数据信息上输出到综合操控台。
基于全景视觉的态势感知系统各单元上电初始化后，通过综合操控台管理计算机对其他单元模块进行管理、控制和配置；多探测器拼接全景监视模块采集的视频图像经高速视频接口传输至全景视频处理模块进行目标提取、跟踪和方位测量、全景图像拼接，并通过光端机输出目标方位数据及全景视频图像至综合操控台进行管理和显示；综合操控台还可以通过网络交换机与外部系统进行数据交换。
综合操控台的操作人员通过人机界面设定摄像机的控制参数和全景图像显示模式，并通过光端机传送至前端摄像机和全景视频处理模块，完成对摄像机的全自动调光控制和全景组合模式显示。此外，管理计算机人机界面还显示目标的方位信息，显示器显示目标运动的动态信息，并叠加其他数据，帮助相关人员掌握监视区域内的全局信息，辅助其完成全景监视和态势感知。
本发明还公开了一种基于上述态势感知系统的态势感知方法，包括以下步骤：
A、每个探测器模块分别采集对应区域的单区域视频图像Ti，i＝1,2，…，N，N表示探测器模块数量。
B、在单区域视频图像Ti中进行多目标检测跟踪，获取第j个目标Xij的信息数据Aij；
基于全景视觉的多目标跟踪技术，采用具有自主知识产权的帧间差分及偏微分方程组相结合的背景抑制算法和自适应阈值分割算法，辅以高斯滤波、多帧关联管道滤波，实现对多个目标的稳定跟踪提取。该技术解决了360°视场范围内背景复杂、干扰多和飞机在整个过程中即有低、小、慢又有高、大、快成像特性的目标实时稳定跟踪技术难题。
所述多目标检测跟踪包括以下步骤：
b1：采用背景抑制算法对输入图像进行背景抑制；背景抑制算法具体过程如下：
b1.1：目标信号空间位置及灰度值关系，将图像归纳为八种基本模型，用于描述图像中的背景、角点、边缘、边界、纹理、噪声、目标点及介于它们之间的疑似点；
b1.2：采用Perona-Malik偏微分模型对背景抑制过程进行规整化，用于从图像的八种基本模型中识别出目标，并进行增强，同时抑制和平滑其余类型；规整化过程等价于原始图像与局部自适应算子的卷积，具体公式如下：
公式(1)和(2)中，I和u分别为原始图像和背景抑制后图像，H为局部自适应算子，加权系数λE、λW、λN和λS分别为一阶邻域内四个方向上的扩散量。
由公式(1)和(2)可以看出，偏微分方程法综合考虑了一阶邻域内四个方向上灰度分布情况，并采用非线性处理方法凸显目标、抑制背景，因此该方法能较为准确地识别出目标，并对其加以有效增强。
b2：采用自适应阈值分割算法对输入图像进行自适应阈值分割，获取分割后的二值化图像；
背景抑制后的残差图像中含有目标、噪声和少量的背景泄漏，为了从残差图像中确定目标的数目和位置，必须对其进行阈值分割。
自适应阈值分割算法具体过程如下：
对于输入的背景抑制图像e(x,y)，定义阈值分割输出二值图像为
公式(3)中，T表示阈值。
本发明中采用基于均值方差的自适应阈值分割法。均值方差法能根据背景抑制图像的统计特性，利用该图像的均值和方差来确定阈值。该方法分割图像简单有效、易于实现，而且能够自适应获得阈值，具有较强的灵活性。
b3：采用目标聚类算法对分割后的二值化图像进行聚类分析处理，获取候选目标位置信息；
经过自适应阈值分割后，弱小目标有可能被分割为多个点，这样容易误判为多个目标。因此，通常需要根据目标的空间位置进行聚类合并处理。
目标聚类算法具体过程如下：
a)：选定同一个目标上的点；判定条件为：如果两个点之间的横坐标差和纵坐标差均小于10个像素，则将这两个点视为同一个目标上的点；
b)：将单区域视频图像上属于同一个目标的所有点的横坐标累加并求平均数，所得平均数即为目标的横坐标；
c)：将单区域视频图像上属于同一个目标的所有点的纵坐标累加并求平均数，所得平均数即为目标的纵坐标；
d)：步骤a)至步骤c)为一个目标的坐标信息确定方式，重复步骤a)至步骤c)并获取该单区域视频图像上所有目标的坐标信息。
b4：利用目标运动特性，对目标进行管道滤波，获取真实目标；管道滤波采用基于移动管道滤波的跟踪算法；
基于单帧图像的目标检测算法所检测出图像中的目标点，其中包含真实目标和噪声等因素引起的虚假目标，由此也通常可之称为疑似目标点。为了进一步降低虚警率，提高探测概率，这就需要对单帧检测所得到的结果进行进一步处理；
对于运动目标而言，目标的运动信息提供了一条重要的线索，由此可以利用目标轨迹关联方法，根据目标在空间运动的一致性和特征参数的一致性等成像特性，通过多帧数据关联可以进一步剔除虚警点，进而进一步降低目标检测算法的虚警概率，提高算法的检测概率。多帧关联目标检测算法在实际的工程应用中是一项不可缺少的技术手段，其在一定程度上弥补了单帧图像信息不足的劣势；
如图4所示，移动管道滤波跟踪算法的具体过程如下：
b4.1：输入序列图像；
b4.2：读图并检测单帧图像；
b4.3：输入候选目标；
b4.4：判定目标是否属于现有管道，是则更新现有管道发现目标次数，否则建立新管道；
b4.5：进行每个管道处理；
b4.6：判断目标出现次数是否达到要求，是则检测到目标并输出，否则返回步骤b4.2。
b5：跟踪真实目标并获取目标信息数据；目标信息数据包括坐标。
C、提取信息数据Aij中的目标坐标Bij；
D、拼接单区域视频图像T1至单区域视频图像TN，获取全景视景图像；
E：将步骤C所得目标坐标Bij与全景视镜图像进行融合，获取Xij在全景视景图像中的态势信息。
本发明采用多传感器拼接的图像处理技术，实现对指定区域的全方位电视监视和整体态势感知，具有大视场、全方位、一体化成像、整体态势感知等优点。本发明可应用在民事领域，包括机器人导航、监狱、核电站、民用机场等场合可实现区域内全方位监控，从全局和整体的高度监视和感知上述区域的人员、物体的状态和变化趋势，为相关人员快速掌控突发异常事件提供实时、直观的全景视频信息。该发明也可应用在军事领域，包括为坦克装甲车作战员、航母舰载机起降指挥员、驾驶战机空战的飞行员等提供更加全面的直观、可视化图像信息，从而实现态势感知、作战防御、指挥决策，军情处置等功能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种基于全景视觉的态势感知系统，其特征在于：包括移动部署单元和综合操控单元；
移动部署单元包括移动部署平台，移动部署平台上设有多探测器拼接全景监视模块、全景视频处理模块、全景视频监视控制机箱和视频发送光端机，全景视频监视控制机箱内设有全景光学与通信控制单元；视频发送光端机通过全景视频监视控制机箱和全景视频处理单元电连接多探测器拼接全景监视模块；
综合操控单元包括综合操控台，综合操控台上设有视频接收光端机、监控管理模块、网络交换机、网络视频服务单元、视频显示器和管理显示器；视频接收光端机通过四芯光纤与视频发送光端机连接，且视频接收光端机分别电连接监控管理模块、网络视频服务单元和视频显示器，监控管理模块分别电连接网络交换机和与管理显示器；
所述多探测器拼接全景监视模块包括安装架、倾角传感器和多个探测器模块，倾角传感器设置在安装架上，多个探测器模块沿圆周方向均匀设置在安装架上；探测器模块包括光学镜头和相机；
所述全景视频处理模块包括综合处理板和多个子处理板，子处理板分别与探测器模块一一对应连接，综合处理板与多个子处理板分别连接。
2.根据权利要求1所述的基于全景视觉的态势感知系统，其特征在于：所述全景光学与通信控制单元包括单片机和设置在单片机并行总线上的四通道串口扩展单元，视频发送光端机、倾角传感器和多个探测器模块分别通过四通道串口扩展单元连接单片机。
3.根据权利要求2所述的基于全景视觉的态势感知系统，其特征在于：所述四通道串口扩展单元型号采用TL16C754扩展芯片。
4.根据权利要求1所述的基于全景视觉的态势感知系统，其特征在于：所述探测器模块的数量为六个。
5.根据权利要求1或4所述的基于全景视觉的态势感知系统，其特征在于：所述相机采用500万像素可见光CCD相机。
6.一种基于权利要求1所述基于全景视觉的态势感知系统的态势感知方法，其特征在于：包括以下步骤：
A、每个探测器模块分别采集对应区域的单区域视频图像Ti，i＝1,2，…，N，N表示探测器模块数量；
B、在单区域视频图像Ti中进行多目标检测跟踪，获取第j个目标Xij的信息数据Aij；所述多目标检测跟踪包括以下步骤：
b1：采用背景抑制算法对输入图像进行背景抑制；
b2：采用自适应阈值分割算法对输入图像进行自适应阈值分割，获取分割后的二值化图像；
b3：采用目标聚类算法对分割后的二值化图像进行聚类分析处理，获取候选目标位置信息；
b4：利用目标运动特性，对目标进行管道滤波，获取真实目标；
b5：跟踪真实目标并获取目标信息数据；目标信息数据包括坐标；
C、提取信息数据Aij中的目标坐标Bij；
D、拼接单区域视频图像T1至单区域视频图像TN，获取全景视景图像；
E：将步骤C所得目标坐标Bij与全景视镜图像进行融合，获取Xij在全景视景图像中的态势信息。
7.根据权利要求6所述的基于全景视觉的态势感知系统和方法，其特征在于：所述步骤b1中的背景抑制算法具体过程如下：
b1.1：目标信号空间位置及灰度值关系，将图像归纳为八种基本模型，用于描述图像中的背景、角点、边缘、边界、纹理、噪声、目标点及介于它们之间的疑似点；
b1.2：采用Perona-Malik偏微分模型对背景抑制过程进行规整化，用于从图像的八种基本模型中识别出目标，并进行增强，同时抑制和平滑其余类型；规整化过程等价于原始图像与局部自适应算子的卷积，具体公式如下：
公式(1)和(2)中，I和u分别为原始图像和背景抑制后图像，H为局部自适应算子，加权系数λE、λW、λN和λS分别为一阶邻域内四个方向上的扩散量。
8.根据权利要求6所述的基于全景视觉的态势感知系统和方法，其特征在于：所述步骤b2中自适应阈值分割算法具体过程如下：
对于输入的背景抑制图像e(x,y)，定义阈值分割输出二值图像为
公式(3)中，T表示阈值。
9.根据权利要求6所述的基于全景视觉的态势感知系统和方法，其特征在于：所述步骤b3中目标聚类算法具体过程如下：
a)选定同一个目标上的点；判定条件为：如果两个点之间的横坐标差和纵坐标差均小于10个像素，则将这两个点视为同一个目标上的点；
b)将单区域视频图像上属于同一个目标的所有点的横坐标累加并求平均数，所得平均数即为目标的横坐标；
c)将单区域视频图像上属于同一个目标的所有点的纵坐标累加并求平均数，所得平均数即为目标的纵坐标；
d)步骤a)至步骤c)为一个目标的坐标信息确定方式，重复步骤a)至步骤c)并获取该单区域视频图像上所有目标的坐标信息。
10.根据权利要求6所述的基于全景视觉的态势感知系统和方法，其特征在于：所述步骤b4中管道滤波采用基于移动管道滤波的跟踪算法；具体过程如下：
b4.1：输入序列图像；
b4.2：读图并检测单帧图像；
b4.3：输入候选目标；
b4.4：判定目标是否属于现有管道，是则更新现有管道发现目标次数，否则建立新管道；
b4.5：进行每个管道处理；
b4.6：判断目标出现次数是否达到要求，是则检测到目标并输出，否则返回步骤b4.2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633130.3A CN109657639A (zh) | 2018-12-29 | 2018-12-29 | 一种基于全景视觉的态势感知系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633130.3A CN109657639A (zh) | 2018-12-29 | 2018-12-29 | 一种基于全景视觉的态势感知系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109657639A true CN109657639A (zh) | 2019-04-19 |
Family
ID=66118275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811633130.3A Pending CN109657639A (zh) | 2018-12-29 | 2018-12-29 | 一种基于全景视觉的态势感知系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657639A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807773A (zh) * | 2019-11-12 | 2020-02-18 | 中广核检测技术有限公司 | 一种核电站表面缺陷全景图像检测方法 |
| CN111813996A (zh) * | 2020-07-22 | 2020-10-23 | 四川长虹电器股份有限公司 | 基于单帧和连续多帧抽样并行的视频搜索方法 |
| CN112116068A (zh) * | 2020-08-27 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种环视图像拼接方法、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761731A (zh) * | 2014-01-02 | 2014-04-30 | 河南科技大学 | 一种基于非下采样轮廓波变换的红外空中小目标检测方法 |
| CN209182844U (zh) * | 2018-12-29 | 2019-07-30 | 中国电子科技集团公司第二十七研究所 | 一种基于全景视觉的态势感知系统 |
-
2018
- 2018-12-29 CN CN201811633130.3A patent/CN109657639A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761731A (zh) * | 2014-01-02 | 2014-04-30 | 河南科技大学 | 一种基于非下采样轮廓波变换的红外空中小目标检测方法 |
| CN209182844U (zh) * | 2018-12-29 | 2019-07-30 | 中国电子科技集团公司第二十七研究所 | 一种基于全景视觉的态势感知系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张长江等: "一种全景监视及多目标跟踪系统设计", 《光学与光电技术》, vol. 16, no. 3, 30 June 2018 (2018-06-30), pages 79 - 83 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807773A (zh) * | 2019-11-12 | 2020-02-18 | 中广核检测技术有限公司 | 一种核电站表面缺陷全景图像检测方法 |
| CN110807773B (zh) * | 2019-11-12 | 2023-04-11 | 中广核检测技术有限公司 | 一种核电站表面缺陷全景图像检测方法 |
| CN111813996A (zh) * | 2020-07-22 | 2020-10-23 | 四川长虹电器股份有限公司 | 基于单帧和连续多帧抽样并行的视频搜索方法 |
| CN111813996B (zh) * | 2020-07-22 | 2022-03-01 | 四川长虹电器股份有限公司 | 基于单帧和连续多帧抽样并行的视频搜索方法 |
| CN112116068A (zh) * | 2020-08-27 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种环视图像拼接方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657639A (zh) | 一种基于全景视觉的态势感知系统和方法 | |
| CN102507592A (zh) | 表面缺陷仿蝇视觉在线检测装置及检测方法 | |
| CN111679271B (zh) | 目标跟踪方法、装置、监控系统及存储介质 | |
| CN107976685B (zh) | 一种基于物联网的红外传感器室内人体目标跟踪系统 | |
| CN111369539B (zh) | 一种基于多特征图融合的建筑立面窗户检测系统 | |
| CN106845410B (zh) | 一种基于深度学习模型的火焰识别方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN114694011A (zh) | 一种基于多传感器融合的透雾目标检测方法及装置 | |
| CN117252868B (zh) | 基于机器视觉的直流屏缺陷检测方法 | |
| CN104302016A (zh) | 一种基于多功能复合式传感器的无线传感网架构 | |
| CN102306274A (zh) | 一种停车位状态识别装置及方法 | |
| CN109461173A (zh) | 一种用于时域视觉传感器信号处理的快速角点检测方法 | |
| CN105516661B (zh) | 鱼眼相机与ptz相机相结合的主从目标监控方法 | |
| CN114266299A (zh) | 基于无人机作业的铁路桥梁钢结构缺陷检测方法及系统 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN109948474A (zh) | Ai热成像全天候智能监控方法 | |
| CN114966714A (zh) | 视窗遮挡检测方法及装置 | |
| CN209182844U (zh) | 一种基于全景视觉的态势感知系统 | |
| CN115035470A (zh) | 一种基于混合视觉的低小慢目标识别与定位方法及系统 | |
| CN116699602A (zh) | 一种基于毫米波雷达和相机融合的目标检测系统及方法 | |
| CN109064444A (zh) | 基于显著性分析的轨道板病害检测方法 | |
| CN117523437A (zh) | 一种用于变电站近电作业现场实时风险识别方法 | |
| CN216647401U (zh) | 一种安全帽识别装置 | |
| CN103268586B (zh) | 一种基于热扩散理论的窗融合方法 | |
| CN115578664A (zh) | 一种基于视频监控的应急事件判定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |