CN111091088A - 一种视频卫星信息支援海上目标实时检测定位系统及方法 - Google Patents

一种视频卫星信息支援海上目标实时检测定位系统及方法 Download PDF

Info

Publication number
CN111091088A
CN111091088A CN201911273637.7A CN201911273637A CN111091088A CN 111091088 A CN111091088 A CN 111091088A CN 201911273637 A CN201911273637 A CN 201911273637A CN 111091088 A CN111091088 A CN 111091088A
Authority
CN
China
Prior art keywords
video
coordinate system
target
representing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911273637.7A
Other languages
English (en)
Other versions
CN111091088B (zh
Inventor
夏鲁瑞
张占月
肖龙龙
胡敏
潘升东
薛武
李森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Engineering University
Original Assignee
Space Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Engineering University filed Critical Space Engineering University
Priority to CN201911273637.7A priority Critical patent/CN111091088B/zh
Publication of CN111091088A publication Critical patent/CN111091088A/zh
Application granted granted Critical
Publication of CN111091088B publication Critical patent/CN111091088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频卫星信息支援海上目标实时检测定位系统及方法，所述定位系统包括视频采集卡、服务器、目标检测定位系统和显示终端，目标检测定位系统包括视频分割模块、目标检测模块、定位解算模块、结果标注模块和实时播放模块。本发明首先通过视频采集卡将模拟视频图像转换为数字视频图像，再利用视频分割模块将视频图像分割为帧序列图像，然后通过目标检测模块和定位解算模块对分割后的帧序列图像目标进行实时检测和定位，同时利用结果标注模块对定位目标及场景进行标注，最后通过实时播放模块合成为视频图像并进行实时播放显示，实现了对视频卫星成像的海上目标进行准确定位，具有检测及时、定位及时、播放及时和结果显示直观的特点。

Description

一种视频卫星信息支援海上目标实时检测定位系统及方法
技术领域
本发明涉及到航天信息支援海上目标检测定位技术领域，尤其涉及一种视频卫星信 息支援海上目标实时检测定位系统及方法。
背景技术
加强对海上移动目标监视系统的发展建设，这对于维护国家安全、维护国民利益有 着重要意义。卫星具有大范围、近实时、不受领空限制的独特优势，是人类感知茫茫大海的一种重要手段。
海上目标监视要求卫星具备快速探测跟踪动态目标、对重点区域敏感目标连续监视 的能力。视频卫星作为一种新型对地观测卫星，目前发展迅速，国内外已有多个在轨应用的视频卫星，如天空卫星(SkySat)和天拓-2等。与传统遥感卫星相比，视频卫星的 特点是可以对某一区域进行“凝视”观测，以“视频录像”方式实时获取动态信息，并 实时传输至用户，特别适于监视动态目标，分析目标位置变化特性。
现有技术中已经公开了一种基于视频卫星信息支援海上移动目标实时检测的方法， 通过视频卫星获取PAL制式视频数据，并将该PAL制式视频数据解析为帧序列图像，然后基于SVM分类器对帧序列图像进行海陆分割，并采用自适应滤波实现目标的粗检测， 最后通过AdaBoost法训练若干弱分类器，并将所有训练的弱分类器联合以构成一个强 分类器，通过所述强分类器对获取的潜在目标进行确认，实现了所述帧序列图像中的目 标检测。虽然本方法能够实时检测到海上移动目标，但是并没有对图像中的海上目标进 行定位的研究。
鉴于此，研究一种能够准确定位的视频卫星信息支援海上目标实时检测定位系统及 方法是本技术领域人员亟待解决的技术问题。
发明内容
本发明的目的是提供一种视频卫星信息支援海上目标实时检测定位系统及方法，通 过所述实时检测定位系统及方法能够对视频卫星检测到的海上目标进行准确定位。
为解决上述技术问题，本发明提供一种视频卫星信息支援海上目标实时检测定位系 统，包括：
视频采集卡，用于采集视频卫星拍摄并下传的PAL制式视频图像，转化成数字视频图像；
服务器，与视频采集卡连接，且所述服务器中设有用于对所述数字视频图像进行目 标检测和定位的目标检测定位系统，所述目标检测定位系统包括：
视频分割模块，用于对数字视频图像进行解析并分割成帧序列图像数据；
目标检测模块，用于对视频分割模块分割的每一帧序列图像数据的目标进行检测， 并将当前帧中每一个目标的像素坐标进行传输；
定位解算模块，用于接收目标检测模块传输的目标像素坐标并进行定位，通过坐标 转换计算获取帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序列图 像中的北方向信息；
结果标注模块，根据目标检测模块和定位解算模块的处理结果，对帧序列图像的中 心点和目标位置经纬度，以及北方向信息进行标注并存储；
实时播放模块，用于将标注后的帧序列图像合成视频文件并进行存储、播放和传输；
显示终端，用于接收并显示实时播放模块所传输的视频文件。
作为上述技术方案的进一步优化，所述实时播放模块包括视频编码器以及通过内部 网络与视频编码器连接通信的视频解码器，所述视频编码器和视频解码器用于帧序列视 频图像数据的远程传输以实现远程传输播放。
一种视频卫星信息支援海上目标实时检测定位方法，包括上述视频卫星信息支援海 上目标实时检测定位系统，至少包含以下步骤：
S1、通过视频采集卡获取视频卫星拍摄的PAL制式视频数据并转化为数字视频图像， 然后利用视频分割模块将数字视频图像数据进行解析分割，得到一系列帧序列图像；
S2、通过目标检测模块分别对所述步骤S1得到的所有帧序列图像中的目标进行检测，并将当前帧中每一个目标的像素坐标传输给定位解算模块进行定位，利用定位解算 模块计算获取当前帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序 列图像中的北方向信息；
S3、根据所述步骤S2对每一帧序列图像的处理结果，利用结果标注模块对每一帧序 列图像的中心点和目标位置经纬度，以及北方向信息进行标注；
S4、将所述步骤S3标注后的帧序列图像合成视频文件进行存储和实时播放。
作为上述技术方案的进一步优化，所述步骤S2中通过目标检测模块对帧序列图像中 的目标进行检测的具体实现方法包括：
S21、通过构建SVM分类器对所述帧序列图像进行海陆分割；
S22、通过自适应滤波法快速获取经过海陆分割后的帧序列图像中所有潜在目标的 位置；
S23、通过AdaBoost法训练若干弱分类器，并将所有训练的弱分类器联合以构成一个强分类器，然后所述强分类器对所述步骤S22中获取的潜在目标进行确认，实现了所 述帧序列图像中的目标检测。
作为上述技术方案的进一步优化，所述步骤S2中通过定位解算模块对每一个目标的 像素坐标进行定位的具体实现方法包括：
S24、根据视频卫星轨道两行根数确定轨道预报时间段，生成所述轨道预报时间段内的轨道数据；
S25、根据所述轨道预报时间段的视频卫星影像成像时间，采用插值法计算轨道预报时间段内可用于图像几何定位的视频卫星轨道数据和姿态数据；
S26、建立瞬时摄影坐标系到协议地心坐标系的共线方程，并通过输入目标点像素坐标计算出目标点的地理坐标。
作为上述技术方案的进一步优化，所述步骤S24中采用轨道动力学模型来计算视频 卫星轨道数据，进而得到视频卫星在轨飞行状态下的所述轨道预报时间段内的轨道预报 数据，其轨道动力学模型可表示为：
F＝F0+FE+FN+FA+FT+FY (1)
式(1)中，F0表示地球质心引力，FE表示地球引力，FN表示太阳和月球引力，FA表示太阳辐射压力，FT表示大气阻力Y轴偏差，FY表示地球潮汐附加力。
作为上述技术方案的进一步优化，所述步骤S25中采用拉格朗日插值法计算视频卫 星轨道数据，以及采用线性插值法计算视频卫星姿态数据。
作为上述技术方案的进一步优化，所述拉格朗日插值法采用插值时刻t的前三条数 据和后一条数据计算视频卫星轨道数据，其计算公式可表示为：
Figure BDA0002314919390000031
Figure BDA0002314919390000041
式(2)和式(3)中，p(t)表示视频卫星的位置坐标，ν(t)表示视频卫星的速度坐标，t表示景中心时刻，q、n表示时刻的序号，t1、t2、t3、t4表示景中心时刻t的前四个 时间点，t5、t6、t7、t8表示景中心时刻t的后四个时间点；
所述线性插值法采用插值时刻的前后两条数据计算视频卫星姿态数据，其计算公式 可表示为：
Figure BDA0002314919390000042
Figure BDA0002314919390000043
Figure BDA0002314919390000044
式(4)、式(5)和式(6)中，ω表示视频卫星的俯仰角，
Figure BDA0002314919390000045
表示视频卫星的滚动 角，κ表示视频卫星的偏航角，且tq≤t≤tq+1。
作为上述技术方案的进一步优化，所述步骤S26的具体实现方法包括：
S261、将瞬时摄影坐标系转换为协议地心坐标系，并计算出帧序列图像中的点在协 议地心坐标系中的主光轴单位向量，可用公式表示：
Figure BDA0002314919390000046
式(7)中，
Figure BDA0002314919390000047
表示帧序列图像中的点在协议地心坐标系中的坐标，M表示转 换矩阵，
Figure BDA0002314919390000051
m表示转换矩阵中的元素代号，M1表示 瞬时摄影坐标系转换为卫星本体坐标系的第一转换矩阵，
Figure BDA0002314919390000052
α表 示像元主光轴与Zb之间的夹角，
Figure BDA0002314919390000053
yb表示帧序列图像的像素列坐标，f1表示 视频卫星的相机光学系统焦距，M2表示卫星本体坐标系转换为轨道坐标系的第二转换 矩阵，
Figure BDA0002314919390000054
M3表示轨道坐标系 转换为J2000坐标系的第三转换矩阵，
Figure BDA0002314919390000055
其中 Ω表示升交点赤经，β表示轨道倾角，U表示从升交点算起的幅角，M4表示J2000坐标 系转换为协议地心坐标系的第四转换矩阵，M4＝B2×B1×N×A，其中，A表示岁差改 正矩阵，N表示章动改正矩阵，B1表示格林威治真恒星时改正矩阵，B2表示极移改正 矩阵，将M值代入式(7)计算，可得所述帧序列图像中的点在协议地心坐标系中的主 光轴单位向量
Figure BDA0002314919390000056
S262、建立瞬时摄影坐标系到协议地心坐标系的共线方程，可用公式表示：
Figure BDA0002314919390000057
Figure BDA0002314919390000061
式(8)和式(9)中，(x,y,f2)表示像点在瞬时摄影坐标系下的坐标，f2表示相机 的主距，σ表示缩放比例，(XM,YM,ZM)表示像点对应物方点在协议地心坐标系下的坐 标，(XSat(t)，YSat(t)，ZSat(t))表示该像点成像时刻视频卫星的位置，
Figure BDA0002314919390000062
表示瞬时摄影坐 标系到星敏感器坐标系的转换矩阵，
Figure BDA0002314919390000063
表示星敏感器坐标系到J2000坐标系的转换矩 阵，
Figure BDA0002314919390000064
表示J2000坐标系到协议地心坐标系的转换矩阵，
Figure BDA0002314919390000065
表示瞬时摄影坐标系 到卫星本体坐标系的转换矩阵，
Figure BDA0002314919390000066
表示卫星本体坐标系到轨道坐标系的转换矩阵，
Figure BDA0002314919390000067
表示轨道坐标系到J2000坐标系的转换矩阵；
S263、根据所述步骤S262建立的共线方程，输入目标点的像素坐标进而计算出目标 点的地理位置，根据矢量关系可得：
Figure BDA0002314919390000068
式(10)中，
Figure BDA0002314919390000069
表示帧序列图像中像元对应的地面目标点在协议地心坐标系中的坐标，
Figure BDA00023149193900000610
ae表示地球长半轴，be表示地球短半轴，λ表示地心 经度，φ表示地心纬度，
Figure BDA00023149193900000611
表示摄影时刻视频卫星的预报位置，
Figure BDA00023149193900000612
μ表示比 例因子，
将
Figure BDA00023149193900000613
的值代入式(10)，则变换为：
Aμ2+Bμ+C＝0 (11)
式(11)中，
Figure BDA00023149193900000614
取μ的最小解，则由式(11)可得：
Figure BDA0002314919390000071
将式(12)求得的μ值代入式(10)中，从而可得到地心经度λ、地心纬度φ和大 地纬度Φ，可用公式表示为：
Figure BDA0002314919390000072
Figure BDA0002314919390000073
Figure BDA0002314919390000074
式(13)中，当
Figure BDA0002314919390000075
时，λ＝λ+π，式(15)中，e为常数。
作为上述技术方案的进一步优化，所述步骤S3得到的帧序列图像通过自适应邻域图 像增强法改善图像质量后再合成视频文件，帧序列图像中增强后的像素值可用公式表示 为：
Figure BDA0002314919390000076
式(16)中，γ表示增强系数，I(i,j)表示像素坐标处的灰度值，
Figure BDA0002314919390000077
表示帧序列图像中p×p邻域窗口内所有像素灰度的平 均值，(xb,yb)表示像素所在位置的行列坐标，S(i,j,p)表示帧序列图像中像素I(i,j)的 p×p邻域窗口内行列坐标集合，i表示行序号，j表示列序号，p表示邻域窗口大小。
与现有技术比较，本发明通过视频采集卡采集下传视频卫星拍摄的海上目标PAL制 式视频图像并转化为数字视频图像，利用视频分割模块将数字视频图像解析分割为帧序 列图像，然后利用所述目标检测模块和定位解算模块对帧序列图像中的目标进行检测和 定位，进而通过计算获取帧序列图像的中心点和目标位置经纬度信息，以及帧序列图像中的北方向信息并进行标注存储，实现了对视频卫星检测的海上目标进行准确定位，不 仅对检测目标定位及时，而且定位精度高。
附图说明
图1是本发明一种视频卫星信息支援海上目标实时检测定位系统的结构框图，
图2是本发明一种视频卫星信息支援海上目标实时检测定位方法流程图，
图3是本发明中目标检测模块对帧序列图像中的目标进行检测的方法流程图，
图4是本发明中定位解算模块对每一个目标的像素坐标进行定位的方法流程图，
图5是本发明中获取帧序列图像中目标点对应地理坐标的方法流程图，
图6是本发明中视频卫星面阵CCD成像示意图。
图中：1.视频卫星，2.视频采集卡，3.服务器，41.视频分割模块，42.目标检测模块，43.定位解算模块，44.结果标注模块，45.实时播放模块，61.视频编码器，62.视 频解码器，5.显示终端。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作 进一步的详细说明。
参见图1，图1为本发明提供的一种视频卫星信息支援海上目标实时检测定位系统的结构框图。
一种视频卫星信息支援海上目标实时检测定位系统，包括：
视频采集卡2，用于采集视频卫星1拍摄并下传的PAL制式视频图像，转化成数字视频图像；
服务器3，与视频采集卡2连接，且所述服务器3中设有用于对所述数字视频图像进行目标检测和定位的目标检测定位系统，所述目标检测定位系统包括：
视频分割模块41，用于对数字视频图像进行解析并分割成帧序列图像数据；
目标检测模块42，用于对视频分割模块41分割的每一帧序列图像数据的目标进行检 测，并将当前帧中每一个目标的像素坐标进行传输；
定位解算模块43，用于接收目标检测模块42传输的目标像素坐标，通过坐标转换计 算获取帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序列图像中的 北方向信息；
结果标注模块44，根据目标检测模块42和定位解算模块43的处理结果，对帧序列图 像的中心点和目标位置经纬度，以及北方向信息进行标注并存储；
实时播放模块45，用于将标注后的帧序列图像合成视频文件并进行存储、播放和传 输；
显示终端5，用于接收并显示实时播放模块45所传输的视频文件。
本实施例中，通过视频采集卡2将视频卫星1拍摄的海上目标PAL制式视频图像转换 为数字视频图像并传输给服务器3进行处理，服务器3利用视频分割模块41将数字视频图 像解析分割为帧序列图像，然后利用所述目标检测模块42和定位解算模块43对分割后的 帧序列图像进行目标实时检测和实时定位，进而通过坐标转换计算获取帧序列图像中心 点和目标位置经纬度信息，以及帧序列图像中的北方向信息，同时对所获取的信息进行标注存储，最后通过实时播放模块45把标注过的帧序列图像合成视频图像在显示终端5 上进行实时播放显示，从而实现了对视频卫星成像的海上目标进行准确定位，不仅对目 标检测及时、定位及时和播放及时，而且定位精度高、结果直观。本实施例中，所述视 频采集卡2通过PCI-E接口与服务器3连接。
如图1所示，所述实时播放模块45包括视频编码器61以及通过内部网络与视频编码 器61连接通信的视频解码器62，所述视频编码器61和视频解码器62用于帧序列视频图像 数据的远程传输以实现远程传输播放。
本实施例中，所述视频编码器61与服务器3的输出视频连接，视频解码器62与显示终端5连接，视频编码器61与视频解码器62通过内部通信网络连接，从而实现了对所述 服务器3处理后视频文件进行编码解码传输并远程实时播放。
如图2所示，一种视频卫星信息支援海上目标实时检测定位方法，包括上述视频卫星信息支援海上目标实时检测定位系统，至少包含以下步骤：
S1、通过视频采集卡获取视频卫星拍摄的PAL制式视频数据并转化为数字视频图像， 然后利用视频分割模块将数字视频图像数据进行解析分割，得到一系列帧序列图像；
S2、通过目标检测模块分别对所述步骤S1得到的所有帧序列图像中的目标进行检测，并将当前帧中每一个目标的像素坐标传输给定位解算模块进行定位，利用定位解算 模块计算获取当前帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序 列图像中的北方向信息；
S3、根据所述步骤S2对每一帧序列图像的处理结果，利用结果标注模块对每一帧序 列图像的中心点和目标位置经纬度，以及北方向信息进行标注；
S4、将所述步骤S3标注后的帧序列图像合成视频文件进行存储和实时播放。
本实施例中，首先通过视频采集卡采集下传视频卫星拍摄的海上目标PAL制式视频 图像并转化为数字视频图像，然后利用视频分割模块将数字视频图像解析分割为帧序列 图像，通过目标检测模块和定位解算模块对分割后帧序列图像中的目标进行实时检测和 实时定位，进而通过坐标转换计算获取帧序列图像中心点和目标像素位置对应的地球经 纬度信息，以及帧序列图像中的北方向信息，同时对所获取的信息进行标注存储，最后将标注后的帧序列图像合成视频文件进行传输播放，实现了对视频卫星检测的海上目标进行准确定位，不仅对检测目标定位及时，而且定位精度高、结果直观。
如图3所示，所述步骤S2中通过目标检测模块对帧序列图像中的目标进行检测的具 体实现方法包括：
S21、通过构建SVM分类器对所述帧序列图像进行海陆分割；
S22、通过自适应滤波法快速获取经过海陆分割后的帧序列图像中所有潜在目标的 位置；
S23、通过AdaBoost法训练若干弱分类器，并将所有训练的弱分类器联合以构成一个强分类器，然后所述强分类器对所述步骤S22中获取的潜在目标进行确认，实现了所 述帧序列图像中的目标检测。
本实施例中，通过构建SVM(Support Vector Machine，支持向量机)分类器实现了对帧序列图像的海陆分割，然后利用自适应滤波法快速对经过海陆分割后的帧序列图像中目标船只及潜在目标船只准确定位，最后采用AdaBoost法对所定位的目标船只及潜在目标船只进行确认，剔除检测结果中的虚警，确定所选择的结果确实只存在船只目标。本实施例中，考虑到系统运行的实时性，故采用局部邻域块的统计特征来构建滤波器， 船只目标的最大长度、最小长度和单帧画面中最多目标数量均可动态设置。
如图4所示，所述步骤S2中通过定位解算模块对每一个目标的像素坐标进行定位的 具体实现方法包括：
S24、根据视频卫星轨道两行根数确定轨道预报时间段，生成所述轨道预报时间段内的轨道数据；
S25、根据所述轨道预报时间段的视频卫星影像成像时间，采用插值法计算轨道预报时间段内可用于图像几何定位的视频卫星轨道数据和姿态数据；
S26、建立瞬时摄影坐标系到协议地心坐标系的共线方程，并通过输入目标点像素坐标计算出目标点的地理坐标。
本实施例中，为了实现帧序列图像中每一个目标的像素坐标的准确定位，首先确定 视频卫星预报时间段的影像成像时间，并生成该时间段的轨道数据，然后根据该时间段的影像成像时间计算出视频卫星的轨道数据和姿态数据，最后通过建立瞬时摄影坐标系到协议地心坐标系的共线方程，输入帧序列图像中目标的像素坐标即可计算出该目标点的地理坐标。
如图4所示，所述步骤S24中采用轨道动力学模型来计算视频卫星轨道数据，进而得 到视频卫星在轨飞行状态下的所述轨道预报时间段内的轨道预报数据，其轨道动力学模 型可表示为：
F＝F0+FE+FN+FA+FT+FY (1)
式(1)中，F0表示地球质心引力，FE表示地球引力，FN表示太阳和月球引力，FA表示太阳辐射压力，FT表示大气阻力Y轴偏差，FY表示地球潮汐附加力。
本实施例中，在计算视频卫星绕地球飞行过程中每一时刻的位置所生成的视频卫星 轨道数据时，需要考虑包括重力场摄动改正、太阳光压摄动改正、固体潮摄动改正、N 体摄动改正、极潮摄动改正、大气摄动改正、海潮摄动改正等轨道摄动影响因素，鉴于 精度的需要和时间耗费，本实施例中考虑的视频卫星所受的作用力包括地球质心引力、 地球引力、太阳和月球引力、太阳辐射压力、大气阻力Y轴偏差和地球潮汐附加力，其 中地球质心引力是最主要的，其次是地球引力，如果将地球质心引力设为1，地球引力 可达10-3量级，而其他摄动力均在10-6量级以下。
如图4所示，所述步骤S25中采用拉格朗日插值法计算视频卫星轨道数据，以及采用 线性插值法计算视频卫星姿态数据。
如图4所示，所述拉格朗日插值法采用插值时刻t的前三条数据和后一条数据计算视 频卫星轨道数据，其计算公式可表示为：
Figure BDA0002314919390000111
Figure BDA0002314919390000121
式(2)和式(3)中，p(t)表示视频卫星的位置坐标，ν(t)表示视频卫星的速度坐标，t表示景中心时刻，q、n表示时刻的序号，t1、t2、t3、t4表示景中心时刻t的前四个 时间点，t5、t6、t7、t8表示景中心时刻t的后四个时间点；
如图4所示，所述线性插值法采用插值时刻的前后两条数据计算视频卫星姿态数据， 其计算公式可表示为：
Figure BDA0002314919390000122
Figure BDA0002314919390000123
Figure BDA0002314919390000124
式(4)、式(5)和式(6)中，ω表示视频卫星的俯仰角，
Figure BDA0002314919390000125
表示视频卫星的滚动 角，κ表示视频卫星的偏航角，且tq≤t≤tq+1。
本实施例中，通过拉格朗日插值法和线性插值法计算出用于图像几何定位的视频卫 星轨道数据和姿态角数据。在其他实施例中，也可以采用其他插值法进行计算。
如图5、图6所示，所述步骤S26的具体实现方法包括：
S261、将瞬时摄影坐标系转换为协议地心坐标系，并计算出帧序列图像中的点在协 议地心坐标系中的主光轴单位向量，可用公式表示：
Figure BDA0002314919390000126
式(7)中，
Figure BDA0002314919390000127
表示帧序列图像中的点在协议地心坐标系中的坐标，M表示转 换矩阵，
Figure BDA0002314919390000131
m表示转换矩阵中的元素代号，M1表示 瞬时摄影坐标系转换为卫星本体坐标系的第一转换矩阵，
Figure BDA0002314919390000132
α表 示像元主光轴与Zb之间的夹角，
Figure BDA0002314919390000133
yb表示帧序列图像的像素列坐标，f1表示 视频卫星的相机光学系统焦距，M2表示卫星本体坐标系转换为轨道坐标系的第二转换 矩阵，
Figure BDA0002314919390000134
M3表示轨道坐标系 转换为J2000坐标系的第三转换矩阵，
Figure BDA0002314919390000135
其中 Ω表示升交点赤经，β表示轨道倾角，U表示从升交点算起的幅角，M4表示J2000坐标 系转换为协议地心坐标系的第四转换矩阵，M4＝B2×B1×N×A，其中，A表示岁差改 正矩阵，N表示章动改正矩阵，B1表示格林威治真恒星时改正矩阵，B2表示极移改正 矩阵，将M值代入式(7)计算，可得所述帧序列图像中的点在协议地心坐标系中的主 光轴单位向量
Figure BDA0002314919390000136
S262、建立瞬时摄影坐标系到协议地心坐标系的共线方程，可用公式表示：
Figure BDA0002314919390000137
Figure BDA0002314919390000141
式(8)和式(9)中，(x,y,f2)表示像点在瞬时摄影坐标系下的坐标，f2表示相机 的主距，σ表示缩放比例，(XM,YM,ZM)表示像点对应物方点在协议地心坐标系下的坐 标，(XSat(t)，YSat(t)，ZSat(t))表示该像点成像时刻视频卫星的位置，
Figure BDA0002314919390000142
表示瞬时摄影坐 标系到星敏感器坐标系的转换矩阵，
Figure BDA0002314919390000143
表示星敏感器坐标系到J2000坐标系的转换矩 阵，
Figure BDA0002314919390000144
表示J2000坐标系到协议地心坐标系的转换矩阵，
Figure BDA0002314919390000145
表示瞬时摄影坐标系 到卫星本体坐标系的转换矩阵，
Figure BDA0002314919390000146
表示卫星本体坐标系到轨道坐标系的转换矩阵，
Figure BDA0002314919390000147
表示轨道坐标系到J2000坐标系的转换矩阵；
S263、根据所述步骤S262建立的共线方程，输入目标点的像素坐标进而计算出目标 点的地理位置，根据矢量关系可得：
Figure BDA0002314919390000148
式(10)中，
Figure BDA0002314919390000149
表示帧序列图像中像元对应的地面目标点在协议地心坐标系中的坐标，
Figure BDA00023149193900001410
ae表示地球长半轴，be表示地球短半轴，λ表示地心 经度，φ表示地心纬度，
Figure BDA00023149193900001411
表示摄影时刻视频卫星的预报位置，
Figure BDA00023149193900001412
μ表示比 例因子，
将
Figure BDA00023149193900001413
的值代入式(10)，则变换为：
Aμ2+Bμ+C＝0 (11)
式(11)中，
Figure BDA00023149193900001414
取μ的最小解，则由式(11)可得：
Figure BDA0002314919390000151
将式(12)求得的μ值代入式(10)中，从而可得到地心经度λ、地心纬度φ和大 地纬度Φ，可用公式表示为：
Figure BDA0002314919390000152
Figure BDA0002314919390000153
Figure BDA0002314919390000154
式(15)中，e为常数，e≈2.7。
本实施例中，大地经度等于地心经度，为了实现帧序列图像中目标像素坐标的准确 定位，首先将瞬时摄影坐标系转换成协议地心坐标系，并建立两个坐标系之间的共线方程，然后输入帧序列图像中目标像素坐标，从而实现了目标点像素坐标的准确定位。如 图6所示，当面阵CCD安装在Yb,Zb平面内且平行于XbOYb平面，则对于CCD面阵上任一像元 (行，列)来说，行号可以计算该像元成像时间，列号可以计算该像元主光轴与Zb的夹 角α，从而可得到瞬时摄影坐标系到卫星本体坐标系的第一转换矩阵。对于面阵CCD， 共线方程为相机投影中心、像点及对应的物方点三点共线，即像方矢量与物方矢量共线， 其中像方矢量以投影中心为起点、像点为终点；物方矢量以投影中心为起点、物方点为 终点，由此可得瞬时摄影坐标系到协议地心坐标系的共线方程。其中式(13)中，当
Figure BDA0002314919390000155
时，λ＝λ+π(即当正切函数为复数时，大地经度需要加180度)。
如图2所示，所述步骤S3得到的帧序列图像通过自适应邻域图像增强法改善图像质 量后再合成视频文件，帧序列图像中增强后的像素值可用公式表示为：
Figure BDA0002314919390000156
式(16)中，γ表示增强系数，I(i,j)表示像素坐标处的灰度值，
Figure BDA0002314919390000161
表示帧序列图像中p×p邻域窗口内所有像素灰度的平 均值，(xb,yb)表示像素所在位置的行列坐标，S(i,j,p)表示帧序列图像中像素I(i,j)的 p×p邻域窗口内行列坐标集合，i表示行序号，j表示列序号，p表示邻域窗口大小。
本实施例中，为了增加原始图像的对比度，提升显示的视觉效果，通过采用自适应邻域图像增强法对图像的质量进行增强，用于改善处理结果图像纹理效果，而对于原始 数据和处理过程不产生影响。
以上对本发明所提供的一种视频卫星信息支援海上目标实时检测定位系统及方法 进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰， 这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种视频卫星信息支援海上目标实时检测定位系统，其特征在于，包括：
视频采集卡，用于采集视频卫星拍摄并下传的PAL制式视频图像，转化成数字视频图像；
服务器，与视频采集卡连接，且所述服务器中设有用于对所述数字视频图像进行目标检测和定位的目标检测定位系统，所述目标检测定位系统包括：
视频分割模块，用于对数字视频图像进行解析并分割成帧序列图像数据；
目标检测模块，用于对视频分割模块分割的每一帧序列图像数据的目标进行检测，并将当前帧中每一个目标的像素坐标进行传输；
定位解算模块，用于接收目标检测模块传输的目标像素坐标，通过坐标转换计算获取帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序列图像中的北方向信息；
结果标注模块，根据目标检测模块和定位解算模块的处理结果，对帧序列图像的中心点和目标位置经纬度，以及北方向信息进行标注并存储；
实时播放模块，用于将标注后的帧序列图像合成视频文件并进行存储、播放和传输；
显示终端，用于接收并显示实时播放模块所传输的视频文件。
2.如权利要求1所述的视频卫星信息支援海上目标实时检测定位系统，其特征在于，所述实时播放模块包括视频编码器以及通过内部网络与视频编码器连接通信的视频解码器，所述视频编码器和视频解码器用于帧序列视频图像数据的远程传输以实现远程传输播放。
3.一种视频卫星信息支援海上目标实时检测定位方法，其特征在于，包括上述视频卫星信息支援海上目标实时检测定位系统，至少包含以下步骤：
S1、通过视频采集卡获取视频卫星拍摄的PAL制式视频数据并转化为数字视频图像，然后利用视频分割模块将数字视频图像数据进行解析分割，得到一系列帧序列图像；
S2、通过目标检测模块分别对所述步骤S1得到的所有帧序列图像中的目标进行检测，并将当前帧中每一个目标的像素坐标传输给定位解算模块进行定位，利用定位解算模块计算获取当前帧序列图像中心点和目标像素位置对应的地球经纬度信息，以及帧序列图像中的北方向信息；
S3、根据所述步骤S2对每一帧序列图像的处理结果，利用结果标注模块对每一帧序列图像的中心点和目标位置经纬度，以及北方向信息进行标注；
S4、将所述步骤S3标注后的帧序列图像合成视频文件进行存储和实时播放。
4.如权利要求3所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S2中通过目标检测模块对帧序列图像中的目标进行检测的具体实现方法包括：
S21、通过构建SVM分类器对所述帧序列图像进行海陆分割；
S22、通过自适应滤波法快速获取经过海陆分割后的帧序列图像中所有潜在目标的位置；
S23、通过AdaBoost法训练若干弱分类器，并将所有训练的弱分类器联合以构成一个强分类器，然后所述强分类器对所述步骤S22中获取的潜在目标进行确认，实现了所述帧序列图像中的目标检测。
5.如权利要求3所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S2中通过定位解算模块对每一个目标的像素坐标进行定位的具体实现方法包括：
S24、根据视频卫星轨道两行根数确定轨道预报时间段，生成所述轨道预报时间段内的轨道数据；
S25、根据所述轨道预报时间段的视频卫星影像成像时间，采用插值法计算轨道预报时间段内可用于图像几何定位的视频卫星轨道数据和姿态数据；
S26、建立瞬时摄影坐标系到协议地心坐标系的共线方程，并通过输入目标点像素坐标计算出目标点的地理坐标。
6.如权利要求5所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S24中采用轨道动力学模型来计算视频卫星轨道数据，进而得到视频卫星在轨飞行状态下的所述轨道预报时间段内的轨道预报数据，其轨道动力学模型可表示为：
F＝F0+FE+FN+FA+FT+FY (1)
式(1)中，F0表示地球质心引力，FE表示地球引力，FN表示太阳和月球引力，FA表示太阳辐射压力，FT表示大气阻力Y轴偏差，FY表示地球潮汐附加力。
7.如权利要求6所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S25中采用拉格朗日插值法计算视频卫星轨道数据，以及采用线性插值法计算视频卫星姿态数据。
8.如权利要求7所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述拉格朗日插值法采用插值时刻t的前三条数据和后一条数据计算视频卫星轨道数据，其计算公式可表示为：
Figure FDA0002314919380000031
Figure FDA0002314919380000032
式(2)和式(3)中，p(t)表示视频卫星的位置坐标，ν(t)表示视频卫星的速度坐标，t表示景中心时刻，q、n表示时刻的序号，t1、t2、t3、t4表示景中心时刻t的前四个时间点，t5、t6、t7、t8表示景中心时刻t的后四个时间点；
所述线性插值法采用插值时刻的前后两条数据计算视频卫星姿态数据，其计算公式可表示为：
Figure FDA0002314919380000033
Figure FDA0002314919380000034
Figure FDA0002314919380000035
式(4)、式(5)和式(6)中，ω表示视频卫星的俯仰角，
Figure FDA0002314919380000036
表示视频卫星的滚动角，κ表示视频卫星的偏航角，且tq≤t≤tq+1。
9.如权利要求8所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S26的具体实现方法包括：
S261、将瞬时摄影坐标系转换为协议地心坐标系，并计算出帧序列图像中的点在协议地心坐标系中的主光轴单位向量，可用公式表示：
Figure FDA0002314919380000041
式(7)中，
Figure FDA0002314919380000042
表示帧序列图像中的点在协议地心坐标系中的坐标，M表示转换矩阵，
Figure FDA0002314919380000043
m表示转换矩阵中的元素代号，M1表示瞬时摄影坐标系转换为卫星本体坐标系的第一转换矩阵，
Figure FDA0002314919380000044
α表示像元主光轴与Zb轴之间的夹角，
Figure FDA0002314919380000045
yb表示帧序列图像的像素列坐标，f1表示视频卫星的相机光学系统焦距，M2表示卫星本体坐标系转换为轨道坐标系的第二转换矩阵，
Figure FDA0002314919380000046
M3表示轨道坐标系转换为J2000坐标系的第三转换矩阵，
Figure FDA0002314919380000047
其中Ω表示升交点赤经，β表示轨道倾角，U表示从升交点算起的幅角，M4表示J2000坐标系转换为协议地心坐标系的第四转换矩阵，M4＝B2×B1×N×A，其中，A表示岁差改正矩阵，N表示章动改正矩阵，B1表示格林威治真恒星时改正矩阵，B2表示极移改正矩阵，将M值代入式(7)计算，可得所述帧序列图像中的点在协议地心坐标系中的主光轴单位向量
Figure FDA0002314919380000048
S262、建立瞬时摄影坐标系到协议地心坐标系的共线方程，可用公式表示：
Figure FDA0002314919380000051
Figure FDA0002314919380000052
式(8)和式(9)中，(x,y,f2)表示像点在瞬时摄影坐标系下的坐标，f2表示相机的主距，σ表示缩放比例，(XM,YM,ZM)表示像点对应物方点在协议地心坐标系下的坐标，(XSat(t)，YSat(t)，ZSat(t))表示该像点成像时刻视频卫星的位置，
Figure FDA0002314919380000053
分别表示瞬时摄影坐标系到星敏感器坐标系的转换矩阵，
Figure FDA0002314919380000054
表示星敏感器坐标系到J2000坐标系的转换矩阵，
Figure FDA0002314919380000055
表示J2000坐标系到协议地心坐标系的转换矩阵，
Figure FDA0002314919380000056
表示瞬时摄影坐标系到卫星本体坐标系的转换矩阵，
Figure FDA0002314919380000057
表示卫星本体坐标系到轨道坐标系的转换矩阵，
Figure FDA0002314919380000058
表示轨道坐标系到J2000坐标系的转换矩阵；
S263、根据所述步骤S262建立的共线方程，输入目标点的像素坐标进而计算出目标点的地理位置，根据矢量关系可得：
Figure FDA0002314919380000059
式(10)中，
Figure FDA00023149193800000510
表示帧序列图像中像元对应的地面目标点在协议地心坐标系中的坐标，
Figure FDA00023149193800000511
ae表示地球长半轴，be表示地球短半轴，λ表示地心经度，φ表示地心纬度，
Figure FDA00023149193800000512
表示摄影时刻视频卫星的预报位置，
Figure FDA00023149193800000513
μ表示比例因子，
将
Figure FDA00023149193800000514
的值代入式(10)，则变换为：
Aμ2+Bμ+C＝0 (11)
式(11)中，
Figure FDA0002314919380000061
取μ的最小解，则由式(11)可得：
Figure FDA0002314919380000062
将式(12)求得的μ值代入式(10)中，从而可得到地心经度λ、地心纬度φ和大地纬度Φ，可用公式表示为：
Figure FDA0002314919380000063
Figure FDA0002314919380000064
Figure FDA0002314919380000065
式(15)中，e为常数。
10.如权利要求9所述的视频卫星信息支援海上目标实时检测定位方法，其特征在于，所述步骤S3得到的帧序列图像通过自适应邻域图像增强法改善图像质量后再合成视频文件，帧序列图像中增强后的像素值可用公式表示为：
Figure FDA0002314919380000066
式(16)中，γ表示增强系数，I(i,j)表示像素坐标处的灰度值，
Figure FDA0002314919380000067
表示帧序列图像中p×p邻域窗口内所有像素灰度的平均值，(xb,yb)表示像素所在位置的行列坐标，S(i,j,p)表示帧序列图像中像素I(i,j)的p×p邻域窗口内行列坐标集合，i表示行序号，j表示列序号，p表示邻域窗口大小。
CN201911273637.7A 2019-12-12 2019-12-12 一种视频卫星信息支援海上目标实时检测定位系统及方法 Active CN111091088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273637.7A CN111091088B (zh) 2019-12-12 2019-12-12 一种视频卫星信息支援海上目标实时检测定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273637.7A CN111091088B (zh) 2019-12-12 2019-12-12 一种视频卫星信息支援海上目标实时检测定位系统及方法

Publications (2)

Publication Number Publication Date
CN111091088A true CN111091088A (zh) 2020-05-01
CN111091088B CN111091088B (zh) 2022-10-28

Family

ID=70395488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273637.7A Active CN111091088B (zh) 2019-12-12 2019-12-12 一种视频卫星信息支援海上目标实时检测定位系统及方法

Country Status (1)

Country Link
CN (1) CN111091088B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823228A (zh) * 2020-06-08 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种室内跟随机器人系统和运行方法
CN113012183A (zh) * 2021-04-20 2021-06-22 电子科技大学 一种红外序列图像中虚警源检测分类方法
CN113936061A (zh) * 2021-09-26 2022-01-14 中国科学院长春光学精密机械与物理研究所 海上动态目标定位系统及其定位方法
CN113971679A (zh) * 2021-11-08 2022-01-25 南京智慧水运科技有限公司 一种基于计算机视觉与图像处理的海洋潮汐测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334885A (zh) * 2018-02-05 2018-07-27 湖南航升卫星科技有限公司 一种视频卫星图像空间目标检测方法
CN109633720A (zh) * 2018-12-25 2019-04-16 中国人民解放军战略支援部队航天工程大学 基于视频卫星的地面运动目标测量方法及其装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334885A (zh) * 2018-02-05 2018-07-27 湖南航升卫星科技有限公司 一种视频卫星图像空间目标检测方法
CN109633720A (zh) * 2018-12-25 2019-04-16 中国人民解放军战略支援部队航天工程大学 基于视频卫星的地面运动目标测量方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏鲁瑞等: "基于视频卫星图像的海上目标实时检测方法", 《光学与光电技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823228A (zh) * 2020-06-08 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种室内跟随机器人系统和运行方法
CN113012183A (zh) * 2021-04-20 2021-06-22 电子科技大学 一种红外序列图像中虚警源检测分类方法
CN113936061A (zh) * 2021-09-26 2022-01-14 中国科学院长春光学精密机械与物理研究所 海上动态目标定位系统及其定位方法
CN113936061B (zh) * 2021-09-26 2024-05-10 中国科学院长春光学精密机械与物理研究所 海上动态目标定位系统及其定位方法
CN113971679A (zh) * 2021-11-08 2022-01-25 南京智慧水运科技有限公司 一种基于计算机视觉与图像处理的海洋潮汐测量方法
CN113971679B (zh) * 2021-11-08 2024-04-30 南京智慧水运科技有限公司 一种基于计算机视觉与图像处理的海洋潮汐测量方法

Also Published As

Publication number Publication date
CN111091088B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111091088B (zh) 一种视频卫星信息支援海上目标实时检测定位系统及方法
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
CN110246177B (zh) 一种基于视觉的自动测波方法
US20120314068A1 (en) System and Method for Forming a Video Stream Containing GIS Data in Real-Time
JP2008506167A (ja) 画像に関連するロケーションを確定する方法および装置
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
CN110706273B (zh) 一种基于无人机的实时塌方区域面积的测量方法
CN112815923B (zh) 视觉定位方法和装置
CN112598608B (zh) 一种基于目标区域的光学卫星快速融合产品制作方法
CN109828291B (zh) 一种有人机应急遥感监测的方法及装置
CN110617802A (zh) 一种星载动目标检测及速度估计方法
CN115731100A (zh) 一种基于多无人机的图像拼接方法及其系统
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算系统
CN111741216A (zh) 一种无人机影像采集方法
CN114946176A (zh) 显示控制设备、显示控制方法和程序
CN114993306B (zh) 一种尺度自恢复的视觉惯性组合导航方法和装置
CN108665410B (zh) 一种图像超分辨率重构方法、装置及系统
JP2009509125A (ja) 画像に関連する位置を決定するための方法および装置
CN113091740B (zh) 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法
CN112927294B (zh) 一种基于单敏感器的卫星定轨定姿方法
CN114429515A (zh) 一种点云地图构建方法、装置和设备
JP2022057784A (ja) 撮像装置、撮像システムおよび撮像方法
CN110514187B (zh) 一种小视场相机天文找北技术方法及装置
Yu et al. Feedback-control-aided image stitching using multi-UAV platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant