CN112738482B - 地球直播方法、装置及系统 - Google Patents
地球直播方法、装置及系统 Download PDFInfo
- Publication number
- CN112738482B CN112738482B CN202011589544.8A CN202011589544A CN112738482B CN 112738482 B CN112738482 B CN 112738482B CN 202011589544 A CN202011589544 A CN 202011589544A CN 112738482 B CN112738482 B CN 112738482B
- Authority
- CN
- China
- Prior art keywords
- image
- moving target
- earth surface
- images
- earth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请提供一种地球直播方法、装置及系统,涉及卫星遥感领域。本申请通过环绕地球运动的多颗监测卫星实时采集地表图像序列并进行几何校正,由每个监测卫星针对自身校正出的待检测地表图像序列进行动目标检测,确定出对应的地表背景图像、动目标图像及动目标的运动参数并传输给地面遥感重建设备,降低数据传输资源消耗及硬件部署成本,进而通过地面遥感重建设备基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,从而确保向直播端设备反馈的与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像能够达到精准且流畅的地球直播效果。
Description
技术领域
本申请涉及卫星遥感领域,具体而言,涉及一种地球直播方法、装置及系统。
背景技术
随着科学技术的不断发展,卫星遥感技术的应用越发广泛,而伴随着各领域对地球的全方位观测需求日益剧增,如何对地球整体形貌变化及地球上物体变动情况进行高精准的直播操作,便是一个愈发重要的问题。但就目前而言,市面上存在的地球直播方案尚不成熟,需要消耗大量的数据传输资源以及硬件部署成本,无法实现精准且流畅的地球直播效果。
发明内容
有鉴于此,本申请的目的在于提供一种地球直播方法、装置及系统,能够大幅度地降低数据传输资源消耗以及硬件部署成本,实现精准且流畅的地球直播效果。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种地球直播方法,应用于地面遥感重建设备及环绕地球运动的多颗监测卫星,其中每颗监测卫星与地面遥感重建设备通信连接,所述方法包括:
针对每颗监测卫星,所述监测卫星实时对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
所述监测卫星对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数;
所述监测卫星将确定出的动目标图像、地表背景图像及动目标的运动参数发送给地面遥感重建设备;
所述地面遥感重建设备在接收到来自所有监测卫星的动目标图像、地表背景图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
在可选的实施方式中,每颗监测卫星存储有不同波段下的地表参照图像,所述对采集到的地表图像序列进行几何校正,得到待检测地表图像序列,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在采集到的所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像。
在可选的实施方式中,所述监测卫星对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
在可选的实施方式中,所述基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,包括:
对接收到的所有动目标图像及所有地表背景图像进行辐射校正;
在完成辐射校正操作后,将对应图像采集时刻相同的所有地表背景图像进行图像拼接,得到不同图像采集时刻的地表背景拼接图像;
按照图像采集时刻变化根据对应图像采集时刻的所有动目标图像和所有动目标的运动参数以及所述地表背景拼接图像进行遥感图像重建,得到所述地球动态遥感图像。
第二方面,本申请实施例提供一种地球直播方法,应用于环绕地球运动的监测卫星,其中所述监测卫星与地面遥感重建设备通信连接,所述方法包括:
实时地对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
第三方面,本申请实施例提供一种地球直播方法,应用于与环绕地球运动的多颗监测卫星通信连接的地面遥感重建设备,所述方法包括:
接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数;
在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
第四方面,本申请实施例提供一种地球直播装置,应用于环绕地球运动的监测卫星,其中所述监测卫星与地面遥感重建设备通信连接,所述装置包括:
图像处理模块,用于实时地对地球表面进行时序图像采集,并对采集到的地表图像进行几何校正,得到待检测地表图像序列;
目标检测模块,用于对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
数据发送模块,用于将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
第五方面,本申请实施例提供一种地球直播装置,应用于与环绕地球运动的多颗监测卫星通信连接的地面遥感重建设备,所述装置包括:
数据接收模块,用于接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数;
遥感构建模块,用于在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
遥感反馈模块,用于向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
第六方面,本申请实施例提供一种地球直播系统,所述系统包括地面遥感重建设备及环绕地球运动的多颗监测卫星;
每颗所述监测卫星,用于实时对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
每颗所述监测卫星,还用于对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
每颗所述监测卫星与所述地面遥感重建设备通信连接,用于将确定出的地表背景图像、动目标图像及动目标的运动参数发送给所述遥感重建设备;
所述遥感重建设备,用于在接收到来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
所述遥感重建设备,还用于向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
在可选的实施方式中,每颗监测卫星上设置有两个用于实现图像采集功能的相机焦平面成像区域,同一监测卫星上的两个相机焦平面成像区域的排列方向与所述监测卫星的运动方向平行,使所述监测卫星在运动时对同一地表位置进行两次图像采集时刻不同的图像采集。
本申请实施例的有益效果是:
本申请通过环绕地球运动的多颗监测卫星实时采集地表图像序列并进行几何校正,由每个监测卫星针对自身校正出的待检测地表图像序列进行动目标检测,确定出对应的地表背景图像、动目标图像及动目标的运动参数,而后由每个监测卫星将地表背景图像、动目标图像及动目标的运动参数传输给地面遥感重建设备,降低数据传输资源消耗及硬件部署成本,进而通过地面遥感重建设备基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,从而确保向直播端设备反馈的与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像能够达到精准且流畅的地球直播效果。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的地球直播系统的系统构成示意图;
图2为本申请实施例提供的监测卫星的结构组成示意图;
图3为本申请实施例提供的地面遥感重建设备的结构组成示意图;
图4为本申请实施例提供的地球直播方法的流程示意图之一;
图5为本申请实施例提供的地球直播方法的流程示意图之二;
图6为本申请实施例提供的地球直播方法的流程示意图之三;
图7为本申请实施例提供的第一地球直播装置的功能模块示意图;
图8为本申请实施例提供的第二地球直播装置的功能模块示意图。
图标:30-地球直播系统;10-监测卫星;20-地面遥感重建设备;11-第一存储器;12-第一处理器;13-第一通信单元;21-第二存储器;22-第二处理器;23-第二通信单元;100-第一地球直播装置;200-第二地球直播装置;110-图像处理模块;120-目标检测模块;130-数据发送模块;210-数据接收模块;220-遥感构建模块;230-遥感反馈模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
发明人通过辛苦调研发现,目前的地球直播方案是由地面接收平台获取卫星基于凝视成像技术拍摄得到的卫星视频,而后由地面接收平台对卫星视频进行压缩处理操作,以确定出与地球表面相关的直播数据流进行视频直播。在此过程中,因卫星往地面接收平台传输的数据是整体的卫星视频,必定需要保证卫星消耗足够的硬件部署成本来对整体卫星视频进行存储,并消化大量数据传输资源来传输完整的卫星视频给地面接收平台,同时地面接收平台也需要消耗足够的硬件部署成本来存储由卫星传输的卫星视频,消耗了大量数据传输资源和硬件部署成本。
而地面接收平台在对卫星视频进行压缩处理操作时,会受限于凝视成像的条件约束,大大地限制了卫星的观测对象及区域,仅能对凝视画幅范围内成像,无法在星下点成像区域处连续摄像,导致最终提供的直播视频流无法精准且流畅地表现出地球表面的具体情况。
因此,发明人通过提供一种地球直播方法、装置及系统,来解决现有地球直播方案需要消耗大量的数据传输资源以及硬件部署成本,无法实现精准且流畅的地球直播效果的技术问题。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
请参照图1,图1是本申请实施例提供的地球直播系统30的系统构成示意图。在本申请实施例中,所述地球直播系统30包括地面遥感重建设备20及环绕地球运动的多颗监测卫星10,所述地面遥感重建设备20与每颗所述监测卫星10通信连接。其中,所述监测卫星10能够在运动过程中实时对地球表面进行时序图像采集,并直接自行地从采集到的地表图像序列中提取出对应的地表背景图像、动目标图像及动目标的运动参数,而后将得到的地表背景图像、动目标图像及动目标的运动参数发送给所述地面遥感重建设备20,以缩减监测卫星10的数据传输量,降低监测卫星10对待传输数据进行存储时所需的硬件部署成本,降低地面遥感重建设备20对接收到的数据进行存储时所需的硬件部署成本。其中,所述地表图像序列为对应图像采集时刻连续的多张地表图像的集合,所述地表背景图像为对应地表图像在剥离被判定为运动目标的图像内容的用于表示地表背景内容的图像,所述动目标图像为对应地表图像中被判定为运动目标的图像,所述动目标的运动参数用于描述对应动目标在对应图像采集时刻得到的地表图像中的轮廓形象、运动速度、运动方向、质心位移等。
而所述地面遥感重建设备20在接收到与其通信连接的所有监测卫星10所反馈的地表背景图像、动目标图像及动目标的运动参数后,会基于接收到的所有地表背景图像、动目标图像及动目标的运动参数通过模型构建的方式,构建出对应的地球动态遥感图像,使所述地面遥感重建设备20得以通过构建出的地球动态遥感图像向直播端设备反馈与其直播需求匹配的来源于所述地球动态遥感图像的视频流数据或某一目标时刻的目标动态遥感图像进行播放。
由此,本申请通过监测卫星10自行执行动目标检测操作,并由地面遥感重建设备20结合多个监测卫星10所反馈的地表背景图像、动目标图像及动目标的运动参数,生成对应的能够实现精准且流畅的地球直播效果的地球动态遥感图像。
在本实施例中,所述地面遥感重建设备20可设置在地球表面,所述监测卫星10可以是静止轨道卫星,也可以是太阳同步轨道遥感卫星。当所述地球直播系统30下的监测卫星10为静止轨道卫星时,所述监测卫星10可采用地面阵成像或视频成像的方式对地球表面进行时序图像采集。当所述地球直播系统30下的监测卫星10为太阳同步轨道遥感卫星时,所述监测卫星10可采用线阵推扫成像的方式对地球表面进行时序图像采集。
在本实施例中,所述地球直播系统30下的多颗监测卫星10相互之间互周角。在本实施例的一种实施方式中,所述地球直播系统30下的监测卫星10的数目为三,三颗所述监测卫星10互成120度环绕地球运动。
可选地,请参照图2,图2是本申请实施例提供的监测卫星10的结构组成示意图。在本申请实施例中,所述监测卫星10包括第一地球直播装置100、第一存储器11、第一处理器12及第一通信单元13。所述第一存储器11、所述第一处理器12及所述第一通信单元13各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,所述第一存储器11、所述第一处理器12及所述第一通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中,所述第一存储器11可用于存储程序,所述第一处理器12在接收到执行指令后,可相应地执行所述程序。其中,所述第一存储器11可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。其中,所述第一存储器11还可用于存储所述监测卫星10按照不同图像采集时刻采集得到的地表图像序列。
在本实施例中,所述第一处理器12可以是一种具有信号的处理能力的集成电路芯片。所述第一处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中,所述第一通信单元13用于通过网络建立所述监测卫星10与所述地面遥感重建设备20之间的通信连接并进行数据交互。
在本实施例中,所述第一地球直播装置100包括至少一个能够以软件或固件的形式存储于所述第一存储器11中或固化在所述监测卫星10的操作系统中的软件功能模块。所述第一处理器12可用于执行所述第一存储器11存储的可执行模块,例如所述第一地球直播装置100所包括软件功能模块及计算机程序等。所述监测卫星10通过所述第一地球直播装置100实时地对地球表面进行时序图像采集,并自行对采集到的地表图像序列进行动目标检测操作,得到与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数,而后将得到的地表背景图像、动目标图像及动目标的运动参数反馈给所述地面遥感重建设备20,以便于所述地面遥感重建设备20自行构建能够实现精准且流畅的地球直播效果的地球动态遥感图像。
在本实施例中,所述监测卫星10上可设置有一个大面积的相机焦平面成像区域,或两个面积较小的相机焦平面成像区域,用以针对地球表面实时地进行时序图像采集。
其中,若所述监测卫星10上需要设置一个大面积的相机焦平面成像区域,则所述监测卫星10可采用一个具有较多行像素的成像传感器构建该相机焦平面成像区域,而后针对该相机焦平面成像区域采用开窗成像实现地表图像的时序采集功能。
若所述监测卫星10上需要设置两个面积较小的相机焦平面成像区域,则所述监测卫星10可采用两个具有较少行像素的成像传感器通过布置在同一焦平面的方式,形成对应的两个相机焦平面成像区域,而后针对这两个相机焦平面成像区域,分别开窗模拟双线阵推扫成像实现地表图像的时序采集功能。
在本实施例的一种实施方式中,当所述监测卫星10上设置两个面积较小的相机焦平面区域时,同一监测卫星10上的两个相机焦平面区域的排列方向与所述监测卫星10的运动方向平行,使所述监测卫星10在运动时对同一地表位置进行两次图像采集时刻不同的图像采集操作。其中,所述相机焦平面区域可采用多个CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)传感器或CCD(Charge Coupled Device,荷藕合器件图像传感器)传感器按照阵列排布的方式构建形成。其中,所述监测卫星10在运动时对同一地表位置进行图像采集所对应的图像采集时刻之差可以超过一秒。
可以理解的是,图2所示的方框示意图仅为监测卫星10的一种结构组成示意图,所述监测卫星10还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
可选地,请参照图3,图3是本申请实施例提供的地面遥感重建设备20的结构组成示意图。在本申请实施例中,所述地面遥感重建设备20包括第二地球直播装置200、第二存储器21、第二处理器22及第二通信单元23。所述第二存储器21、所述第二处理器22及所述第二通信单元23各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,所述第二存储器21、所述第二处理器22及所述第二通信单元23这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中,所述第二存储器21也可用于存储程序,所述第二处理器22在接收到执行指令后,可相应地执行所述程序。所述第二存储器21的存储器类型与第一存储器11可保持一致,在此就不再一一赘述了。同时,所述第二存储器21可用于存储所述监测卫星10传输的与地球表面相关的数据,并可用于存储图像。
在本实施例中,所述第二处理器22如上述第一处理器12一般,也可以是一种具有信号的处理能力的集成电路芯片。所述第二处理器22可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中,所述第二通信单元23用于通过网络建立所述地面遥感重建设备20与各监测卫星10之间的通信连接并进行数据交互。所述地面遥感重建设备20还可通过所述第二通信单元23与直播端设备通信连接,以向所述直播端设备传输待直播内容。其中,所述第二通信单元23可以包括卫星接收天线、数据解调器、射频放大器等通信器件。
在本实施例中,所述第二地球直播装置200包括至少一个能够以软件或固件的形式存储于所述第二存储器21中或固化在所述地面遥感重建设备20的操作系统中的软件功能模块。所述第二处理器22可用于执行所述第二存储器21存储的可执行模块,例如所述第二地球直播装置200所包括软件功能模块及计算机程序等。所述地面遥感重建设备20通过所述第二地球直播装置200接收与其通信连接的所有监测卫星10所反馈的地表背景图像、动目标图像及动目标的运动参数后,会基于接收到的所有地表背景图像、动目标图像及动目标的运动参数通过模型构建的方式,构建出对应的地球动态遥感图像,使所述地面遥感重建设备20得以通过构建出的地球动态遥感图像,向直播端设备反馈与其直播需求匹配的来源于所述地球动态遥感图像的视频流数据或某一目标时刻的目标动态遥感图像进行播放,以达到精准且流畅的地球直播效果。
可以理解的是,图3所示的方框示意图仅为地面遥感重建设备20的一种结构组成示意图,所述地面遥感重建设备20还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中,为确保所述地球直播系统30在直播地球表面状况的过程中,能够大幅度地降低数据传输资源消耗以及硬件部署成本,实现精准且流畅的地球直播效果,本申请通过提供应用于上述地球直播系统30的地球直播方法实现上述功能。下面对本申请提供的这种地球直播方法进行描述。
可选地,请参照图4,图4是本申请实施例提供的地球直播方法的流程示意图之一。在本申请实施例中,图4所示的地球直播方法的具体流程和步骤如下文所示。
步骤S310,针对每颗监测卫星,监测卫星实时对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列。
在本实施例中,环绕地球运动的每颗监测卫星10在运动时会实时地对地球表面进行时序图像采集,并通过对采集到的地表图像序列中每张地表图像进行几何校正,得到对应的待检测地表图像序列。其中几何校正操作可以消除物镜畸变、大气折光、地球曲率、地球自转、地形起伏等因素针对监测卫星10拍摄的图像所造成的畸变影响,这类畸变影响通常导致拍摄图像上的像素点相对于地面目标的实际位置发生挤压、扭曲、拉伸和偏移等现象。
在此过程中,每颗监测卫星10处存储有不同波段下的地表参照图像,所述地表参照图像用于表示地球表面在对应波段下的涵盖不同地理位置信息的地面背景图像,此时所述对采集到的地表图像序列进行几何校正,得到待检测地表图像序列的步骤,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述采地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像。
其中,所述目标波段为所述地球直播系统30的管理人员根据需求选定的某个波段,管理人员可通过在所述地面遥感重建设备20处向所述监测卫星10发送包括目标波段的波段选定指令,以指定所述监测卫星10进行几何校正时的与目标波段对应的地表参照图像。所述目标参照图像为选定的目标波段所对应的地表参照图像中与采集到的地表图像具有相同地点名称的图像区域内容。
步骤S320,监测卫星对待检测地表图像序列进行动目标检测,确定待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数。
在本实施例中,当监测卫星10确定出其采集到的每张地表图像经几何校正得到的待检测地表图像后,会相应地针对确定出的待检测地表图像序列中图像采集时刻连续的多张待检测地表图像进行动目标检测,以确定得到的每张待检测地表图像中是否存在动目标,并在存在动目标时得到动目标的相关数据。此时,所述监测卫星10对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
其中,所述监测卫星10在进行背景去噪时,通过将差分图像中各像素点的灰度值与去噪灰度阈值进行比较,以剔除差分图像中灰度值小于所述去噪灰度阈值的像素点,得到集成有对应两张待检测地表图像各自的动目标位置信息的动目标差分图像。所述去噪灰度阈值可以预先设置,也可以由所述监测卫星10自行根据具体图像内容计算得到。
所述监测卫星10在对动目标差分图像中不同图像采集时刻的动目标进行特征匹配时,可直接将该动目标差分图像中灰度值呈正负分布的动目标进行匹配,以确定出对应的图像采集时刻不同且特征匹配的动目标对,其中针对未能配对的目标对象则被视为错误目标,同一动目标对所对应的两个动目标被视为同一目标。
所述监测卫星10在针对一个动目标对,确定其对应的动目标的运动参数时,可利用动目标差分图像中与该动目标对相对应的两个动目标的质心位置进行动目标的运动参数测定,获得对应动目标在两个图像采集时刻处相对的运动参数。
所述监测卫星10可利用动目标差分图像中的动目标轮廓信息与对应待检测地表图像进行剪切,得到该待检测地表图像的包括动目标纹理信息的动目标图像。
步骤S330,监测卫星将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备。
在本实施例中,所述监测卫星10在自行执行动目标检测操作后,会相应地将其得到的与采集到的地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数,通过数据打包的方式传输给所述地面遥感重建设备20,从而缩减监测卫星10的数据传输量,降低监测卫星10对待传输数据进行存储时所需的硬件部署成本。
步骤S340,地面遥感重建设备在接收到来自所有监测卫星的动目标图像、地表背景图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,并向直播端设备反馈与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
在本实施例中,当所述地面遥感重建设备20在接收到与其通信连接的所有监测卫星10各自得到的地表背景图像、动目标图像及动目标的运动参数后,会对多颗监测卫星10的地表背景图像、动目标图像及动目标的运动参数进行结合,并基于结合数据进行遥感图像重建操作,提升整体的可用于直播的数据覆盖区域,从而得到能够实现精准且流畅的地球直播效果的地球动态遥感图像。在此过程中,因监测卫星10所传输的数据量相对于现有地球直播方案而言更小,且地面遥感重建设备20无需如现有地球直播方案那般执行动目标检测操作,所述地面遥感重建设备20将无需消耗大量硬件部署成本。
而当所述地面遥感重建设备20构建出地球动态遥感图像后,会在直播端设备提出直播需求(比如,地球上待直播地理区域、待直播成像时刻等)时,所述地面遥感重建设备20可从所述地球动态遥感图像中提取出与直播需求匹配的某一目标时刻的目标动态遥感图像或者视频流数据,并将目标动态遥感图像或视频流数据发送给直播端设备进行播放,以达到精准且流畅的地球直播效果。其中,所述地面遥感重建设备20可通过中间服务器存储构建出的地球动态遥感图像和/或提取出的不同直播需求所对应的直播流数据,由该中间服务器向各直播端设备反馈相应的直播流数据。所述直播端设备可以是,但不限于,智能手机、平板电脑、VR(Virtual Reality,虚拟现实)设备及液晶电视等。
其中,所述基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,包括:
对接收到的所有动目标图像及所有地表背景图像进行辐射校正;
在完成辐射校正操作后,将对应图像采集时刻相同的所有地表背景图像进行图像拼接,得到不同图像采集时刻的地表背景拼接图像;
按照图像采集时刻变化根据对应图像采集时刻的所有动目标图像和所有动目标的运动参数以及所述地表背景拼接图像进行遥感图像重建,得到所述地球动态遥感图像。
其中,辐射校正可用于修正图像数据因卫星传感器响应特性、太阳辐射情况以及大气传输情况等辐射误差引起的影像畸变。所述地面遥感重建设备20在拼接形成地表背景拼接图像时,可采用前一重返周期得到的所有地表背景图像进行操作。在本实施例的一种实施方式中,可通过将单一图像采集时刻的地表背景拼接图像结合多个图像采集时刻的动目标图像及对应动目标的运动参数,重建运动轨迹范围内任意时刻的地球表面遥感图像。
在本申请实施例中,所述地球直播系统30通过执行图4所示的地球直播方法,在直播地球表面状况的过程中大幅度地降低数据传输资源消耗以及硬件部署成本,实现精准且流畅的地球直播效果。
在本申请中,为确保所述监测卫星10能够在地球直播过程中降低数据传输资源消耗及硬件部署成本,本申请通过提供应用于上述监测卫星10的地球直播方法实现上述功能。下面对本申请提供的这种地球直播方法进行描述。
可选地,请参照图5,图5是本申请实施例提供的地球直播方法的流程示意图之二。在本申请实施例中,图5所示的地球直播方法的具体流程和步骤如下文所示。
步骤S410,实时地对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列。
步骤S420,对待检测地表图像序列进行动目标检测,确定待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数。
步骤S430,将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
在本申请实施例中,步骤S410~步骤S430的具体执行过程可参照上文中对步骤S310~步骤S330的详细描述,在此就不再赘述了。所述监测卫星10通过执行上述步骤S410~步骤S430,降低在地球直播过程中的数据传输资源消耗及硬件部署成本。
在本申请中,为确保所述地面遥感重建设备20能够在地球直播过程中降低硬件部署成本,并实现精准且流畅的地球直播效果,本申请通过提供应用于上述地面遥感重建设备20的地球直播方法实现上述功能。下面对本申请提供的这种地球直播方法进行描述。
可选地,请参照图6,图6是本申请实施例提供的地球直播方法的流程示意图之三。在本申请实施例中,图6所示的地球直播方法的具体流程和步骤如下文所示。
步骤S510,接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数。
步骤S520,在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像。
步骤S530,向直播端设备反馈与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
在本申请实施例中,步骤S510~步骤S530的具体执行过程可参照上文中对步骤S340的详细描述,在此就不再赘述了。所述地面遥感重建设备20通过执行上述步骤S510~步骤S530,降低在地球直播过程中的硬件部署成本,并通过将多颗监测卫星10监测得到的多张地表图像各自对应的地表背景图像、动目标图像及动目标的运动参数进行结合,基于结合数据进行遥感图像重建操作,提升整体的直播覆盖区域,从而通过构建出的地球动态遥感图像实现精准且流畅的地球直播效果。
在本申请中,为确保所述监测卫星10所包括的第一地球直播装置100能够正常实施,本申请通过对所述第一地球直播装置100进行功能模块划分的方式实现其功能。下面对本申请提供的第一地球直播装置100的具体组成进行相应描述。
请参照图7,图7是本申请实施例提供的第一地球直播装置100的功能模块示意图。在本申请实施例中,所述第一地球直播装置100包括图像处理模块110、目标检测模块120及数据发送模块130。
图像处理模块110,用于实时地对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列。
目标检测模块120,用于对待检测地表图像序列进行动目标检测,确定待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数。
数据发送模块130,用于将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
需要说明的是,本申请实施例所提供的第一地球直播装置100,其基本原理及产生的技术效果与图5所示的地球直播方法相同,为简要描述,本实施例部分未提及之处,可参考上文中针对图5所示的地球直播方法的描述内容。
在本申请中,为确保所述地面遥感重建设备20所包括的第二地球直播装置200能够正常实施,本申请通过对所述第二地球直播装置200进行功能模块划分的方式实现其功能。下面对本申请提供的第二地球直播装置200的具体组成进行相应描述。
请参照图8,图8是本申请实施例提供的第二地球直播装置200的功能模块示意图。在本申请实施例中,所述第二地球直播装置200包括数据接收模块210、遥感构建模块220及遥感反馈模块230。
数据接收模块210,用于接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数。
遥感构建模块220,用于在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像。
遥感反馈模块230,用于向直播端设备反馈与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
需要说明的是,本申请实施例所提供的第二地球直播装置200,其基本原理及产生的技术效果与图6所示的地球直播方法相同,为简要描述,本实施例部分未提及之处,可参考上文中针对图6所示的地球直播方法的描述内容。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘、FPGA板卡、专用芯片等各种可以存储程序代码的介质。
综上所述,在本申请提供的一种地球直播方法、装置及系统中,本申请通过环绕地球运动的多颗监测卫星实时采集地表图像序列并进行几何校正,由每个监测卫星针对自身校正出的待检测地表图像序列进行动目标检测,确定出对应的地表背景图像、动目标图像及动目标的运动参数,而后由每个监测卫星将地表背景图像、动目标图像及动目标的运动参数传输给地面遥感重建设备,降低数据传输资源消耗及硬件部署成本,进而通过地面遥感重建设备基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,从而确保向直播端设备反馈的与地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像能够达到精准且流畅的地球直播效果。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应当以权利要求的保护范围为准。
Claims (8)
1.一种地球直播方法,其特征在于,应用于地面遥感重建设备及环绕地球运动的多颗监测卫星,其中每颗监测卫星与地面遥感重建设备通信连接,每颗监测卫星存储有不同波段下的地表参照图像,所述方法包括:
针对每颗监测卫星,所述监测卫星实时对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
所述监测卫星对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数;
所述监测卫星将确定出的动目标图像、地表背景图像及动目标的运动参数发送给地面遥感重建设备;
所述地面遥感重建设备在接收到来自所有监测卫星的动目标图像、地表背景图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放;
在此过程中,所述对采集到的地表图像序列进行几何校正,得到待检测地表图像序列,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在采集到的所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像;
其中,所述监测卫星对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的动目标图像、地表背景图像及动目标的运动参数,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
2.根据权利要求1所述的方法,其特征在于,所述基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像,包括:
对接收到的所有动目标图像及所有地表背景图像进行辐射校正;
在完成辐射校正操作后,将对应图像采集时刻相同的所有地表背景图像进行图像拼接,得到不同图像采集时刻的地表背景拼接图像;
按照图像采集时刻变化根据对应图像采集时刻的所有动目标图像和所有动目标的运动参数以及所述地表背景拼接图像进行遥感图像重建,得到所述地球动态遥感图像。
3.一种地球直播方法,其特征在于,应用于环绕地球运动的监测卫星,其中所述监测卫星与地面遥感重建设备通信连接,所述监测卫星存储有不同波段下的地表参照图像,所述方法包括:
实时地对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放;
在此过程中,所述对采集到的地表图像序列进行几何校正,得到待检测地表图像序列,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在采集到的所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像;
其中,所述对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
4.一种地球直播方法,其特征在于,应用于与环绕地球运动的多颗监测卫星通信连接的地面遥感重建设备,所述方法包括:
接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数,其中所述与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数由对应监测卫星利用权利要求3所述的地球直播方法处理得到;
在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
5.一种地球直播装置,其特征在于,应用于环绕地球运动的监测卫星,其中所述监测卫星与地面遥感重建设备通信连接,所述监测卫星存储有不同波段下的地表参照图像,所述装置包括:
图像处理模块,用于实时地对地球表面进行时序图像采集,并对采集到的地表图像序列进行几何校正,得到待检测地表图像序列;
目标检测模块,用于对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
数据发送模块,用于将确定出的地表背景图像、动目标图像及动目标的运动参数发送给地面遥感重建设备,使地面遥感重建设备基于接收到的来自与其通信连接的所有监测卫星的地表背景图像、动目标图像及动目标的运动参数构建地球动态遥感图像,并向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放;
在此过程中,所述图像处理模块对采集到的地表图像序列进行几何校正,得到待检测地表图像序列的方式,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在采集到的所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像;
其中,所述目标检测模块对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数的方式,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
6.一种地球直播装置,其特征在于,应用于与环绕地球运动的多颗监测卫星通信连接的地面遥感重建设备,所述装置包括:
数据接收模块,用于接收每颗监测卫星基于自身实时采集到的地表图像序列反馈的与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数,其中所述与该地表图像序列对应的地表背景图像、动目标图像及动目标的运动参数由对应监测卫星利用权利要求5所述的地球直播装置处理得到;
遥感构建模块,用于在接收到所有来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
遥感反馈模块,用于向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放。
7.一种地球直播系统,其特征在于,所述系统包括地面遥感重建设备及环绕地球运动的多颗监测卫星,其中每颗监测卫星存储有不同波段下的地表参照图像;
每颗所述监测卫星,用于实时对地球表面进行时序图像采集,并对采集到的地表图像进行几何校正,得到待检测地表图像序列;
每颗所述监测卫星,还用于对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数;
每颗所述监测卫星与所述地面遥感重建设备通信连接,用于将确定出的地表背景图像、动目标图像及动目标的运动参数发送给所述地面 遥感重建设备;
所述地面 遥感重建设备,用于在接收到来自各监测卫星的地表背景图像、动目标图像及动目标的运动参数后,基于接收到的所有地表背景图像、所有动目标图像及所有动目标的运动参数构建对应的地球动态遥感图像;
所述地面 遥感重建设备,还用于向直播端设备反馈与所述地球动态遥感图像对应的视频流数据或目标时刻的目标动态遥感图像进行播放;
在此过程中,每颗所述监测卫星对采集到的地表图像进行几何校正,得到待检测地表图像序列的方式,包括:
针对采集到的每张地表图像,在存储的所有地表参照图像中确定目标波段下的与所述地表图像同名点匹配的目标参照图像;
根据同名点在采集到的所述地表图像及所述目标参照图像中各自对应的像素点坐标,计算所述地表图像与所述目标参照图像之间的像素坐标变换关系;
按照所述像素坐标变换关系对所述地表图像进行整体变换,并对变换后的地表图像进行图像重采样,得到对应的待检测地表图像;
其中,每颗所述监测卫星对待检测地表图像序列进行动目标检测,确定所述待检测地表图像序列所对应的地表背景图像、动目标图像及动目标的运动参数的方式,包括:
对所述待检测地表图像序列中图像采集时刻连续的两张待检测地表图像进行影像自动配准,使两张待检测地表图像的背景特征点相互对应;
将配准后的两张待检测地表图像进行图像差分,并对得到的差分图像进行背景去噪,得到包括两个图像采集时刻各自的动目标位置信息的动目标差分图像;
遍历地对所述动目标差分图像中两个图像采集时刻的各动目标进行特征匹配,确定所述动目标差分图像包括的所有动目标对,其中所述动目标对包括对应图像采集时刻不同且特征匹配的两个动目标;
针对所述动目标差分图像中的每个动目标对,根据该动目标对所对应的两个动目标位置信息,确定对应动目标在两个图像采集时刻下的运动参数;
在所述两张待检测地表图像中各自分离出与所述动目标对相对应的图像内容,得到每张待检测地表图像所对应的地表背景图像及动目标图像。
8.根据权利要求7所述的系统,其特征在于,每颗监测卫星上设置有两个用于实现图像采集功能的相机焦平面成像区域,同一监测卫星上的两个相机焦平面成像区域的排列方向与所述监测卫星的运动方向平行,使所述监测卫星在运动时对同一地表位置进行两次图像采集时刻不同的图像采集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011589544.8A CN112738482B (zh) | 2020-12-29 | 2020-12-29 | 地球直播方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011589544.8A CN112738482B (zh) | 2020-12-29 | 2020-12-29 | 地球直播方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112738482A CN112738482A (zh) | 2021-04-30 |
CN112738482B true CN112738482B (zh) | 2023-02-17 |
Family
ID=75607379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011589544.8A Active CN112738482B (zh) | 2020-12-29 | 2020-12-29 | 地球直播方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112738482B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6473858B1 (en) * | 1999-04-16 | 2002-10-29 | Digeo, Inc. | Method and apparatus for broadcasting data with access control |
CN109087378A (zh) * | 2018-09-11 | 2018-12-25 | 首都师范大学 | 图像处理方法及系统 |
CN109163704A (zh) * | 2018-08-03 | 2019-01-08 | 首都师范大学 | 图像采集方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180172823A1 (en) * | 2015-06-16 | 2018-06-21 | Urthecast Corp | Systems and methods for remote sensing of the earth from space |
-
2020
- 2020-12-29 CN CN202011589544.8A patent/CN112738482B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6473858B1 (en) * | 1999-04-16 | 2002-10-29 | Digeo, Inc. | Method and apparatus for broadcasting data with access control |
CN109163704A (zh) * | 2018-08-03 | 2019-01-08 | 首都师范大学 | 图像采集方法及装置 |
CN109087378A (zh) * | 2018-09-11 | 2018-12-25 | 首都师范大学 | 图像处理方法及系统 |
Non-Patent Citations (1)
Title |
---|
智能遥感卫星与遥感影像实时服务;王密 等;《测绘学报》;20191231;第48卷(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112738482A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11107275B2 (en) | System and methods for improved aerial mapping with aerial vehicles | |
US20090015674A1 (en) | Optical imaging system for unmanned aerial vehicle | |
JP4181800B2 (ja) | ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム | |
CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
CN106780321A (zh) | 一种cbers‑02卫星hr传感器影像整体严密定向与纠正拼接方法 | |
CN113591804B (zh) | 图像特征提取方法、计算机可读存储介质以及计算机终端 | |
CN111815672B (zh) | 动态跟踪控制方法、装置及控制设备 | |
CN114972545B (zh) | 一种高光谱卫星的在轨数据快速预处理方法 | |
CN112197764A (zh) | 实时位姿确定方法、装置及电子设备 | |
CN113301274A (zh) | 一种船舶实时视频全景拼接方法及系统 | |
CN112288637A (zh) | 无人机航拍图像快速拼接装置及快速拼接方法 | |
CN103700110B (zh) | 全自动影像匹配方法 | |
CN115731100A (zh) | 一种基于多无人机的图像拼接方法及其系统 | |
CN113888416A (zh) | 卫星遥感图像数据的处理方法 | |
JP2019046149A (ja) | 作物栽培支援装置 | |
CN112738482B (zh) | 地球直播方法、装置及系统 | |
CN111091088B (zh) | 一种视频卫星信息支援海上目标实时检测定位系统及方法 | |
CN112154484A (zh) | 正射影像生成方法、系统和存储介质 | |
CN116045921A (zh) | 基于数字高程模型的目标定位方法、装置、设备及介质 | |
CN113870163B (zh) | 基于三维场景的视频融合方法以及装置、存储介质、电子装置 | |
EP3839882B1 (en) | Radiometric correction in image mosaicing | |
CN113654528B (zh) | 通过无人机位置和云台角度估测目标坐标的方法和系统 | |
CN103295214A (zh) | 基于色彩特征的无云modis遥感图像生成方法及系统 | |
CN112308809A (zh) | 一种图像合成方法、装置、计算机设备及存储介质 | |
Zakaria | Application of Ifsar technology in topographic mapping: JUPEM’s experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |