CN115358729A

CN115358729A - 一种卫星影像数据智能发布系统

Info

Publication number: CN115358729A
Application number: CN202211292861.2A
Authority: CN
Inventors: 姚慰; 张海堂; 汪峰; 龚珊; 周康燕; 曾理; 任浩
Original assignee: Chengdu Rongxing Technology Co ltd
Current assignee: Chengdu Rongxing Technology Co ltd
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2022-11-18
Anticipated expiration: 2042-10-21
Also published as: CN115358729B

Abstract

本发明公开了一种卫星影像数据智能发布系统，涉及卫星影像技术领域，包括：发布数据管理模块根据发布规则选取发布数据，跨网数据自动交互模块将接收发布数据从内网安全迁移到外网并存储至数据库；数据发布智能服务模块根据用户画像访问数据库并提供数据发布智能服务；数据发布运维管理模块监视系统的运行状态并提供可视化的监视管理界面；数据发布应用终端模块供用户注册、登录以及访问数据发布智能服务模块。本发明从时间、空间、尺度、属性和语义等角度设计多态影像数据库及其异构元数据的统一访问接口，并根据用户的特征偏好个性化数据需求提供智能化的数据访问服务，方便用户及时获取需要的卫星影像数据。

Description

一种卫星影像数据智能发布系统

技术领域

本发明涉及卫星影像技术领域，具体的说，是一种卫星影像数据智能发布系统。

背景技术

随着卫星遥感技术的发展，遥感卫星发射数量越来越多，采集的卫星遥感影像数据呈现爆炸式增长，遥感数据应用越来越普及，通过互联网进行遥感数据发布，以便用户及时获取遥感影像数据信息已成为当前遥感影像数据发布方式的主流。现有的发布系统主要偏重于有什么发布什么，没有结合用户的个性化需求进行智能化数据发布服务；其次，对可见光、红外、SAR、多光谱和高光谱等不同类型、不同的存储格式的影像数据，需要不同的数据访问接口，接口转换复杂，访问效率低。

发明内容

本发明的目的在于提供一种卫星影像数据智能发布系统，用于解决现有技术中遥感影像数据发布没有结合用户需求以及不同类型不同格式的影响数据访问接口不同导致访问效率低的问题。

本发明通过下述技术方案解决上述问题：

一种卫星影像数据智能发布系统，包括发布数据管理模块、跨网数据自动交互模块、数据库、数据发布智能服务模块、数据发布运维管理模块和数据发布应用终端模块，其中：

发布数据管理模块，用于根据发布规则从外部卫星影像数据生产系统选取发布数据，并推送给跨网数据自动交互模块；

跨网数据自动交互模块，用于将发布数据从内网安全迁移到外网，并存储至数据库；

数据发布智能服务模块，用于根据用户画像访问数据库并提供数据发布智能服务；

数据发布运维管理模块，用于监视系统的运行状态并提供可视化的监视管理界面，系统的运行状态包括计算资源、存储资源、网络运行、软件运行和系统安全；

数据发布应用终端模块，用于用户注册、登录以及访问数据发布智能服务模块。

所述数据发布智能服务模块包括统一身份认证服务单元、数据资源检索与推荐单元、多态混合存储统一访问服务单元，其中：

统一身份认证服务单元，用于判断用户是否为合法用户以及根据用户的权限管理展示给用户的数据；

数据资源检索与推荐单元，用于对数据库中的数据进行检索并推荐；

多态混合存储统一访问服务单元，用于屏蔽异构数据库存储之间的差异，向用户提供统一的访问与处理接口，用于接收与解析系统递交的统一访问请求，结合用户画像向用户提供数据访问服务。

所述多态混合存储统一访问服务单元包括统一访问接口子单元、访问重写与处理子单元、缓存调度与管理子单元、用户时空分布画像子单元和访问偏好分析与推荐子单元，其中：

统一访问接口子单元，用于根据多态影像数据的多元访问需求提供统一访问接口，统一访问接口包括通用文件访问接口、基于目录结构数据访问接口、格元数据访问接口和空间对象访问接口，统一访问接口在访问元数据服务时获得待访问文件在分布式文件系统中的全局唯一标识名、索引元数据的基础上，依据元数据信息并通过存储节点状态跟踪与调度服务来选择远程存储节点提供的扁平文件服务，从而实现远程网络数据流的访问；

访问重写与处理子单元，用于接收与解析系统递交的统一访问请求，重写与映射为针对原始资料库、归一化影像库和时空融合库的访问请求，提供统一访问请求的串/并行处理及其优化执行；提供多节点查询处理的分布式流式汇聚，提供针对海量查询结果的游标式返回；

缓存调度与管理子单元，用于在统一访问引擎中内置多级缓存模块，实现缓存-数据库内外协同的查询处理；以及提供多级缓存模块的多种替换策略、一体化索引及联动维护，实现缓存的高效调度与管理；

用户时空分布画像子单元，用于收集与维护全球基础影像数据的时空与尺度分布，形成时空分布的多维度报表；用于统计用户对于全球基础影像数据库的访问历史，挖掘隐藏其中的访问模式和时空分布规律；以及用于分析用户的访问影像数据和元数据的偏好分布；

访问偏好分析与推荐子单元，用于分析用户的访问影像数据和元数据的偏好分布，采用基于内容的推荐算法生成影像数据推荐列表，读取推荐的影像数据并加载到缓存中，提高用户访问数据的效率。

所述访问重写与处理子单元集成模式初始化阶段和数据查询执行阶段，其中，集成模式初始化阶段用于接收和解析统一访问请求，结合原始资料库、归一化影像库和时空融合库等异构数据源信息，建立映射文件，分发检索请求信息；数据查询执行阶段用于执行用户数据访问请求，将检索结果合成统一格式提交给统一访问接口子单元。

所述用户时空分布画像子单元的工作流程为：

步骤A1、用户画像的获取，包括获取用户属性和用户对于全球基础影像数据库的访问行为日志；

步骤A2、采用正向云算法计算不同用户画像之间的相似度，作为区分用户群体的重要指标和用户画像聚类的前提条件；

步骤A3、采用聚类算法K-means将相似的用户画像聚为一类，对用户进行聚类；

步骤A4、用户画像生成，针对不同类别的用户分别建立有代表性的典型用户画像；

步骤A5、采取增量更新的方法对用户画像进行更新。

所述访问偏好分析与推荐子单元的工作流程为：

步骤B1、构建影像数据特征模型，影像数据使用特征向量表示，向量元素表示影像数据的特征属性，特征属性包括类型、区域、时相、分辨率和采集时间；

步骤B2、从用户行为日志中获取用户访问的影像数据集合，根据影像数据集合中影像数据的特征数据，进行学习得到用户的内容偏好；

步骤B3、采用余弦相似度计算方法计算用户偏好模型与影像数据特征向量之间的相似度；

步骤B4、运用K邻近算法KNN将对应的影像数据按距离的远近分类到用户群中；

步骤B2、输出初始推荐结果列表。

所述数据资源检索与推荐单元包括影像目录查询子单元、图框定位查询子单元、多时相影像显示子单元、影像元数据显示子单元、查询结果导出子单元、查询结果统计子单元、订单处理子单元和影像数据下载子单元，其中：

影像目录查询子单元，用于提供全部影像数据的元数据、空间数据联合查询；

图框定位查询子单元，用于提供标准比例尺图幅，并按照图幅号或框选图幅进行影像数据的空间过滤；

多时相影像显示子单元，用于将用户检索到的数据通过Web端的影像浏览功能展现给用户；

影像元数据显示子单元，用于将用户选中影像的快视图、详细的元数据信息在查询结果列表中显示；

查询结果导出子单元，用于将用户查询结果导出至shapefile文件，用户查询结果包含影像轮廓线的空间信息和影像相关元数据信息；

查询结果统计子单元，用于统计用户查询结果，包括覆盖范围、影像数量、影像类型和分辨率；

订单处理子单元，用于将经过用户筛选的查询结果影像生成订单；

影像数据下载子单元，用于提供影像数据下载和输出功能。

所述跨网数据自动交互模块包括数据导入处理单元、光盘摆渡设备单元、数据导出处理单元和数据备份单元，其中：

数据导入处理单元，用于对内网提供的元数据、原始数据和系统产出的业务数据信息、历史数据、数据统计信息进行数据源校验、数据抽取、数据清洗、格式转换、数据加载和数据脱敏，形成中间库，为光盘摆渡准备数据；

光盘摆渡设备单元，用于控制自动化光盘摆渡机模拟人手工操作光盘，将刻录光驱中已刻光盘通过机械手移动到只读光驱中进行读取，在物理隔离的网络间实现数据自动迁移；

数据导出处理单元，用于接收光盘摆渡设备单元导出的摆渡数据，存储入库形成导出中间库，用于为系统提供安全可控的业务数据支撑；

数据备份单元，用于对系统的各类业务数据进行手动备份以及依据策略自动备份，并对备份策略各参数进行配置管理，以及用于在系统维护期，根据备份数据进行系统数据恢复。

所述计算资源包括CPU的使用率、空闲率和当前温度、内存的总量和未使用量、磁盘的总量、未使用量和读写速率、运行日志以及CPU告警信息；网络运行包括网络读取速率、网络流量输出、网络流量输入、前端连接数、活跃线程数、数据包的丢包率和报错率、http服务响应时间、运行日志和网络告警信息；系统安全包括服务器受攻击次数统计、近期攻击趋势统计、攻击类型统计和系统告警信息。

本发明与现有技术相比，具有以下优点及有益效果：

本发明从时间、空间、尺度、属性和语义等角度设计多态影像数据库及其异构元数据的统一访问接口，并根据用户的特征偏好个性化数据需求提供智能化的数据访问服务，方便用户及时获取需要的卫星影像数据。

附图说明

图1为本发明的系统框图；

图2为访问重写与处理流程图；

图3为缓存调度与管理流程图；

图4为用户时空分布画像流程图；

图5为访问偏好分析与推荐流程示意图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合图1所示，一种卫星影像数据智能发布系统，包括发布数据管理模块、跨网数据自动交互模块、数据库、数据发布智能服务模块、数据发布运维管理模块和数据发布应用终端模块，其中：

发布数据管理模块，实现数据管理人员对发布数据的管理，包括发布数据的选取、发布规则的设置，并根据发布规则将选取的发布数据从数据生产系统中提取出来，推送给跨网数据自动交互模块；

跨网数据自动交互模块，实现对需要进行发布的数据从内网安全迁移到外网并存储至数据库，包括数据导入处理单元、光盘摆渡设备单元、数据导出处理单元和数据备份单元，其中：

数据导入处理单元，实现对内网提供的元数据、原始数据和应用系统产出的业务数据信息、历史数据、数据统计信息等进行必要的数据源校验、数据抽取、数据清洗、格式转换、数据加载、数据脱敏等处理，形成中间库，为光盘摆渡准备数据；

光盘摆渡设备单元，利用仿生设计原理，控制自动化光盘摆渡机，自动化光盘摆渡机由内置服务器、机械手、光驱等部件组成，使机械手模拟人手操作光盘，将刻录光驱中已刻光盘通过机械手移动到只读光驱中进行读取，在物理隔离的网络间实现数据自动迁移；

数据导出处理单元，接入光盘摆渡设备单元导出的摆渡数据，存储入库形成导出中间库，用于为卫星影像数据智能发布系统提供安全可控的业务数据支撑；

数据备份单元，实现对卫星影像数据智能发布系统的各类业务数据的手动备份和依据策略自动备份，并可对备份策略各参数进行配置管理，同时可在系统维护期，根据备份数据进行系统数据恢复；

数据发布智能服务模块，用于根据用户画像访问数据库并提供数据发布智能服务，包括：

（1）统一身份认证服务单元，基于主流的Spring Cloud解决方案，针对发布信息的重要性和安全性考虑，采用统一身份认证体系（UIAS）来判断一个用户是否为合法用户。在用户注册成功后，系统会通过用户的注册邮箱发送一个登录链接，用户第一次登录时需要通过这个跳转链接进行一次匹配认证，然后通过用户自己设定的登录名和登录密码进行登录。系统收到用户输入的用户名和密码，与存储于数据库中的该用户的用户名和密码进行比对，来判断用户身份是否正确。用户信息匹配成功后，统一身份认证服务单元将根据注册用户的分类来判断用户具有哪些权限，并在展示给用户的页面、功能、数据中对其进行限制。用户登录成功后，即可使用所有支持统一身份认证服务的相关功能和数据。

（2）数据资源检索与推荐单元，提供数据库中的数据资源的检索与推荐服务，包括影像目录查询子单元、图框定位查询子单元、多时相影像显示子单元、影像元数据显示子单元、查询结果导出子单元、查询结果统计子单元、订单处理子单元和影像数据下载子单元，其中：

（2.1）影像目录查询子单元，提供全部影像数据的元数据、空间数据联合查询。可以根据空间几何位置框选等方式实现影像检索，也可以通过传感器类型、影像采集时间等元数据信息实现数据检索；

（2.2）图框定位查询子单元，对于需要按照图幅进行检索的用户，提供标准比例尺图幅（如1:100万、1:50万、1:25万、1:10万、1:5万、1:2.5万、1:1万、1:5000）并按照图幅号或框选图幅进行影像数据的空间过滤；

（2.3）多时相影像显示子单元，基于Web端的影像浏览功能，提供影像数据基本显示功能，将用户检索到的数据直观的展现给用户；

（2.4）影像元数据显示子单元，在查询结果列表中，显示用户选中影像的快视图、详细的元数据信息；

（2.5）查询结果导出子单元，将用户查询结果导出shapefile文件，包含影像轮廓线的空间信息和影像相关元数据信息；

（2.6）查询结果统计子单元，对用户查询结果做简单的统计，比如覆盖范围、影像数量、影像类型和分辨率；

（2.7）订单处理子单元，将经过用户筛选的查询结果影像生成订单，管理员用户可以登录系统查看订单，并对申请影像数据做审核处理，同时客户刷新订单状态可以看到申请数据的审核结果。根据申请类型，管理员会提供ftp地址和账号密码来下载离线使用，也可以将数据发布服务提供在线使用地址；

（2.8）影像数据下载子单元，提供影像数据下载和输出功能，提供原始数据、成果数据按景或者按区域下载。

（3）多态混合存储统一访问服务单元，用于屏蔽异构数据库存储之间的差异，向用户提供统一的访问与处理接口，是影像数据发布的主要访问入口。多态混合存储统一访问服务面向可见光、红外、SAR、多光谱和高光谱等几大类影像数据的多元访问需求，从时间、空间、尺度、属性和语义等角度设计多态影像数据库及其异构元数据的统一访问接口，接收与解析检索系统递交的统一访问请求，结合用户访问影像数据和元数据的偏好特征，向用户提供数据访问服务。具体包括：

（3.1）统一访问接口子单元

统一访问接口子单元面向可见光、红外、合成孔径雷达SAR、多光谱和高光谱等几大类影像数据的多元访问需求，考虑关系数据库和非关系数据库的访问特点与差异，从时间、空间、尺度、属性和语义等角度设计多态影像数据库及其异构元数据的统一访问接口，支持基于元数据、数据和特征的多模访问。

统一访问接口子单元包括通用文件访问接口、基于目录结构数据访问接口、格元数据访问接口、空间对象访问接口，这些接口在访问元数据服务时，获得待访问文件在分布式文件系统中的全局唯一标识名、索引元数据的基础上，依据元数据信息并通过存储节点状态跟踪与调度服务来选择远程存储节点提供的扁平文件服务，从而实现远程网络数据流的访问；在数据访问接口的基础上，面向常用的地理空间数据应用以服务的方式封装RESTfull接口标准的数据访问服务接口，包括格元数据访问服务、空间对象数据查询服务、数据文件下载服务以及目录与元数据访问服务等，为了实现这些服务的安全访问以及动态负载均衡，添加服务代理层，并连接用户权限管理，从而能够以集群的形式面向客户端应用程序提供网络在线访问接口，实现多用户高并发访问条件下在线数据访问功能。

（3.2）访问重写与处理子单元

访问重写与处理子单元接收与解析检索统一访问请求，重写与映射为针对原始资料库、归一化影像库和时空融合库的访问请求，支持统一访问请求的串/并行处理及其优化执行；提供多节点查询处理的分布式流式汇聚，支持针对海量查询结果的游标式返回。

访问重写与处理子单元业务流程分两个阶段：集成模式初始化阶段和数据查询执行阶段。其中，集成模式初始化阶段主要任务是接收和解析统一访问请求，结合原始资料库、归一化影像库和时空融合库等异构数据源信息，建立映射文件，分发检索请求信息；数据查询执行阶段主要功能是执行用户数据访问请求，将检索结果合成统一格式提交给统一访问接口子单元。具体流程如图2所示；

（3.3）缓存调度与管理子单元在数据库的统一访问引擎中内置多级缓存模块，支持缓存-数据库内外协同的查询处理，提高数据库的检索速度；设计包括先进先出队列FIFO、最近最少使用LRU在内的多种替换策略，提供多级缓存的一体化索引及联动维护，支持基于时空访问历史的热区预测，实现缓存的高效调度与管理。

前端应用首先到一级缓存中查询数据，当直接命中数据时，将数据读取返回；如果未命中数据，则从下级缓存中去查找数据，直到命中，同时将命中的数据对象从下级向上级进行跃迁；如果在所有的各级缓存中都未命中数据，则从数据库中加载数据，并返回数据和将数据存储与缓冲中。具体流程如下图3所示。

（3.4）用户时空分布画像子单元计算与更新影像数据及其访问历史的时空分布画像，包括：收集与维护全球基础影像数据的时空与尺度分布，形成时空分布的多维度报表；统计用户对于全球基础影像数据库的访问历史，挖掘隐藏其中的访问模式和时空分布规律；分析用户的访问影像数据和元数据的偏好分布，支持面向用户、主题的影像/元数据预取和缓存优化。

用户时空分布画像的数据来源是用户属性和影像数据属性，从用户-用户、用户-数据、数据-数据三方面展开相应的相似度计算，从而实现相应的分析、推荐与应用。用户时空分布画像对每个用户有一个用户属性的建模，其中包括用户的基本信息，如用户的性别、年龄、组织机构、活跃时间、所在地域等。影像数据有相应的属性标签，如影像类型、区域、时相、分辨率、采集时间等，通过对影像数据进行相应的标签化，为用户画像提供数据支撑。

用户时空分布画像分析的流程如图4所示，包括：

1）用户画像的获取，主要包括获取用户属性和用户对于全球基础影像数据库的访问行为日志；

2）用户画像相似度计算，根据不同的用户画像计算相互间的相似度，作为区分用户群体的重要指标和用户画像聚类的前提条件；通过正向云算法，可以把定性概念的整体特征变换为定量数值表示，实现概念空间到数值空间的转换，从而实现定性相似度的计算；

3）用户画像聚类，根据用户画像之间的相似度，将相似的用户画像聚为一类，采用聚类算法K-means对用户进行聚类；

4）用户画像生成，针对不同类别的用户分别建立有代表性的典型用户画像；

5）用户画像更新，采取增量更新的方法，即在更新操作时，只更新需要改变的地方，不需要更新或者已经更新过的地方则不会重复更新。增量式更新算法可采用滑动窗口过滤算法，当数据库更新时，只需要移动时间窗口，删除旧有的候选集，再加上新增的候选集即可。

（3.5）访问偏好分析与推荐子单元

访问偏好分析与推荐子单元分析用户的访问影像数据和元数据的偏好分布，采用基于内容的推荐算法生成影像数据推荐列表，读取推荐的影像数据并加载到缓存中，从而提高用户访问数据的效率。基于内容的推荐算法根据用户过去访问影像数据记录建立用户画像，提取影像数据的特征向量，建立影像数据画像，通过比较影像数据画像与用户画像（包含用户曾经访问的影像数据信息）之间的相似度，向用户推荐与其访问记录相近的其他影像数据。基于内容的推荐算法中的影像数据内容和用户偏好通过一些属性来表示，例如，影像数据具有类型、区域、时相、分辨率、采集时间等属性，用户的访问偏好也可以用这些属性来表示。

访问偏好分析与推荐工作流程如图5所示，包括：

1）构建影像数据特征模型，影像数据使用特征向量表示，向量元素表示影像数据的特征属性，如类型、区域、时相、分辨率、采集时间等；

2）从用户行为日志中获取用户访问的影像数据集合，根据影像数据集合中影像数据的特征数据，进行学习得到用户的内容偏好；

3）计算用户偏好模型与影像数据特征向量之间的相似度，相似度的计算采用余弦相似度（对于用向量空间模型表示的影像数据）的计算方法；

4）运用K邻近算法KNN（k-Nearest Neighbor）将对应的影像数据按距离的远近分类到用户群中；

5）输出初始推荐结果列表。

数据发布应用终端模块，用于用户注册、登录以及访问数据发布智能服务模块；

数据库主要完成对业务数据、用户信息、发布状态、异常告警记录、用户画像数据、发布规则等数据的组织、存储、查询、统计等功能。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims

1.一种卫星影像数据智能发布系统，其特征在于，包括发布数据管理模块、跨网数据自动交互模块、数据库、数据发布智能服务模块、数据发布运维管理模块和数据发布应用终端模块，其中：

2.根据权利要求1所述的一种卫星影像数据智能发布系统，其特征在于，所述数据发布智能服务模块包括统一身份认证服务单元、数据资源检索与推荐单元、多态混合存储统一访问服务单元，其中：

3.根据权利要求2所述的一种卫星影像数据智能发布系统，其特征在于，所述多态混合存储统一访问服务单元包括统一访问接口子单元、访问重写与处理子单元、缓存调度与管理子单元、用户时空分布画像子单元和访问偏好分析与推荐子单元，其中：

4.根据权利要求3所述的一种卫星影像数据智能发布系统，其特征在于，所述访问重写与处理子单元集成模式初始化阶段和数据查询执行阶段，其中，集成模式初始化阶段用于接收和解析统一访问请求，结合原始资料库、归一化影像库和时空融合库建立映射文件，分发检索请求信息；数据查询执行阶段用于执行用户数据访问请求，将检索结果合成统一格式提交给统一访问接口子单元。

5.根据权利要求3所述的一种卫星影像数据智能发布系统，其特征在于，所述用户时空分布画像子单元的工作流程为：

步骤A5、采取增量更新的方法对用户画像进行更新。

6.根据权利要求3所述的一种卫星影像数据智能发布系统，其特征在于，所述访问偏好分析与推荐子单元的工作流程为：

步骤B2、输出初始推荐结果列表。

7.根据权利要求2所述的一种卫星影像数据智能发布系统，其特征在于，所述数据资源检索与推荐单元包括影像目录查询子单元、图框定位查询子单元、多时相影像显示子单元、影像元数据显示子单元、查询结果导出子单元、查询结果统计子单元、订单处理子单元和影像数据下载子单元，其中：

影像数据下载子单元，用于提供影像数据下载和输出功能。

8.根据权利要求1所述的一种卫星影像数据智能发布系统，其特征在于，所述跨网数据自动交互模块包括数据导入处理单元、光盘摆渡设备单元、数据导出处理单元和数据备份单元，其中：

9.根据权利要求1所述的一种卫星影像数据智能发布系统，其特征在于，所述计算资源包括CPU的使用率、空闲率和当前温度、内存的总量和未使用量、磁盘的总量、未使用量和读写速率、运行日志以及CPU告警信息；网络运行包括网络读取速率、网络流量输出、网络流量输入、前端连接数、活跃线程数、数据包的丢包率和报错率、http服务响应时间、运行日志和网络告警信息；系统安全包括服务器受攻击次数统计、近期攻击趋势统计、攻击类型统计和系统告警信息。