CN113656608A - 一种面向软件定义卫星的大数据系统及数据自动处理方法 - Google Patents
一种面向软件定义卫星的大数据系统及数据自动处理方法 Download PDFInfo
- Publication number
- CN113656608A CN113656608A CN202110949441.6A CN202110949441A CN113656608A CN 113656608 A CN113656608 A CN 113656608A CN 202110949441 A CN202110949441 A CN 202110949441A CN 113656608 A CN113656608 A CN 113656608A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- resource
- information
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 158
- 230000002452 interceptive effect Effects 0.000 claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 57
- 238000007726 management method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 22
- 238000013479 data entry Methods 0.000 claims description 21
- 238000013523 data management Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000005855 radiation Effects 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 3
- 238000004886 process control Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供面向软件定义卫星的大数据系统以及服务处理方法，所述大数据系统包括：数据预处理及数据库管理模块，被配置为：将待录入的非结构化数据转换为标准数据结构对应的目标数据，并实现对结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作；结构化/非结构化数据库，被配置为存储所述结构化数据以及所述目标数据；多个数据处理服务模块；交互前端模块；命令/交互操作解析模块，被配置为解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令；系统运行控制模块，被配置为依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务。
Description
技术领域
本申请涉及卫星领域，具体而言本申请实施例涉及一种面向软件定义卫星的大数据系统及数据自动处理方法。
背景技术
传统的大数据平台虽然包括海量数据管理、遥感数据处理等能力，但是数据与服务存在一定的局限性。服务是以数据为基础的，而数据往往是较为固定的几类数据，如：Spot系列卫星、环境星、资源系列卫星。涉及到的数据主要是各星自身产生的数据，如：图像、视频等。各卫星数据平台仅对自身产生的数据进行管理与处理，因此其服务的种类和能力也基本被限定住。而软件定义卫星的航天大数据则包括：遥感数据、空间数据、运控数据、遥测数据等。数据来源不同、存储格式不同、使用目的不同导致数据的管理与后续使用发生了极大的变化，使得传统的大数据平台不再完全适合基于软件定义卫星的多源数据管理、多样化的数据处理需求。
此外，目前星上基本无大数据平台，更无较多且多样化的数据实时处理服务，因此如何在地面云端或者卫星上部署高效的大数据处理平台成了亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种面向软件定义卫星的大数据系统及数据自动处理方法，一方面本申请实施例提供的大数据系统支持不同卫星载荷的遥感数据、空间数据、运控数据、遥测数据等航天大数据的存储与管理，从根本上适应了软件定义卫星数据多元化管理的要求，另一方面本申请的实施例提供的大数据系统是面向软件定义卫星航天大数据管理以及数据的多样化服务处理，是集“数据获取-数据管理-服务应用-产品生产”的一体化大数据平台。
第一方面，本申请的一些实施例提供一种面向软件定义卫星的大数据系统，所述大数据系统包括：数据预处理及数据库管理模块，被配置为：将待录入的非结构化数据转换为标准数据结构对应的待录入的目标数据，并实现对结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作；结构化/非结构化数据库，被配置为存储所述结构化数据以及所述目标数据；多个数据处理服务模块，其中，每个数据处理服务模块被配置为对所述待录入的非结构化数据或者所述目标数据提供一种数据处理服务，其中，针对所述待录入数据的服务类型包括：数据录入服务、数据格式转换服务以及缩略图生成服务；服务镜像库，被配置为存储所述多个数据处理服务模块对应的应用镜像，其中，所述应用镜像包括：各个数据处理服务运行所需的库、环境以及程序；交互前端模块，被配置为接收前端用户输入的命令或者交互操作；命令/交互操作解析模块，被配置为解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令；系统运行控制模块，被配置为：根据所述结构化/非结构化数据库所存储的数据和设定流程，依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务，其中，一个数据处理服务与一个数据处理服务模块对应；其中，所述服务镜像库以及实现所述多个数据处理服务模块以插件的形式设置于所述大数据系统中。
通过本申请的实施例提供的大数据系统对应的平台，既可以为用户提供数据又可以为用户提供各类服务，也就是说，本申请实施例提供的大数据系统既用于实现对待录入系统的数据进行处理，也用于实现用户输入的各类请求服务。
在一些实施例中，所述数据预处理及数据库管理模块包括：多源数据标准化处理模块，被配置为：通过调用至少一个数据处理服务的方式，将所述待录入的非结构化数据转换为所述目标数据，其中，所述待录入的非结构化数据包括不同存储结构的多源数据或者异构数据，所述至少要一种数据处理服务包括：数据有效性检查、文件格式转换或者缩略图生成；多源数据管理模块，被配置为实现对所述结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作，其中，所述管理操作的类型包括：录入、删除、更新或者检索。
本申请的一些实施例通过设置多源数据标准化处理模块和多源数据管理模块这两个模块可以通过命令与交互前端配合实现数据相关业务请求的操作，包括：简单的数据库操作请求：查询服务请求、查看数据请求、创建感兴趣的数据集等。
在一些实施例中，所述多源数据包括：光学数据、微波数据、激光数据、视频数据或者非成像类数据。
在一些实施例中，所述系统运行控制模块被配置为根据所述设定流程对所述至少两个数据处理服务进行自动化流程控制，以组织所述至少两个数据处理服务对所述待录入的非结构化数据或者所述目标数据进行处理实现所述目标请求服务。
本申请的一些实施例调用系统运行控制模块调用一个或多个数据处理服务来实现用户输入的复杂请求，例如，系统运行控制模块调用图像滤波服务对数据进行处理后再调用飞机识别服务对滤波后的数据进行飞机检测等。
在一些实施例中，所述多源数据标准化处理模块还被配置为：针对通过面阵成像载荷得到的图像进行绝对辐射校正、相对辐射校正或者几何校正；或者，针对通过线阵推扫式成像载荷得到的图像进行绝对辐射校正、相对辐射校正或者几何校正。
本申请的实施例可以针对差异化的成像载荷得到的多源数据，实施差异化的标准化处理，提升了大数据系统的通用性。
在一些实施例中，针对所述目标数据对应的元数据的管理操作包括：自动从所述元数据中提取数据特征信息，其中，所述数据特征信息用于表征所述待录入数据所对应的目标对象或者所述目标对象的状态。
通过本申请实施例对元数据信息的进一步解读可以获取多源数据的更深层次的信息，提升多源数据的利用价值。
在一些实施例中，所述多源数据管理模块还被配置为对运行所述至少两个数据处理服务得到的结果进行管理或者提供下载所述结果的功能。
通过多源数据管理模块提供的管理和下载功能可以方便用户查看系统对各种请求的处理结果。
在一些实施例中，在所述结构化/非结构化数据库中将所述结构化数据包括的固有信息存储为基础表单，将对所述待录入的非结构化数据进行分析和挖掘获取的信息统一存储至属性表单并与数据ID相关联存储；其中，所述固有信息包括：卫星名称、载荷名称或者帧频。
本申请的一些实施例通过基础表单、属性表单和数据ID的方式来存储待录入的结构化和非结构化数据，可以提升后续对这些数据的查询、检索等处理。
在一些实施例中，所述结构化/非结构化数据库还被配置为：存储所述数据特征信息、存储用户发起的任务信息以及任务结果存储位置信息。
本申请的一些实施例通过在结构化/非结构化数据库中存储多种信息类型，以方便用户查看大数据系统的各种信息。
在一些实施例中，所述多个数据处理服务模块中的各模块被分别配置为实现超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产或者卫星评估。
在一些实施例中，所述命令/交互操作解析模块还被配置为：对所述命令/交互操作进行逻辑解析得到系统指令；识别并执行所述与数据库访问相关的服务请求对应的系统指令，或者，将所述目标请求服务类型对应的系统指令传输至所述系统运行控制模块，以使所述系统运行控制模块通过调用相关的数据处理服务模块完成所述目标服务请求。
本申请的一些实施例通过命令/交互操作解析模块执行简单的请求，并通过系统运行控制模块执行复杂的请求，进而提升了大数据系统所能提供的服务的类型。
在一些实施例中，所述系统运行控制模块还被配置为反馈任务处理状态。
本申请的一些实施例通过系统运行控制模块的反馈功能可以让用户即时查看复杂请求对应的任务的执行情况。
在一些实施例中，所述系统运行管理模块通过接口服务器监控所述至少两个数据处理服务中各服务的执行情况，并依据所述设定流程调用所述至少两个数据处理服务。
本申请的一些实施例的系统运行管理模块通过接口服务器实时查看数据处理服务的执行情况，以便在相关数据处理服务执行完毕后对这些服务模块进行再调用以完成新输入的复杂请求。
第二方面，本申请的一些实施例提供一种服务请求处理方法，该方法的实现基于第一方面提供的各实施例的大数据系统，所述服务请求处理方法包括：接收用户输入的命令或交互操作指令；解析所述命令和所述交互操作指令得到解析结果；根据解析结果确认所述用户输入的请求属于第一类请求时，则由命令/交互操作解析模块执行所述第一类请求得到任务处理结果；或者，根据解析结果确认所述用户输入的请求属于第二类请求时，则将所述第二类服务请求发送给系统运行控制模块，以使所述系统运行控制模块通过依次调用多个数据处理服务模块完成所述第二类请求所对应的任务。
在本申请的一些实施例中，所述系统运行控制模块通过接口服务器监控所述多个数据处理服务模块的运行状态，并按照设定流程依次启动多个数据处理服务模块工作完成所述第二类请求所对应的任务。
第三方面，本申请的一些实施例提供一种数据自动录入方法，该方法基于上述实施例所述的大数据系统得以实现，所述数据自动录入方法包括：创建数据录入资源DataProc.yaml；监视所述数据录入资源的创建过程，并获取所述数据录入资源对应的待录入数据的存储路径，获取所述存储路径包括的文件夹下文件数量、获取文件名称及文件存储路径，并统计本批次数据文件录入时所需数据处理服务的个数以及调用流程；重复执行如下步骤，完成各张图片的录入及处理，其中，所有待录入图片对应的数据为所述待录入数据：系统运行控制模块生成写入数据信息资源WriteDataInfo.yaml，监测到所述写入数据信息资源WriteDataInfo.yaml后根据资源描述内容获取描述文件并读取数据属性信息写入结构化/非结构化数据库以及服务镜像库，执行完毕后修改写入数据信息资源WriteDataInfo.yaml的状态；系统运行控制模块监视到写入数据信息资源WriteDataInfo.yaml状态变化后，删除所述写入数据信息资源WriteDataInfo.yaml同时生成类型转换资源TypeTrans.yaml；数据格式转换服务监测到生成类型转换资源TypeTrans.yaml存在则从所述生成类型转换资源TypeTrans.yaml中获取文件存储路径，并从文件存储数据库中获取所述待录入数据并对数据进行格式转换，转换完毕修改数据库中相关信息，再修改写入数据信息资源TypeTrans.yaml状态；系统运行控制模块监测到写入数据信息TypeTrans.yaml资源状态变化后，删除写入数据信息资源并生成缩率图展示资源SLT.yaml；生成缩略图服务监测到缩略图展示资源SLT.yaml创建，则从所述缩略图展示资源SLT.yaml中获取文件存储路径进行缩略图处理，处理完毕修改数据库相关信息，再修改缩略图展示资源SLT.yaml的状态；系统运行控制模块监测到缩略图展示资源SLT.yaml的变化则删除所述缩略图展示资源SLT.yaml，此时已完成一张图像的录入任务。
第四方面，本申请的一些实施例提供一种自动化为数据增加标签的方法，该方法基于上述实施例提供的大数据系统得以实现，所述方法包括：通过命令触发为数据增加标签的目标请求服务，生成数据标签资源datatag.yaml；系统运行控制模块监视数据标签资源datatag.yaml的创建过程，并根据所述数据标签资源datatag.yaml中描述的信息组建设定流程，同时生成多个识别服务资源；各识别服务监视各自识别服务资源的创建过程，根据资源内服务名和服务版本号信息确认具体服务；确认识别服务资源创建完成后从信息存储数据库中查询文件路径及文件ID并从文件存储数据库中获取数据文件，服务完毕后将识别结果写入对应的识别服务资源，修改服务状态；系统运行控制模块监视识别服务资源状态变化并获取识别结果，确认后删除所述识别服务资源同时生成增加数据标签资源；增加数据标签服务监视所述增加数据标签资源的创建过程，确认后执行服务向标签类型表与标签表增加标签信息，执行完毕修改所述增加数据标签资源状态，其中，所述标签表内的标签信息与图像ID相关联；系统运行控制模块监视增加数据标签资源状态变化，确认后删除所述增加数据标签资源同时修改增加数据标签资源状态并将信息反馈前端。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的面向软件定义卫星的大数据系统的组成框图之一；
图2为本申请实施例提供的服务请求处理方法的流程示意图；
图3为本申请实施例提供的基于面向软件定义卫星的大数据系统实现的服务请求处理方法的流程示意图；
图4为本申请实施例提供的基于面向软件定义卫星的大数据系统所实现的数据自动录入方法的流程图；
图5为本申请实施例提供的基于面向软件定义卫星的大数据系统所实现的标签自动增加方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
软件定义卫星属于新一代智能卫星，本申请的发明人在研究中发现由于软件定义卫星硬件可重置复用从而可通过软件再部署实现多种软件功能，因此其数据的应用服务表现为多样化，数据处理结果表现为多元化，而这正切合实际应用中星上或地面数据处理需求的多变性。因此，本申请的发明人认为面向软件定义卫星的大数据系统的设计需要从顶层考虑以下几个主要(或基础)模块的设计：(1)多源数据标准化处理模块；(2)多源数据的管理模块；(3)结构化/非结构化数据库以及服务镜像库；(4)数据处理的服务模块；(5)命令/交互操作解析模块；(6)系统运行控制模块；(7)交互前端模块。这些模块组织在一起共同初步构建了本申请的实施例提供的面向软件定义卫星的大数据系统。可以理解的是，本申请一些实施例提供的面向软件定义卫星的大数据系统中还可以包括：日志管理模块、负载均衡模块、数据安全模块、系统健康分析模块或者权限分析模块等。需要说明的是，本申请实施例提供的面向软件定义卫星的大数据系统正常运行所需的基本模块，即大数据平台的基础架构。
请参看图1，该图提供本申请一些实施例的面向软件定义卫星的大数据系统100，该大数据系统100包括：交互前端模块110、命令/交互操作解析模块120、系统运行控制模块130、多个数据处理服务模块150、结构化/非结构化数据库/服务镜像库160以及数据预处理及数据库管理模块170。
数据预处理及数据库管理模块170被配置为：将待录入的非结构化数据转换为标准数据结构对应的待录入的目标数据，并实现对结构化数据、目标数据和与目标数据对应的元数据的管理操作。结构化/非结构化数据库/服务镜像库，被配置为存储结构化数据以及目标数据；服务镜像库，被配置为存储所述多个数据处理服务模块对应的应用镜像，其中，所述应用镜像包括：各个数据处理服务运行所需的库、环境以及程序。多个数据处理服务模块150，其中，每个数据处理服务模块被配置为对所述待录入的非结构化数据或者所述目标数据提供一种数据处理服务，其中，针对所述待录入数据的服务类型包括：数据录入服务、数据格式转换服务(该处是一种概括说法，因为数据格式有很多种，每种都对应一个具体服务)以及缩略图生成服务。交互前端模块110被配置为接收前端用户输入的命令或者交互操作。命令/交互操作解析模块120被配置为：解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令。系统运行控制模块130被配置为：根据所述结构化/非结构化数据库所存储的数据和设定流程，依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务，其中，一个数据处理服务与一个数据处理服务模块对应；其中，所述服务镜像库以及实现所述多个数据处理服务模块以插件的形式设置于所述大数据系统中。
如图1所示，在一些实施例中，数据预处理及数据库管理模块170进一步包括：多源数据标准化处理模块171以及多源数据管理模块172。
多源数据标准化处理模块171被配置为：通过调用至少一个数据处理服务的方式，将所述待录入的非结构化数据转换为所述目标数据，其中，所述待录入的非结构化数据包括不同存储结构的多源数据或者异构数据，所述至少要一种数据处理服务包括：数据有效性检查、文件格式转换或者缩略图生成。多源数据管理模块172被配置为实现对所述结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作，其中，所述管理操作的类型包括：录入、删除、更新或者检索。
下面示例性阐述图1中各模块的实现细节以及功能。
结合图1可知交互前端模块110，主要实现前端用户(包括普通用户、管理人员、在线服务人员等简称为前端用户)与面向软件定义卫星的数据系统之间的交互访问功能以及命令输入。在本申请的一些实施例中，交互前端模块110还被配置为实现与系统运行控制模块130、数据库(结构化/非结构化数据简称为数据库)之间的信息传递与读写功能。在本申请的一些实施例中，交互前端模块110还被配置为系统运行状态信息的反馈显示。在本申请的一些实施例中，交互前端模块110还被配置为提供数据(图像、视频等可视化数据以及服务处理结果、非可视化数据统计信息的)可视化展示。例如，交互操作包括：用户检索数据、查看数据、查看数据处理结果等，即用户与web页面之间的交互。此处的交互操作是针对本系统部署在地面云平台时。
图1的命令/交互操作解析模块120被配置为负责用户的交互操作与输入的命令逻辑解析，将其转换为相应系统指令。命令/交互操作解析模块120被配置为对简单请求的直接实现，或者将复杂请求信息解析后传递给系统运行控制模块130。
在本申请的一些实施例中，命令/交互操作解析模块120还被配置为：对用户通过交互前端模块110输入的命令或者交互操作进行逻辑解析得到系统指令；识别并执行与数据库访问相关的服务请求(对应简单请求)对应的系统指令，或者，将目标请求服务类型(对应复杂请求)对应的系统指令传输至系统运行控制模块130，以使系统运行控制模块130通过调用相关的数据处理服务模块完成所述目标服务请求。
简单请求的直接实现指的是用户调用某一服务对感兴趣的数据或数据集进行单一功能处理，而非多个或一系列服务按照一定流程顺序进行处理。
下面以用户调用“云判服务”对数据内容进行判断作为一个简单请求示例，结合如下步骤示例性阐述简单请求的实现过程：
步骤一，用户通过web门户输入命令：e服务名数据名(示意代码)。
步骤二，命令/交互操作解析模块120根据命令中的参数确定服务镜像以及数据。
步骤三，调用“云判服务”对数据(集)进行识别，并将结果保存。
复杂请求指的是需要多个数据处理服务模块联合工作实现某一功能，例如：将遥感图像数据录入本大数据系统，该功能实现除将各类信息录入对应表单，还需要将数据进行处理，如：格式转换、生成缩略图等。具体实现过程包括如下步骤：
步骤一，管理员通过web门户输入命令：c input文件路径(示意代码)。
步骤二，命令/交互操作解析模块120根据命令类型以及关键字判断对应功能，从而通知系统运行控制模块130需多服务联合工作的“数据录入”服务需启动。
步骤三，系统运行控制模块130首先调用数据录入服务将数据相关信息录入各表单。
步骤四，系统运行控制模块130再调用数据格式转换服务图像数据转换为系统支持的数据格式。
步骤四，系统运行控制模块130最后调用生成缩略图服务根据图像数据生成对应的缩略图。
图1的多源数据标准化处理模块171被配置为：将不同存储结构的多源、异构数据转换为标准数据结构(例如，标准数据结构包括但不限于：geotif(tif)、jpg、png、bmp等)，缩略图生成，以及其它标准化数据处理。
传统遥感大数据系统平台以提供数据为主，数据的标准化处理则是由相关服务人员调用各种功能软件进行处理后上传至数据平台。而本申请一些实施例提供的面向软件定义卫星的大数据系统平台则是既提供数据又提供各类服务，该大数据系统能够自动化调用数据处理服务模块对待录入系统的数据进行处理，该大数据系统的基本标准化处理包括：数据有效性检查、文件格式转换、缩略图生成等。
需要说明的是，由多源数据标准化处理模块171执行的其它标准化数据处理过程包括：根据成像载荷特点不同，数据标准化处理不同。针对面阵成像载荷，包括：绝对辐射校正、相对辐射校正或者几何校正；针对线阵推扫式成像载荷，包括：绝对辐射校正、相对辐射校正、几何校正。根据业务需求不同，可定制相关标准化处理。但本系统均是自动化完成数据处理。在一些实施例中，所述多源数据包括：光学数据、微波数据、激光数据、视频数据或者非成像类数据。例如，在一些实施例中，这些数据具体包括：光学遥感数据、微波遥感数据、激光遥感数据。非成像类数据包括但不限于：遥测数据、电场数据、磁场数据。
图1的多源数据管理模块172被配置为：实现对数据的管理，包括：数据录入、数据删除、数据更新、数据检索等；管理的元数据包括：遥感数据、空间数据、运控数据、遥测数据等航天数据；从元数据中分析、提取的数据特征信息；大数据系统提供的服务处理结果管理、下载等。
在一些实施例中，多源数据管理模块172针对所述目标数据对应的元数据的管理操作包括：自动从所述元数据中提取数据特征信息，其中，所述数据特征信息用于表征所述待录入数据所对应的目标对象或者所述目标对象的状态。
图1的多源数据管理模块172实现对数据的管理，包括：数据录入、数据删除、数据更新、数据检索等。在技术上，传统遥感大数据平台基于数据库内具体且固定的属性表单对数据管理，超出表单范畴的数据属性信息则需要后台管理人员对数据库表单进行修改(增加字段或增加表单)。而本申请一些实施例提供的大数据系统将数据的各种信息视作属性，将数据固有的信息(卫星名称、载荷名称、帧频等)确定为具体(或基础)的表单；将数据分析、挖掘所得信息(数据中含有云、船、飞机)统一存储至属性表单并与数据ID相关联进行管理。如此在技术上无需修改已有表单字段，降低了后台服务人员的维护工作量。
例如：检索“飞机”光学遥感数据。
步骤一，输入命令(或解析交互操作生成命令)：“r属性飞机”(示意代码)。
步骤二，检索属性表单中带有“飞机”标签的字段，并记录该字段对应的数据ID。
步骤三，根据数据ID，提取各基础表单中相关数据信息(卫星平台、载荷名、数据行列信息、量化比特……)。
步骤四，输出结果可包括图像、视频等。
图1的多源数据管理模块172从元数据中分析、提取的数据特征信息包括：从元数据中分析、提取的数据特征为捕获的数据内容，即人对数据解译的结果，只不过由算法完成人的分析，从目标对象来看包括：飞机、舰船、云、雪、山脉、水体、建筑、星等；从数据分析来看包括：农作物种类、庄家长势、河流污染、洪涝灾害、污染排放等；从应用意义来看包括：灾害预警、植树造林监督等。
图1的结构化/非结构化数据库/服务镜像库160被配置为：存储结构化的数据固有信息；存储图像、视频、遥测等非结构化数据；存储图像、视频、遥测等结构化属性信息；存储元数据中提取的特征数据；存储用户发起的任务信息以及任务结果存储位置信息；存储各种功能的服务应用镜像(服务运行所需库、环境与程序本身打包在一起)。
在一些实施例中，在所述结构化/非结构化数据库中将结构化数据包括的固有信息存储为基础表单，将对所述待录入的非结构化数据进行分析和挖掘获取的信息统一存储至属性表单并与数据ID相关联存储；其中，所述固有信息包括：卫星名称、载荷名称或者帧频。需要说明的是，固有信息不仅限于此三种，还包括：经度、纬度、数据获取时间等。
在一些实施例中，所述结构化/非结构化数据库还被配置为：存储所述数据特征信息、存储用户发起的任务信息以及任务结果存储位置信息。
图1的多个数据处理服务模块150中的各模块被配置为：对数据进行应用功能处理，如：超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产、卫星评估等；服务的部署、更新、删除等操作。需要说明的是，本申请一些实施例的模块所能提供的服务不限于此几种，根据业务需要会逐步增加相应的服务提供模块。
需要说明的是，超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产、卫星评估等，这些功能或算法并非本申请一些实施例提供的大数据系统所独有，这些算法在传统大数据系统平台上不对外提供或不具备这些功能。而本申请一些实施例的大数据系统将其作为服务提供给用户使用，这也是本大数据系统平台与传统大数据平台区别之一，即既提供各类标准数据，又提供处理数据所需的各类算法服务。为用户自行编写算法节省了大量宝贵时间，也为用户提供了更好的平台使用体验。用于实现这些功能的算法所对应的程序、以及程序执行环境等存储在服务镜像库中。
图1的系统运行控制模块130被配置为：用于对复杂请求的处理，包括：调用多个数据处理服务；数据自动化(非手动)录入处理；任务处理状态的反馈与记录。
也就是说，在本申请的一些实施例中，所述系统运行控制模块被配置为根据所述设定流程对所述至少两个数据处理服务进行自动化流程控制，以组织所述至少两个数据处理服务对所述待录入的非结构化数据或者所述目标数据进行处理实现所述目标请求服务。在本申请的一些实施例中，所述系统运行控制模块还被配置为反馈任务处理状态。此处的“任务”是用户或其他系统发起的数据处理需求，系统运行控制模块将各个服务处理结果(即处理状态)反馈给前端(用户或其它使用本系统的外部系统)。在本申请的一些实施例中，所述系统运行管理模块通过接口服务器监控所述至少两个数据处理服务中各服务的执行情况，并依据所述设定流程调用所述至少两个数据处理服务。
如图2所示，本申请的一些实施例提供一种服务请求处理方法，该方法的实现基于图1提供的大数据系统100，图2的服务请求处理方法包括：S201，接收用户输入的命令或交互操作指令；S202，解析所述命令和所述交互操作指令得到解析结果；S203，根据解析结果确认所述用户输入的请求属于第一类请求时，则由命令/交互操作解析模块执行所述第一类请求得到任务处理结果；或者，根据解析结果确认所述用户输入的请求属于第二类请求时，则将所述第二类服务请求发送给系统运行控制模块，以使所述系统运行控制模块通过依次调用多个数据处理服务模块完成所述第二类请求所对应的任务。在本申请的一些实施例中，系统运行控制模块通过接口服务器监控所述多个数据处理服务模块的运行状态，并按照设定流程依次启动多个数据处理服务模块工作完成所述第二类请求所对应的任务。
下面结合图3进一步示例性阐述本申请实施例提供的服务请求处理方法的实现过程。
交互前端模块110接收用户需求，其中，用户需求是通过命令或者交互操作的方式输入交互点前模块110的。交互前端模块110将接收的命令或者交互操作(或称为操作请求)发送给命令/交互操作解析模块120。
命令/交互操作解析模块120解析命令或操作请求判断用户需求对应的服务请求是属于简单请求(对应于数据库访问相关的请求)还是复杂请求(对应于由系统运行控制模块130调用多个数据处理服务模块才能实现的请求)。当确认请求属于简单请求时，则由命令/交互操作解析模块120执行该请求。当确认请求属于复杂请求时，则将复杂请求传输给系统运行控制模块130。
需要说明的是，图3的复杂请求对应的多个数据处理服务包括由第一数据处理服务模块151实现的第一数据处理服务、由第二数据处理服务模块152实现的第二数据处理服务，……，直至由第N数据处理服务模块15N实现的第N数据处理服务，且为了实现复杂请求这N个数据处理服务的设定流程(即实现复杂请求的执行次序)依次为：第一数据处理服务、第二数据处理服务，……，直至第N数据处理服务。
系统运行控制模块130与应用接口服务器连接以通过接口调用的方式监控复杂请求所对应的多个数据处理服务模块的状态，具体地，系统运行控制模块130通过应用接口服务器140监听第一数据处理服务模块151的状态反馈信息，应用接口服务器向系统运行控制模块130反馈监听状态，当系统运行控制模块130确定第一数据处理服务模块151无正在执行的请求时，启动第一数据处理服务，使的该第一数据处理服务模块151执行与实现本次复杂请求所对应的处理。当系统运行控制模块130确认第一数据处理服务状态成功则启动第二数据处理服务，即启动第二数据处理服务模块152使其执行与本次复杂请求所对应的处理，该第二数据处理服务模块152会即时进行状态反馈，并通过应用接口服务器140将监听状态(即第二数据处理服务模块152对本次复杂请求任务的执行结果)反馈至系统运行控制模块130，以此类推，直至系统运行控制模块130控制N个数据处理服务模块完成本次复杂请求任务。可以理解的是，各个数据处理服务模块在工作时需要从结构化/非结构化数据库以及服务镜像库160中读取相关程序或者数据。
如4所示，本申请的一些实施例提供一种数据自动录入方法，该方法基于上述图1的大数据系统得以实现，图4的数据自动录入方法包括：创建数据录入资源DataProc.yaml；监视所述数据录入资源的创建过程，并获取所述数据录入资源对应的待录入数据的存储路径，获取所述存储路径包括的文件夹下文件数量、获取文件名称及文件存储路径，并统计本批次数据文件录入时所需数据处理服务的个数以及调用流程；重复执行如下步骤，完成各张图片的录入及处理，其中，所有待录入图片对应的数据为所述待录入数据：系统运行控制模块生成写入数据信息资源WriteDataInfo.yaml，监测到所述写入数据信息资源WriteDataInfo.yaml后根据资源描述内容获取描述文件并读取数据属性信息写入结构化/非结构化数据库以及服务镜像库，执行完毕后修改写入数据信息资源WriteDataInfo.yaml的状态；系统运行控制模块监视到写入数据信息资源WriteDataInfo.yaml状态变化后，删除所述写入数据信息资源WriteDataInfo.yaml同时生成类型转换资源TypeTrans.yaml；数据格式转换服务监测到生成类型转换资源TypeTrans.yaml存在则从所述生成类型转换资源TypeTrans.yaml中获取文件存储路径，并从文件存储数据库中获取所述待录入数据并对数据进行格式转换，转换完毕修改数据库中相关信息，再修改写入数据信息资源TypeTrans.yaml状态；系统运行控制模块监测到写入数据信息TypeTrans.yaml资源状态变化后，删除写入数据信息资源并生成缩率图展示资源SLT.yaml；生成缩略图服务监测到缩略图展示资源SLT.yaml创建，则从所述缩略图展示资源SLT.yaml中获取文件存储路径进行缩略图处理，处理完毕修改数据库相关信息，再修改缩略图展示资源SLT.yaml的状态；系统运行控制模块监测到缩略图展示资源SLT.yaml的变化则删除所述缩略图展示资源SLT.yaml，此时已完成一张图像的录入任务。
需要说明的是，本申请一些实施例中涉及到诸如：数据录入资源、写入数据信息资源等中的“xxx资源或xxx.yaml”是一种配置文件，里面存储了任务信息，包括：必须的参数信息、处理服务对象等。这些资源的实际用处是作为一种触发或接口使用，即该资源被制作(由某服务或程序生成并存放于系统中的资源文件数据库，该数据库是一种分布式键值(key-value)数据库)出来后，各类服务均可以访问该资源，并判断调用的是哪个服务。
以DataProc.yaml资源为例，说明该资源：
如图5所示，本申请的一些实施例提供一种自动化为数据增加标签的方法，该方法基于上述图1提供的大数据系统得以实现，图5的方法包括：通过命令触发为数据增加标签的目标请求服务，生成数据标签资源datatag.yaml；系统运行控制模块监视数据标签资源datatag.yaml的创建过程，并根据所述数据标签资源datatag.yaml中描述的信息组建设定流程，同时生成多个识别服务资源；各识别服务监视各自识别服务资源的创建过程，根据资源文件内服务名和服务版本号信息确认具体服务；确认识别服务资源创建完成后从信息存储数据库(用于存储与数据相关的信息，例如：MySQL，MySQL是一个关系型数据库管理系统，英文全称为Structured Query Language(SQL))中查询文件路径及文件ID并从文件存储数据库中获取该文件(“该文件”是数据文件)，服务完毕后将识别结果写入对应的识别服务资源，修改服务状态；系统运行控制模块监视识别服务资源状态变化并获取识别结果，确认后删除该资源(识别服务资源，即xxx.yaml)同时生成增加数据标签资源；增加数据标签服务监视所述增加数据标签资源的创建过程，确认后执行服务向标签类型表与标签表增加标签信息，执行完毕修改该资源(即增加数据标签资源)状态，其中，所述标签表内的标签信息与图像ID相关联；系统运行控制模块监视增加数据标签资源状态变化，确认后删除该资源(即增加数据标签资源)同时修改增加数据标签资源状态并将信息反馈前端。
需要说明的是，通过本申请的一些实施例能够实现“数据获取-数据管理-服务应用-产品生成”一站式服务。本申请一些实施例的面向软件定义卫星即该大数据系统部署于软件定义卫星平台(也可部署于地面云平台)。因此数据获取有保障，同时本申请一些实施例提供的大数据系统从数据管理、服务应用(服务使用和产品生成)均有相关业务描述。具体实现如下所示。
(1)软件定义卫星的各类载荷(光学载荷、微波载荷、激光载荷、视频载荷、非成像类载荷)可直接获取遥感数据。
(2)获取数据后通过系统平台接口(API或命令)自动化将数据录入本系统，包括：数据存储、数据信息存储、数据格式转换等。
(3)根据业务需要(预先发送的业务指令、后发送的业务指令)，卫星平台会将业务指令转换为命令发送给本大数据系统。本大数据系统启动系统运行控制模块组织各类服务对数据进行处理。
(4)数据处理的结果包括：信息提取、数据分析、遥感制图等产品。产品生成也是流程化服务的最终结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (17)
1.一种面向软件定义卫星的大数据系统，其特征在于，所述大数据系统包括：
数据预处理及数据库管理模块，被配置为：将待录入的非结构化数据转换为标准数据结构对应的待录入的目标数据，并实现对结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作；
结构化/非结构化数据库，被配置为存储所述结构化数据以及所述目标数据；
多个数据处理服务模块，其中，每个数据处理服务模块被配置为基于所述待录入的非结构化数据或者根据所述目标数据提供一种数据处理服务，其中，针对所述待录入数据的服务类型包括：数据录入服务、数据格式转换服务以及缩略图生成服务；
服务镜像库，被配置为存储所述多个数据处理服务模块对应的应用镜像，其中，所述应用镜像包括：各个数据处理服务运行所需的库、环境以及程序；
交互前端模块，被配置为接收前端用户输入的命令或者交互操作；
命令/交互操作解析模块，被配置为解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令；
系统运行控制模块，被配置为：根据所述结构化/非结构化数据库所存储的数据和设定流程，依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务；
其中，所述服务镜像库以及实现所述多个数据处理服务模块以插件的形式设置于所述大数据系统中。
2.如权利要求1所述的大数据系统，其特征在于，所述数据预处理及数据库管理模块包括：
多源数据标准化处理模块，被配置为：通过调用至少一个数据处理服务的方式，将所述待录入的非结构化数据转换为所述目标数据，其中，所述待录入的非结构化数据包括不同存储结构的多源数据或者异构数据，所述至少要一种数据处理服务包括：数据有效性检查、文件格式转换或者缩略图生成；
多源数据管理模块，被配置为实现对所述结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作，其中，所述管理操作的类型包括：录入、删除、更新或者检索。
3.如权利要求2所述的大数据系统，其特征在于，所述多源数据包括：光学数据、微波数据、激光数据、视频数据或者非成像类数据。
4.如权利要求1所述的大数据系统，其特征在于，所述系统运行控制模块被配置为根据所述设定流程对所述至少两个数据处理服务进行自动化流程控制，以组织所述至少两个数据处理服务对所述待录入的非结构化数据或者所述目标数据进行处理实现所述目标请求服务。
5.如权利要求2所述的大数据系统，其特征在于，所述多源数据标准化处理模块还被配置为：针对通过面阵成像载荷得到的图像进行绝对辐射校正、相对辐射校正或者几何校正；或者，针对通过线阵推扫式成像载荷得到的图像进行绝对辐射校正、相对辐射校正或者几何校正。
6.如权利要求2所述的大数据系统，其特征在于，针对所述目标数据对应的元数据的管理操作包括：自动从所述元数据中提取数据特征信息，其中，所述数据特征信息用于表征所述待录入数据所对应的目标对象或者所述目标对象的状态。
7.如权利要求2所述的大数据系统，其特征在于，所述多源数据管理模块还被配置为对运行所述至少两个数据处理服务得到的结果进行管理或者提供下载所述结果的功能。
8.如权利要求1所述的大数据系统，其特征在于，在所述结构化/非结构化数据库中将所述结构化数据包括的固有信息存储为基础表单，将对所述待录入的非结构化数据进行分析和挖掘获取的信息统一存储至属性表单并与数据ID相关联存储，其中，所述固有信息包括：卫星名称、载荷名称或者帧频。
9.如权利要求6所述的大数据系统，其特征在于，所述结构化/非结构化数据库还被配置为：存储所述数据特征信息、存储用户发起的任务信息以及任务结果存储位置信息。
10.如权利要求1所述的大数据系统，其特征在于，所述多个数据处理服务模块中的各模块被分别被配置为实现超分重建、舰船识别、飞机检测、几何校正、数据拼接、作物估产或者卫星评估。
11.如权利要求1所述的大数据系统，其特征在于，所述命令/交互操作解析模块还被配置为：
对所述命令/交互操作进行逻辑解析得到系统指令；
识别并执行所述与数据库访问相关的服务请求对应的系统指令，或者，将所述目标请求服务类型对应的系统指令传输至所述系统运行控制模块，以使所述系统运行控制模块通过调用相关的数据处理服务模块完成所述目标服务请求。
12.如权利要求1所述的大数据系统，其特征在于，所述系统运行控制模块还被配置为反馈任务处理状态。
13.如权利要求1所述的大数据系统，其特征在于，所述系统运行管理模块通过接口服务器监控所述至少两个数据处理服务中各服务的执行情况，并依据所述设定流程调用所述至少两个数据处理服务。
14.一种服务请求处理方法，该方法基于如权利要求1-13任一项所述的大数据系统实现，所述服务请求处理方法包括：
接收用户输入的命令或交互操作指令；
解析所述命令和所述交互操作指令得到解析结果；
根据解析结果确认所述用户输入的请求属于第一类请求时，则由命令/交互操作解析模块执行所述第一类请求得到任务处理结果；或者，根据解析结果确认所述用户输入的请求属于第二类请求时，则将所述第二类服务请求发送给系统运行控制模块，以使所述系统运行控制模块通过依次调用多个数据处理服务模块完成所述第二类请求所对应的任务。
15.如权利要求14所述的服务请求处理方法，其特征在于，所述系统运行控制模块通过接口服务器监控所述多个数据处理服务模块的运行状态，并按照设定流程依次启动多个数据处理服务模块工作完成所述第二类请求所对应的任务。
16.一种数据自动录入方法，该方法基于如权利要求1-14任一项所述的大数据系统实现，所述数据自动录入方法包括：
创建数据录入资源DataProc.yaml；
监视所述数据录入资源的创建过程，并获取所述数据录入资源对应的待录入数据的存储路径，获取所述存储路径包括的文件夹下文件数量、获取文件名称及文件存储路径，并统计本批次数据文件录入时所需数据处理服务的个数以及调用流程；
重复执行如下步骤，完成各张图片的录入及处理，其中，所有待录入图片对应的数据为所述待录入的非结构化数据：
系统运行控制模块生成写入数据信息资源WriteDataInfo.yaml，监测到所述写入数据信息资源WriteDataInfo.yaml后根据资源描述内容获取描述文件并读取数据属性信息写入结构化/非结构化数据库以及服务镜像库，执行完毕后修改写入数据信息资源WriteDataInfo.yaml的状态；
系统运行控制模块监视到写入数据信息资源WriteDataInfo.yaml状态变化后，删除所述写入数据信息资源WriteDataInfo.yaml同时生成类型转换TypeTrans.yaml资源；
数据格式转换服务监测到生成类型转换资源TypeTrans.yaml存在则从所述生成类型转换资源TypeTrans.yaml中获取文件存储路径，并从文件存储数据库中获取所述待录入数据并对数据进行格式转换，转换完毕修改数据库中相关信息，再修改写入数据信息资源TypeTrans.yaml状态；
系统运行控制模块监测到写入数据信息资源TypeTrans.yaml状态变化后，删除写入数据信息资源并生成缩率图展示资源SLT.yaml；
生成缩略图服务监测到缩略图展示资源SLT.yaml创建，则从所述缩略图展示资源SLT.yaml中获取文件存储路径进行缩略图处理，处理完毕修改数据库相关信息，再修改缩略图展示资源SLT.yaml的状态；
系统运行控制模块监测到缩略图展示资源SLT.yaml的变化则删除所述缩略图展示SLT.yaml资源，此时已完成一张图像的录入任务。
17.一种标签自动增加方法，该方法基于如权利要求1-13任一项所述的大数据系统实现，所述方法包括：
通过命令触发为数据增加标签的目标请求服务，生成数据标签资源datatag.yaml；
系统运行控制模块监视数据标签资源datatag.yaml的创建过程，并根据所述数据标签资源datatag.yaml中描述的信息组建设定流程，同时生成多个识别服务资源；
各识别服务监视各自识别服务资源的创建过程，根据资源内服务名和服务版本号信息确认具体服务；确认识别服务资源创建完成后从信息存储数据库中查询文件路径及文件ID并从文件存储数据库中获取数据文件，服务完毕后将识别结果写入对应的识别服务资源，修改服务状态；
系统运行控制模块监视识别服务资源状态变化并获取识别结果，确认后删除所述识别服务资源同时生成增加数据标签资源；
增加数据标签服务监视所述增加数据标签资源的创建过程，确认后执行服务向标签类型表与标签表增加标签信息，执行完毕修改所述增加数据标签资源状态，其中，所述标签表内的标签信息与图像ID相关联；
系统运行控制模块监视增加数据标签资源状态变化，确认后删除所述增加数据标签资源同时修改增加数据标签资源状态并将信息反馈前端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110949441.6A CN113656608B (zh) | 2021-08-18 | 2021-08-18 | 一种面向软件定义卫星的大数据系统及数据自动处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110949441.6A CN113656608B (zh) | 2021-08-18 | 2021-08-18 | 一种面向软件定义卫星的大数据系统及数据自动处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113656608A true CN113656608A (zh) | 2021-11-16 |
| CN113656608B CN113656608B (zh) | 2023-10-24 |
Family
ID=78481046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110949441.6A Active CN113656608B (zh) | 2021-08-18 | 2021-08-18 | 一种面向软件定义卫星的大数据系统及数据自动处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113656608B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116225682A (zh) * | 2022-12-06 | 2023-06-06 | 北京瑞风协同科技股份有限公司 | 一种合标数据服务器及合标数据处理方法 |
| CN116413754A (zh) * | 2022-11-24 | 2023-07-11 | 中交第二航务工程勘察设计院有限公司 | 基于北斗/bim/gis集成的勘探船舶限定位置区域预警方法、系统 |
| CN117591625A (zh) * | 2024-01-18 | 2024-02-23 | 之江实验室 | 一种数据存储方法、装置、存储介质及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764786A (zh) * | 2018-05-15 | 2018-11-06 | 中铁第四勘察设计院集团有限公司 | 基于物流集装器的铁路冷链全链条信息监控方法及系统 |
| CN108920713A (zh) * | 2018-07-25 | 2018-11-30 | 成都天地量子科技有限公司 | 一种基于作物影像的农田作物品种信息管理系统 |
| CN110070513A (zh) * | 2019-04-30 | 2019-07-30 | 上海同繁勘测工程科技有限公司 | 遥感影像的辐射校正方法及系统 |
| CN111292815A (zh) * | 2020-01-16 | 2020-06-16 | 中通服建设有限公司 | 基于云的社区大数据健康服务系统 |
| CN111880899A (zh) * | 2020-07-27 | 2020-11-03 | 山东迪特智联信息科技有限责任公司 | 一种基于云原生架构的大数据流处理方法和装置 |
| US20200404485A1 (en) * | 2019-06-20 | 2020-12-24 | Bank Of America Corporation | Edge-node authentication-data exchange system |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113094385A (zh) * | 2021-03-10 | 2021-07-09 | 广州中国科学院软件应用技术研究所 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
-
2021
- 2021-08-18 CN CN202110949441.6A patent/CN113656608B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764786A (zh) * | 2018-05-15 | 2018-11-06 | 中铁第四勘察设计院集团有限公司 | 基于物流集装器的铁路冷链全链条信息监控方法及系统 |
| CN108920713A (zh) * | 2018-07-25 | 2018-11-30 | 成都天地量子科技有限公司 | 一种基于作物影像的农田作物品种信息管理系统 |
| CN110070513A (zh) * | 2019-04-30 | 2019-07-30 | 上海同繁勘测工程科技有限公司 | 遥感影像的辐射校正方法及系统 |
| US20200404485A1 (en) * | 2019-06-20 | 2020-12-24 | Bank Of America Corporation | Edge-node authentication-data exchange system |
| CN111292815A (zh) * | 2020-01-16 | 2020-06-16 | 中通服建设有限公司 | 基于云的社区大数据健康服务系统 |
| CN111880899A (zh) * | 2020-07-27 | 2020-11-03 | 山东迪特智联信息科技有限责任公司 | 一种基于云原生架构的大数据流处理方法和装置 |
| CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
| CN113094385A (zh) * | 2021-03-10 | 2021-07-09 | 广州中国科学院软件应用技术研究所 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
Non-Patent Citations (2)
| Title |
|---|
| TAPAN SHARMA等: "Performance comparison of edge detection algorithms for satellite images using bigdata platform spark", 《2016 1ST INDIA INTERNATIONAL CONFERENCE ON INFORMATION PROCESSING（ICCIP）》, pages 1 - 2 * |
| 刘东升 等: "中国遥感软件研制进展与发展方向-以像素专家PIE为例", 《中国图像图形学报》, vol. 26, no. 5, pages 1169 - 1178 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116413754A (zh) * | 2022-11-24 | 2023-07-11 | 中交第二航务工程勘察设计院有限公司 | 基于北斗/bim/gis集成的勘探船舶限定位置区域预警方法、系统 |
| CN116225682A (zh) * | 2022-12-06 | 2023-06-06 | 北京瑞风协同科技股份有限公司 | 一种合标数据服务器及合标数据处理方法 |
| CN117591625A (zh) * | 2024-01-18 | 2024-02-23 | 之江实验室 | 一种数据存储方法、装置、存储介质及电子设备 |
| CN117591625B (zh) * | 2024-01-18 | 2024-04-12 | 之江实验室 | 一种数据存储方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113656608B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113656608B (zh) | 一种面向软件定义卫星的大数据系统及数据自动处理方法 | |
| Niedballa et al. | camtrapR: an R package for efficient camera trap data management | |
| US9563820B2 (en) | Presentation and organization of content | |
| US20150339324A1 (en) | System and Method for Imagery Warehousing and Collaborative Search Processing | |
| US8953890B2 (en) | Usage of visual reader as an input provider in portals | |
| CN101971165A (zh) | 数据关系的图形表示 | |
| EP3567489A1 (en) | Unified data model for databases | |
| US11776271B2 (en) | Systems and methods for creating a story board with forensic video analysis on a video repository | |
| Bubnicki et al. | Camtrap DP: an open standard for the FAIR exchange and archiving of camera trap data | |
| US11475031B2 (en) | Identification and compiling of information relating to an entity | |
| US20090240661A1 (en) | Integration for intelligence data systems | |
| KR100898757B1 (ko) | 위치정보를 기반으로 한 이미지 검색 방법 및 시스템. | |
| US20200293561A1 (en) | Systems and methods for providing an object platform for datasets | |
| KR101436423B1 (ko) | 시설물 유지보수 데이터 관리 시스템 및 방법 | |
| Suneetha et al. | Comprehensive Analysis of Hadoop Ecosystem Components: MapReduce Pig and Hive | |
| KR102572978B1 (ko) | 머신러닝 기반의 데이터 전처리 장치 및 방법 | |
| US11914558B2 (en) | System and methods for object version tracking and read-time/write-time data federation | |
| US20240296082A1 (en) | Cloud-based data management for data files | |
| Gayathiri et al. | Big health data processing with document-based Nosql database | |
| CN116955463B (zh) | 多源异构数据整合系统 | |
| US20240296168A1 (en) | Cloud-based data management for data files | |
| Junek et al. | Acquisition of seismic, hydroacoustic, and infrasonic data with Hadoop and Accumulo | |
| CN115146120A (zh) | 日志解析的方法和装置 | |
| CN115757834A (zh) | 知识抽取方法及装置、电子设备、存储介质 | |
| CN116010679A (zh) | 数据处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |