CN116092682B - 一种体测数据的档案管理方法及系统 - Google Patents

一种体测数据的档案管理方法及系统 Download PDF

Info

Publication number
CN116092682B
CN116092682B CN202310375425.XA CN202310375425A CN116092682B CN 116092682 B CN116092682 B CN 116092682B CN 202310375425 A CN202310375425 A CN 202310375425A CN 116092682 B CN116092682 B CN 116092682B
Authority
CN
China
Prior art keywords
data
body measurement
integration
user
integrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310375425.XA
Other languages
English (en)
Other versions
CN116092682A (zh
Inventor
徐美芳
孙海江
王绍娟
周强
雷文海
钱晓玲
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cuhk Sports Industry Group Co ltd
Original Assignee
Cuhk Sports Industry Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cuhk Sports Industry Group Co ltd filed Critical Cuhk Sports Industry Group Co ltd
Priority to CN202310375425.XA priority Critical patent/CN116092682B/zh
Publication of CN116092682A publication Critical patent/CN116092682A/zh
Application granted granted Critical
Publication of CN116092682B publication Critical patent/CN116092682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种体测数据的档案管理方法及系统,涉及数据管理技术领域,将第一体测数据源划分为多个体测数据集,并生成多个体测数据库上传至数据库平台中,确定多个目标用户的多个数据访问地址,进而访问多个目标用户对应的多个体测数据源,对多个体测数据源进行二次集成,进行粒度分析获取数据集成粒度,对体测集成数据源进行管理。解决了现有技术中对于体测数据的档案管理方法较为传统,对于多源数据的处理响应较慢,数据的异构多样性造成用户数据存取不便的技术问题,通过进行数据处理与二次集成,统一为整体,优化数据管理模式与处理机制,实现系统的高效率高响应化运行。

Description

一种体测数据的档案管理方法及系统
技术领域
本发明涉及数据管理技术领域,具体涉及一种体测数据的档案管理方法及系统。
背景技术
体测作为一种学业生涯的必要性体能测试,其数据导入量逐年递增,由于体测数据量过大,且数据来源的多样性,导致导入的数据格式等存在差异性,以影响管理秩序与效率,同时进行多方数据交互时存在一定的不便,对体测数据的档案管理效果造成影响。
现如今,主要通过基于源数据提取数据的主体架构,以确定数据的主要管理方向,同时配置数据决策体系辅助进行数据的管理,尽可能保障数据管理能效,但当前的管理方法还存在着一定的瑕疵,无法满足用户需求,有待进一步进行优化提升。
现有技术中,对于体测数据的档案管理方法较为传统,对于多源数据的处理响应较慢,数据的异构多样性造成用户数据存取时的不便,使得管理效率低下且影响最终的管理能效。
发明内容
本申请提供了一种体测数据的档案管理方法及系统,用于针对解决现有技术中存在的对于体测数据的档案管理方法较为传统,对于多源数据的处理响应较慢,数据的异构多样性造成用户数据存取时的不便,使得管理效率低下且影响最终的管理能效的技术问题。
鉴于上述问题,本申请提供了一种体测数据的档案管理方法及系统。
第一方面,本申请提供了一种体测数据的档案管理方法,所述方法包括:
获取第一目标用户的第一体测数据源;
根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
根据所述多个体测数据集,生成多个体测数据库;
将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理。
第二方面,本申请提供了一种体测数据的档案管理系统,所述系统包括:
数据源获取模块,所述数据源获取模块用于获取第一目标用户的第一体测数据源;
数据源分类模块, 所述数据源分类模块用于根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
数据库生成模块,所述数据库生成模块用于根据所述多个体测数据集,生成多个体测数据库;
访问地址生成模块,所述访问地址生成模块用于将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
数据源访问模块,所述数据源访问模块用于按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
数据源集成模块,所述数据源集成模块用于按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
数据源管理模块,所述数据源管理模块用于对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的一种体测数据的档案管理方法,获取第一目标用户的第一体测数据源,根据数据类型对其进行分类获取多个体测数据集,根据所述多个体测数据集,生成多个体测数据库,上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址,进而访问所述多个目标用户对应的多个体测数据源,所述多个目标用户包括所述第一目标用户;按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源并进行粒度分析,获取数据集成粒度,对所述体测集成数据源进行管理。解决了现有技术中对于体测数据的档案管理方法较为传统,对于多源数据的处理响应较慢,数据的异构多样性造成用户数据存取时的不便,使得管理效率低下且影响最终的管理能效的技术问题,通过进行数据处理与二次集成,统一为整体,优化数据管理模式与处理机制,优化管理能效,实现高效率高响应化管理。
附图说明
图1为本申请提供了一种体测数据的档案管理方法流程示意图;
图2为本申请提供了一种体测数据的档案管理方法中一次集成结果获取流程示意图;
图3为本申请提供了一种体测数据的档案管理方法中体测集成数据源管理流程示意图;
图4为本申请提供了一种体测数据的档案管理系统结构示意图。
附图标记说明:数据源获取模块11,数据源分类模块12,数据库生成模块13,访问地址生成模块14,数据源访问模块15,数据源集成模块16,数据源管理模块17。
具体实施方式
本申请通过提供一种体测数据的档案管理方法及系统,将第一体测数据源划分为多个体测数据集,并生成多个体测数据库上传至数据库平台中,确定多个目标用户的多个数据访问地址,进而访问多个目标用户对应的多个体测数据源,对多个体测数据源进行二次集成,进行粒度分析获取数据集成粒度,对体测集成数据源进行管理,用于解决现有技术中存在的对于体测数据的档案管理方法较为传统,对于多源数据的处理响应较慢,数据的异构多样性造成用户数据存取时的不便,使得管理效率低下且影响最终的管理能效的技术问题。
实施例一:
如图1所示,本申请提供了一种体测数据的档案管理方法,所述方法应用于体测数据的档案管理系统,所述系统与数据库平台通信连接,所述方法包括:
步骤S100:获取第一目标用户的第一体测数据源;
具体而言,体测作为一种学业生涯的必要性体能测试,其数据导入量逐年递增,由于体测数据量过大,且数据来源的多样性,导致导入的数据格式等存在差异性,以影响管理秩序与效率,同时进行多方数据交互时存在一定的不便,为了优化体测数据的档案管理效果,本申请提供的一种体测数据的档案管理方法应用于所述体测数据的档案管理系统,所述系统为进行多方导入数据存取有序管理的总控系统,所述系统与所述数据库平台通信连接,所述数据库平台为进行数据与用户衔接的中间辅助功能性平台。具体的,确定所述第一用户,即待进行数据管理的目标单位,可以是班级、年级或学校等,对所述第一目标用户的覆盖数据进行采集,即该目标单位内的所有学生的体测数据进行汇总整合,作为所述第一体测数据源,所述第一体测数据源为待进行管理的目标数据,所述第一体测数据源的获取为后续进行数据处理与关联分析提供了理论支撑。
步骤S200:根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
步骤S300:根据所述多个体测数据集,生成多个体测数据库;
具体而言,基于所述第一体测数据源进行数据类目挖掘,配置数据类型,例如多级别数据属类等,基于不同年龄阶段、性别等定性因素进行数据划分,将所述数据类型作为数据划分标准,对所述第一体测数据源进行类别划分,基于固定排序标准对分类结果进行数据递推式排序,以保障数据的排布一致性,为后续进行数据识别提取提供了便利,获取所述多个体测数据集,所述多个体测数据集与所述数据类型一一对应。进一步的,将所述多个体测数据集作为原始数据,分别构建体测数据库,所述体测数据库为进行数据集成的存储空间,获取所述多个体测数据库,其中,所述多个体测数据库与所述多个体测数据集相对应,所述多个体测数据库为所述第一体测数据源的初级处理能效,可有效提高数据的有序性与规整性,为后续进行数据分析管理提供了便捷。
步骤S400:将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
步骤S500:按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
具体而言,所述数据库平台为进行数据交互分析的处理平台并进行存储,将所述多个体测数据库上传至所述数据库平台中,优选的,通过构建所述多个体测数据库进行数据统筹上传,可有效避免数据量过大造成传输过程中的数据丢失。所述数据库平台连接有所述多个目标用户,包括但不限定于所述第一目标用户,例如所述多个目标用户可指代管控区域下存在体测必要性的多个用户。基于目标用户体测数据的所属数据库进行数据定位,确定所述多个数据访问地址,所述多个数据访问地址带有访问路径标识。进一步的,将所述多个数据访问地址确定访问目标,基于对应的访问路径标识实施访问操作,对所述多个目标用户与所述多个体测数据源进行映射对应,基于映射结果进行对应体测数据源访问,所述多个目标用户包括所述第一目标用户,可以是管控区域内的多个用户,或者历史访问下关联的多个用户。
进一步而言,本申请步骤S400还包括:
步骤S410:对所述数据库平台连接的所述多个目标用户进行标识符标记,得到用户标记结果,其中,每个目标用户具有唯一标识符;
步骤S420:根据所述用户标记结果进行用户重复性识别,获取重复性识别结果;
步骤S430:若所述重复性识别性结果为负,生成提醒信息。
具体而言,所述数据库平台连接有所述多个目标用户,为了防止出现一个用户被集成两次的失误,对所述多个目标用户进行标识符标记,所述标识符具有唯一性,保障用户实体每次出现都指派唯一的标识符以进行用户识别,获取所述用户标记结果。将所述用户标记结果作为用户重复识别依据,判定是否存在同一标识符的多次重复出现,获取所述重复性识别结果,示例性的,可基于正负号进行重复性识别表述。当所述重复性识别结果为负时,即表明存在重复用户,提取重复数据并生成所述提醒信息进行预警警示,以作针对性处理,避免造成同一用户的多次集成。
步骤S600:按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
步骤S700:对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理。
具体而言,所述数据集成系统为执行用户集成的功能性操作系统,配置预设传输影响指数,对所述多个体测数据源进行传输影响分析,将所述多个体测数据源划分为两组数据,针对大于等于所述预设传输影响指数的体测数据源,基于中间件集成方法进行对应用户的集成,获取一次集成结果;针对小于所述预设传输影响指数的体测数据源,基于对应用户分别配置多个数据库节点,并将所述一次集成结果作为一个数据库节点,进行数据库节点联邦集成,获取二次集成结果,即获取所述体测集成数据源。进一步的,对所述体测集成数据源进行集成粒度分析,基于上传时数据规格进行判定,例如基于班级进行数据上传,数据过于松散,对应的数据集成粒度较低。基于所述数据集成粒度获取集成配置成参数,即数据特征,示例性的,当所述数据集成粒度较小时,例如以班级为单位,可进行数据综合分析,基于年级进行数据特征确定,基于此进行所述体测集成数据源的管理。通过优化数据集成与调取机制,可有效提高所述体测数据源的管理有序性与管理效率。
进一步而言,如图2所示,本申请步骤S600还包括:
步骤S610:获取所述多个目标用户的用户定位信息;
步骤S620:按照所述用户定位信息进行传输影响性分析,获取多个传输影响指数;
步骤S630:根据所述多个传输影响指数对所述多个目标用户进行标识,得到多个标识用户;
步骤S640:按照数据集成系统对所述标识用户进行一次集成,获取一次集成结果,所述一次集成结果为基于所述标识用户的一次集成数据源。
进一步而言,根据所述多个传输影响指数对所述多个目标用户进行标识,得到多个标识用户,本申请步骤S630还包括:
步骤S631:获取所述多个传输影响指数中大于等于预设传输影响指数的N个传输影响指数;
步骤S632:根据所述N个传输影响指数对所述多个目标用户进行标识,得到所述多个标识用户。
进一步而言,按照数据集成系统对所述标识用户进行一次集成,本申请步骤S640还包括:
步骤S641:获取所述标识用户对应的体测数据源;
步骤S642:根据所述标识用户对应的体测数据源,生成多个封装器;
步骤S643:以所述多个封装器与所述标识用户对应的体测数据源进行一一对应封装,与第一中间件进行连接,生成一次集成模型,其中,所述第一中间件通过所述多个封装器与各个体测数据源交互;
步骤S644:根据所述一次集成模型,对所述标识用户进行一次集成,获取一次集成结果。
具体而言,对所述多个目标用户进行位置定位,确定所述多个目标用户的用户定位信息,进行体测数据访问调取时,基于所述用户定位信息进行异构数据处理传输,以保障数据格式特征与用户的相似度。进一步基于所述用户定位信息进行传输影响性分析,例如数据模式、数据结构、数据逻辑等的差异性会对数据传输造成一定的影响,使得数据交互存在困难,基于所述用户定位信息确定所述多个传输影响指数,即传输过程中的影响程度的衡量数据。所述多个传输影响指数与所述多个目标用户一一对应,基于所述多个传输影响指数对所述多个目标用户进行映射标识,便于后续进行匹配识别,获取所述多个标识用户。
具体的,获取所述预设传输影响指数,即设定的用于进行传输影响程度划分的指数临界值,将所述预设传输影响指数作为筛选标准,提取所述多个阐述影响指数中大于等于所述预设传输影响指数的N个传输影响指数,其中,所述N个传输影响指数为影响程度较高,需进行统一数据逻辑视图配置,存在底层数据细节隐藏的必要性处理数据,以缩减数据交互时的数据结构差异性。将所述N个传输影响指数作为标识数据,遍历所述多个目标用户进行匹配对应,基于匹配结果对目标用户进行传输影响指数标识,生成所述多个标识用户。配置所述预设传输影响指数对所述多个标识用户进行划分,基于实际状况进行针对性数据传输处理,保障数据传输能效。
具体的,所述数据集成系统为执行用户集成的功能性操作系统,基于所述数据集成系统对所述标识用户执行一次集成,获取所述一次集成结果。具体的,将所述标识用户作为批次处理用户,提取所述标识用户对应的所述体测数据源,基于所述标识用户对应的体测数据源生成所述多个封装器,所述多个封装器与所述标识用户对应的体测数据源一一对应,用于进行对应体测数据源的封装。所述第一中间件为处理用户请求,与体测数据源进行交互的辅助性中间处理结构,对所述多个封装器、所述第一中间件进行连接,构成所述一次集成模型,所述一次集成模型为进行标识用户数据传输处理的功能模型。基于所述一次集成模型对所述标识用户进行一次集成,获取所述一次集成结果,所述一次集成结果中覆盖的所述标识用户,基于所述一次集成模型执行体测数据的查询传输操作。基于中间件集成方法,将传输影响比较大的先通过中间件进行集成,具体的,所述第一中间件通过所述多个封装器与各个体测数据源交互,对用户发出的查询请求进行转换处理,转换为各个体测数据源可进行处理的子查询请求,保障查询处理的并发性,提高数据查询处理效率与响应时间。进一步将处理后的子查询请求发动至对应的封装器,基于封装器与封装的体测数据源进行交互,执行查询请求,将查询请求反馈至所述第一中间件,以实现不同数据源之间的全局性同一逻辑查询。
进一步而言,本申请还存在步骤S650,包括:
步骤S651:获取所述多个目标用户中除所述标识用户以外的剩余用户;
步骤S652:获取所述剩余用户对应的体测数据源;
步骤S653:将所述剩余用户对应的体测数据源作为多个数据库节点,将所述一次集成结果作为一个数据库节点,建立联邦数据库结构;
步骤S654:以所述联邦数据库结构进行体测数据二次集成,输出所述体测集成数据源。
具体而言,基于所述多个目标用户,提取其中除所述标识用户外的所述剩余用户,所述剩余用户为传输影响指数较小的面向用户。对所述剩余用户进行数据提取,获取所述剩余用户对应的体测数据源。配置所述多个数据库节点,基于所述剩余用户数量确定多组体测数据源,所述多个数据库节点与所述多组体测数据源一一对应,进一步将所述一次集成结果作为一个数据库节点,联合所述多个数据库节点,构建所述联邦数据库结构,通过构建所述联邦数据库,可通过提供统一的数据语言,用户基于统一的数据语言自行处理存在的微量数据异构问题,可有效缩减系统的数据处理量,提高运行效率。基于所述联邦数据库进行体测数据的二次集成,使得所述多个目标用户对应的体测数据源构成整体,便于进行数据管理查询。
具体的,用户进行体测数据查询传输时,通过对查询用户进行标识识别,判定所配置的数据库节点,当数据库节点为一次集成数据库节点时,基于中间件集成处理方式执行操作;否则直接基于所述多个数据库节点进行体测数据源查询处理,以提高数据管理的针对性与有序性。
进一步而言,如图3所示,对所述体测集成数据源进行粒度分析,获取数据集成粒度,本申请步骤S700还包括:
步骤S710:获取所述第一目标用户的用户属性信息;
步骤S720:连接体测项目管理系统,获取体测项目数据集;
步骤S730:以所述体测项目数据集和所述用户属性信息进行集成粒度分析,得到数据集成粒度;
步骤S740:根据所述数据集成粒度,获取集成配置参数;
步骤S750:根据所述集成配置参数对所述体测集成数据源进行管理。
具体而言,所述第一目标用户为待进行数据录入管理的目标用户,对所述第一目标用户进行学校类型、班级人数、男女占比、年龄特征等属性特征的采集确定,获取所述用户属性信息。进一步连接所述体测项目管理系统,所述体测项目管理系统为多维度体测项目管理控制的总系统,基于所述体测项目管理系统,调取不同用户属性下的体测项目信息,生成多组体测项目序列,即用户属性-项目信息,集成所述多组体测项目序列作为所述体测项目数据集,其中,用户属性不同,例如小学、初中、高中对应的体测项目不同;不同性别对应的体测项目存在差异性等等。
进一步基于所述体测项目数据集与所述用户属性信息,进行体测数据集成粒度分析,其中,所述数据集成粒度与数据上传导入类型呈正反馈,例如按班级进行数据上传导入,对应的数据集成粒度较低;以年级或学校为单位进行体测数据上传导入,数据集成粒度较高,获取所述数据集成粒度。基于所述数据集成粒度,整合对应的数据特征,优选的,对于粒度较小的数据,例如按照班级进行上交,导致数据过于松散,可整合整个年级的数据特征进行整体管理,作为所述集成配置参数,将所述集成配置参数作为索引,以便数据集成时进行特征提取识别,执行所述体测集成数据源的管理,保障管理效率与有序性,提高数据响应时间。
实施例二
基于与前述实施例中一种体测数据的档案管理方法相同的发明构思,如图4所示,本申请提供了一种体测数据的档案管理系统,所述系统包括:
数据源获取模块11,所述数据源获取模块11用于获取第一目标用户的第一体测数据源;
数据源分类模块12, 所述数据源分类模块12用于根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
数据库生成模块13,所述数据库生成模块13用于根据所述多个体测数据集,生成多个体测数据库;
访问地址生成模块14,所述访问地址生成模块14用于将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
数据源访问模块15,所述数据源访问模块15用于按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
数据源集成模块16,所述数据源集成模块16用于按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
数据源管理模块17,所述数据源管理模块17用于对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理。
进一步而言,所述系统还包括:
属性获取模块,所述属性获取模块用于获取所述第一目标用户的用户属性信息;
数据集获取模块,所述数据集获取模块用于连接体测项目管理系统,获取体测项目数据集;
集成粒度分析模块,所述集成粒度分析模块用于以所述体测项目数据集和所述用户属性信息进行集成粒度分析,得到数据集成粒度;
参数获取模块,所述参数获取模块用于根据所述数据集成粒度,获取集成配置参数;
数据源管理模块,所述数据源管理模块用于根据所述集成配置参数对所述体测集成数据源进行管理。
进一步而言,所述系统还包括:
定位获取模块,所述定位获取模块用于获取所述多个目标用户的用户定位信息;
传输影响指数获取模块,所述传输影响指数获取模块用于按照所述用户定位信息进行传输影响性分析,获取多个传输影响指数;
用户标识模块,所述用户标识模块用于根据所述多个传输影响指数对所述多个目标用户进行标识,得到多个标识用户;
一次集成模块,所述一次集成模块用于按照数据集成系统对所述标识用户进行一次集成,获取一次集成结果,所述一次集成结果为基于所述标识用户的一次集成数据源。
进一步而言,所述系统还包括:
剩余用户获取模块,所述剩余用户获取模块用于获取所述多个目标用户中除所述标识用户以外的剩余用户;
剩余用户映射数据源获取模块,所述剩余用户映射数据源获取模块用于获取所述剩余用户对应的体测数据源;
数据库结构建立模块,所述数据库结构建立模块用于将所述剩余用户对应的体测数据源作为多个数据库节点,将所述一次集成结果作为一个数据库节点,建立联邦数据库结构;
二次集成模块,所述二次集成模块用于以所述联邦数据库结构进行体测数据二次集成,输出所述体测集成数据源。
进一步而言,所述系统还包括:
标识用户映射数据源获取模块,所述标识用户映射数据源获取模块用于获取所述标识用户对应的体测数据源;
封装器生成模块,所述封装器生成模块用于根据所述标识用户对应的体测数据源,生成多个封装器;
模型生成模块,所述模型生成模块用于以所述多个封装器与所述标识用户对应的体测数据源进行一一对应封装,与第一中间件进行连接,生成一次集成模型,其中,所述第一中间件通过所述多个封装器与各个体测数据源交互;
一次集成结果获取模块,所述一次集成结果获取模块用于根据所述一次集成模型,对所述标识用户进行一次集成,获取一次集成结果。
进一步而言,所述系统还包括:
指数提取模块,所述指数提取模块用于获取所述多个传输影响指数中大于等于预设传输影响指数的N个传输影响指数;
标识用户获取模块,所述标识用户获取模块用于根据所述N个传输影响指数对所述多个目标用户进行标识,得到所述多个标识用户。
进一步而言,所述系统还包括:
目标用户标记模块,所述目标用户标记模块用于对所述数据库平台连接的所述多个目标用户进行标识符标记,得到用户标记结果,其中,每个目标用户具有唯一标识符;
重复性识别模块,所述重复性识别模块用于根据所述用户标记结果进行用户重复性识别,获取重复性识别结果;
提醒信息生成模块,所述提醒信息生成模块用于若所述重复性识别性结果为负,生成提醒信息。
本说明书通过前述对一种体测数据的档案管理方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种体测数据的档案管理方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种体测数据的档案管理方法,其特征在于,所述方法应用于体测数据的档案管理系统,所述系统与数据库平台通信连接,所述方法包括:
获取第一目标用户的第一体测数据源;
根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
根据所述多个体测数据集,生成多个体测数据库;
将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理,其中包括:获取所述第一目标用户的用户属性信息;连接体测项目管理系统,获取体测项目数据集;以所述体测项目数据集和所述用户属性信息进行集成粒度分析,得到数据集成粒度;根据所述数据集成粒度,获取集成配置参数;根据所述集成配置参数对所述体测集成数据源进行管理。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述多个目标用户的用户定位信息;
按照所述用户定位信息进行传输影响性分析,获取多个传输影响指数;
根据所述多个传输影响指数对所述多个目标用户进行标识,得到多个标识用户;
按照数据集成系统对所述标识用户进行一次集成,获取一次集成结果,所述一次集成结果为基于所述标识用户的一次集成数据源。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述多个目标用户中除所述标识用户以外的剩余用户;
获取所述剩余用户对应的体测数据源;
将所述剩余用户对应的体测数据源作为多个数据库节点,将所述一次集成结果作为一个数据库节点,建立联邦数据库结构;
以所述联邦数据库结构进行体测数据二次集成,输出所述体测集成数据源。
4.如权利要求2所述的方法,其特征在于,按照数据集成系统对所述标识用户进行一次集成,方法还包括:
获取所述标识用户对应的体测数据源;
根据所述标识用户对应的体测数据源,生成多个封装器;
以所述多个封装器与所述标识用户对应的体测数据源进行一一对应封装,与第一中间件进行连接,生成一次集成模型,其中,所述第一中间件通过所述多个封装器与各个体测数据源交互;
根据所述一次集成模型,对所述标识用户进行一次集成,获取一次集成结果。
5.如权利要求2所述的方法,其特征在于,根据所述多个传输影响指数对所述多个目标用户进行标识,得到多个标识用户,方法还包括:
获取所述多个传输影响指数中大于等于预设传输影响指数的N个传输影响指数;
根据所述N个传输影响指数对所述多个目标用户进行标识,得到所述多个标识用户。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述数据库平台连接的所述多个目标用户进行标识符标记,得到用户标记结果,其中,每个目标用户具有唯一标识符;
根据所述用户标记结果进行用户重复性识别,获取重复性识别结果;
若所述重复性识别性结果为负,生成提醒信息。
7.一种体测数据的档案管理系统,其特征在于,所述系统与数据库平台通信连接,所述系统包括:
数据源获取模块,所述数据源获取模块用于获取第一目标用户的第一体测数据源;
数据源分类模块, 所述数据源分类模块用于根据数据类型对所述第一体测数据源进行分类,获取多个体测数据集;
数据库生成模块,所述数据库生成模块用于根据所述多个体测数据集,生成多个体测数据库;
访问地址生成模块,所述访问地址生成模块用于将所述多个体测数据库上传至所述数据库平台中,基于所述数据库平台连接的多个目标用户,生成多个数据访问地址;
数据源访问模块,所述数据源访问模块用于按照所述多个数据访问地址,访问所述多个目标用户对应的多个体测数据源,其中,所述多个目标用户包括所述第一目标用户;
数据源集成模块,所述数据源集成模块用于按照数据集成系统对所述多个体测数据源进行二次集成,输出体测集成数据源;
数据源管理模块,所述数据源管理模块用于对所述体测集成数据源进行粒度分析,获取数据集成粒度,根据所述数据集成粒度对所述体测集成数据源进行管理;
属性获取模块,所述属性获取模块用于获取所述第一目标用户的用户属性信息;
数据集获取模块,所述数据集获取模块用于连接体测项目管理系统,获取体测项目数据集;
集成粒度分析模块,所述集成粒度分析模块用于以所述体测项目数据集和所述用户属性信息进行集成粒度分析,得到数据集成粒度;
参数获取模块,所述参数获取模块用于根据所述数据集成粒度,获取集成配置参数;
数据源管理模块,所述数据源管理模块用于根据所述集成配置参数对所述体测集成数据源进行管理。
CN202310375425.XA 2023-04-11 2023-04-11 一种体测数据的档案管理方法及系统 Active CN116092682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375425.XA CN116092682B (zh) 2023-04-11 2023-04-11 一种体测数据的档案管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375425.XA CN116092682B (zh) 2023-04-11 2023-04-11 一种体测数据的档案管理方法及系统

Publications (2)

Publication Number Publication Date
CN116092682A CN116092682A (zh) 2023-05-09
CN116092682B true CN116092682B (zh) 2023-06-16

Family

ID=86206766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375425.XA Active CN116092682B (zh) 2023-04-11 2023-04-11 一种体测数据的档案管理方法及系统

Country Status (1)

Country Link
CN (1) CN116092682B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537811A (ja) * 2005-03-11 2008-09-25 ヤフー! インコーポレイテッド リスティングを管理するためのシステム及び方法
CN102930023A (zh) * 2011-11-03 2013-02-13 微软公司 基于知识的数据质量解决方案
CN103699572A (zh) * 2013-11-26 2014-04-02 北京航空航天大学 一种云环境下数字媒体内容资源的集成共享方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100331099B1 (ko) * 1999-09-02 2002-04-06 이계철 다중 데이터베이스 통합을 위한 미들웨어 시스템과 그를 이용한 분산 이기종 지역 데이터베이스 통합 접근방법
CN103927344A (zh) * 2014-03-31 2014-07-16 国网山东省电力公司 一种数据集成方法
KR101968022B1 (ko) * 2017-12-08 2019-04-11 한국공항공사 항공데이터 통합 제공방법 및 시스템
CN111984830A (zh) * 2020-07-29 2020-11-24 中国石油集团工程股份有限公司 一种管理运维平台及数据处理方法
CN112966162A (zh) * 2021-03-08 2021-06-15 北京航空航天大学 一种基于数据仓库与中间件的科技资源集成方法及装置
CN114379608A (zh) * 2021-12-13 2022-04-22 中铁南方投资集团有限公司 一种城市轨道交通工程的多源异构数据集成处理方法
CN114201543A (zh) * 2021-12-15 2022-03-18 北京迈迪培尔信息技术有限公司 一种药学数据集成方法及系统
CN114925045B (zh) * 2022-04-11 2024-05-03 杭州半云科技有限公司 大数据集成和管理的PaaS平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537811A (ja) * 2005-03-11 2008-09-25 ヤフー! インコーポレイテッド リスティングを管理するためのシステム及び方法
CN102930023A (zh) * 2011-11-03 2013-02-13 微软公司 基于知识的数据质量解决方案
CN103699572A (zh) * 2013-11-26 2014-04-02 北京航空航天大学 一种云环境下数字媒体内容资源的集成共享方法

Also Published As

Publication number Publication date
CN116092682A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN113010547B (zh) 一种基于图神经网络的数据库查询优化方法及系统
CN105975617A (zh) 一种多分区表查询处理的方法和装置
US8234292B2 (en) System, method, and computer-readable medium for optimizing processing of queries featuring maximum or minimum equality conditions in a parallel processing system
CN102262640A (zh) 一种全文检索文档数据库的方法及装置
CN102270232A (zh) 一种存储优化的语义数据查询系统
CN111400393B (zh) 基于多应用平台的数据处理方法和装置、存储介质
CN106599052A (zh) 一种基于ApacheKylin的数据查询系统及其方法
JPH0836518A (ja) オブジェクト指向データベース管理システム及びその管理方法
KR102141784B1 (ko) 전력 계통 온톨로지 데이터 관리 시스템
CN104731969A (zh) 分布式环境下海量数据连接聚集查询方法、装置和系统
US9183320B2 (en) Data managing method, apparatus, and recording medium of program, and searching method, apparatus, and medium of program
CN116450890A (zh) 图数据处理方法、装置、系统、电子设备及存储介质
KR102453425B1 (ko) 이종 데이터 통합 관리 방법 및 장치
US11645299B2 (en) Data management device and data management method
CN116092682B (zh) 一种体测数据的档案管理方法及系统
CN112835920B (zh) 基于混合存储模式的分布式sparql查询优化方法
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN112486985A (zh) 一种锅炉数据的查询方法、装置、设备及存储介质
Robertson et al. The unified probabilistic model for IR
Černjeka et al. NoSQL document store translation to data vault based EDW
JP3653333B2 (ja) データベース管理方法およびシステム
CN112783962B (zh) 基于etl技术的时空大数据人工智能分析方法及系统
KR102380518B1 (ko) 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템
CN101477528A (zh) 一种基于xml的行业信息分类映射方法
CN115114012A (zh) 一种任务分配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant