CN117475678A - 一种基于大模型的机场飞行区规则监察方法及系统 - Google Patents
一种基于大模型的机场飞行区规则监察方法及系统 Download PDFInfo
- Publication number
- CN117475678A CN117475678A CN202311808315.4A CN202311808315A CN117475678A CN 117475678 A CN117475678 A CN 117475678A CN 202311808315 A CN202311808315 A CN 202311808315A CN 117475678 A CN117475678 A CN 117475678A
- Authority
- CN
- China
- Prior art keywords
- data
- supervision
- large model
- rule
- flight area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005457 optimization Methods 0.000 claims abstract description 61
- 238000007689 inspection Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000003032 molecular docking Methods 0.000 claims abstract description 11
- 238000007726 management method Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 83
- 230000006870 function Effects 0.000 claims description 44
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000010276 construction Methods 0.000 claims description 10
- 210000001503 joint Anatomy 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000005538 encapsulation Methods 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 230000008713 feedback mechanism Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 2
- 230000001939 inductive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于民航业民用机场数字化、信息化技术领域,公开了一种基于大模型的机场飞行区规则监察方法及系统。该方法围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。本发明基于大模型进行基于规则的智能化监察判断,从而替代部分人工线下巡检,为传统监察手段进行智能化赋能,提高机场飞行区监察效率与品质,提升机场安全运行水平。本发明能够更加专业且稳定的处理飞行区监察场景下的业务问题。
Description
技术领域
本发明属于民航业民用机场数字化、信息化技术领域,尤其涉及一种基于大模型的机场飞行区规则监察方法及系统。
背景技术
在面向机场飞行区监察技术领域中,传统机场飞行区监管依赖于线下巡视和人工定期摄像头查阅的方式进行监察,监察效率低且非常容易产生监察漏项,以普通大型机场为例,飞行区面积超过几十万平,摄像头数量超过一万,人工线下巡视很难做到全面覆盖,依赖于摄像头的人工抽查监控则更难进行全方位的覆盖,导致飞行区运行安全风险提高,影响机场安全平稳运行。
部分机场在机场飞行区监察技术领域应用诸如机坪监控、飞行区管理、道面管理、车辆管理等系统,这些系统针对飞行区监察技术领域中一个或多个监察类型,能够对特定类型的监察业务进行信息化支持,解决部分飞行区监察业务问题,但较难站在更加全面的角度对飞行区监察进行技术支持,单一系统很难进行其他飞行区监察类型的拓展支持,不同机场随着时间的发展,监察业务规则越来越复杂,基于限定规则设计的系统难以很好的支持机场监察业务的发展。
发明内容
为克服相关技术中存在的问题,本发明公开实施例提供了一种基于大模型的机场飞行区规则监察方法及系统。
所述技术方案如下:一种基于大模型的机场飞行区规则监察方法,包括以下步骤:
S1,围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
S2,基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
S3,利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
进一步的,在步骤S1中,构建面向飞行区监察的定向优化大模型包括:场景数据采集、场景数据处理;
所述场景数据采集包括:通过爬虫技术获取民航局官网、机场官网、公众号、搜索平台检索信息,通过电子资料进行资料格式转换及文本提取,纸质资料进行扫描后文本提取,通过电子资料进行资料格式转换及文本提取机场内部资料和专家整理编制资料,以及从已有系统中导出数据,并根据规范格式要求进行基础数据标准化处理采集机场运行基础数据;
在获取到资料并进行文本提取存储后,进行场景数据处理,将低质量数据进行去除。
进一步的,所述场景数据处理包含以下步骤:
步骤1:数据格式转换处理,将不同资料获取到的提取文本数据进行进一步处理,将其中不合理换行、空格、其他控制符进行删除,并将过大文本文件进行拆分处理;
步骤2:基本低质量数据去除处理,将包含HTML标签、XML标签、表格、图片、其他流媒体占位符进行删除,将未完成的句子、异常长的句子进行删除,将存在用户评价且评价等级低的内容进行删除,将包含违禁关键字的内容进行删除;
步骤3:文本内容去重,将文本内容进行去重计算,将重复度高的内容进行去除,同时将文本重复的文本文件进行集中归类处理;
步骤4:基于人工理解的无关、有误内容去除处理,采用人工分组、分获取渠道类型的方式进行资料内容审查,同时为不同类型文本进行类型标记;
步骤5:将文本进行向量化处理,通过采用扩充词表将文字转换为相应数字,并将转换后的文本向量按照设定大小要求进行分块切分处理;
步骤6:文本内容存储,将文本按照不同类型标记存储在分布式数据库中,并基于日期进行文本分区存储。
进一步的,在步骤S1中,进行飞行区监察场景下大模型定向训练优化包括:在完成场景数据处理后,基于选取的开源大模型基座,使用无监督场景数据进行面向飞行区监察的定向优化大模型预训练,训练完成后使用准备好的QA场景数据进行面向飞行区监察的定向优化大模型微调。
其中,预训练采用无监督技术进行训练,微调为使用准备好的QA来训练模型,以使得大模型能够更好地理解并回答问题。
进一步的,在步骤S2中,飞行区监察管理系统包括:
大模型层,包含经过定向训练优化的面向飞行区监察的定向优化大模型,为上层模块提供大模型基础服务;
模型封装管理层,用于提供面向飞行区监察的定向优化大模型统一抽象封装功能;
模型数据处理层,用于提供围绕面向飞行区监察的定向优化大模型的外挂知识体系以及飞行区监察业务场景实时动态运行数据采集、处理、共享功能;
通用场景服务层,用于为上层具体监察服务层提供服务支撑;
监察服务层,用于为具体的飞行区监察场景功能服务。
进一步的,所述模型数据处理层包含数据处理模块、数据存储模块、数据共享模块、数据权限管理模块;数据处理模块基于总线技术,包含不同数据源采集处理适配器,将不同来源数据进行采集、集中清洗处理,数据存储模块包含向量数据库、关系型数据库、分布式文件存储等部分,向量数据库用来存储需要外挂的飞行区监察相关业务知识,关系型数据库存储业务运行数据,分布式文件存储收集到的全量飞行区监察相关业务资料,数据共享模块提供数据目录及数据获取接口,根据大模型以及上层服务调用需要提供不同适配数据接口,数据权限管理模块提供不同类型、不同结构数据细粒度访问控制权限;
所述通用场景服务层包含大模型能力封装模块、平台运行管理模块、民航智能问询模块、民航智能检索模块、规则监察引擎模块,大模型能力封装模块提供大模型语言理解、情感意图识别、多模理解、图像生成能力抽象封装;平台运行管理模块提供多租户管理、基础数据管理、权限控制、运维监控基础平台运行所需要的功能,民航智能问询模块抽象民航场景中问询场景功能需求,提供通用的问询场景功能框架,为上层具体业务服务提供大模型驱动的智能问询功能;民航智能检索模块提供使用大模型能力的智能知识库管理与检索,规则监察引擎模块围绕民航规则监察场景进行总结抽象,提供公共的理解能力规则监察功能;
所述监察服务层包含监察规则处理模块、监察数据对接模块、监察告警模块、记录统计分析模块;
监察规则处理模块用于抽象机场飞行区不同类型监察场景的规则结构,提供通用的规则设置结构,同时内部内置自然语言式的规则配置功能;
监察数据对接模块提供监察场景外部系统统一对接功能,获取数据进行智能化的飞行区监察;
监察告警模块负责监察异常的识别与告警,基于配置要求外调服务接口,同时提供独立告警消息推送功能;
记录统计分析模块提供监察记录、告警记录历史查询以及统计分析功能。
进一步的,在步骤S2中,飞行区监察管理系统的监察管理方法包括:
步骤(I):用户服务调用进入负载均衡器根据访问吞吐量大小进行服务分发;
步骤(II):用户服务调用流程进入系统统一权限控制模块,针对服务调用用户进行权限判断;
步骤(III):用户服务调用流程进入到具体飞行区监察业务服务模块,进行具体服务调用;
步骤(IV):业务服务调用流程进入安全验证处理模块,对将要输入到大模型或者大模型输出的数据进行安全验证,防止产生严重的幻读或者出现敏感词、违禁词回答;
步骤(V):业务服务调用流程进入模型编排与提示工程模块,将需要调用大模型的服务内容进行提示工程匹配,将输入大模型数据与匹配的提示工程同时输入到模型编排功能中,模型编排根据提示工程要求,进行外部接口调用、大模型调用、数据存储查询、外挂插件调用编排;
步骤(VI):将模型编排输出结果输入大模型进行处理,根据业务场景需要进行一次或多次大模型反复调用,得到满足用户使用要求的结果,并将结果进行返回。
进一步的,在步骤S3中,多个运行系统包括:机场飞行区车辆运行、航空器运行、航班保障、FOD、道面巡检、跑道巡检、鸟情管理、围界、助航灯光、机坪保卫系统。
进一步的,在步骤S3中,获取实时运行数据进行动态监察包括:
第一步:确定需要监察的具体工作类型,具体工作类型通过聊天式自然语言描述驱动大模型确定具体工作类型,或者通过暴露的专有业务监察接口确定,对于通过聊天式自然语言描述驱动大模型确定具体工作类型,在大模型微调阶段构建相关的指令数据集,同时建立用户对输出结果回馈机制,给出正确与否的反馈;
第二步:根据确定的监察具体工作类型与具体业务系统对接,获取实时数据,数据获取后,将进行数据清洗处理,对于多系统相同数据属性字段进行对比合并,设定数据优先级、多数数据优先权相同数据属性不一致的合并处理策略,将数据清洗合并处理后,将进行数据格式化处理;
第三步:基于确定的具体监察类型查找具体的业务规则,包含强业务规则、自然语言描述业务规则、业务规则检索关键词,强业务规则为严格的通过用户操作配置的规则约束;自然语言描述业务规则为用户自然语言描述的规则形式,借助于大模型的理解能力进行规则监察匹配,业务规则检索关键词则提供相关外挂知识体系检索关键字;
第四步:在规则检索上,基于确定的具体监察类型进行规则检索,在检索到强规则时,将强规则与自然语言描述业务规则样例输入到定向优化的大模型,输出自然语言描述的业务规则,在检索到业务规则检索关键词时,将基于检索关键字与具体监察类型进行外挂知识体系检索,将检索到的数据与自然语言描述业务规则样例输入到定向优化的大模型,输出一致的自然语言描述的业务规则;
第五步:评估检索出的业务规则与实时获取到的运行数据、监察提示大小,是否超过大模型输入最大要求,如果超过,将实时获取到的运行数据进行切分,采用与具体监察类型匹配的切分执行器策略,如果检索到与具体监察类型匹配的切分执行器,则采用相应的执行器,如果没有检索到切分执行器,则采用简单切分执行器;
所述切分执行器策略包括:监察类型包括车辆运行规则监察、航空器运行规则监察、航班保障规则监察、FOD规则监察、道面巡检规则监察、跑道巡检规则监察、鸟情管理规则监察、围界规则监察、助航灯光规则监察、机坪保卫规则监察,根据业务含义,定制不同类型的切分执行器,不同类型切分执行器的执行差异在于如何保证切分后的不同部分能继续保持语义完整性;
第六步:通过模型编排模块调用大模型服务,如果相应监察提示匹配外调接口的问题集,则调用注册的外调接口,将调用获取的数据输入到大模型,将大模型处理的数据与检索出的业务规则、实时获取到的运行数据、监察提示进行综合大小评估,评估大模型输入的大小限制,如果大小超过限制,则采用第五步中的方法进行数据切分处理;
第七步:调用大模型,对模型输出结果进行结果识别,通过构造携带特殊符号的监察提示来诱导大模型输出符合要求的结果,通过采用正则表达式的方式进行模式匹配,提取大模型的结果,同时提供外调服务接口触发的形式,需要构造特殊的监察提示让大模型输出需要的特殊符号以及特定格式的数据,通过系统匹配特殊符号与数据的形式触发外部服务接口调用;
第八步:如果大模型输入结果识别失败,则判断为大模型输出异常,采用重试策略,判断新的输出结果是否符合结果要求;
第九步:将大模型输出结果通过本发明系统配置的不同具体监察类型的格式转换器进行标准化处理,将处理后结果进行记录存储,并提供人工核验接口,针对大模型处理结果进行人工打分,以评价大模型优劣。
本发明的另一目的在于提供一种基于大模型的机场飞行区规则监察系统,该系统包括:
面向飞行区监察的定向优化大模型构建模块,用于围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
飞行区监察管理系统构建模块,用于基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
多运行系统实时运行数据动态监察模块,用于进行动态监察利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
本发明系统对接飞行区不同业务类系统,围绕传统机场飞行区运行监察业务场景,对飞行区诸如车辆违章监察、道面管理监察、FOD监察、保障规范监察等场景进行总结抽象,基于大模型进行基于规则的智能化监察判断,从而替代部分人工线下巡检,为传统监察手段进行智能化赋能,提高机场飞行区监察效率与品质,提升机场安全运行水平。
同时本发明考虑到当前大模型发展阶段性局限,对于大模型处理专业化问题容易产生幻觉和稳定性输出问题,提出解决方法,让经过特殊优化的大模型能够更加专业且稳定的处理飞行区监察场景下的业务问题。
本发明围绕机场飞行区监察业务场景,对大模型应用进行工程建设,让大模型真正的能够嵌入到机场飞行区监察管理系统中,真的为业务赋能,产生应用价值。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理;
图1是本发明实施例提供的基于大模型的机场飞行区规则监察方法流程图;
图2是本发明实施例提供的飞行区监察场景下的大模型定向训练优化流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
本发明实施例提供的基于大模型的机场飞行区规则监察方法及系统创新点在于:
本发明面向机场飞行区监察领域提出了一种全新的基于大模型技术的规则监察方法及系统,相比较传统机场飞行区监察领域多系统业务覆盖,本发明通过提供一个系统完成飞行区监察领域多类型、多场景业务支撑,同时基于大模型的智能理解能力,支持灵活丰富的监察类型、监察规则拓展,能够更好地满足机场相关业务发展需要。
实施例1,本发明实施例提供的基于大模型的机场飞行区规则监察方法围绕机场飞行区监察业务场景,基于大模型技术构建了飞行区监察管理系统,向机场飞行区监察相关业务场景进行支撑。包含飞行区监察场景下大模型定向训练优化、基于大模型的飞行区监察管理系统。如图1所示,具体包括:
S1,围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
S2,基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
S3,利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
如图2所示,本发明实施例提供的飞行区监察场景下的大模型(神经网络模型,为一种人工智能技术,在划分上属于深度学习领域)定向训练优化包含场景数据采集、场景数据处理、模型预训练、模型微调等步骤,具体如下:
(1)所述场景数据采集针对飞行区监察业务场景下可能涉及到的知识进行采集,以为后续模型训练、微调奠定良好的基础,具体上,场景数据采集包含以下渠道:
(i)民航局官网中法律、行政法规、民航规章、规范性文件、行业标准、技术标准规定等内容,并将民航要闻中携带“机场”、“飞行区”、“监察”、“巡视”、“监管”等关键字的内容也进行抓取。
(ii)各机场官网、微信公众号中携带“飞行区”、“安全”、“监察”、“巡视”、“监管”等关键字的内容进行抓取。
(iii)百度、搜狗、微信公众号、小红书、微博搜索,检索带有“飞行区”、“机场 安全”、“机场 监察”、“机场 巡视”、“机场 监管”等关键字的内容。
(iv)机场内部运行规章制度、运行管理办法、员工岗位手册、台账、生产周报、专题报告等。
(v)机场飞行区监察业务场景专有知识整理、归纳,围绕本业务场景,邀请专家进行归纳总结,确保质量。
(vi)机场运行基础数据,包含机位、登机口、廊桥、行李转盘、滑行道、跑道、航空公司、航站楼、机场等基础静态数据。
本发明数据获取渠道较多,采用的采集手段也有比较大的差异性,具体如下表1。
表1
。
本发明在获取到资料并进行文本提取存储之后,接下来进行场景数据处理,将低质量数据进行去除,为后续大模型预训练与微调奠定良好基础,场景数据处理包含以下步骤:
步骤1:数据格式转换处理,将不同资料获取到的提取文本数据进行进一步处理,将其中不合理换行、空格、其他控制符进行删除,并将过大文本文件进行拆分处理,具体上判断文本文件占用字节数,当文本字节数超过10M,将采用文本截取方法在文本字节数10M位置进行游标判断,逐步增加游标数,当获取到的字符为“。”或者“.”时,将其作为截取点进行截取,并继续判断剩余文本文件大小,如果超过10M,继续进行处理,以更好地为后续并行文本处理提供支撑;
步骤2:基本低质量数据去除处理,将包含HTML标签、XML标签、表格、图片、其他流媒体占位符进行删除,将未完成的句子、异常长的句子进行删除,将存在用户评价且评价等级低的内容进行删除,将包含违禁关键字的内容进行删除;
步骤3:文本内容去重,将文本内容进行去重计算,将重复度高的内容进行去除,同时将文本重复的文本文件进行集中归类处理,以更好的方便人工审查处理;
可以理解,将文本内容进行去重计算中可采用Minhash算法进行去重;
步骤4:基于人工理解的无关、有误内容去除处理,采用人工分组、分获取渠道类型的方式进行资料内容审查,同时为不同类型文本进行类型标记,以更进一步提高训练语料质量;
步骤5:将文本进行向量化处理,通过采用扩充词表将文字转换为相应数字,并将转换后的文本向量按照设定大小要求进行分块切分处理。
步骤6:文本内容存储,将文本按照不同类型标记存储在分布式数据库中,并基于日期进行文本分区存储,为后续大模型预训练提供数据基础。
在完成场景数据处理后,基于选取的开源大模型基座,使用无监督场景数据进行面向飞行区监察的定向优化大模型预训练,训练完成后使用准备好的QA场景数据进行面向飞行区监察的定向优化大模型微调。
其中,预训练采用无监督技术进行训练,微调为使用准备好的QA来训练模型,以使得大模型能够更好地理解并回答问题。
为使得大模型能够更好地处理飞行区监察业务场景问题,微调按照不同业务分类准备了相应指令数据集。具体分类如表2。
表2
。
指令数据集构造样例如下:
样例1:
指令:飞行区车辆在机坪运行时。
输入:航空器当前正在前方运行,车辆距离航空器前方150米,是否违反机场运行规定。
输出:根据机场机坪运行规章,在正在运行的航空器前100米后50米之内则属于违章,当前车辆距离航空器前方150米,大于100米,不属于违章。
样例2:
指令:在航空器保障过程中。
输入:航空器保障过程中,监护人员提前离场,这样是正常的吗。
输出:根据机场航班运行规章要求,在保障过程中,监护人员应该全程值守在规定点位,擅自离开属于违章,根据规章要求,基于相关人员绩效扣除惩罚,并进行全机场通报批评,严重者需要待岗,培训学习,根据培训学习情况进行返岗或继续待岗处理。
完成大模型训练、微调之后,本发明基于大模型构建了飞行区监察管理系统,该系统面向机场飞行区监察相关场景,能够为机场飞行区车辆运行、航空器运行、航班保障、FOD、道面巡检、跑道巡检、鸟情管理、围界、助航灯光、机坪保卫等监察场景提供智能化支持,该系统包含大模型层、模型封装管理层、模型数据管理层、通用场景服务层、监察服务层,具体内容如下:
(a)大模型层包含经过定向训练优化的面向飞行区监察的定向优化大模型,为上层模块提供大模型基础服务,可以根据需要选择单机、分布式、主备等方式部署运行。
(b)模型封装管理层主要提供大模型统一抽象封装功能,其中包含模型API管理模块、提示工程模块、模型状态管理模块、外部服务调用管理模块、模型编排模块,模型API管理模块将大模型服务调用进行统一管理、监控,提示工程模块提供上层大模型提示调用统一管理,模型状态管理模块负责模型运行状态监控,针对异常情况进行告警,外部服务调用管理模块提供外部调用服务接口统一管理,并建立接口调用与大模型问答对匹配关联关系,模型编排模块负责大模型外挂知识体系、外部接口、外部外挂插件统筹调度。
(c)模型数据处理层提供围绕大模型的外挂知识体系以及飞行区监察业务场景实时动态运行数据采集、处理、共享功能,其中包含数据处理模块、数据存储模块、数据共享模块、数据权限管理模块,数据处理模块基于总线技术,包含不同数据源采集处理适配器,将不同来源数据进行采集、集中清洗处理,数据存储模块包含向量数据库、关系型数据库、分布式文件存储等部分,向量数据库用来存储需要外挂的飞行区监察相关业务知识,关系型数据库存储业务运行数据,分布式文件存储收集到的全量飞行区监察相关业务资料,数据共享模块提供数据目录及数据获取接口,根据大模型以及上层服务调用需要提供不同适配数据接口,数据权限管理模块提供不同类型、不同结构数据细粒度访问控制权限,因为本系统面向多种岗位角色提供业务支撑,对于数据权限的控制尤为重要。
(d)通用场景服务层基于大模型能力,结合飞行区监察业务场景实际需要,抽象出公共服务,能够为上层具体监察服务层提供服务支撑,其中包含大模型能力封装模块、平台运行管理模块、民航智能问询模块、民航智能检索模块、规则监察引擎模块等,大模型能力封装模块提供大模型语言理解、情感意图识别、多模理解、图像生成等能力抽象封装,能够更好地对大模型能力进行分类,对上提供更加易于理解和操作的服务,同时也建立了良好的中间层屏蔽,在后续切换大模型基座时可以保证飞行区监察管理系统绝大部分服务模块不需要修改,从而降低后续大模型迁移成本,平台运行管理模块提供多租户管理、基础数据管理、权限控制、运维监控等基础平台运行所需要的功能,民航智能问询模块抽象了民航场景中问询场景功能需求,提供了通用的问询场景功能框架,能够为上层具体业务服务提供大模型驱动的智能问询功能,民航智能检索模块与民航智能问询模块类似,提供使用大模型能力的智能知识库管理与检索,规则监察引擎模块围绕民航规则监察场景进行总结抽象,提供公共的使用大模型理解能力规则监察功能。
(e)监察服务层为具体的飞行区监察场景功能服务,其中包含监察规则处理模块、监察数据对接模块、监察告警模块、记录统计分析模块;
监察规则处理模块抽象了机场飞行区不同类型监察场景的规则结构,提供了一种更加通用的规则设置结构,同时内部内置自然语言式的规则配置功能,能够更加方便用户进行拓展;
监察数据对接模块提供监察场景外部系统统一对接功能,方便获取数据进行智能化的飞行区监察;
监察告警模块负责监察异常的识别与告警,基于配置要求可以外调服务接口,同时提供独立告警消息推送功能;
记录统计分析模块提供监察记录、告警记录历史查询以及统计分析功能。
示例性的,本发明实施例提供的飞行区监察管理系统的监察管理方法包括:
步骤(I):用户服务调用进入负载均衡器根据访问吞吐量大小进行服务分发,负载均衡器采用轮询算法进行分发,将服务请求以此分发到后端服务响应模块;
步骤(II):用户服务调用流程进入系统统一权限控制模块,针对服务调用用户进行权限判断,基于系统权限配置,判断用户是否具备访问调用相关接口的权限,同时判断用户是否具备访问调用相关飞行区监察业务类型的权限;
步骤(III):用户服务调用流程进入到具体飞行区监察业务服务模块,进行具体服务调用;
步骤(IV):业务服务调用流程进入安全验证处理模块,对将要输入到大模型或者大模型输出的数据进行安全验证,防止产生严重的幻读或者出现敏感词、违禁词回答;
可以理解,安全验证采用敏感词、违禁词库检索的方式,需要维护比较全面的敏感词、违禁词词库;
步骤(V):业务服务调用流程进入模型编排与提示工程模块,将需要调用大模型的服务内容进行提示工程匹配,具体匹配过程为根据服务调用接口名称确定提示工程类型,将接口调用部分参数作为检索关键词进行提示工程检索,获取具体的提示,将输入大模型数据与匹配的提示工程同时输入到模型编排功能中,模型编排根据提示工程要求,进行外部接口调用、大模型调用、数据存储查询、外挂插件调用等编排。
步骤(VI):将模型编排输出结果输入大模型进行处理,根据业务场景需要进行一次或多次大模型反复调用,最终得到满足用户使用要求的结果,并将结果进行返回。
通过上述实施例可知,本发明飞行区监察管理系统通过借助于大模型生成能力构建外调接口问题集,从而提高大模型调用外部接口的精度和稳定性,具体上,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,接着为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,接着通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到大模型中,接收大模型产生的同一问题的不同泛化表述。
在本发明实施例中,本发明飞行区监察管理系统需要对接飞行区多个运行系统,获取实时运行数据进行动态监察。
具体对接数据如下表3。
表3
。
本发明飞行区监察管理系统在进行飞行区监察时,详细执行步骤如下:
第一步:首先确定需要监察的具体工作类型,比如车辆运行规则中的车辆超速违章监察、越界违章监察等,具体工作类型通过聊天式自然语言描述驱动大模型确定具体工作类型,或者通过暴露的专有业务监察接口确定,对于通过聊天式自然语言描述驱动大模型确定具体工作类型,需要在大模型微调阶段构建相关的指令数据集,同时建立用户对输出结果回馈机制,给出正确与否的反馈,便于模型进一步优化。
第二步:根据确定的监察具体工作类型与具体业务系统对接,获取实时数据,目前存在两种形式的数据获取方式,一种是本发明飞行区监察管理系统通过模型数据处理层统一对接多业务系统,统一进行数据采集获取、处理、存储、共享,这种方式主要采集机场基础运行数据,例如航班实时运行数据、保障实时运行数据、资源运行实时数据、车辆实时运行数据,而另一种方式根据需要开展的监察类型进行专业业务系统数据获取,例如在进行车辆超速规则监察时,会实时对接车辆管理系统中的车辆实时运行数据,同时对接地理信息系统中的飞行区地理信息数据。数据获取后,将进行数据清洗处理,对于多系统相同数据属性字段进行对比合并,设定数据优先级、多数数据优先权等相同数据属性不一致的合并处理策略,将数据清洗合并处理后,将进行数据格式化处理,以保证不同监察业务数据形式保持一致,便于后续大模型进行数据识别。
第三步:基于确定的具体监察类型查找具体的业务规则,本发明飞行区监察管理系统设计了一种更加灵活易于拓展的业务规则库模块,其中包含强业务规则、自然语言描述业务规则、业务规则检索关键词,强业务规则主要为严格的通过用户操作配置的规则约束。例如规定车辆在A区域速度不能超过20公里每小时,则强业务规则表述如表4。
表4
。
自然语言描述业务规则为用户自然语言描述的规则形式,需要借助于大模型的理解能力进行规则监察匹配,业务规则检索关键词则提供相关外挂知识体系检索关键字,能够降低用户多规则维护成本,集中进行统一维护。
第四步:在规则检索上,基于确定的具体监察类型进行规则检索,为保持规则形式一致性,在检索到强规则时,将会将强规则与自然语言描述业务规则样例输入到定向优化的大模型,输出自然语言描述的业务规则,在检索到业务规则检索关键词时,将会基于检索关键字与具体监察类型进行外挂知识体系检索,将检索到的数据与自然语言描述业务规则样例输入到定向优化的大模型,输出一致的自然语言描述的业务规则。
第五步:评估检索出的业务规则与实时获取到的运行数据、监察提示大小,是否超过大模型输入最大要求,如果超过,将会将实时获取到的运行数据进行切分,保证切分后的运行数据与业务规则、监察提示整体大小控制在大模型输入界限范围之内,运行数据切分分为简单切分与基于业务含义的切分,简单切分可采用等分方式进行切分,也可根据最大的大模型输入限制进行切分,基于业务含义的切分需要考虑在一些监察场景下简单切分可能会破坏数据的完整性,需要基于业务含义进行数据的切分,在具体执行上,采用与具体监察类型匹配的切分执行器策略,如果检索到与具体监察类型匹配的切分执行器,则采用相应的执行器,如果没有检索到切分执行器,则采用简单切分执行器。
示例性的,所述切分执行器策略包括:监察类型包括车辆运行规则监察、航空器运行规则监察、航班保障规则监察、FOD规则监察、道面巡检规则监察、跑道巡检规则监察、鸟情管理规则监察、围界规则监察、助航灯光规则监察、机坪保卫规则监察,根据业务含义,定制不同类型的切分执行器,不同类型切分执行器的执行差异在于如何保证切分后的不同部分能继续保持语义完整性;
第六步:通过模型编排模块调用大模型服务,如果相应监察提示匹配外调接口的问题集,则会调用注册的外调接口,将调用获取的数据输入到大模型,将大模型处理的数据与检索出的业务规则、实时获取到的运行数据、监察提示进行综合大小评估,评估大模型输入的大小限制,如果大小超过限制,则采用第五步中的方法进行数据切分处理。
第七步:调用大模型,对模型输出结果进行结果识别,通过构造携带特殊符号的监察提示来诱导大模型输出符合要求的结果,通过采用正则表达式的方式进行模式匹配,提取大模型的结果,本发明也提供外调服务接口触发的形式,需要构造特殊的监察提示让大模型输出需要的特殊符号以及特定格式的数据,通过系统匹配特殊符号与数据的形式触发外部服务接口调用。
第八步:如果大模型输入结果识别失败,则判断为大模型输出异常,本发明系统将会采用重试策略,首先进行简单重新大模型调用,判断新的输出结果是否符合结果要求,当重试超过3次依然不能输出满足要求的结果时,则考虑进行重新进行数据切分,采用不同的方式进行数据切分,重新进行大模型调用,当依然无法输出满足要求的结果时,则查询是否用户额外配置了其他同一监察具体场景下的监察提示,如果存在,则依次采用新的监察提示进行调用,当所有上述方式都无法输出满足要求的结果时,则将本次所有的数据与大模型输出进行记录,供后续研究优化使用,并生成大模型调用失败信息,返回到用户端。
第九步:将大模型输出结果通过本发明系统配置的不同具体监察类型的格式转换器进行标准化处理,将处理后结果进行记录存储,并提供了人工核验接口,能够针对大模型处理结果进行人工打分,以评价大模型优劣,为后续大模型优化迭代提供数据基础。
通过上述实施例可知,本发明围绕飞行区监察场景,构建了面向飞行区监察的定向优化大模型,同时基于大模型能力构建了飞行区监察管理系统,通过该发明,机场监察用户能够在一个平台上进行飞行区全部监察业务管理,相较于之前的业务系统,本发明飞行区监察管理系统能够支持更加智能的基于用户自然语言驱动的监察业务开展,能够进行更加灵活的业务拓展,同时能够降低传统监察业务开展形式中各种监察漏项风险,为一些信息化支撑不足的监察场景提供通用化、智能化支持,真正的将机场飞行区监察业务进行统一管控,提升机场飞行区安全运行水平。
更进一步的,本发明提出了一种在机场飞行区监察技术领域全新的实现形式,通过依赖大模型的智能理解能力,将飞行区不同监察领域进行了整合,并能够适应不同机场、不同场景下复杂的监察规则变化,不同于现有机场飞行区监察业务支撑形式,填补了相关领域的空白。本发明通过一个系统实现了传统机场多个系统的业务功能,并具备了传统系统不具备的智能理解与拓展能力,能够更好的伴随机场业务发展,解决传统系统监察类型与规则难以有效拓展的技术难题。本发明克服了传统机场飞行区监察领域必须多专业系统才能更好覆盖相关业务的偏见,采用一个基于大模型的系统囊括了较为全面的飞行区监察业务领域,传统技术基于限定规则研发,不同的监察类型业务规则差异性较大,同时随着机场发展,同一检查类型业务规则也会趋于越来越复杂,为更好的支持不同监察类型业务,传统技术将会设计不同的独立系统支持一个或多个监察类型,将所有监察类型放在一起将会导致设计过度复杂,同时难以支撑不同监察类型规则的变化。而本发明利用大模型的智能理解能力,能够满足单一系统支持更多的监察类型的需要,从而更好地促进多监察类型业务联动、业务统筹,促进机场相关业务高效高质量开展。
实施例2,本发明提供一种基于大模型的机场飞行区规则监察系统,该系统包括:
面向飞行区监察的定向优化大模型构建模块,用于围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
飞行区监察管理系统构建模块,用于基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
多运行系统实时运行数据动态监察模块,用于进行动态监察利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程。
本发明实施例还提供了一种计算机设备,该计算机设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端,所述信息数据处理终端用于实现于电子装置上执行时,提供用户输入接口以实施如上述各方法实施例中的步骤,所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器,所述服务器用于实现于电子装置上执行时,提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
为进一步说明本发明实施例相关效果,进行如下实验。
这里以机场A具体现场业务需求为基础进行实验,现场运行监察规则配置如下表5。
表5
。
系统将会根据配置的规则获取车辆管理系统中的车牌号、车辆实时点位数据、司机、车辆类型、车辆子类型、车辆运行状态等实时数据,获取塔台管理系统中的航空器编号、航班号、降落起飞跑道、航班运行状态、天气情况、空域流控情况、航空器滑行情况等实时数据,获取道面管理系统中的道面实时状态、作业人员工作情况、工作车辆工作情况等实时数据。
将获取到的数据进行融合处理后,根据系统处理流程将处理之后的规则配置与数据以及相关的提示输入到大模型,将大模型结果进行处理反馈。
在传统机场相关领域,将会存在多个系统进行不同飞行区监察类型的业务支撑,较难进行基于业务的多系统联动整合,同时复杂的监察规则较难满足,对比来看,本发明基于大模型技术,将传统需要多个系统解决的问题整合到了一个系统中进行支持,同时能够灵活拓展监察规则,显著提升了多岗位协同作业的能力,同时能够支持更加复杂的监察规则,能够更好地匹配机场相关业务的发展。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于大模型的机场飞行区规则监察方法,其特征在于,该方法包括以下步骤:
S1,围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
S2,基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
S3,利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
2.根据权利要求1所述的基于大模型的机场飞行区规则监察方法,其特征在于,在步骤S1中,构建面向飞行区监察的定向优化大模型包括:场景数据采集、场景数据处理;
所述场景数据采集包括:通过爬虫技术获取民航局官网、机场官网、公众号、搜索平台检索信息,通过电子资料进行资料格式转换及文本提取,纸质资料进行扫描后文本提取,通过电子资料进行资料格式转换及文本提取机场内部资料和专家整理编制资料,以及从已有系统中导出数据,并根据规范格式要求进行基础数据标准化处理采集机场运行基础数据;
在获取到资料并进行文本提取存储后,进行场景数据处理,将低质量数据进行去除。
3.根据权利要求2所述的基于大模型的机场飞行区规则监察方法,其特征在于,所述场景数据处理包含以下步骤:
步骤1:数据格式转换处理,将不同资料获取到的提取文本数据进行进一步处理,将其中不合理换行、空格、其他控制符进行删除,并将过大文本文件进行拆分处理;
步骤2:基本低质量数据去除处理,将包含HTML标签、XML标签、表格、图片、其他流媒体占位符进行删除,将未完成的句子、异常长的句子进行删除,将存在用户评价且评价等级低的内容进行删除,将包含违禁关键字的内容进行删除;
步骤3:文本内容去重,将文本内容进行去重计算,将重复度高的内容进行去除,同时将文本重复的文本文件进行集中归类处理;
步骤4:基于人工理解的无关、有误内容去除处理,采用人工分组、分获取渠道类型的方式进行资料内容审查,同时为不同类型文本进行类型标记;
步骤5:将文本进行向量化处理,通过采用扩充词表将文字转换为相应数字,并将转换后的文本向量按照设定大小要求进行分块切分处理;
步骤6:文本内容存储,将文本按照不同类型标记存储在分布式数据库中,并基于日期进行文本分区存储。
4.根据权利要求1所述的基于大模型的机场飞行区规则监察方法,其特征在于,在步骤S1中,进行飞行区监察场景下大模型定向训练优化包括:在完成场景数据处理后,基于选取的开源大模型基座,使用无监督场景数据进行面向飞行区监察的定向优化大模型预训练,训练完成后使用准备好的QA场景数据进行面向飞行区监察的定向优化大模型微调。
5.根据权利要求1所述的基于大模型的机场飞行区规则监察方法,其特征在于,在步骤S2中,飞行区监察管理系统包括:
大模型层,包含经过定向训练优化的面向飞行区监察的定向优化大模型,为上层模块提供大模型基础服务;
模型封装管理层,用于提供面向飞行区监察的定向优化大模型统一抽象封装功能;
模型数据处理层,用于提供围绕面向飞行区监察的定向优化大模型的外挂知识体系以及飞行区监察业务场景实时动态运行数据采集、处理、共享功能;
通用场景服务层,用于为上层具体监察服务层提供服务支撑;
监察服务层,用于为具体的飞行区监察场景功能服务。
6.根据权利要求5所述的基于大模型的机场飞行区规则监察方法,其特征在于,所述模型数据处理层包含数据处理模块、数据存储模块、数据共享模块、数据权限管理模块;数据处理模块基于总线技术,包含不同数据源采集处理适配器,将不同来源数据进行采集、集中清洗处理,数据存储模块包含向量数据库、关系型数据库、分布式文件存储部分,向量数据库用来存储需要外挂的飞行区监察相关业务知识,关系型数据库存储业务运行数据,分布式文件存储收集到的全量飞行区监察相关业务资料,数据共享模块提供数据目录及数据获取接口,根据大模型以及上层服务调用需要提供不同适配数据接口,数据权限管理模块提供不同类型、不同结构数据细粒度访问控制权限;
所述通用场景服务层包含大模型能力封装模块、平台运行管理模块、民航智能问询模块、民航智能检索模块、规则监察引擎模块,大模型能力封装模块提供大模型语言理解、情感意图识别、多模理解、图像生成能力抽象封装;平台运行管理模块提供多租户管理、基础数据管理、权限控制、运维监控基础平台运行所需要的功能,民航智能问询模块抽象民航场景中问询场景功能需求,提供通用的问询场景功能框架,为上层具体业务服务提供大模型驱动的智能问询功能;民航智能检索模块提供使用大模型能力的智能知识库管理与检索,规则监察引擎模块围绕民航规则监察场景进行总结抽象,提供公共的理解能力规则监察功能;
所述监察服务层包含监察规则处理模块、监察数据对接模块、监察告警模块、记录统计分析模块;
监察规则处理模块用于抽象机场飞行区不同类型监察场景的规则结构,提供通用的规则设置结构,同时内部内置自然语言式的规则配置功能;
监察数据对接模块提供监察场景外部系统统一对接功能,获取数据进行智能化的飞行区监察;
监察告警模块负责监察异常的识别与告警,基于配置要求外调服务接口,同时提供独立告警消息推送功能;
记录统计分析模块提供监察记录、告警记录历史查询以及统计分析功能。
7.根据权利要求5所述的基于大模型的机场飞行区规则监察方法,其特征在于,飞行区监察管理系统的监察管理方法包括:
步骤(I):用户服务调用进入负载均衡器根据访问吞吐量大小进行服务分发;
步骤(II):用户服务调用流程进入系统统一权限控制模块,针对服务调用用户进行权限判断;
步骤(III):用户服务调用流程进入到具体飞行区监察业务服务模块,进行具体服务调用;
步骤(IV):业务服务调用流程进入安全验证处理模块,对将要输入到大模型或者大模型输出的数据进行安全验证,防止产生严重的幻读或者出现敏感词、违禁词回答;
步骤(V):业务服务调用流程进入模型编排与提示工程模块,将需要调用大模型的服务内容进行提示工程匹配,将输入大模型数据与匹配的提示工程同时输入到模型编排功能中,模型编排根据提示工程要求,进行外部接口调用、大模型调用、数据存储查询、外挂插件调用编排;
步骤(VI):将模型编排输出结果输入大模型进行处理,根据业务场景需要进行一次或多次大模型反复调用,得到满足用户使用要求的结果,并将结果进行返回。
8.根据权利要求1所述的基于大模型的机场飞行区规则监察方法,其特征在于,在步骤S3中,多个运行系统包括:机场飞行区车辆运行、航空器运行、航班保障、FOD、道面巡检、跑道巡检、鸟情管理、围界、助航灯光、机坪保卫系统。
9.根据权利要求1所述的基于大模型的机场飞行区规则监察方法,其特征在于,在步骤S3中,获取实时运行数据进行动态监察包括:
第一步:确定需要监察的具体工作类型,具体工作类型通过聊天式自然语言描述驱动大模型确定具体工作类型,或者通过暴露的专有业务监察接口确定,对于通过聊天式自然语言描述驱动大模型确定具体工作类型,在大模型微调阶段构建相关的指令数据集,同时建立用户对输出结果回馈机制,给出正确与否的反馈;
第二步:根据确定的监察具体工作类型与具体业务系统对接,获取实时数据,数据获取后,将进行数据清洗处理,对于多系统相同数据属性字段进行对比合并,设定数据优先级、多数数据优先权相同数据属性不一致的合并处理策略,将数据清洗合并处理后,将进行数据格式化处理;
第三步:基于确定的具体监察类型查找具体的业务规则,包含强业务规则、自然语言描述业务规则、业务规则检索关键词,强业务规则为严格的通过用户操作配置的规则约束;自然语言描述业务规则为用户自然语言描述的规则形式,借助于大模型的理解能力进行规则监察匹配,业务规则检索关键词则提供相关外挂知识体系检索关键字;
第四步:在规则检索上,基于确定的具体监察类型进行规则检索,在检索到强规则时,将强规则与自然语言描述业务规则样例输入到定向优化的大模型,输出自然语言描述的业务规则,在检索到业务规则检索关键词时,将基于检索关键字与具体监察类型进行外挂知识体系检索,将检索到的数据与自然语言描述业务规则样例输入到定向优化的大模型,输出一致的自然语言描述的业务规则;
第五步:评估检索出的业务规则与实时获取到的运行数据、监察提示大小,是否超过大模型输入最大要求,如果超过,将实时获取到的运行数据进行切分,采用与具体监察类型匹配的切分执行器策略,如果检索到与具体监察类型匹配的切分执行器,则采用相应的执行器,如果没有检索到切分执行器,则采用简单切分执行器;
所述切分执行器策略包括:监察类型包括车辆运行规则监察、航空器运行规则监察、航班保障规则监察、FOD规则监察、道面巡检规则监察、跑道巡检规则监察、鸟情管理规则监察、围界规则监察、助航灯光规则监察、机坪保卫规则监察,根据业务含义,定制不同类型的切分执行器,不同类型切分执行器的执行差异在于如何保证切分后的不同部分能继续保持语义完整性;
第六步:通过模型编排模块调用大模型服务,如果相应监察提示匹配外调接口的问题集,则调用注册的外调接口,将调用获取的数据输入到大模型,将大模型处理的数据与检索出的业务规则、实时获取到的运行数据、监察提示进行综合大小评估,评估大模型输入的大小限制,如果大小超过限制,则采用第五步中的方法进行数据切分处理;
第七步:调用大模型,对模型输出结果进行结果识别,通过构造携带特殊符号的监察提示来诱导大模型输出符合要求的结果,通过采用正则表达式的方式进行模式匹配,提取大模型的结果,同时提供外调服务接口触发的形式,需要构造特殊的监察提示让大模型输出需要的特殊符号以及特定格式的数据,通过系统匹配特殊符号与数据的形式触发外部服务接口调用;
第八步:如果大模型输入结果识别失败,则判断为大模型输出异常,采用重试策略,判断新的输出结果是否符合结果要求;
第九步:将大模型输出结果通过本发明系统配置的不同具体监察类型的格式转换器进行标准化处理,将处理后结果进行记录存储,并提供人工核验接口,针对大模型处理结果进行人工打分,以评价大模型优劣。
10.一种基于大模型的机场飞行区规则监察系统,其特征在于,实施权利要求1-9任意一项所述的基于大模型的机场飞行区规则监察方法,该系统包括:
面向飞行区监察的定向优化大模型构建模块,用于围绕机场飞行区监察业务场景,构建面向飞行区监察的定向优化大模型,并进行飞行区监察场景下大模型定向训练优化;
飞行区监察管理系统构建模块,用于基于优化后的面向飞行区监察的定向优化大模型,构建飞行区监察管理系统,用户通过飞行区监察管理系统配置功能配置需要外部调用的接口,再为每个外部接口创建问题集,用户在问题集中创建种子问题,并标记问题不同部分与接口入参的关系,然后通过飞行区监察管理系统内置多种角色设定以及多类型提示工程,将种子问题与内置提示工程内容都输入到优化后的面向飞行区监察的定向优化大模型中,产生的同一问题不同泛化表述;
多运行系统实时运行数据动态监察模块,用于进行动态监察利用构建的飞行区监察管理系统对接飞行区多个运行系统,获取实时运行数据进行动态监察。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311808315.4A CN117475678A (zh) | 2023-12-26 | 2023-12-26 | 一种基于大模型的机场飞行区规则监察方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311808315.4A CN117475678A (zh) | 2023-12-26 | 2023-12-26 | 一种基于大模型的机场飞行区规则监察方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117475678A true CN117475678A (zh) | 2024-01-30 |
Family
ID=89629684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311808315.4A Pending CN117475678A (zh) | 2023-12-26 | 2023-12-26 | 一种基于大模型的机场飞行区规则监察方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117475678A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130151291A1 (en) * | 2011-12-08 | 2013-06-13 | Sumant Salway | System and method for building on-demand aviation trip |
CN107689166A (zh) * | 2017-10-16 | 2018-02-13 | 哈工大机器人集团重庆普耀信息产业发展有限公司 | 一种机场飞行区监控管理系统及管理方法 |
CN111935445A (zh) * | 2020-05-26 | 2020-11-13 | 上海塞嘉电子科技有限公司 | 一种信息化机场管理平台用视频监控系统及其使用方法 |
US20210192426A1 (en) * | 2019-11-29 | 2021-06-24 | Hangzhou Pi-Solution Information Technology Co., Ltd. | Roster scheduling and task dispatching system for gate staff |
US11151855B1 (en) * | 2020-11-30 | 2021-10-19 | GAT Airline Ground Support, Inc. | Video analytics platform for real-time monitoring and assessment of airplane safety processes |
CN115188224A (zh) * | 2022-07-04 | 2022-10-14 | 江汉大学 | 一种民航机场机坪区域监控方法及相关设备 |
US20220402626A1 (en) * | 2021-09-28 | 2022-12-22 | The 28Th Research Institute Of China Electronics Technology Group Corporation | Flight pushback state monitoring method based on multi-modal data fusion |
CN116052484A (zh) * | 2022-12-23 | 2023-05-02 | 青岛民航凯亚系统集成有限公司 | 一种机场地面动态监测系统、方法、设备及存储介质 |
CN116757554A (zh) * | 2023-08-14 | 2023-09-15 | 青岛民航凯亚系统集成有限公司 | 一种机场飞行区效能评价方法及系统 |
CN117235243A (zh) * | 2023-11-16 | 2023-12-15 | 青岛民航凯亚系统集成有限公司 | 民用机场大语言模型训练优化方法及综合服务平台 |
-
2023
- 2023-12-26 CN CN202311808315.4A patent/CN117475678A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130151291A1 (en) * | 2011-12-08 | 2013-06-13 | Sumant Salway | System and method for building on-demand aviation trip |
CN107689166A (zh) * | 2017-10-16 | 2018-02-13 | 哈工大机器人集团重庆普耀信息产业发展有限公司 | 一种机场飞行区监控管理系统及管理方法 |
US20210192426A1 (en) * | 2019-11-29 | 2021-06-24 | Hangzhou Pi-Solution Information Technology Co., Ltd. | Roster scheduling and task dispatching system for gate staff |
CN111935445A (zh) * | 2020-05-26 | 2020-11-13 | 上海塞嘉电子科技有限公司 | 一种信息化机场管理平台用视频监控系统及其使用方法 |
US11151855B1 (en) * | 2020-11-30 | 2021-10-19 | GAT Airline Ground Support, Inc. | Video analytics platform for real-time monitoring and assessment of airplane safety processes |
US20220402626A1 (en) * | 2021-09-28 | 2022-12-22 | The 28Th Research Institute Of China Electronics Technology Group Corporation | Flight pushback state monitoring method based on multi-modal data fusion |
CN115188224A (zh) * | 2022-07-04 | 2022-10-14 | 江汉大学 | 一种民航机场机坪区域监控方法及相关设备 |
CN116052484A (zh) * | 2022-12-23 | 2023-05-02 | 青岛民航凯亚系统集成有限公司 | 一种机场地面动态监测系统、方法、设备及存储介质 |
CN116757554A (zh) * | 2023-08-14 | 2023-09-15 | 青岛民航凯亚系统集成有限公司 | 一种机场飞行区效能评价方法及系统 |
CN117235243A (zh) * | 2023-11-16 | 2023-12-15 | 青岛民航凯亚系统集成有限公司 | 民用机场大语言模型训练优化方法及综合服务平台 |
Non-Patent Citations (1)
Title |
---|
刘文辉;王毅;: "机场运行安全管理信息化建设思路探究", 现代信息科技, no. 14, 25 July 2020 (2020-07-25) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112612902A (zh) | 一种电网主设备的知识图谱构建方法及设备 | |
CN111460125A (zh) | 政务服务智能问答方法及系统 | |
CN109446305A (zh) | 智能旅游客服系统的构建方法以及系统 | |
CN115828112A (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
CN104834739B (zh) | 互联网信息存储系统 | |
CN113468317B (zh) | 一种简历筛选方法、系统、设备和存储介质 | |
CN115794798B (zh) | 一种市场监管信息化标准管理与动态维护系统及方法 | |
KR20220064016A (ko) | 빅데이터를 활용한 데이터마이닝기반 건설사고 객체정보 추출 방법 | |
CN113946657A (zh) | 一种基于知识推理的电力业务意图自动识别方法 | |
CN117666546B (zh) | 一种分布式控制系统故障诊断方法及装置 | |
CN106708827A (zh) | 质检方法及装置 | |
CN114186041A (zh) | 一种答案输出方法 | |
CN114003600A (zh) | 数据处理方法、系统、电子设备和存储介质 | |
KR20190143832A (ko) | 항공 교통 관리 전자 시스템 테스트 방법, 해당 전자 장치 및 플랫폼 | |
Zhang et al. | Research on traffic decision making method based on image analysis case based reasoning | |
CN117132226A (zh) | 一种用户行为审核管理系统 | |
CN113407726A (zh) | 一种应急处置预案方法和系统 | |
CN117475678A (zh) | 一种基于大模型的机场飞行区规则监察方法及系统 | |
CN111145053A (zh) | 基于人工智能的企业法律顾问管理系统及方法 | |
CN116739408A (zh) | 基于数据标签的电网调度安全监控方法、系统及电子设备 | |
CN112767933B (zh) | 公路养护管理系统的语音交互方法、装置、设备及介质 | |
CN116467459A (zh) | 物联网设备故障报告方法、装置、计算机设备和存储介质 | |
US8051026B2 (en) | Rules collector system and method with user interaction | |
CN105786929A (zh) | 一种信息监测方法及装置 | |
CN114417010A (zh) | 面向实时工作流的知识图谱构建方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |