CN114139968A - 基于人工智能与知识图谱的电动列车装备检修实训考评系统 - Google Patents

基于人工智能与知识图谱的电动列车装备检修实训考评系统 Download PDF

Info

Publication number
CN114139968A
CN114139968A CN202111462135.6A CN202111462135A CN114139968A CN 114139968 A CN114139968 A CN 114139968A CN 202111462135 A CN202111462135 A CN 202111462135A CN 114139968 A CN114139968 A CN 114139968A
Authority
CN
China
Prior art keywords
maintenance
overhaul
training
data
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111462135.6A
Other languages
English (en)
Other versions
CN114139968B (zh
Inventor
岳大红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qienthalpy Technology Co ltd
Original Assignee
Sichuan Qienthalpy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qienthalpy Technology Co ltd filed Critical Sichuan Qienthalpy Technology Co ltd
Priority to CN202111462135.6A priority Critical patent/CN114139968B/zh
Priority claimed from CN202111462135.6A external-priority patent/CN114139968B/zh
Publication of CN114139968A publication Critical patent/CN114139968A/zh
Application granted granted Critical
Publication of CN114139968B publication Critical patent/CN114139968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种人工智能与知识图谱的电动列车装备检修实训考评系统，用以解决现在电动列车装备检修实训考评过程中考试资源馈乏的问题，该系统组成包括；感应点摄像头；GPU服务器集群；数据库服务器集群，应用服务器集群；大屏展示设备。本发明核心功能单元包括：智能模型单元、电动列车检修知识图谱单元、检修规则引擎单元和三维仿真单元。本发明实施时还包括电动列车装备实训检修仓。本发明解决由于教员在考评过程的主观性与考评经验不足导致评分不够客观的问题，解决线下检修实训考试与线上教学过程无法有机融合的问题，解决无法有效的对检修实训考试过程进行数字化模拟与记录的问题。

Description

基于人工智能与知识图谱的电动列车装备检修实训考评系统
技术领域
本发明涉及信息化实训考评相关的技术领域，具体来讲涉及是一种基于人工智能与知识图谱的电动列车装备检修实训考评系统。
背景技术
随着我国轨道交通行业的迅猛发展，铁路部门和轨道交通运营单位对相关车辆装备的高技能检修人才的需求日益增长；目前，大多数电动列车装备检修实训考评都是教员在实训教学基地现场对学员的检修考试过程进行监督和评分，但是受限于考试设备、考试场地和高级技师等考试资源的馈乏，以及教员在考评过程的主观性和考评经验不足，使得考试资源的配置和考评效果很难满足学员的考试需求。
虽然现在一些基于互联网技术的线上实训教学平台也能够满足一部分理论教学需求和考试需求，但是无法将线下的检修实训考试与线上教学过程进行有机的融合，也无法有效的对检修实训考试过程进行数字化模拟与记录。
发明内容
因此，为了解决上述不足，本发明在此提供一种利用人工智能、知识图谱、规则引擎和三维仿真等技术对检修实训考评过程进行自动的感知、考评、三维重建与记录的系统，用以解决现在电动列车装备检修实训考评过程中考试资源馈乏的问题，解决由于教员在考评过程的主观性与考评经验不足导致评分不够客观的问题，解决线下检修实训考试与线上教学过程无法有机融合的问题，解决无法有效的对检修实训考试过程进行数字化模拟与记录的问题。
本发明是这样实现的，构造一种基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统组成包括；
感应点摄像头：该感应点摄像头包括头戴式无线摄像头、实训检修仓顶部区域感应点摄像头、实训检修仓操作台区域感应点摄像头和工具台感应点摄像头，这些摄像头负责对学员的检修实训操作过程进行视频采集，并将采集到的视频数据发送给GPU服务器集群；
GPU服务器集群：该GPU服务器集群中包含了多台GPU服务器，每台GPU服务器安装有多张GPU显卡，所述GPU服务器集群中安装部署智能模型单元，每台GPU服务器负责处理对应的几路视频数据，并将智能模型识别的结果发送给应用服务器；
数据库服务器集群：该数据库服务器群集包括多台应用服务器，所述数据库服务器群集中部署安装电动列车检修知识图谱单元；每台应用服务器分别负责存储列车检修知识图谱数据、列车检修规则数据和应用数据，
应用服务器集群：该应用服务器集群部署安装检修规则引擎单元，该应用服务器集群中包含了多台应用服务器，每台应用服务器分别部署了检修规则引擎服务、检修规则管理服务、基础参数管理服务、感应点管理服务、3D模型管理服务和三维仿真可视化服务，所有的应用服务都通过微服务的方式进行部署、管理和调度，由其是检修规则引擎服务负责接收智能模型服务发送过来的识别结果，并从数据库服务器上获取应用数据和图数据，然后通过检修规则对学员的检修实训操作进行评分，同时将智能模型识别到的结果进行三维重建，并在可视化大屏上进行展示；
大屏展示设备：该大屏展示设备负责对应用服务器重建后的3D模型和操作动画进行展示，方便教员和其它学员进行观看和学习。
根据本发明所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统中核心功能单元包括：智能模型单元、电动列车检修知识图谱单元、检修规则引擎单元和三维仿真单元。
第一个功能单元，为所述智能模型单元，该功能单元包含四个智能模型，分别为工器具检测与识别模型、工器具实例分割模型、仪器仪表读数识别模型和检修动作识别模型，这些智能模型负责对摄像头采集到的视频流数据进行智能识别，并在识别完成后分别将工器具和检修动作的识别结果转换成对应的工器具指令和检修动作指令，随后将上述工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎。
如上所述第一个功能单元的四个智能模型，包括：
智能模型一，为工器具检测与识别模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行检测和识别。
工器具检测与识别模型是通过目标检测与识别算法对标注好的工器具数据集进行迭代训练而来，该目标检测与识别算法使用了一种基于像素级预测的单阶段全卷积检测网络，其网络结构包括主干网络、特征金字塔网络和检测器，检测器又包含三个分支，分别为分类预测分支、中心度预测分支和回归预测分支。所述算法的工作过程分为如下几个步骤：
步骤1：对输入的图像进行RGB图转灰度图、尺寸缩放和图像数据转张量等预处理操作。
步骤2：将步骤1得到张量数据送入主干网络（Backbone Network）得到输入数据的五种不同尺度的特征映射（Feature Maps）。
步骤3：将步骤2得到的特征映射送入下一步的特征金字塔网络（Feature PyramidNetwork,FPN），并在特征映射的每一个像素点上使用预先定义好的锚框（Anchor Boxes）进行回归预测。
步骤4：通过二值交叉熵损失（Binary cross entropy loss,BCE）来计算步骤3得到的每个一预测边界框的中心度（Center-ness），并通过中心度乘以相应的分类分数来计算预测边界框的置信度。
步骤5：最后通过非极大值抑制（Non-Maximum Suppression,NMS）过滤掉步骤4得到的低质量边界框，并按置信度进行排序得到目标对象最终的边界框与分类类别。
智能模型二，为工器具实例分割模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行实例分割，工器具实例分割的结果可以用来计算工器具之间的交并比，检修规则引擎需要同时结合检修动作的识别结果和工器具之间的交并比来判断检修动作是否合规。
工器具实例分割模型是通过实例分割算法对标注好的工器具数据集进行迭代训练而来，该实例分割算法由一个检测模块和一个混合掩模模块构成；检测模块用来预测实例对象的边界框坐标与分类类别，混合掩模模块包含三个部分，一个用来生成掩膜的底部模块，一个用来生成顶层注意力的顶部模块，以及一个将掩膜和注意力融合起来的混合模块。所述各个模块的具体作用如下：
检测模块：检测模块与智能模型一的网络结构和工作过程相同，主要负责对输入图像中实例对象的边界框和分类类别进行预测，并为底部模块和顶部模块提供特征输入。
顶部模块：通过检测模块得到每个实例对象的边界框提议（Bounding boxProposal），再经过一个卷积（Convolution）操作得到顶层注意力（Top-levelAttentions）。
底部模块：底部模块以检测模块中主干网络（Backbone network）和特征金字塔（Feature Pyramid）的特征映射（Feature Maps）为输入，分别通过上采样（Up Sampling）、连接（Concatenate）和卷积（Convolution）等操作得到整张图的K个掩膜（Mask）。
混合模块：混合模块以实例候选边界框、顶层注意力和整张图的K个掩膜为输入，分别对这K个掩膜进行裁剪、缩放和对齐，对顶层注意力进行插值并经过Softmax归一化后得到一组得分图（Score Map），最后将得分图和处理完的K个掩膜相乘，并按通道相加得到最终的掩膜。
智能模型三，为仪器仪表读数识别模型，该智能模型以工器具检测与识别模型的结果为输入，从图像中剪切出仪器仪表所在区域，并对仪器仪表上所显示的测量数据进行识别。
仪器仪表读数识别模型是通过光学字符识别算法对标注好的仪器仪表读数数据集和光学字符数据集进行迭代训练而来，该光学字符识别算法使用了一种多任务并行的全卷积点聚集网络，支持实时的对任意形状的文本进行检测和识别。所述算法的工作过程分为如下几个步骤：
步骤1：使用角点检测和霍夫变换对图像进行校正。
步骤2：将步骤1得到的图像送入带有特征金字塔网络（Feature PyramidNetwork,FPN）的主干网络（Backbone Network），得到1/4下采样（Down Sampling）的特征映射（Feature Maps）。
步骤3：使用全卷积网络（Fully Convolutional Network）对步骤2得到的特征映射进行多任务并行学习，分别得到文字区域的四种模态的特征信息，包括文本中心线、文本边缘偏移量、文本方向偏移量和文本字符分类图。
步骤4：使用步骤3得到的文本中心线和文本方向偏移量按照文本的阅读顺序提取文字中心点序列，再通过文本边缘偏移量计算得到文本的边界框。
步骤5：使用步骤3得到的文本中心线和文本方向偏移量在文本字符分类图上进行上采样（Up Sampling），将采样点拼接成固定长度的序列后，再使用联结主义时间分类（Connectionist Temporal Classification,CTC）损失函数进行训练，得到的字符分类概率序列，并将其解码为最终的文字识别结果。
智能模型四，为检修动作识别模型，该智能模型用于对学员检修实训操作过程中的检修动作进行识别。
检修动作识别模型是通过人体行为识别算法对标注好的检修动作数据集进行迭代训练而来，该人体行为识别算法使用了一种双流自适应图卷积神经网络，其组成部分包括自适应卷积层、自适应图卷积块、自适应图卷积网络和双流网络。所述算法的工作过程分为如下几个步骤：
步骤1：使用预训练的人体姿态估计模型从图像中提取人体骨胳关键点数据。
步骤2：从步骤2得到的人体骨胳关键点数据中提取关节数据和骨胳数据，关节数据包括源关节点坐标和目标关节点坐标，骨胳数据表征为从源关节点指向目标关节点的向量。
步骤3：分别将步骤3得到的关节数据和骨胳数据送入到关节数据流处理网络（Joint Stream Network）和骨胳数据流处理网络（Bones Stream Network），其中关节数据流处理网络和骨胳数据流处理网络分别使用基于距离的采样函数来对关节数据和骨胳数据进行采样，再通过时空图卷积网络（Spatial Temporal Graph ConvolutionalNetworks,ST-GCN）将关节样本和骨胳样本自适应的构造成不同的拓扑结构图，而后将两类样本的拓扑结构图送入各自的Softmax分类器得到对应的动作预测打分。
步骤4：将步骤3得到的关节样本和骨胳样本的动作预测打分进行相加，并得到最终的动作预测标签。
根据本发明所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；第二个功能单元，为所述列车检修知识图谱单元，该功能单元以电动列车检修作业指导书、电动列车质检手册和电动列车检修工教材为基础，通过文档版面分析技术、文本检测与识别技术、文本解析技术和知识图谱构建技术，将原有书目中非结构化的知识内容抽取为图谱化数据，为检修规则引擎提供了知识基础。
如下所述，将从两个方面对列车检修知识图谱进行进一步说明：
第一方面，列车检修知识图谱的构建过程。其构建过程分为如下几个步骤：
步骤1：首先对电动列车检修作业指导书和电动列车质检手册中的知识内容进行抽取，由于这两本书为文字版的PDF，因此可以直接对书目中的内容进行读取，并通过匹配规则对书中的章节、段落和表格数据进行解析，按书目中原有的知识结构将文本数据转化为树形结构；然后对电动列车检修工教材中的知识内容进行抽取，由于这一系列教材是扫描版的PDF，无法直接对书目中的内容进行读取，因此通过文档版面分析技术和文字识别技术对教材中的页眉、页脚、插图、表格和文字进行识别，随后通过匹配规则将文本数据转化为与原书目中知识结构相同的树形结构数据。
步骤2：从公开发行的各类轨道交通专业词典中抽取相关领域词汇及词汇分类,从而得到构成轨道交通领域词库，从轨道交通领域的各类标准化文件、检修工教材、作业指导书、维修手册等资料中抽取文本数据，再通过基于种子词的左右熵与凝固度的计算得到预选词库，然后经过自定义的过滤规则和一部分人工筛选得到自定义领域词库，最后对轨道交通领域词库和自定义领域词库进行合并去重，从而得到构建列车检修知识图谱所需要的关键词词库，在此基础上对关键词词库中词汇的类别进行标注。
步骤3：使用多模式字符串匹配算法加载步骤2得到的关键词词库，然后对步骤1得到的树形结构数据进行关键词匹配，并对匹配到的关键词进行标记同时打上对应的类别标签，从而得到命名实体识别模型的语料库，随后通过双向长短时记忆神经网络对该语料库进行训练，最后得到轨交领域实体识别模型。
步骤4：使用步骤3得到的轨交领域实体识别模型对步骤1得到的树形结构数据进行命名实体识别，再通过领域实体抽取规则进行文本解析，从而抽取出轨交领域实体。
步骤5：使用依存句法分析对步骤1得到的树形结构数据中的轨交领域实体之间的语法关系进行分析，再通过预定义的实体关系模板和领域实体关系抽取规则进行关系抽取，从而得到领域实体之间的从属关系。
步骤6：通过步骤4和步骤5得到领域实体与实体之间的从属关系后，再通过命名实体识别、词性分析、依存句法分析与属性抽取规则从树形结构数据中抽取出领域实体的属性。
步骤7：分别将步骤4、步骤5和步骤6抽取出来的领域实体、实体关系和实体属性构建成三元组结构，并将该三元组结构的数据导入到图数据库，从而得到列车检修知识图谱。
步骤8：将步骤7得到的列车检修知识图谱加载到可视化界面，并对列车检修知识图谱进行人工审核，对于抽取错误的领域实体、实体关系和实体属性进行人工修正。
第二方面，电动列车检修知识图谱的应用接口。该应用接口是以深度优先遍历、广度优先遍历、关系检索、路径提取、强连通分量、最短路径分析、关联度分析、出入度分析和贝叶斯推理等图计算算法为基础，实现了检修规则引擎和应用层服务对列车检修知识图谱的各种检索与计算功能，并以应用接口的形式对检修规则引擎及其它应用层的服务提供功能支撑。
根据本发明所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；第三个功能单元，为所述检修规则引擎单元，该功能单元以可视化流程引擎为基础，为教员提供一套实训考试规则模板的可视化配置界面和列车检修知识图谱的调用接口，教员可以在配置实训考试规则模板时，动态的从列车检修知识图谱中选取所需的列车装备、装备部件、检修任务、检修工具、检修方式和技术要求等知识节点，实训考试规则模板配置完成后，在实际的检修实训考试中，学员会通过电动列车装备检修实训考评系统中的交互界面选取本次待检修的列车车型、列车装备和维修等级，检修规则引擎会根据教员配置的实训考试规则模板以及内置的图计算算法生成出本次的实训考试内容、检修任务时序规则、工器具使用合规性判断规则、检修动作合规性判断规则和评分规则，学员根据指定的考试内容完成各项检修任务，检修规则引擎分别使用上述规则对学员检修过程中检修任务完成的时序关系是否合理进行判断，对使用到的工器具是否合规进行判断，对检修动作是否合规进行判断，最后使用评分规则对学员的整个检修过程进行综合评分，并给出考试成绩。另外，在学员进行检修实训操作的过程中，检修规则引擎还需要将智能模型单元发送过来的工具器指令、检修动作指令和仪器仪表读数实时的转发给三维仿真单元。
根据本发明所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；第四个功能单元，为所述三维仿真单元，该功能单元首先通过三维建模工具构建出检修场地3D模型、列车装备3D模型、工器具3D模型、人体3D模型和手部3D模型。而后在接收到检修规则引擎发送过来的工器具指令、检修动作指令和仪器仪表读数之后，由3D动画引擎负责实时加载并展示对应的3D模型动画，从而实现对检修实训考试过程的虚拟仿真。
如图3所示，所述电动列车装备检修实训考评系统的整体流程分为如下几个步骤：
步骤1：学员在检修实训场地的交互终端上选择并提交本次检修实训考试的列车车型、列车装备和维修等级，交互终端负责将这些信息发送给检修规则引擎，检修规则引擎再转发给3D动画引擎，3D动画引擎加载并展示对应的检修场地和列车装备的3D模型，并提示考试开始。
步骤2：检修规则引擎在接收到交互终端发送过来的数据后，负责从列车检修知识图谱中获取本次实训考试的检修任务列表，并加载当前列车装备的检修任务时序规则，而后按照检修任务的先后顺序依次从列车检修知识图谱中获取每个检修任务需要的工器具、维修方法和技术要求，并加载工器具使用合规性判断规则、检修动作合规性判断规则和评分规则。
步骤3：流媒体服务负责采集学员检修实训考试过程的多路视频流，并从视频流中提取关键帧，将关键帧转换成图像后，对图像进行预处理并转换成Base64编码，随后将Base64编码发送给智能模型服务。
步骤4：智能模型服务负责对图像中的工器具进行识别和分割，对图像中仪器仪表的读数进行识别，对连续视频帧的检修动作进行识别，随后分别将识别到的工器具和检修动作转换成对应的工器具指令和检修动作指令，最后将工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎。
步骤5：检修规则引擎首先将工器具指令、检修动作指令和仪器仪表读数转发给3D动画引擎，然后由3D动画引擎实时的加载并展示检修场景、列车装备、装备部件和接收到的工器具及检修动作的3D模型和操作动画。
步骤6：检修规则引擎分别根据检修任务时序规则、工器具使用合规性判断规则和检修动作合规性判断规则对检修过程中使用的工器具是否合规，检修动作是否合规，检修操作顺序是否合规进行判断，随后根据评分规则和上述判断结果对检修任务的完成情况进行评分。
步骤7：检修规则引擎负责将检修任务的评分结果发送给3D动画引擎，并由3D动画引擎实时的展示检修任务的得分情况。
根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；本系统还包括电动列车装备实训检修仓，该实训检修仓主要包含如下几个部分：第一部分，为实训检修仓的工具台，该工具台的台面是一张刻度板，正上方安装有一部工具台感应点摄像头。工具台用于放置学员所选的工器具，并为工具规格的识别提供刻度基准；工具台感应点摄像头采集的视频数据主要用于工器具的检测、识别与规格判断。
第二部分，为实训检修仓的操作台，该操作台采用网格布局的方式，在每个网格交点提供一个感应点摄像头的安装位置，每个安装位置都以嵌入的方式将摄像头安装到操作台内部，这样既不影响学员的操作，又方便教员根据待检修装备的型式对感应点摄像头进行配置和开关，使得打开的每个感应点摄像头能够从最佳的角度进行拍摄。操作台感应点摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别。
第三部分，为实训检修仓的顶部区域，该顶部区域也采用网格布局的方式，在每个网格交点都安装有一部感应点摄像头，顶部感应点摄像头也支持教员根据检修任务的具体要求对顶部感应点摄像头进行配置和开关。顶部感应点摄像头采集的视频数据主要用于学员检修动作的识别。
第四部分，为学员的头戴式无线摄像头，该头戴式无线摄像头可以对装备部件、仪器仪表、检修工具和学员的手部操作进行近距离拍摄，解决了操作台感应点摄像头和顶部感应点摄像头无法高质量拍摄装备部件、仪器仪表、检修工具和学员的手部操作的问题。头戴式无线摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别。
本发明具有如下优点：
（1）本发明基于一种智能模型单元，实现了对检修实训过程中工器具的检测、识别与分割，仪器仪表读数的识别，以及检修动作的识别，其结果作为输入提供给检修规则引擎进行工器具使用的合规性判断、检修动作的合规性判断、检修操作顺序的合规性判断，以及检修操作过程的虚拟仿真。该智能模型单元做为电动列车装备检修实训考评系统最核心的模块，为自动化的检修实训考评和虚拟仿真提供了数据基础，使得检修实训操作过程得以实时的进行自动感知和数字化重建。
（2）本发明基于一种电动列车检修知识图谱单元，实现了对电动列车检修作业指导书、电动列车质检手册和电动列车检修工教材的自动抽取，以及知识内容的图谱化。在该电动列车检修知识图谱的基础上通过对外提供基于图计算算法的功能封装，实现了对电动列车检修知识的各种检索与分析需求，为自动化的检修实训考评提供了知识基础。
（3）本发明基于一种检修规则引擎单元，实现了对电动列车检修图谱中知识节点的动态提取，对工器具使用合规性判断规则的可视化构建，对检修动作合规性判断规则的可视化构建，以及对评分规则的可视化构建。教员通过在电动列车装备上设置各类故障点，并在每个检修任务上构建各类判断规则和评分规则，从而形成了一组实训考试作业。学员在实际操作过程中，检修规则引擎单元负责根据智能模型单元识别的结果从电动列车检修知识图谱中提取所需的知识内容，并通过内置的判断规则和评分规则对学员的操作过程进行自动评分，然后将得到的工器具指令、检修动作指令和评分结果发送给三维仿真单元。
（4）本发明基于一种三维仿真单元，实现了对实训场地、列车装备、装备部件、维修工具、仪器仪表和人体的3D重建，以及检修动作的3D动画模拟。该三维仿真单元做为电动列车装备检修教学考评系统的可视化模块，为学员和教员提供了直观的教学场景和良好的学习体验，并为教学过程实施提供了丰富的素材。
（5）本发明提出了一种电动列车装备实训检修仓，该实训检修仓的顶部区域与操作台区域采用网格式布局对感应点摄像头进行安装，并且教员可以根据检修任务的具体需求对这些感应点摄像头进行配置和开关，既节省了运行资源又可以从最佳视角对学员的操作过程进行拍摄；另外，学员的头戴式无线摄像头通过对操作过程的近距离拍摄，进一步增强了视频数据的采集质量，为智能模型的精准识别提供了良好的数据基础。
附图说明
图1为本申请提供的电动列车装备检修实训考评系统的技术架构图；
图2为本申请提供的电动列车装备检修实训考评系统的功能单元图；
图3为本申请提供的电动列车装备检修实训考评系统的整体流程图；
图4为本申请提供的电动列车检修知识图谱构建过程的示意图；
图5为本申请提供的电动列车检修知识图谱的结构示意图；
图6为本申请提供的电动列车装备检修实训考评系统的硬件部署架构图；
图7为本申请提供的电动列车装备实训检修仓的示意图；
图8为本申请提供的避雷器检修规则引擎的示意图。
具体实施方式
下面将结合附图1-图8对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种利用人工智能、知识图谱、规则引擎和三维仿真等技术对检修实训考评过程进行自动的感知、考评、三维重建与记录的系统，下面通过具体实施方式，结合附图对本发明的技术方案做进一步说明。
参见图1，将对本发明所述电动列车检修实训考评系统的技术架构进行说明，该系统的整体技术架构可以分为三层，包括基础层、模型层和应用层。
（1）基础层：该基础层主要包括数据环境和运行环境，其中数据环境主要包括列车检修知识图谱、列车检修规则库和应用数据库，运行环境主要包括软件运行环境、深度学习框架运行环境和图形图像处理库的运行环境，基础层为整个电动列车装备检修实训考评系统的部署与运行提供了软件支撑和数据支撑。
（2）模型层：模型层为电动列车装备检修实训考评系统提供算法支撑和模型支撑，其使用到的核心算法包括目标检测与识别算法、图像实例分割算法、人体姿态估计算法、人体行为识别算法和光学字符识别算法，在这些算法的基础上，分别通过对标注好的工器具数据集、检修动作数据集和仪器仪表读数数据集进行训练，得到工器具检测与识别模型、工器具实例分割模型、检修动作识别模型和仪器仪表读数识别模型，这些智能模型实现了对学员检修实训操作过程的自动感知和智能识别，为检修规则引擎的各类考评判分规则提供了数据基础。
（3）应用层：应用层为电动列车装备检修实训考评系统提供了各类检修规则和评分规则的配置与管理，3D模型的管理，3D模型的可视化展示，视频采集设备的管理，感应点的配置与管理，故障点的设置与管理，工器具与检修动作的参数管理，以及流媒体服务、智能模型服务和检修规则引擎服务的部署、运行与管理。
参见图2，将对本发明所述电动列车检修实训考评系统的功能单元进行说明，其核心功能单元包括：智能模型单元、电动列车检修知识图谱单元、检修规则引擎单元和三维仿真单元。
第一个功能单元，为所述智能模型单元，该功能单元包含四个智能模型，分别为工器具检测与识别模型、工器具实例分割模型、仪器仪表读数识别模型和检修动作识别模型，这些智能模型负责对摄像头采集到的视频流数据进行智能识别，并在识别完成后分别将工器具和检修动作的识别结果转换成对应的工器具指令和检修动作指令，随后将上述工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎。
如上所述第一个功能单元的四个智能模型，包括：
智能模型一，为工器具检测与识别模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行检测和识别。
工器具列表及其对应的指令编码和分类类别，如下列表格所述：
工器具名称 指令编码 类别 工器具名称 指令编码 类别
避雷器 EQ00100 1 油漆笔 TL00500 15
避雷器底座 EQ00101 2 酒精桶 TL00600 16
连接线 PT00100 3 白布 TL00700 17
紧固件 PT00200 4 螺丝刀 TL00800 18
避雷器直流参数测试仪 IT00100 5 游标卡尺 TL00900 19
引线夹子 IT00101 6 钳子 TL01000 20
电源开关 IT00102 7 套筒 TL01100 21
检测按钮 IT00103 8 导电膏 TL01200 22
复位键 IT00104 9 数字万用表 IT00200 23
读数显示屏 IT00105 10 万用表表笔 IT00201 24
开口扳手 TL00100 11 塞尺 TL01300 25
套筒扳手 TL00200 12 螺母 PT00300 26
扭矩扳手 TL00300 13 拉力计 TL01500 27
内径千分尺 TL00400 14 手 BT00100 28
……… ……… ……… ……… ……… ………
工器具列表编码规则：（1）第一位到第二位代表工器具一级分类，一级分类说明如下：EQ：列车装备，PT：维修部件，IT：检测仪器，TL：维修工具，BT：人体部位。（2）第三位到第五位代表一级分类下某一工器具的唯一编码。（3）第六位到第七位代表一级分类下某一工器具的附属部件的唯一编码。通过以上编码规则就可以对列车装备、装备部件、维修部件、检测仪器、仪器附属部件、维修工具和人体部位进行唯一表示。
工器具检测与识别模型是通过目标检测与识别算法对标注好的工器具数据集进行迭代训练而来，该目标检测与识别算法使用了一种基于像素级预测的单阶段全卷积检测网络，其网络结构包括主干网络、特征金字塔网络和检测器，检测器又包含三个分支，分别为分类预测分支、中心度预测分支和回归预测分支。该执行的工作过程分为如下几个步骤：
步骤1：对输入的图像进行RGB图转灰度图、尺寸缩放和图像数据转张量等预处理操作。
步骤2：将步骤1得到张量数据送入主干网络（Backbone Network）得到输入数据的五种不同尺度的特征映射（Feature Maps）。
步骤3：将步骤2得到的特征映射送入下一步的特征金字塔网络（FeaturePyramid Network,FPN），并在特征映射的每一个像素点上使用预先定义好的锚框（AnchorBoxes）进行回归预测。
步骤4：通过二值交叉熵损失（Binary cross entropy loss,BCE）来计算步骤3得到的每个一预测边界框的中心度（Center-ness），并通过中心度乘以相应的分类分数来计算预测边界框的置信度。
步骤5：最后通过非极大值抑制（Non-Maximum Suppression,NMS）过滤掉步骤4得到的低质量边界框，并按置信度进行排序得到目标对象最终的边界框与分类类别。
智能模型二，为工器具实例分割模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行实例分割，工器具实例分割的结果可以用来计算工器具之间的交并比，检修规则引擎需要同时结合检修动作的识别结果和工器具之间的交并比来判断检修动作是否合规。
工器具实例分割模型是通过实例分割算法对标注好的工器具数据集进行迭代训练而来，该实例分割算法由一个检测模块和一个混合掩模模块构成；检测模块用来预测实例对象的边界框坐标与分类类别，混合掩模模块包含三个部分，一个用来生成掩膜的底部模块，一个用来生成顶层注意力的顶部模块，以及一个将掩膜和注意力融合起来的混合模块。所述各个模块的具体作用如下：
检测模块：检测模块与智能模型一的网络结构和工作过程相同，主要负责对输入图像中实例对象的边界框和分类类别进行预测，并为底部模块和顶部模块提供特征输入。
顶部模块：通过检测模块得到每个实例对象的边界框提议（Bounding boxProposal），再经过一个卷积（Convolution）操作得到顶层注意力（Top-levelAttentions）。
底部模块：底部模块以检测模块中主干网络（Backbone network）和特征金字塔（Feature Pyramid）的特征映射（Feature Maps）为输入，分别通过上采样（Up Sampling）、连接（Concatenate）和卷积（Convolution）等操作得到整张图的K个掩膜（Mask）。
混合模块：混合模块以实例候选边界框、顶层注意力和整张图的K个掩膜为输入，分别对这K个掩膜进行裁剪、缩放和对齐，对顶层注意力进行插值并经过Softmax归一化后得到一组得分图（Score Map），最后将得分图和处理完的K个掩膜相乘，并按通道相加得到最终的掩膜。
智能模型三，为仪器仪表读数识别模型，该智能模型以工器具检测与识别模型的结果为输入，从图像中剪切出仪器仪表所在区域，并对仪器仪表上所显示的测量数据进行识别。
仪器仪表读数识别模型是通过光学字符识别算法对标注好的仪器仪表读数数据集和光学字符数据集进行迭代训练而来，该光学字符识别算法使用了一种多任务并行的全卷积点聚集网络，支持实时的对任意形状的文本进行检测和识别。所对应的工作过程分为如下几个步骤：
步骤1：使用角点检测和霍夫变换对图像进行校正。
步骤2：将步骤1得到的图像送入带有特征金字塔网络（Feature PyramidNetwork,FPN）的主干网络（Backbone Network），得到1/4下采样（Down Sampling）的特征映射（Feature Maps）。
步骤3：使用全卷积网络（Fully Convolutional Network）对步骤2得到的特征映射进行多任务并行学习，分别得到文字区域的四种模态的特征信息，包括文本中心线、文本边缘偏移量、文本方向偏移量和文本字符分类图。
步骤4：使用步骤3得到的文本中心线和文本方向偏移量按照文本的阅读顺序提取文字中心点序列，再通过文本边缘偏移量计算得到文本的边界框。
步骤5：使用步骤3得到的文本中心线和文本方向偏移量在文本字符分类图上进行上采样（Up Sampling），将采样点拼接成固定长度的序列后，再使用联结主义时间分类（Connectionist Temporal Classification,CTC）损失函数进行训练，得到的字符分类概率序列，并将其解码为最终的文字识别结果。
智能模型四，为检修动作识别模型，该智能模型用于对学员检修实训操作过程中的检修动作进行识别。
检修动作列表，如下列表格所述：
检修动作 指令编码 类别 检修动作说明
拆卸操作 AC001 1 指使用扳手拆卸紧固件时发生的动作。
紧固操作 AC002 2 指使用扳手紧固紧固件时发生的动作。
涂抹操作 AC003 3 指使用导电膏涂抹装备部件导电部位时发生的动作。
倾倒操作 AC004 4 指倾倒酒精桶或其它液体桶时发生的动作。
擦拭操作 AC005 5 指使用白布清洁装备部件表面时发生的动作。
旋转旋钮操作 AC006 6 指调节检测仪器面板上旋钮时发生的动作。
目测操作 AC007 7 指对列车装备或部件进行观测时发生的动作。
标记操作 AC008 8 指使用油漆笔或其它标记笔对紧固件打防松标记时发生的动作。
按压按钮操作 AC009 9 指按压检测仪器面板上按钮时发生的动作。
牵拉操作 AC010 10 指使用拉力计测量装备部件拉力时发生的动作。
抬升操作 AC011 11 指抬升装备部件时发生的动作。
……… ……… ……… ………
单独基于检修动作的识别结果是无法完整而又准确的判断一项检修操作是否正确，还需要结合工器具的识别结果，工器具实例分割后的交并比，以及判断规则才能确定一项检修操作是否正确。
检修动作识别模型是通过人体行为识别算法对标注好的检修动作数据集进行迭代训练而来，该人体行为识别算法使用了一种双流自适应图卷积神经网络，其组成部分包括自适应卷积层、自适应图卷积块、自适应图卷积网络和双流网络。所述算法的工作过程分为如下几个步骤：
步骤1：使用预训练的人体姿态估计模型从图像中提取人体骨胳关键点数据。
步骤2：从步骤2得到的人体骨胳关键点数据中提取关节数据和骨胳数据，关节数据包括源关节点坐标和目标关节点坐标，骨胳数据表征为从源关节点指向目标关节点的向量。
步骤3：分别将步骤3得到的关节数据和骨胳数据送入到关节数据流处理网络（Joint Stream Network）和骨胳数据流处理网络（Bones Stream Network），其中关节数据流处理网络和骨胳数据流处理网络分别使用基于距离的采样函数来对关节数据和骨胳数据进行采样，再通过时空图卷积网络（Spatial Temporal Graph ConvolutionalNetworks,ST-GCN）将关节样本和骨胳样本自适应的构造成不同的拓扑结构图，而后将两类样本的拓扑结构图送入各自的Softmax分类器得到对应的动作预测打分。
步骤4：将步骤3得到的关节样本和骨胳样本的动作预测打分进行相加，并得到最终的动作预测标签。
第二个功能单元，为所述列车检修知识图谱单元，该功能单元以电动列车检修作业指导书、电动列车质检手册和电动列车检修工教材为基础，通过文档版面分析技术、文本检测与识别技术、文本解析技术和知识图谱构建技术，将原有书目中非结构化的知识内容抽取为图谱化数据，为检修规则引擎提供了知识基础。
第三个功能单元，为所述检修规则引擎单元，该功能单元以可视化流程引擎为基础，为教员提供一套实训考试规则模板的可视化配置界面和列车检修知识图谱的调用接口，教员可以在配置实训考试规则模板时，动态的从列车检修知识图谱中选取所需的列车装备、装备部件、检修任务、检修工具、检修方式和技术要求等知识节点，实训考试规则模板配置完成后，在实际的检修实训考试中，学员会通过电动列车装备检修实训考评系统中的交互界面选取本次待检修的列车车型、列车装备和维修等级，检修规则引擎会根据教员配置的实训考试规则模板以及内置的图计算算法生成出本次的实训考试内容、检修任务时序规则、工器具使用合规性判断规则、检修动作合规性判断规则和评分规则，学员根据指定的考试内容完成各项检修任务，检修规则引擎分别使用上述规则对学员检修过程中检修任务完成的时序关系是否合理进行判断，对使用到的工器具是否合规进行判断，对检修动作是否合规进行判断，最后使用评分规则对学员的整个检修过程进行综合评分，并给出考试成绩。另外，在学员进行检修实训操作的过程中，检修规则引擎还需要将智能模型单元发送过来的工具器指令、检修动作指令和仪器仪表读数实时的转发给三维仿真单元。
第四个功能单元，为所述三维仿真单元，该功能单元首先通过三维建模工具构建出检修场地3D模型、列车装备3D模型、工器具3D模型、人体3D模型和手部3D模型。而后在接收到检修规则引擎发送过来的工器具指令、检修动作指令和仪器仪表读数之后，由3D动画引擎负责实时加载并展示对应的3D模型动画，从而实现对检修实训考试过程的虚拟仿真。
参见图3，将对本发明所述电动列车检修实训考评系统的整体流程进行说明，该系统的整体处理流程分为如下几个步骤：
步骤1：学员在检修实训场地的交互终端上选择并提交本次检修实训考试的列车车型、列车装备和维修等级，交互终端负责将这些信息发送给检修规则引擎，检修规则引擎再转发给3D动画引擎，3D动画引擎加载并展示对应的检修场地和列车装备的3D模型，并提示考试开始。
步骤2：检修规则引擎在接收到交互终端发送过来的数据后，负责从列车检修知识图谱中获取本次实训考试的检修任务列表，并加载当前列车装备的检修任务时序规则，而后按照检修任务的先后顺序依次从列车检修知识图谱中获取每个检修任务需要的工器具、维修方法和技术要求等知识内容，并加载工器具使用合规性判断规则、检修动作合规性判断规则和评分规则。
步骤3：流媒体服务负责采集学员检修实训考试过程的多路视频流，并从视频流中提取关键帧，将关键帧转换成图像后，对图像进行预处理并转换成Base64编码，随后将Base64编码发送给智能模型服务。
步骤4：智能模型服务负责对图像中的工器具进行检测、识别与分割，对图像中仪器仪表的读数进行识别，对连续视频帧的检修动作进行识别，随后分别将识别到的工器具和检修动作转换成对应的工器具指令和检修动作指令，最后将工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎。
步骤5：检修规则引擎首先将工器具指令、检修动作指令和仪器仪表读数转发给3D动画引擎，然后由3D动画引擎实时的加载并展示检修场景、列车装备、装备部件和接收到的工器具及检修动作的3D模型和操作动画。
步骤6：检修规则引擎分别根据检修任务时序规则、工器具使用合规性判断规则和检修动作合规性判断规则对检修过程中使用的工器具是否合规，检修动作是否合规，检修操作顺序是否合规进行判断，随后根据评分规则和上述判断结果对检修任务的完成情况进行评分。
步骤7：检修规则引擎负责将检修任务的评分结果发送给3D动画引擎，并由3D动画引擎实时的展示检修任务的得分情况。
参见图4，将对本发明所述列车检修知识图谱的构建过程进行说明。其构建过程分为如下几个步骤：
步骤1：首先对电动列车检修作业指导书和电动列车质检手册中的知识内容进行抽取，由于这两本书为文字版的PDF，因此可以直接对书目中的内容进行读取，并通过匹配规则对书中的章节、段落和表格数据进行解析，按书目中原有的知识结构将文本数据转化为树形结构；然后对电动列车检修工教材中的知识内容进行抽取，由于这一系列教材是扫描版的PDF，无法直接对书目中的内容进行读取，因此通过文档版面分析技术和文字识别技术对教材中的页眉、页脚、插图、表格和文字进行识别，随后通过匹配规则将文本数据转化为与原书目中知识结构相同的树形结构数据。
步骤2：从公开发行的各类轨道交通专业词典中抽取相关领域词汇及词汇分类,从而得到构成轨道交通领域词库，从轨道交通领域的各类标准化文件、检修工教材、作业指导书、维修手册等资料中抽取文本数据，再通过基于种子词的左右熵与凝固度的计算得到预选词库，然后经过自定义的过滤规则和一部分人工筛选得到自定义领域词库，最后对轨道交通领域词库和自定义领域词库进行合并去重，从而得到构建列车检修知识图谱所需要的关键词词库，在此基础上对关键词词库中词汇的类别进行标注。
步骤3：使用多模式字符串匹配算法加载步骤2得到的关键词词库，然后对步骤1得到的树形结构数据进行关键词匹配，并对匹配到的关键词进行标记同时打上对应的类别标签，从而得到命名实体识别模型的语料库，随后通过双向长短时记忆神经网络对该语料库进行训练，最后得到轨交领域实体识别模型。
步骤4：使用步骤3得到的轨交领域实体识别模型对步骤1得到的树形结构数据进行命名实体识别，再通过领域实体抽取规则进行文本解析，从而抽取出轨交领域实体。
步骤5：使用依存句法分析对步骤1得到的树形结构数据中的轨交领域实体之间的语法关系进行分析，再通过预定义的实体关系模板和领域实体关系抽取规则进行关系抽取，从而得到领域实体之间的从属关系。
步骤6：通过步骤4和步骤5得到领域实体与实体之间的从属关系后，再通过命名实体识别、词性分析、依存句法分析与属性抽取规则从树形结构数据中抽取出领域实体的属性。
步骤7：分别将步骤4、步骤5和步骤6抽取出来的领域实体、实体关系和实体属性构建成三元组结构，并将该三元组结构的数据导入到图数据库，从而得到列车检修知识图谱。
步骤8：将步骤7得到的列车检修知识图谱加载到可视化界面，并对列车检修知识图谱进行人工审核，对于抽取错误的领域实体、实体关系和实体属性进行人工修正。
参见图5，为本发明所述列车检修知识图谱的中受电弓检修相关子图。其中，实体节点包括装备名称、部件名称、维修任务、检查项点、检修方式、工具、工装、关联设备、辅料、技术要求、维护周期和状态，实体关系均为从属关系。
参见图6，为本发明所述电动列车检修实训考评系统的硬件部署架构图，其中硬件设备包括：
（1）感应点摄像头：该感应点摄像头包括头戴式无线摄像头、实训检修仓顶部区域感应点摄像头、实训检修仓操作台区域感应点摄像头和工具台感应点摄像头，这些摄像头负责对学员的检修实训操作过程进行视频采集，并将采集到的视频数据发送给GPU服务器。
（2）GPU服务器集群：该GPU服务器集群中包含了多台GPU服务器，每台GPU服务器安装有多张GPU显卡，所述智能模型单元部署安装在该GPU服务器集群中，并部署了软件运行环境、深度学习框架、训练好的智能模型，以及相关的流媒体服务，每台GPU服务器负责处理对应的几路视频数据，并将智能模型识别的结果发送给应用服务器。
（3）数据库服务器集群：该数据库服务器群集包括多台应用服务器，每台应用服务器分别负责存储列车检修知识图谱数据、列车检修规则数据和应用数据，所述电动列车检修知识图谱单元部署安装在该数据库服务器群集中，并部署了结构化数据库管理软件和图数据库管理软件。
（4）应用服务器集群：所述检修规则引擎单元署安装在该应用服务器集群中，该应用服务器集群中包含了多台应用服务器，每台应用服务器分别部署了检修规则引擎服务、检修规则管理服务、基础参数管理服务、感应点管理服务、3D模型管理服务和三维仿真可视化服务，所有的应用服务都通过微服务的方式进行部署、管理和调度，由其是检修规则引擎服务负责接收智能模型服务发送过来的识别结果，并从数据库服务器上获取应用数据和图数据，然后通过检修规则对学员的检修实训操作进行评分，同时将智能模型识别到的结果进行三维重建，并在可视化大屏上进行展示。
（5）大屏展示设备：该大屏展示设备负责对应用服务器重建后的3D模型和操作动画进行展示，方便教员和其它学员进行观看和学习。
参见图7，为本发明提出的一种电动列车装备实训检修仓，该实训检修仓主要包含如下几个部分：
第一部分，为实训检修仓的工具台，该工具台的台面是一张刻度板，正上方安装有一部工具台感应点摄像头；工具台用于放置学员所选的工器具，并为工具规格的识别提供刻度基准；工具台感应点摄像头采集的视频数据主要用于工器具的检测、识别与规格判断。
第二部分，为实训检修仓的操作台，该操作台采用网格布局的方式，在每个网格交点提供一个感应点摄像头的安装位置，每个安装位置都以嵌入的方式将摄像头安装到操作台内部，这样既不影响学员的操作，又方便教员根据待检修装备的型式对感应点摄像头进行配置和开关，使得打开的每个感应点摄像头能够从最佳的角度进行拍摄。操作台感应点摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别。
第三部分，为实训检修仓的顶部区域，该顶部区域也采用网格布局的方式，在每个网格交点都安装有一部感应点摄像头，顶部感应点摄像头也支持教员根据检修任务的具体要求对顶部感应点摄像头进行配置和开关。顶部感应点摄像头采集的视频数据主要用于学员检修动作的识别。
第四部分，为学员的头戴式无线摄像头，该头戴式无线摄像头可以对装备部件、仪器仪表、检修工具和学员的手部操作进行近距离拍摄，解决了操作台感应点摄像头和顶部感应点摄像头无法高质量拍摄装备部件、仪器仪表、检修工具和学员的手部操作的问题。头戴式无线摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别。
参见图8，为避雷器均衡修作业的检修规则引擎，该检修规则引擎是本发明所述列车检修规则引擎的其中一种示例。其工作过程分为如下几个步骤：
步骤1：学员选择工器具并放到工具台。工具台感应点的摄像头会对学员选择的工具进行视频采集，工器具检测与识别模型负责对学员选择的工器具进行检测和识别，工器具选择正确性判断规则根据识别的结果判断工具的类别、规格和个数是否正确；如果学员选择的工器具类别和规格正确，没有多选，没有漏选，则得1分，否则不得分。
步骤2：学员检查避雷器上的连接线是否有损伤，紧固件外观是否完好、防松标记是否清晰且无偏移。头戴式无线摄像头负责对连接线和紧固件的外观图像进行采集，顶部感应点摄像头负责对学员的目测动作进行采集，工器具检测与识别模型负责识别连接线和紧固件，检修动作识别模型负责识别目测动作；如果目测动作、连接线和紧固件同时被识别到则得1分，否则不得分。
步骤3：学员对避雷器上的连接线进行断开操作。头戴式无线摄像头负责采集学员手持的维修工具，顶部感应点摄像头负责采集学员对连续线的拆卸操作，工器具检测与识别模型负责识别工器具，检修动作识别模型负责识别拆卸操作，工器具实例分割模型负责从图像中分割出各个类别的工器具，套筒扳手使用合规性判断规则根据识别的结果判断学员使用的是否是套筒扳手、拆卸操作是否正确，螺母和套筒的交并比是否达到设定阈值；如果以上判断皆为是，则得1分，否则不得分。
步骤4：学员对避雷器上的外套进行检查，检查避雷器外套是否完好、有无裂纹、有无烧蚀痕迹。头戴式无线摄像头负责对避雷器的外观图像进行采集，顶部感应点摄像头负责对学员的目测动作进行采集，工器具检测与识别模型负责从图像中识别出避雷器，检修动作识别模型负责识别目测动作；如果目测动作和避雷器同时被识别到则得1分，否则不得分。
步骤5：学员对避雷器进行清洁操作。工器具检测与识别模型负责识别避雷器、白布和酒精桶，检修动作识别模型用于识别酒精桶的倾倒操作和白布的擦拭操作，工器具实例分割模型用于分割出图像中的避雷器和白布，清洁操作合规性判断规则根据识别的结果判断学员使用的工具器是否正确，倾倒操作和擦拭操作是否存在，并且时序关系是否正确，避雷器和白布的交并比是否达到设定阈值；如果以上判断皆为是，则得1分，否则不得分。
步骤6：学员使用避雷器直流参数测试仪对避雷器的耐压性能进行测试，将测试仪引线夹子的正极与避雷器的顶部连接，将测试仪引线夹子的负极与底部连接，依次按下电源开关和检测按钮，测试仪开始检测，电流显示屏和电压显示屏分别显示电压读数和电流读数，读数完成后按下复位键结束检测。工器具检测与识别模型负责对测试仪、引线夹子、避雷器、电源开关、检测按钮和复位键进行识别，检修动作识别模型负责对引线夹子的接线操作和按钮的按压操作进行识别，仪器仪表读数识别模型负责电压读数和电流读数，工器具实例分割模型从图像中分割出测试仪、引线夹子、避雷器、电源开关、检测按钮和复位键，测试仪使用正确性判断规则根据识别结果来判断学员使用的工器具是否正确，引线夹子的接线操作和按钮的按压操作是否正确，按钮的按压顺序是否正确，引线夹子分别与避雷器顶部和底部的交并比是否达到设定阈值，手分别与电源开关、检测按钮和复位键的交并比是否达到设定阈值；如果以上判断皆为是，则得3分，否则不得分。
步骤7：学员使用套筒扳手对避雷器进行安装。工器具检测与识别模型负责从图像中识别出套筒扳手、套筒、避雷器、连接线、紧固件和避雷器底座，检修动作识别模型负责识别出连接线的紧固操作，工器具实例分割模型负责从图像中分割出套筒扳手、套筒、避雷器、连接线、紧固件和避雷器底座。套筒扳手使用合规性判断规则则根据识别结果判断工器具是否正确，连接线的紧固操作是否正确，连接线分别与避雷器顶部和底部的交并比是否达到设定阈值；如果以上判断皆为是，则得1分，否则不得分。
步骤8：学员使用油漆笔对紧固件打防松标记。工器具检测与识别模型负责从图像中识别出油漆笔、避雷器和紧固件，检修动作识别模型负责识别出油漆笔打防松标记的操作，工器具实例分割模型负责从图像中分割出油漆笔和紧固件，打防松标记的合规性判断规则负责根据识别结果判断工器具是否正确，油漆笔打防松标记的操作是否正确，油漆笔与紧固件的交并比是否达到设定阈值；如果以上判断皆为是，则得1分，否则不得分。
步骤9：学员将使用过的工器具做保养后放回工具台。工具台感应点的摄像头会对学员放回的工具进行视频采集，工器具检测与识别模型负责识别出工具台的工器具，工器具放回正确性判断规则根据识别的结果判断放回工具的类别和个数是否正确；如果学员放回的工器具类别正确，没有遗漏，则得1分，否则不得分。
步骤10：学员在交互终端填写并提交本次检修实训任务的均衡修记录单。
步骤11：学员在提交本次均衡修记录单后，会根据记录单中的内容将上述步骤中目测动作的结果与设置的故障点进行比对，如果全部比对成功，则目测动作的得分全部生效，否则会将比对失败的目测动作的得分进行扣除。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统组成包括；
感应点摄像头：该感应点摄像头包括头戴式无线摄像头、实训检修仓顶部区域感应点摄像头、实训检修仓操作台区域感应点摄像头和工具台感应点摄像头，这些摄像头负责对学员的检修实训操作过程进行视频采集，并将采集到的视频数据发送给GPU服务器集群；
GPU服务器集群：该GPU服务器集群中包含了多台GPU服务器，每台GPU服务器安装有多张GPU显卡，所述GPU服务器集群中安装部署智能模型单元，每台GPU服务器负责处理对应的几路视频数据，并将智能模型识别的结果发送给应用服务器；
数据库服务器集群：该数据库服务器群集包括多台应用服务器，所述数据库服务器群集中部署安装电动列车检修知识图谱单元；每台应用服务器分别负责存储列车检修知识图谱数据、列车检修规则数据和应用数据，
应用服务器集群：该应用服务器集群部署安装检修规则引擎单元，该应用服务器集群中包含了多台应用服务器，每台应用服务器分别部署了检修规则引擎服务、检修规则管理服务、基础参数管理服务、感应点管理服务、3D模型管理服务和三维仿真可视化服务，所有的应用服务都通过微服务的方式进行部署、管理和调度，由其是检修规则引擎服务负责接收智能模型服务发送过来的识别结果，并从数据库服务器上获取应用数据和图数据，然后通过检修规则对学员的检修实训操作进行评分，同时将智能模型识别到的结果进行三维重建，并在可视化大屏上进行展示；
大屏展示设备：该大屏展示设备负责对应用服务器重建后的3D模型和操作动画进行展示，方便教员和其它学员进行观看和学习。
2.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；所述智能模型单元，该功能单元包含四个智能模型，分别为工器具检测与识别模型、工器具实例分割模型、仪器仪表读数识别模型和检修动作识别模型，这些智能模型负责对摄像头采集到的视频流数据进行智能识别，并在识别完成后分别将工器具和检修动作的识别结果转换成对应的工器具指令和检修动作指令，随后将上述工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎；
所述工器具检测与识别模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行检测和识别；
工器具检测与识别模型是通过目标检测与识别算法对标注好的工器具数据集进行迭代训练而来，该目标检测与识别算法使用了一种基于像素级预测的单阶段全卷积检测网络，其网络结构包括主干网络、特征金字塔网络和检测器，检测器又包含三个分支，分别为分类预测分支、中心度预测分支和回归预测分支；对应的工作过程分为如下几个步骤：
步骤1：对输入的图像进行RGB图转灰度图、尺寸缩放和图像数据转张量等预处理操作；
步骤2：将步骤1得到张量数据送入主干网络得到输入数据的五种不同尺度的特征映射；
步骤3：将步骤2得到的特征映射送入下一步的特征金字塔网络，并在特征映射的每一个像素点上使用预先定义好的锚框进行回归预测；
步骤4：通过二值交叉熵损失来计算步骤3得到的每个一预测边界框的中心度，并通过中心度乘以相应的分类分数来计算预测边界框的置信度；
步骤5：最后通过非极大值抑制过滤掉步骤4得到的低质量边界框，并按置信度进行排序得到目标对象最终的边界框与分类类别；
所述工器具实例分割模型，该智能模型用于对图像中的列车装备、装备部件、维修工具、仪器仪表、人体和手部进行实例分割，工器具实例分割的结果可以用来计算工器具之间的交并比，检修规则引擎需要同时结合检修动作的识别结果和工器具之间的交并比来判断检修动作是否合规；
工器具实例分割模型是通过实例分割算法对标注好的工器具数据集进行迭代训练而来，该实例分割算法由一个检测模块和一个混合掩模模块构成；检测模块用来预测实例对象的边界框坐标与分类类别，混合掩模模块包含三个部分，一个用来生成掩膜的底部模块，一个用来生成顶层注意力的顶部模块，以及一个将掩膜和注意力融合起来的混合模块；
所述各个模块的具体作用如下：
检测模块：检测模块与智能模型一的网络结构和工作过程相同，主要负责对输入图像中实例对象的边界框和分类类别进行预测，并为底部模块和顶部模块提供特征输入；
顶部模块：通过检测模块得到每个实例对象的边界框提议，再经过一个卷积操作得到顶层注意力；
底部模块：底部模块以检测模块中主干网络和特征金字塔的特征映射为输入，分别通过上采样、连接和卷积操作得到整张图的K个掩膜；
混合模块：混合模块以实例候选边界框、顶层注意力和整张图的K个掩膜为输入，分别对这K个掩膜进行裁剪、缩放和对齐，对顶层注意力进行插值并经过Softmax归一化后得到一组得分图，最后将得分图和处理完的K个掩膜相乘，并按通道相加得到最终的掩膜；
所述仪器仪表读数识别模型，该智能模型以工器具检测与识别模型的结果为输入，从图像中剪切出仪器仪表所在区域，并对仪器仪表上所显示的测量数据进行识别；
仪器仪表读数识别模型是通过光学字符识别算法对标注好的仪器仪表读数数据集和光学字符数据集进行迭代训练而来，该光学字符识别算法使用了一种多任务并行的全卷积点聚集网络，支持实时的对任意形状的文本进行检测和识别；对应的工作过程分为如下几个步骤：
步骤1：使用角点检测和霍夫变换对图像进行校正；
步骤2：将步骤1得到的图像送入带有特征金字塔网络的主干网络，得到1/4下采样的特征映射；
步骤3：使用全卷积网络对步骤2得到的特征映射进行多任务并行学习，分别得到文字区域的四种模态的特征信息，包括文本中心线、文本边缘偏移量、文本方向偏移量和文本字符分类图；
步骤4：使用步骤3得到的文本中心线和文本方向偏移量按照文本的阅读顺序提取文字中心点序列，再通过文本边缘偏移量计算得到文本的边界框；
步骤5：使用步骤3得到的文本中心线和文本方向偏移量在文本字符分类图上进行上采样，将采样点拼接成固定长度的序列后，再使用联结主义时间分类损失函数进行训练，得到的字符分类概率序列，并将其解码为最终的文字识别结果；
所述检修动作识别模型，该智能模型用于对学员检修实训操作过程中的检修动作进行识别；检修动作识别模型是通过人体行为识别算法对标注好的检修动作数据集进行迭代训练而来，该人体行为识别算法使用了一种双流自适应图卷积神经网络，其组成部分包括自适应卷积层、自适应图卷积块、自适应图卷积网络和双流网络；对应的工作过程分为如下几个步骤：
步骤1：使用预训练的人体姿态估计模型从图像中提取人体骨胳关键点数据；
步骤2：从步骤2得到的人体骨胳关键点数据中提取关节数据和骨胳数据，关节数据包括源关节点坐标和目标关节点坐标，骨胳数据表征为从源关节点指向目标关节点的向量；
步骤3：分别将步骤3得到的关节数据和骨胳数据送入到关节数据流处理网络和骨胳数据流处理网络，其中关节数据流处理网络和骨胳数据流处理网络分别使用基于距离的采样函数来对关节数据和骨胳数据进行采样，再通过时空图卷积网络将关节样本和骨胳样本自适应的构造成不同的拓扑结构图，而后将两类样本的拓扑结构图送入各自的Softmax分类器得到对应的动作预测打分；
步骤4：将步骤3得到的关节样本和骨胳样本的动作预测打分进行相加，并得到最终的动作预测标签。
3.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；所述列车检修知识图谱单元，该功能单元以电动列车检修作业指导书、电动列车质检手册和电动列车检修工教材为基础，通过文档版面分析技术、文本检测与识别技术、文本解析技术和知识图谱构建技术，将原有书目中非结构化的知识内容抽取为图谱化数据，为检修规则引擎提供了知识基础；
其中，列车检修知识图谱的构建过程分为如下几个步骤：
步骤1：首先对电动列车检修作业指导书和电动列车质检手册中的知识内容进行抽取，由于这两本书为文字版的PDF，因此可以直接对书目中的内容进行读取，并通过匹配规则对书中的章节、段落和表格数据进行解析，按书目中原有的知识结构将文本数据转化为树形结构；然后对电动列车检修工教材中的知识内容进行抽取，由于这一系列教材是扫描版的PDF，无法直接对书目中的内容进行读取，因此通过文档版面分析技术和文字识别技术对教材中的页眉、页脚、插图、表格和文字进行识别，随后通过匹配规则将文本数据转化为与原书目中知识结构相同的树形结构数据；
步骤2：从公开发行的各类轨道交通专业词典中抽取相关领域词汇及词汇分类,从而得到构成轨道交通领域词库，从轨道交通领域的各类标准化文件、检修工教材、作业指导书、维修手册等资料中抽取文本数据，再通过基于种子词的左右熵与凝固度的计算得到预选词库，然后经过自定义的过滤规则和一部分人工筛选得到自定义领域词库，最后对轨道交通领域词库和自定义领域词库进行合并去重，从而得到构建列车检修知识图谱所需要的关键词词库，在此基础上对关键词词库中词汇的类别进行标注；
步骤3：使用多模式字符串匹配算法加载步骤2得到的关键词词库，然后对步骤1得到的树形结构数据进行关键词匹配，并对匹配到的关键词进行标记同时打上对应的类别标签，从而得到命名实体识别模型的语料库，随后通过双向长短时记忆神经网络对该语料库进行训练，最后得到轨交领域实体识别模型；
步骤4：使用步骤3得到的轨交领域实体识别模型对步骤1得到的树形结构数据进行命名实体识别，再通过领域实体抽取规则进行文本解析，从而抽取出轨交领域实体；
步骤5：使用依存句法分析对步骤1得到的树形结构数据中的轨交领域实体之间的语法关系进行分析，再通过预定义的实体关系模板和领域实体关系抽取规则进行关系抽取，从而得到领域实体之间的从属关系；
步骤6：通过步骤4和步骤5得到领域实体与实体之间的从属关系后，再通过命名实体识别、词性分析、依存句法分析与属性抽取规则从树形结构数据中抽取出领域实体的属性；
步骤7：分别将步骤4、步骤5和步骤6抽取出来的领域实体、实体关系和实体属性构建成三元组结构，并将该三元组结构的数据导入到图数据库，从而得到列车检修知识图谱；
步骤8：将步骤7得到的列车检修知识图谱加载到可视化界面，并对列车检修知识图谱进行人工审核，对于抽取错误的领域实体、实体关系和实体属性进行人工修正。
4.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；所述检修规则引擎单元，该功能单元以可视化流程引擎为基础，为教员提供一套实训考试规则模板的可视化配置界面和列车检修知识图谱的调用接口，教员可以在配置实训考试规则模板时，动态的从列车检修知识图谱中选取所需的列车装备、装备部件、检修任务、检修工具、检修方式和技术要求等知识节点，实训考试规则模板配置完成后，在实际的检修实训考试中，学员会通过电动列车装备检修实训考评系统中的交互界面选取本次待检修的列车车型、列车装备和维修等级，检修规则引擎会根据教员配置的实训考试规则模板以及内置的图计算算法生成出本次的实训考试内容、检修任务时序规则、工器具使用合规性判断规则、检修动作合规性判断规则和评分规则，学员根据指定的考试内容完成各项检修任务，检修规则引擎分别使用上述规则对学员检修过程中检修任务完成的时序关系是否合理进行判断，对使用到的工器具是否合规进行判断，对检修动作是否合规进行判断，最后使用评分规则对学员的整个检修过程进行综合评分，并给出考试成绩；另外，在学员进行检修实训操作的过程中，检修规则引擎还需要将智能模型单元发送过来的工具器指令、检修动作指令和仪器仪表读数实时的转发给三维仿真单元。
5.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；所述三维仿真单元，该功能单元首先通过三维建模工具构建出检修场地3D模型、列车装备3D模型、工器具3D模型、人体3D模型和手部3D模型；
而后在接收到检修规则引擎发送过来的工器具指令、检修动作指令和仪器仪表读数之后，由3D动画引擎负责实时加载并展示对应的3D模型动画，从而实现对检修实训考试过程的虚拟仿真；
所述电动列车装备检修实训考评系统的整体流程分为如下几个步骤：
步骤1：学员在检修实训场地的交互终端上选择并提交本次检修实训考试的列车车型、列车装备和维修等级，交互终端负责将这些信息发送给检修规则引擎，检修规则引擎再转发给3D动画引擎，3D动画引擎加载并展示对应的检修场地和列车装备的3D模型，并提示考试开始；
步骤2：检修规则引擎在接收到交互终端发送过来的数据后，负责从列车检修知识图谱中获取本次实训考试的检修任务列表，并加载当前列车装备的检修任务时序规则，而后按照检修任务的先后顺序依次从列车检修知识图谱中获取每个检修任务需要的工器具、维修方法和技术要求，并加载工器具使用合规性判断规则、检修动作合规性判断规则和评分规则；
步骤3：流媒体服务负责采集学员检修实训考试过程的多路视频流，并从视频流中提取关键帧，将关键帧转换成图像后，对图像进行预处理并转换成Base64编码，随后将Base64编码发送给智能模型服务；
步骤4：智能模型服务负责对图像中的工器具进行识别和分割，对图像中仪器仪表的读数进行识别，对连续视频帧的检修动作进行识别，随后分别将识别到的工器具和检修动作转换成对应的工器具指令和检修动作指令，最后将工器具指令、检修动作指令和仪器仪表读数发送给检修规则引擎；
步骤5：检修规则引擎首先将工器具指令、检修动作指令和仪器仪表读数转发给3D动画引擎，然后由3D动画引擎实时的加载并展示检修场景、列车装备、装备部件和接收到的工器具及检修动作的3D模型和操作动画；
步骤6：检修规则引擎分别根据检修任务时序规则、工器具使用合规性判断规则和检修动作合规性判断规则对检修过程中使用的工器具是否合规，检修动作是否合规，检修操作顺序是否合规进行判断，随后根据评分规则和上述判断结果对检修任务的完成情况进行评分；
步骤7：检修规则引擎负责将检修任务的评分结果发送给3D动画引擎，并由3D动画引擎实时的展示检修任务的得分情况。
6.根据权利要求1所述基于人工智能与知识图谱的电动列车装备检修实训考评系统，其特征在于；该系统还包括电动列车装备实训检修仓，该实训检修仓主要包含如下几个部分：
第一部分，为实训检修仓的工具台，该工具台的台面是一张刻度板，正上方安装有一部工具台感应点摄像头；工具台用于放置学员所选的工器具，并为工具规格的识别提供刻度基准；工具台感应点摄像头采集的视频数据主要用于工器具的检测、识别与规格判断；
第二部分，为实训检修仓的操作台，该操作台采用网格布局的方式，在每个网格交点提供一个感应点摄像头的安装位置，每个安装位置都以嵌入的方式将摄像头安装到操作台内部，这样既不影响学员的操作，又方便教员根据待检修装备的型式对感应点摄像头进行配置和开关，使得打开的每个感应点摄像头能够从最佳的角度进行拍摄；操作台感应点摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别；
第三部分，为实训检修仓的顶部区域，该顶部区域也采用网格布局的方式，在每个网格交点都安装有一部感应点摄像头，顶部感应点摄像头也支持教员根据检修任务的具体要求对顶部感应点摄像头进行配置和开关；
顶部感应点摄像头采集的视频数据主要用于学员检修动作的识别；
第四部分，为学员的头戴式无线摄像头，该头戴式无线摄像头可以对装备部件、仪器仪表、检修工具和学员的手部操作进行近距离拍摄，解决了操作台感应点摄像头和顶部感应点摄像头无法高质量拍摄装备部件、仪器仪表、检修工具和学员的手部操作的问题；
头戴式无线摄像头采集的视频数据主要用于工器具的检测和识别，以及学员检修动作的识别。
CN202111462135.6A 2021-12-03 基于人工智能与知识图谱的电动列车装备检修实训考评系统 Active CN114139968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111462135.6A CN114139968B (zh) 2021-12-03 基于人工智能与知识图谱的电动列车装备检修实训考评系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111462135.6A CN114139968B (zh) 2021-12-03 基于人工智能与知识图谱的电动列车装备检修实训考评系统

Publications (2)

Publication Number Publication Date
CN114139968A true CN114139968A (zh) 2022-03-04
CN114139968B CN114139968B (zh) 2024-11-05

Family

ID=

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724078A (zh) * 2022-03-28 2022-07-08 西南交通大学 基于目标检测网络与知识推理的人员行为意图识别方法
CN114925182A (zh) * 2022-05-12 2022-08-19 华东师范大学 一种练习测验卷智能生成方法
CN116665295A (zh) * 2023-04-07 2023-08-29 奥视纵横(北京)科技有限公司 一种基于数字孪生的生产培训系统
CN117522644A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法
CN117575862A (zh) * 2023-12-11 2024-02-20 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统
US11912321B2 (en) * 2021-10-18 2024-02-27 Tata Consultancy Services Limited System and method for railway network access planning
CN118470472A (zh) * 2024-07-09 2024-08-09 杭州申邦科技有限公司 一种基于图像识别返回数据的评分方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521421A (zh) * 2020-04-30 2020-08-11 佳讯飞鸿（北京）智能科技研究院有限公司 一种货运列车车轴状态监测预警系统及方法
CN112434691A (zh) * 2020-12-02 2021-03-02 上海三稻智能科技有限公司 基于智能解析识别的hs编码匹配、展示方法、系统及存储介质
CN112612904A (zh) * 2020-12-28 2021-04-06 交控科技股份有限公司 基于知识图谱的轨道交通应急方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521421A (zh) * 2020-04-30 2020-08-11 佳讯飞鸿（北京）智能科技研究院有限公司 一种货运列车车轴状态监测预警系统及方法
CN112434691A (zh) * 2020-12-02 2021-03-02 上海三稻智能科技有限公司 基于智能解析识别的hs编码匹配、展示方法、系统及存储介质
CN112612904A (zh) * 2020-12-28 2021-04-06 交控科技股份有限公司 基于知识图谱的轨道交通应急方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912321B2 (en) * 2021-10-18 2024-02-27 Tata Consultancy Services Limited System and method for railway network access planning
CN114724078A (zh) * 2022-03-28 2022-07-08 西南交通大学 基于目标检测网络与知识推理的人员行为意图识别方法
CN114925182A (zh) * 2022-05-12 2022-08-19 华东师范大学 一种练习测验卷智能生成方法
CN114925182B (zh) * 2022-05-12 2024-09-17 华东师范大学 一种练习测验卷智能生成方法
CN116665295A (zh) * 2023-04-07 2023-08-29 奥视纵横(北京)科技有限公司 一种基于数字孪生的生产培训系统
CN116665295B (zh) * 2023-04-07 2024-01-02 奥视纵横(北京)科技有限公司 一种基于数字孪生的生产培训系统
CN117575862A (zh) * 2023-12-11 2024-02-20 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统
CN117575862B (zh) * 2023-12-11 2024-05-24 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统
CN117522644A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法
CN117522644B (zh) * 2024-01-08 2024-04-02 国网江苏省电力有限公司苏州供电分公司 自主编辑变电检修作业培训系统及变电检修作业执行方法
CN118470472A (zh) * 2024-07-09 2024-08-09 杭州申邦科技有限公司 一种基于图像识别返回数据的评分方法

Similar Documents

Publication Publication Date Title
CN110364049B (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN112070135B (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN111524578B (zh) 一种基于电子心理沙盘的心理评估装置、方法及系统
CN103745454B (zh) 一种基于排序学习的图像处理算法或系统的评价方法
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
CN114387499A (zh) 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质
JP7389787B2 (ja) マルチ－レベル転移領域に基づくドメイン適応型オブジェクト検出装置及び方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN111526357A (zh) 一种基于pca学习的显卡接口机器测试方法
CN109491915A (zh) 数据处理方法及装置、介质和计算设备
CN110246228A (zh) 一种基于虚拟现实技术的化学实验评价系统及其方法
CN111611854B (zh) 一种基于模式识别的课堂情况评价方法
CN118195560B (zh) 一种基于专业人才的多维度数据匹配方法及系统
CN111160606A (zh) 试题难度预测方法及相关装置
CN114299196A (zh) 海报自动生成方法及系统、存储介质、终端设备
CN116309155A (zh) 基于卷积和转换器混合网络的图像修复方法、模型和装置
CN112883018A (zh) 基于大数据分析的银行业人才信息预测方法及装置
CN112949457A (zh) 基于增强现实技术的维修方法、装置及系统
CN116070523A (zh) 一种变电站缺陷检测图像样本仿真构建方法
CN117252842A (zh) 一种飞机蒙皮缺陷检测及网络模型训练方法
CN116434341A (zh) 一种学生课堂异常行为的识别方法及系统
CN115239646A (zh) 输电线路的缺陷检测方法、装置、电子设备及存储介质
CN114139968B (zh) 基于人工智能与知识图谱的电动列车装备检修实训考评系统
CN114139968A (zh) 基于人工智能与知识图谱的电动列车装备检修实训考评系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant