CN116503865A - 氢气道路运输风险识别方法、装置、电子设备及存储介质 - Google Patents

氢气道路运输风险识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116503865A
CN116503865A CN202310616722.9A CN202310616722A CN116503865A CN 116503865 A CN116503865 A CN 116503865A CN 202310616722 A CN202310616722 A CN 202310616722A CN 116503865 A CN116503865 A CN 116503865A
Authority
CN
China
Prior art keywords
hydrogen
knowledge
road transportation
transportation
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310616722.9A
Other languages
English (en)
Inventor
栾婷婷
李红儒
张雪
邓明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Petrochemical Technology
Original Assignee
Beijing Institute of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Petrochemical Technology filed Critical Beijing Institute of Petrochemical Technology
Priority to CN202310616722.9A priority Critical patent/CN116503865A/zh
Publication of CN116503865A publication Critical patent/CN116503865A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Primary Health Care (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种氢气道路运输风险识别方法、装置、电子设备及存储介质,涉及道路安全技术领域。该方法包括获取氢气道路运输图像;将所述氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与所述风险相对应的知识图谱信息。采用本发明的基于知识图谱和图像语义的氢气道路运输风险识别方法,不仅能够及时有效地发现氢气运输潜在的风险,保障道路安全,还能够利用知识图谱为从业人员拟定安全规范提供理论依据,加强运输协调管理和抢险救助,提升了整体事故紧急救助能力和决策效率水平。

Description

氢气道路运输风险识别方法、装置、电子设备及存储介质
技术领域
本发明一般涉及道路安全技术领域,具体涉及一种氢气道路运输风险识别方法、装置、电子设备及存储介质。
背景技术
氢气是一种高危险气体,具有很强的易燃和易爆性,因此在氢气运输过程中需要格外小心,避免发生重大事故。然而,相关技术缺少识别氢气运输风险的方法,同时无法为从业人员提供拟定安全规范、运输协调管理以及抢险救助等方面的专业指导,具有局限性。
发明内容
鉴于相关技术中的上述缺陷或不足,期望提供一种氢气道路运输风险识别方法、装置、电子设备及存储介质,不仅能够及时有效地发现氢气运输潜在的风险,保障道路安全,还能够为从业人员拟定安全规范提供理论依据,加强运输协调管理和抢险救助,提升整体事故紧急救助能力和决策效率水平。
第一方面,本发明提供一种基于知识图谱和图像语义的氢气道路运输风险识别方法,所述方法包括:
获取氢气道路运输图像;
将所述氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与所述风险相对应的知识图谱信息;
所述氢气运输检测模型包括YOLOv3网络结构,并在模型训练时通过K-means++对数据进行聚类,以及将注意力机制Senet融入Darknet53网络中进行特征提取。
可选地,在本发明一些实施例中,所述知识图谱信息通过如下步骤构建:
采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料;
根据预定义的实体类型、关系类型和属性,从所述氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据;
根据所述三元组数据,构建所述知识图谱信息。
可选地,在本发明一些实施例中,所述根据预定义的实体类型、关系类型和属性,从所述氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据,包括:
根据所述预定义的实体类型、关系类型和属性,对所述氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签;
将所述文本的序列标签输入实体识别模型得到实体识别结果以及输入关系抽取模型得到关系列表,并根据所述实体识别结果和所述关系列表获得所述三元组数据。
可选地,在本发明一些实施例中,所述实体识别模型包括ALBERT-BiLSTM-CRF模型,所述关系抽取模型包括ALBERT-BiLSTM-Attention模型。
可选地,在本发明一些实施例中,所述将所述文本的序列标签输入实体识别模型得到实体识别结果,还包括:
对所述实体识别结果进行知识融合,获得实体列表,其中所述知识融合包括实体消歧和共指消解。
可选地,在本发明一些实施例中,所述方法还包括:
响应于查询界面上的输入问题,对所述输入问题进行解析和匹配问题模板;
在所述查询界面上展示所述输入问题对应的答案,所述答案通过根据所述问题模板对氢气道路运输安全知识图谱进行检索后生成。
第二方面,本发明提供一种基于知识图谱和图像语义的氢气道路运输风险识别装置,所述装置包括:
获取模块,用于获取氢气道路运输图像;
识别模块,用于将所述氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与所述风险相对应的知识图谱信息;所述氢气运输检测模型包括YOLOv3网络结构,并在模型训练时通过K-means++对数据进行聚类,以及将注意力机制Senet融入Darknet53网络中进行特征提取。
进一步的,还包括知识图谱信息构建模块,其用于:
采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料;
根据预定义的实体类型、关系类型和属性,对所述氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签;将所述文本的序列标签输入实体识别模型得到实体识别结果,对所述实体识别结果进行知识融合,获得实体列表,其中所述知识融合包括实体消歧和共指消解;将所述文本的序列标签输入关系抽取模型得到关系列表,并根据所述实体列表和所述关系列表获得三元组数据;
根据所述三元组数据,构建所述知识图谱信息。
第三方面,本发明提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现第一方面中任意一项所述的基于知识图谱和图像语义的氢气道路运输风险识别方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任意一项所述的基于知识图谱和图像语义的氢气道路运输风险识别方法的步骤。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例提供了一种氢气道路运输风险识别方法、装置、电子设备及存储介质,通过获取氢气道路运输图像,并将该氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,从而输出风险以及与风险相对应的知识图谱信息,由此不仅能够及时有效地发现氢气运输潜在的风险,保障道路安全,还能够利用知识图谱为从业人员拟定安全规范提供理论依据,加强运输协调管理和抢险救助,提升了整体事故紧急救助能力和决策效率水平。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的一种基于知识图谱和图像语义的氢气道路运输风险识别方法的流程示意图;
图2为本发明实施例提供的一种YOLOv3网络结构示意图;
图3为本发明实施例提供的一种Darknet53网络参数示意图;
图4为本发明实施例提供的一种残差模块及单元结构示意图;
图5为本发明实施例提供的一种氢气运输检测模型的训练流程示意图;
图6为本发明实施例提供的一种氢气道路运输安全知识图谱的构建流程示意图;
图7为本发明实施例提供的一种ALBERT-BiLSTM-CRF模型结构示意图;
图8为本发明实施例提供的一种ALBERT-BiLSTM-Attention模型结构示意图;
图9为本发明实施例提供的一种基于知识图谱和图像语义的氢气道路运输风险识别装置结构示意图;
图10为本发明实施例提供的另一种基于知识图谱和图像语义的氢气道路运输风险识别装置结构示意图;
图11为本发明实施例提供的又一种基于知识图谱和图像语义的氢气道路运输风险识别装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为便于更好地理解,现通过图1至图11详细地阐述本发明实施例提供的氢气道路运输风险识别方法、装置、电子设备及存储介质。
请参考图1,其为本发明实施例提供的一种基于知识图谱和图像语义的氢气道路运输风险识别方法的流程示意图,该方法可以包括如下步骤:
S101,获取氢气道路运输图像。
示例性地,本发明实施例可以实时获取氢气道路运输图像,或者也可以间歇获取氢气道路运输图像,由此能够兼顾电子设备处理性能,满足了多样化的使用需求。另外,氢气道路运输图像包括但不限于运输人员、氢气罐和车辆等组成元素。
S102,将氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与风险相对应的知识图谱信息。
示例性地,本发明实施例中氢气运输检测模型可以包括YOLOv3网络结构,如图2至图4所示,该YOLOv3网络结构包括Darknet-53、特征融合层和输出层等,并包含53个卷积层和5个最大残差层。可选地,该YOLOv3网络结构在模型训练时通过K-means++对数据进行聚类,这样设置的好处是能够提高目标敏感性,以及将注意力机制Senet融入Darknet53网络中进行特征提取,由此能够提高提取性能。
进一步地,如图5所示,其为本发明实施例提供的一种氢气运输检测模型的训练流程示意图。比如,首先搭建plate平台,并通过网络爬取氢气运输监测数据等方式获取氢气道路运输过程图像,来构建图像数据集;其次,对数据进行预处理;再次,利用LabelImg工具对图像样本数据进行注释,将注释另存为.txt格式文件,以实现样本标注和划分;然后,利用K-means++对数据进行聚类,并将注意力机制Senet融入Darknet53中进行特征提取。从而,在实际使用过程中,将氢气运输检测模型识别到的风险与知识图谱中的风险进行匹配检索,返回相应的知识图谱信息,比如采用预定义的查询语句,将风险识别结果转化为Cypher 语句并在知识图谱中检索,如果匹配到知识图谱中的知识,则返回对应结果。
需要说明的是,知识图谱是指利用图数据结构来表示和存储实体以及实体之间关系的语义网络,其以结构化的形式描述客观世界中的概念、实体和关系,通常以三元组的形式进行标识。知识图谱是一种智能、高效的知识组织方式,能够相对准确且快速地查询到所需信息,为知识管理提供了一种新的思路,综合知识图谱上下位关系和属性等信息,可以为数据挖掘和问答系统等方面提供支持。
示例性地,如图6所示,本发明实施例在构建知识图谱的过程中,[i]采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料,比如通过python爬虫获取氢气道路运输知识,主要包括氢气道路运输风险、事故报道、事故调查报告、安全管理、应急处置预案和相关氢气道路运输法律法规、技术规范等数据。进一步地,在get请求中,对请求对象进行定制,ur1是指氢气道路运输事故报道和调查报告等网址,输入HTTP headers,并利用urllib模拟浏览器向服务器发送请求来获取相应网页源码;在xpath解析中,先安装lxm库并导入1xml.etree,然后chrome浏览器中下载xpath插件并找出网页问答语句对应的xpath语句,以及Pycharm中输入xpath语句用于解析网页源码中服务器响应的文本,从而获取数据。
[ii]根据预定义的实体类型、关系类型和属性,从氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据,其中实体类型、关系类型和属性可以通过本体建模工具进行定义,相关概念如表1和表2所示。
表1
概念术语 概念描述
氢气 具有易燃易爆炸特性的危险化学品
氢气运输企业 拥有氢气道路运输许可证的企业
氢气运输车辆 指装载氢气正在进行道路运输的机动车
法律法规 对氢气、氢气车辆运输等制定的相关法律和规定
技术标准 对氢气运输车辆的技术事项制定的标准
道路环境 指氢气运输车辆所处的道路环境
气象条件 指氢气运输车辆运输时所处的气象状态
违法记录 指交通运输主管部门公示的氢气运输车辆的历史违法情况
应急资源 氢气运输事故发生时可提供的应急资源
氢气运输事故 氢气运输过程中发生的事故
氢气运输人员 氢气运输人员(司机、装卸人员、管理人员)
氢气运输事故原因 导致氢气运输事故的一系列原因
表2
属性名称 定义域 值域
属于 氢气运输车辆 氢气运输企业
拥有 氢气运输企业 氢气运输车辆
运输 氢气运输车辆 氢气
规定 法律法规;技术标准 氢气运输车辆
约束 法律法规;技术标准 氢气运输企业
规范 法律法规;技术标准 氢气
产生 氢气运输企业;氢气运输车辆 违法记录
影响 气象条件;道路环境 氢气运输车辆
违反 违法记录 法律法规
处于 氢气运输车辆 道路环境;气象条件
应急供给 应急资源 氢气运输车辆
包含 法律法规;技术标准 法律法规;技术标准
经营资质 氢气运输企业 氢气
要求配备 法律法规 应急资源
驾驶 氢气运输人员 氢气运输车辆
由于 氢气运输事故 氢气运输事故原因
比如,①根据预定义的实体类型、关系类型和属性,对氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签,例如氢气道路运输安全知识文本资料的数据包括但不限于结构化数据、半结构化数据和非结构化数据,同时对半结构化数据和非结构化数据进行分词和词性标注的预处理。具体地,使用开源词法工具jieba进行分词、去停用词和去除乱码等处理,并利用TF-IDF(Term Frequency–Inverse Document Frequency,词频-逆文件频率)方法统计出每个单词在文本中出现的频率,单词的TF-IDF值计算如式(1)所示,即:
(1)
其中,表示单词/>在文本中出现的频率,/>表示文本总数,/>表示有单词/>出现的文本数量。
通过对所有文本中的每一个单词都进行上述分析,从而得到每一个单词的TF-IDF值,即为各个单词在文本中的重要程度。进一步地,将每条文本中每个分词的TF-IDF值与预设阈值进行比较,将符合阈值条件的分词作为该条文本的序列标签。
②将文本的序列标签输入实体识别模型得到实体识别结果以及输入关系抽取模型得到关系列表,并根据实体识别结果和关系列表获得三元组数据。例如,实体识别模型包括ALBERT-BiLSTM-CRF模型,比如图7所示,该ALBERT-BiLSTM-CRF模型可以分为ALBERT层、BiLSTM层和CRF层等,轻量级ALBERT模型能够将BERT模型简化,通过实验分解式嵌入参数化和跨层参数共享等方法来减少参数量,并增加模型训练的速度。其中ALBERT层用于获得含有丰富语义的词向量,BiLSTM层由双向的LSTM结构构成,用于捕捉文本的上下文特征,以及CRF层根据BiLSTM层输出的每个实体类别标签的概率来自动学习句子的约束条件,并通过考虑文本标签间的相关性,输出概率最大的实体标签序列,获得全局最优的标签实体。具体的,首先将文本的序列标签输入到模型的ALBERT层中,即:
(2)
式(2)中,表示该条文本中的第/>个词。
将输入的文本数据序列化,即将文本数据中的词向量转化为字典中相应的编号,序列化后为:
(3)
式(3)中,表示文本中的第/>个词序列化后的标号。
然后,将上述数据输入BiLSTM层,即将ALBERT层获取的序列化标号作为BiLSTM层的输入,通过BiLSTM层提取上下文特征,其中BiLSTM层使用两个LSTM网络进行前向和后向传播,最终将结果拼接输出。
需要说明的是,BiLSTM(正反双向长短期记忆网络)层可以利用文本长距离语义来更多和更有效地挖掘语义特征,第一层LSTM获取的嵌入向量作为第二层LSTM各个时间步的输入。其中,LSTM可由三个门控组成,即:
(a)遗忘门
(4)
式(4)中,表示前一时刻的隐藏状态,/>表示当前时刻的输入信息,/>表示权重矩阵,/>表示偏置项,/>表示/>激活函数。
(b)输入门
(5)
得到当前时刻的单元状态为:
(6)
(7)
式(5)~式(7)中,、/>表示权重矩阵,/>、/>表示偏置项,/>表示前一时刻的单元状态,/>表示/>激活函数,用于将值规范到-1和1之间。
(c)输出门
(8)
(9)
输入的文本信息从前向和后向两个方向获得隐藏状态序列、/>,并通过拼接得到最终的隐藏状态序列/>
进一步地,将BiLSTM层特征向量输入CRF层。假设输入序列,预测序列/>,输出矩阵/>,则
(10)
式(10)中,表示从标签/>到标签/>的转移概率,/>表示语句中字符被预测为标签/>的概率。
在训练中利用最大似然估计得到最大概率序列,即:
(11)
最后,利用softmax函数来计算所有可能出现的标签概率,并通过Viterbi算法进行解码,输出得到最优序列,即:
(12)
式(12)中,表示最大概率的标签序列,作为模型的预测结果。
而关系抽取模型可以包括ALBERT-BiLSTM-Attention模型,比如图8所示,该ALBERT-BiLSTM-Attention模型与ALBERT-BiLSTM-CR
F模型的不同之处在于第三层加入了注意力机制,即将BiLSTM层得到的特征向量输入到自注意力机制层。其中,Attention注意力机制的计算方式如式(13)所示,即:
(13)
式(13)中,分别表示Query、Key和Value向量组合的矩阵,/>是对应的词向量/隐藏层的维度,除以/>可以使/>的结果满足期望为0、方差为1的分布,类似于归一化,由此避免了当词向量/隐藏层的维度过大时,softmax操作和梯度变小。
可选地,本发明实施例在将文本的序列标签输入实体识别模型得到实体识别结果之后,还可以对实体识别结果进行知识融合,获得实体列表,其中知识融合包括但不限于实体消歧和共指消解。例如,共指消解采用Word2vec算法,具体如下:
假设两个单词的词向量分别为,计算余弦值
(14)
其中,余弦值越大表示两个单词相似度越高,而当余弦值/>超过设定阈值时,两个单词则可看作是指代同一含义,即实现共指消解。
总而言之,经过实体识别模型ALBERT-BiLSTM-CRF和关系抽取模型ALBERT-BiLSTM-Attention相应处理之后,进而根据实体识别结果和关系列表便可获得三元组数据,例如三元组数据可以为<实体,关系,实体>或者<实体,属性,属性值>等。
[iii] 根据三元组数据,构建知识图谱信息。比如,将三元组数据写入Neo4j图数据库,由此完成氢气道路运输安全知识图谱的构建和可视化。
可选地,本发明实施例还可以首先响应于查询界面上的输入问题,对该输入问题进行解析和匹配问题模板。比如基于python的Django框架来搭建问答系统的接口,而查询界面可以包括用于输入问题的搜索栏以及对结果进行展示的列表,使得在展示答案文字的同时能够展示相关图谱。再如解析判断用户意图时,将输入问题中的“风险”映射为知识图谱中的实体,“风险的属性”映射为知识图谱中的关系和属性,以及“地点”、“时间”作为属性值映射为知识图谱中的实体和属性值。具体地,首先定义问句和疑问词,其次根据特征词文件构建领域actree,并基于领域actree和词典提取输入问题中的特征词和类型,进而根据问句、疑问词和上述得到的特征词和类型确定问题类型,并合并提取的特征词和问题类型。
最后,在查询界面上展示输入问题对应的答案,该答案通过根据问题模板对氢气道路运输安全知识图谱进行检索后生成。比如,首先定义所有类型问题的Cypher查询语句,其次根据上述问题类型的分类结果,提取Cypher语句,进而将Cypher语句提交到服务器,以对氢气道路运输安全知识图谱进行检索,得到相应答案并展示。
本发明实施例提供的氢气道路运输风险识别方法,通过获取氢气道路运输图像,并将该氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,从而输出风险以及与风险相对应的知识图谱信息,由此不仅能够及时有效地发现氢气运输潜在的风险,保障道路安全,还能够利用知识图谱为从业人员拟定安全规范提供理论依据,加强运输协调管理和抢险救助,提升了整体事故紧急救助能力和决策效率水平。
基于前述实施例,本发明实施例提供一种基于知识图谱和图像语义的氢气道路运输风险识别装置。该基于知识图谱和图像语义的氢气道路运输风险识别装置100可以应用于图1~图8对应实施例的基于知识图谱和图像语义的氢气道路运输风险识别方法中。请参考图9,该基于知识图谱和图像语义的氢气道路运输风险识别装置100包括:
获取模块101,用于获取氢气道路运输图像;
识别模块102,用于将氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与风险相对应的知识图谱信息。
可选地,本发明一些实施例中氢气运输检测模型包括YOLOv3网络结构,并在模型训练时通过K-means++对数据进行聚类,以及将注意力机制Senet融入Darknet53网络中进行特征提取。
可选地,如图10所示,本发明一些实施例中识别模块102包括:
采集单元1021,用于采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料;
抽取单元1022,用于根据预定义的实体类型、关系类型和属性,从氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据;
构建单元1023,用于根据三元组数据,构建知识图谱信息。
可选地,本发明一些实施例中抽取单元1022还用于根据预定义的实体类型、关系类型和属性,对氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签;
将文本的序列标签输入实体识别模型得到实体识别结果以及输入关系抽取模型得到关系列表,并根据实体识别结果和关系列表获得三元组数据。
可选地,本发明一些实施例中实体识别模型包括ALBERT-BiLST
-CRF模型,关系抽取模型包括ALBERT-BiLSTM-Attention模型。
可选地,本发明一些实施例中抽取单元1022还用于对实体识别结果进行知识融合,获得实体列表,其中知识融合包括实体消歧和共指消解。
可选地,如图11所示,本发明一些实施例中该基于知识图谱和图像语义的氢气道路运输风险识别装置100还包括:
解析模块103,用于响应于查询界面上的输入问题,对输入问题进行解析和匹配问题模板;
展示模块104,用于在查询界面上展示输入问题对应的答案,该答案通过根据问题模板对氢气道路运输安全知识图谱进行检索后生成。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本发明实施例提供的氢气道路运输风险识别装置,通过获取模块来获取氢气道路运输图像,以及识别模块将该氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,从而输出风险以及与风险相对应的知识图谱信息,由此不仅能够及时有效地发现氢气运输潜在的风险,保障道路安全,还能够利用知识图谱为从业人员拟定安全规范提供理论依据,加强运输协调管理和抢险救助,提升了整体事故紧急救助能力和决策效率水平。
基于前述实施例,本发明实施例提供一种电子设备,该电子设备包括处理器和存储器。存储器中存储有至少一条指令、至少一段程序、代码集或指令集,指令、程序、代码集或指令集由处理器加载并执行以实现图1~图8对应实施例的基于知识图谱和图像语义的氢气道路运输风险识别方法的步骤。
示例性地,本发明上述实施例的获取模块101、识别模块102、解析模块103和展示模块104等可以设置在电子设备上。同时,该电子设备还连接有配套的输入设备和输出设备,其中输入设备包括但不限于触摸屏、图像采集设备、物理按键和鼠标等,而输出设备包括但不限于显示终端等。
作为另一方面,本发明实施例提供一种计算机可读存储介质,用于存储程序代码,该程序代码用于执行前述图1~图8对应实施例的基于知识图谱和图像语义的氢气道路运输风险识别方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。而集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例基于知识图谱和图像语义的氢气道路运输风险识别方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory, ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于知识图谱和图像语义的氢气道路运输风险识别方法,其特征在于,所述方法包括:
获取氢气道路运输图像;
将所述氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与所述风险相对应的知识图谱信息;
所述氢气运输检测模型包括YOLOv3网络结构,并在模型训练时通过K-means++对数据进行聚类,以及将注意力机制Senet融入Darknet53网络中进行特征提取。
2.根据权利要求1所述的氢气道路运输风险识别方法,其特征在于,所述知识图谱信息通过如下步骤构建:
采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料;
根据预定义的实体类型、关系类型和属性,从所述氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据;
根据所述三元组数据,构建所述知识图谱信息。
3.根据权利要求2所述的氢气道路运输风险识别方法,其特征在于,所述根据预定义的实体类型、关系类型和属性,从所述氢气道路运输安全知识文本资料中分别抽取实体、关系与属性,形成三元组数据,包括:
根据所述预定义的实体类型、关系类型和属性,对所述氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签;
将所述文本的序列标签输入实体识别模型得到实体识别结果以及输入关系抽取模型得到关系列表,并根据所述实体识别结果和所述关系列表获得所述三元组数据。
4.根据权利要求3所述的氢气道路运输风险识别方法,其特征在于,所述实体识别模型包括ALBERT-BiLSTM-CRF模型,所述关系抽取模型包括ALBERT-BiLSTM-Attention模型。
5.根据权利要求3所述的氢气道路运输风险识别方法,其特征在于,所述将所述文本的序列标签输入实体识别模型得到实体识别结果,还包括:
对所述实体识别结果进行知识融合,获得实体列表,其中所述知识融合包括实体消歧和共指消解。
6.根据权利要求1至5中任意一项所述的氢气道路运输风险识别方法,其特征在于,所述方法还包括:
响应于查询界面上的输入问题,对所述输入问题进行解析和匹配问题模板;
在所述查询界面上展示所述输入问题对应的答案,所述答案通过根据所述问题模板对氢气道路运输安全知识图谱进行检索后生成。
7.一种基于知识图谱和图像语义的氢气道路运输风险识别装置,其特征在于,所述装置包括:
获取模块,用于获取氢气道路运输图像;
识别模块,用于将所述氢气道路运输图像输入预先训练的氢气运输检测模型进行风险识别,并输出风险以及与所述风险相对应的知识图谱信息;所述氢气运输检测模型包括YOLOv3网络结构,并在模型训练时通过K-means++对数据进行聚类,以及将注意力机制Senet融入Darknet53网络中进行特征提取。
8.根据权利要求7所述的一种基于知识图谱和图像语义的氢气道路运输风险识别装置,其特征在于,还包括知识图谱信息构建模块,其用于:
采集网站和文献数据库中氢气道路运输相关资料,形成氢气道路运输安全知识文本资料;
根据预定义的实体类型、关系类型和属性,对所述氢气道路运输安全知识文本资料进行数据处理,获得每条文本的序列标签;将所述文本的序列标签输入实体识别模型得到实体识别结果,对所述实体识别结果进行知识融合,获得实体列表,其中所述知识融合包括实体消歧和共指消解;将所述文本的序列标签输入关系抽取模型得到关系列表,并根据所述实体列表和所述关系列表获得三元组数据;
根据所述三元组数据,构建所述知识图谱信息。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现权利要求1至6中任意一项所述的基于知识图谱和图像语义的氢气道路运输风险识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至6中任意一项所述的基于知识图谱和图像语义的氢气道路运输风险识别方法的步骤。
CN202310616722.9A 2023-05-29 2023-05-29 氢气道路运输风险识别方法、装置、电子设备及存储介质 Pending CN116503865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310616722.9A CN116503865A (zh) 2023-05-29 2023-05-29 氢气道路运输风险识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310616722.9A CN116503865A (zh) 2023-05-29 2023-05-29 氢气道路运输风险识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116503865A true CN116503865A (zh) 2023-07-28

Family

ID=87326738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310616722.9A Pending CN116503865A (zh) 2023-05-29 2023-05-29 氢气道路运输风险识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116503865A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002959A (zh) * 2018-06-11 2018-12-14 北京石油化工学院 一种基于大数据的危化品运输风险预测系统
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN113222982A (zh) * 2021-06-02 2021-08-06 上海应用技术大学 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
WO2021212682A1 (zh) * 2020-04-21 2021-10-28 平安国际智慧城市科技股份有限公司 知识抽取方法、装置、电子设备及存储介质
CN114445366A (zh) * 2022-01-26 2022-05-06 沈阳派得林科技有限责任公司 基于自注意力网络的长输管道射线影像缺陷智能识别方法
CN114445848A (zh) * 2022-02-10 2022-05-06 国网四川省电力公司营销服务中心 一种获取电气图纸中元器件识别位置的方法及系统
CN114694098A (zh) * 2022-04-02 2022-07-01 四川大学 基于图像识别与知识图谱的电网基建施工风险管控方法
CN115457258A (zh) * 2022-08-31 2022-12-09 大连海事大学 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法
CN115619111A (zh) * 2021-07-14 2023-01-17 中国石油天然气集团有限公司 一种设备检维修风险警示系统及方法
CN115630842A (zh) * 2022-10-26 2023-01-20 中国农业银行股份有限公司 交易风险的确定方法、系统、装置和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002959A (zh) * 2018-06-11 2018-12-14 北京石油化工学院 一种基于大数据的危化品运输风险预测系统
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
WO2021212682A1 (zh) * 2020-04-21 2021-10-28 平安国际智慧城市科技股份有限公司 知识抽取方法、装置、电子设备及存储介质
CN113222982A (zh) * 2021-06-02 2021-08-06 上海应用技术大学 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN115619111A (zh) * 2021-07-14 2023-01-17 中国石油天然气集团有限公司 一种设备检维修风险警示系统及方法
CN114445366A (zh) * 2022-01-26 2022-05-06 沈阳派得林科技有限责任公司 基于自注意力网络的长输管道射线影像缺陷智能识别方法
CN114445848A (zh) * 2022-02-10 2022-05-06 国网四川省电力公司营销服务中心 一种获取电气图纸中元器件识别位置的方法及系统
CN114694098A (zh) * 2022-04-02 2022-07-01 四川大学 基于图像识别与知识图谱的电网基建施工风险管控方法
CN115457258A (zh) * 2022-08-31 2022-12-09 大连海事大学 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法
CN115630842A (zh) * 2022-10-26 2023-01-20 中国农业银行股份有限公司 交易风险的确定方法、系统、装置和计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
文元桥;张奇;肖长诗;韩栋;: "危险货物水路运输知识图谱的构建", 中国航海, no. 04 *
李莉 等: "数据驱动的营销管理决策研究", 中国经济出版社, pages: 278 - 279 *
种法广 等: "基于注意力机制的多尺度缺陷绝缘子检测算法", 计算机仿真, vol. 39, no. 7, pages 137 - 141 *

Similar Documents

Publication Publication Date Title
US11687827B2 (en) Artificial intelligence (AI)-based regulatory data processing system
US11182562B2 (en) Deep embedding for natural language content based on semantic dependencies
US10904072B2 (en) System and method for recommending automation solutions for technology infrastructure issues
CN108009182B (zh) 一种信息提取方法和装置
US11436487B2 (en) Joint embedding of corpus pairs for domain mapping
US8738359B2 (en) Scalable knowledge extraction
Jiang et al. De-identification of medical records using conditional random fields and long short-term memory networks
US20150019571A1 (en) Method for population of object property assertions
US20090171956A1 (en) Text categorization with knowledge transfer from heterogeneous datasets
US20180052924A1 (en) Joint embedding of corpus pairs for domain mapping
Tyagi et al. Demystifying the role of natural language processing (NLP) in smart city applications: background, motivation, recent advances, and future research directions
CN113378970B (zh) 语句相似性检测方法、装置、电子设备及存储介质
CN113704429A (zh) 基于半监督学习的意图识别方法、装置、设备及介质
US10642919B2 (en) Joint embedding of corpus pairs for domain mapping
Gomez-Perez et al. Towards a human-machine scientific partnership based on semantically rich research objects
CN113947087A (zh) 一种基于标签的关系构建方法、装置、电子设备及存储介质
Jang et al. An eXplainable AI (XAI) model for text-based patent novelty analysis
CN117648982A (zh) 基于问答模型生成答案方法、装置、电子设备及存储介质
CN116701604A (zh) 问答语料库的构建方法和装置、问答方法、设备及介质
Ozturk OPPCAT: Ontology population from tabular data
Ashfaq et al. Natural language ambiguity resolution by intelligent semantic annotation of software requirements
CN116503865A (zh) 氢气道路运输风险识别方法、装置、电子设备及存储介质
CN117033649A (zh) 文本处理模型的训练方法、装置、电子设备及存储介质
CN115292460A (zh) 一种话题推荐方法、装置、电子设备及存储介质
Schwenker et al. EXSCLAIM!: Harnessing materials science literature for self-labeled microscopy datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination