CN116883880A - 一种基于ar技术的起重机识别方法、装置和电子设备 - Google Patents

一种基于ar技术的起重机识别方法、装置和电子设备 Download PDF

Info

Publication number
CN116883880A
CN116883880A CN202311146519.6A CN202311146519A CN116883880A CN 116883880 A CN116883880 A CN 116883880A CN 202311146519 A CN202311146519 A CN 202311146519A CN 116883880 A CN116883880 A CN 116883880A
Authority
CN
China
Prior art keywords
crane
image
images
monitored
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311146519.6A
Other languages
English (en)
Other versions
CN116883880B (zh
Inventor
王亮
周朦
曾亚辉
刘紫康
邱硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Original Assignee
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Equipment Safety Supervision Inspection Institute of Jiangsu Province filed Critical Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority to CN202311146519.6A priority Critical patent/CN116883880B/zh
Publication of CN116883880A publication Critical patent/CN116883880A/zh
Application granted granted Critical
Publication of CN116883880B publication Critical patent/CN116883880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，本发明公开了一种基于AR技术的起重机识别方法、装置和电子设备，包括获取至少一个拍摄角度下的全景图像，基于预构建第一卷积神经网络对全景图像进行识别，获取种类识别结果；获取N幅局部图像，对全景图像进行分割，得到K幅分割图像；按对应CAD标注图对局部图像和分割图像比对分析，获取待监察起重机的S幅细节特征图；将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，获取具体型号；基于具体型号提取对应起重机的预设知识图谱；获取请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示。

Description

一种基于AR技术的起重机识别方法、装置和电子设备
技术领域
本发明涉及图像识别技术领域，更具体地说，本发明涉及一种基于AR技术的起重机识别方法、装置和电子设备。
背景技术
特种设备，是指在特定的工业生产、科研活动或特定领域中使用的、具有特殊用途或特殊结构的设备；其中，最为典型的就是起重机械；起重机械是一类用于搬运和起吊重物的机械设备，广泛应用于建筑工地、港口、工厂、仓储等各个领域；根据结构和用途的不同，起重机械可以分为多种类型，如塔式起重机、桥式起重机和悬挂式起重机等等，这些起重机械通常需要经过严格的监管和管理，以确保其安全性和合规性，因为它们可能涉及到较高风险或特殊要求；然而目前起重机械的识别大多通过基层特种设备监察人员进行日常巡检实现，但由于特种设备种类繁多、型号不一，且存在很多相似的特征，这给基层监察人员日常的监督检查工作带来了一定困扰；并且起重机的结构又存在很多相似，即使监察人员通过培训之后，也会因为接触得较少而混淆；因此，如何辅助基层监察人员快速识别各类起重机，提高对各类起重机的监察效率，是基层人员急需解决的问题。
目前，缺乏针对各类起重机进行智能化的识别方法，当然存在部分相关性的发明，例如申请公开号为CN115576434A的中国专利公开了一种基于AR的设备操作指导方法、系统及相关设备，再例如申请公开号为CN113222184A的中国专利公开了一种基于增强现实AR的设备巡检系统及方法，还例如申请公开号为CN114862805A的中国专利公开了一种基于轻量化网络的大型机械设备识别方法，上述方法虽能实现对设备的识别和检查，但经发明人对上述方法以及现有技术进行研究和实际应用发现，上述方法以及现有技术至少存在以下部分缺陷：
（1）难以实际应用于大型起重机方面，由于起重机一般体型过大，近距离对起重机拍摄无法获取起重机的全局特征，而远距离拍摄则无法获取起重机局部细节特征，从而导致对起重机识别精度不高；
（2）由于起重机存在很多相似的特征，现有方式无法对同种类但不同型号的起重机进行准确识别，易导致存在误检情况发生；
（3）无法实现对起重机进行类型识别的同时，快速解析并反馈起重机的法规标准和操作说明等问题，从而难以辅助基层监察人员高效率的完成日常对各类起重机监察任务。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种基于AR技术的起重机识别方法、装置和电子设备。
为实现上述目的，本发明提供如下技术方案：
一种基于AR技术的起重机识别方法，所述方法包括：
获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词。
进一步地，所述组成部分数据包括起重机的组成区域和区域部分的数量。
进一步地，第一卷积神经网络的生成过程具体如下：
获取第一起重机图像集，以及获取T幅CAD标注图；所述第一起重机图像集包括不同种类和角度起重机的Q幅全景图像，T、Q为大于零的正整数集；
确定不同种类和角度起重机的每幅全景图像的对应CAD标注图，将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射；
对映射后不同种类和角度起重机的每幅全景图像进行人为种类标注；将标注后的不同种类和角度起重机的Q幅全景图像作为第一样本集，将第一样本集划分为第一训练集和第一测试集；
构建卷积神经网络，将第一训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第一测试集对初始卷积神经网络进行验证，输出满足预设种类识别准确度的初始卷积神经网络作为第一卷积神经网络。
进一步地，获取待监察起重机的N幅局部图像，包括：
获取全景图像的拍摄角度，将全景图像的拍摄角度作为目标拍摄角度；
提取待监察起重机的组成部分数据中的组成区域和区域部分的数量；根据组成区域控制无人机对待监察起重机进行局部图像拍摄，以及根据区域部分的数量确定局部图像的数量，得到待监察起重机的N幅局部图像。
进一步地，获取待监察起重机的N幅局部图像，还包括：
获取N幅局部图像中的每两幅局部图像，基于待监察起重机的对应CAD标注图对每两幅局部图像进行相邻关系判断；
若判定两幅局部图像为相邻，则将两幅局部图像中的一幅局部图像作为局部图像A，将两幅局部图像中的另一幅局部图像作为局部图像B；
基于相同的规则将局部图像A和局部图像B均划分为G个区域，G为大于零的正整数集；
将局部图像A和局部图像B相同位置区域的像素点进行逐一比较，并记录局部图像A或局部图像B中存在相同的相同区域；
对局部图像A或局部图像B中的相同区域进行切分和剔除，将切分和剔除后局部图像A或局部图像B作为局部图像，以及将未切分和剔除后局部图像A或局部图像B作为局部图像；
若判定两幅局部图像为不相邻，则不对两幅局部图像做任何操作。
进一步地，按对应CAD标注图对局部图像和分割图像比对分析，包括：
a.提取N幅局部图像中的一幅局部图像，基于对应CAD标注图提取K幅分割图像中与一幅局部图像相对应的一幅分割图像；
b.分别对一幅局部图像和相对应的一幅分割图像进行灰度化，得到第一灰度图像和第二灰度图像；
c.对第一灰度图像和第二灰度图像中每个相同位置的像素点进行数值相减，得到像素值差；判断所述像素值差是否大于预设像素值差阈值，若大于，则将对应像素点标记为目标像素点；
d.重复上述步骤c，直至第一灰度图像和第二灰度图像中所有相同位置的像素点被数值相减完，得到Y个目标像素点，Y为大于零的正整数集；
e.计算目标像素点组成的连通区域的像素面积，若所述连通区域的像素面积大于等于预设像素面积阈值，则将对应连通区域作为细节特征图；
f.重复上述步骤a～步骤e，直至N幅局部图像被提取完，得到S幅细节特征图。
进一步地，第二卷积神经网络的生成过程具体如下：
获取第二起重机图像集，所述第二起重机图像集包括第一起重机图像集、不同种类和角度起重机的局部图像、分割图像和细节特征图；
对不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图进行型号标注；
将标注后的不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图作为第二样本集，将第二样本集划分为第二训练集和第二测试集；
构建卷积神经网络，将第二训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第二测试集对初始卷积神经网络进行验证，输出满足预设型号识别准确度的初始卷积神经网络作为第二卷积神经网络。
进一步地，预设知识图谱的构建过程具体如下：
获取预设知识图谱的文本实体，以及获取文本实体的属性值；所述文本实体包括第一文本实体和第二文本实体；
基于文本实体提取对应的图像实体；
基于预定义关系及属性规则对文本实体与文本实体之间的关系进行绑定，以及对文本实体与图像实体之间的关系进行绑定，得到实体之间关系；
根据文本实体、图像实体和实体之间关系构建包含<实体，关系，实体>和<实体，属性，属性值>的三元组；基于三元组将文本实体和图像实体作为图谱中的节点，将实体之间关系作为图谱中节点之间的边，得到预设知识图谱。
进一步地，获取预设知识图谱的文本实体，包括：
获取预存于系统数据库或互联网中的起重机文本数据；
对起重机文本数据进行分词，去除中文词、重复词、去停用词、象声词和拟声词，并进行词性标注预处理，构成主语-谓语-宾语结构，判断所述主语或谓语的字符数量是否满足预设字符数量区间；
若不满足，则将对应主语或谓语剔除；若满足，则判断对应主语或谓语中的第一字母和第二字母的组合是否满足预设字母组合条件；
若不满足，则将对应主语或谓语剔除；若满足，则抽取对应主语或宾语，得到第一文本实体。
进一步地，获取预设知识图谱的文本实体，还包括：
按预设词语组合条件对第一文本实体进行词语组合，得到组合后的第一文本实体；
利用预设语义识别模型提取起重机文本数据中的每个文本段的主题词；
将组合后的第一文本实体与每个文本段的主题词进行比较，若组合后的第一文本实体与文本段的主题词一致，则将对应文本段作为第二文本实体；若组合后的第一文本实体与文本段的主题词不一致，则不将对应文本段作为第二文本实体。
进一步地，基于文本实体提取对应的图像实体，包括：
获取预存于系统数据库或互联网中的起重机图片，以及获取起重机图片的命名；
将所述第一文本实体与起重机图片的命名进行对比，若起重机图片的命名中包含第一文本实体，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段；若起重机图片的命名中不包含第一文本实体，则将对应起重机图片剔除；
将差异字段与预设标准字样进行比较，若差异字段与预设标准字样内容一致，则将对应起重机图片作为图像实体；若差异字段与预设标准字样内容不一致，则不将对应起重机图片作为图像实体。
一种基于AR技术的起重机识别装置，包括：
种类识别模块，用于获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
图像获取模块，用于基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
比对分析模块，用于按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
型号识别模块，用于将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
图谱获取模块，用于基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
信息反馈模块，用于获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词。
一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述一种基于AR技术的起重机识别方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述一种基于AR技术的起重机识别方法。
相比于现有技术，本发明的有益效果在于：
1.本申请公开了一种基于AR技术的起重机识别方法、装置和电子设备，首先获取至少一个拍摄角度下的全景图像，基于预构建第一卷积神经网络对全景图像进行识别，获取种类识别结果；获取N幅局部图像，对全景图像进行分割，得到K幅分割图像；按对应CAD标注图对局部图像和分割图像比对分析，获取待监察起重机的S幅细节特征图；将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，获取具体型号；基于具体型号提取对应起重机的预设知识图谱；获取请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示，通过上述步骤本发明能够获取起重机的全局特征和起重机的局部特征，同时获取起重机的细节特征，从而有利于解决由于起重机存在很多相似而无法准确识别的问题，且有利于对同种类但不同型号的起重机进行准确识别，进而避免误检情况发生。
2.本申请公开了一种基于AR技术的起重机识别方法、装置和电子设备，通过引入知识图谱技术，基于起重机型号构建不同型号起重机的知识图谱，本发明有利于在对起重机进行类型识别的同时，快速解析并反馈起重机的法规标准和操作说明等问题，从而有利于辅助基层监察人员高效率的完成日常对各类起重机监察任务。
附图说明
图1为本发明实施例提供的一种基于AR技术的起重机识别方法的示意图；
图2为本发明实施例提供的一种基于AR技术的起重机识别装置的示意图；
图3为本发明实施例提供的预设知识图谱的局部示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当了解的是：起重机的种类包括但不限于塔式起重机、桥式起重机、门式起重机、履带式起重机和船用起重机等等，由于这些起重机的应用场景和应用对象存在较大差异，这使得对于起重机种类的划分较为轻松，然而，由于各类起重机的使用用途存在略微差异或生产厂家工艺的存在细微区别，这导致同种类不同型号的起重机识别就存在较大困难；因此，如何对同种类但不同型号的起重机进行准确识别，避免误检情况发生，以辅助提高监察人员的监察效率就成为急需解决的问题，因此本案也是在该种场景下所提出解决方案；此外，当识别出起重机的具体类型后，还需要能够快速获取对应起重机的法规标准、操作说明等情况，才能辅助监察人员快速地完成对起重机的监察，为此，本发明结合知识图谱以完成上述问题的精准反馈。
实施例1
请参阅图2所示，本实施例公开提供了一种基于AR技术的起重机识别装置，包括：
种类识别模块210，用于获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
具体的，所述组成部分数据包括起重机的组成区域和区域部分的数量；
需要说明的是：CAD标注图具有若干幅，每幅CAD标注图为不同种类或类型起重机的CAD原图，其根据《特种设备目录》的要求收集得到，并预存于系统数据库中，在所述CAD原图中标注了每种起重机的组成部分数据；
需要明白的是：不同种类的起重机的组成区域和区域部分的数量均会存在差异；举例说明就是：假设塔式起重机的CAD标注图中包含塔架、顶部平台、塔臂、行车和配重，则塔式起重机的组成区域就包含塔架区域、顶部平台区域、塔架区域、行车区域和配重区域；再假设门式起重机的CAD标注图中包含主梁、支腿、起重机小车和起重机升降机构，则门式起重机的组成区域就包含主梁区域、支腿区域、起重机小车区域和起重机升降机构区域；其中，塔式起重机的区域部分的数量为5，而门式起重机的区域部分的数量为4；
具体的，第一卷积神经网络的生成过程具体如下：
获取第一起重机图像集，以及获取T幅CAD标注图；所述第一起重机图像集包括不同种类和角度起重机的Q幅全景图像，T、Q为大于零的正整数集；
应当了解的是：不同种类和角度起重机的Q幅全景图像通过无人机拍摄获取，其为起重机的整体图像，且包含了起重机的全局特征；为提高第一卷积神经网络的识别精度，无人机的拍摄角度至少包括起重机的6面视角，分别为正视角、后视角、上视角、下视角、左视角和右视角；所述无人机通过无线方式与智能AR终端或服务器远程通信连接，所述智能AR终端包括但不限于AR眼镜、具备AR功能的智能手机掌上PDA等等；所述第一卷积神经网络为传统卷积神经网络架构；
确定不同种类和角度起重机的每幅全景图像的对应CAD标注图，将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射；
对映射后不同种类和角度起重机的每幅全景图像进行人为种类标注；将标注后的不同种类和角度起重机的Q幅全景图像作为第一样本集，将第一样本集划分为第一训练集和第一测试集；
应当明白的是：通过将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射，之后再进行人为种类标注，即则将待监察起重机的全景图像作为第一卷积神经网络的输入，而第一卷积神经网络的输出则为带有标注结果的CAD标注图；举例说明就是：若获取的待监察起重机的全景图像为塔式起重机的全景图像，则将塔式起重机的全景图像输入第一卷积神经网络后，即会得到标注结果为塔式起重机的CAD标注图；
构建卷积神经网络，将第一训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第一测试集对初始卷积神经网络进行验证，输出满足预设种类识别准确度的初始卷积神经网络作为第一卷积神经网络；
图像获取模块220，用于基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
具体的，获取待监察起重机的N幅局部图像，包括：
获取全景图像的拍摄角度，将全景图像的拍摄角度作为目标拍摄角度；
提取待监察起重机的组成部分数据中的组成区域和区域部分的数量；根据组成区域控制无人机对待监察起重机进行局部图像拍摄，以及根据区域部分的数量确定局部图像的数量，得到待监察起重机的N幅局部图像；
针对上述实施步骤进行说明就是：承接上述关于塔式起重机和门式起重机的举例，当待监察起重机为塔式起重机时，此时根据上述举例，在该实施步骤中，则控制无人机对塔式起重机的塔架、顶部平台、塔臂、行车和配重进行局部图像拍摄，得到塔式起重机的N幅局部图像，此时，N=5；而若当待监察起重机为门式起重机时，此时根据上述举例，在该实施步骤中，则控制无人机对门式起重机的主梁、支腿、起重机小车和起重机升降机构进行局部图像拍摄，得到门式起重机的N幅局部图像，此时，N=4；
具体的，获取待监察起重机的N幅局部图像，还包括：
获取N幅局部图像中的每两幅局部图像，基于待监察起重机的对应CAD标注图对每两幅局部图像进行相邻关系判断；
需要说明的是：两幅局部图像存在相邻是指在待监察起重机的对应CAD标注图中，待监察起重机的一个组成部分（组成区域）和另一个组成部分（组成区域）存在直接连接；相反，若两幅局部图像不存在相邻，则说明在待监察起重机的对应CAD标注图中，待监察起重机的一个组成部分（组成区域）和另一个组成部分（组成区域）不为直接连接；
若判定两幅局部图像为相邻，则将两幅局部图像中的一幅局部图像作为局部图像A，将两幅局部图像中的另一幅局部图像作为局部图像B；
基于相同的规则将局部图像A和局部图像B均划分为G个区域，G为大于零的正整数集；
将局部图像A和局部图像B相同位置区域的像素点进行逐一比较，并记录局部图像A或局部图像B中存在相同的相同区域；
对局部图像A或局部图像B中的相同区域进行切分和剔除，将切分和剔除后局部图像A或局部图像B作为局部图像，以及将未切分和剔除后局部图像A或局部图像B作为局部图像；
需要明白的是：基于相同的规则将局部图像A和局部图像B均划分为若干个区域时，局部图像A和局部图像B中划分区域的方式和区域的大小完全相同，接着将局部图像A和局部图像B中相同位置的区域进行一一比较，两个相同位置的区域采用的比较方式为每个像素点进行逐一比较，若两个相同位置的区域存在相似或相同的像素点超过预设一定的百分比，则判定两个相同部位的区域存在相似；进一步解释就是，由起重机的机械结构之间存在相连，因此在采集多个局部图像时可能会采集到相同的机械结构，当采集到相同的机械结构图，并将其置入后续分析处理时，会影响后续模型的特征提取和识别的准确度；因此，将局部图像A和局部图像B中的相同区域进行切分和剔除，则有利于避免采集相同区域而影响后续分析处理的准确性，且有利于进一步提高后续模型的识别精度；
若判定两幅局部图像为不相邻，则不对两幅局部图像做任何操作；
具体的，按对应CAD标注图对待监察起重机的全景图像进行分割，包括：
提取对应CAD标注图中的组成区域和区域部分的数量；
根据组成区域对待监察起重机的全景图像进行图像分割，以及根据区域部分的数量确定分割图像的数量，得到K幅分割图像；
针对上述实施步骤进行说明就是：继续承接上述关于塔式起重机和门式起重机的举例，当待监察起重机为塔式起重机时，此时根据上述举例，在该实施步骤中，则根据塔式起重机的CAD标注图中塔架区域、顶部平台区域、塔架区域、行车区域和配重区域对待监察起重机的全景图像进行图像分割，得到塔式起重机的K幅分割图像，此时，K=5；同理，当待监察起重机为门式起重机时，通过根据门式起重机CAD标注图中主梁区域、支腿区域、起重机小车区域和起重机升降机构区域对待监察起重机的全景图像进行图像分割，得到门式起重机的K幅分割图像，此时，K=4；
比对分析模块230，用于按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
具体的，按对应CAD标注图对局部图像和分割图像比对分析，包括：
a.提取N幅局部图像中的一幅局部图像，基于对应CAD标注图提取K幅分割图像中与一幅局部图像相对应的一幅分割图像；
举例说明就是：同上述举例假设，若待监察起重机为塔式起重机，且对应CAD标注图中的第一组成区域为塔架区域时，此时根据上述举例，在该实施步骤中，N幅局部图像中的一幅局部图像就为通过无人机采集得到塔架区域的局部图像；而相对应的一幅分割图像就为通过对全景图像进行分割得到的局部图像的分割图像；
b.分别对一幅局部图像和相对应的一幅分割图像进行灰度化，得到第一灰度图像和第二灰度图像；
c.对第一灰度图像和第二灰度图像中每个相同位置的像素点进行数值相减，得到像素值差；判断所述像素值差是否大于预设像素值差阈值，若大于，则将对应像素点标记为目标像素点；
d.重复上述步骤c，直至第一灰度图像和第二灰度图像中所有相同位置的像素点被数值相减完，得到Y个目标像素点，Y为大于零的正整数集，Y为大于零的正整数集；
需要说明的是：一幅局部图像与相对应的一幅分割图像尺寸一致，若不一致，则利用图像插值方法将其尺寸调整为相同的尺寸，所述图像插值方法包括但不限于最近邻插值或双线性插值等；
e.计算目标像素点组成的连通区域的像素面积，若所述连通区域的像素面积大于等于预设像素面积阈值，则将对应连通区域作为细节特征图；
应当了解的是：连通区域是指Y个目标像素点中的多个相邻目标像素点所组成的区域，这些连通区域突出了一幅局部图像与相对应的一幅分割图像的差异性；
f.重复上述步骤a～步骤e，直至N幅局部图像被提取完，得到S幅细节特征图；
通过获取S幅细节特征图，有利于在保留起重机全局特征的同时，描述出起重机全局图像中的细节特征，且有利于在保留起重机局部特征的同时，突出全局特征和局部特征的差异性，从而有利于提高后续对起重机的识别准确性，以避免起重机误检情况发生；
型号识别模块240，用于将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
具体的，第二卷积神经网络的生成过程具体如下：
获取第二起重机图像集，所述第二起重机图像集包括第一起重机图像集、不同种类和角度起重机的局部图像、分割图像和细节特征图；
对不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图进行型号标注；
将标注后的不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图作为第二样本集，将第二样本集划分为第二训练集和第二测试集；
构建卷积神经网络，将第二训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第二测试集对初始卷积神经网络进行验证，输出满足预设型号识别准确度的初始卷积神经网络作为第二卷积神经网络；
图谱获取模块250，用于基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
具体的，预设知识图谱的构建过程具体如下：
获取预设知识图谱的文本实体，以及获取文本实体的属性值；所述文本实体包括第一文本实体和第二文本实体；
在一个实施例中，获取预设知识图谱的文本实体，包括：
获取预存于系统数据库或互联网中的起重机文本数据；
对起重机文本数据进行分词，去除中文词、重复词、去停用词、象声词和拟声词，并进行词性标注预处理，构成主语-谓语-宾语结构，判断所述主语或谓语的字符数量是否满足预设字符数量区间；
若不满足，则将对应主语或谓语剔除；若满足，则判断对应主语或谓语中的第一字母和第二字母的组合是否满足预设字母组合条件；
具体的，所述预设字母组合条件包括但不限于L+D（LD）、L+H（LH）、Q+D（QD）、Q+Z（QZ）、M+H（MH）和Q+C（QC）等等；
需要解释的是：LD表示电动单梁起重机，LH表示电动葫芦双梁起重机，QD表示电动双梁桥式起重机，QZ表示电动抓斗桥式起重机，MH表示门式电动葫芦起重机，QC表示电磁桥式起重机；应当明白的是：上述预设字母组合条件中的条件不仅限于上述示例，其具体可根据使用者人为设定，也可根据现有起重机型号表确定；
若不满足，则将对应主语或谓语剔除；若满足，则抽取对应主语或宾语，得到第一文本实体；
在另一个实施例中，获取预设知识图谱的文本实体，还包括：
按预设词语组合条件对第一文本实体进行词语组合，得到组合后的第一文本实体；
具体的，所述预设词语组合条件包括但不限于法规标准和操作说明等等；
举例说明就是：假设起重机的第一文本实体为QDZ320，预设词语组合条件为法规标准，则组合后的第一文本实体显示为“QDZ320的法规标准”，同样地，对于操作说明也是如此，当预设词语组合条件变为操作说明时，则组合后的第一文本实体显示为“QDZ320的法规标准”；
利用预设语义识别模型提取起重机文本数据中的每个文本段的主题词；
在实施中，任何可进行用于进行文本语义识别模型都可作为本案的实施对象，为保证该实施方式可实施性，本实施例将构建一个预设语义识别模型，其具体过程为：收集大量的段落文本数据，利用Word2Vec对每个段落文本数据进行文本向量转化，将转化后的文本向量进行人为主题词命名和标注，将主题词命名和标注后的文本向量作为文本训练集和文本测试集，构建深度学习网络对文本训练集进行训练，以获取训练后的深度学习网络，利用文本测试集对训练后的深度学习网络进行准确度测试，输入满足预设测试准确度的深度学习网络作为预设语义识别模型；所述深度学习网络具体为RNN、CNN或LSTM中的一种；
将组合后的第一文本实体与每个文本段的主题词进行比较，若组合后的第一文本实体与文本段的主题词一致，则将对应文本段作为第二文本实体；若组合后的第一文本实体与文本段的主题词不一致，则不将对应文本段作为第二文本实体；
针对上述实施方式进行示例性说明就是：承接上述关于预设词语组合条件的示例，若组合后的第一文本实体显示为“QDZ320的法规标准”，而存在一个文本段的主题词为“QDZ320的法规标准”，则判定组合后的第一文本实体与该文本段的主题词一致，并将该文本段的主题词对应的文本段作为第二文本实体；
基于文本实体提取对应的图像实体；
具体的，基于文本实体提取对应的图像实体，包括：
获取预存于系统数据库或互联网中的起重机图片，以及获取起重机图片的命名；
将所述第一文本实体与起重机图片的命名进行对比，若起重机图片的命名中包含第一文本实体，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段；若起重机图片的命名中不包含第一文本实体，则将对应起重机图片剔除；
将差异字段与预设标准字样进行比较，若差异字段与预设标准字样内容一致，则将对应起重机图片作为图像实体；若差异字段与预设标准字样内容不一致，则不将对应起重机图片作为图像实体；
具体的，所述预设标准字样包括但不限于“正视图”字样、“后视图”字样、“上视图”字样、“下视图”字样、“左视图”字样和“右视图”字样等等；
针对上述实施方式进行示例性说明就是：承接上述示例，若第一文本实体为QDZ320，假设起重机图片的命名为“QDZ320正视图”，且预设标准字样中包含“正视图”字样，当将所述第一文本实体与起重机图片的命名进行对比时，所述起重机图片的命名中包含了QDZ320，因此，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段，此时差异字段为“正视图”，因此，将差异字段与预设标准字样中的“正视图”字样进行比较时，其差异字段与预设标准字样内容一致，此时，则将对应起重机图片作为图像实体；
基于预定义关系及属性规则对文本实体与文本实体之间的关系进行绑定，以及对文本实体与图像实体之间的关系进行绑定，得到实体之间关系；
具体的，所述预定义关系及属性规则包括但不限于角度关系、规格属性、文本关系等等；
根据文本实体、图像实体和实体之间关系构建包含<实体，关系，实体>和<实体，属性，属性值>的三元组；基于三元组将文本实体和图像实体作为图谱中的节点，将实体之间关系作为图谱中节点之间的边，得到预设知识图谱；
信息反馈模块260，用于获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词；
举例说明就是：如图3（预设知识图谱的局部示意图），若监察人员发送请求命令，该请求命令包含有实体关键词“QDZ320”和关系的关键词“法规文本”，预设知识图谱基于“QDZ320”和“法规文本”进行搜索匹配，则可获取“QDZ320”对应的法规标准；从而有利于辅助监察人员根据“QDZ320”对应的法规标准对待监察起重机进行监察。
实施例2
请参阅图1所示，本实施例公开提供了一种基于AR技术的起重机识别方法，所述方法包括：
S110：获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
具体的，所述组成部分数据包括起重机的组成区域和区域部分的数量；
需要说明的是：CAD标注图具有若干幅，每幅CAD标注图为不同种类或类型起重机的CAD原图，其根据《特种设备目录》的要求收集得到，并预存于系统数据库中，在所述CAD原图中标注了每种起重机的组成部分数据；
需要明白的是：不同种类的起重机的组成区域和区域部分的数量均会存在差异；举例说明就是：假设塔式起重机的CAD标注图中包含塔架、顶部平台、塔臂、行车和配重，则塔式起重机的组成区域就包含塔架区域、顶部平台区域、塔架区域、行车区域和配重区域；再假设门式起重机的CAD标注图中包含主梁、支腿、起重机小车和起重机升降机构，则门式起重机的组成区域就包含主梁区域、支腿区域、起重机小车区域和起重机升降机构区域；其中，塔式起重机的区域部分的数量为5，而门式起重机的区域部分的数量为4；
具体的，第一卷积神经网络的生成过程具体如下：
获取第一起重机图像集，以及获取T幅CAD标注图；所述第一起重机图像集包括不同种类和角度起重机的Q幅全景图像，T、Q为大于零的正整数集；
应当了解的是：不同种类和角度起重机的Q幅全景图像通过无人机拍摄获取，其为起重机的整体图像，且包含了起重机的全局特征；为提高第一卷积神经网络的识别精度，无人机的拍摄角度至少包括起重机的6面视角，分别为正视角、后视角、上视角、下视角、左视角和右视角；所述无人机通过无线方式与智能AR终端或服务器远程通信连接，所述智能AR终端包括但不限于AR眼镜、具备AR功能的智能手机掌上PDA等等；所述第一卷积神经网络为传统卷积神经网络架构；
确定不同种类和角度起重机的每幅全景图像的对应CAD标注图，将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射；
对映射后不同种类和角度起重机的每幅全景图像进行人为种类标注；将标注后的不同种类和角度起重机的Q幅全景图像作为第一样本集，将第一样本集划分为第一训练集和第一测试集；
应当明白的是：通过将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射，之后再进行人为种类标注，即则将待监察起重机的全景图像作为第一卷积神经网络的输入，而第一卷积神经网络的输出则为带有标注结果的CAD标注图；举例说明就是：若获取的待监察起重机的全景图像为塔式起重机的全景图像，则将塔式起重机的全景图像输入第一卷积神经网络后，即会得到标注结果为塔式起重机的CAD标注图；
构建卷积神经网络，将第一训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第一测试集对初始卷积神经网络进行验证，输出满足预设种类识别准确度的初始卷积神经网络作为第一卷积神经网络；
S120：基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
具体的，获取待监察起重机的N幅局部图像，包括：
获取全景图像的拍摄角度，将全景图像的拍摄角度作为目标拍摄角度；
提取待监察起重机的组成部分数据中的组成区域和区域部分的数量；根据组成区域控制无人机对待监察起重机进行局部图像拍摄，以及根据区域部分的数量确定局部图像的数量，得到待监察起重机的N幅局部图像；
针对上述实施步骤进行说明就是：承接上述关于塔式起重机和门式起重机的举例，当待监察起重机为塔式起重机时，此时根据上述举例，在该实施步骤中，则控制无人机对塔式起重机的塔架、顶部平台、塔臂、行车和配重进行局部图像拍摄，得到塔式起重机的N幅局部图像，此时，N=5；而若当待监察起重机为门式起重机时，此时根据上述举例，在该实施步骤中，则控制无人机对门式起重机的主梁、支腿、起重机小车和起重机升降机构进行局部图像拍摄，得到门式起重机的N幅局部图像，此时，N=4；
具体的，获取待监察起重机的N幅局部图像，还包括：
获取N幅局部图像中的每两幅局部图像，基于待监察起重机的对应CAD标注图对每两幅局部图像进行相邻关系判断；
需要说明的是：两幅局部图像存在相邻是指在待监察起重机的对应CAD标注图中，待监察起重机的一个组成部分（组成区域）和另一个组成部分（组成区域）存在直接连接；相反，若两幅局部图像不存在相邻，则说明在待监察起重机的对应CAD标注图中，待监察起重机的一个组成部分（组成区域）和另一个组成部分（组成区域）不为直接连接；
若判定两幅局部图像为相邻，则将两幅局部图像中的一幅局部图像作为局部图像A，将两幅局部图像中的另一幅局部图像作为局部图像B；
基于相同的规则将局部图像A和局部图像B均划分为G个区域，G为大于零的正整数集；
将局部图像A和局部图像B相同位置区域的像素点进行逐一比较，并记录局部图像A或局部图像B中存在相同的相同区域；
对局部图像A或局部图像B中的相同区域进行切分和剔除，将切分和剔除后局部图像A或局部图像B作为局部图像，以及将未切分和剔除后局部图像A或局部图像B作为局部图像；
需要明白的是：基于相同的规则将局部图像A和局部图像B均划分为若干个区域时，局部图像A和局部图像B中划分区域的方式和区域的大小完全相同，接着将局部图像A和局部图像B中相同位置的区域进行一一比较，两个相同位置的区域采用的比较方式为每个像素点进行逐一比较，若两个相同位置的区域存在相似或相同的像素点超过预设一定的百分比，则判定两个相同部位的区域存在相似；进一步解释就是，由起重机的机械结构之间存在相连，因此在采集多个局部图像时可能会采集到相同的机械结构，当采集到相同的机械结构图，并将其置入后续分析处理时，会影响后续模型的特征提取和识别的准确度；因此，将局部图像A和局部图像B中的相同区域进行切分和剔除，则有利于避免采集相同区域而影响后续分析处理的准确性，且有利于进一步提高后续模型的识别精度；
若判定两幅局部图像为不相邻，则不对两幅局部图像做任何操作；
具体的，按对应CAD标注图对待监察起重机的全景图像进行分割，包括：
提取对应CAD标注图中的组成区域和区域部分的数量；
根据组成区域对待监察起重机的全景图像进行图像分割，以及根据区域部分的数量确定分割图像的数量，得到K幅分割图像；
针对上述实施步骤进行说明就是：继续承接上述关于塔式起重机和门式起重机的举例，当待监察起重机为塔式起重机时，此时根据上述举例，在该实施步骤中，则根据塔式起重机的CAD标注图中塔架区域、顶部平台区域、塔架区域、行车区域和配重区域对待监察起重机的全景图像进行图像分割，得到塔式起重机的K幅分割图像，此时，K=5；同理，当待监察起重机为门式起重机时，通过根据门式起重机CAD标注图中主梁区域、支腿区域、起重机小车区域和起重机升降机构区域对待监察起重机的全景图像进行图像分割，得到门式起重机的K幅分割图像，此时，K=4；
S130：按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
具体的，按对应CAD标注图对局部图像和分割图像比对分析，包括：
a.提取N幅局部图像中的一幅局部图像，基于对应CAD标注图提取K幅分割图像中与一幅局部图像相对应的一幅分割图像；
举例说明就是：同上述举例假设，若待监察起重机为塔式起重机，且对应CAD标注图中的第一组成区域为塔架区域时，此时根据上述举例，在该实施步骤中，N幅局部图像中的一幅局部图像就为通过无人机采集得到塔架区域的局部图像；而相对应的一幅分割图像就为通过对全景图像进行分割得到的局部图像的分割图像；
b.分别对一幅局部图像和相对应的一幅分割图像进行灰度化，得到第一灰度图像和第二灰度图像；
c.对第一灰度图像和第二灰度图像中每个相同位置的像素点进行数值相减，得到像素值差；判断所述像素值差是否大于预设像素值差阈值，若大于，则将对应像素点标记为目标像素点；
d.重复上述步骤c，直至第一灰度图像和第二灰度图像中所有相同位置的像素点被数值相减完，得到Y个目标像素点，Y为大于零的正整数集；
需要说明的是：一幅局部图像与相对应的一幅分割图像尺寸一致，若不一致，则利用图像插值方法将其尺寸调整为相同的尺寸，所述图像插值方法包括但不限于最近邻插值或双线性插值等；
e.计算目标像素点组成的连通区域的像素面积，若所述连通区域的像素面积大于等于预设像素面积阈值，则将对应连通区域作为细节特征图；
应当了解的是：连通区域是指Y个目标像素点中的多个相邻目标像素点所组成的区域，这些连通区域突出了一幅局部图像与相对应的一幅分割图像的差异性；
f.重复上述步骤a～步骤e，直至N幅局部图像被提取完，得到S幅细节特征图；
通过获取S幅细节特征图，有利于在保留起重机全局特征的同时，描述出起重机全局图像中的细节特征，且有利于在保留起重机局部特征的同时，突出全局特征和局部特征的差异性，从而有利于提高后续对起重机的识别准确性，以避免起重机误检情况发生；
S140：将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
具体的，第二卷积神经网络的生成过程具体如下：
获取第二起重机图像集，所述第二起重机图像集包括第一起重机图像集、不同种类和角度起重机的局部图像、分割图像和细节特征图；
对不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图进行型号标注；
将标注后的不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图作为第二样本集，将第二样本集划分为第二训练集和第二测试集；
构建卷积神经网络，将第二训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第二测试集对初始卷积神经网络进行验证，输出满足预设型号识别准确度的初始卷积神经网络作为第二卷积神经网络；
S150：基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
具体的，预设知识图谱的构建过程具体如下：
获取预设知识图谱的文本实体，以及获取文本实体的属性值；所述文本实体包括第一文本实体和第二文本实体；
在一个实施例中，获取预设知识图谱的文本实体，包括：
获取预存于系统数据库或互联网中的起重机文本数据；
对起重机文本数据进行分词，去除中文词、重复词、去停用词、象声词和拟声词，并进行词性标注预处理，构成主语-谓语-宾语结构，判断所述主语或谓语的字符数量是否满足预设字符数量区间；
若不满足，则将对应主语或谓语剔除；若满足，则判断对应主语或谓语中的第一字母和第二字母的组合是否满足预设字母组合条件；
具体的，所述预设字母组合条件包括但不限于L+D（LD）、L+H（LH）、Q+D（QD）、Q+Z（QZ）、M+H（MH）和Q+C（QC）等等；
需要解释的是：LD表示电动单梁起重机，LH表示电动葫芦双梁起重机，QD表示电动双梁桥式起重机，QZ表示电动抓斗桥式起重机，MH表示门式电动葫芦起重机，QC表示电磁桥式起重机；应当明白的是：上述预设字母组合条件中的条件不仅限于上述示例，其具体可根据使用者人为设定，也可根据现有起重机型号表确定；
若不满足，则将对应主语或谓语剔除；若满足，则抽取对应主语或宾语，得到第一文本实体；
在另一个实施例中，获取预设知识图谱的文本实体，还包括：
按预设词语组合条件对第一文本实体进行词语组合，得到组合后的第一文本实体；
具体的，所述预设词语组合条件包括但不限于法规标准和操作说明等等；
举例说明就是：假设起重机的第一文本实体为QDZ320，预设词语组合条件为法规标准，则组合后的第一文本实体显示为“QDZ320的法规标准”，同样地，对于操作说明也是如此，当预设词语组合条件变为操作说明时，则组合后的第一文本实体显示为“QDZ320的法规标准”；
利用预设语义识别模型提取起重机文本数据中的每个文本段的主题词；
在实施中，任何可进行用于进行文本语义识别模型都可作为本案的实施对象，为保证该实施方式可实施性，本实施例将构建一个预设语义识别模型，其具体过程为：收集大量的段落文本数据，利用Word2Vec对每个段落文本数据进行文本向量转化，将转化后的文本向量进行人为主题词命名和标注，将主题词命名和标注后的文本向量作为文本训练集和文本测试集，构建深度学习网络对文本训练集进行训练，以获取训练后的深度学习网络，利用文本测试集对训练后的深度学习网络进行准确度测试，输入满足预设测试准确度的深度学习网络作为预设语义识别模型；所述深度学习网络具体为RNN、CNN或LSTM中的一种；
将组合后的第一文本实体与每个文本段的主题词进行比较，若组合后的第一文本实体与文本段的主题词一致，则将对应文本段作为第二文本实体；若组合后的第一文本实体与文本段的主题词不一致，则不将对应文本段作为第二文本实体；
针对上述实施方式进行示例性说明就是：承接上述关于预设词语组合条件的示例，若组合后的第一文本实体显示为“QDZ320的法规标准”，而存在一个文本段的主题词为“QDZ320的法规标准”，则判定组合后的第一文本实体与该文本段的主题词一致，并将该文本段的主题词对应的文本段作为第二文本实体；
基于文本实体提取对应的图像实体；
具体的，基于文本实体提取对应的图像实体，包括：
获取预存于系统数据库或互联网中的起重机图片，以及获取起重机图片的命名；
将所述第一文本实体与起重机图片的命名进行对比，若起重机图片的命名中包含第一文本实体，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段；若起重机图片的命名中不包含第一文本实体，则将对应起重机图片剔除；
将差异字段与预设标准字样进行比较，若差异字段与预设标准字样内容一致，则将对应起重机图片作为图像实体；若差异字段与预设标准字样内容不一致，则不将对应起重机图片作为图像实体；
具体的，所述预设标准字样包括但不限于“正视图”字样、“后视图”字样、“上视图”字样、“下视图”字样、“左视图”字样和“右视图”字样等等；
针对上述实施方式进行示例性说明就是：承接上述示例，若第一文本实体为QDZ320，假设起重机图片的命名为“QDZ320正视图”，且预设标准字样中包含“正视图”字样，当将所述第一文本实体与起重机图片的命名进行对比时，所述起重机图片的命名中包含了QDZ320，因此，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段，此时差异字段为“正视图”，因此，将差异字段与预设标准字样中的“正视图”字样进行比较时，其差异字段与预设标准字样内容一致，此时，则将对应起重机图片作为图像实体；
基于预定义关系及属性规则对文本实体与文本实体之间的关系进行绑定，以及对文本实体与图像实体之间的关系进行绑定，得到实体之间关系；
具体的，所述预定义关系及属性规则包括但不限于角度关系、规格属性、文本关系等等；
根据文本实体、图像实体和实体之间关系构建包含<实体，关系，实体>和<实体，属性，属性值>的三元组；基于三元组将文本实体和图像实体作为图谱中的节点，将实体之间关系作为图谱中节点之间的边，得到预设知识图谱；
S160：获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词；
举例说明就是：如图3（预设知识图谱的局部示意图），若监察人员发送请求命令，该请求命令包含有实体关键词“QDZ320”和关系的关键词“法规文本”，预设知识图谱基于“QDZ320”和“法规文本”进行搜索匹配，则可获取“QDZ320”对应的法规标准；从而有利于辅助监察人员根据“QDZ320”对应的法规标准对待监察起重机进行监察。
实施例3
请参阅图4所示，本实施例公开提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各方法所提供的任一项所述一种基于AR技术的起重机识别方法。
由于本实施例所介绍的电子设备为实施本申请实施例中一种基于AR技术的起重机识别方法所采用的电子设备，故而基于本申请实施例中所介绍的一种基于AR技术的起重机识别方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中一种基于AR技术的起重机识别方法所采用的电子设备，都属于本申请所欲保护的范围。
实施例4
本实施例公开提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各方法所提供的任一项所述一种基于AR技术的起重机识别方法。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数、权重以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于AR技术的起重机识别方法，其特征在于，所述方法包括：
获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词。
2.根据权利要求1所述的一种基于AR技术的起重机识别方法，其特征在于，所述组成部分数据包括起重机的组成区域和区域部分的数量。
3.根据权利要求2所述的一种基于AR技术的起重机识别方法，其特征在于，第一卷积神经网络的生成过程具体如下：
获取第一起重机图像集，以及获取T幅CAD标注图；所述第一起重机图像集包括不同种类和角度起重机的Q幅全景图像，T、Q为大于零的正整数集；
确定不同种类和角度起重机的每幅全景图像的对应CAD标注图，将不同种类和角度起重机的每幅全景图像与对应每幅CAD标注图进行映射；
对映射后不同种类和角度起重机的每幅全景图像进行人为种类标注；将标注后的不同种类和角度起重机的Q幅全景图像作为第一样本集，将第一样本集划分为第一训练集和第一测试集；
构建卷积神经网络，将第一训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第一测试集对初始卷积神经网络进行验证，输出满足预设种类识别准确度的初始卷积神经网络作为第一卷积神经网络。
4.根据权利要求3所述的一种基于AR技术的起重机识别方法，其特征在于，获取待监察起重机的N幅局部图像，包括：
获取全景图像的拍摄角度，将全景图像的拍摄角度作为目标拍摄角度；
提取待监察起重机的组成部分数据中的组成区域和区域部分的数量；根据组成区域控制无人机对待监察起重机进行局部图像拍摄，以及根据区域部分的数量确定局部图像的数量，得到待监察起重机的N幅局部图像。
5.根据权利要求4所述的一种基于AR技术的起重机识别方法，其特征在于，获取待监察起重机的N幅局部图像，还包括：
获取N幅局部图像中的每两幅局部图像，基于待监察起重机的对应CAD标注图对每两幅局部图像进行相邻关系判断；
若判定两幅局部图像为相邻，则将两幅局部图像中的一幅局部图像作为局部图像A，将两幅局部图像中的另一幅局部图像作为局部图像B；
基于相同的规则将局部图像A和局部图像B均划分为G个区域，G为大于零的正整数集；
将局部图像A和局部图像B相同位置区域的像素点进行逐一比较，并记录局部图像A或局部图像B中存在相同的相同区域；
对局部图像A或局部图像B中的相同区域进行切分和剔除，将切分和剔除后局部图像A或局部图像B作为局部图像，以及将未切分和剔除后局部图像A或局部图像B作为局部图像；
若判定两幅局部图像为不相邻，则不对两幅局部图像做任何操作。
6.根据权利要求5所述的一种基于AR技术的起重机识别方法，其特征在于，按对应CAD标注图对局部图像和分割图像比对分析，包括：
a.提取N幅局部图像中的一幅局部图像，基于对应CAD标注图提取K幅分割图像中与一幅局部图像相对应的一幅分割图像；
b.分别对一幅局部图像和相对应的一幅分割图像进行灰度化，得到第一灰度图像和第二灰度图像；
c.对第一灰度图像和第二灰度图像中每个相同位置的像素点进行数值相减，得到像素值差；判断所述像素值差是否大于预设像素值差阈值，若大于，则将对应像素点标记为目标像素点；
d.重复上述步骤c，直至第一灰度图像和第二灰度图像中所有相同位置的像素点被数值相减完，得到Y个目标像素点，Y为大于零的正整数集；
e.计算目标像素点组成的连通区域的像素面积，若所述连通区域的像素面积大于等于预设像素面积阈值，则将对应连通区域作为细节特征图；
f.重复上述步骤a～步骤e，直至N幅局部图像被提取完，得到S幅细节特征图。
7.根据权利要求6所述的一种基于AR技术的起重机识别方法，其特征在于，第二卷积神经网络的生成过程具体如下：
获取第二起重机图像集，所述第二起重机图像集包括第一起重机图像集、不同种类和角度起重机的局部图像、分割图像和细节特征图；
对不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图进行型号标注；
将标注后的不同种类和角度起重机的每幅全景图像、不同种类和角度起重机的局部图像、分割图像和细节特征图作为第二样本集，将第二样本集划分为第二训练集和第二测试集；
构建卷积神经网络，将第二训练集作为输入数据输入所述卷积神经网络中进行训练，以获取初始卷积神经网络；
利用第二测试集对初始卷积神经网络进行验证，输出满足预设型号识别准确度的初始卷积神经网络作为第二卷积神经网络。
8.根据权利要求7所述的一种基于AR技术的起重机识别方法，其特征在于，预设知识图谱的构建过程具体如下：
获取预设知识图谱的文本实体，以及获取文本实体的属性值；所述文本实体包括第一文本实体和第二文本实体；
基于文本实体提取对应的图像实体；
基于预定义关系及属性规则对文本实体与文本实体之间的关系进行绑定，以及对文本实体与图像实体之间的关系进行绑定，得到实体之间关系；
根据文本实体、图像实体和实体之间关系构建包含<实体，关系，实体>和<实体，属性，属性值>的三元组；基于三元组将文本实体和图像实体作为图谱中的节点，将实体之间关系作为图谱中节点之间的边，得到预设知识图谱。
9.根据权利要求8所述的一种基于AR技术的起重机识别方法，其特征在于，获取预设知识图谱的文本实体，包括：
获取预存于系统数据库或互联网中的起重机文本数据；
对起重机文本数据进行分词，去除中文词、重复词、去停用词、象声词和拟声词，并进行词性标注预处理，构成主语-谓语-宾语结构，判断所述主语或谓语的字符数量是否满足预设字符数量区间；
若不满足，则将对应主语或谓语剔除；若满足，则判断对应主语或谓语中的第一字母和第二字母的组合是否满足预设字母组合条件；
若不满足，则将对应主语或谓语剔除；若满足，则抽取对应主语或宾语，得到第一文本实体。
10.根据权利要求9所述的一种基于AR技术的起重机识别方法，其特征在于，获取预设知识图谱的文本实体，还包括：
按预设词语组合条件对第一文本实体进行词语组合，得到组合后的第一文本实体；
利用预设语义识别模型提取起重机文本数据中的每个文本段的主题词；
将组合后的第一文本实体与每个文本段的主题词进行比较，若组合后的第一文本实体与文本段的主题词一致，则将对应文本段作为第二文本实体；若组合后的第一文本实体与文本段的主题词不一致，则不将对应文本段作为第二文本实体。
11.根据权利要求10所述的一种基于AR技术的起重机识别方法，其特征在于，基于文本实体提取对应的图像实体，包括：
获取预存于系统数据库或互联网中的起重机图片，以及获取起重机图片的命名；
将所述第一文本实体与起重机图片的命名进行对比，若起重机图片的命名中包含第一文本实体，则缓存对应起重机图片，并获取起重机图片的命名中的差异字段；若起重机图片的命名中不包含第一文本实体，则将对应起重机图片剔除；
将差异字段与预设标准字样进行比较，若差异字段与预设标准字样内容一致，则将对应起重机图片作为图像实体；若差异字段与预设标准字样内容不一致，则不将对应起重机图片作为图像实体。
12.一种基于AR技术的起重机识别装置，其特征在于，包括：
种类识别模块，用于获取至少一个拍摄角度下待监察起重机的全景图像，基于预构建第一卷积神经网络对待监察起重机的全景图像进行识别，以获取待监察起重机的种类识别结果；所述种类识别结果为待监察起重机的对应CAD标注图，对应所述CAD标注图中标注有待监察起重机的组成部分数据；
图像获取模块，用于基于待监察起重机的组成部分数据获取待监察起重机的N幅局部图像，以及按对应CAD标注图对待监察起重机的全景图像进行分割，得到K幅分割图像；
比对分析模块，用于按对应CAD标注图对局部图像和分割图像比对分析，以获取待监察起重机的S幅细节特征图，S为大于零的正整数集；
型号识别模块，用于将全景图像、局部图像、分割图像和细节特征图输入预构建的第二卷积神经网络进行识别分析，以获取待监察起重机的具体型号；
图谱获取模块，用于基于待监察起重机的具体型号提取对应起重机的预设知识图谱；
信息反馈模块，用于获取监察人员的请求命令，根据请求命令匹配预设知识图谱中的对应信息进行反馈显示；所述请求命令包含实体和关系的关键词。
13.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述一种基于AR技术的起重机识别方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一项所述一种基于AR技术的起重机识别方法。
CN202311146519.6A 2023-09-07 2023-09-07 一种基于ar技术的起重机识别方法、装置和电子设备 Active CN116883880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311146519.6A CN116883880B (zh) 2023-09-07 2023-09-07 一种基于ar技术的起重机识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311146519.6A CN116883880B (zh) 2023-09-07 2023-09-07 一种基于ar技术的起重机识别方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN116883880A true CN116883880A (zh) 2023-10-13
CN116883880B CN116883880B (zh) 2023-11-28

Family

ID=88266679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311146519.6A Active CN116883880B (zh) 2023-09-07 2023-09-07 一种基于ar技术的起重机识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116883880B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118411738A (zh) * 2024-07-01 2024-07-30 山东以游信息科技有限公司 基于大数据的智能动植物识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014063157A2 (en) * 2012-10-19 2014-04-24 Digimarc Corporation Methods and arrangements for identifying objects
CN109063139A (zh) * 2018-08-03 2018-12-21 天津大学 基于全景图及多通道cnn的三维模型分类和检索方法
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN111460193A (zh) * 2020-02-28 2020-07-28 天津大学 一种基于多模态信息融合的三维模型分类方法
CN115908442A (zh) * 2023-01-06 2023-04-04 山东巍然智能科技有限公司 一种无人机海洋监测用图像全景分割方法及模型搭建方法
CN115908361A (zh) * 2022-12-07 2023-04-04 新大陆数字技术股份有限公司 一种口腔全景片的龋齿识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014063157A2 (en) * 2012-10-19 2014-04-24 Digimarc Corporation Methods and arrangements for identifying objects
WO2019185170A1 (en) * 2018-03-30 2019-10-03 Toyota Motor Europe Electronic device, robotic system and method for localizing a robotic system
CN109063139A (zh) * 2018-08-03 2018-12-21 天津大学 基于全景图及多通道cnn的三维模型分类和检索方法
CN111460193A (zh) * 2020-02-28 2020-07-28 天津大学 一种基于多模态信息融合的三维模型分类方法
CN115908361A (zh) * 2022-12-07 2023-04-04 新大陆数字技术股份有限公司 一种口腔全景片的龋齿识别方法
CN115908442A (zh) * 2023-01-06 2023-04-04 山东巍然智能科技有限公司 一种无人机海洋监测用图像全景分割方法及模型搭建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIZHI NIE 等: "3D Shape Knowledge Graph for Cross-domain and Cross-modal 3D Shape Retrieval", 《ARXIV》, pages 1 - 21 *
曾思远 等: "输水隧洞管养巡检智能AR平台构建与技术实现", 《水电与新能源》, vol. 35, pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118411738A (zh) * 2024-07-01 2024-07-30 山东以游信息科技有限公司 基于大数据的智能动植物识别方法及系统
CN118411738B (zh) * 2024-07-01 2024-10-01 山东以游信息科技有限公司 基于大数据的智能动植物识别方法及系统

Also Published As

Publication number Publication date
CN116883880B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN111695622A (zh) 变电作业场景的标识模型训练方法、标识方法及装置
CN109580004A (zh) 一种温度检测方法及装置
CN111144325A (zh) 变电站电力设备的故障识别定位方法、装置及设备
CN116883880B (zh) 一种基于ar技术的起重机识别方法、装置和电子设备
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN116468392A (zh) 一种电网工程项目进度监控方法、装置、设备及存储介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN113284144A (zh) 一种基于无人机的隧道检测方法及装置
CN117876922A (zh) 一种基于视频识别电力现场作业风险的方法及装置
CN116091416A (zh) 印制电路板组装缺陷检测、变化检测模型训练方法及装置
CN114417029A (zh) 模型训练方法、装置、电子设备及存储介质
CN113591569A (zh) 障碍物检测方法、装置、电子设备以及存储介质
CN116665305A (zh) 基于计算机视觉和知识图谱的工人行为检测方法和系统
Dai et al. Cascade centernet: Robust object detection for power line surveillance
CN113656629B (zh) 视觉定位方法、装置、电子设备及存储介质
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
CN114021480A (zh) 模型优化方法、设备和存储介质
CN114332051A (zh) 一种基于图像推理的输配电线路设备资产普查方法
JP2022180238A (ja) 監視システムおよび監視方法
CN118397492B (zh) 监控数据处理方法及装置、存储介质、终端
CN118470612B (zh) 基于多模态信息融合的安全生产作业人员行为识别方法及系统
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant