CN116468369A - 一种基于图像识别算法的维修工具管理系统 - Google Patents

Abstract

本发明涉及一种基于图像识别算法的维修工具管理系统，系统包括PC端子系统和手机端APP子系统，其中PC端子系统包括图像采集模块、图像识别模块、数据存储模块和状态监测模块，手机端APP子系统包括登录模块、工具录入模块、工具查询模块、工具出入库模块和系统设置模块。与现有技术相比，本发明具有实时识别、实时处理等优点。

Description

一种基于图像识别算法的维修工具管理系统

技术领域

本发明涉及城市轨道交通维修工具检测领域，尤其是涉及一种基于图像识别算法的维修工具管理系统。

背景技术

伴随我国轨道交通建设的有序推进，地铁建设在许多城市日趋普及。其高客流量的现状、准点到达的要求，使得地铁日常检修成为保障乘客舒适且安全的乘车体验的必要途径。但地铁维修所涉复杂，导致维修工具种类繁杂，大小不一，需要准确统计。传统的工具管理方式一般采用人工盘点或条形码扫描等方式，这种方式效率低下、容易出错且成本较高。

目前的维修工具种类繁多、难以统计，在维修现场容易造成遗漏等问题，维修工作效率低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种基于图像识别算法的维修工具管理系统，实现对多种地铁维修工具的自动识别，具有实时识别、实时处理的优点。

本发明的目的可以通过以下技术方案来实现：

一种基于图像识别算法的维修工具管理系统，系统包括PC端子系统和手机端APP子系统，其中PC端子系统包括图像采集模块、图像识别模块、数据存储模块和状态监测模块，手机端APP子系统包括登录模块、工具录入模块、工具查询模块、工具出入库模块和系统设置模块，其中，

图像识别模块被配置为获取图像，针对图像识别维修工具的外观特征和标识，将识别的参考结果存储入数据存储模块中，所述识别的结果包括各个维修工具的类别和边界框；

数据存储模块被配置为将识别的参考结果分别存入本地存储数据库和云服务器数据库中；

工具录入模块被配置为，根据接收到的工具录入指令，获取工具的照片或视频，将照片或视频上传至云服务器，基于云服务器识别维修工具，确定并记录维修工具的信息；

工具出入库模块被配置为，根据接收到的出入库指令，获取需要出入库的维修工具的信息和对应的领用人或经手人信息，进行出入库操作，更新工具录入模块记录的维修工具的出入库状态，并记录该出入库操作在出入库登记信息表中。

进一步地，状态监测模块包括借还管理模块，所述借还管理模块被配置为记录工具的借出和归还情况，借出和归还情况包括借出人员、借出时间、归还时间和归还状态，所述工具的借出和归还情况基于工具录入模块的出入库登记信息表确定。

进一步地，状态监测模块还包括维修管理模块，所述维修管理模块被配置为记录工具的维修情况，维修情况包括维修人员、维修时间和维修内容。

进一步地，状态监测模块还包括数据分析模块，数据分析模块被配置为获取工具的维修情况和借出和归还情况，生成相关报告分析工具使用情况。

进一步地，状态监测模块还包括用户管理模块和系统设置模块，其中，用户管理模块被配置为管理系统用户的基本信息，对系统用户进行身份验证和权限控制。

进一步地，系统设置模块被配置为设置借还管理模块的规则和维修管理的规则；

工具查询模块被配置为接收工具查询指令，返回符合条件的工具信息列表，所述工具查询指令包括工具名称、型号和拍摄日期。

进一步地，登录模块被配置为获取用户名和密码，若用户名和密码匹配则允许接收工具录入指令、出入库指令和工具查询指令，若不匹配则拒绝接收指令。

进一步地，借还管理模块的规则为：

若借还管理模块接收到的借出信号后，该借出信号对应的归还状态为未归还，且该借出信号对应的借出时间与接收信号的时间之间的时间段超过预设的阈值，则借还管理模块发出提醒信号，阻止进行出库操作，所述借出信号为工具出入库模块接收到的出库指令时向借还管理模块发送的领用人或经手人信息。

进一步地，图像识别模块识别参考结果的具体过程为：

针对获取的图像，基于输入特征提取网络提取图像中工具的特征信息，并捕捉不同级别的语义信息；提取不同尺度的感受野特征；融合不同尺度特征图；从特征映射中提取每个物体的类别和边界框，将类别和边界框作为识别的参考结果。

进一步地，基于云服务器识别维修工具具体过程为：

将工具录入模块获得的工具的照片或视频通过云服务器发送至图像识别模块进行识别，将识别的结果与识别的参考结果进行对比，将相似度最高的维修工具作为识别的结果。

与现有技术相比，本发明具有以下有益效果：

(1)本发明从工具图像信息采集设备，到图像信号传输流程至云服务器处理到最后给出结果，工具的类别和数量等信息将直接录入出入库登记信息表中，无需手动输入，实现对多种地铁维修工具的自动识别，具有实时识别、实时处理的优点。

(2)本发明对需要出入库的维修工具进行依次的出入库记录，解决人工检测不准确和人力消耗巨大等问题，提高了地铁安全维修检测日常维护效率。

附图说明

图1为本发明的系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明提出一种基于图像识别算法的维修工具管理系统，系统包括PC端管理子系统和手机端APP子系统。本发明的系统的结构图如图1所示。其中PC端子系统包括图像采集模块、图像识别模块、数据存储模块和状态监测模块，手机端APP子系统包括登录模块、工具录入模块、工具查询模块、工具出入库模块和系统设置模块。

图像采集模块，调用手机摄像头或电脑摄像头，必要情况下可启用外部连接摄像头等外部设备采集工具的图像或视频。

图像识别模块，利用深度学习网络模型对工具进行图像识别和分类。该模块用于识别维修工具的外观特征和标识，实现工具的自动识别、分类和计数。通过该模块，可以有效提高工具管理的自动化水平，减少人工管理的工作量和误差。

图像识别模块被配置为执行以下步骤：(1)针对输入的图像，输入特征提取网络提取工具的特征信息，并捕捉不同级别的语义信息；(2)提取不同尺度的感受野特征；(3)融合不同尺度特征图；(4)从特征映射中提取每个物体的类别和边界框。

数据存储模块，存储图像或视频和相关的数据信息，建立本地存储数据库和云服务器数据库以满足不同程度的数据存储需求。

数据存储模块包括：

(1)图像存储数据库，用于存储工具的图像信息；

(2)工具数据存储数据库，用于存储工具的名称、编号、位置等相关信息；

(3)历史数据存储数据库，用于存储工具的使用情况和维护记录。

(4)云服务器数据库，用于完成数据的转发。

状态监测模块，该模块用于管理维修工具的基本信息，包括工具名称、型号、数量、存储位置等信息。通过该模块，可以实现对工具的添加、编辑、删除、查询等操作，同时也可以通过该模块进行工具的借出、归还、更换和报废等操作。在状态检测模块中，用户可以通过系统的查询功能查询已添加的工具在库记录和使用记录。查询结果可以按照名称、类型、所在位置等多种方式进行排序和过滤。用户还可以对工具进行管理，包括借出、归还、维修等操作。系统会自动记录每个工具的使用记录，并使用数据分析功能生成统计数据图表和可视化报表，帮助用户更好地管理工具。

状态监测模块包括：

借还管理模块：该模块用于记录工具的借出和归还情况，包括借出人员、借出时间、归还时间、归还状态等信息，以便于对工具使用情况进行管理和跟踪。通过该模块，可以实现对工具使用的监控和管控，确保工具的合理使用和安全保障。

维修管理模块：该模块用于记录工具的维修情况，包括维修人员、维修时间、维修内容等信息。通过该模块，可以实现对工具的维修历史进行记录和查询，以便于对工具进行维修和保养。

数据分析模块：该模块用于对工具使用情况、维修历史等数据进行分析和处理，以便于实现对工具使用的优化。通过该模块，可以分析工具使用情况，提高工具的利用率，同时减少工具的损坏和报废，同时生成相关报告以便于管理员了解工具使用情况并进行决策。

用户管理模块：该模块用于管理系统用户的基本信息，包括用户名、密码、权限等信息。通过该模块，可以实现对系统用户进行身份验证和权限控制，保证系统的安全性和稳定性。通过用户管理模块可实现对系统用户进行身份验证和权限控制，同时，不同层级的用户拥有不同的操作权限，以达到提升管理效率、保证系统的安全性和稳定性的目的。

系统设置模块：该模块用于对系统的一些参数进行设置，包括工具的存储位置、工具借出和归还的规则、维修管理的规则等。通过该模块，可以灵活地配置系统参数，以适应不同的工作环境和需要。此外在系统设置模块中，用户可以随时备份数据，并在需要时进行恢复，避免数据丢失的情况，系统可以进行数据备份和恢复，保障用户数据的安全性和完整性。

APP子系统包括以下模块：

登录模块：用户输入用户名和密码进行登录，可以使用指纹识别等安全措施保护账号安全。

工具录入模块：用户可以使用手机拍摄工具的照片或视频上传至云服务器，无需人工填写工具名称、型号、数量等信息，系统会自动识别照片中的工具信息，并进行记录。

工具查询模块：用户可以通过输入工具名称、型号、拍摄日期等信息进行查询，系统会返回符合条件的工具信息列表。

工具出入库模块：用户可以在APP中选择要出库的工具，填写领用人或经手人等信息，并进行出库操作。

系统设置模块：用户可以对个人信息、密码、指纹识别等进行设置。

本发明的系统使用云服务器完成数据的存储、交换与转发，实现PC端和手机端的数据同步，可远程访问，并在数据丢失或设备损坏时进行数据备份和恢复。

当需要进行工具借还或出入库操作时，只需在图像采集模块中选择图像识别功能，可以选择本地图片或短视频上传，也可以由系统唤起电脑摄像头或手机摄像头进行实时拍摄，系统将图片或视频传输至云端，经图像识别模块进行计算并返回识别结果，工具的类别和数量等信息将直接录入出入库登记信息表中，无需手动输入，经由用户确认无误后点击提交至数据存储模块中的工具借还记录数据库中。

当用户进行借用操作后需要追加借用工具，可在借还管理模块中选择原有借出记录的追加工具功能进行拍摄登记。

如已有借出记录时用户需要再次进行工具借用，需要将已借用的工具返还。如个人借还记录中有尚未归还的工具借出记录，系统将在用户登入时弹出提示，提醒用户有尚未归还的工具，未完成归还将无法进行下一次借用操作。具体过程如下：若借还管理模块接收到的借出信号后，该借出信号对应的归还状态为未归还，且该借出信号对应的借出时间与接收信号的时间之间的时间段超过预设的阈值，则借还管理模块发出提醒信号，阻止进行出库操作，借出信号为工具出入库模块接收到的出库指令时向借还管理模块发送的领用人或经手人信息。

为了达到较好的使用效果，需要将系统安装在现场并进行调试。例如工具识别的拍摄视野中，背景应尽可能采用纯色，避免物品杂乱对识别结果造成影响；识别过程主要采用手持工具入镜的方式，其中同一画面中的工具数量或类别数量在3种以内为效果最佳。系统需要与现场的工具进行匹配，调试系统的参数和设置，保证系统的稳定和准确性。

在系统安装和调试成功后，需要进行系统的运营和维护。对于系统中的图像识别算法，需要进行周期性的更新和优化；对于硬件设备，需要进行定期的维护和保养；对于用户界面，需要不断根据用户的反馈进行改进和优化。

本发明从工具图像信息采集设备，到图像信号传输流程至云服务器处理到最后给出结果，实现对多种地铁维修工具的自动识别。与现有技术相比，本发明具有实时识别、实时处理特点，解决人工检测不准确和人力消耗巨大等问题，提高了地铁安全维修检测日常维护效率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于图像识别算法的维修工具管理系统，其特征在于，系统包括PC端子系统和手机端APP子系统，其中PC端子系统包括图像采集模块、图像识别模块、数据存储模块和状态监测模块，手机端APP子系统包括登录模块、工具录入模块、工具查询模块、工具出入库模块和系统设置模块，其中，

图像识别模块被配置为获取图像，针对图像识别维修工具的外观特征和标识，将识别的参考结果存储入数据存储模块中，所述识别的结果包括各个维修工具的类别和边界框；

数据存储模块被配置为将识别的参考结果分别存入本地存储数据库和云服务器数据库中；

工具录入模块被配置为，根据接收到的工具录入指令，获取工具的照片或视频，将照片或视频上传至云服务器，基于云服务器识别维修工具，确定并记录维修工具的信息；

工具出入库模块被配置为，根据接收到的出入库指令，获取需要出入库的维修工具的信息和对应的领用人或经手人信息，进行出入库操作，更新工具录入模块记录的维修工具的出入库状态，并记录该出入库操作在出入库登记信息表中。

2.根据权利要求1所述的一种基于图像识别算法的维修工具管理系统，其特征在于，状态监测模块包括借还管理模块，所述借还管理模块被配置为记录工具的借出和归还情况，借出和归还情况包括借出人员、借出时间、归还时间和归还状态，所述工具的借出和归还情况基于工具录入模块的出入库登记信息表确定。

3.根据权利要求2所述的一种基于图像识别算法的维修工具管理系统，其特征在于，状态监测模块还包括维修管理模块，所述维修管理模块被配置为记录工具的维修情况，维修情况包括维修人员、维修时间和维修内容。

4.根据权利要求2所述的一种基于图像识别算法的维修工具管理系统，其特征在于，状态监测模块还包括数据分析模块，数据分析模块被配置为获取工具的维修情况和借出和归还情况，生成相关报告分析工具使用情况。

5.根据权利要求3所述的一种基于图像识别算法的维修工具管理系统，其特征在于，状态监测模块还包括用户管理模块和系统设置模块，其中，用户管理模块被配置为管理系统用户的基本信息，对系统用户进行身份验证和权限控制。

6.根据权利要求2所述的一种基于图像识别算法的维修工具管理系统，其特征在于，系统设置模块被配置为设置借还管理模块的规则和维修管理的规则；

工具查询模块被配置为接收工具查询指令，返回符合条件的工具信息列表，所述工具查询指令包括工具名称、型号和拍摄日期。

7.根据权利要求6所述的一种基于图像识别算法的维修工具管理系统，其特征在于，登录模块被配置为获取用户名和密码，若用户名和密码匹配则允许接收工具录入指令、出入库指令和工具查询指令，若不匹配则拒绝接收指令。

8.根据权利要求6所述的一种基于图像识别算法的维修工具管理系统，其特征在于，借还管理模块的规则为：

若借还管理模块接收到的借出信号后，该借出信号对应的归还状态为未归还，且该借出信号对应的借出时间与接收信号的时间之间的时间段超过预设的阈值，则借还管理模块发出提醒信号，阻止进行出库操作，所述借出信号为工具出入库模块接收到的出库指令时向借还管理模块发送的领用人或经手人信息。

9.根据权利要求1所述的一种基于图像识别算法的维修工具管理系统，其特征在于，图像识别模块识别参考结果的具体过程为：

针对获取的图像，基于输入特征提取网络提取图像中工具的特征信息，并捕捉不同级别的语义信息；提取不同尺度的感受野特征；融合不同尺度特征图；从特征映射中提取每个物体的类别和边界框，将类别和边界框作为识别的参考结果。

10.根据权利要求1所述的一种基于图像识别算法的维修工具管理系统，其特征在于，基于云服务器识别维修工具具体过程为：

将工具录入模块获得的工具的照片或视频通过云服务器发送至图像识别模块进行识别，将识别的结果与识别的参考结果进行对比，将相似度最高的维修工具作为识别的结果。