CN116030418B - 一种汽车吊运行状态监测系统及方法 - Google Patents

Abstract

本发明公开了一种汽车吊运行状态监测系统及方法，属于汽车吊状态监测技术领域，系统包括：数据采集和处理模块，用于采集汽车吊监控平台的视频数据，并进行所述视频数据的标注，并结合公共数据集，与所述数据标注信息进行整合，得到训练用数据集；模板库管理模块，用于管理通用模型、具体应用场景模型的模板，并基于所述训练用数据集生成视频帧位置标定信息；识别模型模块，基于视频帧位置标定信息进行模型训练；模型应用模块，用于将训练得到的模型投入到实际应用场景中。本发明能够实时地监测汽车吊的工作状态，并对汽车吊工作时的各项指标数据进行收集、统计和分析，以达到评测吊车操作合理性、检查设备完好性和统计工作量的目的。

Description

一种汽车吊运行状态监测系统及方法

技术领域

本发明是属于汽车吊状态监测技术领域，特别是关于一种汽车吊运行状态监测系统及监测方法。

背景技术

汽车吊是将汽车和吊机的概念相结合，装在汽车底盘上的一种起重机，主要由起升部分、变幅部分、回转部分、起重臂和汽车底盘等组成，其行驶驾驶和起重操作部分处于两个不同的物理空间，且汽车吊具有机动灵活、能以较快速度行走的作业优点，能够较好地完成物料搬运的任务。随着工程建设规模的扩大以及技术要求的提高，大型机械设备在现代工程建设中所起的作用越来越大，汽车吊作为一种典型的工程机械设备，其工作状态与工程项目管理、工程建设进度、设备安全和人员安全息息相关，因此，对汽车吊的工作状态进行实时监测和统计评估是非常重要的。

传统的吊机监测系统是独立于汽车驾驶室的，可以自动检测出吊机所吊载的质量及起重臂所处的角度，并能显示出其额定载重量和实际载荷、工作半径、起重臂所处的角度。当吊机通电后，重量、幅度、高度等传感器将各自的信号通过屏蔽电缆线输送到主机，主机仪器内部的微处理器对输入信号和人工设置的各种起重工况参数自动进行计算和判断处理后，将重量、幅度、高度等数据通过液晶屏幕显示出来，将控制信号传输到中间继电器进行不断循环。但另一方面，由于设备本身具有的物理隔绝性，需要工人不间断地观察吊机的液晶屏幕，才能实时了解到吊机的工作状态，这在一定程度上增加了人力资源的投入，同时这种实地观察的方式不仅需要工人具备一定的专业知识，存在一定的技术门槛，还需要充分考虑施工现场的温度（高寒、高热）、安全保护等一系列影响工人工作环境或生命财产安全的因素。同时，依靠人力完成监测工作，也不利于吊机工作时数据的统计和分析，间接影响项目进度的统筹规划。

发明内容

本发明的目的在于提供一种汽车吊运行状态监测系统及方法，其能够实时地监测汽车吊的工作状态，并对汽车吊工作时的各项指标数据进行收集、统计和分析，以达到评测吊车操作合理性、检查设备完好性和统计工作量的目的，提高生产效率，并可以在一定程度上减少生产成本。

本发明提供一种汽车吊运行状态监测系统，包括：数据采集和处理模块，被配置为采集汽车吊监控平台的视频数据，并进行所述视频数据的标注，得到数据标注信息，并结合公共数据集，与所述数据标注信息进行整合，得到训练用数据集；模板库管理模块，被配置为管理通用模型、具体应用场景模型的模板，并基于所述训练用数据集生成视频帧位置标定信息；识别模型模块，基于视频帧位置标定信息进行模型训练；模型应用模块，被配置为将所述识别模型模块训练得到的模型投入到实际应用场景中。

进一步地，所述数据采集和处理模块包括视频探头模块和数据标注平台接口模块，所述视频探头模块用于获取视频数据，通过所述数据标注平台接口模块对接数据半自动标注平台进行标注。

进一步地，所述模板库管理模块包括通用网络模板库模块和应用场景模板库模块，所述通用网络模板库模块用于确定通用模型训练的主要信息，所述应用场景模板库模块用于确定具体应用场景模型训练的主要信息。

进一步地，所述识别模型模块包括文本检测模块、文本框矫正模块、文本识别模块和识别结果校正模块；所述文本检测模块基于二值化分割策略对所述视频帧位置标定信息进行文本检测；所述文本框矫正模块进行所识别文本所在文本框的矫正；所述文本识别模块基于联合学习识别优化策略对文本进行识别；所述识别结果校正模块用于对文本识别结果进行校正。

进一步地，所述文本识别模块采用光学字符识别技术对文本进行识别，得到图像中对应的文本内容。

进一步地，所述识别模型模块还包括增量更新模块和现场分析支持模块，所述增量更新模块被配置为在现有模型上进行更新，使用较小的学习率将现有模型的当前权重作为学习起点，并创建一个由新旧数据组成的复合数据集，在此复合数据集上进行模型更新，从而使模型具有相应新数据的能力；所述现场分析支持模块用于提供基础服务工作，支持完成模型训练工作。

进一步地，所述模型应用模块包括应用部署模块和应用服务器模块，所述应用部署模块用于将各个模型部署到边缘服务器中，以进行模型推理、模型结果展示和统计分析。

本发明还提供一种汽车吊运行状态监测方法，包括以下步骤：

S1.使用人工方法，结合数据标注平台，对汽车吊监测平台的视频数据进行标注；

S2.结合业界通用的公共数据集，与步骤S1中标注的视频数据进行整合，得到训练用数据集；

S3.管理通用模型、具体应用场景模型的模板，并基于所述训练用数据集生成视频帧位置标定信息，并确定识别用的文本检测模型、文本框矫正模型和文本识别模型；

S4.在所述视频帧位置标定信息的基础上使用所述训练用数据集对步骤S3中确定的文本检测模型和文本识别模型进行训练；

S5.基于边缘计算网关，部署训练好的文本检测模型和文本识别模型，对汽车吊工作状态进行实时监测和统计；

S6.通过字典库对识别结果进行人为矫正或者重新输入网络中进行推理，保证识别结果的正确性；

S7.在实际识别过程中，采用新数据对文本监测模型和文本识别模型进行更新。

进一步地，所述步骤S4包括以下子步骤：

S41.获取模板库设定的视频图像帧不同块的位置标定信息；

S42.使用文本框矫正模块，将文本框处理成正的水平方向；

S43.基于文本识别模型CRNet和MKLDNN加速，将文本行图像识别成具体的文本内容信息。

进一步地，所述步骤S6包括以下子步骤：

S61.构建字典库；

S62.将识别字符分别与字典库中的字符做相似度计算，并结合字符频率表，将错误结果进行替换；

S63.重新将识别结果输入系统中进行推理。

与现有技术相比，根据本发明的一种汽车吊运行状态监测系统，该系统既能够完成数据的采集、整理和分析工作，也能够实现汽车吊工作状态的信息显示、数据统计和分析、和识别模型的结果矫正和增量更新等功能。

本发明通过摄像头获取现有汽车吊监测平台的视频数据，输入到汽车吊运行状态监测系统中，先对视频数据进行半自动化标注，然后在系统已有的神经网络模型模板库中选择相应的光学字符检测和分类模型，将标注好的数据送入模型进行训练，通过模型输出的结果实现对汽车吊工作状态监测数据的统计、分析和展示。

实现汽车吊工作状态监测和统计分析对于操作员来说，有利于提升吊车操作的规范性，加大对施工人员的安全保障力度；对于拥有者来说，可以通过查看吊车工作的数据分析信息，可以作为汽车吊设备完好性的辅助措施，保证汽车吊的安全运行；对于项目部来说，有利于统计吊车工作量，从而可以更加科学高效地统筹规划工程进度。

附图说明

图1是根据本发明实施例的一种基于光学字符识别的汽车吊监测系统的结构示意图；

图2是根据本发明实施例的汽车吊监测系统中各模块的功能逻辑框图；

图3是根据本发明实施例的针对汽车吊监测平台的帧图像位置标定信息示意图；

图4是根据本发明实施例的协同学习检测优化策略示意图；

图5是根据本发明实施例的联合学习识别优化策略示意图；

图6是根据本发明实施例的光学文字检测模型二值化分割模型结构的示意图；

图7是根据本发明实施例的光学文字识别模型CRNet结构的示意图。

具体实施方式

下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1所示为本发明实施方式的一种汽车吊运行状态监测系统的结构示意图，汽车吊运行状态监测系统包括：数据采集和处理模块，被配置为采集汽车吊监控平台的视频数据，并进行视频数据的标注，得到数据标注信息，并结合公共数据集，与数据标注信息进行整合，得到训练用数据集；模板库管理模块，被配置为管理通用模型、具体应用场景模型的模板，并基于训练用数据集生成视频帧位置标定信息；识别模型模块，基于视频帧位置标定信息进行模型训练；模型应用模块，被配置为将训练得到的模型投入到实际应用场景中。

数据采集和处理模块包括视频探头模块和数据标注平台接口模块，视频探头模块用于获取视频数据，通过数据标注平台接口模块对接已搭建好的数据半自动标注平台进行标注，并结合一些通用的公共数据集，构建汽车吊监控平台训练数据集。

模板库管理模块包括通用网络模板库模块和应用场景模板库模块，通用网络模板库模块用于确定通用模型训练的主要信息，应用场景模板库模块用于确定具体应用场景模型训练的主要信息。模板库管理模块主要负责一些通用模型、具体应用场景模型模板的管理，确定模型训练的主要信息，主要信息包括视频图像的位置标定信息、使用何种文本检测和文本识别模型，并决定在文本检测和识别阶段采取何种优化策略等。

识别模型模块为汽车吊运行状态监测系统的核心模块，包括文本检测模块、文本框矫正模块、文本识别模块和识别结果校正模块，四者在逻辑上属于顺序关系，其中，对于识别出错的结果，会采取人为校正或者重新输入训练模块进行训练；文本检测模块基于二值化分割策略对视频帧位置标定信息进行文本检测；文本框矫正模块进行所识别文本所在文本框的矫正；文本识别模块基于联合学习识别优化策略对文本进行识别；识别结果校正模块用于对文本识别结果进行校正。其中，文本识别模块采用光学字符识别技术对文本进行识别，得到图像中对应的文本内容。

进一步地，识别模型模块还包括增量更新模块和现场分析支持模块，其中增量更新是为了及时使用新的数据，使模型更加健壮，增量更新模块被配置为在现有模型上进行更新，使用较小的学习率将现有模型的当前权重作为学习起点，并创建一个由新旧数据组成的复合数据集，在此复合数据集上进行模型更新，从而使模型具有相应新数据的能力；现场分析支持模块用于提供基础服务工作，支持完成模型训练工作。

模型应用模块包括应用部署模块和应用服务器模块，主要负责将训练得到的各个模型投入到实际的应用场景中，应用部署模块用于将各个模型部署到边缘服务器中，以进行模型推理、模型结果展示和统计分析。

本发明实施例提供的汽车吊运行状态监测系统，能够通过数据采集和处理模块完成数据的采集、标注，通过模板库管理模块基于训练用数据集生成视频帧位置标定信息，通过识别模型模块进行模型训练，实现汽车吊工作状态的信息显示、数据统计和分析、和识别结果矫正和增量更新等功能。

本发明通过摄像头获取现有汽车吊监测平台的视频数据，输入到汽车吊运行状态监测系统中，先对视频数据进行半自动化标注，然后在系统已有的神经网络模型模板库中选择相应的光学字符检测和分类模型，将标注好的数据送入模型进行训练，通过模型输出的结果实现对汽车吊工作状态监测数据的统计、分析和展示。

本发明实施例还提供一种汽车吊运行状态监测方法，包括以下步骤：

S1.使用人工方法，结合数据标注平台，对事先获得的汽车吊监测平台的视频数据进行标注；

S2.结合业界通用的公共数据集，与步骤S1中标注的视频数据进行整合，得到训练用数据集；

S3.管理通用模型、具体应用场景模型的模板，并基于训练用数据集生成视频帧位置标定信息，并确定识别用的文本检测模型、文本框矫正模型和文本识别模型，确定系统提供的识别用的文本检测、文本框矫正和文本识别模板方法；

S4.在视频帧位置标定信息的基础上使用训练用数据集对步骤S3中确定的文本检测模型和文本识别模型进行训练；

S5.基于边缘计算网关或边缘计算盒，部署训练好的文本检测模型和文本识别模型，对汽车吊工作状态进行实时监测和统计；

S6.通过字典库对识别结果进行人为矫正或者重新输入网络中进行推理，保证识别结果的正确性；

S7.在实际识别过程中，采用新数据对文本监测模型和文本识别模型进行更新。

优选地，步骤S1主要分为两个方面，其中一个方面是对已采集的汽车吊监测数据使用集成标注工具进行人工标注，另外一个方面是对实时采集汽车吊监测数据的摄像头的安装给出一定的规范。对于第一点，具体地，获取汽车吊监测平台的监控视频，作为训练相关的音视频内容，并在视频帧上人为框选，并给出具体的文本内容，方便后续检测和识别数据集的标签文件的生成，其打标内容主要包括了时间信息/>、大小勾信息/>、倍率信息/>、配重信息/>、发动机信息/>、作业半径信息/>、伸缩臂信息/>、卷扬信息/>、角度信息/>、杆长信息/>、二节臂信息/>、起重高度信息/>和起重百分比信息/>，即第i帧视频帧的信息：

对于第二点，则需要结合汽车吊工作实际情况和现场监测需求，我们选择汽车吊监测界面显示为监测窗口，摄像头采用尽量平视的安装方式，并对施工现场进行必要调整，避免出现阳光直射显示界面的情况。

优选地，步骤S2中，由于文本监测和文本识别模型数据集标签格式并不完全相同，需要根据实际情况将所标注的数据进行导出，并和对应类型的数据集进行合并，注意这里合并的比例为公共数据集：监测数据集=7：3。

优选地，步骤S3中，在面对不同的应用场景需求时，首先查找应用场景模型库中是否有对应的模型模板，其包括手动标定的视频帧图像的位置标定信息、选定的文本检测模型、文本框矫正方法和文本识别模型等，如若应用场景模型库中无对应场景，则可以在通用网络模板库中选择一些业界通用的文本检测、文本框矫正和文本识别模型模板，并进行手动的视频帧图像的分块标定，并将此设定保存在应用场景模板库中，不断丰富系统模板，这种模板化的管理和应用，不止能够做到“一次设定，灵活调整，永久应用”，还可以通过位置块的划分，使得文本检测算法能够更加高效地工作，针对该系统的帧图像位置标定信息如图3所示，图3为运行状态监测系统针对汽车吊监测平台的帧图像位置标定信息，图中显示了如“百分比块”、“角度块”、“时间块”、“作业半径块”等多个帧图像位置标定信息参数。

特别地，本发明采取了协同学习检测模型优化策略，如图4所示，它不同于一般的知识蒸馏技术，其教师网络可以指导多个学生，而学生之间也可以互相学习，具体操作为修改损失函数，其由三部分组成，其一为学生模型得到的结果和真实框之间的损失，其二是两个学生模型之间的相互学习损失/>，其三为学生模型和教师模型之间的蒸馏损失/>，即

（1）

由于有多个学生网络（以2个学生网络距离），则最后的损失函数为：

（2）

根据该损失函数进行文本检测的文本框位置优化。

本发明也采取了联合学习识别模型优化策略，如图5所示，即在标准的深度相互学习知识蒸馏的基础上，新增引入对特征图的监督机制（特征损失），然后结合深度相互学习损失，两者相加得到最后的损失函数从而优化文本识别模型训练，本发明兼具通用性和场景特异性，现以通用网络模板库模块进行进一步的阐述，网络模板库中的模板（位置标定信息、文本检测方法、文本框矫正方法和文本识别方法）支持“增删改查”的功能，已使用的模板会实时同步在应用场景模板苦中。

进一步地，步骤S4包括以下子步骤：

S41.获取模板库设定的视频图像帧不同块的位置标定信息，如图3所示，这里第i帧的位置标定信息记为，且

并结合基于分割的文本检测模型二值化分割模型，在原有位置标定信息的基础上更加精细定位出图像中的文字区域，其中二值化分割模型结构如图6所示，从而得到紧密的文本边界框。具体地，文本检测模型会对第i帧中的每一块进行文字检测，即，输入到二值化分割模型的主干网络中提取特征，经过特征拼接和一次卷积得到文本区域预测的概率图(ProbMap)和阈值图(ThresMap)，然后对于概率图中的每一个点（i，j），结合阈值图中的对应点，经过二值化运算/>得到二值图（BinaMap），进而通过后处理得到文本检测结果，其包含了以左上角为起点，顺时针方向对应的文本框的四个点坐标，即有:

（3）

（4）

（5）

（6）

（7）

S42.使用文本框矫正模块，将文本框处理成正的水平方向，从而保证文本的一致性，提升检测框中的文字识别效果，具体的方法为：先对检测结果进行仿射变换变成水平方向，然后判断文本是否颠倒，如若颠倒则转正识别。

S43.假定模板库管理模块确定了使用通用的文本识别模型CRNet，如图7所示，其基于MKLDNN加速，提升模型精度且保持延迟几乎不变，从而将文本行图像识别成具体的文本内容信息，具体地，对于S41得到的某个块中文字框的位置，将对应位置的图像内容提取出来，通过图7所示的各个卷积模块提取特征，然后通过一次全局平均池化和两层全连接层得到识别结果，即：

（8）

至此，完成了第i帧图像中第块的识别，对于第i帧鹅剩余块，重复S41、S42、S43步骤，完成剩余块的识别，从而得到该图像帧的所有信息。

优选地，步骤S5中，将训练好的模型部署在汽车吊监控平台的监控显示屏上，向远程操作者和工程管理人员实时显示汽车吊工作状态参数，并在服务器端实时收集和统计工作状态数据，方便相关工作人员进行查看。

优选地，步骤S6中，对于正确的结果，我们将直接输出，用于后续的展示、统计等工作，对于不正确的结果，我们提供了两阶段校正方法，具体包含以下步骤：

S61.字典库的构建，本发明以高频出现的字符作为监测系统的基础字典库，并结合具体的应用场景，加入一些常用字符，如在汽车吊监测系统中，则会额外加入额重、实重、二节臂等关键字符。

S62.通过识别错误结果，根据与字典库中的字符进行相似度和出现频率的综合考量，即将识别字符分别与字典中的字符做余弦相似度计算，并结合字符频率表，将错误结果替换成字典中相似度和出现频率综合得分最高的一个字符，其中，相似度采取余弦相似度计算，出现频率则采用哈希表进行存储和更新，分数就是这两者的加和，再次确定此时的识别结果，若正确则输出，不正确则进入S63；

（9）

（10）

S63.重新将该块区域输入系统中进行推理。

进一步地，步骤S7中，主要针对模型部署后出现的一批新数据，为了能够及时利用新的数据，采用增量更新的模式，具体来说就是在现有模型上进行更新，使用较小的学习率将现有模型的当前权重作为学习起点，并创建一个由新旧数据组成的复合数据集，在此复合数据集上进行模型的更新，从而使模型具有相应新数据的能力。

本发明提供了一种汽车吊监测系统及方法，该系统既实现了数据采集、整理和分析工作，也实现了汽车吊工作状态的信息显示、汽车吊工作状态的数据统计和分析，以及识别模型的结果矫正和增量更新等功能。汽车吊工作状态监测和统计分析对于操作员来说，有利于提升其吊车操作的规范性，加大对施工人员的安全保障力度；对于拥有者来说，可以通过查看吊车工作的数据分析信息，可以作为汽车吊设备完好性的辅助措施，保证汽车吊的安全运行；对于项目部来说，有利于统计吊车工作量，从而可以更加科学高效地统筹规划工程进度。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (9)

1.一种汽车吊运行状态监测系统，其特征在于，包括：数据采集和处理模块，被配置为采集汽车吊监控平台的视频数据，并进行所述视频数据的标注，得到数据标注信息，并结合公共数据集，与所述数据标注信息进行整合，得到训练用数据集；模板库管理模块，被配置为管理通用模型、具体应用场景模型的模板，并基于所述训练用数据集生成视频帧位置标定信息；识别模型模块，基于视频帧位置标定信息进行模型训练；模型应用模块，被配置为将所述识别模型模块训练得到的模型投入到实际应用场景中；所述识别模型模块包括文本检测模块、文本框矫正模块、文本识别模块和识别结果校正模块；所述文本检测模块基于二值化分割策略对所述视频帧位置标定信息进行文本检测，包括根据损失函数进行文本检测的文本框位置优化，所述损失函数的获取由三部分组成，其一为学生模型得到的结果和真实框之间的损失loss_gt，其二是两个学生模型之间的相互学习损失loss_ml，其三为学生模型和教师模型之间的蒸馏损失loss_kd，即

loss_student＝loss_gt+loss_ml+loss_kd，

由于有多个学生网络，则最后的损失函数为：

loss＝αloss_student1+βloss_student2；

所述文本框矫正模块进行所识别文本所在文本框的矫正；所述文本识别模块基于联合学习识别优化策略对文本进行识别，即在标准的深度相互学习知识蒸馏的基础上，新增引入对特征图的监督机制，然后结合深度相互学习损失，两者相加得到最后的损失函数从而优化文本识别模型训练；所述识别结果校正模块用于对文本识别结果进行校正。

2.根据权利要求1所述的汽车吊运行状态监测系统，其特征在于，所述数据采集和处理模块包括视频探头模块和数据标注平台接口模块，所述视频探头模块用于获取视频数据，通过所述数据标注平台接口模块对接数据半自动标注平台进行标注。

3.根据权利要求1所述的汽车吊运行状态监测系统，其特征在于，所述模板库管理模块包括通用网络模板库模块和应用场景模板库模块，所述通用网络模板库模块用于确定通用模型训练的主要信息，所述应用场景模板库模块用于确定具体应用场景模型训练的主要信息。

4.根据权利要求1所述的汽车吊运行状态监测系统，其特征在于，所述文本识别模块采用光学字符识别技术对文本进行识别，得到图像中对应的文本内容。

5.根据权利要求1所述的汽车吊运行状态监测系统，其特征在于，所述识别模型模块还包括增量更新模块和现场分析支持模块，所述增量更新模块被配置为在现有模型上进行更新，使用较小的学习率将现有模型的当前权重作为学习起点，并创建一个由新旧数据组成的复合数据集，在此复合数据集上进行模型更新，从而使模型具有相应新数据的能力；所述现场分析支持模块用于提供基础服务工作，支持完成模型训练工作。

6.根据权利要求1所述的汽车吊运行状态监测系统，其特征在于，所述模型应用模块包括应用部署模块和应用服务器模块，所述应用部署模块用于将各个模型部署到边缘服务器中，以进行模型推理、模型结果展示和统计分析。

7.一种汽车吊运行状态监测方法，其特征在于，包括以下步骤：

S1.使用人工方法，结合数据标注平台，对汽车吊监测平台的视频数据进行标注；

S2.结合业界通用的公共数据集，与步骤S1中标注的视频数据进行整合，得到训练用数据集；

S3.管理通用模型、具体应用场景模型的模板，并基于所述训练用数据集生成视频帧位置标定信息，并确定识别用的文本检测模型、文本框矫正模型和文本识别模型，所述文本检测模型基于二值化分割策略对所述视频帧位置标定信息进行文本检测，包括根据损失函数进行文本检测的文本框位置优化，所述损失函数的获取由三部分组成，其一为学生模型得到的结果和真实框之间的损失loss_gt，其二是两个学生模型之间的相互学习损失loss_ml，其三为学生模型和教师模型之间的蒸馏损失loss_kd，即

loss_student＝loss_gt+loss_ml+loss_kd，

由于有多个学生网络，则最后的损失函数为：

loss＝αloss_student1+βloss_student2；

所述文本框矫正模型进行所识别文本所在文本框的矫正；所述文本识别模型基于联合学习识别优化策略对文本进行识别，即在标准的深度相互学习知识蒸馏的基础上，新增引入对特征图的监督机制，然后结合深度相互学习损失，两者相加得到最后的损失函数从而优化文本识别模型训练；

S4.在所述视频帧位置标定信息的基础上使用所述训练用数据集对步骤S3中确定的文本检测模型和文本识别模型进行训练；

S5.基于边缘计算网关，部署训练好的文本检测模型和文本识别模型，对汽车吊工作状态进行实时监测和统计；

S6.通过字典库对识别结果进行人为矫正或者重新输入网络中进行推理，保证识别结果的正确性；

S7.在实际识别过程中，采用新数据对文本监测模型和文本识别模型进行更新。

8.根据权利要求7所述的汽车吊运行状态监测方法，其特征在于，所述步骤S4包括以下子步骤：

S41.获取模板库设定的视频图像帧不同块的位置标定信息；

S42.使用文本框矫正模块，将文本框处理成正的水平方向；

S43.基于文本识别模型CRNet和MKLDNN加速，将文本行图像识别成具体的文本内容信息。

9.根据权利要求7所述的汽车吊运行状态监测方法，其特征在于，所述步骤S6包括以下子步骤：

S61.构建字典库；

S62.将识别字符分别与字典库中的字符做相似度计算，并结合字符频率表，将错误结果进行替换；

S63.重新将识别结果输入系统中进行推理。