CN116862285A - 基于ai目标检测和文字识别的自动化运维稽核方法 - Google Patents

基于ai目标检测和文字识别的自动化运维稽核方法 Download PDF

Info

Publication number
CN116862285A
CN116862285A CN202310692388.5A CN202310692388A CN116862285A CN 116862285 A CN116862285 A CN 116862285A CN 202310692388 A CN202310692388 A CN 202310692388A CN 116862285 A CN116862285 A CN 116862285A
Authority
CN
China
Prior art keywords
auditing
image
pedestrian
audit
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310692388.5A
Other languages
English (en)
Inventor
李欠平
翁松秀
越海涛
霍鑫
吴志辉
唐建中
张华斯
何先赞
李健新
裴福平
揭英虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mastercom Technology Corp
Original Assignee
Shenzhen Mastercom Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mastercom Technology Corp filed Critical Shenzhen Mastercom Technology Corp
Priority to CN202310692388.5A priority Critical patent/CN116862285A/zh
Publication of CN116862285A publication Critical patent/CN116862285A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明涉及人工智能技术领域,尤其涉及一种基于AI目标检测和文字识别的自动化运维稽核方法,自动化运维稽核方法包括:获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,稽核工单中至少包含两张稽核图像;将各张稽核图像输入稽核人员检测模型得到各张稽核图像中的工作人员数量,并基于各个工作人员数量确定稽核人员数量;将各张稽核图像输入文字识别模型得到各个稽核时间,并基于各个稽核时间确定稽核时长;基于稽核人员数量和稽核时长确定稽核结果。本发明实现了提高审核稽核工单的工作效率。

Description

基于AI目标检测和文字识别的自动化运维稽核方法
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于AI目标检测和文字识别的自动化运维稽核方法。
背景技术
运营商可以通过下发任务工单的形式派发工作任务,工作人员按照任务工单完成工作后,会通过稽核工单提交工作完成情况至运营商,运营商根据工作人员提交的稽核工单审核工作人员的工作完成情况。
目前,运营商在收到工作人员提交的稽核工单后,主要是通过人工稽核的方式基于稽核图像审核工作人员的工作完成情况,随着运营商的快速发展和业务规模的扩张,稽核任务也随着剧增,这导致审核稽核工单的效率降低。
发明内容
本发明的主要目的在于提供一种基于AI目标检测和文字识别的自动化运维稽核方法,旨在提高审核稽核工单的工作效率。
为实现上述目的,本发明提供一种基于AI目标检测和文字识别的自动化运维稽核方法,所述基于AI目标检测和文字识别的自动化运维稽核方法包括以下步骤:
可选地,获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,所述稽核工单中至少包含两张稽核图像;
将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量,并基于各个所述工作人员数量确定稽核人员数量;
将各张所述稽核图像输入所述文字识别模型得到各个稽核时间,并基于各个所述稽核时间确定稽核时长;
基于所述稽核人员数量和所述稽核时长确定稽核结果。
可选地,所述稽核人员检测模型包括训练完成的目标检测网络,所述将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量的步骤包括:
对于各张所述稽核图像中任一目标图像,将所述目标图像输入所述训练完成的目标检测网络得到所述目标图像中的行人信息和安全帽信息,其中,所述行人信息包括行人在所述目标图像中的行人位置信息,所述安全帽信息包括安全帽在所述目标图像中的安全帽位置信息;
基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员,以确定所述目标图像中的工作人员数量。
可选地,所述基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员的步骤包括:
基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框;
将各个所述行人方框中满足预设条件的行人方框对应的行人确定为工作人员,其中,所述预设条件包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值或者安全帽方框在行人方框上方。
可选地,所述行人信息和所述安全帽信息中均包括置信度,所述基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框的步骤包括:
将所述行人信息中置信度大于预设置信度的行人信息确定为有效行人信息,基于所述有效行人信息中的行人位置信息确定所述目标图像中的行人方框;
将所述安全帽信息中置信度大于所述预设置信度的安全帽信息确定为有效安全帽信息,基于所述有效安全帽信息中的安全帽位置信息确定所述目标图像中的安全帽方框。
可选地,所述基于各个所述工作人员数量确定稽核人员数量的步骤包括:
将各个所述工作人员数量中最大的工作人员数量确定为稽核人员数量。
可选地,所述将各张所述稽核图像输入所述文字识别模型得到各个稽核时间的步骤包括:
将各张所述稽核图像输入所述文字识别模型得到各张所述稽核图像中的图像文字;
通过正则匹配从各张所述稽核图像的图像文字中确定各张所述稽核图像各自对应的稽核时间。
可选地,所述基于各个所述稽核时间得到稽核时长的步骤包括:
将各个所述稽核时间中最早的稽核时间作为稽核开始时间,将各个所述稽核时间中最晚的稽核时间作为稽核结束时间;
通过所述稽核结束时间减去所述稽核开始时间以计算得到稽核时长。
在所述获取预设的稽核人员检测模型和文字识别模型的步骤之前,还包括:
基于已标注安全帽和行人的样本图像构建训练数据集,并获取未训练的目标检测网络;
基于所述训练数据集对所述未训练的目标检测网络进行训练,得到训练完成的目标检测网络;
基于所述训练完成的目标检测网络构建目标检测模型,并将所述目标检测模型作为预设的稽核人员检测模型。
可选地,在所述基于已标注安全帽和行人的样本图像构建训练数据集的步骤之前,还包括:
获取预设稽核场景下的工单图像,其中,所述预设稽核场景包括传输线路的稽核场景、室内分布的稽核场景、基站的稽核场景、集客专线的稽核场景和家庭带宽的稽核场景;
对所述工单图像中的安全帽和行人进行标注得到样本图像。
可选地,所述对所述工单图像中的安全帽和行人进行标注得到样本图像的步骤,包括:
对所述工单图像进行预处理得到处理后图像,其中,所述预处理包括角度旋转、大小缩放、亮度调整、图像降噪和图像增广;
对所述处理后图像中的安全帽和行人进行标注得到样本图像。
本发明中,通过获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,所述稽核工单中至少包含两张稽核图像;将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量,并基于各个所述工作人员数量确定稽核人员数量;将各张所述稽核图像输入所述文字识别模型得到各个稽核时间,并基于各个所述稽核时间确定稽核时长;基于所述稽核人员数量和所述稽核时长确定稽核结果。相比于人工审核稽核公共点,本发明实现了自动化确定稽核结果,提高了提高审核稽核工单的工作效率。
附图说明
图1为本发明基于AI目标检测和文字识别的自动化运维稽核方法第一实施例的流程示意图;
图2为本发明基于AI目标检测和文字识别的自动化运维稽核方法一实施例的流程示意图;
图3为本发明基于AI目标检测和文字识别的自动化运维稽核方法一实施例的流程示意图;
图4为本发明基于AI目标检测和文字识别的自动化运维稽核方法一实施方式的流程示意图;
图5为本发明基于AI目标检测和文字识别的自动化运维稽核方法一实施方式涉及的流程图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明基于AI目标检测和文字识别的自动化运维稽核方法第一实施例的流程示意图。
本发明实施例提供了基于AI目标检测和文字识别的自动化运维稽核方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中,基于AI目标检测和文字识别的自动化运维稽核方法的执行主体可以是个人电脑、智能手机等设备,在本实施例中并不做限制,以下为便于描述,省略执行主体进行各实施例的阐述。在本实施例中,所述基于AI目标检测和文字识别的自动化运维稽核方法包括:
步骤S10,获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,所述稽核工单中至少包含两张稽核图像;
运营商可以工单派发系统通过下发任务工单的形式派发工作任务,工作人员按照任务工单完成工作后,会通过稽核工单提交工作完成情况至运营商,运营商根据工作人员提交的稽核工单审核工作人员的工作完成情况。依据运营商要求,工作人员提交的稽核工单作为工作任务的完成凭证,通常会包含至少两张工作现场的稽核图像,并且至少其中一张稽核图像中会包含所有参与工作任务的工作人员,每张稽核图像上需要标注有拍摄时间、地点、位置(例如经度纬度)等信息,以便于运营商对工作人员的工作进行审核。
本实施例中,基于目标检测和文字识别实现自动化审核稽核工单的工作量,以提高审核稽核工单的工作效率,并降低审核工作的人工成本,同时实现了工单派发到工单稽核的全流程自动化,推进了运营商自动驾驶网络的演进,对推动运营商数字化具有重要意义。
具体地,本实施例中,获取工作人员完成工作任务后提交的稽核工单,稽核工单中至少包含两张稽核图像,至少其中一张稽核图像中会包含所有参与工作任务的工作人员,每张稽核图像上需要标注有拍摄时间。
本实施例中,预先设置有稽核人员检测模型和文字识别模型,其中,稽核人员检测模型用于检测稽核图像中的目标对象,也即参与工作的工作人员,文字识别模型用于从稽核图像中提取拍摄时间,从而基于提取的拍摄时间确定工作时长,获取预设的稽核人员检测模型和文字识别模型。稽核人员检测模型和文字识别模型的结构在此不做限制,例如,在一可行实施方式中,稽核人员检测模型可以基于目标检测的神经网络构建得到,文字识别模型可以基于光学字符识别算法构建得到。
进一步地,在一可行实施方式中,当稽核人员检测模型基于目标检测的神经网络构建得到时,需要使用训练数据集预先对神经网络进行训练,将基于训练完成的神经网络构建得到模型作为预设的稽核人员检测模型。具体地,在对神经网络进行训练的过程中,可以参照传统的训练过程进行训练;也可以在传统的训练过程的基础上进行改进,在此不进行限制。例如,在一可行实施方式中,可以对用于训练神经网络的训练数据集进行预处理,以增加训练数据集中的样本数量,提高样本多样性,从而提高神经网络的泛化能力。
步骤S20,将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量,并基于各个所述工作人员数量确定稽核人员数量;
本实施例中,将各张稽核图像输入稽核人员检测模型得到各张稽核图像中的工作人员数量,由于各张稽核图像中可能存在部分稽核图像没有拍摄到全部的工作人员,因此,需要基于各张稽核图像的工作人员数量确定实际参与工作任务的人员数量(以下称为稽核人员数量以示区分)。
具体地,在一可行实施方式中,可以是将各个工作人员数量中最大的工作人员数量确定为稽核人员数量;在另一可行实施方式中,可以是在确定各张稽核图像的工作人员数量后,对稽核图像进行人脸识别,再基于人脸识别的结果和工作人员数量确定稽核人员数量,以提高稽核人员数量的准确性。示例性地,在一可行实施方式中,可能出现多张稽核图像中的工作人员不同但是数量相同的情况,因此,当工作人员数量最大的稽核图像存在多张时,为了规避以上情况导致的稽核人员数量不准确,可以对这几张稽核图像中的工作人员进行人脸识别;根据人脸识别的结果确定这几张稽核图像中是否存在重复出现的工作人员,将重复出现的工作人员确定为同一个工作人员,计一个工作人员数量;对这几张稽核图像中仅出现一次的工作人员也计一个工作人员数量;累计所有工作人员的数量得到稽核人员数量。
步骤S30,将各张所述稽核图像输入所述文字识别模型得到各个稽核时间,并基于各个所述稽核时间确定稽核时长;
本实施例中,将各张稽核图像输入文字识别模型得到拍摄各张稽核图像的时间(以下称为稽核时间以示区分)。在一可行实施方式中,可以是先通过文字识别确定稽核图像中与时间相关的字样,再对该字样进行文字识别得到稽核时间;也可以是通过文字识别提取稽核图像的所有文字内容,从所有文字内容中确定稽核时间,具体可以根据实际需求进行设置,在此不进行限制。
基于各个稽核时间确定稽核时长。在一可行实施方式中,可以是将最早的稽核时间和最晚的稽核时间之间的时间差作为稽核时长;在另一可行实施方式中,也可以是将最早出现工作人员的稽核时间和最晚出现工作人员的稽核时间之间的时间差作为稽核时长,具体可以根据实际需求进行设置,在此不进行限制。
步骤S40,基于所述稽核人员数量和所述稽核时长确定稽核结果。
本实施例中,基于稽核人员数量和稽核时长确定对稽核工单的审核结果,以下称为稽核结果以示区分。可以理解的是,稽核结果实际上是对于工作人员工作任务完成情况的审核,在一可行实施方式中,稽核结果可以是稽核人员数量和稽核时长;在一可行实施方式中,每个任务工单的任务都具有任务等级,任务等级越高,任务难度越高,需要的稽核人员数量越多或者稽核时长越长,因此,稽核结果也可以是稽核人员数量和稽核时长对应的任务等级,具体可以根据实际需求进行设置。
进一步地,在一可行实施方式中,在确定稽核结果后,还可以按照稽核结果计算实际酬劳。
进一步地,在一可行实施方式中,所述步骤S10:获取预设的稽核人员检测模型和文字识别模型之前,还包括:
步骤S50,基于已标注安全帽和行人的样本图像构建训练数据集,并获取未训练的目标检测网络;
本实施方式中,获取未训练的目标检测神经网络(以下称为目标检测网络以示区分)。目标检测网络的网络架构在此不进行限制,示例性地,在一可行实施方式中,目标检测网络可以是YOLO(You only look once,一种目标检测算法)系列的神经网络。
获取已经标注安全帽和行人的稽核工单的图像(以下样本图像以示区分),基于已标注安全帽和行人的样本图像构建训练数据集。进一步地,在一可行实施方式中,在构建训练数据集前,还可以对样本图像进行预处理,以增广训练样本,从而提高目标检测神经网络的准确性。
步骤S60,基于所述训练数据集对所述未训练的目标检测网络进行训练,得到训练完成的目标检测网络;
基于所述训练数据集对所述未训练的目标检测网络进行训练,得到训练完成的目标检测网络。具体训练过程根据目标检测网络的网络架构确定,在此不进行限制。
步骤S70,基于所述训练完成的目标检测网络构建目标检测模型,并将所述目标检测模型作为预设的稽核人员检测模型。
基于所述训练完成的目标检测网络构建用于检测稽核人员的目标检测模型,并将所述目标检测模型作为预设的稽核人员检测模型。
进一步地,在一可行实施方式中,所述步骤S50:基于已标注安全帽和行人的样本图像构建训练数据集之前,还包括:
步骤S501,获取预设稽核场景下的工单图像,其中,所述预设稽核场景包括传输线路的稽核场景、室内分布的稽核场景、基站的稽核场景、集客专线的稽核场景和家庭带宽的稽核场景;
本实施方式中,由于不同场景下安全帽类型以及图像背景都存在差异,所以需要分别收集多个稽核场景下的稽核工单中的图像作为训练样本构建训练数据集,以更充分地覆盖到稽核场景涉及到的大部分安全帽类型,能保证通过训练完成的目标检测网络识别工作人员的置信度和准确率,以下将需要收集工单图像的稽核场景称为预设稽核场景,将预设稽核场景下的稽核工单中的图像称为工单图像,其中,所述预设稽核场景包括传输线路的稽核场景、室内分布的稽核场景、基站的稽核场景、集客专线的稽核场景和家庭带宽的稽核场景。
进一步地,在一可行实施方式中,可以收集传输线路、室内分布、基站、集客专线和家庭带宽这五个稽核场景对应的5种工单类型,工单类型具体包括:工程随工及配合、线路工程验收、专线盯防、护线宣传和应急通信保障。
步骤S502,对所述工单图像中的安全帽和行人进行标注得到样本图像。
本实施方式中,在获取预设稽核场景下的工单图像后,对所述工单图像中的安全帽和行人进行标注得到样本图像,以基于已标注安全帽和行人的样本图像构建训练数据集。
进一步地,在一可行实施方式中,步骤S502:对所述工单图像中的安全帽和行人进行标注得到样本图像,包括:
步骤S5011,对所述工单图像进行预处理得到处理后图像,其中,所述预处理包括角度旋转、大小缩放、亮度调整、图像降噪和图像增广;
本实施方式中,可以对用于训练神经网络的训练数据集进行预处理,以增加训练数据集中的样本数量,提高样本多样性,从而提高神经网络的泛化能力。具体地,对所述工单图像进行预处理,将预处理后得到的图像称为处理后图像,本实施方式中,对训练数据集进行预处理的过程可以包括:角度旋转、大小缩放、亮度调整、图像降噪和图像增广,其中,图像增广具体可以包括:图像变换、目标移动、网格掩码、裁剪、填充和色调等处理。
步骤S5012,对所述处理后图像中的安全帽和行人进行标注得到样本图像。
本实施方式中,对所述工单图像进行预处理得到处理后图像后,对所述处理后图像中的安全帽和行人进行标注得到样本图像,以基于已标注安全帽和行人的样本图像构建训练数据集。
本实施例中,通过获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,稽核工单中至少包含两张稽核图像;将各张稽核图像输入稽核人员检测模型得到各张稽核图像中的工作人员数量,并基于各个工作人员数量确定稽核人员数量;将各张稽核图像输入文字识别模型得到各个稽核时间,并基于各个稽核时间确定稽核时长;基于稽核人员数量和稽核时长确定稽核结果。相比于人工审核稽核工单,本实施例实现了自动化确定稽核结果,提高了提高审核稽核工单的工作效率并降低审核工作的人工成本,同时实现了工单派发到工单稽核的全流程自动化,推进了运营商自动驾驶网络的演进,对推动运营商数字化具有重要意义。
进一步地,基于上述第一实施例,提出本发明基于AI目标检测和文字识别的自动化运维稽核方法第二实施例,在本实施例中,所述稽核人员检测模型包括训练完成的目标检测网络,所述步骤S20中:将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量,包括:
步骤S201,对于各张所述稽核图像中任一目标图像,将所述目标图像输入所述训练完成的目标检测网络得到所述目标图像中的行人信息和安全帽信息,其中,所述行人信息包括行人在所述目标图像中的行人位置信息,所述安全帽信息包括安全帽在所述目标图像中的安全帽位置信息;
本实施例中,稽核人员检测模型包括训练完成的用于进行目标检测的神经网络,以下称为训练完成的目标检测网络,通过训练完成的目标检测网络检测稽核图像中的工作人员,再基于目标检测结果对工作人员进行计数,本实施例可以准确快速检测出工作人员,从而提高审核稽核工单的工作效率。
具体地,对于各张稽核图像中任一目标图像,将目标图像输入训练完成的目标检测网络得到目标图像中的行人信息和安全帽信息,可以理解的是,本实施例中的训练完成的目标检测网络是已经训练完成的神经网络。其中,行人信息至少包括行人在目标图像中的行人位置信息,安全帽信息至少包括行人在目标图像中的安全帽位置信息,具体地,位置信息可以包括行人的中心点(或者安全帽的中心点)在目标图像中的坐标、高度和宽度。进一步地,在一可行实施方式中,行人信息和安全帽信息中还可以包括置信度,置信度为检测出的目标为行人(或者安全帽)的概率。
步骤S202,基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员,以确定所述目标图像中的工作人员数量。
本实施例中,基于行人位置信息和安全帽位置信息确定目标图像中的工作人员,以确定目标图像中的工作人员数量。
在一可行实施方式中,可以是直接基于行人位置信息和安全帽位置信息确定行人和安全帽之间是否存在重叠,从而确定目标图像中的佩戴有安全帽的行人为工作人员;在另一可行实施方式中,也可以是根据置信度对识别的行人和安全帽进行筛选之后,再基于位置信息确定目标图像中的工作人员,具体可以根据实际需求进行设置,在此不进行限制。
进一步地,在一可行实施方式中,所述步骤S202中:基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员,包括:
步骤S2021,基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框,其中,所述行人方框表征行人在所述目标图像中的位置和范围,所述安全帽方框表征安全帽在所述目标图像中的位置和范围;
由于工作人员在工作期间需要戴安全帽,因此工作人员判定规则可以为:判定人是否戴安全帽,如果戴安全帽则为工作人员,否则为非工作人员,而是否戴安全帽通过行人和安全帽之间的相对位置作为依据进行判定。
本实施方式中,基于行人位置信息确定目标图像中的行人方框,并基于安全帽位置信息确定目标图像中的安全帽方框,其中,行人方框表征行人在目标图像中的位置和范围,安全帽方框表征安全帽在目标图像中的位置和范围。
步骤S2022,将各个所述行人方框中满足预设条件的行人方框对应的行人确定为工作人员,其中,所述预设条件包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值或者安全帽方框在行人方框上方。
本实施方式中,是否戴安全帽以行人方框和安全帽方框的IOU(Intersectionover Union,交并比)作为依据进行判定,预先设置满足工作人员的条件(以下称为预设条件以示区分),预设条件包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值或者安全帽方框在行人方框上方。
行人方框与安全帽方框存在交集表征行人和安全帽存在重叠部分,该条件可以用于初步确认行人佩戴安全帽;若行人方框与安全帽方框不存在交集,则该行人必定不为工作人员。
行人方框与安全帽方框的面积交并比大于预设阈值表征行人与安全帽的重叠面积较大,该条件可以用于确认行人佩戴了安全帽,避免了将其他行人的安全帽误识别为该行人的安全帽的情况;若面积交并比不大于预设阈值,则表示该行人对应的安全帽可能是别人的安全帽,该行人不为工作人员。需要说明的是,预设阈值可以根据实际需求进行设置,在此不进行限制,示例性地,在一可行实施方式中,预设阈值可以是行人方框面积除以安全帽方框面积得到的比值的80%。
安全帽方框在行人方框上方表征安全帽在行人头上,避免了将其他行人的安全帽误识别为该行人的安全帽的情况;若安全帽方框不在行人方框上方,则表示该行人对应的安全帽可能是别人的安全帽,该行人不为工作人员。在具体实施方式中,判断安全帽方框是否在行人方框上方,可以是以行人中心点在目标图像中的坐标(以下称为行人中心坐标)和安全帽中心点在目标图像中的坐标(以下称为安全帽中心坐标)的坐标确定,示例性地,在一可行实施方式中,若以目标图像左下顶点为坐标原点,以左侧边作为y轴和下侧边作为x轴,以地面到天空的方向为y轴正向,则在行人中心点纵坐标小于安全帽中心点纵坐标时,确定安全帽方框在行人方框上方。
在具体实施方式中,预设条件可以是以上三个条件中任一条件,也可以是包括全部的以上三个条件,具体可以根据实际需求进行设置,在此不进行限制。示例性地,在一可行实施方式中,预设条件可以是包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值和安全帽方框在行人方框上方。
本实施方式中,将各个行人方框中满足预设条件的行人方框对应的行人确定为工作人员。
本实施方式中,通过设置预设条件,将各个行人方框中满足预设条件的行人方框对应的行人确定为工作人员,本实施方式可以使确定的工作人员更准确,从而得到的工作人员数量更准确,提高稽核结果的准确性。
进一步地,在一可行实施方式中,所述行人信息和所述安全帽信息中均包括置信度,所述步骤S2021:基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框,包括:
步骤S20211,将所述行人信息中置信度大于预设置信度的行人信息确定为有效行人信息,基于所述有效行人信息中的行人位置信息确定所述目标图像中的行人方框;
本实施方式中,预先设置预设置信度,若行人信息中置信度大于预设置信度,则确定行人信息对应的行人是人的概率较高,将行人信息中置信度大于预设置信度的行人信息确定为有效的行人信息(以下称为有效行人信息),基于有效安全帽信息中的安全帽位置信息确定目标图像中的安全帽方框。
步骤S20212,将所述安全帽信息中置信度大于所述预设置信度的安全帽信息确定为有效安全帽信息,基于所述有效安全帽信息中的安全帽位置信息确定所述目标图像中的安全帽方框。
同理,将安全帽信息中置信度大于预设置信度的安全帽信息确定为有效的安全帽信息,基于有效安全帽信息中的安全帽位置信息确定目标图像中的安全帽方框。
本实施方式中,基于置信度对行人方框和安全帽方框进行筛选,可以使基于行人方框和安全帽方框确定的工作人员更准确,从而得到的工作人员数量更准确,提高稽核结果的准确性。
进一步地,在一可行实施方式中,所述步骤S20中:基于各个所述工作人员数量确定稽核人员数量的步骤包括:
步骤S203,将各个所述工作人员数量中最大的工作人员数量确定为稽核人员数量。
本实施方式中,将各张稽核图像输入稽核人员检测模型得到各张稽核图像中的工作人员数量后,将各个工作人员数量中最大的工作人员数量确定为稽核人员数量。本实施方式可以减少审核稽核工单的工作时间,提高审核稽核工单的工作效率。
本实施例中,通过对于各张稽核图像中任一目标图像,将目标图像输入训练完成的目标检测网络得到目标图像中的行人信息和安全帽信息,其中,行人信息包括行人在目标图像中的行人位置信息,安全帽信息包括安全帽在目标图像中的安全帽位置信息;基于行人位置信息和安全帽位置信息确定目标图像中的工作人员,并确定目标图像中的工作人员数量。本实施例神经网络检测稽核图像中的工作人员,可以准确快速检测出工作人员,从而提高审核稽核工单的工作效率。
进一步地,基于上述第一和/或第二实施例,提出本发明基于AI目标检测和文字识别的自动化运维稽核方法第三实施例,在本实施例中,所述步骤S30中:将各张所述稽核图像输入所述文字识别模型得到各个稽核时间,包括:
步骤S301,将各张所述稽核图像输入所述文字识别模型得到各张所述稽核图像中的图像文字;
本实施例中,将各张稽核图像输入文字识别模型得到各张稽核图像中的所有文字(以下称为图像文字以示区分)。具体地,可以是通过基于Paddle OCR(Optical CharacterRecognition,光学字符识别)文字识别模型识别稽核工单的图像文字。
步骤S302,通过正则匹配从各张所述稽核图像的图像文字中确定各张所述稽核图像各自对应的稽核时间。
通过正则表达式匹配从各张稽核图像的图像文字中确定各张稽核图像各自对应的稽核时间。进一步地,在一可行实施方式中,还可以通过正则表达式对各个稽核时间的格式进行统一,以便于后续的稽核时长的计算。
进一步地,在一可行实施方式中,所述步骤S30中:基于各个所述稽核时间得到稽核时长,包括:
步骤S303,将各个所述稽核时间中最早的稽核时间作为稽核开始时间,将各个所述稽核时间中最晚的稽核时间作为稽核结束时间;
本实施方式中,将各个稽核时间中最早的稽核时间作为一个稽核工单开始的时间(以下称为稽核开始时间),将各个稽核时间中最晚的稽核时间作为一个稽核工单结束的时间(以下称为稽核结束时间)。
步骤S304,通过所述稽核结束时间减去所述稽核开始时间以计算得到稽核时长。
确定稽核结束时间和稽核开始时间后,通过稽核结束时间减去稽核开始时间以计算得到稽核时长。具体计算过程可以是:
Duration=EndTime-StartTime
其中,Duration表示稽核时长,EndTime为稽核结束时间,StartTime为稽核开始时间。
本实施例中,通过将各张稽核图像输入文字识别模型得到各张稽核图像中的图像文字;通过正则匹配从各张稽核图像的图像文字中确定各张稽核图像各自对应的稽核时间。本实施例实现了自动化确定稽核时间,提高了审核稽核工单的工作效率。
进一步地,在一可行实施方式中,稽核人员检测模型基于训练完成的目标检测网络构建,其中训练完成的目标检测网络可以是YOLO系列的神经网络,具体可以是YOLOv3网络。本实施方式中,预先对YOLOv3网络进行训练,训练完成后即得到训练完成的目标检测网络,参照图5,训练的具体过程可以是:
步骤一:稽核图像采集。
由于不同场景下安全帽类型以及图像背景都存在差异,所以需要分别收集5个专业(传输线路、室内分布、基站、集客(即集团客户)专线和家庭带宽)对应的5种工单类型(传输线路专业对应的工程随工及配合、线路工程验收、专线盯防、护线宣传,以及室内分布、基站、集客专线和家庭带宽对应的应急通信保障)的稽核图像作为训练样本,以充分地覆盖到各种稽核场景,保证通过训练完成的目标检测网络来判断工作人员的置信度和准确率。
步骤二:图像预处理。
角度旋转:由于拍摄角度问题会出现图像中工作人员倾斜问题,需要对图像进行角度旋转。
大小缩放:由于拍摄距离过远会出现工作人员目标太小导致识别不准问题,因此需要对存在拍摄距离过远的图像进行缩放。
亮度调整:由于拍摄光线问题,可能会导致图像过亮或者过暗等亮度问题,因此需要对存在亮度异常问题的图像进行亮度调整。
图像降噪:通过基于滤波器的方法对图像进行降噪,减少数字图像中的噪声。
图像增广:基于现有的训练数据生成随机图像(图像变换、目标移动、网格掩码、裁剪、填充和色调等),丰富样本的特征维度,从而保证样本的多样性,提高模型的泛化能力。
步骤三:样本标注并构建训练数据集。
样本标注是在图像预处理完成后,对所有训练样本进行标注安全帽和行人的阶段,具体可以是由工程师通过标注工具MAKE SENSE(图像标注工具)框选出图像中所有的安全帽和人.样本标注后然后将所有训练转成XML格式,用于训练YOLOv3网络得到训练完成的目标检测网络。
步骤四:稽核人员检测模型构建。
本步骤基于收训练数据集对YOLOv3进行训练,得到训练完成的目标检测网络。基于训练完成的目标检测网络构建稽核人员检测模型。在稽核人员检测模型中,还包括IOU算法判断安全帽和人的关系,从而确定稽核图像中的工作人员,确定工作人员数量。
步骤五:文字识别模型构建。
基于OCR(Optical Character Recognition,光学字符识别)文字识别构建文字识别模型,具体可以是基于Paddle OCR(飞浆文字识别套件)构建文字识别模型。
本实施方式中,自动化运维稽核的过程可以是:
基于训练完成的目标检测网络识别工作人员。将稽核图像输入YOLOv3训练完成的目标检测网络,输出稽核图像中识别出来的安全帽信息,每个安全帽信息包括:安全帽位置信息(也即,安全帽中心点坐标(x,y)、高度和宽度)和置信度。本实施方式中,检测出来的安全帽可以用绿色矩形框表示。
基于训练完成的目标检测网络识别行人。将稽核图像输入基于YOLOv3训练完成的目标检测网络,输出图像中识别出来的行人信息,每个人的信息包括:行人位置信息(也即,行人中心点坐标(x,y)、高度和宽度)和置信度。本实施方式中,检测出来的行人可以用蓝色矩形框表示。
基于IOU判断是否为工作人员。本实施方式中,将各个行人方框中满足预设条件的行人方框对应的行人确定为工作人员,其中,预设条件包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值和安全帽方框在行人方框上方。其中,预设阈值可以设定为安全帽方框面积除以行人方框面积的比值的80%,具体面积交并比判断公式如下:
其中,为面积交并比,/>为预设阈值,Boxhat为安全帽方框,Boxperson表示行人方框,Areahat表示安全帽方框面积,Areahat表示行人方框面积。
确定各张稽核图像中的工作人员数量,并基于各个工作人员数量确定稽核人员数量。
基于文字识别模型确定稽核时长。将各张稽核图像输入文字识别模型得到各张稽核图像中的图像文字;通过正则匹配从各张稽核图像的图像文字中确定各张稽核图像各自对应的稽核时间;将各个稽核时间中最早的稽核时间作为稽核开始时间,将各个稽核时间中最晚的稽核时间作为稽核结束时间;通过稽核结束时间减去稽核开始时间计算得到稽核时长。
基于稽核人员数量和稽核时长确定稽核结果。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于AI目标检测和文字识别的自动化运维稽核方法,其特征在于,所述自动化运维稽核方法包括以下步骤:
获取稽核工单,并获取预设的稽核人员检测模型和文字识别模型,其中,所述稽核工单中至少包含两张稽核图像;
将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量,并基于各个所述工作人员数量确定稽核人员数量;
将各张所述稽核图像输入所述文字识别模型得到各个稽核时间,并基于各个所述稽核时间确定稽核时长;
基于所述稽核人员数量和所述稽核时长确定稽核结果。
2.如权利要求1所述的自动化运维稽核方法,其特征在于,所述稽核人员检测模型包括训练完成的目标检测网络,所述将各张所述稽核图像输入所述稽核人员检测模型得到各张所述稽核图像中的工作人员数量的步骤,包括:
对于各张所述稽核图像中任一目标图像,将所述目标图像输入所述训练完成的目标检测网络得到所述目标图像中的行人信息和安全帽信息,其中,所述行人信息包括行人在所述目标图像中的行人位置信息,所述安全帽信息包括安全帽在所述目标图像中的安全帽位置信息;
基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员,以确定所述目标图像中的工作人员数量。
3.如权利要求2所述的自动化运维稽核方法,其特征在于,所述基于所述行人位置信息和所述安全帽位置信息确定所述目标图像中的工作人员的步骤,包括:
基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框;
将各个所述行人方框中满足预设条件的行人方框对应的行人确定为工作人员,其中,所述预设条件包括行人方框与安全帽方框存在交集、行人方框与安全帽方框的面积交并比大于预设阈值或者安全帽方框在行人方框上方。
4.如权利要求3所述的自动化运维稽核方法,其特征在于,所述行人信息和所述安全帽信息中均包括置信度,所述基于所述行人位置信息确定所述目标图像中的行人方框,并基于所述安全帽位置信息确定所述目标图像中的安全帽方框的步骤,包括:
将所述行人信息中置信度大于预设置信度的行人信息确定为有效行人信息,基于所述有效行人信息中的行人位置信息确定所述目标图像中的行人方框;
将所述安全帽信息中置信度大于所述预设置信度的安全帽信息确定为有效安全帽信息,基于所述有效安全帽信息中的安全帽位置信息确定所述目标图像中的安全帽方框。
5.如权利要求1所述的自动化运维稽核方法,其特征在于,所述基于各个所述工作人员数量确定稽核人员数量的步骤,包括:
将各个所述工作人员数量中最大的工作人员数量确定为稽核人员数量。
6.如权利要求1所述的自动化运维稽核方法,其特征在于,所述将各张所述稽核图像输入所述文字识别模型得到各个稽核时间的步骤,包括:
将各张所述稽核图像输入所述文字识别模型得到各张所述稽核图像中的图像文字;
通过正则匹配从各张所述稽核图像的图像文字中确定各张所述稽核图像各自对应的稽核时间。
7.如权利要求1所述的自动化运维稽核方法,其特征在于,所述基于各个所述稽核时间得到稽核时长的步骤,包括:
将各个所述稽核时间中最早的稽核时间作为稽核开始时间,将各个所述稽核时间中最晚的稽核时间作为稽核结束时间;
通过所述稽核结束时间减去所述稽核开始时间以计算得到稽核时长。
8.如权利要求1至7中任一项所述的自动化运维稽核方法,其特征在于,在所述获取预设的稽核人员检测模型和文字识别模型的步骤之前,还包括:
基于已标注安全帽和行人的样本图像构建训练数据集,并获取未训练的目标检测网络;
基于所述训练数据集对所述未训练的目标检测网络进行训练,得到训练完成的目标检测网络;
基于所述训练完成的目标检测网络构建目标检测模型,并将所述目标检测模型作为预设的稽核人员检测模型。
9.如权利要求8所述的自动化运维稽核方法,其特征在于,在所述基于已标注安全帽和行人的样本图像构建训练数据集的步骤之前,还包括:
获取预设稽核场景下的工单图像,其中,所述预设稽核场景包括传输线路的稽核场景、室内分布的稽核场景、基站的稽核场景、集客专线的稽核场景和家庭带宽的稽核场景;
对所述工单图像中的安全帽和行人进行标注得到样本图像。
10.如权利要求9所述的自动化运维稽核方法,其特征在于,所述对所述工单图像中的安全帽和行人进行标注得到样本图像的步骤,包括:
对所述工单图像进行预处理得到处理后图像,其中,所述预处理包括角度旋转、大小缩放、亮度调整、图像降噪和图像增广;
对所述处理后图像中的安全帽和行人进行标注得到样本图像。
CN202310692388.5A 2023-06-12 2023-06-12 基于ai目标检测和文字识别的自动化运维稽核方法 Pending CN116862285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310692388.5A CN116862285A (zh) 2023-06-12 2023-06-12 基于ai目标检测和文字识别的自动化运维稽核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310692388.5A CN116862285A (zh) 2023-06-12 2023-06-12 基于ai目标检测和文字识别的自动化运维稽核方法

Publications (1)

Publication Number Publication Date
CN116862285A true CN116862285A (zh) 2023-10-10

Family

ID=88218081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310692388.5A Pending CN116862285A (zh) 2023-06-12 2023-06-12 基于ai目标检测和文字识别的自动化运维稽核方法

Country Status (1)

Country Link
CN (1) CN116862285A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563756A (zh) * 2017-10-23 2018-01-09 福州领头虎软件有限公司 一种电子证据的验证方法及系统
CN109801394A (zh) * 2018-12-29 2019-05-24 南京天溯自动化控制系统有限公司 一种工作人员考勤方法及装置、电子设备和可读存储介质
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN112561387A (zh) * 2020-12-24 2021-03-26 中交第四航务工程局有限公司 一种基于可视化和人员管理的工效分析方法和系统
CN113920469A (zh) * 2021-09-15 2022-01-11 国网浙江省电力有限公司电力科学研究院 一种安全帽佩戴检测方法
CN114429556A (zh) * 2020-10-15 2022-05-03 中移动信息技术有限公司 一种图片稽核方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563756A (zh) * 2017-10-23 2018-01-09 福州领头虎软件有限公司 一种电子证据的验证方法及系统
CN109801394A (zh) * 2018-12-29 2019-05-24 南京天溯自动化控制系统有限公司 一种工作人员考勤方法及装置、电子设备和可读存储介质
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN114429556A (zh) * 2020-10-15 2022-05-03 中移动信息技术有限公司 一种图片稽核方法及装置
CN112561387A (zh) * 2020-12-24 2021-03-26 中交第四航务工程局有限公司 一种基于可视化和人员管理的工效分析方法和系统
CN113920469A (zh) * 2021-09-15 2022-01-11 国网浙江省电力有限公司电力科学研究院 一种安全帽佩戴检测方法

Similar Documents

Publication Publication Date Title
US20200202183A1 (en) System and Method for Detecting Features in Aerial Images Using Disparity Mapping and Segmentation Techniques
CN112149761B (zh) 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN112288716B (zh) 一种钢卷打捆状态检测方法、系统、终端及介质
CN110865654A (zh) 一种电网无人机巡检缺陷处理方法
CN110543866A (zh) 一种基建工程施工人员的安全管理系统及方法
JP2019045922A (ja) 変状箇所検出装置、変状箇所検出プログラムおよび変状箇所検出方法
CN113344745A (zh) 基于远程视频监控和云计算的工程项目智慧工地数据采集分析一体化云平台
CN114548912A (zh) 建筑工程项目管理用全过程追踪方法及系统
CN115410224A (zh) 基于图像数据的电力作业现场违章辨识系统及方法
CN114358464A (zh) 作业风险评估方法及装置、电子设备和存储介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN113743725B (zh) 基于边缘计算的登高作业人员的登高资质检测方法及系统
CN113378754B (zh) 一种工地裸土监测方法
CN114091944A (zh) 云端协同的配网工程现场作业分析决策系统
CN113111728A (zh) 面向变电站内电力生产作业风险的智能识别方法及系统
CN116862285A (zh) 基于ai目标检测和文字识别的自动化运维稽核方法
CN110135274B (zh) 一种基于人脸识别的人流量统计方法
JP2014146181A (ja) 作業情報記録装置、表示システム、及びプログラム
CN116543327A (zh) 作业人员工种识别的方法、装置、计算机设备及存储介质
CN114627463A (zh) 一种基于机器识别的非接触式配电数据识别方法
CN116664066B (zh) 一种管理企业计划收入与实际收入的方法及系统
CN111225297A (zh) 一种宽带无源光网络端口资源整治方法及系统
CN116881831B (zh) 基于遥感技术的道路识别方法、系统及存储介质
CN116883661B (zh) 一种基于目标识别与图像处理的动火作业检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination