CN116468975A - 人机判别图像能力评估方法及其系统 - Google Patents

人机判别图像能力评估方法及其系统 Download PDF

Info

Publication number
CN116468975A
CN116468975A CN202310338710.4A CN202310338710A CN116468975A CN 116468975 A CN116468975 A CN 116468975A CN 202310338710 A CN202310338710 A CN 202310338710A CN 116468975 A CN116468975 A CN 116468975A
Authority
CN
China
Prior art keywords
frame
manual
detection
labeling
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310338710.4A
Other languages
English (en)
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Luhang Technology Co ltd
Original Assignee
Shanghai Luhang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Luhang Technology Co ltd filed Critical Shanghai Luhang Technology Co ltd
Priority to CN202310338710.4A priority Critical patent/CN116468975A/zh
Publication of CN116468975A publication Critical patent/CN116468975A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人机判别图像能力评估方法及其系统，通过对AI检测算法的AI标注框和人工判别的人工标注框，分别确定标志物的位置，根据AI标注框与人工标注框的交叉关系测算方法，实现人机判别图像能力的实时评估。基于上述方法构建人机判别图像能力评估其系统，一方面解决实时的预警作用，另一方面可为不同场景中的人员管理提供有力的监督数据支撑和培训素材支持。

Description

人机判别图像能力评估方法及其系统
技术领域
本发明涉及违禁品检测领域，具体地，涉及一种人机判别图像能力评估方法及其系统。
背景技术
根据民航相关法律法规，旅客乘坐飞机所携带的随身行李需经过严格的安全检查。民航业对随身行李检查均采用X光机进行风险排查，由具有执业资格证书的x光开机员对每一张行李照片进行判别，虽然近年来利用图像识别的人工智能技术在很多行业中得到广泛应用，但是由于民航业的特殊性、安全性等综合因素考虑，利用AI技术对违禁品进行有效识别并未在机场随身行李检查中得到足够有效的应用。根据人工智能技术的特点，通过机器学习手段进行图像识别，需要依靠大量的图片进行模型训练，而各类违禁品(如：电子打火机)日新月异，短时间内无法依靠海量图片来进行模型的训练和测试，所以完全依靠人工智能技术来对违禁品进行识别就显得非常困难。
目前，国内外大型机场均采用人工为主，外加AI技术进行辅助的方式来进行X光图片的判别。民航服务业尤其是安检服务环节，既要保障飞行安全，又要保证机场运行高效、通畅，X光开机员在巨大的客流压力下存在遗漏图片的风险，虽然现场有图像复查的保障措施，但是一旦发生漏检，再去追回物品无疑给机场正常运行带来阻碍，对旅客感受度也会有影响。所以，如何一直保证X光开机员保持集中注意力的工作状态一直是民航业内关注的问题。
业内目前对X光开机员保持注意力的方式除了对上岗人员进行定期轮换之外，部分机场尝试过通过眼动追踪、视线捕捉的方式对开机员进行监督，但是效果并不理想。由于机场旅客检查的X光机的特点，X光开机员位于整个通道的中部，一旦开机员发现有疑似违禁物品，需要进行实物检查并通知其他现场辅助人员进行开箱检查，这是X光开机员的视线势必会离开屏幕，如果通过视线捕捉、眼动追踪的方式判断开机员的注意力，这时将无法区别开机员是“走神”还是在工作，无法足够有效的对开机员进行实时的注意力监督。
另外，对于X光机开机员(判图员)来说，虽然是经过严格的学习、考核进行选拔，但是违禁品的图像毕竟有限，图像知识库实效性较差，必须通过日常的“实战”进行有效的技能提升。但是，根据目前业内主流的X光机开机系统厂商提供的平台，开机员是无法对自己的判图技能进行可以量化的分析的，对于机场管理方(或航空公司)来说，员工的技能画像缺失也会给机场的长期安全运行带来安全风险隐患。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种人机判别图像能力评估方法及其系统，以实现对人工注意力的实时监督，以及相关检测算法的量化分析。
根据本发明提供的一种人机判别图像能力评估方法，根据图像中AI标注框与人工标注框的交叉关系测算方法获取能力识别值，实现人机判别图像能力的实时评估。
进一步的，所述AI标注框通过对图像进行AI检测算法而获得；所述人工标注框通过对图像进行人工判别而获得。
进一步的，所述AI标注框与人工标注框的交叉关系测算方法是在对同一标志物的识别范围内，基于AI标注框与人工标注框的交叉关系测算漏检值，对所述漏检值的数据进行采集分析，获取能力识别值。
进一步的，所述AI标注框与人工标注框的交叉关系定义为AI标注框与人工标注框在其框内分别涵盖的像素集合的交并比逻辑计算的重合比值；
所述重合比值的计算公式：
上式中，X表示AI标注框与人工标注框的重合比值，A表示AI标注框内的像素集合，B表示人工标注框内的像素集合，A∩B表示AI标注框与人工标注框重合部分的像素集合；A∪B表示AI标注框与人工标注框覆盖的所有像素集合；其中a、b为预设值。
进一步的，所述能力识别值包括有效检测值、AI漏检值、人工漏检值；基于AI标注框与人工标注框的重合比值通过漏检比对值转换，获得漏检比对值，所述漏检比对值与设定的漏检阈值相比对，获得有效检测值、AI漏检值、人工漏检值；
所述漏检比对值转换通过公式S＝X实现，其中S为漏检比对值，X为重合比值；
所述有效检测值是当漏检比对值不小于漏检阈值时，表示AI标注框和人工标注框都存在；
所述AI漏检值是当漏检比对值为a时，表示AI标注框不存在，AI检测算法存在漏检；
所述人工漏检值是当漏检比对值为b时，表示人工标注框不存在，人工判别存在漏检。
进一步的，所述漏检阈值的设定方法包括以下步骤：
T1在训练模型开始前，设定初始值S0；输出漏检比对值S＞初始值S0条件下所有重合比值{x0，x1，x2…xi}的重合框集合，并进行人工判断：
T2当某一重叠框被判定为无效时，设定重叠框对应的第一漏检比对值S1＝xi；第二漏检比对值S2＝S1+d；其中d是常数；判定S2是否大于S0，如果S2＞S0，则S0被重新赋值为S2；反之，S0仍为S0；
T3当某一重叠框被判定为有效时，设定重叠框对应的第三漏检比对值S3＝xi；判定S3是否小于S0，如果S3＜S0，则S0被重新赋值为S3；反之，S0仍为S0；
T4通过步骤T2或者T3后，重新赋值的S0重复步骤T1-T3，通过对整个数据库的若干次数据迭代后，输出S0为漏检阈值。
进一步的，所述AI检测算法的AI标注框为具有一定角度的矩形框。
进一步的，所述人工判别的人工标注框是现场工作人员通过图像显示界面对图像进行实时判别，对检测的标志物进行人工标注的人工标注框。
本发明还提供了一种人机判别图像能力评估系统，基于上文所述的人机判别图像能力评估方法，还包括前端作业模块、监督模块、数据分析模块；
所述前端作业模块包括AI检测识别单元、人工作业单元；
所述监督模块包括框图检测单元、漏检鉴定单元；
所述数据分析模块包括能力画像显示单元；
所述AI检测识别单元通过AI检测算法对图像采集系统的视频流进行分析，对标志物进行识别判断定位AI标注框；所述人工作业单元通过人工判别对标志物进行识别判断定位人工标注框；
所述框图检测单元对AI标注框、人工标注框进行识别定位；
所述漏检鉴定单元基于框图检测单元对AI标注框、人工标注框的识别定位通过AI标注框与人工标注框的交叉关系测算方法获取监督数据，根据监督数据的实时情况通过漏检警示装置作出警示预告，实现人机判别图像能力的实时评估与监督；
所述数据分析模块对监督数据进行采集、统计、分析，通过能力画像显示单元对作业员的能力评估数据进行可视化。
进一步的，数据分析模块还包括依赖性警示单元；所述依赖性警示单元设有警告门限阈值，当通过AI标注框与人工标注框的交叉关系测算方法所获取的监督数据中人工判别漏检值超过门限阈值时，触发依赖警示装置，防止作业人员对AI检测单元的依赖。
与现有技术相比，本发明具有如下的有益效果：
1、本发明根据AI标注框与人工标注框的交叉关系测算方法，能够有效的实现人机判别图像能力的实时评估，一方面可以解决实时的预警作用，比如对人员的注意力起到提醒；另一方面，对其他的AI算法可以起到质量监督的作用，还可以为不同场景中的人员管理提供有力的监督数据支撑和培训素材支持，比如在民航机场违禁品识别能力的管理中，有益于对开机人员(判图员)进行精准考核。
2、本发明的AI检测算法，在检测速度和检测精度上都有不同程度的提高，并且所占用的GPU要少得多，另外采用的带角度的矩形框呈现方法能够与物品大小和存放形态的位置范围匹配度更高，更利于现场工作人员作业。
3、本发明的系统在民航机场的应用场景中，通过框图检测单元具备了识别违禁品和人员打框的能力后，能够通过数据分析模块进行分析和统计任何一个判图员的违禁品识别能力，对不同违禁品的识别进行数据统计，包括违禁品识别画像，违禁品识别的反应时间，具备针对判图员个人的复盘能力，进而进行有针对性的培训训练。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种人机判别图像能力评估方法的逻辑结构示意图；
图2为本发明在行李违禁品检查应用中关于根据重合比值公式进行漏检分组的示意图；
图3为本发明关于漏检阈值S0设定方法的逻辑流程示意图；
图4为本发明一种人机判别图像能力评估系统的逻辑结构示意图；
图5为本发明系统在以机场X光机判图员的违禁品检测的管理监督场景为例的运行示意图
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供了一种人机判别图像能力评估方法，如图1所示，通过对AI检测算法的AI标注框和人工判别的人工标注框，分别确定某一图像中标志物的位置，根据图像中AI标注框与人工标注框的交叉关系测算方法，实现人机判别图像能力的实时评估。
AI检测算法的AI标注框可以是规则框型也可以是不规则框型，本实例中采用了具有一定角度的矩形框。角度可以根据所检测的标志物的放置形态来调整，使得AI标注框与标志物的位置定位范围的匹配度更高。具体的，AI检测算法是ppyoloe-r算法与DFL(Distribution Focal Loss)预测角度算法相结合，通过对特定品类图像模型进行检测学习，实现对特定物的检测，并对特定物的检测结果通过AI标注框呈现。特别的，在民航领域中，特定品类图像模型采用的是违禁品图像模型，实现对X光机下形成的图像进行违禁品检测。根据实验所得，相比于通过Centernet算法或者其他算法实现的违禁品检测，本发明的AI检测算法，在检测速度和检测精度上都有不同程度的提高，并且所占用的GPU要少得多，另外采用的带角度的矩形框呈现方法能够与物品大小和存放形态的位置范围匹配度更高，更利于现场工作人员作业。
人工判别的人工标注框是现场工作人员通过图像显示界面对图像进行实时判别，对检测的标志物进行人工标注的人工标注框。人工标注框同样可以是规则框型也可以是不规则框型。在本实施例中，采用了常规的垂直矩形框，不但能够与AI标志框的带角度标注框作有效的区分，还能够使得AI标注框与人工标注框的交叉关系测算方法的运行更加高效精准。
AI标注框与人工标注框的交叉关系测算方法是在对同一标志物的识别范围内，基于AI标注框与人工标注框的交叉关系测算漏检值，对漏检值的数据进行采集分析，获取能力识别值。具体的，AI标注框与人工标注框的交叉关系通过AI标注框与人工标注框在其框内分别涵盖的像素集合的交并比的逻辑计算方法来定义，并获得AI标注框与人工标注框的重合比值：
上式中，X表示AI标注框与人工标注框的重合比值，A表示AI标注框内的像素集合，B表示人工标注框内的像素集合，A∩B表示AI标注框与人工标注框重合部分的像素集合；A∪B表示AI标注框与人工标注框覆盖的所有像素集合。可见，如果在A、B都存在有效值时，也就是AI标注框和人工标注框都存在时，X的取值为[0，1]。如果A、B任一不存在有效值时，也就是AI标注框和人工标注框中有一个不存在，X值则被赋值a或b，其中a、b值为预设值，可以在|a|＞1，|b|＞1范围内根据实际情况设定。
基于AI标注框与人工标注框的重合比值X通过漏检比对值转换公式S＝X，获得的漏检比对值S与设定的漏检阈值S0相比，当S≥S0时，表示AI标注框和人工标注框都存在，是有效检测值Sval＝1；当S＝a时，表示AI标注框不存在，AI检测算法存在漏检，此时AI漏检值SAI＝1；当S＝b时，表示人工判别存在漏检，人工判别漏检值Sman＝1。对有效检测值、AI漏检值、人工判别漏检值分别进行数值累计，进而获得基于检测数据库总量下的相应评估数据。如图2所示，在对行李违禁品携带的应用场景中，行李通过X光机进行行李检查，生成X光图片，利用AI标注框与人工标注框的交叉关系测算方法检测AI检测算法的AI标注框，和人工判别的人工标注框，并根据上文的重合比值公式对其进行分组，通过AI标注框和人工标注框的交并比进行直接关联，即AI标注框存在，人工标注框不存在，分组为人工漏检；AI标注框不存在，人工标注框存在，分组为AI漏检;AI标注框存在，人工标注框也存在，并且漏检比对值大于漏检阈值；分组为AI标注框和人工标注框都识别到了违禁品。
特别的，关于本发明人机判别图像能力评估方法中AI检测算法和人工判别所作用的图像的选定方法如下：通过图像采集装置对检测物进行若干图像信息采集，通过既定规则确定进入人机判别图像能力评估方法检测的图像。其中，图像选定的要求为：图像信息清晰完整，采集时间选择不宜过早。采集的既定规则可以是通过图像采集的顺序来确定，比如选取采集时间最晚的图像信息最完整的图像；也可以通过特定标识来选定符合选定图像选定要求的图像。比如在上述对行李违禁品携带的应用场景中，通过图像采集装置X光机采集的X光图片，在实际应用中，可以选用检测行李离开X光机前一时刻的X光图片。
关于S0的设定方法如下：如图3所示：
T1在训练模型开始前，设定一个较低的初始值S0，比如S0＝0.1；输出S＞S0条件下所有{x0，x1，x2…xi}的重合框集合，即AI标注框与人工标注框的重叠框的结果，并进行人工判断：
T2当某一重叠框被判定为无效时，设定重叠框对应的第一漏检比对值S1＝xi；第二漏检比对值S2＝S1+d；其中d是常数，技术人员可以根据实际情况设定，在本实施例中，d设定为0.01。判定S2是否大于S0，如果S2＞S0，则S0被重新赋值为S2；反之，S0仍为S0。
T3当某一重叠框被判定为有效时，设定重叠框对应的第三漏检比对值S3＝xi；判定S3是否小于S0，如果S3＜S0，则S0被重新赋值为S3；反之，S0仍为S0。
T4通过步骤T2或者T3后，重新赋值的S0重复步骤T1-T3，实现对整个数据库的数据迭代后，输出S0为漏检阈值。
在漏检阈值S0设定后，通过实际检测的漏检比对值S，分别获得Sval、SAI、Sman的有效数据值的能力识别值并累计，根据检测数据库的总量获得能力识别有效率Sval％、AI漏检率SAI％、人工漏检率Sman％等评估数据。
如图4所示本实施例还提出了基于人机判别图像能力评估方法的人机判别图像能力评估系统，包括前端作业模块、监督模块、数据分析模块；前端作业模块包括AI检测识别单元、人工作业单元；监督模块包括框图检测单元、漏检鉴定单元；数据分析模块包括能力画像显示单元。AI检测识别单元通过AI检测算法对X光开机设备系统的视频流进行分析，对标志物进行识别判断定位AI标注框；人工作业单元通过人工判别对编织物进行识别判断定位人工标注框。框图检测单元对AI标注框、人工标注框进行识别定位；漏检鉴定单元基于框图检测单元对AI标注框、人工标注框的识别定位通过AI标注框与人工标注框的交叉关系测算方法获取监督数据，根据监督数据的实时情况通过漏检警示装置作出警示预告，实现人机判别图像能力的实时评估与监督；比如当系统检测发现存在漏检，此时触发漏检警示装置，作业人员能够及时纠正，实现实时监督。数据分析模块对监督数据进行采集、统计、分析，通过能力画像显示单元对作业员的能力评估数据进行可视化。
特别的，数据分析模块还包括依赖性警示单元；依赖性警示单元设有警告门限阈值，当通过AI标注框与人工标注框的交叉关系测算方法所获取的监督数据中人工判别漏检值超过门限阈值时，触发依赖警示装置，防止作业人员对AI检测单元的依赖。比如在实际民航机场违禁品检测的应用场景中，开机员不可避免地存在对AI检测算法的依赖，以为有了AI检测算法可以放松警惕，放松人工对图像的关注，只要系统有告警提示时再去关注查找，但是由于存在AI检测算法的实效更新低于新型违禁品的更新速度的可能性，所以单纯依赖AI检测算法将极有可能存在漏检。为了解决人员的依赖性问题，系统会对多次遗漏的开机员进行关注，并设置可调整的门限阀值，如果连续发生多次依赖警示提示，则系统自动通知安检现场相关管理人员，以督促、查看具体异常情况，从而及时纠正开机员的工作状态。如此，本发明根据AI标注框与人工标注框的交叉关系测算方法，能够有效的实现人机判别图像能力的实时评估，一方面可以解决实时的预警作用，另一方面可以为不同场景中的人员管理提供有力的监督数据支撑和培训素材支持。
下面以机场X光机判图员的违禁品检测的管理监督场景为例，对本发明作具体原理性说明：
如图5所示所示，系统通过AI检测识别单元对X光开机设备系统的视频流取流进行分析，可以对违禁品进行识别判断，假如AI检测算法发现违禁品，同时系统通过框图检测单元又检测到了判图员也对违禁品通过人工作业单元进行了打框标记，那么系统判断为正常通过。如果AI检测算法发现违禁品，但是判图人员并未打框，系统通过漏检鉴定单元的交叉关系测算方法，判定判图员漏检，那么系统此时会通过警示装置给出声光提示，防止判图员漏检。
系统在通过框图检测单元具备了识别违禁品和人员打框的能力后，能够通过数据分析模块进行分析和统计任何一个判图员的违禁品识别能力，对不同违禁品的识别进行数据统计，包括违禁品识别画像，违禁品识别的反应时间，具备针对判图员个人的复盘能力，进而进行有针对性的培训训练。
另一方面，图像识别等人工智能检测技术已经在众多行业内得到广泛应用，但是各家算法模型和识别能力参差不齐。另外，根据民航业内的特点，需要对新型违禁品进行持续不断的检测模型优化和升级，对算法更新的实效性，检测的有效性均有较高要求，为了降低机场管理方(或航空公司)承受相关风险，可以通过独立的监督模块的漏检鉴定单元来对X光机原有的图像识别算法进行识别率等方面的质量监督，使得管理方一直掌握X光机系统的运行情况，降低系统运行风险。如此，监督模块的漏检鉴定单元除了可以根据框图检测单元实时检测AI识别模块中是否存在漏检的情况外，还可以对X光机主机厂的算法识别能力进行实时监督，具备了鉴别对X光机主机原厂的功能性监督能力，从而实现对机场违禁品检测环境的全方位质量保证的控制力。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种人机判别图像能力评估方法，其特征在于，对图像中AI标注框与人工标注框通过AI标注框与人工标注框的交叉关系测算方法获取能力识别值，实现人机判别图像能力的实时评估。
2.根据权利要求1所述的人机判别图像能力评估方法，其特征在于，所述AI标注框通过对图像进行进行AI检测算法而获得；所述人工标注框通过对图像进行人工判别而获得。
3.根据权利要求2所述的人机判别图像能力评估方法，其特征在于，所述AI标注框与人工标注框的交叉关系测算方法是在对同一标志物的识别范围内，基于AI标注框与人工标注框的交叉关系测算漏检值，对所述漏检值的数据进行采集分析，获取能力识别值。
4.根据权利要求3所述的人机判别图像能力评估方法，其特征在于，所述AI标注框与人工标注框的交叉关系定义为AI标注框与人工标注框在其框内分别涵盖的像素集合的交并比逻辑计算的重合比值；
所述重合比值的计算公式：
上式中，X表示AI标注框与人工标注框的重合比值，A表示AI标注框内的像素集合，B表示人工标注框内的像素集合，A∩B表示AI标注框与人工标注框重合部分的像素集合；A∪B表示AI标注框与人工标注框覆盖的所有像素集合；其中a、b为预设值。
5.根据权利要求4所述的人机判别图像能力评估方法，其特征在于，所述能力识别值包括有效检测值、AI漏检值、人工漏检值；基于AI标注框与人工标注框的重合比值通过漏检比对值转换，获得漏检比对值，所述漏检比对值与设定的漏检阈值相比对，获得有效检测值、AI漏检值、人工漏检值；
所述漏检比对值转换通过公式S＝X实现，其中S为漏检比对值，X为重合比值；
所述有效检测值是当漏检比对值不小于漏检阈值时，表示AI标注框和人工标注框都存在；
所述AI漏检值是当漏检比对值为a时，表示AI标注框不存在，AI检测算法存在漏检；
所述人工漏检值是当漏检比对值为b时，表示人工标注框不存在，人工判别存在漏检。
6.根据权利要求5所述的人机判别图像能力评估方法，其特征在于，所述漏检阈值的设定方法包括以下步骤：
T1在训练模型开始前，设定初始值S0；输出漏检比对值S>初始值S0条件下所有重合比值{x0，x1，x2…xi}的重合框集合，并进行人工判断：
T2当某一重叠框被判定为无效时，设定重叠框对应的第一漏检比对值S1＝xi；第二漏检比对值S2＝S1+d；其中d是常数；判定S2是否大于S0，如果S2>S0,则S0被重新赋值为S2；反之，S0仍为S0；
T3当某一重叠框被判定为有效时，设定重叠框对应的第三漏检比对值S3＝xi；判定S3是否小于S0，如果S3<S0,则S0被重新赋值为S3；反之，S0仍为S0；
T4通过步骤T2或者T3后，重新赋值的S0重复步骤T1-T3，通过对整个数据库的若干次数据迭代后，输出S0为漏检阈值。
7.根据权利要求2所述的人机判别图像能力评估方法，其特征在于，所述AI检测算法的AI标注框为具有一定角度的矩形框。
8.根据权利要求2所述的人机判别图像能力评估方法，其特征在于，所述人工判别的人工标注框是现场工作人员通过图像显示界面对图像进行实时判别，对检测的标志物进行人工标注的人工标注框。
9.一种人机判别图像能力评估系统，其特征在于，基于权利要求1-8任一项所述的人机判别图像能力评估方法，还包括前端作业模块、监督模块、数据分析模块；
所述前端作业模块包括AI检测识别单元、人工作业单元；
所述监督模块包括框图检测单元、漏检鉴定单元；
所述数据分析模块包括能力画像显示单元；
所述AI检测识别单元通过AI检测算法对图像采集系统的视频流进行分析，对标志物进行识别判断定位AI标注框；
所述人工作业单元通过人工判别对标志物进行识别判断定位人工标注框；
所述框图检测单元对AI标注框、人工标注框进行识别定位；
所述漏检鉴定单元基于框图检测单元对AI标注框、人工标注框的识别定位通过AI标注框与人工标注框的交叉关系测算方法获取监督数据，根据监督数据的实时情况通过漏检警示装置作出警示预告，实现人机判别图像能力的实时评估与监督；
所述数据分析模块对监督数据进行采集、统计、分析，通过能力画像显示单元对作业员的能力评估数据进行可视化。
10.根据权利要求9所述的人机判别图像能力评估系统，其特征在于，数据分析模块还包括依赖性警示单元；所述依赖性警示单元设有警告门限阈值，当通过AI标注框与人工标注框的交叉关系测算方法所获取的监督数据中人工判别漏检值超过门限阈值时，触发依赖警示装置，防止作业人员对AI检测单元的依赖。
CN202310338710.4A 2023-03-31 2023-03-31 人机判别图像能力评估方法及其系统 Pending CN116468975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310338710.4A CN116468975A (zh) 2023-03-31 2023-03-31 人机判别图像能力评估方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310338710.4A CN116468975A (zh) 2023-03-31 2023-03-31 人机判别图像能力评估方法及其系统

Publications (1)

Publication Number Publication Date
CN116468975A true CN116468975A (zh) 2023-07-21

Family

ID=87184908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310338710.4A Pending CN116468975A (zh) 2023-03-31 2023-03-31 人机判别图像能力评估方法及其系统

Country Status (1)

Country Link
CN (1) CN116468975A (zh)

Similar Documents

Publication Publication Date Title
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN111967400B (zh) 一种基于人工智能的校园安全监测预警管理系统
CN106710007B (zh) 一种基于实名验票制的快速检票验票方法及其系统
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN109145789A (zh) 供电系统安全作业保障方法及系统
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
CN110889339B (zh) 基于头肩检测的危险区域分级预警方法与系统
CN109543542A (zh) 一种特定场所人员着装是否规范的判定方法
CN111539313A (zh) 考试作弊行为检测方法及系统
CN102262727A (zh) 客户采集终端人脸图像质量实时监控方法
CN112163572A (zh) 识别对象的方法和装置
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN111259855A (zh) 基于深度学习的移动式安全帽佩戴检测方法
CN115880722A (zh) 一种配电作业人员穿戴的智能识别方法、系统和介质
CN116665419B (zh) 电力生产作业中基于ai分析的故障智能预警系统及方法
CN117291430A (zh) 一种基于机器视觉的安全生产检测方法及装置
CN113052125A (zh) 一种施工现场违章图像识别告警方法
CN116468975A (zh) 人机判别图像能力评估方法及其系统
CN115376268B (zh) 一种基于图像识别的监控报警消防联动系统
CN116977904A (zh) 一种基于YOLOv5的快速识别大场景多人工衣检测方法
CN115909191A (zh) 一种加气站操作人员气体泄露检测行为的分析方法
CN112784914B (zh) 一种基于云端处理的管廊视频智能属性检测方法及系统
CN115063921A (zh) 一种工地智能闸机系统及搭建方法
CN113780224A (zh) 一种变电站无人化巡视方法及系统
CN114565883A (zh) 一种设备的运行故障用图形识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination