CN116189101B - 一种安检员视觉作业规范识别判定和引导的方法及系统 - Google Patents
一种安检员视觉作业规范识别判定和引导的方法及系统 Download PDFInfo
- Publication number
- CN116189101B CN116189101B CN202310478421.4A CN202310478421A CN116189101B CN 116189101 B CN116189101 B CN 116189101B CN 202310478421 A CN202310478421 A CN 202310478421A CN 116189101 B CN116189101 B CN 116189101B
- Authority
- CN
- China
- Prior art keywords
- image
- inspected
- visual
- judging
- review
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种安检员视觉作业规范识别判定和引导的方法及系统。该方法包括如下步骤:实时获取过检物品图像,同时实时捕获安检员对过检物品图像的视觉行为数据;针对过检物品图像,利用重点区域关注度预测模型生成重点区域关注度预测信息;结合过检物品图像、重点区域关注度预测信息、安检员对过检物品图像的视觉行为数据进行综合评估,判定视觉作业行为的质量;根据判定的视觉作业行为进行作业引导和回看处理。利用本发明,可以解决安检岗位作业过程中人员风险实时感知和自主控制的问题。
Description
技术领域
本发明涉及一种安检员视觉作业规范识别判定和引导的方法,同时也涉及一种安检员视觉作业规范识别判定和引导的系统,属于数据识别技术领域。
背景技术
物品安全检查(包括但不限于:行李检查、货物检查)的核心任务是利用技术手段对过检物品进行探查,判断其安全性,这一任务的完成主体是安检员。按照岗位要求,所有安检员在岗工作时应遵从相应的行为规范,尤其是负责图像识别的安检员,作为关键岗位,其任务完成质量尤为重要,因此对安检员岗位有更加严格的行为规范要求。为了保证安检员的作业规范,除了依靠制度激励人员自身主观责任意识以外,还需要采用可靠的技术手段在安检过程中进行关键信息获取,使工作过程有痕迹、能复现,并且风险点可感知。
在安检过程中,关键信息的获取需要多模态、全方位捕获和完成任务相关的工作行为数据,尤其是针对有图像识别任务的关键岗位,仅依靠场景视频监控中的人体姿态监测、头部姿态识别或疲劳检测,都是只针对人员行为表象的信息获取,基于此类行为数据的过程监管会出现风险行为模式难界定的问题,导致风险告警过于粗放,安检员的警惕性反而会下降。若要做到精准的风险告警,需要获取安检员的图像识别行为数据,即和图像识别任务相关的视觉行为数据,真正掌握支撑安检员决策的认知过程,才会准确界定“漏判”、“盲判”等风险最大的行为模式,从而支撑监管实现“无事不扰”但“有事必究”的管控目标。
在申请号为201910914113.5的中国专利申请中,公开了一种工人作业工步规范视觉识别判定和指导方法。该方法先“获取标准作业的视频后,定义标准作业和无效作业的区别,获取计算工步对应的阈值的参数,根据区别和参数确定标准作业对应的监控区域的图像的特征值的阈值”进行识别分析,并“判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过阈值”,由此获得“工人动作和标准模型是否一致”的判定。但是,该方法仅仅适于对动作的识别,无法对人眼的运动轨迹进行识别或检测。
另外,在专利号为ZL 201811046245.2的中国发明专利中,公开了一种机车乘务员值乘标准化监控系统。该系统提出了涵盖“乘务员作业手势并实时智能分析和评分”、“乘务员呼唤应答语音实时智能分析和评分”及“乘务员瞭望状态视觉识别和提醒注意”的系统级解决方案。但是,该系统主要针对乘务员值乘作业过程中,瞭望状态视觉识别服务实时检测乘务员瞭望状态,出现闭眼睛、左顾右盼、离岗、打哈欠等情况,未能对其视觉轨迹进行实时跟踪和监督。
发明内容
本发明所要解决的首要技术问题在于提供一种安检员视觉作业规范识别判定和引导的方法。
本发明所要解决的另一技术问题在于提供一种安检员视觉作业规范识别判定和引导的系统。
为实现上述技术目的,本发明采用以下的技术方案:
根据本发明实施例的第一方面,提供一种安检员视觉作业规范识别判定和引导的方法,包括如下步骤:
S1:实时获取过检物品图像,同时实时捕获安检员对过检物品图像的视觉行为数据;
S2:针对所述过检物品图像,利用重点区域关注度预测模型生成重点区域关注度预测信息;
S3:结合过检物品图像、重点区域关注度预测信息、安检员对过检物品图像的视觉行为数据进行综合评估,判定视觉作业行为的质量;
S4:根据判定的视觉作业行为进行作业引导和回看处理。
其中较优地,所述视觉行为数据包括但不限于:视线落点位置、实时视线跟踪轨迹。
其中较优地,所述视线落点位置通过如下子步骤获得:将安检员注视的视线落点视为圆形区域,其中视线驻留时间越长,圆形区域的直径越大;将多个视线落点表示为不规则重叠的多个圆形区域,计算多个重叠区域的最大外接矩形面积,计算得到的结果作为所述视线落点位置。
其中较优地,所述实时视线跟踪轨迹为实时跟踪视线落点转移过程形成的轨迹线路。
其中较优地,步骤S3中的综合评估包括图像重点区域命中率的计算和全部过检物品图像的搜索覆盖率的计算。
其中较优地,所述图像重点区域命中率的计算包括如下子步骤:根据几何图形的重叠面积筛选并记录下“命中区域”和“未命中区域”位置,计算出“命中区域”在所有重点区域的占比,作为所述图像重点区域命中率。
其中较优地,所述全部过检物品图像的搜索覆盖率的计算包括如下子步骤:针对全部过检物品图像,计算所有安检员注视的视线落点、实时视线跟踪轨迹内包络的区域在图像总面积中的占比,作为全部过检物品图像的搜索覆盖率。
其中较优地,所述视觉作业行为包括:有隐患、有漏检、有盲区、未违规;
其中,有隐患的判定方法为:将图像重点区域命中率的计算中得到的命中率数值与按监管要求设定的图像重点区域命中率的初设阈值进行比对,若命中率数值小于按监管要求设定的图像重点区域命中率的初设阈值,则判定为有隐患;
有漏捡的判定方法为:对全部过检物品图像的搜索覆盖率计算中得到的数值进行判定,若数值等于0,则判定为有漏捡;
有盲区的判定方法为:将全部过检物品图像的搜索覆盖率计算中得到的数值和按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值进行比对,若数值小于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值且数值大于0,则判定为有盲区;
未违规的判定方法为:若图像重点区域命中率的数值大于按监管要求设定的图像重点区域命中率的初设阈值,并且全部过检物品图像的搜索覆盖率计算中得到的数值大于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值,则判定为未违规。
其中较优地,所述作业引导的内容具体包括:
若判定为有隐患,则进行图像重点区域闪烁和/或变色提示,使图像重点区域被提示,或者对图像重点区域中未命中区域进行提示,然后将该过检物品图像的重点区域关注度预测信息、安检员对该过检物品图像的视觉行为数据全部发送至识图质量评估设备,并进入回看等候;
若判定为有漏捡,则将过检物品重新过检,即重复步骤S1~S3;
若判定为有盲区,则通过报警灯和/或报警器进行提醒,然后将该过检物品图像、安检员对该过检物品图像的视觉行为数据发送至识图质量评估设备,并进入回看等候;
若判定为未违规,则进入安全守候。
其中较优地,所述回看处理的内容具体包括:
若判定为有隐患,则安检员查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加,并按照步骤S1中视线落点位置的计算方法,计算出新的视线落点位置;按照步骤S3中的方法,将叠加后的视觉行为数据,与图像重点区域进行命中率计算,得到回看命中率;若回看命中率大于初设阈值,则报警解除,进入安全守候;若回看命中率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候;其中,有隐患行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检;
若判定为有盲区,则安检员再次查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加;按照步骤S3中的方法,将叠加后的视觉行为数据,与全部过检物品图像的关注过程数据进行覆盖率计算,得到回看覆盖率;若回看覆盖率大于初设阈值,则报警解除,进入安全守候;若回看覆盖率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候;其中,有盲区行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检。
根据本发明实施例的第二方面,提供一种安检员视觉作业规范识别判定和引导的系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述的安检员视觉作业规范识别判定和引导的方法。
与现有技术相比较,本发明可以解决安检岗位作业过程中人员风险实时感知和自主控制的问题,针对安检岗位的任务特点,聚焦核心,以视觉作业任务为切入点,基于视觉行为分析将安检员图像识别过程量化描述,为作业过程中难以捕捉到的“漏看”、“盲判”、“睡岗”等风险行为提供辨识依据,同时结合图像内容理解,将“漏看”风险识别从“整图漏看”细分至“区域漏看”,从而支撑不规范行为的发现,并及时排查隐患。
附图说明
图1为本发明实施例提供的安检员视觉作业规范识别判定和引导的方法流程图;
图2为本发明实施例提供的安检员视觉作业规范识别判定和引导的系统示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
第一实施例
以下以行李检查为例,具体说明本发明第一实施例提供的一种安检员视觉作业规范识别判定和引导的方法的实施过程。如图1所示,该方法至少包括如下步骤:
S1:安全检查设备实时获取过检物品(即行李)图像,视线追踪设备实时捕获安检员对过检物品图像的视觉行为数据。
在本发明的一个实施例中,安全检查设备可以由现有的安检CT系统实现,视线追踪设备可以采用高清摄像机实现。所述视觉行为数据包括但不限于:视线落点位置、实时视线跟踪轨迹。
其中,假设安检员注视的视线落点为圆形区域,该圆形区域的直径与视线驻留时间成正比,即驻留时间越长,圆形区域的直径越大。并且,多个视线落点的实际数据一般为不规则重叠的多个圆形区域,因此需要计算多个重叠区域的最大外接矩形面积,计算得到的结果作为视线落点位置。
实时视线跟踪轨迹是指实时跟踪视线落点转移过程形成的轨迹线路,其作用在于获取视线跳转轨迹的最大包络线。这可以用现有技术手段实现,在此不予赘述。
S2:针对所述过检物品图像,利用重点区域关注度预测模型生成重点区域关注度预测信息。
在本发明的一个实施例中,具体生成重点区域关注度预测模型的方法在本申请人于2019年11月26日提交的在先专利申请《基于区域关注度预测安检员识图质量监督保障系统及方法》(公开号:CN 111126771A,公开日:2020年5月8日)中已经公开,其内容通过引用的方式合并入本发明。
在上述在先专利申请中,重点区域关注度预测模型将行李图像按照从像素到整幅图像的顺序分割为若干尺度,基于不同尺度图像的特征预测每个像素位置的关注度,将关注度映射到0~1之间的值,0表示关注度较低,1表示关注度最高,再将每个像素的关注度整合,考虑相邻像素、相邻区域关注度的变化特点,形成对于图像不同区域、不同范围的关注度预测结果,即预测信息。
其中,预测信息包括区域位置、范围、关注度预测等级等信息。
S3:结合过检物品图像、重点区域关注度预测信息、安检员对过检物品图像的视觉行为数据进行综合评估,判定视觉作业行为的质量。
其中,步骤S3中的综合评估包括:图像重点区域命中率的计算和全部过检物品图像的搜索覆盖率的计算。
在本发明的一个实施例中,图像重点区域命中率的计算方法为:根据几何图形的重叠面积筛选并记录下“命中区域”和“未命中区域”位置,计算出“命中区域”在所有重点区域的占比,作为所述图像重点区域命中率。
其中,若一个视线落点区域与图像分割区域重叠像素的总数占图像分割区域像素总数的比例大于预定阈值,则将该视线落点区域记为命中。
命中区域的定义为:记为“命中”的视线落点区域加总所占的区域。
在本发明的一个实施例中,全部过检物品图像的搜索覆盖率的计算方法为:针对全部过检物品图像,计算所有安检员注视的视线落点、实时视线跟踪轨迹内包络的区域在图像总面积中的占比,作为全部过检物品图像的搜索覆盖率。
在本发明的一个实施例中,视觉作业行为包括:有隐患、有漏检、有盲区、未违规这四种行为。
其中,有隐患的判定方法为:将图像重点区域命中率的计算中得到的命中率数值与按监管要求设定的图像重点区域命中率的初设阈值进行比对,若命中率数值小于按监管要求设定的图像重点区域命中率的初设阈值,则判定为有隐患。
有漏捡的判定方法为:对全部过检物品图像的搜索覆盖率计算中得到的数值进行判定,若数值等于0,则判定为有漏捡。
有盲区的判定方法为:将全部过检物品图像的搜索覆盖率计算中得到的数值和按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值进行比对,若数值小于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值且数值大于0,则判定为有盲区。
未违规的判定方法为:若图像重点区域命中率的数值大于按监管要求设定的图像重点区域命中率的初设阈值,并且全部过检物品图像的搜索覆盖率计算中得到的数值大于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值,则判定为未违规。
其中,初设阈值由监管方按需自行调整,本发明对此不予限制。
S4:根据判定的视觉作业行为进行作业引导和回看处理。
在进行作业引导的一个实施例中,若判定为有隐患,则进行图像重点区域闪烁和/或变色提示,使图像重点区域被提示,或者对图像重点区域中未命中区域进行提示,然后将该过检物品图像的重点区域关注度预测信息、安检员对该过检物品图像的视觉行为数据全部发送至识图质量评估设备(可以由图2中的计算机设备12实现),并进入回看等候。
若判定为有漏捡,则将过检物品重新过检,即重复步骤S1~S3。
若判定为有盲区,则通过报警灯和/或报警器进行提醒,然后将该过检物品图像、安检员对该过检物品图像的视觉行为数据全部发送至识图质量评估设备,并进入回看等候。
若判定为未违规,则进入安全守候。
在进行回看处理的一个实施例中,若判定为有隐患,则安检员再次查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加,并按照步骤S1中视线落点位置的计算方法,计算出新的视线落点位置。按照步骤S3的方法,将叠加后的视觉行为数据与图像重点区域进行命中率计算,得到回看命中率。若回看命中率大于初设阈值,则报警解除,进入安全守候;若回看命中率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候。
其中,有隐患行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检。
若判定为有盲区,则安检员再次查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加。按照步骤S3中的方法,将叠加后的视觉行为数据,与全部过检物品图像的关注过程数据进行覆盖率计算,得到回看覆盖率。若回看覆盖率大于初设阈值,则报警解除,进入安全守候;若回看覆盖率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候。
其中,有盲区行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检。
与现有技术相比较,本发明根据安检行为规范,针对不同非规范行为进行不同程度的引导和/或二次过检,在保证安检效率的前提下,支撑不规范行为的发现,更为有效地提升了安检质量和可靠性,并使安检员及时排查隐患。
在本发明的一个实施例中,上述安全守候是指保存相关行为数据和可视化图像,保存完成后过检下一件物品。其中,保存相关行为数据和可视化图像的作用在于支撑事后调查的取证及分析。
依据行为数据建立人因风险档案,在人因风险档案中可按起止时间查询该时段内指定的单个或多个安检员的所有违规情况,并统计各类型违规情况在不同维度上的占比,例如:各类型违规情况分别在个人总查询结果中的占比、某个体安检员的某类型违规记录在多个安检员群体的相应类型违规记录总数的占比。由此形成个人画像,即描述个体安检员自身人因风险特点,以及其在群体人因风险中的参与权重。据此,将安检员个人的人因风险等级进行划分,划分标准为:有盲区占比高为低人因风险、有隐患占比高为中人因风险、有漏检占比高为高人因风险。
根据具体人因风险等级定制能力训练计划和/或过程质控方案,例如:
低人因风险,需定制训练计划,该训练时长比基础训练时长增加至少30%,并定向选择训练素材图像,使训练图像复杂度均值比常规训练图像复杂度均值提升至少30%,以加强安检员耐疲劳程度及视觉搜索广度,进一步提升工作能力;
中人因风险,需定制训练计划,该训练计划中的训练图像持续对应重点关注区域进行可视化引导,并将重点关注区域自动进行细节放大至少1.5倍,以提高视觉敏感度,进一步积累工作经验;
高人因风险,需定制训练计划与过程质控方案,在定制训练计划时,将训练速度在常规训练的基础上提升至少30%;在定制质控方案时,将质量抽检频率设置为常规质量抽检频率的2倍,以提升工作中的自主安全意识。
第二实施例
如图2所示,本发明的第二实施例提供一种安检员视觉作业规范识别判定和引导的系统。图2显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,存储器28,连接不同系统组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图2未显示,通常称为“硬盘驱动器”)。尽管图2中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图2所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图2中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明第一实施例所提供的一种安检员视觉作业规范识别判定和引导的方法。
与现有技术相比较,本发明可以解决安检岗位作业过程中人员风险实时感知和自主控制的问题,针对安检岗位的任务特点,聚焦核心,以视觉作业任务为切入点,基于视觉行为分析将安检员图像识别过程量化描述,为作业过程中难以捕捉到的“漏看”、“盲判”、“睡岗”等风险行为提供辨识依据,同时结合图像内容理解,将“漏看”风险识别从“整图漏看”细分至“区域漏看”,从而支撑不规范行为的发现,并及时排查隐患。
需要说明的是,上述多个实施例只是举例,各个实施例的技术方案之间可以进行组合,均在本发明的保护范围内。
另外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
上面对本发明所提供的安检员视觉作业规范识别判定和引导的方法及系统进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (10)
1.一种安检员视觉作业规范识别判定和引导的方法,其特征在于包括如下步骤:
S1:实时获取过检物品图像,同时实时捕获安检员对过检物品图像的视觉行为数据;
S2:针对所述过检物品图像,利用重点区域关注度预测模型生成重点区域关注度预测信息;
S3:结合过检物品图像、重点区域关注度预测信息、安检员对过检物品图像的视觉行为数据进行综合评估,判定视觉作业行为的质量;其中,所述综合评估包括图像重点区域命中率的计算和全部过检物品图像的搜索覆盖率的计算;
S4:根据判定的视觉作业行为进行作业引导和回看处理。
2.如权利要求1所述的方法,其特征在于所述视觉行为数据包括但不限于:视线落点位置、实时视线跟踪轨迹。
3.如权利要求2所述的方法,其特征在于所述视线落点位置通过如下子步骤获得:
将安检员注视的视线落点视为圆形区域,其中视线驻留时间越长,圆形区域的直径越大;将多个视线落点表示为不规则重叠的多个圆形区域,计算多个重叠区域的最大外接矩形面积,计算得到的结果作为所述视线落点位置。
4.如权利要求1所述的方法,其特征在于所述图像重点区域命中率的计算包括如下子步骤:
根据几何图形的重叠面积筛选并记录下“命中区域”和“未命中区域”位置,计算出“命中区域”在所有重点区域的占比,作为所述图像重点区域命中率。
5.如权利要求1所述的方法,其特征在于全部过检物品图像的搜索覆盖率的计算包括如下子步骤:
针对所述全部过检物品图像,计算所有安检员注视的视线落点、实时视线跟踪轨迹内包络的区域在图像总面积中的占比,作为全部过检物品图像的搜索覆盖率。
6.如权利要求4或5所述的方法,其特征在于所述视觉作业行为的质量包括:有隐患、有漏检、有盲区、未违规;
其中,有隐患的判定方法为:将图像重点区域命中率的计算中得到的命中率数值与按监管要求设定的图像重点区域命中率的初设阈值进行比对,若命中率数值小于按监管要求设定的图像重点区域命中率的初设阈值,则判定为有隐患;
有漏检的判定方法为:对全部过检物品图像的搜索覆盖率计算中得到的数值进行判定,若数值等于0,则判定为有漏检;
有盲区的判定方法为:将全部过检物品图像的搜索覆盖率的计算中得到的数值和按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值进行比对,若数值小于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值且数值大于0,则判定为有盲区;
未违规的判定方法为:若图像重点区域命中率的数值大于按监管要求设定的图像重点区域命中率的初设阈值,并且全部过检物品图像的搜索覆盖率计算中得到的数值大于按监管要求设定的全部过检物品图像的搜索覆盖率的初设阈值,则判定为未违规。
7.如权利要求6所述的方法,其特征在于所述作业引导的内容具体包括:
若判定为有隐患,则进行图像重点区域闪烁和/或变色提示,使图像重点区域被提示,或者对图像重点区域中未命中区域进行提示,然后将过检物品图像、该过检物品图像的重点区域关注度预测信息、安检员对该过检物品图像的视觉行为数据全部发送至识图质量评估设备,并进入回看等候;
若判定为有漏检,则将过检物品重新过检,即重复步骤S1~S3;
若判定为有盲区,则通过报警灯和/或报警器进行提醒,然后将过检物品图像、该过检物品图像的重点区域关注度预测信息、安检员对该过检物品图像的视觉行为数据发送至识图质量评估设备,并进入回看等候;
若判定为未违规,则进入安全守候。
8.如权利要求6所述的方法,其特征在于所述回看处理的内容具体包括:
若判定为有隐患,则安检员查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加,并计算出新的视线落点位置;将叠加后的视觉行为数据,与图像重点区域进行命中率计算,得到回看命中率;若回看命中率大于初设阈值,则报警解除,进入安全守候;若回看命中率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候;其中,有隐患行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检。
9.如权利要求6所述的方法,其特征在于所述回看处理的内容具体包括:
若判定为有盲区,则安检员再次查看对应的过检物品图像,并再次实时采集视线落点位置,实时采集完成后,将本次采集的回看视觉行为数据与前次已获得的对应视觉行为数据进行叠加;将叠加后的视觉行为数据,与全部过检物品图像的关注过程数据进行覆盖率计算,得到回看覆盖率;若回看覆盖率大于初设阈值,则报警解除,进入安全守候;若回看覆盖率小于初设阈值,则判定为不符合行为规范,将违规内容进行记录,报警解除,进入安全守候;其中,有盲区行为仅需安检员再次查看对应的过检物品图像,无需将物品重新过检。
10.一种安检员视觉作业规范识别判定和引导的系统,其特征在于包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1~9中任意一项所述的安检员视觉作业规范识别判定和引导的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310478421.4A CN116189101B (zh) | 2023-04-28 | 2023-04-28 | 一种安检员视觉作业规范识别判定和引导的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310478421.4A CN116189101B (zh) | 2023-04-28 | 2023-04-28 | 一种安检员视觉作业规范识别判定和引导的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116189101A CN116189101A (zh) | 2023-05-30 |
CN116189101B true CN116189101B (zh) | 2023-08-04 |
Family
ID=86452746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310478421.4A Active CN116189101B (zh) | 2023-04-28 | 2023-04-28 | 一种安检员视觉作业规范识别判定和引导的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116189101B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126771A (zh) * | 2019-11-26 | 2020-05-08 | 公安部第一研究所 | 基于区域关注度预测安检员识图质量监督保障系统及方法 |
CN112000227A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院重庆绿色智能技术研究院 | 一种工作状态监测反馈系统 |
CN115240277A (zh) * | 2022-08-10 | 2022-10-25 | 蓝思系统集成有限公司 | 安检行为的监控方法、装置、电子设备及存储介质 |
CN115546825A (zh) * | 2022-08-08 | 2022-12-30 | 杭州数澜科技有限公司 | 一种安检规范性自动监测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112018007060B4 (de) * | 2018-03-12 | 2021-10-28 | Mitsubishi Electric Corporation | Fahrtunterstützungsvorrichtung, Fahrtunterstützungsverfahren und Fahrtunterstützungsprogramm |
-
2023
- 2023-04-28 CN CN202310478421.4A patent/CN116189101B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126771A (zh) * | 2019-11-26 | 2020-05-08 | 公安部第一研究所 | 基于区域关注度预测安检员识图质量监督保障系统及方法 |
CN112000227A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院重庆绿色智能技术研究院 | 一种工作状态监测反馈系统 |
CN115546825A (zh) * | 2022-08-08 | 2022-12-30 | 杭州数澜科技有限公司 | 一种安检规范性自动监测方法 |
CN115240277A (zh) * | 2022-08-10 | 2022-10-25 | 蓝思系统集成有限公司 | 安检行为的监控方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116189101A (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761826B (zh) | 一种热成像视频双鉴林火识别系统的识别方法 | |
CN112686090B (zh) | 一种公交车内异常行为智能监控系统 | |
CN102164270A (zh) | 具有异常事件发掘功能的智能视频监控方法及系统 | |
CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
CN111783744A (zh) | 一种操作现场安全防护检测方法及装置 | |
CN103049740A (zh) | 基于视频图像的疲劳状态检测方法及装置 | |
CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
CN110867046A (zh) | 一种基于云计算的智能洗车机视频监控预警系统 | |
WO2022262257A1 (zh) | 一种检察领域值班人员睡觉行为识别方法 | |
CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
CN110008804B (zh) | 基于深度学习的电梯监控关键帧获取及检测方法 | |
CN115600953A (zh) | 仓库库位的监控方法、装置、计算机设备和存储介质 | |
CN113239854A (zh) | 一种基于深度学习的船舶身份识别方法及系统 | |
CN112949457A (zh) | 基于增强现实技术的维修方法、装置及系统 | |
CN111931573A (zh) | 基于yolo进化深度学习模型的安全帽检测与预警方法 | |
CN114708537A (zh) | 一种基于多视角的复杂场所异常行为分析系统及分析方法 | |
CN113052125B (zh) | 一种施工现场违章图像识别告警方法 | |
CN116189101B (zh) | 一种安检员视觉作业规范识别判定和引导的方法及系统 | |
CN116246401A (zh) | 一种社区公共区域管理的监控系统 | |
CN117253176B (zh) | 基于视频分析与计算机视觉的安全生产Al智能检测方法 | |
CN116862244B (zh) | 一种工业现场视觉ai分析与安全预警系统和方法 | |
CN116579609B (zh) | 一种基于巡检过程中的违规操作分析方法 | |
CN112329611A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN118135490A (zh) | 一种基于图形组态的安全隐患排查及事故预警方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |