CN114743154B - 一种基于注册形式的工服识别方法及计算机可读介质 - Google Patents

一种基于注册形式的工服识别方法及计算机可读介质 Download PDF

Info

Publication number
CN114743154B
CN114743154B CN202210665713.4A CN202210665713A CN114743154B CN 114743154 B CN114743154 B CN 114743154B CN 202210665713 A CN202210665713 A CN 202210665713A CN 114743154 B CN114743154 B CN 114743154B
Authority
CN
China
Prior art keywords
clothes
work clothes
work
worker
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210665713.4A
Other languages
English (en)
Other versions
CN114743154A (zh
Inventor
区英杰
董万里
谭焯康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Embedded Machine Tech Co ltd
Original Assignee
Guangzhou Embedded Machine Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Embedded Machine Tech Co ltd filed Critical Guangzhou Embedded Machine Tech Co ltd
Priority to CN202210665713.4A priority Critical patent/CN114743154B/zh
Publication of CN114743154A publication Critical patent/CN114743154A/zh
Application granted granted Critical
Publication of CN114743154B publication Critical patent/CN114743154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于注册形式的工服识别方法及计算机可读介质，所述方法包括以下步骤：工服注册、工服检测及工服图片增强，提取所有工服特征，得到工服特征集；对待识别的一帧图片进行工服检测，得到待验证工服坐标集和待验证工服集；提取出待验证工服集合中所有工服的特征；对当前图片中的工服进行跟踪获取工服id；对提取的工服进行过滤后，与工服库特征集进行特征相似度计算，得到最终每件工服识别结果；更新id信息集；查询id信息集，根据同一个id的工服的多帧识别结果进行判断，得到工服的最终识别结果；重复以上步骤直至最后一帧。本发明适用范围广，能够在多场景环境中识别多种用户指定的衣服，无需人工干预，极大提升企业效率。

Description

一种基于注册形式的工服识别方法及计算机可读介质
技术领域
本发明涉及人工智能图像识别领域，特别涉及一种基于注册形式的工服识别方法及计算机可读介质。
背景技术
目前在工地或者公司要求工服统一的场景，绝大多数都是通过人工检查人员穿着是否规范，效率低下，少量使用人工智能方式提取衣服特征或者根据衣服特有的特征（比如衣服上数字）进行衣服识别，但是均存在普遍的缺点：1、算法局限性比较高，只能识别特定场景特定款式衣服，适用范围有限（以下简称缺点1）数据增强；2、算法只考虑单张图片的识别，没有考虑视频情况下连续帧图片处理（以下简称缺点2）（跟踪算法）；3、依靠单帧的图片生成识别结果，识别结果的稳定性不强（以下简称缺点3）。
例如：
专利文献1（CN113989858A） 公开一种工服识别方法及系统，主要流程如下：
通过视频数据；首先识别出人体目标，将人体目标所处区域图像提取工作服的第一特征集，包括：
将所述人体目标所处区域的图像自上而下分为三个子图像；
采用深度识别模型分别对所述三个子图像进行特征提取，得出第一子特征、第二子特征、第三子特征；
将所述第一子特征、第二子特征、第三子特征整合为第一子特征；
将所述的第一特征集与预先建立的第二特征集进行匹配计算，以输出工作服识别结果，包括：
计算所述第一特征集和第二特征集的第一相似度；
若第一相似度大于或等于第一阈值，则结果为穿着工作服，否则为未穿工作服；
确定第一子特征、第二子特征、第三子特征各自的权重，调整权重，计算得到第一相似度；
在计算第一特征集和第二特征集的第一相似度之前，包括确定监控视频场景的属性信息，基于属性信息进行筛选第二特征集；
将第一特征集与第二特征集进行匹配计算，输出工服识别结果。
专利文献1存在以下缺点：该方法挑选第二特征集的方式未知，人为挑选效率低，并且没有考虑光线变化时现场情况（即存在缺点1），没有对视频中一个目标的持续跟踪、持续提取特征及识别的过程（即存在缺点2），单次识别效果不可靠（即存在缺点3），且会频繁上报结果。同时专利文献1也没有说明人体检测算法及特征提取算法是具体如何实现的。
专利文献2 （CN112183345A）公开了一种复杂场景下的号服识别方法，其特征在于，包括以下步骤：S1 、为号服设计类间差异大、特征丰富的数字外形对号服进行编码；S2、建立并训练针对号服数字外形识别的深度学习模型；S2、将预处理后的号服故乡输入号服识别用的深度学习模型进行检测，得到号服数字外形，即号服序列。
专利文献2存在以下缺点：该方案需要特定设计的数字号服，而且许多情况下工作服并没有印刷这类数字，导致该方案仅能在特定场景下应用（即存在缺点1）。同时专利文献2也未考虑到视频情况下连续帧图片处理，同样是对单张图片进行识别并依靠单帧的图片生成识别结果（即存在缺点2、3）。
专利文献3（CN110427808A）一种基于视频流数据的警服识别方法，采用传统的帧差法检测到人体，然后根据颜色特征对比得到是否是警服。
专利文献3存在以下缺点：现有技术只满足指定的某种款式衣服，局限性较高，而且当光线变化，颜色特征会有变化，效果不可靠（即存在缺点1）。同时专利文献3也未考虑到视频情况下连续帧图片处理，同样是对单张图片进行识别并依靠单帧的图片生成识别结果（即存在缺点2、3）。
专利文献4（CN113822197A）公开了工作着装识别方法、装置、电子设备及存储介质，从视频中获取单帧图片，首先进行人体识别，得到人体参数；安全服模块，进行支付识别综合处理，得到安全服综合损失函数，；安全带模块，进行安全带识别，得到安全带相应的参数及损失函数值；分析模块，用于分析所述安全服综合损失函数值和所述安全带相应的参数及损失函数值，得到安全状态数据。
专利文献4存在以下缺点：没有详细描述如果进行安全服识别，而且此方法只针对安全服，局限性较高，实际情况下频繁计算一个人的安全状态数据不太合理。专利文献4同样存在缺点1、2、3。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于注册形式的工服识别方法，该方法只需传入衣服的前后左右四张标注图片到工服库，即可实时进行现场工服识别，支持衣服款式众多，用户自定义即可，无需设置其他参数，全程自动化计算，而且工服库自带各种裁剪、颜色增强，使得此算法能适应现场光线变化；采用行人跟踪算法，可持续跟踪人体，不用频繁上报结果，而是经过多次识别结果，并且每一次识别前都会有较严格的图片过滤机制，保证待识别的图片质量，降低识别错误率，最终根据累计的识别结果，判断所检测的衣服是否是工服，结果更加准确。
本发明的目的通过以下的技术方案实现：
一种基于注册形式的工服识别方法，包括以下步骤：
S1、工服注册、工服检测及工服图片增强，然后提取所有图片特征，得到工服特征集；
S2、对视频流中待识别的一帧图片进行工服检测，得到待验证工服坐标集和待验证工服集；
S3、使用预先训练好的特征提取模型提取出待验证工服集合中工服的特征，构成待验证工服特征集；
S4、使用上一步的工服特征，对当前图片中的工服进行跟踪，为每个工服分配一个id，检测该id对应的id信息集是否存在：若存在，则对已有的id信息集进行更新，若不存在，则创建新的id信息集；
S5、对提取的工服进行过滤，得到待识别工服坐标集、待识别工服集、待识别工服特征集；
S6、进行特征相似度计算，计算每一张工服特征和工服特征集中每一个特征进行相似度计算，得到最终识别结果；
S7、更新id信息集，统计结果得出最终是否穿工服，是否告警；
S8、判断该帧图片是否为视频流最后一帧：若是，则结束；若不是，则重新运行步骤S2至S7。
步骤S1中，所述工服检测及工服图片增强，是指对注册的每一张图片首先检测工服部分，得到一些工服图片，进行增强；
所述工服图片增强，包括：
（1）将图片截取上部三分之一或者三分之二，此方法模拟当部分身体被遮挡的情况，或者当人体在摄像头中只有部分的情况，提升衣服被遮挡部分时的识别率；
（2）对图片进行随机高斯模糊，此方法模拟当行人走的较快，摄像头抓拍到的人较模糊的情况，提升对模糊衣服图片的识别效果；
（3）对图像进行随机裁剪，模拟检测到的衣服坐标框会有些许误差的情况，加上随机裁剪会使工服特征更接近真实场景，提升工服识别效果；
（4）对图像进行颜色变换，模拟在实际场景，摄像头会在不同的光线情况下拍照，一定程度的颜色变换可以模拟实际场景光线变化；
（5）将前面步骤获得的所有衣服构建成工服集。
通过此步的工服库图像增强，使得后续的工服识别可以支持适当的光线变化，对于不同的背景，识别结果更加稳定，此步创新点在于，图像增强一般用在算法训练阶段，但是本发明创新地将图像增强用于待匹配的图片中，用此方法解决现场光线变化引起的识别不准确问题。
步骤S4中，所述对当前图片中的工服进行跟踪，是指：
首先构建id跟踪信息库，存储之前已确认id的信息，id的信息包括每个id的历史特征（最多100个特征特征向量），工服跟踪主要逻辑过程如下：
（1）首先使用目标检测算法（较通用的目标检测算法为yolov5）检测出人体工服；
（2）再使用已经训练好的能够提取工服特征的fastreid（此算法很通用，此处用在提取工服特征）模型提取上一步中检测到的工服特征；
（3）根据步骤（1）检测出的工服和步骤（2）计算出的工服特征，使用级联匹配算法匹配检测到的工服，匹配到的则分配对应目标，未匹配到的则进入下一步；
（4）在步骤（3）中未确认跟踪id的目标，再使用iou匹配，匹配到的则分配对应目标，更新id跟踪信息库中的。
根据id跟踪信息库，查询获取id对应的历史特征集合，假设通过查询id跟踪信息库，得到id=1的历史特征集合为
Figure 416754DEST_PATH_IMAGE001
，
其中
Figure DEST_PATH_IMAGE002
是id=1的历史特征，每个都是维的特征向量，
Figure 347801DEST_PATH_IMAGE003
中最多保存100个特征向量，如果新的待加入的特征向量为z,根据原本的方案，则
Figure 102131DEST_PATH_IMAGE003
会更新为
Figure DEST_PATH_IMAGE004
，
历史特征
Figure 26093DEST_PATH_IMAGE005
则直接丢失，本方案会生成新的特征为
Figure DEST_PATH_IMAGE006
，
其中：
Figure 487162DEST_PATH_IMAGE007
；
取两两向量的均值，可以使得历史信息不会过快被覆盖，计算量也不会增加。
此步骤中有3个创新点：
1、跟一般的跟踪算法相比，此步将衣服当作跟踪对象，而不是一般意义上的人体，不用同时检测人体及衣服，减少计算量。
2、跟踪过程中，正常的跟踪或者使用检测网络在检测目标的同时直接提特征，或者使用一个简单的神经网络提工服特征，但是本发明使用行人重识别中的特征提取网络，提取出的特征更加精确，使得跟踪更加稳定；将衣服特征既用于跟踪，又用在特征匹配。
3、跟踪过程中的id跟踪信息库，对于每个id都会保留前最新100个特征，删除多余的，即100帧以外的特征均被覆盖，此步骤中使用一个简单的算法，使得历史特征不会直接被覆盖。
假设id=1的历史特征X为：
Figure DEST_PATH_IMAGE008
根据之前的算法，会将X中的第一行删除，再补充一个最新的特征，构成100个特征，这样的缺点是之前的历史特征都不见了，可能影响跟踪结果，如果是保留更久的，比如1000或者10000个特征，计算量会太大，因此提出下面方法：
假设：
Figure 917006DEST_PATH_IMAGE001
，
其中
Figure 844117DEST_PATH_IMAGE002
是id=1的历史特征，每个都是维的特征向量，
Figure 119241DEST_PATH_IMAGE003
中最多保存100个特征向量，如果新的待加入的特征向量为z,根据原本的方案，则
Figure 762712DEST_PATH_IMAGE003
会更新为
Figure 35561DEST_PATH_IMAGE004
，
历史特征
Figure 764483DEST_PATH_IMAGE005
则直接丢失，本方案会生成新的特征为
Figure 843297DEST_PATH_IMAGE006
，
其中：
Figure 528225DEST_PATH_IMAGE007
；
取两两向量的均值，可以使得历史信息不会过快被覆盖，计算量也不会增加。
步骤S4中，对每一个新id构建一个对应的所述id信息集，初始化时所有字段都有默认值；对已经存在的id信息集，将距离上一帧出现次数设置为0；所有的id信息集构成工服信息集，已经在工服信息集中存在的id则不用重新创建，每一个id信息集包括以下内容：
（1）距离上一次出现帧数；
（2）识别结果列表；
（3）已穿工服；
（4）是否已经告警；
（5）工服框列表，其中包含历史帧的衣服坐标、其所在帧、图片质量评估结果，最多5个历史帧信息；
提前构建好id信息集，初始化，后续会根据过滤结果及比对结果更新对应信息，最终确定此id对应的衣服是否是工服。
步骤S5中，所述对提取的工服进行过滤，包括：
使用图像质量评估算法评估待验证工服集中每个工服图片质量是否符合要求，包含：
（1）计算工服图片边缘信息（图片二阶差分图像），求取方差值；
（2）计算工服图像对于整个图像的占比；
（3）计算每个工服图片的宽高比；
（4）根据前三个步骤综合判断工服图片质量是否符合要求；综合判断的步骤：提前设置好图片方差阈值，目标占比阈值，及目标宽高比阈值，只有同时满足三个阈值的工服图片才符合要求；
判断待识别工服集中每一个工服图片是否符合识别要求，包含：
（1）判断工服图片质量是否符合要求；
（2）通过工服id得到此工服前一次出现的坐标框和帧；
（3）计算此工服较上一次出现时间间隔及工服中心点位移；
（4）综合图片质量、出现时间间隔、位移距离判断此图片是否符合识别要求，提前设置出现时间间隔阈值和位移距离阈值，根据符合识别要求的工服图像，从待验证工服集提取对应图片构成待识别工服集，从待验证工服特征集提取对应特征构成待识别工服特征集。
步骤S5中，所述对提取的工服进行过滤，还包括：
判断当前帧每一个工服图片是否符合识别逻辑及更新对应的id信息集中的框列表，获取待识别特征集，包含：
（1）如果当前工服id已经确定是工服或者已经确定告警过，则不做任何处理，保持之前的状态不变；
（2）提前设置方差阈值、图像占比阈值区间、及宽高比阈值区间；当前工服满足方差大于方差阈值，占比在所规定占比区间中，且宽高比在设置的阈值中，才进行后续步骤，否则不再进行任何处理；
（3）当满足步骤（1）和（2），且此id信息集无历史帧信息，进行下一步；如果此id信息集已有历史信息，但是历史信息不满预设帧数（例如5帧），根据工服位移距离及出现帧数间隔，判断是否满足阈值条件，满足则进行下一步，不满足则不再进行任何处理；如果此id信息中历史帧数已经有预设帧数（例如5帧），首先判断工服对应位移及时间间隔是否大于设置的阈值，不满足则不做任何处理，满足的话，取id对应的框列表中方差最低值，和当前工服方差值比较，当前工服方差大于最低值，则删除此id信息集中框列表中方差最小的元素；
（4）将当前工服的信息添加进id信息集的框列表中；得到最终的待识别工服特征集。
此步骤主要用来过滤无效图片，无效图片包括模糊、不完整、间隔时间较短、或者在同一个位置一直不动，过滤无效图片，有利于提升后续识别效果。
所述步骤S6，具体为：将得到的待识别工服特征集中每一个特征和图片与构建的工服特征集中的特征进行相似度计算，提前设置好长宽比阈值区间，及识别阈值，识别出每一个待识别工服是否是指定工服，包括：
（1）计算待识别工服图片长宽比x；
（2）计算工服库中所有工服图片的长宽比X={x1, x2, ...}；
（3）待识别长宽比x与X中每一个元素相除，筛选出结果在设置好的长宽比阈值区间之内的工服库特征，构成目标特征库；
（4）将待识别工服特征与目标特征库中特征一一计算特征相似度，使用cos相似度；公式如下：
假如获取到一个待识别的工服特征
Figure 299872DEST_PATH_IMAGE009
, 工服库中的其中一件工服特征为
Figure DEST_PATH_IMAGE010
,cos相似度计算如下：
Figure 188194DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE012
表示向量
Figure 70699DEST_PATH_IMAGE013
和
Figure DEST_PATH_IMAGE014
之间的相似度；
（5）升序排列所得到的距离值，取前三个值的均值为最后的待识别特征与特征库的相似度，如果大于识别阈值则不是工服，否则表示是工服；
每一个待识别工服均执行上述过程，得到每一个id是否是工服的状态。
所述步骤S7，具体为：当前帧出现的工服中，查询符合识别要求的每个工服id对应的id信息集，对id信息集进行更新，包括：
（1）如果工服识别结果为不是工服，则将对应id信息集中的识别结果列表添加元素1，如果识别结果是工服，则在识别结果列表中添加0；
（2）对应id信息集中识别结果列表中有连续3次识别结果0，则表示此目标已穿工服，将对应id信息集中的已穿工服设置为1；如果有连续3次识别结果为1，则确认此目标未穿工服，将对应的id信息集中的未穿工服设置为1，并且截图告警；
此环节使用统计的方式，统计同一个衣服id的多次识别结果，然后根据多帧识别结果进行最终的分类，效果更加稳定；
更新所有id信息集中距离上一次出现帧数属性，设置好时长阈值，包括：
（1）每个id信息集中的距离上一次出现帧数加一；
（2）判断每个id信息集中的距离上一次出现帧数是否大于时长阈值，大于则从工服信息集中删除此id信息集；
此步主要是将长时间未出现的目标直接删除，降低存贮空间，提升查询效率。
步骤S1中，所述工服注册，是指用户注册需要识别的工服款式，包括：
注册的图片至少四张，分别从前后左右四个角度拍的目标图片；
每张图片包含完整人体和所穿工服，不能有遮挡；
行人像素要大于128*256。
所述工服识别方法，还包括以下步骤：更新id信息集，删除一段时间内未出现的id信息集。
所述步骤S1为：
对需要识别的工服款式进行注册；
对注册的图片检测工服，并对工服图片进行增强后形成工服集；
提取工服集的每一件衣服特征，得到的所有特征构成工服特征集。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明较之前的衣服识别技术，支持衣服款式众多，识别款式可以让用户自定义，后续识别过程全程自动化，无需人工干预，使用方式更简捷。
2、本发明识别稳定性更强，支持适当的光线变化及遮挡，本发明在注册工服阶段，无需用户设置，对工服库的衣服自动进行各种数据增强，包括颜色、亮度、饱和度、随机裁剪及平移，获得不同条件下的工服特征集，在衣服遮挡住部分的时候可以准确识别。
3、本发明创造性地将衣服特征既用于跟踪，也用于最终的特征比对，在跟踪过程中不用再使用其他网络提取行人特征，而且使用专门训练过的衣服特征提取网络使得跟踪效果更加稳定，计算步骤更加简单。
4、本发明采用目标跟踪算法，视频中出现的衣服会有一个固定id，此对象在一次暴露摄像头下面整个过程中id不会变，持续对获得的每一帧图片进行条件过滤，对单个对象在不同帧持续识别，统计结果并进行条件判断，得到最终的识别结果，在监控过程中使得结果更加稳定可靠，对于已有识别结果的id，不会再进行识别，对于已告警的id不会再进行重复识别和告警。
附图说明
图1为本发明所述构建工服特征集的流程图。
图2为本发明所述待验证数据产生的流程图。
图3为本发明所述单个id信息集所包含内容的示意图。
图4为本发明所述图片过滤的流程图。
图5为本发明所述识别结果逻辑处理的流程图。
图6为本发明所述更新id信息集的流程图。
图7为本发明所述一种基于注册形式的工服识别方法的流程图。
图8为本发明所述判断图片是否符合要求的流程图。
图9为本发明所述工服跟踪的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图7，一种基于注册形式的工服识别方法，包括以下步骤：
S1、如图1，工服注册、工服检测及工服图片增强，然后提取所有图片特征，得到工服特征集；
所述工服注册，是指用户注册需要识别的工服款式，包括：
注册的图片至少四张，分别从前后左右四个角度拍的目标图片；
每张图片包含完整人体和所穿工服，不能有遮挡；
行人像素要大于128*256。
所述工服检测及工服图片增强，是指对注册的每一张图片首先检测工服部分，得到一些工服图片，进行增强；
所述工服图片增强，包括：
（1）将图片截取上部三分之一或者三分之二，此方法模拟当部分身体被遮挡的情况，或者当人体在摄像头中只有部分的情况，提升衣服被遮挡部分时的识别率；
（2）对图片进行随机高斯模糊，此方法模拟当行人走的较快，摄像头抓拍到的人较模糊的情况，提升对模糊衣服图片的识别效果；
（3）对图像进行随机裁剪，模拟检测到的衣服坐标框会有些许误差的情况，加上随机裁剪会使工服特征更接近真实场景，提升工服识别效果；
（4）对图像进行颜色变换，模拟在实际场景，摄像头会在不同的光线情况下拍照，一定程度的颜色变换可以模拟实际场景光线变化；
（5）将前面步骤获得的所有衣服构建成工服集。
S2、如图2，对视频流中待识别的一帧图片进行工服检测，得到待验证工服坐标集和待验证工服集；
S3、使用预先训练好的特征提取模型提取出待验证工服集合中工服的特征，构成待验证工服特征集；
S4、如图9使用上一步的工服特征，对当前图片中的工服进行跟踪，为每个工服分配一个id，检测该id对应的id信息集是否存在：若存在，则对已有的id信息集进行更新，若不存在，则创建新的id信息集；
所述对当前图片中的工服进行跟踪，是指：
首先构建id跟踪信息库，存储之前已确认id的信息，id的信息包括历史特征，匹配次数，工服跟踪主要逻辑过程如下：
（1）首先使用目标检测算法（较通用的目标检测算法为yolov5）检测出人体工服；
（2）再使用已经训练好的能够提取工服特征的fastreid（此算法很通用，此处用在提取工服特征）模型提取上一步中检测到的工服特征；
（3）根据步骤（1）检测出的工服和步骤（2）计算出的工服特征，使用级联匹配算法匹配检测到的工服，匹配到的则分配对应目标，未匹配到的则进入下一步；
（4）在步骤（3）中未确认跟踪id的目标，再使用iou匹配，匹配到的则分配对应目标，更新id跟踪信息库中id的历史特征。
根据id跟踪信息库，查询获取id对应的历史特征集合，假设通过查询id跟踪信息库，得到id=1的历史特征集合为
Figure 111599DEST_PATH_IMAGE001
，
其中
Figure 54147DEST_PATH_IMAGE002
是id=1的历史特征，每个都是维的特征向量，
Figure 492081DEST_PATH_IMAGE003
中最多保存100个特征向量，如果新的待加入的特征向量为z,根据原本的方案，则
Figure 850382DEST_PATH_IMAGE003
会更新为
Figure 322951DEST_PATH_IMAGE004
，
历史特征
Figure 436401DEST_PATH_IMAGE005
则直接丢失，本方案会生成新的特征为
Figure 548582DEST_PATH_IMAGE006
，
其中：
Figure 772890DEST_PATH_IMAGE007
；
取两两向量的均值，可以使得历史信息不会过快被覆盖，计算量也不会增加。
对每一个新id构建一个对应的所述id信息集，初始化时所有字段都有默认值；对已经存在的id信息集，将距离上一帧出现次数设置为0；所有的id信息集构成工服信息集，已经在工服信息集中存在的id则不用重新创建；如图3，每一个id信息集包括以下内容：
（1）距离上一次出现帧数；
（2）识别结果列表；
（3）已穿工服；
（4）是否已经告警；
（5）工服框列表，其中包含历史帧的衣服坐标、其所在帧、图片质量评估结果，最多5个历史帧信息；
提前构建好id信息集，初始化，后续会根据过滤结果及比对结果更新对应信息，最终确定此id对应的衣服是否是工服。
S5、如图4，对提取的工服进行过滤，得到待识别工服坐标集、待识别工服集、待识别工服特征集；
所述对提取的工服进行过滤，包括：
使用图像质量评估算法评估待验证工服集中每个工服图片质量是否符合要求，包含：
（1）计算工服图片边缘信息（图片二阶差分图像），求取方差值；
（2）计算工服图像对于整个图像的占比；
（3）计算每个工服图片的宽高比；
（4）根据前三个步骤综合判断工服图片质量是否符合要求；综合判断的步骤：提前设置好图片方差阈值，目标占比阈值，及目标宽高比阈值，只有同时满足三个阈值的工服图片才符合要求；
判断待识别工服集中每一个工服图片是否符合识别要求，包含：
（1）判断工服图片质量是否符合要求；
（2）通过工服id得到此工服前一次出现的坐标框和帧；
（3）计算此工服较上一次出现时间间隔及工服中心点位移；
（4）综合图片质量、出现时间间隔、位移距离判断此图片是否符合识别要求，提前设置出现时间间隔阈值和位移距离阈值，逻辑判断过程如图8所示，根据符合识别要求的工服图像，从待验证工服集提取对应图片构成待识别工服集，从待验证工服特征集提取对应特征构成待识别工服特征集。
步骤S5中，所述对提取的工服进行过滤，还包括：
判断当前帧每一个工服图片是否符合识别逻辑及更新对应的id信息集中的框列表，获取待识别特征集，包含：
（1）如果当前工服id已经确定是工服或者已经确定告警过，则不做任何处理，保持；
（2）提前设置方差阈值、图像占比阈值区间、及宽高比阈值区间；当前工服满足方差大于方差阈值，占比在所规定占比区间中，且宽高比在设置的阈值中，才进行后续步骤，否则不再进行任何处理；
（3）当满足步骤（1）和（2），且此id信息集无历史帧信息，进行下一步；如果此id信息集已有历史信息，但是历史信息不满预设帧数（例如5帧），根据工服位移距离及出现帧数间隔，判断是否满足阈值条件，满足则进行下一步，不满足则不再进行任何处理；如果此id信息中历史帧数已经有预设帧数（例如5帧），首先判断工服对应位移及时间间隔是否大于设置的阈值，不满足则不做任何处理，满足的话，取id对应的框列表中方差最低值，和当前工服方差值比较，当前工服方差大于最低值，则删除此id信息集中框列表中方差最小的元素；
（4）将当前工服的信息添加进id信息集的框列表中；得到最终的待识别工服特征集。
S6、进行特征相似度计算，计算每一张工服特征和工服特征集中每一个特征进行相似度计算，得到最终识别结果；具体为：将得到的待识别工服特征集中每一个特征和图片与构建的工服特征集中的特征进行相似度计算，提前设置好长宽比阈值区间，及识别阈值，识别出每一个待识别工服是否是指定工服，包括：
（1）计算待识别工服图片长宽比x；
（2）计算工服库中所有工服图片的长宽比X={x1, x2, ...}；
（3）待识别长宽比x与X中每一个元素相除，筛选出结果在设置好的长宽比阈值区间之内的工服库特征，构成目标特征库；
（4）将待识别工服特征与目标特征库中特征一一计算特征相似度，使用cos相似度；公式如下：
假如获取到一个待识别的工服特征
Figure 834387DEST_PATH_IMAGE009
, 工服库中的其中一件工服特征为
Figure 56421DEST_PATH_IMAGE010
,cos相似度计算如下：
Figure 468948DEST_PATH_IMAGE011
Figure 496947DEST_PATH_IMAGE012
表示向量
Figure 364015DEST_PATH_IMAGE013
和
Figure 553688DEST_PATH_IMAGE014
之间的相似度；
（5）升序排列所得到的距离值，取前三个值的均值为最后的待识别特征与特征库的相似度，如果大于识别阈值则不是工服，否则表示是工服；
每一个待识别工服均执行上述过程，得到每一个id是否是工服的状态。
S7、更新id信息集，统计结果得出最终是否穿工服，是否告警；具体为：当前帧出现的工服中，查询符合识别要求的每个工服id对应的id信息集，对id信息集进行更新，包括：
（1）如果工服识别结果为不是工服，则将对应id信息集中的识别结果列表添加元素1，如果识别结果是工服，则在识别结果列表中添加0；
（2）逻辑判断如图5所示，对应id信息集中识别结果列表中有连续3次识别结果0，则表示此目标已穿工服，将对应id信息集中的已穿工服设置为1；如果有连续3次识别结果为1，则确认此目标未穿工服，将对应的id信息集中的未穿工服设置为1，并且截图告警；
此环节使用统计的方式，统计同一个衣服id的多次识别结果，然后根据多帧识别结果进行最终的分类，效果更加稳定；
更新所有id信息集中距离上一次出现帧数属性，设置好时长阈值，如图6所示，包括：
（1）每个id信息集中的距离上一次出现帧数加一；
（2）判断每个id信息集中的距离上一次出现帧数是否大于时长阈值，大于则从工服信息集中删除此id信息集；
此步主要是将长时间未出现的目标直接删除，降低存贮空间，提升查询效率。
S8、判断该帧图片是否为视频流最后一帧：若是，则结束；若不是，则重新运行步骤S2至S7；
S9、更新id信息集，删除一段时间内未出现的id信息集。
本专利的关键点如下：
1、本发明支持用户自定义工服款式到工服库，支持任意款式服装，在用户注册完图片之后，算法会自动使用特定的图像增强算法，本创新点在于将增强使用在工服库中，不是在数据训练过程中，使得在不用人工干预的条件下，在注册完特定工服之后全程自动化运算，算法可支持一定的光线变化和遮挡，目前未检索到此类方式进行工服识别；
2、本发明采用衣服跟踪的算法，将衣服特征既用于跟踪，又用在特征匹配，在保证跟踪效果的同时降低运算复杂度，不用重复提取不同特征，现有的跟踪会单独提取行人特征，然后在识别阶段再提取物体特征，流程更复杂；
3、本发明算法流程包括注册工服并增强，检测衣服，提取衣服特征，使用特征进行跟踪及进行特征匹配，然后采用统计的方式得到最后的结果，而且每个目标最多只告警一次，适用于实时视频流，且对每一帧图片有各种过滤机制，1 图片宽高比；2工服方差值；3工服占比；4工服位移；5工服距前一次出现时间间隔，保证识别结果的准确性，整个流程方法目前没有类似的方案。
本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。在一个实施例中，公开提出了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现基于注册形式的工服识别方法。
在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。
再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (10)

1.一种基于注册形式的工服识别方法，其特征在于，包括以下步骤：
S1、工服注册、工服检测及工服图片增强，然后提取所有图片特征，得到工服特征集；
S2、对视频流中待识别的一帧图片进行工服检测，得到待验证工服坐标集和待验证工服集；
S3、使用预先训练好的特征提取模型提取出待验证工服集合中工服的特征，构成待验证工服特征集；
S4、使用上一步的工服特征，对当前图片中的工服进行跟踪，为每个工服分配一个id，检测该id对应的id信息集是否存在：若存在，则对已有的id信息集进行更新，若不存在，则创建新的id信息集；
所述对当前图片中的工服进行跟踪，是指：
首先构建id跟踪信息库，存储之前已确认id的信息，id的信息包括历史特征，匹配次数，工服跟踪逻辑过程如下：
（1）首先使用目标检测算法检测出人体工服；
（2）再使用已经训练好的能够提取工服特征的fastreid模型提取上一步中检测到的工服特征；
（3）根据步骤（1）检测出的工服和步骤（2）计算出的工服特征，使用级联匹配算法匹配检测到的工服，匹配到的则分配对应目标，未匹配到的则进入下一步；
（4）在步骤（3）中未确认跟踪id的目标，再使用iou匹配，匹配到的则分配对应目标，更新id跟踪信息库；
根据所述id跟踪信息库，查询获取id对应的历史特征集合，假设通过查询id跟踪信息库，得到id=1的历史特征集合为
Figure 483573DEST_PATH_IMAGE001
，
其中
Figure 476936DEST_PATH_IMAGE002
是id=1的历史特征，每个都是维的特征向量，
Figure 293583DEST_PATH_IMAGE003
中最多保存100个特征向量，如果新的待加入的特征向量为z,根据原本的方案，则
Figure 30595DEST_PATH_IMAGE003
会更新为
Figure 553980DEST_PATH_IMAGE004
，
历史特征
Figure 796873DEST_PATH_IMAGE005
则直接丢失，本方案会生成新的特征为
Figure 38499DEST_PATH_IMAGE006
，
其中：
Figure 375939DEST_PATH_IMAGE007
；
取两两向量的均值，可以使得历史信息不会过快被覆盖，计算量也不会增加；
S5、对提取的工服进行过滤，得到待识别工服坐标集、待识别工服集、待识别工服特征集；
S6、对步骤S4中用于工服跟踪的工服特征进行特征相似度计算，计算每一张工服特征和工服特征集中每一个特征进行相似度计算，得到最终识别结果；
S7、更新id信息集，统计结果得出最终是否穿工服，是否告警；
S8、判断该帧图片是否为视频流最后一帧：若是，则结束；若不是，则重新运行步骤S2至S7。
2.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，步骤S1中，所述工服检测及工服图片增强，是指对注册的每一张图片首先检测工服部分，得到一些工服图片，进行增强；
所述工服图片增强，包括：
（2.1）将图片截取上部三分之一或者三分之二，此方法模拟当部分身体被遮挡的情况，或者当人体在摄像头中只有部分的情况，提升衣服被遮挡部分时的识别率；
（2.2）对图片进行随机高斯模糊，此方法模拟当行人走的较快，摄像头抓拍到的人较模糊的情况，提升对模糊衣服图片的识别效果；
（2.3）对图像进行随机裁剪，模拟检测到的衣服坐标框会有些许误差的情况，加上随机裁剪会使工服特征更接近真实场景，提升工服识别效果；
（2.4）对图像进行颜色变换，模拟在实际场景，摄像头会在不同的光线情况下拍照，一定程度的颜色变换可以模拟实际场景光线变化；
（2.5）将前面步骤获得的所有衣服构建成工服集。
3.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，步骤S4中，对每一个新id构建一个对应的所述id信息集，初始化时所有字段都有默认值；对已经存在的id信息集，将距离上一帧出现次数设置为0；所有的id信息集构成工服信息集，已经在工服信息集中存在的id则不用重新创建，每一个id信息集包括以下内容：
（3.1）距离上一次出现帧数；
（3.2）识别结果列表；
（3.3）已穿工服；
（3.4）是否已经告警；
（3.5）工服框列表，其中包含历史帧的衣服坐标、其所在帧、图片质量评估结果，最多5个历史帧信息；
提前构建好id信息集，初始化，后续会根据过滤结果及比对结果更新对应信息，最终确定此id对应的衣服是否是指定的工服。
4.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，步骤S5中，所述对提取的工服进行过滤，包括：
使用图像质量评估算法评估待验证工服集中每个工服图片质量是否符合要求，包含：
（4.1）计算工服图片边缘信息，求取方差值；
（4.2）计算工服图像对于整个图像的占比；
（4.3）计算每个工服图片的宽高比；
（4.4）根据前三个步骤综合判断工服图片质量是否符合要求；综合判断的步骤：提前设置好图片方差阈值，目标占比阈值，及目标宽高比阈值，只有同时满足三个阈值的工服图片才符合要求；
判断待识别工服集中每一个工服图片是否符合识别要求，包含：
（4-1）判断工服图片质量是否符合要求；
（4-2）通过工服id得到此工服前一次出现的坐标框和帧；
（4-3）计算此工服较上一次出现时间间隔及工服中心点位移；
（4-4）综合图片质量、出现时间间隔、位移距离判断此图片是否符合识别要求，提前设置出现时间间隔阈值和位移距离阈值，根据符合识别要求的工服图像，从待验证工服集提取对应图片构成待识别工服集，从待验证工服特征集提取对应特征构成待识别工服特征集。
5.根据权利要求4所述基于注册形式的工服识别方法，其特征在于，步骤S5中，所述对提取的工服进行过滤，还包括：
判断当前帧每一个工服图片是否符合识别逻辑及更新对应的id信息集中的框列表，获取待识别特征集，包含：
（5.1）如果当前工服id已经确定是工服或者已经确定告警过，则不做任何处理，保持之前的识别结果不变；
（5.2）提前设置方差阈值、图像占比阈值区间、及宽高比阈值区间；当前工服满足方差大于方差阈值，占比在所规定占比区间中，且宽高比在设置的阈值中，才进行后续步骤，否则不再进行任何处理；
（5.3）当满足步骤（5.1）和（5.2），且此id信息集无历史帧信息，进行下一步；如果此id信息集已有历史信息，但是历史信息不满预设帧数，根据工服位移距离及出现帧数间隔，判断是否满足阈值条件，满足则进行下一步，不满足则不再进行任何处理；如果此id信息中历史帧数已经有预设帧数，首先判断工服对应位移及时间间隔是否大于设置的阈值，不满足则不做任何处理，满足的话，取id对应的框列表中方差最低值，和当前工服方差值比较，当前工服方差大于最低值，则删除此id信息集中框列表中方差最小的元素；
（5.4）将当前工服的信息添加进id信息集的框列表中；得到最终的待识别工服特征集。
6.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，所述步骤S6，具体为：将得到的待识别工服特征集中每一个特征和图片与构建的工服特征集中的特征进行相似度计算，提前设置好长宽比阈值区间，及识别阈值，识别出每一个待识别工服是否是指定工服，包括：
（6.1）计算待识别工服图片长宽比x；
（6.2）计算工服库中所有工服图片的长宽比X={x1, x2, ...}；
（6.3）待识别长宽比x与X中每一个元素相除，筛选出结果在设置好的长宽比阈值区间之内的工服库特征，构成目标特征库；
（6.4）将待识别工服特征与目标特征库中特征一一计算特征相似度，使用cos相似度；公式如下：
假如获取到一个待识别的工服特征
Figure 19410DEST_PATH_IMAGE008
, 工服库中的其中一件工服特征为
Figure 354577DEST_PATH_IMAGE009
,cos相似度计算如下：
Figure 400942DEST_PATH_IMAGE010
Figure 479757DEST_PATH_IMAGE011
表示向量
Figure 977734DEST_PATH_IMAGE012
和
Figure 811698DEST_PATH_IMAGE013
之间的相似度；
（6.5）升序排列所得到的距离值，取前三个值的均值为最后的待识别特征与特征库的相似度，如果大于识别阈值则不是工服，否则表示是工服；
每一个待识别工服均执行上述过程，得到每一个id是否是工服的状态。
7.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，所述步骤S7，具体为：当前帧出现的工服中，查询符合识别要求的每个工服id对应的id信息集，对id信息集进行更新，包括：
（7.1）如果工服识别结果为不是工服，则将对应id信息集中的识别结果列表添加元素1，如果识别结果是工服，则在识别结果列表中添加0；
（7.2）对应id信息集中识别结果列表中有连续3次识别结果0，则表示此目标已穿工服，将对应id信息集中的已穿工服设置为1；如果有连续3次识别结果为1，则确认此目标未穿工服，将对应的id信息集中的未穿工服设置为1，并且截图告警；
此环节使用统计的方式，统计同一个衣服id的多次识别结果，然后根据多帧识别结果进行最终的分类，效果更加稳定；
更新所有id信息集中距离上一次出现帧数属性，设置好时长阈值，包括：
（7-1）每个id信息集中的距离上一次出现帧数加一；
（7-2）判断每个id信息集中的距离上一次出现帧数是否大于时长阈值，大于则从工服信息集中删除此id信息集；
此步将长时间未出现的目标直接删除，降低存贮空间，提升查询效率。
8.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，步骤S1中，所述工服注册，是指用户注册需要识别的工服款式，包括：
注册的图片至少四张，分别从前后左右四个角度拍的目标图片；
每张图片包含完整人体和所穿工服，不能有遮挡；
行人像素要大于128*256。
9.根据权利要求1所述基于注册形式的工服识别方法，其特征在于，所述工服识别方法，还包括以下步骤：更新id信息集，删除一段时间内未出现的id信息集。
10.计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现如权利要求1至9任一所述一种基于注册形式的工服识别方法。
CN202210665713.4A 2022-06-14 2022-06-14 一种基于注册形式的工服识别方法及计算机可读介质 Active CN114743154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210665713.4A CN114743154B (zh) 2022-06-14 2022-06-14 一种基于注册形式的工服识别方法及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210665713.4A CN114743154B (zh) 2022-06-14 2022-06-14 一种基于注册形式的工服识别方法及计算机可读介质

Publications (2)

Publication Number Publication Date
CN114743154A CN114743154A (zh) 2022-07-12
CN114743154B true CN114743154B (zh) 2022-09-20

Family

ID=82287133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210665713.4A Active CN114743154B (zh) 2022-06-14 2022-06-14 一种基于注册形式的工服识别方法及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114743154B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077004A1 (en) * 2022-10-04 2024-04-11 Sensormatic Electronics, LLC Systems and methods for generating a visualization of workspace employees

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281841A (zh) * 2014-09-30 2015-01-14 深圳市汇顶科技股份有限公司 一种指纹识别系统及其指纹处理方法和装置
CN109117827B (zh) * 2018-09-05 2020-11-24 武汉市蓝领英才科技有限公司 基于视频的工服工帽穿戴状态自动识别方法与报警系统
RU2746652C1 (ru) * 2020-06-22 2021-04-19 Общество с ограниченной ответственностью "Норд Вижен Интелледженс Солюшенс" Модульный комплекс контроля производственной безопасности и технологических процессов
CN114581959A (zh) * 2022-05-09 2022-06-03 南京安元科技有限公司 基于服装款式特征提取的工服穿戴检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法

Also Published As

Publication number Publication date
CN114743154A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
Hashemzadeh et al. Fire detection for video surveillance applications using ICA K-medoids-based color model and efficient spatio-temporal visual features
US6697502B2 (en) Image processing method for detecting human figures in a digital image
US6184926B1 (en) System and method for detecting a human face in uncontrolled environments
CN110298297B (zh) 火焰识别方法和装置
Migdal et al. Background subtraction using markov thresholds
Pless et al. Evaluation of local models of dynamic backgrounds
CN112733814B (zh) 一种基于深度学习的行人徘徊滞留检测方法、系统及介质
US6421462B1 (en) Technique for differencing an image
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
CN109800682B (zh) 驾驶员属性识别方法及相关产品
JP6532317B2 (ja) 物体追尾装置、物体追尾方法及びプログラム
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
Martínez-Martín et al. Robust motion detection in real-life scenarios
CN112417955B (zh) 巡检视频流处理方法及装置
US6434271B1 (en) Technique for locating objects within an image
Ramirez-Alonso et al. Temporal weighted learning model for background estimation with an automatic re-initialization stage and adaptive parameters update
Broggi et al. Model-based validation approaches and matching techniques for automotive vision based pedestrian detection
JP6448212B2 (ja) 認識装置及び認識方法
CN114743154B (zh) 一种基于注册形式的工服识别方法及计算机可读介质
US6240197B1 (en) Technique for disambiguating proximate objects within an image
CN114863464A (zh) 一种pid图纸图件信息的二阶识别方法
JPH08249444A (ja) 物体属性検出方法
CN112508135B (zh) 模型训练方法、行人属性预测方法、装置及设备
CN110032976B (zh) 一种基于掩膜处理新型步态能量图的获取及身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant