CN112183345A - 一种复杂场景下的号服识别方法 - Google Patents

一种复杂场景下的号服识别方法 Download PDF

Info

Publication number
CN112183345A
CN112183345A CN202011042684.3A CN202011042684A CN112183345A CN 112183345 A CN112183345 A CN 112183345A CN 202011042684 A CN202011042684 A CN 202011042684A CN 112183345 A CN112183345 A CN 112183345A
Authority
CN
China
Prior art keywords
uniform
clothing
identifying
complex scene
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011042684.3A
Other languages
English (en)
Inventor
王健
薛超
王宁
张钦海
周湘平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandy Technologies Co Ltd
Original Assignee
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandy Technologies Co Ltd filed Critical Tiandy Technologies Co Ltd
Priority to CN202011042684.3A priority Critical patent/CN112183345A/zh
Publication of CN112183345A publication Critical patent/CN112183345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种复杂场景下的号服识别方法，包括以下步骤：S1、为号服设计类间差异大、特征丰富的数字外形，并对号服进行编码；S2、建立并训练针对号服数字外形识别用的深度学习模型；S3、对待检测的号服图像进行预处理；S4、将预处理后的号服图像输入号服识别用的深度学习模型进行检测，得到号服数字外形，即号服序列。本发明所述的复杂场景下的号服识别方法，通过设计更有效的数字外形特征，同时设计了基于深度学习的识别方法,可较大程度提高号服的识别精度，更好的满足复杂场景的需求。

Description

一种复杂场景下的号服识别方法
技术领域
本发明属于视频检测技术领域，尤其是涉及一种复杂场景下的号服识别方法。
背景技术
随着技术的进步与发展，视频监控系统在公安系统内部各单位的应用越来越广泛，尤其是对在押人员的监管和监控，视频监控系统起着尤为重要的作用。监室内的特殊人员通常有特定的号服，通过识别号服实现对特殊人员识别与跟踪是一种有效地手段，但受限于号服的褶皱、变形以及部分遮挡等因素，号服识别的可靠性难以满足实际需求。
发明内容
有鉴于此，本发明旨在提出一种复杂场景下的号服识别方法，以解决背景技术中号服因褶皱、变形以及部分遮挡等因素，使得号服识别的可靠性难以满足实际需求。
为达到上述目的，本发明的技术方案是这样实现的：
一种复杂场景下的号服识别方法，包括以下步骤：
S1、为号服设计类间差异大、特征丰富的数字外形，并对数字外形进行编码；
S2、建立并训练针对号服数字外形识别用的深度学习模型；
S3、对待检测的号服图像进行预处理；
S4、将预处理后的号服图像输入号服识别用的深度学习模型进行检测，得到号服数字外形，即号服序列。
进一步的，所述步骤S2中建立并训练针对号服数字外形识别用的深度学习模型，需要先采集身穿号服的人体图像，对号服数字进行标注，即根据号服数字在图像中的位置，标出真实的位置坐标及数字类别。
进一步的，所述步骤S2中号服识别用的深度学习模型训练采用随机梯度下降法对模型进行反复迭代训练，使用的损失函数如下式：
Figure BDA0002707104310000021
其中，s为特征网格图的边长，i为第i个网格，B为匹配目标框的个数，j为第j个匹配目标框，
Figure BDA0002707104310000022
表示如果第i个网格的第j个匹配目标框是数字框，
Figure BDA0002707104310000023
为预测出的数字目标框中心点坐标，xi，yi为标注的数字目标中心点，wi，hi是数字目标框的宽和高，Ci为第i个网格存在目标的预测概率，
Figure BDA0002707104310000024
第i个网格存在目标的标注置信度，λcoord为预测框包含标注数字目标框的权重系数，λnoobj为预测框不包含标注数字目标框的权重系数。通过不断迭代使得预测目标框与标注目标框的误差越来越小，预测越来越准确。
进一步的，所述步骤S3中对待检测的号服图像进行预处理的具体方法为：使用高斯滤波对待检测图像进行平滑去噪处理。
进一步的，所述步骤S4中的深度学习模型号服数字检测，利用步骤S2训练出的深度学习模型，在整幅图像上进行检测，记录检测到目标的位置和得分，若目标得分大于0.5则认为是有效目标。
进一步的，所述步骤S4中得到号服序列，包括如下步骤：
S401、阈值过滤：滤除得分较低的检测结果；
S402、号服数字聚堆：对号服有效数字进行聚堆；
S403、号服序列筛选；对聚堆的号服有效数字进行序列筛选。
进一步的，所述步骤S401中的阈值过滤，获取步骤2中检测得到的号服数字的具体位置与相应得分，得分最低为0，最高为1，滤除得分小于0.5的结果，留下正确的检测结果。
进一步的，所述步骤S402中的号服数字聚堆，通过对步骤S4中得到的每帧视频图像的有效数字进行检测，根据检测出的单个数字框间中心点的距离进行聚堆，设定聚堆的有效间距为0.5倍的数字矩形宽、高。
进一步的，所述步骤S403中的号服序列筛选，对满足步骤S402中设定聚堆的有效间距为0.5倍的数字矩形进行筛选，以获得最终的号服组合序列。
相对于现有技术，本发明所述的一种复杂场景下的号服识别方法具有以下优势：
(1)本发明所述的一种复杂场景下的号服识别方法可较大程度提高号服的识别精度；
(2)本发明所述的一种复杂场景下的号服识别方法可实现对特殊人员进行无感识别与跟踪，在公安监管领域具有广泛的应用价值。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种复杂场景下的号服识别方法的号服字体设计示意图；
图2为本发明实施例所述的一种复杂场景下的号服识别方法的号服检测模型训练及检测流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1、图2所示，一种复杂场景下的号服识别方法,包括以下步骤：
步骤一、设计易于识别的数字外形，进行号服编码。常规数字间差异较少，在褶皱或部分遮挡后容易造成歧义，导致识别错误，本方案通过构建了一套类间差异大，特征更丰富的数字外形，通过对数字进行编码，以提高号服的辨识度。
步骤二、深度学习模型训练。具体包括样本收集、数据增强、样本标注和darknet框架下得模型训练。其中，样本的收集需要覆盖应用场景下目标的各种可能的姿态和角度；样本收集完后对样本做图像增强，调整图像的亮度、角度、对比度等信息，增加样本的多样性，可以提高模型的鲁棒性；数据增强完成后，对样本中的数字进行标注，样本的标注要求所标注目标位置的准确性；标注完成后，在darknet框架下训练基于YOLO的数字检测模型。本发明中，获取号服数字区域样本和非号服数字区域样本，对样本进行卷积特征提取，对提取后的样本进行深度学习网络训练，建立号服数字区域检测模型。
步骤三、对视频图像进行预处理，去除图像噪点。图预处理是在检测前，对要处理的图像进行平滑去躁，以达到更好的检测效果；本发明中使用高斯滤波对图像进行预处理，能够有效的抑制噪声，平滑图像。
步骤四、深度学习模型号服数字检测。利用深度学习YOLO模型，对步骤二得到的图像进行检测，获得检测到号牌数字的位置相应的得分；本发明中，需要提前对检测模型进行训练，需要先采集身穿号服的人体图像，对号服数字进行标注，即根据号服数字在图像中的位置，标出真实的位置坐标及数字类别，采用随机梯度下降法对模型进行反复迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式：
Figure BDA0002707104310000051
其中，s为特征网格图的边长，i为第i个网格，B为匹配目标框的个数，j为第j个匹配目标框，
Figure BDA0002707104310000052
表示如果第i个网格的第j个匹配目标框是数字框，
Figure BDA0002707104310000053
为预测出的数字目标框中心点坐标，xi，yi为标注的数字目标中心点，wi，hi是数字目标框的宽和高，Ci为第i个网格存在目标的预测概率，
Figure BDA0002707104310000054
第i个网格存在目标的标注置信度，λcoord为预测框包含标注数字目标框的权重系数，λnoobj为预测框不包含标注数字目标框的权重系数。通过不断迭代使得预测目标框与标注目标框的误差越来越小，预测越来越准确。
最后用检测效果最好的YOLO模型对步骤二得到的图像进行检测，从而确定数字在图像中的具体位置。
步骤五、对步骤四中得到的检测结果进行后处理，滤除得分较低的检测结果；本发明中，获取步骤四中检测得到的号服数字的具体位置与相应得分，得分最低为0，最高为1，滤除得分小于0.5的结果，留下正确的检测结果。
步骤六、对步骤五中得到的每帧视频图像的有效数字进行聚堆，得到号牌的最终结果；本发明中，根据检测输出的单个数字框间中心点的距离进行聚堆，设定聚堆的有效间距为0.5倍的数字矩形宽、高，以获得最终的号服组合序列。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种复杂场景下的号服识别方法，其特征在于,包括以下步骤：
S1、为号服设计类间差异大、特征丰富的数字外形，并对号服进行编码；
S2、建立并训练针对号服数字外形识别用的深度学习模型；
S3、对待检测的号服图像进行预处理；
S4、将预处理后的号服图像输入号服识别用的深度学习模型进行检测，得到号服数字外形，即号服序列。
2.根据权利要求1所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S2中建立并训练针对号服数字外形识别用的深度学习模型，需要先采集身穿号服的人体图像，对号服数字进行标注，即根据号服数字在图像中的位置，标出真实的位置坐标及数字类别。
3.根据权利要求1所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S2中号服识别用的深度学习模型训练采用随机梯度下降法对模型进行反复迭代训练，使用的损失函数如下式：
Figure FDA0002707104300000011
其中，s为特征网格图的边长，i为第i个网格，B为匹配目标框的个数，j为第j个匹配目标框，
Figure FDA0002707104300000012
表示如果第i个网格的第j个匹配目标框是数字框，
Figure FDA0002707104300000013
为预测出的数字目标框中心点坐标，xi，yi为标注的数字目标中心点，wi，hi是数字目标框的宽和高，Ci为第i个网格存在目标的预测概率，
Figure FDA0002707104300000021
第i个网格存在目标的标注置信度，λcoord为预测框包含标注数字目标框的权重系数，λnoobj为预测框不包含标注数字目标框的权重系数。通过不断迭代使得预测目标框与标注目标框的误差越来越小，预测越来越准确。
4.根据权利要求1所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S3中对待检测的号服图像进行预处理的具体方法为：使用高斯滤波对待检测图像进行平滑去噪处理。
5.根据权利要求1所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S4中的深度学习模型号服数字检测，利用步骤S2训练出的深度学习模型，在整幅图像上进行检测，记录检测到目标的位置和得分，若目标得分大于0.5则认为是有效目标。
6.根据权利要求1所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S4中得到号服序列，包括如下步骤：
S401、阈值过滤；滤除得分较低的检测结果；
S402、号服数字聚堆；对号服有效数字进行聚堆；
S403、号服序列筛选；对聚堆的号服有效数字进行序列筛选。
7.根据权利要求7所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S401中的阈值过滤，获取步骤2中检测得到的号服数字的具体位置与相应得分，得分最低为0，最高为1，滤除得分小于0.5的结果，留下正确的检测结果。
8.根据权利要求7所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S402中的号服数字聚堆，通过对步骤S4中得到的每帧视频图像的有效数字进行检测，根据检测出的单个数字框间中心点的距离进行聚堆，设定聚堆的有效间距为0.5倍的数字矩形宽、高。
9.根据权利要求8所述的一种复杂场景下的号服识别方法，其特征在于：所述步骤S403中的号服序列筛选，对满足步骤S402中设定聚堆的有效间距为0.5倍的数字矩形进行筛选，以获得最终的号服组合序列。
CN202011042684.3A 2020-09-28 2020-09-28 一种复杂场景下的号服识别方法 Pending CN112183345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011042684.3A CN112183345A (zh) 2020-09-28 2020-09-28 一种复杂场景下的号服识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011042684.3A CN112183345A (zh) 2020-09-28 2020-09-28 一种复杂场景下的号服识别方法

Publications (1)

Publication Number Publication Date
CN112183345A true CN112183345A (zh) 2021-01-05

Family

ID=73945390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011042684.3A Pending CN112183345A (zh) 2020-09-28 2020-09-28 一种复杂场景下的号服识别方法

Country Status (1)

Country Link
CN (1) CN112183345A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1247002A (zh) * 1997-01-31 2000-03-08 西门子公司 一个数字化图象编码和解码的方法和装置
CN108564077A (zh) * 2018-04-03 2018-09-21 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中数字的检测和识别方法
CN109583428A (zh) * 2018-12-20 2019-04-05 天津天地伟业信息系统集成有限公司 一种基于视频的法庭标牌识别方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110807367A (zh) * 2019-10-05 2020-02-18 上海淡竹体育科技有限公司 一种动态识别运动中人员号码的方法
CN111353511A (zh) * 2018-12-20 2020-06-30 富士通株式会社 号码识别装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1247002A (zh) * 1997-01-31 2000-03-08 西门子公司 一个数字化图象编码和解码的方法和装置
CN108564077A (zh) * 2018-04-03 2018-09-21 哈尔滨哈船智控科技有限责任公司 一种基于深度学习对视频或图片中数字的检测和识别方法
CN109583428A (zh) * 2018-12-20 2019-04-05 天津天地伟业信息系统集成有限公司 一种基于视频的法庭标牌识别方法
CN111353511A (zh) * 2018-12-20 2020-06-30 富士通株式会社 号码识别装置及方法
CN110363202A (zh) * 2019-07-23 2019-10-22 深圳中科捷飞科技有限公司 指针式仪表数值读取方法及计算机终端
CN110807367A (zh) * 2019-10-05 2020-02-18 上海淡竹体育科技有限公司 一种动态识别运动中人员号码的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WHISPERWANG、知乎用户: "识别性最佳的数字字体是什么", 《HTTPS://WWW.ZHIHU.COM/QUESTION/28406652/ANSWER/423379526》 *
李文涛: "视频中运动人员号码识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
董洪义: "《深度学习之PyTorch物体检测实践》", 31 January 2020 *

Similar Documents

Publication Publication Date Title
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN110298291B (zh) 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN102521565B (zh) 低分辨率视频的服装识别方法及系统
CN102629319B (zh) 基于特定边界检测子的鲁棒虹膜区域分割方法
CN108229427A (zh) 一种基于身份证件和人脸识别的身份安全验证方法及系统
CN106250895A (zh) 一种光学遥感图像感兴趣区域检测方法
CN106372581A (zh) 构建及训练人脸识别特征提取网络的方法
CN109543688A (zh) 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN114219984B (zh) 一种基于改进YOLOv3的微小病虫害检测系统及其方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN103699874B (zh) 基于surf流和lle稀疏表示的人群异常行为识别方法
CN107958217A (zh) 一种基于深度学习的指纹分类识别系统及方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN109242826A (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN113901874A (zh) 一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法
CN105718954A (zh) 一种基于视触觉融合的目标属性和类别的识别方法
CN103455826B (zh) 基于快速鲁棒性特征的高效匹配核人体检测方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN111461222B (zh) 目标物轨迹相似度的获取方法、装置及电子设备
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN112132157A (zh) 一种基于树莓派的步态人脸融合识别方法
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
CN110222660B (zh) 一种基于动态与静态特征融合的签名鉴伪方法及系统
CN107292273A (zh) 基于特异扩展八邻域双Gabor掌纹ROI匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105

RJ01 Rejection of invention patent application after publication