CN116704579A - 一种基于图像处理的学生迎新照片分析系统及方法 - Google Patents

一种基于图像处理的学生迎新照片分析系统及方法 Download PDF

Info

Publication number
CN116704579A
CN116704579A CN202310681373.9A CN202310681373A CN116704579A CN 116704579 A CN116704579 A CN 116704579A CN 202310681373 A CN202310681373 A CN 202310681373A CN 116704579 A CN116704579 A CN 116704579A
Authority
CN
China
Prior art keywords
detection
image
student
photo
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310681373.9A
Other languages
English (en)
Inventor
刘思若
郭倩
罗军锋
徐墨
锁志海
姚磊
夏文芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310681373.9A priority Critical patent/CN116704579A/zh
Publication of CN116704579A publication Critical patent/CN116704579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于图像处理的学生迎新照片分析系统及方法，通过同时比对学生高考录取照片和刷身份证获取的身份证件照进行实时核验，双重校验下大大提升了比对准确性；无需调用第三方付费人证比对SDK，进一步降低了核验成本；无需储存照片后进行事后比对，大幅提升了核验的时效性。即通过人脸识别核验人证一致性，通过后，方可进行照片采集，再通过图像处理技术生成符合学生管理要求的各类证件照和符合迎新展示要求的纪念照片并存入数据库，以此作为学生在校期间的唯一照片数据源。为高校的数字迎新工作、学生管理工作和照片数据的治理工作提供了实践案例和技术基础。

Description

一种基于图像处理的学生迎新照片分析系统及方法
技术领域
本发明属于图像处理技术领域，涉及一种基于图像处理的学生迎新照片分析系统及方法。
背景技术
在数字化校园快速建设的今天，诸多高校通过将迎新环节从线下搬到线上实现了便捷、高效的数字迎新服务。但是随着云计算、大数据、互联网等新技术的飞速发展，广大学生对迎新工作的服务要求已经由提高办理效率转换为提升服务效能，由提升数字化服务水平转变为体现智能化服务能力。
学生入学报到作为迎新工作中最重要且必不可少的一环，承载着新生入学资格复查、学生到校确认和学生归属感建立等多重任务。
作为规范学籍管理、杜绝冒名顶替的一种重要手段，新生入学资格复查目前的常见方式有2种，一种是通过工作人员肉眼进行身份证、录取通知书和学生本人的一致性比对，该方式被多数高校采用，但完全依赖于人，准确率低，且难以避免伪造证件等特殊情况；另一种是通过移动或固定设备采集学生照片，利用公安系统身份证查询接口将采集的照片与身份证件照进行一致性比对，该方式已被少数高校采纳，但需要购买第三方硬件设备或查询接口使用权限，费用高昂且查询速度不可控，核验过程还需要工作人员高度参与、耗费人力。上述第二种方法还引发了学生照片重复多次采集的问题，各高校在新生入校后通常会分别采集一卡通照片和学籍照片，如果再专门为复查入学资格安排照片采集，不仅给学生造成了不便和困扰，也为迎新工作带来了繁重的工作量。
发明内容
本发明的目的在于解决现有技术中现有新生入学资格复查程序复杂，工作量大的问题，提供一种基于图像处理的学生迎新照片分析系统及方法。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明提出的一种基于图像处理的学生迎新照片分析系统，包括身份核验模块、照片采集模块和数据处理模块；
所述身份核验模块包括刷卡设备和移动智能终端，所述照片采集模块包括采集设备和计算机；所述刷卡设备与所述移动智能终端相连用于进行信息核验比对；所述移动智能终端与所述计算机的第一端口相连，所述采集设备与所述计算机的第二端口相连用于采集传输数据，所述数据处理模块与所述计算机的第三端口相连用于实现数据的分析处理。
优选地，所述数据处理模块的另一端口连接有显示设备。
本发明提出的一种基于图像处理的学生迎新照片分析方法，包括如下步骤：
通过刷卡设备获取身份信息并传输给移动智能终端，移动智能终端比对核验学籍信息和人证一致性；
采集设备将采集的信息通过计算机传至数据处理模块，数据处理模块对信息进行处理，生成满足质量检测标准且经过降噪的图像。
优选地，移动智能终端比对核验学籍信息和人证一致性的方法如下：
刷卡设备读取身份证号，对读取的身份证号与移动智能终端的学生数据进行关联，若该学生具备入学资格则实现学籍信息一致性认证，若该学生不具备入学资格则终止采集；
刷卡设备读取身份证号，对读取的身份证号与移动智能终端的学生数据进行关联，得到学生高考录取照片，通过移动智能终端获取学生人脸图像，采用一致性检测算法将比对照片和人脸图像分别进行1:1比对，若比对结果一致，则将采集信息传输至数据处理模块进行分析处理，若对比结果不一致，则终止该学生的采集过程。
优选地，所述一致性检测算法具体步骤如下：
采用MTCNN算法模型检测人脸，再利用仿射函数针对人脸关键点进行人脸对齐；
针对比对图像和对齐后的人脸图像，采用InsightFace算法分别提取其512维特征向量，通过欧氏距离对比两者特征向量，若欧氏距离小于1.24，则判定为同一人，人证比对结果一致。
优选地，所述数据处理模块对信息进行处理的步骤如下：
对采集图像的人脸区域进行初步的质量检测，包括亮度检测、清晰度检测、色偏检测、遮挡检测；
对未通过亮度检测、清晰度检测和色偏检测的图像进行亮度调整、清晰度增强和色偏矫正，生成满足质量检测要求的图像；
对通过质量检测的图像进行降噪处理，得到降噪后的全身图像。
优选地，亮度检测、清晰度检测、色偏检测和遮挡检测具体步骤如下：
亮度检测：根据直方图中波峰分布情况进行亮度检测，若在不同光照强度下人脸区域亮度不满足亮度检测阈值，则判定为未通过亮度检测；
遮挡检测：基于Tensorflow+Keras构建CNN遮挡检测模型，设定5个遮挡区域分别为左眼、右眼、鼻子、嘴巴和下巴，对数据集Cofw中人脸样本的5个遮挡区域随机叠加不同灰度值的矩形块，通过训练的遮挡检测模型判断是否存在遮挡，若存在遮挡区域，则判定为未通过遮挡检测；
清晰度检测：运用峰值信噪比和结构相似性相结合的评价指标检测清晰度，计算峰值信噪比和结构相似性指标加权平均值，若不满足清晰度阈值，则判定为未通过清晰度检测；
色偏检测：检测不同色温环境下人脸区域是否存在色偏问题，检测图像的Lab模型数值范围，并与身份证的数值范围进行比较，若不满足范围要求，则判定为未通过色偏检测。
优选地，亮度调整、清晰度增强和色偏矫正的步骤如下：
亮度调整：对于未通过亮度检测的图像，根据检测结果，自动调整曝光和对比度，直到能够通过亮度检测，并继续完成清晰度检测和色偏检测；
清晰度增强：对于未通过清晰度检测的图像，采用腾讯开源的图像超分辨率算法RealSR进行清晰度增强，直到能够通过清晰度检测，并继续完成色偏检测；
色偏矫正：对于未通过色偏检测的图像，根据检测结果自动调整红、黄、橙、绿、蓝、紫、洋红通道的饱和度，直到能够通过色偏检测。
优选地，图像进行降噪处理步骤如下：
多尺度分解单帧图像：采用3层多尺度小波分解，得到高频、中频、低频信息；
单帧降噪处理：针对高频、中频、低频信息，采用非局部均值滤波NLM降噪算法进行降噪；
夜间多帧降噪：当图像ISO值大于800时，对连续3张去噪后的单帧图像进行多帧降噪处理，实现图像降噪。
本发明提出的一种基于图像处理的学生迎新照片分析系统，包括：
信息匹配模块，所述信息匹配模块用于通过刷卡设备获取身份信息并传输给移动智能终端，移动智能终端比对核验学籍信息和人证一致性；
信息处理模块，所述信息处理模块用于采集设备将采集的信息通过计算机传至数据处理模块，数据处理模块对信息进行处理，生成满足质量检测标准且经过降噪的图像。
与现有技术相比，本发明具有以下有益效果：
本发明提出的一种基于图像处理的学生迎新照片分析系统，目的是为了针对新生报到时入学资格复查耗时耗力、入学报到后各类照片重复采集等问题，提出分析系统，通过人脸识别核验人证一致性，通过后，方可进行照片采集，再通过图像处理技术生成符合学生管理要求的证件照和符合迎新展示要求的纪念照片并存入数据库，以此作为学生在校期间的唯一照片数据源。为高校的数字迎新工作、学生管理工作和照片数据的治理工作提供了实践案例和技术基础。
本发明提出的一种基于图像处理的学生迎新照片分析方法，通过同时比对学生高考录取照片和刷身份证获取的身份证件照进行实时核验，双重校验下大大提升了比对准确性；无需调用第三方付费人证比对SDK，进一步降低了核验成本；无需储存照片后进行事后比对，大幅提升了核验的时效性。
进一步地，学生通过移动智能终端自助式完成身份核验，核验过程无需人工干预，减少了大量人力消耗。
进一步地，通过对采集图像亮度、清晰度、色偏和遮挡的检测，提前识别有遮挡物的图像重新采集，对于未通过亮度、清晰度和色偏检测的低质量图像，通过亮度调整、清晰度增强和色偏矫正，使图像满足质量检测标准，以便后续提供各种像素尺寸和背景颜色的证件照，为照片“一次采集，多次复用”奠定基础。
进一步地，对图像进行降噪处理，尤其针对夜间环境进行多帧降噪处理，抗干扰能力强，适用于室内外不同工作环境，光照鲁棒性强，白天夜晚均可使用。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明基于图像处理的学生迎新照片分析系统架构图。
图2是本发明基于图像处理的学生迎新照片分析方法流程图。
图3是本发明中迎新照片采集方法的工作流程图。
图4是本发明中迎新照片采集方法身份比对核验模块的工作流程图。
图5是本发明中所述眨眼检测中人眼关键点的位置图。
图6是本发明中图像质量检测子模块中遮挡检测CNN模型结构图。
图7是本发明基于图像处理的学生迎新照片分析系统图。
其中：1-身份核验模块，2-照片采集模块，3-显示设备，4-数据处理模块，11-刷卡设备，12-移动智能终端，21-采集设备，22-采集框，23-计算机。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
本发明提出的一种基于图像处理的学生迎新照片分析系统，如图1所示，包括身份核验模块1、照片采集模块2和数据处理模块4；
身份核验模块1包括刷卡设备11和移动智能终端12，照片采集模块2包括采集设备21和计算机23；刷卡设备11与移动智能终端12相连用于进行信息核验比对；移动智能终端12与计算机23的第一端口相连，采集设备21与计算机23的第二端口相连用于采集传输数据，数据处理模块4与计算机23的第三端口相连用于实现数据的分析处理，数据处理模块4的另一端口连接有显示设备3。
其中，刷卡设备11用于读取身份证号和身份证件照，移动智能终端12根据身份证号关联学生数据获取高考录取照片，并通过移动终端12的摄像头采集学生人脸图像进行核验比对。计算机23用于获取采集设备21采集的人像，并上传到数据处理模块4进行自动处理；显示设备3用于展示学生迎新报到动态情况和迎新纪念照片。
本发明还提出了一种基于图像处理的学生迎新照片分析方法，如图2所示，包括如下步骤：
步骤1、通过刷卡设备11获取身份信息并传输给移动智能终端12，移动智能终端12比对核验学籍信息和人证一致性；
步骤2、采集设备21将采集的信息通过计算机23传至数据处理模块4，数据处理模块4对信息进行处理，生成满足质量检测标准且经过降噪的图像。
如图3所示，具体步骤如下：
步骤1：基础数据采集：对接学校一卡通系统、迎新系统、体检系统、学工系统、研究生系统、财务系统6个业务系统数据，汇集学生相关数据，并将数据下发到移动智能终端12；
步骤2：采集预约核验：学生线上预约采集时间和地点，预约成功后生成特定二维码，采集现场通过移动智能终端12扫描二维码验证预约情况；
步骤3：自助身份核验：学生持身份证到达身份核验区域，在刷卡设备11上刷身份证核验身份，通过移动智能终端12的身份比对核验模块校验学籍信息和人证一致性；
具体工作流程图如图4所示：
步骤31：学籍信息比对：刷卡设备11读取身份证号和身份证件照，根据读取的身份证号与步骤1中下发到移动智能终端12的学生数据进行关联，判断该学生是否具备入学资格，若不具备则终止采集，并通知学生学籍管理部门；
步骤32：人证比对：根据读取的身份证号与步骤1中下发到移动智能终端12的学生数据进行关联，得到学生高考录取照片，比对照片设置为身份证件照和高考录取照片，通过移动智能终端12摄像头获取学生人脸图像，采用一致性检测算法将两张比对照片和人脸图像分别进行1:1比对，若比对结果一致，则进行步骤4图像采集处理，若不一致，则终止该学生的采集过程。
一致性检测算法，具体步骤如下：
步骤321：活体检测：对移动智能终端12摄像头预览界面的视频流逐帧进行活体检测，判断当前视频画面中的人脸是否是真人，而不是图片或录像等其他替代物，每隔一个随机时间段要求画面中的人眨眼并进行眨眼检测，若连续2次检测到有眨眼行为，则判定为活体，否则判定为非活体，终端显示屏提示“未检测到人脸”。眨眼检测具体为，对视频流每帧图像做人脸表征检测，得到人眼区域的6个点P1、P2、P3、P4、P5、P6位置数据，如图5所示，通过分析人眼区域的闭合程度判断是否发生眨眼，EAR计算公式如下：
若在8个视频帧内，EAR值呈现先趋近于0，然后恢复初始值的趋势，则对应快速闭眼和睁眼动作，判定为眨眼；
步骤322：人脸检测和对齐：采用MTCNN算法模型检测人脸，输出一张人脸框图像和5个人脸关键点坐标信息(包括眼睛2个、鼻子1个、嘴角2个)，若存在同一人脸多检测框情况，则仅保留与图像中心点偏差最小的人脸框图像，并在终端设备显示屏上实时显示关键点检测结果，再利用仿射函数针对人脸关键点进行人脸对齐；
步骤323：人脸验证：针对比对图像和对齐后的人脸图像，采用InsightFace算法分别提取其512维特征向量，通过欧氏距离对比两者特征向量，若欧氏距离小于1.24，则判定为同一人，人证比对结果一致。
步骤4：图像采集处理：学生在照片采集模块2的采集框22后侧站立，采集设备21采集全身像后，计算机23通过无线网络传输获取采集设备21图像并上传至数据处理模块4，数据处理模块4生成满足质量检测标准且经过降噪的全身图像；
图像质量检测子模块、低质量图像矫正子模块和图像降噪子模块的具体步骤如下：
步骤41：对采集图像的人脸区域进行初步的质量检测，包括亮度检测、清晰度检测、色偏检测、遮挡检测；
具体工作步骤如下：
步骤411：初始化参数和检测区域：系统启动时会参照常规标准进行亮度检测阈值和清晰度检测阈值自动初始化，同时也支持根据使用的实际场景进行人工微调。再利用Dlib人脸检测器裁剪出采集图像的人脸区域作为检测区域。
步骤412：遮挡检测：负责检测人脸区域是否存在遮挡物，基于Tensorflow+Keras构建CNN遮挡检测模型，设定5个遮挡区域分别为左眼、右眼、鼻子、嘴巴和下巴，具体步骤如下：
(a)构造训练数据集：对数据集Cofw中人脸样本的5个遮挡区域随机叠加不同灰度值的矩形块，扩展遮挡人脸样本，为避免模型对眼镜和胡子的误识别，加入了400张眼镜和胡子数据作为正样本，分类标签使用one-hot编码，有遮挡的区域为1，无遮挡为0。
(b)搭建多标签分类的CNN模型：模型结构如图6所示，其中激活函数使用Sigmoid，损失函数使用二值交叉熵，训练生成遮挡检测模型文件。
(c)实际运行过程：通过训练的遮挡检测模型判断是否存在遮挡，若存在遮挡区域，则判定为未通过遮挡检测，并在计算机上显示具体遮挡部位，同时进行语音提示，去掉遮挡后重新采集。
步骤413：亮度检测：负责检测在不同光照强度下人脸区域亮度是否满足要求，首先将图像转为灰度图像，得到其灰度直方图，正常曝光图像的灰度直方图均匀分布在灰度值128附近。根据直方图中波峰分布情况，计算P值，计算公式如下：
其中sum为所有峰值之和，cnt为峰值数量，Rsum为灰度值128右侧所有峰值之和，Lsum为灰度值128左侧所有峰值之和。P值过大，说明图像存在过曝或欠曝问题，若P大于设定的亮度检测阈值，则判定为未通过亮度检测。
步骤414：清晰度检测：负责检测清晰度和噪声程度是否满足要求，运用峰值信噪比PSNR和结构相似性NRSS相结合的评价指标检测清晰度，其中PSNR指标主要体现图像客观像素点间误差，NRSS指标符合人眼主观视觉特性。首先提取图像I的低频部分K，计算图像I、K的PSNR值，MSE为图像I、K的均方误差。
利用Sobel算子分别提取图像I、K水平垂直方向梯度信息GI、GK，通过计算方差找到梯度图像GI中信息最丰富的64个图像块，并对应得到GK的64个图像块，计算无参考结构清晰度NRSS，其中xi，yi分别为GI、GK中信息最丰富的第i个图像块，SSIM为结构相似性函数。
最后计算PSNR和NRSS加权平均值，与系统设定的清晰度检测阈值进行比较，若小于阈值，则判定为未通过清晰度检测。
步骤415：色偏检测：负责检测不同色温环境下人脸区域是否存在色偏问题，将RGB图像转换为Lab空间图像，检测图像的Lab模型数值范围，系统自动检测当前图像的Lab值，并与二代身份证的数值范围进行比较，若不满足范围要求，则判定为未通过色偏检测。
步骤42：对未通过亮度检测、清晰度检测和色偏检测的图像进行对应的亮度调整、清晰度增强和色偏矫正，生成满足质量检测要求的图像；
具体工作步骤如下：
步骤421：亮度调整：对于未通过亮度检测的图像，根据检测结果，自动调整曝光和对比度，直到能够通过亮度检测，并继续完成清晰度检测和色偏检测；
步骤422：清晰度增强：对于未通过清晰度检测的图像，采用腾讯开源的图像超分辨率算法RealSR进行清晰度增强，直到能够通过清晰度检测，并继续完成色偏检测；
步骤423：色偏矫正：对于未通过色偏检测的图像，根据检测结果，自动调整红、黄、橙、绿、蓝、紫、洋红通道的饱和度，直到能够通过色偏检测。
步骤43：对通过质量检测的图像进行降噪处理，主要对单帧图像采用空间域和频域滤波相结合的方法去噪，再针对光线较暗时高ISO感光度引入的噪点，对多张去噪后的单帧图像进行多帧降噪，得到降噪后的全身图像。
具体工作步骤如下：
步骤431：多尺度分解单帧图像：采用3层多尺度小波分解，得到高频、中频、低频信息。
步骤432：单帧降噪处理：针对高频、中频、低频信息，采用非局部均值滤波NLM降噪算法，NLM滤波的数学表达式如下：
其中g为待滤波图像，为滤波后图像，Ωi表示大小为q×q中心像素为i的搜索区域，w(i,j)为像素点g(j)权重，h为控制滤波平滑程度的滤波系数，d(i,j)表示两个窗口之间的欧氏距离，α为高斯核标准差，N(i)表示大小为p×p中心像素为i的相似性窗口。不同频率设置不同降噪参数，频率越低降噪强度越大，设置高频部分搜索窗口大小q＝21，相似性窗口p＝7，滤波系数h＝0.6；中频部分搜索窗口大小q＝13，相似性窗口p＝5，滤波系数h＝0.8；低频部分搜索窗口大小q＝5，相似性窗口p＝2，滤波系数h＝1.0。为进一步加快计算速度，引入相似性程度阈值，若d(i,j)大于该阈值，则认为二者相似程度较低，设置该像素点权重w(i,j)＝0。
步骤433：夜间多帧降噪：当图像ISO值大于800时，对连续3张去噪后的单帧图像进行多帧降噪处理，多帧降噪过程由特征点提取、特征点匹配、图像配准和图像融合四部分组成。
特征点提取：利用SIFT算法提取特征点，主要通过图像金字塔生成多尺度空间确定候选点，然后进行非极大值抑制筛选特征点，同时精确定位特征点坐标，选取特征点主方向，利用特征点方向构造特征点描述子。
特征点匹配：通过计算两个特征点间的欧氏距离来确定匹配度，欧氏距离越短代表两个特征点匹配度越好，得到匹配度最高的10对特征点。
图像配准：根据10对特征点计算两幅图像的单应性矩阵H，完成图像配准。
图像融合：由于本系统单反相机位置固定，多帧间存在旋转、倾斜、鬼影、拖影等异常情况的可能性较低，因此像素点间的差异基本可以认为是噪声引起的，对多张图像对应的像素点在空间域做加权平均，最终得到多帧降噪后的全身图像。
步骤5：照片共享传输：数据处理模块4根据学生和各类信息化系统的需求，生成标准化证件照和迎新纪念照片，共享传输给信息化系统。
工作步骤如下：
步骤51：对经过图像自动处理模块4处理的全身图像，通过证件照裁剪子模块获取标准化证件照；
步骤511：像素尺寸和背景颜色设置：系统支持通过提供的像素尺寸和背景颜色设置接口自定义证件照尺寸和颜色以满足学生和学校管理的各类需求。学生可通过移动校园输入证件照像素尺寸和背景颜色参数，学校各类信息化系统通过设置接口上传证件照像素尺寸和背景颜色参数。
步骤512：人像区域截取：首先利用人脸检测算法识别出降噪后结果图像中人脸矩形框，然后截取头部和肩部区域作为人像区域。
步骤513：尺寸调整：根据设置的像素尺寸要求缩放截取的人像区域，使其占整张照片85％区域，且矩形顶点相对于照片中轴线对称，矩形区域距离照片上边缘高度的10％像素点，距离下边缘1像素点。
步骤514：背景替换：提取人像头部和肩部前景，根据设置的背景颜色要求替换背景像素点，得到标准化证件照。
步骤52：对经过图像自动处理模块4处理的全身图像，通过迎新纪念照片合成子模块获取迎新纪念照片，纪念照片由全身图像、模板、电子录取通知书、纪念文字等元素构成，迎新照片左、右区域分别按照模板放置全身图像和电子录取通知书，迎新照中间区域根据学生到校时间和到校次序显示纪念文字，通过综合分析学生报到时间、体检时间、现场照片采集时间，比对得到最早的时间作为学生到校时间，按照实时到校时间排序获得到校次序；
需要在系统设置保存压缩参数，包括图像保存比例、最大尺寸、默认保存路径、图像宽度高度、压缩比例、是否自动保存副本至其他目录等参数。
步骤53：推送生成标准化证件照和迎新纪念照片给各类信息化系统。
图像经过保存压缩后，通过接口将标准化证件照和迎新纪念照片共享至各类信息化系统，接口使用HTTP协议，JSON数据格式，UTF8编码规范，请求参数包括学生学号、采集时间、照片像素尺寸、照片背景颜色、推送系统代码、设备号、参数签名，其中参数签名为学号、采集时间和密钥拼接后的字符串再经过md5加密的值。学生管理相关系统通过系统提供的接口获取证件照，作为学生学籍照片来源；一卡通系统通过系统提供的接口获取证件照，作为学生校园卡照片；学工大数据平台通过系统提供的接口获取迎新纪念照片，作为学生成长档案的第一份素材；移动校园通过系统提供的接口获取证件照和迎新纪念照片，支持学生登录后下载自己的证件照和迎新纪念照片。
步骤6：显示设备3实时获取步骤5生成的迎新纪念照片，轮播展示迎新照片播放大屏，若当前没有迎新纪念照片时切换展示迎新数据统计分析大屏。
迎新照片播放大屏：通过HTTP协议接口实时获取学生迎新纪念照片并立即将当前获取的照片进行播放展示；若未从接口获取到照片，则按照学生到校次序轮播展示已获取的所有当前入学年份的迎新纪念照片。
迎新数据统计分析大屏：通过多维度、多样化统计图表展示全校新生报到、体检、缴费、绿色通道办理进度，包含实时报到总人数、总体报到率、各校区报到人数、各书学院报到人数、各书学院报到率、各省份到校人数、24小时内各时段报到人数、学生体检人数、办理绿色通道人数、办理财务缴费人数、已发放军训服装人数。
本发明提出的一种基于图像处理的学生迎新照片分析系统，如图7所示，包括信息匹配模块和信息处理模块；
所述信息匹配模块用于通过刷卡设备11获取身份信息并传输给移动智能终端12，移动智能终端12比对核验学籍信息和人证一致性；
所述信息处理模块用于采集设备21将采集的信息通过计算机23传至数据处理模块4，数据处理模块4对信息进行处理，生成满足质量检测标准且经过降噪的图像。
本发明提出的一种基于图像处理的学生迎新照片分析方法，即可在新生报到时实现自助式身份核验、一站式学生照片采集、照片自动标准化处理、学生照片一采多用。本发明提出的方法，通过同时比对学生高考录取照片和刷身份证获取的身份证件照进行实时核验，双重校验下大大提升了比对准确性；无需调用第三方付费人证比对SDK，进一步降低了核验成本；无需储存照片后进行事后比对，大幅提升了核验的时效性。本发明提出的方法，通过图像自动标准化处理，可提供给学生和各类信息化系统自定义尺寸和颜色的标准化证件照，实现学生照片“一次采集，多次复用”。本发明提出的系统，由学生通过移动智能终端自助式完成身份核验，核验过程无需人工干预，减少了大量人力消耗。本发明提出的学生迎新照片采集系统，抗干扰能力强，适用于室内外不同工作环境，光照鲁棒性强，白天夜晚均可使用。
在保障迎新工作顺利开展的前提下，利用新技术嵌入智能化服务，实现快速准确的资格复查和一站式照片采集；不仅可以通过一次采集为学生管理、一卡通、就业等多个系统提供新生照片数据源；还可以合成、展示和留存新生入校的纪念照片，体现学校对新生入校后的“第一站关怀”、建立新生对学校的归属感；从而进一步提高迎新工作的服务效能。
将移动终端摄像头获取的人脸图像、采集设备拍摄的全身照片通过程序调用接口实时快速传输至后台的技术已经很成熟，确保了数据的及时传输和算法的及时响应。与此同时大多数高校有自己的云平台，服务器资源足够支撑人脸识别算法和图像处理算法的高速运转以及计算结果的快速回传。随着教育信息化的积极推进，各高校均已实现了各类学生数据的融合共享，为学生信息核验和迎新大屏展示提供了数据支撑；一卡通、学生信息管理、大数据分析平台等学生相关信息系统的建设，为新生照片的“一次采集、多处使用”提供了丰富的使用场景和有力的技术保障。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的学生迎新照片分析系统，其特征在于，包括身份核验模块(1)、照片采集模块(2)和数据处理模块(4)；
所述身份核验模块(1)包括刷卡设备(11)和移动智能终端(12)，所述照片采集模块(2)包括采集设备(21)和计算机(23)；所述刷卡设备(11)与所述移动智能终端(12)相连用于进行信息核验比对；所述移动智能终端(12)与所述计算机(23)的第一端口相连，所述采集设备(21)与所述计算机(23)的第二端口相连用于采集传输数据，所述数据处理模块(4)与所述计算机(23)的第三端口相连用于实现数据的分析处理。
2.根据权利要求1所述的基于图像处理的学生迎新照片分析系统，其特征在于，所述数据处理模块(4)的另一端口连接有显示设备(3)。
3.一种基于图像处理的学生迎新照片分析方法，其特征在于，包括如下步骤：
通过刷卡设备(11)获取身份信息并传输给移动智能终端(12)，移动智能终端(12)比对核验学籍信息和人证一致性；
采集设备(21)将采集的信息通过计算机(23)传至数据处理模块(4)，数据处理模块(4)对信息进行处理，生成满足质量检测标准且经过降噪的图像。
4.根据权利要求3所述的基于图像处理的学生迎新照片分析方法，其特征在于，移动智能终端(12)比对核验学籍信息和人证一致性的方法如下：
刷卡设备(11)读取身份证号，对读取的身份证号与移动智能终端(12)的学生数据进行关联，若该学生具备入学资格则实现学籍信息一致性认证，若该学生不具备入学资格则终止采集；
刷卡设备(11)读取身份证号，对读取的身份证号与移动智能终端(12)的学生数据进行关联，得到学生高考录取照片，通过移动智能终端(12)获取学生人脸图像，采用一致性检测算法将比对照片和人脸图像分别进行1:1比对，若比对结果一致，则将采集信息传输至数据处理模块(4)进行分析处理，若对比结果不一致，则终止该学生的采集过程。
5.根据权利要求4所述的基于图像处理的学生迎新照片分析方法，其特征在于，所述一致性检测算法具体步骤如下：
采用MTCNN算法模型检测人脸，再利用仿射函数针对人脸关键点进行人脸对齐；
针对比对图像和对齐后的人脸图像，采用InsightFace算法分别提取其512维特征向量，通过欧氏距离对比两者特征向量，若欧氏距离小于1.24，则判定为同一人，人证比对结果一致。
6.根据权利要求3所述的基于图像处理的学生迎新照片分析方法，其特征在于，所述数据处理模块(4)对信息进行处理的步骤如下：
对采集图像的人脸区域进行初步的质量检测，包括亮度检测、清晰度检测、色偏检测、遮挡检测；
对未通过亮度检测、清晰度检测和色偏检测的图像进行亮度调整、清晰度增强和色偏矫正，生成满足质量检测要求的图像；
对通过质量检测的图像进行降噪处理，得到降噪后的全身图像。
7.根据权利要求6所述的基于图像处理的学生迎新照片分析方法，其特征在于，亮度检测、清晰度检测、色偏检测和遮挡检测具体步骤如下：
亮度检测：根据直方图中波峰分布情况进行亮度检测，若在不同光照强度下人脸区域亮度不满足亮度检测阈值，则判定为未通过亮度检测；
遮挡检测：基于Tensorflow+Keras构建CNN遮挡检测模型，设定5个遮挡区域分别为左眼、右眼、鼻子、嘴巴和下巴，对数据集Cofw中人脸样本的5个遮挡区域随机叠加不同灰度值的矩形块，通过训练的遮挡检测模型判断是否存在遮挡，若存在遮挡区域，则判定为未通过遮挡检测；
清晰度检测：运用峰值信噪比和结构相似性相结合的评价指标检测清晰度，计算峰值信噪比和结构相似性指标加权平均值，若不满足清晰度阈值，则判定为未通过清晰度检测；
色偏检测：检测不同色温环境下人脸区域是否存在色偏问题，检测图像的Lab模型数值范围，并与身份证的数值范围进行比较，若不满足范围要求，则判定为未通过色偏检测。
8.根据权利要求6所述的基于图像处理的学生迎新照片分析方法，其特征在于，亮度调整、清晰度增强和色偏矫正的步骤如下：
亮度调整：对于未通过亮度检测的图像，根据检测结果，自动调整曝光和对比度，直到能够通过亮度检测，并继续完成清晰度检测和色偏检测；
清晰度增强：对于未通过清晰度检测的图像，采用腾讯开源的图像超分辨率算法RealSR进行清晰度增强，直到能够通过清晰度检测，并继续完成色偏检测；
色偏矫正：对于未通过色偏检测的图像，根据检测结果自动调整红、黄、橙、绿、蓝、紫、洋红通道的饱和度，直到能够通过色偏检测。
9.根据权利要求6所述的基于图像处理的学生迎新照片分析方法，其特征在于，图像进行降噪处理步骤如下：
多尺度分解单帧图像：采用3层多尺度小波分解，得到高频、中频、低频信息；
单帧降噪处理：针对高频、中频、低频信息，采用非局部均值滤波NLM降噪算法进行降噪；
夜间多帧降噪：当图像ISO值大于800时，对连续3张去噪后的单帧图像进行多帧降噪处理，实现图像降噪。
10.一种基于图像处理的学生迎新照片分析系统，其特征在于，包括：
信息匹配模块，所述信息匹配模块用于通过刷卡设备(11)获取身份信息并传输给移动智能终端(12)，移动智能终端(12)比对核验学籍信息和人证一致性；
信息处理模块，所述信息处理模块用于采集设备(21)将采集的信息通过计算机(23)传至数据处理模块(4)，数据处理模块(4)对信息进行处理，生成满足质量检测标准且经过降噪的图像。
CN202310681373.9A 2023-06-08 2023-06-08 一种基于图像处理的学生迎新照片分析系统及方法 Pending CN116704579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310681373.9A CN116704579A (zh) 2023-06-08 2023-06-08 一种基于图像处理的学生迎新照片分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310681373.9A CN116704579A (zh) 2023-06-08 2023-06-08 一种基于图像处理的学生迎新照片分析系统及方法

Publications (1)

Publication Number Publication Date
CN116704579A true CN116704579A (zh) 2023-09-05

Family

ID=87842849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310681373.9A Pending CN116704579A (zh) 2023-06-08 2023-06-08 一种基于图像处理的学生迎新照片分析系统及方法

Country Status (1)

Country Link
CN (1) CN116704579A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041443A (zh) * 2023-10-09 2023-11-10 人力资源和社会保障部人事考试中心 一种离线照片处理的方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041443A (zh) * 2023-10-09 2023-11-10 人力资源和社会保障部人事考试中心 一种离线照片处理的方法、装置及存储介质
CN117041443B (zh) * 2023-10-09 2023-12-08 人力资源和社会保障部人事考试中心 一种离线照片处理的方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN101609500B (zh) 出入境数字人像相片质量评估方法
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
CN109740444B (zh) 人流量信息展示方法及相关产品
CN106529414A (zh) 一种通过图像比对实现结果认证的方法
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
CN109635620B (zh) 自助服务终端(sst)面部认证处理
CN104504408A (zh) 一种人脸识别比对方法和实现该方法的系统
EP1745438A1 (en) Method for determining image quality
CN116704579A (zh) 一种基于图像处理的学生迎新照片分析系统及方法
CN114463828B (zh) 基于人证统一的监考方法及系统、电子设备和存储介质
CN110969202A (zh) 基于颜色分量和感知哈希算法的人像采集环境验证方法及系统
CN208351494U (zh) 人脸识别系统
Chen et al. A dataset and benchmark towards multi-modal face anti-spoofing under surveillance scenarios
CN102063659B (zh) 电子相片采集制作方法、服务器和系统
CN113792662B (zh) 图像检测方法、装置、电子设备以及存储介质
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
CN102063660A (zh) 电子相片采集处理方法、客户端、服务器和系统
CN110858304A (zh) 一种身份证图像识别的方法及其设备
CN108446639A (zh) 低功耗增强现实设备
CN108540719A (zh) 拍摄照片的方法、装置、计算机设备及存储介质
CN104615985B (zh) 一种人脸相似度的识别方法
CN102521562A (zh) 一种智能拼接墙的视频分析统计方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination