CN114694233A - 一种基于多特征的考场监控视频图像中人脸定位方法 - Google Patents

一种基于多特征的考场监控视频图像中人脸定位方法 Download PDF

Info

Publication number
CN114694233A
CN114694233A CN202210611129.0A CN202210611129A CN114694233A CN 114694233 A CN114694233 A CN 114694233A CN 202210611129 A CN202210611129 A CN 202210611129A CN 114694233 A CN114694233 A CN 114694233A
Authority
CN
China
Prior art keywords
monitoring video
examination room
image data
room monitoring
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210611129.0A
Other languages
English (en)
Other versions
CN114694233B (zh
Inventor
刘说
潘帆
李翔
赵启军
黄珂
杨玲
杨智鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202210611129.0A priority Critical patent/CN114694233B/zh
Publication of CN114694233A publication Critical patent/CN114694233A/zh
Application granted granted Critical
Publication of CN114694233B publication Critical patent/CN114694233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多特征的考场监控视频图像中人脸定位方法，主要包括：首先基于SSD目标检测框架，建立针对考场监控视频图像数据中人的头发区域定位的目标检测深度学习模型，对考生头发区域定位，然后对考场监控视频图像数据在不同颜色空间进行基于阈值的像素点检测，并且引入多次索引图像更新方案，实现对皮肤区域的定位，最后将头发区域、皮肤区定位结果进行基于锚框翻转的融合，最终实现人脸的定位，该方法提高了对考场监控视频图像中人脸定位的准确性、可靠性及泛化能力。

Description

一种基于多特征的考场监控视频图像中人脸定位方法
技术领域
本发明属于图像处理、人工智能领域，具体涉及一种基于多特征的考场监控视频图像中人脸定位方法。
背景技术
在世界范围内，考试一直作为重要的检验、选拔手段广泛使用，这是由于其在一定程度上能确保公平、公正。然而为了顺利通过考试，存在各种各样作弊手段，为了保证考试的公平、公正原则，考试监控系统大量应用于各类考试中。然而，考场拥有了视频监控系统，却并不意味着能很好的解决作弊问题。
这是由于视频监控虽然能较为完整的记录考场信息，但是是否存在考试作弊行为，仍然需要相关部门投入大量的人力去对这些视频数据进行后期的处理和审查，其中很大比例的视频中是没有作弊行为的，但每一段视频都需要经过相关人员的仔细审查，由此产生了大量的工作量，由此产生了对考场监控视频中考生的行为进行自动识别的需求，而如何对考场监控视频中考生进行定位，则成为了一个必须解决的关键问题。
对于考场监控视频检测定位方法大致可以分为基于背景差分的方法、基于模板匹配的方法、基于图像特征的方法，这些方法存在检测范围有限，对于考场布局的依赖性较大等问题。
发明内容
本发明针对上述现有技术的不足，提出了一种考场监控视频图像中考生定位方法，包括以下步骤：
步骤1：基于SSD目标检测框架，建立针对考场监控视频图像数据中人的头发区域定位的目标检测深度学习模型；
步骤2：将考场监控视频初始图像数据输入到目标检测深度学习模型中，得到对考场监控视频图像数据中的人的头发区域的初步框选定位结果；
步骤3：对考场监控视频初始图像数据进行皮肤区域定位，首先将初始图像数据进行颜色空间变换，然后在不同颜色空间进行基于阈值的像素点检测，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果；
步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，得到对考场监控视频图像数据中的人脸定位结果。
进一步的，步骤3：对考场监控视频初始图像数据进行皮肤区域定位，将初始图像数据进行颜色空间变换，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果，具体为：
步骤3.1：对考场监控视频图像数据进行颜色空间变换，具体为：将考场监控视频初始图像数据从RGB颜色空间分别转换到其他颜色空间；
步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 179805DEST_PATH_IMAGE001
；
步骤3.3：将考场监控视频初始图像数据和最终皮肤索引图像
Figure 766644DEST_PATH_IMAGE002
进行匹配，将考场监控视频初始图像数据中像素点坐标与最终皮肤索引图像
Figure 989815DEST_PATH_IMAGE002
中像素值为0的像素点坐标相同的像素点的像素值设置为0，得到考场监控视频初始图像数据皮肤区域初始图像，再对该皮肤区域初始图像进行形态学处理，滤除图像中的孤立点，得到考场监控视频图像数据皮肤区域定位结果。
进一步的，步骤3.1：其他颜色空间为YCbCr颜色空间和HSV颜色空间。
进一步的，步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 992406DEST_PATH_IMAGE001
，具体为：
步骤3.2.1：依据步骤2所得的初步框选定位结果，获取每个初步框选区域中的质心像素点，并以该质心像素点为中心，初步框选区域短边长度为扩展距离，按照垂直、水平方向对质心像素点进行扩展，根据质心像素点和扩展像素点生成扩展区域索引图像
Figure 843687DEST_PATH_IMAGE003
，其中
Figure 539111DEST_PATH_IMAGE004
像素值为255，其余像素点像素值为0，变量
Figure 983998DEST_PATH_IMAGE005
，
Figure 852597DEST_PATH_IMAGE006
分别为质心像素点和扩展像素点横坐标和纵坐标，根据公式
Figure 761647DEST_PATH_IMAGE007
，
Figure 300076DEST_PATH_IMAGE008
，当
Figure 622473DEST_PATH_IMAGE009
，
Figure 966867DEST_PATH_IMAGE010
，当
Figure 668106DEST_PATH_IMAGE011
，
Figure 439753DEST_PATH_IMAGE012
，变量
Figure 249446DEST_PATH_IMAGE013
、
Figure 335214DEST_PATH_IMAGE014
为皮肤搜索范围参数，将扩展区域索引图像
Figure 953277DEST_PATH_IMAGE015
中的像素点
Figure 223722DEST_PATH_IMAGE016
的像素值设置为255，像素点
Figure 130498DEST_PATH_IMAGE017
的像素值设置为0，得到更新的索引图像
Figure 816694DEST_PATH_IMAGE018
；
步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，得到二次更新的索引图像
Figure 617160DEST_PATH_IMAGE019
；
步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 730609DEST_PATH_IMAGE001
。
进一步的，步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，具体为：在YCbCr颜色空间，设置YCbCr颜色空间肤色阈值范围
Figure 124682DEST_PATH_IMAGE020
和
Figure 676886DEST_PATH_IMAGE021
，其中，
Figure 269541DEST_PATH_IMAGE022
为第一YCbCr颜色空间肤色阈值范围，
Figure 757154DEST_PATH_IMAGE021
为第二YCbCr颜色空间肤色阈值范围，
Figure 763156DEST_PATH_IMAGE023
、
Figure 791155DEST_PATH_IMAGE024
、
Figure 176000DEST_PATH_IMAGE025
、
Figure 896831DEST_PATH_IMAGE026
均为YCbCr颜色空间肤色阈值，将更新的索引图像
Figure 390130DEST_PATH_IMAGE027
中非0像素值像素点在图像中的坐标映射到相应YCbCr颜色空间的考场监控视频图像数据上，遍历所有映射的像素点，对其进行基于阈值的判断，得到二次更新的索引图像
Figure 159503DEST_PATH_IMAGE019
。
进一步的，遍历所有映射的像素点，对其进行基于阈值的判断，具体为：首先判断其
Figure 461171DEST_PATH_IMAGE028
值是否属于
Figure 415220DEST_PATH_IMAGE029
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 271181DEST_PATH_IMAGE027
中的像素点位置的像素值变为0，如果属于，判断其
Figure 640982DEST_PATH_IMAGE030
值是否属于
Figure 125053DEST_PATH_IMAGE021
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 390950DEST_PATH_IMAGE027
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到二次更新的索引图像
Figure 265365DEST_PATH_IMAGE019
。
进一步的，步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，具体为：在HSV颜色空间，设置HSV颜色空间肤色阈值范围
Figure 32332DEST_PATH_IMAGE031
,将二次更新的索引图像
Figure 246276DEST_PATH_IMAGE019
中非0像素值像素点在图像中的坐标映射到相应HSV颜色空间的考场监控视频初始图像数据上，遍历所有映射的像素点，判断其H值是否属于
Figure 479811DEST_PATH_IMAGE031
范围内，如果不属于，将其像素点坐标对应的二次更新索引图像
Figure 169419DEST_PATH_IMAGE019
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到最终皮肤索引图像
Figure 818706DEST_PATH_IMAGE001
。
进一步的，步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，具体为：
步骤4.1：将考场监控视频图像数据中的人的头发区域的初步框选定位结果图像数据中所有锚框的四个端点坐标映射到考场监控视频图像数据皮肤区域定位结果图像数据中，得到头发区域和皮肤区域融合的考场监控视频图像数据；
步骤4.2：遍历头发区域和皮肤区域融合的考场监控视频图像数据中的所有锚框，将第
Figure 215052DEST_PATH_IMAGE032
个锚框
Figure 947385DEST_PATH_IMAGE033
进行翻转，得到翻转锚框
Figure 734075DEST_PATH_IMAGE034
；
步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况：
步骤4.4：将更新的头发区域和皮肤区域融合的考场监控视频图像数据中所有保存的锚框
Figure 249370DEST_PATH_IMAGE035
映射到原始考场监控视频图像数据中，得到考场监控视频图像数据中的人脸定位结果。
进一步的，步骤4.2：将第
Figure 562540DEST_PATH_IMAGE036
个锚框
Figure 341140DEST_PATH_IMAGE037
进行翻转，得到翻转锚框
Figure 677443DEST_PATH_IMAGE038
具体为：
以第
Figure 324325DEST_PATH_IMAGE039
个锚框
Figure 367368DEST_PATH_IMAGE035
底部边线像素点在图像数据中的行数
Figure 113607DEST_PATH_IMAGE040
为起始行，以
Figure 733944DEST_PATH_IMAGE041
行像素点为中间行
Figure 856621DEST_PATH_IMAGE042
，将该锚框
Figure 19749DEST_PATH_IMAGE035
以中间行
Figure 999206DEST_PATH_IMAGE043
为对称轴进行翻转，得到翻转锚框
Figure 310102DEST_PATH_IMAGE038
，其中变量
Figure 908573DEST_PATH_IMAGE044
为翻转间隔。
进一步的，步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况，具体为：
如果翻转锚框
Figure 50842DEST_PATH_IMAGE038
中皮肤区域像素点与非皮肤区域像素点比值
Figure 404463DEST_PATH_IMAGE045
，则将该翻转锚框
Figure 874758DEST_PATH_IMAGE038
对应的锚框
Figure 73658DEST_PATH_IMAGE035
保存；如果翻转锚框
Figure 336013DEST_PATH_IMAGE038
中皮肤区域像素点与非皮肤区域像素点比值
Figure 798218DEST_PATH_IMAGE046
，则将该翻转锚框
Figure 552547DEST_PATH_IMAGE038
对应的锚框
Figure 883034DEST_PATH_IMAGE035
消除，最终得到更新的头发区域和皮肤区域融合的考场监控视频图像数据。
本发明解决了以下技术问题：
1、对考场监控视频图像数据中的头发区域进行基于SSD的深度学习目标检测，提高了对考场监控视频图像数据中人脸定位的准确性。
2、对考场监控视频图像数据在不同颜色空间进行基于阈值的像素点检测，并且引入多次索引图像更新方案，实现对皮肤区域的定位，提高了对考场监控视频图像数据中人脸定位的准确性和可靠性。
3、将考场监控视频图像数据中的考生头发区域定位结果和皮肤区域定位结果进行了基于锚框翻转的融合，提高了对考场监控视频图像数据中人脸定位的准确性和可靠性。
附图说明
图1为一种基于多特征的考场监控视频图像中人脸定位方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，方法流程图如图1所示，包括以下步骤：
步骤1：基于SSD目标检测框架，建立针对考场监控视频图像数据中人的头发区域定位的目标检测深度学习模型；
步骤2：将考场监控视频初始图像数据输入到目标检测深度学习模型中，得到对考场监控视频图像数据中的人的头发区域的初步框选定位结果；
步骤3：对考场监控视频初始图像数据进行皮肤区域定位，首先将初始图像数据进行颜色空间变换，然后在不同颜色空间进行基于阈值的像素点检测，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果；
步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，得到对考场监控视频图像数据中的人脸定位结果。
进一步的，步骤3：对考场监控视频初始图像数据进行皮肤区域定位，将初始图像数据进行颜色空间变换，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果，具体为：
步骤3.1：对考场监控视频图像数据进行颜色空间变换，具体为：将考场监控视频初始图像数据从RGB颜色空间分别转换到其他颜色空间；
步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 875261DEST_PATH_IMAGE001
；
步骤3.3：将考场监控视频初始图像数据和最终皮肤索引图像
Figure 305106DEST_PATH_IMAGE002
进行匹配，将考场监控视频初始图像数据中像素点坐标与最终皮肤索引图像
Figure 874627DEST_PATH_IMAGE002
中像素值为0的像素点坐标相同的像素点的像素值设置为0，得到考场监控视频初始图像数据皮肤区域初始图像，在对该图像进行形态学处理，滤除图像中的孤立点，得到考场监控视频图像数据皮肤区域定位结果。
进一步的，步骤3.1：其他颜色空间为YCbCr颜色空间和HSV颜色空间。
进一步的，步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 680909DEST_PATH_IMAGE001
，具体为：
步骤3.2.1：依据步骤2所得的初步框选定位结果，获取每个初步框选区域中的质心像素点，并以该质心像素点为中心，初步框选区域短边长度为扩展距离，按照垂直、水平方向对质心像素点进行扩展，根据质心像素点和扩展像素点生成扩展区域索引图像
Figure 262063DEST_PATH_IMAGE003
，其中
Figure 456284DEST_PATH_IMAGE004
像素值为255，其余像素点像素值为0，变量
Figure 185206DEST_PATH_IMAGE005
，
Figure 732862DEST_PATH_IMAGE006
分别为质心像素点和扩展像素点横坐标和纵坐标，根据公式
Figure 824315DEST_PATH_IMAGE007
，
Figure 595961DEST_PATH_IMAGE008
，当
Figure 15441DEST_PATH_IMAGE009
，
Figure 163526DEST_PATH_IMAGE010
，当
Figure 109485DEST_PATH_IMAGE011
，
Figure 989717DEST_PATH_IMAGE012
，变量
Figure 693230DEST_PATH_IMAGE013
、
Figure 707323DEST_PATH_IMAGE014
为皮肤搜索范围参数，将扩展区域索引图像
Figure 383155DEST_PATH_IMAGE015
中的像素点
Figure 762184DEST_PATH_IMAGE016
的像素值设置为255，像素点
Figure 15310DEST_PATH_IMAGE017
的像素值设置为0，得到更新的索引图像
Figure 505198DEST_PATH_IMAGE018
；
步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，得到二次更新的索引图像
Figure 301115DEST_PATH_IMAGE047
；
步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 913362DEST_PATH_IMAGE001
。
进一步的，步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，具体为：在YCbCr颜色空间，设置YCbCr颜色空间肤色阈值范围
Figure 325889DEST_PATH_IMAGE020
和
Figure 557150DEST_PATH_IMAGE021
，其中，
Figure 332208DEST_PATH_IMAGE022
为第一YCbCr颜色空间肤色阈值范围，
Figure 53039DEST_PATH_IMAGE021
为第二YCbCr颜色空间肤色阈值范围，
Figure 421704DEST_PATH_IMAGE023
、
Figure 315711DEST_PATH_IMAGE024
、
Figure 617379DEST_PATH_IMAGE025
、
Figure 446795DEST_PATH_IMAGE026
均为YCbCr颜色空间肤色阈值，将更新的索引图像
Figure 833914DEST_PATH_IMAGE027
中非0像素值像素点在图像中的坐标映射到相应YCbCr颜色空间的考场监控视频图像数据上，遍历所有映射的像素点，对其进行基于阈值的判断，得到二次更新的索引图像
Figure 531611DEST_PATH_IMAGE019
。
进一步的，遍历所有映射的像素点，对其进行基于阈值的判断，具体为：首先判断其
Figure 156628DEST_PATH_IMAGE028
值是否属于
Figure 219262DEST_PATH_IMAGE029
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 421573DEST_PATH_IMAGE027
中的像素点位置的像素值变为0，如果属于，判断其
Figure 532748DEST_PATH_IMAGE030
值是否属于
Figure 809009DEST_PATH_IMAGE021
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 104861DEST_PATH_IMAGE027
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到二次更新的索引图像
Figure 466572DEST_PATH_IMAGE019
。
进一步的，步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，具体为：在HSV颜色空间，设置HSV颜色空间肤色阈值范围
Figure 381438DEST_PATH_IMAGE031
,将二次更新的索引图像
Figure 105681DEST_PATH_IMAGE019
中非0像素值像素点在图像中的坐标映射到相应HSV颜色空间的考场监控视频初始图像数据上，遍历所有映射的像素点，判断其H值是否属于
Figure 510117DEST_PATH_IMAGE031
范围内，如果不属于，将其像素点坐标对应的二次更新索引图像
Figure 31229DEST_PATH_IMAGE019
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到最终皮肤索引图像
Figure 139999DEST_PATH_IMAGE001
。
进一步的，步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，具体为：
步骤4.1：将考场监控视频图像数据中的人的头发区域的初步框选定位结果图像数据中所有锚框的四个端点坐标映射到考场监控视频图像数据皮肤区域定位结果图像数据中，得到头发区域和皮肤区域融合的考场监控视频图像数据；
步骤4.2：遍历头发区域和皮肤区域融合的考场监控视频图像数据中的所有锚框，将第
Figure 390852DEST_PATH_IMAGE032
个锚框
Figure 903873DEST_PATH_IMAGE033
进行翻转，得到翻转锚框
Figure 302493DEST_PATH_IMAGE034
；
步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况：
步骤4.4：将更新的头发区域和皮肤区域融合的考场监控视频图像数据中所有保存的锚框
Figure 621479DEST_PATH_IMAGE035
映射到原始考场监控视频图像数据中，得到考场监控视频图像数据中的人脸定位结果。
进一步的，步骤4.2：将第
Figure 664521DEST_PATH_IMAGE036
个锚框
Figure 738656DEST_PATH_IMAGE048
进行翻转，得到翻转锚框
Figure 562256DEST_PATH_IMAGE038
具体为：
以第
Figure 357037DEST_PATH_IMAGE039
个锚框
Figure 582482DEST_PATH_IMAGE035
底部边线像素点在图像数据中的行数
Figure 827518DEST_PATH_IMAGE040
为起始行，以
Figure 810518DEST_PATH_IMAGE041
行像素点为中间行
Figure 471306DEST_PATH_IMAGE042
，将该锚框
Figure 613574DEST_PATH_IMAGE035
以中间行
Figure 904878DEST_PATH_IMAGE043
为对称轴进行翻转，得到翻转锚框
Figure 437491DEST_PATH_IMAGE038
，其中变量
Figure 964287DEST_PATH_IMAGE044
为翻转间隔。
进一步的，步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况，具体为：
如果翻转锚框
Figure 102008DEST_PATH_IMAGE038
中皮肤区域像素点与非皮肤区域像素点比值
Figure 360951DEST_PATH_IMAGE045
，则将该翻转锚框
Figure 443176DEST_PATH_IMAGE038
对应的锚框
Figure 711346DEST_PATH_IMAGE035
保存；如果翻转锚框
Figure 437994DEST_PATH_IMAGE038
中皮肤区域像素点与非皮肤区域像素点比值
Figure 195734DEST_PATH_IMAGE046
，则将该翻转锚框
Figure 702939DEST_PATH_IMAGE038
对应的锚框
Figure 446904DEST_PATH_IMAGE035
消除，最终得到更新的头发区域和皮肤区域融合的考场监控视频图像数据。
显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于多特征的考场监控视频图像中人脸定位方法，主要包括以下步骤：
步骤1：基于SSD目标检测框架，建立针对考场监控视频图像数据中人的头发区域定位的目标检测深度学习模型；
步骤2：将考场监控视频初始图像数据输入到目标检测深度学习模型中，得到对考场监控视频图像数据中的人的头发区域的初步框选定位结果；
步骤3：对考场监控视频初始图像数据进行皮肤区域定位，首先将初始图像数据进行颜色空间变换，然后在不同颜色空间进行基于阈值的像素点检测，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果；
步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，得到对考场监控视频图像数据中的人脸定位结果。
2.如权利要求1所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤3：对考场监控视频初始图像数据进行皮肤区域定位，将初始图像数据进行颜色空间变换，再对像素点检测结果进行形态学处理，最终得到考场监控视频图像数据中的皮肤区域定位结果，具体为：
步骤3.1：对考场监控视频图像数据进行颜色空间变换，具体为：将考场监控视频初始图像数据从RGB颜色空间分别转换到其他颜色空间；
步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 985115DEST_PATH_IMAGE001
；
步骤3.3：将考场监控视频初始图像数据和最终皮肤索引图像
Figure 73156DEST_PATH_IMAGE002
进行匹配，将考场监控视频初始图像数据中像素点坐标与最终皮肤索引图像
Figure 933665DEST_PATH_IMAGE001
中像素值为0的像素点坐标相同的像素点的像素值设置为0，得到考场监控视频初始图像数据皮肤区域初始图像，再对该皮肤区域初始图像进行形态学处理，滤除图像中的孤立点，得到考场监控视频图像数据皮肤区域定位结果。
3.如权利要求2所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤3.1：其他颜色空间为YCbCr颜色空间和HSV颜色空间。
4.如权利要求2所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤3.2：对考场监控视频初始图像数据在不同颜色空间进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 335827DEST_PATH_IMAGE001
，具体为：
步骤3.2.1：依据步骤2所得的初步框选定位结果，获取每个初步框选区域中的质心像素点，并以该质心像素点为中心，初步框选区域短边长度为扩展距离，按照垂直、水平方向对质心像素点进行扩展，根据质心像素点和扩展像素点生成扩展区域索引图像
Figure 270285DEST_PATH_IMAGE003
，其中
Figure 857124DEST_PATH_IMAGE004
像素值为255，其余像素点像素值为0，变量
Figure 814716DEST_PATH_IMAGE005
，
Figure 145203DEST_PATH_IMAGE006
分别为质心像素点和扩展像素点横坐标和纵坐标，根据公式
Figure 934168DEST_PATH_IMAGE007
，
Figure 567274DEST_PATH_IMAGE008
，当
Figure 402375DEST_PATH_IMAGE009
，
Figure 943078DEST_PATH_IMAGE010
，当
Figure 789811DEST_PATH_IMAGE011
，
Figure 390557DEST_PATH_IMAGE012
，变量
Figure 712954DEST_PATH_IMAGE013
、
Figure 995031DEST_PATH_IMAGE014
为皮肤搜索范围参数，将扩展区域索引图像
Figure 758587DEST_PATH_IMAGE003
中的像素点
Figure 858130DEST_PATH_IMAGE015
的像素值设置为255，像素点
Figure 277610DEST_PATH_IMAGE016
的像素值设置为0，得到更新的索引图像
Figure 425695DEST_PATH_IMAGE017
；
步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，得到二次更新的索引图像
Figure 106075DEST_PATH_IMAGE018
；
步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，得到最终皮肤索引图像
Figure 517465DEST_PATH_IMAGE001
。
5.如权利要求4所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤3.2.2：在YCbCr颜色空间，进行基于阈值的像素点检测，具体为：在YCbCr颜色空间，设置YCbCr颜色空间肤色阈值范围
Figure 220979DEST_PATH_IMAGE019
和
Figure 969492DEST_PATH_IMAGE020
，其中，
Figure 707641DEST_PATH_IMAGE021
为第一YCbCr颜色空间肤色阈值范围，
Figure 289932DEST_PATH_IMAGE020
为第二YCbCr颜色空间肤色阈值范围，
Figure 543058DEST_PATH_IMAGE022
、
Figure 32946DEST_PATH_IMAGE023
、
Figure 297705DEST_PATH_IMAGE024
、
Figure 175531DEST_PATH_IMAGE025
均为YCbCr颜色空间肤色阈值，将更新的索引图像
Figure 853637DEST_PATH_IMAGE026
中非0像素值像素点在图像中的坐标映射到相应YCbCr颜色空间的考场监控视频图像数据上，遍历所有映射的像素点，对其进行基于阈值的判断，得到二次更新的索引图像
Figure 84898DEST_PATH_IMAGE027
。
6.如权利要求5所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于遍历所有映射的像素点，对其进行基于阈值的判断，具体为：首先判断其
Figure 883394DEST_PATH_IMAGE028
值是否属于
Figure 338646DEST_PATH_IMAGE029
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 441731DEST_PATH_IMAGE030
中的像素点位置的像素值变为0，如果属于，判断其
Figure 273421DEST_PATH_IMAGE031
值是否属于
Figure 168564DEST_PATH_IMAGE032
范围内，如果不属于，将其像素点坐标对应的更新索引图像
Figure 732401DEST_PATH_IMAGE030
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到二次更新的索引图像
Figure 385099DEST_PATH_IMAGE018
。
7.如权利要求4所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤3.2.3：在HSV颜色空间，进行基于阈值的像素点检测，具体为：在HSV颜色空间，设置HSV颜色空间肤色阈值范围
Figure 348376DEST_PATH_IMAGE033
,将二次更新的索引图像
Figure 442234DEST_PATH_IMAGE018
中非0像素值像素点在图像中的坐标映射到相应HSV颜色空间的考场监控视频初始图像数据上，遍历所有映射的像素点，判断其H值是否属于
Figure 504868DEST_PATH_IMAGE033
范围内，如果不属于，将其像素点坐标对应的二次更新索引图像
Figure 441600DEST_PATH_IMAGE018
中的像素点位置的像素值变为0，如果属于，跳过该像素点，遍历完所有映射的像素点后，得到最终皮肤索引图像
Figure 83934DEST_PATH_IMAGE002
。
8.如权利要求1所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤4：将步骤2所得的对考场监控视频图像数据中的人的头发区域的初步框选定位结果和步骤3所得的考场监控视频图像数据中的皮肤区域定位结果进行融合，具体为：
步骤4.1：将考场监控视频图像数据中的人的头发区域的初步框选定位结果图像数据中所有锚框的四个端点坐标映射到考场监控视频图像数据皮肤区域定位结果图像数据中，得到头发区域和皮肤区域融合的考场监控视频图像数据；
步骤4.2：遍历头发区域和皮肤区域融合的考场监控视频图像数据中的所有锚框，将第
Figure 360194DEST_PATH_IMAGE034
个锚框
Figure 656047DEST_PATH_IMAGE035
进行翻转，得到翻转锚框
Figure 17758DEST_PATH_IMAGE036
；
步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况：
步骤4.4：将更新的头发区域和皮肤区域融合的考场监控视频图像数据中所有保存的锚框
Figure 198203DEST_PATH_IMAGE035
映射到原始考场监控视频图像数据中，得到考场监控视频图像数据中的人脸定位结果。
9.如权利要求8所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤4.2：将第
Figure 391287DEST_PATH_IMAGE034
个锚框
Figure 795724DEST_PATH_IMAGE035
进行翻转，得到翻转锚框
Figure 582414DEST_PATH_IMAGE036
，具体为：
以第
Figure 425605DEST_PATH_IMAGE034
个锚框
Figure 676458DEST_PATH_IMAGE035
底部边线像素点在图像数据中的行数
Figure 189479DEST_PATH_IMAGE037
为起始行，以
Figure 525782DEST_PATH_IMAGE038
行像素点为中间行
Figure 172664DEST_PATH_IMAGE039
，将该锚框
Figure 215707DEST_PATH_IMAGE035
以中间行
Figure 961946DEST_PATH_IMAGE039
为对称轴进行翻转，得到翻转锚框
Figure 582283DEST_PATH_IMAGE036
，其中变量
Figure 908222DEST_PATH_IMAGE040
为翻转间隔。
10.如权利要求8所述的一种基于多特征的考场监控视频图像中人脸定位方法，其特征在于步骤4.3：对头发区域和皮肤区域融合的考场监控视频图像数据中的所有翻转锚框进行遍历，判断每个翻转锚框与皮肤区域的重合情况，具体为：
如果翻转锚框
Figure 868088DEST_PATH_IMAGE036
中皮肤区域像素点与非皮肤区域像素点比
Figure 847545DEST_PATH_IMAGE041
值 ，则将该翻转锚框
Figure 361703DEST_PATH_IMAGE036
对应的锚框
Figure 22492DEST_PATH_IMAGE035
保存；如果翻转锚框
Figure 899181DEST_PATH_IMAGE036
中皮肤区域像素点与非皮肤区域像素点比值
Figure 252802DEST_PATH_IMAGE042
，则将该翻转锚框
Figure 316573DEST_PATH_IMAGE036
对应的锚框
Figure 781052DEST_PATH_IMAGE035
消除，最终得到更新的头发区域和皮肤区域融合的考场监控视频图像数据。
CN202210611129.0A 2022-06-01 2022-06-01 一种基于多特征的考场监控视频图像中人脸定位方法 Active CN114694233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611129.0A CN114694233B (zh) 2022-06-01 2022-06-01 一种基于多特征的考场监控视频图像中人脸定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611129.0A CN114694233B (zh) 2022-06-01 2022-06-01 一种基于多特征的考场监控视频图像中人脸定位方法

Publications (2)

Publication Number Publication Date
CN114694233A true CN114694233A (zh) 2022-07-01
CN114694233B CN114694233B (zh) 2022-08-23

Family

ID=82131252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611129.0A Active CN114694233B (zh) 2022-06-01 2022-06-01 一种基于多特征的考场监控视频图像中人脸定位方法

Country Status (1)

Country Link
CN (1) CN114694233B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957909A (zh) * 2009-07-15 2011-01-26 青岛科技大学 一种基于dsp的人脸检测方法
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法
CN109117760A (zh) * 2018-07-27 2019-01-01 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
CN111626241A (zh) * 2020-05-29 2020-09-04 北京华捷艾米科技有限公司 一种人脸检测方法及装置
CN112232332A (zh) * 2020-12-17 2021-01-15 四川圣点世纪科技有限公司 一种基于视频序列的非接触式手掌检测方法
CN113204991A (zh) * 2021-03-25 2021-08-03 南京邮电大学 一种基于多层预处理的快速人脸检测方法
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957909A (zh) * 2009-07-15 2011-01-26 青岛科技大学 一种基于dsp的人脸检测方法
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法
CN109117760A (zh) * 2018-07-27 2019-01-01 北京旷视科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN109359527A (zh) * 2018-09-11 2019-02-19 杭州格像科技有限公司 基于神经网络的头发区域提取方法及系统
CN111626241A (zh) * 2020-05-29 2020-09-04 北京华捷艾米科技有限公司 一种人脸检测方法及装置
CN112232332A (zh) * 2020-12-17 2021-01-15 四川圣点世纪科技有限公司 一种基于视频序列的非接触式手掌检测方法
CN113204991A (zh) * 2021-03-25 2021-08-03 南京邮电大学 一种基于多层预处理的快速人脸检测方法
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BENINI S等: "Face analysis through semantic face segmentation", 《SIGNAL》 *
GHALLEB A E K等: "Amara N E B. Face recognition improvement using soft biometrics", 《INTERNATIONAL MULTI-CONFERENCES ON SYSTEMS, SIGNALS & DEVICES 2013 (SSD13)》 *
LUO L等: "Real-time Segmentation and Facial Skin Tones Grading", 《ARXIV:1912.12888》 *
ZAKARIA Z等: "Mohamad-Saleh J. Hierarchical skin-AdaBoost-neural network (H-SKANN) for multi-face detection", 《APPLIED SOFT COMPUTING》 *
杜鑫等: "基于RGB彩色空间中皮肤物理模型的人脸检测", 《计算机光盘软件与应用》 *

Also Published As

Publication number Publication date
CN114694233B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN107833220B (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
US8139852B2 (en) Color classification method, color recognition method, color classification apparatus, color recognition apparatus, color recognition system, computer program, and recording medium
CN110751655B (zh) 一种基于语义分割和显著性分析的自动抠图方法
WO2018107939A1 (zh) 一种基于边缘完备度的图像分割最优识别方法
WO2022001571A1 (zh) 一种基于超像素图像相似度的计算方法
WO2020252974A1 (zh) 一种针对运动状态下的多目标对象追踪方法和装置
Wu et al. Hemorrhage detection in fundus image based on 2D Gaussian fitting and human visual characteristics
JP2002230547A (ja) 画像における人間の虹彩を検出するためのデジタル画像処理方法及びコンピュータプログラムプロダクト
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
WO2020181426A1 (zh) 一种车道线检测方法、设备、移动平台及存储介质
JP4901229B2 (ja) 赤目検出方法および装置並びにプログラム
CN110648336B (zh) 一种舌质和舌苔的分割方法及装置
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
CN109377524B (zh) 一种单幅图像深度恢复方法和系统
CN111582278B (zh) 人像分割方法、装置及电子设备
CN114694233B (zh) 一种基于多特征的考场监控视频图像中人脸定位方法
Parente et al. Assessing facial image accordance to ISO/ICAO requirements
CN111401275B (zh) 一种用于识别草地边缘的信息处理方法和装置
Manke et al. Salient region detection using fusion of image contrast and boundary information
CN111914632B (zh) 一种人脸识别方法、装置及存储介质
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
CN117197139B (zh) 一种基于ai的舌诊图像多标签分类方法
CN116310675A (zh) 一种低照度下红外-可见光图像的特征互补图像处理方法
Kurniastuti et al. RGB Channel Analysis for Glomerulus and Proximal Tubule Detection in Kidney Histology Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant