CN111368758B - 一种人脸模糊度检测方法、装置、计算机设备及存储介质 - Google Patents

一种人脸模糊度检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111368758B
CN111368758B CN202010156039.8A CN202010156039A CN111368758B CN 111368758 B CN111368758 B CN 111368758B CN 202010156039 A CN202010156039 A CN 202010156039A CN 111368758 B CN111368758 B CN 111368758B
Authority
CN
China
Prior art keywords
face
ambiguity
image
block
block image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010156039.8A
Other languages
English (en)
Other versions
CN111368758A (zh
Inventor
张奔奔
杭欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Biying Technology Co ltd
Jiangsu Suning Cloud Computing Co ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010156039.8A priority Critical patent/CN111368758B/zh
Priority to CA3174691A priority patent/CA3174691A1/en
Priority to PCT/CN2020/097009 priority patent/WO2021179471A1/zh
Publication of CN111368758A publication Critical patent/CN111368758A/zh
Application granted granted Critical
Publication of CN111368758B publication Critical patent/CN111368758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种人脸模糊度检测方法、装置、计算机设备及存储介质,属于计算机视觉技术领域,方法包括:从人脸图像中分别提取出多个人脸特征点分别所在的块图像;通过预先训练好的模糊度检测模型分别对每个块图像进行预测,获得每个块图像对应于多个等级标签中的每个等级标签的置信度,其中,多个等级标签中包括多个清晰度等级和多个模糊度等级;根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度;根据所有块图像的清晰度和模糊度计算人脸图像的模糊度。本发明实施例能够有效提高人脸模糊度检测的准确率。

Description

一种人脸模糊度检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种人脸模糊度检测方法、装置、计算机设备及存储介质。
背景技术
随着人工智能时代的到来,人脸识别技术显得越来越重要,如刷脸支付,刷脸过闸机等等,极大地便捷了人们的生活。但是输入到人脸识别模型的人脸图像质量会影响识别的效果,对这些人脸图像进行合理的筛选,比如舍弃掉模糊程度过高的图像显得尤为重要。
目前对于人脸模糊度检测主要包括全参考和无参考两种方法:
(1)全参考需要使用降质前的原始人脸图像作为参照,与模糊图像进行对比,这种方法的缺点是降质前的原始人脸图像不易获得;
(2)无参考不需要任何图像作为参照,直接对人脸图像进行模糊度判断,这种方法有更广的适用性。
针对全参考模糊度检测方法,首先需要一张未降质的参考图,这就限制了很多应用场景,并且由于从摄像头采集到的人脸将直接用于模糊度判断,将其作为参考图像的方法不现实,故广为采用的是无参考的模糊度检测方法。
对于无参考的模糊度检测方法,传统做法是输入一张包含人脸和背景的图像,为了排除背景的干扰,首先检测出人脸的区域,然后使用梯度函数如Brenner、Tenengrad、Laplacian算法计算人脸区域的梯度值,梯度值越大说明人脸的轮廓越清晰,即人脸图像越清晰,反之,梯度值越小说明人脸的轮廓越模糊,即人脸图像越模糊。这种方法对少量人脸图像有效,但对大批量人脸图像无效,大量的清晰图像被判为模糊,存在检测准确率不高的问题。
另外,随着深度学习的兴起,神经网络具有强大的提取图像特征的能力,出现了将深度学习的方法用于检测人脸模糊度,也相应取得了一些进展。通常使用深度学习方法是将人脸块图像类别分为模糊和清晰两类,实验后发现仍有一些清晰的人脸图像被判为模糊,无法达到高准确率的检测要求。
发明内容
为了解决上述背景技术中提到的至少一个问题,本发明提供了一种人脸模糊度检测方法、装置、计算机设备及存储介质,能够有效提高人脸模糊度检测的准确率。本发明实施例提供的具体技术方案如下:
第一方面,提供了一种人脸模糊度检测方法,所述方法包括:
从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
通过预先训练好的模糊度检测模型分别对每个所述块图像进行预测,获得每个所述块图像对应于多个等级标签中的每个等级标签的置信度,其中,所述多个等级标签中包括多个清晰度等级和多个模糊度等级;
根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,获取每个所述块图像的清晰度和模糊度;
根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度。
进一步地,所述从人脸图像中分别提取多个人脸特征点分别所在的特征块图像,包括:
对所述人脸图像进行检测,定位出人脸区域以及多个人脸特征点;
对所述人脸区域的尺寸调整到预设尺寸,从调整后的所述人脸区域中提取每个所述人脸特征点分别所在的块图像。
进一步地,所述模糊度检测模型是通过如下方法训练得到:
从多个人脸图像样本中分别提取每个所述人脸特征点所在的块图像样本,其中,所述多个图像样本包括清晰人脸图像样本和模糊人脸图像样本;
对每个所述块图像样本进行标记相应的等级标签,并将标记有等级标签的多个所述块图像样本划分为训练集和验证集;
根据所述训练集和所述验证集对预先构建的深度神经网络进行迭代训练,得到所述模糊度检测模型。
进一步地,所述深度神经网络包括依次级联的数据输入层、特征提取层、第一全连接层、激活函数层、Dropout层、第二全连接层和损失函数层,所述特征提取层包括卷积层、最大池化层、最小池化层和串接层,所述数据输入层、所述最大池化层、所述最小池化层分别与所述卷积层相连接,所述最大池化层、所述最小池化层、所述第一全连接层分别与所述串接层相连接。
进一步地,所述方法还包括:
根据ROC曲线使用不同测试集对所述模糊度检测模型进行计算最优阈值。
进一步地,所述根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度步骤之后,所述方法还包括:
判断计算得到的所述人脸图像的模糊度是否高于所述最优阈值;
若是,则判定所述人脸图像为模糊图像,否则,则判定所述人脸图像为清晰图像。
第二方面,提供了一种人脸模糊度检测装置,所述装置包括:
提取模块,用于从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
预测模块,用于通过预先训练好的模糊度检测模型分别对每个所述块图像进行预测,获得每个所述块图像对应于多个等级标签中的每个等级标签的置信度,其中,所述多个等级标签中包括多个清晰度等级和多个模糊度等级;
获取模块,用于根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,计算每个所述块图像的清晰度和模糊度;
计算模块,用于根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度。
进一步地,所述提取模块具体用于:
对所述人脸图像进行检测,定位出人脸区域以及多个人脸特征点;
对所述人脸区域的尺寸调整到预设尺寸,从调整后的所述人脸区域中提取每个所述人脸特征点分别所在的块图像。
进一步地,所述装置还包括训练模块,所述训练模块具体用于:
从多个人脸图像样本中分别提取每个所述人脸特征点所在的块图像样本,其中,所述多个图像样本包括清晰人脸图像样本和模糊人脸图像样本;
对每个所述块图像样本进行标记相应的等级标签,并将标记有等级标签的多个所述块图像样本划分为训练集和验证集;
根据所述训练集和所述验证集对预先构建的深度神经网络进行迭代训练,得到所述模糊度检测模型。
进一步地,所述深度神经网络包括依次级联的数据输入层、特征提取层、第一全连接层、激活函数层、Dropout层、第二全连接层和损失函数层,所述特征提取层包括卷积层、最大池化层、最小池化层和串接层,所述数据输入层、所述最大池化层、所述最小池化层分别与所述卷积层相连接,所述最大池化层、所述最小池化层、所述第一全连接层分别与所述串接层相连接。
进一步地,所述训练模块具体还用于:
根据ROC曲线使用不同测试集对所述模糊度检测模型进行计算最优阈值。
进一步地,所述装置还包括判断模块,所述判断模块具体用于:
判断计算得到的所述人脸图像的模糊度是否高于所述最优阈值;
若是,则判定所述人脸图像为模糊图像,否则,则判定所述人脸图像为清晰图像。
第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的人脸模糊度检测方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的人脸模糊度检测方法。
由上述技术方案可知,本发明通过从人脸图像中提取出多个人脸特征点分别所在的块图像,然后通过使用预先训练好的模糊度检测模型分别预测出每个块图像对应于多个等级标签中的每个等级标签的置信度,以及根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度,最后根据所有块图像的清晰度和模糊度计算人脸图像的模糊度,这样通过使用分块预测思想,将人脸图像中的多个块图像分别预测模糊度,再将预测的结果组合起来共同预测整张人脸图像的模糊度,在一定程度上避免了由于某一块人脸被判错导致整体结果判错,从而有效提高人脸模糊度检测的准确性;另外,本发明通过使用预先训练好的模糊度检测模型来预测人脸图像中不同块图像对应于多个等级标签中的每个等级标签的置信度,并根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的模糊度,由于多个等级标签包括多个清晰度等级和多个模糊度等级,相比较现有技术中使用深度学习方法仅将人脸块图像类别区分为模糊和清晰两类的二分类处理方法,本发明通过将二分类问题转化为多分类问题处理,之后再转化为二分类得到模糊度结果,这样能够有效避免清晰图像误判为模糊图像的问题,从而进一步提高图像模糊度检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸模糊度检测方法的流程图;
图2为本发明实施例提供的模糊度检测模型训练过程的流程图;
图3为本发明实施例提供的深度神经网络的结构示意图;
图4a~4c为本发明实施例的模糊度检测模型在不同测试集上的ROC曲线图;
图5为本发明实施例提供的一种人脸模糊度检测装置的结构图;
图6为本发明实施例提供的计算机设备的内部结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1为本发明实施例提供的一种人脸模糊度检测方法的流程图,如图1所示,该方法可以包括:
步骤101,从人脸图像中分别提取出多个人脸特征点分别所在的块图像。
具体地,对人脸图像进行检测人脸区域,从人脸区域中提取出多个人脸特征点分别所在的块图像。
其中,人脸特征点可以包括左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角对应的特征点,此外还可以是其他特征点,例如眉毛对应的特征点。
本实施例中,从人脸图像中分别提取出多个人脸特征点分别所在的块图像,不同的人脸特征点包含在不同的块图像中,这样能够提取出多个块图像,例如,包含左瞳孔的左眼块图像、包含右瞳孔的右眼块图像,等等。
步骤102,通过预先训练好的模糊度检测模型分别对每个块图像进行预测,获得每个块图像对应于多个等级标签中的每个等级标签的置信度,其中,多个等级标签中包括多个清晰度等级和多个模糊度等级。
其中,某个块图像对应于某个等级标签的置信度用于指示该块图像对应于该等级标签的概率。
其中,清晰度等级预先按照清晰程度由重至轻划分为三级,包括重度清晰、中度清晰和轻度清晰,对应的等级标签分别为0、1、2;模糊度等级预先按照模糊程度由轻至重划分为三级,包括轻度模糊、中度模糊和重度模糊,对应的等级标签分别为3、4、5,可以理解是,清晰度等级的级数、模糊度等级的级数均不局限于三级,本发明实施例对此不作具体限定。
具体地,将每个块图像依次输入到模糊度检测模型中进行预测,获得模糊度检测模型输出的每个块图像对应于多个等级标签中的每个等级标签的置信度。
步骤103,根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度。
具体地,针对每个块图像,对该块图像对应于多个等级标签中的每个等级标签的置信度进行运算,得到该块图像的清晰度和模糊度。其中,可以直接对该块图像对应于所有的清晰度等级的置信度进行累加,得到该块图像的清晰度,直接对该块图像对应于所有的模糊度等级的置信度进行累加,得到该块图像的模糊度,也可以采用其他的运算方式得到块图像的清晰度和模糊度,本发明实施例对此不作具体限定。
示例性地,示假设某张人脸图像的左眼块图像对应于上述6种等级标签的置信度情况为:对应于等级标签“0”的概率为0,对应于等级标签“1”的概率为0.9,对应于等级标签“2”的概率为0.05,对应于等级标签“3”的概率为0.05,对应于等级标签“4”和等级标签“5”的概率均为0,直接对该左眼块图像对应于所有的清晰度等级的置信度进行累加,得到该块图像的清晰度为0.95,对该左眼块图像对应于所有的模糊度等级的置信度进行累加,得到该块图像的模糊度为0.05。
步骤104,根据所有块图像的清晰度和模糊度计算人脸图像的模糊度。
具体地,对所有块图像的清晰度进行累加并除以全部块图像的个数,得到该张人脸图像的清晰度,对所有块图像的模糊度进行累加并除以全部块图像的个数,得到该张人脸图像的模糊度。
本发明实施例提供的一种人脸模糊度检测方法,通过从人脸图像中提取出多个人脸特征点分别所在的块图像,然后使用预先训练好的模糊度检测模型分别预测出每个块图像对应于多个等级标签中的每个等级标签的置信度,以及根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度,最后根据所有块图像的清晰度和模糊度计算人脸图像的模糊度,这样通过使用分块预测思想,将人脸图像中的多个块图像分别预测模糊度,再将预测的结果组合起来共同预测整张人脸图像的模糊度,在一定程度上避免了由于某一块人脸被判错导致整体结果判错,从而有效提高人脸模糊度检测的准确性;另外,本发明通过使用预先训练好的模糊度检测模型来预测人脸图像中不同块图像对应于多个等级标签中的每个等级标签的置信度,并根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的模糊度,由于多个等级标签包括多个清晰度等级和多个模糊度等级,相比较现有技术中使用深度学习方法仅将人脸块图像类别区分为模糊和清晰两类的二分类处理方法,本发明通过将二分类问题转化为多分类问题处理,之后再转化为二分类得到模糊度结果,这样能够有效避免清晰图像误判为模糊图像的问题,从而进一步提高图像模糊度检测的准确率。
在一较佳实施例中,上述的从人脸图像中分别提取多个人脸特征点分别所在的特征块图像,该过程可以包括:
对人脸图像进行检测,定位出人脸区域以及多个人脸特征点,并对人脸区域的尺寸调整到预设尺寸,从调整后的人脸区域中提取每个人脸特征点分别所在的块图像。
具体地,使用训练好的MTCNN(Multi-task convolutional neural network)人脸检测模型对人脸图像进行检测定位人脸区域以及多个人脸特征点,这里的MTCNN人脸检测模型包括P-Net、R-Net和O-Net网络层,分别负责生成检测框、精修检测框和人脸特征点定位;MTCNN人脸检测模型可以参照现有技术的模型训练方法进行训练,此处不再赘述。
在定位出人脸区域以及多个人脸特征点之后,将人脸区域的尺寸缩放到预设尺寸,同时将各个人脸特征点的坐标由人脸图像转换到尺寸调整后的人脸区域框内,分别以各个人脸特征点为中心向四周进行像素扩充,得到多个矩形块图像并进行越界处理,于本实施例中,预设尺寸为184*184,以各个人脸特征点为中心向四周扩充24个像素,分别构成48*48大小的块图像。
在一较佳实施例中,如图2所示,上述的模糊度检测模型是通过如下方法训练得到,包括步骤:
步骤201,从人脸图像样本中提取每个人脸特征点所在的块图像样本,其中,人脸图像样本包括不同清晰度等级的清晰人脸图像样本以及不同模糊度等级的模糊人脸图像样本。
本实施例中,首先采集清晰度和模糊度各三个等级的人脸图像样本,每个等级包含的人脸图像样本均达到一定数量(例如200张)。然后对人脸图像样本进行检测人脸区域,从人脸区域中提取出每个人脸特征点分别所在的块图像样本,其中可以使用训练好的MTCNN人脸检测模型进行人脸区域的检测以及人脸特征点的定位。由于每个图像样本的图像尺寸大小不一致,检测到的人脸区域大小也不一致,所以在得到人脸区域后统一进行缩放到预设尺寸,同时将各个人脸特征点的坐标由人脸图像转换到尺寸调整后的人脸区域框内,分别以各个人脸特征点为中心向四周进行像素扩充,得到多个矩形块图像并进行越界处理,于本实施例中,预设尺寸为184*184,选用左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角作为人脸特征点,以各个人脸特征点为中心向四周扩充24个像素,分别构成48*48大小的块图像样本,并保存下来。这样,通过对少量的人脸图像样本进行处理,可以产生5倍的块图像样本以用于模型训练。
步骤202,对每个块图像样本进行标记相应的等级标签,并将标记有等级标签的多个块图像样本划分为训练集和验证集。
本实施例中,通过上述步骤201,每个等级的人脸图像样本得到约1000张的块图像样本,在本步骤中,首先通过人工标注方式对每个块图像样本进行标记相应的等级标签,即通过人工审核将每一块图像样本按照清晰程度和模糊程度归属到正确的类别中,重度清晰标签为0,中度清晰标签为1,轻度清晰标签为2,轻度模糊标签为3,中度模糊标签为4,重度模糊标签为5,然后将标记有等级标签的块图像样本按照预设比例(例如9:1)划分为训练集和验证集,训练集用于参数模型的训练,验证集用来在训练过程中对模型进行校正。
步骤203,根据训练集和验证集对预先构建的深度神经网络进行迭代训练,得到模糊度检测模型。
具体地,以训练集中的块图像样本为输入,以块图像样本对应的等级标签为输出,对预先构建的深度神经网络进行训练,并根据验证集,对训练后的深度神经网络进行验证,若验证结果不符合迭代停止条件时,则继续对深度神经网络进行迭代训练和验证,直至验证结果符合迭代停止条件,得到模糊度检测模型。
在具体实施过程中,在模型训练之前,对训练集和验证集进行打包处理成LMDB格式的数据,将预先构建的深度神经网络结构保存在后缀名为“.prototxt”格式的文件,读取数据的批次可根据硬件性能去设置合理的数值,在“solver.prototxt”设置超参数,在“solver.prototxt”设置超参数,学习率(learning rate)设置为0.005,最大迭代次数设置为4000次,验证次数和测试间隔设置为50次和100次,这些参数均可调整。接着进行模型的训练,得到后缀名为“.caffemodel”的模型文件。本发明使用的是深度学习caffe框架,使用其他深度学习框架类似。
通常来说,训练深度学习模型需要上万甚至数十万的训练样本,但在实际的生产中,真实的模糊样本非常有限,同时使用图像处理的方式去模拟生成的高斯模糊或运动模糊样本和真实样本差距明显,而本发明通过采集不同清晰度等级的清晰人脸图像样本和不同模糊度等级的模糊人脸图像样本,并从这些图像样本中分别提取多个人脸特征点分别所在的块图像样本并标记相应的等级标签,然后利用标记有等级标签的多个块图像样本对构建的深度神经网络进行训练,这样只需使用少量的人脸图像样本,就可以得到数倍的真实训练样本,从而能够进一步保证模型的性能,进而有效地提高图像模糊度检测的准确性。
另外,由于在模糊检测中,重度清晰和重度模糊是两个极端,相对容易区分,而那些受光照、被拍摄者抖动或者相机像素等影响的样本处于中等清晰、轻度清晰、轻度模糊和中度模糊中,这些样本不容易区分。而本发明在模糊度检测模型的训练过程中,将二分类问题转化为多分类问题处理,能够极大地降低两极样本的干扰,通过充分关注难分的样本,比不分清晰等级与模糊等级而直接二分类处理的方法得到了更好的检测结果,从而能够有效避免清晰图像误判为模糊图像的问题,进一步提高了图像模糊度检测的准确率。
在一较佳实施例中,上述的深度神经网络包括依次级联的数据输入层、特征提取层、第一全连接层、激活函数层、Dropout层、第二全连接层和损失函数层,特征提取层包括卷积层、最大池化层、最小池化层和串接层,数据输入层、最大池化层、最小池化层分别与卷积层相连接,最大池化层、最小池化层、第一全连接层分别与串接层相连接。
如图3所示,图3为本发明实施例提供的深度神经网络的结构示意图。首先是数据输入层,作用是将数据打包后按小批量输入到网络中。接着是一个卷积层。然后是分离的池化层:一个最大值池化(Max pooling)和一个最小值池化(Min pooling),其中,最大值池化方式为了保留最显著的特征,最小值池化方式为了保存最容易被忽视的特征,两种池化方式结合使用达到了良好的效果,接着将两种池化得到的特征图(Feature map)通过串接层(Concat)进行串接,共同作为下一层的输入。接下来是全连接层、激活函数层和去掉层(即Dropout层),其中,全连接层用来对输入过来的块图像特征进行归类,激活函数层中的Relu激活函数用于舍弃掉输出值小于0的神经元以造成稀疏性,Dropout层(去掉层)是每次训练模型用来减掉少量的参数,增加了模型的泛化能力。接下来仍是一个全连接层,用来输出每一个清晰度等级和每一个模糊度等级的得分数值。最后是归一化和损失函数层,用来将上一层全连接层的输出的结果映射到对应的概率值,之后使用交叉熵损失函数使它们和标签的差值越来越小,具体交叉熵损失函数公式可以参照现有技术,此处不再赘述。
在一较佳实施例中,上述的根据训练集和验证集对预先构建的深度神经网络进行迭代训练,得到模糊度检测模型步骤之后,方法还可以包括:
根据ROC曲线使用不同测试集对模糊度检测模型进行计算最优阈值。
其中,各个测试集中包括从人脸图像测试样本中提取每个人脸特征点所在的块图像测试样本,具体提取过程可以参照步骤201,此处不再赘述。
具体地,基于模糊度检测模型对每个测试集中的每个块图像测试样本进行模糊度预测,得到预测结果,根据每个测试集中的每个块图像测试样本的预测结果及预设阈值绘制每个测试集对应的ROC(receiver operating characteristic curve)曲线,对每个测试集对应的ROC曲线进行分析,获取最佳阈值。
在实际应用中,采集清晰人脸图像138669张、半清晰人脸图像2334张、安防小图清晰人脸图像19050张以及模糊人脸图像1446张,组合成三个图像集合:清晰人脸图像和模糊人脸图像、半清晰人脸图像和模糊人脸图像、安防小图清晰人脸图像和模糊人脸图像,分别对三个图像集合中的人脸图像进行提取人脸特征点所在的块图像测试样本,形成三个测试集,之后使用模糊度检测模型对各个测试集进行预测,根据每个测试集中的每个块图像测试样本的预测结果及预设阈值分别绘制出ROC曲线,参照附图4a~4c所示,其中,图4a示出了模糊度检测模型在清晰和模糊人脸图像所形成的测试集上的ROC曲线,图4b示出了模糊度检测模型在安防清晰小图和模糊人脸图像所形成的测试集上的ROC曲线,图4c示出了模糊度检测模型在半清晰和模糊人脸图像所形成的测试集上的ROC曲线。于本实施例中,可以通过专家经验法设置三档预设阈值,由低至高分别为0.19、0.39和0.79,经过对ROC曲线分析,选用0.39作为最优阈值。选用0.39针对清晰和模糊人脸的测试集进行测试,测试结果准确率达到99.3%。
在一较佳实施例中,上述的根据所有块图像的清晰度和模糊度计算人脸图像的模糊度步骤之后,方法还可以包括:
判断计算得到的人脸图像的模糊度是否高于最优阈值,若是,则判定人脸图像为模糊图像,否则,则判定人脸图像为清晰图像。
本实施例中,以最佳阈值作为标准进行判断人脸图像是否为模糊图像,当人脸图像的模糊度高于最优阈值时,判定人脸图像为模糊图像,实现了自动检测出模糊图像,提升了图像质量。
图5为本发明实施例提供的一种人脸模糊度检测装置的结构图,如图5所示,该装置包括:
提取模块51,用于从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
预测模块52,用于通过预先训练好的模糊度检测模型分别对每个块图像进行预测,获得每个块图像对应于多个等级标签中的每个等级标签的置信度,其中,多个等级标签中包括多个清晰度等级和多个模糊度等级;
获取模块53,用于根据每个块图像对应于多个等级标签中的每个等级标签的置信度,计算每个块图像的清晰度和模糊度;
计算模块54,用于根据所有块图像的清晰度和模糊度计算人脸图像的模糊度。
在一较佳实施例中,提取模块51具体用于:
对人脸图像进行检测,定位出人脸区域以及多个人脸特征点;
对人脸区域的尺寸调整到预设尺寸,从调整后的人脸区域中提取每个人脸特征点分别所在的块图像。
在一较佳实施例中,装置还包括训练模块50,训练模块50具体用于:
从多个人脸图像样本中分别提取每个人脸特征点所在的块图像样本,其中,多个图像样本包括清晰人脸图像样本和模糊人脸图像样本;
对每个块图像样本进行标记相应的等级标签,并将标记有等级标签的多个块图像样本划分为训练集和验证集;
根据训练集和验证集对预先构建的深度神经网络进行迭代训练,得到模糊度检测模型。
在一较佳实施例中,深度神经网络包括依次级联的数据输入层、特征提取层、第一全连接层、激活函数层、Dropout层、第二全连接层和损失函数层,特征提取层包括卷积层、最大池化层、最小池化层和串接层,数据输入层、最大池化层、最小池化层分别与卷积层相连接,最大池化层、最小池化层、第一全连接层分别与串接层相连接。
在一较佳实施例中,训练模块50具体还用于:
根据ROC曲线使用不同测试集对模糊度检测模型进行计算最优阈值。
在一较佳实施例中,装置还包括判断模块55,判断模块55具体用于:
判断计算得到的人脸图像的模糊度是否高于最优阈值;
若是,则判定人脸图像为模糊图像,否则,则判定人脸图像为清晰图像。
需要说明的是:本实施例提供的人脸模糊度检测装置中,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,本实施例的人脸模糊度检测装置与上述实施例中的人脸模糊度检测方法实施例属于同一构思,其具体实现过程和有益效果详见人脸模糊度检测方法实施例,这里不再赘述。
图6为本发明实施例提供的计算机设备的内部结构图。该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸模糊度检测方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
通过预先训练好的模糊度检测模型分别对每个块图像进行预测,获得每个块图像对应于多个等级标签中的每个等级标签的置信度,其中,多个等级标签中包括多个清晰度等级和多个模糊度等级;
根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度;
根据所有块图像的清晰度和模糊度计算人脸图像的模糊度。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
通过预先训练好的模糊度检测模型分别对每个块图像进行预测,获得每个块图像对应于多个等级标签中的每个等级标签的置信度,其中,多个等级标签中包括多个清晰度等级和多个模糊度等级;
根据每个块图像对应于多个等级标签中的每个等级标签的置信度,获取每个块图像的清晰度和模糊度;
根据所有块图像的清晰度和模糊度计算人脸图像的模糊度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸模糊度检测方法,其特征在于,所述方法包括:
从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
通过预先训练好的模糊度检测模型分别对每个所述块图像进行预测,获得每个所述块图像对应于多个等级标签中的每个等级标签的置信度,其中,所述多个等级标签中包括多个清晰度等级和多个模糊度等级;
根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,获取每个所述块图像的清晰度和模糊度;
根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度;
所述根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,获取每个所述块图像的清晰度和模糊度,具体包括:
对该块图像对应于所有的清晰度等级的置信度进行累加,得到该块图像的清晰度,对该块图像对应于所有的模糊度等级的置信度进行累加,得到该块图像的模糊度。
2.根据权利要求1所述的方法,其特征在于,所述从人脸图像中分别提取多个人脸特征点分别所在的特征块图像,包括:
对所述人脸图像进行检测,定位出人脸区域以及多个人脸特征点;
对所述人脸区域的尺寸调整到预设尺寸,从调整后的所述人脸区域中提取每个所述人脸特征点分别所在的块图像。
3.根据权利要求1或2所述的方法,其特征在于,所述模糊度检测模型是通过如下方法训练得到:
从人脸图像样本中提取每个所述人脸特征点所在的块图像样本,其中,所述人脸图像样本包括不同清晰度等级的清晰人脸图像样本以及不同模糊度等级的模糊人脸图像样本;
对每个所述块图像样本进行标记相应的等级标签,并将标记有等级标签的多个所述块图像样本划分为训练集和验证集;
根据所述训练集和所述验证集对预先构建的深度神经网络进行迭代训练,得到所述模糊度检测模型。
4.根据权利要求3所述的方法,其特征在于,所述深度神经网络包括依次级联的数据输入层、特征提取层、第一全连接层、激活函数层、Dropout层、第二全连接层和损失函数层,所述特征提取层包括卷积层、最大池化层、最小池化层和串接层,所述数据输入层、所述最大池化层、所述最小池化层分别与所述卷积层相连接,所述最大池化层、所述最小池化层、所述第一全连接层分别与所述串接层相连接。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
根据ROC曲线使用不同测试集对所述模糊度检测模型进行计算最优阈值。
6.根据权利要求5所述的方法,其特征在于,所述根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度步骤之后,所述方法还包括:
判断计算得到的所述人脸图像的模糊度是否高于所述最优阈值;
若是,则判定所述人脸图像为模糊图像,否则,则判定所述人脸图像为清晰图像。
7.一种人脸模糊度检测装置,其特征在于,所述装置包括:
提取模块,用于从人脸图像中分别提取出多个人脸特征点分别所在的块图像;
预测模块,用于通过预先训练好的模糊度检测模型分别对每个所述块图像进行预测,获得每个所述块图像对应于多个等级标签中的每个等级标签的置信度,其中,所述多个等级标签中包括多个清晰度等级和多个模糊度等级;
获取模块,用于根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,计算每个所述块图像的清晰度和模糊度;
计算模块,用于根据所有所述块图像的清晰度和模糊度计算所述人脸图像的模糊度;
所述根据每个所述块图像对应于多个等级标签中的每个等级标签的置信度,获取每个所述块图像的清晰度和模糊度,具体包括:
对该块图像对应于所有的清晰度等级的置信度进行累加,得到该块图像的清晰度,对该块图像对应于所有的模糊度等级的置信度进行累加,得到该块图像的模糊度。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括训练模块,所述训练模块具体用于:
从人脸图像样本中提取每个所述人脸特征点所在的块图像样本,其中,所述人脸图像样本包括不同清晰度等级的清晰人脸图像样本以及不同模糊度等级的模糊人脸图像样本;
对每个所述块图像样本进行标记相应的等级标签,并将标记有等级标签的多个所述块图像样本划分为训练集和验证集;
根据所述训练集和所述验证集对预先构建的深度神经网络进行迭代训练,得到所述模糊度检测模型。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的人脸模糊度检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一所述的人脸模糊度检测方法。
CN202010156039.8A 2020-03-09 2020-03-09 一种人脸模糊度检测方法、装置、计算机设备及存储介质 Active CN111368758B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010156039.8A CN111368758B (zh) 2020-03-09 2020-03-09 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CA3174691A CA3174691A1 (en) 2020-03-09 2020-06-19 Human face fuzziness detecting method, device, computer equipment and storage medium
PCT/CN2020/097009 WO2021179471A1 (zh) 2020-03-09 2020-06-19 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156039.8A CN111368758B (zh) 2020-03-09 2020-03-09 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111368758A CN111368758A (zh) 2020-07-03
CN111368758B true CN111368758B (zh) 2023-05-23

Family

ID=71206593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156039.8A Active CN111368758B (zh) 2020-03-09 2020-03-09 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Country Status (3)

Country Link
CN (1) CN111368758B (zh)
CA (1) CA3174691A1 (zh)
WO (1) WO2021179471A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862040B (zh) * 2020-07-20 2023-10-31 中移(杭州)信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN111914939B (zh) * 2020-08-06 2023-07-28 平安科技(深圳)有限公司 识别模糊图像的方法、装置、设备及计算机可读存储介质
CN113239738B (zh) * 2021-04-19 2023-11-07 深圳市安思疆科技有限公司 一种图像的模糊检测方法及模糊检测装置
CN113362304B (zh) * 2021-06-03 2023-07-21 北京百度网讯科技有限公司 清晰度预测模型的训练方法和确定清晰等级的方法
CN113627314A (zh) * 2021-08-05 2021-11-09 Oppo广东移动通信有限公司 人脸图像模糊检测方法、装置、存储介质与电子设备
CN113902740A (zh) * 2021-12-06 2022-01-07 深圳佑驾创新科技有限公司 图像模糊程度评价模型的构建方法
CN114359104B (zh) * 2022-01-10 2024-06-11 北京理工大学 一种基于分级生成的白内障眼底图像增强方法
CN117475091B (zh) * 2023-12-27 2024-03-22 浙江时光坐标科技股份有限公司 高精度3d模型生成方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN110705511A (zh) * 2019-10-16 2020-01-17 北京字节跳动网络技术有限公司 模糊图像的识别方法、装置、设备及存储介质
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技(深圳)有限公司 人脸特征点检测方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689039B (zh) * 2016-08-05 2021-01-26 同方威视技术股份有限公司 估计图像模糊度的方法和装置
CN107844766A (zh) * 2017-10-31 2018-03-27 北京小米移动软件有限公司 人脸图像模糊度的获取方法、装置和设备
US11462052B2 (en) * 2017-12-20 2022-10-04 Nec Corporation Image processing device, image processing method, and recording medium
CN110059642B (zh) * 2019-04-23 2020-07-31 北京海益同展信息科技有限公司 人脸图像筛选方法与装置
CN110363753B (zh) * 2019-07-11 2021-06-22 北京字节跳动网络技术有限公司 图像质量评估方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技(深圳)有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN110705511A (zh) * 2019-10-16 2020-01-17 北京字节跳动网络技术有限公司 模糊图像的识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CA3174691A1 (en) 2021-09-16
WO2021179471A1 (zh) 2021-09-16
CN111368758A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111723860B (zh) 一种目标检测方法及装置
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN112801008B (zh) 行人重识别方法、装置、电子设备及可读存储介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
KR20180109665A (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111666990A (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
US11605210B2 (en) Method for optical character recognition in document subject to shadows, and device employing method
CN111860582B (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN111783997B (zh) 一种数据处理方法、装置及设备
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111985340A (zh) 基于神经网络模型的人脸识别方法、装置和计算机设备
CN112668462A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN111340025A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN111968087B (zh) 一种植物病害区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee after: Jiangsu Suning cloud computing Co.,Ltd.

Country or region after: China

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee before: Suning Cloud Computing Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right

Effective date of registration: 20240613

Address after: Room 3104, Building A5, No. 3 Gutan Avenue, Economic Development Zone, Gaochun District, Nanjing City, Jiangsu Province, 210000

Patentee after: Jiangsu Biying Technology Co.,Ltd.

Country or region after: China

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee before: Jiangsu Suning cloud computing Co.,Ltd.

Country or region before: China