CN111695522A - 一种平面内的旋转不变人脸检测方法、装置及存储介质 - Google Patents
一种平面内的旋转不变人脸检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111695522A CN111695522A CN202010539709.4A CN202010539709A CN111695522A CN 111695522 A CN111695522 A CN 111695522A CN 202010539709 A CN202010539709 A CN 202010539709A CN 111695522 A CN111695522 A CN 111695522A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- training
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 18
- 230000010354 integration Effects 0.000 claims description 17
- 206010061274 Malocclusion Diseases 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，涉及一种平面内的旋转不变人脸检测方法、装置及存储介质；所述方法包括以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出旋转不变的卷积特征；采用属于不同样本的人脸图像数据集对卷积神经网络进行训练，直至训练损失；使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。本发明改进了SSD模型，获得了较好的检测效果。
Description
技术领域
本发明属于图像处理技术领域，特别涉及平面内的旋转不变人脸检测方法、装置及存储介质。
背景技术
人脸检测是计算机视觉中基础且富有挑战性的问题。给定一张输入图像，人脸检测的目标是在不同的三维位置、方向和光照条件下识别出包含人脸的所有图像区域。根据检测结果，可以为面部信息进行后续深入的分析，以实现对人类个体相关信息的获取，或者完成更高层的任务。此外，人脸检测已在军事、智能交通、安防监控、情绪分析等领域得到了广泛应用。综上所述，深入开展鲁棒性的人脸检测研究具有非常重要的理论创新意义和工程应用价值。
由于真实场景的复杂多变，受人体姿态和取景角度的影响，采集到的人脸图像，时常会存在平面内旋转角度不确定等问题。多样的平面内旋转角度，使得人脸的表观变化非常大，为旋转不变人脸检测带来了极大的挑战。目前流行的基于矩形框人脸表示方法的人脸检测具有以下一些局限性。首先，矩形边界框并非是最合适的人脸表示方法，将人脸放置在矩形框内会包含许多分散注意力的背景噪声。大多数检测器会枚举大量的人脸候选框位置，而没有真正理解面部本身组成的视觉语法。此外，矩形框本身传达的人脸目标信息很少，例如缺乏人脸的形状和头部姿势等。
发明内容
针对以上现有技术中的不足，本发明的目的在于提供一种平面内的旋转不变人脸检测方法、装置及存储介质，能够对平面内旋转角度变化较为鲁棒进行人脸检测。
为实现上述目的本发明采用的技术方案如下：
在本发明的第一方面，本发明提供了一种平面内的旋转不变人脸检测方法，包括以下步骤：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征，该敏感特征属于旋转不变的卷积特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
进一步的，利用基本网络提取出输入图像的卷积特征包括采用VGG-16模型的五个卷积块，即conv1-2，conv2-2，conv3-3，conv4-3，conv5-3；且这个五个卷积块依次按照自顶向下的顺序连接；并利用上采样方式提取出输入图像的卷积特征；其中，每个卷积块包括多个卷积层和一个最大池化层。
进一步的，采用多尺度特征层对基本网络的卷积特征进行多尺度融合包括卷积滤波器通过自底向上的方式提取出来自conv5-3，conv4-3，conv3-3卷积块输出的特征图，将上采样方式提取出的结果与特征图进行融合形成多尺度特征。
进一步的，所述方向敏感特征集成网络包括循环卷积层，在所述循环卷积层后通过跳连接有跨通道池化层，在跨通道池化层上预测出第一旋转角度；利用激活函数对第一旋转角度进行处理，获取方向敏感特征。
进一步的，所述采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练包括根据标注好的人脸区域与候选框之间的真实边界框重叠区域值，将所述人脸图像数据集划分为正样本、负样本以及部分人脸样本；采用正样本和部分人脸样本训练边界框回归向量，采用正样本和负样本训练人脸分类，采用正样本训练角度分类。
进一步的，对所述正样本采用随机旋转层方法，将输入的人脸图像或特征图及其标签随机旋转0°，90°，180°或270°；通过对称变换获得相应的边界框和人脸关键点的位置标签；随机旋转训练的人脸图像至[-45°,45°]，通过设置随机旋转层获得平面内任意旋转角度的训练正样本。
进一步的，所述训练过程包括分别对人脸分类、边界框和角度分类进行训练，总体损失函数表示为：
其中，L({pi},{ti},{θi})表示对于每一个训练样本i的总体的训练损失，pi表示其对应的网络输出的人脸分类得分；若包含人脸则pi *＝1；否则，pi *＝0；ti表示边界框回归向量，ti *＝[xi *,yi *,wi *,hi *]，xi *,yi *,wi *,hi *依次表示倾斜边界框的真实中心坐标和高、宽；θi表示网络输出训练样本i的角度分类得分，θi *表示该样本的真实类别标注，N代表训练样本数量；λcls表示为人脸分类任务重要性参数，λreg表示为边界框回归任务重要性参数，λang表示为角度分类任务重要性参数。
在本发明的第二方面，本发明还提供了一种计算装置，包括摄像装置、存储器和处理器，所述存储器中包括人脸检测程序，所述人脸检测程序被所述处理器执行时实现如下步骤：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
在本发明的第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括人脸检测程序，所述人脸检测程序被处理器执行时，实现上述的人脸检测方法的步骤。
本发明的优点及有益效果如下
本发明基于改进SSD模型设计了平面内的旋转不变人脸检测方法、装置及存储介质，该方法是通过方向敏感特征集成网络实现的。考虑到SSD的模型设计相对简单，在特征提取层之后通过设置一些小型的卷积滤波器直接预测人脸候选框的类别得分和边界框的位移向量，在低分辨率输入图像上也可以达到较高精度，并进一步提高了速度与精度之间的权衡。基于改进SSD模型，将旋转不变人脸检测任务公式化为一个基于倾斜边界框的回归模型，在通用的人脸检测损失中增加了新的角度偏移损失，学习目标的角度偏移；利用循环卷积层和旋转激活实现了方向敏感特征集成网络，由粗到细地学习角度分类任务。本方法获得了较好的检测效果。
附图说明
图1是本发明实施例提供的一种平面内的旋转不变人脸检测方法流程图；
图2是本发明实施例提供的方向敏感特征集成模型网络结构图；
图3是本发明实施例提供的方向敏感特征提取模块示意图；
图4是本发明实施例提供的方向敏感特征集成网络结构图；
图5是本发明实施例提供的基于倾斜边界框的人脸表示方法；
图6是本发明实施例提供的旋转不变人脸检测方法的检测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例基于SSD快速目标检测方法的改进模型实现，待测的人脸图像首先通过基本网络提取卷积特征，然后接入特征金字塔网络的多尺度特征融合结构中，将上采样2倍、4倍和8倍的特征图进行多尺度融合。在特征金字塔网络中每层特征图后接一个方向敏感特征集成网络，从而实现对倾斜边界框的检测。最后根据方向敏感特征集成网络参数计算人脸分类概率、边界框回归向量和角度类别标签。为了说明本发明所述的技术方案，下面结合附图和具体实施例作说明。
图1示出了本发明实施例提供的旋转不变人脸检测方法流程图，包括如下：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
图2示出了本发明实施例提供的方向敏感特征集成模型网络结构图，详述如下：
借鉴于经典的单阶段目标检测框架，SSD卷积神经网络由基本网络和检测网络两个部分组成，其中检测网络的一个重要作用就是对倾斜边界框的检测。基本网络采用VGG-16模型的五个卷积块：conv1-2，conv2-2，conv3-3，conv4-3，conv5-3。一个典型的块结构循环交替地使用以下几个基本层：非线性卷积层和最大池化层，起着特征提取的作用。具体地：
VGG-16网络模型接受的输入尺寸是一个固定值，宽度为512，高度为512，深度为3代表输入图像色彩通道是3通道，即RGB图像。所有的训练样本都尺寸归一化为512×512×3，将输入图像采样后输入至基本网络。
第一个卷积块，又称conv1-2，网络结构从上至下依次是：第一层，卷积层，卷积核大小为3×3，卷积核数目为64；第二层，卷积层，卷积核大小为3×3，卷积核数目为64；第三层，最大池化层，池化区间为3×3；
第二个卷积块，又称conv2-2，网络结构从上至下依次是：第一层，卷积层，卷积核大小为3×3，卷积核数目为128；第二层，卷积层，卷积核大小为3×3，卷积核数目为128；第三层，最大池化层，池化区间为3×3；
第三个卷积块，又称conv3-3，网络结构从上至下依次是：第一层，卷积层，卷积核大小为3×3，卷积核数目为256；第二层，卷积层，卷积核大小为3×3，卷积核数目为256；第三层，卷积层，卷积核大小为3×3，卷积核数目为256；第四层，最大池化层，池化区间为3×3；
第四个卷积块，又称conv4-3，网络结构从上至下依次是：第一层，卷积层，卷积核大小为3×3，卷积核数目为512；第二层，卷积层，卷积核大小为3×3，卷积核数目为512；第三层，卷积层，卷积核大小为3×3，卷积核数目为512；第四层，最大池化层，池化区间为3×3；
第五个卷积块，又称conv5-3，网络结构从上至下依次是：第一层，卷积层，卷积核大小为3×3，卷积核数目为512；第二层，卷积层，卷积核大小为3×3，卷积核数目为512；第三层，卷积层，卷积核大小为3×3，卷积核数目为512；第四层，最大池化层，池化区间为3×3。
当然，在本发明中，方向敏感特征集成网络以方向敏感特征集成模块的方式实现。
本发明所采用的卷积神经网络借鉴于经典的单阶段目标检测框架SSD，在SSD模型的基础上改进了检测网络部分，检测头部采用特征金字塔网络的多尺度特征融合结构，将上采样2倍、4倍和8倍的特征图进行多尺度融合。检测尾部则采用如图3所示的方向敏感特征集成网络；对于检测头部，其采用的特征金字塔网络具体可以参考如下：
在conv5-3、conv4-3和conv3-3输出的特征图上采用卷积核大小为3×3的卷积滤波器提取多尺度特征；
自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，在融合之后还会再采用3×3的卷积核对每个融合结果进行卷积，目的是消除上采样的混叠效应。
进一步的，特征金字塔网络的多尺度特征每层都独立接入一个方向敏感特征集成网络做预测。卷积神经网络平移等变性的实现，某种意义上可以认为是利用了权值的平移共享，因此，本发明利用循环卷积层，较为简单合理地利用了权值旋转共享的改造卷积层实现卷积神经网络的旋转不变性。
如图3示出了本发明实施例提供的方向敏感特征提取网络的模块示意图。
具体地：
在一个实施例中，为了能够提取一个真正有效的旋转不变特征，在输出的多尺度特征采用卷积核也就是循环卷积层复制4份，并旋转到四个方向，利用卷积核提取原多尺度特征中四个朝向的特征；直观来看，循环卷积层直接实现了权值的旋转共享，但是其输出的四个特征本身都还不是旋转不变的。
在另一个实施例中，循环卷积层还可以设置为其他多个方向，比如说两个方向、八个方向，相应的从卷积核复制两份和八份。
图4示出了本发明实施例提供的方向敏感特征集成网络结构图。具体地：
为了保持模型检测速度且保持模型准确性，在方向敏感特征集成网络中使用由粗到精的策略执行二次预测，以方向敏感特征集成网络生成的一次预测和生成的最终预测结果构成角度软分类。首次预测以四分类的形式实现，定义θ1∈{0,π/2,π,3π/2}。主要通过采用跳连接(Skip Connection)结构在方向敏感特征提取跨通道池化前生成初步预测第一旋转角度θ1。
随后，θ1作为方向敏感特征集成网络的输入参数，以激活函数的形式实现方向敏感特征集成。激活函数为：
其中z为循环卷积层生成的四个方向特征图。
角度类别预测在方向敏感特征集成网络中以多分类的形式实现，定义θ∈{0,2π/24,4π/24,6π/24,…,46π/24}，将平面内旋转角度划分为24个有限集合；最终确定出待测的人脸图像的倾斜角度。
当然这个有限集合可以不限于24个，若为了更为准确的确定出人脸图像的倾斜角度，可以设置更大的数值，例如48个有限集合，对应为θ∈{0,2π/48,4π/48,6π/48,…,94π/48}，此时就可以确定出更为准确的人脸图像倾斜角度，例如为3π/48等。
对于由粗到细的二次预测，本发明在初始预测是可以预测出人脸图像的大致倾斜角度，例如第一旋转角度为π/2，而二次预测则可以输出人脸图像的更为具体的第二旋转角度，第二旋转角度将从{0,2π}之间选择出一个具体值，该值可以对应为有限集合中的一个值。
本发明中第一旋转角度主要是为了预测出上下左右四个主方向，然后通过加权的方式融入二次预测计算中；因为远离第一次预测方向，权值就小了。
最后根据方向敏感特征集成网络参数计算人脸分类概率、边界框回归向量和角度类别标签。训练的质量在很大程度上取决于损失函数的设计。训练方向敏感特征集成网络采用三个损失函数的组合，包括人脸分类、边界框回归和角度分类。总体损失函数如下式所示：
其中，L({pi},{ti},{θi})表示对于每一个训练样本i的总体的训练损失；对于每一个训练样本i，pi表示其对应的网络输出人脸分类得分；若包含人脸则pi *＝1；否则，pi *＝0；ti表示边界框回归向量，ti *＝[xi *,yi *,wi *,hi *]，表示倾斜边界框的真实中心坐标和高、宽；θi表示网络输出的角度分类得分，θi *表示该样本的真实类别标注，Ncls表示人脸分类的训练样本数量；Nreg表示边界框回归的训练样本数量；Nang表示角度分类的训练样本数量；N代表训练样本数量。总体的训练损失是上述损失函数的加权和，设置人脸分类任务重要性参数λcls＝3，设置边界框回归任务重要性参数λreg＝1，设置角度分类任务重要性参数λang＝1。
人脸分类损失主要用来区分人脸区域和背景，回归损失主要用来学习人脸区域基于预设框的相对距离，用MSE损失表示人脸分类和回归误差；角度分类损失主要是拟合人脸的全局结构，采用交叉熵损失。
具体地说，回归损失Lreg的计算公式如下式所示：
其中，ti＝[xi,yi,wi,hi]，表示倾斜边界框的所预测的中心坐标和高、宽；上述参数中，带*的表示真实值，不带*表示预测值。
在本发明实施例中，使用公开人脸数据库WIDER FACE作为训练集。WIDER FACE包含各种尺度、姿态和遮挡下的人脸，覆盖了真实场景下可能出现的人脸状态，共32203张图像，393703个人脸检测矩形框位置标记。其中50％的人脸数据用作训练集，40％用作测试集，剩下的10％用作验证集；当然，也可以采集实际场景下的人脸图像作为待测的人脸图像进行检测识别。
在本发明中，在训练卷积神经网络之前，还需要对人脸图像数据集进行处理，这个处理的过程可以为：在本发明实例中，利用旋转，缩放，平移和翻转运算符对WIDER FACE数据集进行数据扩充，根据标注好的人脸区域与候选框之间的真实边界框重叠区域IoU(Intersection over Union，IoU)划分三种数据，即正样本、负样本和部分人脸样本。
IoU>0.7的候选框被标记为给正样本；IoU在0.4到0.7之间的标记为部分人脸样本即中间样本；IoU<0.3则标记为负样本。
当然，本发明不限于上述设置，本领域技术人员可以实际情况调整相应的区间值。
正样本和中间样本被用于训练边界框回归任务，而正和负样本则用于训练人脸/非人脸二分类任务，正样本被用于训练角度分类任务。
为了减少计算量，在训练中保持各个角度的样本平衡，采用随机旋转层方法，将输入图像或特征图及其标签随机旋转0°，90°，180°或270°，其计算过程如下式所示：
上述转换不会丢失输入图像的任何信息，适用于任何特征层后，通过简单的对称变换获得相应的边界框和人脸关键点的位置标签。因此，我们只需要随机地旋转训练图像至[-45°,45°]，通过设置随机旋转层获得平面内任意旋转角度的训练样本。
为了实现对倾斜边界框的有效检测，在本发明实施例中，将原始基于矩形框的人脸表示方法映射为矩形框的内接椭圆形。
如图5示出了本发明实施例提供的基于倾斜边界框的人脸表示方法。传统利用矩形表示人脸区域box＝{x,y,w,h}，包含人脸区域中心位置(x,y)，宽度w和高度h。此类的目标表示方法还存在瓶颈，主要的问题基于区域的特征提取存在大量的背景噪声，这种表示方法难以精确描述旋转人脸的结构信息，对后续分类、定位旋转人脸产生干扰。倾斜椭圆边界框可以简化表示为一个五维向量{x,y,w,h,θ}，此时上述四个参数分别映射到椭圆的圆心坐标(x,y)、长轴w和短轴h，一一对应。其中包含中心点坐标(x,y)、方向角度θ表示边界框中斜率k≤0的边和x轴正方向的夹角、宽度w和高度h。
在测试阶段，给定一张输入图像，送入所述的基本网络中开始提取特征；
然后接入特征金字塔网络的多尺度特征融合结构，将上采样2倍、4倍和8倍的特征图进行多尺度融合；
在特征金字塔网络中每层特征图后接一个方向敏感特征集成网络，用于检测旋转人脸，并输出其人脸分类概率、边界框回归向量和角度类别标签。
图6示出了本发明实施例提供的旋转不变人脸检测方法的检测效果图。为了与现有的基于水平边界框人脸表示方法进行比较，在本发明实施例中将人脸区域可视化为基于倾斜边界框的表示方法。可以看出本发明实施例提供的旋转不变人脸检测方法能够精准地检测任意平面内旋转角度的人脸，且对肤色、光照、视角鲁棒。
此外，本发明实施例还提出一种计算装置，包括摄像装置、存储器和处理器，所述存储器中包括人脸检测程序，所述人脸检测程序被所述处理器执行时实现如下步骤：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
另外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括人脸检测程序，所述人脸检测程序被处理器执行时，实现上述人脸检测方法的步骤。
本发明之人脸检测计算设备、计算机可读存储介质的具体实施方式与上述人脸检测方法的具体实施方式大致相同，在此不再赘述。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种平面内的旋转不变人脸检测方法，其特征在于，包括以下步骤：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
2.根据权利要求1所述的一种平面内的旋转不变人脸检测方法，其特征在于，利用基本网络提取出输入图像的卷积特征包括采用VGG-16模型的五个卷积块，即conv1-2，conv2-2，conv3-3，conv4-3，conv5-3；且这个五个卷积块依次按照自顶向下的顺序连接；并利用上采样方式提取出输入图像的卷积特征；其中，每个卷积块包括多个卷积层和一个最大池化层。
3.根据权利要求2所述的一种平面内的旋转不变人脸检测方法，其特征在于，采用多尺度特征层对基本网络的卷积特征进行多尺度融合包括卷积滤波器通过自底向上的方式提取出来自conv5-3，conv4-3，conv3-3卷积块输出的特征图，将上采样方式提取出的结果与特征图进行融合形成多尺度特征。
4.根据权利要求1所述的一种平面内的旋转不变人脸检测方法，其特征在于，所述方向敏感特征集成网络包括循环卷积层，在所述循环卷积层后通过跳连接有跨通道池化层，在跨通道池化层上预测出第一旋转角度；利用激活函数对第一旋转角度进行处理，获取方向敏感特征。
5.根据权利要求1所述的一种平面内的旋转不变人脸检测方法，其特征在于，所述采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练包括根据标注好的人脸区域与候选框之间的真实边界框重叠区域值，将所述人脸图像数据集划分为正样本、负样本以及部分人脸样本；采用正样本和部分人脸样本训练边界框回归向量，采用正样本和负样本训练人脸分类，采用正样本训练角度分类。
6.根据权利要求5所述一种平面内的旋转不变人脸检测方法，其特征在于，对所述正样本采用随机旋转层方法，将输入的人脸图像或特征图及其标签随机旋转0°，90°，180°或270°；通过对称变换获得相应的边界框和人脸关键点的位置标签；随机旋转训练的人脸图像至[-45°,45°]，通过设置随机旋转层获得平面内任意旋转角度的训练正样本。
7.根据权利要求1所述一种平面内的旋转不变人脸检测方法，其特征在于，所述训练过程包括分别对人脸分类、边界框和角度分类进行训练，总体损失函数表示为：
其中，L({pi},{ti},{θi})表示对于每一个训练样本i的总体的训练损失，pi表示其对应的网络输出的人脸分类得分；若包含人脸则pi *＝1；否则，pi *＝0；ti表示边界框回归向量，ti *＝[xi *,yi *,wi *,hi *]，xi *,yi *,wi *,hi *依次表示倾斜边界框的真实中心坐标和高、宽；θi表示网络输出训练样本i的角度分类得分，θi *表示该样本的真实类别标注，Ncls表示人脸分类的训练样本数量；Nreg表示边界框回归的训练样本数量；Nang表示角度分类的训练样本数量；λcls表示为人脸分类任务重要性参数，λreg表示为边界框回归任务重要性参数，λang表示为角度分类任务重要性参数。
8.一种计算装置，包括摄像装置、存储器和处理器，其特征在于，所述存储器中包括人脸检测程序，所述人脸检测程序被所述处理器执行时实现如下步骤：
以SSD快速目标检测方法的模型结构为基础，构建出包括基本网络和检测网络的卷积神经网络；
利用基本网络提取出输入图像的卷积特征；对检测网络进行改造，采用多尺度特征层对基本网络的卷积特征进行多尺度融合；在多尺度特征层上连接有方向敏感特征集成网络，提取出方向敏感特征；
采用属于不同样本的人脸图像数据集对所述卷积神经网络进行训练，直至达到训练轮次后终止；
使用训练完成的卷积神经网络对待测的人脸图像进行处理，根据卷积神经网络参数获得其人脸分类概率、边界框回归向量和角度类别标签。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括人脸检测程序，所述人脸检测程序被处理器执行时，实现如权利要求1至7中任一项所述的人脸检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539709.4A CN111695522B (zh) | 2020-06-15 | 2020-06-15 | 一种平面内的旋转不变人脸检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010539709.4A CN111695522B (zh) | 2020-06-15 | 2020-06-15 | 一种平面内的旋转不变人脸检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111695522A true CN111695522A (zh) | 2020-09-22 |
| CN111695522B CN111695522B (zh) | 2022-10-18 |
Family
ID=72480962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010539709.4A Active CN111695522B (zh) | 2020-06-15 | 2020-06-15 | 一种平面内的旋转不变人脸检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695522B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932564A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技（深圳）有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
| CN112232270A (zh) * | 2020-10-29 | 2021-01-15 | 广西科技大学 | 一种基于模型量化的mdssd人脸检测方法 |
| CN112364803A (zh) * | 2020-11-20 | 2021-02-12 | 深圳龙岗智能视听研究院 | 活体识别辅助网络和训练方法、终端、设备及存储介质 |
| CN112395986A (zh) * | 2020-11-17 | 2021-02-23 | 广州像素数据技术股份有限公司 | 一种新场景快速迁移且防遗忘的人脸识别方法 |
| CN112464743A (zh) * | 2020-11-09 | 2021-03-09 | 西北工业大学 | 一种基于多尺度特征加权的小样本目标检测方法 |
| CN112633340A (zh) * | 2020-12-14 | 2021-04-09 | 浙江大华技术股份有限公司 | 目标检测模型训练、检测方法、设备及存储介质 |
| CN112633295A (zh) * | 2020-12-22 | 2021-04-09 | 深圳集智数字科技有限公司 | 面向循环任务的预测方法、装置、电子设备及存储介质 |
| CN112766185A (zh) * | 2021-01-22 | 2021-05-07 | 燕山大学 | 基于深度学习的头部姿态监控方法、装置及系统 |
| CN113128601A (zh) * | 2021-04-22 | 2021-07-16 | 北京百度网讯科技有限公司 | 分类模型的训练方法和对图像进行分类的方法 |
| CN113837015A (zh) * | 2021-08-31 | 2021-12-24 | 艾普工华科技（武汉）有限公司 | 一种基于特征金字塔的人脸检测方法及系统 |
| CN113902971A (zh) * | 2021-09-13 | 2022-01-07 | 北京理工雷科电子信息技术有限公司 | 基于多尺度融合轻量化深度学习卷积网络的目标检测方法 |
| CN113989869A (zh) * | 2021-07-23 | 2022-01-28 | 北京眼神智能科技有限公司 | 人脸检测方法、装置、电子设备及存储介质 |
| CN114743015A (zh) * | 2022-04-02 | 2022-07-12 | 中山大学 | 一种基于角度自适应融合的目标检测方法及系统 |
| JP2022143363A (ja) * | 2021-03-17 | 2022-10-03 | Kddi株式会社 | 対応点検出装置、対応点検出方法及びプログラム |
| CN116343192A (zh) * | 2023-02-10 | 2023-06-27 | 泉州装备制造研究所 | 一种室外3d目标检测方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050105805A1 (en) * | 2003-11-13 | 2005-05-19 | Eastman Kodak Company | In-plane rotation invariant object detection in digitized images |
| US20110199499A1 (en) * | 2008-10-14 | 2011-08-18 | Hiroto Tomita | Face recognition apparatus and face recognition method |
| CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
| US20170286809A1 (en) * | 2016-04-04 | 2017-10-05 | International Business Machines Corporation | Visual object recognition |
| CN108171196A (zh) * | 2018-01-09 | 2018-06-15 | 北京智芯原动科技有限公司 | 一种人脸检测方法及装置 |
| CN108197602A (zh) * | 2018-01-30 | 2018-06-22 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及表情识别方法 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
| CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
| CN111209819A (zh) * | 2019-12-30 | 2020-05-29 | 新大陆数字技术股份有限公司 | 旋转不变的人脸检测方法、系统设备及可读存储介质 |
-
2020
- 2020-06-15 CN CN202010539709.4A patent/CN111695522B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050105805A1 (en) * | 2003-11-13 | 2005-05-19 | Eastman Kodak Company | In-plane rotation invariant object detection in digitized images |
| US20110199499A1 (en) * | 2008-10-14 | 2011-08-18 | Hiroto Tomita | Face recognition apparatus and face recognition method |
| US20170286809A1 (en) * | 2016-04-04 | 2017-10-05 | International Business Machines Corporation | Visual object recognition |
| CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN108171196A (zh) * | 2018-01-09 | 2018-06-15 | 北京智芯原动科技有限公司 | 一种人脸检测方法及装置 |
| CN108197602A (zh) * | 2018-01-30 | 2018-06-22 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法及表情识别方法 |
| CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
| CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
| CN111209819A (zh) * | 2019-12-30 | 2020-05-29 | 新大陆数字技术股份有限公司 | 旋转不变的人脸检测方法、系统设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ARIEL RUIZ-GARCIA,ET AL: "eep Q-Learning for illumination and rotation invariant face detection", 《2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS(IJCNN)》, 19 July 2019 (2019-07-19) * |
| 姚树春等: "基于级联回归网络的多尺度旋转人脸检测方法", 《电子测量与仪器学报》, 15 May 2019 (2019-05-15), pages 1 - 7 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021189910A1 (zh) * | 2020-09-24 | 2021-09-30 | 平安科技（深圳）有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
| CN111932564B (zh) * | 2020-09-24 | 2021-03-02 | 平安科技（深圳）有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
| CN111932564A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技（深圳）有限公司 | 图片识别方法、装置、电子设备及计算机可读存储介质 |
| CN112232270A (zh) * | 2020-10-29 | 2021-01-15 | 广西科技大学 | 一种基于模型量化的mdssd人脸检测方法 |
| CN112464743A (zh) * | 2020-11-09 | 2021-03-09 | 西北工业大学 | 一种基于多尺度特征加权的小样本目标检测方法 |
| CN112464743B (zh) * | 2020-11-09 | 2023-06-02 | 西北工业大学 | 一种基于多尺度特征加权的小样本目标检测方法 |
| CN112395986A (zh) * | 2020-11-17 | 2021-02-23 | 广州像素数据技术股份有限公司 | 一种新场景快速迁移且防遗忘的人脸识别方法 |
| CN112395986B (zh) * | 2020-11-17 | 2024-04-26 | 广州像素数据技术股份有限公司 | 一种新场景快速迁移且防遗忘的人脸识别方法 |
| CN112364803A (zh) * | 2020-11-20 | 2021-02-12 | 深圳龙岗智能视听研究院 | 活体识别辅助网络和训练方法、终端、设备及存储介质 |
| CN112364803B (zh) * | 2020-11-20 | 2023-08-11 | 深圳龙岗智能视听研究院 | 活体识别辅助网络的训练方法、终端、设备及存储介质 |
| CN112633340A (zh) * | 2020-12-14 | 2021-04-09 | 浙江大华技术股份有限公司 | 目标检测模型训练、检测方法、设备及存储介质 |
| CN112633340B (zh) * | 2020-12-14 | 2024-04-02 | 浙江大华技术股份有限公司 | 目标检测模型训练、检测方法、设备及存储介质 |
| CN112633295A (zh) * | 2020-12-22 | 2021-04-09 | 深圳集智数字科技有限公司 | 面向循环任务的预测方法、装置、电子设备及存储介质 |
| CN112766185B (zh) * | 2021-01-22 | 2022-06-14 | 燕山大学 | 基于深度学习的头部姿态监控方法、装置及系统 |
| CN112766185A (zh) * | 2021-01-22 | 2021-05-07 | 燕山大学 | 基于深度学习的头部姿态监控方法、装置及系统 |
| JP2022143363A (ja) * | 2021-03-17 | 2022-10-03 | Kddi株式会社 | 対応点検出装置、対応点検出方法及びプログラム |
| JP7488216B2 (ja) | 2021-03-17 | 2024-05-21 | Kddi株式会社 | 対応点検出装置、対応点検出方法及びプログラム |
| CN113128601A (zh) * | 2021-04-22 | 2021-07-16 | 北京百度网讯科技有限公司 | 分类模型的训练方法和对图像进行分类的方法 |
| CN113128601B (zh) * | 2021-04-22 | 2022-04-29 | 北京百度网讯科技有限公司 | 分类模型的训练方法和对图像进行分类的方法 |
| CN113989869A (zh) * | 2021-07-23 | 2022-01-28 | 北京眼神智能科技有限公司 | 人脸检测方法、装置、电子设备及存储介质 |
| CN113837015A (zh) * | 2021-08-31 | 2021-12-24 | 艾普工华科技（武汉）有限公司 | 一种基于特征金字塔的人脸检测方法及系统 |
| CN113902971A (zh) * | 2021-09-13 | 2022-01-07 | 北京理工雷科电子信息技术有限公司 | 基于多尺度融合轻量化深度学习卷积网络的目标检测方法 |
| CN114743015A (zh) * | 2022-04-02 | 2022-07-12 | 中山大学 | 一种基于角度自适应融合的目标检测方法及系统 |
| CN116343192A (zh) * | 2023-02-10 | 2023-06-27 | 泉州装备制造研究所 | 一种室外3d目标检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111695522B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695522B (zh) | 一种平面内的旋转不变人脸检测方法、装置及存储介质 | |
| Wu et al. | ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features | |
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| CN108427924B (zh) | 一种基于旋转敏感特征的文本回归检测方法 | |
| CN110363182B (zh) | 基于深度学习的车道线检测方法 | |
| CN107609541B (zh) | 一种基于可变形卷积神经网络的人体姿态估计方法 | |
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN102609680B (zh) | 一种基于三维深度图像信息的并行统计学习人体部位检测方法 | |
| CN107545263B (zh) | 一种物体检测方法及装置 | |
| US20120207384A1 (en) | Representing Object Shapes Using Radial Basis Function Support Vector Machine Classification | |
| CN109255375A (zh) | 基于深度学习的全景图像对象检测方法 | |
| Zhang et al. | Road recognition from remote sensing imagery using incremental learning | |
| CN113128564B (zh) | 一种基于深度学习的复杂背景下典型目标检测方法及系统 | |
| CN103839066A (zh) | 一种源于生物视觉的特征提取方法 | |
| CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
| CN103353941A (zh) | 基于视角分类的自然标志物注册方法 | |
| CN103198299A (zh) | 基于多方向尺度与Gabor相位投影特征结合的人脸识别方法 | |
| Zheng et al. | Feature enhancement for multi-scale object detection | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| Khellal et al. | Pedestrian classification and detection in far infrared images | |
| CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| Guo et al. | Image classification based on SURF and KNN | |
| CN105975906A (zh) | 一种基于面积特征的pca静态手势识别方法 | |
| CN115147644A (zh) | 图像描述模型的训练和描述方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240702 Address after: 510, 5th Floor, Building A, Getailong Industrial Park, No. 227 Bulong Road, Ma'antang Community, Bantian Street, Longgang District, Shenzhen City, Guangdong Province, 518000 Patentee after: Shenzhen Baodian Song Technology Co.,Ltd. Country or region after: China Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee before: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd. Country or region before: China Effective date of registration: 20240702 Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee after: Shenzhen Hongyue Enterprise Management Consulting Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |
|
| TR01 | Transfer of patent right |