CN110321873A - 基于深度学习卷积神经网络的敏感图片识别方法及系统 - Google Patents
基于深度学习卷积神经网络的敏感图片识别方法及系统 Download PDFInfo
- Publication number
- CN110321873A CN110321873A CN201910628014.0A CN201910628014A CN110321873A CN 110321873 A CN110321873 A CN 110321873A CN 201910628014 A CN201910628014 A CN 201910628014A CN 110321873 A CN110321873 A CN 110321873A
- Authority
- CN
- China
- Prior art keywords
- face
- picture
- network model
- training
- subsequently
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，用于对多个待测图片进行检测，从而识别待测图片中的敏感图片，其特征在于，包括如下步骤：步骤S1，将待测图片输入人脸检测网络模型，判断待测图片中是否具有人脸；步骤S2，通过人脸检测网络模型对人脸图片进行分析，获取人脸检测信息；步骤S3，将人脸检测信息输入人脸识别网络模型，获取人脸的特征向量；步骤S4，根据人脸向量数据集对特征向量进行余弦相似度计算，获取特征向量的最大余弦值；步骤S5，判断最大余弦值是否小于预定的阈值；步骤S6，将图像图片输入图片分类网络模型，预测图像图片的图片类别；步骤S7，将预测为敏感图片类别的图像图片和人脸图片标识为敏感图片。
Description
技术领域
本发明属于计算机视觉，人工智能技术领域，具体涉及一种基于卷积神经网络的敏感图片识别方法及系统。
背景技术
随着互联网的迅速普及，以图片为代表的多媒体内容正以惊人的速度进行增长，而如何检测多媒体内容中的敏感图片已经成为计算机视觉等领域中研究的热点，传统的敏感图片识别方法主要依靠人力，但是人工识别的方式不但识别速度慢，工作强度大，而且识别的正确率也无法得到保证。
随着2012年Krizhevsky使用卷积神经网络(CNN)在ImageNet图片识别比赛上取得第一名，深度学习开始在各个领域大展拳脚。得益于计算机硬件尤其是显卡性能的高速提升和大数据的获取，深度学习也迅速地取得了突破性进展，在计算机视觉领域中最为广泛应用的模型是卷积神经网络模型，通过局部感受野和权值共享的方法，实现了较小参数和计算量下由原始图片到抽象语义表征的映射模式。
然而随着互联网中多媒体内容的指数性增长，每天都会产生很多新的多媒体内容，采用传统的卷积神经网络模型进行敏感图片识别，其识别速度仍然跟不上多媒体内容的更新速度，若还要进一步要求较高的识别准确率，则还需要增加卷积神经网络模型的层数，导致识别速度进一步变慢，另外，传统的卷积神经网络模型也无法对图片进行分类检测，导致其应用场景较为狭隘，泛用性较差，因此，目前仅靠传统的神经网络模型也已经无法满足实际的使用需求。
发明内容
为解决上述问题，本发明以互联网中的敏感图片为研究对象，运用深度学习技术，建立卷积神经网络模型，再通过迁移学习，对图片进行人脸检测，再根据检测结果分别经过人脸识别网络和分类网络，从而对敏感图片进行识别，采用了如下技术方案：
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，用于对多个待测图片进行检测，从而识别待测图片中的敏感图片，其特征在于，包括如下步骤：
步骤S1，将待测图片输入训练完成的人脸检测网络模型，判断待测图片中是否具有人脸，若判断为是，将待测图片作为人脸图片，然后进入步骤S2，若判断为否，将待测图片作为图像图片，然后进入步骤S6；
步骤S2，通过人脸检测网络模型对人脸图片进行分析，获取人脸图片中人脸的人脸检测信息，然后进入步骤S3；
步骤S3，将人脸检测信息输入训练完成的人脸识别网络模型，获取与人脸检测信息相对应的人脸的特征向量，然后进入步骤S4；
步骤S4，根据预设的人脸向量数据集对特征向量进行余弦相似度计算，获取特征向量的最大余弦值，然后进入步骤S5；
步骤S5，判断最大余弦值是否小于预定的阈值，若判断为是，则认为人脸图片中的人脸为未知人脸，若判断为否，则将根据最大余弦值预测人脸图片的图片类别，作为人脸预测信息，然后进入步骤 S7；
步骤S6，将图像图片输入训练完成的图片分类网络模型，预测图像图片的图片类别，作为图像预测信息，然后进入步骤S7；
步骤S7，根据图像预测信息和人脸预测信息，将预测为敏感图片类别的图像图片和人脸图片标识为敏感图片。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，人脸检测网络模型为MTCNN 网络模型，包括P-net网络模型、R-net网络模型以及O-net网络模型，
步骤S2包括如下子步骤：
步骤S2-1，将人脸图片进行数据增强处理，获取待测图片的图片金字塔，然后进入步骤S2-2；
步骤S2-2，将图片金字塔输入P-net网络模型进行计算分析，获取第一人脸关键点坐标，并通过NMS算法对图片金字塔进行筛选，获取第一人脸边界框，然后进入步骤S2-3；
步骤S2-3，将第一人脸关键点坐标输入R-net网络模型进行计算分析，获取第二人脸关键点坐标，并通过NMS算法对第一人脸边界框进行筛选，获取第二人脸边界框，然后进入步骤S2-4；
步骤S2-4，将第二人脸关键点坐标输入R-net网络模型进行计算分析，获取最终人脸关键点坐标，并通过NMS算法对第二人脸边界框进行筛选，获取最终人脸边界框，最终人脸关键点坐标和最终人脸边界框即为人脸信息。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，人脸检测网络模型的训练过程包括如下步骤：
步骤A1，搭建初始人脸检测网络模型，包括初始P-net网络模型、初始R-net网络模型以及初始O-net网络模型，然后进入步骤A2；
步骤A2，将WDIER FACE数据集和CelebA数据集作为训练集，随机对WDIER FACE数据集和CelebA数据集中的训练图片进行裁剪，获取初始裁剪训练图片，然后进入步骤A3；
步骤A3，采用初始裁剪训练图片对初始P-net网络模型进行训练，获取训练完成的P-net网络模型，然后进入步骤A4；
步骤A4，将初始裁剪训练图片输入训练完成的P-net网络模型，获取训练图片中人脸的第一预测坐标，然后进入步骤A5；
步骤A5，对第一预测坐标与训练图片中的人脸的人脸重叠区域大小进行计算，获取第一裁剪训练图片，然后进入步骤A6；
步骤A6，采用第一裁剪训练图片对初始R-net网络模型进行训练，获取训练完成的R-net网络模型，然后进入步骤A7；
步骤A7,将第一裁剪训练图片输入训练完成的P-net网络模型和 R-net网络模型，获取训练图片中人脸的第二预测坐标，然后进入步骤A8；
步骤A8，对第二预测坐标与训练图片中的人脸的人脸重叠区域大小进行计算，获取第二裁剪训练图片，然后进入步骤A9；
步骤A9，采用第二裁剪训练图片对初始O-net网络模型进行训练，获取训练完成的O-net网络模型。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，步骤S3包括如下子步骤：
步骤S3-1，根据人脸预测信息对人脸图片进行裁剪，获取人脸图片中的人脸，然后进入步骤S3-2；
步骤S3-2，对人脸进行对齐处理，获取对齐后的对齐人脸，然后进入步骤S3-3；
步骤S3-3，将对齐人脸输入人脸识别网络模型，获取特征向量。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，图片分类网络模型的训练过程包括如下步骤：
步骤B1，搭建初始图片分类网络模型，然后进入步骤B2；
步骤B2，设定训练参数，优化器为Adam优化器，初始学习率为0.01，损失函数为交叉熵损失，训练次数为50轮，每训练10轮学习效率减半，然后进入步骤B3；
步骤B3，将多张不同类别的图片作为训练集，并对训练集进行数据增强，然后进入步骤B4；
步骤B4，将完成数据增强的训练集输入初始图片分类网络模型进行迭代计算，并在迭代计算的过程中进行损失函数计算和反向传播，直至初始图片分类网络模型收敛，即训练完成。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，图片分类网络模型为 RESNET152残差网络模型，
RESNET152残差网络模型包括151个卷积层、1个全局池化层以及20个残差块，每个残差块采用shortcut连接，从而防止 RESNET152残差网络模型的梯度消失。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别方法，还可以具有这样的特征，其中，人脸识别网络模型的训练过程包括如下步骤：
步骤C1，搭建人脸识别网络模型，然后进入步骤C2；
步骤C2，将人脸识别网络模型中的残差块设定为 bn+conv+bn+prelu+conv+bn，并且在人脸识别网络模型的输出层上添加ARC FACE层，该ARC FACE层用于对输出层进行约束，然后进入步骤C3；
步骤C3，采用WEB FACE数据集作为训练集输入人脸识别网络模型进行迭代计算，直至人脸识别网络模型收敛，训练完成。
本发明提供了一种基于深度学习卷积神经网络的敏感图片识别系统，用于对多个待测图片进行检测，从而识别待测图片中的敏感图片，其特征在于，包括：初始化部、输入部、比较判断部、人脸识别部、图片分类部以及敏感图片判定部，初始化部用于进行系统初始化，并设定人脸识别阈值，输入部用于输入待测图片，比较判别部具有训练完成的人脸检测网络模型，用于对待测图片进行人脸检测，判断待测图片中是否存在人脸，若判断为是，则将具有人脸的待测图片作为人脸图片输入人脸识别部，若判断为否，则将不具有人脸的待测图片作为图像图片输入图片分类部，人脸识别部具有训练完成的人脸识别网络模型，用于对人脸图片进行人脸识别，从而输出相对应的人脸预测信息，图片分类部具有训练完成的图片分类网络模型，用于对图像图片进行分类，从而输出相对应的图像预测信息，敏感图片判定部根据人脸预测信息和图像预测信息判定对应的人脸图片和图像图片是否为敏感图片，并对敏感图片进行标识。
发明作用与效果
根据本发明的基于深度学习卷积神经网络的敏感图片识别方法，包括人脸检测、人脸识别以及图片分类等步骤，由于在人脸检测步骤中，人脸检测模型为MTCNN网络模型，经过实验对比，MTCNN网络模型与几个经典网络模型(例如cacasade CNN,SSD等)，具有极快的人脸检测速率和最高的人脸检测准确率；在人脸识别步骤中，人脸识别模型为ResNet101网络模型，并在最后的输出层后加上ARC FACE层进行约束，经过对比实验，ARC FACE层在数据集WEB FACE有最高的准确率；在图片分类步骤中，图片分类模型为ResNet152网络模型，具有很深的隐藏层，使得该网络模型有着很好的泛化能力和分类准确率，而且使用全局池化层代替全连接层，在保证准确率的基础上大大加速了识别速率，因此，本发明的基于深度学习卷积神经网络的敏感图片识别方法能够在保证敏感图片识别的准确率的同时，还能够高效率地完成识别，检测，分类任务，具有较好的实际使用价值。
附图说明
图1是本发明实施例一的基于深度学习卷积神经网络的敏感图片识别方法的工作流程图；
图2是本发明实施例一的人脸检测识别的工作流程图；
图3是本发明实施例一的图片分类的工作流程图；
图4是本发明实施例二的基于深度学习卷积神经网络的敏感图片识别系统的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合附图对本发明的基于深度学习卷积神经网络的敏感图片识别方法及基于深度学习卷积神经网络的敏感图片识别系统 100作具体阐述。
<实施例一>
在本实施例中的基于深度学习卷积神经网络的敏感图片识别方法，通过多个卷积神经网络对待测图片进行人脸检测、人脸识别以及图片分类，从而将待测图片中属于敏感图片类别的图片标识出来，作为敏感图片。
在对敏感图片进行识别之前，首先需要搭建多个卷积神经网络模型，然后再分别对这些卷积神经网络模型进行相对应的训练。
本实施例中包含三个不同的卷积神经网络模型，以下以这三个不同的卷积神经网络模型为例对本实施例中的卷积神经网络模型的构建、训练以及测试过程进行说明。
本实施例中的卷积神经网络模型的构建均在Linux平台上实现，该平台具有至少一个带GPU加速功能的图片处理单元(例如NVIDIA GTX 1080ti显卡)，通过现有的深度学习框架pytorch，搭建三个卷积神经网络模型，分别为人脸检测网络模型、图片分类网络模型以及人脸识别网络模型。
人脸检测网络模型为为MTCNN网络模型，包括P-net网络模型、 R-net网络模型以及O-net网络模型，体现了从粗糙到细致的过程，有很快的速度和较高的准确率。
本实施人脸检测网络模型采用WDIER FACE数据集和CelebA数据集作为训练集。WIDER FACE提供了大量的人脸边框定位数据，其中的图像是从公共可用的WIDER数据集中选择的，共有32,203个图像和393,703个人脸，其比例、姿势以及遮挡度具有高度可变性。CelebA 属性数据集(CelebFaces)是一个大型的人脸属性数据集，拥有超过 200K的名人图像，每个图像都有5个人脸关键点(左眼，右眼，鼻子，左嘴角，右嘴角)坐标和人脸边框坐标。
人脸检测网络模型的训练过程为：
步骤A1，搭建初始人脸检测网络模型，包括初始P-net网络模型、初始R-net网络模型以及初始O-net网络模型，然后进入步骤A2；
步骤A2，将WDIER FACE数据集和CelebA数据集作为训练集，随机对WDIER FACE数据集和CelebA数据集中的训练图片进行裁剪，获取初始裁剪训练图片，根据初始裁剪训练图片与训练图片中人脸重叠区域大小，将初始裁剪训练图片分为人脸、部分人脸以及非人脸图片，然后进入步骤A3；
步骤A3，采用初始裁剪训练图片对初始P-net网络模型进行训练，直至初始P-net网络模型收敛，即训练完成，获取训练完成的P-net 网络模型，然后进入步骤A4；
步骤A4，将初始裁剪训练图片输入训练完成的P-net网络模型，获取训练图片中人脸的第一预测坐标，然后进入步骤A5；
步骤A5，对第一预测坐标与训练图片中的人脸的人脸重叠区域大小进行计算，根据计算结果将初始裁剪训练图片重新分为人脸、部分人脸以及非人脸图片，作为第一裁剪训练图片，然后进入步骤A6；
步骤A6，采用第一裁剪训练图片对初始R-net网络模型进行训练，直至初始R-net网络模型收敛，即训练完成，获取训练完成的R-net 网络模型，然后进入步骤A7；
步骤A7,将第一裁剪训练图片输入训练完成的P-net网络模型和 R-net网络模型，获取训练图片中人脸的第二预测坐标，然后进入步骤A8；
步骤A8，对第二预测坐标与训练图片中的人脸的人脸重叠区域大小进行计算，根据计算结果将第一裁剪训练图片重新分为人脸、部分人脸以及非人脸图片，作为第二裁剪训练图片，然后进入步骤A9；
步骤A9，采用第二裁剪训练图片对初始O-net网络模型进行训练，直至初始O-net网络模型收敛，即训练完成，获取训练完成的 O-net网络模型。
人脸检测网络模型的测试过程具体为：
对测试图片进行预处理，得到测试图片金字塔，依次通过MTCNN 网络模型中的P-net网络模型、R-net网络模型以及O-net网络模型进行计算分析，最终得到预测的人脸边界框和关键点坐标。
图片分类网络模型为RESNET152残差网络模型，包括151个卷积层、1个全连阶层以及20个残差块，每个残差块采用shortcut连接，从而防止RESNET152残差网络模型的梯度消失。
RESNET152残差网络模型是一个端到端的图片分类网络模型，该网络模型输入待识别图片并且能够直接输出图片信息，同时在本实施例中，使用全局池化层代替全连接层，减少了参数量，加速了网络识别速度。
本实施例中的RESNET152残差网络模型具体包括如下结构：
(1)网络输入，输入图片大小是224x224x3，张量形状为 Nx3x224x224，其中N是batch size。
(2)4种残差块，分别包括：
a)3个输入为64维，输出为256维的残差块，每个残差块包含3个卷积层和2个激活层。张量大小Nx256x56x56.
b)8个输入为256维，输出为512维的残差块，每个残差块包含3个卷积层和2个激活层。张量大小Nx512x28x28。
c)3个输入为512维，输出为1024维的残差块，每个残差块包含3个卷积层和2个激活层。张量大小Nx1024x14x14。
d)3个输入为1024维，输出为2048维的残差块，每个残差块包含3个卷积层和2个激活层。张量大小Nx2048x7x7。
(3)全局池化层，输出1000维的预测信息。
图片分类网络模型的训练过程具体为：
步骤B1，搭建初始图片分类网络模型，然后进入步骤B2；
步骤B2，设定训练参数，优化器为Adam优化器，初始学习率为0.01，损失函数为交叉熵损失，训练次数为50轮，每训练10轮学习效率减半，然后进入步骤B3；
步骤B3，将多张不同类别的图片(例如强制，军舰，战机，暴恐等)作为训练集，并采用albumentations图片数据增强库对训练集进行数据增强，例如对图片进行随机裁剪，随机旋转，随机左右旋转，添加噪声等，使网络模型的泛化能力更强，然后进入步骤B4；
步骤B4，将完成数据增强的训练集输入初始图片分类网络模型进行迭代计算，并在迭代计算的过程中进行损失函数计算和反向传播，直至图片分类网络模型收敛，即训练完成，获取训练完成后的图片分类网络模型。
图片分类网络模型的测试过程具体为：
将测试图片进行预处理，输入到已训练完成的图片分类网络模型中，计算softmax值，取softmax最大值的图片类别作为预测图片类别，即预测图片信息。
人脸识别网络模型为ResNet101残差网络模型。
人脸识别网络模型的训练过程包括如下步骤：
步骤C1，搭建人脸识别网络模型，然后进入步骤C2；
步骤C2，将图片分类网络模型中的残差块设定为 bn+conv+bn+prelu+conv+bn，并且在人脸识别网络模型的输出层上添加ARC FACE层，该ARC FACE层用于对输出层进行约束，然后进入步骤C3；
步骤C3，采用WEB FACE数据集作为训练集输入人脸识别网络模型进行迭代计算，直至人脸识别网络模型收敛，训练完成。
人脸识别网络模型的测试过程具体为：
根据人脸检测阶段得到的人脸边界框和关键点坐标分别裁剪出人脸和进行人脸对齐，再将人脸输入到ARC FACE层中，得到人脸特征向量，再与预设的人脸向量数据集计算余弦相似度，取最大相似度，如果最大相似度都小于设定的阈值，则当前人脸为未知人脸，否则当前余弦相似度最大的人脸信息，即为预测人脸信息，最后根据预测人脸信息与预先设定的敏感人脸进行对比，判断预测人脸信息是否属于敏感人脸集合。
图1是本发明实施例一的基于深度学习卷积神经网络的敏感图片识别方法的工作流程图。
如图1所示，实施例一中的基于深度学习卷积神经网络的敏感图片识别方法，采用上述三个训练完成的卷积神经网络模型对多个待测图片进行检测，从而识别待测图片中的敏感图片，在进行识别前需要对各个训练完成的模型进行初始化，并设定人脸识别的阈值，包括如下步骤：
步骤S1，将待测图片输入训练完成的人脸检测网络模型，判断待测图片中是否具有人脸，若判断为是，将待测图片作为人脸图片，然后进入步骤S2，若判断为否，将待测图片作为图像图片，然后进入步骤S6。
步骤S2，通过人脸检测网络模型对人脸图片进行分析，获取人脸图片中人脸的人脸检测信息，然后进入步骤S3。
图2是本发明实施例一的人脸检测识别的工作流程图。
如图2所示，步骤S2中的人脸检测包括如下子步骤：
步骤S2-1，将人脸图片进行数据增强处理，获取待测图片的图片金字塔，然后进入步骤S2-2。
步骤S2-2，将图片金字塔输入P-net网络模型进行计算分析，获取第一人脸关键点坐标，并通过NMS算法对图片金字塔进行筛选，获取第一人脸边界框，然后进入步骤S2-3。
步骤S2-3，将第一人脸关键点坐标输入R-net网络模型进行计算分析，获取第二人脸关键点坐标，并通过NMS算法对第一人脸边界框进行筛选，获取第二人脸边界框，然后进入步骤S2-4。
步骤S2-4，将第二人脸关键点坐标输入R-net网络模型进行计算分析，获取最终人脸关键点坐标，并通过NMS算法对第二人脸边界框进行筛选，获取最终人脸边界框，最终人脸关键点坐标和最终人脸边界框即为人脸检测信息。
如图2所示，人脸识别包括如下步骤：
步骤S3，将人脸检测信息输入训练完成的人脸识别网络模型，获取与人脸检测信息相对应的人脸的特征向量，然后进入步骤S4。
步骤S3包括如下子步骤：
步骤S3-1，根据人脸预测信息对人脸图片进行裁剪，获取人脸图片中的人脸，然后进入步骤S3-2；
步骤S3-2，对人脸进行对齐处理，获取对齐后的对齐人脸，然后进入步骤S3-3；
步骤S3-3，将对齐人脸输入人脸识别网络模型，获取该人脸的特征向量。
步骤S4，根据预设的人脸向量数据集对特征向量进行余弦相似度计算，获取特征向量的最大余弦值，然后进入步骤S5。
步骤S5，判断各个最大余弦值是否都小于预定的阈值，若判断为是，则认为人脸图片中的人脸为未知人脸，若判断为否，则将根据最大余弦值预测人脸图片的图片类别，作为人脸预测信息，然后进入步骤S7。
图3是本发明实施例一的图片分类的工作流程图。
如图3所示，图片分类包括如下步骤：
步骤S6，将图像图片输入训练完成的图片分类网络模型，预测图像图片的图片类别，作为图像预测信息，然后进入步骤S7。
在本实施例中，图片分类网络模型通过计算图像图片的softmax 值，并取softmax值的最大值作为图像图片的图片类别，即根据图像预测信息与预先设定的敏感人脸进行对比，判断图像预测信息是否属于敏感人脸集合。
步骤S7，根据图像预测信息和人脸预测信息，将预测为敏感图片类别的图像图片和人脸图片标识为敏感图片。
实施例一的作用与效果
根据本实施例的基于深度学习卷积神经网络的敏感图片识别方法，包括人脸检测、人脸识别以及图片分类等步骤，由于在人脸检测步骤中，人脸检测模型为MTCNN网络模型，经过实验对比，MTCNN网络模型与几个经典网络模型(例如cacasade CNN,SSD等)，具有极快的人脸检测速率和最高的人脸检测准确率(在NVIDIA GTX 1080ti 显卡平台上MTCNN网络模型的人脸检测速度为99FPS，即一秒处理99 张人脸图片，同时在公开数据集FDDB准确率为95.04％)；在人脸识别步骤中，人脸识别模型为ResNet101网络模型，并在最后的输出层后加上ARC FACE层进行约束，使得同类人脸的距离较小，不同类人脸的距离较大，经过对比实验，ARC FACE层在数据集WEB FACE有最高的准确率；在图片分类步骤中，图片分类模型为ResNet152网络模型，具有很深的隐藏层，使得该网络模型有着很好的泛化能力和分类准确率，而且使用全局池化层代替全连接层，在保证准确率的基础上大大加速了识别速率，因此，本实施例的基于深度学习卷积神经网络的敏感图片识别方法能够在保证敏感图片识别的准确率的同时，还能够高效率地完成识别，检测，分类任务，具有较好的实际使用价值。
由于本实施例中人脸检测网络模型为MTCNN网络模型，包括P-net网络模型、R-net网络模型以及O-net网络模型这三个子网络模型，因此对待测图片的检测过程为由粗糙到细致的过程，不但保证了人脸检测的速度，而且也提高了人脸检测的准确率。
由于本实施例中人脸识别网络模型中采用全局池化层代替了全连接层，因此在人脸识别的过程中能够减少计算的参数量，进一步提高了人脸识别的速度。
<实施例二>
实施例一提供了一种基于深度学习卷积神经网络的敏感图片识别方法，该方法主要包括模型构建、模型训练、人脸检测、人脸识别、图片分类以及敏感图片标识等步骤。然而，为了在实际使用时更为方便，可以将实施例一中的图片分类网络模型、人脸检测网络模型以及人脸识别网络模型应用于一种基于深度学习卷积神经网络的敏感图片识别系统100。
图4是本发明实施例二的基于深度学习卷积神经网络的敏感图片识别系统的结构框图。
如图4所示，实施例二中的基于深度学习卷积神经网络的敏感图片识别系统100包括初始化部101、输入部102、比较判断部103、人脸识别部104、图片分类部105以及敏感图片判定部106。
初始化部101用于进行系统初始化，并设定人脸识别阈值。
输入部102用于输入待测图片。
比较判别部103具有训练完成的人脸检测网络模型，用于对待测图片进行人脸检测，判断待测图片中是否存在人脸，若判断为是，则将具有人脸的待测图片作为人脸图片输入人脸识别部104，若判断为否，则将不具有人脸的待测图片作为图像图片输入图片分类部105。
人脸识别部104具有训练完成的人脸识别网络模型，用于对人脸图片进行人脸识别，从而输出相对应的人脸预测信息。
图片分类部105具有训练完成的图片分类网络模型，用于对图像图片进行分类，从而输出相对应的图像预测信息。
敏感图片判定部106根据人脸预测信息和图像预测信息判定对应的人脸图片和图像图片是否为敏感图片，并对敏感图片进行标识。实施例二的作用与效果
由于本实施例中的基于深度学习卷积神经网络的敏感图片识别系统将实施例一中的图片分类网络模型、人脸检测网络模型以及人脸识别网络模型进行了整合应用，因此，在实际应用过程中，通过本实施例的基于深度学习卷积神经网络的敏感图片识别系统对敏感图片进行识别更加方便，也能够更高效率地完成识别，检测，分类任务，进一步地提高了实际使用价值。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于深度学习卷积神经网络的敏感图片识别方法，用于对多个待测图片进行检测，从而识别所述待测图片中的敏感图片，其特征在于，包括如下步骤：
步骤S1，将所述待测图片输入训练完成的人脸检测网络模型，判断所述待测图片中是否具有人脸，若判断为是，将所述待测图片作为人脸图片，然后进入步骤S2，若判断为否，将所述待测图片作为图像图片，然后进入步骤S6；
步骤S2，通过所述人脸检测网络模型对所述人脸图片进行分析，获取所述人脸图片中所述人脸的人脸检测信息，然后进入步骤S3；
步骤S3，将所述人脸检测信息输入训练完成的人脸识别网络模型，获取与所述人脸检测信息相对应的所述人脸的特征向量，然后进入步骤S4；
步骤S4，根据预设的人脸向量数据集对所述特征向量进行余弦相似度计算，获取所述特征向量的最大余弦值，然后进入步骤S5；
步骤S5，判断所述最大余弦值是否小于预定的阈值，若判断为是，则认为所述人脸图片中的所述人脸为未知人脸，若判断为否，则将根据所述最大余弦值预测所述人脸图片的图片类别，作为人脸预测信息，然后进入步骤S7；
步骤S6，将所述图像图片输入训练完成的图片分类网络模型，预测所述图像图片的图片类别，作为图像预测信息，然后进入步骤S7；
步骤S7，根据所述图像预测信息和所述人脸预测信息，将预测为敏感图片类别的所述图像图片和所述人脸图片标识为所述敏感图片。
2.根据权利要求1所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述人脸检测网络模型为MTCNN网络模型，包括P-net网络模型、R-net网络模型以及O-net网络模型，
步骤S2包括如下子步骤：
步骤S2-1，将所述人脸图片进行数据增强处理，获取所述待测图片的图片金字塔，然后进入步骤S2-2；
步骤S2-2，将所述图片金字塔输入所述P-net网络模型进行计算分析，获取第一人脸关键点坐标，并通过NMS算法对所述图片金字塔进行筛选，获取第一人脸边界框，然后进入步骤S2-3；
步骤S2-3，将所述第一人脸关键点坐标输入所述R-net网络模型进行计算分析，获取第二人脸关键点坐标，并通过NMS算法对所述第一人脸边界框进行筛选，获取第二人脸边界框，然后进入步骤S2-4；
步骤S2-4，将所述第二人脸关键点坐标输入所述R-net网络模型进行计算分析，获取最终人脸关键点坐标，并通过NMS算法对所述第二人脸边界框进行筛选，获取最终人脸边界框，所述最终人脸关键点坐标和所述最终人脸边界框即为所述人脸检测信息。
3.根据权利要求2所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述人脸检测网络模型的训练过程包括如下步骤：
步骤A1，搭建初始人脸检测网络模型，包括初始P-net网络模型、初始R-net网络模型以及初始O-net网络模型，然后进入步骤A2；
步骤A2，将WDIER FACE数据集和CelebA数据集作为训练集，随机对所述WDIER FACE数据集和所述CelebA数据集中的训练图片进行裁剪，获取初始裁剪训练图片，然后进入步骤A3；
步骤A3，采用所述初始裁剪训练图片对所述初始P-net网络模型进行训练，获取训练完成的所述P-net网络模型，然后进入步骤A4；
步骤A4，将所述初始裁剪训练图片输入训练完成的所述P-net网络模型，获取所述训练图片中人脸的第一预测坐标，然后进入步骤A5；
步骤A5，对所述第一预测坐标与所述训练图片中的人脸的人脸重叠区域大小进行计算，获取第一裁剪训练图片，然后进入步骤A6；
步骤A6，采用所述第一裁剪训练图片对所述初始R-net网络模型进行训练，获取训练完成的所述R-net网络模型，然后进入步骤A7；
步骤A7,将所述第一裁剪训练图片输入训练完成的所述P-net网络模型和所述R-net网络模型，获取所述训练图片中人脸的第二预测坐标，然后进入步骤A8；
步骤A8，对所述第二预测坐标与所述训练图片中的人脸的人脸重叠区域大小进行计算，获取第二裁剪训练图片，然后进入步骤A9；
步骤A9，采用所述第二裁剪训练图片对所述初始O-net网络模型进行训练，获取训练完成的所述O-net网络模型。
4.根据权利要求1所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述步骤S3包括如下子步骤：
步骤S3-1，根据所述人脸预测信息对所述人脸图片进行裁剪，获取所述人脸图片中的人脸，然后进入步骤S3-2；
步骤S3-2，对所述人脸进行对齐处理，获取对齐后的对齐人脸，然后进入步骤S3-3；
步骤S3-3，将所述对齐人脸输入所述人脸识别网络模型，获取所述特征向量。
5.根据权利要求1所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述图片分类网络模型的训练过程包括如下步骤：
步骤B1，搭建初始图片分类网络模型，然后进入步骤B2；
步骤B2，设定训练参数，优化器为Adam优化器，初始学习率为0.01，损失函数为交叉熵损失，训练次数为50轮，每训练10轮学习效率减半，然后进入步骤B3；
步骤B3，将多张不同类别的图片作为训练集，并对所述训练集进行数据增强，然后进入步骤B4；
步骤B4，将完成数据增强的所述训练集输入所述初始图片分类网络模型进行迭代计算，并在所述迭代计算的过程中进行损失函数计算和反向传播，直至所述初始图片分类网络模型收敛，即训练完成。
6.根据权利要求5所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述图片分类网络模型为RESNET152残差网络模型，
所述RESNET152残差网络模型包括151个卷积层、1个全局池化层以及20个残差块，每个所述残差块采用shortcut连接，从而防止所述RESNET152残差网络模型的梯度消失。
7.根据权利要求1所述的基于深度学习卷积神经网络的敏感图片识别方法，其特征在于：
其中，所述人脸识别网络模型的训练过程包括如下步骤：
步骤C1，搭建所述人脸识别网络模型，然后进入步骤C2；
步骤C2，将所述人脸识别网络模型中的残差块设定为bn+conv+bn+prelu+conv+bn，并且在所述人脸识别网络模型的输出层上添加ARC FACE层，该ARC FACE层用于对所述输出层进行约束，然后进入步骤C3；
步骤C3，采用WEB FACE数据集作为训练集输入所述人脸识别网络模型进行迭代计算，直至所述人脸识别网络模型收敛，训练完成。
8.一种基于深度学习卷积神经网络的敏感图片识别系统，用于对多个待测图片进行检测，从而识别所述待测图片中的敏感图片，其特征在于，包括：
初始化部、输入部、比较判断部、人脸识别部、图片分类部以及敏感图片判定部，
所述初始化部用于进行系统初始化，并设定人脸识别阈值，
所述输入部用于输入待测图片，
所述比较判别部具有训练完成的人脸检测网络模型，用于对所述待测图片进行人脸检测，判断所述待测图片中是否存在人脸，若判断为是，则将具有人脸的所述待测图片作为人脸图片输入所述人脸识别部，若判断为否，则将不具有人脸的所述待测图片作为图像图片输入所述图片分类部，
所述人脸识别部具有训练完成的人脸识别网络模型，用于对所述人脸图片进行人脸识别，从而输出相对应的人脸预测信息，
所述图片分类部具有训练完成的图片分类网络模型，用于对所述图像图片进行分类，从而输出相对应的图像预测信息，
所述敏感图片判定部根据所述人脸预测信息和所述图像预测信息判定对应的所述人脸图片和所述图像图片是否为所述敏感图片，并对所述敏感图片进行标识。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628014.0A CN110321873B (zh) | 2019-07-12 | 2019-07-12 | 基于深度学习卷积神经网络的敏感图片识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628014.0A CN110321873B (zh) | 2019-07-12 | 2019-07-12 | 基于深度学习卷积神经网络的敏感图片识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110321873A true CN110321873A (zh) | 2019-10-11 |
| CN110321873B CN110321873B (zh) | 2023-10-10 |
Family
ID=68123261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910628014.0A Active CN110321873B (zh) | 2019-07-12 | 2019-07-12 | 基于深度学习卷积神经网络的敏感图片识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321873B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN110879970A (zh) * | 2019-10-21 | 2020-03-13 | 武汉兴图新科电子股份有限公司 | 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备 |
| CN110991412A (zh) * | 2019-12-20 | 2020-04-10 | 北京百分点信息科技有限公司 | 人脸识别的方法、装置、存储介质及电子设备 |
| CN111144296A (zh) * | 2019-12-26 | 2020-05-12 | 湖南大学 | 基于改进cnn模型的视网膜眼底图片分类方法 |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
| CN111783812A (zh) * | 2019-11-18 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 违禁图像识别方法、装置和计算机可读存储介质 |
| CN111783725A (zh) * | 2020-07-14 | 2020-10-16 | 珠海市卓轩科技有限公司 | 人脸识别方法、装置及存储介质 |
| CN111832622A (zh) * | 2020-06-11 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 特定人物丑化图片识别方法及系统 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN112015937A (zh) * | 2020-08-31 | 2020-12-01 | 核工业北京地质研究院 | 一种图片地理定位方法及系统 |
| CN112702339A (zh) * | 2020-12-23 | 2021-04-23 | 中移（杭州）信息技术有限公司 | 基于深度迁移学习的异常流量监测与分析方法和装置 |
| CN113326754A (zh) * | 2021-05-21 | 2021-08-31 | 深圳市安软慧视科技有限公司 | 基于卷积神经网络的吸烟行为检测方法、系统及相关设备 |
| CN113627498A (zh) * | 2021-07-28 | 2021-11-09 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
| CN114092743A (zh) * | 2021-11-24 | 2022-02-25 | 开普云信息科技股份有限公司 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122806A (zh) * | 2017-05-16 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种敏感图像识别方法及装置 |
| KR101877683B1 (ko) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | 학습을 이용한 얼굴 인식 장치 및 방법 |
| CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
| CN109359551A (zh) * | 2018-09-21 | 2019-02-19 | 深圳市璇玑实验室有限公司 | 一种基于机器学习的敏感图像识别方法与系统 |
-
2019
- 2019-07-12 CN CN201910628014.0A patent/CN110321873B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122806A (zh) * | 2017-05-16 | 2017-09-01 | 北京京东尚科信息技术有限公司 | 一种敏感图像识别方法及装置 |
| KR101877683B1 (ko) * | 2017-08-18 | 2018-07-12 | 연세대학교 산학협력단 | 학습을 이용한 얼굴 인식 장치 및 방법 |
| CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
| CN109359551A (zh) * | 2018-09-21 | 2019-02-19 | 深圳市璇玑实验室有限公司 | 一种基于机器学习的敏感图像识别方法与系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIANKANG DENG等: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| KAIPENG ZHANG等: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| 张国基等: "《生物辨识系统与深度学习》", 31 December 2018 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879970A (zh) * | 2019-10-21 | 2020-03-13 | 武汉兴图新科电子股份有限公司 | 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备 |
| CN110826519A (zh) * | 2019-11-14 | 2020-02-21 | 深圳市华付信息技术有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN110826519B (zh) * | 2019-11-14 | 2023-08-18 | 深圳华付技术股份有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN111783812A (zh) * | 2019-11-18 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 违禁图像识别方法、装置和计算机可读存储介质 |
| CN110991412A (zh) * | 2019-12-20 | 2020-04-10 | 北京百分点信息科技有限公司 | 人脸识别的方法、装置、存储介质及电子设备 |
| CN111144296A (zh) * | 2019-12-26 | 2020-05-12 | 湖南大学 | 基于改进cnn模型的视网膜眼底图片分类方法 |
| CN111144296B (zh) * | 2019-12-26 | 2023-04-18 | 湖南大学 | 基于改进cnn模型的视网膜眼底图片分类方法 |
| CN111401257B (zh) * | 2020-03-17 | 2022-10-04 | 天津理工大学 | 一种基于余弦损失在非约束条件下的人脸识别方法 |
| CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
| CN111914612A (zh) * | 2020-05-21 | 2020-11-10 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN111914612B (zh) * | 2020-05-21 | 2024-03-01 | 淮阴工学院 | 一种基于改进的卷积神经网络的施工图图元自适应识别方法 |
| CN111832622A (zh) * | 2020-06-11 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 特定人物丑化图片识别方法及系统 |
| CN111783725A (zh) * | 2020-07-14 | 2020-10-16 | 珠海市卓轩科技有限公司 | 人脸识别方法、装置及存储介质 |
| CN112015937A (zh) * | 2020-08-31 | 2020-12-01 | 核工业北京地质研究院 | 一种图片地理定位方法及系统 |
| CN112015937B (zh) * | 2020-08-31 | 2024-01-19 | 核工业北京地质研究院 | 一种图片地理定位方法及系统 |
| CN112702339A (zh) * | 2020-12-23 | 2021-04-23 | 中移（杭州）信息技术有限公司 | 基于深度迁移学习的异常流量监测与分析方法和装置 |
| CN113326754A (zh) * | 2021-05-21 | 2021-08-31 | 深圳市安软慧视科技有限公司 | 基于卷积神经网络的吸烟行为检测方法、系统及相关设备 |
| CN113627498A (zh) * | 2021-07-28 | 2021-11-09 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
| CN113627498B (zh) * | 2021-07-28 | 2024-03-12 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
| CN114092743B (zh) * | 2021-11-24 | 2022-07-26 | 开普云信息科技股份有限公司 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
| CN114092743A (zh) * | 2021-11-24 | 2022-02-25 | 开普云信息科技股份有限公司 | 敏感图片的合规性检测方法、装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110321873B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321873A (zh) | 基于深度学习卷积神经网络的敏感图片识别方法及系统 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN106780906B (zh) | 一种基于深度卷积神经网络的人证合一识别方法及系统 | |
| CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN107909027B (zh) | 一种具有遮挡处理的快速人体目标检测方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN109492581A (zh) | 一种基于tp-stg框架的人体动作识别方法 | |
| CN103443804B (zh) | 面部标志检测方法 | |
| CN103632158B (zh) | 森林防火监控方法及森林防火监控系统 | |
| CN107016370A (zh) | 一种基于数据增强的部分遮挡人脸识别方法 | |
| CN108846826A (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
| CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
| CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
| CN108681737B (zh) | 一种复杂光照下图像特征提取方法 | |
| CN109117755A (zh) | 一种人脸活体检测方法、系统和设备 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN105243356A (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
| CN110390673A (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN112287802A (zh) | 人脸图像检测方法、系统、存储介质及设备 | |
| CN109426828A (zh) | 点云分类方法、装置、设备及存储介质 | |
| CN109544516A (zh) | 图像检测方法及装置 | |
| CN114627412A (zh) | 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230912 Address after: Room 1101, Floor 11, Building B, Suzhou Bay Central Plaza, 99 Youxiang Road, the Taihu Lake Street, Wuzhong District, Suzhou City, Jiangsu Province, 215104 Applicant after: Suzhou Sicui Industrial Big data Technology Research Institute Co.,Ltd. Address before: Room 321, Xinsu Building, No. 1518, East Ring Road, Suzhou Industrial Park, Wuzhong District, Suzhou City, Jiangsu Province, 215164 Applicant before: Suzhou Huibang Medical Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |