CN109597069A - 一种主动毫米波成像隐私保护方法 - Google Patents

一种主动毫米波成像隐私保护方法 Download PDF

Info

Publication number
CN109597069A
CN109597069A CN201811595559.8A CN201811595559A CN109597069A CN 109597069 A CN109597069 A CN 109597069A CN 201811595559 A CN201811595559 A CN 201811595559A CN 109597069 A CN109597069 A CN 109597069A
Authority
CN
China
Prior art keywords
network
stage
human body
cpm
privacy places
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811595559.8A
Other languages
English (en)
Inventor
张秀锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Leicheng Electronic Technology Co Ltd
Original Assignee
Shandong Leicheng Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Leicheng Electronic Technology Co Ltd filed Critical Shandong Leicheng Electronic Technology Co Ltd
Priority to CN201811595559.8A priority Critical patent/CN109597069A/zh
Publication of CN109597069A publication Critical patent/CN109597069A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CPM网络的主动毫米波成像隐私保护的方法，能够准确高效的预测人体毫米波图像上的隐私部位并对其进行遮挡保护：包括CPM网络的迁移学习；使用毫米波人体成像结果制作MPII格式数据进行网络迁移学习训练；获取实时毫米波成像结果并使用网络进行隐私部位位置及概率估计；依据概率大小确定隐私部位位置是否正确并进行遮挡。

Description

一种主动毫米波成像隐私保护方法
技术领域
本发明属于毫米波成像隐私保护技术领域，特别涉及一种主动毫米波成像隐私保护方法。
背景技术
由于传统的x射线在安检时对人体会有一定伤害，所以一般情况下都是通过人工手检来对人体进行安检，效率低且容易发生受检人与安检员之间的冲突。毫米波三维成像安检仪的出现既解决了X射线对人体带来的伤害又可以无接触式的对人体成像。但是由于被安检人体的图像将直接显示在屏幕上，所以有必要对被安检人的隐私部位加以保护。
目前传统的隐私保护算法多基于图像形态学，方法复杂且精度不高。其他简单方法，其定位精度与准确率也有待提升。
发明内容
本发明的目的在于提供一种主动毫米波成像隐私保护方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种主动毫米波成像隐私保护方法，包括以下步骤：
步骤1，设计基于FCN网络的CPM，并基于GPU平台实现；
步骤2，采集毫米波雷达安检仪人体成像结果，并按照MPII数据格式标记异物名称和位置，制作训练样本数据集；
步骤3，将制作好的训练样本数据集送入CPM网络进行训练，依托GPU平台并行计算能力进行计算；
步骤4，将成像结果送入CPM网络，根据估计得到的隐私位置的概率大小判断隐私部位位置。
进一步的，步骤1具体为：
CPM中的子网络—目标检测网络基于FCN实现，包括阶段1-Stage1、阶段2-Stage2、阶段3-Stage3和阶段4-Stage4四个阶段；每个阶段都是一个FCN网络；Stage1和Stage2的输入为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，Stage3和Stage4的输入为Stage2的阶段性特征图；同时，Stage2及后续阶段中都将前一阶段的响应图、当前阶段的阶段性特征图和进过池化后的中心约束图相融合。
进一步的，步骤2具体为：在训练网络时采用现有的光学数据集—MPII数据集进行训练；通过迁移学习的方法将光学图像训练的网络整体迁移到雷达图像上，并采用finetune(非冻结)的方式经过数十个雷达图像训练样本得到训练好的网络；
选取比较简单的普朗克研究所(MPII)人体姿态数据集格式作为训练样本集的格式，对采集的样本进行隐私部位标记；每个图像样本中的每个标记单元主要包含隐私部位名称标签C和隐私部位位置(x,y)两大信息，x为标记单元横向位置坐标，y为标记单元纵向位置坐标。
进一步的，步骤3中，网络训练时损失函数满足以下规则：
其中，表示部位p的期望信念图。表示这一部位的预测信念图。
进一步的，步骤4具体为：读取步骤3已经训练好的网络权值，将人体成像结果送入步骤3中训练好的CPM网络，得到每个隐私部位的位置估计及相应的概率大小输出，此时根据其概率大小选择确定或者抛弃此隐私部位位置估计结果。
与现有技术相比，本发有以下技术效果：
本发明与传统方法相比于以下优势：除第一阶段外，每个阶段均以前一阶段的输出和从原图提取的特征为输入，能够提高关键点检测性能；各部件的响应图和特征图一同在网络中传递，人体关键点的先验信息能够指导网络学习；各个阶段的预测输出都有监督训练，避免了深度网络难以优化的问题，而且感受野随各阶段逐渐增大。综上，该方法可准确的获得人体各隐私部位的位置；
本发明基于GPU平台实现隐私部位估计算法，GPU相比于CPU可实现多核并行计算，在提升CPM网络训练和测试的速度的同时还可提升隐私部位估计效率。
附图说明
图1为本发明实施例提供的隐私保护方法的整体流程图；
图2为本发明实施例提供的CPM网络的网络设计图；
图3为本发明实施例提供的毫米波雷达实测图像隐私保护异结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例，仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例，提供一种主动毫米波成像隐私保护算法，所述方法包括如下步骤：
步骤1，设计基于深度学习的多层全卷积网络(FCN)，并基于GPU平台实现；
步骤1具体为：
由于全卷积网络(FCN)在图像分割领域具有较为优秀的表现，因此本发明中的目标检测网络主要基于FCN实现，主要包括Stage1、Stage2、Stage3和Stage4。网络设计细节如图2所示，包含4个阶段，每个阶段都是一个FCN网络。Stage1和Stage2的输入为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，Stage3和Stage4的输入为Stage2的阶段性特征图。同时，Stage2及后续阶段中都将前一阶段的响应图、当前阶段的阶段性特征图和进过池化后的中心约束图相融合。
步骤2，大量采集毫米波雷达安检仪人体成像结果，并按照MPII数据格式标记隐私部位名称和位置，制作训练样本数据集；
步骤2具体为：
虽然毫米波雷达图像具有不同于光学图像的特性，但是在训练网络时仍然可以采用现有的光学数据集进行训练。通过迁移学习的方法将光学图像训练的网络整体迁移到雷达图像上，并采用fine tune(非冻结)的方式可以仅经过数十个雷达图像训练样本得到训练好的网络。但是为了统计网络进行隐私部位估计的准确性，仍然需要大量毫米波雷达人体成像数据来作为测试样本集，用以对网络性能的测试。
选取比较简单的MPII数据集格式作为训练样本集的格式，对采集的样本进行隐私部位标记。每个图像样本中的每个标记单元主要包含隐私部位名称标签C和隐私部位位置(x,y)两大信息，x为标记单元横向位置坐标，y为标记单元纵向位置坐标。
步骤3，利用制作好的训练数据集对CPM网络进行训练，加载利用光学图像训练好的网络参数作为网络初始化参数并依托GPU平台提升网络的训练速度。
步骤3具体为：
训练时损失函数被定义为每一阶段输出的预测的每个位置的信念图与期望的信念图之间的l2范数距离。Loss函数定义如下：
其中，表示部位p的期望信念图。表示这一部位的预测信念图。
训练时，通过不断调整权值W来减小标记数据与预测数据的误差值Loss，直到Loss达到设定的精度值时停止训练，并保存检测网络的权值，以供检测测试使用。
步骤4，将大量成像结果送入CPM网络，根据网络预测的位置机概率大小确定每个隐私部位的位置。
步骤4具体为：
读取步骤3已经训练好网络权值，将大量人体成像结果送入网络，得到每个隐私部位的位置估计及相应的概率大小输出，此时根据其概率大小可选择确定或者抛弃此隐私部位位置估计结果。
本发明的效果可通过以下仿真实验作进一步说明：
1.实验条件
本发明在GPU上运行，仿真测试硬件平台参数如表1所示，软件平台参数如表2所示：
表1硬件平台参数
CPU Intel(R)i7-7700
内存 16GB
GPU NVIDIA GeForce GTX1070
GPU显存 8GB
计算能力 6.1
表2软件平台参数
操作系统 Win10 64位
编译器 Visual Studio 2015
CUDA版本 8.0
2.仿真结果及分析
训练阶段：在输入训练样本后，由于使用了迁移学习的方法使得网络权值很快收敛，达到全域极小值。
测试阶段：在加载了训练好的网络权值后，输入大量测试样本，网络均能在很短时间内准确估计出人体左胸、右胸及裆部位置并加以遮挡保护。其次，每次输出的位置预测准确概率均在90％以上。

Claims (5)

1.一种主动毫米波成像隐私保护方法，其特征在于，包括以下步骤：
步骤1，设计基于FCN网络的卷积姿态机CPM，并基于GPU平台实现；
步骤2，采集毫米波雷达安检仪人体成像结果，并按照普朗克研究所(MPII)人体姿态数据格式标记异物名称和位置，制作训练样本数据集；
步骤3，将制作好的训练样本数据集送入CPM网络进行训练，依托GPU平台并行计算能力进行计算；
步骤4，将成像结果送入CPM网络，根据估计得到的隐私位置的概率大小判断隐私部位位置。
2.根据权利要求1所述的一种主动毫米波成像隐私保护方法，其特征在于，步骤1具体为：
CPM中的子网络—目标检测网络基于FCN实现，包括阶段1-Stage1、阶段2–Stage2、阶段3-Stage3和阶段4-Stage4四个阶段；每个阶段都是一个全卷积接FCN网络；Stage1和Stage2的输入为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，Stage3和Stage4的输入为Stage2的阶段性特征图；同时，Stage2及后续阶段中都将前一阶段的响应图、当前阶段的阶段性特征图和进过池化后的中心约束图相融合。
3.根据权利要求1所述的一种主动毫米波成像隐私保护方法，其特征在于，步骤2具体为：在训练网络时采用现有的光学数据集—MPII数据集进行训练；通过迁移学习的方法将光学图像训练的网络整体迁移到雷达图像上，并采用fine tune(非冻结的方式经过数十个雷达图像训练样本得到训练好的网络权值；
选取比较简单的MPII数据集格式作为训练样本集的格式，对采集的样本进行隐私部位标记；每个图像样本中的每个标记单元主要包含隐私部位名称标签C和隐私部位位置(x,y)两大信息，x为标记单元横向位置坐标，y为标记单元纵向位置坐标。
4.根据权利要求1所述的一种主动毫米波成像隐私保护方法，其特征在于，步骤3中，网络训练时损失函数满足以下规则：
其中，表示部位p的期望信念图；表示这一部位的预测信念图。
5.根据权利要求1所述的一种主动毫米波成像隐私保护方法，其特征在于，步骤4具体为：读取步骤3已经训练好的网络权值，将人体成像结果送入步骤3中已训练好的CPM网络，得到每个隐私部位的位置估计及相应的概率大小输出，此时根据其概率大小选择确定或者抛弃此隐私部位位置估计结果。
CN201811595559.8A 2018-12-25 2018-12-25 一种主动毫米波成像隐私保护方法 Pending CN109597069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811595559.8A CN109597069A (zh) 2018-12-25 2018-12-25 一种主动毫米波成像隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811595559.8A CN109597069A (zh) 2018-12-25 2018-12-25 一种主动毫米波成像隐私保护方法

Publications (1)

Publication Number Publication Date
CN109597069A true CN109597069A (zh) 2019-04-09

Family

ID=65962777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811595559.8A Pending CN109597069A (zh) 2018-12-25 2018-12-25 一种主动毫米波成像隐私保护方法

Country Status (1)

Country Link
CN (1) CN109597069A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711330A (zh) * 2018-12-25 2019-05-03 山东雷诚电子科技有限公司 一种主动毫米波人体成像威胁物检测方法
CN110298797A (zh) * 2019-06-12 2019-10-01 博微太赫兹信息科技有限公司 一种基于卷积神经网络的毫米波图像处理方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540264A (zh) * 2011-12-30 2012-07-04 北京华航无线电测量研究所 一种人体隐私部位自动检测与遮挡的微波安检系统
CN102608672A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示装置
CN102629315A (zh) * 2012-02-29 2012-08-08 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别装置
CN102707322A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种基于毫米波成像的人体检测装置
CN102708561A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种基于毫米波成像的隐私保护装置
EP2749909A2 (en) * 2012-12-27 2014-07-02 Nuctech Company Limited Human body security inspection apparatus and method
CN104345351A (zh) * 2013-07-23 2015-02-11 清华大学 人体安全检查的隐私保护方法和人体安全检查系统
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
WO2017107284A1 (zh) * 2015-12-25 2017-06-29 深圳市太赫兹科技创新研究院 基于毫米波全息三维成像的人体安检系统及方法
CN107644190A (zh) * 2016-07-20 2018-01-30 北京旷视科技有限公司 行人监控方法和装置
CN107977646A (zh) * 2017-12-19 2018-05-01 北京博睿视科技有限责任公司 一种隔栏递物检测算法
CN207636787U (zh) * 2018-01-05 2018-07-20 西安天安电子科技有限公司 一种用于主动式人体安检成像系统的毫米波收发前端
CN108648204A (zh) * 2018-04-24 2018-10-12 特斯联（北京）科技有限公司 一种实现人工智能区域屏蔽的人体安检的方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540264A (zh) * 2011-12-30 2012-07-04 北京华航无线电测量研究所 一种人体隐私部位自动检测与遮挡的微波安检系统
CN102608672A (zh) * 2012-02-29 2012-07-25 北京无线电计量测试研究所 人体安检系统可疑物品图像显示装置
CN102629315A (zh) * 2012-02-29 2012-08-08 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别装置
CN102707322A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种基于毫米波成像的人体检测装置
CN102708561A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种基于毫米波成像的隐私保护装置
EP2749909A2 (en) * 2012-12-27 2014-07-02 Nuctech Company Limited Human body security inspection apparatus and method
CN104345351A (zh) * 2013-07-23 2015-02-11 清华大学 人体安全检查的隐私保护方法和人体安全检查系统
WO2017107284A1 (zh) * 2015-12-25 2017-06-29 深圳市太赫兹科技创新研究院 基于毫米波全息三维成像的人体安检系统及方法
CN107644190A (zh) * 2016-07-20 2018-01-30 北京旷视科技有限公司 行人监控方法和装置
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
CN107977646A (zh) * 2017-12-19 2018-05-01 北京博睿视科技有限责任公司 一种隔栏递物检测算法
CN207636787U (zh) * 2018-01-05 2018-07-20 西安天安电子科技有限公司 一种用于主动式人体安检成像系统的毫米波收发前端
CN108648204A (zh) * 2018-04-24 2018-10-12 特斯联（北京）科技有限公司 一种实现人工智能区域屏蔽的人体安检的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIH-EN WEI等: ""Convolutional Pose Machines"", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711330A (zh) * 2018-12-25 2019-05-03 山东雷诚电子科技有限公司 一种主动毫米波人体成像威胁物检测方法
CN110298797A (zh) * 2019-06-12 2019-10-01 博微太赫兹信息科技有限公司 一种基于卷积神经网络的毫米波图像处理方法及系统
CN110298797B (zh) * 2019-06-12 2021-07-09 博微太赫兹信息科技有限公司 一种基于卷积神经网络的毫米波图像处理方法

Similar Documents

Publication Publication Date Title
CN110426112B (zh) 一种生猪体重测量方法及装置
EP3885967A1 (en) Object key point positioning method and apparatus, image processing method and apparatus, and storage medium
US10706262B2 (en) Intelligent body measurement
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109141248A (zh) 基于图像的猪体重测算方法及系统
Tang et al. Cmu-net: a strong convmixer-based medical ultrasound image segmentation network
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN109978888B (zh) 一种图像分割方法、装置及计算机可读存储介质
CN110415792A (zh) 图像检测方法、装置、计算机设备和存储介质
Hu et al. A 2.5 D cancer segmentation for MRI images based on U-Net
CN109597069A (zh) 一种主动毫米波成像隐私保护方法
CN113240661B (zh) 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
WO2021128730A1 (zh) 图像处理方法及装置、图像处理设备及存储介质
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
CN107102861A (zh) 一种获取开源代码库中函数的向量的方法和系统
CN107967686A (zh) 一种联合动态脑网络和长短时记忆网络的癫痫识别装置
CN102542543A (zh) 基于块相似性的交互式图像分割方法
CN112102230A (zh) 超声切面识别方法、系统、计算机设备和存储介质
Zhang et al. Deformable deep convolutional generative adversarial network in microwave based hand gesture recognition system
CN106646664B (zh) 基于gpu的人体微波回波模拟方法及系统
CN109711330A (zh) 一种主动毫米波人体成像威胁物检测方法
Bi et al. Residual based attention-Unet combing DAC and RMP modules for automatic liver tumor segmentation in CT
CN105551042A (zh) 一种扫描床标记点位置的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication