CN116189226A - 一种基于毫米波安检图像危险品坐标映射方法 - Google Patents

一种基于毫米波安检图像危险品坐标映射方法 Download PDF

Info

Publication number
CN116189226A
CN116189226A CN202211270698.XA CN202211270698A CN116189226A CN 116189226 A CN116189226 A CN 116189226A CN 202211270698 A CN202211270698 A CN 202211270698A CN 116189226 A CN116189226 A CN 116189226A
Authority
CN
China
Prior art keywords
dangerous goods
millimeter wave
area
human body
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211270698.XA
Other languages
English (en)
Inventor
李光锐
尚士泽
李思明
欧湛
辛乐
李元吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 14 Research Institute
Original Assignee
CETC 14 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 14 Research Institute filed Critical CETC 14 Research Institute
Priority to CN202211270698.XA priority Critical patent/CN116189226A/zh
Publication of CN116189226A publication Critical patent/CN116189226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

毫米波成像设备具有成像分辨率高和能穿透衣物的特点，这使得其具有发现隐藏在衣物中的物品的优势，但该特点同时会造成旅客隐私暴露的问题。为避免该问题，在对公众显示的安检员界面上显示的应是标注了危险品位置的人偶图像，由于人偶图像一般采用固定的模型，通过简单的缩放映射显然无法准确地将危险品坐标由毫米波图像映射到人偶图像上。为解决上述问题，本发明提出了一种基于人体关键点信息的危险品坐标映射方法，该方法通过危险品坐标与关键点坐标的相对位置关系对其所属区域进行精细划分，然后基于区域特点采用相应的映射方法进行坐标映射，从而得到准确的映射结果。

Description

一种基于毫米波安检图像危险品坐标映射方法
技术领域
本发明属于图像处理领域，具体涉及一种基于毫米波安检图像危险品坐标映射方法。
背景技术
毫米波成像设备具有成像分辨率高和能穿透衣物的特点，这使得其具有发现隐藏在衣物中的物品的优势，但该特点同时会造成旅客隐私暴露的问题。为避免该问题，在对公众显示的安检员界面上显示的应是标注了危险品位置的人偶图像，但目前还未见公开发表的论文或专利论述将危险品位置信息映射到人偶图像上的方法。由于人偶图像一般采用固定的模型，而旅客的体型千差万别，且旅客在接受成像检查时的姿势与检查装置要求的姿势必然存在一定偏差，因此通过简单的缩放映射显然无法准确地将危险品坐标由毫米波图像映射到人偶图像上。
发明内容
为克服现有技术中的不足，本发明提出了一种基于人体关键点信息的危险品坐标映射方法，该方法通过危险品坐标与关键点坐标的相对位置关系对其所属区域进行精细划分，然后基于区域特点采用相应的映射方法进行坐标映射，从而得到准确的映射结果。将危险品坐标由原始毫米波安检图像映射到人偶图像上，实现对旅客隐私进行保护，提升安检流程自动化程度与执行效率。具体包括以下步骤：
1)人体建模
本发明的方法的总体流程如图1所示，算法的核心思想是比较危险品坐标与毫米波人体图像的关键点坐标，通过一系列判据识别危险品所在的具体人体部位，然后再根据人体部位的特点使用相应映射方法得到该物品在人偶图像上的合理坐标。通过这种分部位的映射方式，可以有效地克服人体形态差异和姿态差异导致的映射不准的问题。
本发明通过人体的关键部位与关节点对人体进行建模，建模样例如图2(a)和图2(b)所示，其中图2(a)为在毫米波图像上标注的关键点，图2(b)为在人偶图像上标注的关键点，涉及的关键点共有13个，具体为头部(Head)、左肩(LS)、右肩(RS)、左腰(LW)、右腰(RW)、左膝(LK)、右膝(RK)、左足(LF)、右足(RF)、左肘(LE)、右肘(RE)、左手(LH)、右手(RH)，人偶上的关键点与人体上的关键点一一对应，通过增加“’”加以区分。基于关键点，将人体划分为以下8个区域：1.人体躯干；2.大腿；3.左侧小腿；4.右侧小腿；5.左侧上臂；6.左侧小臂；7.右侧上臂；8.右侧小臂。由于头面部和手部在安检时一般没有遮挡，无需通过毫米波技术进行检查，因此即使出现危险品报警也无需进行坐标映射。
2)数据准备
采集并输入毫米波图像和人偶图像的关键点信息数据，并将数据准备完成；
3)区域判定方
本发明采用了7组判断条件来判定危险品所属的区域，区域可分为两类，一类是人体躯干和大腿这两种投影面积较大的面区域，其余的如小臂、小腿等则为线区域，这两类区域的判定方式与坐标映射方式均有差异。
方法流程如图1所示，首先判断危险品是否位于人体躯干(判断1)。人体躯干区域定义为图3中由LS2、RS2、LW2、RW2四个点所包围的四边形区域R1，该区域比由输入人体关键点LS、RS、LW、RW所包围的区域更宽，原因是位于躯干上的危险品中心坐标可能位于躯干的侧面，由于关键点坐标可能存在误差，因而危险品中心坐标容易超出关键点所包围的区域。LS2、RS2、LW2、RW2的坐标计算方式为：
(xLS2，yLS2)＝(xLS-dx，yLS+dy)
(xRS2，yRS2)＝(xRS+dx，yRS+dy)
(xLW2，yLW2)＝(xLW-dx，yLW)
(xRW2，yRW2)＝(xRW+dx，yRW)
其中dx为水平偏移量，dy为竖直方向偏移量。采用射线法、转角法等算法可较容易地判断危险品坐标是否位于四边形内部。
若危险品不位于人体躯干，则判断危险品是否位于大腿区域(判断2)。大腿区域的定义方式与躯干区域的定义方式类似，如图3中由LW2、RW2、LK2、RK2所包围的四边形区域R2所示。LK2与RK2的坐标计算方式为：
(xLK2，yLK2)＝(xLK-dx，yLK-dy)
(xRK2，yRK2)＝(xRK+dx，yRK-dy)。
如图4所示，设某危险品D中心坐标为(xD，yD)，若其纵坐标yD小于膝盖位置yLK2或yRK2，即yD＜yLK2或yD＜yRK2，则危险品应位于小腿上(判断3)。
定义距离函数：
Figure SMS_1
为A点与B点间的距离。
若危险品与左膝盖的距离更近，即dist(D，LK)＜dist(D，RR)，则判定该危险品位于左侧小腿，反之则位于右侧小腿(判断4)。
若危险品不在R1、R2或者小腿区域，则应位于手臂区域，若危险品与左臂肘关节点LE更近，即dist(D，LE)＜dist(D，RE)，则危险品位于左臂，反之则位于右臂(判断5)。判断6为危险品属于左小臂或左大臂的判断，采用夹角大小比较来实现。设
Figure SMS_2
为从A点到B点的向量(O为坐标原点)，记/>
Figure SMS_3
与
Figure SMS_4
的夹角为α，记/>
Figure SMS_5
与/>
Figure SMS_6
的夹角为β，若α＜β，则危险品D位于小臂，反之则危险品位于大臂。判断7与判断6方式相同，只是判断的位置由左臂变为右臂。
4)坐标映射
如在前所述，躯干和大腿被视作面区域，位于面区域内的危险品需随着该平面做整体变换以达到较好的指示效果。为此，本发明采用投影变换的方式对危险品坐标进行映射。以人体躯干部分为例，人体上的关键点组(LS，RS，LW，RW)的坐标依次为(xi，yi)(i＝1，2，3，4)，对应人偶上的关键点(LS’，RS’，LW’，RW’)的坐标依次为(x′i，y′i)(i＝1，2，3，4)，这两组坐标间的变换矩阵为M为：
Figure SMS_7
该矩阵共有8个未知数，通过联立以下线性方程：
Figure SMS_8
Figure SMS_9
求解得到M矩阵中的8个未知数。获得M矩阵后，则危险品D(xD，yD)在人偶上的对应点D′(x′D，y′D)的坐标为：
Figure SMS_10
Figure SMS_11
对于位于大腿区域的危险品，其变换公式与上述公式相同，只是变换矩阵由人体上的关键点组(LW，RW，LK，RK)与人偶上的关键点组(LW’，RW’，LK’，RK’)计算得到。
对于其他位于四肢上的危险品，坐标映射问题等效为将原图中危险品坐标映射到人偶图上，使其与邻近的线段(即小腿或小臂等线区域)的空间几何关系能够在人偶图中得到体现(如图4所示，U与V代表某一段四肢的端点，D为危险品，W为危险品坐标到UV线段的垂点，O为原图的坐标原点(0,0))。为解决该问题，采用基于相似变换(包括平移、旋转及伸缩变换)的方法进行坐标点映射。首先根据原图中U,V,D三点的坐标可以很容易地获得W点坐标，根据相似变换原理，对应的W'点也位于U'V'线段上，且满足缩放关系：
Figure SMS_12
其中|·|代表矢量的模，也即线段长度。因此W′(xw′，yW′)的坐标可由以下方式计算得到：
Figure SMS_13
通过计算矢量
Figure SMS_14
和矢量/>
Figure SMS_15
的指向角度差θ，可以得到相似变换中的旋转矩阵为：
Figure SMS_16
因此，D′(xD′，yD′)的坐标可用以下公式得到：
Figure SMS_17
其中O’为人偶图的坐标原点，γ≥0为距离调节因子，用于根据人偶模型的胖瘦程度调整映射后的危险品与四肢间的距离，以保证映射后的坐标点始终位于人偶身体上，极限情况下取γ＝0，则D′与W′重合，即危险品始终被映射到四肢线段上。
本发明的有益效果在于
(1)对危险品进行分区域处理，实现危险品坐标从原图到人偶图的高精度坐标映射。
(2)对所应用的旅客的性别、年龄、体型等特征没有限制，且在受检旅客姿势不标准的情况下仍能实现准确的坐标映射。
(3)对人体除非必要区域(肩以上)外的区域实现完全覆盖。
(4)应用于毫米波人体安检系统中，可以起到旅客隐私保护的作用。
附图说明
图1为本发明方法流程图。
图2为人体关键点定义示例图。
图3为危险品所属区域说明示意图。
图4为四肢映射方法示意图。
图5(a1)-图5(d3)为危险品坐标映射结果示例图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
给出的四组具体实施例如图5(a1)-图5(d3)所示，其中包括两组不同体型的正面人体图像的坐标映射结果与两组不同体型的背面图像的坐标映射结果。图中连线上的点与图2中的标识相对应，为根据原始图像(包括毫米波图像与人偶图像)手工标注的人体关键点位置。图中连线外的点为危险品标记点，这里仅做实施案例展示用，并不一定代表原始图中对应位置真实存在危险品。每组结果均采用了两个不同的人偶模型，两种人偶模型的身材比例不同，手臂和腿张开的角度也有明显差异。
实施例中输入的毫米波图像尺寸为512*1024，根据人体在该图中所占据的比例，dx和dy的取值均为25个像素值。由于人偶的四肢相对于正常人的四肢更纤细修长，为避免位于四肢上的危险品被映射到人偶身体外，距离调节因子γ设为0.5。
由图中结果可看到，本发明的方法对不同体型的个体以及不同的人偶模型都能得到较好的映射结果，位于四肢上的危险品也均被正确地映射到人偶上。值得注意的是，各组毫米波图像中的人体手臂姿势均摆放得不规范，但在人偶图像上仍然得到了很好的映射结果，说明本方法对姿势的误差也有很强的适应性。
本发明不局限于上述具体的实施方式，本发明可以有各种更改和变化。凡是依据本发明的技术实质对以上实施方式所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (7)

1.一种基于毫米波安检图像危险品坐标映射方法，其特征在于：通过比较危险品坐标与毫米波人体图像的关键点坐标，判据识别危险品所在的具体人体部位，然后再根据人体部位映射得到该物品在人偶图像上的坐标；具体包括以下具体步骤：
1)人体建模
通过人体的关键部位与关节点对人体进行建模，进行区域划分，将关键部位与关节点设置为关键点，并在人偶图像上对应标注出关键点；
2)数据准备
包括毫米波图像和人偶图像关键点信息的输入及数据准备；
毫米波图像关键点信息；
人偶图像关键点信息；
3)区域判定
根据危险品位置信息，基于步骤1)中的人体区域划分，判断危险品所在人体区域；
4)坐标映射
通过人体的关键点与对应的人偶图像上的关键点，将危险品坐标映射到人偶图像上。
2.根据权利要求1所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：所述关键点共有13个，分别为头部、左肩、右肩、左腰、右腰、左膝、右膝、左足、右足、左肘、右肘、左手和右手，人偶上的关键点与人体上的关键点一一对应。
3.根据权利要求2所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：所述区域划分为以下8个区域：人体躯干、大腿、左侧小腿、右侧小腿、左侧上臂、左侧小臂、右侧上臂和右侧小臂。
4.根据权利要求3所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：所述区域分为两类，一类是躯干和大腿投影面积较大的为面区域，另一类是小臂、上臂、小腿的为线区域。
5.根据权利要求4所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：所述区域判定方法具体为：首先判断危险品是否位于躯干的面区域，在躯干区域定义四个点所包围的四边形区域，该区域比由人体关键点左肩、右肩、左腰、右腰所包围的区域更宽，采用射线法或转角法判断危险品坐标是否位于躯干的四边形区域内部；若危险品不位于躯干，则判断危险品是否位于大腿区域，同样，在大腿区域定义四个点所包围的四边形区域，该区域比由人体关键点左腰、右腰、左膝、右膝所包围的区域更宽，采用射线法或转角法判断危险品坐标是否位于大腿的四边形区域内部；若危险品中心坐标的纵坐标小于左膝和右膝的纵坐标，则判断危险品位于小腿区域，通过计算危险品与左膝和右膝哪个距离更近，则判定危险品位于左侧小腿或右侧小腿；若危险品均不在以上区域，则应位于手臂区域，若危险品与左肘更近，则危险品位于左臂，反之则位于右臂；采用夹角大小比较来判断危险品位于小臂或大臂的判断，若危险品到肘与危险品到手的向量夹角小于危险品到肘与危险品到肩的向量夹角，则判断危险品位于小臂，反之则危险品位于大臂。
6.根据权利要求5所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：对于躯干和大腿的面区域，采用投影变换的方法对危险品坐标进行映射；对于小臂、上臂、小腿的线区域，采用基于相似变换的方法进行坐标点映射，将危险品坐标映射到人偶图像上，使其与邻近的线区域的空间几何关系能够在人偶图像中得到体现。
7.根据权利要求6所述的一种基于毫米波安检图像危险品坐标映射方法，其特征在于：所述的相似变换的方法包括平移、旋转及伸缩变换。
CN202211270698.XA 2022-10-16 2022-10-16 一种基于毫米波安检图像危险品坐标映射方法 Pending CN116189226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270698.XA CN116189226A (zh) 2022-10-16 2022-10-16 一种基于毫米波安检图像危险品坐标映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270698.XA CN116189226A (zh) 2022-10-16 2022-10-16 一种基于毫米波安检图像危险品坐标映射方法

Publications (1)

Publication Number Publication Date
CN116189226A true CN116189226A (zh) 2023-05-30

Family

ID=86435148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270698.XA Pending CN116189226A (zh) 2022-10-16 2022-10-16 一种基于毫米波安检图像危险品坐标映射方法

Country Status (1)

Country Link
CN (1) CN116189226A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503912A (zh) * 2023-06-25 2023-07-28 山东艾克斯智能科技有限公司 基于电子图囊的安检预警方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503912A (zh) * 2023-06-25 2023-07-28 山东艾克斯智能科技有限公司 基于电子图囊的安检预警方法
CN116503912B (zh) * 2023-06-25 2023-08-25 山东艾克斯智能科技有限公司 基于电子图囊的安检预警方法

Similar Documents

Publication Publication Date Title
CN110969114B (zh) 一种人体动作功能检测系统、检测方法及检测仪
Lin et al. Dental biometrics: Human identification based on teeth and dental works in bitewing radiographs
Markiewicz et al. 3D anthropometric algorithms for the estimation of measurements required for specialized garment design
WO2021169191A1 (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
WO2018035814A1 (zh) 一种基于毫米波图像的人体异物检测方法及系统
US20120114202A1 (en) Image registration system and method for registering images for deformable surfaces
CN116189226A (zh) 一种基于毫米波安检图像危险品坐标映射方法
JP2012123667A (ja) 姿勢推定装置および姿勢推定方法
CN110782428B (zh) 一种用于构建临床脑部ct图像roi模板的方法及系统
Zhao et al. Precise perimeter measurement for 3D object with a binocular stereo vision measurement system
Mattson et al. Identification of scapular kinematics using surface mapping: a validation study
CN112116702A (zh) 一种基于正面和侧面轮廓的人体测量三维建模方法及系统
CN107240128A (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
CN109801326A (zh) 一种用于获取人体体型数据的图像测量方法
CN111354057B (zh) 基于图像变形技术的骨折线地图绘制方法
CN111783182A (zh) 一种三维虚拟人台的建模方法及系统
TWI764393B (zh) 壓力織物的製造方法
López-Pascual et al. The reliability of humerothoracic angles during arm elevation depends on the representation of rotations
Yeung et al. Global shape from shading for an endoscope image
Liu et al. Automatic extraction of 3D anatomical feature curves of hip bone models reconstructed from CT images
Sinsel et al. Automated pressure map segmentation for quantifying phalangeal kinetics during cylindrical gripping
CN107901424A (zh) 一种图像采集建模系统
CN107392170A (zh) 一种符合自然生长规律的掌纹主线提取方法
Calderone et al. Comparative evaluation of scapular and humeral coordinate systems based on biomedical images of the glenohumeral joint
Kohlschütter et al. Automatic human body parts detection in a 2d anthropometric system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination