CN114609686A - 三维成像方法和装置、以及三维成像设备 - Google Patents

三维成像方法和装置、以及三维成像设备 Download PDF

Info

Publication number
CN114609686A
CN114609686A CN202011429712.7A CN202011429712A CN114609686A CN 114609686 A CN114609686 A CN 114609686A CN 202011429712 A CN202011429712 A CN 202011429712A CN 114609686 A CN114609686 A CN 114609686A
Authority
CN
China
Prior art keywords
imaging
holographic data
dimensional
transmitting
detection object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011429712.7A
Other languages
English (en)
Inventor
赵自然
柳兴
乔灵博
郑志敏
金颖康
游�燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN202011429712.7A priority Critical patent/CN114609686A/zh
Priority to PCT/CN2021/133078 priority patent/WO2022121695A1/zh
Priority to JP2023534681A priority patent/JP7462119B2/ja
Priority to GB2308478.3A priority patent/GB2616181A/en
Priority to US18/266,140 priority patent/US20240054698A1/en
Publication of CN114609686A publication Critical patent/CN114609686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Holo Graphy (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种三维成像方法和装置、以及三维成像设备。该三维成像方法包括：三维信息获取步骤，通过深度相机拍摄包含检测对象的三维拍摄区域，生成三维图像信息；掩膜提取步骤，从所述三维图像信息提取所述检测对象的掩膜；成像区域确定步骤，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；全息数据获取步骤，通过全息数据采集装置，拍摄包含所述检测对象的全息数据采集区域，生成全息数据；以及图像重建步骤，基于所述全息数据对所述成像区域进行图像重建。

Description

三维成像方法和装置、以及三维成像设备
技术领域
本发明涉及安检领域，特别是涉及利用了毫米波的三维成像方法和装置、以及三维成像设备。
背景技术
当前，在机场、车站等特定场合的人体安检刻不容缓。
毫米波是指频率在30GHz～300GHz的电磁波，由于能够穿透衣服且无电离辐射，特别适合于人体安全检查。
近年来，毫米波三维全息成像技术越来越广泛的应用于人身安全检查领域，极大的降低了安检人员的工作负担，可以被应用于海关、机场、法院和大型安保活动现场，是一种安全、文明、高效的安检新模式。
已知有包含主动式毫米波人体安检成像技术，该方法利用宽频毫米波照射人体，通过外差混频技术实现对全息数据的直接测量，进而重建得到复反射率图像。
发明内容
在以往的利用了主动式多发多收毫米波的三维成像方法的图像重建过程中，作为要进行图像重建的对象的成像区域，通常默认为包含人体的矩形框，例如，天线阵列所扫描的范围，在该矩形框内，除了人体掩膜(包含人体和衣服)以外，还包含其他像素点，这样的其他像素点对最终判断该人或否携带危险品是无用的，因此，在这种情况下，存在图像重建速度较慢，且每个像素点重建需要用到所有全息数据，计算量巨大，故每幅图重建会浪费大量的时间和计算资源。
本发明提供一种能够减小成像区域，减少运算量的三维成像系统和方法以及控制装置。
根据本发明的第一方式，提供一种三维成像方法，包括：三维信息获取步骤，通过深度相机拍摄包含检测对象的三维拍摄区域，生成三维图像信息；掩膜提取步骤，从三维图像信息提取检测对象的掩膜；成像区域确定步骤，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取步骤，通过全息数据采集装置，对包含检测对象的全息数据采集区域进行数据采集，生成全息数据；以及图像重建步骤，基于全息数据对成像区域进行图像重建。
在上述第一方式中，掩膜提取步骤对三维图像信息应用图像分割算法来提取检测对象的掩膜。
在上述第一方式中，图像分割算法为基于神经网络的DeepLabV3+分割算法。
在上述第一方式中，图像重建步骤采用反向传播成像算法来进行图像重建。
在上述第一方式中，全息数据采集装置包括多发多收天线阵列，多发多收天线阵列包括收发毫米波的多对发射天线和接收天线，反向传播成像算法包括：针对成像区域的像素点，计算从该像素点到每一对发射天线和接收天线的距离之和；基于接收天线接收到的全息数据以及距离之和，按照所有发射天线和接收天线、以及毫米波的发射频率进行求和，获得成像区域的各像素点的复反射率；针对成像区域的所有像素点计算复反射率，基于复反射率形成重建图像。
在上述第一方式中，反向传播成像算法包括：利用公式(1)，计算成像区域中的像素点(x，y，z)到每一对发射天线和接收天线的距离之和rT，R，
Figure RE-GDA0003014267590000021
基于接收天线所接收到的全息数据s(xT,yT,xR,yR,,k)、以及距离之和rT，R，利用公式(2)，求出成像区域中的像素点(x，y，z)的复反射率
Figure RE-GDA0003014267590000024
Figure RE-GDA0003014267590000023
其中，(xR，yR，0)为接收天线的坐标，(xT，yT，0)为发射天线的坐标，(x，y，z)为成像区域中的像素点的坐标，k为波数，k＝2π/λ，其中λ为波长，
针对成像区域的所有像素点，计算复反射率，基于所述复反射率形成重建图像。
在上述第一方式中，全息数据采集装置包括多发多收天线阵列，多发多收天线阵列包括收发毫米波的多对发射天线和接收天线，反向传播成像算法为快速反向传播成像算法，包括：针对每一对发射天线和接收天线，分别计算一对发射天线和接收天线对成像区域中的各像素点的贡献值；针对所有对发射天线和接收天线，基于贡献值，按照所有发射天线和接收天线进行求和，获得成像区域的各像素点的复反射率；基于复反射率，形成重建图像。
在上述第一方式中，针对每一对发射天线和接收天线，计算一对发射天线和接收天线对成像区域中的各像素点的贡献值包括：针对一对发射天线和接收天线，计算从成像区域的各像素点分别到一对发射天线和接收天线的距离之和；基于距离之和以及接收天线接收的全息数据，计算贡献值。
在上述第一方式中，快速反向传播成像算法包括：通过公式(3)，针对每一对发射天线T和接收天线R，计算从成像区域的像素点(x，y，z) 分别到一对发射天线和接收天线的距离之和rT，R，
Figure RE-GDA0003014267590000031
通过公式(4)，基于距离之和rT，R和全息数据s(xT,yT,xR,yR,,k)，计算对像素点(x，y，z)的贡献值PT,R，
Figure RE-GDA0003014267590000034
基于贡献值PT,R，利用公式(5)，求出成像区域的各像素点的复反射率
Figure RE-GDA0003014267590000032
Figure RE-GDA0003014267590000033
其中，rT，R为从一对发射天线和接收天线分别到成像区域中的像素点 (x，y，z)的距离之和，s(xT,yT,xR,yR,,k)是通过一对发射天线和接收天线获得到的全息数据，k为波数，k＝2π/λ，其中λ为波长；
基于复反射率，形成重建图像。
在上述第一方式中，针对每一对发射天线和接收天线，计算一对发射天线和接收天线对成像区域中的各像素点的贡献值包括：在成像区域中的像素点之中，将分别到一对发射天线和接收天线的距离之和相同的像素点划分为一组；计算一对发射天线和接收天线对一组的任一个像素点的贡献值，作为该组中各像素点的贡献值。
在上述第一方式中，针对每一对发射天线和接收天线，计算一对发射天线和接收天线对成像区域中的各像素点的贡献值包括：计算成像区域中的所有像素点到一对发射天线和接收天线的距离之和的最小值和最大值；将最小值和最大值之间的距离以等间距分为N个，获得N个距离之和的等分值(r1,r2,…,rN)；计算成像区域中的任一个像素点到一对发射天线和接收天线的距离之和，确定与该距离之和最近的等分值，将最近的等分值作为该像素点的距离之和；对成像区域中的所有像素点，确定最近的等分值；分别将N个等分值作为距离之和，计算贡献值。
在上述第一方式中，还包括：关键点确定步骤，基于深度学习模型，确定检测对象的核心关键点，成像区域调整步骤，基于核心关键点，对成像区域中的与核心关键点相关的检测对象的部位进行选择，由此调整成像区域。
在上述第一方式中，还包括：关键点确定步骤，基于深度学习模型，确定检测对象的核心关键点，检测对象姿态判断步骤，根据核心关键点的位置，判断检测对象的姿态是否正确，若不正确，则报警。
根据本发明的第二方式，提供一种三维成像系统，其特征在于，包括深度相机、全息数据采集装置以及控制装置，控制装置包括：三维信息获取模块，控制深度相机拍摄包含检测对象的三维拍摄区域，获取三维图像信息；掩膜提取模块，从三维图像信息提取检测对象的掩膜；成像区域确定模块，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取模块，控制全息数据采集装置，对包含检测对象的全息数据采集区域进行数据采集，获取全息数据；以及图像重建模块，基于全息数据对成像区域进行图像重建。
在上述第二方式中，全息数据采集装置包括多发多收天线阵列，多发多收天线阵列包括收发毫米波的多对发射天线和接收天线。
根据本发明的第三方式，提供一种三维成像装置，包括：三维图像信息获取模块，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；掩膜提取模块，从三维图像信息中提取检测对象的掩膜；成像区域确定模块，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取模块，获取通过全息数据采集装置对包含检测对象的全息数据采集区域进行数据采集而得的全息数据；以及图像重建模块，基于全息数据对成像区域进行图像重建。
根据本发明的第四方式，提供一种计算机可读介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现：三维图像信息获取步骤，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；掩膜提取步骤，从三维图像信息中提取检测对象的掩膜；成像区域确定步骤，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取步骤，获取通过全息数据采集装置对包含检测对象的全息数据采集区域进行数据采集而得的全息数据；以及图像重建步骤，基于全息数据对成像区域进行图像重建。
根据本发明的第五方式，提供一种三维成像设备，包括存储器、处理器、以及存储在存储器中并可被处理器运行的程序指令，计算机设备的特征在于，处理器执行程序指令时实现：三维图像信息获取步骤，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；掩膜提取步骤，从三维图像信息中提取检测对象的掩膜；成像区域确定步骤，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取步骤，获取通过全息数据采集装置对包含检测对象的全息数据采集区域进行数据采集而得的全息数据；以及图像重建步骤，基于全息数据对成像区域进行图像重建。
在本发明中，通过深度相机来获取三维图像信息，对该三维图像信息应用图像分割算法，提取人体掩膜，并根据该人体掩膜来确定成像区域，能够确定符合人体轮廓的三维的人体掩膜，能够减少图像重建的运算量。另外，通过利用快速反向传播成像算法对该成像区域进行图像重建，能够提高图像重建速度。
附图说明
图1是示意性地示出本发明的第一实施方式所涉及的三维成像系统的模块结构图；
图2是示出电子扫描式的毫米波成像装置的示意图；
图3是示出机械扫描式的毫米波成像装置的示意图；
图4是示出本发明的第一实施方式所涉及的三维成像方法的流程图；
图5是示出快速反向传播算法的一个示例的流程图；
图6是用于说明快速反向传播算法的示意图；
图7是示出快速反向传播算法的一个示例的流程图；
图8是示出快速反向传播算法的一个示例的流程图；
图9是示出本发明的第二实施方式所涉及的三维成像方法的流程图。
具体实施方式
以下，参照附图，对本发明的实施方式所涉及的三维成像系统、三维成像方法进行具体说明。在以下的说明中，对于相同或类似的部件标注相同或相似的标号。
<第一实施方式>
图1示出本发明的第一实施方式所涉及的三维成像系统100。如图1所示，三维成像系统100包括：毫米波成像装置10和控制装置20。毫米波成像装置10包括深度相机11和全息数据采集装置30。
毫米波成像装置10通过将毫米波照射到包含检测对象的全息数据采集区域，并接收被反射的毫米波，从而进行成像。在这里，毫米波成像装置 10采用可以主动式毫米波扫描。检测对象包括作为安检对象的人、动物、货物等。全息数据采集区域为能够进行全息数据采集的区域，例如，收发毫米波的天线阵列所覆盖的区域。
毫米波成像装置10利用毫米波对平常衣物的穿透能力进行成像。照射到人体的毫米波，在透过衣物后，碰到例如人体体表或者其它隐匿的物体后被反射，通过接收被反射的毫米波，能够获取全息数据，基于该全息数据进行图像重建，能够确定人体体表是否藏匿了例如武器等危险物品。全息数据是包含幅度和相位信息的复信号。
深度相机11是能够检测出拍摄空间的景深距离、即深度信息的相机。换言之，深度相机11也可称为3D相机。深度相机11能够获取包含检测对象的三维拍摄区域内的某一点到该深度相机11的距离，从而能够获得拍摄空间的三维信息。深度相机11可以采用已有的深度相机。通常，有如下三种原理的深度相机：结构光(Structured-light)、双目视觉(Stereo)、光飞行时间法(TOF)。
全息数据采集装置30用于采集全息数据。全息数据采集装置30包括接收天线12、发射天线13。具体来说，全息数据采集装置30包括多发多收天线阵列，这样的多发多收天线阵列包括收发毫米波的多对发射天线13和接收天线12。
在这里，发射天线13和接收天线12的个数不一定相同，只要接收天线 12能够接收从发射天线13发射的毫米波，就可以形成一对收发毫米波的发射天线13和接收天线12。多发多收是指存在多对发射天线13和接收天线12 的组合。例如，存在2个发射天线13和3个接收天线12、且3个接收天线12 均能接收2个发射天线13发射的毫米波时，存在6对发射天线13和接收天线 12，从而实现多发多收。
发射天线13用于发射毫米波，接收天线12用于接收被反射的毫米波。接收天线12和发射天线13被排布为能够对毫米波进行多发多收的阵列。接收天线12和发射天线13能够利用主动式毫米波对全息数据采集区域进行扫描，从而获得全息数据。
深度相机11的三维拍摄区域和全息数据采集装置30的全息数据采集区域可以不同，只要两者都包含检测对象即可。
具体来说，例如，毫米波成像装置10可以采用电子扫描式(参照图2) 和机械扫描式(参照图3)的多发多收毫米波成像装置。
图2是示出电子扫描式的毫米波成像装置10’的示意图。在图2中，接收天线12’和发射天线13’被排布成紧凑方框型的多发多收阵列。该多发多收阵列包含若干个子方框阵列，每个子方框阵列包含正交排布的两组收发阵列。换言之，两对发射天线和接收天线正交排布。该电子扫描式的毫米波成像装置10’，通过利用快速开关对接收天线12’和发射天线13’进行切换，实现对全息数据的采集。具体来说，可以以如下方式进行切换：收发阵列中的任一个发射天线13’依次发射毫米波波段中的各发射频点f1、f2…fn，所有接收天线进行接收。然后，遍历所有发射天线，即针对所有的发射天线均执行上述操作。另外，深度相机11’配置在多发多收阵列的外部，用于获取深度数据。
图3是示出机械扫描式的毫米波成像装置10”的示意图。毫米波成像装置10”是多发多收的一维机械扫描成像装置。如图3所示，接收天线12”和发射天线13”分别被排布成一维线阵。具体来说，在机械式扫描的毫米波成像装置10”中，上述一维线阵可以在竖直方向上移动。例如，可以设置电动机等来使得上述一维线阵自上而下移动。在自上而下移动的过程中，任一个发射天线13”依次发射毫米波波段中的各发射频点f1、f2…fn，所有接收天线进行接收，然而，遍历所有发射天线。在通过电动机等移动着的过程中一直重复执行上述过程，直到移动结束。
深度相机11”配置在多发多收的一维线阵的外部，用于获取深度数据。深度相机的配置位置没有特别限定，只要能够不干扰发射天线和接收天线，且能够获取深度信息即可。虽然图3中的深度相机11”配置在与图2中的深度相机11’不同的位置，但是也可以配置在相同的位置。
以下，在与扫描方式无关的情况下，将毫米波成像装置10’、10”统称为毫米波成像装置10，将深度相机11’、11”统称为深度相机11，将接收天线12’、12”统称为接收天线12，将发射天线13’、13”统称为发射天线 13。
在以往的技术中，最常用的是一维单发单收或准单发单收线阵机械扫描，但是一维单发单收等的扫描方式存在成像质量低、噪声的影响大等的问题。
如上所述，在本发明的实施方式中不管是电子扫描方式还是机械扫描方式均采用了多发多收阵列排布，通过多发多收阵列排布，能够获得使重建图像的信噪比高、死角少等有益的效果。
控制装置20对毫米波成像装置10进行控制。具体来说，控制装置20与毫米波成像装置10所包含的深度相机11和全息数据采集装置30连接，控制深度相机11获取三维图像信息，并控制全息数据采集装置30的接收天线12 和发射天线13通过毫米波扫描来获取全息数据。
具体来说，控制装置20在功能上包括如下功能模块：三维图像信息获取模块，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；掩膜提取模块，从三维图像信息中提取检测对象的掩膜；成像区域确定模块，根据检测对象的掩膜来确定关于检测对象的成像区域；全息数据获取模块，获取通过全息数据采集装置拍摄包含检测对象的全息数据采集区域而得的全息数据；以及图像重建模块，基于全息数据对成像区域进行图像重建。
控制装置20可以由软件方式实现，也可以由硬件方式实现，也可以由软件和硬件相协调的方式实现。
控制装置20可以具有处理器和存储器。
处理器可以包括CPU(Central Processing Unit，中央处理单元)、 GPU(GraphicsProcessing Unit，图形处理器)等。处理器可以包含多个处理器，或者包含多核处理器，分担控制装置20所执行的部分处理，从而减轻单个处理器或单个处理单元的处理负荷。其中，多个处理器、或者多核处理器可以分别并行执行上述部分处理，从而能够提高运算速度。
存储器例如包括存储有程序和各种数据的ROM(Read Only Memory，只读存储器)、以及作为CPU的工作区域而使用的RAM(Random Access Memory，随机存取存储器)。
控制装置20可以通过处理器执行存储在存储器中的程序来实现控制。
控制装置20还可以包括FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)、ASIC(Application Specific Integrated Circuit，专用集成芯片)等硬件。可以由FPGA、ASIC等来实现控制装置20所执行的部分或全部处理。
以下，参照图4，对控制装置20所执行的三维成像方法进行详细说明。
在S11步骤中，控制深度相机11，获取三维图像信息。由于深度相机 11能够获得从成像区域的某一点到该深度相机11的距离(深度)信息，从而能够获取成像区域的物体的三维图像信息。
本发明中，通过采用深度相机获得深度数据，从而能够获得三维图像数据。另外，通过基于该三维图像信息来确定成像区域，能够将三维空间区域作为成像区域，从而能够提高重建图像的质量。
在S12步骤中，对深度相机11所获取的三维图像信息，应用图像分割算法，提取人体掩膜(mask)。该人体掩膜表示作为安检对象的人体的外部轮廓，包括人体和衣服。
在这里，图像分割算法是一种基于机器学习的图像分割算法。具体来说可以采用神经网络。
在基于机器学习的图像分割算法中，采集一定数量的安检场景数据，针对三维图像信息标注人体掩膜，作为训练数据。将深度相机11所获取的三维图像信息作为输入，利用神经网络进行图像分割，获得经学习的人体掩膜。
通过适用基于神经网络的图像分割算法，能够从三维图像信息中有效地识别出比较接近实际人体轮廓的人体掩膜。
具体来说，图像分割算法可以采用DeepLabV3+分割算法。基于 DeepLabV3+分割算法来构建的神经网络包括编码器和解码器。
DeepLabV3+分割算法可以具体包括：
编码层前端采用空洞卷积获取浅层低级特征，传输到解码器前端；
编码层后端采用vgg-16(Visual Geometry Group Network，视觉几何群网络)获取深层高级特征信息，并且将其传输到解码器；
解码器将特征做网络层连接，再经过一个3×3的特征卷积细化；
在解码器后端，经过再双线性4倍采样，得到深度学习的分割后的人体掩膜。
通过采用DeepLabV3+分割算法，能够实现准确度较高的图像分割，能够提高人体掩膜的分割效果。
在S13步骤中，基于人体掩膜来确定成像区域。成像区域是指要进行图像重建(成像)的对象区域。
具体来说，可以采用二值分割图，将处于人体掩膜内的点设为“1”，以外的点设为是“0”。在这里，“1”代表需要重建的点，“0”代表无需重建的点。
如上所述，在本实施方式中，根据表示人体外部轮廓的人体掩膜来确定成像区域。
然而，在以往的毫米波成像装置中，在图像重建技术中，通常将进行图像重建的成像区域默认为一个包含人体的矩形框。然而，矩形框以内的、人体掩膜以外的像素点并没有必要重建，白白浪费计算资源，同时图像重建过程缓慢。
与此相对，在本发明中，通过基于人工智能的图像分割算法，识别三维图像中的人体掩膜，基于该人体掩膜确定成像区域，从而能够避免对多余的对象区域进行图像重建，能够节省计算资源，提高计算图像重建速度。
在S14步骤中，利用多发多收的发射天线和接收天线的阵列，用主动式毫米波进行扫描，获得全息数据。
其中，利用主动式毫米波进行扫描来获得全息数据的具体方式，可以参考利用图2说明的电子扫描方式和利用图3说明的机械扫描方式。
在图4中，示出了上述的S13步骤和S14步骤是并行的，即并行地进行成像区域的确定和全息数据的获取。但是，S13步骤和S14步骤也可以是先后进行的。
在S15步骤中，基于在S14步骤中获取的全息数据，利用反向传播成像算法，针对在S13步骤中确定的成像区域，进行图像重建。
以下，具体说明反向传播成像算法。
(实施例1)
当对在S13步骤中确定的成像区域进行图像重建时，反向传播成像算法可以包括以下步骤：
首先，针对每一对发射天线13和接收天线12，计算成像区域的像素点到该一对发射天线13和接收天线12的距离之和。
接着，基于该距离之和以及在S14步骤中获取的全息数据，按照所有发射天线13和接收天线12以及毫米波段的所有发射频率求和，获得该像素点的复反射率。最后，针对成像区域的所有像素点计算复反射率，基于复反射率形成重建图像。按照所有发射天线13和接收天线12以及毫米波段的所有发射频率求和可以是：遍历所有发射天线13和接收天线12，针对所有发射天线13和接收天线12，按照横坐标、纵坐标进行求和，并且，针对毫米波段的所有发射频率的各频点进行求和。
具体来说，反向传播成像算法可以包括：
利用公式(1)，计算成像区域中的像素点(x，y，z)到每一对发射天线和接收天线的距离之和rT，R，
Figure RE-GDA0003014267590000121
基于接收天线所接收到的全息数据s(xT,yT,xR,yR,,k)、以及距离之和 rT，R，利用公式(2)，求出成像区域中的像素点(x，y，z)的复反射率
Figure RE-GDA0003014267590000122
Figure RE-GDA0003014267590000123
其中，(xR，yR，0)为接收天线12的坐标，(xT，yT，0)为发射天线13的坐标，(x，y，z)为成像区域中的像素点的坐标，k为波数， k＝2π/λ，其中λ为波长，k是表示毫米波的发射频率的参数，j为虚数符号。
在该公式(2)中，对全息数据s(xT,yT,xR,yR,,k)施加相位补偿exp(jkrT,R)，并遍历所有的接收天线和发射天线以及毫米波段的所有发射频率，即，分别按照接收天线的横坐标和纵坐标、发射天线13的横坐标和纵坐标、以及波数，进行5重求和。
针对成像区域的所有像素点，重复上述步骤，即，遍历所有像素点，计算复反射率，基于复反射率形成重建图像。
在以往的技术中，并没有给出对应的多发多收的图像重建算法，即便采用了多发多收的扫描方式，也依然采用单发单收的重建算法，从而并不能体现多发多收阵列的重建图像信噪比高、死角少等优势。
如上所述，在本发明的实施方式中，提供了一种与多发多收阵列的扫描方式相匹配的多发多收的图像重建算法，从而能够体现多发多收阵列的重建图像信噪比高、死角少等优势。
(实施例2)
实施例2的反向传播成像算法为快速反向传播成像算法。
快速反向传播成像算法可以包括以下步骤：
针对每一对发射天线和接收天线，计算从成像区域的各像素点分别到发射天线和接收天线的距离之和；
基于距离之和该接收天线接收的全息数据，计算贡献值；
针对所有对发射天线和接收天线，基于贡献值，按照所有发射天线和接收天线进行求和，获得成像区域的各像素的复反射率。按照所有发射天线和接收天线进行求和具体可以是分别按照所有发射天线和接收天线的横坐标和纵坐标进行求和。
具体来说，如图5所示，快速反向传播成像算法可以包括：
在S51步骤中，通过公式(3)，针对每一对发射天线T和接收天线 R，计算从成像区域的像素点(x，y，z)分别到一对发射天线和接收天线的距离之和rT，R，
Figure RE-GDA0003014267590000131
在S52步骤中，通过公式(4)，基于距离之和rT，R和全息数据 s(xT,yT,xR,yR,,k)，计算对像素点(x，y，z)的贡献值PT,R，
Figure RE-GDA0003014267590000132
具体来说，基于距离之和rT，R和波数k计算出相位补偿值exp(jkrT,R)，对全息数据s(xT,yT,xR,yR,,k)施加相位补偿exp(jkrT,R)，求出贡献值PT,R。
在S53步骤中，基于贡献值PT,R，利用公式(5)，求出成像区域的像素点的复反射率
Figure RE-GDA0003014267590000133
Figure RE-GDA0003014267590000134
其中，rT，R为分别从发射天线和接收天线到成像区域中的像素点 (x,y,z)的距离之和，s(xT,yT,xR,yR,,k)是通过一对发射天线和接收天线接收到的全息数据，k为波数，k＝2π/λ，其中λ为波长，k是表示毫米波的发射频率的参数，j为虚数符号。
一对发射天线和接收天线形成的全息数据对不同像素点的贡献值与距离之和rT，R有关。如图6所示，当距离之和rT，R相同时，这些像素点分布在一个椭球面上，该椭球的两个焦点为发射天线(xT，yT，0)和接收天线 (xR，yR，0)。如果改变rT，R，则椭球面的长轴也会随之改变。
在通过上述的快速反向传播成像算法进行图像重建时，位于同一椭球面上的像素点的贡献值PT,R相同。
因此，基于这样的原理，可以将成像区域的像素点按照椭球面进行划分。换言之，将成像区域中的距离之和rT，R相同的像素点、即位于同一椭球面上的像素点作为一组，对于一组像素点，仅计算一次贡献值PT,R，基于该贡献值计算这一组像素点的复反射率，从而实现图像重建。
换言之，如图7所示，在图5的S52步骤的之前，还可以包括S54步骤。在S54步骤中，先按照通过公式(3)计算出来的距离之和rT，R将成像区域的所有像素点分组，而在S52步骤中，针对同一组像素点，仅执行一次公式(4)的运算。换言之，计算该一组像素点中的任一个像素点的贡献值，将其作为该组中各像素点的贡献值。
如果进一步详细说明对像素点进行分组的过程，则快速反向传播成像算法可以如图8所示。
在S151步骤中，计算成像区域中的所有像素点中的各像素点到一对发射天线和接收天线的距离之和rT，R的最小值rmin和最大值rmax。
一般来说，最小值rmin为
Figure RE-GDA0003014267590000141
最大值为一对发射天线和接收天线到成像区域的各顶点的距离之和中的最大值。
在S152步骤中，如图5所示，将最小值rmin和最大值rmax之间的距离 rd以等间距dr等分为N个，从而获得N个距离之和的等分值(r1,r2,…,rN)。其中，dr＝(rmax-rmin)/N，r1＝rmin，r2＝r1+dr，r3＝r2+dr，……rN＝rmax。N是大于1的整数，可以根据计算精度和成像区域大小等任意的设定。
在S153步骤中，利用上述公式(3)，计算成像区域中的任一个像素点到一对发射天线和接收天线的距离之和。在这里，图8中的S153步骤的处理相当于图7中的S51步骤的处理。
在S154步骤中，从等分值(r1,r2,…,rN)之中确定与该距离之和最近的等分值(例如，ri)。在这里，图8中的S151～S152、S154步骤的处理相当于图7中的S54步骤的处理。
在S155步骤中，判断是否对成像区域的所有的像素点完成S153步骤的操作。若是，则进入S156步骤，若否，则返回S153步骤。
在S156步骤中，分别将该N个等分值(r1,r2,…,rN)作为距离之和rT，R，基于该等分值和通过该一对收发天线接收的全息数据s(xT,yT,xR,yR,,k)，利用上述的公式(4)，计算该一对收发天线的贡献值。在这里，图8中的 S156步骤的处理相当于图7中的S52步骤的处理。
在S157步骤中，判断是否对所有的发射天线和接收天线完成了S151 步骤～S156步骤。若是，则进入S158步骤，若否，则返回S151步骤，针对下一对的发射天线和接收天线进行计算。
在S158步骤中，利用上述的公式(5)，按照所有对的发射天线和接收天线，对贡献值进行求和，获得复反射率。在这里，图8中的S158步骤的处理相当于图7中的S53步骤的处理。
通过这样的操作，在成像区域之中距离之和相同或临近的像素点被分配相同的等分值。换言之，如图6所示，通过等分值(r1,r2,…,rN)来将成像区域的所有的像素点划分为N个椭球面、即N组。对于位于一个椭球面 (例如，ri)上的像素点计算一次贡献值即可。
如上所述，通过将成像区域的所有的像素点分为N组，针对该N组的像素点，分别用等分值r1,r2,...,rN作为距离之和来计算贡献值，从而仅计算N 个贡献值即可。
因此，与实施例1相比，不需要对所有的像素点分别按照距离之和进行求和，大大加快重建速度。
在图8中虽然示出了先执行S151～S152步骤而后执行S153～S154步骤的情况，即先判断距离之和的最小值和最大值可能出现的点，计算出距离之和的最小值和最大值，再针对所有像素点计算距离之和并分组。但并不限于此，也可以先执行S153步骤计算出成像区域的所有像素点的距离之和，再从中确定距离之和的最小值和最大值(即，执行S151步骤)。然后，再集中进行相当于图7的S54步骤的图8中的S151～S152和S154 步骤。
如果计算所有像素点的距离之和再从中选出最小值和最大值，则需要将大量的距离之和长时间存储在存储器中，直到得出所有的距离之和的最小值和最大值且完成分组。然而，在采用如图8中的流程的情况下，距离之和的最小值和最大值的计算独立于各像素点的距离之和的计算，直接基于几何关系就可以计算出来，以较少的计算量就可以得出最小值和最大值，而且每当计算一个距离之和就确定其最近的等分值，后续的计算中使用的是该等分值，不需要对之前计算出的距离之和进行长时间保存，能够节省存储空间，节省计算机资源。
(第二实施方式)
第二实施方式的结构与第一实施方式的不同之处在于，控制装置20 还包括关键点确定模块和成像区域调整模块。关键点确定模块基于三维图像信息，确定人体的关键点，成像区域调整模块基于核心关键点来调整成像区域。换言之，在控制装置20中执行的三维成像方法与第一实施方式不同。
参考图7，说明第二实施方式所涉及的三维成像方法。图7中的 S11～S15步骤与图4中的S11～S15步骤相同。不同之处在于，在S13步骤之后，还具有S16步骤和S17步骤。
在S16步骤中，针对深度相机11所采集到的三维图像信息，基于深度学习模型，确定图像中的人体的核心关键点。在这里，核心关键点是人体轮廓上的关键点，例如可以包括人体的头顶、颈部、四肢主要关节等部位。用于确定核心关键点的深度学习模型没有特别限制，可以采用现有的模型。例如，Deep Pose模型、HeatMap模型和CPM(Convolutional posemachine，卷积姿态网络)模型。
在S17步骤中，基于在S16步骤中所确定核心关键点，对成像区域中的与各核心关键点相关的人体部位进行选择，由此对S13步骤所确定的成像区域进行调整。
如上所述，核心关键点可以表示人体的头顶、颈部、四肢主要关节等部位。在S13步骤中确定的成像区域是与人体掩膜对应的区域，即，此时的成像区域是包含整个人体轮廓的区域，而在S17步骤中，从包含整个人体轮廓的成像区域中，选择其中一部分进行保留，而去除另一部分，从而使得成像区域仅包含人体轮廓中的一部分。
例如，可以根据设备的实际应用情景，在认为头部、颈部等较难藏匿物品，不需要作为安检对象的情况下，可以根据核心关键点，将这些部位从成像区域中排除。例如，从在S13步骤中确定的成像区域中去掉人体的头部。由此，对成像区域进行调整，确定最终的成像区域。然而，在阿拉伯国家等特殊地区，头部带有头巾，也有可能藏匿物品，此时，头部也需要作为成像区域。另外，对于人体隐私部位等的图像成像也受到争议，因此，这部分也可以选择从成像区域中排除。
与各核心关键点相关的人体部位进行选择可以预先存储在三维成像系统中，从而自动完成成像区域的调整，也可以后续根据需要人为选择。
在第二实施方式中，通过根据人体的核心关键点调整成像区域，能够使得成像区域更加合理，能够进一步减少图像重建范围，进一步提高图像重建计算速度。
(变形例)
可以在上述的第一实施方式的基础上，控制装置20还包括关键点确定模块和站姿判断模块。关于关键点确定模块，可以参见上述的第二实施方式。也可以在上述的第二实施方式的基础上，控制装置20还包括站姿判断模块。
站姿判断模块根据关键点确定模块确定的核心关键点的位置，判断人的站姿是否正确，若站姿不正确，则报警提示。
该站姿判断处理可以在图4的S13步骤之后、或者在图9中的S17步骤之后、在S15步骤之前进行。
如果人的站姿不正确，可能无法准确找出可以物品，通过增加站姿判断模块，能够纠正接受安检的人员的站姿。
另外，由于这样的站姿判断处理是在S15步骤的图像重建之前进行的，因此，在重建图像之前就能够避免生成因站姿错误而变为无效的安检图像的情况，能够避免计算资源的浪费。
此外，在本发明中，例如，在控制装置20包含多个处理器，或者包含多核处理器的情况下，在进行图像重建时，可以让多核GPU的每个核单独进行一个像素点的图像重建运算。具体来说，在图8所示的示例中，可以由GPU的每个核分别计算一个像素点的距离之和从而确定最近的等分值，即分别执行上述的S153～S154步骤。在这种情况下，可以同时进行上千个像素点重建，从而能够提高运算速度。
另外，在控制装置20包括FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)的情况下，可以由FPGA实现上述控制装置20所执行的部分处理。例如，由FPGA控制毫米波成像装置中的全息数据采集装置进行控制，从而控制毫米波的发射和数据采集。具体来说，在采集到一对收发天线的全息数据后，可以对其进行预处理运算。将经预处理之后的全息数据发送给例如CPU等其他处理器进行后续处理，而FPGA控制下一对发射天线和所述接收天线采集全息数据。例如，该预处理可以是：针对该一对收发天线，由FPGA先计算该一对收发天线对像素点的贡献值。此后，再将计算出的贡献值发送给CPU等其他的处理器，由CPU等进行接下来的图像重建运算。此时，FPGA再控制下一对收发天线的全息数据的采集。如上所述，通过FPGA和CPU等处理器的分工合作，不仅能够减少CPU的工作负荷，还能够减少图像重建时间。
以上，虽然结合附图描述了本发明的实施方式和具体实施例，但是本领域技术人员可以在不脱落本发明的精神和范围的情况下做出各种修改和变形，这样的修改和变形均落入由所述权利要求所限定的范围之内。

Claims (18)

1.一种三维成像方法，包括：
三维信息获取步骤，通过深度相机拍摄包含检测对象的三维拍摄区域，生成三维图像信息；
掩膜提取步骤，从所述三维图像信息提取所述检测对象的掩膜；
成像区域确定步骤，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；
全息数据获取步骤，通过全息数据采集装置，对包含所述检测对象的全息数据采集区域进行数据采集，生成全息数据；以及
图像重建步骤，基于所述全息数据对所述成像区域进行图像重建。
2.如权利要求1所述三维成像方法，其中，
所述掩膜提取步骤对所述三维图像信息应用图像分割算法来提取所述检测对象的掩膜。
3.如权利要求1所述三维成像方法，其中，
所述图像分割算法为基于神经网络的DeepLabV3+分割算法。
4.如权利要求1所述三维成像方法，其中，
所述图像重建步骤采用反向传播成像算法来进行图像重建。
5.如权利要求4所述三维成像方法，其中，
所述全息数据采集装置包括多发多收天线阵列，所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线，
所述反向传播成像算法包括：
针对所述成像区域的像素点，计算从该像素点到每一对发射天线和接收天线的距离之和；
基于所述接收天线接收到的全息数据以及所述距离之和，按照所有发射天线和接收天线、以及所述毫米波的发射频率进行求和，获得所述成像区域的各像素点的复反射率；
针对所述成像区域的所有像素点计算复反射率，基于复反射率形成重建图像。
6.如权利要求5所述三维成像方法，其中，
所述反向传播成像算法包括：
利用公式(1)，计算所述成像区域中的像素点(x，y，z)到每一对所述发射天线和所述接收天线的距离之和rT，R，
Figure FDA0002826187430000021
基于所述接收天线所接收到的全息数据s(xT,yT,xR,yR,,k)、以及所述距离之和rT，R，利用公式(2)，求出所述成像区域中的像素点(x，y，z)的复反射率
Figure FDA0002826187430000022
Figure FDA0002826187430000023
其中，(xR，yR，0)为接收天线的坐标，(xT，yT，0)为发射天线的坐标，(x，y，z)为所述成像区域中的像素点的坐标，k为波数，k＝2π/λ，其中λ为波长，
针对成像区域的所有像素点，计算复反射率，基于所述复反射率形成重建图像。
7.如权利要求4所述三维成像方法，其中，
所述全息数据采集装置包括多发多收天线阵列，所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线，
所述反向传播成像算法为快速反向传播成像算法，包括：
针对每一对发射天线和接收天线，分别计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值；
针对所有对发射天线和接收天线，基于所述贡献值，按照所有发射天线和接收天线进行求和，获得所述成像区域的各像素点的复反射率；
基于所述复反射率，形成重建图像。
8.如权利要求7所述三维成像方法，其中，
针对每一对发射天线和接收天线，计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括：
针对所述一对发射天线和接收天线，计算从所述成像区域的各像素点分别到所述一对发射天线和所述接收天线的距离之和；
基于所述距离之和以及所述接收天线接收的全息数据，计算所述贡献值。
9.如权利要求8所述三维成像方法，其中，所述快速反向传播成像算法包括：
通过公式(3)，针对每一对所述发射天线T和所述接收天线R，计算从所述成像区域的像素点(x，y，z)分别到所述一对发射天线和所述接收天线的距离之和rT，R，
Figure FDA0002826187430000031
通过公式(4)，基于所述距离之和rT，R和所述全息数据s(xT,yT,xR,yR,,k)，计算对所述像素点(x，y，z)的贡献值PT,R，
Figure FDA0002826187430000032
基于所述贡献值PT,R，利用公式(5)，求出所述成像区域的各像素点的复反射率
Figure FDA0002826187430000033
Figure FDA0002826187430000034
其中，rT，R为从一对所述发射天线和所述接收天线分别到所述成像区域中的像素点(x，y，z)的距离之和，s(xT,yT,xR,yR,,k)是通过一对发射天线和接收天线获得到的全息数据，k为波数，k＝2π/λ，其中λ为波长；
基于所述复反射率，形成重建图像。
10.如权利要求7所述三维成像方法，其中，
针对每一对发射天线和接收天线，计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括：
在所述成像区域中的像素点之中，将分别到所述一对发射天线和所述接收天线的距离之和相同的像素点划分为一组；
计算所述一对发射天线和接收天线对所述一组的任一个像素点的所述贡献值，作为该组中各像素点的贡献值。
11.如权利要求7所述三维成像方法，其中，
针对每一对发射天线和接收天线，计算所述一对发射天线和接收天线对所述成像区域中的各像素点的贡献值包括：
计算所述成像区域中的所有像素点到所述一对发射天线和所述接收天线的距离之和的最小值和最大值；
将所述最小值和最大值之间的距离以等间距分为N个，获得N个距离之和的等分值(r1,r2,...,rN)；
计算所述成像区域中的任一个像素点到所述一对发射天线和所述接收天线的距离之和，确定与该距离之和最近的等分值，将所述最近的等分值作为该像素点的所述距离之和；
对所述成像区域中的所有像素点，确定最近的等分值；
分别将N个等分值作为所述距离之和，计算所述贡献值。
12.如权利要求1所述三维成像方法，还包括：
关键点确定步骤，基于深度学习模型，确定检测对象的核心关键点，
成像区域调整步骤，基于所述核心关键点，对所述成像区域中的与所述核心关键点相关的检测对象的部位进行选择，由此调整所述成像区域。
13.如权利要求1所述三维成像方法，还包括：
关键点确定步骤，基于深度学习模型，确定检测对象的核心关键点，
检测对象姿态判断步骤，根据所述核心关键点的位置，判断检测对象的姿态是否正确，若不正确，则报警。
14.一种三维成像系统，其特征在于，包括深度相机、全息数据采集装置以及控制装置，所述控制装置包括：
三维信息获取模块，控制所述深度相机拍摄包含检测对象的三维拍摄区域，获取三维图像信息；
掩膜提取模块，从所述三维图像信息提取所述检测对象的掩膜；
成像区域确定模块，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；
全息数据获取模块，控制所述全息数据采集装置，对包含所述检测对象的全息数据采集区域进行数据采集，获取全息数据；以及
图像重建模块，基于所述全息数据对所述成像区域进行图像重建。
15.如权利要求14所述的三维成像系统，其中，
所述全息数据采集装置包括多发多收天线阵列，所述多发多收天线阵列包括收发毫米波的多对发射天线和接收天线。
16.一种三维成像装置，包括：
三维图像信息获取模块，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；
掩膜提取模块，从所述三维图像信息中提取所述检测对象的掩膜；
成像区域确定模块，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；
全息数据获取模块，获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据；以及
图像重建模块，基于所述全息数据对所述成像区域进行图像重建。
17.一种计算机可读介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：
三维图像信息获取步骤，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；
掩膜提取步骤，从所述三维图像信息中提取所述检测对象的掩膜；
成像区域确定步骤，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；
全息数据获取步骤，获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据；以及
图像重建步骤，基于所述全息数据对所述成像区域进行图像重建。
18.一种三维成像设备，包括存储器、处理器、以及存储在所述存储器中并可被所述处理器运行的程序指令，所述计算机设备的特征在于，所述处理器执行所述程序指令时实现：
三维图像信息获取步骤，获取通过深度相机拍摄包含检测对象的三维拍摄区域而得的三维图像信息；
掩膜提取步骤，从所述三维图像信息中提取所述检测对象的掩膜；
成像区域确定步骤，根据所述检测对象的掩膜来确定关于所述检测对象的成像区域；
全息数据获取步骤，获取通过全息数据采集装置对包含所述检测对象的全息数据采集区域进行数据采集而得的全息数据；以及
图像重建步骤，基于所述全息数据对所述成像区域进行图像重建。
CN202011429712.7A 2020-12-09 2020-12-09 三维成像方法和装置、以及三维成像设备 Pending CN114609686A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011429712.7A CN114609686A (zh) 2020-12-09 2020-12-09 三维成像方法和装置、以及三维成像设备
PCT/CN2021/133078 WO2022121695A1 (zh) 2020-12-09 2021-11-25 三维成像方法和装置、以及三维成像设备
JP2023534681A JP7462119B2 (ja) 2020-12-09 2021-11-25 三次元イメージング方法及び装置、並びに三次元イメージングデバイス
GB2308478.3A GB2616181A (en) 2020-12-09 2021-11-25 Three-dimensional imaging method and apparatus, and three-dimensional imaging device
US18/266,140 US20240054698A1 (en) 2020-12-09 2021-11-25 Three-dimensional imaging method and apparatus and three-dimensional imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011429712.7A CN114609686A (zh) 2020-12-09 2020-12-09 三维成像方法和装置、以及三维成像设备

Publications (1)

Publication Number Publication Date
CN114609686A true CN114609686A (zh) 2022-06-10

Family

ID=81856231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011429712.7A Pending CN114609686A (zh) 2020-12-09 2020-12-09 三维成像方法和装置、以及三维成像设备

Country Status (5)

Country Link
US (1) US20240054698A1 (zh)
JP (1) JP7462119B2 (zh)
CN (1) CN114609686A (zh)
GB (1) GB2616181A (zh)
WO (1) WO2022121695A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115469325B (zh) * 2022-08-16 2024-09-17 清华大学深圳国际研究生院 一种激光雷达成像重构方法、系统、设备以及存储介质
CN115345908B (zh) * 2022-10-18 2023-03-07 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104375141A (zh) 2013-08-15 2015-02-25 同方威视技术股份有限公司 毫米波三维全息扫描成像设备及检查方法
CN110632593A (zh) * 2015-12-25 2019-12-31 华讯方舟科技有限公司 基于毫米波全息三维成像的人体安检系统及方法
CN108333905A (zh) * 2018-02-06 2018-07-27 清华大学 由全息图进行三维物体重现的方法及装置
CN109358372B (zh) 2018-03-09 2024-06-14 同方威视技术股份有限公司 毫米波收发天线阵列、毫米波扫描成像系统及其成像方法
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
CN109444968B (zh) 2018-12-29 2024-06-11 清华大学 安检设备及其控制方法
CN109471197A (zh) 2018-12-29 2019-03-15 同方威视技术股份有限公司 安检设备及其控制方法
US11313990B2 (en) 2019-04-04 2022-04-26 The Johns Hopkins University Large volume holographic imaging systems and associated methods
CN111553310B (zh) * 2020-05-08 2023-04-07 中国电子科技集团公司第三十八研究所 基于毫米波雷达的安检图像获取方法、系统及安检设备
CN111896951B (zh) * 2020-08-11 2022-12-09 中国人民解放军国防科技大学 一种毫米波柱面全息成像系统的三维成像与重构方法

Also Published As

Publication number Publication date
US20240054698A1 (en) 2024-02-15
GB2616181A (en) 2023-08-30
WO2022121695A1 (zh) 2022-06-16
JP2023553084A (ja) 2023-12-20
JP7462119B2 (ja) 2024-04-04
GB202308478D0 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
WO2022121695A1 (zh) 三维成像方法和装置、以及三维成像设备
Cheng et al. Compressive sensing radar imaging with convolutional neural networks
CN105891825B (zh) 基于张量压缩感知的多发多收阵列雷达凝视成像方法
CN107607945B (zh) 一种基于空间嵌入映射的扫描雷达前视成像方法
US8922420B2 (en) Electromagnetic body scanning system, a method and a computer program product
Jing et al. Near-field single-frequency millimeter-wave 3-D imaging via multifocus image fusion
Laviada et al. Artifact mitigation for high-resolution near-field sar images by means of conditional generative adversarial networks
Nambiar et al. A gan-based super resolution model for efficient image enhancement in underwater sonar images
Wang et al. 3-D SAR data-driven imaging via learned low-rank and sparse priors
Sharma et al. 3-D super-resolution of coded aperture millimeter-wave images using complex-valued convolutional neural network
Liu et al. Through-wall tracking using mean-shift algorithm
Yamaryo et al. Range-point migration-based image expansion method exploiting fully polarimetric data for UWB short-range radar
Zhou et al. A Maximum a Posteriori-Based Single-Frequency Millimeter-Wave Image Reconstruction Method
Williams et al. New target detection algorithms for volumetric synthetic aperture sonar data
KR102164395B1 (ko) 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법
Sharma et al. Super-resolution reconstruction and denoising of 3D millimetre-wave images using a complex-valued convolutional neural network
Zhang et al. Sensing Matrix Prediction from Back-scattered Data in Computational Microwave Imaging
Wang et al. Application of Autofocus Algorithm in Millimeter-Wave Narrowband Holographic 3D Imaging
Singh A Shape-Based Approach for Recognition of Hidden Objects Using Microwave Radar Imaging System
US20240013472A1 (en) Surface Determination Systems, Threat Detection Systems and Medical Treatment Systems
Sukhanov et al. Radar with a local positioning video-system
Ye et al. GAN-based Monochromatic Full-Focus THz Imaging
Comite et al. Multi-aperture processing for improved target detection in forward-looking GPR applications
Oral et al. Plug-and-play reconstruction with 3D deep prior for complex-valued near-field MIMO imaging
CN115421208B (zh) 紧耦合型危险品特征增强毫米波安检成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination