CN114488139A - 探测对象的成像方法、成像装置、设备以及安检系统 - Google Patents

探测对象的成像方法、成像装置、设备以及安检系统 Download PDF

Info

Publication number
CN114488139A
CN114488139A CN202210062451.2A CN202210062451A CN114488139A CN 114488139 A CN114488139 A CN 114488139A CN 202210062451 A CN202210062451 A CN 202210062451A CN 114488139 A CN114488139 A CN 114488139A
Authority
CN
China
Prior art keywords
detection object
target detection
point
dimension value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210062451.2A
Other languages
English (en)
Other versions
CN114488139B (zh
Inventor
赵中玮
陶毅
冉友明
朱玉琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruiying Technology Co ltd
Original Assignee
Hangzhou Ruiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruiying Technology Co ltd filed Critical Hangzhou Ruiying Technology Co ltd
Priority to CN202210062451.2A priority Critical patent/CN114488139B/zh
Publication of CN114488139A publication Critical patent/CN114488139A/zh
Application granted granted Critical
Publication of CN114488139B publication Critical patent/CN114488139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves

Landscapes

  • Remote Sensing (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本申请实施例公开了一种探测对象的成像方法、成像装置、设备以及安检系统,该方法包括:根据目标探测对象响应于探测信号返回的反射信号,获得关于目标探测对象的三维点云数据集合,其中,三维点云数据集合包括特征点的三维位置信息和反射系数;根据目标探测对象中的特征点的第一维度值和第二维度值,确定目标探测对象中的特征点在检测图像上对应的像素的位置参数;根据目标探测对象中的特征点的反射系数和第三维度值,确定目标探测对象中的特征点在检测图像上对应的像素的亮度参数和色调参数;进而渲染处理以生成目标探测对象对应的检测图像。本申请实施例可以达到展示探测对象的更多图像信息的效果,可以从视觉图像上感知探测对象的距离信息。

Description

探测对象的成像方法、成像装置、设备以及安检系统
技术领域
本申请涉及图像处理技术领域,尤其涉及一种探测对象的成像方法、成像装置、设备以及安检系统。
背景技术
随着技术发展,尤其是在安检探测成像领域,对图像的要求越来越高。目前市场上的安检探测设备分为两大类,主动设备和被动设备:其中主动设备会向目标探测对象发射电磁波信号,这种设备回波信噪比高,图像质量好,可以获得目标探测对象的距离信息,但在展示和识别时,会将三维点云渲染至二维图像进行后续处理,渲染后的图像虽然可以看出立体感,但不易从二维图像中直接区分目标的距离;被动设备不发射电磁波信号,只通过接收自然界存在的电磁波信号实现成像,生成的二维图像信噪比较差,图像质量不高,也不易区分目标距离。
因此,目前亟需一种探测对象的成像方法及成像装置,更多的展示目标探测对象的图像信息。
发明内容
本申请实施例提供一种探测对象的成像方法、成像装置、设备以及安检系统,以至少达到展示探测对象的更多图像信息的效果,从视觉图像上感知探测对象的距离信息。
第一方面,提供一种探测对象的成像方法,包括:
根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合,其中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和反射系数,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述探测信号的扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离;
根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数;
根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数;
根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数;
根据所述目标探测对象的特征点对应的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
第二方面,提供一种探测对象的成像装置,所述装置包括:
获取模块,用于:根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合,其中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和反射系数,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述探测信号的扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离;
确定模块,用于:根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数;根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数;以及,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数;
渲染模块,用于:根据所述目标探测对象的特征点对应的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
第三方面,提供一种安检系统,包括:毫米波检测设备,用于发射毫米波探测信号;计算设备,用于执行第一方面所述的方法;显示设备,用于展示执行第一方面所述的方法后得到的目标图像。
第四方面,提供一种计算设备,包括处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,实现如第一方面所述的方法的步骤。
第五方面,提供一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面述的方法的步骤。
本申请实施例提供的技术方案,通过探测信号的反射信号确定目标探测对象的三维点云数据集合,再根据三维点云数据集合中目标探测对象的特征点的第一维度值和第二维度值定位检测图像的目标像素位置,根据特征点的反射系数确定目标像素的亮度参数以及根据特征点的第三维度值确定目标像素的色调参数,以进行渲染处理得到检测图像,特征点与扫描阵面的距离存在差异,进而与扫描阵面不同距离的特征点对应像素的色调参数存在差异,从而将目标探测对象相对于扫描阵面的距离信息以色调的形式呈现在图像中,能够更多地展示目标探测对象的图像信息,即可以从视觉图像上感知探测对象的距离信息,提高探测对象中目标识别的准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一个实施例的应用场景的示意图。
图2为本申请一个实施例提供的探测对象的成像方法的流程示意图。
图3为本申请一个实施例提供的获取探测对象的三维点云数据集合的流程示意图。
图4为本申请再一实施例提供的成像视场的示意图。
图5为本申请一个实施例提供的探测对象的成像装置的结构示意图。
图6为本申请一个实施例提供的一种计算设备的结构示意图。
图7为本申请一个实施例提供的安检系统的系统框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
在介绍方案之前,首先一些概念进行解释,毫米波,波长是1-10mm的电磁波,对应频率是30-300GHz;灰度图,图像中的像素点RGB三元素相同,图像中只有黑白灰三种颜色,没有色彩信息;彩色图:图像中的像素点RGB三元素不同,图像中有色彩信息;主动电磁波成像:成像设备主动发射电磁波信号,可以得到距离信息,实现三维成像。
图1为本申请一个实施例的应用场景的示意图。如图1所示,安检设备可以发出电磁波信号,以图1中的五个目标点为例,安检设备能够接收从目标探测对象的1、2、3、4、5个点反射的电磁波信号,这个五个点与安检设备的扫描阵列面的距离分别是c、b、a、b、c,安检设备能够接收目标探测对象在上述五个点上的反射信号强度分别是g(1)、g(2)、g(3)、g(4)和g(5)。下面结合图1所示的应用场景对本申请实施例进行描述。
图2为本申请一个实施例提供的方法的流程示意图,该方法应用于安检探测中,该方法的执行主体可以为安检设备,也可以为探测对象的成像装置,或者是包含探测对象的成像装置的安检设备,该成像装置可以采用软件和/或硬件实现,如图2所示,该方法可包括:
S210,根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合。
应理解,在本申请实施例中,该探测信号可包括毫米波探测信号,频率范围为1GHz~1THz。
应理解,在本申请实施例中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和所述特征点对应的反射系数。
具体地,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离。
应理解,特征点的三维信息中,可包括第一维度、第二维度和第三维度。为方便理解,可将第一维度值记录为x,第二维度值记录为y,第三维度值记录为z。
此外,特征点的反射系数用于表示特征点的反射信号的强度。在安检探测过程中,确定各采样点对应的反射系数,并对确定的反射系数经过滤波处理后,可过滤掉反射系数小于预设阈值(取值根据具体需求而定)的采样点,然后在过滤后的具有相同的第一维度值和第二维度值的采样点中,可确定反射系数最大的采样点为目标探测对象的特征点。
图3是本申请的一个实施例获取探测对象的三维点云数据集合的流程示意图。可选地,如图3所示,步骤S210具体可包括如下子步骤:
子步骤2101,按照第一维度、第二维度和频率对目标探测对象响应于探测信号返回的反射信号对应的回波数据进行采样,以得到各采样点的采样回波数据。例如,可以在各个维度上进行等间隔采样,以得到各采样点的采样回波数据。
图4是本申请实施例的成像视场示意图。如图4所示,图中假设在扫描阵面中任意一个采集位置(x,y,0)处得到的回波数据是f(x,y,ω),其中x和y是该采样点的位置,ω是该回波数据的载频,目标探测对象上任意一点(x,y,z)的反射系数是g(x,y,z)。
假设天线波束无穷大,在扫描阵面中任一个采集位置得到的数据应该表示为目标探测对象上所有点的反射回波(即反射信号对应的回波数据)的叠加,所以等式右边用积分式表征,具体如下公式(1):
f(x,y,ω)=∫∫∫g(x,y,z)*exp(-2j*k*d)dxdydz (1)
上式中k是ω对应的波数,物理意义是单位距离变化的相位,它的计算公式是k=ω/c,其中c是光速。d是目标探测对象上任意一特征点t(xt,yt,z)与扫描阵面上任一点p(xp,yp,0)的距离,即属于点与点之间的距离概念。在本申请实施例中,可对回波数据在水平轴(第一维度,x轴),垂直轴(第二维度,y轴)、频率轴上分别进行等间隔采样。
子步骤2102,根据所述各采样点的采样回波数据,确定所述各采样点对应的反射系数。
应理解,在本申请实施例中,可通过多种方式确定采样点反射系数。为便于理解,如下展示出一种可能的实现方式:
(a),基于上述公式(1),对每个频率位置对应的二维数据进行二维傅里叶变换,得到如下公式(2):
F(kx,ky,w)=FFT2D{f(x,y,w)} (2)
(b)将公式(2)的结果乘以一个相位因子,进行匹配滤波,以进行误差校正,得到如下公式(3):
Figure BDA0003478741310000061
其中,
Figure BDA0003478741310000071
为匹配滤波的相位因子,式中的kx和ky分别是波数k在x和y两个方位向的分量,R表示探测区域(即探测对象对应的空间区域)与扫描阵面的距离,例如优选为探测区域中心点距离扫描阵面的垂直距离。
(c)对F1(kx,ky,w)进行一维STOLT插值,从等间隔的频率轴插值到等间隔的kz轴(波数空间的一个维度),得到如下公式(4):
Figure BDA0003478741310000072
(d),对G(kx,ky,kz)进行三维逆傅里叶变换,得到采样点(x,y,z)的反射系数g(x,y,z),如下公式(5)所示:
Figure BDA0003478741310000073
子步骤2103,根据所述各采样点对应的反射系数进行滤波处理以确定扫描阵面的采样点在所述目标探测对象对应的特征点。
应理解,在进行滤波处理后,会过滤掉反射系数小于预设阈值的采样点,并且与扫描阵面的采样点具有相同x和y的采样点中,只会保留反射系数最大的一个采样点作为扫描阵面的采样点在所述目标探测对象对应的特征点。
子步骤2104,根据所述目标探测对象对应的特征点的反射系数和三维位置信息,汇总得到所述目标探测对象的三维点云数据集合。
在所述目标探测对象的特征点后,即可根据各特征点的反射系数和三维位置信息,汇总得到所述目标探测对象的三维点云数据集合。
S220,根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数。
应理解,在步骤S220中,根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数,也可以采用多种实现方式。
可选地,在对目标探测对象进行成像显示时,一般会按照预设的映射函数对特征点的第一维度值和第二维度值进行调整以得到特征点在检测图像对应的像素的坐标。一般来说,可分别按照某个线性函数对第一维度值和第二维度值进行调整。例如,特征点(x,y)在检测图像对应的像素的坐标(x’,y’)可表示为:x’=a1*x+b1;y’=a2*y+b2。当然,(a1,b1)的取值可以和(a2,b2)相同,也可以不同。
或者,可选地,如前述步骤S210中的具体实现中,可以得到各个特征点(x,y,z)的反射系数g(x,y,z)。
对各个反射系数g(x,y,z)取模值,可以得到图像空间对应的像素点,像素点集合得到三维点云图像img3D(x,y,z),即
img3d(x,y,z)=ABS[g(x,y,z)]
对img3d(x,y,z)沿距离z方向取反射系数最大值,实现最大值投影得到二维投影图像img2d(x,y)。
img2d(x,y)=MAXZ[img3d(x,y,z)]
此时,三维点云数据被转换为二维图像数据。
S230,根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
可选地,可以直接将反射系数作为亮度参数。
可选地,作为一个实施例,目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数可根据反射系数补偿得到,具体可用如下公式表示:
L(x,y)=α·filter[img2d(x,y)]
其中,L(x,y)表示目标探测对象中的特征点在检测图像上对应的像素的亮度参数,α表示亮度补偿系数;filter[img2d(x,y)]表示采样点(x,y,0)在目标探测对象对应的特征点的反射系数,该特征点也就是对相同x、y值的采样点滤波后保留的采样点。根据探测对象上的不同位置,亮度补偿系数可以取不同值,也可以取相同值,可以根据实际需求而定。
可选地,作为另一个实施例,还可根据z值即第三维度值的不同,对前述公式的亮度补偿系数α进行调整,此时,步骤S230可实现为:根据所述目标探测对象中的特征点的反射系数和第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。具体可包括如下子步骤:
子步骤2301,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数;
子步骤2302,根据所述目标探测对象中的特征点的反射系数,以及所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
具体地,上述确定亮度参数的方法可用如下公式表示:
L(x,y)=α(x,y)·filter[img2d(x,y)]
其中,α(x,y)表示所述目标探测对象中的特征点(x,y,z)在所述检测图像上对应的像素的亮度补偿系数。
可选地,亮度补偿系数可以随第三维度值增大而增大,例如对于与扫描线阵距离较远的特征点对应像素的亮度参数可以调大,从而可以实现远距离情况下增强亮度显示的图像效果,避免探测对象上与扫描线阵距离较远的部位在检测图像上显示不清楚,或者亮度补偿系数可以随第三维度值增大而减小,例如对于与扫描线阵距离较远、且属于背景区域的背景对象对应的像素的亮度参数可以调小,从而达到去除背景噪音的图像显示效果。在一种实施方式中,示例性地,所述亮度补偿系数与所述第三维度值线性相关,例如可以采用线性函数或者线性映射关系的形式表示亮度补偿系数与第三维度值之间的关系,具体的关系表示形式本申请实施例不做具体限定。
优选地,在确定各个特征点的亮度参数后,还可根据各个特征点的亮度参数进行归一化处理,使得L的取值在0和1之间。
例如,结合图1实施例示出的五个特征点为例,这个五个特征点与安检设备的扫描阵列面的的距离分别是c、b、a、b、c,反射系数分别是g(1)、g(2)、g(3)、g(4)和g(5)。亮度L分别是g(1)、g(2)、g(3)、g(4)和g(5)的归一化值,L的取值范围为0-1。
S240,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数。
在本申请实施例中,特征点与扫描阵面的距离存在差异,进而与扫描阵面不同距离的特征点对应像素的色调参数存在差异,使得检测图像上可以使用不同的色调对目标探测对象进行差异化展示。
如前述子步骤2103提到,目标探测对象中的特征点可以是具有相同x和y的采样点中反射系数最大的采样点。对img3d(x,y,z)沿距离z方向取反射系数最大值实现投影,得到img2d(x,y)。反射系数最大的采样点所对应的z值集合(即第三维度轴上的坐标值集合)表示为local(x,y)。
可选地,所述目标探测对象中特征点对应的像素的色调参数与所述目标探测对象中特征点的第三维度值线性相关。
进一步地,步骤S240可包括:
获取所述目标探测对象中特征点的第三维度值对应的最大值N1和最小值N2;
确定所述特征点在所述检测图像上对应的像素的色调H值为360*(N-N2)/(N1-N2),其中,N表示所述特征点的第三维度值。
具体地,可获取滤波后的各个采样点的z值集合local(x,y)的最大值为N1,以及最小值为N2,将色调H在0-360°的范围内细分为N1-N2个值,进而得到每个像素点对应的色调H值,则色调H值的函数可用如下公式表示:
Figure BDA0003478741310000101
当然,应理解,在根据各个特征点的距离对色调H值按360°进行归一化处理后,还可以设置饱和度S,取0-1之间的任意数,建议取1。
还是以图1实施例示出的五个目标点为例,这个五个点的距离分别是c、b、a、b、c,每个像素点色调H是距离a、b、c对360归一化的数值,代表各个距离决定的颜色,饱和度S取0-1之间的任意数,建议取1。
S250,根据所述目标探测的特征点的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
渲染处理过程可参考现有技术,本申请实施例不再赘述。
在本申请实施例中,通过探测信号的反射信号确定目标探测对象的三维点云数据集合,再根据三维点云数据集合中目标探测对象的特征点的第一维度值和第二维度值定位检测图像的目标像素位置,根据特征点的反射系数确定目标像素的亮度参数以及根据特征点的第三维度值确定目标像素的色调参数,从而进行渲染处理以得到检测图像,从而将目标探测对象相对于扫描阵面的距离信息以色调的形式呈现在图像中,能够提高检测图像中含有的信息量,即可以从视觉图像上感知探测对象的距离信息,提高探测对象中目标识别的准确率。
示例性地,以目标探测对象是乘客为例,采用本申请实施例提供的成像方法得到乘客的检测图像中,乘客身体的不同部位可以采用不同的色调进行显示,以此可以从视觉上直接感知乘客身体的不同部位与扫描阵面或者安检设备的距离不同。例如,乘客乘客身体的躯干部位与扫描阵面的距离较近,在检测图像上以红色显示,而四肢和脖颈与扫描阵面的距离较远,在检测图像上以蓝色显示,实现对不同距离的目标更加清晰地区分。
图5为本申请一个实施例提供的探测对象的成像装置的结构示意图。如图5所示,探测对象的成像装置500包括:
获取模块510,用于:根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合,其中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和反射系数,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述探测信号的扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离;
确定模块520,用于:根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数;根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数;以及,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数;
渲染模块530,用于:根据所述目标探测对象的特征点对应的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
本申请实施例的探测对象成像装置,通过探测信号的反射信号确定目标探测对象的三维点云数据集合,再根据三维点云数据集合中目标探测对象的特征点的第一维度值和第二维度值定位检测图像的目标像素位置,根据特征点的反射系数确定目标像素的亮度参数以及根据特征点的第三维度值确定目标像素的色调参数,从而进行渲染处理以得到检测图像,从而将目标探测对象相对于扫描阵面的距离信息以色调的形式呈现在图像中,能够提高检测图像中含有的信息量,提高探测对象中目标识别的准确率。
可选地,所述目标探测对象中特征点对应的像素的色调参数与所述目标探测对象中特征点的第三维度值线性相关。
可选地,在一种具体实施方式中,确定模块520可以用于:
获取所述目标探测对象中的特征点的第三维度值最大值N1和最小值N2;
确定目标特征点的色调H值为360*(N-N2)/(N1-N2),其中,N表示目标特征点的第三维度值。
可选地,在一种具体实施方式中,确定模块520可以用于:
获取所述目标探测对象的所有特征点的第三维度中最大的第三维度值为N1;
获取所述目标探测对象的所有特征点的第三维度中最小的第三维度值为N2。
可选地,确定模块520具体可用于:
根据所述目标探测对象中的特征点的反射系数和第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
可选地,在一种具体实施方式中,确定模块520可以用于:
根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数;
根据所述目标探测对象中的特征点的反射系数,以及所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
可选地,所述亮度补偿系数与所述第三维度值线性相关。
可选地,获取模块510具体用于:
按照第一维度、第二维度和频率对目标探测对象响应于探测信号返回的反射信号对应的回波数据进行采样,以得到各采样点的采样回波数据;
根据所述各采样点的采样回波数据,确定所述各采样点对应的反射系数;
根据所述各采样点对应的反射系数进行滤波处理以确定所述目标探测对象对应的特征点,其中,所述目标探测对象对应的特征点是在所述各采样点的每组具有相同第一维度值和第二维度值的采样点中反射系数最大且大于预设阈值的采样点组成的集合;
根据所述目标探测对象的特征点的反射系数和三维位置信息,汇总得到所述目标探测对象的三维点云数据集合。
可选地,在一种具体实施方式中,获取模块510可以用于:
根据所述各采样点的采样回波数据,结合公式f(x,y,ω)=∫∫∫g(x,y,z)*exp(-2j*d*ω/c)dxdydz,确定各采样点对应的反射系数g(x,y,z),其中,
x、y、z分别表示所述采样点在所述目标探测对象中对应的特征点的三维数据,d表示所述目标探测对象上特征点与所述扫描阵面上采样点的距离,f(x,y,ω)表示扫描阵面的目标采样点接收到的反射信号的回波数据,ω表示扫描阵面的目标采样点接收到的反射信号的回波数据的载频,c表示光速,j表示虚数单位,g(x,y,z)表示所述采样点在所述目标探测对象中对应的特征点的反射系数。
可选地,所述探测信号包括毫米波探测信号。
需要说明的是,本申请实施例提供的探测对象的成像装置与本申请实施例提供的探测对象的成像方法基于同一发明构思,实现相同的有益效果,因此该实施例的具体实施可以参见前述探测对象的成像方法的实施和有益效果,重复之处不再赘述。
图6为本申请一个实施例提供的一种计算设备的结构示意图。如图6所示。计算设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器601和存储器602,存储器602中可以存储有一个或一个以上存储应用程序或数据。其中,存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对计算设备中的一系列计算机可执行指令。更进一步地,处理器601可以设置为与存储器602通信,在计算设备上执行存储器602中的一系列计算机可执行指令。计算设备还可以包括一个或一个以上电源603,一个或一个以上有线或无线网络接口604,一个或一个以上输入输出接口605,一个或一个以上键盘606。
具体在本实施例中,计算设备包括有处理器、通信接口、存储器和通信总线;其中,所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,并具体用于执行本申请实施例提供的任意方法。
图7是本申请实施例提供的安检系统的系统框图。如图7所示,该安检系统700可包括:
毫米波检测设备710,用于发射毫米波探测信号;
计算设备720,用于执行本申请实施例提供的探测对象的成像方法;
显示设备730,用于展示执行本申请实施例提供的探测对象的成像方法后得到的检测图像。
本申请实施例提供的计算设备,能够实现本申请实施例提供的探测对象的成像方法对应的实施例中的各个过程,并达到相同的效果,为避免重复,这里不再赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现本申请实施例提供的方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种探测对象的成像方法,其特征在于,包括:
根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合,其中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和反射系数,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述探测信号的扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离;
根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数;
根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数;
根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数;
根据所述目标探测对象的特征点对应的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
2.根据权利要求1所述的方法,其特征在于,所述目标探测对象中特征点对应的像素的色调参数与所述目标探测对象中特征点的第三维度值线性相关。
3.根据权利要求2所述的方法,其特征在于,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数,包括:
获取所述目标探测对象中特征点的第三维度值对应的最大值N1和最小值N2;
确定所述特征点在所述检测图像上对应的像素的色调H值为360*(N-N2)/(N1-N2),其中,N表示所述特征点的第三维度值。
4.根据权利要求3所述的方法,其特征在于,获取所述目标探测对象中特征点的第三维度值对应的最大值N1和最小值N2,包括:
获取所述目标探测对象的所有特征点的第三维度中最大的第三维度值为N1;
获取所述目标探测对象的所有特征点的第三维度中最小的第三维度值为N2。
5.根据权利要求1所述的方法,其特征在于,根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数,包括:
根据所述目标探测对象中的特征点的反射系数和第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
6.根据权利要求5所述的方法,其特征在于,根据所述目标探测对象中的特征点的反射系数和第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数,包括:
根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数;
根据所述目标探测对象中的特征点的反射系数,以及所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
7.根据权利要求6所述的方法,其特征在于,所述亮度补偿系数与所述第三维度值线性相关。
8.根据权利要求1所述的方法,其特征在于,根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维信息集合,包括:
按照第一维度、第二维度和频率对目标探测对象响应于探测信号返回的反射信号对应的回波数据进行采样,以得到各采样点的采样回波数据;
根据所述各采样点的采样回波数据,确定所述各采样点对应的反射系数;
根据所述各采样点对应的反射系数进行滤波处理以确定所述目标探测对象对应的特征点,其中,所述目标探测对象对应的特征点是在所述各采样点的每组具有相同第一维度值和第二维度值的采样点中反射系数最大且大于预设阈值的采样点组成的集合;
根据所述目标探测对象的特征点的反射系数和三维位置信息,汇总得到所述目标探测对象的三维点云数据集合。
9.根据权利要求8所述的方法,其特征在于,根据所述各采样点的采样回波数据,确定所述各采样点对应的反射系数,包括:
根据所述各采样点的采样回波数据,结合公式f(x,y,ω)=∫∫∫g(x,y,z)*exp(-2j*d*ω/c)dxdydz,确定各采样点对应的反射系数g(x,y,z),其中,
x、y、z分别表示所述采样点在所述目标探测对象中对应的特征点的三维数据,d表示所述目标探测对象上特征点与所述扫描阵面上采样点的距离,f(x,y,ω)表示扫描阵面的目标采样点接收到的反射信号的回波数据,ω表示扫描阵面的目标采样点接收到的反射信号的回波数据的载频,c表示光速,j表示虚数单位,g(x,y,z)表示所述采样点在所述目标探测对象中对应的特征点的反射系数。
10.根据权利要求1所述的方法,其特征在于,所述探测信号包括毫米波探测信号。
11.一种探测对象的成像装置,其特征在于,包括:
获取模块,用于:根据目标探测对象响应于探测信号返回的反射信号,获得关于所述目标探测对象的三维点云数据集合,其中,所述三维点云数据集合中包括所述目标探测对象的特征点的三维位置信息和反射系数,所述目标探测对象的特征点的三维信息中的第一维度值与第二维度值用于表示所述目标探测对象的特征点在所述探测信号的扫描阵面的投影坐标,所述目标探测对象的特征点的三维信息中的第三维度值用于表示所述目标探测对象的特征点与所述扫描阵面之间的距离;
确定模块,用于:根据所述目标探测对象中的特征点的第一维度值和第二维度值,确定所述目标探测对象中的特征点在检测图像上对应的像素的位置参数;根据所述目标探测对象中的特征点的反射系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数;以及,根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的色调参数;
渲染模块,用于:根据所述目标探测对象的特征点对应的像素的位置参数、亮度参数和色调参数,进行渲染处理以生成所述目标探测对象对应的检测图像。
12.根据权利要求11所述的装置,其特征在于,所述确定模块用于:
获取所述目标探测对象中的特征点的第三维度值最大值N1和最小值N2;
确定目标特征点的色调H值为360*(N-N2)/(N1-N2),其中,N表示目标特征点的第三维度值。
13.根据权利要求11所述的装置,其特征在于,所述确定模块用于:
根据所述目标探测对象中的特征点的第三维度值,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数;
根据所述目标探测对象中的特征点的反射系数,以及所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度补偿系数,确定所述目标探测对象中的特征点在所述检测图像上对应的像素的亮度参数。
14.根据权利要求13所述的装置,其特征在于,所述亮度补偿系数与所述第三维度值线性相关。
15.根据权利要求11所述的装置,其特征在于,所述获取模块用于:
按照第一维度、第二维度和频率对目标探测对象响应于探测信号返回的反射信号对应的回波数据进行采样,以得到各采样点的采样回波数据;
根据所述各采样点的采样回波数据,确定所述各采样点对应的反射系数;
根据所述各采样点对应的反射系数进行滤波处理以确定所述目标探测对象对应的特征点,其中,所述目标探测对象对应的特征点是在所述各采样点的每组具有相同第一维度值和第二维度值的采样点中反射系数最大且大于预设阈值的采样点组成的集合;
根据所述目标探测对象的特征点的反射系数和三维位置信息,汇总得到所述目标探测对象的三维点云数据集合。
16.根据权利要求15所述的装置,其特征在于,所述获取模块具体用于:
根据所述各采样点的采样回波数据,结合公式f(x,y,ω)=∫∫∫g(x,y,z)*exp(-2j*d*ω/c)dxdydz,确定各采样点对应的反射系数g(x,y,z),其中,
x、y、z分别表示所述采样点在所述目标探测对象中对应的特征点的三维数据,d表示所述目标探测对象上特征点与所述扫描阵面上采样点的距离,f(x,y,ω)表示扫描阵面的目标采样点接收到的反射信号的回波数据,ω表示扫描阵面的目标采样点接收到的反射信号的回波数据的载频,c表示光速,j表示虚数单位,g(x,y,z)表示所述采样点在所述目标探测对象中对应的特征点的反射系数。
17.根据权利要求11所述的装置,其特征在于,所述探测信号包括毫米波探测信号。
18.一种计算设备,其特征在于,包括处理器和存储器,其中:
所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序,以实现权利要求1-10中任一项所述的方法。
19.一种安检系统,其特征在于,包括:
毫米波检测设备,用于发射毫米波探测信号;
计算设备,用于执行权利要求1-10中任一项所述的方法;
显示设备,用于展示执行权利要求1-10中任一项所述的方法后得到的检测图像。
CN202210062451.2A 2022-01-19 2022-01-19 探测对象的成像方法、成像装置、设备以及安检系统 Active CN114488139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210062451.2A CN114488139B (zh) 2022-01-19 2022-01-19 探测对象的成像方法、成像装置、设备以及安检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210062451.2A CN114488139B (zh) 2022-01-19 2022-01-19 探测对象的成像方法、成像装置、设备以及安检系统

Publications (2)

Publication Number Publication Date
CN114488139A true CN114488139A (zh) 2022-05-13
CN114488139B CN114488139B (zh) 2022-09-27

Family

ID=81472344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210062451.2A Active CN114488139B (zh) 2022-01-19 2022-01-19 探测对象的成像方法、成像装置、设备以及安检系统

Country Status (1)

Country Link
CN (1) CN114488139B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936988A (zh) * 2022-07-21 2022-08-23 杭州睿影科技有限公司 图像校正方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027244A1 (en) * 2011-07-29 2013-01-31 International Business Machines Corporation Near-field millimeter wave imaging
CN106338732A (zh) * 2016-08-23 2017-01-18 华讯方舟科技有限公司 一种毫米波三维全息成像方法及系统
CN110146880A (zh) * 2019-06-06 2019-08-20 深圳市华讯方舟太赫兹科技有限公司 成像方法、终端设备以及计算机存储介质
CN111598034A (zh) * 2020-05-22 2020-08-28 知行汽车科技(苏州)有限公司 障碍物检测方法、装置及存储介质
CN112379372A (zh) * 2020-11-27 2021-02-19 杭州睿影科技有限公司 一种毫米波全息成像方法、装置、安检系统
CN113223176A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 多维度管道特征参数的获取方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027244A1 (en) * 2011-07-29 2013-01-31 International Business Machines Corporation Near-field millimeter wave imaging
CN106338732A (zh) * 2016-08-23 2017-01-18 华讯方舟科技有限公司 一种毫米波三维全息成像方法及系统
CN110146880A (zh) * 2019-06-06 2019-08-20 深圳市华讯方舟太赫兹科技有限公司 成像方法、终端设备以及计算机存储介质
CN111598034A (zh) * 2020-05-22 2020-08-28 知行汽车科技(苏州)有限公司 障碍物检测方法、装置及存储介质
CN112379372A (zh) * 2020-11-27 2021-02-19 杭州睿影科技有限公司 一种毫米波全息成像方法、装置、安检系统
CN113223176A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 多维度管道特征参数的获取方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936988A (zh) * 2022-07-21 2022-08-23 杭州睿影科技有限公司 图像校正方法、装置及电子设备
CN114936988B (zh) * 2022-07-21 2022-11-01 杭州睿影科技有限公司 图像校正方法、装置及电子设备

Also Published As

Publication number Publication date
CN114488139B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
US10852420B2 (en) Object detection system, autonomous vehicle using the same, and object detection method thereof
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
Nasiri et al. Infrared small target enhancement based on variance difference
CN103413127B (zh) 基于频谱奇异值分解的海上目标显著性检测方法
CN105303526A (zh) 一种基于海岸线数据及频谱分析的舰船目标检测方法
CN114488139B (zh) 探测对象的成像方法、成像装置、设备以及安检系统
KR20210059608A (ko) 방법, 컴퓨터 프로그램 제품, 장치 및 주파수 변조 연속파 레이더 시스템
CN111062321B (zh) 一种基于深度卷积网络的sar检测方法及系统
Popescu et al. Point spread function estimation for a terahertz imaging system
CN107194896A (zh) 一种基于邻域结构的背景抑制方法和系统
CN112014349A (zh) 太赫兹时域光谱成像复原方法、装置、存储介质及终端
CN112904368A (zh) 基于解析信号与补偿参考函数的非视域三维重建方法及系统
WO2023027822A1 (en) Spatial metrics for denoising depth image data
US8908994B2 (en) 2D to 3d image conversion
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN114894793B (zh) 基于消除伪影的成像方法、成像系统及服务器
Patel et al. Comparative study on multi-focus image fusion techniques in dynamic scene
CN110929574A (zh) 一种红外弱小目标快速检测方法
CN117218026A (zh) 一种红外图像增强方法及装置
CN112882026A (zh) 一种树高反演的方法、装置、计算机存储介质及终端
CN112634244B (zh) 一种用于目标检测的三维复数图像处理方法及系统
CN115984246A (zh) 基于机器视觉的缺陷快速检测方法及装置、设备、存储介质
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
Ayres et al. A homogeneity-based multiscale hyperspectral image representation for sparse spectral unmixing
CN108710205B (zh) 一种基于边缘灰度差异函数的光学扫描全息自聚焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant