CN102103018A - 被动式辐射成像设备和相应方法 - Google Patents
被动式辐射成像设备和相应方法 Download PDFInfo
- Publication number
- CN102103018A CN102103018A CN2010106101101A CN201010610110A CN102103018A CN 102103018 A CN102103018 A CN 102103018A CN 2010106101101 A CN2010106101101 A CN 2010106101101A CN 201010610110 A CN201010610110 A CN 201010610110A CN 102103018 A CN102103018 A CN 102103018A
- Authority
- CN
- China
- Prior art keywords
- radiation
- spot
- scene
- passive type
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005855 radiation Effects 0.000 claims abstract description 151
- 238000009826 distribution Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 3
- 125000006850 spacer group Chemical group 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 4
- 230000003595 spectral effect Effects 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 15
- 238000005259 measurement Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 239000002360 explosive Substances 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001515806 Stictis Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K11/00—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
- G01K11/006—Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using measurement of the effect of a material on microwaves or longer electromagnetic waves, e.g. measuring temperature via microwaves emitted by the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/257—Picture signal generators using flying-spot scanners
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及用于扫描场景的被动式辐射成像设备(10)和相应方法。提出的设备包括:辐射仪(12),用于探测从所述场景(24)的斑点(22)在预定频谱范围中放射的辐射并从所述探测到的辐射生成辐射信号;斑点移动装置(14),用于实现从其探测辐射的斑点(22)到不同位置的移动;控制装置(16),用于控制所述斑点移动装置(14)以实现所述斑点(22)在随机时间间隔之后从一个位置到另一位置的移动;以及处理装置(18),用于处理从在所述不同位置处的所述斑点(22)探测到的辐射信号,以及用于通过应用压缩传感来重构所述场景(24)的图像(30)。利用该设备,可以获得重构图像的温度分辨率的增高。
Description
技术领域
本发明涉及一种用于扫描场景的被动式辐射成像设备和对应的方法。此外,本发明还涉及用于实现所述方法的计算机程序。
背景技术
毫米波是波长范围从1mm到10mm的无线电波,该波长范围对应于30GHz到300GHz的频率范围。这些波被应用于车载雷达设备以用于测量移动车辆之间的距离来防止碰撞并被应用于高速无线通信以用于实现每秒几吉比特数量级的传输数据率。此外,改进的生成和探测技术以及在毫米波频率范围中操作的设备的集成和小型化的最新改进已经引起了开发该电磁辐射的特性的兴趣。另外,其能够穿透包括塑料、墙壁、衣服、烟雾的非金属材料的能力提供了研究毫米波成像应用的动力。此外,可实现的几毫米的空间分辨率在像隐藏武器或爆炸物探测这样的安全应用中也非常令人关注。
毫米波可以以主动方式或被动方式使用。被动式辐射成像系统通过使用辐射仪捕获由目标放射的电磁辐射来创建图像。这样的被动式辐射成像系统例如可以从US 2007/0221847中得知。另一方面,主动式辐射成像系统向目标辐射毫米波并通过探测折射的或反射的波来创建图像。毫米波不产生电离效应,这使得该技术成为在隐藏武器或爆炸物探测这样的安全应用中采用的有吸引力的候选(基于红外或可见光辐射的现有技术不能探测隐藏武器,并且基于X射线的系统由于其电离效应不能用在人身上)。
发明内容
本发明的一个目的是提供一种用于扫描场景的被动式辐射成像设备,其相比于相同温度分辨率的已知被动式辐射成像设备,减少了成像时间减少和/或增大了温度分辨率。本发明的另一个目的是提供对应的方法以及用于在计算机上实现该方法的对应计算机程序。
根据本发明的一个方面,提供了一种用于扫描场景的被动式辐射成像设备,所述设备包括:
-辐射仪,所述辐射仪用于探测从所述场景的斑点(spot)在预定频谱范围中放射的辐射以及用于从所述探测到的辐射生成辐射信号,
-斑点移动装置,所述斑点移动装置用于实现从其探测所述辐射的所述斑点到不同位置的移动,
-控制装置,所述控制装置用于控制所述斑点移动装置以实现所述斑点在随机时间间隔之后从一个位置到另一位置的移动,
-处理装置,所述处理装置用于处理从在所述不同位置处的所述斑点探测到的辐射信号,以及用于通过应用压缩传感(compressive sensing)来重构所述场景的图像。
根据本发明的另一方面,提供对应的被动式辐射成像方法以及一种包括程序装置的计算机程序,当所述计算机程序在计算机上被执行时,使得计算机执行根据本发明的所述被动式辐射成像方法的处理和重构的步骤。
在从属权利要求中限定了本发明的优选实施例。应当理解,要求保护的方法和要求保护的计算机程序与要求保护的设备以及从属权利要求中所限定的设备具有相似和/或相同优选实施例。
被动式辐射成像设备通过在场景上扫描,来映射整个场景(常常也称为“视场”(FOV))上的亮度温度分布。因此,图像的温度分辨率(ΔT)用辐射仪的天线的带宽(B)、成像设备的噪声温度(TSYS)和积分时间(τ)根据以下等式确定:
从该公式可以导出,要增大成像设备的温度分辨率,需要或者减小成像设备的噪声温度或者增大带宽和/或积分时间。辐射仪测量在斑点(即,辐射波束)定位于的每个位置(或像素)处由正被成像的场景辐射的能量。辐射仪在实际位置处测量的时间越长,该位置处的温度分辨率越好。另一方面,这增大了扫描时间,这是不希望的特征。因此,根据本发明的元素,提议通过应用已知的压缩传感方法来在减少获取时间的同时获得高的温度分辨率。
用于对信号进行采样或成像的传统方法遵循Shannon定理,Shannon定理确立采样速率必需至少是信号中存在的最大频率的两倍(也称奈奎斯特速率)。该基本原理已经被应用在消费音频或图像电子产品、医疗成像设备、数字通信等中所使用的几乎所有信号获取协议中。当信号是带限的时,如在数字通信领域中常常是这样,要将模拟信号转换到数字域需要使用模数转换器(ADC),以奈奎斯特速率以上的速率进行采样,这隐含地让这样的系统依赖于ADC的性能。对于像图像这样的其他信号,所需要的采样速率不是用Shannon定理而是用所希望的时间或空间分辨率来指示的。然而,这样的系统通常使用抗混叠低通滤波器来在采样前对信号进行带限,然后奈奎斯特速率在这里同样起重要作用。
压缩传感技术与数据获取中众所周知的知识相反,其宣称可以从比传统方法所需要的样本或测量少得多的样本或测量中恢复某些信号和图像,压缩传感技术例如被记载在E.Candes,J.Romberg,and T.Tao,“Robust uncertainty principles:Exact signal reconstruction from highly incomplete frequency information,”IEEE Transaction on Information Theory,vol.52,pp.489-509,2006或D.Donoho,“Compressed sensing,”IEEE Transaction on Information Theory,vol.52,pp.1289-1306,2006中。与假定信号中的信息量与其频率内容成比例的传统采样定理相对照,压缩传感提出新的采样范式,其中信号的信息内容由其系数水平或由其自由度来确定。从这个角度看,所关心的信号不需要以奈奎斯特速率来采样,而是以其信息速率来采样,其信息速率在大多数情况下比其带宽小得多。
简要总结,压缩传感范式确立如果信号或图像在某些已知域中已经足够稀疏,则其可以从非常少数目(比奈奎斯特指定的数目少得多)的样本中被重构,只要获取处理可以在某种意义上被随机化即可。
因此,本发明提议通过应用压缩传感来减少被动式辐射成像系统的扫描/成像时间。为了应用这样的技术,有必要首先找到图像具有稀疏表示的测量域。遗憾的是,由被动式辐射成像系统获得的图像在辐射仪的获取域中不是稀疏的,其是总功率辐射能量。因此,获取的辐射信号被映射到稀疏域。这里所考虑的图像的一个特征是他们是分段常值的(piecewise constant),因此一种可能是利用根据一个实施例所提议的总变差(total variation)技术来从较少数目的测量中恢复图像,但是其他变换也是可以的。
成功应用压缩传感的第二个条件是完成测量的方式必须与所使用的表示基不相干。最容易的方式是选择随机测量矩阵,即,辐射信号的获取处理需要被随机化。
根据该发明提议的解决方案包括利用积分时间作为实现获取处理中必要的随机化的手段。换而言之,根据本发明的元素,从其探测辐射的斑点在随机时间间隔之后从一个位置被移动到另一个位置,即,时间间隔不是相等的而是随机地确定的。这里,“随机地”不应在严格意义上理解为例如“真正随机地”,而是应当也包括“模拟”真正随机的行为并且例如可以用伪随机数发生器或函数生成的伪随机行为。
因此,压缩传感技术可以应用在图像的重构处理中,导致比已知的被动式辐射成像设备和方法更好的优点,具体地,导致所希望的扫描时间减少。
根据一个优选实施例,该处理装置适用于通过对所述辐射信号应用l1范数极小化(l1 norm minimization)算法来重构所述图像。l1范数是公知的,并且l1范数问题(也称为最小绝对偏差(LAD)、最小绝对误差(LAE)、最小绝对值(LAV))是与流行的试图找到最严密地逼近数据集的函数的最小二乘技术(l2范数)类似的数学最优化技术。在(x,y)数据集的简单情况中,逼近函数是二维笛卡尔坐标中的简单“走势线(trend line)”。因此,所提议的方法使得在用该函数生成的点和数据中对应的点之间的绝对误差的和或者某些“残差”最小。
根据本发明一个实施例应用l1范数极小化使得能够从探测到的辐射信号中恢复所扫描的场景的图像,其中,所探测到的辐射信号在已知域中是稀疏的。
为了实现从其探测辐射的斑点的移动,存在斑点移动装置的各种实施例。根据一个实施例,提供一种机械斑点移动装置,具体地用于机械地移动辐射仪以实现斑点的移动。例如,可以提供一种电机,通过该电机优选地在两个维度上移动辐射仪的天线或改变天线的方向。根据另一个实施例,可以提供旋转镜来改变辐射仪的灵敏度分布(sensitivity profile)的方向。
根据另一实施例,提供一种电子斑点移动装置,以用于电子地移动辐射仪的灵敏度分布。这样的实施例例如可以由电子波束定位装置或电子波束成形装置实现,其具有机械装置所不能提供的优点并且一般能够比机械斑点移动装置更快地移动辐射仪的灵敏度分布。
在另一实施例中,斑点移动装置适用于实现斑点在整个场景上的连续移动,其中所述连续移动的速度被随机地改变。所述斑点移动的速度的随机变化实现辐射探测的积分时间的随机化。这样的速度变化会受机械和电子斑点移动装置的实现。
可替换地,也可以仅在斑点不移动而是固定地位于固定位置时执行辐射探测。因此,在斑点被从一个位置移动到另一个位置期间,没有辐射被探测,然而,相比于以上采用连续移动或连续测量的实施例,这增大了扫描场景所需要的总时间。
优选地,根据另一个实施例,斑点移动装置适用于实现斑点的移动使得场景被完整地扫描,具体地,使得斑点沿着连续的轨线在所述场景上顺序地移动。因此,没有斑点的跳跃要区分,具体地,不需要场景上的相邻位置,这增大了用于辐射信号的完整获取的时间。连续的轨线可以被不同地实现,例如通过斑点逐行或逐列地扫描场景所依照的弯曲的轨迹实现。
如上所述,对于压缩传感技术的应用重要的是,从扫描场景获得的辐射信号在已知域具有稀疏表示。对于通过本发明构想到的应用,所述已知域优选是总变差域、傅里叶域、小波(wavelets)域或曲波(curvelets)域。
对于实现斑点移动的斑点移动装置的控制,存在控制装置的各个实施例。根据一个实施例,控制装置适用于从预定时间间隔或从可选时间间隔表中选择所述斑点在一个位置处停留的随机时间间隔。因此,时间间隔的选择是被随机化的,这容易通过例如对执行所述选择的处理器的适当编程来实现。
根据另一实施例,控制装置适用于通过使用预定函数或分布来确定所述斑点在一个位置处停留的时间间隔,具体地,所述分布是均匀伯努利或高斯分布。因此,除了提供用于存储预定时间间隔或可选择时间间隔表的存储器以外,可以提供发生器以用于提供所述预定函数或分布。例如,伪随机数发生器可以用于实现所述实施例。
根据另一优选实施例,控制装置适用于,相比于在场景的信息分布较低的位置,在场景具有较高信息分布的位置处选择更大的平均时间间隔。换而言之,执行对场景中“引人注意”的区域的预选择,以使得相比于场景的信息分布较低(例如,仅示出背景)的位置,在具有较高信息分布的那些“引人注意”的区域处,特别是被扫描的目标(例如,人)所位于的地方,平均积分时间较长。这使得从辐射信号重构的图像的温度分辨率增大。
对于实现本发明来说,被动式辐射成像设备包括用于探测从表示单个像素的斑点放射的辐射的单个辐射仪是足够的。然而,根据可以减少场景的总扫描时间的其他实施例,辐射仪包括用于探测从表示像素行或像素阵列的斑点放射的辐射的辐射仪单元的行或辐射仪单元阵列。换而言之,每个辐射仪单元探测来自子斑点的辐射,所述子斑点一起表示所述斑点。以这种方式,来自许多像素(例如,像素行或像素阵列)的辐射被同时探测。优选地,所述辐射仪单元被同时并等同地移动或者它们的灵敏度分布被同时地等同地改变。然而,一般,每个辐射仪单元也可以被单独地控制并且它们的子斑点被单独地(和不同地)移动。
优选地,辐射仪适用于探测毫米波波长范围中(具体地,波长范围从0.1mm到100mm,优选地,从1mm到10mm)放射的辐射。如上所述,该频率范围具有穿透包括塑料、墙壁、衣服、烟雾的非金属材料的能力,这是本设备和方法的应用的重要特性。具体地,可实现的几毫米的空间分辨率在像隐藏武器或爆炸物探测这样的安全应用中是非常吸引人的。一般地,本发明也适用于其它频率范围,然而,某些频率由于大气吸收特性(传播衰减太高而不能接收有用信号)而不那么有用或不能使用。
附图说明
本发明的这些和其它方面将从以下实施例中显而易见并在下述实施例中被更详细地说明。在附图中:
图1示出根据本发明的被动式辐射成像设备示意框图,
图2示出根据本发明的成像设备的第一实施例的更详细的描述示意框图,
图3示出根据本发明的成像设备的第二实施例的更详细的描述示意框图,
图4示出图示出传统采样的示图,
图5A和5B示出原始图像和仅从原始图像的小波系数的一部分中重构的图像,
图6示出图5A中示出的图像的小波系数,
图7示出一般地图示出被动式传感方法的步骤的示图,
图9A和9B示出范数l2和l1的几何解,
图10示出图示出根据本发明的成像设备的第三实施例的示意框图,以及
图11A和11B示出对样本图片应用总变差变换的示例。
具体实施方式
图1示出根据本发明的用于对场景成像的被动式辐射成像设备10的一般布局的示意框图。所述设备10例如可以用来扫描在(中性)背景前面的人以探测这个人是否携带隐藏的武器。设备10包括:辐射仪12,其用于探测从所述场景的斑点放射的预定频谱范围中的辐射并用于从所述探测到的辐射生成辐射信号;斑点移动装置14,其用于实现从其探测辐射的斑点向不同位置的移动;控制装置16,其用于控制所述斑点移动装置14来实现斑点在随机时间间隔之后从一个位置到另一个位置的移动;以及处理装置18,其用于处理从在所述不同位置处的斑点探测到的辐射信号并通过应用压缩传感来重构所述场景的图像。
图2示出被动式辐射成像设备10a的一个实施例的更详细的框图,其中一个单独的辐射仪12a包括具有尖波束20的天线,尖波束20限定像素或斑点22的大小,斑点22在该实施例中为环状,场景24被用斑点22扫描并且辐射从斑点22被探测。包括该天线的辐射仪12a被附接到电机14a,电机14a代表斑点移动装置14。所述电机14a可以在高度和方位两个方向上移动辐射仪12a,特别是辐射仪12a的天线,来实现斑点22在场景24上的移动。以这种方式,在两个维度上扫描场景24的完整视野。
在每个像素位置处,辐射仪12a收集从场景辐射的能量的时间是随机确定的,例如,是从被存储在存储单元26中的某些预先定义的时间间隔(例如,[5-10]ms)或离散可能值的有限列表(例如,[5,5.5,6,...,9.5,10]ms)中选出的。该选择例如可以通过选择独立同分布值来完成或者其可以从均匀伯努利或高斯分布中随机地进行。然而,也可以使用若干其它随机分布。
另一方面,选择可以通过限定场景24内的不同区域来完成,其中,积分时间将依赖于场景24的信息分布而较长或较短。例如,平均而言,在场景中具有高信息分布的区域中比场景中具有低信息分布的区域具有更长的积分时间,具有高信息分布的区域例如是人所位于的地方(在本示例中,在场景24的中间)),具有低信息分布的区域例如是背景位于的地方(在本示例中,在场景24的边界区域中)。不论选择是怎样的,提供电机控制单元16a以用于给与电机14a恰当的命令,以在每个像素处停留或多或少的时间。
在场景24的扫描已被完成之后,从自不同像素探测到的辐射获得的(例如,在点22定位于场景24的不同位置时由辐射仪12a获得的)辐射信号优选在模数(ADC)转换器28的数字化之后被提供给代表处理装置的重构单元18。所述重构单元18对所获得的样本应用压缩传感技术来最终重构原始图像30。
用于选择每个像素处的积分时间的准确过程将依赖于每个应用并且必须被调谐来获得图像分辨率和扫描时间之间的最佳结果。在任何情况中,该全场景积分时间应当少于在不应用压缩传感的情况中的场景积分时间。
取代存储预先定义的时间间隔、离散可能值列表或用于随机积分时间的选择的随机分布的存储单元26,可以提供随机发生器32以用于例如在每次斑点22移动到新的位置时,随机地生成积分时间。所述随机发生器32例如可以实现为伪随机数发生器,伪随机数发生器基于随机选择的初始值来基于预定算法生成随后的值。
图3示出被动式辐射成像设备10b的另一实施例的框图。在该实施例中,辐射仪12b(包括天线)不是由实现斑点22在场景24上的移动的电机(或其它机械移动装置)机械地移动,而是提供电子斑点移动装置14b以用于电子地移动/定位所述辐射仪的灵敏度分布(profile)以实现所述斑点的移动。所述电子斑点移动装置14b例如由电子波束定位装置或电子波束成形装置实现。N.A.Salmon等在“Digital Beam-Forming for Passive Millimitre Wave Security Imaging”,Antennas and Propagation,2007,EuCAP2007,Nov.2007 pp.1-11中描述了这样的数字波束成形装置的示例。这些电子斑点移动装置14b由波束控制单元16b控制,波束控制单元16b像图2中示出的电机控制单元16a一样,随机地选择斑点22的不同位置处的积分时间。
接着,将一般地描述压缩传感的基本知识。
如果例如感应波形是离散Delta函数,则y是x在时域或空间域中的采样值的向量。如果感应波形是正弦曲线,例如如在核磁共振成像(MRI)中发生的那样,则y是傅里叶系数的向量。当传感运算以矩阵形式表述时,这些感应波形形成称为传感正交基或者传感矩阵或测量矩阵的正交基。图4示出针对迪拉克(Dirac)的Delta情况的示例。
从图4中可以观察到,尽管所关心的信号仅具有3个非零元素,但是用测量矩阵对向量中的所有N个位置进行采样。由于不知道非零元素在向量中的位置,因此不可能设计出准确地在那些位置处对信号x进行采样的测量矩阵。然而,这提出这样的问题,即,是否有可能设计出这样的传感矩阵,其可以允许我们相比于信号的维数仅采取少数M个测量(M<<N)并且仍然能够恢复该信号。这正是压缩传感所试图实现的:以几个测量来完全地恢复信号或者获得该信号的非常好的逼近。对信号或图像成功应用压缩传感范式依赖于两个基本原则:稀疏性,其与所关心的信号有关;和不相关性,其涉及采样模态。
稀疏性表示信号的信息速率可能比其带宽所暗示的信息速率小得多这样的意思。实际上,许多自然信号当以传统的基本原理表示时具有简明的表示。例如考虑图5A中描述的(完整)图像以及图5B中描述的其小波变换。尽管几乎所有图像像素都具有非零值,但是如图6中所示,大多数小波系数是小的而相对少的几个大的小波系数捕获大多数信息:原始图像(图5A)与通过使用仅25.000个最大系数获得的重构图像(图5B)之间的差异几乎是注意不到的。
另x为实数值的、有限长度的、一维离散时间信号,其可以视为中的一个N×1列向量,其具有元素x[n],n=1,2,...,N的。中的任意信号可以用具有N×1向量{ψi}i=1,2,...,N的正交基来表示。使用具有向量{ψi}的N×N基矩阵Ψ=[ψ1,ψ2...ψN]作为列,信号x可以表示为
如果x信号仅是K个基向量的线性组合,则其是K-稀疏的;即,si系数中仅K个是非零的并且(N-K)个是零。所关心的情况是K<<N时的情况。如果前一表示仅有很少几个大系数并且具有许多小系数,则信号x是可压缩的。
测量矩阵Φ必须允许从M<N个测量(向量y)中重构长度为N的信号x。由于M<N,所以该问题是病态的,但是如果x是K-稀疏的并且s中的非零系数的K个位置是已知的,则如果M≥K可以解决该问题。该简化的问题要变成良态的一个充分必要条件是,对于与s共有相同K个非零输入的任意向量v,并且对于某些>0
即,矩阵Ω=ΦΨ必须保留这些特定K-稀疏的向量的长度。当然,一般,S中K个非零输入的位置不是已知的。然而,对于K-稀疏和可压缩信号都是稳定解法的充分条件是对于任意3K-稀疏向量v,Ω都满足该等式。该条件称为约束等距性(restricted isometry property,RIP)。称为不相干性的有关条件要求Φ的行{φi}不能稀疏地表示Ψ的{Ψi}(并且反之亦然)。
即,相干性量度Φ和Ψ的任意两个元素之间的最大相关性。如果Φ和Ψ包含相关的元素,则相干性大,否则,相干性小。在任意情况中,可以证明
压缩传感主要与低相干对有关。例如,在时间或空间中的经典采样方案中,其中Φ和Ψ分别是spike基和傅里叶基,相干性是μ=1,并且因此,给出最大不相干性。在另一示例中,对Ψ取小波并且对Φ取noiselet。在Haar小波的情况中和在Daubechies D4和D8的情况中,不相干性分别是约2.2和2.9。
然而,最引人关注的结果是随机矩阵与任意固定基Ψ都很不相干。例如通过在单位球上独立地均匀地采样出的N个向量进行正规化,来仅随机地均匀地选择正交基Φ。则,Φ和Ψ之间的相干性很可能是推而广之,具有像高斯或±1二进制元这样的独立同分布(i.i.d)元的随机波形也将显示与任意固定表示基Ψ的非常低的相干性。
M≥C·μ2(Φ,Ψ)·K·logN
则极有可能准确地恢复信号x。信号x的恢复可以借助凸极小化来完成,凸极小化不假定任何与x的非零坐标的数目、位置或幅度有关的任何知识,作为先验条件,假定x的非零坐标的数目、位置或幅度全都是先验完全未知的。仅需要运行该算法,并且如果信号碰巧是充分稀疏的,则会发生准确的恢复。
从该理论中可明显看到相干性的作用:相干性越小,则需要采用的样本越少。如果μ等于或接近1,则K log N数量级的采样数就足以恢复信号。对于实践情况,通常采用至少3倍的M≥3K的M。
信号重构算法必需在向量y、随机测量矩阵Φ和表示基Ψ中进行M个测量并且重构长度为N的信号,如图7中所示。
为了重构x,必需估计系数s。在试图恢复稀疏信号时,问题可以简化为在满足所观测的测量的所有可能的系数向量中(即,y=ΦΨs)找到一个稀疏的系数向量(p),即具有最大数目的零系数的一个系数向量,或者,反过来,具有最小数目的非零系数的一个系数向量。在数学上,这可以用公式表达为解决以下极小化问题:
其中,Ω=ΦΨ并且‖·‖p表示由定义的范数(norm)lp。
解决像这个问题一样的逆问题的经典方法是找到具有最小能量的向量,即具有最小l2范数的向量。该情况中的问题可以使用线性规划技术来解决,但是该解几乎永远不会是本发明的应用领域中所要找寻的K-稀疏的解,而非稀疏的解具有许多非零系数。几何上,具有l2范数的极小化问题寻找与最小能量超球面的接触点,但是由于表面的随机取向,该接触点将不可能位于任何坐标轴,因此,其也不是稀疏的解,如图9A中所示。
令人惊讶的是,基于l1范数的最优化可以准确地恢复K-稀疏信号并且严密地逼近压缩信号。如在图9B中可见,l1球具有与坐标轴融合的点。因此,当l1球放大时,其会在这些点中的一个点中首先接触该表面,该点即该稀疏向量位于的点。
从多个测量M<<N中恢复阶数为N的信号的问题是组合的NP难题。因此,研发了通过搜索有效的但不是最优的逼近来降低计算复杂度的一系列追踪方法。
l1极小化基本原理,也称为基追踪(Basic Pursuit,BP),试图找到其系数具有最小l1范数的信号的表示。这是通过迭代地改进初始基直到不可能进行改进(实现解时)为止来完成的。这需要求解可以用公式表示为线性规划问题(LP)的凸极小化问题,因此,来自LP文献的任意算法都可以认为是用于解决BP最优化问题的候选。这些候选中的某些例如是单纯形法(simplex method)、慢但是极其精确的内点法、快速一阶梯度投影法等等:
还提出了基l1极小化问题的若干变形,像二次松弛,也称为LASSO
或Dantzing选择器
其受‖ΦT(Φx-y)‖∞≤ε约束
尽管BP是在没有指定算法的情况下全局优化的基本原理,但是称为正交匹配追踪(OMP)的另一种恢复技术实际上是一种迭代算法,其并不明确地寻找任何总体目标,但是重复的应用简单的规则。如果OMP与用于BP的单纯形法相比较,前者从空模型开始并且在每一个步骤建立信号模型。相反,BP-单纯形从完整模型开始摒弃尝试通过在每一个步骤从该模型中迭代地摒弃无用的项来改进。
该算法基本包括通过找出Φ中与y最相关的列来选择第一“主动(active)”分量,并从y中减去它来形成y′。然后,以y′作为开始的主动分量来重复该过程。该算法在迭代之间使“主动集”正交化,并且对于小型问题非常快速。然而,其对于有噪声的大信号,并不是很精确并且并不强壮。
对于大型系统,通过比一般求解程序运行得更快的迭代阈值算法可以获得对稀疏解的良好逼近。该思想用来猜测解yk,并将其回代来得到估计的xk=ΦTΦyk。这是用来获得yk+1的阈值。这样有效果是因为在稀疏信号中,xk在主动集中将是最大的,而在其它地方则非常小。其是与BP类似的过程,但是非常快速并且对于稀疏信号非常有效并且对于逼近地恢复稀疏(可压缩)信号相对精细。
稀疏化变换是将图像的向量映射成稀疏向量的算子。近年来稀疏图像表示中的广泛研究已经产生了可以对许多不同类型的图像进行稀疏化的各种不同变形。例如,分段常值图像可以用空间有限差(即,计算相邻像素之间的差)来稀疏地表示,这是因为当远离边界时,差消失。稀疏程度等于图像中的“跳跃(jump)”的数目。这与进行高通滤波运算类似。
利用总变差(Total Variation,TV)变换的稀疏化特性并且考虑到对象的TV范数接近其梯度的l1范数,压缩传感恢复问题可以用公式表达为:
这也是可以用内点法求解的凸问题。虽然可能会慢,但这对于恢复图像来说是精确和鲁棒的极小话方法。
在所提议的被动式辐射成像设备和方法中应用这些一般性考虑意味着所获得的探测信号被应用了如上一般地应用的l1范数极小化算法。然而,重要的是要注意,在该情况中,我们没有采用比正常扫描中少的测量。根据本发明,必要的相干性是通过积分时间的随机化而不是通过在随机的位置获得更少的采样来实现的。
以图2中的场景24为例,其可以表示为长度为N的向量x。由于该图片显然是分段常值的,所以可以通过应用总变差(TV)变换使其稀疏化。只要看看计算图像的总变差的结果就可以明显看到该稀疏化变换。在图11A中示出使用基准图片Lena的第二图像来理解更一般的图像中TV变换的稀疏化效果(如图11B中所示)。换而言之,该TV变换当被施加于分段平滑图像时获得稀疏表示。利用本发明处理的辐射图像也是分段常值的,因此,TV变换也将产生稀疏图像。
辐射仪产生输出电压,该输出电压与Plank定律成比例,Plank定律描述来自温度为T的黑色身体的所有波长的电磁辐射的光谱辐射强度(spectral radiance):
其中,h和k分别是Plank常量和Boltzmann常量,f是频率,c是光速并且T是正被测量的身体的温度。该公式表示放射面的每单位面积、每单位立体角和每单位频率的放射功率。
为了计算辐射仪中接收到的辐射面每单位面积的总能量(辐射度),需要在辐射仪接收系统的整个频段上对光谱辐射强度积分。
此外,为了获得每个斑点(像素)的总辐射能量,该值必需乘以由一个斑点覆盖的面积(A),而该面积又取决于天线元件的辐射方向图:
辐射仪还接收与信号混合的噪声。该噪声来自若干个源,但这在本发明的范围以外因此这里不做说明。只要知道需要收集足够的能量来补偿输入和自己系统的噪声即可。这可以通过增大积分间隔(带宽)或将确定量的时间(积分时间)期间的能量相加来完成。
因此,利用图2中所示的设备那样的设备来扫描场景,为每个像素采用随机的积分时间的处理可以描述为进行测量:
其中,该测量矩阵包括用于该图像中的每个像素的随机积分时间。
然后,通过使用一些已知的线性规划方法来应用上述l1极小化算法的总变差版本,实现所希望的辐射图像的重构,已知的线性规划方法例如是Fletcher-Reeves共轭梯度迭代方案,其被记载在R.Fletcher and C.M.Reeves,“Function minimization by conjugate gradients”,The computer Journal,vol.7,no.2,pp.149-154,1964中。
l1极小化是公知技术,在以上已经简要说明。此外,可用于解决像l1极小化问题这样的凸问题的线性规划或非线性算法也是公知的。
所提议的思想不限于使用如图2和图3中所示顺序地扫描场景的单个辐射仪的被动式辐射成像设备。其也可以应用于设备10c,设备10c采用包括以行或列分布的多个辐射仪单元13,如在图10的实施例中所示意性地描述的。单个辐射仪单元13的斑点由斑点移动装置14c在控制器16c的控制下移动,其中斑点可以被单独地(例如,不同地)移动,或者可以被同时和相同地移动(例如,在相同方向上,具有相同速度,……)。因此,相比于仅具有一个单独的辐射仪单元13的实施例而言,利用这样的实施例,由于可以同时测量来自不同斑点的辐射所以可以节省测量时间。
可替换地,也可以是在一个辐射仪单元(或者一组辐射仪单元)在向另一个(或多个)位置移动的同时,另一个辐射仪单元(或另第一组辐射仪单元)探测辐射。
已经在附图和以上描述中详细图解和描述了本发明,但是这样的图解和描述仅被认为是说明性或示例性的而不是限制性的。本发明不限于所公开的实施例。实践要求保护的发明的本领域技术人员从附图、公开和权利要求书中可以理解和实现所公开的实施例的其他变形例。
在权利要求书中,词语“包含”不排除其他元件或步骤,并且不定冠词“一个”不排除多个。单个元件或其他单元可以完成权利要求书中所记载的若干项功能。事实是:某些措施被记载在相互不同的独立权利要求中并不表示这些措施的组合不能被有利地使用。
计算机程序可以存储/分发在何时的介质上,例如与硬件一起提供或作为其一部分的光存储介质或固态介质,但是计算机程序也可以以其他形式分发,例如经由互联网或其他有线或无线通信系统。
权利要求书中的任意参考符号不应被理解为是对保护范围的限制。
Claims (15)
1.一种用于扫描场景(24)的被动式辐射成像设备(10),所述设备包括:
辐射仪(12),用于探测从所述场景(24)的斑点(22)在预定频谱范围中放射的辐射,并用于从探测到的辐射生成辐射信号,
斑点移动装置(14),用于实现从其探测所述辐射的所述斑点(22)到不同位置的移动,
控制装置(16),用于控制所述斑点移动装置(14)以实现所述斑点(22)在随机时间间隔后从一个位置到另一位置的移动,以及
处理装置(18),用于处理从在所述不同位置处的所述斑点(22)探测到的辐射信号,并用于通过应用压缩传感来重构所述场景(24)的图像(30)。
2.如权利要求1所述的被动式辐射成像设备,其中,所述处理装置(18)适用于通过对所述辐射信号应用l1范数极小化算法来重构所述图像。
3.如之前任一权利要求所述的被动式辐射成像设备,其中,所述斑点移动装置(14)包括机械斑点移动装置(14a),所述机械斑点移动装置(14a)用于实现所述辐射仪(12a)相对于所述场景(24)的相对运动以实现所述斑点(22)的移动,具体地,所述机械斑点移动装置(14a)用于机械地移动辐射仪(12a)以实现所述斑点(22)的移动。
4.如权利要求1或2所述的被动式辐射成像设备,其中,所述斑点移动装置(14)包括电子斑点移动装置(14b),所述电子斑点移动装置(14b)用于电子地移动所述辐射仪(12b)的灵敏度分布以实现所述斑点(22)的移动,具体地,所述电子斑点移动装置(14b)是电子波束定位装置或电子波束成形装置。
5.如之前任一权利要求所述的被动式辐射成像设备,其中,所述斑点移动装置(14)适用于实现所述斑点(22)在所述场景(24)上的连续移动,其中所述连续移动的速度是随机变化的。
6.如之前任一权利要求所述的被动式辐射成像设备,其中,所述斑点移动装置(14)适用于实现所述斑点(22)的移动以使得所述场景(24)被完全扫描,具体地,所述斑点(22)在所述场景(24)上沿着连续轨线被顺序地移动。
7.如之前任一权利要求所述的被动式辐射成像设备,其中,所述场景(24)的辐射信号在已知域中具有稀疏表示,具体地,所述已知域是总变差域、傅里叶域、小波域和曲波域。
8.如之前任一权利要求所述的被动式辐射成像设备,其中,所述控制装置(16)适用于从预定时间间隔或从可选时间间隔表中选择所述斑点(22)在一个位置处停留的随机时间间隔。
9.如权利要求1至7中任一项所述的被动式辐射成像设备,其中,所述控制装置(16)适用于通过使用预定函数或分布来确定所述斑点(22)在一个位置处停留的时间间隔,具体地,所述分布是均匀伯努利或高斯分布。
10.如之前任一权利要求所述的被动式辐射成像设备,其中,所述控制装置(16)适用于选择平均时间间隔,使得在所述场景(24)具有较高信息分布的位置处的平均时间间隔比在所述场景(24)的信息分布较低的位置处的平均时间间隔大。
11.如之前任一权利要求所述的被动式辐射成像设备,其中,所述辐射仪(12a,12b)包括用于探测从表示单个像素的斑点(22)放射的辐射的单个辐射仪单元。
12.如权利要求1至10中任一项所述的被动式辐射成像设备,其中,所述辐射仪(12c)包括用于探测从表示像素行或像素阵列的斑点(22)放射的辐射的辐射仪单元行或辐射仪单元阵列。
13.如之前任一权利要求所述的被动式辐射成像设备,其中,所述辐射仪适用于探测在毫米波长范围内放射的辐射,具体地,在从0.1mm到100mm的波长范围内,优选地从1mm到10mm的波长范围内放射的辐射。
14.一种用于扫描场景的被动式辐射成像方法,所述方法包括以下步骤:
探测从所述场景(24)的斑点在预定频谱范围中放射的辐射,以及从所述探测到的辐射生成辐射信号,
将从其探测所述辐射的所述斑点(22)移动到不同位置,
控制所述斑点(22)的移动以使得所述斑点(22)在随机时间间隔之后从一个位置移动到另一位置,以及
处理从在所述不同位置处的所述斑点(22)探测到的辐射信号,以及通过应用压缩传感来重构所述场景(24)的图像(30)。
15.一种包括程序代码装置的计算机程序,当所述计算机程序在计算机上被执行时,用于在如权利要求1中所述的被动式辐射成像设备中执行如权利要求14所述的方法的处理和重构的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09180363.5 | 2009-12-22 | ||
EP09180363 | 2009-12-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102103018A true CN102103018A (zh) | 2011-06-22 |
Family
ID=43805685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010106101101A Pending CN102103018A (zh) | 2009-12-22 | 2010-12-22 | 被动式辐射成像设备和相应方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8610074B2 (zh) |
EP (1) | EP2357785B1 (zh) |
CN (1) | CN102103018A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110749916A (zh) * | 2019-10-25 | 2020-02-04 | 上海联影医疗科技有限公司 | 获取pet探测器晶体时间延迟量的方法、装置和计算机设备 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102727259B (zh) * | 2012-07-26 | 2014-11-05 | 中国科学院自动化研究所 | 基于有限角度扫描的光声断层成像装置及方法 |
GB2516865A (en) * | 2013-08-02 | 2015-02-11 | Nokia Corp | Method, apparatus and computer program product for activity recognition |
US10091440B1 (en) | 2014-05-05 | 2018-10-02 | Lockheed Martin Corporation | System and method for providing compressive infrared imaging |
KR102403502B1 (ko) * | 2015-10-13 | 2022-05-30 | 삼성전자 주식회사 | 무선 통신 시스템에서 채널 상태 추정 방법 및 장치 |
CN105472227B (zh) * | 2016-01-26 | 2018-11-27 | 中国工程物理研究院流体物理研究所 | 一种记录超快过程的数字成像装置及方法 |
CN107784664B (zh) * | 2017-12-05 | 2021-07-27 | 韶关学院 | 一种基于k稀疏的快速鲁棒目标跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455870A (zh) * | 2000-09-13 | 2003-11-12 | 纽卡斯尔诺森伯兰大学 | 微波的全息检测方法和装置 |
US20050228265A1 (en) * | 2002-03-28 | 2005-10-13 | The University Court Of The University Of St. Andrews | Medical imaging apparatus |
US20060038705A1 (en) * | 2004-07-20 | 2006-02-23 | Brady David J | Compressive sampling and signal inference |
US20070221847A1 (en) * | 2004-01-22 | 2007-09-27 | Farran Technology Limited | Illumination Method and Apparatus |
CN101236237A (zh) * | 2006-11-15 | 2008-08-06 | 西门子公司 | 在磁共振断层摄影中设计射频激励脉冲的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6384414B1 (en) * | 1997-11-25 | 2002-05-07 | Board Of Regents, The University Of Texas System | Method and apparatus for detecting the presence of an object |
-
2010
- 2010-10-28 EP EP10189153A patent/EP2357785B1/en not_active Not-in-force
- 2010-11-04 US US12/939,514 patent/US8610074B2/en active Active
- 2010-12-22 CN CN2010106101101A patent/CN102103018A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455870A (zh) * | 2000-09-13 | 2003-11-12 | 纽卡斯尔诺森伯兰大学 | 微波的全息检测方法和装置 |
US20050228265A1 (en) * | 2002-03-28 | 2005-10-13 | The University Court Of The University Of St. Andrews | Medical imaging apparatus |
US20070221847A1 (en) * | 2004-01-22 | 2007-09-27 | Farran Technology Limited | Illumination Method and Apparatus |
US20060038705A1 (en) * | 2004-07-20 | 2006-02-23 | Brady David J | Compressive sampling and signal inference |
CN101236237A (zh) * | 2006-11-15 | 2008-08-06 | 西门子公司 | 在磁共振断层摄影中设计射频激励脉冲的方法 |
Non-Patent Citations (1)
Title |
---|
MICHAEL LUSTIG等: "Sparse MRI: The Application of Compressed Sensing for Rapid MR Imaging", 《MAGNETIC RESONANCE IN MEDICINE》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110749916A (zh) * | 2019-10-25 | 2020-02-04 | 上海联影医疗科技有限公司 | 获取pet探测器晶体时间延迟量的方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2357785A1 (en) | 2011-08-17 |
US8610074B2 (en) | 2013-12-17 |
US20110147593A1 (en) | 2011-06-23 |
EP2357785B1 (en) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8692708B2 (en) | Radiometric imaging device and corresponding method | |
CN102103018A (zh) | 被动式辐射成像设备和相应方法 | |
Wang et al. | RMIST-Net: Joint range migration and sparse reconstruction network for 3-D mmW imaging | |
Salucci et al. | GPR prospecting through an inverse-scattering frequency-hopping multifocusing approach | |
Leigsnering et al. | Compressive sensing in through-the-wall radar imaging | |
US20090284405A1 (en) | Passive Detection Apparatus | |
Wei et al. | Sparse array microwave 3-D imaging: Compressed sensing recovery and experimental study | |
US9970870B2 (en) | Reconfigurable reflect-array to realize task-specific compressive sensing in screening applications | |
Bendory et al. | Super-resolution on the sphere using convex optimization | |
Regmi et al. | Squigglemilli: Approximating sar imaging on mobile millimeter-wave devices | |
Novikov et al. | Illumination strategies for intensity-only imaging | |
Joy et al. | Joint down-range and cross-range RFI suppression in ultra-wideband SAR | |
EP2146327A1 (en) | An electromagnetic body scanning system, a method and a computer program product | |
Don et al. | Antenna radiation pattern compressive sensing | |
Tang et al. | Enhanced through-the-wall radar imaging using Bayesian compressive sensing | |
Raj | A hierarchical Bayesian-MAP approach to inverse problems in imaging | |
Tuncer et al. | Analysis of unknown velocity and target off the grid problems in compressive sensing based subsurface imaging | |
Chen et al. | Inverse synthetic aperture radar imaging with two-dimensional cluster sparse structure by matrix-formed iteratively reweighted complex approximate message passing | |
Borcea et al. | A Resolution Study for Imaging and Time Reversal in | |
Ghanbarzadeh-Dagheyan et al. | A holey cavity for single-transducer 3D ultrasound imaging with physical optimization | |
Duman et al. | Performance analysis of compressive‐sensing‐based through‐the‐wall imaging with effect of unknown parameters | |
Mamandipoor et al. | Millimeter wave imaging using sparse arrays | |
Khulbe et al. | Wavelet-based method for nonlinear inverse scattering problem using least mean square estimation | |
Duman et al. | Analysis of compressive sensing based through the wall imaging | |
Hislop et al. | Efficient sampling of electromagnetic fields via the adaptive cross approximation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20160217 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |