CN101933046A - 图像组合 - Google Patents
图像组合 Download PDFInfo
- Publication number
- CN101933046A CN101933046A CN200880125566XA CN200880125566A CN101933046A CN 101933046 A CN101933046 A CN 101933046A CN 200880125566X A CN200880125566X A CN 200880125566XA CN 200880125566 A CN200880125566 A CN 200880125566A CN 101933046 A CN101933046 A CN 101933046A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- space data
- weapon
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30112—Baggage; Luggage; Suitcase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Processing (AREA)
Abstract
揭示了用于组合物体的图像的技术和系统,其中第一物体的图像要被插入第二物体的图像使得该插入对于组合图像的人工观察员基本上不可检测。物体生成器生成第一物体的基本上没有伪像的图像。物体定位器根据第二物体图像中的期望插入点定向第一物体图像。前向投影仪将第一物体图像转换为第一物体的投影空间数据,并且组合器将第一物体投影空间数据与第二物体投影空间数据组合起来。组合的投影空间数据由重构器转换为图像空间数据,并且得到的组合的图像空间数据能够被显示在监视器上用于人工观察。
Description
背景技术
在当前的政治气候和其它考虑下,机场以及其它旅行相关领域中的安全是重要的问题。用于提高旅行安全而使用的一个技术是通过包裹检查。在有的情况下,由筛分人员视觉地检查行李和/或手动地检查行李。在其它情况下,一开始使用某种类型的设备来扫描行李,然后如果需要的话则进一步检查行李。例如,可以使用x射线机来为安全人员提供包的内容的基本上两维的视图,因而使得能够确定是否保证进一步的检查。然而,有的时候,基于两维图像判断三维物体的内容是困难的(例如因为三维项目的内容在二维图像中倒塌或彼此变平)。此外,关于一件行李(或更恰当地其内容)的安全性的决定的质量是进行这样的决定的个体的功能,并且某些个体比其它个体更擅长于识别危险项目(例如枪、刀、爆炸设备和/或其它类型的武器)。
发明内容
提供发明内容来介绍以在下面的具体实施方式中进一步描述的简化形式进行的概念选择。发明内容不用于识别要求保护的主题的关键因素或重要特征,也不用于限制要求保护的主题的范围。
如这里所提供的,通过提供被检查的项目(例如一件行李)更加真实的图像以及提供用于通过分筛危险项目来监视受指控的个人的倾向的机制,能够增强在机场和/或其它旅行相关场所的安全性。即,例如被检查的物体的计算机断层扫描(CT)图像被呈现给分筛人员,并且可以将一个或多个危险项目(例如枪、刀、爆炸设备和/或其它类型的武器)的图像随机放入被检查的项目的图像中以使得能够确定分筛人员是否检出这些项目。
另外,当被检查的项目由CT扫描仪扫描时,使得危险项目的图像看上去好像实际存在于被检查的项目中。即,危险项目的图像被操控以具有与被检查的图像中的伪像一致的伪像,其中这样的伪像是其他事情中用于扫描被检查的项目的CT扫描仪的特定机械和/或电部件的功能。直到现在,这样的危险图像投影由于多种原因是不成功的,例如筛分人员拣选的成像提示,这使得筛分人员容易看见伪像的存在或虚拟插入的危险图像,因而击败故意的目的。以示例的方式,成像提示可以包括减少的伪像,否则的话这些伪像会是预期的/存在的和/或不自然外观的伪像,它们会混杂到正常包背景中,从而在背景的边界处有明显的视觉不连续。
这里提供的图像组合和/或图像插入技术提供了改善的结果,通常因为主要操控正弦图(sinogram)或投影空间数据而不是CT或图像空间数据。即,主要使用测量的线积分而不是包括CT图像的背投影数据。主要在正弦图空间工作允许更加可信的危险插入。
另外,操控正弦图数据也允许创建危险物体或武器的“理想”图像,从而基本上没有伪像的危险项目的存储库(repository)能够增加。这提供了用于产生和存储危险项目的图像的成本有效的机制,从而不同的危险项目能够被随机地放入不同行李箱的图像中,例如不管用于获取被检查的项目的图像的CT扫描仪。即,由于危险项目是理想的或基本上没有伪像的,例如它们能够被改造或破坏以具有与用于扫描行李箱的特定CT扫描仪生成的伪像一致的伪像。主要使用正弦图或投影空间数据工作也允许旋转或操控“理想”(例如基本上没有伪像)的物体的图像,因而例如使得更容易在适合的位置(例如包中空的地方)将危险项目图像放在行李箱中。
在一个示例中,用于将第一物体的图像插入到第二物体的图像中的系统包括物体定位器,前向投影仪、组合器以及重构器。物体定位器用于确定在第二物体的图像中插入第一物体的图像的期望位置以及在第二物体的图像中的第一物体的图像的期望方向中的至少一个。前向投影仪用于将第一物体的图像的图像空间数据转换为第一投影空间数据。组合器用于将第一投影空间数据与第二物体的图像的第二投影空间数据组合起来以生成合成投影空间数据。重构器用于将合成投影空间数据转换为图像空间数据。在该示例中,结果图像空间数据能够显示在监视器上用于人工观察员查看。
在另一个示例中,用于生成基本上没有伪像的武器图像用于之后插入到一件行李的图像中的系统可以包括投影数据校正器以及重构器。投影数据校正器能够用于基于当武器被扫描时的方向、和/或用于获取图像的扫描仪的一个或多个特征来校正武器图像的投影数据。重构器能够用于将武器图像的投影空间数据转换为图像空间数据。
为了实现上述和相关目的,下述描述和附图提供了特定说明性方面和实施。这些指示了数个不同方法,在这些方法中可以采用一个或多个方面。当结合附图考虑时,从下述具体实施方式能够显而易见本发明的其他方面、优势和新颖特征。
附图说明
图1是说明这里提供的可以实施三维(3D)图像组合的环境的示意框图;
图2是说明这里提供的可以实施三维(3D)图像组合的环境的一个或多个部件的示意框图;
图3是说明这里提供的可以获取基本上没有伪像(artifact)的物体图像的环境的一个或多个部件的示意框图;
图4是用于将性能测量物体的图像插入被检查的物体的图像的示例方法的流程图;
图5是用于将性能测量物体的图像插入被检查的物体的图像的示例方法的一个实施例的流程图;
图6是用于生成基本上没有伪像的武器图像的示例方法的流程图;以及
图7是用于生成基本上没有伪像的武器图像的示例方法的一个实施例的流程图。
具体实施方式
下面参考附图描述要求保护的主题,其中相似的附图标记用于指示相似的元件。在下面的描述中,出于说明的目的,提供多个特定细节以提供对要求保护的主题的详尽理解。然而,很明显不需这些特定细节也可以实现要求保护的主题。在其它情况下,以框图形式说明结构和设备以有助于描述要求保护的主题。图1是示例环境100的说明,其中可以采用系统来将第一物体的图像插入到第二物体的图像中,例如以减缓可能提醒人工观察员关于插入的视觉提示的方式。在示例环境100中,例如安全扫描装置(例如用于扫描机场的行李)的物体扫描装置102可以用于扫描物体110(例如在机场的行李箱)。扫描装置通常包括辐射源104(例如x射线管)、辐射检测器阵列106(例如x射线检测器)以及旋转器112(例如龙门架马达),用于使辐射源104和检测器106围绕被扫描的物体110旋转。
作为示例,包括x射线源104(例如x射线管)的计算机断层扫描(CT)安全扫描仪102能够生成在检查区域中横穿(tranverse)例如行李箱的物体110的扇形、锥形、楔形或其它形状的x射线辐射波束。在该示例中,x射线由源104发射,横穿包含要被扫描的物体110的检查区域,并且由在x射线源104对面的x射线检测器106检测。另外,例如,附接到扫描仪的例如龙门架马达驱动的旋转器112能够用于使x射线源104和检测器106围绕物体110旋转。以此方式,能够收集来自行李箱的多个透视的x射线投影,例如对于物体生成一组x射线投影。尽管说明作为第三代系统,本领域技术人员应当理解也考虑了第四代和其它实施。作为另一个示例,辐射源104和检测器106可以在物体被旋转时保持静止。
在示例环境100中,数据测量系统114被可操作地连接到扫描装置102,并且通常配置用于收集来自检测器106的信息和数据,并且可以用于对于物体110将收集的数据编译为投影空间数据150。作为示例,在相对于物体110的多个角度位置的每一个角度位置处获取x射线投影。
在示例环境100中,重构器152被连接到数据测量系统114,并且配置用于从数据测量系统114接收投影空间数据150以及使用适当的分析、迭代和/或其它重构技术(例如从投影空间背投至图像空间)来生成指示被扫描的物体110的图像空间数据154。
在一个实施例中,例如行李箱的图像空间数据154可以被最终显示在监视器120上用于人工观察。在该实施例中,操作员可以隔离和操控图像,例如从各种角度、缩放水平和位置旋转和观看行李箱。
应当理解,尽管示例环境100利用重构器(reconstructor)152来例如对于正被扫描的行李箱将投影空间数据转换为图像空间数据,这里描述的技术和系统不限于该实施例。在另一个实施例中,例如,使用指示行李箱的投影空间(而不是图像空间)数据可以确定将要被插入行李箱的第一物体的适当位置和方向。
在示例环境100中,扫描装置系统176可以向物体生成器162发送指示被扫描的第一物体的投影空间数据。物体生成器162例如可以配置用于生成指示第一物体或危险项目164的基本上没有伪像的图像空间数据,从而第一物体能够与第二物体组合(例如第一物体插入第二物体)以创建指示第一和第二物体组合的图像空间数据。该指示第一物体164的基本上没有伪像的图像空间数据例如可以被认为是理想物体图像,用于之后插入到第二物体中用于测试对于危险物品的人工视觉检测或用于训练用户识别这样的物体。
作为示例,扫描装置系统176可以扫描例如枪、刀、爆炸设备或其部件的禁运品或武器,并且如上所述创建用于该危险项目的投影空间数据。物体生成器162能够接收用于被扫描的危险项目的投影空间数据并生成用于危险项目164的图像空间数据。在该示例中,生成的图像空间数据164能够基本上没有由于危险项目(例如枪)扫描操作导致的伪像,并且能够是基本上将危险项目与图像空间中的非危险项目物体隔离的图像空间数据。另外,在该示例中,能够生成用于危险项目164的图像空间数据,从而可以之后将其插入到行李箱的图像中用于测试机场的人工行李筛分人员。
图3是示例系统300的部件框图,示例系统300可以配置用于生成基本上没有伪像的武器图像326,用于后续破坏(corrupt)和插入一件行李的图像中,例如图1的示例环境100中的物体生成器162。在一个实施例中,结果图像空间数据326可以被考虑作为理想物体图像,由于其是能够之后用于插入到物体的另一个图像的理想的武器图像(例如与上述关于162描述的相似)。
示例系统300可以包括投影数据校正器302,投影数据校正器302能够配置用于基于当武器被扫描仪扫描以获取武器的图像时武器的方向306以及用于获取武器的图像的扫描仪的特征308中的至少一个来校正武器的投影数据304。
在一个实施例中,例如,当例如潜在危险项目(例如枪、刀或爆炸设备)的物体由扫描装置扫描时,图像数据可以包括伪像。然而,伪像可以根据因素而变化,因素例如是物体在扫描仪检查区域内的位置和方向、用于获取投影数据的特定扫描仪的设计和其它特征、选定的扫描设置等。因而,在这个例子中,投影数据校正器302能够校正指示由扫描装置在特定方向扫描的危险项目304的投影空间数据,结果得到指示危险项目320的投影空间数据,该投影空间数据能够产生基本上没有伪像的图像空间数据并说明Hounsfield单元恢复。
示例系统300也可以包括重构器310,重构器310能够配置用于将指示武器的投影空间数据320转换为例如指示武器的图像空间数据322。作为示例,重构器310能够配置用于将指示危险项目的投影空间数据320背投影至指示危险项目的图像空间数据322。
在一个实施例中,示例系统300也可以包括物体隔离器312,物体隔离器312能够配置用于将武器与图像空间数据322的其它物体基本上隔离。作为示例,当例如枪的武器被扫描装置扫描时,作为扫描处理的结果,其它物体可能存在于结果图像空间数据322中。在该示例中,物体隔离器312能够主要地从指示危险项目322的图像空间数据移除基本上所有的非危险项目物体,结果得到指示危险项目的图像空间数据而基本上没有任何非危险项目物体324。
在另一个实施例中,示例系统300也可以包括物体位置调节器(posintioner)314,物体位置调节器314能够配置在武器图像中在期望的方向上将武器位于图像空间中(例如,如同武器位于扫描仪的等角点(isocenter))。作为示例,例如枪的武器的图像可以之后被插入例如行李箱的另一个图像。在该示例中,为了使得枪在行李箱中的插入在视觉上自然(例如,如同枪在行李箱中并且它们一起被扫描),枪的图像的方向需要被调节以适当地适合行李箱的图像。另外,在该示例中,为了调节枪的图像的方向,可能需要确定枪的图像的真实中心(例如枪的三维表示的真实中心),从而当调节枪的图像的方向时,枪的位置基本上保持不变。在该实施例中,物体位置调节器314能够发现指示武器324的图像空间数据的真实中心,结果得到指示具有真实中心326的武器的图像空间数据。
在另一个实施例中,示例系统300也可以包括存储部件316,存储部件316能够配置用于存储例如武器的基本上没有伪像的图像。作为示例,存储部件316可以是位于在远程位置的计算机系统上的硬盘驱动器磁盘,计算机系统用于扫描各种武器和其它危险物体。在该示例中,结果图像能够存储在计算机系统中并之后被转移到具有实时危险检测系统的设施(例如机场),在那里能够在危险检测系统中利用危险物体的图像。
返回图1,在示例环境100中,指示第一物体164的图像空间数据(例如理想物体图像)能够被存储在存储部件166(例如硬盘驱动器、磁盘、CD ROM、闪存等)中,例如存储在理想对象的图像空间数据存储库中。在该示例中,存储部件166可以远离示例环境100的其它部件。物体的理想图像能够被中继168(例如在因特网上发送)到第二存储部件180,例如中继到在另一个位置的理想物体的图像空间数据的存储库。
作为示例,潜在危险项目164(例如枪、爆炸设备、刀)的理想物体图像可以在远程位置生成并且被存储在位于远程位置168(例如图像扫描设施)的一系列硬盘驱动器166上的电子数据库内。扫描装置102可以位于机场,用于当乘客登机时扫描乘客的行李。在该示例中,理想物体图像的数据库能够被发送到168位于机场的一系列硬盘驱动器180上的数据库中用于机场的危险检测系统。
应当理解,尽管按照系统部件描述了图1中的物体生成器162以及示例系统300,这里描述的技术和系统不限于这些实施例。在一个实施例中,物体生成器162可以是允许用户生成和/或操控理想物体的图像的计算机软件。例如,可以使用利用计算机图形来生成图像的软件程序(例如CGI软件)来创建危险物体(例如枪、爆炸设备、刀)。
在图1中,示例环境100采用用于将第一物体的图像插入到第二物体的图像的示例系统。示例系统能够包括物体定位器156,物体定位器156配置用于确定下述至少一个:在第二物体的图像中插入第一物体的图像的期望位置;和在第二物体的图像中插入第一物体的图像的期望方向。
在一个实施例中,第一物体的图像可以是枪并且第二物体的图像可以是行李箱。在该实施例中,物体定位器156能够接收指示行李箱154的图像空间数据以及指示危险项目182的图像空间数据,并且使用该信息来确定在图像空间中将危险项目插入到行李箱中的适当位置。物体定位器156能够使用两组数据154和182来确定使危险项目适合行李箱的似乎真实的位置以及使危险项目适合行李箱的适当方向。作为示例,行李箱可以包含在旅行时通常使用的多个友好(benign)项目。在该示例中,为了在行李箱中创建对于人工观察员看上去自然的危险项目的组合图像,物体定位器156可以识别行李箱中适合危险项目的位置并且将危险项目定向使得自然地适合该位置。
在另一个实施例中,物体定位器可以配置用于将项目从行李箱中移除,例如通过操控与将要从行李箱中移除的项目对应的图像空间数据。在该示例中,危险项目能够被定向以自然地适合通过移除项目而创建的行李箱中的空间。
例如,物体定位器156能够生成指示在第二物体的图像空间中第一物体的位置以及方向的用于第一物体的图像空间数据170。在该示例中,由物体定位器156生成的用于第一物体的图像空间数据170可以是危险项目的理想对象图像,被定向使得自然地适合行李箱的图像。另外,在该示例中,由物体定位器156生成的用于第一物体的图像空间数据170可以是危险项目的理想物体图像,被定位使得自然地适合行李箱的图像。
在示例环境100中,示例系统能够包括前向投影仪158,配置用于将第一物体的图像的图像空间数据170转化为指示第一物体的第一投影空间数据172。前向投影仪158能够用于从指示危险项目的图像空间数据170中创建指示危险项目的投影空间数据172,就好像已经由扫描装置扫描一样。
在示例环境100中,示例系统能够包括组合器160,配置用于将第一投影空间数据172与第二物体的第二物体投影空间数据150组合起来以生成例如指示组合的第一和第二物体的合成投影空间数据174。作为示例,可以通过使用机场的扫描装置扫描行李箱以及例如通过加入对应的投影空间数据的投影而组合第一投影空间数据172和第二投影空间数据150,已经生成指示行李箱的投影空间数据150。在一个实施例中,扫描仪能够在例如行李箱的第二物体上使用离子化辐射以获取第二投影空间数据。在该实施例中,第二投影空间数据对应于第二物体的内部(例如行李箱的内部),并且也可以包括例如离子化辐射的能量和离子化辐射的剂量的扫描仪特征。
图2是示例组合器160的一个实施例的部件框图。在该实施例中,示例组合器160能够包括第一投影数据反校正器(uncorrector)202,配置用于破坏第一投影空间数据172,使得当从第一投影空间数据重构时,第一物体的图像空间数据包括伪像,该伪像模仿或者近似如果第一物体实际被第一扫描仪102扫描时可能存在的伪像。更特别地,例如,可以基于下述一个或多个来修改第一物体空间数据:如果第一物体实际已经被第一扫描仪102扫描,第一物体的位置或方向;第一扫描仪102的设计或其它特征;以及第一扫描仪的扫描设置。
作为示例,能够从前向投影仪158向第一投影数据反校正器202发送指示第一物体的投影空间数据172。再调用指示第一物体可以是理想物体的投影空间数据172,例如基本上没有伪像。破坏数据使得指示第一物体的得到的破坏后的投影空间数据210看上去已经通过使用扫描装置102扫描第一物体而生成。
以此方式,例如,在现场外(offsite)设施使用现场外扫描仪扫描的危险项目能够看上去好像是在现场(onsite)设施使用现场扫描仪扫描行李箱而扫描的。当扫描物体时,结果扫描数据能够通常具有对于单个的扫描装置独特的特征。这些独特特征通常出现作为被扫描的物体的结果图像中的伪像。在该示例中,没有第一投影数据反校正器202,如果使用第一扫描仪扫描危险项目并且使用第二扫描仪扫描行李箱,行李箱中危险项目的结果组合图像对于人工观察员来说看上去可能不自然。另外,在理想图像的情况下,不存在伪像也可能对于操作员是线索。
在图2中,示例组合器160能够可选地包括扇形数据转换器204,扇形数据转换器204能够配置用于将第一物体的平行投影空间数据210转换为第一物体的扇形投影空间数据212。在该实施例中,当使用利用扇形能量波束创建被扫描的物体的投影的扫描仪生成指示第二物体的第二投影空间数据150时,可以可选地利用扇形数据转换器204,而指示第一物体的第一投影空间数据172处于平行投影空间。因而,例如,为了恰当地组合,第一和第二投影空间数据应当是扇形的。
在图2中,示例组合器160能够包括投影空间数据组合器206,投影空间数据组合器206可以配置用于组合指示第一物体的破坏后的第一投影空间数据210(或可选地212)和指示第二物体的第二投影空间数据150,创建指示组合的第一和第二物体的合成投影空间数据214。作为示例,通过使用在机场的扫描仪扫描行李箱而生成的指示行李箱的投影空间数据150能够与已经被破坏使得看上去像由机场的扫描仪扫描的指示枪的投影空间数据210(或可选地212)组合。以此方式,例如,能够在投影空间将枪插入行李箱,并且它们能够看上去好像是在相同时间由相同扫描仪扫描。
在图2中,示例组合器160能够包括第二投影数据反校正器208,第二投影数据反校正器208能够配置用于破坏合成投影空间数据214以生成在破坏后的投影空间数据的重构的图像空间数据中存在的伪像。作为示例,当单个地扫描物体并且将结果投影空间数据重构为图像空间数据时,各个物体图像通常具有与它们相关联的独特伪像。然而,当物体被组合在一起并且一起被扫描时(例如行李箱中的枪),组合物体图像中的结果伪像可能与单个地扫描的物体的图像的伪像不同。因而,在该示例中,两个单个地扫描的物体的合成的结果图像可能具有与一起扫描的物体的图像不同的伪像。
在一个实施例中,第二投影数据反校正器208破坏指示组合的第一物体(例如枪)和第二物体(例如行李箱)的合成投影空间数据214,使得得到的破坏后的合成投影空间数据174看上去像是在相同时间一起扫描(例如枪和行李箱被一起扫描)的第一和第二物体的投影空间数据。
返回图1,在示例环境100中,示例系统能够包括重构器118,重构器118能够配置用于将合成投影空间数据174转换为合成图像空间数据178。作为示例,重构器118能够将指示行李箱中的危险项目的合成投影空间数据174背投影到指示行李箱中危险项目的图像空间数据178(例如,包括示出行李箱中危险项目的三维图像的数据)。
在一个实施例中,指示行李箱中危险项目的图像空间数据178例如可以被显示在监视器120上用于人工观察。在该实施例中,操作员能够隔离和操控图像,例如如从各种角度、缩放水平和位置旋转和观看图像,主要地从这些透视的每一个看到行李箱中的危险项目。
可以设计一种方法用于将性能测量物体的图像插入到被检查的物体的图像中,使得组合的性能测量物体和被检查的物体的人工观察员可能不能视觉地检测该插入。图4是用于将将性能测量物体的图像插入到被检查的物体的图像中的示例方法400的流程图。示例方法400在402开始并且包括在404确定在被检查的物体图像中插入性能测量物体的图像的期望位置。例如,能够确定在行李箱的图像中放入危险项目的图像的适当位置,从而得到的组合图像看上去自然(例如,好像危险项目在行李箱内并且它们一起由扫描装置扫描)。
在406,性能测量物体的图像的图像空间数据被转换为第一投影空间数据(例如指示性能测量物体的投影空间数据)。例如,危险项目的图像空间数据能够被转换为可能由扫描装置正在扫描危险项目得到的数据(例如从正被扫描的危险项目得到投影空间数据)。在408,第一投影空间数据(例如危险项目的扫描数据)被与被检查的物体的图像的第二投影空间数据(例如行李箱的扫描数据)组合以生成合成投影空间数据(例如,行李箱内的危险项目的扫描数据)。作为示例,危险项目的投影空间数据能够与行李箱的投影空间数据组合,得到行李箱中的危险项目的投影空间数据。
在410,合成投影空间数据(例如指示行李箱中的危险项目)被转换为图像空间数据。例如,指示行李箱中的危险项目的投影空间数据(例如行李箱中的危险项目的扫描数据)能够被背投影到图像空间数据,图像空间数据能够用于在显示器上呈现图像。在将投影空间数据转换为图像空间数据之后,示例方法400在412结束。
图5是用于将性能测量物体的图像插入到被检查的物体的图像中的示例方法500的一个实施例的流程图。在该实施例中,在504,确定在被检查的物体图像中插入性能测量物体的图像的期望位置,例如在示例方法400中的404。在506,确定在被检查的物体图像中的性能测量物体的图像的期望方向。例如,基于所选的放置危险项目的位置以及行李箱的方向,能够确定危险项目在行李箱中的适当方向。
在508,性能测量物体的图像的图像空间数据被转换为第一投影空间数据,例如示例方法400中的406。在510,基于用于获取被检查的物体的图像的扫描仪的特征破坏第一投影空间数据。例如,能够使用一个或多个扫描仪特征来破坏指示危险项目的投影空间数据,从而看上去数据是由用于获取被检查的物体的图像的扫描仪正在扫描的危险项目的结果。
在512,基于确定的性能测量物体的图像的方向来破坏第一投影空间数据。例如,当在506确定危险项目的方向时,确定的危险项目的方向能够用于破坏危险项目的投影空间数据,从而看上去危险项目在该方向被扫描。在514,第一投影空间数据与被检查的物体的图像的第二投影空间数据组合以生成合成投影空间数据,如同示例方法400中的408。
在516,破坏合成投影空间数据从而生成在破坏的合成投影空间数据的重构的图像空间数据中表示的伪像。作为示例,当合成投影空间数据被转换为图像空间数据并且被表示为图像时,可能存在于图像中的伪像应当看上去好像当行李箱被扫描时危险项目在行李箱内。因而,在该示例中,合成投影空间数据能够被破坏使得当将合成投影空间数据转换为图像空间数据时,结果图像能够看上去好像当行李箱被扫描时危险项目在行李箱内。
在518,合成投影空间数据被转换为图像空间数据,如同示例方法400中的410,并且基本上与安全检查同时地以人工可视形式显示合成图像空间数据。作为示例,人工行李检查员可以位于机场中的危险检测系统。在该示例中,行李移动经过扫描装置并且检察员查看显示屏幕上的结果图像。在该实施例中,在行李箱的图像出现在显示监控器上之前,危险项目的图像能够被插入到移动经过扫描系统的行李箱中。以此方式,人工观察员可能检测不到危险项目的插入图像不是被扫描装置扫描的行李箱中的真实危险项目。在显示了合成图像以后,示例方法500在522结束。
可以设计一种方法用于生成基本上没有伪像的武器图像,用于后续破坏和插入一件行李的图像中,例如使得武器的图像是基本上没有非武器物体或图像中存在的伪像的武器的理想物体图像。图6是用于生成基本上没有伪像的武器图像用于后续破坏和插入到行李图像中的示例方法600的流程图。示例方法600在602开始并且包括在604基于当武器被扫描仪扫描以获取武器的图像时武器的方向606以及用于获取武器的图像的扫描仪的特征608中的至少一个来校正武器的图像的投影数据。
作为示例,当扫描例如枪的武器时,在扫描过程中枪的方向能够创建在结果图像中的伪像,该伪像对于扫描过程中的枪的特定方向是独特的。此外,在该示例中,单个的扫描仪能够具有独特特征,该独特特征可以将其自己表明为由扫描仪扫描的枪的结果图像中的伪像。因而,为了创建枪的理想物体图像,例如,在投影空间能够说明一个或多个这些伪像创建情形。
在示例方法600中,在610,武器的图像的投影空间数据被转换为例如指示武器的图像空间数据。例如,作为正被扫描的枪的结果的投影空间数据能够被背投影到指示被扫描的枪的图像空间数据。将投影空间数据转换以后,示例方法600在612结束。
图7是用于生成基本上没有伪像的武器图像用于后续破坏和插入到行李图像中的示例方法700的一个实施例的流程图,例如图6中的示例方法600。示例方法700在701开始并且包括在704基于当武器被扫描仪扫描以获取武器的图像时武器的方向706以及用于获取武器的图像的扫描仪的特征708中的至少一个来校正武器的图像的投影数据,如同在示例方法600中。
在710,武器基本上被与图像的其它物体隔离。例如,在扫描例如枪的武器的过程中,其它非枪物体可能存在于结果图像空间数据中。在该示例中,枪能够基本上与投影空间数据中的非枪物体隔离。应当理解,武器也可以与指示武器的图像空间数据中的非武器物体隔离。
在712,武器的图像的投影空间数据被转换为图像空间数据,如同示例方法600中的610。在714,图像空间中的武器位于武器的图像中的期望方向。例如,能够确定例如枪的武器的图像的真实中心从而之后可以调节枪的图像的方向而不需改变枪的图像的位置。已经放置好武器的图像以后,示例方法700在716结束。
这里提供了实施例的各种操作。在一个实施例中,描述的一个或多个操作可以构成在一个或多个计算机可读介质上存储的计算机可读指令,如果该指令由计算设备执行,将使得计算设备执行描述的操作。一些或所有操作的描述顺序不应当被理解为这些操作是必须依赖于顺序的。在本描述的启发下,本领域技术人员应当能够知道可选顺序。另外,应当理解不是所有的操作都必须存在于这里提供的每个实施例。
另外,这里使用词语“例子”和/或“示例”用于表示作为例子、实例或说明。这里描述的作为“例子”和/或“示例”的任何方面、设计等不是必须被理解为优于其它方面、设计等。相反,这些术语的使用意欲以具体的形式呈现概念。如本申请中所使用的,术语“或”意欲表示包括的“或”而不是排除的“或”。即,除非另行指出或从上下文中显而易见,“X采用A或B”意欲表示任何自然包括排列。即,如果X采用A;X采用B;或X采用A和B,则在所任一上述情况下满足“X采用A或B”。另外,本申请和所附权利要求中使用的“一”和“一个”通常可以被理解为表示“一个或多个”,除非另行指出或从上下文中显而易见指的是单数形式。
同时,尽管已经关于一个或多个实施描述和示出了本发明,基于对本说明书和附图的阅读和理解,本领域技术人员能够进行等同替换和变型。本发明包括所有这样的变型和替换并且仅有所附的权利要求限定。特别关于由上述部件(例如元件、资源等)执行的各种功能,用于描述这样的部件的术语意欲对应于(除非另行指出)执行所描述的部件(例如功能地等同)的指定功能的任一部件,尽管在结构上不等同于执行本发明的示例实施中描述的功能的所揭示的结构。另外,尽管已经关于数个实施中的仅一个揭示了本发明的特定特征,这样的特征可以与其它实施的一个或多个特征组合,这对于给定的或特定的申请可以是期望的和有利的。另外,在术语“包括”、“具有”、“包含”、“拥有”或其它变型在具体实施方式或权利要求中使用的范围下,这些术语意欲与术语“包括”相似的方式是包括的。
Claims (24)
1.一种用于将第一物体的图像插入到第二物体的图像中的系统(100),包括:
物体定位器(154),用于确定下述至少一个:
在第二物体的图像中插入第一物体的图像的期望位置,和
在第二物体的图像中的第一物体的图像的期望方向;
前向投影仪(158),用于将第一物体的图像的图像空间数据(170)转换为第一投影空间数据(172);
组合器(160),用于将第一投影空间数据(172)与第二物体的图像的第二投影空间数据(150)组合起来以生成合成投影空间数据(174);以及
重构器(118),用于将合成投影空间数据(174)转换为图像空间数据(178)。
2.根据权利要求1所述的系统,包括:
第一投影数据反校正器(202),用于基于下述至少一个来破坏第一投影空间数据(172):
第一物体的图像在第二物体的图像中的方向;以及
用于获取第二物体的图像的扫描仪的特征。
3.根据权利要求2所述的系统,扫描仪向第二物体施加离子化辐射,以获取与第二物体的内部对应的第二投影空间数据、以及包括施加的辐射的能量和施加的辐射的剂量中至少一个的特征。
4.根据权利要求2所述的系统,包括:
第二投影数据反校正器(208),用于破坏合成投影空间数据(174),以生成用于在被破坏的合成投影空间数据的重构的图像空间数据中表示的伪像。
5.根据权利要求2所述的系统,被破坏的第一投影空间数据(172)包括平行波束投影数据(210)并且所述系统包括:
平行波束至扇形波束转换器(210),用于将平行波束投影数据(210)转换为扇形波束投影数据(212)。
6.根据权利要求5所述的系统,存在下述至少一种情况:
第一物体的图像包括武器的图像;
第二物体的图像包括一件行李的图像;
第一物体的图像包括危险项目的图像;以及
第二物体的图像包括行李箱的图像。
7.根据权利要求6所述的系统,其形成断层安全扫描装置的一部分。
8.根据权利要求1所述的系统,第一物体的图像基本上没有伪像。
9.一种用于生成基本上没有伪像的武器的图像用于后续破坏和插入到一件行李的图像中的系统(300),包括:
投影数据校正器(302),用于基于下述至少一个来校正武器的图像的投影数据(304):
当武器被扫描仪扫描以获取武器的图像时武器的方向(306),和
用于获取武器的图像的扫描仪的特征(308);以及
重构器(310),用于将武器的图像的投影空间数据(320)转换为图像空间数据(322)。
10.根据权利要求9所述的系统,包括:
物体隔离器(312),用于将武器与图像中的其它物体基本隔离。
11.根据权利要求10所述的系统,包括:
物体位置调节器(314),用于在图像空间中将武器置于武器的图像中的期望的方向。
12.根据权利要求11所述的系统,包括:
存储部件(316),用于存储基本上没有伪像的图像。
13.根据权利要求10所述的系统,武器的图像包括危险项目的图像。
14.一种用于将性能测量物体的图像插入到被检查的物体的图像中的方法,包括:
确定在被检查的物体的图像中插入性能测量物体的图像的期望位置;
将性能测量物体的图像的图像空间数据(170)转换为第一投影空间数据(172);
将第一投影空间数据(172)与被检查的物体的图像的第二投影空间数据(150)组合起来以生成合成投影空间数据(174);以及
将合成投影空间数据(174)转换为图像空间数据(178)。
15.根据权利要求14所述的方法,包括:
确定在被检查的物体的图像中的性能测量物体的图像的期望方向。
16.根据权利要求14所述的方法,包括:
在安全检查的过程中,向被检查的物体施加离子化辐射以获取与物体的内部对应的第二投影空间数据(150);以及
基本上与安全检查同时地以人工可视形式显示合成图像空间数据(178)。
17.根据权利要求14所述的方法,包括:
基于用于获取被检查的物体的图像的扫描仪的特征来破坏第一投影空间数据(172)。
18.根据权利要求15所述的方法,包括:
基于性能测量物体的图像的确定的方向来破坏第一投影空间数据(172)。
19.根据权利要求14所述的方法,包括:
破坏合成投影空间数据(174)以生成在被破坏的合成投影空间数据的重构的图像空间数据中表示的伪像。
20.根据权利要求17所述的方法,被破坏的第一投影空间数据(172)包括平行波束投影数据(210)并且所述方法包括:
将平行波束投影数据(210)转换为扇形波束投影数据(212)。
21.根据权利要求14所述的方法,存在下述至少一种情况:
性能测量物体的图像包括危险项目的图像;
被检查的物体的图像包括一件行李的图像;
性能测量物体的图像包括危险项目的图像;以及被检查的物体的图像包括行李箱的图像。
22.一种用于生成基本上没有伪像的武器的图像用于后续破坏和插入到一件行李的图像中的方法(300),包括:
基于下述至少一个来校正武器的图像的投影数据(304):
当武器被扫描仪扫描以获取武器的图像时武器的方向(306),和
用于获取武器的图像的扫描仪的特征(308);以及
将武器的图像的投影空间数据(320)转换为图像空间数据(322)。
23.根据权利要求22所述的方法,包括:
将武器与图像中的其它物体基本隔离。
24.根据权利要求23所述的方法,包括:
在图像空间中将武器置于武器的图像中的期望的方向。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US6231108P | 2008-01-25 | 2008-01-25 | |
US61/062,311 | 2008-01-25 | ||
PCT/US2008/068777 WO2009094042A1 (en) | 2008-01-25 | 2008-06-30 | Image combining |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101933046A true CN101933046A (zh) | 2010-12-29 |
CN101933046B CN101933046B (zh) | 2012-10-03 |
Family
ID=39823379
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880125566XA Active CN101933046B (zh) | 2008-01-25 | 2008-06-30 | 图像组合 |
CN2008801254370A Expired - Fee Related CN101933042B (zh) | 2008-01-25 | 2008-07-31 | 边缘检测 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801254370A Expired - Fee Related CN101933042B (zh) | 2008-01-25 | 2008-07-31 | 边缘检测 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8942411B2 (zh) |
EP (2) | EP2235684B1 (zh) |
CN (2) | CN101933046B (zh) |
WO (2) | WO2009094042A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105223212A (zh) * | 2014-06-25 | 2016-01-06 | 同方威视技术股份有限公司 | 安检ct系统及其方法 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8594445B2 (en) | 2005-11-29 | 2013-11-26 | Adobe Systems Incorporated | Fast bilateral filtering using rectangular regions |
US8655097B2 (en) * | 2008-08-22 | 2014-02-18 | Adobe Systems Incorporated | Adaptive bilateral blur brush tool |
US8345106B2 (en) * | 2009-09-23 | 2013-01-01 | Microsoft Corporation | Camera-based scanning |
US20110085729A1 (en) * | 2009-10-12 | 2011-04-14 | Miaohong Shi | De-noising method and related apparatus for image sensor |
CN102156996B (zh) * | 2011-04-01 | 2013-08-07 | 上海海事大学 | 一种图像边缘检测的方法 |
GB201117804D0 (en) | 2011-10-14 | 2011-11-30 | Siemens Medical Solutions | Automatic local contrast quantification tool |
SE1250048A1 (sv) * | 2012-01-24 | 2013-07-25 | Wesdyne Sweden Ab | En bildförbättringsanordning för reduktion av brus i digitala bilder |
CN103357672B (zh) * | 2012-03-30 | 2015-10-07 | 鞍钢股份有限公司 | 一种带钢边界在线检测方法 |
ITVI20120303A1 (it) * | 2012-11-09 | 2014-05-10 | St Microelectronics Srl | Metodo per rilevare una linea retta in un'immagine digitale |
US9355502B2 (en) * | 2012-12-12 | 2016-05-31 | Analogic Corporation | Synthetic image generation by combining image of object under examination with image of target |
CN103903297B (zh) * | 2012-12-27 | 2016-12-28 | 同方威视技术股份有限公司 | 三维数据处理和识别方法 |
CN103900503B (zh) | 2012-12-27 | 2016-12-28 | 清华大学 | 提取形状特征的方法、安全检查方法以及设备 |
CN104240184B (zh) * | 2013-06-08 | 2017-09-26 | 通用电气公司 | 噪声标准差的估算方法和系统 |
CN105258681B (zh) * | 2015-10-08 | 2017-11-03 | 凌云光技术集团有限责任公司 | 一种用于曲线边缘特征定位的控件及其定位方法 |
EP3451284A1 (de) * | 2017-09-05 | 2019-03-06 | Siemens Healthcare GmbH | Verfahren zur automatischen artefakterkennung in computertomographischen bilddaten |
US20190346381A1 (en) * | 2018-05-11 | 2019-11-14 | Voti Inc. | X-ray scanning system and method |
WO2020082171A1 (en) | 2018-10-22 | 2020-04-30 | Voti Inc. | Tray insert for screening tray |
US11885752B2 (en) | 2021-06-30 | 2024-01-30 | Rapiscan Holdings, Inc. | Calibration method and device therefor |
US12019035B2 (en) | 2021-07-16 | 2024-06-25 | Rapiscan Holdings, Inc. | Material detection in x-ray security screening |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5319547A (en) * | 1990-08-10 | 1994-06-07 | Vivid Technologies, Inc. | Device and method for inspection of baggage and other objects |
US5442672A (en) * | 1993-03-31 | 1995-08-15 | Bjorkholm; Paul J. | Three-dimensional reconstruction based on a limited number of X-ray projections |
US6104831A (en) * | 1998-12-10 | 2000-08-15 | Esco Electronics Corporation | Method for rejection of flickering lights in an imaging system |
JP3809818B2 (ja) * | 2000-07-06 | 2006-08-16 | セイコーエプソン株式会社 | 画像処理方法、記録媒体および画像処理装置 |
CN2461017Y (zh) * | 2000-10-02 | 2001-11-21 | 陈孝章 | 一种改进的三维显示装置 |
DE10149254B4 (de) * | 2001-10-05 | 2006-04-20 | Smiths Heimann Gmbh | Verfahren und Vorrichtung zur Detektion eines bestimmten Materials in einem Objekt mittels elektromagnetischer Strahlen |
US7003161B2 (en) * | 2001-11-16 | 2006-02-21 | Mitutoyo Corporation | Systems and methods for boundary detection in images |
CA2365062A1 (en) | 2001-12-14 | 2003-06-14 | Cedara Software Corp. | Fast review of scanned baggage, and visualization and extraction of 3d objects of interest from the scanned baggage 3d dataset |
US8419732B2 (en) * | 2002-11-14 | 2013-04-16 | Sixfix, Inc. | Method for using a fixator device |
EP1599745A1 (en) * | 2003-02-24 | 2005-11-30 | Philips Intellectual Property & Standards GmbH | Automatic material discrimination by using computer tomography |
US20050058242A1 (en) * | 2003-09-15 | 2005-03-17 | Peschmann Kristian R. | Methods and systems for the rapid detection of concealed objects |
US7356174B2 (en) * | 2004-05-07 | 2008-04-08 | General Electric Company | Contraband detection system and method using variance data |
JP4659388B2 (ja) * | 2004-05-13 | 2011-03-30 | キヤノン株式会社 | 画像処理装置 |
US7327853B2 (en) * | 2004-06-09 | 2008-02-05 | Analogic Corporation | Method of and system for extracting 3D bag images from continuously reconstructed 2D image slices in computed tomography |
JP4683994B2 (ja) * | 2005-04-28 | 2011-05-18 | オリンパス株式会社 | 画像処理装置、画像処理方法、電子カメラ、スキャナ |
US7692650B2 (en) * | 2005-06-01 | 2010-04-06 | Analogic Corporation | Method of and system for 3D display of multi-energy computed tomography images |
CN101071109B (zh) * | 2006-05-08 | 2010-05-12 | 清华大学 | 一种多段直线轨迹成像的货物安全检查系统 |
RU2471204C2 (ru) * | 2007-05-30 | 2012-12-27 | Конинклейке Филипс Электроникс, Н.В. | Локальная позитронная эмиссионная томография |
US7801264B2 (en) * | 2007-12-19 | 2010-09-21 | General Electric Company | Method for calibrating a dual -spectral computed tomography (CT) system |
-
2008
- 2008-06-30 EP EP08772250.0A patent/EP2235684B1/en active Active
- 2008-06-30 CN CN200880125566XA patent/CN101933046B/zh active Active
- 2008-06-30 WO PCT/US2008/068777 patent/WO2009094042A1/en active Application Filing
- 2008-06-30 US US12/864,647 patent/US8942411B2/en active Active
- 2008-07-31 WO PCT/US2008/071755 patent/WO2009094044A2/en active Application Filing
- 2008-07-31 CN CN2008801254370A patent/CN101933042B/zh not_active Expired - Fee Related
- 2008-07-31 US US12/864,645 patent/US8548252B2/en not_active Expired - Fee Related
- 2008-07-31 EP EP08796953.1A patent/EP2235678B1/en not_active Not-in-force
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105223212A (zh) * | 2014-06-25 | 2016-01-06 | 同方威视技术股份有限公司 | 安检ct系统及其方法 |
WO2016095799A1 (zh) * | 2014-06-25 | 2016-06-23 | 同方威视技术股份有限公司 | 安检ct系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101933046B (zh) | 2012-10-03 |
CN101933042B (zh) | 2013-11-13 |
US8548252B2 (en) | 2013-10-01 |
US8942411B2 (en) | 2015-01-27 |
WO2009094044A3 (en) | 2009-11-26 |
CN101933042A (zh) | 2010-12-29 |
EP2235678B1 (en) | 2018-11-21 |
WO2009094044A2 (en) | 2009-07-30 |
EP2235684A1 (en) | 2010-10-06 |
EP2235684B1 (en) | 2018-12-26 |
US20110033118A1 (en) | 2011-02-10 |
EP2235678A2 (en) | 2010-10-06 |
WO2009094042A1 (en) | 2009-07-30 |
US20110085695A1 (en) | 2011-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101933046B (zh) | 图像组合 | |
US7466790B2 (en) | Systems and methods for improving a resolution of an image | |
CN106572829A (zh) | 医学成像系统的扫描区域的定位的控制 | |
US20170276823A1 (en) | Methods for positioning a target in a three-dimensional ct image and ct systems for security inspection | |
CN104545968B (zh) | 借助轮廓数据来重建图像数据 | |
CN106164707A (zh) | 特别用于对象的无损检测的方法和x‑射线检测系统 | |
Bolliger et al. | Reconstruction and 3D visualisation based on objective real 3D based documentation | |
EP2869094B1 (en) | Stereoscopic imaging systems and methods | |
JP2005532137A (ja) | 画像の情報内容を向上する方法及びシステム | |
CN101561405A (zh) | 一种直线轨迹扫描成像系统和方法 | |
CN109975335A (zh) | 一种ct检测方法及装置 | |
CN103384498A (zh) | 探测装置 | |
CN106901767A (zh) | X射线系统和图像重建方法 | |
US8086013B2 (en) | Image processing apparatus and image processing method | |
US6393090B1 (en) | Computed tomography scout images with depth information | |
CN201242531Y (zh) | 一种直线轨迹扫描成像系统 | |
WO2016178682A1 (en) | Combined image generation of article under examination and image of test item | |
US9355502B2 (en) | Synthetic image generation by combining image of object under examination with image of target | |
US20110102430A1 (en) | System and method for presenting tomosynthesis images | |
US11103198B2 (en) | Projection of objects in CT X-ray images | |
US11478207B2 (en) | Method for visualizing a bone | |
Northway et al. | Patient‐specific collision zones for 4π trajectory optimized radiation therapy | |
EP3112909A1 (en) | Method for positioning target in three-dimensional ct image and security check ct system | |
CN107402578A (zh) | 无人机全景障碍感知方法、装置、设备及存储介质 | |
US10062168B2 (en) | 5D cone beam CT using deformable registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |