CN109959969A - 辅助安检方法、装置和系统 - Google Patents
辅助安检方法、装置和系统 Download PDFInfo
- Publication number
- CN109959969A CN109959969A CN201711431607.5A CN201711431607A CN109959969A CN 109959969 A CN109959969 A CN 109959969A CN 201711431607 A CN201711431607 A CN 201711431607A CN 109959969 A CN109959969 A CN 109959969A
- Authority
- CN
- China
- Prior art keywords
- checking matter
- image
- scan image
- standard scan
- suspicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000007689 inspection Methods 0.000 title claims abstract description 40
- 230000003190 augmentative effect Effects 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G01V5/22—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Abstract
本发明公开了一种辅助安检方法、装置和系统,涉及安检领域。该方法包括:获取被检物的登记信息;基于登记信息获取被检物的标准扫描图像;将被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物;其中,实际扫描图像包括被检物图像。本公开为安检人员提供了看图指导,提高了安检看图准确率。另外,在开箱检查时,将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上,使得检查人员能够准确定位可疑物位置,提高了开箱检查的效率。
Description
技术领域
本公开涉及安检领域,尤其涉及一种辅助安检方法、装置和系统。
背景技术
利用集装箱或车辆夹带走私,以及偷运枪支、武器、毒品、爆炸物甚至大规模杀伤性武器和放射性散布装置等违禁品,已经成为困扰各国政府、干扰国际货物运输正常秩序的国际公害。货物/车辆安全检查是全世界共同关注的课题。X射线透视成像技术是违禁品检查领域最基本的、也是最早得到广泛应用的技术,目前仍然是全世界应用最广泛的集装箱、货物、车辆检查技术。
X射线透视图像与自然光图像差别较大,各类货物的不同角度X光透视图像并不为多数人所熟知,所以看图人员必须通过经验积累或培训掌握大量的商品知识,对各类货物在X光下的透视图像有一定的预判,才能有效地进行查图工作。
发明内容
本公开要解决的一个技术问题是提供一种辅助安检方法、装置和系统,能够提高安检看图准确率。
根据本公开一方面,提出一种辅助安检方法,包括:获取被检物的登记信息;基于登记信息获取被检物的标准扫描图像;将被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物;其中,实际扫描图像包括被检物图像。
可选地,该方法还包括:基于被检物的登记信息获取被检物的三维模型和描述性信息中的至少一项;将被检物的三维模型和描述性信息中的至少一项以AR的方式显示。
可选地,该方法还包括:接收标记有可疑区域的实际扫描图像,其中,若被检物为可疑物,则实际扫描图像中显示被检物图像的位置被标记为可疑区域;将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上。
可选地,该方法还包括:将被检物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示在被检物所在容器上。
可选地,该方法还包括:基于可疑物信息获取可疑物的标准扫描图像、三维模型和描述性信息中的至少一项;将可疑物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示。
可选地,该方法还包括:响应于图像处理指令,对被检物和可疑物中的至少一项的标准扫描图像进行图像处理,并将处理后的标准扫描图像以AR的方式显示。
可选地,该方法还包括:响应于模型处理指令,对被检物和可疑物中的至少一项的三维模型进行缩放和旋转操作中的至少一项操作,并将进行模型操作后的三维模型以AR的方式显示。
可选地,标准扫描图像为多角度标准X光扫描图像。
根据本公开的另一方面,还提出一种辅助安检装置,包括:输入接口,用于获取被检物的登记信息;处理器,用于基于登记信息获取被检物的标准扫描图像;和显示器,用于将被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物;其中,实际扫描图像包括被检物图像。
可选地,处理器还用于基于登记信息获取被检物的三维模型和描述性信息中的至少一项;显示器还用于将被检物的三维模型和描述性信息中的至少一项以AR的方式显示。
可选地,输入接口还用于接收标记有可疑区域的实际扫描图像,其中,若被检物为可疑物,则实际扫描图像中显示被检物图像的位置被标记为可疑区域;显示器还用于将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上。
可选地,显示器还用于将被检物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示在被检物所在容器上。
可选地,处理器还用于基于可疑物信息获取可疑物的标准扫描图像、三维模型和描述性信息中的至少一项;显示器还用于将可疑物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示。
可选地,处理器还用于响应于图像处理指令,对被检物和可疑物中的至少一项的标准扫描图像进行图像处理;显示器还用于将处理后的标准扫描图像以AR的方式显示。
可选地,处理器还用于响应于模型处理指令,对被检物和可疑物中的至少一项的三维模型进行缩放和旋转操作中的至少一项操作;显示器还用于将进行模型操作后的三维模型以AR的方式显示。
可选地,标准扫描图像为多角度标准X光扫描图像。
根据本公开的另一方面,还提出一种辅助安检系统,包括服务器、数据库和上述的辅助安检装置;其中,服务器用于存储被检物和可疑物的标准扫描图像和三维模型中的至少一项;数据库用于存放被检物和可疑物的标准扫描图像和三维模型在服务器中的地址、以及被检物和可疑物的描述性信息。
根据本公开的另一方面,还提出一种辅助安检装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行如上述的辅助安检方法。
根据本公开的另一方面,还提出一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上述的辅助安检方法的步骤。
本公开通过被检物的登记信息获取被检物的标准扫描图像,并以AR的方式进行显示,安检人员通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物,满足了安检人员对货物知识的需求,为安检人员提供了看图指导,提高了安检看图准确率。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开辅助安检方法的一个实施例的流程示意图。
图2为本公开辅助安检方法的另一个实施例的流程示意图。
图3为本公开辅助安检方法的再一个实施例的流程示意图。
图4为本公开辅助安检方法的又一个实施例的流程示意图。
图5为本公开辅助安检方法的一个应用实施例的示意图。
图6为本公开辅助安检装置的一个实施例的结构示意图。
图7为本公开辅助安检系统的一个实施例的结构示意图。
图8为本公开辅助安检装置的另一个实施例的结构示意图。
图9为本公开辅助安检装置的又一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
图1为本公开辅助安检方法的一个实施例的流程示意图。
在步骤110,获取被检物的登记信息。被检物可以为容器里的具体货物,其中,容器例如可以为车辆、集装箱、包裹等。
在对集装箱进行安检时,通过查看报关单可以获取报关单所列货物名称,该货物名称即为货物的登记信息。
在步骤120,基于登记信息获取被检物的标准扫描图像。其中,可以预先在存储器中存储各货物的多角度标准X光扫描图像,通过货物的名称可以在存储器中查找到该货物的多角度标准X光扫描图像。如报关单显示正在安检的集装箱内有某品牌手机,通过该品牌手机的名称可以找到对应的多角度标准X光扫描图像。
在步骤130,将被检物的标准扫描图像以AR(Augmented Reality,增强现实)的方式显示,以便通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物,其中,实际扫描图像包括被检物图像。
近年来,AR技术飞速发展,数字虚拟世界与现实世界得以无缝连接,给人类带来了一种全新的视觉体验和交互方式。本公开实施例中将AR技术应用到安检领域,例如,货箱在通过安检设备时,安检人员佩戴AR设备,通过AR设备可以在预定位置看到该货箱内货物的多角度标准X光扫描图像,同时,安检人员还可以看到包含该货箱内货物的当前X光扫描图像,通过比对货物的多角度标准X光扫描图像与当前X光扫描图像可以判断出该货物是否为可疑物。
在该实施例中,通过被检物的登记信息获取被检物的标准扫描图像,并以AR的方式进行显示,安检人员通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物,满足了安检人员对货物知识的需求,为安检人员提供了看图指导,提高了安检看图准确率。
图2为本公开辅助安检方法的另一个实施例的流程示意图。其中,安检人员佩戴AR设备,AR设备例如为AR眼镜,实施例中的安检人员可以为人也可以为自动化设备。
在步骤210,AR设备获取被检物的登记信息。
在步骤220,AR设备基于登记信息获取被检物的标准扫描图像、三维模型和描述性信息。其中,被检物的描述性信息包括被检物的名字、数量、定义、用途、在扫描图像上的特征部位、通常使用的包装材料等。
在步骤230,AR设备将被检物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置。其中,可以在预定位置设置一个识别图贴,AR设备对摄像头拍摄的每一帧图像计算特征点,并与识别图贴的特征点进行比对,从而识别出该预定位置,然后将被检物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置。另外,AR设备还可以响应于手势移动指令,移动被检物的标准扫描图像、三维模型和描述性信息的显示位置,方便安检人员查看。
在步骤240,安检人员可以比对当前扫描图像与被检物的标准扫描图像是否一致,并查看被检物的三维模型和描述性信息,综合判断该被检物是否为可疑物。例如,报关单上显示被检物为手机,安检人员通过佩戴AR设备,在预定位置看到手机的标准扫描图像、三维模型和描述性信息,但在当前的扫描图像中显示为手枪形状图像,则确定被检物与报关单中的信息不相符,该被检物可能为可疑物。
在该实施例中,将被检物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置,辅助安检人员看图,满足安检人员对商品知识的需求,降低安检人员培训成本,为安检人员提供看图指导,提高看图准确率,并提高了安检人员的用户体验。
在本公开的另一个实施例中,AR设备还可以基于可疑物信息获取可疑物的标准扫描图像、三维模型和描述性信息,然后将可疑物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置,以便安检人员比对可疑物的标准扫描图像和实际扫描图像。例如,若报关单显示被检物为手机,被检物通过安检设备时,安检设备扫描出被检物的X光扫描图像后,通过预定算法识别出被检物可能为手枪,则将手枪信息发送至AR设备,AR设备可以获取手枪的标准扫描图像、三维模型以及描述性信息,然后以AR的方式进行显示。
即在该实施例中,不仅以AR方式显示手机的标准扫描图像、三维模型以及描述性信息,同时可以显示手枪的标准扫描图像、三维模型以及描述性信息。安检人员看图时,以AR方式看到手枪的标准扫描图像和手机的标准扫描图像,同时看到当前的扫描图像中显示为手枪形状图像,则可以基本确定被检物为手枪,进一步提高了看图准确率。
在本公开的另一个实施例中,AR设备还响应于图像处理指令,对被检物或可疑物的标准扫描图像进行图像处理,并将处理后的标准扫描图像以AR的方式显示。例如,对被检物或可疑物的标准扫描图像进行直方图均衡、对数变换等操作,以对图像进行增强显示,例如,将图像中之前比较窄的灰度范围映射到更宽的灰度范围,使图像对比度变大,方便安检人员看图。
在本公开的另一个实施例中,AR设备还响应于模型处理指令,对被检物或可疑物的三维模型进行缩放和旋转操作等,并将进行模型操作后的三维模型以AR的方式显示。例如,AR设备中保存用户手势、货物、操作指令的对应关系,通过识别用户手势和货物,将货物的三维模型进行缩放、旋转等操作。
图3为本公开辅助安检方法的再一个实施例的流程示意图。
在步骤310,接收标记有可疑区域的实际扫描图像,其中,若被检物为可疑物,则实际扫描图像中显示被检物图像的位置被标记为可疑区域。例如,安检人员通过比对货物的标准扫描图像和实际扫描图像,确定该货物为可疑物,则可以在实际扫描图像中标记出可疑区域,并将图像发送至另一台AR设备,以便在开箱检查时供佩戴AR设备的检查人员查看。
在步骤320,将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上。其中,在开箱检查时,开箱检查人员佩戴AR设备,可以在货物所在货箱预定位置看到标记的可疑区域,方便检查人员准确定位可疑物位置。
在相关技术中,安检时开箱检查和看图是分离的两个部分,虽然在看图时标记了可疑区域,但在开箱检查时,仅凭一张带可疑标记的图像,检查人员只能靠感觉对可疑物在集装箱内的位置做一个大概的定位,不够准确,而且降低了开箱检查的效率,而在本实施例中,在开箱检查时,将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上,使得检查人员能够准确定位可疑物位置,提高了开箱检查的效率。
图4为本公开辅助安检方法的又一个实施例的流程示意图。其中,可以预先建立数据库和服务器,其中,服务器中存放有货物的多角度标准X光扫描图像和三维模型等。数据库中存放该货物的多角度标准X光扫描图像和三维模型在服务器中的地址,以及该货物的一些描述性信息。
在步骤410,安检人员佩戴AR设备查看当前扫描图像。例如,集装箱内装有多种货物,集装箱通过安检设备时,安检人员可以看到包含集装箱内各个货物的扫描图像。
在步骤420,AR设备通过网络载入数据库和服务器中获取当前货物对应的描述性信息、多角度标准X光扫描图像和三维模型等,并将当前货物对应的描述性信息、多角度标准X光扫描图像和三维模型以AR的方式在指定位置显示。其中,货物对应的描述性信息、多角度标准X光扫描图像和三维模型可以显示在同一个位置,也可以显示在不同位置。
在步骤430,AR设备响应于图像处理指令或模型处理指令,对货物的多角度标准X光扫描图像进行图像处理或对货物的三维模型进行缩放和旋转等操作,并以AR的方式显示进行图像处理后的多角度标准X光扫描图像或进行模型操作后的三维模型,供安检人员参考。例如,安检人员通过手势或语音通过AR设备对多角度标准X光扫描图像进行直方图均衡或对数变换等图像处理操作或对货物的三维模型进行缩放和旋转,安检人员参考以AR方式显示的图像和三维模型,可以判断出对应的货物是否为可疑物。
在步骤440,安检人员判断货物是否为可疑物,若是,则执行步骤450,否则,执行步骤410。
在步骤450,安检人员在看图软件上标记可疑区域,并将标有可疑区域的扫描图像、报关单信息等发送至另一台AR设备。另外,还可以将货物的标准扫描图像、三维模型和描述性信息发送至另一台AR设备。
在步骤460,开箱检查时,开箱检查人员佩戴AR设备,将报关单信息、扫描图像与集装箱关联。其中,安检人员在室内看扫描图时,可以获得当前待检查集装箱的报关单信息和实际扫描图像,这样报关单和实际扫描图像是关联起来的,若发现实际扫描图像上有可疑区域,则将报关单信息和实际扫描图像发送至另一台AR设备,开箱检查人员佩戴这个AR设备,可以通过集装箱箱号识别等手段,定位到这个集装箱,这样就能够关联报关单信息、扫描图像与集装箱。
在步骤470,将标记有可疑区域的实际扫描图像以AR的方式显示在货物所在集装箱上。另外,还可以将货物的标准扫描图像、三维模型和描述性信息也以AR的方式显示在货物所在集装箱上,方便开箱检查人员定位可疑物。
在该实施例中,在看图部分,看图人员佩戴AR设备,通过网络载入数据库和服务器中当前货物对应的描述性信息、标准X光扫描图像和三维模型等,并以AR的方式显示在指定位置,辅助看图人员看图。另外,看图人员可通过手势或语音对标准X光图像进行图像处理,如直方图均衡、对数变换等,对三维模型进行缩放、旋转等操作。满足看图人员对商品知识的需求,降低看图人员培训成本,为看图人员提供看图指导,提高看图准确率和看图人员的用户体验。开箱检查时,开箱检查人员佩戴AR设备,将报关单信息、扫描图像与集装箱关联起来,并以AR的方式在空间中显示出可疑区域,方便查验人员定位可疑物,提高开箱检查效率。
在本公开的另一个实施例中,在开箱检查时,还可以将可疑物信息的标准扫描图像、三维模型和描述性信息以AR的方式显示在货物所在集装箱上,以便开箱检查人员更快的定位可疑物,以及了解可疑物的具体信息。
图5为本公开辅助安检方法的一个应用实施例的示意图。该实施例中AR设备以HoloLens为例进行说明。
在步骤510,建立数据库和服务器,其中,服务器可以使用Tomcat服务器,存放货物的多角度标准X光扫描图像和三维模型等。数据库可以使用MySQL,存放货物的多角度标准X光扫描图像和三维模型在服务器中的地址,以及货物的一些描述性信息。
在步骤520,确定Hololens的网络连接正常,该设备使用时无需外接电源。开机之后,在应用程序界面将视界中的焦点置于应用程序之上,然后将手置于Hololens视界之内,手握拳,食指拇指张开然后二指快速并拢完成点击操作。
在步骤530,进入应用程序后,Hololens读取当前扫描图像对应的报关单,获取该报关单下所列货物名称。
在步骤540,看图人员用步骤520中所描述的手势点击或直接通过语音念出需要查看的货物名称,此时,该请求会被服务器端的Servlet处理,根据货物名称对预先建立好的数据库进行检索,查询出该货物对应的标准X光扫描图像和三维模型在服务器中的存放路径,以及该货物的描述性信息。
在步骤550,Hololens以AR的方式显示货物的描述性信息,并且根据步骤560获得的存放路径,通过网络加载并显示服务器中的标准X光扫描图像和三维模型。
在步骤560,当标准X光扫描图像和三维模型加载完毕之后,看图人员可通过手势或语音进行多种操作,如放大、缩小、模型旋转、图像处理等。例如,看图人员说直方图均衡,Hololens识别后,获取标准X光扫描图像的像素矩阵,从而进行直方图均衡等图像处理。
在步骤570,若发现可疑区域,看图人员可在看图软件上标记可疑区域,并将保存在服务器上的报关单信息、扫描图像和可疑物位置信息发送至HoloLens。此处,服务器端套接字并不定位具体的AR设备客户端套接字,而是处于等待连接的状态,实时监控网络状态。由客户端的套接字提出连接请求,连接指定地址与端口号的服务器端套接字。当服务器端套接字监听到客户端套接字的连接请求,响应客户端套接字的请求,建立一个新的线程,读取图像信息,并将图片信息发送给客户端。
在步骤580,开箱检查人员佩戴HoloLens,通过手势、空间映射、箱号识别、图像识别或GPS定位等方式将待检查集装箱、扫描图像以及报关单信息关联,并以AR的方式显示出扫描图像和报关单信息。根据步骤570中的可疑物位置信息,在空间中标记出可疑物位置。
在该实施例中,在看图时,满足看图人员对商品知识的需求,降低看图人员培训成本,为看图人员提供看图指导,提高看图准确率和看图人员的用户体验。在开箱检查时,关联待检查集装箱、报关单信息和扫描图像,准确定位嫌疑物位置,提高开箱检查效率。
图6为本公开辅助安检装置的一个实施例的结构示意图。该辅助安检装置可以为AR设备,包括输入接口610、处理器620和显示器630,其中:
输入接口610用于获取被检物的登记信息。被检物可以为容器里的具体货物,其中,容器例如可以为车辆、集装箱、包裹等。
在对集装箱进行安检时,通过查看报关单可以获取报关单所列货物名称,该货物名称即为货物的登记信息。
处理器620用于基于登记信息获取被检物的标准扫描图像。其中,可以预先在存储器中存储各货物的多角度标准X光扫描图像,通过货物的名称可以在存储器中查找到该货物的多角度标准X光扫描图像。如报关单显示正在安检的集装箱内有某品牌手机,通过该品牌手机的名称可以找到对应的多角度标准X光扫描图像。
显示器630用于将被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物;其中,实际扫描图像包括被检物图像。例如,货箱在通过安检设备时,安检人员佩戴AR设备,通过AR设备可以在预定位置看到该货箱内货物的多角度标准X光扫描图像,同时,安检人员还可以看到包含该货箱内货物的当前X光扫描图像,通过比对货物的多角度标准X光扫描图像与当前X光扫描图像可以判断出该货物是否为可疑物。
在该实施例中,通过被检物的登记信息获取被检物的标准扫描图像,并以AR的方式进行显示,安检人员通过比对被检物的标准扫描图像和实际扫描图像确定被检物是否为可疑物,满足了安检人员对货物知识的需求,为安检人员提供了看图指导,提高了安检看图准确率。
在本公开的另一个实施例中,处理器620还可以用于基于登记信息获取被检物的标准扫描图像、三维模型和描述性信息。其中,被检物的描述性信息包括被检物的名字、数量、定义、用途、在扫描图像上的特征部位、通常使用的包装材料等。
显示器630用于将被检物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置。安检人员可以比对当前扫描图像与被检物的标准扫描图像是否一致,并查看被检物的三维模型和描述性信息,综合判断该被检物是否为可疑物。例如,报关单上显示被检物为手机,安检人员通过佩戴AR设备,在预定位置看到手机的标准扫描图像、三维模型和描述性信息,但在当前的扫描图像中显示为手枪形状图像,则确定被检物与报关单中的信息不相符,该被检物可能为可疑物。
在该实施例中,将被检物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置,辅助安检人员看图,满足安检人员对商品知识的需求,降低安检人员培训成本,为安检人员提供看图指导,提高看图准确率,并提高了安检人员的用户体验。
在本公开的另一个实施例中,处理器620还可以用于基于可疑物信息获取可疑物的标准扫描图像、三维模型和描述性信息,显示器630还用于将可疑物的标准扫描图像、三维模型和描述性信息以AR的方式显示在预定位置,以便安检人员比对可疑物的标准扫描图像和实际扫描图像,提高看图准确率。
在本公开的另一个实施例中,处理器620还可以用于响应于图像处理指令,对被检物或可疑物的标准扫描图像进行图像处理,显示器630用于将处理后的标准扫描图像以AR的方式显示。例如,对被检物或可疑物的标准扫描图像进行直方图均衡、对数变换等操作,以对图像进行增强显示,例如,将图像中之前比较窄的灰度范围映射到更宽的灰度范围,使图像对比度变大,方便安检人员看图。
在本公开的另一个实施例中,处理器620还可以用于响应于模型处理指令,对被检物或可疑物的三维模型进行缩放和旋转操作等,显示器630用于将进行模型操作后的三维模型以AR的方式显示。例如,AR设备中保存用户手势、货物、操作指令的对应关系,处理器620通过识别用户手势和货物,将货物的三维模型进行缩放、旋转等操作。
在本公开的另一个实施例中,输入接口610还用于接收标记有可疑区域的实际扫描图像,其中,若被检物为可疑物,则实际扫描图像中显示被检物图像的位置被标记为可疑区域。例如,安检人员通过比对货物的标准扫描图像和实际扫描图像,确定该货物为可疑物,则可以在实际扫描图像中标记出可疑区域,并将图像发送至另一台AR设备,以便在开箱检查时供佩戴AR设备的检查人员查看。
显示器630还用于将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上。其中,在开箱检查时,开箱检查人员佩戴AR设备,可以在货物所在货箱预定位置看到标记的可疑区域,方便检查人员准确定位可疑物位置。
显示器630还用于将被检物或可疑物的标准扫描图像、三维模型和描述性信息以AR的方式显示在被检物所在容器上,方便开箱检查人员定位可疑物。
在本实施例中,在开箱检查时,将标记有可疑区域的实际扫描图像以AR的方式显示在被检物所在容器上,使得检查人员能够准确定位可疑物位置,提高了开箱检查的效率。
图7为本公开辅助安检系统的一个实施例的结构示意图。该辅助安检系统包括服务器710、数据库720和辅助安检装置730,其中,辅助安检装置730可以为AR设备,且已在上述实施例中进行了详细介绍。
服务器710用于存储货物的标准扫描图像和三维模型,数据库720用于存放货物的标准扫描图像和三维模型在服务器710中的地址、以及被检物的描述性信息。其中,货物既可以为登记信息中的货物,也可以为实际检测出的货物。
辅助安检装置730可以通过数据库720、服务器710获取被检物的标准扫描图像、三维模型和描述性信息,并以AR方式进行显示,同时若安检设备已经识别出被检物可能为某可疑物,则辅助安检装置730还可以获取可疑物的标准扫描图像、三维模型和描述性信息,并以AR方式进行显示。以便安检人员进行图像识别,提高看图准确率和开箱检查效率。
图8为本公开辅助安检装置的另一个实施例的结构示意图。该辅助安检装置包括存储器810和处理器820。其中:存储器810可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1-5所对应实施例中的指令。处理器820耦接至存储器810,可以作为一个或多个集成电路来实施,例如微处理器或微控制器。该处理器820用于执行存储器中存储的指令。
在一个实施例中,还可以如图9所示,该辅助安检装置900包括存储器910和处理器920。处理器920通过BUS总线930耦合至存储器910。该辅助安检装置900还可以通过存储接口940连接至外部存储装置950以便调用外部数据,还可以通过网络接口960连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上述指令,能够提高安检看图准确率,另外,还能够帮助安检人员准确定位可疑物位置,提高开箱检查效率。
在另一个实施例中,一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现图1-5所对应实施例中的方法的步骤。本领域内的技术人员应明白,本公开的实施例可提供为方法、装置、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此,已经详细描述了本公开。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (19)
1.一种辅助安检方法,包括:
获取被检物的登记信息;
基于所述登记信息获取所述被检物的标准扫描图像;
将所述被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对所述被检物的标准扫描图像和实际扫描图像确定所述被检物是否为可疑物;
其中,所述实际扫描图像包括被检物图像。
2.根据权利要求1所述的辅助安检方法,还包括:
基于所述被检物的登记信息获取所述被检物的三维模型和描述性信息中的至少一项;
将所述被检物的三维模型和描述性信息中的至少一项以AR的方式显示。
3.根据权利要求1所述的辅助安检方法,还包括:
接收标记有可疑区域的实际扫描图像,其中,若所述被检物为可疑物,则所述实际扫描图像中显示被检物图像的位置被标记为可疑区域;
将标记有可疑区域的实际扫描图像以AR的方式显示在所述被检物所在容器上。
4.根据权利要求3所述的辅助安检方法,还包括:
将所述被检物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示在所述被检物所在容器上。
5.根据权利要求1-4任一所述的辅助安检方法,还包括:
基于可疑物信息获取所述可疑物的标准扫描图像、三维模型和描述性信息中的至少一项;
将所述可疑物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示。
6.根据权利要求5所述的辅助安检方法,还包括:
响应于图像处理指令,对所述被检物和所述可疑物中的至少一项的标准扫描图像进行图像处理,并将处理后的标准扫描图像以AR的方式显示。
7.根据权利要求5所述的辅助安检方法,还包括:
响应于模型处理指令,对所述被检物和所述可疑物中的至少一项的三维模型进行缩放和旋转操作中的至少一项操作,并将进行模型操作后的三维模型以AR的方式显示。
8.根据权利要求1-4任一所述的辅助安检方法,其中,所述标准扫描图像为多角度标准X光扫描图像。
9.一种辅助安检装置,包括:
输入接口,用于获取被检物的登记信息;
处理器,用于基于所述登记信息获取所述被检物的标准扫描图像;和
显示器,用于将所述被检物的标准扫描图像以增强现实AR的方式显示,以便通过比对所述被检物的标准扫描图像和实际扫描图像确定所述被检物是否为可疑物;
其中,所述实际扫描图像包括被检物图像。
10.根据权利要求9所述的辅助安检装置,其中,
所述处理器还用于基于所述登记信息获取所述被检物的三维模型和描述性信息中的至少一项;
所述显示器还用于将所述被检物的三维模型和描述性信息中的至少一项以AR的方式显示。
11.根据权利要求9所述的辅助安检装置,其中,
所述输入接口还用于接收标记有可疑区域的实际扫描图像,其中,若所述被检物为可疑物,则所述实际扫描图像中显示被检物图像的位置被标记为可疑区域;
所述显示器还用于将标记有可疑区域的实际扫描图像以AR的方式显示在所述被检物所在容器上。
12.根据权利要求11所述的辅助安检装置,其中,
所述显示器还用于将所述被检物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示在所述被检物所在容器上。
13.根据权利要求9-12任一所述的辅助安检装置,其中,
所述处理器还用于基于可疑物信息获取所述可疑物的标准扫描图像、三维模型和描述性信息中的至少一项;
所述显示器还用于将所述可疑物的标准扫描图像、三维模型和描述性信息中的至少一项以AR的方式显示。
14.根据权利要求13所述的辅助安检装置,其中,
所述处理器还用于响应于图像处理指令,对所述被检物和所述可疑物中的至少一项的标准扫描图像进行图像处理;
所述显示器还用于将处理后的标准扫描图像以AR的方式显示。
15.根据权利要求13所述的辅助安检装置,其中,
所述处理器还用于响应于模型处理指令,对所述被检物和所述可疑物中的至少一项的三维模型进行缩放和旋转操作中的至少一项操作;
所述显示器还用于将进行模型操作后的三维模型以AR的方式显示。
16.根据权利要求9-12任一所述的辅助安检装置,其中,所述标准扫描图像为多角度标准X光扫描图像。
17.一种辅助安检系统,包括服务器、数据库和权利要求9-16任一所述的辅助安检装置;
其中,所述服务器用于存储被检物和可疑物的标准扫描图像和三维模型中的至少一项;
所述数据库用于存放所述被检物和所述可疑物的标准扫描图像和三维模型在所述服务器中的地址、以及所述被检物和所述可疑物的描述性信息。
18.一种辅助安检装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至8任一项所述的辅助安检方法。
19.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至8任一项所述的辅助安检方法的步骤。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711431607.5A CN109959969B (zh) | 2017-12-26 | 2017-12-26 | 辅助安检方法、装置和系统 |
PCT/CN2018/120291 WO2019128698A1 (zh) | 2017-12-26 | 2018-12-11 | 辅助安检方法、装置和系统 |
EP18213545.9A EP3505972A1 (en) | 2017-12-26 | 2018-12-18 | Method, apparatus and system for assisting security inspection |
US16/226,645 US11055869B2 (en) | 2017-12-26 | 2018-12-20 | Security inspection based on scanned images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711431607.5A CN109959969B (zh) | 2017-12-26 | 2017-12-26 | 辅助安检方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109959969A true CN109959969A (zh) | 2019-07-02 |
CN109959969B CN109959969B (zh) | 2021-03-12 |
Family
ID=64744689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711431607.5A Active CN109959969B (zh) | 2017-12-26 | 2017-12-26 | 辅助安检方法、装置和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11055869B2 (zh) |
EP (1) | EP3505972A1 (zh) |
CN (1) | CN109959969B (zh) |
WO (1) | WO2019128698A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396649A (zh) * | 2019-08-19 | 2021-02-23 | 同方威视技术股份有限公司 | 图像处理方法、装置、计算机系统以及可读存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109959969B (zh) * | 2017-12-26 | 2021-03-12 | 同方威视技术股份有限公司 | 辅助安检方法、装置和系统 |
US10854055B1 (en) * | 2019-10-17 | 2020-12-01 | The Travelers Indemnity Company | Systems and methods for artificial intelligence (AI) theft prevention and recovery |
CN113160615B (zh) * | 2021-03-03 | 2022-11-29 | 上海凌苇智能科技合伙企业(有限合伙) | 一种基于ar技术实现无人机起飞前安全检测方法及系统 |
CN113391776B (zh) * | 2021-05-24 | 2023-05-09 | 浙江大华技术股份有限公司 | 物品信息显示方法、装置、电子装置和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104535594A (zh) * | 2015-01-08 | 2015-04-22 | 安徽中福光电科技有限公司 | 基于x射线+dr+cbs的箱包安检方法和智能化x光机 |
CN104865279A (zh) * | 2014-02-26 | 2015-08-26 | 清华大学 | 一种用于海关监管物项的快速检查设备和方法 |
CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
CN105787495A (zh) * | 2014-12-17 | 2016-07-20 | 同方威视技术股份有限公司 | 具有车辆参考图像检索及比对功能的车辆检查系统和方法 |
CN106503121A (zh) * | 2016-10-19 | 2017-03-15 | 公安部第三研究所 | 一种x光安检图像的结构化描述方法及系统 |
CN106778514A (zh) * | 2016-11-24 | 2017-05-31 | 努比亚技术有限公司 | 一种标识物体的方法及装置 |
CN206292821U (zh) * | 2016-10-31 | 2017-06-30 | 紫光智云(江苏)物联网科技有限公司 | 物品安检判图系统 |
CN107228867A (zh) * | 2017-06-21 | 2017-10-03 | 同方威视技术股份有限公司 | 安检图像显示方法、设备和安检系统 |
US20170346634A1 (en) * | 2016-05-27 | 2017-11-30 | Assa Abloy Ab | Augmented reality security verification |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783118B2 (en) * | 2006-07-13 | 2010-08-24 | Seiko Epson Corporation | Method and apparatus for determining motion in images |
DE102006047888A1 (de) * | 2006-10-10 | 2008-04-17 | Smiths Heimann Gmbh | Verfahren zur Verbesserung der Detailerkennbarkeit in Röntgenbildern |
EP2634802A1 (en) * | 2012-02-29 | 2013-09-04 | BlackBerry Limited | Single package imaging and inertial navigation sensors, and methods of manufacturing the same |
CN104750697B (zh) * | 2013-12-27 | 2019-01-25 | 同方威视技术股份有限公司 | 基于透视图像内容的检索系统、检索方法以及安全检查设备 |
CN103745198A (zh) * | 2013-12-30 | 2014-04-23 | 中云智慧(北京)科技有限公司 | 行邮辅助识别及对比的方法与装置 |
US9720934B1 (en) * | 2014-03-13 | 2017-08-01 | A9.Com, Inc. | Object recognition of feature-sparse or texture-limited subject matter |
CN105372712B (zh) * | 2014-09-02 | 2017-12-12 | 清华大学 | 车辆检查方法和系统 |
CN105809655B (zh) * | 2014-12-30 | 2021-06-29 | 清华大学 | 车辆检查方法和系统 |
US10261033B2 (en) * | 2015-01-20 | 2019-04-16 | National Technology & Engineering Solutions Of Sandia, Llc | Material identification system |
US9495399B1 (en) * | 2015-11-24 | 2016-11-15 | International Business Machines Corporation | Augmented reality model comparison and deviation detection |
CN106443806B (zh) * | 2016-09-18 | 2020-01-14 | 北京君和信达科技有限公司 | 辐射成像系统和图像处理方法 |
CN109959969B (zh) * | 2017-12-26 | 2021-03-12 | 同方威视技术股份有限公司 | 辅助安检方法、装置和系统 |
-
2017
- 2017-12-26 CN CN201711431607.5A patent/CN109959969B/zh active Active
-
2018
- 2018-12-11 WO PCT/CN2018/120291 patent/WO2019128698A1/zh active Application Filing
- 2018-12-18 EP EP18213545.9A patent/EP3505972A1/en active Pending
- 2018-12-20 US US16/226,645 patent/US11055869B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104865279A (zh) * | 2014-02-26 | 2015-08-26 | 清华大学 | 一种用于海关监管物项的快速检查设备和方法 |
CN105787495A (zh) * | 2014-12-17 | 2016-07-20 | 同方威视技术股份有限公司 | 具有车辆参考图像检索及比对功能的车辆检查系统和方法 |
CN104535594A (zh) * | 2015-01-08 | 2015-04-22 | 安徽中福光电科技有限公司 | 基于x射线+dr+cbs的箱包安检方法和智能化x光机 |
CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
US20170346634A1 (en) * | 2016-05-27 | 2017-11-30 | Assa Abloy Ab | Augmented reality security verification |
CN106503121A (zh) * | 2016-10-19 | 2017-03-15 | 公安部第三研究所 | 一种x光安检图像的结构化描述方法及系统 |
CN206292821U (zh) * | 2016-10-31 | 2017-06-30 | 紫光智云(江苏)物联网科技有限公司 | 物品安检判图系统 |
CN106778514A (zh) * | 2016-11-24 | 2017-05-31 | 努比亚技术有限公司 | 一种标识物体的方法及装置 |
CN107228867A (zh) * | 2017-06-21 | 2017-10-03 | 同方威视技术股份有限公司 | 安检图像显示方法、设备和安检系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396649A (zh) * | 2019-08-19 | 2021-02-23 | 同方威视技术股份有限公司 | 图像处理方法、装置、计算机系统以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109959969B (zh) | 2021-03-12 |
WO2019128698A1 (zh) | 2019-07-04 |
US11055869B2 (en) | 2021-07-06 |
US20190197721A1 (en) | 2019-06-27 |
EP3505972A1 (en) | 2019-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109959969A (zh) | 辅助安检方法、装置和系统 | |
Blattgerste et al. | Comparing conventional and augmented reality instructions for manual assembly tasks | |
CN104471511B (zh) | 识别指点手势的装置、用户接口和方法 | |
CN104115074B (zh) | 全息图处理方法和系统 | |
US9779546B2 (en) | Volume dimensioning systems and methods | |
CN103999048B (zh) | 基于用户识别的动态配置文件切换 | |
CN107004279A (zh) | 自然用户界面相机校准 | |
CN106030610B (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
CN107222529A (zh) | 增强现实处理方法、web模块、终端和云端服务器 | |
JP2022505998A (ja) | 拡張現実データの提示方法、装置、電子機器及び記憶媒体 | |
JP4594136B2 (ja) | 画像処理方法、画像処理装置 | |
CN102226880A (zh) | 一种基于虚拟现实的体感操作方法及系统 | |
CN103503030A (zh) | 通过进行图像处理来决定位于现实空间中的对象物的进深的图像处理装置、立体视觉装置、集成电路、程序 | |
CN105144283A (zh) | 基于设备旋转查看角图像操纵 | |
CN109271023B (zh) | 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 | |
CN108734769A (zh) | 三维模型分析方法、电子装置及非暂态电脑可读取媒体 | |
WO2010125868A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP2014093034A (ja) | 情報処理用プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
CN110168614A (zh) | 用于生成混合现实中的动态虚拟内容的设备和方法 | |
JP2020098568A (ja) | 情報管理装置、情報管理システム、情報管理方法および情報管理プログラム | |
US20200184196A1 (en) | Volumetric substitution of real world objects | |
CN109791704A (zh) | 用于自由运行fvv应用的基于多层uv映射的纹理渲染 | |
CN110520372A (zh) | 物品管理支援装置、物品管理支援系统及物品管理支援方法 | |
CN108229410A (zh) | 图像处理方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |