CN109785446B - 图像识别系统及其方法 - Google Patents
图像识别系统及其方法 Download PDFInfo
- Publication number
- CN109785446B CN109785446B CN201910154670.1A CN201910154670A CN109785446B CN 109785446 B CN109785446 B CN 109785446B CN 201910154670 A CN201910154670 A CN 201910154670A CN 109785446 B CN109785446 B CN 109785446B
- Authority
- CN
- China
- Prior art keywords
- module
- contraband
- information
- detection
- detected object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims abstract description 158
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 230000003190 augmentative effect Effects 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 19
- 230000009466 transformation Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像识别系统，其可以包括：信息录入模块，被配置为录入被检对象的信息，并且识别所述被检对象的信息是否为异常信息；检测模块，被配置为检测所述被检对象及其行李中是否携带违禁品；增强现实(AR)模块，被配置为在被检对象的信息异常和被检对象及其行李携带违禁品中的至少一种情况下，从所述信息录入模块和/或所述检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在所述AR模块中标出被检对象和/或违禁品；以及存储模块，被配置为存储所述信息录入模块、所述检测模块和所述AR模块操作过程中产生的信息。
Description
技术领域
本发明涉及安检技术领域，并且更具体地涉及一种图像识别系统及其方法。
背景技术
太赫兹能够对旅客进行远距离动态实时成像，实现非干预、非配合式安检，毫米波能够对人体进行清晰、高分辨率成像，实现对人体进行精细安检。基于这些优点，太赫兹/毫米波技术在安检领域中广泛应用。但是，现有的安检系统中，安检结果通过显示器显示，需要安检人员在显示器前实时查看所显示的各项安检信息，即使被检对象未携带危险物品也需要对其安检信息进行实时查看。由此造成安检人员的工作强度大，容易产生疲劳，容易造成安检疏漏。
此外，当安检人员根据显示器中显示的信息发现被检对象身上携带有违禁品时，安检人员从显示器赶到现场进行处理，会导致工作效率低，甚至会由于处理不及时而导致嫌疑人逃跑等。
发明内容
为了解决现有问题中存在的技术问题，在本申请的第一方面中，提供了一种图像识别系统，可以包括：信息录入模块，被配置为录入被检对象的信息，并且识别所述被检对象的信息是否为异常信息；检测模块，被配置为检测所述被检对象及其行李中是否携带违禁品；增强现实(AR)模块，被配置为在被检对象的信息异常和被检对象及其行李携带违禁品中的至少一种情况下，从所述信息录入模块和/或所述检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在所述AR模块中标出被检对象和/或违禁品；以及存储模块，被配置为存储所述信息录入模块、所述检测模块和所述AR模块操作过程中产生的信息。
根据第一方面，所述检测模块可以包括检测通道、第一检测装置和第二检测装置，其中，所述第一检测装置位于所述检测通道的前部，所述第二检测装置位于所述检测通道的后部，所述第一检测装置和所述第二检测装置均包括第一图像获取装置以及第二图像获取装置，所述第一图像获取装置用于获取被检对象的透视图，所述第二图像获取装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像；所述检测模块被配置为基于所述透视图和所述彩色图像检测所述被检对象及其行李中是否携带违禁品。
根据第一方面，所述检测模块还可以被配置为：通过所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置。
根据第一方面，所述检测模块还可以包括辅助图像获取装置，其位于所述检测通道的中间部位处，用于获取关于被检对象的深度信息和关于被检对象的彩色图像。
根据第一方面，所述检测模块还可以被配置为：通过所述第二图像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置。
根据第一方面，所述AR模块还可以被配置为：基于每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，根据所述AR模块与所述全局坐标系之间的转换关系，获得每个被检对象和/或所携带的违禁品在所述AR模块视角下的空间位置信息，以在所述AR模块上标出被检对象和/或违禁品。
在本申请的第二方面中，提供了一种图像识别方法，所述方法可以包括：利用信息录入模块录入被检对象的信息，并且识别所述被检对象的信息是否为异常信息；利用检测模块检测所述被检对象及其行李中是否携带违禁品；在被检对象的信息异常和被检对象及其行李携带违禁品中的至少一种情况下，利用增强现实(AR)模块从所述信息录入模块和/或所述检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在所述AR模块中标出被检对象和/或违禁品；以及利用存储模块存储所述图像识别方法执行过程中产生的信息。
根据第二方面，所述利用检测模块检测所述被检对象及其行李中是否携带违禁品可以包括：利用所述检测模块的第一检测装置和第二检测装置中包括的第一图像获取装置获取被检对象的透视图，其中，所述第一检测装置位于所述检测模块中的检测通道的前部，所述第二检测装置位于所述检测通道的后部；利用所述检测模块的第一检测装置和第二检测装置中包括的第二图像获取装置获取关于被检对象的深度信息和彩色图像；以及基于所述透视图和所述彩色图像检测所述被检对象及其行李中是否携带违禁品。
根据第二方面，所述在所述AR模块中标出被检对象和/或违禁品可以包括：通过所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置；以及基于所述空间位置在所述AR模块中标出被检对象和/或违禁品。
根据第二方面，所述在所述AR模块中标出被检对象和/或违禁品可以包括：通过设置在所述检测通道中部的辅助图像获取装置和所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，其中，所述辅助图像获取装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像；以及基于所述空间位置在所述AR模块中标出被检对象和/或违禁品。
根据第二方面，所述在所述AR模块中标出被检对象和/或违禁品还可以包括：基于每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，根据所述AR模块与所述全局坐标系之间的转换关系，获得每个被检对象和/或所携带的违禁品在所述AR模块视角下的空间位置信息，以在所述AR模块上标出被检对象和/或违禁品。
在本申请的第三方面中，提供了一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据第二方面所述的方法的程序代码指令。
基于本申请提供的各个方面，安检人员可以通过AR设备实时观察到每个旅客是否携带违禁品的提示，或其它检测信息，由此，安检人员不需要固定在显示屏前查看检测信息，可以实现在灵活移动的过程中通过AR设备得知每个旅客的检测信息，并且可以在发生突发情况时，机动快速地处理突发情况，提高安检的效率。
附图说明
图1中示出了根据本发明实施例的图像识别系统的示意性框图。
图2示出了根据本发明实施例的图像识别系统中的检测模块的示例性框图。
图3中示出了根据本发明实施例的不同视角下的违禁品形状的变换。
图4中示出了根据本发明实施例的图像识别方法的流程图。
图5中示出了检测对象身上是否携带违禁品的操作的示例性详细流程图。
图6中示出了根据本发明实施例的在AR上视觉地标出被检对象的操作的示例性流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。
应当理解，当称元件“耦接到”或“连接到”另一元件时，它可以是直接耦接或连接到另一元件或者可以存在中间元件。相反，当称元件“直接耦接到”或“直接连接到”另一元件时，不存在中间元件。
此外，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。除非本文另有明确定义，否则所有术语将给出其最广泛的可能解释，包括说明书中暗示的含义以及本领域技术人员理解的和/或字典、论文等中定义的含义。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。以下将参考附图对本公开进行示例性描述。
为了解决安检人员必须固定于某一位置处查看安检信息的问题，本申请在安检领域中应用增强现实技术(AR)技术，通过AR装置实时呈现安检信息。为了便于说明和描述，以下以AR眼镜为例进行说明。
图1中示出了根据本发明实施例的图像识别系统100的示意性框图。如图所述，图像识别系统100可以包括信息录入模块101、检测模块102、AR模块103、以及存储模块104。
信息录入模块101分别与检测模块102、AR模块103以及存储模块104连接。连接可以是有线连接或者无线连接。
信息录入模块101可以被配置为采集被检对象的信息。被检对象的信息可以是关于被检对象的各种信息，例如，被检人员的图像、被检人员的姓名、年龄、性别、身份证号、身高、家庭住址、工作单位、学历、被检人员的票面信息、乘车目的地等等。
信息录入模块101可以应用于安检系统中的人脸识别闸机处，以在被检对象进行安检之处登记被检对象的信息。
信息录入模块101还可以被配置为将登记被检对象的基本信息，并且将所登记的基本信息与公安系统中犯罪嫌疑人的身份信息进行比对，以识别被检对象是否是犯罪嫌疑人。
信息录入模块101还可以被配置为向检测模块102、AR模块103以及存储模块104发送所登记的被检对象的基本信息，并且将该基本信息存储在存储模块104中。
检测模块102可以被配置为对被检对象以及被检对象所携带的行李进行检测，并且向AR模块103和存储模块104发送检测结果。
具体地，参见图2对被检模块102进行描述。图2示出了根据本发明实施例的检测模块102的示例性框图。
检测模块102可以包括检测通道1021、第一检测装置1022、以及第二检测装置1023。
根据实施例，检测通道1021可以包括适用于对诸如人、动物之类的被检对象进行检测的第一检测通道1021’、以及适用于对属于被检对象的行李进行安检的第二检测通道1021”。
根据实施例，第二检测通道1021”可以包括拍摄装置。拍摄装置可以设置在第二检测通道1021”的前端(即，行李进入第二检测通道1021”的一端)，对被检对象以及属于被检对象的一个或多个行李进行拍摄，并且将被检对象与被检对象的行李相关联地存储在存储模块104中。
根据实施例，第一检测装置1022和第二检测装置1023可以设置为第一检测通道1021’的前部(即，被检对象进入第一检测通道的一端)和后部(即，被检对象离开第一检测通道的一端)。
根据实施例，第一检测装置1022和第二检测装置1023可以被配置为分别对进入第一检测通道1021’中的被检对象进行检测，以检测其是否携带嫌疑物。
根据实施例，第一检测装置1022和第二检测装置1023可以是相同的类型的，或者是不同类型的。
根据实施例，第一检测装置1022可以包括第一图像采集装置和第二图像采集装置。第二检测装置1023可以包括第三图像采集装置和第四图像采集装置。
根据实施例，第一图像采集装置和第二图像采集装置中的一个图像采集装置可以与第三图像采集装置和第四图像采集装置中的一个图像采集装置是相同的，而第一图像采集装置和第二图像采集装置中的另一个图像采集装置可以与第三图像采集装置和第四图像采集装置中的另一个图像采集装置是相同的。
根据实施例，第一图像采集装置可以被配置为获得被检对象的透视图像，并且第二图像采集装置可以被配置为获得被检对象的具有深度信息的彩色图像。
备选地，第二图像采集装置可以被配置为获得被检对象的透视图像，并且第一图像采集装置可以被配置为获得被检对象的具有深度信息的彩色图像。
根据实施例，第三图像采集装置可以被配置为获得被检对象的透视图像，并且第四图像采集装置可以被配置为获得被检对象的具有深度信息的彩色图像。
备选地，第四图像采集装置可以被配置为获得被检对象的透视图像，并且第三图像采集装置可以被配置为获得被检对象的具有深度信息的彩色图像。
例如，第一图像采集装置和第三图像采集装置可以是太赫兹相机。第二图像采集装置和第四图像采集装置可以是深度相机。太赫兹相机可以用于获得被检对象的正面透视图像和背面透视图像。深度相机可以用于获得检测场景和被检对象的彩色图像以及被检对象距离深度相机的空间距离。
对于第一检测装置1022检测被检对象是否携带嫌疑物，第一检测装置1022可以被配置为：基于彩色图像中的被检对象的图像来获取透视图像中的被检对象的人体掩膜；在检测到透视图像中被检对象的人体掩膜上显示有违禁品的情况下，则将违禁品的图像对应地标记在彩色图像中的被检对象上。
根据实施例，获取透视图像中的被检对象的人体掩膜可以通过以下操作来实现：将透视图像中的像素与彩色图像中的像素进行对齐，获得太赫兹相机和深度相机之间的变换参数；利用彩色图像中的深度信息(例如，人体骨架)和目标分割检测框架(例如，掩膜RCNN)来提取彩色图像的人体掩膜；基于变化参数和所提取的彩色图像的人体掩膜，提取太赫兹图像中的人体掩膜。
在一个示例中，例如可以根据仿射变换模型，利用旋转、平移和缩放将透视图像和彩色图像对齐。
对于被检对象的携带的违禁品，在一个示例中，在太赫兹相机所获得的透视图中，违禁品所呈现的颜色比其他区域的颜色更深。
对于被检对象的携带的违禁品，在一个示例中，例如可以通过将预先训练好的模型(例如，目标检测框架)与透视图中颜色较深区域的形状进行比对来大致推断出颜色深的区域是否是违禁品。
对于被检对象的携带的违禁品，在一个示例中，可以例如通过预先训练好的模型来大致推断出违禁品的类型(例如，刀具、枪支等)。
根据实施例，将违禁品的图像对应地标记在彩色图像中的被检对象上的操作可以通过以下操作来实现：通过太赫兹相机和深度相机间的变换参数，将太赫兹图像中的人体掩膜中违禁品位置映射到彩色图像中人体掩膜的对应区域上。
在一个示例中，还可以在透视图中的人体掩膜上显示违禁品种类等信息。
由于第一检测装置1022和第二检测装置1023分别位于第一检测通道1021’的前端和后端，因此第一检测装置1022获得的被检对象的背面透视图和第二检测装置1023获得的正面透视图可以会由于视角不同、参数不同等原因而无法完全匹配。因此，需要通过第一检测装置1022和第二检测装置1023中的深度相机来获得每个被检对象的空间位置关系。
具体地，可以例如将第一检测装置1022中的深度相机作为基准相机，利用多模式融合技术将第二检测装置1023中的深度相机进行外部参数标定，从而建立全局坐标系，然后将深度相机获得的图像进行信息融合，从而获得每个被检对象的空间位置关系。
进一步地，在知道被检对象的空间位置关系的情况下，可以利用太赫兹相机和深度相机之间的变换参数，得到太赫兹相机所获得的透视人体掩膜中的每个像素在全局坐标系下的位置，从而将每个旅客的正面透视图和背面透视图相匹配，以确定正面透视图下的违禁品的图像和背面透视图下的违禁品的图像是相同图像还是不同图像。。
进一步地，在经由太赫兹相机获得的透视图中呈现有违禁品的情况下，可以基于违禁品的像素在全局坐标系下的位置，获得违禁品在全局坐标系上的位置信息。
在一个示例中，当第一检测通道1021’中同时存在多个被检对象时，第一检测装置1022可能无法获得被检对象的背面透视图，或者第二检测装置1023可能无法获得被检对象的正面透视图，甚至由于被检对象的前后均有其它被检对象的情况下，第一检测装置1022和第二检测装置1023均不能获得被检对象的背面透视图和正面透视图。因此，为了解决该问题，检测模块102可以包括辅助检测装置。
辅助检测装置中可以包括太赫兹相机和深度相机。
根据实施例，辅助检测装置可以位于第一检测通道1021’的中间部位处。
根据实施例，辅助检测装置的数量可以为一个或多个。
在一个示例中，为获得每个被检对象的空间位置关系，可以例如将第一检测装置1022中的深度相机作为基准相机，利用多模式融合技术将第二检测装置1023中的深度相机、辅助检测装置中的深度相机进行外部参数标定，从而建立全局坐标系，然后将各个深度相机获得的图像进行信息融合，从而获得每个被检对象的空间位置关系。
备选地，为获得每个被检对象的空间位置关系，可以例如将第二检测装置1023中的深度相机作为基准相机，利用多模式融合技术将第一检测装置1022中的深度相机、辅助检测装置中的深度相机进行外部参数标定，从而建立全局坐标系，然后将各个深度相机获得的图像进行信息融合，从而获得每个被检对象的空间位置关系。
备选地，为获得每个被检对象的空间位置关系，可以例如将辅助检测装置中的深度相机作为基准相机，利用多模式融合技术将第一检测装置1022中的深度相机、第二检测装置1023中的深度相机、以及其它辅助检测装置中的深度相机进行外部参数标定，从而建立全局坐标系，然后将各个深度相机获得的图像进行信息融合，从而获得每个被检对象的空间位置关系。
再次返回图1，AR模块103可以包括显示装置。在一个示例中，在AR模块103是AR眼镜的情况下，显示装置可以是AR眼镜上的镜片。
AR模块103可以被配置为从信息录入模块101和检测模块102接收异常检测结果，并且向安检人员呈现该异常检测结果。
根据实施例，异常检测结果可以是在信息录入模块101中检测到与公安系统中犯罪嫌疑人的身份信息相匹配的犯罪嫌疑人的信息。
根据实施例，异常检测结果可以是在检测模块102中检测到的被检对象身上携带有违禁品或者属于被检对象的行李中携带有违禁品的信息。
在没有异常检测的情况下，AR模块中呈现的为与现实世界一样的场景。
在一个示例中，当被检对象携带有违禁品时，AR模块103可以从检测模块102接收被检对象的信息(例如，图像、姓名、身高等)、被检对象在全局坐标系下的空间位置信息、被检对象携带的违禁品的空间位置信息(例如，违禁品在被检对象身上何处)、违禁品的信息等，并且向安检人员呈现所接收的信息，以便安检人员准确找到携带违禁品的被检对象。
在一个示例中，当被检对象所携带的行李中藏有违禁品时，AR模块103可以从检测模块102接收行李的信息(例如，行李的图像等)、违禁品在行李中的位置信息等，然后从存储单元104中匹配出与藏有违禁品的行李相匹配的被检对象，然后向安检人员精确地指示出被检对象。
对于相同违禁品，由于检测模块102中的第一检测装置和第二检测装置的视角可能与AR模块103的视角不同，因此，AR模块103可以被配置为基于从检测模块102接收到的违禁品的信息(例如，违禁品在全局坐标系中的空间位置)、AR模块与全局坐标系的动态实时转换关系，对违禁品的形状进行转换。例如，可以利用AR模块中包括的软件或硬件(例如，视觉里程计或陀螺仪)等实时记录AR眼镜的实时位置，然后基于该实时位置建立AR模块与全局坐标系之间的刚体转换关系。
图3中示出了根据本发明实施例的不同视角下的违禁品形状的变换。如图所示，在第一检测装置和第二检测装置的视角下，违禁品的形状为矩形，但是在AR模块的视角下，违禁品则为菱形。
在一个示例中，图像识别系统100还可以包括毫米波检测装置，以便对被检对象进行精细检测，以精确识别被检对象携带的违禁品为何物。
图4中示出了根据本发明实施例的图像识别方法40的流程图。
在步骤401中，登记被检对象的信息。被检对象的信息可以例如是被检对象的姓名、性别、身高等。
在步骤402中，基于所登记的被检对象的信息来确定被检对象是否为嫌疑人。例如，可以通过将所登记的被检对象的信息与公安系统中嫌疑人的信息进行比对，来确定被检对象是否是嫌疑人。
在被检对象是嫌疑人的情况下(步骤402处的“是”)，处理进行到步骤407，向AR模块发送被检对象的信息，然后在步骤408处，AR基于所接收的被检对象的信息视觉地标识出被检对象。
在被检对象不是嫌疑人的情况下(步骤402处的“否”)，处理进行到步骤403和步骤405。在步骤403处，检测行李中是否存在违禁品。在行李中存在违禁品的情况下(步骤403处的“是”)，处理进行到步骤404处。在步骤404处，基于行李及其所属的被检对象之间的关系，匹配出行李所属的被检对象。然后，在步骤407处，向AR模块发送所匹配出的被检对象的信息(例如，被检对象的空间位置等)和/或违禁品的信息。然后，在步骤408处，AR模块基于所接收的被检对象的信息和/或违禁品的信息视觉地标出被检对象和/或违禁品。至此，处理结束。
在步骤408处标出被检对象时，可以同时呈现被检对象的信息。
在步骤405处，检测被检对象身上是否携带违禁品。在被检对象携带违禁品的情况下(步骤405处的“是”)，处理依次执行步骤407、408处的操作，向AR发送被检对象的信息(例如，被检对象的位置信息、被检对象的基本信息(例如，图像、姓名等))和所携带的违禁品的信息(例如，违禁品的位置信息、违禁品的形状、类型等)，然后视觉地标出被检对象和违禁品。
在被检对象未携带违禁品(即，步骤405处的“否”)且被检对象的行李中没有违禁品(即，步骤403处的“否”)的情况下，处理进行到步骤406处，允许被检对象携带其行李通过。
图5中示出了检测对象身上是否携带违禁品的操作405的示例性详细流程图。
在步骤4051处，例如通过太赫兹相机和深度相机获得被检对象的透视图像和具有深度信息的彩色图像。
在步骤4052处，从彩色图像中提取被检对象的人体掩膜，然后基于彩色图像的人体掩膜，从透视图像中提取人体掩膜。例如，根据仿射变换模型，利用旋转、平移和缩放将透视图像和彩色图像对齐，得到太赫兹相机和深度相机之间的变换参数。然后利用彩色图像中的深度信息(例如，人体骨架)和目标分割检测框架(例如，掩膜RCNN)提取彩色图像的人体掩膜。然后，根据太赫兹相机和深度相机间的变换参数，基于彩色图像的人体掩膜轮廓信息，提取出透视图像中的人体掩膜。
在步骤4053处，基于预先训练好的模型，识别透视图像中的人体掩膜中存在的颜色较深的图块是否为违禁品。例如，通过目标检测框架(例如：YOLOv3)检测颜色较深的图块是否是违禁品。
在颜色较深的图块为违禁品的情况下，在步骤4054处，将透视图中的违禁品的位置对应地映射到彩色图像中。
在颜色较深的图块不是违禁品的情况下，处理进行到如上所述的步骤406处。
图6中示出了根据本发明实施例的在AR上视觉地标出被检对象的操作408的示例性流程图。
在步骤4081处，通过每个深度相机获得被检对象相对于每个深度相机的空间位置。
在步骤4082处，以深度相机中的一个深度相机为基准相机，将其他深度相机进行外部参数标定，从而建立全局坐标系。
在步骤4083处，将各个深度相机获得的图像信息进行信息融合，从而获得每个被检对象的空间位置关系。
在步骤4084处，基于太赫兹相机和深度相机之间的变换参数，得到透视图像下的每个像素在全局坐标系下的空间位置。
在步骤4085处，基于每个像素的空间位置，将针对被检对象的正面透视图和背面透视图进行匹配，以确定正面透视图下的违禁品的图像和背面透视图下的违禁品的图像是相同图像还是不同图像。
在步骤4086处，将被检对象的位置和违禁品的位置发送给AR模块，以在全局坐标系下标识出被检对象以及违禁品在被检对象身上何处。
由于安检人员佩戴/携带/穿戴着AR模块随处移动，因此，对于相同的违禁品，AR模块的视角下违禁品的形状可以变化。因此，可选地，在步骤4087处，AR模块可以根据其与全局坐标系之间的转换关系，将透视图中的违禁品的形状进行变化，形成AR模块视角下的图形形状。
尽管以上各个框图中示出了多个组件，但是本领域技术人员应当理解，可以在缺少一个或多个组件或将某些组件组合的情况下实现本发明的实施例。
尽管以上根据附图中所示的顺序对各个步骤进行了描述，但是本领域技术人员应当理解，所述各个步骤可以按照不同的顺序执行，或者可以在没有上述步骤中的一个或多个步骤的情况下实现本发明的实施例。
根据前述内容可以理解，一个或多个系统或设备的电子组件可以包括但不限于至少一个处理单元、存储器、以及将包括存储器在内的各个组件耦接到处理单元的通信总线或通信装置。系统或设备可以包括或可以访问各种设备可读介质。系统存储器可以包括易失性和/或非易失性存储器形式的设备可读存储介质(比如，只读存储器(ROM)和/或随机存取存储器(RAM))。通过示例而非限制的方式，系统存储器还可以包括操作系统、应用程序、其它程序模块和程序数据。
实施例可以实现为系统、方法或程序产品。因此，实施例可以采用全硬件实施例或者包括软件(包括固件、常驻软件、微代码等)的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，实施例可以采取在其上体现有设备可读程序代码的至少一个设备可读介质中体现的程序产品的形式。
可以使用设备可读存储介质的组合。在本文档的上下文中，设备可读存储介质(“存储介质”)可以是任何有形的非信号介质，其可以包含或存储由配置为由指令执行系统、装置或设备使用或与其结合使用的程序代码组成的程序。出于本公开的目的，存储介质或设备应被解释为非暂时性的，即不包括信号或传播介质。
本公开出于说明和描述的目的得以呈现，但是并非旨在穷举或限制。许多修改和变化对于本领域普通技术人员将是明显的。选择和描述实施例以便说明原理和实际应用，并且使得本领域普通技术人员能够理解具有适合于所预期的特定用途的各种修改的本公开的各种实施例。
Claims (12)
1.一种图像识别系统，包括：
信息录入模块，被配置为录入被检对象的信息，并且识别所述被检对象的信息是否为异常信息；
检测模块，被配置为检测所述被检对象及其行李中是否携带违禁品；
增强现实AR模块，被配置为在被检对象的信息异常和被检对象及其行李携带违禁品中的至少一种情况下，从所述信息录入模块和/或所述检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在所述AR模块中标出被检对象和/或违禁品；以及
存储模块，被配置为存储所述信息录入模块、所述检测模块和所述AR模块操作过程中产生的信息，其特征在于，所述检测模块被配置为：
获取被检对象的透视图以及关于被检对象的彩色图像；以及
基于所述透视图和所述彩色图像检测所述被检对象及其行李中是否携带违禁品。
2.根据权利要求1所述的图像识别系统，所述检测模块包括检测通道、第一检测装置和第二检测装置，其中，
所述第一检测装置位于所述检测通道的前部，所述第二检测装置位于所述检测通道的后部，所述第一检测装置和所述第二检测装置均包括第一图像获取装置以及第二图像获取装置，
其中，所述第一图像获取装置用于获取被检对象的透视图，所述第二图像获取装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像。
3.根据权利要求2所述的图像识别系统，所述检测模块还被配置为：通过所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置。
4.根据权利要求2所述的图像识别系统，所述检测模块还包括辅助图像获取装置，其位于所述检测通道的中间部位处，用于获取关于被检对象的深度信息和关于被检对象的彩色图像。
5.根据权利要求4所述的图像识别系统，所述检测模块还被配置为：通过所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置。
6.根据权利要求3或5所述的图像识别系统，所述AR模块还被配置为：基于每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，根据所述AR模块与所述全局坐标系之间的转换关系，获得每个被检对象和/或所携带的违禁品在所述AR模块视角下的空间位置信息，以在所述AR模块上标出被检对象和/或违禁品。
7.一种图像识别方法，包括：
利用信息录入模块录入被检对象的信息，并且识别所述被检对象的信息是否为异常信息；
利用检测模块检测所述被检对象及其行李中是否携带违禁品；
在被检对象的信息异常和被检对象及其行李携带违禁品中的至少一种情况下，利用增强现实AR模块从所述信息录入模块和/或所述检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在所述AR模块中标出被检对象和/或违禁品；以及
利用存储模块存储所述图像识别方法执行过程中产生的信息，
其特征在于，
所述利用检测模块检测所述被检对象及其行李中是否携带违禁品包括：
利用所述检测模块获取被检对象的透视图以及关于被检对象的彩色图像；以及
利用所述检测模块基于所述透视图和所述彩色图像检测所述被检对象及其行李中是否携带违禁品。
8.根据权利要求7所述的图像识别方法，其中，利用所述检测模块获取被检对象的透视图以及关于被检对象的彩色图像包括：
利用所述检测模块的第一检测装置和第二检测装置中包括的第一图像获取装置获取被检对象的透视图，其中，所述第一检测装置位于所述检测模块中的检测通道的前部，所述第二检测装置位于所述检测通道的后部；以及
利用所述检测模块的第一检测装置和第二检测装置中包括的第二图像获取装置获取关于被检对象的深度信息和彩色图像。
9.根据权利要求8所述的图像识别方法，所述在所述AR模块中标出被检对象和/或违禁品包括：
通过所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置；以及
基于所述空间位置在所述AR模块中标出被检对象和/或违禁品。
10.根据权利要求8所述的图像识别方法，所述在所述AR模块中标出被检对象和/或违禁品包括：
通过设置在所述检测通道中部的辅助图像获取装置和所述第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系，以获取每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，其中，所述辅助图像获取装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像；以及
基于所述空间位置在所述AR模块中标出被检对象和/或违禁品。
11.根据权利要求9或10所述的图像识别方法，所述在所述AR模块中标出被检对象和/或违禁品还包括：
基于每个被检对象在所述全局坐标系下的空间位置和/或所携带的违禁品在所述全局坐标系下的空间位置，根据所述AR模块与所述全局坐标系之间的转换关系，获得每个被检对象和/或所携带的违禁品在所述AR模块视角下的空间位置信息，以在所述AR模块上标出被检对象和/或违禁品。
12.一种非暂时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求7至11中任一项所述的方法的程序代码指令。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154670.1A CN109785446B (zh) | 2019-02-28 | 2019-02-28 | 图像识别系统及其方法 |
| SG11202008813PA SG11202008813PA (en) | 2019-02-28 | 2020-01-19 | Image recognition system and method |
| EP20757506.9A EP3745359A4 (en) | 2019-02-28 | 2020-01-19 | IMAGE RECOGNITION SYSTEM AND METHOD |
| PCT/CN2020/072957 WO2020173258A1 (zh) | 2019-02-28 | 2020-01-19 | 图像识别系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154670.1A CN109785446B (zh) | 2019-02-28 | 2019-02-28 | 图像识别系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109785446A CN109785446A (zh) | 2019-05-21 |
| CN109785446B true CN109785446B (zh) | 2024-02-02 |
Family
ID=66486589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910154670.1A Active CN109785446B (zh) | 2019-02-28 | 2019-02-28 | 图像识别系统及其方法 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3745359A4 (zh) |
| CN (1) | CN109785446B (zh) |
| SG (1) | SG11202008813PA (zh) |
| WO (1) | WO2020173258A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785446B (zh) * | 2019-02-28 | 2024-02-02 | 清华大学 | 图像识别系统及其方法 |
| CN112668377A (zh) * | 2019-10-16 | 2021-04-16 | 清华大学 | 信息识别系统及其方法 |
| CN112346141A (zh) * | 2020-11-05 | 2021-02-09 | 上海亨临光电科技有限公司 | 一种太赫兹图像与可见光图像映射融合方法及系统 |
| CN112580474B (zh) * | 2020-12-09 | 2021-09-24 | 云从科技集团股份有限公司 | 基于计算机视觉的目标对象检测方法、系统、设备及介质 |
| CN114049575A (zh) * | 2021-10-09 | 2022-02-15 | 国家邮政局邮政业安全中心 | 一种安检机违禁品智能检测方法及系统、电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105700029A (zh) * | 2016-01-22 | 2016-06-22 | 清华大学 | 基于宇宙射线的检查对象的方法、装置及系统 |
| CN106548263A (zh) * | 2015-09-21 | 2017-03-29 | 同方威视技术股份有限公司 | 一种智能安全检查系统和方法 |
| CN107958435A (zh) * | 2016-10-17 | 2018-04-24 | 同方威视技术股份有限公司 | 安检系统及配置安检设备的方法 |
| CN108549898A (zh) * | 2018-03-20 | 2018-09-18 | 特斯联（北京）科技有限公司 | 一种用于安检透视的特定目标识别与增强的方法和系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494210B2 (en) * | 2007-03-30 | 2013-07-23 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
| US8320659B2 (en) * | 2007-08-01 | 2012-11-27 | Telesecurity Sciences, Inc. | Method for customs inspection of baggage and cargo |
| CN102542601A (zh) * | 2010-12-10 | 2012-07-04 | 三星电子株式会社 | 一种用于3d对象建模的设备和方法 |
| CN106934326B (zh) * | 2015-12-29 | 2020-07-07 | 同方威视技术股份有限公司 | 用于安全检查的方法、系统和设备 |
| CN106198580A (zh) * | 2016-08-26 | 2016-12-07 | 合肥丁点网络科技有限责任公司 | 一种x光安检机行李危险品快速自动检测报警装置及方法 |
| CN108268120B (zh) * | 2016-12-29 | 2020-07-28 | 同方威视技术股份有限公司 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
| CN108519625A (zh) * | 2018-04-08 | 2018-09-11 | 安徽理工大学 | 基于射线技术与深度学习的可识别违禁物品安检系统 |
| CN109785446B (zh) * | 2019-02-28 | 2024-02-02 | 清华大学 | 图像识别系统及其方法 |
| CN209895386U (zh) * | 2019-02-28 | 2020-01-03 | 清华大学 | 图像识别系统 |
-
2019
- 2019-02-28 CN CN201910154670.1A patent/CN109785446B/zh active Active
-
2020
- 2020-01-19 SG SG11202008813PA patent/SG11202008813PA/en unknown
- 2020-01-19 EP EP20757506.9A patent/EP3745359A4/en active Pending
- 2020-01-19 WO PCT/CN2020/072957 patent/WO2020173258A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548263A (zh) * | 2015-09-21 | 2017-03-29 | 同方威视技术股份有限公司 | 一种智能安全检查系统和方法 |
| CN105700029A (zh) * | 2016-01-22 | 2016-06-22 | 清华大学 | 基于宇宙射线的检查对象的方法、装置及系统 |
| CN107958435A (zh) * | 2016-10-17 | 2018-04-24 | 同方威视技术股份有限公司 | 安检系统及配置安检设备的方法 |
| CN108549898A (zh) * | 2018-03-20 | 2018-09-18 | 特斯联（北京）科技有限公司 | 一种用于安检透视的特定目标识别与增强的方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| Gamma/X-ray linear pushbroom stereo for 3D cargo inspection;Zhigang Zhu 等;Machine Vision and Applications;第21卷;第413-425页 * |
| X射线安全检查技术研究新进展;陈志强 等;科学通报;第62卷(第13期);第1350-1365页 * |
| 人体安检新技术的分析与探讨;赵自然;中国安防;第33-36页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3745359A4 (en) | 2021-11-03 |
| EP3745359A1 (en) | 2020-12-02 |
| CN109785446A (zh) | 2019-05-21 |
| WO2020173258A1 (zh) | 2020-09-03 |
| SG11202008813PA (en) | 2020-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109785446B (zh) | 图像识别系统及其方法 | |
| CN209895386U (zh) | 图像识别系统 | |
| WO2021073370A1 (zh) | 物品检测方法、装置、系统和计算机可读存储介质 | |
| CN109492714B (zh) | 图像处理装置及其方法 | |
| CN105389797B (zh) | 一种基于超分辨率重建的无人机视频小目标检测方法 | |
| CN106874845B (zh) | 图像识别的方法和装置 | |
| EP3321860A1 (en) | Method and system for identifying train number and model, and safety check method and system | |
| US10810437B2 (en) | Security check system and method | |
| CN109506628A (zh) | 一种基于深度学习的卡车环境下目标物测距方法 | |
| JP2017201745A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US10656018B2 (en) | Method for detecting shipwrecked vessel and drown victims by using aerial hyperspectral image | |
| CN108960124A (zh) | 用于行人再识别的图像处理方法及装置 | |
| CN109657717A (zh) | 一种基于多尺度密集结构特征提取的异源图像匹配方法 | |
| US20230108285A1 (en) | Systems and Methods for Identifying Threats and Locations, Systems and Method for Augmenting Real-Time Displays Demonstrating the Threat Location, and Systems and Methods for Responding to Threats | |
| CN108021913A (zh) | 证件照片信息识别方法及装置 | |
| US20200388017A1 (en) | System, apparatus and method for facilitating inspection of a target object | |
| CN108319956A (zh) | 证件信息的自动识别装置及系统 | |
| JP2015128228A (ja) | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 | |
| KR102050418B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
| CN106611417A (zh) | 将视觉元素分类为前景或背景的方法及装置 | |
| WO2014204126A2 (ko) | 3차원 초음파 촬영장치 및 그 운영방법 | |
| Bandyopadhyay et al. | Identifications of concealed weapon in a Human Body | |
| US7346193B2 (en) | Method for detecting object traveling direction | |
| CN112257667A (zh) | 一种小型船只检测方法、装置、电子设备及存储介质 | |
| CN111008676B (zh) | 一种安检方法及安检系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |