CN112990247B - 具有5g阵列的多模态对象检测系统 - Google Patents

具有5g阵列的多模态对象检测系统 Download PDF

Info

Publication number
CN112990247B
CN112990247B CN202011270633.6A CN202011270633A CN112990247B CN 112990247 B CN112990247 B CN 112990247B CN 202011270633 A CN202011270633 A CN 202011270633A CN 112990247 B CN112990247 B CN 112990247B
Authority
CN
China
Prior art keywords
metal object
response
processor
response signal
response signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011270633.6A
Other languages
English (en)
Other versions
CN112990247A (zh
Inventor
P·P·麦坎内
B·利普克兹恩斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN112990247A publication Critical patent/CN112990247A/zh
Application granted granted Critical
Publication of CN112990247B publication Critical patent/CN112990247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
    • G01V3/10—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices using induction coils
    • G01V3/104—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices using induction coils using several coupled or uncoupled coils
    • G01V3/105—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices using induction coils using several coupled or uncoupled coils forming directly coupled primary and secondary coils or loops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q21/00—Antenna arrays or systems
    • H01Q21/06—Arrays of individually energised antenna units similarly polarised and spaced apart
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及具有5G阵列的多模态对象检测系统。一种系统可以接收由被定位在物理环境中的相机设备生成的视频数据。该系统可以接收由5G天线设备的阵列生成的电磁(EM)响应信号。该系统可以改善EM响应信号。该系统可以确定金属对象的位置信息。该系统可以生成针对金属对象的运动轨迹。该系统可以生成特征向量，该特征向量包括改善的EM响应信号和运动轨迹的集合。该系统可以将特征向量提交给机器学习框架。该系统可以将金属对象分类为武器。该系统可以生成虚拟绘制，该虚拟绘制包括金属对象的图形指示。该系统可以将虚拟绘制与视频输入数据组合，并且显示所组合的虚拟绘制和视频数据。

Description

具有5G阵列的多模态对象检测系统
技术领域
本公开涉及5G技术，并且尤其涉及通过5G技术和机器学习进行的对象检测和绘制(rendering)。
背景技术
武器检测可以涉及分析从金属对象反射和/或折射的电磁能量。用于武器检测的传统方法依赖于金属检测硬件，该金属检测硬件通常局限于较小区域，诸如建筑物、机场等的入口。局部检测可能会导致瓶颈，甚至导致无法检测绕过检测硬件的武器。此外，用于武器检测的传统方法容易由于人为或机器错误而导致不准确。这样的错误结果可能会导致对人或财产进行不必要的物理搜索。
附图说明
参考以下附图和描述可以更好地理解实施例。图中的组件不一定按比例绘制。此外，在附图中，贯穿不同的视图，相似的附图标记表示相应的部分。
图1示出了系统的第一示例；
图2示出了信号处理器的示例；
图3示出了信号处理器的示例逻辑的流程图；
图4示出了武器检测和绘制(WDR)控制器的示例；
图5示出了针对WDR控制器的示例逻辑的流程图；
图6示出了对象检测框架的示例；
图7示出了针对对象检测框架的示例逻辑的流程图；
图8示出了对象分类控制器的示例；
图9示出了针对对象分类控制器的示例逻辑的流程图；以及
图10示出了系统的第二示例。
具体实施方式
用于武器检测的传统方法局限于较小的区域，诸如飞机场、体育馆等区域的入口和出口。在这种方法中使用的射频不能提供电磁能量，该电磁能量在较大距离上从多个优势点穿透材料。此外，传统方法通常依靠人工干预来将对象检测或分类为武器，这取决于效率低下和错误。此外，传统方法无法将关于金属对象的事实与其他上下文信息相结合以准确地检测和分类武器并且度量武器威胁。这些问题严重地存在于隐蔽武器在无法或不可能进行人类检测的较大区域中的情况。
因此，公开了用于基于蜂窝的多模态武器检测的数字系统和方法。作为介绍性示例，该系统可以包括被定位在目标物理环境中的多个有利位置处的5G天线设备的阵列。该系统还可以包括监控基础设施，该监控基础设施包括被定位在目标物理环境中的相机设备。该系统可以接收由相机设备生成的视频输入数据。该系统可以接收由5G天线设备阵列生成的电磁(EM)响应信号。EM响应信号中的每个EM响应信号可以由单独的对应5G天线设备生成。EM响应信号可以表示目标物理环境中的EM响应。该系统可以基于从EM响应信号中去除背景噪声来改善(refine)EM响应信号。该系统可以确定针对EM响应信号的位置信息。位置信息表示目标物理环境中金属对象的位置，在该位置处EM能量被反射或折射。该系统可以基于位置信息与历史位置信息的比较来生成金属对象的运动轨迹。该系统可以生成特征向量，该特征向量包括改善的EM响应信号和运动轨迹的聚合。该系统可以将特征向量提交给机器学习框架，该机器学习框架被配置为访问先前基于训练数据被训练的机器学习模型，该训练数据包括历史EM响应信号和针对金属对象的历史运动轨迹。响应于特征向量向机器学习框架的提交，该系统可以将金属对象分类为武器。响应于金属对象作为武器的分类，该系统可以生成包括金属对象的图形指示的虚拟绘制。该系统可以将虚拟绘制与视频输入数据组合。该系统可以引起所组合的虚拟绘制和视频数据的显示。
通过下面描述的系统和方法实现的技术进步的一个示例可以是当参与者进入物理环境时，由5G蜂窝基础设施提供的普及性5G信号对其进行安全且匿名的扫描。在较高5G频带(即，24GHz-86GHz)操作的多个5G天线设备可以分布在整个物理环境中。在物理环境中移动的金属对象(诸如武器)可以生成EM能量响应。5G天线设备可以从多个优势位置测量EM响应并且生成对应EM响应信号。
通过本文中描述的系统和方法实现的技术进步的另一示例是用于实时标识和分类武器的改进的预测性能。来自单独天线设备的EM响应信号可以被聚合到用于机器学习框架的特征向量中。特征向量还可以包括从金属对象的EM描述中导出的附加符号(symbolic)特征和/或子符号特征，包括运动信息、物理属性、或其他符号特征和/或子符号特征。为了改进处理性能和实时检测，信号处理器可以在特征向量生成之前过滤背景噪声和/或将可能被分类为武器的EM响应信号分组。
本文中描述的系统和方法所实现的另一技术进步是，从这些5G信号和其他数据源中导出的计算机生成的见解可以提供目标环境和/或其中包含的武器的虚拟绘制。虚拟绘制可以与视频数据一起显示以创建增强现实体验，其中对环境进行过滤以查找与观察列表相匹配的对象，诸如枪支、刀具等。可以实时提醒操作者关注高关注度的主体。与主体有关的其他信息允许操作者可以做出有关下一步动作的明智决定。
在下面描述的系统和方法中，与现有解决方案相比的附加或替代的好处、效率和改进是很清楚的。
图1示出了系统100的第一示例。该系统可以包括蜂窝基础设施102。蜂窝基础设施102可以包括5G阵列104。5G阵列104可以包括被定位在整个物理环境E中的5G天线设备106。5G天线设备106可以包括例如5G毫米波天线。替代地或另外地，5G天线设备106可以包括无线电接入节点、或用于无线电接入节点的天线。例如，5G天线设备可以包括小小区、或用于小小区的无线电。
5G天线设备106可以发射电磁能量，该电磁能量反射和折射离开物理环境E中的对象。5G天线设备106可以接收(多个)EM发射信号，EM发射信号使5G天线设备106发射5G频带中的电磁能量。EM发射信号可以引起(多个)5G天线设备106传送电磁能量。5G发射信号可以包括各种参数，诸如由5G天线设备106用来生成EM发射的频带或其他信息。
(多个)5G天线设备106可以检测物理环境E中的EM响应。EM响应可以包括从物理环境E中的对象反射/折射的EM能量。5G天线设备106可以响应于检测到反射/折射EM而生成EM响应信号。EM响应信号可以包括对在物理环境E中反射/反射的电磁能量的一个或多个属性的度量。
系统100还可以包括监控基础设施108。监控基础设施108可以生成物理环境E的视频数据。监控基础设施可以包括一个或多个相机设备110。相机设备110可以包括捕获图像和/或视频信息的设备。相机设备110可以接收以下指令：调节缩放、角度、分辨率和/或调用影响相机的方向和/或由相机捕获的视频数据的质量的其他操作。监控基础设施108可以包括分布在整个物理环境E中的多个相机设备。
物理环境E可以包括针对武器和/或其他违禁物品进行监测的环境。例如，物理环境E可以包括诸如地理区域或空间等区域。替代地或另外地，物理环境E或其一部分可以由诸如墙壁、建筑物、栅栏等结构来定义。在其他示例中，物理环境E可以包括蜂窝基础设施102(或其一部分)的覆盖区域。例如，物理环境E可以包括其中5G阵列104能够发送EM信号和接收EM能量的地理区域。在其他示例中，物理环境E可以基于由坐标或其他边界标准指定的预定边界来限定。
系统100还可以包括5G信息、监控和ISR系统112(下文中称为ISR系统)。ISR系统112可以包括信号处理器114、武器检测和绘制(WDR)控制器116、视频输入接收器118、监控控制器120和/或计算机视觉框架122。
信号处理器114可以与蜂窝基础设施102通信，以使电磁能量经由一个或多个5G天线设备106从物理环境E中被发射并且随后被接收。例如，信号处理器114可以向一个或多个5G天线设备106发送EM发射信号并且然后从5G天线设备106接收EM响应信号。信号处理器114还可以改善EM响应信号。关于信号处理器114的其他细节在图2-3和相关讨论中描述。
WDR控制器116可以生成环境的三维绘制，包括在其中检测到的一个或多个武器的模型数据。例如，WDR控制器116可以接收与物理环境E中的金属对象相对应的EM响应信号。WDR控制器116生成基于信号的特征(例如，从EM响应信号中导出的特征)。另外，WDR控制器116可以接收基于图像的特征(从图像信息中导出的特征)。WDR控制器116可以应用各种机器学习来推理金属对象是否是武器。WDR控制器116还可以生成针对武器和/或物理环境E的可绘制模型。关于WDR控制器116的其他细节在图4-5和相关讨论中描述。
视频输入接收器118可以接收由监控基础设施108生成的视频数据。视频数据可以包括流视频、图像或其组合。替代地或另外地，视频数据可以包括与捕获视频的相机的位置相对应的位置信息、相机的角度、相机的缩放因子等。
监控控制器可以控制监控基础设施108中的一个或多个相机设备。例如，监控控制器可以为一个或多个相机生成用于控制相机的功能(缩放、角度、分辨率等)的指令。
计算机视觉框架122可以生成从视频数据中导出的基于图像的特征。基于图像的特征可以包括从视频输入数据生成的符号和/或子符号特征。例如，符号特征可以基于将图像分类为符号类别(即，人、地板、门等)的图像识别技术来确定。子符号特征可以包括原始像素数据，诸如RGB值、检测到的边等。
在一些示例中，计算机视觉框架122可以生成物理环境E或其一部分的虚拟绘制。虚拟绘制可以包括物理环境E或其一部分的实时虚拟表示。例如，虚拟绘制可以包括场景图或针对计算机图形的某种其他数据结构。替代地或另外地，虚拟绘制可以包括视频数据、与在物理环境E中检测到的符号特征相对应的模型数据。虚拟绘制可以由WDR控制器116另外进行丰富。例如，WDR控制器116可以附加与在物理环境E中检测到的基于信号的特征相对应的可绘制模型。在其他示例中，WDR控制器116可以生成虚拟绘制并且附加针对由计算机视觉框架122检测到的基于图像的特征的模型。
该系统还可以包括通知和警报系统124。通知和警报系统124可以响应于在物理环境E中检测到武器而为一个或多个用户生成通知。在一些示例中，该通知可以包括诸如链接等交互对象，该交互对象引起终端设备加载由WDR控制器116生成的虚拟绘制。
通知和警报系统124可以包括触发标准。触发标准可以包括关于何时应当生成通知的条件。在各种示例中，标准可以将针对检测到的武器的威胁指数与预定阈值进行比较。替代地或另外地，标准可以将武器分类与预定类别进行比较。响应于标准的满足，通知和警报系统124可以向注册用户发送通知。关于威胁指数和武器分类的其他讨论在图8-9和相关讨论中描述。
该系统可以包括一个或多个终端126。终端可以显示虚拟绘制和/或通知。终端可以包括显示器、移动设备、计算机、和/或具有显示信息和/或接收输入命令的屏幕的任何其他设备。
图2示出了信号处理器114的示例。信号处理器114可以包括蜂窝控制器202、频带分离器204、位置检测器205、分类过滤器206、信号分类模型208和/或信号聚合器210。图3示出了信号处理器114的示例逻辑的流程图。在以下对图3的整个讨论中参考图2。
蜂窝控制器202可以传输EM发射信号(302)。蜂窝控制器202可以将EM发射信号传输到一个或多个5G天线设备106(图1-2)。替代地，蜂窝控制器202可以将EM信号传输到与5G天线设备106通信的服务提供商。服务提供商可以使(多个)5G天线设备106基于EM发射信号而发射EM能量。
信号处理器114可以接收EM响应信号(304)。EM响应信号可以由一个或多个天线设备106响应于在物理环境中检测到反射/折射的EM能量而生成(图1)。在一些示例中，5G天线设备106可以将EM响应信号传送到信号处理器114。替代地，5G天线设备106可以将EM响应信号传送到服务提供商，这使得EM响应信号对信号处理器114可用。
信号处理器114可以改善EM响应信号(306)。为了改善EM响应信号，频带分离器204可以将EM响应信号分离成单独的流(308)。例如，信号处理器114可以将EM响应信号分离成与不同频带相对应的流。在一些示例中，频带分离器204可以使一些5G频带被过滤。对于武器检测，上带(upper band)可能比其他频带更有用，因为上带最有可能生成针对小型武器的可检测到的EM反射/反射。上带可以包括由5G使用的较高频带，诸如但不限于24Ghz-40Ghz。在一些示例中，I带频率可以产生最佳穿透、折射和反射性质，从而使得金属对象在被衣服隐藏时可以检测到金属对象。
位置检测器205可以确定针对(多个)EM响应信号的位置信息。位置信息可以标识电磁能量在物理环境中被反射和/或折射的位置。位置检测器可以基于波长、频率、幅度和其他信息来分析所接收的EM响应信号模式，以确定物理环境中的反射/折射的EM能量的来源。例如，位置信息可以包括二维或三维坐标，诸如纬度、经度、高度。替代地或另外地，位置信息可以包括标识三维笛卡尔坐标内的位置的坐标。
分类过滤器206可以减少噪声和/或分类EM响应信号(310)。例如，分类过滤器206可以将EM响应信号分类为各种类别，诸如基于武器的EM信号和基于背景的EM信号。噪声过滤器可以访问信号分类模型208。信号分类模型208可以包括机器学习模型。各种类型的机器学习可以适用于对EM响应信号进行分类，包括例如卷积神经网络(CNN)和/或全卷积网络(FCN)。
在一些示例中，信号分类模型208可以基于历史EM信号被训练。最初，分类模型可以基于在RF消声室(anechoic chamber)中生成的电磁响应数据被训练。分类模型还可以根据物理环境的类型和蜂窝基础设施102的布置被训练。例如，与购物中心或其他一些环境中的分类模型相比，球场环境的第一分类模型可以具有不同的经训练的权重和偏差。因此，初始分类模型还可以基于在各种类型的物理环境中生成的EM响应数据被训练。
替代地或另外地，信号分类模型208可以被训练以标识物理环境内的静态对象。例如，当获取针对物理环境的EM响应信号时，静态对象可以被检测。分类过滤器206可以动态地训练信号分类模型208以增加关于这样的信号可以被分类为背景噪声的置信度。因此，当新的或移动的金属对象进入物理环境时，背景模型可以产生关于金属对象是背景噪声的较低置信度。
信号聚合器可以将EM响应信号分组为一个或多个信号组。信号组可以包括由分离的对应天线设备生成的两个或更多个EM响应信号。信号组中的EM响应信号可以各自与从物理环境中的同一对象反射和/或折射的EM能量相对应。为了对信号进行分组，信号聚合器可以访问信号分组模型。信号分组模型可以包括机器学习模型、统计模型、基于规则的模型、或某种其他合适的模型，这些模型应用分组标准来确定是否将EM响应信号分组在一起。举例来说，分组标准可以将由在物理环境中的同一或近似同一位置处反射和/或折射的EM能量生成的信号进行分组。
替代地或另外地，信号聚合器可以确定针对一组EM信号的位置信息。例如，信号聚合器可以将针对一组EM信号中每个EM信号的位置信息组合。因此，一组EM信号的位置信息可以包括与物理环境中的点、区域和/或三维空间相对应的平均值。
EM信号聚合器可以生成改善的EM响应流。改善的EM响应流可以包括EM信号组。EM响应信号组中的每个可以包括与在物理空间中反射/折射EM能量的同一对象相对应的EM响应信号。EM信号组可以与位置信息和/或分类标签进行映射。分类标签可以将EM信号组分类为武器或某些其他对象(即，静态背景噪声)。
由信号处理器114提供的改善信号提供的技术进步在于，可以利用机器学习技术对EM响应信号进行过滤，并且将EM响应信号分组为由目标物理环境中可能是武器的金属对象引起的EM信号组。但是，还可以对EM信号组进行其他机器学习分析，以提高检测和分类的准确性。
图4示出了WDR控制器116的示例。WDR控制器可以包括对象检测框架402、对象分类控制器404和4D绘制系统406。图5示出了WDR控制器116的示例逻辑的流程图。在以下对图5的整个讨论中参考图1-4。
WDR控制器可以接收(多个)改善的EM响应流(502)。WDR控制器可以接收视频输入数据(504)。WDR控制器可以接收基于图像的特征(506)。对象检测框架402可以生成武器标记(token)(508)。武器标记可以包括与物理环境中的金属对象相对应的标记信息。例如，武器标记可以包括各种属性，包括尺寸、形状、密度、位置等。替代地或另外地，武器标记可以包括参考下表2描述的基于图像的特征和/或基于信号的特征中的任何一个。当确定了与武器有关的事实时，可以通过包括附加属性或将附加属性与武器标记相关联来改善武器标记。在一些示例中，针对武器标记的数据结构可以包括其中各种属性被表示为节点的知识图谱。节点可以由描述节点之间的关系的边互连。对象检测框架和武器标记生成的其他描述在图6-7和相关讨论中描述。
对象分类控制器404可以针对武器标记生成武器分类和/或威胁指数(510)。武器分类可以包括武器的类别分类。例如，武器类型可以包括(枪、刀、步枪等)。威胁指数可以包括武器威胁的度量。该度量可以对应于定量标度(即，1至10)和/或定性标度(高、中、低)。在一些示例中，威胁指数可以与武器类型相关联。例如，武器分类存储库可以存储威胁指数与武器类型之间的链接。对象分类控制器404的其他描述在图8-9和相关讨论中进一步描述。
4D绘制系统406可以生成物理环境或其一部分的虚拟绘制(512)。虚拟绘制可以包括物理环境或其一部分的实时虚拟表示。例如，虚拟绘制可以包括场景图或针对计算机图形的某种其他数据结构。替代地或另外地，虚拟绘制可以包括视频数据、表示检测到的武器的图形、表示威胁指数的图形或其组合。例如，EM响应信号中的每个可以表示物理环境中的对应位置处的反射/折射。4D绘制系统406可以基于反射/折射的位置生成武器的三维绘制。例如，4D绘制引擎可以生成可绘制模型，诸如分别与反射/折射位置相对应的多个顶点。
4D绘制系统406可以将虚拟模型与视频信息组合(514)以生成物理环境或其一部分的增强视觉。替代地或另外地，4D绘制系统406可以从计算机视觉系统接收物理环境的绘制。4D绘制系统406还可以利用武器的可绘制模型来丰富绘制。例如，计算机视觉系统可以预生成要绘制的场景图，其具有表示基于图像的特征的各种节点。4D绘制系统406可以接收场景图并且向场景图中附加表示物理环境中的武器的基于信号的特征的附加节点。
4D绘制系统406可以引起所组合的虚拟绘制和视频数据的显示(516)。例如，4D绘制系统406可以生成交互式用户界面，该交互式用户界面显示视频输入数据，其中虚拟绘制叠加在视频数据之上。用户界面可以包括武器的可绘制模型的各种图形、威胁指数、武器分类或其组合、和/或与武器有关的任何其他基于图像或基于信号的特征。
图6示出了对象检测框架402的示例。对象检测框架402可以包括基于信号的特征检测器602、多模态聚合器606、多模态机器学习框架608、模型存储库610、推理逻辑612和/或训练逻辑614。
图7示出了对象检测框架402的示例逻辑的流程图。基于信号的特征检测器602可以接收改善的EM响应流(702)。多模态聚合器606可以接收视频输入数据(704)。视频输入数据可以包括流视频数据和/或一个或多个图像。视频输入数据可以包括由被定位在物理环境中的相机捕获的视频/图像数据。因此，视频输入数据可以表示物理环境或其一部分的视觉。
多模态聚合器可以接收基于图像的特征(706)。如前所述，基于图像的特征可以包括物理环境或其中包括的对象的符号或子符号表示。计算机视觉框架122(图1)可以生成基于图像的特征。
基于信号的特征检测器602可以检测基于信号的特征(708)。基于信号的对象特征可以包括描述金属对象在目标对象环境中的存在、金属对象的位置、金属对象的运动和/或金属对象的物理属性的信息。
例如，基于信号的特征检测可以包括物理属性检测器604。物理属性检测器604可以标识金属对象的一个或多个物理属性。表1列出了各种金属对象特征的示例。如表1所示，物理属性可以具有各种类型。在一些示例中，物理属性检测器604可以访问一个或多个机器学习模型以检测物理属性。例如，物理属性检测器604可以访问针对每种金属对象特征类型的单独训练的机器学习模型。因此，例如，金属对象检测器可以访问第一模型以确定金属对象尺寸、访问第二机器学习模型以确定金属对象形、访问第三机器学习模型以确定金属对象密度等。金属对象机器学习模型中的每个可以被训练以基于EM响应信号标识/推理对应的金属对象特征。
表1-物理属性。
尺寸 模型A
密度 模型B
材料 模型C
…… ……
运动检测器603可以确定针对金属对象的运动轨迹。运动轨迹可以标识通过物理环境的运动路径。例如，运动信息可以包括一系列位置测量。替代地或另外地，运动轨迹可以包括多个运动矢量。在其他示例中，运动信息可以包括一段时间内的运动路径。例如，运动路径可以包括金属对象在物理环境中的多个位置。在一些示例中，运动路径可以在时间窗口(1秒、5秒、1分钟等)之上被限定。
多模态聚合器606可以生成特征向量(710)。例如，多模态聚合器606可以将各种类型的特征聚合为组合的多维特征向量。特征向量可以包括(多个)基于信号的特征和/或基于图像的特征。基于信号的特征可以包括从EM响应信号中导出的符号和/或子符号特征。基于图像的特征可以包括从视频数据中导出的符号或子符号特征。
在一些示例中，特征向量可以包括由单独的相应5G天线设备生成的多个EM响应信号。多个EM响应信号可以对应于物理环境中的不同位置和角度处的EM数据的度量。例如，第一5G天线设备可以生成第一EM响应信号。第二5G天线设备可以生成第二EM响应信号。第一5G响应信号和第二5G响应信号可以包括从物理空间中的不同角度和位置对金属对象进行的基于信号的度量。多个EM响应信号可以与诸如运动信息等其他符号信息一起被聚合。
替代地或另外地，特征向量可以包括参考表2标识的特征中的一个或多个特征的集合。
表2-特征向量示例
提供表2的特征向量列中包括的示例特征作为示例。取决于实现，多模态聚合器606可以聚合比表2中示出的特征更多、更少或不同的特征。此外，基于信号的特征和/或基于图像的特征可以包括附加或替代特征。还应当理解，在示例中，在金属对象可见或部分可见的情况下，基于图像的特征还可以基于图像识别分析来生成从图像数据中导出的物理属性和/或符号位置信息、运动信息。
在一些示例中，多模态聚合器606可以在聚合之前生成参数。参数可以包括基于信号的特征和/或基于图像的特征。多模态聚合器606可以将特征组合成用于机器学习模型的多维向量。
训练逻辑614和/或推理逻辑612可以将所生成的特征向量提交给多模态机器学习框架(712)。多模态机器学习框架可以访问先前基于历史特征被训练的机器学习模型。基于机器学习模型的权重和偏差，训练逻辑614可以生成关于金属对象是武器的推理度量。推理度量可以包括例如在范围(即，0到100)内的置信度度量、或离散值(即，武器/非武器)。
推理逻辑612可以将金属对象分类为武器(714)。例如，来自机器学习框架的推理度量可以表示金属对象是武器的置信度。推理逻辑612可以确定置信度度量大于阈值置信度值。在一些示例中，阈值置信度值可以是可调的，使得操作者可以增加或减小阈值置信度值以调节系统性能。
机器学习模型可以存储在模型存储库610中。模型存储库610存储多个机器学习模型。在一些示例中，模型存储库610可以将机器学习模型与相应物理环境标识符相关联。例如，机器学习框架可以分别基于对应的物理环境或对应类型的物理环境内进行训练。因此，可以通过从模型存储库610中选择加载被映射到目标物理环境的标识符(或目标物理环境的类型)的机器学习模型来实现针对目标物理环境的对象检测框架402的部署。
训练逻辑614可以训练(多个)机器学习模型。例如，当武器存在于物理环境中时，可以接收改善的EM响应信号、视频输入数据和/或基于图像的特征。训练逻辑614可以调节机器学习模型的权重和偏差以准确地预测武器的存在。训练模型可以被存储在模型存储库610中，并且随后在推理时间期间被访问。
图8示出了对象分类控制器404的示例。图9示出了用于对象分类控制器404的示例逻辑的流程图。在以下对图9的整个讨论中参考图8。
对象分类控制器404可以接收武器标记(902)。如前所述，武器标记可以包括描述武器的参数，诸如基于信号的特征和/或基于图像的特征。
武器分类器802可以确定武器类型(904)。例如，武器分类器802可以应用有监督和/或无监督学习来将武器标记分类为特定武器类型。在一些示例中，武器分类器802可以访问武器分类器模型804。武器分类器模型804可以包括基于统计或基于规则的机器学习模型，该模型基于武器标记的基于信号和/或图像的特征来将武器分类为特定类型的武器。在一些示例中，武器分类器模型804可以具有用于基于密度、尺寸、材料或其他特征对武器标记进行分类的一个或多个规则。规则可以包括将武器标记的(多个)参数与阈值进行比较的标准，诸如阈值、运算符等。
威胁指数器806可以确定威胁指数(906)。例如，威胁指数器806可以访问威胁评估模型808。威胁评估模型808可以包括基于规则的模型，诸如基于规则的机器学习模型，该基于规则的模型包括用于基于关于武器的事实来确定威胁指数的规则。这些事实可以包括例如武器标记中包括的信息和/或武器分类。
对象分类控制器404可以丰富武器标记(908)。例如，对象分类控制器404可以将威胁指数和/或武器分类与武器标记相关联。取决于武器标记的数据结构，对象分类控制器404可以将威胁指数和/或武器分类与武器标记包括在一起。替代地或另外地，对象分类控制器404可以将威胁指数和/或武器分类链接到武器标记。例如，武器标记可以包括知识图谱(或被包括在知识图谱中)，在知识图谱中，第一节点表示武器，而表示威胁指数和武器分类的其他节点则经由相应边链接到武器节点。
图3、5、7和9的流程图中所示的逻辑可以包括比所示出的更多、不同或更少的操作。所示出的操作可以以与所示出的顺序不同的顺序来执行。
系统100或其中的子组件可以用比所示出的更多、不同或更少的组件来实现。每个组件可以包括更多、不同或更少的组件。
图10示出了系统100的第二示例。系统100可以包括通信接口1012、输入接口1028和/或系统电路系统1014。系统电路系统1014可以包括处理器1016或多个处理器。替代地或另外地，系统电路系统1014可以包括存储器1020。
处理器1016可以与存储器1020通信。在一些示例中，处理器1016还可以与附加元件通信，诸如通信接口1012、输入接口1028和/或用户接口1018。处理器1016的示例可以包括通用处理器、中央处理单元、逻辑CPU/阵列、微控制器、服务器、专用集成电路(ASIC)、数字信号处理器、现场可编程门阵列(FPGA)和/或数字电路、模拟电路或其某种组合。
处理器1016可以是可操作以执行逻辑的一个或多个设备。该逻辑可以包括存储在存储器1020或其他存储器中的计算机可执行指令或计算机代码，该计算机可执行指令或计算机代码在由处理器1016执行时使处理器1016执行5G ISR系统、信号处理器114、蜂窝控制器202、频带分离器204、位置检测器205、分类过滤器206、信号分类模型208、信号聚合器210、WDR控制器116、对象检测框架402、对象分类控制器404、4D绘制系统406、视频输入接收器118、监控控制器120、通知和警报系统124和/或系统100的操作。计算机代码可以包括由处理器1016可执行的指令。
存储器1020可以是用于存储和检索数据的任何设备或其任何组合。存储器1020可以包括非易失性和/或易失性存储器，诸如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或闪存。替代地或另外地，存储器1020可以包括光、磁(硬盘)、固态驱动器或任何其他形式的数据存储设备。存储器1020可以包括5G ISR系统、信号处理器114、蜂窝控制器202、频带分离器204、位置检测器205、分类过滤器206、信号分类模型208、信号聚合器210、WDR控制器116、对象检测框架402、对象分类控制器404、4D绘制系统406、视频输入接收器118、监控控制器120、通知和警报系统124和/或系统100中的至少一种。替代地或另外地，存储器可以包括本文中描述的系统100的任何其他组件或子组件。
用户接口1018可以包括用于显示图形信息的任何界面。系统电路系统1014和/或(多个)通信接口1012可以向用户接口1018传送使用户接口显示图形信息的信号或命令。替代地或另外地，用户接口1018可以远离系统100，并且系统电路系统1014和/或(多个)通信接口可以向用户接口传送用于使用户接口显示、编译和/或绘制信息内容的指令，诸如HTML。在一些示例中，由用户接口1018显示的内容可以是交互的或响应于用户输入。例如，用户接口1018可以向通信接口1012或系统电路系统1014传送回信号、消息和/或信息。
系统100可以以很多不同的方式实现。在一些示例中，系统100可以利用一个或多个逻辑组件来实现。例如，系统100的逻辑组件可以是硬件或硬件和软件的组合。逻辑组件可以包括5G ISR系统、信号处理器114、蜂窝控制器202、频带分离器204、位置检测器205、分类过滤器206、信号分类模型208、信号聚合器210、WDR控制器116、对象检测框架402、对象分类控制器404、4D绘制系统406、视频输入接收器118、监控控制器120、通知和警报系统124、系统100、和/或系统100的任何组件或子组件。在一些示例中，每个逻辑组件可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字逻辑电路、模拟电路、分立电路、门或任何其他硬件类型的组合、或其组合。替代地或另外地，每个组件可以包括存储器硬件，诸如存储器1020的一部分，该存储器硬件包括由处理器1016或其他处理器可执行以实现逻辑组件的一个或多个特征的指令。当逻辑组件中的任何一个包括存储器的包括处理器1016可执行的指令的部分时，该组件可以包括或不包括处理器1016。在一些示例中，每个逻辑组件可以只是包括如下指令的存储器1020或其他物理存储器的一部分：该指令由处理器1016或(多个)其他处理器可执行以实现对应组件的功能，而该组件不包括任何其他硬件。因为即使当所包括的硬件包括软件时，每个组件也包括至少一些硬件，所以每个组件可以可互换地称为硬件组件。
一些特征被示出为存储在计算机可读存储介质中(例如，作为逻辑，该逻辑被实现为计算机可执行指令或存储器中的数据结构)。该系统的全部或部分及其逻辑和数据结构可以存储在一种或多种类型的计算机可读存储介质上，分布在其上或者从其中读取。计算机可读存储介质的示例可以包括硬盘、软盘、CD-ROM、闪存驱动器、高速缓存、易失性存储器、非易失性存储器、RAM、闪存、或任何其他类型的计算机可读存储介质。计算机可读存储介质可以包括任何类型的非暂态计算机可读介质，诸如CD-ROM、易失性存储器、非易失性存储器、ROM、RAM或任何其他合适的存储设备。
该系统的处理能力可以分布在多个实体之间，诸如分布在多个处理器和存储器之间，可选地包括多个分布式处理系统。参数、数据库和其他数据结构可以分别存储和管理，可以合并到单个存储器或数据库中，可以用很多不同的方式在逻辑上和物理上进行组织，并且可以使用不同类型的数据结构(诸如链表、哈希表或隐式存储机制)来实现。逻辑(诸如程序或电路系统)可以在多个程序之间进行组合或拆分，分布在多个存储器和处理器中，并且可以在诸如共享库(例如，动态链接库(DLL))等库中实现。
所有讨论(无论所描述的具体实现如何)本质上都是说明性的，而不是限制性的。例如，尽管实现的选定方面、特征或组件被描述为存储在(多个)存储器中，但是系统的全部或部分可以存储在其他计算机可读存储介质上，分布在其上或者从其中读取，例如，辅助存储设备，诸如硬盘、闪存驱动器、软盘和CD-ROM。此外，各种逻辑单元、电路系统和屏幕显示功能仅仅是这种功能的一个示例，并且包含类似功能的任何其他配置是可能的。
用于实现上述过程、方法和/或技术的各个逻辑、软件或指令可以在计算机可读存储介质上提供。附图中示出或本文中描述的功能、动作或任务可以响应于存储在计算机可读介质之中或之上的一组或多组逻辑或指令而执行。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略可以包括多处理、多任务、并行处理等。在一个示例中，指令存储在可移动介质设备上，以供本地或远程系统读取。在其他示例中，逻辑或指令存储在远程位置，以通过计算机网络或通过电话线进行传输。在其他示例中，逻辑或指令存储在给定计算机和/或中央处理单元(“CPU”)内。
此外，尽管以上描述了特定组件，但是本文中描述的方法、系统和制品可以包括更多、更少或不同的组件。例如，处理器可以被实现为微处理器、微控制器、专用集成电路(ASIC)、离散逻辑或其他类型的电路或逻辑的组合。类似地，存储器可以是DRAM、SRAM、闪存或任何其他类型的存储器。标志、数据、数据库、表、实体和其他数据结构可以分别存储和管理，可以合并到单个存储器或数据库中，可以是分布式的，或者可以以很多不同的方式在逻辑上和物理上进行组织。这些组件可以独立运行，也可以是执行相同程序或不同程序的同一装置的一部分。组件可以驻留在单独的硬件(诸如单独的可移动电路板上)上，或共享通用硬件(诸如相同的存储器和用于实现来自存储器的指令的处理器)。程序可以是单个程序、独立程序的部分，也可以分布在多个存储器和处理器中。
第二动作可以被认为“响应于”第一动作，而与第二动作是直接还是间接地由第一动作产生无关。第二动作可以在比第一动作实质上晚的时间发生，并且仍然响应于第一动作。类似地，即使介入动作发生在第一动作与第二动作之间，并且即使一个或多个介入动作直接导致执行第二动作，也可以说第二动作响应于第一动作。例如，如果第一动作设置了标记，则第二动作可以响应于第一动作，并且无论何时设置了标记，第三动作随后都会发起第二动作。
为了澄清使用并且特此通知公众，短语“<A>、<B>、……和<N>中的至少一个”或“<A>、<B>、……<N>或其组合中的至少一个”或“<A>、<B>、……和/或<N>”由申请人在最广泛的意义上定义，取代之前或之后的任何其他隐含定义，除非申请人有相反的明确声明，否则表示选自A、B、……和N的一个或多个元素。换言之，这些短语表示元素A、B、……或N中的一个或多个的任何组合，包括单独的任何一个元素或与一个或多个其他元素组合的一个元素，也可以组合包括未列出的其他要素。
尽管已经描述了各种实施例，但是对于本领域的普通技术人员很清楚的是，更多的实施例和实现是可能的。因此，本文中描述的实施例是示例，而不是仅有的可能的实施例和实现。

Claims (23)

1.一种方法，包括：
接收由一个或多个相机设备生成的视频输入数据，所述一个或多个相机设备被定位在目标物理环境中；
接收由5G天线设备的阵列生成的电磁EM响应信号，所述阵列中的所述5G天线设备被定位在所述目标物理环境中的多个有利位置处，其中所述EM响应信号中的每个EM响应信号由对应的5G天线设备生成，所述EM响应信号表示所述目标物理环境中正在被反射或折射的EM能量；
确定针对所述EM响应信号的位置信息，所述位置信息表示所述目标物理环境中金属对象的位置，EM能量在所述位置处被反射或折射；
基于所述位置信息与历史位置信息的比较，生成所述金属对象的运动轨迹；
生成特征向量，所述特征向量包括所述EM响应信号和所述运动轨迹的聚合；
将所述特征向量提交给机器学习框架，所述机器学习框架被配置为访问机器学习模型；以及
响应于所述特征向量向所述机器学习框架的提交，将所述金属对象分类为武器。
2.根据权利要求1所述的方法，还包括：
响应于将所述金属对象分类为武器，生成包括所述金属对象的图形指示的虚拟绘制；
将所述虚拟绘制与所述视频输入数据组合；以及
引起所组合的所述虚拟绘制和所述视频输入数据的显示，以示出所述金属对象的所述图形指示和与所述视频输入数据相对应的视频。
3.根据权利要求1所述的方法，其中所述5G天线设备包括第一天线设备和第二天线设备，所述方法还包括：
标识由所述第一天线设备生成的第一EM响应信号；
标识由所述第二天线设备生成的第二EM响应信号；以及
确定所述第一EM响应信号和所述第二EM响应信号与在所述目标物理环境中的同一位置处被反射或折射的EM能量相对应。
4.根据权利要求1所述的方法，其中确定针对所述EM响应信号的位置信息还包括：
确定所述金属对象的高度、所述金属对象的坐标、所述金属对象的速度、所述金属对象的运动方向或其组合。
5.根据权利要求1所述的方法，还包括：
基于所述多个EM响应信号，确定所述金属对象的物理特性的度量；以及
将所述物理特性的所述度量包括在所述特征向量中。
6.根据权利要求5所述的方法，其中所述物理特性包括所述金属对象的密度、所述金属对象的材料、所述金属对象的形状或其组合。
7.根据权利要求1所述的方法，还包括：
接收从所述视频输入数据导出的基于图像的特征；以及
将所述基于图像的特征包括在所述特征向量中。
8.根据权利要求1所述的方法，其中生成所述特征向量还包括：
生成第一特征参数，所述第一特征参数包括由所述5G天线设备中的对应第一5G天线设备生成的第一EM响应信号；
生成第二特征参数，所述第二特征参数包括由所述5G天线设备中的对应第二5G天线设备生成的第二EM响应信号；以及
将所述第一特征参数与所述第二特征参数组合。
9.根据权利要求1所述的方法，其中所述机器学习模型包括第二机器学习模型，其中改善EM响应信号包括：
基于由所述金属对象正在反射/折射的所述EM响应信号中的至少一个EM响应信号，确定置信度度量；以及
响应于所述置信度度量低于阈值置信度值，从所接收的所述EM响应信号中过滤所述EM响应信号中的所述至少一个EM响应信号。
10.根据权利要求1所述的方法，其中响应于所述特征向量向所述机器学习框架的提交而将所述金属对象分类为所述武器还包括：
基于来自所述机器学习模型的权重值与所述特征向量的组合来生成置信度度量，所述置信度度量表示所述金属对象是所述武器；以及
确定所述置信度度量大于阈值置信度值。
11.根据权利要求1所述的方法，其中改善所述EM响应信号还包括：
过滤所述EM响应信号以仅包括具有24GHz至40GHz之间的对应频率的EM响应信号。
12.根据权利要求1所述的方法，还包括：
通过移除与所述物理环境中的静态对象相对应的所述EM响应信号中的至少一个EM响应信号，改善所述EM响应信号。
13.根据权利要求1所述的方法，其中所述机器学习模型先前基于训练数据被训练，所述训练数据包括历史EM响应信号和针对金属对象的历史运动轨迹。
14.一种系统，包括：
5G天线设备的阵列，被定位在目标物理环境中；
监控基础设施，包括被定位在所述目标物理环境中的相机设备；以及
处理器，被配置为：
接收由所述相机设备生成的视频输入数据；
接收由所述5G天线设备的阵列生成的电磁EM响应信号，其中所述EM响应信号中的每个EM响应信号由对应的5G天线设备生成，所述EM响应信号表示所述目标物理环境中的EM响应；
确定针对所述EM响应信号的位置信息，所述位置信息表示所述目标物理环境中金属对象的位置，EM在所述位置处被反射或折射；
基于所述位置信息与历史位置信息的比较，生成所述金属对象的运动轨迹；
生成特征向量，所述特征向量包括所述EM响应信号和所述运动轨迹的聚合；
将所述特征向量提交给机器学习框架，所述机器学习框架被配置为访问先前基于训练数据被训练的机器学习模型，所述训练数据包括历史EM响应信号和针对金属对象的历史运动轨迹；
响应于所述特征向量向所述机器学习框架的提交，将所述金属对象分类为武器；以及
响应于所述金属对象被分类为武器，生成所述金属对象的虚拟绘制。
15.根据权利要求14所述的系统，其中所述处理器还被配置为：
将所述虚拟绘制与所述视频输入数据组合；以及
引起所组合的虚拟绘制和视频数据的显示。
16.根据权利要求14所述的系统，其中所述5G天线设备包括第一天线设备和第二天线设备，其中所述处理器还被配置为：
标识由所述第一天线设备生成的第一EM响应信号；
标识由所述第二天线设备生成的第二EM响应信号；以及
确定所述第一EM响应信号和所述第二EM响应信号与在所述目标物理环境中的同一位置处被反射或折射的EM能量相对应。
17.根据权利要求14所述的系统，其中所述处理器还被配置为：
基于所述EM响应信号确定所述金属对象的物理特性的度量，所述物理特性包括所述金属对象的密度、所述金属对象的材料、所述金属对象的形状或其组合；
确定从所述视频输入数据导出的基于图像的特征；以及
将所述物理特性的所述度量和所述基于图像的特征包括在所述特征向量中。
18.根据权利要求14所述的系统，其中为了生成所述特征向量，所述处理器还被配置为：
生成第一特征参数，所述第一特征参数包括由所述5G天线设备中的对应第一5G天线设备生成的第一EM响应信号；
生成第二特征参数，所述第二特征参数包括由所述5G天线设备中的对应第二5G天线设备生成的第二EM响应信号；以及
将所述第一特征参数与所述第二特征参数组合。
19.根据权利要求14所述的系统，其中所述处理器还被配置为改善所述EM响应信号，其中为了改善所述EM响应信号，所述处理器还被配置为：
标识与所述目标物理环境中的静态对象相对应的EM响应信号；以及
从所接收的所述EM响应信号中过滤所标识的所述EM响应信号。
20.根据权利要求14所述的系统，其中所述机器学习模型包括第二机器学习模型，其中所述处理器还被配置为：
基于正在由所述金属对象反射/折射的所述EM响应信号中的至少一个EM响应信号，确定置信度度量；以及
响应于所述置信度度量低于阈值置信度值，通过从所接收的所述EM响应信号中去除所述EM响应信号中的所述至少一个EM响应信号来改善所述EM响应信号。
21.一种非暂态计算机可读存储介质，包括：
处理器可访问的多个指令，所述指令包括：
由所述处理器可执行以接收由被定位在目标物理环境中的相机设备生成的视频输入数据的指令；
由所述处理器可执行以接收由被定位在所述目标物理环境中的5G天线设备的阵列生成的电磁EM响应信号的指令，其中所述EM响应信号中的每个EM响应信号由对应的5G天线设备生成，所述EM响应信号表示在所述目标物理环境中正在被反射或折射的EM能量；
由所述处理器可执行以改善所述EM响应信号的指令；
由所述处理器可执行以确定针对所改善的所述EM响应信号的位置信息的指令，所述位置信息表示所述目标物理环境中金属对象的位置，EM能量在所述位置处被反射或折射；
由所述处理器可执行以基于所述位置信息与历史位置信息的比较来生成所述金属对象的运动轨迹的指令；
由所述处理器可执行以生成特征向量的指令，所述特征向量包括所改善的所述EM响应信号和所述运动轨迹的聚合；
由所述处理器可执行以将所述特征向量提交给机器学习框架的指令，所述机器学习框架被配置为访问先前基于训练数据被训练的机器学习模型，所述训练数据包括历史EM响应信号和针对金属对象的历史运动轨迹；
由所述处理器可执行以响应于所述特征向量向所述机器学习框架的提交而将所述金属对象分类为武器的指令；
由所述处理器可执行以响应于所述金属对象被分类为武器而生成虚拟绘制的指令，所述虚拟绘制包括所述金属对象的图形指示；
由所述处理器可执行以将所述虚拟绘制与所述视频输入数据组合的指令；以及
由所述处理器可执行以引起所组合的虚拟绘制和视频数据的显示的指令。
22.根据权利要求21所述的非暂态计算机可读存储介质，其中由所述处理器可执行以生成所述特征向量的指令还包括：
由所述处理器可执行以生成第一特征参数的指令，所述第一特征参数包括由所述5G天线设备中的对应第一5G天线设备生成的第一EM响应信号；
由所述处理器可执行以生成第二特征参数的指令，所述第二特征参数包括由所述5G天线设备中的对应第二5G天线设备生成的第二EM响应信号；以及
由所述处理器可执行以将所述第一特征参数与所述第二特征参数组合的指令。
23.根据权利要求21所述的非暂态计算机可读存储介质，还包括：
由所述处理器可执行以基于所改善的所述多个EM响应信号来确定所述金属对象的物理特性的度量的指令，所述物理特性包括所述金属对象的密度、所述金属对象的材料、所述金属对象的形状或其组合；
由所述处理器可执行以确定从所述视频输入数据导出的基于图像的特征的指令；以及
由所述处理器可执行以将所述物理特性的所述度量和所述基于图像的特征包括在所述特征向量中的指令。
CN202011270633.6A 2019-12-02 2020-11-13 具有5g阵列的多模态对象检测系统 Active CN112990247B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/700,232 US11036994B1 (en) 2019-12-02 2019-12-02 Multi-modal object detection system with 5G array
US16/700,232 2019-12-02

Publications (2)

Publication Number Publication Date
CN112990247A CN112990247A (zh) 2021-06-18
CN112990247B true CN112990247B (zh) 2024-01-05

Family

ID=73014291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011270633.6A Active CN112990247B (zh) 2019-12-02 2020-11-13 具有5g阵列的多模态对象检测系统

Country Status (3)

Country Link
US (1) US11036994B1 (zh)
EP (1) EP3832530A1 (zh)
CN (1) CN112990247B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210207838A1 (en) * 2020-01-03 2021-07-08 AlgoLook, Inc. Air particulate classification
US11907886B2 (en) * 2021-11-30 2024-02-20 Sap Se Machine learning for product assortment analysis
CN114898342B (zh) * 2022-07-15 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法
CN114897973B (zh) * 2022-07-15 2022-09-16 腾讯科技（深圳）有限公司 轨迹检测方法、装置、计算机设备和存储介质
CN117373257B (zh) * 2023-10-30 2024-06-21 人机互联网络(深圳)有限公司 一种基于可动摄像头的车辆识别方法、装置及系统
CN117495916B (zh) * 2023-12-29 2024-03-01 苏州元脑智能科技有限公司 多目标轨迹关联方法、装置、通信设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107942286A (zh) * 2017-08-28 2018-04-20 清华-伯克利深圳学院筹备办公室 一种室内电力线定位系统及方法
CN108885264A (zh) * 2015-12-18 2018-11-23 杰拉德·迪尔克·施密茨 对象的实时位置感测
WO2019148214A1 (en) * 2018-01-29 2019-08-01 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned lidar systems
CN110226184A (zh) * 2016-12-27 2019-09-10 杰拉德·迪尔克·施密茨 用于机器感知的系统和方法
CN110427104A (zh) * 2019-07-11 2019-11-08 成都思悟革科技有限公司 一种手指运动轨迹校准系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791487B1 (en) 2003-03-07 2004-09-14 Honeywell International Inc. Imaging methods and systems for concealed weapon detection
US7456779B2 (en) 2006-08-31 2008-11-25 Sierra Nevada Corporation System and method for 3D radar image rendering
US10742475B2 (en) * 2012-12-05 2020-08-11 Origin Wireless, Inc. Method, apparatus, and system for object tracking sensing using broadcasting
US10229328B2 (en) 2014-06-26 2019-03-12 Mcmaster University On-body concealed weapon detection system
US20200341114A1 (en) * 2017-03-28 2020-10-29 Sri International Identification system for subject or activity identification using range and velocity data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885264A (zh) * 2015-12-18 2018-11-23 杰拉德·迪尔克·施密茨 对象的实时位置感测
CN110226184A (zh) * 2016-12-27 2019-09-10 杰拉德·迪尔克·施密茨 用于机器感知的系统和方法
CN107942286A (zh) * 2017-08-28 2018-04-20 清华-伯克利深圳学院筹备办公室 一种室内电力线定位系统及方法
WO2019148214A1 (en) * 2018-01-29 2019-08-01 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned lidar systems
CN110427104A (zh) * 2019-07-11 2019-11-08 成都思悟革科技有限公司 一种手指运动轨迹校准系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design and Analysis of Dielectric Waveguide Antennas;Linghui Kong;《lirias.kuleuven.be》;全文 *
低成本手机平台墙体结构检测雷达系统;沃远;叶盛波;纪奕才;方广有;高云泽;;电子测量技术(第08期);全文 *

Also Published As

Publication number Publication date
US20210166033A1 (en) 2021-06-03
CN112990247A (zh) 2021-06-18
EP3832530A1 (en) 2021-06-09
US11036994B1 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112990247B (zh) 具有5g阵列的多模态对象检测系统
US10614316B2 (en) Anomalous event retriever
US9361702B2 (en) Image detection method and device
US20190156492A1 (en) Video Analysis Methods and Apparatus
CN112508044A (zh) 人工智能ai模型的评估方法、系统及设备
CN108564010A (zh) 一种安全帽佩戴的检测方法、装置、电子设备及存储介质
US20210357649A1 (en) Systems and methods of enforcing distancing rules
Ko et al. Survey of computer vision–based natural disaster warning systems
JP2012518846A (ja) 異常挙動を予測するためのシステムおよび方法
CN109948497A (zh) 一种物体检测方法、装置及电子设备
CN113627229B (zh) 目标检测方法、系统、设备以及计算机存储介质
WO2022067668A1 (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
US10867178B2 (en) Systems and methods for coherent monitoring
US10452913B1 (en) Systems and methods for coherent monitoring
CN108073858A (zh) 基于深度摄像机的人群聚集监控识别系统
Yu et al. SAR ship detection based on improved YOLOv5 and BiFPN
CN113569657A (zh) 一种行人重识别方法、装置、设备及存储介质
Viraktamath et al. Comparison of YOLOv3 and SSD algorithms
Jakovčević et al. Visual spatial-context based wildfire smoke sensor
EP3910539A1 (en) Systems and methods of identifying persons-of-interest
KR102602439B1 (ko) 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치
CN105843930A (zh) 一种检索视频的方法及装置
Parameswaran et al. Evaluation schemes for video and image anomaly detection algorithms
Khan et al. Assessment of indoor risk through deep learning-based object recognition in disaster situations
JP2014182585A (ja) 画像解析装置、画像解析方法および画像解析プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant