CN115249400A - 用于主动入侵检测的非接触式警报系统 - Google Patents

用于主动入侵检测的非接触式警报系统 Download PDF

Info

Publication number
CN115249400A
CN115249400A CN202210417206.9A CN202210417206A CN115249400A CN 115249400 A CN115249400 A CN 115249400A CN 202210417206 A CN202210417206 A CN 202210417206A CN 115249400 A CN115249400 A CN 115249400A
Authority
CN
China
Prior art keywords
threat
image data
camera image
potential intruder
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210417206.9A
Other languages
English (en)
Inventor
A.M.卡米斯
A.B.科斯德维迪
K.卡里姆普尔
M.穆拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115249400A publication Critical patent/CN115249400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1003—Alarm systems characterised by arm or disarm features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/20—Communication devices for vehicle anti-theft devices
    • B60R2325/205—Mobile phones

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容涉及一种保护资产免受入侵的警报系统和方法。该资产可以是包括警报系统的车辆。该警报系统包括用于获得外部摄像机图像数据的外部摄像机、用于获得内部摄像机图像数据的内部摄像机和处理器。该处理器被配置成从外部摄像机图像数据确定潜在入侵者的第一威胁指示，从内部摄像机图像数据确定潜在入侵者的第二威胁指示，从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估，从融合威胁评估和资产的情境信息确定整合威胁评估，以及基于整合威胁评估提供警报以保护资产免受入侵。

Description

用于主动入侵检测的非接触式警报系统
技术领域
本公开内容涉及一种用于车辆的警报系统，尤其涉及一种用于在潜在入侵者接触车辆之前检测车辆的潜在入侵和入侵者恶意意图的主动警报系统。
背景技术
车主想要知道他们的车辆和车辆中的任何物品不会被入侵者盗窃。仅在入侵者闯入车辆时响起的警报不能防止入侵，并且仅在入侵发生时向当局报警。因此，希望提供一种能够预测入侵并发出警报以抢先阻止入侵的警报系统。
发明内容
在一个示例性实施例中，公开了一种保护财产免受入侵的方法。根据从资产的内部摄像机获得的内部摄像机图像数据，确定资产的潜在入侵者的第一威胁指示。潜在入侵者的第二威胁指示根据从财产的外部摄像机获得的外部摄像机图像数据来确定。从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估。根据融合的威胁评估和财产的情境信息来确定整合的威胁评估。基于整合的威胁评估，提供警报以保护财产免受入侵。
除了本文描述的一个或多个特征之外，该方法还包括增强内部摄像机图像数据的质量以确定第一威胁指示和增强外部摄像机图像数据的质量以确定第二威胁指示中的至少一个。该方法还包括向资产的用户提供警报，并基于用户对警报的响应更新情境信息。该方法还包括根据潜在入侵者的持续时间确定第一威胁指示和第二威胁指示中的至少一个。该方法还包括通过至少根据内部摄像机图像数据和外部摄像机图像数据跟踪多个帧中的边界框来确定潜在入侵者的持续时间。跟踪边界框还包括确定外部摄像机图像数据中潜在入侵者的脚的方向、确定内部摄像机图像数据中的窗口处潜在入侵者的脸部的存在以及确定潜在入侵者在财产周围的时间量中的至少一个。
在另一个示例性实施例中，公开了一种用于财产的警报系统。该警报系统包括用于获得外部摄像机图像数据的外部摄像机、用于获得内部摄像机图像数据的内部摄像机和处理器。该处理器被配置成从外部摄像机图像数据确定潜在入侵者的第一威胁指示，从内部摄像机图像数据确定潜在入侵者的第二威胁指示，从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估，从融合威胁评估和财产的情境信息确定整合威胁评估，以及基于整合威胁评估提供警报以保护财产免受入侵。
除了本文描述的一个或多个特征之外，处理器还被配置成执行增强外部摄像机图像数据的质量以确定第一威胁指示和增强内部摄像机图像数据的质量以确定第二威胁指示中的至少一个。处理器还被配置成向资产的用户提供警报。处理器还被配置成基于用户对警报的响应来更新情境数据库。处理器还被配置成根据潜在入侵者的持续时间来确定第一威胁指示和第二威胁指示中的至少一个。处理器还被配置成通过至少根据外部摄像机图像数据和内部摄像机图像数据跟踪多个帧中的边界框来确定潜在入侵者的持续时间。处理器还被配置成通过跟踪边界框来确定外部摄像机图像数据中潜在入侵者的脚的方向、内部摄像机图像数据中的窗口处潜在入侵者的脸部的存在以及潜在入侵者在财产周围的时间量中的至少一个。在各种实施例中，该财产是车辆、住宅、办公室、建筑物和居住地之一。
在另一示例性实施例中，公开了一种车辆。该车辆包括用于获得外部摄像机图像数据的外部摄像机、用于获得内部摄像机图像数据的内部摄像机和处理器。该处理器被配置为从外部摄像机图像数据确定潜在入侵者的第一威胁指示，从内部摄像机图像数据确定潜在入侵者的第二威胁指示，从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估，从融合威胁评估和车辆的情境信息确定整合威胁评估，以及基于整合威胁评估提供警报以保护车辆免受入侵。
除了本文描述的一个或多个特征之外，处理器还被配置成执行增强外部摄像机图像数据的质量以确定第一威胁指示和增强内部摄像机图像数据的质量以确定第二威胁指示中的至少一个。处理器还被配置为向车辆的用户提供警报。处理器还被配置成基于用户对警报的响应来更新情境数据库。处理器还被配置成通过至少根据外部摄像机图像数据和内部摄像机图像数据跟踪多个帧中的边界框来确定潜在入侵者的持续时间。处理器还被配置成通过跟踪边界框来确定外部摄像机图像数据中的潜在入侵者的脚的方向、内部摄像机图像数据中的窗口处潜在入侵者的脸部的存在、以及潜在入侵者在车辆周围的时间量中的至少一个。
当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，参考附图详细描述，其中:
图1示出了用于保护车辆免受潜在入侵者侵害的警报系统；
图2示出了用于确定在车辆处潜在入侵的计算机实现方法的流程图；
图3示出了提供用于评估威胁等级的高图像质量图像的计算机实现方法的流程图；
图4示出了用于从具有多个图像的图像数据中确定第一威胁指示和第二威胁指示中的至少一个的过程的流程图；
图5示出了从车辆的外部摄像机获得的图像的说明性侧视图图像；
图6示出了从车辆的内部摄像机获得的图像的说明性内部摄像机图像；
图7示出了用于确定潜在入侵者的第一威胁指示的流程图；
图8示出了用于确定潜在入侵者的第二威胁指示的流程图；和
图9示出了用于确定潜在入侵者在图像数据内的持续性的流程图。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。如这里所使用的，术语模块指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
这里公开的系统和方法具体参照保护车辆免受入侵来讨论。然而，这并不意味着对本发明的限制。在其他方面。这里公开的警报系统可用于保护任何合适的可占用财产免受入侵，包括保护住宅、办公室、建筑物、住所等。
根据示例性实施例，图1示出了用于保护车辆102免受潜在入侵者140侵害的警报系统100。警报系统100包括车辆102、警报监控中心104和用户108拥有的用户通知设备106。警报监控中心104可以是服务器或计算机或办公室，其具有响应来自车辆或任何其他合适的警报中心的警报的操作员。警报监控中心104可以通过通知执法部门对车辆102的潜在或即将发生的入侵来响应威胁评估、报警或警报。用户108可以是交通工具102的所有者或交通工具可被临时保管或交通工具可被租赁或出租给其的其他人。用户通知设备106可以是允许车辆102和用户108之间双向无线通信的合适的电子设备。用户通知设备106可以是专用电子设备，或者可以是操作应用程序或“app”的智能手机，该应用程序或“app”从车辆102接收信息，向用户108显示信息，从用户接收响应或输入，并将响应或输入传送回车辆和/或警报监控中心104。
车辆102包括放置在车辆上不同位置处的多个摄像机。在说明性实施例中，车辆102包括外部摄像机(例如驾驶员侧摄像机110和乘客侧摄像机114)和内部摄像机112。驾驶员侧摄像机110位于驾驶员侧后视镜116上，并给出沿着车辆102的驾驶员侧的视图。乘客侧摄像机114位于乘客侧后视镜120上，并给出沿着车辆102的乘客侧的视图。内部摄像机112位于车辆102的车厢内，并且通常位于后视镜118上。内部摄像机112具有宽视野，并给出驾驶员座位、驾驶员侧窗和其他前排和后排乘客车窗的视图。驾驶员侧摄像机110、内部摄像机112和乘客侧摄像机114与位于车辆的控制单元122通信，并向控制单元提供图像和数据。控制单元122包括处理器124和用于存储各种程序和数据库128的存储装置126，当被处理器124访问时，使得控制单元122能够评估指示对车辆的潜在入侵或潜在入侵者意图的威胁等级，并响应于威胁等级经由位于车辆102的通信装置130发出适当的通信。存储装置126还可以存储警报的记录及其准确性，以用于未来警报的生成。通信装置130将数据或威胁评估传送给警报监控中心104和用户通知设备106中的至少一个。
图2示出了用于确定车辆处潜在入侵的说明性计算机实现方法的流程图200。在框202中，从至少一个侧摄像机(即，驾驶员侧摄像机110和乘客侧摄像机114中的至少一个)获得外部摄像机图像数据。外部摄像机图像数据可以是摄像机数据，例如单个侧视图像230或影片或在时间上彼此间隔开的一系列图像。在框204中，从内部摄像机112获得内部摄像机图像数据。内部摄像机图像数据也可以是单个驾驶室图像232或影片或在时间上彼此间隔开的一系列图像。在各种实施例中，来自外部摄像机的图像与来自内部摄像机的图像同时获得。
在框206中，基于在外部摄像机图像数据中的信息来确定第一威胁指示(本文也称为基于外部摄像机的威胁指示(ETI))。在框208中，基于在内部摄像机图像数据中的信息确定第二威胁指示(这里也称为基于内部摄像机的威胁指示(ITI))。在框210中，第一威胁指示ETI和第二威胁指示ITI被融合以获得融合威胁评估(FTE)。在框212中，融合威胁评估(FTE)与情境信息相结合以确定整合的威胁评估(CTE)。情境信息是从情境数据库224提供的，其可以存储在存储装置126中。情境信息可以是关于与获取图像数据的特定时间或位置相关联的威胁级别的数据。例如，在凌晨3:00拍摄的图像中发现的潜在入侵者140可能意味着比在中午拍摄的图像中发现的入侵者有更高的入侵威胁。此外，在车辆102处于高犯罪率位置时拍摄的图像中发现的潜在入侵者140可能比在车辆处于低犯罪率位置时拍摄的图像中发现的潜在入侵者具有更高的入侵威胁。融合威胁评估和情境信息用于确定整合的威胁评估。
在各种实施例中，整合威胁评估可以是三种状态之一:“无威胁”、“低威胁”和“高威胁”。当整合威胁评估产生“无威胁”(框213)时，则该方法前进到框214，在框214不做任何事情。当整合威胁评估产生“低威胁”(框215)时，该方法进行到框216。在框216，车辆向潜在入侵者提供本地警告，例如通过闪烁灯或发出警报或喇叭声。本地警告可以是对潜在入侵者的温和警告，潜在入侵者可以容易地接收到该警告。
当整合威胁评估产生“高威胁”(框217)时，该方法进行到框218。在框218，数据可以被传送到用户通知设备106，以便从用户获得关于向警报监控中心104报警的需要的输入。传送到用户通知设备106的数据可以包括来自外部摄像机图像数据和内部摄像机图像数据中的至少一个的快照或图像，例如潜在入侵者的面部图像，从而允许用户识别潜在入侵者并评估入侵的可能性。传送给用户通知设备106的数据还可以指示潜在入侵者造成的威胁级别。
在框220，控制单元122接收用户响应并选择行动过程。如果用户108确认应该通知警报监控中心104有潜在入侵者，则在框221中，车辆102通知警报监控中心104以通知执法部门。车辆102还可以通知用户警报被发送到警报监控中心104。返回到框220，如果用户108指示潜在入侵者不被认为是入侵者，则在框222，更新情境数据库224中的情境信息以反映来自用户108的响应。通过使用情境数据库224以及通过通知用户威胁并要求用户响应，车辆102向警报监控中心104报告少量的错误警报。
图3示出了提供高图像质量的图像以用于评估威胁等级的计算机实现的方法的流程图300。评估威胁等级需要高质量的图像，以便能够识别潜在的入侵者。基于警报系统的各种图像质量要求来选择图像质量阈值TQ。在框302中，图像数据(例如来自驾驶员侧摄像机110、内部摄像机112和/或乘客侧摄像机114)被检查，并且图像质量指数(IQI)被分配给图像。在框304中，将图像质量指数与图像质量阈值(TQ)进行比较。如果图像质量指数大于或等于图像质量阈值(IQI>＝TQ)，则该图像被批准用于威胁等级评估，并且该方法前进到框306。在框306中，基于哪个相机获得了批准的图像来确定第一威胁指示和/或第二威胁指示。在框308中，第一威胁指示和第二威胁指示用于生成融合的威胁评估(框312)。
返回到框304，如果图像的图像质量指数小于图像质量阈值(IQI<TQ)，则该方法前进到框310。在框310中，使用任何合适形式的图像处理来增强图像，例如滤波、降噪等。然后，在框302，检查增强图像，以确定增强图像的图像质量指数，并且在框304，将图像质量指数与图像质量阈值进行比较。增强的图像可以被返回到图像增强器任意次，直到图像质量被认可(即，直到IQI>＝TQ)。
图4示出了用于从具有多个图像的图像数据中确定第一威胁指示和第二威胁指示中的至少一个的过程的流程图400。在框402中，接收图像数据，该图像数据包括一组k个帧(或k个单个图像),该组k个帧按顺序拍摄并且在时间上分开，例如在帧之间分开大约1/10秒。
在框404，使用对象检测算法在图像中检测潜在入侵者。在对象检测算法中，在潜在入侵者周围绘制一个边界框。边界框用于通过k帧的后续图像来跟踪潜在的入侵者。在框406中，边界框用于跟踪潜在入侵者的运动。跟踪潜在入侵者包括使用线性卡尔曼滤波器和数据关联算法。线性卡尔曼滤波器被应用于帧内的边界框，以评估边界框的运动和边界框在下一帧的评估位置。然后，使用适当的关联方法，例如匈牙利数据关联方法，将后续帧中的边界框的评估位置与下一帧的观一帧观察到的边界框相关联。通过k个帧的相关边界框形成一个轨迹。
基于从其获得图像数据的相机，轨迹被发送到框408或框410。在框408中，在轨迹上执行面部检测。对从内部照相机112获得的图像数据执行面部检测。人脸检测模块在边界框内定位人脸。虽然关于面部检测进行了讨论，但是检测步骤可以应用于内部摄像机视野内的任何人体部位，包括面部、手、头部、上身等。在框412中，在轨迹上执行脚部姿态评估。脚部姿态评估确定脚相对于车辆面向的方向(脚姿态414)。当图像序列来自驾驶员侧摄像机和乘客侧摄像机之一时，执行脚姿态评估。
图5示出了从车辆102的驾驶员侧摄像机110获得的说明性侧视图像500。说明性侧视图图像500包括包围车辆102附近的潜在入侵者的可见部分的边界框502。特征框504围绕潜在入侵者的脚部。
图6示出了从车辆102的内部摄像机112获得的示例性内部摄像机图像600。说明性的内部摄像机图像600包括包围潜在入侵者140的可见部分的边界框602，潜在入侵者140正窥视车辆102的车厢内部。特征框604包围潜在入侵者的面部。
图7示出了用于确定潜在入侵者的第一威胁指示的流程图700。在框702中，获得或测量车辆的状态。车辆状态指示车辆是上锁还是解锁。在框704，如果车辆解锁，该方法返回到框702。如果在框704，车辆被锁定，则该信息被提供给逻辑门710。在检查车辆状态的同时，在框706中，还获得或测量车辆的遥控钥匙或授权驾驶员/乘客的智能电话的状态。在框708，如果遥控钥匙靠近车辆，该方法返回到框706。如果在框708，确定遥控钥匙远离车辆，则该信息被提供给逻辑门710。在逻辑门710，当车辆被锁定并且遥控钥匙远离车时辆时，该方法继续监控正在获取的图像的环境。
在框712中，对象检测和跟踪程序根据来自外部摄像机110、114的摄像机图像数据生成边界框。在框714，确定潜在入侵者的脚是指向车辆还是远离车辆。如果潜在入侵者的脚没有指向车辆，则该方法返回到框712。如果潜在入侵者的脚面向车辆，则该方法进行到框716以产生第一威胁指示。第一威胁指示可以被提供给融合模块以生成融合的威胁评估。
图8示出了用于确定潜在入侵者的第二威胁指示的流程图800。流程图800包括框702、框704、框706、框708和用于确定何时监控环境的逻辑门710。在框802中，对象检测和跟踪程序利用来自内部摄像机112的内部摄像机数据生成边界框。在框804，确定潜在入侵者的面部是否正窥视车辆。如果潜在入侵者没有窥视车辆，则该方法返回到方框802中正在执行的对象检测和跟踪程序。如果潜在入侵者正在窥视车辆，则该方法进行到框806以产生第二威胁指示。第二威胁指示可以被提供给融合模块以生成融合的威胁评估。
在各种实施例中，所生成的威胁级别基于k个帧内潜在入侵者的持续性。通过测量潜在入侵者在摄像机上被看到的时间量来确定潜在入侵者的持久性。由于对闯入车辆缺乏兴趣，无辜的人通常不会在车辆周围逗留，而恶意的人往往会花时间查看车辆内部，以评估闯入的可能风险和回报。可以通过跟踪恶意人在帧内的持续时间来检测他。
图9示出了用于确定图像数据内潜在入侵者的持续性的方法的流程图900。在框902中，接收包括顺序拍摄的一组k个帧(或k个单个图像)的图像数据，并且为该组图像数据帧确定边界框。在框904中，一组轨迹ρ＝{ρ1，ρ2，...，ρn}从边界框产生，其中索引n是轨迹的数量。每个轨迹是一个视频或图像序列，其中潜在的入侵者在图像数据中被发现。由于潜在入侵者可以进出给定摄像机的视野，所以可能存在多条轨迹。在框906中，对于每个轨迹，确定潜在入侵者在时间窗口ω内出现在轨迹中的时间长度。多个轨道的时间长度给出了一组持续时间t＝{t1，t2，...，tn}。时间窗口ω可以是一个校准的时间窗口。最大持续时间由持续时间确定，其中最大持续时间为tmax＝max(t1，t2，...tn}。
在框908，将最大持续时间tmax与低威胁阈值TLT进行比较。低威胁阈值TLT可以基于在先知识和情境信息来校准，其中情境信息可以基于先前警报的历史来更新。如果最大持续时间小于低威胁阈值(即，tmax<TLT)，则相关威胁指示被声明为“无威胁”(框909)。然而，如果最大持续时间大于或等于低威胁阈值(即，tmax>＝TLT)，则该方法前进到框910。在框910，如果最大持续时间小于高威胁阈值(即，tmax<THT)，则威胁指示被声明为“低威胁”(框911)。然而，如果最大持续时间大于或等于高威胁阈值(即，tmax>＝THT)，则威胁指示被声明为“高威胁”(框912)。
由于摄像机和图像数据的使用，警报系统是无接触警报系统，因为潜在入侵者和/或潜在入侵者的意图可以被识别，并且可以在潜在入侵者没有与车辆进行物理接触的情况下发出警报。因此，警报系统可以预测潜在入侵者的意图，并基于这些意图警告用户和/或发出警报。
表1是用于从来自摄像机系统的威胁指示生成融合威胁评估的说明性表格。
表1
Figure BDA0003605292800000091
左栏包括从至少一个外部摄像机(即驾驶员侧摄像机110和乘客侧摄像机114)获得的图像生成的第一威胁指示(ETI)的可能值。中间一列包括根据从内部摄像机112获得的图像生成的第二威胁指示(ITI)的可能值。右栏包括基于第一威胁指标(ETI)和第二威胁指标(ITI)的融合威胁评估值(FTE)。在各种实施例中，融合的威胁评估是第一威胁指标和第二威胁指标的最大值。
如果外部摄像机(IQISC)的IQI大于图像质量阈值(即，如果IQISC>＝TQ)，则生成ETI，即使内部摄像机的IQI不满足图像质量阈值(即，IQIIC<TQ)。类似地，如果内部摄像机(IQIIC)的IQI大于图像质量阈值(即，如果IQIIC>＝TQ)，则生成ITI，即使外部摄像机的IQI不满足图像质量阈值(即，如果IQIEC<TQ)。然而，只有当外部摄像机的IQI和内部摄像机的IQI都大于图像质量阈值时(即，当IQIEC>＝TQ并且IQIIC>＝TQ时)，才能生成FTE。
表2是使用来自表1的融合威胁评估(FTE)和情境信息来生成整合威胁评估(CTE)的说明性表格。
表2
Figure BDA0003605292800000092
Figure BDA0003605292800000101
左栏包括融合威胁评估的可能级别(“无威胁”、“低威胁”和“高威胁”)。中间列包括包含位置情境的左中间列和包含时间情境的右中间列。位置环境通常包括该区域被认为是安全的(“安全区域”)还是危险的(“危险区”)。时间环境通常基于一天中的哪个时间汽车更有可能被盗。“标准”时间表示汽车盗窃通常较低的时间，而“太早/太晚”表示汽车盗窃通常较高的时间，例如凌晨3:00。右栏指示基于融合的威胁评估、位置环境和时间环境生成的整合威胁评估(CTE)的值。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种保护资产免受入侵的方法，包括:
根据从所述资产的内部摄像机获得的内部摄像机图像数据来确定所述资产的潜在入侵者的第一威胁指示；
根据从所述资产的外部摄像机获得的外部摄像机图像数据来确定潜在入侵者的第二威胁指示；
从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估；
从所述融合威胁评估和所述资产的情境信息中确定整合威胁评估；和
根据整合威胁评估，提供警报以保护资产免受入侵。
2.根据权利要求1所述的方法，还包括以下至少一项:(i)增强内部摄像机图像数据的质量，以确定第一威胁指示；以及(ii)增强外部摄像机图像数据的质量以确定第二威胁指示。
3.根据权利要求1所述的方法，还包括向所述资产的用户提供所述警报，并且基于所述用户对所述警报的响应来更新所述情境信息。
4.根据权利要求1所述的方法，还包括根据潜在入侵者的持续时间来确定第一威胁指示和第二威胁指示中的至少一个，所述持续时间是通过至少根据内部摄像机图像数据和外部摄像机图像数据跟踪多个帧中的边界框来确定的。
5.如权利要求4所述的方法，其中，跟踪边界框还包括以下至少一项:(i)在外部摄像机图像数据中确定潜在入侵者的脚的方向；(ii)确定内部摄像机图像数据中的在窗口处的潜在入侵者的脸部的存在；以及(iii)确定潜在入侵者在资产周围的时间量。
6.一种用于资产的警报系统，包括:
外部摄像机，用于获得外部摄像机图像数据；
内部摄像机，用于获得内部摄像机图像数据；和
处理器，被配置为:
从外部摄像机图像数据确定潜在入侵者的第一威胁指示；
从内部摄像机图像数据确定潜在入侵者的第二威胁指示；
从第一威胁指示和第二威胁指示确定指示潜在入侵者意图的融合威胁评估；
从所述融合威胁评估和所述资产的情境信息中确定整合威胁评估；和
根据整合威胁评估，提供警报以保护资产免受入侵。
7.根据权利要求6所述的警报系统，其中，所述处理器还被配置为执行以下至少一项:(i)增强外部摄像机图像数据的质量，以确定第一威胁指示；以及(ii)增强内部摄像机图像数据的质量以确定第二威胁指示。
8.根据权利要求6所述的警报系统，其中，所述处理器还被配置为向所述资产的用户提供所述警报，并基于所述用户对所述警报的响应来更新情境数据库。
9.根据权利要求6所述的警报系统，其中，所述处理器还被配置成根据潜在入侵者的持续时间来确定第一威胁指示和第二威胁指示中的至少一个，所述持续时间是通过至少根据外部摄像机图像数据和内部摄像机图像数据跟踪多个帧中的边界框来确定的。
10.如权利要求9所述的警报系统，其中，所述处理器还被配置成通过跟踪边界框来确定以下至少一项:(i)外部摄像机图像数据中潜在入侵者的脚的方向；(ii)在内部摄像机图像数据中的在窗口处的潜在入侵者的脸部的存在；以及(iii)潜在入侵者在资产周围的时间量。
CN202210417206.9A 2021-04-28 2022-04-20 用于主动入侵检测的非接触式警报系统 Pending CN115249400A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/242,814 US20220348165A1 (en) 2021-04-28 2021-04-28 Contactless alarming system for proactive intrusion detection
US17/242,814 2021-04-28

Publications (1)

Publication Number Publication Date
CN115249400A true CN115249400A (zh) 2022-10-28

Family

ID=83600940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417206.9A Pending CN115249400A (zh) 2021-04-28 2022-04-20 用于主动入侵检测的非接触式警报系统

Country Status (3)

Country Link
US (1) US20220348165A1 (zh)
CN (1) CN115249400A (zh)
DE (1) DE102022106425A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532221B1 (en) * 2021-08-05 2022-12-20 Ford Global Technologies, Llc System and method for vehicle security monitoring

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
KR20170108564A (ko) * 2016-03-18 2017-09-27 한국오므론전장주식회사 영상을 이용한 차량 침입 검출 시스템 및 방법
CN107539213A (zh) * 2016-06-28 2018-01-05 福特全球技术公司 检测接近车辆的物理威胁
US20180072269A1 (en) * 2016-09-09 2018-03-15 GM Global Technology Operations LLC Vehicle intrusion detection via a surround view camera
CN108337477A (zh) * 2017-01-18 2018-07-27 通用汽车环球科技运作有限责任公司 车辆环境成像系统和方法
US20180272992A1 (en) * 2017-03-24 2018-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for surveillance of a vehicle using camera images
RU2690216C1 (ru) * 2018-04-18 2019-05-31 Федеральное государственное казенное образовательное учреждение высшего образования "Калининградский пограничный институт Федеральной службы безопасности Российской Федерации" Способ охранного мониторинга дороги линейным радиоволновым средством обнаружения
US20210097315A1 (en) * 2017-04-28 2021-04-01 Klashwerks Inc. In-vehicle monitoring system and devices

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154311A1 (en) * 2015-03-24 2016-09-29 Carrier Corporation Systems and methods for providing a graphical user interface indicating intruder threat levels for a building
US9902355B2 (en) * 2016-05-27 2018-02-27 GM Global Technology Operations LLC Camera activation response to vehicle safety event
JP2018060481A (ja) * 2016-10-07 2018-04-12 パナソニックＩｐマネジメント株式会社 誘導システム及び誘導方法
US10453150B2 (en) * 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
KR20170108564A (ko) * 2016-03-18 2017-09-27 한국오므론전장주식회사 영상을 이용한 차량 침입 검출 시스템 및 방법
CN107539213A (zh) * 2016-06-28 2018-01-05 福特全球技术公司 检测接近车辆的物理威胁
US20180072269A1 (en) * 2016-09-09 2018-03-15 GM Global Technology Operations LLC Vehicle intrusion detection via a surround view camera
CN108337477A (zh) * 2017-01-18 2018-07-27 通用汽车环球科技运作有限责任公司 车辆环境成像系统和方法
US20180272992A1 (en) * 2017-03-24 2018-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for surveillance of a vehicle using camera images
US20210097315A1 (en) * 2017-04-28 2021-04-01 Klashwerks Inc. In-vehicle monitoring system and devices
RU2690216C1 (ru) * 2018-04-18 2019-05-31 Федеральное государственное казенное образовательное учреждение высшего образования "Калининградский пограничный институт Федеральной службы безопасности Российской Федерации" Способ охранного мониторинга дороги линейным радиоволновым средством обнаружения

Also Published As

Publication number Publication date
DE102022106425A1 (de) 2022-11-03
US20220348165A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US10322696B2 (en) Vehicle environment imaging systems and methods
CN105292036B (zh) 边界检测系统
EP3016815B1 (en) Operator drowsiness detection in surface mines
US8379924B2 (en) Real time environment model generation system
US20120083974A1 (en) Method and system for combining sensor data
US20160318516A1 (en) An apparatus, method and computer program for enabling control of a vehicle
US20070159309A1 (en) Information processing apparatus and information processing method, information processing system, program, and recording media
WO2017155448A1 (en) Method and system for theft detection in a vehicle
WO2010103584A1 (ja) 入退検出装置、監視装置及び入退検出方法
US20060103529A1 (en) Vehicle on-board article theft warning system
WO2015118325A1 (en) Monitoring system and method
US20200172050A1 (en) Onboard device vehicle monitoring method and system
US11460376B2 (en) Vehicle scratch detection system and vehicle
US7392118B2 (en) System and method for monitoring the external environment of a motor vehicle
CN115249400A (zh) 用于主动入侵检测的非接触式警报系统
CN112288975A (zh) 一种事件预警的方法和装置
CN107458345A (zh) 一种防止机动车辆失窃的方法
Powale et al. Real time Car Antitheft System with Accident Detection using AVR Microcontroller; A Review
KR101407394B1 (ko) 방치물 및 도난물 탐지 시스템
JP2019028482A (ja) 車載器および運転支援装置
JP7472639B2 (ja) 危険度推定装置、危険度推定方法、及びプログラム
CN112208475A (zh) 用于车辆乘员的安全保护系统、车辆及相应的方法和介质
JP4613601B2 (ja) 車両監視装置
CN111762095B (zh) 方向盘异常处理方法、电子设备及计算机存储介质
US20240143830A1 (en) Access restriction of vehicle-associated information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination