CN113496204A - 潜在入侵者的智能检测和警告 - Google Patents

潜在入侵者的智能检测和警告 Download PDF

Info

Publication number
CN113496204A
CN113496204A CN202110357816.XA CN202110357816A CN113496204A CN 113496204 A CN113496204 A CN 113496204A CN 202110357816 A CN202110357816 A CN 202110357816A CN 113496204 A CN113496204 A CN 113496204A
Authority
CN
China
Prior art keywords
vehicle
person
neural network
data
ann
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110357816.XA
Other languages
English (en)
Inventor
R·R·N·比尔比
P·卡利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN113496204A publication Critical patent/CN113496204A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/595—Data transfer involving internal databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及潜在入侵者的智能检测和警告。用于辨别从远处对车辆的威胁并作为响应产生警报或警告的系统、方法和设备。例如，处于停车状态的车辆的相机可捕获所述车辆的周围环境的图像。当根据所述图像识别到从远处接近所述车辆的人员时，人工神经网络至少部分地基于来自所述相机的一或多个图像来评估来自接近所述车辆的所述人员的威胁级别。响应于所述威胁级别高于阈值，所述车辆可产生警报以阻止非法活动和/或向例如车主、驾驶员、授权用户或保安员的移动装置的远程装置发送警告。

Description

潜在入侵者的智能检测和警告
技术领域
本文中所公开的至少一些实施例总的来说涉及车辆，且更具体为但不限于潜在入侵者的检测和警告。
背景技术
自主驾驶技术领域的最新发展允许计算系统至少在一些条件下操作机动车辆的控制元件而无需车辆的人类操作者的辅助。
例如，传感器(例如，相机和雷达)可安装在机动车辆上以检测在车道上行驶的车辆的周围环境的条件。在具有或不具有来自车辆的人类操作者的任何输入的情况下，安装在车辆上的计算系统分析传感器输入以识别条件并且产生用于车辆的方向和/或速度的自主调整的控制信号或命令。
在一些布置中，当计算系统辨识出其中计算系统可能无法继续以安全方式操作车辆的情境时，计算系统对车辆的人类操作者发出警报并且请求人类操作者接管对车辆的控制并进行手动驾驶，而不是让计算系统自主驾驶车辆。
自主驾驶和/或高级驾驶辅助系统(ADAS)可以使用用于识别在传感器输入中所捕获的事件和/或对象的人工神经网络(ANN)。传感器输入的实例包含来自数码相机、光达、雷达、超声声纳等的图像。
一般来说，人工神经网络(ANN)使用神经元网络处理所述网络的输入并产生所述网络的输出。
例如，网络中的每一神经元接收一组输入。神经元的一些输入可以是网络中的某些神经元的输出；且神经元的一些输入可以是提供给神经网络的输入。网络中的神经元之间的输入/输出关系表示网络中的神经元连接性。
例如，每个神经元可具有偏置、激活函数，以及一组突触权重，分别用于其输入。激活函数可呈阶跃函数、线性函数、对数S型(log-sigmoid)函数等形式。网络中的不同神经元可具有不同激活函数。
例如，每个神经元可产生其输入和其偏置的加权和，然后产生为加权和的函数的输出，所述输出是使用神经元的激活函数计算的。
ANN的输入与输出之间的关系一般来说是由ANN模型定义的，所述ANN模型包含表示网络中的神经元的连接性的数据，以及每个神经元的偏置、激活函数和突触权重。使用给定ANN模型，计算装置根据网络的给定一组输入计算网络的输出。
例如，可基于相机输入产生ANN网络的输入；并且ANN网络的输出可以是对例如事件或对象等事项的识别。
脉冲神经网络(SNN)是一种紧密模仿自然神经网络的ANN类型。当神经元的激活电平足够高时，SNN神经元产生脉冲作为输出。SNN神经元的激活电平模仿自然神经元的薄膜电位。SNN神经元的输出/脉冲可以改变接收输出的其它神经元的激活电平。随时间而变的SNN神经元的当前激活电平通常是使用微分方程来建模的，且被视为SNN神经元的状态。来自其它神经元的传入脉冲可将所述神经元的激活电平推得更高，以达到产生脉冲的阈值。一旦神经元产生脉冲，其激活电平就复位。在产生脉冲之前，SNN神经元的激活电平可随时间推移而衰减，如微分方程所控制的那样。SNN神经元行为中的时间元素使得SNN适合于处理时空数据。SNN的连接性通常是稀疏的，这有利于减少计算工作负载。
一般来说，可使用监督方法来训练ANN，其中调整ANN中的参数以最小化或减少由相应输入产生的已知输出与通过将输入应用于ANN而产生的所计算输出之间的误差。监督学习/训练方法的实例包含强化学习，以及具有误差校正的学习。
替代地或组合地，可以使用非监督方法来训练ANN，其中由给定的一组输入产生的确切输出在所述训练完成之前是未知的。可以训练ANN，以将事项分类成多个类别，或将数据点分类成聚类。
可以采用多个训练算法用于复杂机器学习/训练范例。
发明内容
在一方面，本申请提供一种方法，其包括：当车辆处于停车状态时，使用配置于所述车辆中的相机捕获所述车辆的周围环境的图像；根据所述图像识别从远处接近所述车辆的人员；至少部分地基于所述图像并使用人工神经网络评估所述人员对所述车辆的威胁级别；以及响应于所述威胁级别高于阈值，指示所述车辆产生警报。
在另一方面，本申请提供一种数据存储装置，其包括：一或多个存储器组件，其配置成存储数据；接口，其配置成在车辆处于停车状态时，从所述车辆的相机接收所述车辆的周围环境的图像；推理引擎，其配置成根据所述图像使用人工神经网络识别从远处接近所述车辆的人员；以及控制器，其配置成至少部分地基于所述图像评估所述人员对所述车辆的威胁级别，并响应于所述威胁级别高于阈值，使所述车辆产生警报。
在又一方面，本申请提供一种车辆，其包括：高级驾驶辅助系统(ADAS)，其具有一或多个相机；以及计算机系统，其配置成：当所述车辆处于停车状态时，从所述高级驾驶辅助系统(ADAS)的相机接收所述车辆的周围环境的图像；根据所述图像识别从远处接近所述车辆的人员；至少部分地基于所述图像评估所述人员对所述车辆的威胁级别；以及响应于所述威胁级别高于阈值，指示所述车辆产生警报。
附图说明
在附图的各图中作为实例而非限制示出了实施例，在附图中，相似的参考标号指示类似的元件。
图1示出根据一个实施例的配置成检测和辨别潜在入侵者并提供警告以阻止入侵的车辆。
图2示出根据一个实施例的用于评估和响应接近车辆的人员的威胁的方法。
图3示出根据一个实施例的用于训练车辆的人工神经网络来辨别威胁的方法。
图4示出根据一些实施例的具有配置成收集并处理传感器数据的车辆的系统。
图5示出根据一个实施例的自主车辆。
图6-8示出根据一些实施例的用于预测的人工神经网络的训练。
图9示出根据一个实施例的具有神经网络加速器的数据存储装置。
图10示出根据一个实施例的用于加快神经网络计算的存储器组件。
图11示出根据一个实施例的配置成支持神经网络计算的存储器容量。
图12示出根据一个实施例的用于人工神经网络(ANN)模型的存储器区域的配置。
图13示出根据一个实施例的用于人工神经元的输入的存储器区域的配置。
图14示出根据一个实施例的用于人工神经元的输出的存储器区域的配置。
图15示出根据一个实施例的自主车辆和数据存储装置之间的通信。
图16示出根据一个实施例的数据存储装置内的通信。
具体实施方式
本文中所公开的至少一些实施例提供用于检测、辨别和/或预测潜在入侵、强行进入、盗窃、攻击等并产生警告以阻止和/或记录非法活动的系统、方法和设备。
例如，可以训练人工神经网络根据由一或多个相机捕获的图像辨别常常出现在非法活动之前的情形。响应于此类活动的检测和/或辨别，车辆可以产生警报和/或警告以阻止活动和/或警告车辆的驾驶员、使用者和/或车主。
图1示出根据一个实施例的配置成检测和辨别潜在入侵者101并提供警告以阻止入侵的车辆111。
例如，可以使用机器学习训练人工神经网络(ANN)125来基于来自一或多个相机(例如，103)的输入辨别人员是否正在强行进入或可能强行进入车辆111。当检测到或预测强行进入活动时，车辆111可以使用车辆111的喇叭和/或车辆111的信息娱乐系统产生警报，和/或对车辆的驾驶员或用户、车辆的车主、安全小组和/或执法机构做出警告。
例如，相机103可配置成以选定帧速率监测车辆111的周围环境。帧速率可基于车辆111周围的人员(例如，101)的存在情况、附近的人(例如，101)与车辆111之间的距离、人员(例如，101)的活动和/或人员(例如，101)的移动方向而选择。
例如，来自相机103的图像和/或声音数据可以使用人工神经网络(ANN)125分析以辨别经执行以强行进入车辆111的人员(例如，101)的动作。
当检测到强行进入活动时，车辆111的计算机系统131可以打开车辆111的警报装置并向车辆111的车主、车辆111的用户、安全小组和/或执法机构传输警告。
例如，人工神经网络(ANN)125可配置于连接到相机103以接收输入的数据存储装置中。当车辆111处于停车状态时，车辆111可以关闭；并且除数据存储装置以外的大部分计算机系统131可断电或处于休眠模式。数据存储装置配置有神经形态存储器和/或神经网络加速器，用于处理来自相机103的输入。
一开始，当从远处检测到人员101时，相机103可用于以低帧速率产生图像；并且人工神经网络(ANN)125配置成评估人员101的图像以确定人员具有强行进入车辆111的意图的风险。例如，可以分析图像以提取与来自附近最近发生的事件的特征匹配的特征。例如，所提取的特征可用于辨别与人员相关联的物品107，并预测具有物品107的人员101攻击车辆111的风险得分。
当人员101和车辆111之间的距离减小时，捕获人员101的图像的帧速率可以增加。当人员101足够接近车辆111时，相机103可以捕获人员101的面部图像并使用面部辨识确定人员101是否与车辆111或附近的其它车辆最近的入侵经历的最近情形的一或多个嫌疑人匹配。
一般来说，车辆111可以是机动车111或具有或不具有高级驾驶辅助系统(ADAS)的另一车辆111。此外，入侵检测和/或预测技术可用于房屋和建筑物的门窗附近。
当在车辆111附近检测、辨别、确认和/或报告事件时，所述事件中涉及的嫌疑人的图像特征可被传输到车辆111的计算机系统131，以允许人工神经网络(ANN)125基于匹配所接收的特征和人员101的图像来评估风险级别。当风险级别高于阈值时，车辆111可以产生警报和/或向车辆111的车主、车辆111的用户、安全小组和/或执法机构传输警告。
在一些实施方案中，车辆111和/或其它类似车辆111可配置有传感器以自动确定攻击或强行进入活动。例如，当人员101没有用受检测的车辆111的钥匙打开车辆111的车门时，可以检测到强行进入的情形。例如，当人员101或用户101的一部分在车辆111内部成像但车辆111没有解锁车辆111的车门和/或降下车辆111的车窗时，可以检测到强行进入的情形。例如，可以从与物体或工具撞击车窗或车辆111的另一部分相对应的声音中辨别攻击情形。
当可疑人员101接近车辆111时，连接到相机103的数据存储装置可以记录从由相机103产生的图像中提取的特征和/或图像。随着攻击或强行进入活动的预测风险级别的增加，可以存储更多的数据。随后，当攻击或强行进入活动被自动确定或通过经由车辆111的信息娱乐系统提供的用户接口被识别时，可疑人员101的经记录图像特征和/或人员101的图像可以与高风险分类相关联以产生训练数据。然而，如果随后没有发生攻击或强行进入活动，那么可疑人员101的经记录图像特征和/或人员101的图像可以与低风险分类相关联以产生训练数据。
随后，训练数据可用于使用机器学习技术在车辆111中或在从一群车辆(例如，111)收集训练数据的服务器中训练人工神经网络125。训练允许人工神经网络125评估接近车辆111的人员(例如，101)的风险，使得车辆111能够在人员101足够接近车辆111以进行攻击或强行进入之前产生警报和/或警告。警报的形式可以是吹响104车辆111的喇叭、闪烁车辆111的灯和/或使用车辆111的信息娱乐系统提供语音评论。在某一实施方案中，车辆111可以为车辆111的车主、车辆111的用户或安全小组或执法机构的代表提供实时通信信道以与人员101交谈，同时该人的图像被流式传输到计算装置、移动装置或车主、用户或代表的媒体播放器。
例如，一个实施例的车辆111具有高级驾驶辅助系统(ADAS)。车辆的ADAS可具有配置成监测车辆的周围环境以用于驾驶辅助(例如，自主驾驶、车道保持、自适应巡航控制和/或防撞等等)的一或多个相机。当车辆111处于停车状态时，ADAS可以撤销激活。但是，相机可用于捕获图像以用于检测接近人员101。
例如卷积神经网络(CNN)和/或脉冲神经网络(SNN)的人工神经网络(ANN)125可以使用机器学习技术训练，以将接近人员101辨别为车辆111目前所处地理区域中最近事件所涉及的嫌疑人中的一个。这个区域可以是城市、城市的一部分、小区的与车辆111相隔预定距离的区域等等。
替代地或组合地，人工神经网络(ANN)125可以辨别人员101携带的物品107，其中物品107涉及许多已知的强行进入或攻击车辆(例如，111)事件。
替代地或组合地，人工神经网络(ANN)125可以辨别车辆111附近的人员101的动作或动作序列/模式，其中所述动作常常出现在对车辆(例如，111)的强行进入或攻击之前。
在一些实施方案中，人工神经网络(ANN)125经训练以使用导致已知的对车辆(例如，111)的强行进入或攻击事件的一系列图像来评估风险级别，或由人类操作者进行排序以具有指示视频图像中所描述人员的行为风险等级的分数的一系列视频图像来评估风险级别。
当从远处检测到和/或辨别到接近人员101时，车辆111可以任选地鸣响104喇叭或闪烁它的灯(例如，102)。任选地，车辆111可以接通附件的电源、执行车载诊断例程和/或为传动系准备电源，就好像车辆111正准备供车主、驾驶员或授权用户使用一样。
例如，一个实施例的车辆111由内燃机提供动力；并且车辆111可启动内燃机，并发出发动机噪声，阻止人员101对车辆111进行攻击。
任选地，在车辆111将远处的人员101辨别为最近事件所涉及的嫌疑人之后，车辆111可将其信息娱乐系统通电，并使用信息娱乐系统提供关于所述事件的语音评论，由此阻止所述嫌疑人接近车辆111。
例如，基于人员101和车辆111之间的距离和/或接近车辆111的人员101的步速，车辆111可以计划警报和警告以特定地针对人员101。例如，当预测的威胁增加并且人员101靠近车辆111时，车辆111可以增加使用其喇叭和/或灯发出的警报的强度；并且当人员离开车辆111时，车辆111可以增加警报的强度；当人员离开车辆111时，车辆111可降低到停止警报。
当车辆111最初从远处使用相机103检测到人员101时，来自相机103的图像可能不具有用于面部辨识的足够分辨率/细节。可以训练人工神经网络(ANN)125来分析图像，以基于相对于车辆111的运动模式来将人员101对车辆111的威胁分类。例如，人员101的移动表示人员101仅仅是经过车辆111，因此不对车辆111构成威胁。然而，当人员101的移动指示人员101正在研究车辆111、在车辆111周围移动、查看车辆111等时，人员101可能对车辆111构成威胁。
当检测到人员101时，车辆111可以确定人员101是不是车辆的授权用户、驾驶员或车主。如果是，则人员101不对车辆111构成威胁。
例如，可以基于人员101的身材、体形、姿势、人员101行走时的特征和/或人员101的服装特征等来初步辨别人员101是不是授权用户的确定，当人员101靠近车辆111时，可以从相机103捕获的图像中提取更多信息；并且当授权用户接近车辆111时，肯定辨别的置信度可以增加。当用户靠近车辆111时，相机103可以提高捕获图像的速率。
可以训练人工神经网络(ANN)125来辨别车辆111的常规用户。例如，当潜在用户101正在接近车辆111时，车辆111可以记录训练数据来训练人工神经网络(ANN)，以便基于来自相机103的图像将用户101与其他人区分开来。当潜在用户101具有操作车辆111的钥匙时，车辆111可以存储数据以将用户101的身份与车辆111的授权使用相关联。任选地，车辆可以基于面部辨识、指纹辨识、语音指纹辨识、RFID、NFC或无线密钥或其任何组合来进一步认证用户。任选地，可以将人员101明确注册为车主或授权用户，使得当车辆111辨别出人员101时，车辆111允许用户101在没有钥匙的情况下使用车辆111，而不管当前使用情形的时间和位置如何。
基于车辆111的使用历史，可以训练ANN 125，以基于日期和时间及车辆111的位置来预测接近人员101是否被授权使用车辆111。当接近人员101被辨别为车辆111的授权用户时，可以降低接近人员101对车辆111的威胁，即使人员101被相机103成像为具有在其它情况下会被视为对车辆111的威胁的物品107也如此。
图2示出根据一个实施例的用于评估和响应接近车辆的人员的威胁的方法。例如，图2的方法可以在图1的车辆111中实施。
在框251处，当车辆111处于停车状态时，配置于车辆111中的相机103捕获车辆111的周围环境的图像。
例如，在停车状态中，可关闭车辆111中大部分电子系统的电源。但是，车辆111的某些组件仍可以定期或连续地通电，以便监测车辆111的周围环境。这些组件可包含一或多个相机103和使用人工神经网络(ANN)125处理来自相机103的图像的计算机系统131。
例如，相机103可以是车辆111的高级驾驶辅助系统(ADAS)的一部分，当车辆111处于停车状态时，所述高级驾驶辅助系统大部分处于非活动状态。在另一实例中，车辆111不具有高级驾驶辅助系统(ADAS)。
例如，人工神经网络(ANN)125可包含卷积神经网络(CNN)或脉冲神经网络(SNN)，或其任何组合。
在框253处，根据由相机103捕获的图像从远处识别接近车辆111的人员101。例如，可以使用将人员与图像中所捕获的其它对象区分开来的模型来分析图像的一部分。
在框255处，至少部分地基于图像并使用人工神经网络125，评估人员101对车辆111的威胁级别。例如，可以使用另一模型来分析图像和/或其它数据，以估计威胁级别和/或将威胁与非威胁区分开来。
在框257处，响应于威胁级别高于阈值，车辆111的计算机系统指示车辆111产生警报。否则，不产生警报。
例如，警报的形式可以是启动车辆111、闪烁车辆111的灯(例如，102)、吹响车辆111的喇叭或通过车辆111的信息娱乐系统播放音频内容，或其任何组合。
任选地，计算机系统131还可以使用车辆111的车主、车辆111的授权用户、车辆111的驾驶员或安全小组或执法机构的联系信息，向远离车辆111的计算装置传输警告。警告可包含由相机103捕获的一或多个图像。
例如，响应于威胁级别约为阈值，计算机系统131可将车辆111的信息娱乐系统连接到远离车辆111的移动装置。所述连接提供通信信道，允许从移动装置接收语音通信和在车辆111的信息娱乐系统中播放/呈现语音通信，以阻止人员101进一步接近车辆111和/或攻击或强行进入车辆111。
例如，相机103可捕获接近车辆111的人员101的一系列图像；并且人工神经网络125可以根据所述一系列图像将人员辨别为与事件所涉及的嫌疑人匹配。任选地，警报可包含经由车辆的信息娱乐系统提供的关于所述事件的语音评论。为了提高辨别的置信度水平，当人员101和车辆111之间的距离减小时，相机103可以增加捕获人员101的图像的速率。
任选地，在来自相机的图像足够用于人员的面部辨识之前评估威胁级别。因此，警报可以在人员101过于接近车辆111之前启动/提供。
任选地，至少部分地基于图像，人工神经网络(ANN)125的输出(例如，通过计算机系统计算出)可指示人员101是不是车辆111的授权用户。可以至少部分地基于对人员101是不是车辆111的授权用户的确定来评估威胁级别。例如，确定人员101是不是车辆111的授权用户还可以基于人员101接近车辆111的时间、车辆111在所述时间的位置和/或一或多个授权用户使用车辆111的历史。
图3示出根据一个实施例的用于训练车辆111的人工神经网络125来辨别威胁的方法。
在框261处，当车辆111处于停车状态时，车辆111的相机103捕获车辆111的周围环境的图像。
在框263处，人工神经网络125根据图像识别从远处接近车辆111的人员101。
在框265处，人工神经网络125从图像中提取与人员101有关的特征以进行威胁辨别。
在框266处，确定人员是否对车辆111构成威胁。
例如，当人员101被辨别为车辆111的授权用户时，人员101和/或相关联的物品107对车辆111不构成威胁。
例如，人员可因为使用解锁车门107或启动车辆111的钥匙而被辨别为授权用户。
例如，人员可因为陪同授权用户乘坐车辆111而被确定为不对车辆111构成威胁。
例如，当人员试图在没有车辆钥匙的情况下进入车辆111时，可以确定人员存在威胁。
例如，当车辆111的额外传感器检测到非法活动时，例如打破车辆111的车窗、在车辆111锁定的情况下调温、试图在没有钥匙的情况下使用车辆111、撞击车辆111、触摸车辆111、击打车辆111等等，可以确定人员存在威胁。
例如，人类操作者可以查看图像和/或其它图像，将人员归类为对车辆构成威胁(266)或对车辆无威胁(266)。
如果确定(266)人员101对车辆111构成威胁，那么在框267处，车辆111将特征与威胁相关联地存储。
任选地，威胁级别可由人类操作者分配，或根据人员相对于车辆111的活动自动分配。例如，触摸车辆111被分配为低威胁级别；并且击打车辆111被分配为高威胁级别。
否则，在框269处，车辆111将特征与无威胁相关联地存储。
在框271处，可以使用所存储的训练数据训练人工神经网络125，以通过最小化或减少借助分析人工神经网络125中的特征做出的预测和威胁或无威胁的对应指示之间的差异来预测威胁。
训练可以在车辆111中执行。可替代地，训练数据可以在维护设施处下载和/或上载到服务器以训练人工神经网络。经过训练的人工神经网络125可以通过更新安装在车辆111中，以提高车辆111从远处辨别威胁的能力。
图1-3的技术可在图4所示的系统中和/或使用下文论述的数据存储装置来实施。
例如，数据存储装置可包含：一或多个存储器组件，其配置成存储数据；接口，其配置成在车辆111处于停车状态时，从配置于所述车辆111中的相机103接收所述车辆111的周围环境的图像；推理引擎，其配置成根据所述图像使用人工神经网络(ANN)125识别从远处接近所述车辆111的人员；以及控制器，其配置成至少部分地基于所述图像，评估所述人员101对所述车辆111的威胁级别，并响应于所述威胁级别高于阈值，使所述车辆111产生警报。
例如，推理引擎可包含神经网络加速器，其配置成比控制器更有效地执行矩阵算术计算。
在一些实施例中，检测例如潜在入侵者的威胁的技术可以在车辆111的计算机系统131中实施。
在一些实施方案中，使用ANN 125对来自相机103的图像的处理配置于车辆111的数据存储装置中，例如车辆111的黑匣子数据记录器。数据存储装置可配置为计算机系统131的部分。但是，在监测车辆111的周围环境及检测和辨别105接近人员101期间，车辆111的数据存储装置可以通电，而计算机系统131中的数据存储装置的主机可保持断电或处于休眠状态。在人员101以至少阈值置信度水平被辨别为威胁或授权用户之后，数据存储装置可以唤醒整个计算机系统131，或使整个计算机系统131通电。随后，计算机系统131可确定其它操作以阻止威胁或欢迎授权用户。
任选地，车辆111可配置成训练人工神经网络125，基于由车辆111的相机103在先前情形中和/或由其它类似车辆捕获的图像将人员101、与人员101相关联的物品107和/或人员101的活动辨别为对车辆构成威胁。
图4示出根据一些实施例的具有配置成收集并处理传感器数据的车辆111的系统。
图4中的车辆111具有数据存储装置112、传感器122、ANN 125和ADAS 128，所述ADAS配置成处理传感器数据(包含来自传感器122的输入)，以产生用于车辆111的控制信号。
一般来说，一或多个传感器(例如，122)可配置于车辆111上以产生输入到ADAS128和/或数据存储装置112的传感器数据。数据存储装置112和/或ADAS 128可配置成使用ANN 125产生推理结果。推理结果可包含用于操作或驾驶车辆111的控制信号、对车辆111的维护服务的建议，等等。
在一些实施方案中，由传感器(例如，122)产生的数据的至少一部分用于ADAS 128的驾驶辅助和ANN 125的维护预测。任选地，ANN 124的输出可用于数据存储装置112和ADAS128。ANN 125可以是ADAS 128的部分。
传感器122可以配置于数码相机、光达、雷达、超声波声纳等等中。还可使用其它类型的传感器，例如制动器传感器、速度传感器、加速度传感器、安全气囊传感器、全球定位系统(GPS)接收器、音频传感器/麦克风、振动传感器、力/应力传感器、变形传感器、运动传感器、温度传感器，等等。一些传感器122可主要配置成用于监测车辆111的环境；且其它传感器122可主要配置成用于监测车辆111的一或多个组件的操作条件，例如内燃机、排气系统、电动机、制动器、轮胎、电池，等等。
车辆111的ANN 125配置成处理来自传感器122的传感器输入数据以控制车辆111和/或数据存储装置112。
一般来说，随时间而变的传感器122的输出作为传感器数据流提供给ADAS 128和/或ANN 125，以提供驾驶辅助(例如，自主驾驶)和维护预测。
传感器数据流的至少一部分可以提供给数据存储装置112以供存储和/或处理。例如，ANN 125的一部分可以在数据存储装置112中实施。数据存储装置112的推理引擎可以处理传感器数据流以产生推理结果，以供ADAS 128进一步处理。因此，数据存储装置112的输入数据流可包含来自传感器122的传感器数据流的至少一部分；且来自数据存储装置112的输出数据流可包含使用数据存储装置112中的ANN 125针对车辆111的ADAS 128产生的推理结果。可根据输入/输出数据流中的模式确定车辆111的操作条件，且因此确定数据存储装置112的工作负载。
车辆111的和/或数据存储装置112中的ANN 125可包含配置成对传感器数据的基于时间的变化进行分类和/或检测相对于车辆111的传感器数据的已知模式的偏差的SNN。当ANN 125检测到相对于已知模式的偏差时，对应于所述偏差的传感器数据可以存储在数据存储装置112中，用于进一步分析和/或用于ANN 125的进一步训练。
车辆111的数据存储装置112可配置成记录一段时间内的传感器数据。记录下来的传感器数据可用于ANN 125进行预测性维护和/或用于进一步训练ANN 125。维护服务设施(例如，127)可从数据存储装置112下载传感器数据121，并向服务器119提供传感器数据121和对应的推理结果数据123以促进ANN 125的训练。
任选地或组合地，数据存储装置112配置有机器学习模块，以定制和/或训练安装于车辆111和/或数据存储装置112中的ANN 125。
车辆111可具有用于经由无线信号113和通信网络117与远程服务器119通信的无线通信装置。远程服务器119通常配置在远离车辆111正在上面行驶的道路114的位置处。例如，车辆111可以向服务器119提供一些传感器数据121并从服务器119接收ANN 125的更新。
通信网络117可以是具有用于接收无线信号(例如，113)的一或多个基站(例如，115)的移动电话网络。替代地或组合地，通信网络117可包含因特网，其中通过车辆113传输的无线局域网信号(例如，113)在存取点(例如，115)中接收以进一步传送给服务器119。在一些实施方案中，车辆111使用去往卫星118的通信链路116或通信气球来与服务器119通信。
服务器119还可与一或多个维护服务设施(例如，127)通信来接收车辆(例如，111)的传感器数据121和/或所要推理结果数据123。
例如，所要推理结果数据123可由检查传感器数据121(例如，来自传感器122的图像)和/或车辆111的相关条件的人类操作者产生。例如，所要推理结果数据123可包含车辆(例如，111)的组件的检查记录和/或维修记录。例如，检查记录和/或维修记录可指示在维护服务设施(例如，127)进行维修期间检查的组件的磨损程度、有故障的或发生故障的组件的识别，等等。在与所要推理结果数据123相关的时间段中获得的车辆(例如，111)的传感器数据121可用于在服务器119处训练ANN 125以提高ANN 125的推理能力。
更新后的ANN 125可以在维护服务设施127处安装于车辆111中。可替代地，更新ANN 125可以传输到车辆111以无线更新车辆111。
图5示出根据一个实施例的自主车辆111。例如，图4的系统中的车辆111可以使用图5的自主车辆111来实施。
一般来说，车辆111可包含信息娱乐系统149、通信装置139、一或多个传感器122和计算机系统131，所述计算机系统连接到车辆111的一些控件，例如用于车辆111的方向的转向控件141、用于车辆111的停止的制动控件143、用于车辆111的速度的加速控件145等等。在一些实施例中，图4的系统中的车辆111具有类似配置和/或类似组件。
图5的车辆111配置有高级驾驶辅助系统(ADAS)128。车辆111的ADAS 128可具有用于基于在传感器122中产生的图像进行对象检测、辨识、识别和/或分类的人工神经网络(ANN)125。ANN 125的一部分可以在数据存储装置112中实施。
车辆111的计算机系统131可包含一或多个处理器133、数据存储装置112，以及存储固件(或软件)147(包含用于ADAS 128的计算机指令和数据模型)的存储器135。
车辆111的传感器122可包含可见光相机、红外相机、光达、雷达或声纳系统、外围传感器、全球定位系统(GPS)接收器、卫星定位系统接收器、制动传感器和/或安全气囊传感器。此外，车辆111的传感器122可包含配置成监测来自车辆111中的各种组件和位置的噪声的音频传感器(例如，麦克风)、振动传感器、压力传感器、力传感器、应力传感器和/或配置成测量车辆111的组件上的负载的变形传感器、测量车辆111中的一些组件的运动的加速度计和/或陀螺仪传感器，等等。此类传感器可用于就预测性维护监测组件的操作状态和/或健康状况。
传感器122可以向计算机系统131提供实时传感器数据流。由车辆111的传感器122产生的传感器数据可包含使用利用人眼可见的灯成像的相机或使用红外光成像的相机或声纳、雷达或LIDAR系统捕获对象的图像。优选地，图像由数据存储装置112的推理引擎处理以产生推理结果作为数据存储装置112的输出数据流，并因此减少主计算机系统131的计算工作负载。
例如，相机可用于获得用于车辆111行驶的车道信息，此车道信息可由ANN 125处理以产生用于车辆111的控制信号。例如，相机可用于监测车辆111的组件的操作状态/健康状况，这可由ANN 125处理以预测或安排维护服务。
车辆111的信息娱乐系统149可用于呈现来自传感器122的数据和/或推理结果。例如，具有减小的分辨率和刷新频率的经压缩图像可在传感器122中产生并被传输到信息娱乐系统149以供呈现给车辆111的乘员。任选地，为进行所述呈现，通信装置139可建立与车辆111的乘员的移动装置的连接。
当车辆111配置有ADAS 128时，ADAS 128的输出可用于在自主驾驶期间控制(例如，141、143、145)车辆111的加速度、车辆111的速度和/或车辆111的方向。
图6-8示出根据一些实施例的用于预测的人工神经网络125的训练。
在图6中，使用监督机器学习的模块171来训练人工神经网络125，以最小化从传感器数据121产生的预测129与所要推理结果数据123之间的差异。
例如，传感器数据121可包含示出对象的图像；且所要/预期推理结果数据123可识别被对象占用的图像区域、对象的特征、对象的分类、对象的身份等等。
例如，传感器数据121可包含车辆111周围环境的图像；且所要/预期推理结果数据123可包含用于转向控件141、制动控件143和加速控件145的优选控制输入。
所要/预期推理结果数据123可由人类操作者产生。例如，传感器数据121可用于构建车辆111所遇情形的虚拟现实演示，包含来自传感器122的示出车辆111的环境的图像；且所要/预期推理结果数据123可包含由人类操作者响应于情形的虚拟现实演示而产生的响应。
监督机器学习模块171可调整人工神经网络125以减少/最小化基于传感器数据121产生的预测129和由人类操作者产生的所要/预期推理结果数据123之间的差异。
图6的监督学习171可以基于一群车辆的传感器数据和对应的所要/预期推理结果数据123而应用在服务器119中，以产生用于这一群车辆的通用ANN。
图6的监督学习171可以基于车辆的传感器数据和推理结果数据123而应用在车辆111中，以产生定制/个性化ANN 125。例如，一开始可以在车辆111中使用通用ANN 125；且可以使用特定于车辆111的车辆111的传感器数据和所要/预期推理结果数据123来进一步训练车辆的ANN 125，以在车辆111中产生定制/个性化的ANN 125。
在图7中，使用非监督机器学习的模块175训练或细化人工神经网络125以促进异常检测173。非监督机器学习模块175配置成调整ANN(例如，SNN)以产生传感器数据121中的正常分类、聚类或经辨识模式，使得相对于传感器数据121中的正常分类、聚类或经辨识模式的偏差程度可用于传达异常检测173。
例如，异常检测173可用于保留与异常相关联的传感器数据121以供进一步分析。响应于车辆111中的异常检测173，计算机系统131可向传感器122发出读取命令以从传感器122检索与异常相关联的图像数据，并将检索到的图像数据存储在数据存储装置112中。与异常相关联的图像数据可以暂时保留在传感器122的存储器装置中，并使用传感器122和数据存储装置112之间的可用通信带宽在一段时间内负载到数据存储装置112，而不会影响ADAS 128的正常操作。
当车辆111处于维护服务设施127时，可以从数据存储装置112检索与异常相关联的图像数据(和其它传感器数据)以产生所要/预期推理结果数据123，从而使用图6的监督学习171进一步训练ANN 125。
任选地，可以使用监督机器学习171训练ANN 125，如图8中所示。监督学习171可用于最小化根据传感器数据121使用ANN 125做出的预测179和预期分类177之间的分类差异。
例如，在没有事故、接近事故的事件或指示异常情况的用户输入的情况下，可以假设“正常”分类。事故、接近事故的事件或用户输入可用于识别导致事故、事件或用户输入的传感器数据的预期“异常”分类。监督机器学习171可用于训练人工神经网络125，使分类179与预期分类177的差异减小/最小化。
任选地，数据存储装置112的推理引擎可配置成加快在数据存储装置112中实施的人工神经网络(ANN)125的一部分的计算。
例如，推理引擎可包含专用于执行涉及人工神经网络(ANN)125的计算的至少部分(例如向量和张量的点积、乘累加运算等)的神经网络加速器159(例如，在图9中示出)。
图9示出根据一个实施例的具有神经网络加速器159的数据存储装置112。例如，图9的数据存储装置112可用于图4或5中所示的车辆111。
在图9中，数据存储装置112具有配置成与主机处理器(例如，图5中的133)通信的主机接口157。例如，主机处理器(例如，133)和主机接口157之间的通信可以至少部分地根据用于外围组件互连高速(PCIe)总线、串行高级技术附件(SATA)总线、通用串行总线(USB)总线和/或存储区域网络(SAN)的通信协议。
例如，主机计算机系统131可与主机接口157通信，以从含有由车辆111的传感器122产生的传感器数据的输入数据流103检索由数据存储装置112产生的推理结果。
例如，主机接口157可用于从传感器122接收车辆111的传感器数据121；且传感器数据121可任选地存储在数据存储装置112中，用于分析后续事故或接近事故的事件。
在图9中，存储器组件161到163中的每一个可以是配置成存储数据的存储器集成电路。
神经网络加速器159和控制器151可以经由在一或多个集成电路裸片上形成的逻辑电路实施，这些集成电路裸片堆叠于存储器组件161到163的集成电路裸片上。神经网络加速器159和控制器151的集成电路裸片与存储器组件161到163的集成电路管芯之间的穿硅通孔可用于提供高通信带宽，用于处理存储于存储器组件161到163中的数据以产生推理结果。推理结果可以存储在控制器151的本地存储器153和/或存储器组件161到163中的一些中以供主机系统检索，例如车辆111的计算机系统131。例如，不同存储器组件161到163或存储器组件(例如，161或163)的不同部分可以使用穿硅通孔促进神经网络加速器159和控制器151的不同部分的并行存取。
一般来说，一些存储器集成电路是易失性的，需要电力来维持所存储的数据；且一些存储器集成电路是非易失性的，甚至可以在没有供电时也保持所存储的数据。存储器组件161到163可包含易失性存储器和/或非易失性存储器。存储器组件161到163可实施不同类型的存储器或同一类型的存储器。
非易失性存储器的实例包含快闪存储器、基于与非(NAND)逻辑门、或非(NOR)逻辑门形成的存储器单元、相变存储器(PCM)、磁存储器(MRAM)、电阻式随机存取存储器、交叉点存储和存储器装置。交叉点存储器装置可以使用无晶体管的存储器元件，其中每一个存储器元件都具有作为列堆叠在一起的存储器单元和选择器。存储器元件列经由在垂直方向上延行的两层导线连接，其中一层导线在一个方向上且在位于存储器元件列上方的层中延行，另一层导线在另一方向上且在位于存储器元件列的层中。可以在两个层中的每一个上的一个导线的交叉点处单独选择每个存储器元件。交叉点存储器装置既快速又是非易失性的，并且可以用作用于处理和存储的统一存储器池。非易失性存储器的其它实例包含只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)和电子可擦除可编程只读存储器(EEPROM)存储器等。易失性存储器的实例包含动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。
数据存储装置112可具有包含易失性本地存储器153和至少一个处理装置155的控制器151。
控制器151的本地存储器可以是嵌入式存储器，其配置成存储用于执行各个过程、操作、逻辑流及控制处理装置155的操作的例程的指令，包含处理车辆111的数据存储装置112和处理器(例如，133)之间的通信，以及本文中所描述的其它功能。任选地，控制器151的本地存储器151可包含用于存储微码的只读存储器(ROM)和/或存储例如存储器指针、提取数据等的存储器寄存器，和/或易失性存储器，如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。
在图9中，数据存储装置112包含耦合到控制器151和/或存储器组件161到163的神经网络加速器159。
例如，神经网络加速器159可配置成比控制器151的处理装置155更有效地执行矩阵算术计算。涉及ANN 125的计算具有矩阵乘累加运算，其对于通用处理器(例如，133、155)来说可为计算密集型的。使用神经网络加速器159执行矩阵算术计算可以减少要传输到车辆111的处理器133的数据，并减少处理器133、155的计算工作负载。
当ANN 125包含脉冲神经网络(SNN)时，用于控制SNN神经元的激活电平的微分方程的模拟对于通用处理器(例如，133，155)来说可为计算密集型的。任选地，神经网络加速器159可使用专门硬件来模拟微分方程，并因此在实施SNN时提高计算效率。
在一些实施方案中，神经网络加速器159是与控制器151和/或存储器组件161到163分开的集成电路装置。替代地或组合地，神经网络加速器159与控制器151在集成电路裸片中集成。替代地或组合地，神经网络加速器159的一部分可以集成在存储器组件161到163中的至少一个的集成电路裸片上，如图10中所示。
图10示出根据一个实施例的用于加快神经网络计算的存储器组件160。例如，图9中的每个或一些存储器组件161到163可以使用图10的存储器组件160来实施。
在图10中，存储器组件160可以在集成电路裸片上形成。存储器组件160的输入/输出(I/O)接口169配置成处理存储器组件160的输入/输出信号。例如，输入/输出信号可包含指定媒体单元165中的位置的地址信号和表示将在媒体单元165中写入经由地址信号指定的位置的数据或从媒体单元165中的位置检索的数据的数据信号。
在图10中，神经网络加速器159与控制逻辑167和/或媒体单元165耦合以执行用于评估ANN 125的一部分的输出和/或训练ANN 125的计算。
例如，输入/输出接口169可接收识别存储在媒体单元中且将经由神经网络加速器159操作的矩阵的地址。存储器组件160可响应于地址提供神经网络加速器159的计算结果作为输出数据，在缓冲器中存储输出数据以用于其它操作，将输出数据存储到媒体单元165中经由地址信号指定的位置中。因此，由神经网络加速器159执行的计算可以在存储器组件160内，其接近其中存储有矩阵数据的媒体单元165。
例如，SNN神经元的状态数据可以根据预定模式存储在媒体单元165中。神经网络加速器159可根据用于随时间推移控制SNN神经元的激活电平的微分方程自动更新SNN神经元的状态。任选地，神经网络加速器159配置成处理神经网络中神经元的脉冲产生。可替代地，数据存储装置112的神经网络加速器159和/或处理器133可配置成处理神经元的脉冲产生和/或到SNN的输入的累加。
例如，传感器122以预定频率产生传感器数据(例如，图像)。每个图像以循环方式存储到存储器组件161到163中，其中最新图像覆写最早图像。存储器组件161到163进一步存储车辆111的ANN 125中负责处理来自传感器122的图像的部分。控制器151根据ANN 125的所述部分处理存储器组件161到163中的图像以产生推理结果。推理结果存储于存储器组件161到163和/或控制器151的本地存储器153中，以供例如车辆111的计算机系统131的主机系统读取。
例如，数据存储装置112从配置于车辆111上的至少一个传感器122接收传感器数据流，并根据存储于存储器组件161到163中的ANN 125的所述部分基于传感器数据流产生推理结果。配置于数据存储装置112内的神经网络加速器159基于人工神经网络125和传感器数据流执行计算的至少一部分。
任选地，神经网络加速器159可以配置于与控制器151分开和/或与存储器组件161到163分开的集成电路裸片上。
任选地，神经网络加速器159可以配置于包含数据存储装置112的控制器151或数据存储装置112的存储器组件160、161或163的集成电路裸片上。
神经网络加速器159可配置成使用存储在数据存储装置112中的数据执行计算，例如用于ANN的矩阵算术计算和/或用于SNN的微分方程模拟。
矩阵算术计算的实例包含矩阵乘累加运算。在使用存储于数据存储装置112中的数据进行计算以产生矩阵算术计算的结果之后，神经网络加速器159可在数据检索操作中(例如，响应于读取命令)提供所述结果作为数据存储装置112的输出。替代地或组合地，矩阵算术计算的结果可缓冲于数据存储装置112中以作为用于结合经由在主机接口157中接收到的读取命令从非易失性存储器检索的数据矩阵执行的下一矩阵计算的运算元。
当人工神经网络(ANN)125包含脉冲神经网络(SNN)时，神经网络加速器159可配置成模拟控制脉冲神经网络(SNN)中的神经元的激活电平的微分方程。任选地，存储器组件160配置成根据预定模式存储脉冲神经网络中的神经元的状态；且神经网络加速器配置成根据微分方程随时间推移自动更新神经元的状态。例如，神经网络加速器159可配置成经由非监督机器学习训练脉冲神经网络(SNN)来检测异常。
根据人工神经网络(ANN)125由神经网络加速器159执行的计算涉及不同类型的数据，这些数据具有数据存储装置112的不同使用模式。
例如，使用人工神经网络(ANN)125进行预测包含使用指定人工神经网络(ANN)125的模型的数据、提供给人工神经元的输入数据，以及人工神经元产生的输出数据。
数据存储装置112的存储器容量可以分割成用于与不同类型的ANN相关的数据的不同部分。所述不同部分可以单独配置成根据神经网络加速器159和/或其中配置有数据存储装置112的计算机系统131的处理器133对它们的使用模式来优化对应数据的存取和存储。
人工神经网络(ANN)125的模型可包含指定ANN 125中的各个人工神经元的静态属性和ANN 125中的神经元连接性的参数。ANN 125的模型数据是静态的，并且在使用ANN 125进行的预测计算期间不变。因此，模型数据的使用模式大部分是读取。但是，ANN 125的模型数据可在安装更新后的ANN 125时改变。例如，车辆111可从服务器119将更新后的ANN 125下载到车辆111的数据存储装置112以更新其预测能力。ANN 125的模型数据还可在使用机器学习技术(例如，171或175)训练ANN 125期间或之后改变。优选的是配置数据存储装置112的存储器的单独分区或区域来存储模型数据，其中分区或区域根据针对模型数据的特定使用模式(例如，大部分读取、不频繁更新)优化存储器单元的配置参数进行操作。例如，当存储器单元使用基于NAND逻辑门的快闪存储器实施时，ANN模型分区/区域中的存储器单元可配置成以多层级单元(MLC)模式、三层级单元(TLC)模式或四层级单元(QLC)模式操作，其中每个存储器单元存储两个、三个或四个位以增加存储能力。
提供给ANN 125中的人工神经元的输入数据可包含外部输入和内部输入。外部输入通常由车辆111的传感器(例如，122)产生，而非由ANN 125中的人工神经元产生。外部输入可以循环方式保存，使得可以在数据存储装置112中找到预定驾驶长度的最近时间段的输入数据。因此，优选的是配置数据存储装置112的单独存储器分区或区域来存储外部输入数据，其中分区或区域根据针对外部输入数据的存储模式(例如，增强的耐久性、循环覆写)优化存储器单元的配置参数进行操作。例如，当存储器单元使用基于NAND逻辑门的快闪存储器实施时，ANN输入分区/区域中的存储器单元可配置成以单层级单元(SLC)模式操作，其中每一存储器单元存储一个数据位，以改进循环覆写操作的耐久性。
在一些实施方案中，人工神经元可具有响应于在预测计算期间的输入而随着时间改变的状态变量。例如，脉冲神经元的激活电平可随时间推移而改变并且被视为脉冲神经元的动态状态变量。在一些实施方案中，人工神经元的这类状态变量数据具有类似存储使用模式作为外部输入数据；且因此，所述状态变量数据可存储在配置成用于外部输入数据的分区或区域中。在其它实施方案中，人工神经元的状态变量数据保持于缓冲器中，且其存储频率小于外部输入；且因此，另一分区/区域可配置成用于存储人工神经元的动态状态变量数据。
由ANN 125中的人工神经元产生的输出数据可经缓冲以供神经网络加速器159和/或计算机系统131的处理器133进一步存取。输出数据可包含外部输出和内部输出。外部输入由人工神经元产生作为来自ANN 125的输出，例如ANN 125做出的分类或预测的结果。ANN125的输出通常由计算机系统131的处理器133进一步处理。外部输入可以周期性地(例如，以类似于状态变量数据的存储的方式)保存。内部输出和/或一些外部输出可以是到ANN125中的人工神经元的内部输入。一般来说，可能不需要将来自数据存储装置缓冲器的内部输出存储到存储器组件。在一些实施方案中，当数据存储装置112的缓冲器能力不足以保持整个状态变量数据和/或内部输出时，数据存储装置112可以使用交换分区/区域来扩展缓冲器的容量。交换分区/区域可配置成用于优化随机存取并用于改进耐久性。
神经元的外部输出和/或动态状态可以循环方式保存在单独的输出分区或区域中，使得神经元的外部输出数据和/或动态状态可以周期性地存储，并且可以在数据存储装置112中找到最近的外部输出和/或动态状态集合。神经元的外部输出和/或动态状态可以选择性地存储，因为此类数据中的一些可能由ANN从存储在输入分区或区域中的外部输入重新产生。优选地，输出分区或区域配置成存储无法从存储在输入分区或区域中的外部输入产生的一或多组外部输出和/或动态状态。在输入/输出分区或区域中以循环方式存储数据时，最早存储的数据集被擦除，以便为最近数据集腾出空间。ANN输入/输出分区/区域可配置成用于优化连续写入流，以将数据从数据存储装置的缓冲器复制到数据存储装置的存储器组件中的存储器单元中。
图11示出根据一个实施例的配置成支持神经网络计算的存储器容量181。例如，图9的数据存储装置112的存储器组件161到163的存储器容量181可以根据图11进行配置以支持神经网络计算。
图11的存储器容量181可以使用数据存储装置112的一组存储器组件(例如，161到163)来实施。
可以在数据存储装置112的存储器容量181上产生一组区域183、185、187……。区域(例如，183、185或187)中的每一个对应于存储器容量181的命名部分。在每个区域内定义逻辑地址。地址映射191配置成在区域183、185、187……中所定义的逻辑地址和存储器组件(例如，图9中所示的161到163)中的存储器单元的物理地址之间进行映射。
地址映射191可包含区域183、185和187的区域优化设置192。
例如，ANN模型区域183可以是配置成用于人工神经网络(ANN)125的模型数据的存储器/存储分区。区域优化设置192根据ANN模型的数据使用模式(例如，大部分读取、不频繁更新中心)优化ANN模型区域183中的存储器操作。
例如，神经元输入区域185可以是配置成用于到人工神经网络(ANN)125的外部输入数据的存储器/存储分区。区域优化设置192根据外部输入数据的数据使用模式(例如，用于支持连续写入的连续输入数据流的循环覆写的经增强耐久性)优化神经元输入区域185中的存储器操作。
例如，神经元输出区域187可以是配置成用于从人工神经网络(ANN)125提供的外部输出数据的存储器/存储分区。区域优化设置192根据外部输出数据的数据使用模式(例如，用于利用随机读取/写入存取周期性地覆写数据的经改进耐久性)优化神经元输出区域187中的存储器操作。
数据存储装置112包含配置成存储人工神经网络(ANN)125的临时/中间数据的缓冲器，例如ANN 125中的人工神经元的内部输入/输出。
任选地，交换区域可配置于存储器容量181中以扩展缓冲器152的容量。
任选地，地址映射191包含在主机接口157中接收到的逻辑存储器地址与人工神经元的存取数据和人工神经元的身份之间的映射。因此，存取一个区域中的人工神经元的一种类型的数据的读取或写入命令可使控制器151存取另一区域中的人工神经元的另一类型的数据。
例如，响应于将神经元的外部输入数据写入到数据存储装置185的存储器容量181中的请求，地址映射191可用于计算ANN模型区域183中的神经元的模型参数的地址，并将所述模型参数读取到缓冲器152中以允许神经网络加速器159执行神经元的输出的计算。神经元的输出可以作为到其它神经元的内部输入保存在缓冲器152中(例如，以减少写入放大)。此外，还可将连接到所述神经元的其它神经元的身份从ANN模型区域183检索到缓冲器152中，从而允许神经网络加速器159和/或处理器进一步处理ANN 125中的输出的传播。从ANN模型区域183检索模型数据可以与将外部输入数据存储到神经元输入区域185中并行执行。因此，车辆111的计算机系统131的处理器133不必在读取命令中明确发送从ANN模型区域183检索模型数据。
类似地，响应于读取神经元的输出数据，地址映射191可用于计算存储在ANN模型区域183中的神经元的模型参数的地址，并将所述模型参数读取到缓冲器152中以允许神经网络加速器159在缓冲器152中应用内部输入以执行神经元的输出的计算。计算出的输出可以作为对神经元的输出数据的读取的响应而提供，且数据存储装置112不必在存储器组件(例如，161到163)中存储输出数据。因此，处理器133和/或神经网络加速器159可经由将输入写入到神经元和/或从神经元读取输出来控制神经元的计算。
一般来说，ANN 125的传入的外部输入数据可以是直接由传感器(例如，122)产生且未由处理器133和/或神经网络加速器159处理的原始传感器数据121。可替代地，已由ANN125的处理器133根据来自传感器122的信号处理的间接传感器数据121可以作为外部输入数据提供。传入的外部输入数据可以在主机接口157中接受，并以循环方式写入到神经元输入区域185中，并且自动在神经网络加速器159的缓冲器152中缓冲以使用存储在ANN模型区域183中的模型产生神经元输出。由神经网络加速器159产生的输出可作为内部输入进一步进行缓冲以进一步应用于ANN模型区域183中的模型。当外部输出变得可用时，数据存储装置112可利用外部输出可用的指示报告写入请求的完成。任选地，控制器151和/或神经网络加速器159可在产生外部输出时产生在ANN 125中传播信号的内部读取命令。可替代地，主机处理器133可通过选择性地读取神经元的输出来控制ANN 125中信号的传播；且数据存储装置112可主动在缓冲器152中缓冲可能需要的数据以加快ANN计算。
图12示出根据一个实施例的用于人工神经网络(ANN)模型的存储器区域183的配置。例如，图12的配置可以在具有图11的逻辑存储器容量181的图9的数据存储装置112中实施。例如，图12的设置193可以是图11的区域优化设置192的部分。
图12的配置将ANN模型区域183映射到至少一个存储器组件A 161。优选地，所述至少一个存储器组件A 161可由与存储器组件(例如，163)并联的主控ANN数据的其它区域(例如，185和187)的控制器151使用。例如，存储器组件A 161可以在与用于其它区域(例如，185和187)的集成电路封装分开的集成电路封装中。可替代地，存储器组件161到163在嵌入于同一集成电路封装中的单独集成电路裸片上形成。可替代地，存储器组件161到163可以在集成电路裸片的单独区域上形成，其中所述单独区域可以基本上并行地操作(例如，用于读取、用于擦除和/或用于写入)。
在图12中，将设置193优化为大部分读取和不频繁更新的使用模式。
图13示出根据一个实施例的用于人工神经元的输入的区域185的配置。例如，图13的配置可以在图9和/或11中所示的数据存储装置112中实施。例如，图13的设置195可以是图11的区域优化设置192的部分。
图13的配置将神经元输入区域185映射到至少一个存储器组件B 163。优选地，所述至少一个存储器组件B 163可由与存储器组件(例如，161)并联的主控ANN数据的其它区域(例如，183和187)的控制器151使用。例如，存储器组件B 163可以在与用于其它区域(例如，183和187)的集成电路封装分开的集成电路封装中。可替代地，存储器组件161到163在嵌入于同一集成电路封装中的单独集成电路裸片上形成。可替代地，存储器组件161到163可以在集成电路裸片的单独区域上形成，其中所述单独区域可以基本上并行地操作(例如，用于读取、用于擦除和/或用于写入)。
在图13中，将设置195优化为记录以固定时间间隔采样的连续输入数据流时的循环连续覆写中的经增强耐久性的使用模式。
图14示出根据一个实施例的用于人工神经元的输出的区域187的配置。例如，图12的配置可以在图9和/或11中所示的数据存储装置112中实施。例如，图12的设置197可以是图11的区域优化设置192的部分。
图14的配置将神经元输出区域187映射到至少一个存储器组件C 162。优选地，所述至少一个存储器组件C 162可由与存储器组件(例如，161和163)并联的主控ANN数据的其它区域(例如，183和185)的控制器151使用。例如，存储器组件C 162可以在与用于其它区域(例如，183和185)的集成电路封装分开的集成电路封装中。可替代地，存储器组件161到163在嵌入于同一集成电路封装中的单独集成电路裸片上形成。可替代地，存储器组件161到163可以在集成电路裸片的单独区域上形成，其中所述单独区域可以基本上并行地操作(例如，用于读取、用于擦除和/或用于写入)。
在图14中，将设置197优化为用于利用随机存取的周期性覆写的经缓冲数据的使用模式。例如，存储器单元经由优化设置193到197配置以在神经元输出区域187中以高于ANN模型区域183但是低于神经元输入区域185的频率更新/覆写。
通信协议/接口可配置成允许数据存储装置以减少到主机系统的数据流量动态地执行神经网络加速。
例如，车辆111的主机处理器(例如，133)可向数据存储装置112提供在模型分区(例如，183)中存储人工神经网络的模型的写入命令。
为了在分类和/或预测中使用ANN模型，车辆111的主机处理器(例如，133)可任选地将ANN 125的输入数据流式传输到神经元输入分区(例如，185)中。存储装置112的神经网络加速器159可根据地址映射191自动将来自传感器122的图像以及(若存在)来自主机处理器133的输入数据应用到存储在ANN模型分区(例如，183)中的模型。数据存储装置112使计算出的输出可用于ANN 125中的传播。优选地，计算出的输出可通过缓冲器152用于神经网络加速器159，而不需要将中间输出存储到存储器组件(例如，161到163)中。因此，主机处理器(例如，133)和数据存储装置112之间的用于传递神经元的输出的数据通信可减少。当输出已传播到ANN 125中的输出神经元时，数据存储装置112可提供对来自主机处理器(例如，133)的请求的响应。所述响应指示来自ANN 125中的神经元的外部输出可用。作为响应，车辆111的主机处理器(例如，133)可任选地发出检索外部输出以用于进一步处理的读取命令。
图15示出根据一个实施例的自主车辆111和数据存储装置112之间的通信。例如，如图15中所示的通信可以在图4或5的车辆111中实施，所述车辆具有图9所示的数据存储装置112。
在图15中，主机系统的处理器133可配置有简化指令集201以执行神经网络计算，因为涉及ANN 125的计算中的一些由数据存储装置112内的神经网络加速器159执行。在使用ANN 125进行预测和/或分类期间，不必将模型数据传递回到处理器133。
传感器122可产生连续输入流205作为车辆111的传感器数据121的部分。输入流205中的传感器数据121可以固定的预定时间间隔(例如，在车辆111的操作期间)产生。
将输入流205应用到ANN 125中的输入神经元。ANN 125中的输入神经元配置成接受到ANN 125的外部输入；且输出神经元配置成提供来自ANN 125的外部输出。
处理器133可执行处理来自数据存储装置112的输出数据207和一些传感器数据121的指令201。
例如，处理器133可将传感器数据121作为输入流205的部分写入到神经元输入区域185中，并从神经元输出区域187读取由神经网络加速器159使用模型区域183中的ANN数据产生的输出数据207。
数据存储装置112以循环方式将输入流205存储到神经元输入区域185中，其中对应于目前存储在神经元输入区域185中的数据集的数据采样的最早时间实例的最早输入集已擦除以存储最新输入集。
对于每一输入数据集，神经网络加速器159应用存储在ANN模型区域183中的ANN125的模型。神经网络加速器159(或处理器133)可控制神经网络内的信号的传播。当ANN125的输出神经元响应于输入数据集而产生其输出时，数据存储装置112可将对神经元输出准备好用于检索的指示提供到处理器133。所述指示可配置于对来自处理器133的将输入数据集写入到神经元输入区域185中的请求的响应中。处理器133可任选地检索输出数据207(例如，根据编程于指令中的条件和/或准则)。
在一些实施例中，触发参数配置于数据存储装置112中。当外部输出217中的输出参数符合所述触发参数指定的要求时，数据存储装置提供对来自处理器133的将输入数据集写入到神经元输入区域185中的请求的响应。
图16示出根据一个实施例的数据存储装置112内的通信。例如，图16的通信可以在图9所示的数据存储装置112中实施。
在图16中，模型区域183存储ANN 125的模型213。响应于从缓冲器152中的输入流205接收到时间实例的一组外部输入215，数据存储装置112可将外部输入215写入到输入区域185中，同时检索含有ANN模型213中对应于输入神经元的参数和/或连接到输入神经元的神经元的身份的部分的神经元模型212。缓冲器152允许神经网络加速器159组合神经元模型212和外部输入225以产生输入神经元的输出227。
一般来说，神经元输出227可包含作为用于ANN 125内的进一步传播的内部输出216的部分和/或作为用于处理器133的外部输出217的部分。
按照类似于从外部输入215产生神经元输出227的方式，内部输出216作为内部输入216存储在缓冲器152中以用于ANN 125中的进一步传播。例如，内部输入216的一部分可使控制器151和/或神经网络加速器159检索与内部输入相关的对应神经元模型212，使得内部输入在神经网络加速器159中应用于对应神经元模型212以产生其神经元输出227。
当整个一组外部输出217在缓冲器152中可用时，外部输出217可以存储到输出区域187中。
任选地，存储装置112不存储对应于在每个时间实例采样的一组所存储外部输入215的每一组外部输出217。例如，存储装置112可配置成在每次计数到预定组数的外部输入(例如，215)时存储一组外部输出217。替代地或组合地，处理器133可确定是否存储外部输出217。例如，存储装置112可配置成响应于处理器133检索到外部输出217而存储外部输出217以用于进一步处理。例如，存储装置112可配置成在处理器133中处理外部输出217之后，响应于来自处理器133的写入命令而存储外部输出217。
服务器119、计算机系统131和/或数据存储装置112可各自实施为一或多个数据处理系统。
本公开包含执行上文所描述的方法的方法和设备，包含执行这些方法的数据处理系统，以及含有在数据处理系统上执行时使所述系统执行这些方法的计算机可读媒体。
典型数据处理系统可包含互连件(例如，总线和系统核心逻辑)，其将微处理器和存储器互连。微处理器通常耦合到高速缓存存储器。
互连件将微处理器和存储器互连在一起，并且经由I/O控制器将它们互连到输入/输出(I/O)装置。I/O装置可包含显示装置和/或外围装置，例如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机和本领域中已知的其它装置。在一个实施例中，当数据处理系统是服务器系统时，例如打印机、扫描仪、鼠标和/或键盘的一些I/O装置是任选的。
互连件可包含通过各种桥、控制器和/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器包含用于控制通用串行总线(USB)外围设备的USB适配器，和/或用于控制IEEE-1394外围设备的IEEE-1394总线适配器。
存储器可包含以下中的一或多个：只读存储器(ROM)、易失性随机存取存储器(RAM)，和非易失性存储器，例如硬盘驱动器、快闪存储器等。
易失性RAM通常实施为动态RAM(DRAM)，它需要持续供电才能刷新或维持存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光盘驱动器、光盘驱动器(例如，DVD-RAM)或其它类型的存储器系统，这些存储器系统即使在系统断电后也能维持数据。非易失性存储器也可以是随机存取存储器。
非易失性存储器可以是直接耦合到数据处理系统中的其余组件的本地装置。也可以使用远离系统的非易失性存储器，例如通过诸如调制解调器或以太网接口的网络接口耦合到数据处理系统的网络存储装置。
在本公开中，为了简化描述，将一些功能和操作描述为由软件代码执行或由软件代码引起。然而，这样的表达也用于指定功能是由处理器(例如，微处理器)执行代码/指令产生的。
替代地或组合地，这里所描述的功能和操作可以使用具有或不具有软件指令的专用电路系统来实施，例如使用专用集成电路(ASIC)或现场可编程门阵列FPGA。实施例可以使用不具有软件指令的硬接线电路系统实施，或者与软件指令结合来实施。因此，这些技术既不限于硬件电路系统和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。
尽管一个实施例可以在全功能计算机和计算机系统中实施，但是各种实施例能够以各种形式分布为计算产品，并且不论实际上用于实现分布的机器或计算机可读媒体的特定类型如何都能够适用。
所公开的至少一些方面可以至少部分地体现在软件中。也就是说，可以响应于计算机系统或其它数据处理系统的处理器(例如，微处理器)执行包含在存储器(例如，ROM、易失性RAM、非易失性存储器、高速缓存或远程存储装置)中的指令序列，在计算机系统或其它数据处理系统中执行技术。
为实施实施例而执行的例程可以作为操作系统或特定应用、组件、程序、对象、模块或称为“计算机程序”的指令序列的一部分来实施。计算机程序通常包含在计算机的各种存储器和存储装置中在不同时间设置的一或多个指令，所述指令在由计算机中的一或多个处理器读取和执行时使计算机执行执行涉及各个方面的要素所需的操作。
机器可读媒体可用于存储软件和数据，在由数据处理系统(例如，131和/或119)执行时，这些软件和数据使系统执行上文所论述的各种方法(例如，图2的方法和/或图3的方法)。可执行软件和数据可以存储在各种地方，包含例如上文所论述的ROM、易失性RAM、非易失性存储器和/或高速缓存(例如，112、135和/或152)。此软件和/或数据的部分可以存储在这些存储装置中的任何一个中。此外，可以从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分可以在不同时间并在不同通信会话或同一通信会话中从不同的集中式服务器和/或对等网络获得。在执行应用之前，可以完整地获得数据和指令。可替代地，当需要执行时，可以动态地、及时地获得部分数据和指令。因此，不要求数据和指令在特定时刻全部位于机器可读媒体上。
计算机可读媒体的实例包含但不限于非暂时性、可记录和不可记录类型的媒体，例如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、软磁盘和其它可装卸式磁盘、磁盘存储媒体、光学存储媒体(例如，光盘只读存储器(CD ROM)、数字多功能盘(DVD)等)，等等。计算机可读媒体可存储指令。
这些指令还可以在用于电、光、声或其它形式的传播信号的数字和模拟通信链路中体现，例如载波、红外信号、数字信号等。然而，例如载波、红外信号、数字信号等等的传播信号不是有形的机器可读媒体，也不配置成存储指令。
一般来说，机器可读媒体包含以可由机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)存取的形式提供(即，存储和/或传输)信息的任何机制。
在各种实施例中，硬接线电路系统可与软件指令组合使用以实施技术。因此，技术既不限于硬件电路系统和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定源。
以上描述和附图是说明性的，且不应被解释为限制性的。描述了许多具体细节，以提供透彻的理解。然而，在某些情况下，为了避免模糊描述，没有描述众所周知的或常规的细节。对本公开中的一个或某一实施例的引用不一定是对同一实施例的引用；并且这种引用意味着至少一个。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开。显而易见的是，在不背离所附权利要求书所阐述的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被视为说明性的而不是限制性的。

Claims (20)

1.一种方法，其包括：
当车辆处于停车状态时，使用配置于所述车辆中的相机捕获所述车辆的周围环境的图像；
根据所述图像识别从远处接近所述车辆的人员；
至少部分地基于所述图像并使用人工神经网络评估所述人员对所述车辆的威胁级别；以及
响应于所述威胁级别高于阈值，指示所述车辆产生警报。
2.根据权利要求1所述的方法，其中所述警报是通过所述车辆的喇叭或所述车辆的灯或其任何组合产生的。
3.根据权利要求1所述的方法，其中所述警报是使用所述车辆的信息娱乐系统产生的。
4.根据权利要求3所述的方法，其进一步包括：
建立去往远离所述车辆的移动装置的通信信道；
其中所述警报包含从所述移动装置接收且使用所述信息娱乐系统呈现的语音通信。
5.根据权利要求3所述的方法，其中所述警报是通过启动所述车辆产生的。
6.根据权利要求1所述的方法，其进一步包括：
向远离所述车辆的计算装置传输警告，所述警告包含所述图像。
7.根据权利要求1所述的方法，其进一步包括：
捕获接近所述车辆的所述人员的一系列图像；以及
在人工神经网络中使用所述一系列图像将所述人员辨别为与事件所涉及的嫌疑人匹配。
8.根据权利要求7所述的方法，其中所述警报包含关于所述事件的语音评论。
9.根据权利要求7所述的方法，其进一步包括：
当所述人员和所述车辆之间的距离减小时，增加捕获所述人员的图像的速率。
10.根据权利要求9所述的方法，其中在来自所述相机的图像足够用于所述人员的面部辨识之前评估所述威胁级别。
11.根据权利要求9所述的方法，其中所述人工神经网络包含卷积神经网络或脉冲神经网络，或其任何组合。
12.根据权利要求9所述的方法，其进一步包括：
至少部分地基于所述图像，确定所述人员是不是所述车辆的授权用户；
其中至少部分地基于对所述人员是不是所述车辆的所述授权用户的确定来评估所述威胁级别。
13.根据权利要求12所述的方法，其中对所述人员是不是所述车辆的所述授权用户的所述确定进一步基于所述人员接近所述车辆的时间、所述车辆在所述时间的位置和所述授权用户使用所述车辆的历史。
14.一种数据存储装置，其包括：
一或多个存储器组件，其配置成存储数据；
接口，其配置成在车辆处于停车状态时，从所述车辆的相机接收所述车辆的周围环境的图像；
推理引擎，其配置成根据所述图像使用人工神经网络识别从远处接近所述车辆的人员；以及
控制器，其配置成至少部分地基于所述图像评估所述人员对所述车辆的威胁级别，并响应于所述威胁级别高于阈值，使所述车辆产生警报。
15.根据权利要求14所述的数据存储装置，其中所述人工神经网络包含脉冲神经网络。
16.根据权利要求15所述的数据存储装置，其中所述控制器配置成以随着所述人员和车辆之间的距离的减小而增加的速率处理来自所述相机的图像。
17.根据权利要求15所述的数据存储装置，其中所述推理引擎包含配置成比所述控制器更有效地执行矩阵算术计算的神经网络加速器。
18.一种车辆，其包括：
高级驾驶辅助系统ADAS，其具有一或多个相机；以及
计算机系统，其配置成：
当所述车辆处于停车状态时，从所述高级驾驶辅助系统ADAS的相机接收所述车辆的周围环境的图像；
根据所述图像识别从远处接近所述车辆的人员；
至少部分地基于所述图像评估所述人员对所述车辆的威胁级别；以及
响应于所述威胁级别高于阈值，指示所述车辆产生警报。
19.根据权利要求18所述的车辆，其中所述警报包含启动所述车辆、闪烁所述车辆的灯、吹响所述车辆的喇叭，或通过所述车辆的信息娱乐系统播放音频内容，或其任何组合。
20.根据权利要求19所述的车辆，其中所述计算机系统进一步配置成向远离所述车辆的计算装置传输警告，所述警告包含所述图像。
CN202110357816.XA 2020-04-03 2021-04-01 潜在入侵者的智能检测和警告 Pending CN113496204A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/840,246 2020-04-03
US16/840,246 US11433855B2 (en) 2020-04-03 2020-04-03 Intelligent detection and alerting of potential intruders

Publications (1)

Publication Number Publication Date
CN113496204A true CN113496204A (zh) 2021-10-12

Family

ID=77921003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357816.XA Pending CN113496204A (zh) 2020-04-03 2021-04-01 潜在入侵者的智能检测和警告

Country Status (2)

Country Link
US (1) US11433855B2 (zh)
CN (1) CN113496204A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114604199A (zh) * 2022-04-08 2022-06-10 中国第一汽车股份有限公司 一种车辆保护系统及方法
CN114872669A (zh) * 2022-05-31 2022-08-09 中国第一汽车股份有限公司 驻车异常的制动控制方法、装置、车载终端、车辆及介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587428B2 (en) * 2020-03-11 2023-02-21 Johnson Controls Tyco IP Holdings LLP Incident response system
US11093766B1 (en) 2020-04-03 2021-08-17 Micron Technology, Inc. Detect and alert of forgotten items left in a vehicle
US11620895B2 (en) * 2020-08-05 2023-04-04 Allstate Insurance Company Systems and methods for disturbance detection and identification based on disturbance analysis
US11953586B2 (en) * 2020-11-17 2024-04-09 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11760281B2 (en) 2020-11-17 2023-09-19 Ford Global Technologies, Llc Battery-powered vehicle sensors
US11616932B1 (en) * 2020-12-15 2023-03-28 Ambarella International Lp Car security camera triggering mechanism
US11650309B2 (en) * 2021-01-08 2023-05-16 Ford Global Technologies, Llc Low-power vehicle sentinel systems and methods
JP2022136645A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 車両制御装置、及び車両制御方法
US11951937B2 (en) 2021-03-12 2024-04-09 Ford Global Technologies, Llc Vehicle power management
US11912235B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle object detection
US11916420B2 (en) 2021-03-12 2024-02-27 Ford Global Technologies, Llc Vehicle sensor operation
DE102021205189A1 (de) 2021-05-20 2022-11-24 Volkswagen Aktiengesellschaft Verfahren zum Identifizieren einer Person außerhalb eines Kraftfahrzeugs mittels einer Identifizierungsvorrichtung sowie Identifizierungsvorrichtung
US11787290B2 (en) * 2021-08-03 2023-10-17 Ford Global Technologies, Llc Projection on a vehicle window
US20220114255A1 (en) * 2021-12-23 2022-04-14 Intel Corporation Machine learning fraud resiliency using perceptual descriptors
CN114559899B (zh) * 2022-03-02 2023-02-03 深圳市哲思特科技有限公司 车辆周边环境监控方法、系统、电子设备及存储介质
DE102022108840A1 (de) 2022-04-12 2023-10-12 Audi Aktiengesellschaft Kraftfahrzeug und Verfahren zum Bereitstellen eines Alarmsignals für ein Kraftfahrzeug
US20230334966A1 (en) * 2022-04-14 2023-10-19 Iqbal Khan Ullah Intelligent security camera system
US20230368042A1 (en) * 2022-05-10 2023-11-16 Volvo Car Corporation Artificial intelligence enabled vehicle security assessment
WO2023227351A1 (de) * 2022-05-25 2023-11-30 Siemens Mobility GmbH Verfahren zum betreiben eines kamerasystems eines spurgebundenen fahrzeugs und system für ein spurgebundenes fahrzeug unter verwendung künstlicher intelligenz

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US20140218529A1 (en) * 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
CN104464210A (zh) * 2013-09-20 2015-03-25 福特全球技术公司 通知正离开静止的机动车辆的驾驶员仍有人或动物在机动车辆内的方法及装置
US20170076140A1 (en) * 2015-09-14 2017-03-16 Panasonic Intellectual Property Management Co., Ltd. Wearable camera system and method of notifying person
CN107539213A (zh) * 2016-06-28 2018-01-05 福特全球技术公司 检测接近车辆的物理威胁
US20180081357A1 (en) * 2016-09-16 2018-03-22 Ford Global Technologies, Llc Geocoded information aided vehicle warning
US20180079388A1 (en) * 2016-09-16 2018-03-22 Michelle Andrews Vehicle Alert System and Method
CN108337477A (zh) * 2017-01-18 2018-07-27 通用汽车环球科技运作有限责任公司 车辆环境成像系统和方法
CN108549230A (zh) * 2018-04-27 2018-09-18 李德祥 一种基于改进概率神经网络算法的车辆控制系统
US20180272992A1 (en) * 2017-03-24 2018-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for surveillance of a vehicle using camera images
US20180290551A1 (en) * 2017-04-11 2018-10-11 GM Global Technology Operations LLC Vehicle architectures, devices and control algorithms for managing wireless vehicle charging
CN108773340A (zh) * 2018-04-27 2018-11-09 李德祥 一种车辆安全保护系统
US20190220583A1 (en) * 2016-10-03 2019-07-18 Bioconnect Inc. Biometric identification platform
US10507793B1 (en) * 2018-08-17 2019-12-17 Felipe Boris De Moura Partika Alarm, safety device and device for expelling attackers for motor vehicles
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738697B2 (en) 1995-06-07 2004-05-18 Automotive Technologies International Inc. Telematics system for vehicle diagnostics
US7660437B2 (en) 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
US6810309B2 (en) 2002-04-25 2004-10-26 Visteon Global Technologies, Inc. Vehicle personalization via biometric identification
US9123244B2 (en) 2013-03-15 2015-09-01 Denso International America, Inc. Vehicle tracking of personal devices with response system
US9327645B2 (en) 2013-08-28 2016-05-03 Harman International Industries, Incorporated Providing alerts for objects left in a vehicle
US9467825B2 (en) 2014-06-25 2016-10-11 Verizon Patent And Licensing Inc. Alerts based on vehicle and device telematics
US9805580B2 (en) 2015-01-23 2017-10-31 Visteon Global Technologies, Inc. Initiating an alert based on a mobile device being left behind
US9718441B2 (en) 2015-04-29 2017-08-01 International Business Machines Corporation Vehicle and local area security system communications
US9734699B2 (en) 2015-06-05 2017-08-15 GM Global Technology Operations LLC System for providing alerts to vehicle occupants
KR101838967B1 (ko) 2015-10-08 2018-03-15 엘지전자 주식회사 차량용 편의 장치 및 차량
US10346211B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Automated transition from non-neuromorphic to neuromorphic processing
US9852606B1 (en) * 2017-04-10 2017-12-26 Verint Americas Inc System and method for crime investigation
US20190095714A1 (en) 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
US10836353B2 (en) 2018-11-15 2020-11-17 Fotonation Limited Vehicle side view camera system with adjustable field of view
US10810866B2 (en) * 2018-12-19 2020-10-20 Federal Signal Corporation Perimeter breach warning system
DE102018222761A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren zur Authentifizierung eines Fahrzeugnutzers mittels der Bewegungsdaten eines mobilen elektronischen Identifikationsgebers
WO2020185779A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
JP2022527661A (ja) * 2019-04-10 2022-06-02 スコット チャールズ マリンズ、 監視システム

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
US20140218529A1 (en) * 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
CN104464210A (zh) * 2013-09-20 2015-03-25 福特全球技术公司 通知正离开静止的机动车辆的驾驶员仍有人或动物在机动车辆内的方法及装置
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
US20170076140A1 (en) * 2015-09-14 2017-03-16 Panasonic Intellectual Property Management Co., Ltd. Wearable camera system and method of notifying person
CN107539213A (zh) * 2016-06-28 2018-01-05 福特全球技术公司 检测接近车辆的物理威胁
CN107826069A (zh) * 2016-09-16 2018-03-23 福特全球技术公司 地理编码信息辅助车辆警告
US20180079388A1 (en) * 2016-09-16 2018-03-22 Michelle Andrews Vehicle Alert System and Method
US20180081357A1 (en) * 2016-09-16 2018-03-22 Ford Global Technologies, Llc Geocoded information aided vehicle warning
US20190220583A1 (en) * 2016-10-03 2019-07-18 Bioconnect Inc. Biometric identification platform
CN108337477A (zh) * 2017-01-18 2018-07-27 通用汽车环球科技运作有限责任公司 车辆环境成像系统和方法
US20180272992A1 (en) * 2017-03-24 2018-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for surveillance of a vehicle using camera images
US20180290551A1 (en) * 2017-04-11 2018-10-11 GM Global Technology Operations LLC Vehicle architectures, devices and control algorithms for managing wireless vehicle charging
CN108549230A (zh) * 2018-04-27 2018-09-18 李德祥 一种基于改进概率神经网络算法的车辆控制系统
CN108773340A (zh) * 2018-04-27 2018-11-09 李德祥 一种车辆安全保护系统
US10507793B1 (en) * 2018-08-17 2019-12-17 Felipe Boris De Moura Partika Alarm, safety device and device for expelling attackers for motor vehicles

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG XU: "Multi-Modal Description of Public Safety Events Using Surveillance and Social Media", 《IEEE XPLORE》, 24 January 2017 (2017-01-24) *
杨哲: "面向车联网的安全机制与关键技术研究", 《CNKI中国知网》, 15 August 2019 (2019-08-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114604199A (zh) * 2022-04-08 2022-06-10 中国第一汽车股份有限公司 一种车辆保护系统及方法
CN114872669A (zh) * 2022-05-31 2022-08-09 中国第一汽车股份有限公司 驻车异常的制动控制方法、装置、车载终端、车辆及介质

Also Published As

Publication number Publication date
US11433855B2 (en) 2022-09-06
US20210309183A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US11433855B2 (en) Intelligent detection and alerting of potential intruders
US11361552B2 (en) Security operations of parked vehicles
US10993647B2 (en) Drowsiness detection for vehicle control
CN113269952B (zh) 车辆的预测性维护的方法、数据存储装置及车辆
CN109711557B (zh) 一种行车轨迹预测方法、计算机设备及存储介质
US20210309181A1 (en) Intelligent Preparation of Vehicles for Operations based on User Recognition from a Distance
US11748626B2 (en) Storage devices with neural network accelerators for automotive predictive maintenance
US11702001B2 (en) Detect and alert of forgotten items left in a vehicle
US20210053574A1 (en) Monitoring controller area network bus for vehicle control
US20210049444A1 (en) Predictive maintenance of automotive engines
US20210053575A1 (en) Intelligent recording of errant vehicle behaviors
CN112888611A (zh) 用于检测和记录异常车辆事件的系统和方法
CN112396155A (zh) 汽车轮胎的预测性维护
CN113269321A (zh) 数据存储装置的服务质量的优化
CN112406458A (zh) 车辆中的智能气候控制
CN112396157A (zh) 神经网络计算中与数据存储装置通信的系统、方法及设备
CN112446410A (zh) 汽车预测性维护中的神经网络输出的存储和存取
CN113002538A (zh) 自主交通工具中的智能雷达电子控制单元
JP2019214249A (ja) 検知装置、コンピュータプログラム、検知方法及び学習モデル
Soultana et al. Context-awareness in the smart car: study and analysis
KR20190114930A (ko) 이동 로봇 및 이를 이용한 시큐리티 시스템
US11562237B2 (en) Processing of overwhelming stimuli in vehicle data recorders
CN113496206A (zh) 存储器内内容分类和控制
Lim et al. Drowsiness Detection System Through Eye and Mouth Analysis
CN117037091A (zh) 启用人工智能的车辆安全评估

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination