CN107539213A - 检测接近车辆的物理威胁 - Google Patents

检测接近车辆的物理威胁 Download PDF

Info

Publication number
CN107539213A
CN107539213A CN201710480263.0A CN201710480263A CN107539213A CN 107539213 A CN107539213 A CN 107539213A CN 201710480263 A CN201710480263 A CN 201710480263A CN 107539213 A CN107539213 A CN 107539213A
Authority
CN
China
Prior art keywords
vehicle
close
instruction
threat
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710480263.0A
Other languages
English (en)
Inventor
弗朗索瓦·沙雷特
斯科特·文森特·迈尔斯
丽莎·史卡利亚
亚历山德鲁·米哈伊·古尔吉安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107539213A publication Critical patent/CN107539213A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/12—Occupant safety arrangements or fittings, e.g. crash pads which protect the occupants against personal attack from the inside or the outside of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel

Abstract

本发明扩展到用于检测接近车辆的物理威胁的方法、系统以及计算机程序产品。车辆上的外部传感器捕捉车辆周围的环境。外部传感器所检测到的接近目标可被馈入到神经网络中以将接近目标识别和/或分类为潜在威胁。跟踪机构(例如，卡尔曼滤波器、粒子滤波器等)可利用时间信息来确定威胁是否正在接近车辆。当检测到接近的威胁时，车辆可启动一个或多个对策来制止该威胁。当车辆包含自主驾驶能力时，对策可包括自动尝试驾驶远离接近的威胁。

Description

检测接近车辆的物理威胁
技术领域
本发明大体涉及车辆乘员安全领域，并且尤其是，涉及检测接近车辆的物理威胁。
背景技术
车辆可减速或者停下以允许车辆乘员(例如，驾驶员或者乘客)安全地进行与车辆操作不相关的其他活动。例如，驾驶员可将车辆开到路边并且使车辆停下来发短信、打电话、检查地图、进行文书工作等。当使车辆停下或者以缓慢的速度移动时，乘员能够在不危及道路上的其他人(例如，其他车辆、行人、骑车人等)的情况下更容易专心于活动。然而，当使车辆停下或者以缓慢的速度移动时(并且即使该车辆不靠近道路)，对于该车辆和/或乘员而言外部危险仍然存在。例如，其他车辆或者人能够带着伤害该车辆和/或其乘员的意图接近该车辆。当乘员正在进行另外的活动时，该乘员的注意力可能集中于其他活动。这样，该乘员不能察觉到接近他或她的车辆的危险或者威胁。
发明内容
根据本发明的一方面，提供一种在车辆中使用的方法，该方法包括：
基于来自安装在车辆外部上的一个或多个传感器的经过滤波的传感器数据来确定对象的路线有可能导致对象靠近于车辆行进；
将经过滤波的传感器数据作为输入而提供到神经网络；
从神经网络接收关于对象的威胁类别；以及
在车舱中表明威胁类别。
根据本发明的一个实施例，接收关于对象的威胁类别包括接收对象对车辆的乘员造成威胁的指示。
根据本发明的一个实施例，接收对象对于车辆的乘员是威胁的指示包括接收武器正在接近车辆的指示。
根据本发明的一个实施例，接收对象对于车辆的乘员是威胁的指示包括接收接近车辆的人戴着遮盖物的指示。
根据本发明的一个实施例，方法进一步包括于车辆处启动对策来应对对象造成的威胁。
根据本发明的一个实施例，接收关于对象的威胁类别包括接收对象对于车辆的乘员不是威胁的指示。
根据本发明的一方面，提供一种在车辆中使用的方法，该方法用于警告车辆乘员威胁正在接近车辆，该方法包括：
确定对象的路线有可能导致对象靠近于车辆行进，包括：
利用安装于车辆的一个或多个传感器来监视接近于车辆的区域中的接近对象；以及
在位于车辆的异构计算平台上对来自一个或多个传感器的数据进行滤波以确定对象具有表明该对象正在接近车辆所占据的空间的速度和方向；
将关于接近对象的经过滤波的数据作为输入而提供到神经网络；
从神经网络接收接近对象表现对车辆乘员的威胁的指示；以及
于车辆处启动对策来应对威胁。
根据本发明的一个实施例，车辆具有多个车门。
根据本发明的一个实施例，车辆为静止的。
根据本发明的一个实施例，利用安装于车辆的一个或多个传感器来监视接近于车辆的区域中的接近对象包括利用安装于车辆的多个传感器来监视该区域，多个传感器包括：至少一个摄像机、至少一个LIDAR传感器以及至少一个基于声音的对象检测器。
根据本发明的一个实施例，在异构计算平台上对来自一个或多个传感器的数据进行滤波包括在异构计算平台上对来自多个传感器的数据进行滤波，异构计算平台包括：位于车辆中的至少一个中央处理器(CPU)、至少一个图形处理器(GPU)以及至少一个现场可编程门阵列(FPGA)。
根据本发明的一个实施例，对来自一个或多个传感器的数据进行滤波包括利用卡尔曼滤波器和粒子滤波器的其中一个或多个来对来自一个或多个传感器的数据进行滤波。
根据本发明的一个实施例，对来自一个或多个传感器的数据进行滤波包括确定接近对象的光流。
根据本发明的一个实施例，从神经网络接收接近对象表现对车辆乘员的威胁的指示包括：接收接近对象为带着武器的人、戴着遮盖物的人以及露出其牙齿的狗的其中之一的指示。
根据本发明的一个实施例，于车辆处启动对策包括启动包含以下所列其中一项或多项的对策：记录接近对象、锁上车辆的车门、在车舱中发出可听到的警告、鸣响车辆的喇叭、闪烁车辆的灯光。
根据本发明的一个实施例，车辆为自主车辆；以及
于车辆处启动对策包括自动尝试操纵自主车辆远离接近对象。
根据本发明的一方面，提供一种车辆，该车辆包括：
一个或多个安装在外部的传感器，该一个或多个安装在外部的传感器用于监视接近于车辆的区域；
一个或多个处理器；
系统存储器，该系统存储器连接至一个或多个处理器，系统存储器存储可由一个或多个处理器执行的指令；
一个或多个处理器配置成执行存储于系统存储器中的指令以对给车辆的乘员带来的物理威胁做出反应，该指令包括如下指令：
确定对象的路线有可能导致对象靠近于车辆行进，包括：
利用一个或多个安装在外部的传感器来监视接近于车辆的区域中的接近对象；以及
对来自一个或多个传感器的数据进行滤波以确定对象具有表明该对象正在接近车辆所占据的空间的速度和方向；
将关于接近对象的经过滤波的数据作为输入而提供到神经网络；
从神经网络接收接近对象表现对车辆乘员的威胁的指示；以及
于车辆处启动对策来应对威胁。
根据本发明的一个实施例，一个或多个安装在外部的传感器包括摄像机、LIDAR传感器、RADAR传感器以及超声传感器的其中一个或多个。
根据本发明的一个实施例，一个或多个处理器配置成执行从神经网络接收接近对象表现对车辆乘员的威胁的指示的指令包括：一个或多个处理器配置成执行接收接近对象为带着武器的人、戴着遮盖物的人或者露出其牙齿的狗的其中之一的指示的指令。
根据本发明的一个实施例，一个或多个处理器配置成执行于车辆启动对策的指令包括：一个或多个处理器配置成执行启动包含以下所列其中一项或多项的对策的指令：记录接近对象、锁上车辆的车门、在车舱中发出可听到的警告、鸣响车辆的喇叭、闪烁车辆的灯光。
附图说明
对于如下描述和附图而言，本发明的具体特征、形态以及优点将变得更好理解，这里：
图1举例说明计算装置的示例框图；
图2举例说明便于检测接近车辆的物理威胁的示例环境；
图3举例说明检测接近车辆的物理威胁的示例方法的流程图；
图4A和图4B举例说明启动对策以对接近威胁做出反应的车辆的示例。
具体实施方式
本发明扩展到用于检测接近车辆的物理威胁的方法、系统以及计算机程序产品。车辆上的外部传感器(例如，360度摄像机)可用来检测各种危险情况。该外部传感器可用于以下情况中：当车辆乘员更容易受到攻击时，像例如当车辆静止或者以缓慢的速度行驶时这样情况。在一方面，摄像机安装在车顶上以更全面地捕捉车辆周围的环境。神经网络可用来检测接近威胁(像例如戴着遮盖物的人、持有武器(刀具或者枪支)的人、露出牙齿的狗等这样的接近威胁)。
更具体地，可利用光流法(optical flow)来检测360度图像中的接近目标。接近目标可被馈入到神经网络中以将接近目标识别和/或分类为潜在的伏击、攻击等。跟踪机构(例如，卡尔曼滤波器(Kalman filter)、粒子滤波器(Particle filter)等)可利用时间信息来确定威胁是否正在接近车辆。
当检测到接近威胁时，车辆可启动一个或多个对策来制止该威胁。对策可包括以下所列的其中一项或多项：记录接近目标、锁上车门、在车舱中发出可听到的警告、鸣响喇叭以及闪烁灯光。当车辆包含自主驾驶能力时，车辆可自动尝试驾驶远离接近威胁。
本发明的形态可在各种各样不同类型的计算装置中实现。图1举例说明计算装置100的示例框图。计算装置100可用来执行各种程序(例如本文中所讨论的那些程序)。计算装置100可起到服务器、客户端或者任何其他计算实体的作用。计算装置100可执行本文中所述的各种通信和数据传输功能并且可执行一个或多个应用程序(例如本文中所述的应用程序)。计算装置100可为很多种计算装置中的任何计算装置(例如移动电话或者其他移动装置、台式电脑、笔记本电脑、服务器计算机、掌上电脑、平板电脑等)。
计算装置100包括全部连接至总线112的一个或多个处理器102、一个或多个存储器104、一个或多个接口106、一个或多个大容量存储装置108、一个或多个输入/输出(I/O)装置110以及显示装置130。处理器102包括执行存储在存储器104和/或大容量存储装置108中的指令的一个或多个处理器或者控制器。处理器102还可包括各种类型的计算机存储介质(例如高速缓冲存储器)。
存储器104包括各种计算机存储介质，该计算机存储介质例如为易失性存储器(例如，随机存取存储器(Random Access Memory，RAM)114)和/或非易失性存储器(例如，只读存储器(Read-Only Memory，ROM)116)。存储器104还可包括可重写ROM(例如闪速存储器)。
大容量存储装置108包括各种计算机存储介质(例如磁带、磁盘、光盘、固态存储器(例如，闪速存储器)等)。如图1中所示，特定的大容量存储装置为硬盘驱动器124。各种驱动器也可包含在大容量存储装置108中以能够实现从各种计算机可读介质读取和/或写入到各种计算机可读介质。大容量存储装置108包括可移除介质126和/或不可移除介质。
I/O装置110包括允许数据和/或其他信息被输入到计算装置100或者从计算装置100检索数据和/或其他信息的各种装置。示例的I/O装置110包括光标控制装置、键盘、小键盘、条形码扫描器、麦克风、监视器或者其他显示装置、扬声器、打印机、网络接口卡、调制解调器、摄像机、透镜、雷达、电荷耦合元件(Charge-Coupled Device，CCD)或者其他图像撷取装置等。
显示装置130包括可将信息显示给计算装置100的一位或多位用户的任何类型的装置。显示装置130的示例包括监视器、显示终端、视频投影装置等。
接口106包括允许计算装置100不但与人类进行交互而且与其他系统、装置或者计算环境进行交互的各种接口。示例的接口106可包括任意数量的不同网络接口120，该网络接口120例如为到个人局域网(Personal Area Network，PAN)、局域网(Local AreaNetwork，LAN)、广域网(Wide Area Network，WAN)、无线网络(例如，近场通信(Near FieldCommunication，NFC)网络、蓝牙(Bluetooth)网络、Wi-Fi(Wireless Fidelity，无线保真技术)网络等)以及互联网(Internet)的接口。其他接口包括用户界面118和外围设备接口122。
总线112允许处理器102、存储器104、接口106、大容量存储装置108以及I/O装置110互相通信，也允许其与连接至总线112的其他装置或者部件进行通信。总线112表示几种类型的总线结构的一种或多种(例如，系统总线、外设部件互连(Peripheral ComponentInterconnect，PCI)总线、IEEE 1394总线、USB(Universal Serial Bus，通用串行总线)总线等)。
图2举例说明便于检测接近车辆的物理威胁的示例环境200。环境200包括车辆201(像例如轿车、卡车、客车或者摩托车这样的车辆)。车辆201可包含驾驶员(未示出)并且可能包含一位或多位其他乘员(未示出)。车辆201可包括多个车门(例如，两个车门或者四个车门)。环境200还包括接近对象221(像例如人、动物、人正在携带的物体等这样的接近对象)。
车辆201包括外部传感器202、滤波器207、神经网络208、显示器209、响应模块211以及车辆部件213。外部传感器202安装在车辆201外部上。外部传感器202包括摄像机203、雷达传感器204以及超声传感器206。外部传感器202还可包括其他类型的传感器(未示出)(像例如声传感器、LIDAR(Light Detection And Ranging，光探测和测距)传感器以及电磁传感器这样的传感器)。外部传感器202可监视在车辆201附近的对象。外部传感器202可输出指示所监视对象的位置和光流(即，方向和速度)的传感器数据。车辆201可由传感器数据来确定对象是否正在接近车辆201。
滤波器207(例如，卡尔曼滤波器、粒子滤波器等)可存取外部传感器202输出的传感器数据。滤波器207可通过保留关于正在接近车辆201的对象的传感器数据并且滤除关于未接近车辆201的对象的传感器数据，来用公式表示经过滤波的传感器数据。关于未接近车辆201的对象(例如，具有不太可能与车辆201相交的路线的对象)的传感器数据可以被忽略。关于接近车辆201的对象的传感器数据可以被发送到神经网络模块208。
神经网络模块208可接收关于接近车辆201的对象的经过滤波的传感器数据。神经网络模块208可处理关于每个接近对象的传感器数据以确定该对象对车辆201的乘员而言是威胁的可能性。神经网络模块208可将每个接近对象分类为威胁对象或者无威胁对象。可供选择地，神经网络模块208可计算每个接近对象的威胁概率。
神经网络模块208可包括根据多层(或者“深度”)模型构建的神经网络。多层神经网络模型可包括输入层、多个隐藏层以及输出层。多层神经网络模型还可包括损失层。为了传感器数据(例如，图像)的分类，传感器数据中的值(例如，像素值)被分配到输入节点，然后通过神经网络的多个隐藏层馈入。多个隐藏层可执行多次非线性变换。在变换结束时，输出节点产生对应于神经网络推断的类别(例如，威胁或者无威胁)的值。
神经网络可被训练为区分期望的类别(像例如无威胁的人、带有遮盖物的人、带有刀具的人、带有枪支的人以及其他潜在威胁这样的类别)。神经网络可被训练为检测和跟踪普通行人，以便确定他们是否正在接近车辆201以及以什么样的速度接近车辆201。神经网络还可被训练为检测是否有多个人正在接近车辆201并且区分威胁和无威胁。
接近对象的对象类别(和/或威胁概率)可呈现在显示器209。即使当接近对象无威胁时，车辆乘员也可期望意识到接近对象。还可将接近对象的对象类别(和/或威胁概率)发送到响应模块211。基于接近对象的类别(和/或威胁概率)，响应模块211可使车辆201以指定的方式做出反应。
例如，当接近对象被分类为威胁和/或接近对象的威胁概率超过阈值时，对策模块212可启动对策来应对接近对象。对策模块212可指示摄像机203记录接近对象。对策模块212还可转变车辆部件213的配置(像例如锁上车辆201的车门、鸣响响车辆201的喇叭、闪烁车辆201的车头灯和尾灯、在车辆201的车舱中发出可听到的警告声、自动拨打911电话等这样的配置)。当车辆201包含自主驾驶能力时，对策模块212可使车辆201驾驶远离接近对象(可能结合其他对策)。
车辆201的部件可通过网络(像例如PAN、LAN、WAN、控制器局域网(ControllerArea Network，CAN)总线甚至互联网这样的网络)(或者为其一部分)彼此相连。因此，车辆201的部件以及任何其他连接的计算机系统及其部件均可创建与消息相关的数据并且通过网络交换与消息相关的数据(例如，近场通信(NFC)净负荷、蓝牙封包、互联网协议(Internet Protocol，IP)数据报以及利用IP数据报的其他高层协议——例如，传输控制协议(Transmission Control Protocol，TCP)、超文本传输协议(Hypertext TransferProtocol，HTTP)、简单邮件传输协议(Simple Mail Transfer Protocol，SMTP)等)。
车辆201可包括具有各种不同类型和数量的处理器的异构计算平台。例如，该异构计算平台可包括至少一个中央处理器(Central Processing Unit，CPU)、至少一个图形处理器(Graphical Processing Unit，GPU)以及至少一个现场可编程门阵列(FieldProgrammable Gate Array，FPGA)。本发明的形态可以跨不同类型和数量的处理器来实现。
图3举例说明检测接近车辆的物理威胁的示例方法300的流程图。将就计算机架构200的部件和数据来描述方法300。
方法300包括确定对象的路线有可能导致该对象靠近于车辆行进(301)。例如，车辆201可确定接近对象221的路线有可能导致接近对象221靠近于车辆201行进。
确定对象的路线有可能导致该对象靠近于车辆行进包括利用安装于车辆的一个或多个传感器来监视接近于车辆的区域中的接近对象(302)。例如，外部传感器202可监视区域231中的接近对象。在一方面，区域231为车辆201周围的360度区域。在监视区域231的同时，外部传感器202可由区域231内的感测对象生成传感器数据222。传感器数据222可包括接近对象221的光流(即，速度和方向)(还有区域231内的任何其他对象的光流)。
确定对象的路线有可能导致该对象靠近于车辆行进包括：在位于车辆的异构计算平台上对来自一个或多个传感器的数据进行滤波以确定该对象具有表明该对象正在接近该车辆所占据的空间的速度和方向(303)。例如，滤波器207可将传感器数据222滤波成经过滤波的传感器数据223。经过滤波的传感器数据223包括关于具有光流(即，速度和方向)的任何对象的传感器数据，该光流表明该对象正在接近车辆201所占据的空间。例如，经过滤波的传感器数据223可包括接近对象221的速度和方向。接近对象221的速度和方向可表明接近对象221的路线有可能与车辆201所占据的空间相交。
方法300包括将关于接近对象的经过滤波的数据作为输入而提供到神经网络(304)。例如，滤波器207可将经过滤波的传感器数据223作为输入而提供到神经网络模块208。神经网络模块208可处理经过滤波的传感器数据223以推断关于接近对象221的对象类别224(例如，威胁或者无威胁)。神经网络模块208还可处理经过滤波的传感器数据223以推断关于接近车辆201的其他对象的对象类别。可将对象类别224发送到显示器209和响应模块211。
方法300包括从神经网络接收关于接近对象的威胁类别(305)。例如，显示器209和响应模块211可接收关于接近对象221的对象类别224。显示器209可将对象类别224呈现给车辆201的乘员以表明：(a)接近对象221正在接近车辆201以及(b)接近对象221是否为威胁。基于对象类别224，响应模块211可发起响应或者可不发起响应。当对象类别224表明接近对象221不是威胁时(例如，接近对象221被分类为无害的行人)，响应模块211可不采取进一步行动。
另一方面，当对象类别224表明接近对象221是威胁时(例如，接近对象221被分类为戴着遮盖物的人和/或持有武器的人)，响应模块211可指示对策模块212启动一个或多个对策来应对该威胁。作为回应，对策模块212可将记录命令227发送到摄像机203。记录命令227指示摄像机203记录接近对象221的接近。对策模块212还可将对策命令226发送到车辆部件213。对策命令226可指示车辆部件213采取一个或多个对策来应对接近对象221所造成的威胁。对策可包括锁上车辆201的车门、鸣响车辆201的喇叭、闪烁车辆201的车头灯和/或尾灯、在车辆201的车舱中发出可听到的警告声、自动拨打911电话等。当车辆201包含自主驾驶能力时，对策模块212可使车辆201驾驶远离接近对象221(可能结合其他对策)。
本发明的形态同样有益于平民和第一响应者。平民和第一响应者均可在其车辆的车舱里面进行与驾驶无关的活动。这些活动可能需要足够的注意力，以致于他们不能够同时进行这些活动并且监视在其车辆附近的接近对象。例如，平民驾驶员可能将车辆开到路边并且停车来检查地图。在检查地图期间，可使驾驶员警惕戴着遮盖物的接近的人。类似地，警察可能停下车来写报告。在写报告时，可使警察警惕带着武器的接近的人。
图4A和图4B举例说明启动对策以对接近威胁做出反应的车辆401的示例。如图4A中所示，人411正在接近车辆401。摄像机406(360度摄像机)可捕捉人411的图像。车辆401内的神经网络可处理该图像以将人411分类为威胁。转到图4B，响应于人411被分类为威胁，车辆401可启动车门锁403并且闪烁车头灯402和尾灯404。
在一方面，一个或多个处理器配置成执行指令(例如，计算机可读指令、计算机可执行指令等)以执行多个所述操作的任何操作。该一个或多个处理器可从系统存储器获取信息和/或将信息存储于系统存储器中。该一个或多个处理器可将信息在不同格式(像例如传感器数据、经过滤波的传感器数据、对象类别、对策命令等这些)之间进行转换。
系统存储器可连接至该一个或多个处理器并且可存储由该一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。该系统存储器还可配置成存储由所述部件生成的多种其他类型的数据(像例如传感器数据、经过滤波的传感器数据、对象类别、对策命令等这些数据)中的任何数据。
在以上公开中，已参考构成本发明一部分的附图，并且在附图中通过举例说明的方式示出了可实践本发明的具体实施方式。应该理解的是，可利用其他实施方式，并且在不脱离本发明的范围的情况下可做出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所述的实施例可包括特定特征、结构或者特点，但是每个实施例可不必包括该特定特征、结构或者特点。而且，这种措词未必指的是相同的实施例。进一步地，当与实施例有关地描述特定特征、结构或者特点时，主张的是，不论是否做出明确的描述，影响与其他实施例有关的该特征、结构或者特点是在本领域技术人员的认知内。
本文中所公开的系统、装置以及方法的实施方式可包括或者利用包括计算机硬件的专用或者通用计算机，比如，像本文中所讨论的，该计算机硬件为例如一个或多个处理器和系统存储器。本发明范围内的实施方式还可包括用于携带或者存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。该计算机可读介质可为能够由通用或者专用计算机系统来存取的任何可用的介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质为传输介质。因此，通过举例并且不受限制的方式，本发明的实施方式可包括至少两种明显不同类型的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、光盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、固态驱动器(Solid State Drive，“SSD”)(例如，基于随机存取存储器)、闪速存储器、相变存储器(Phase-Change Memory，“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或者其他磁性存储装置，或者能够用来存储计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取的任何其他介质。
本文中所公开的装置、系统以及方法的实施方式可通过计算机网络进行通信。“网络”定义为能够实现电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输的一条或多条数据链路。当通过网络或者另外的通信连接(硬连线、无线或者硬连线或无线的结合)向计算机传递或者提供信息时，该计算机将该连接适当地视为传输介质。传输介质可包括网络和/或数据链路，其能够用来携带计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取。以上所述的组合也应该包含在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器执行时使通用计算机、专用计算机或者专用处理装置执行某个功能或者功能组的指令和数据。计算机可执行指令可为例如二进制数、中间格式指令(例如汇编语言)乃至源代码。尽管以特定于结构特征和/或方法动作的语言描述了本发明的主题，但是应该理解的是，所附权利要求中限定的主题未必受限于上文描述的所述特征或者动作。相反，所述特征和动作被公开为实施权利要求的示例形式。
本领域的技术人员将领会的是，可在具有多种计算机系统配置的网络计算环境中实践本发明，该计算机系统配置包括内置式或者其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或者可编程的消费电子产品、网络个人计算机(Personal Computer，PC)、小型计算机、大型计算机、移动电话、个人数字助理(Personal Digital Assistant，PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。还可在分布式系统环境中实践本发明，在该分布式系统环境中，经由网络(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)连接起来的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储装置中。
进一步地，在适当的情况下，本文中所述的功能可在硬件、软件、固件、数字部件或者模拟部件的一个或多个中执行。例如，一个或多个专用集成电路(application specificintegrated circuit，ASIC)可编程为实现本文中所述的一个或多个系统和程序。某些术语在说明书和权利要求书中始终用来指特定的系统部件。如本领域的技术人员将领会的，可用不同的名称指称部件。本文并非意在区分名称不同但功能相同的部件。
应该注意的是，上文所讨论的传感器实施例可包括用来执行其至少一部分功能的计算机硬件、软件、固件或其任意组合。例如，传感器可包括配置成在一个或多个处理器中执行的计算机代码，并且可包括由该计算机代码控制的硬件逻辑/电气电路。本文中提供这些示例装置的目的是为了举例说明，而非意在做出限制。如相关技术领域的技术人员将已知的，本发明的实施例可在更多类型的装置中实现。
本发明的至少一些实施例是针对包括存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时，这种软件使装置像本文中描述的那样运行。
虽然上文已描述了本发明的各种实施例，但是应该理解的是，这些实施例只是通过示例的方式来呈现，而并非是限制性的。对相关技术领域的技术人员而言，将显而易见的是，在不脱离本发明的精神和范围的情况下，能够对本发明做出各种形式和细节上的改变。因此，本发明的广度和范围不应该受到上述任何示范性实施例的限制，而是应该只根据如下权利要求及其等同范围来限定。呈现前文的描述是为了阐述和说明。其并非意在穷举或者将本发明限制成所公开的确切形式。根据上文的教导可做出很多修改和变化。进一步地，应该注意的是，可通过期望用来形成本发明额外的混合实施方式的任何组合来使用任何或者所有前述替代实施方式。

Claims (15)

1.一种在车辆中使用的方法，所述方法包括：
基于来自安装在所述车辆外部上的一个或多个传感器的经过滤波的传感器数据来确定对象的路线有可能导致所述对象靠近于所述车辆行进；
将所述经过滤波的传感器数据作为输入而提供到神经网络；
从所述神经网络接收关于所述对象的威胁类别；以及
在车舱中表明所述威胁类别。
2.根据权利要求1所述的方法，其中接收关于所述对象的威胁类别包括接收所述对象对所述车辆的乘员造成威胁的指示。
3.根据权利要求2所述的方法，其中接收所述对象对于所述车辆的乘员是威胁的指示包括下列步骤的其中之一：接收武器正在接近所述车辆的指示或者接收接近所述车辆的人戴着遮盖物的指示。
4.根据权利要求2所述的方法，进一步包括于所述车辆处启动对策来应对所述对象造成的所述威胁。
5.根据权利要求1所述的方法，其中接收关于所述对象的威胁类别包括接收所述对象对于所述车辆的乘员不是威胁的指示。
6.一种在车辆中使用的方法，所述方法用于警告车辆乘员威胁正在接近所述车辆，所述方法包括：
确定对象的路线有可能导致所述对象靠近于所述车辆行进，包括：
利用安装于所述车辆的一个或多个传感器来监视接近于所述车辆的区域中的接近对象；以及
在位于所述车辆的异构计算平台上对来自所述一个或多个传感器的数据进行滤波以确定所述对象具有表明所述对象正在接近所述车辆所占据的空间的速度和方向；
将关于所述接近对象的经过滤波的数据作为输入而提供到神经网络；
从所述神经网络接收所述接近对象表现对所述车辆乘员的威胁的指示；以及
于所述车辆处启动对策来应对所述威胁。
7.根据权利要求6所述的方法，其中利用安装于所述车辆的一个或多个传感器来监视接近于所述车辆的区域中的接近对象包括利用安装于所述车辆的多个传感器来监视所述区域，所述多个传感器包括：至少一个摄像机、至少一个LIDAR传感器以及至少一个基于声音的对象检测器。
8.根据权利要求6所述的方法，其中在异构计算平台上对来自所述一个或多个传感器的数据进行滤波包括在所述异构计算平台上对来自所述多个传感器的数据进行滤波，所述异构计算平台包括：位于所述车辆中的至少一个中央处理器(CPU)、至少一个图形处理器(GPU)以及至少一个现场可编程门阵列(FPGA)。
9.根据权利要求6所述的方法，其中对来自所述一个或多个传感器的数据进行滤波包括利用卡尔曼滤波器和粒子滤波器的其中一个或多个来对来自所述一个或多个传感器的数据进行滤波。
10.根据权利要求6所述的方法，其中从所述神经网络接收所述接近对象表现对所述车辆乘员的威胁的指示包括：接收所述接近对象为带着武器的人、戴着遮盖物的人以及露出其牙齿的狗的其中之一的指示。
11.根据权利要求6所述的方法，其中于所述车辆处启动对策包括启动包含以下所列其中一项或多项的对策：记录所述接近对象、锁上所述车辆的车门、在车舱中发出可听到的警告、鸣响所述车辆的喇叭、闪烁所述车辆的灯光。
12.根据权利要求6所述的方法，其中所述车辆为自主车辆；以及
其中于所述车辆处启动对策包括自动尝试操纵所述自主车辆远离所述接近对象。
13.一种车辆，所述车辆包括：
一个或多个安装在外部的传感器，所述一个或多个安装在外部的传感器用于监视接近于所述车辆的区域；
一个或多个处理器；
系统存储器，所述系统存储器连接至一个或多个处理器，所述系统存储器存储可由所述一个或多个处理器执行的指令；
所述一个或多个处理器执行存储于所述系统存储器中的所述指令以对给所述车辆的乘员带来的物理威胁做出反应，所述指令包括如下指令：
确定对象的路线有可能导致所述对象靠近于所述车辆行进，包括：
利用所述一个或多个安装在外部的传感器来监视接近于所述车辆的所述区域中的接近对象；以及
对来自所述一个或多个传感器的数据进行滤波以确定所述对象具有表明所述对象正在接近所述车辆所占据的空间的速度和方向；
将关于所述接近对象的经过滤波的数据作为输入而提供到神经网络；
从所述神经网络接收所述接近对象表现对所述车辆乘员的威胁的指示；以及
于所述车辆处启动对策来应对所述威胁。
14.根据权利要求13所述的车辆，其中所述一个或多个处理器执行从所述神经网络接收所述接近对象表现对所述车辆乘员的威胁的指示的所述指令包括：所述一个或多个处理器执行接收所述接近对象为带着武器的人、戴着遮盖物的人或者露出其牙齿的狗的其中之一的指示的所述指令。
15.根据权利要求13所述的车辆，其中所述一个或多个处理器执行于所述车辆处启动对策的所述指令包括：所述一个或多个处理器执行启动包含以下所列其中一项或多项的对策的所述指令：记录所述接近对象、锁上所述车辆的车门、在车舱中发出可听到的警告、鸣响所述车辆的喇叭、闪烁所述车辆的灯光。
CN201710480263.0A 2016-06-28 2017-06-22 检测接近车辆的物理威胁 Pending CN107539213A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/195,827 2016-06-28
US15/195,827 US10139827B2 (en) 2016-06-28 2016-06-28 Detecting physical threats approaching a vehicle

Publications (1)

Publication Number Publication Date
CN107539213A true CN107539213A (zh) 2018-01-05

Family

ID=60579596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710480263.0A Pending CN107539213A (zh) 2016-06-28 2017-06-22 检测接近车辆的物理威胁

Country Status (5)

Country Link
US (1) US10139827B2 (zh)
CN (1) CN107539213A (zh)
DE (1) DE102017114122A1 (zh)
MX (1) MX2017008592A (zh)
RU (1) RU2689902C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110758320A (zh) * 2019-10-23 2020-02-07 上海能塔智能科技有限公司 自助试驾的防遗留处理方法、装置、电子设备与存储介质
CN113496204A (zh) * 2020-04-03 2021-10-12 美光科技公司 潜在入侵者的智能检测和警告
CN115249400A (zh) * 2021-04-28 2022-10-28 通用汽车环球科技运作有限责任公司 用于主动入侵检测的非接触式警报系统

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US11851041B1 (en) 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10486708B1 (en) 2016-04-11 2019-11-26 State Farm Mutual Automobile Insurance Company System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US10571283B1 (en) 2016-04-11 2020-02-25 State Farm Mutual Automobile Insurance Company System for reducing vehicle collisions based on an automated segmented assessment of a collision risk
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10233679B1 (en) 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US10259383B1 (en) * 2016-12-09 2019-04-16 Ambarella, Inc. Rear collision alert system
US10053088B1 (en) 2017-02-21 2018-08-21 Zoox, Inc. Occupant aware braking system
US20180357887A1 (en) * 2017-06-08 2018-12-13 Guardian Band, Inc. Wearable personal safety devices and methods of operating the same
US20190023207A1 (en) * 2017-07-18 2019-01-24 Aptiv Technologies Limited Safe-exit system for safety protection of a passenger exiting or entering an automated vehicle
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
CN108469815A (zh) * 2018-02-27 2018-08-31 重庆嵩岳贸易服务有限公司 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法
US20180215377A1 (en) * 2018-03-29 2018-08-02 GM Global Technology Operations LLC Bicycle and motorcycle protection behaviors
CN108545021A (zh) * 2018-04-17 2018-09-18 济南浪潮高新科技投资发展有限公司 一种识别特殊目标的辅助驾驶方法及系统
EP3561786B1 (en) 2018-04-24 2022-10-26 Dr. Ing. h.c. F. Porsche AG Method and device for operating a vehicle
US11050933B2 (en) 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US10864910B2 (en) * 2018-05-16 2020-12-15 GM Global Technology Operations LLC Automated driving systems and control logic using sensor fusion for intelligent vehicle control
US11176383B2 (en) * 2018-06-15 2021-11-16 American International Group, Inc. Hazard detection through computer vision
JP7043030B2 (ja) * 2018-08-01 2022-03-29 オムロン株式会社 光電センサ
JP7119839B2 (ja) * 2018-09-26 2022-08-17 トヨタ自動車株式会社 物体検出装置、物体検出方法及び車両制御装置
DE102018222001B4 (de) 2018-12-18 2024-03-28 Audi Ag Verfahren zum Beurteilen einer Beförderungssituation bei einer angebotenen Beförderungsfahrt, sowie ein elektronisches Überprüfungssystem
US10810866B2 (en) * 2018-12-19 2020-10-20 Federal Signal Corporation Perimeter breach warning system
DE102018222683A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
JP7180364B2 (ja) * 2018-12-21 2022-11-30 トヨタ自動車株式会社 車両制御装置、車両、及び車両制御方法
US11099266B2 (en) 2019-01-11 2021-08-24 International Business Machines Corporation Trajectory based threat alerting with friendly device augmentation
DE102019105340A1 (de) * 2019-02-09 2020-08-13 Elmos Semiconductor Aktiengesellschaft Verfahren für ein Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit Hilfe eines Deep-Learning Verfahrens
DE102019203345A1 (de) * 2019-03-12 2020-09-17 Robert Bosch Gmbh Verfahren zur Überwachung des Umfelds eines Fahrzeugs
GB2582904B (en) * 2019-03-26 2021-04-14 Atsr Ltd Method and apparatus for controlling access to a vehicle
US11226624B2 (en) 2019-04-11 2022-01-18 Motorola Solutions, Inc. System and method for enabling a 360-degree threat detection sensor system to monitor an area of interest surrounding a vehicle
US11002827B2 (en) 2019-05-21 2021-05-11 Motorola Solutions, Inc. System and method for collaborating between vehicular 360 degree threat detection appliances
WO2021081371A1 (en) * 2019-10-23 2021-04-29 Continental Automotive Systems, Inc. Method and system to protect a rider from threatening objects approaching a motorbike or bicycle
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
US11494865B2 (en) * 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
WO2022174075A1 (en) * 2021-02-12 2022-08-18 Retinus Llc Systems and methods for computer vision based detection and alerting
US11919479B2 (en) 2021-05-18 2024-03-05 Ford Global Technologies, Llc Systems and methods for providing security to a vehicle
US11398149B1 (en) 2021-06-28 2022-07-26 Arity International Limited Crosswalk detection using high-frequency transmitters

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046553A1 (en) * 2003-08-27 2005-03-03 Omega Patents, L.L.C. Vehicle security device including pre-warn indicator and related methods
US20050090955A1 (en) * 2003-10-27 2005-04-28 Engelman Gerald H. Threat level identification and quantifying system
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
JP2006321357A (ja) * 2005-05-19 2006-11-30 Auto Network Gijutsu Kenkyusho:Kk 車両用監視装置
US20080144944A1 (en) * 1992-05-05 2008-06-19 Automotive Technologies International, Inc. Neural Network Systems for Vehicles
US20090010495A1 (en) * 2004-07-26 2009-01-08 Automotive Systems Laboratory, Inc. Vulnerable Road User Protection System
CN103338974A (zh) * 2010-11-24 2013-10-02 Bcs商业咨询服务私人有限公司 用于车辆的危险警告系统
CN103454639A (zh) * 2012-05-31 2013-12-18 现代自动车株式会社 用于检测车辆周围的移动物体的设备和方法
US9047768B1 (en) * 2010-12-08 2015-06-02 COPsync, Inc. Method, system and computer program product for law enforcement
CN104933836A (zh) * 2014-03-21 2015-09-23 现代自动车株式会社 用于监控车辆周围安全性的系统和方法
CN105292036A (zh) * 2014-05-30 2016-02-03 福特全球技术公司 边界检测系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US8233704B2 (en) * 2007-06-13 2012-07-31 Sri International Exemplar-based heterogeneous compositional method for object classification
US8175333B2 (en) 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8036425B2 (en) 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
FR2947657B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
US20110134245A1 (en) 2009-12-07 2011-06-09 Irvine Sensors Corporation Compact intelligent surveillance system comprising intent recognition
US20160129883A1 (en) * 2011-04-22 2016-05-12 Angel A. Penilla Contact detect feature of a vehicle and notifications to enable live views of vehicle
CN103946907A (zh) 2011-11-25 2014-07-23 本田技研工业株式会社 车辆周围监视装置
US20140309934A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic Alert Sent to User Based on Host Location Information
JP6205640B2 (ja) 2012-07-30 2017-10-04 市光工業株式会社 車両用警告装置
US9014905B1 (en) * 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144944A1 (en) * 1992-05-05 2008-06-19 Automotive Technologies International, Inc. Neural Network Systems for Vehicles
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
US20050046553A1 (en) * 2003-08-27 2005-03-03 Omega Patents, L.L.C. Vehicle security device including pre-warn indicator and related methods
US20050090955A1 (en) * 2003-10-27 2005-04-28 Engelman Gerald H. Threat level identification and quantifying system
US20090010495A1 (en) * 2004-07-26 2009-01-08 Automotive Systems Laboratory, Inc. Vulnerable Road User Protection System
JP2006321357A (ja) * 2005-05-19 2006-11-30 Auto Network Gijutsu Kenkyusho:Kk 車両用監視装置
CN103338974A (zh) * 2010-11-24 2013-10-02 Bcs商业咨询服务私人有限公司 用于车辆的危险警告系统
US9047768B1 (en) * 2010-12-08 2015-06-02 COPsync, Inc. Method, system and computer program product for law enforcement
CN103454639A (zh) * 2012-05-31 2013-12-18 现代自动车株式会社 用于检测车辆周围的移动物体的设备和方法
CN104933836A (zh) * 2014-03-21 2015-09-23 现代自动车株式会社 用于监控车辆周围安全性的系统和方法
CN105292036A (zh) * 2014-05-30 2016-02-03 福特全球技术公司 边界检测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110758320A (zh) * 2019-10-23 2020-02-07 上海能塔智能科技有限公司 自助试驾的防遗留处理方法、装置、电子设备与存储介质
CN110758320B (zh) * 2019-10-23 2021-02-23 上海能塔智能科技有限公司 自助试驾的防遗留处理方法、装置、电子设备与存储介质
CN113496204A (zh) * 2020-04-03 2021-10-12 美光科技公司 潜在入侵者的智能检测和警告
CN115249400A (zh) * 2021-04-28 2022-10-28 通用汽车环球科技运作有限责任公司 用于主动入侵检测的非接触式警报系统

Also Published As

Publication number Publication date
RU2017121309A (ru) 2018-12-19
US10139827B2 (en) 2018-11-27
RU2017121309A3 (zh) 2019-01-30
MX2017008592A (es) 2018-09-10
DE102017114122A1 (de) 2017-12-28
RU2689902C2 (ru) 2019-05-29
US20170371339A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
CN107539213A (zh) 检测接近车辆的物理威胁
CN107539214A (zh) 检测打开车辆车门的预期中的危险
US10089879B2 (en) Boundary detection system
JP7420169B2 (ja) 監視システム、監視方法及びプログラム
CN108068819A (zh) 检测和响应道路上的紧急车辆
KR102205240B1 (ko) 예상치 못한 임펄스 변화 충돌 검출기
US11758358B2 (en) Characterizing a vehicle collision
CN108216123A (zh) 自主校车
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
JP6491601B2 (ja) 車両内移動デバイス管理
KR102318027B1 (ko) 자율 주행을 위한 비전-기반 샘플-효율적 강화 학습 프레임워크
US20190354771A1 (en) Networks Of Sensors Collaboratively Chronicling Events Of Interest
CN113052098B (zh) 车辆防刮预警方法、相关装置及计算机存储介质
CN115004269A (zh) 监视装置、监视方法及程序
CN112818839A (zh) 驾驶员违章行为识别方法、装置、设备及介质
CN108082042A (zh) 钻车缝的摩托车的检测
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals
Chen Adaptive Safety and Cyber Security for Connected and Automated Vehicle System
Cimino et al. Driver Distraction Detection on Edge Devices via Explainable Artificial Intelligence
CN117774959A (zh) 轻量的交通工具中的危急场景提取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination