CN111886598A - 快速检测可能与移动的主要对象的轨迹相交的次要对象 - Google Patents

快速检测可能与移动的主要对象的轨迹相交的次要对象 Download PDF

Info

Publication number
CN111886598A
CN111886598A CN201980020593.9A CN201980020593A CN111886598A CN 111886598 A CN111886598 A CN 111886598A CN 201980020593 A CN201980020593 A CN 201980020593A CN 111886598 A CN111886598 A CN 111886598A
Authority
CN
China
Prior art keywords
event
vision sensor
module
pixels
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020593.9A
Other languages
English (en)
Inventor
米夏埃尔·普法伊费尔
约亨·马克思
奥利弗·兰格
克里斯托夫·波施
格扎维埃·拉戈斯
斯皮罗斯·尼古拉迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prophisse Co
Robert Bosch GmbH
Original Assignee
Prophisse Co
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prophisse Co, Robert Bosch GmbH filed Critical Prophisse Co
Publication of CN111886598A publication Critical patent/CN111886598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于检测可能与移动的主要对象(50)的轨迹(51)相交的动态次要对象(55)的系统(1)，所述系统(1)包括具有光敏区域(20)的视觉传感器(2)，所述光敏区域(20)包括基于事件的像素(21)，使得照射到所述视觉传感器(2)的基于事件的像素(21)上的光强度的至少预定百分比的相对变化使得所述视觉传感器(2)发射与该基于事件的像素(21)相关联的事件(21a)，其中，所述系统(1)还包括鉴别器模块(3)，其获取来自所述视觉传感器(2)的事件流(21a)和关于所述主要对象(50)的运动的航向和/或速度的信息(52)作为输入，并且被配置成至少部分地基于所述信息(52)从所述事件流(21a)识别可能由次要对象(55)的运动而不是由所述主要对象(50)的移动引起的事件(21b)。视觉传感器(2)用于所述系统(1)中。一种相应的计算机程序。

Description

快速检测可能与移动的主要对象的轨迹相交的次要对象
本发明涉及一种用于尽可能早地检测可能与移动的主要对象碰撞的次要对象的系统，从而可以发出警告或者可以采取碰撞避免动作。
背景技术
对过去道路交通事故的分析表明，大部分事故的发生仅仅是因为没有足够的时间来采取充分的避免碰撞的行动。如果再多一点时间，在许多情况下不到一秒钟，事故本来是可以避免的。
为了获得这一关键时间，开发了自动紧急制动辅助装置。这些辅助装置需要对移动的车辆可能碰撞的对象进行快速和可靠的检测。应避免主动错误信息，因为车辆的不必要的紧急制动可能会令后面的驾驶员感到意外，并导致追尾碰撞。但如果处理更复杂，则可能花费太长时间。
在利用视觉传感器获取视觉信息时可以节省一些时间。传统的视觉传感器输出图像帧。使用这些传感器可获得的检测速度是每秒帧速率的函数，并且是可用于处理大流量的图像数据的处理带宽的函数。US 2016/096 477 A1建议利用基于事件的感光元件来增强传统视觉传感器。每当照射在这种基于事件的感光元件上的光强度以大于特定相对量改变时，传感器立即发射相应的事件。不需要等待下一图像帧的获取。
发明内容
本发明的发明人已经开发了一种用于检测动态次要对象的系统，所述动态次要对象具有与移动的主要对象的轨迹相交的可能性。例如，移动的主要对象可以是有人驾驶或无人驾驶的陆地或空中交通工具，例如普通客车、至少部分自动驾驶汽车、多用途车辆、铁道车辆、无人驾驶飞行器(“无人机”)、四处漫游以执行工作或监视的机器人、或被任何人员避开的危险区域包围的工业机器人。移动的主要对象还可以例如是人类可佩戴的设备，诸如向其用户递送增强现实的设备。
该系统包括具有光敏区域的视觉传感器，该光敏区域包括基于事件的像素，使得照射到所述视觉传感器的基于事件的像素上的光强度的至少预定百分比的相对变化引起所述视觉传感器发射与该基于事件的像素相关联的事件。
所述系统还包括鉴别器模块，其获得来自所述视觉传感器的事件流以及关于主要对象的运动的航向和/或速度的信息作为输入。至少部分地基于该信息，所述鉴别器模块能够从所述事件流中识别可能由次要对象的运动而不是由主要对象的运动引起的事件。
可以以任何适当的方式获得关于所述主要对象的运动的航向和/或速度的信息。例如，在车辆中，可以经由CAN总线或其它总线获取来自用于其它车辆控制系统的现有加速度传感器的数据。此外，也可以经由这样的总线来获取速度计信息和转向角。在用户可佩戴的设备中，可以使用诸如倾斜传感器、加速度计和GPS的传感器。
发明人已经发现，所述主要对象本身的运动产生大量的事件。如果在所述视觉传感器的视场中存在对比度丰富的静态对象，则借助于所述主要对象的运动，该对象将漂移通过该视场并触发事件流。但是在正常情况下，该静态对象不会与所述主要对象的轨迹相交，即，驾驶员通常不会驾驶撞向这样的对象。因此，由静态对象引起的事件与当前处理的任务(即，检测快速且令人惊讶地进入视场的对象)无关。识别由次要对象的运动引起的那些事件允许安全地忽略由主要对象的运动引起的大量事件。然后，可以将数据传输带宽和处理能力集中到作为更重要事件的所识别事件上。此外，减少了可能导致意外紧急制动事件的错误检测的可能性。
在特别有利的实施例中，所述鉴别器模块还被配置为：响应于确定在所述视觉传感器的视场中存在引起在预定时间帧内发射的多于预定数量的事件的受限区域，将与该区域相关联的事件识别为由次级对象的运动引起的事件。因为所述主要对象的运动导致所述视觉传感器的整个视场移动，所以由该运动创建的事件将或多或少地分散在该视场上。相比较，当对象意外地进入视场时，相应的事件将集中在小的区域中。
可能存在这样的情况，其中具有强烈纹理的静态对象创建具有高事件活动性的区域，但是这样的活动性峰值在给定时段内保持在视场中并且在可预测的轨迹上移动，这将它们与意外进入的对象区分开来。
具体地，在另一特别有利的实施例中，所述鉴别器模块还被配置成响应于确定所述事件流包含与在至少一个特定方向上相干移动的所述视觉传感器的视场中的位置有关的事件序列，其中，该特定方向与所述主要对象的运动不一致，将序列中的事件识别为由次要对象的运动引起的事件。例如，如果有停在路边的对比度丰富的汽车，则通过视场的对应事件的运动将与用作主要对象并且装配有该系统的汽车的运动一致。但是，行人步行通过停放的汽车之间的空间并进入道路，将产生一系列事件，这些事件在与主要对象的运动垂直的方向上移动。
在另一有利的实施例中，所述鉴别器模块还被配置为：将序列中的事件移动的特定方向与所述主要对象的轨迹进行比较，并且仅在所述特定方向和所述主要对象的轨迹相交的情况下才将所述序列中的事件识别为由次要对象的运动引起的事件。例如，如果行人在路边静止时只是挥动他的手臂，或者从道路走到人行道上，则不存在他将与道路上主要对象的轨迹相交的危险。因此，对该行人的检测没有成为紧急制动事件的依据。
在另一特别有利的实施例中，所述系统还包括分类器模块，该分类器模块被配置成从所述鉴别器模块已经识别为由次要对象的运动引起的事件的事件中，和/或从与所述视觉传感器的视场中的已经引起所述识别事件的区域有关的图像信息中，将所述次要对象分类成几个类别中的至少一个。如果所述分类器模块直接处理事件，则对不是由次要对象的运动引起的事件的选择性剔除极大地减少了要处理的事件的数量。如果所述分类器模块处理与事件相关联的区域相关的图像信息，则与整个视场的整个图像的尺寸相比，该区域将较小，因此需要处理的图像数据要少得多。不管怎样，剔除相关性较低的信息会加速分类，也会降低错误分类的风险：最初没有分类的东西不会被错误分类。
在另一特别有利的实施例中，所述分类器模块包括能够使用输入信息的学习样本和期望分类结果的对应学习样本来训练和/或者已经训练的人工智能模块、计算机视觉模块和/或统计分类器模块。例如，所述人工智能模块可以包括神经网络。在所述系统中存在有利的职责分离：所述鉴别器模块单独负责检测以潜在相关的方式移动的“某物”，而所述分类器模块独自负责确定该“某物”是什么。这意味着可以不加修改地使用现有的分类器模块：可以仅由所述鉴别器模块置于所述分类器模块之前。对可训练分类器模块的任何修改可能需要该模块的至少部分再训练。这种训练通常耗时且昂贵的。例如，可以用成千上万的训练图像和对应的期望分类结果来训练用于将图像分类为图像包含哪些对象的分类器模块。而且，所述分类器模块可能已经带有在公共交通中使用的官方证书，并且任何修改都可能使该证书无效。利用目前的职责分离，可以避免这个问题，并且还促进了系统作为一个整体(包括鉴别器模块)的认证。
优选地，所述人工智能模块包括脉冲神经网络，其被配置为直接接收所识别的事件流作为输入。这进一步加速了分类，因为在所述视觉传感器递送下一图像帧之前，事件流可能已经足以进行分类。此外，作为事件序列的次要对象的表示可以是与作为图像信息的表示相比高度压缩的数据集。
如果所述分类器模块将事件作为输入来处理，则其可以例如在特定时间段内处理特定区域中的所有事件。事件可以进行预处理以提供进一步的信息，例如光流，或者可以在给定时间内进行处理以创建平均事件活动性的帧。
如果所述分类器模块将图像信息作为输入来处理，则例如可以将所识别的事件的位置转换成单独的成像传感器的坐标，以获得与事件相对应的图像信息。例如，如果同一视觉传感器包括对传统图像有贡献的图像像素和基于事件的像素的交错混合，则可以保存这种转换，所述基于事件像素在足够大的相对强度变化时立即产生事件。
在驾驶辅助系统中，所述分类器模块的工作通常是确定已经被所述鉴别器模块识别为潜在危险的次要对象的确切性质。这包括识别实际上不危险的次要对象，例如，无关检测，或者当与所述主要对象的轨迹相交时不会造成任何伤害的对象，诸如水、雪、阴影或落叶。
在另一特别有利的实施例中，所述分类器模块通信地耦合到跟踪器模块，该跟踪器模块被配置成确定经分类的次要对象在所述视觉传感器的视场中的位置。一旦对象在所述视觉传感器的视场中，对象就在那里持续给定的时间。代替一次又一次地对对象进行重新检测和分类，使用由先前识别的相关区域内和附近的事件所指示的移动方向来随着时间平滑地跟随对象是经济的。因为事件是在位置改变的时刻产生的，所以仅需要执行小的移位，而不是在新的图像帧中寻找相同的对象。跟踪还可以应用于对象的一部分(例如，行人的腿或手臂)，而不是应用于整个对象。
所述跟踪器模块可以通信地耦合到所述鉴别器模块，并且被配置成将经分类的次要对象的位置反馈给所述鉴别器模块。这允许重新使用通过所述分类器模块获得的信息来微调不太相关事件的初始剔除。例如，如果对象已经被分类为不危险，则可以剔除由该对象的进一步运动引起的所有后续事件。此外，如果相关对象已经被跟踪，则其对所述鉴别器模块就不足为奇了。例如，对象的处理可以以这样的方式被区分优先级，即，可能已经突然地和意外地进入所述视觉传感器的视场的新对象被给予最高优先级，因为这些对象最可能与所述主要对象碰撞。
在另一特别有利的实施例中，所述系统还包括报警装置，该报警装置被配置成响应于检测到次要对象的存在，和/或响应于次要对象被分类到预定类别中，物理地发出对所述系统的用户来说是可听的和/或者可见的警报。
例如，可以发出警报以警告步行的人或车辆的驾驶员注意新的次要对象。在递送增强现实的平视显示器或其他设备中，视场中已经检测到次要对象的区域可以被突出显示。如果次要对象已被分类，则这种分类的结果也可被包括在警报中。
在另一特别有利的实施例中，所述系统还包括缓解模块，该缓解模块通信地耦合到用作主要对象的陆地或空中交通工具的动力系、制动系统和/或转向系统。所述缓解模块被配置为：响应于检测到次要对象的存在，和/或响应于将次要对象分类为预定类别，驱动所述动力系、所述制动系统和/或所述转向系统，以便避免用作主要对象的车辆与次要对象碰撞。
这种对次要对象的检测的自动响应允许将不可避免的人为反应时间排除在循环之外。同时，该响应可以与已经检测到的具体类型的次要对象充分匹配。例如，可能不希望响应于检测到小动物而引起汽车的紧急制动，以便不冒引起追尾碰撞的风险。但是，如果次要对象是人，或者在碰撞时可能对车辆造成相当大的损害的较大的动物，则可以保证紧急制动车辆。类似的考虑也适用于公共运输车辆，例如公共汽车或火车，在这些车辆中，突然制动或规避机动可能会对站立的乘客造成伤害，这必须相对于潜在碰撞的危险进行权衡。
当谈及所述视觉传感器的“视场”以及对象突然“进入”这样的视场时，这些术语不限于光原则上可从其到达所述视觉传感器的区域的物理尺寸。相反，“视场”必须被广泛地解释为基于当前情况和条件所述视觉传感器具有检测事件或对象的机会的区域。例如，在所提到的停放在路边的汽车和行走在这些汽车之间的行人的示例中，被静态对象遮挡的区域在该情况下不形成“视场”的一部分，因为所述视觉传感器不会对该区域中发生的任何事情作出反应。而且，在夜间期间，“视场”可以限于其中可获得足够照明来记录任何事件或对象的那些区域。例如，当在没有安装固定照明的道路上行驶时，“视场”仅限于由车辆前照灯照亮的区域，这又取决于当前使用的是近光还是远光。例如，在车辆最初处于近光的情况下，驾驶员随后在远光不会使迎面而来的驾驶员眩目的情形下切换到远光，远光的增大范围可以导致新对象突然变得可见，从而使它们在该时刻进入视觉传感器的视场。
本发明还提供在上述系统中使用的视觉传感器的第一实施例。该视觉传感器包括被划分为单独像素的光敏区域，其中每个像素耦合到被配置为将光强度和/或光强度的变化转换为电信号的检测器。像素的第一非零部分被配置为基于事件的像素，使得照射到基于事件的像素上的光强度的至少预定百分比的相对变化引起视觉传感器发射与该像素相关联的事件。像素的第二非零部分被配置为图像像素，使得所述视觉传感器提供由所述图像像素的强度值组成的图像。
在从光敏区域的中心部分到所述光敏区域的边界的路径上，基于事件的像素的局部密度与图像像素的局部密度之间的比率增大。
发明人已经发现，这最佳地结合了特别用于在陆地或空中交通中导航交通工具或机器人的两种类型的传感器的优点。在大多数情况下，视场的与所述光敏区域的中心部分相对应的中心区域将包含系统已知的对象。关于这些对象，期望跟踪它们的行为如何改变。由于已知的对象不会造成直接的危险，因此获得准确的信息比以最大可能速度获得信息更为重要。在这方面，有利的是在所述光敏区域的中心部分中具有较高密度的图像像素。另一方面，将会突然且意外地进入视场的新对象很可能在某个点移动穿过所述视场的边界区域。因此，在所述视觉传感器的所述光敏区域的对应边界部分中具有更多的基于事件的像素是有利的。基于事件的像素将允许以最大可能速度至少记录某处某一对象的存在。
因此，最优选地，所述光敏区域的所述中心部分基本上仅包括图像像素，而与所述光敏区域的边界相邻的至少一个边界部分基本上只包括基于事件的像素。
实质上仅具有图像像素的中心部分例如可以邻近实质上只具有基于事件的像素的边界部分，使得在两者之间存在尖锐过渡。但过渡也可能是渐进的。渐进过渡减少了可能由尖锐过渡引起的伪像。在存在图像像素和基于事件像素两者的区域中，两种类型的像素可以交错。
本发明还提供了视觉传感器的第二实施例。在本实施例中，与第一实施例相比，在所述光敏区域中，基于事件的像素与图像像素以恒定比率交错。这带来的优点是，事件的获取和图像的获取都以完全相同的空间分辨率发生。具体地，如果次要对象最初是根据引起它们运动的事件检测到的，但是随后基于来自已经发生这些事件的区域的图像信息来分类，则不需要坐标平移或缩放。
系统的一些或全部功能，特别是鉴别器模块的功能，可以用软件实现。而且，视觉传感器可以具有单独的像素，取决于这些像素如何被驱动，这些单独的像素可以作为基于事件的像素或作为图像像素工作。因此，也可以在软件中实现基于事件的像素和图像像素分布在所述视觉传感器的所述光敏区域中所根据的模式。例如，软件可以作为现有检测系统的附加、更新或升级来销售。因此，本发明还涉及一种具有机器可读指令的计算机程序，所述机器可读指令在由计算机和/或控制单元执行时，向所述计算机、和/或所述控制单元提供由本发明提供的系统或鉴别器模块的功能，或者使所述计算机、和/或所述控制单元以使视觉传感器成为本发明提供的视觉传感器的方式来驱动所述视觉传感器。本发明还涉及具有计算机程序的非暂时性存储介质或下载产品。
在下文中，将结合使用附图对本发明优选实施例的描述更详细地说明进一步改进本发明的进一步措施。
具体实施方式
在附图中：
图1是系统1的示例性实施例；
图2是次要对象55可能与主要对象50的轨迹51相交的示例性情形；
图3示出建立与次要对象55的运动相关的事件21b的序列21c；
图4是视觉传感器2的第一实施例，其在光敏区20的中心部分20a和边界部分20c、20e之间具有尖锐过渡。
图5是图4所示的第一实施例的变型，在中心部分20a与边界部分20c、20e之间具有渐进过渡；
图6是具有以恒定比率交错的基于事件的像素21和图像像素22的视觉传感器2的第二实施例。
图1示出系统1的示例性实施例。测量数据的物理采集由视觉传感器2执行，该视觉传感器2具有光敏区域20，该光敏区域20又被划分为各个像素21。每当照射到基于事件的像素上的光强度改变至少特定百分比时，视觉传感器2就发射相应的事件21a。
鉴别器模块3收集来自视觉传感器2的事件21a，以及关于主要对象50的运动的航向和/或速度的信息52。该信息52可以通过任何适当的手段获得，例如通过专用传感器，或者通过经由传感器所连接的总线系统(例如CAN总线)访问已经存在于交通工具中某处的传感器。
鉴别器模块3识别可能由次要对象55的运动引起的那些事件21b，以及事件21b发生在视觉传感器2的视场23内的区域23a、23b。该信息可选地与对应的图像信息22b组合，由分类器模块4分析，以将次要对象55分类成在此标记为41a-41c的几个类别中的至少一个。例如，类别41a可以包括次要对象55，例如人，无论什么情况，都必须被保护以免与主要对象50冲突。类别41b可以包括次要对象55，例如小动物，只有在不会造成另一事故的情况下，才应由主要对象50采取激烈的避免碰撞行动。类别41c可以包括次要对象55，例如雨或树叶，其可以被主要对象50安全地碾过。
由鉴别器模块3和分类器模块4中的一个或两个生成的关于次要对象55的信息可以被馈送到警报装置7和/或缓解模块8中。可选地，跟踪器模块6可以确定已知次要对象55的位置55a。位置55a可被转发到鉴别器模块3以辅助正在进行的检测，和/或转发到报警装置7和/或者转发到缓解模块8。
图2示出了其中系统1可以比纯基于图像的视觉系统更早地检测到次要对象55的道路场景。汽车用作主要对象50并且在由驾驶员和/或由电子控制单元操纵时遵循轨迹51。轨迹51在停放的汽车91、92和93之间延伸。在停放的汽车91和92之间存在小间隙。在该场景中充当次要对象55的行人刚刚从该小间隙出现。
主要对象50承载具有视场23的视觉传感器2。该视场23被停放的汽车91和92部分地遮挡。每当视觉传感器2的视场23中的某处的光强度改变时，都由视觉传感器2发射事件21a。
次要对象55使得这样的事件21a针对视场23内的位置A、B和C进行发射。除此之外，停放的汽车91和93上的对比度丰富的特征与主要对象50沿其轨迹51的运动一起进一步引起针对位置D和E发射这种事件21a。位置A、B和C位于区域23a＝23b中。
图3示出了如何建立由次要对象55的运动引起的事件21a的序列21c。
图3a示出了当照射在与视场23中的位置A-E相对应的基于事件的像素21上的光强度存在显著变化时发射的事件21a。位置A-E如图2所示。时间t从左到右推移。当光强度增加预定百分比时，发射标记为“+”的事件21a。当光强度降低预定百分比时，发射标记为“－”的事件21a。如在图3a中针对对应于位置D和E的像素21示例性示出的，当存在较大总量的持续光强度改变时，每当光强度的相对改变满足预定百分比时，将发射新事件21a。因此，光强度的一个正在进行的改变可能引起两个或更多个事件21a。
原则上，从每个像素21发射的事件流可在视觉传感器2上独立地获取。这意味着可以同时读出并处理来自不同像素21的同时发生的事件21a。因此，由视觉传感器2作为整体发射的事件21a的流可以包括针对特定时间点的多个事件21a。
在图3b中，与各个像素21有关的事件21a的流已经被组合成从视觉传感器2作为整体发射的事件21a的单个流。在该示例中，不存在同时发生的事件，因此组合的流对于任何给定时间点仅包含一个事件。在图3b中，每个事件都标注了其所属的视场中的位置，还标注了“+”或“－”，这取决于其对应的是光强度的增加还是减少。
通过鉴别器模块3，与位置D和E有关的事件被剔除，所述位置D和E宽范围地间隔开，并且在主对象50沿着轨迹51运动时也在与主要对象50的轨迹51一致的方向上移动。由此确定由次要对象55的运动引起的事件21b的序列21c。
图4示出了可以在系统1中使用的视觉传感器2的第一实施例。视觉传感器2的光敏区域20包括仅包含图像像素22的中心部分20a。该中心区域被两个边界部分20c和20e围绕，这两个边界部分20c和20e分别与光敏区域20的边界20b和20d相邻。边界部分20c和20e仅包含基于事件的像素21。
当由光强度的适当变化触发时，每个单独的基于事件的像素21发射相应的事件21a。相比较，来自所有图像像素22的强度值22a被聚集以形成图像22b。对各个图像像素22的立即随机访问是不可能的，而是必须等待直到视觉传感器2发射其下一个图像帧22b。
图5示出了图4所示的视觉传感器2的第一实施例的变型。不同之处在于，中心部分20a与边界部分20c和20e之间的过渡是渐进的：从仅包含图像像素22的中心部分20a开始，对于每列像素，基于事件的像素21与图像像素22交错的比率朝向基于事件的像素21更多地移位。
图6示出了视觉传感器2的第二实施例。类似于图4和图5所示的第一实施例，存在基于事件的像素21和图像像素22。每个基于事件的像素21在被触发时发射其自身的事件21a，并且那些事件21a是可立即获取的。相比较，必须从视觉传感器2下载完整图像22b，以获得各个图像像素22的强度值。
与第一实施例相比，不同之处在于基于事件的像素21和图像像素22以恒定比率交错。

Claims (16)

1.一种用于检测可能与移动的主要对象(50)的轨迹(51)相交的动态的次要对象(55)的系统(1)，所述系统(1)包括具有光敏区域(20)的视觉传感器(2)，所述光敏区域(20)包括基于事件的像素(21)，使得照射到所述视觉传感器(2)的基于事件的像素(21)上的光强度的至少预定百分比的相对变化引起所述视觉传感器(2)发射与该基于事件的像素(21)相关联的事件(21a)，其特征在于，所述系统(1)还包括鉴别器模块(3)，所述鉴别器模块(3)获取来自所述视觉传感器(2)的事件(21a)的流和关于所述主要对象(50)的运动的航向和/或速度的信息(52)作为输入，并且被配置成至少部分地基于所述信息(52)从所述事件(21a)的流识别可能由次要对象(55)的运动而不是由所述主要对象(50)的运动引起的事件(21b)。
2.根据权利要求1所述的系统(1)，其特征在于，所述鉴别器模块(3)还被配置为：响应于确定在所述视觉传感器(2)的视场(23)中存在受限区域(23a)，所述受限区域(23a)引起在预定时间帧内发射多于预定数量的事件(21a)，将与该区域(23a)相关联的事件(21a)识别为由次要对象(55)的运动引起的事件(21b)。
3.根据权利要求1至2中任一项所述的系统(1)，其特征在于，所述鉴别器模块(3)还被配置为：响应于确定所述事件(21a)的流包含与在至少一个特定方向(21d)上相干移动的所述视觉传感器的所述视场(23)中的位置(A、B、C)有关的事件(21a)的序列(21c)，其中，该特定方向(21d)与所述主要对象(50)的运动不一致，将所述序列(21c)中的所述事件(21a)识别为由次要对象(55)的运动引起的事件(21b)。
4.根据权利要求3所述的系统(1)，其特征在于，所述主要对象(50)的运动是所述主要对象(50)相对于一个或多个静态对象的运动。
5.根据权利要求3或4所述的系统(1)，其特征在于，所述鉴别器模块(3)还被配置为：将所述特定方向(21d)与所述主要对象(50)的所述轨迹(51)进行比较，并且仅当所述特定方向(21d)与所述主要对象(50)的所述轨迹(51)相交时，才将所述序列(21c)中的所述事件(21a)识别为由次要对象(55)的运动引起的事件(21b)。
6.根据权利要求1至5中任一项所述的系统(1)，其特征在于，所述系统(1)还包括分类器模块(4)，该分类器模块(4)被配置为从所述鉴别器模块(3)已经识别为由次要对象(55)的运动引起的事件(21b)中，和/或从与所述视觉传感器(2)的所述视场(23)中的已经引起识别出的事件(21b)的区域(23a，23b)有关的图像信息(22b)中，将所述次要对象(55)分类成几个类别(41a至41c)中的至少一个。
7.根据权利要求6所述的系统(1)，其特征在于，所述分类器模块(4)包括能够使用输入信息的学习样本和期望分类结果(41a至41c)的对应学习样本来训练和/或者已经训练的人工智能模块、计算机视觉模块和/或统计分类器模块。
8.根据权利要求7所述的系统(1)，其特征在于，所述人工智能模块包括脉冲神经网络，所述脉冲神经网络被配置为直接接收识别出的事件(21b)的流作为输入。
9.根据权利要求6至8中任一项所述的系统(1)，其特征在于，所述分类器模块(4)通信地耦合到跟踪器模块(6)，所述跟踪器模块(6)被配置成确定经分类的次要对象(55)在所述视觉传感器(2)的所述视场(23)中的位置(55a)。
10.根据权利要求9所述的系统(1)，其特征在于，所述跟踪器模块(6)通信地耦合到所述鉴别器模块(3)，并且被配置为将经分类的次要对象(55)的所述位置(55a)反馈给所述鉴别器模块(3)。
11.根据权利要求1至10中任一项所述的系统(1)，其特征在于，所述系统(1)还包括报警装置(7)，该报警装置(7)被配置成响应于检测到次要对象(55)的存在，和/或响应于次要对象(55)被分类到预定类别(41a至41c)中，物理地发出对所述系统(1)的用户来说是可听的和/或者可见的警报。
12.根据权利要求1至11中任一项所述的系统(1)，其特征在于，所述系统(1)还包括缓解模块(8)，该缓解模块(8)通信地耦合到用作主要对象(50)的陆地或空中交通工具的动力系、制动系统和/或转向系统，其中，所述缓解模块(8)被配置为：响应于检测到次要对象(55)的存在，和/或响应于次要对象(55)被分类到预定类别(41a至41c)中，驱动所述动力系、所述制动系统和/或所述转向系统，以便避免用作主要对象(50)的交通工具与所述次要对象(55)碰撞。
13.一种视觉传感器(2)，其使用于根据权利要求1至11中任一项所述的系统(1)，所述视觉传感器(2)包括被划分为各个像素(21、22)的光敏区域(20)，其中，每个像素(21、22)耦合到检测器，该检测器被配置为将光强度和/或光强度的变化转换为电信号，其中，所述像素(21、22)的第一非零部分被配置为基于事件的像素(21)，使得照射到基于事件的像素(21)上的光强度的至少预定百分比的相对变化引起所述视觉传感器(2)发射与该像素(21)相关联的事件(21a)，并且所述像素(21、22)的第二非零部分被配置为图像像素(22)，使得所述视觉传感器(2)提供由所述图像像素(22)的强度值(22a)组成的图像(22b)，其特征在于，在从光敏区域(20)的中心部分(20a)到所述光敏区域(20)的边界(20b、20d)的路径上，基于事件的像素(21)的局部密度与图像像素(22)的局部密度之间的比率增大。
14.根据权利要求13所述的视觉传感器(2)，其特征在于，所述光敏区域(20)的所述中心部分(20a)基本上仅包括图像像素(22)，而与所述光敏区域(20)的边界(20b、20d)相邻的至少一个边界部分(20c、20e)基本上只包括基于事件的像素(21)。
15.一种视觉传感器(2)，所述视觉传感器(2)使用于根据权利要求1至11中任一项所述的系统(1)中，所述视觉传感器(2)包括被划分为各个像素(21、22)的光敏区域(20)，其中，每个像素(21、22)耦合到检测器，该检测器被配置为将光强度和/或光强度的变化转换为电信号，其中，所述像素(21、22)的第一非零部分被配置为基于事件的像素(21)，使得照射到基于事件的像素(21)上的光强度的至少预定百分比的相对变化引起所述视觉传感器(2)发射与该像素(21)相关联的事件(21a)，并且所述像素(21、22)的第二非零部分被配置为图像像素(22)，使得所述视觉传感器(2)提供由所述图像像素(22)的强度值(22a)组成的图像(22b)，其特征在于，在所述光敏区域(20)中，基于事件的像素(21)以恒定比率与图像像素(22)交错。
16.一种包括机器可读指令的计算机程序，所述机器可读指令在由计算机和/或控制单元执行时，向所述计算机、和/或所述控制单元提供根据权利要求1至12中任一项所述的系统(1)或鉴别器模块(3)的功能，或者使所述计算机、和/或所述控制单元以视觉传感器(2)成为根据权利要求13至15所述的视觉传感器(2)的方式来驱动所述视觉传感器(2)。
CN201980020593.9A 2018-03-21 2019-03-19 快速检测可能与移动的主要对象的轨迹相交的次要对象 Pending CN111886598A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18163096.3A EP3543898A1 (en) 2018-03-21 2018-03-21 Fast detection of secondary objects that may intersect the trajectory of a moving primary object
EP18163096.3 2018-03-21
PCT/EP2019/056866 WO2019180033A1 (en) 2018-03-21 2019-03-19 Fast detection of secondary objects that may intersect the trajectory of a moving primary object

Publications (1)

Publication Number Publication Date
CN111886598A true CN111886598A (zh) 2020-11-03

Family

ID=61800317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020593.9A Pending CN111886598A (zh) 2018-03-21 2019-03-19 快速检测可能与移动的主要对象的轨迹相交的次要对象

Country Status (6)

Country Link
US (1) US11790663B2 (zh)
EP (1) EP3543898A1 (zh)
JP (1) JP7167177B2 (zh)
KR (1) KR102554746B1 (zh)
CN (1) CN111886598A (zh)
WO (1) WO2019180033A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135796B2 (ja) 2018-11-30 2022-09-13 トヨタ自動車株式会社 サーバ装置、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
DE102019200345A1 (de) * 2019-01-14 2020-07-16 Continental Automotive Gmbh Cloudbasierte Erkennung und Warnung von Gefahrenstellen
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11303811B2 (en) 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11709625B2 (en) * 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
JP2023076773A (ja) * 2020-04-14 2023-06-02 ソニーグループ株式会社 物体認識システム及び電子機器
US11227402B2 (en) 2020-05-29 2022-01-18 Icatch Technology, Inc. Velocity measuring device
US11164019B1 (en) 2020-06-17 2021-11-02 Fotonation Limited Object detection for event cameras
US11423567B2 (en) 2020-06-17 2022-08-23 Fotonation Limited Method and system to determine the location and/or orientation of a head
US11301702B2 (en) 2020-06-17 2022-04-12 Fotonation Limited Object detection for event cameras
US11270137B2 (en) 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
US11776319B2 (en) 2020-07-14 2023-10-03 Fotonation Limited Methods and systems to predict activity in a sequence of images
US11405580B2 (en) 2020-09-09 2022-08-02 Fotonation Limited Event camera hardware
US11768919B2 (en) 2021-01-13 2023-09-26 Fotonation Limited Image processing system
CN114291083B (zh) * 2022-01-12 2023-07-25 未岚大陆(北京)科技有限公司 自移动装置控制方法、装置、系统、介质及自移动装置
US20230234617A1 (en) * 2022-01-21 2023-07-27 Agro Ai, Llc Determining perceptual spatial relevancy of objects and road actors for automated driving

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368712A1 (en) * 2013-06-17 2014-12-18 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
CN104899574A (zh) * 2015-06-18 2015-09-09 东方网力科技股份有限公司 一种进出事件检测方法及系统
KR20160135482A (ko) * 2015-05-18 2016-11-28 한국전자통신연구원 동적 장애물 움직임 예측 장치 및 그 방법
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364771B2 (ja) * 1994-03-09 2003-01-08 本田技研工業株式会社 移動物体検出装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
JP6082802B2 (ja) * 2013-02-27 2017-02-15 日立オートモティブシステムズ株式会社 物体検知装置
US10263967B2 (en) * 2015-09-01 2019-04-16 Quantum Interface, Llc Apparatuses, systems and methods for constructing unique identifiers
US10356337B2 (en) 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
CN105844659B (zh) * 2015-01-14 2019-04-26 北京三星通信技术研究有限公司 运动部件的跟踪方法和装置
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368712A1 (en) * 2013-06-17 2014-12-18 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
KR20160135482A (ko) * 2015-05-18 2016-11-28 한국전자통신연구원 동적 장애물 움직임 예측 장치 및 그 방법
CN104899574A (zh) * 2015-06-18 2015-09-09 东方网力科技股份有限公司 一种进出事件检测方法及系统
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMIN RIGI, ETC.: "A Novel Event-Based Incipient Slip Detection Using Dynamic Active-Pixel Vision Sensor (DAVIS)", SENSORS, vol. 18, no. 2, pages 333 - 349 *
C.POSCH, ETC.: "Retinomorphic Event-Based Vision Sensors:Bioinsoired Cameras With Spiking Output", PROCEEDINGS OF THE IEEE, vol. 102, no. 10, pages 1470 - 1484, XP011559302, DOI: 10.1109/JPROC.2014.2346153 *

Also Published As

Publication number Publication date
JP2021531525A (ja) 2021-11-18
US20210056323A1 (en) 2021-02-25
WO2019180033A1 (en) 2019-09-26
KR102554746B1 (ko) 2023-07-11
EP3543898A1 (en) 2019-09-25
US11790663B2 (en) 2023-10-17
KR20200133787A (ko) 2020-11-30
JP7167177B2 (ja) 2022-11-08

Similar Documents

Publication Publication Date Title
US11790663B2 (en) Fast detection of secondary objects that may intersect the trajectory of a moving primary object
CN108604292B (zh) 对切入车道的车辆的自动预测和利他响应
US10007854B2 (en) Computer vision based driver assistance devices, systems, methods and associated computer executable code
CN107848529B (zh) 用于自动化车辆控制的可变的物体检测焦点场
US20200211395A1 (en) Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle
US9734390B2 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle
US7486802B2 (en) Adaptive template object classification system with a template generator
EP2523174B1 (en) Vision based night-time rear collision warning system, controller, and method of operating the same
US11308717B2 (en) Object detection device and object detection method
DE102004035842B4 (de) Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem
US7480570B2 (en) Feature target selection for countermeasure performance within a vehicle
US20200051435A1 (en) Information processing apparatus, information processing method, program, and movable object
US20050273212A1 (en) Object classification system for a vehicle
US9460343B2 (en) Method and system for proactively recognizing an action of a road user
WO2011068593A2 (en) Cross traffic collision alert system
CN110936953A (zh) 提供周围环境图像的方法和设备与具有这种设备的机动车
KR20210027445A (ko) 차량 주변에서 위험을 주거나 위험에 처한 객체의 신속한 인식 방법
CN104798084A (zh) 用于过滤对象信息的方法和信息系统
EP1854666B1 (en) System for the detection of objects located in an external front-end zone of a vehicle, which is suitable for industrial vehicles
EP3073465A1 (en) Animal detection system for a vehicle
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
CN114375407A (zh) 用于操作转向辅助系统的方法、转向辅助系统和具有该转向辅助系统的机动车辆
DE112019006281T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
KR20200072908A (ko) 차량 및 그 제어 방법
DE112018005039T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobiler körper

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination