CN117528451A - 基于雷达和摄像头融合的无线通信不当行为检测 - Google Patents

基于雷达和摄像头融合的无线通信不当行为检测 Download PDF

Info

Publication number
CN117528451A
CN117528451A CN202210885830.1A CN202210885830A CN117528451A CN 117528451 A CN117528451 A CN 117528451A CN 202210885830 A CN202210885830 A CN 202210885830A CN 117528451 A CN117528451 A CN 117528451A
Authority
CN
China
Prior art keywords
vehicle
bsm
data
communication
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210885830.1A
Other languages
English (en)
Inventor
戚文渊
邢征宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to CN202210885830.1A priority Critical patent/CN117528451A/zh
Priority to US17/823,171 priority patent/US20240034337A1/en
Publication of CN117528451A publication Critical patent/CN117528451A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/021—Means for detecting failure or malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/806—Relative heading
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/55—External transmission of data to or from the vehicle using telemetry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种检测恶意无线V2X通信的方法包括：从自身车辆上的感知系统检索感知数据；根据感知数据确定附近物体的信息；从第一V2X源接收第一基本安全消息(BSM)；以及确定在第一BSM中指示的车辆位置是否对应于自身车辆可见的位置。在所述第一BSM中指示的车辆位置不对应于所述感知自身车辆可见的位置的情况下，该方法还包括从第二V2X源接收第二V2X通信，并确定所述第二V2X通信是否指示车辆在所述第一BSM中指示的车辆位置处。在第二V2X通信未指示车辆在第一BSM中指示的车辆位置处的情况下，将第一BSM数据标记为恶意。

Description

基于雷达和摄像头融合的无线通信不当行为检测
技术领域
本公开涉及确定由车辆接收的车辆无线通信(Vehicle-to-everything,V2X)消息的有效性。
背景技术
V2X通信使车辆驾驶员意识到在他们的车辆附近有类似装备的车辆。通过V2X共享的信息能够提供潜在危险警告，并允许驾驶员采取措施以避免碰撞。为了干扰V2X通信的利益，也可能会传输恶意V2X消息以引起交通拥堵或碰撞。
因此，尽管当前用于V2X通信的系统实现了它们的预期目的，但仍需要一种新的和改进的系统和方法来应对恶意V2X消息。
发明内容
根据几个方面，一种检测恶意无线V2X通信的方法包括：从自身车辆上的感知系统检索感知数据；以及根据感知数据确定关于附近物体的信息。该方法还包括从第一V2X源接收第一基本安全消息(BSM)，并确定在第一BSM中指示的车辆位置是否对应于感知系统可见的位置。在第一BSM中指示的车辆位置不对应于感知系统可见的位置的情况下，该方法包括从不同于第一V2X源的第二V2X源接收第二V2X通信，并确定第二V2X通信是否指示车辆在第一BSM中指示的车辆位置处。在第二V2X通信未指示车辆在第一BSM中指示的车辆位置处的情况下，该方法包括将第一BSM数据标记为恶意。
在本公开的又一方面，第一BSM包括附近车辆的时间、位置、速度和行进方向。
在本公开的另一方面，根据感知数据确定的关于附近物体的信息包括相对于自身车辆位置的距离、速度和的行进方向的估计。
在本公开的另一方面，该方法还包括对第一BSM执行二次检查。
在本公开的另一方面，二次检查包括车辆速度合理性检查。
在本公开的另一方面，二次检查包括消息一致性检查。
在本公开的另一方面，第二V2X源是路边单元。
在本公开的另一方面，在从第二V2X源接收第二V2X通信之前执行传感器自检。
在本公开的另一方面，该方法还包括细化感知系统中传感器的传感器参数。
根据本文提供的描述，进一步的应用领域将变得显而易见。应当理解，描述和具体示例仅用于说明的目的，并不用于限制本公开的范围。
附图说明
本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1是根据示例性实施例的车辆的示意性框图；
图2和图3是根据示例性实施例的自身车辆在其他车辆附近的假设场景的图；
图4是根据示例性实施例的用于V2X不当行为检测的算法的流程图；
图5是示出图4的流程图中的传感器融合组件的细节的图；以及
图6展示了概念验证实验的结果，该实验比较了使用提出的传感器融合算法和仅摄像头算法的不当行为检测。
具体实施方式
以下详细描述本质上仅是示例性的，并不旨在限制本应用或用途。此外，无意受前述技术领域、背景、发明内容或以下具体实施方式中提出的明示或暗示的理论的约束。如本文所用，术语"模块"是指单独的硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备或其组合，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享处理器、专用处理器或处理器组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适组件。
本公开的实施例可以在本文中根据功能和/或逻辑块组件以及各种处理步骤来描述。应当理解，这样的块组件可以由一些配置为执行指定功能的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合多个系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
为简洁起见，与信号处理、数据融合、信号传递、控制和系统(以及系统的各个操作组件)的其他功能方面相关的技术可能不会在本文中详细描述。此外，本文包含的各个图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应该注意，在本公开的实施例中可以存在替代的或附加的功能关系或物理连接。
许多车辆都配备了雷达、摄像头、超声波传感器和激光雷达等传感器，以检测车辆周围的物体，并通知驾驶员它们的存在或采取措施(例如，自动制动)以避免碰撞。车辆对车辆(V2V)无线通信可以通过允许一辆车与附近的其他车辆交换速度、位置和方向的实时信息来提高车辆安全性。如本文所用，术语"自身车辆"是指主体连接车辆和/或自动化车辆，其行为在操作场景中是主要关注的。
即使其他物体挡住视线，V2V也能够允许自身车辆和另一辆连接的车辆在最远约300米的范围内相互进行电子通信，从而提高安全水平。这种"环顾四周"的能力在各种常见的驾驶场景中可能是一项重要的安全特性。V2V能够增强安全性的场景示例包括但不限于：当自身车辆和另一辆车在盲弯或盲道交叉路口相互靠近时：查看位于自身车辆前方的大型卡车，以便知道它是否可以安全通过，提供有关自身车辆前方在交通拥挤中突然刹车的汽车的信息，识别从车道或停车位驶出的汽车，并提醒自身车辆的驾驶员前面的车辆已经完全停下来左转。通过及时通知，自身车辆的驾驶员可以调整车速和/或行进方向以减少碰撞的可能性。
如本文所用，术语车辆无线通信(V2X)包括与自身车辆的多种无线通信形式，包括V2V、车辆到基础设施(V2I)、车辆到行人(V2P)等。
如图1所示，可以被认为是自身车辆的车辆10通常包括底盘12、车身14、前轮和后轮17。车身14布置在底盘12上并且基本上涵盖车辆10的所有组件。车身14和底盘12可以共同形成车架。车轮17各自在车身14的相应拐角附近可旋转地联接到底盘12。
车辆10在所示实施例中被描述为乘用车，但应当理解，也可以使用包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等在内的其他车辆。
如图所示，车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括电机，例如牵引电动机和/或燃料电池推进系统。车辆10还包括电连接到推进系统20的电池(或电池组)21。因此，电池21被配置为存储电能并向推进系统20提供电能。此外，推进系统20可以包括内燃机。传动系统22被配置为根据可选择的速比将动力从推进系统20传送到车轮17。根据各种实施例，传动系统22可包括有级自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮17提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮17的位置。尽管出于说明性目的被描述为包括方向盘，但在本公开范围内设想的一些实施例中，转向系统24也可以不包括方向盘。
传感器系统28包括一个或多个传感器40(即，传感设备)，其感应车辆10的外部环境和/或内部环境的可观察条件。传感器40可包括但不限于雷达、激光雷达、全球定位系统、光学摄像头、热像仪、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器设备42，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征还可以包括内部和/或外部车辆特征，例如但不限于车门、行李箱和车厢特征，例如空气、音乐、照明等(未编号)。传感器系统28包括一个或多个全球定位系统(GPS)收发器40g，其被配置为检测和监测路线数据(即，路线信息)。GPS收发器40g被配置为与GPS通信以定位车辆10在全球中的位置。GPS收发器40g与控制器34进行电子通信。因为传感器系统28向控制器34提供对象数据，所以传感器系统28及其传感器40被认为是信息源(或简称为源)。传感器系统28还包括一个或多个光学摄像头40c。图1中光学摄像头40c的表示仅旨在显示光学摄像头40c的包含物，并且不旨在暗示对光学摄像头40c的位置或视场的任何限制。
数据存储设备32存储用于自动控制车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义地图可以由远程系统预定义并从远程系统中获得(如关于图2进一步详细描述的)。例如，定义地图可以由远程系统组装并传送到车辆10(无线和/或以有线方式)并存储在数据存储设备32中。可以理解，数据存储设备32可以是控制器34的一部分，与控制器34分开，或者同时是控制器34的一部分和单独系统的一部分。
控制器34包括至少一个处理器44和计算机非暂时性可读存储设备或介质46。处理器44可以是定制的或市售的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组的形式)、宏处理器、它们的组合，或者通常是用于执行指令的设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是可用于在处理器44断电时存储各种操作变量的持久或非易失性存储器。计算机可读存储设备或介质46可以使用许多已知的存储器设备来实现，例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或其他能够存储数据的电、磁、光或组合存储设备，该数据中的一些表示可执行指令，由控制器34在控制车辆10时使用。
指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收和处理来自传感器系统28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并基于逻辑、计算、方法和/或算法向致动器系统30产生控制信号以自动控制车辆10的部件。尽管图1中仅示出一个控制器34，但是车辆10的实施例还可以包括多个控制器34，其通过合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制车辆10的特征。
在各个实施例中，控制器34的一个或多个指令体现在控制系统98中。车辆10包括用户界面23，其可以是仪表板中的触摸屏。用户接口23与控制器34进行电子通信并且被配置为接收用户(例如，车辆操作者)的输入。因此，控制器34被配置为通过用户接口23接收来自用户的输入。用户界面23包括被配置为向用户(例如，车辆操作者或乘客)显示信息的显示器。
通信系统36被配置为与其他实体48无线传递信息，例如但不限于其他车辆("V2V"通信)、基础设施("V2I"通信)、远程系统和/或个人设备。在示例性实施例中，通信系统36是被配置为通过使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信进行通信的无线通信系统。然而，诸如专用短程通信(DSRC)信道之类的附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专为汽车使用而设计的单向或双向短程到中程无线通信信道以及一组相应的协议和标准。因此，通信系统36可以包括一个或多个天线和/或收发器，用于接收和/或发射信号，例如协作感测消息(CSM)。
图1包括被配置为控制车辆10的控制系统98的示意性框图。控制系统98的控制器34与制动系统26、推进系统20和传感器系统28进行电子通信。制动系统26包括联接到一个或多个车轮17的一个或多个制动致动器(例如，制动卡钳)。在致动时，制动致动器在一个或多个车轮17上施加制动压力以使车辆10减速。推进系统20包括一个或多个推进致动器，用于控制车辆10的推进。例如，如上所述，推进系统20可以包括内燃发动机，并且在这种情况下，推进致动器可以是特别配置为控制内燃发动机中的气流的节气门。传感器系统28可以包括联接到一个或多个车轮17的一个或多个加速度计(或一个或多个陀螺仪)。加速度计与控制器34进行电子通信并且被配置为测量和监测车辆10的纵向和横向加速度。传感器系统28可以包括一个或多个速度传感器，该速度传感器被配置为测量车辆10的速度(或速率)。速度传感器联接到控制器34并且与一个或多个车轮17进行电子通信。
参考图2，车辆10是在双车道道路50上的交通场景中描绘的自身车辆。两条车道中每一条的交通流向由箭头52和53指示。图2还描绘了在自身车辆10前面的车辆54和56在与自身车辆10相同的方向上行驶。另一车辆58被示为沿与自身车辆10的行进方向相反的方向行进。路边单元(RSU)60显示为与道路50相邻。RSU60包含传感器，例如能够检测在道路50上的附近车辆10、54、56、58的位置、速度和/或行进方向的一个或多个摄像头和/或一个或多个激光雷达传感器。RSU60还包括允许RSU60通过几种可用协议中的任何一种，包括但不限于蜂窝(4G/5G)、专用短程通信(DSRC)和蜂窝车辆到一切(C-V2X)，来广播附近检测到的车辆10、54、56、58的位置、速度和/或行进方向的通信装置。
车辆轮廓62也在图2中用虚线表示。与车辆62相关的虚线表示车辆62实际上并不存在，而是由恶意实体创建的"幽灵"车辆。在Sybil攻击中，恶意实体伪造大量虚假身份以破坏V2X应用程序的正常运行，广播V2X信号以使其看起来好像真实车辆存在于为幽灵车辆62指示的位置处。恶意实体可能会生成与现实世界信息不同的虚假交通信息，并将其广播到V2X网络，以扰乱道路交通或引发碰撞。继续参考图2，自身车辆10前面的车辆54可能挡住自身车辆10的驾驶员对左侧车道的视线。传达(不存在的)幽灵车辆62存在的恶意V2X广播可能会影响自身车辆10的驾驶员的决定，例如是否在车辆54周围启动超车操作。
参考图3，描绘了十字路口的交通场景。自身车辆10正在接近十字路口，而其他车辆54和56则正在十字路口行驶。幽灵车辆62也使用虚线轮廓来描绘。如前面关于图2所述，幽灵车辆62实际上并不存在，而是由于恶意实体广播的V2X通信而被感知为车辆。基于恶意的V2X通信，自身车辆10可能会通过减速和/或急刹车来做出反应，并且可能不会进入交叉路口。结果是交通效率下降，甚至可能导致交通碰撞。如果自身车辆10可以确定幽灵车辆62不是真实的，而是恶意V2X通信的伪造产物，则自身车辆10可以安全地忽略幽灵车辆62并继续正常行驶。
参考图4，呈现了用于V2X不当行为检测的算法100的流程图。算法100的步骤在相对于图1描述的控制器34中执行。如参考图1所讨论的，自身车辆10包括感知系统，该感知系统包括一个或多个光学摄像头40c和/或激光雷达传感器和/或超声波传感器，它们能够识别自身车辆10视线中的附近物体。在步骤102中，自身车辆10从感知系统检索感知数据。来自步骤102的感知数据作为信号154被提供给传感器融合步骤104，以提供附近物体相对于自身车辆10的位置的距离、速度和行进方向的估计，如将参考图5进一步讨论的那样。在步骤106中，从附近车辆接收基本安全消息(BSM)。BSM中包含的信息包括时间、纬度、经度、海拔、速度、行进方向、加速度和附近车辆的大小。在步骤108中，基于步骤104中的传感器融合数据，确定BSM数据中指示的位置是否对应于自身车辆可见的物体。如果在步骤108中基于传感器融合数据确定BSM位置在可见区域中，则算法从步骤108进行到步骤110。
在步骤110中，确定BSM数据中提供的信息是否与可见车辆匹配。如果该信息与可见车辆不匹配，则算法进行到步骤116，在步骤116中将BSM数据标记为恶意。如果在BSM数据中提供的信息与可见车辆匹配，则算法100从步骤110进行到步骤112。在步骤112中，对BSM数据执行二次检查，例如车辆速度合理性检查或消息一致性检查。如果BSM数据在步骤112通过了二次检查，则算法转到步骤114，在步骤114中将BSM数据标记为可信。如果BSM数据在步骤112中的二次检查失败，则算法转到步骤116，在步骤116中将BSM数据标记为恶意。
继续参考图4，如果在步骤108中基于传感器融合数据确定BSM位置不在可见区域中，则算法从步骤108进行到步骤118。在步骤118中，执行传感器自检以验证在步骤102中提供感知数据的摄像头和/或激光雷达传感器和/或超声波传感器是否正确操作。如果步骤118中的传感器自检指示传感器有问题，则算法进行到步骤130。在步骤130中，生成传感器问题的通知以指示需要修复传感器，并且将不当行为系统操作降级为仅使用二次检查，例如车辆速度合理性检查或消息一致性检查。
如果步骤118中的传感器自检指示所有传感器均正确操作，则算法进行到传感器细化步骤120。在传感器细化步骤120中，为在步骤102中提供感知数据的感知传感器对诸如界限、范围和视场之类的传感器校准参数进行细化，并且将细化的参数从步骤120提供给传感器融合步骤104。同时，算法执行步骤122，在步骤122中对BSM数据执行二次检查，例如车速合理性检查或消息一致性检查。如果BSM数据在步骤122中的二次检查失败，则算法转到步骤116，在步骤116中将BSM数据标记为恶意。如果BSM数据在步骤122通过了二次检查，则算法进行到步骤124，在步骤124中将BSM数据与从其他源接收的数据，例如从路边单元60接收的数据进行比较。如果BSM数据可以以高置信度与其他数据相关，则算法进行到步骤126，在步骤126中将BSM数据标记为可信。如果BSM数据不能以高置信度与其他数据相关，则算法进行到步骤128，在步骤128中将BSM数据标记为可信。
参考图5和图4，提供了呈现关于传感器融合步骤104的元件的进一步描述的流程图。如相对于图4所讨论的，在传感器细化步骤120中，针对在步骤102中提供感知数据的感知传感器来细化诸如界限、范围和视野之类的传感器校准参数，以便更好地了解自身车辆10周围的物体。在步骤104中将细化的参数提供给元件140，如果多个传感器不共享相同的捕获时间刻度，则需要进行校准和同步。如果时间不完全同步，则使用卡尔曼滤波器146来计算增益矩阵以供进一步参考。在元件140中进行校准和同步之后，基于深度学习的摄像头识别算法发生在元件142中，雷达或激光雷达点云生成发生在元件144中。关于检测到的对象的结果信息，包括对象类型、行进方向和估计距离，保存在共享存储器152中。共享存储器152可从多个电子控制单元(ECU)访问以允许多个进程访问信息而不增加输入/输出时间和成本。
继续参考图5，在元件148中，在元件144中生成的雷达/激光雷达点云中位于摄像头检测区域之外的点被过滤掉。基于融合数据，在元件150中执行到附近物体的距离估计。来自传感器融合步骤104的结果，包括边界框、对象类型、行进方向、对象特征、距离、估计的GPS坐标和相对速度，作为信号154被提供给确定步骤108，如图4和图5所示。
图6呈现了在交叉路口移动辅助(IMA)场景中评估如本文所公开的不当行为检测(MDB)算法100的结果。为了获得图6中呈现的评估结果，MDB算法100用非理想的摄像头和雷达传感器增强进行了模拟。这能够想到基于摄像头的识别不是100％准确，并且MDB准确度受到基于视觉的识别准确度和雷达准确度的限制。实验结果基于模拟物理传感器的真实特性的硬件在环(HIL)仿真系统。结果呈现在F1分数的图表600中，根据纵轴605上的比例绘制，对于十个单独的实验运行中的每一个，沿横轴610绘制。F1分数定义为准确率和召回率的调和平均值。在计算F1分数时，准确率表示所有被预测为阳性的事物中真正为阳性的百分比，即(真阳性数#/(真阳性数#+假阳性数#))，召回率表示真正阳性的所有内容中被确定为阳性的百分比，即(真阳性数#/(真阳性数#+假阴性数#))。
参考图6，本文公开的MBD算法100的F1分数被绘制为数据系列615，其中MDB检测基于摄像头和雷达数据。出于比较目的，基于没有雷达数据的摄像头数据的算法的F1分数显示为数据系列620。图6中的结果表明，本文公开的MDB算法100产生的F1分数高于仅基线摄像头算法，这表明本文公开的MDB算法100在IMA场景中提供了对Sybil攻击幽灵车辆的出色识别。
本公开的用于检测V2X通信中的不当行为的方法和系统具有几个优点。这些优点包括可能避免因接受幽灵车辆的恶意指示而误以为附近有车辆而导致的交通拥堵或事故。此外，在某些方面，自身车辆还可以提供有关已识别的恶意V2X消息的信息，以使其他车辆受益。
本公开的描述在本质上仅是示例性的，并且不脱离本公开的主旨的变化旨在落入本公开的范围内。这种变化不应被视为背离本公开的精神和范围。

Claims (10)

1.一种检测恶意无线V2X通信的方法，所述方法包括：
从自身车辆上的感知系统检索感知数据；
利用传感器融合工艺从所述感知数据中提取附近物体的信息；
从第一V2X源接收第一基本安全消息(BSM)；
确定所述第一BSM中指示的车辆位置是否对应于所述感知系统可见的位置；
在所述第一BSM中指示的所述车辆位置不对应于所述感知系统可见的位置的情况下，从不同于所述第一V2X源的第二V2X源接收第二V2X通信，并确定所述第二V2X通信是否指示车辆在所述第一BSM中指示的所述车辆位置处；以及
在所述第二V2X通信未指示车辆在所述第一BSM中指示的所述车辆位置处的情况下，将所述第一BSM数据标记为恶意。
2.根据权利要求1所述的方法，其中，所述第一BSM包括附近车辆的时间、位置、速度和行进方向。
3.根据权利要求1所述的方法，其中，根据所述感知数据确定的关于附近物体的所述信息包括相对于自身车辆位置的距离、速度和前进方向的估计。
4.根据权利要求1所述的方法，还包括对所述第一BSM执行二次检查。
5.根据权利要求4所述的方法，其中，所述二次检查包括车辆速度合理性检查。
6.根据权利要求4所述的方法，其中，所述二次检查包括消息一致性检查。
7.根据权利要求1所述的方法，其中，所述第二V2X源是路边单元。
8.根据权利要求1所述的方法，还包括在从所述第二V2X源接收所述第二V2X通信之前执行传感器自检。
9.根据权利要求1所述的方法，还包括细化所述感知系统中的传感器的传感器参数。
10.根据权利要求1所述的方法，其中,所述传感器融合工艺包括通过多个电子控制单元访问共享存储器。
CN202210885830.1A 2022-07-26 2022-07-26 基于雷达和摄像头融合的无线通信不当行为检测 Pending CN117528451A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210885830.1A CN117528451A (zh) 2022-07-26 2022-07-26 基于雷达和摄像头融合的无线通信不当行为检测
US17/823,171 US20240034337A1 (en) 2022-07-26 2022-08-30 Radar and camera fusion based wireless communication misbehavior detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210885830.1A CN117528451A (zh) 2022-07-26 2022-07-26 基于雷达和摄像头融合的无线通信不当行为检测

Publications (1)

Publication Number Publication Date
CN117528451A true CN117528451A (zh) 2024-02-06

Family

ID=89665675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210885830.1A Pending CN117528451A (zh) 2022-07-26 2022-07-26 基于雷达和摄像头融合的无线通信不当行为检测

Country Status (2)

Country Link
US (1) US20240034337A1 (zh)
CN (1) CN117528451A (zh)

Also Published As

Publication number Publication date
US20240034337A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US10984655B2 (en) System and method for driving assistance along a path
CN108025767B (zh) 用于为安全超车提供驾驶辅助的系统和方法
US9922554B2 (en) Driving environment risk determination apparatus and driving environment risk notification apparatus
US8731742B2 (en) Target vehicle movement classification
CN108263382B (zh) 基于目标车辆的驾驶样式的协同自适应巡航控制系统
US9896094B2 (en) Collision avoidance control system and control method
US8330620B2 (en) Method for producing a localized warning of dangerous situations for vehicles
JP5548783B2 (ja) ビークル安全システム用の交差点推定方法
CN108569282B (zh) 用于车辆的辅助驾驶设备和方法
US20140257686A1 (en) Vehicle lane determination
CN108263360B (zh) 紧随场景下用于车辆控制的系统和方法
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
CN108275152B (zh) 车辆系统、控制车辆系统的计算机实施的方法和存储介质
CN109720343B (zh) 车辆控制设备
CN111311947B (zh) 一种网联环境下考虑驾驶人意图的行车风险评估方法和装置
CN111627211B (zh) 确定合作传感器共享物体的接收过程的优先级的方法
CN109501798B (zh) 行驶控制装置、以及行驶控制方法
US20220001899A1 (en) Vehicle control system using reliability of input signal for autonomous vehicle
US11981351B2 (en) Systems and methods for detecting misbehavior behavior based on fusion data at an autonomous driving system
US20230286520A1 (en) Systems and methods for detecting misbehavior behavior at an autonomous driving system
CN117528451A (zh) 基于雷达和摄像头融合的无线通信不当行为检测
CN111746534A (zh) 车辆驾驶辅助系统、包括其的车辆及相应的方法和介质
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20230094320A1 (en) Driving assistance system, driving assistance method, and storage medium
US20230311858A1 (en) Systems and methods for combining detected objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination