CN115221937A - 传感器信息融合方法和设备以及记录介质 - Google Patents

传感器信息融合方法和设备以及记录介质 Download PDF

Info

Publication number
CN115221937A
CN115221937A CN202210395062.1A CN202210395062A CN115221937A CN 115221937 A CN115221937 A CN 115221937A CN 202210395062 A CN202210395062 A CN 202210395062A CN 115221937 A CN115221937 A CN 115221937A
Authority
CN
China
Prior art keywords
information
sensor fusion
host vehicle
fusion information
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210395062.1A
Other languages
English (en)
Inventor
李祐泳
曹秀旼
金秀珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN115221937A publication Critical patent/CN115221937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及传感器信息融合方法和设备以及记录介质。实施例的传感器信息融合方法包括：由主车辆估计从相邻车辆接收的共享传感器融合信息的可靠性，共享传感器融合信息由相邻车辆生成；并且基于估计的可靠性，使用共享传感器融合信息和由主车辆生成的主车辆传感器融合信息生成位于主车辆或相邻车辆附近的对象的融合轨迹信息。

Description

传感器信息融合方法和设备以及记录介质
技术领域
实施例涉及用于融合传感器信息的方法和设备以及存储用于执行该方法的程序的记录介质。
背景技术
传感器融合技术用于准确的车辆位置、精确定位技术、数字地图技术、用于检查驾驶员的驾驶状态的高级驾驶员辅助系统(ADAS)等。
传感器融合技术是用于融合由安装在车辆中的多个传感器，例如，前置无线电探测与测距(RaDAR)传感器、前置摄像机、以及横向RaDAR传感器，所感测的信息的技术，从而使得能够高度可靠地识别主车辆附近的周围情况。例如，随着驾驶的自主性增加，需要展现高可靠性和准确度的传感器信息融合技术。
发明内容
因而，实施例针对一种用于融合传感器信息的方法和设备以及一种存储用于执行所述方法的程序的记录介质，所述方法可以基本上消除由于现有技术的限制和缺点引起的一个或多个问题。
实施例提供用于融合以改进的性能为特征的传感器信息的方法和设备以及存储用于执行该方法的程序的记录介质。
然而，实施方式的特征不限于上述特征，并且本领域的技术人员将从以下描述中清晰地理解在本文中未提及的其他特征。
根据实施方式的传感器信息融合方法可包括估计从相邻车辆接收的共享传感器融合信息的可靠性，共享传感器融合信息由相邻车辆生成，并且基于所估计的可靠性，使用共享传感器融合信息和由主车辆生成的主车辆传感器融合信息生成位于主车辆和相邻车辆的至少之一附近的对象的融合轨迹信息。
例如，传感器信息融合方法可以进一步包括将所接收的共享传感器融合信息转换到主车辆坐标系。
例如，转换可包括计算相邻车辆相对于主车辆的相对位置和相对速度，并且使用相对位置和相对速度将共享传感器融合信息的参考位置转换到主车辆的参考位置。
例如，传感器信息融合方法可以进一步包括检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息。
例如，当共享传感器融合信息和主车辆传感器融合信息是关于同一对象的信息时，可以估计共享传感器融合信息的可靠性。
例如，检查可包括当属于共享传感器融合信息的共享感测轨迹框和属于主车辆传感器融合信息的主车辆感测轨迹框彼此重叠时，选择共享传感器融合信息作为第一候选，第一候选具有如主车辆传感器融合信息的关于同一对象的信息的第一候选。
例如，检查可进一步包括使用包含在被选择为第一候选的共享传感器融合信息中的速度信息和包含在主车辆传感器融合信息中的速度信息，选择共享传感器融合信息的第二候选，第二候选具有如主车辆传感器融合信息的关于同一对象的信息。
例如，检查可进一步包括使用包含在被选择为第一候选的共享传感器融合信息中的对象的移动路径历史与包含在主车辆传感器融合信息中的对象的移动路径历史之间的相似性，选择共享传感器融合信息的第三候选，第三候选具有如主车辆传感器融合信息的关于同一对象的信息。
例如，可以使用包含在共享传感器融合信息中的第一信息和使用共享传感器融合信息生成的第二信息中的至少一个来执行估计可靠性。
例如，估计可靠性可包括：获得包含在共享传感器融合信息中的轨迹的持续时间；使用共享传感器融合信息获得与由相邻车辆感测的对象的位置和安装在相邻车辆中的传感器的组合中的至少一个对应的置信值；获得所述主车辆传感器融合信息与所述共享传感器融合信息之间的绝对速度的相似性，检查作为所述第一候选、第二候选和第三候选的所述共享传感器融合信息的选择的序号，并且使用持续时间、置信值、绝对速度的相似性和选择的序号中的至少一个来计算估计的可靠性。
例如，当共享传感器融合信息未被选择为第一候选、第二候选、以及第三候选中的任何一个时，可以向可靠性分配默认值。
例如，生成融合轨迹信息可以包括形成共享感测轨迹框和主车辆感测轨迹框重叠的区域，将该区域的几何二维平面形状转换为矩形形状，并且将该矩形形状确定为融合轨迹信息的融合轨迹框。
例如，传感器信息融合方法可以进一步包括使用共享传感器融合信息和主车辆传感器融合信息补偿融合轨迹信息的附加信息。
例如，附加信息可包括对象的类型、对象的移动方向或指示对象是处于移动状态还是处于静止状态的信息中的至少一个。
根据另一实施方式的传感器信息融合设备可包括：可靠性估计器，被配置为接收由相邻车辆生成的共享传感器融合信息并且估计共享传感器融合信息的可靠性；以及融合信息生成器，被配置为基于所估计的可靠性使用共享传感器融合信息和由主车辆生成的主车辆传感器融合信息，生成位于主车辆和相邻车辆中至少一个的附近的对象的融合轨迹信息。
例如，传感器信息融合设备可进一步包括：通信器，被配置为与相邻车辆通信并且接收共享传感器融合信息；以及坐标转换器，被配置为将接收的共享传感器融合信息转换到主车辆坐标系。
例如，传感器信息融合设备可进一步包括对象同一性检测器，该对象同一性检测器被配置为检测被转换到主车辆坐标系的共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息。
例如，传感器信息融合设备可进一步包括附加信息补偿器，该附加信息补偿器被配置为使用共享传感器融合信息和主车辆传感器融合信息补偿融合轨迹信息的附加信息。
根据又一实施例，其中记录有用于执行传感器信息融合方法的程序的计算机可读记录介质可存储实现以下功能的程序：接收由相邻车辆生成的共享传感器融合信息并估计共享传感器融合信息的可靠性的功能；以及基于所估计的可靠性，使用共享传感器融合信息和由主车辆生成的主车辆传感器融合信息来生成位于主车辆和相邻车辆中至少一个的附近的对象的融合轨迹信息的功能。
例如，该程序可进一步实现接收共享传感器融合信息并将共享传感器融合信息转换到主车辆坐标系的功能、检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息的功能、和使用包含在共享传感器融合信息和主车辆传感器融合信息中的每一个中的附加信息补偿融合轨迹信息的功能中的至少一个。
附图说明
可以参考以下附图详细描述布置和实施例，其中，相同的附图标记指代相同的元件，并且其中：
图1是示出根据一个实施例的传感器信息融合方法的流程图；
图2是根据一个实施例的车辆的框图；
图3是示出了图1中所示的步骤120的实施例的流程图；
图4A至图4C是用于帮助理解图1中所示的步骤130的示意图；
图5是示出图1中所示的步骤140的实施例的流程图；
图6是示出了图1中所示的步骤150的实施例的流程图；
图7是用于帮助理解图6中所示的步骤150A的示意图；
图8是示出根据第一比较例的传感器信息融合方法的示意图；
图9是示出根据第二比较例的传感器信息融合方法的示意图；以及
图10是用于帮助理解根据实施例的传感器信息融合方法的示意图。
具体实施方式
现在将参考附图在下文中更全面地描述本公开，在附图中示出了各种实施方式。然而，实例可以许多不同的形式体现，并且不应被解释为局限于本文所阐述的实施方式。相反，提供这些实施方式使得本公开将更全面和完整，并且将本公开的范围更充分地传达给本领域技术人员。
将理解，当元件被称为“在”另一元件“上”或“下”时，其可直接在该元件上/下，或者也可存在一个或多个中间元件。
当元件被称为“在……上”或“在……之下”时，“在该元件之下”以及“在该元件上”可以基于该元件被包括。
此外，关系术语，如“第一”、“第二”、“在……上/上部/上方”和“在……下/下部/下方”，仅用于区分一个受试者或元件和另一个受试者或元件，而不必要求或涉及受试者或元件之间的任何物理或逻辑关系或序列。
在下文中，将参考附图描述根据实施方式的传感器信息融合方法100。为了便于描述，将使用笛卡尔坐标系(x轴、y轴、z轴)来描述传感器信息融合方法100，但是，还可以使用其他坐标系来描述传感器信息融合方法100。
图1是示出根据一个实施例的传感器信息融合方法100的流程图，并且图2是根据一个实施例的车辆200的框图。
图2中所示的车辆200(以下称为“主车辆”)可包括主车辆信息获取单元210和传感器信息融合设备220。
在描述图1中所示的传感器信息融合方法100之前，现在将描述图2中所示的车辆200的配置和操作。
安装在主车辆200中的主车辆信息获取单元210可用于获取各种信息，并且可包括感测单元212和主车辆GPS提供器214。
感测单元212可以包括一个或多个传感器，这些传感器被配置为检测位于车辆200附近的障碍物，例如，前面车辆，并且测量到所检测的障碍物的距离和/或其相对速度。
感测单元212可以包括第一至第M个传感器S1、S2、…和SM，以检测存在于车辆200外部的对象，并且可以获取关于对象的位置、对象的速度、对象的移动方向和/或对象(例如，车辆、行人、自行车或摩托车)的类型的信息。在此，M是1以上的正整数。
第一至第M传感器S1、S2、…和SM中的每一个可包括超声波传感器、无线电探测与测距(RaDAR)传感器、照相机、激光扫描器和/或角RaDAR、光探测和测距(LiDAR)传感器、加速度传感器、偏航率传感器、扭矩测量传感器、轮速传感器、转向角传感器等。
根据实施方式的传感器信息融合设备220可设置在车辆200内部。在这种情况下，传感器信息融合设备220可与车辆200的内部控制单元(未示出)整体形成，或者可单独设置并且可经由单独的连接装置连接至车辆200的控制单元。
传感器信息融合设备220可实现为包括存储器和用于处理操作的处理器的独立硬件设备的形式。可替换地，设备220可以以包含在另一硬件装置(诸如微处理器或通用计算机系统)中的形式被驱动。
例如，传感器信息融合设备220可包括通信器222和处理器224。
通信器222可以是利用各种电子电路实现以通过无线或有线连接传输和接收信号的硬件设备，并且可以执行V2X(例如，V2V或V2I)使用车载网络通信技术、无线通信技术或短程通信技术与车辆外部的外部服务器、基础设施元件或另一车辆(或“相邻车辆”)300通信。在此，车载网络通信技术的实例可包括控制器局域网(CAN)通信、局域互联网(LIN)通信、以及柔性射线通信，并且可实现车载通信。无线通信技术(也称为无线互联网技术)的实例可包括无线LAN(WLAN)、无线宽带(WiBro)、Wi-Fi以及全球微波互联接入(WiMAX)。短程通信技术的实例可包括蓝牙、ZigBee、超宽带(UWB)、射频识别(RFID)以及红外数据协会(IrDA)。
通信器222可从包含在安装在主车辆200中的感测单元212中的传感器S1至SM接收感测结果。由通信器222接收的感测结果可以包括通过感测对象获取的传感器融合信息(以下称为“主车辆传感器融合信息”)。
图2中所示的其他车辆300可以包括第一至第N其他车辆310、320、...以及330。在此，N是1以上的正整数。第一至第N其他车辆310至330(即，第n其他车辆)中的每一个可包括第n共享传感器融合信息生成器和第n GPS提供器。即，如图2所示，第N个其他车辆330可以包括第N个共享传感器融合信息生成器332和第N个GPS提供器334。
第n共享传感器融合信息生成器332生成传感器融合信息(在下文中，称为“共享传感器融合信息”)，其是通过安装在第n个其他车辆中的感测单元(未示出)感测对象的结果。安装在第n个其他车辆中的感测单元可包括类似于安装在主车辆200中的感测单元212的一个或多个传感器S1至SM。第n个GPS提供器334可提供关于第n个运载工具的位置和速度的GPS信息。
此外，传感器信息融合设备220还可包括存储器(即，存储器226)。存储器226可存储由感测单元212感测的结果、由处理器224获取的数据、以及处理器224的操作所需的数据和/或算法。
在一个示例中，存储器226可存储由安装在主车辆200或其他车辆300中的传感器(诸如相机、LiDAR传感器和RaDAR传感器)获取的感测信息，并且可包括稍后将描述的查找表(LUT)。
存储器226可包括从闪存型存储器、硬盘型存储器、微型存储器、卡型(例如，安全数字(SD)卡或极限数字(XD)卡)存储器、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)、磁RAM(MRAM)、磁盘型存储器、以及光盘型存储器中选择的至少一个存储介质。
此外，虽然未示出，但是传感器信息融合设备220还可包括接口。
界面可包括用于从用户接收控制命令的输入界面和用于输出车辆200的操作状态及其结果的输出界面。这里，输入接口可以包括键按钮，并且还可以包括鼠标、操纵杆、飞梭、手写笔等。此外，输入接口可以包括在显示器上实现的软键。
输出接口可包括显示器和音频输出单元，诸如扬声器。在这种情况下，当显示器设置有触摸传感器(诸如，触摸膜、触摸片或触摸板)时，显示器可被实现为触摸屏，并且输入接口和输出接口可被实现为集成形式。在一个实例中，输出接口可输出由感测单元212感测的信息，或者可输出由传感器信息融合设备220融合的传感器信息。
在这种情况下，显示器可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFTLCD)、有机发光二极管(OLED)、柔性显示器、场发射显示器(FED)和三维(3D)显示器中的至少一个。
处理器224可以电连接到通信器222、存储器226和接口，并且可以电控制各个组件。处理器224可以是执行软件指令的电路，并且因此可以执行稍后描述的各种数据处理操作和计算。处理器224可以是例如安装在主车辆200中的电子控制单元(ECU)、微控制单元(MCU)或另一个低电平控制器。
同时，尽管为了便于描述，图1中示出的传感器信息融合方法100将被描述为由图2中示出的传感器信息融合设备220执行，但实施方式不限于此。即，根据另一实施方式，图1中所示的传感器信息融合方法100可由与图2中所示的传感器信息融合设备220不同配置的传感器信息融合设备执行。此外，尽管图2中所示的传感器信息融合设备220将被描述为执行图1中所示的传感器信息融合方法100，但实施方式不限于此。即，根据另一实施方式，图2中示出的传感器信息融合设备220可执行不同于图1中示出的传感器信息融合方法100配置的传感器信息融合方法。
再次参考图1，根据实施方式的传感器信息融合方法100可包括接收由其他车辆300生成并且从其发送的共享传感器融合信息的步骤(步骤110)。为此，图2中示出的通信器222可与第一至第N其他车辆310至330中的每一个通信，并且可接收由第一至第N其他车辆310至330中的每一个生成的共享传感器融合信息。
尽管为了便于描述，图1中示出的传感器信息融合方法100的步骤120至160将被描述为由图2中示出的传感器信息融合设备220的处理器224执行，但实施方式不限于此。即，根据另一个实施方式，除了处理器224之外，图1中所示的步骤120至160可由单独的块执行。即，根据另一实施例，为了执行图1中所示的步骤120至160，传感器信息融合设备220可包括坐标转换器241、对象同一性检测器243、可靠性估计器245、融合信息生成器247和附加信息补偿器249。
在步骤110之后，将所接收的共享传感器融合信息转换到主车辆坐标系(步骤120)。为此，坐标转换器241可将由通信器222接收的共享传感器融合信息转换到主车辆坐标系，并可将转换的共享传感器融合信息输出到对象同一性检测器243、可靠性估计器245、融合信息生成器247和附加信息补偿器249中的至少一个。
图3是示出了图1中所示的步骤120的一个实施方式120A的流程图。
在步骤110之后，计算另一车辆300相对于主车辆200的相对位置和相对速度(步骤122)。为此，通信器222可从主车辆GPS提供器214接收包括关于主车辆200的位置和速度的信息的GPS信息，并可将接收到的GPS信息输出至坐标转换器241。此外，通信器222可从第一至第N其他车辆310至330中的每一个的第n GPS提供器(例如，334)接收包括关于第一至第N其他车辆310至330中的每一个的位置和速度的信息的GPS信息，并且可将所接收的GPS信息输出至坐标转换器241。此后，坐标转换器241使用主车辆的GPS信息和其他车辆的GPS信息计算其他车辆300相对于主车辆200的相对位置和相对速度。
在步骤122之后，使用相对位置和相对速度将共享传感器融合信息的参考位置转换到主车辆200的参考位置(步骤124)。为此，坐标转换器241可使用另一车辆300相对于主车辆200的相对位置和相对速度来将由通信器222接收的共享传感器融合信息的参考位置转换为主车辆200的参考位置。
再次参考图1，在步骤120之后，检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息(步骤130)。为此，对象同一性检测器243可以接收由坐标转换器241转换到主车辆坐标系的共享传感器融合信息和从通信器222提供的主车辆传感器融合信息，可以检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息，并且可以将检查的结果输出到可靠性估计器246。
图4A至图4C是用于帮助理解图1中所示的步骤130的示意图，其中，CAS表示被选择为候选的共享传感器融合信息，参考标号“10”表示主车辆200，FA表示主车辆传感器融合信息，并且FB1、FB2和FB3分别表示第一条至第三条共享传感器融合信息。
为了更好的理解，在图4A至图4C中，假设第一到第三条共享传感器融合信息由通信器222接收并且由坐标转换器241转换到主车辆坐标系。然而，下面的描述也可以应用于共享传感器融合信息的条数是二、或者四、或者更多的情况。例如，可在第一至第N其他车辆310至330的至少一个中产生第一至第三共享传感器融合信息。
为了执行步骤130，检查能够从第一至第三条共享传感器融合信息FB1、FB2和FB3中的每一个获得的感测轨迹框(在下文中，称为“共享感测轨迹框”)和能够从主车辆传感器融合信息FA获得的感测轨迹框(在下文中，称为“主车辆感测轨迹框”)是否彼此重叠。这里，共享的感测轨迹框和主车辆感测轨迹框中的每可包括关于感测到的对象的朝向、宽度和长度的信息。
在对于每个车辆输出参考点和方向角的定义不同的情况下，可能难以以点对点匹配方式确定共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息。此外，因为输出参考点对于每个车辆变化，所以检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息可能不同。例如，车辆的输出参考点可以是车辆的后保险杠的中心点、对象的中心点或最靠近主车辆的点。然而，通过检查共享的感测轨迹框和主车辆感测轨迹框是否彼此重叠可以解决上述问题。
具有与主车辆感测轨迹框重叠的共享感测轨迹框的共享传感器融合信息被选择为具有如主车辆传感器融合信息的关于同一对象的信息的第一候选。例如，如图4A所示，当第一至第三条共享传感器融合信息FB1、FB2和FB3中的每一个的共享感测轨迹框与主车辆感测轨迹框重叠时，所有的第一至第三条共享传感器融合信息FB1、FB2和FB3可以被选择为第一候选。
此后，在步骤130中，包含在被选择为第一候选的共享传感器融合信息中的速度信息和包含在主车辆传感器融合信息中的速度信息可以用于选择具有如主车辆传感器融合信息的关于同一对象的信息的共享传感器融合信息作为第二候选。例如，满足以下等式1中示出的条件的共享传感器融合信息可被选择为第二候选。
等式1
VxA–VxB＜VxT和VyA–VyB＜VyT
这里，VxA表示包含在主车辆传感器融合信息中的x轴方向上的速度，VyA表示包含在主车辆传感器融合信息中的y轴方向上的速度，VxB表示被选择为第一候选的每条共享传感器融合信息中包括的在x轴方向上的速度，VyB表示被选择为第一候选的每条共享传感器融合信息中包括的在y轴方向上的速度，VxT表示x轴方向的速度的阈值，VyT表示y轴方向的速度的阈值。例如，图4B中示出的箭头表示被选择为第一候选的第一至第三条共享传感器融合信息FB1、FB2和FB3的前进方向。
此后，在步骤130中，检查在选择为第一候选的共享传感器融合信息中包括的对象的移动路径历史与包含在主车辆传感器融合信息中的对象的移动路径历史之间的相似性，并且使用检查结果选择具有如主车辆传感器融合信息的关于同一对象的信息的共享传感器融合信息作为第三候选。例如，参考图4C，包含在第一和第二共享传感器融合信息FB1和FB2中的对象的移动路径历史与包含在主车辆传感器融合信息FA中的对象的移动路径历史相似，但是包含在第三共享传感器融合信息FB3中的对象的移动路径历史与包含在主车辆传感器融合信息FA中的对象的移动路径历史不相似。因此，可以选择第一和第二共享传感器融合信息FB1和FB2作为第三候选。
根据实施例，仅同时选择作为第一候选至第三候选的共享传感器融合信息可以被确定为如主车辆传感器融合信息的关于同一对象的信息。
根据另一实施例，被选择作为第一候选和第二候选而不是第三候选的共享传感器融合信息也可以被确定为如主车辆传感器融合信息的关于同一对象的信息。
根据又一实施例，被选择作为第一候选和第三候选而不是第二候选的共享传感器融合信息也可以被确定为如主车辆传感器融合信息的关于同一对象的信息。
再次参考图1，估计由其他车辆300生成的共享传感器融合信息的可靠性(步骤140)。为此，可靠性估计器245可估计具有由坐标转换器241转换产生的坐标的共享传感器融合信息的可靠性，并可将估计的可靠性输出到融合信息生成器247。为了执行该操作，可靠性估计器245可经由通信器222接收主车辆传感器融合信息，可从坐标转换器241接收共享传感器融合信息，并且可接收对象同一性检测器243的检查结果。
根据实施方式，如图1所示，可以仅当共享传感器融合信息和主车辆传感器融合信息被确定为关于同一对象的信息时执行步骤140。
根据另一个实施方式，与图1中示出的不同，当确定共享传感器融合信息和主车辆传感器融合信息不是关于同一对象的信息时，也可以执行步骤140。
如果如图1所示执行步骤140，则不在共享传感器融合信息上执行步骤140至160，该共享传感器融合信息不是与主车辆传感器融合信息关于同一对象的信息，从而使得可以缩短执行根据实施方式的传感器信息融合方法100所花费的时间。
图5是示出图1中所示的步骤140的实施例140A的流程图。
可以获得包含在共享传感器融合信息中的轨迹的持续时间(步骤141)。这里，轨迹的持续时间可以是包含在共享传感器融合信息中的信息。轨迹持续时间越长，对象存在的概率越大，因此提高可靠性。
在步骤141之后，可以获得对应于由其他车辆300感测的对象的位置和安装在其他车辆300中的传感器的组合中的至少一个的置信值(步骤143)。对应于由其他车辆300感测的对象的位置和安装在其他车辆300中的传感器的组合中的至少一个的置信值可以通过实验预先设置，并且可以存储在查找表(LUT)中。使用共享传感器融合信息可获得由其他车辆300感测的对象的位置和安装在其他车辆300中的传感器的组合中的至少一个。
涉及融合的传感器的数量越大，信息的可靠性越大。然而，取决于对象的位置，特定传感器的组合反而可能劣化可靠性。因此，可考虑对象的位置和感测对象的传感器的组合来评估可靠性。
在共享传感器融合信息由其他车辆300通过融合“K”个传感器的感测结果而获取的情况下，对应于“K”个传感器的组合和对象的位置的置信值可以使用下面的等式2来表示，并且可以被存储在查找表(LUT)中。
等式2
Figure BDA0003598536800000161
等式2表示置信值，当对象位于远离主车辆200的距离pm处并且“K”个传感器被组合时获得该置信值，并且该置信值被存储在查找表(LUT)中。
例如，假设安装在其他车辆300中的前方RaDAR传感器的视场(FOV)为180m，安装在其他车辆300中的前方照相机的FOV为90m，以及安装在其他车辆300中的横向RaDAR传感器的FOV为80m。在这种情况下，当从分析共享传感器融合信息的结果识别出由其他车辆300感测的对象位于距主车辆80m处时，通过前RaDAR传感器和前摄像机的组合或前RaDAR传感器和侧向RaDAR传感器的组合获取共享传感器融合信息的情况下的置信值大于通过前摄像机和侧向RaDAR传感器的组合获取共享传感器融合信息的情况下的置信值。这些置信值可以通过实验预先设置，并且可以存储在查找表(LUT)中。
在步骤143之后，获得主车辆传感器融合信息和共享传感器融合信息之间的绝对速度的相似性(步骤145)。由于速度是可以由RaDAR传感器使用无线电波的多普勒效应测量的信息，所以可以通过检查主车辆传感器融合信息与共享传感器融合信息之间的绝对速度的相似性来估计可靠性。因为具有智能巡航控制(SCC)功能的大多数车辆配备有RaDAR传感器并且因此能够测量速度，所以可靠性估计器245可执行步骤145。
在步骤145之后，检查已被选择为第一候选、第二候选和第三候选的共享传感器融合信息的序号次数(步骤147)。例如，共享传感器融合信息被选为第一候选、第二候选和第三候选的次数越大，共享传感器融合信息的可靠性越大。
虽然在图5中示出了以该顺序依次执行步骤141至步骤147，但是实施方式不限于此。即，步骤141至147可以任何顺序执行。
在步骤147之后，使用持续时间、置信值、绝对速度的相似性和候选选择的序号中的至少一个来计算估计可靠性(步骤149)。例如，共享传感器融合信息的可靠性可以使用下面的等式3来计算。
等式3
Figure BDA0003598536800000171
在此，RL表示估计可靠性，计数表示持续时间，并且VS(FA，FBi)表示主车辆传感器融合信息FA与第i个共享传感器融合信息之间的绝对速度的相似性。例如，如图4A至图4C所示，当共享传感器融合信息的条数是3时，i具有值1、2或3。TN表示作为候选选择的序号。多于一次被选为候选的共享传感器融合信息(例如，被选为第一和第二候选的共享传感器融合信息(TN＝2)、被选为第一和第三候选的共享传感器融合信息(TN＝2)或被选为第一至第三候选的共享传感器融合信息(TN＝3))的可靠性大于仅被选为第一至第三候选之一的共享传感器融合信息(TN＝1)的可靠性。α、β、γ和δ分别表示用于估计可靠性RL的持续时间、置信值、绝对速度的相似性以及作为候选选择的序号的系数。
不同于图1中示出的，当执行步骤140时，即使当共享传感器融合信息和主车辆传感器融合信息不是关于同一对象的信息时，即，当共享传感器融合信息没有被选择作为第一候选、第二候选和第三候选中的任意一个时，选择序号作为在步骤147中识别的候选，即等式3中的TN可被视为默认。
此外，可以使用包含在共享传感器融合信息中的第一信息和使用共享传感器融合信息生成的第二信息中的至少一个来估计共享传感器融合信息的可靠性。在此，第一信息可以对应于上述轨迹的持续时间，并且第二信息可以对应于置信值、绝对速度的相似性、和选择为上述候选的序号次数中的至少一个。
再次参考图1，在步骤140之后，基于估计的可靠性，使用主车辆传感器融合信息和共享传感器融合信息，生成位于主车辆和其他车辆中的至少一个附近的对象的融合轨迹信息(步骤150)。为此，融合信息生成器247基于从可靠性估计器245接收的估计可靠性，使用由主车辆200生成的主车辆传感器融合信息和由其他车辆300生成的共享传感器融合信息，生成位于主车辆200和其他车辆300中的至少一个附近的对象的融合轨迹信息，并且输出所生成的融合轨迹信息。为此，主车辆传感器融合信息可从通信器222提供至融合信息生成器247，并且共享传感器融合信息可从坐标转换器241提供至融合信息生成器247。
例如，对象的形状可被估计为矩形形状，并且其融合轨迹信息可使用共享传感器融合信息和主车辆传感器融合信息来生成，该共享传感器融合信息和主车辆传感器融合信息被估计为具有大于或等于阈值的可靠性。在此情况下，矩形框的位置可对应于具有估计的形状的对象的位置，和矩形框的大小，即。其宽度和长度可分别对应于具有估计的形状的对象的宽度和长度。
图6是示出了图1中所示的步骤150的实施方式150A的流程图。
图7是用于帮助理解图6中所示的步骤150A的示图。在此，FOA表示视野，并且参考标号10表示主车辆。
在步骤140之后，形成其中共享感测轨迹框与主车辆感测轨迹框重叠的区域(步骤151)。例如，参考图7，共享感测轨迹框和主车辆感测轨迹框重叠的区域(由“A”表示)BoS1可形成在网格上。
步骤151之后，将区域BoS2的几何二维平面形状转换为矩形形状，并且确定该矩形形状为融合轨迹信息的融合轨迹框(步骤153)。参考图7，区域A的几何二维平面形状BoS1和BoS2被转换成矩形形状BoS3，并且矩形形状BoS3被确定为融合轨迹框。
再次参考图1，在步骤150之后，使用共享传感器融合信息和主车辆传感器融合信息对融合轨迹信息的附加信息执行补偿(步骤160)。为此，附加信息补偿器249使用共享传感器融合信息和主车辆传感器融合信息来补偿融合轨迹信息的附加信息，并且通过输出端子OUT输出补偿结果。这里，附加信息可包括对象的类型、对象的移动方向或指示对象是处于移动状态还是静止状态的信息中的至少一个，并可存储在存储器226中。此外，存储器226可以存储通过输出端子OUT输出的补偿的附加信息。
根据实施方式，可以比较针对相同对象获取的包含在共享传感器融合信息中的附加信息的数量和包含在主车辆传感器融合信息中的附加信息的数量，并且可以使用更多数量的附加信息对融合轨迹信息的附加信息执行补偿。例如，当共享传感器融合信息的多条附加信息指示对象的类型是车辆时，并且当主车辆传感器融合信息的一条附加信息指示对象的类型是行人时，可以基于对象的类型是车辆的识别来补偿融合轨迹信息的附加信息。其原因在于，表示对象的类型是车辆的附加信息的数量为复数，表示对象的类型是行人的附加信息的数量为单数。
在根据实施方式的传感器信息融合方法100中，可省略步骤160。
同时，记录了用于执行传感器信息融合方法的程序的记录介质可以存储用于实现以下功能的程序：接收由另一车辆生成的共享传感器融合信息并估计共享传感器融合信息的可靠性的功能；以及基于所估计的可靠性，使用共享传感器融合信息和由主车辆生成的主车辆传感器融合信息来生成位于主车辆和其他车辆中的至少一个附近的对象的融合轨迹信息的功能。记录媒质可由计算机系统读取。
此外，计算机可读记录介质可以存储用于进一步实现下列功能中的至少一个的程序：接收共享传感器融合信息并将共享传感器融合信息转换到主车辆坐标系的功能、检查共享传感器融合信息和主车辆传感器融合信息是否是关于同一对象的信息的功能、和使用包含在共享传感器融合信息和主车辆传感器融合信息中的每一个中的附加信息来补偿融合轨迹信息的功能。
计算机可读记录介质包括其中存储能够由计算机系统读取的数据的所有种类的记录装置。计算机可读记录媒质的实例包括只读存储器(ROM)、随机存取存储器(RAM)、致密盘ROM(CD-ROM)、磁带、软盘和光数据存储器。计算机可读记录媒质还可分布在联网的计算机系统上，从而以分布式方式存储和执行计算机可读代码。此外，本公开所属领域的程序员可容易地设计用于实现传感器信息融合方法100的功能程序、代码和代码段。
在下文中，将参考附图描述根据第一比较例和第二比较例的传感器信息融合方法以及根据实施方式的传感器信息融合方法。
图8是示出根据第一比较例的传感器信息融合方法的示图。
在根据第一比较例的传感器信息融合方法的情况下，当对象将由安装在主车辆10中的不同类型的传感器识别时，识别区域限于能够由安装在主车辆10中的传感器检测的区域。因此，主车辆10的传感器可识别的区域非常有限。
例如，参考图8，安装在主车辆10中的传感器能够感测未被其他对象隐藏的对象12、14和16，但是不能够感测被其他对象12、14和16隐藏的对象20、22、24和26。因此，主车辆10的感测区域SEA非常有限。在这种情况下，当前面车辆12、14和16突然停止时，由于被前面车辆12、14和16隐藏的车辆20、22、24和26的检测延迟，难以保持安全距离，从而导致事故。此外，当安装在主车辆10中的一些传感器发生故障时，位于主车辆10附近的对象的误识别或未识别的概率增加，并且感测到的关于对象的信息的可靠性劣化。例如，在配备有照相机和RaDAR传感器的主车辆10中，当照相机发生故障时，可能难以仅使用RaDAR传感器来识别行人，从而使得不可能精确地确定对象在横向上的位置。
图9是示出了根据第二比较例的传感器信息融合方法的示图。
在第二比较例的情况下，因为主车辆10不能识别被其他车辆12、14和16隐藏的车辆20、22、24和26，主车辆10可从前面车辆12、14和16中的一个(例如，车辆14)(例如，在传感区域SEE中)接收关于隐藏的车辆20、22、24和26的信息。然而，在这种情况下，因为传感器的组成对于每个车辆是不同的，并且因为传感器融合信息由于传感器信息融合系统中的不同而不同，所以难以确定从车辆14提供给主车辆10的信息的可靠性。
图10是用于帮助理解根据实施方式的传感器信息融合方法的示图。
图10中所示的主车辆10对应于图2中所示的主车辆10，并且图10中所示的车辆12至26对应于图2中所示的其他车辆300。
根据车辆，用于选择传感器融合轨迹信息的可靠性的标准可以不同，或者可以不提供传感器融合轨迹信息的可靠性。即，根据车辆，可以提供关于一维距离(欧几里德)的可靠性，或者可以输出关于二维位置的可靠性。此外，指示可靠性和准确度的单元可以不同。即，多条共享传感器融合信息中的一条可以指示0至10的范围内的可靠性，并且多条共享传感器融合信息中的另一条可以指示0至100的范围内的可靠性。
因此，考虑到此，在实施例的情况下，即使主车辆的传感器融合信息和其他车辆的传感器融合信息具有不同的形式，使用必须包含在传感器融合信息中的信息，如上述描述的持续时间、置信值、绝对速度的相似性和作为候选的选择的序号中的至少一个，来估计共享传感器融合信息的可靠性。基于估计的可靠性，融合共享传感器融合信息和主车辆传感器融合信息，由此能够提高生成的融合轨迹信息的可靠性。
图10中所示的主车辆10不仅能够感测未被其他车辆12、14和16隐藏的区域SEA，而且能够识别有关被其他车辆12、14和16隐藏的区域SEB至SEH的信息。即，主车辆10可以从其他车辆12接收关于由其他车辆12感测的区域SEB、SEC和SEF的共享传感器融合信息，可以从其他车辆14接收关于由其他车辆14感测的区域SED、SEE和SEF的共享传感器融合信息，可以从其他车辆16接收关于由其他车辆16感测的区域SEG和SEH的共享传感器融合信息，并且可以将所接收的共享传感器融合信息与主车辆传感器融合信息融合。因此，如图10所示，可以识别由其他车辆12、14和16隐藏并且因此不能通过比较例识别的区域SEB至SEH。
此外，即使安装在主车辆10中的传感器发生故障，也可以防止周围对象的估计性能的劣化并且借助于其他车辆识别主车辆周围的对象，从而能够减少安装在主车辆10中的传感器的数量。
如从以上描述中显而易见的，根据用于融合传感器信息的方法和装置以及存储用于执行根据实施例的方法的程序的记录媒质，通过融合由相邻车辆生成的共享传感器融合信息和由主车辆生成的主车辆传感器融合信息，可以提高生成的融合轨迹信息的可靠性，并且不仅识别不被相邻车辆隐藏的区域，而且识别被相邻车辆隐藏并且因此不能被现有技术识别的区域。此外，即使安装在主车辆中的传感器出现故障，也可以防止周围对象的估计性能的劣化并且借助于相邻车辆识别主车辆周围的对象，从而能够减少安装在主车辆中的传感器的数量。
然而，通过本公开可实现的效果不限于上述效果，并且本领域的技术人员根据上述描述将清楚地理解在本文中未提及的其他效果。
在不背离本公开的范围的情况下，上述各种实施方式可彼此组合，除非它们相互不兼容。
另外，对于在各种实施例中的任何实施例中未详细描述的任何元件或过程，除非另外指明，否则可以参考在另实施例中具有相同附图标记的元件或过程的描述。
虽然已经参照本公开的示例性实施例具体示出和描述了本公开，但是这些实施例仅仅是为了说明的目的而提出的，并且不限制本公开，并且对于本领域技术人员来说将显而易见的是，在不脱离在此阐述的实施例的本质特征的情况下可以在形式和细节上进行各种改变。例如，可以对实施例中所阐述的相应配置进行修改和应用。此外，这些修改和应用中的差异应被解释为落入由所附权利要求限定的本公开的范围内。

Claims (20)

1.一种传感器信息融合方法，包括：
由主车辆估计从相邻车辆接收的共享传感器融合信息的可靠性，所述共享传感器融合信息由所述相邻车辆生成；并且
基于所估计的可靠性，使用所述共享传感器融合信息和由所述主车辆生成的主车辆传感器融合信息来生成位于所述主车辆或所述相邻车辆附近的对象的融合轨迹信息。
2.根据权利要求1所述的方法，进一步包括将所述共享传感器融合信息转换到主车辆坐标系。
3.根据权利要求2所述的方法，其中，转换所述共享传感器融合信息包括：
计算所述相邻车辆相对于所述主车辆的相对位置和相对速度；并且
使用所述相对位置和所述相对速度将所述共享传感器融合信息的参考位置转换到所述主车辆的参考位置。
4.根据权利要求1所述的方法，进一步包括检查所述共享传感器融合信息和所述主车辆传感器融合信息是否是关于同一对象的信息。
5.根据权利要求4所述的方法，其中，当所述共享传感器融合信息和所述主车辆传感器融合信息是关于所述同一对象的信息时，执行估计所述共享传感器融合信息的可靠性。
6.根据权利要求4所述的方法，其中，检查包括：当属于所述共享传感器融合信息的共享感测轨迹框和属于所述主车辆传感器融合信息的主车辆感测轨迹框彼此重叠时，选择所述共享传感器融合信息作为第一候选，所述第一候选具有如所述主车辆传感器融合信息的关于所述同一对象的信息。
7.根据权利要求6所述的方法，其中，检查进一步包括：使用包含在被选择为所述第一候选的所述共享传感器融合信息中的速度信息和包含在所述主车辆传感器融合信息中的速度信息，选择所述共享传感器融合信息的第二候选，所述第二候选具有如所述主车辆传感器融合信息的关于所述同一对象的信息。
8.根据权利要求7所述的方法，其中，检查进一步包括：使用包含在被选择为所述第一候选的所述共享传感器融合信息中的所述对象的移动路径历史与包含在所述主车辆传感器融合信息中的所述对象的移动路径历史之间的相似性，选择所述共享传感器融合信息的第三候选，所述第三候选具有如所述主车辆传感器融合信息的关于所述同一对象的信息。
9.根据权利要求8所述的方法，其中，使用包含在所述共享传感器融合信息中的第一信息或者使用所述共享传感器融合信息生成的第二信息执行所述可靠性的估计。
10.根据权利要求8所述的方法，其中，估计所述可靠性包括：
获得包含在所述共享传感器融合信息中的轨迹的持续时间；
使用所述共享传感器融合信息，获得与由所述相邻车辆感测的所述对象的位置或安装在所述相邻车辆中的传感器的组合相对应的置信值；
获得所述主车辆传感器融合信息与所述共享传感器融合信息之间的绝对速度的相似性；
检查作为所述第一候选、所述第二候选和所述第三候选的所述共享传感器融合信息的选择的序号；并且
使用所述持续时间、所述置信值、所述绝对速度的相似性或所述选择的序号来计算所估计的可靠性。
11.根据权利要求10所述的方法，其中，当所述共享传感器融合信息未被选择为所述第一候选、所述第二候选和所述第三候选中的任一个时，将默认值分配给所述可靠性。
12.根据权利要求6所述的方法，其中，生成所述融合轨迹信息包括：
形成所述共享感测轨迹框和所述主车辆感测轨迹框重叠的区域；并且
将所述区域的几何二维平面形状转换为矩形形状，并确定所述矩形形状为所述融合轨迹信息的融合轨迹框。
13.根据权利要求1所述的方法，进一步包括：使用所述共享传感器融合信息和所述主车辆传感器融合信息补偿所述融合轨迹信息的附加信息。
14.根据权利要求13所述的方法，其中，所述附加信息包括：
所述对象的类型；
所述对象的移动方向；或
指示所述对象是处于移动状态还是处于静止状态的信息。
15.一种传感器信息融合设备，所述设备包括：
可靠性估计器，被配置为接收由相邻车辆生成的共享传感器融合信息并且估计所述共享传感器融合信息的可靠性；以及
融合信息生成器，被配置为基于所估计的可靠性使用所述共享传感器融合信息和由主车辆生成的主车辆传感器融合信息，生成位于所述主车辆或者所述相邻车辆附近的对象的融合轨迹信息。
16.根据权利要求15所述的设备，进一步包括：
通信器，被配置为与所述相邻车辆通信并且接收所述共享传感器融合信息；和
坐标转换器，被配置为将所述共享传感器融合信息转换到主车辆坐标系。
17.根据权利要求16所述的设备，进一步包括对象同一性检测器，所述对象同一性检测器被配置为检测被转换到所述主车辆坐标系的所述共享传感器融合信息与所述主车辆传感器融合信息是否是关于同一对象的信息。
18.根据权利要求15所述的设备，进一步包括附加信息补偿器，所述附加信息补偿器被配置为使用所述共享传感器融合信息和所述主车辆传感器融合信息补偿所述融合轨迹信息的附加信息。
19.一种计算机可读记录介质，其中记录了用于执行传感器信息融合方法的程序，所述计算机可读记录介质存储实现以下功能的程序：
接收由相邻车辆生成的共享传感器融合信息并且估计所述共享传感器融合信息的可靠性的功能；并且
基于所估计的可靠性使用所述共享传感器融合信息和由主车辆生成的主车辆传感器融合信息来生成位于所述主车辆或者所述相邻车辆附近的对象的融合轨迹信息的功能。
20.根据权利要求19所述的计算机可读记录介质，其中，所述程序进一步实现下列功能中的至少一个功能：
接收所述共享传感器融合信息并将所述共享传感器融合信息转换到主车辆坐标系的功能；
检查所述共享传感器融合信息和所述主车辆传感器融合信息是否是关于同一对象的信息的功能；和
使用包含在所述共享传感器融合信息和所述主车辆传感器融合信息的每一个中的附加信息补偿所述融合轨迹信息的功能。
CN202210395062.1A 2021-04-16 2022-04-15 传感器信息融合方法和设备以及记录介质 Pending CN115221937A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0049879 2021-04-16
KR1020210049879A KR20220143404A (ko) 2021-04-16 2021-04-16 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Publications (1)

Publication Number Publication Date
CN115221937A true CN115221937A (zh) 2022-10-21

Family

ID=83603241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210395062.1A Pending CN115221937A (zh) 2021-04-16 2022-04-15 传感器信息融合方法和设备以及记录介质

Country Status (3)

Country Link
US (1) US20220332327A1 (zh)
KR (1) KR20220143404A (zh)
CN (1) CN115221937A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586666B1 (ko) * 2023-04-21 2023-10-10 한국전자기술연구원 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법
CN117268424B (zh) * 2023-11-21 2024-02-09 湖南仕博测试技术有限公司 一种多传感器融合的自动驾驶寻线方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2847755B1 (fr) * 2002-11-26 2005-04-22 Cynove Procedes d'authentification d'images
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
US20120065871A1 (en) * 2010-06-23 2012-03-15 Massachusetts Institute Of Technology System and method for providing road condition and congestion monitoring
US9785846B2 (en) * 2015-12-23 2017-10-10 Automotive Research & Test Center Method for quantifying classification confidence of obstructions
KR102518534B1 (ko) * 2016-11-30 2023-04-07 현대자동차주식회사 차량 위치 인식 장치 및 방법
US10486485B1 (en) * 2017-04-19 2019-11-26 Zoox, Inc. Perception based suspension control
US10733233B2 (en) * 2018-04-11 2020-08-04 GM Global Technology Operations LLC Method and apparatus for generating situation awareness graphs using cameras from different vehicles
US11584368B2 (en) * 2018-09-24 2023-02-21 Intel Corporation Evaluating risk factors of proposed vehicle maneuvers using external and internal data
US10915786B2 (en) * 2019-02-28 2021-02-09 Sap Se Object detection and candidate filtering system
US11292481B2 (en) * 2019-09-11 2022-04-05 GM Global Technology Operations LLC Method and apparatus for multi vehicle sensor suite diagnosis
US11520033B2 (en) * 2019-12-12 2022-12-06 Amazon Technologies, Inc. Techniques for determining a location of a mobile object
US11978220B2 (en) * 2020-06-26 2024-05-07 Objectvideo Labs, Llc Object tracking with feature descriptors
WO2022205138A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
US20230080491A1 (en) * 2021-09-13 2023-03-16 Borde, Inc. Optical inspection systems and methods for moving objects
EP4184480A3 (en) * 2021-11-17 2023-08-02 Hyundai Mobis Co., Ltd. Driving control system and method of controlling the same using sensor fusion between vehicles
KR20230161715A (ko) * 2022-05-19 2023-11-28 현대자동차주식회사 충돌을 예측하기 위한 차량 및 그의 동작 방법

Also Published As

Publication number Publication date
US20220332327A1 (en) 2022-10-20
KR20220143404A (ko) 2022-10-25

Similar Documents

Publication Publication Date Title
US10276047B2 (en) Apparatus and method for estimating position of vehicle
US9273971B2 (en) Apparatus and method for detecting traffic lane using wireless communication
US11859997B2 (en) Electronic device for generating map data and operation method thereof
US11754701B2 (en) Electronic device for camera and radar sensor fusion-based three-dimensional object detection and operating method thereof
CN115221937A (zh) 传感器信息融合方法和设备以及记录介质
US11061120B2 (en) Sensor calibration
CN103781685A (zh) 车辆用自主行驶控制系统
US12085403B2 (en) Vehicle localisation
CN111352413A (zh) 全向传感器融合系统和方法及包括该融合系统的车辆
CN106093951A (zh) 基于超声波传感器阵列的物体跟踪方法
CN113361312A (zh) 检测对象的电子装置和方法
CN114509773A (zh) 在车辆中使用跨模态传感器的物体检测
CN115520212A (zh) 自动驾驶车辆、远程控制自动驾驶车辆的控制系统及方法
KR20180124713A (ko) 도로의 형상을 추정하는 전자 장치 및 그 동작 방법
CN110023781A (zh) 用于根据车辆周围环境的雷达签名确定车辆的准确位置的方法和设备
US11981343B2 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
US20220414151A1 (en) Method for Operating a Surroundings Sensing Device with Grid-Based Evaluation and with Fusion, and Surroundings Sensing Device
US20210223362A1 (en) Object detection device and vehicle control system including the same
KR20210106760A (ko) 라이더 스캔 데이터를 이용한 이동체 위치 추정 방법 및 장치
US20220413494A1 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
US20230138530A1 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
CN110706374B (zh) 运动状态预测方法、装置、电子设备及车辆
US20240203137A1 (en) Apparatus and method for correcting detection of 3d objects
US20230410489A1 (en) Method and system for sensor fusion in vehicle
KR20230118744A (ko) 자율 주행 차량 및 그를 원격 제어하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination