CN108762245B - 数据融合方法以及相关设备 - Google Patents

数据融合方法以及相关设备 Download PDF

Info

Publication number
CN108762245B
CN108762245B CN201810232615.5A CN201810232615A CN108762245B CN 108762245 B CN108762245 B CN 108762245B CN 201810232615 A CN201810232615 A CN 201810232615A CN 108762245 B CN108762245 B CN 108762245B
Authority
CN
China
Prior art keywords
vehicle
result
roadside
target object
sensing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810232615.5A
Other languages
English (en)
Other versions
CN108762245A (zh
Inventor
于欢
杨肖
宋永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810232615.5A priority Critical patent/CN108762245B/zh
Publication of CN108762245A publication Critical patent/CN108762245A/zh
Priority to PCT/CN2019/078646 priority patent/WO2019179417A1/zh
Priority to JP2020550669A priority patent/JP7386173B2/ja
Priority to EP19771774.7A priority patent/EP3754448A4/en
Priority to US17/021,911 priority patent/US20200409372A1/en
Application granted granted Critical
Publication of CN108762245B publication Critical patent/CN108762245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种数据融合方法以及相关设备，该方法包括：获得车辆感知数据，其中，所述车辆感知数据为车辆传感装置通过车辆传感器对感知范围内的道路环境进行侦测得到的；获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置通过路侧传感器对感知范围内的道路环境进行侦测得到的；通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。上述方案能够实现将路侧传感装置的感知范围和车辆传感装置的感知范围进行叠加，从而有效地扩展感知范围。

Description

数据融合方法以及相关设备
技术领域
本发明涉及自动驾驶领域，尤其涉及一种数据融合方法以及相关设备。
背景技术
道路环境的感知是实现自动驾驶的首要任务。自动驾驶车辆在感知到道路的环境之后，才能避让道路中的其他车辆或者行人等等，实现安全行驶。为了实现道路环境的感知，现有技术中的自动驾驶车辆通过安装在车上的车辆传感装置来对道路中的其他车辆或者行人等等进行侦测，从而感知道路的环境。但是，在现有技术中车辆传感装置的感知范围比较小，难以满足实现自动驾驶的要求。
发明内容
本申请实施例提供了一种数据融合方法以及相关设备，能够实现将路侧传感装置的感知范围和车辆传感装置的感知范围进行叠加，从而有效地扩展感知范围。
第一方面，提供了一种数据融合方法，可以应用于车辆设备侧或者路侧设备侧，包括：
获得车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的；
获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
结合第一方面，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为路侧结果集，所述路侧结果集用于表示所述路侧感知数据，resultv为车辆结果集，所述车辆结果集用于表示所述车辆感知数据，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
在一具体的实施例中，
Figure GDA0001806425420000011
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
更具体地，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
例如，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
需要说明的是，当传感装置包括多个传感器时，置信因子可以综合考虑多个传感器的置信度而得到，例如，可以通过加权或求平均等方式综合考虑多个传感器的置信度。
在一具体的实施例中，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个车辆结果单元中的任一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
在一具体的实施例中，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个路侧结果单元中的任一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
在一具体的实施例中，在所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得融合结果之前，所述方法还包括：
将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果；
所述将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果，包括：
根据所述匹配结果将所述车辆感知数据和所述路侧感知数据进行融合以获得所述第一融合结果。
更具体地，通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
例如，通过以下公式：S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为所述偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
其中，所述偏差网络Deviation用逆向传播BP神经网络进行表示。
在一具体实施例中，在所述将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果之后，所述方法还包括：
通过帧间回环和/或多帧关联的方式对所述匹配结果的置信度进行评价以获得评价结果；
根据所述评价结果对所述偏差网络进行调整。
更具体地，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
更具体地，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
在一具体实施例中，当应用于路侧设备侧时，所述获取车辆感知数据，包括：接收至少一台车辆设备的车辆感知数据；
所述在所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果之后，还包括：
向目标车辆设备发送所述第一融合结果，其中，所述目标车辆设备用于将所述目标车辆设备的车辆感知数据和所述第一融合结果进行融合以获得第二融合结果，所述目标车辆设备属于所述至少一台车辆设备。
第二方面，提供了一种数据融合方法，应用于车辆设备侧，包括如下步骤：
向路侧设备发送车辆感知数据，其中，所述车辆感知数据是车辆传感装置对感知范围内的道路环境进行侦测得到的；
接收所述路侧设备发送的第一融合结果，其中，所述第一融合结果为所述路侧设备过融合公式对至少一台车辆设备发送的所述车辆感知数据以及路侧感知数据进行融合得到的，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
将所述车辆感知数据和所述第一融合结果进行融合以获得第二融合结果。
结合第二方面，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为路侧结果集，所述路侧结果集用于表示所述路侧感知数据，resultv为车辆结果集，所述车辆结果集用于表示所述车辆感知数据，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
在一具体的实施例中，
Figure GDA0001806425420000031
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
更具体地，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
例如，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
需要说明的是，当传感装置包括多个传感器时，置信因子可以综合考虑多个传感器的置信度而得到，例如，可以通过加权或求平均等方式综合考虑多个传感器的置信度。
在一具体的实施例中，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个车辆结果单元中的任一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
在一具体的实施例中，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个路侧结果单元中的任一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
在一具体的实施例中，在所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得融合结果之前，所述方法还包括：
将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果；
所述将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果，包括：
根据所述匹配结果将所述车辆感知数据和所述路侧感知数据进行融合以获得所述第一融合结果。
更具体地，通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
例如，通过以下公式：S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为所述偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
其中，所述偏差网络Deviation用逆向传播BP神经网络进行表示。
在一具体实施例中，在所述将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果之后，所述方法还包括：
通过帧间回环和/或多帧关联的方式对所述匹配结果的置信度进行评价以获得评价结果；
根据所述评价结果对所述偏差网络进行调整。
更具体地，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
更具体地，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
第三方面，提供了一种融合装置，包括用于执行第一方面所述的方法的单元。
第四方面，提供了一种融合装置，包括用于执行第二方面所述的方法的单元。
第五方面，提供了一种融合装置，存储器以及与所述存储器耦合的处理器、通信模块，其中：所述通信模块用于发送或者接收外部发送的数据，所述存储器用于存储程序代码，所述处理器用于调用所述存储器存储的程序代码以执行第一方面任一项或者第二方面任一项描述的方法。
第六方面，提供了一种计算机可读存储介质，包括指令，当所述指令在融合装置上运行时，使得所述融合装置执行如第一方面任一项或者第二方面任一项所述的方法。
第七方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面任一项或者第二方面任一项所述的方法。
通过上述方案，将路侧传感装置侦测得到的路侧感知数据和车辆传感装置侦测得到的车辆感知数据进行融合，可以实现将路侧传感装置的感知范围和车辆传感装置的感知范围进行叠加，从而有效地扩展感知范围。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例涉及的一种应用场景的示意图；
图2是本申请实施例的涉及的传感装置的安装空间角度的示意图；
图3是本申请实施例的涉及的传感装置的安装坐标的示意图；
图4是本申请实施例的涉及的感知坐标系的示意图；
图5是本申请实施例的涉及的逆向传播神经网络的结构示意图；
图6是本申请实施例的涉及的帧间回环的示意图；
图7是本申请实施例的涉及的多帧关联的示意图；
图8是本申请实施例提供的第一种数据融合方法的流程示意图；
图9是本申请实施例提供的第二种数据融合方法的流程示意图；
图10是本申请实施例提供的第二种数据融合方法的流程示意图；
图11-14是本申请实施例提供的四种融合装置的结构示意图。
具体实施方式
图1是本申请实施例涉及的一种应用场景的示意图。如图1所示，道路的路边安装有至少一个路侧设备，道路中间行驶的车辆中至少一台车辆安装有车辆设备。其中：
路侧设备用于从路侧的角度对道路环境进行侦测以获得路侧感知数据。路侧设备可以配置有路侧传感装置，所述路侧传感装置可以包括至少一个路侧传感器，例如微波雷达、毫米波雷达等等，能够识别出感知范围内的目标物体(例如，车辆和行人)的位置、速度和大小等等路侧感知数据。路侧传感装置还可以包括摄像头等路侧传感器，摄像头除了能够识别出感知范围内的目标物体的位置、速度和大小等等路侧感知数据之外，还可以识别出感知范围内的目标物体的颜色(例如，车辆的颜色和行人身上衣物的颜色)等等路侧感知数据。可以理解，上述的几个具体例子仅仅是作为路侧传感器的举例，不应该构成具体限定。路侧传感装置可以单独使用所述路侧传感器中的任意一种，也可以同时使用所述路侧传感器中的任意几种。路侧感知数据可以采用路侧结果集的形式进行描述，路侧结果集可以包括多个路侧结果单元，每个路侧结果单元对应一个目标物体。举个例子说明，假设路侧结果单元可以表示为roadside(pr，vr，sr，cr)，其中，pr表示为路侧传感装置侦测到的目标物体的位置，vr表示为路侧传感装置侦测到的目标物体的速度，sr表示为路侧传感装置侦测到的目标物体的大小，cr表示为路侧传感装置侦测到的目标物体的颜色，则路侧结果集可以表示为resultr(roadside1，roadside2，…，roadsideM)，其中，M为路侧传感装置感知范围内目标物体的数量。更具体地，以矩阵的形式为例，路侧结果集可以表示为：
Figure GDA0001806425420000061
车辆设备用于从车辆的角度对道路环境进行侦测以获得车辆感知数据。车辆设备可以配置有车辆传感装置，所述车辆传感装置可以包括至少一个车辆传感器，例如组合惯导、微波雷达、毫米波雷达以及摄像头等等。不同的车辆传感器可以侦测不同的车辆感知数据，例如，车辆传感装置能够通过组合惯导识别出目标物体的位置、速度等等路侧感知数据。车辆传感装置能够通过微波雷达和毫米波雷达识别出感知范围内的目标物体的位置、速度和大小等等路侧感知数据。车辆传感装置能够通过摄像头识别出感知范围内的目标物体的位置、速度、大小和颜色等等路侧感知数据。可以理解，上述的几个具体例子仅仅是作为对车辆传感器的举例，不应该构成具体限定。车辆传感装置可以单独使用所述车辆传感器中的任意一种，也可以同时使用所述车辆传感器中的任意几种。车辆感知数据可以采用车辆结果集的形式进行描述，车辆结果集可以包括多个车辆结果单元，每个车辆结果单元对应一个目标物体，车辆结果单元从多维角度对目标物体的特征进行描述，例如，位置、速度、大小和颜色等等。举个例子说明，假设车辆结果单元可以表示为vehicle(pv，vv，sv，cv)，其中，pv表示为车辆传感装置侦测到的目标物体的位置，vv表示为车辆传感装置侦测到的目标物体的速度，sv表示为车辆传感装置侦测到的目标物体的大小，cv表示为车辆传感装置侦测到的目标物体的颜色，则车辆结果集可以表示为resultv(vehicle1，vehicle2，…，vehicleN)，其中，N为车辆传感装置感知范围内目标物体的数量。更具体地，以矩阵的形式为例，车辆结果集可以表示为：
Figure GDA0001806425420000071
在本申请实施例中，路侧设备和车辆设备可以通过无线的方式进行连接，从而实现数据的通信。
在本申请实施例中，路侧设备和/或车辆设备可以通过融合公式将路侧传感装置在感知范围内侦测到的路侧感知数据和车辆传感装置在感知范围内侦测到的车辆感知数据进行数据融合以获得第一融合结果。以路侧感知数据以路侧结果集表示和车辆感知数据以车辆结果集表示为例，融合公式可以表示为y＝f(resultr，resultv)，其中，resultr为路侧结果集，resultv为车辆结果集，y为第一融合结果。f用于根据路侧结果集和车辆结果集映射出第一融合结果。
在一具体的实施方式中，函数f可以表示为：
Figure GDA0001806425420000072
其中，wr为路侧传感装置的置信因子，wr可以是多维数据，即wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为路侧传感装置感知范围内目标物体的数量，wri为路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为小于M的自然数。wv为车辆传感装置的置信因子，wv可以是多维数据，即wv＝(wv1，wv2，…，wvN)，N为车辆传感装置感知范围内目标物体的数量，wvj为车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为小于N的自然数。可以理解，路侧传感装置的置信因子可以划分得更细，以使得路侧结果单元中不同的元素分别对应不同的置信因子。同理，车辆传感装置的置信因子也可以划分得更细，以使得车辆结果单元中不同的元素分别对应不同的置信因子。具体地，
当
Figure GDA0001806425420000081
时，
Figure GDA0001806425420000082
当
Figure GDA0001806425420000083
时，
Figure GDA0001806425420000084
不难理解，若路侧传感装置的置信因子与车辆传感装置的置信因子的比值越大，则路侧感知数据在融合结果中所占的比重与车辆感知数据在融合结果中所占的比重的比值越大。简单来说，哪个传感装置的置信因子的值比较大，则哪个传感装置侦测得到的感知数据在融合结果中所占的比重比较大。
需要说明的是，置信因子可以根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定。其中，传感装置参数与传感装置本身的初始精度、安装空间角度以及安装坐标有关。目标物体的感知距离为目标物体与传感装置在感知坐标系中的距离。目标物体的感知角度为目标物体与传感装置在感知坐标系中构成的角度。需要说明的是，当传感装置包括多个传感器时，置信因子可以通过加权或求平均等方式综合考虑多个传感器的置信度而得到。在一具体的实施例中，置信因子可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为传感装置参数，Ri为感知距离，θj为感知角度，g为通过传感装置标定得到的标定参数表。其中，标定参数表可以通过在传感器装置标定过程中使用大量已知目标物体的数据进行反推得到。不难理解，若传感装置参数的精度越高，则置信因子的值越大，若传感装置参数的精度越低，则置信因子的值越小；若感知距离越小，则置信因子的值越大，若感知距离越大，则置信因子的值越小；若感知角度越小，则置信因子的值越大，若感知角度越大，则置信因子的值越小。
在一具体的实施例中，传感装置参数可以根据如下公式得到：Sk＝h(S0，A，P)，其中，Sk为传感装置参数，S0为传感装置参数的初始精度，A为传感装置的安装空间角度，即，传感装置安装完毕之后相对于道路的地面的空间角度，P为传感装置的安装坐标，即，传感装置安装完毕之后相对于道路的地面的三维坐标。
可选地，传感装置的安装空间角度可以定义为：A＝(yaw，pitch，roll)，其中，yaw为传感装置相对于道路的地面的偏航角，pitch为传感装置相对于道路的地面的俯仰角，roll为为传感装置相对于道路的地面的翻滚角。如图2所示，以相对于道路的地面建立右手笛卡尔坐标为例，偏航角yaw可以定义为传感装置绕着y轴旋转得到的角度，俯仰角pitch可以定义为传感装置绕着x轴旋转得到的角度，翻滚角roll可以定义为传感装置绕着z轴旋转得到的角度。
可选地，传感器装置的安装坐标可以定义为：P＝(x，y，h)，如图3所示，x和y表示传感装置投影到道路的地面的坐标，h表示传感装置至道路的地面的垂直距离。
在一具体的实施例中，目标物体的感知距离和目标物体的感知角度可以通过如下的方式得到：如图4所示，以传感装置为中心，将传感装置的感知范围划分为不同距离，不同角度的扇形区域，从而构建感知坐标系。传感装置根据目标物体落入感知坐标系中的扇形区域确定目标物体的感知距离Ri和目标物体的感知角度θj。
在将路侧感知数据和车辆感知数据进行数据融合以获得融合结果之前，路侧设备和/或车辆设备需要将路侧感知数据和车辆感知数据进行匹配以获得匹配结果，以使得路侧设备和/或车辆设备可以根据匹配结果将将路侧感知数据和车辆感知数据进行数据融合。
下面通过举例子说明将路侧感知数据和车辆感知数据进行匹配的含义：假设以路侧结果集形式表示的路侧感知数据为：resultr(roadside1，roadside2，…，roadsideM)，以车辆结果集形式表示的车辆感知数据为：resultv(vehicle1，vehicle2，…，vehicleN)，M为路侧传感装置感知范围内目标物体的数量，N为车辆传感装置感知范围内目标物体的数量，M>N。其中，roadside1为路侧传感装置对目标物体1进行侦测得到的路侧结果单元，roadside2为路侧传感装置对目标物体1进行侦测得到的路侧结果单元，…，roadsideM为路侧传感装置对目标物体M进行侦测得到的路侧结果单元。vehicle1为车辆传感装置对目标物体1进行侦测得到的车辆结果单元，vehicle2为车辆传感装置对目标物体1进行侦测得到的车辆结果单元，…，vehicleN为车辆传感装置对目标物体N进行侦测得到的车辆结果单元。因此，roadside1和vehicle1都是对目标物体1进行侦测所得到的结果单元，两者之间存在匹配关系；roadside2和vehicle2都是对目标物体2进行侦测所得到的结果单元，两者之间存在匹配关系；…；roadsideN和vehicleN都是对目标物体N进行侦测所得到的结果单元，两者之间存在匹配关系。所以，将路侧感知数据和车辆感知数据进行匹配就是将路侧感知数据中路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系都找出来。
在本申请实施例中，路侧设备和/或车辆设备可以通过偏差网络将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来。具体地，将路侧结果单元和车辆结果单元作为偏差网络的输入，则偏差网络将输出路侧结果单元和车辆结果单元之间的匹配结果。其中，如果偏差网络输出的匹配结果为两者匹配，则可以认为路侧结果单元和车辆结果单元之间存在匹配关系，如果偏差网络输出的匹配结果为两者不匹配，则可以认为路侧结果单元和车辆结果单元之间不存在匹配关系。继续以上述的例子为例，如果将roadside1和vehicle1作为偏差网络的输入，偏差网络输出的偏差结果为两者匹配，则可以确定roadside1和vehicle1之间存在匹配关系；如果将roadside1和vehicle2作为偏差网络的输入，偏差网络输出的偏差结果为两者不匹配，则可以确定roadside1和vehicle2之间不存在匹配关系。
在本申请实施例中，可以通过以下公式：S＝Deviation(roadsidei，vehiclej)将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
以roadsidei＝(pri，vri，sri，cri)，vehiclej＝(pvj，vvj，svj，cvj)为例，在一具体的实施方式中，偏差网络Deviation可以用如图5所示的的逆向传播(back propagation，BP)神经网络进行表示：
其中，Δpij为位置偏差值，Δpij＝fabs(pri-pvj)，pri为路侧传感装置侦测到的目标物体i的位置，pvj为车辆传感器侦测到的目标物体j的位置，fabs为求绝对值函数；
Δvij为速度偏差值，Δvij＝fabs(vri-vvj)，vri为路侧传感装置侦测到的目标物体i的速度，vvj为车辆传感装置侦测到的目标物体j的速度；
Δsij为大小偏差值，Δsij＝fabs(sri-svj)，sri为路侧传感装置侦测到的目标物体i的大小，svj为车辆传感装置侦测到的目标物体j的大小；
Δcij为颜色偏差值，Δcij＝fabs(cri-cvj)，cri为路侧传感装置侦测到的目标物体i的颜色，cvj为车辆传感装置侦测到的目标物体j的颜色；
Pp为位置偏差因子，
Figure GDA0001806425420000101
Figure GDA00018064254200001015
为路侧传感装置侦测到的目标物体i的位置对应的置信因子，
Figure GDA0001806425420000102
为车辆传感装置侦测到的目标物体j的位置对应的置信因子；
Pv为速度偏差因子，
Figure GDA0001806425420000103
Figure GDA0001806425420000104
为路侧传感装置侦测到的目标物体i的速度对应的置信因子，
Figure GDA0001806425420000105
为车辆传感装置侦测到的目标物体j的速度对应的置信因子；
Ps为大小偏差因子，
Figure GDA0001806425420000106
Figure GDA0001806425420000107
为路侧传感装置侦测到的目标物体i的大小对应的置信因子，
Figure GDA0001806425420000108
为车辆传感装置侦测到的目标物体j的大小对应的置信因子；
Pc为速度偏差因子，
Figure GDA0001806425420000109
Figure GDA00018064254200001010
为路侧传感装置侦测到的目标物体i的颜色对应的置信因子，
Figure GDA00018064254200001011
为车辆传感装置侦测到的目标物体j的颜色对应的置信因子；
Figure GDA00018064254200001012
为激活函数，其中，激活函数可以是带泄露的修正线性单元(Leaky RectifiedLinear Unit，LReLU)、参数化修正线性单元(Parameteric Rectified Linear Unit，PReLU)、随机带泄露的修正线性单元(Randomized Leaky Rectified Linear Unit，RReLU)、ReLUSoftplus函数、Softsign函数、Sigmoid函数、tanh函数。
需要说明的是，
Figure GDA00018064254200001013
以及
Figure GDA00018064254200001014
的求解方法可以参见上文中置信因子的相关段落，此处不再展开描述。
在上述例子中，偏差网络是以BP神经网络为例进行说明，在其他的实施方式中，偏差网络还可以是长短期记忆网络(Long Short-Term Memory，LSTM)，残差网络(Residential Networking，ResNet)，循环神经网络(Recurrent Neural Networks，RNN)等等，此处不作具体限定。
上述内容仅仅是利用了单帧的路侧感知数据和车辆感知数据实现匹配，匹配结果的置信度不高。为了解决上述问题，可以考虑利用两帧甚至多帧数路侧感知数据和车辆感知数据实现匹配，以提高匹配结果的置信度。进一步地，路侧设备和/或车辆设备还可以通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价以获得评价结果，并根据评价结果对偏差网络进行调整。
在本申请实施例中，帧间回环主要是根据相邻帧的路侧感知数据和车辆感知数据之间交叉匹配得到的匹配结果进行计算得到的。以一个结果单元为例，帧间回环是主要是根据相邻帧的帧内匹配结果以及帧间匹配结果得到。其中，帧内匹配结果为将不同的传感装置在同一帧内对同一目标物体进行侦测得到的结果单元进行匹配得到的匹配结果。帧间匹配结果为将相同的传感装置在相邻帧内对同一目标物体进行侦测得到的结果单元进行匹配得到的匹配结果。
以路侧传感装置和车辆传感装置为例，如图6所示，帧间回环可以定义为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果。其中，第一匹配结果为第i帧的帧内匹配结果，即，路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第二匹配结果为车辆传感装置的帧间匹配结果，即，车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第三匹配结果为第i+1帧的帧内匹配结果，即，车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。第四匹配结果为路侧传感装置的帧间匹配结果，即，路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
在本申请实施例中，多帧关联主要根据多个连续的帧的帧间回环得到。在一具体的实施方式中，如图7所示，多帧关联可以定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…，等等。
不难理解，路侧设备和/或车辆设备将数据融合的好处至少包括以下两种：
第一种，可以实现将路侧传感装置的感知范围和车辆传感装置的感知范围进行叠加，从而有效扩展路侧传感装置和/或车辆传感装置的感知范围。举个例子说明，假设路侧传感装置在感知范围内侦测到的目标物体的数量为3个(目标物体1、目标物体2、目标物体3)，车辆传感装置的感知范围内侦测到的目标物体的数量为2个(目标物体3、目标物体4)，则在车辆传感装置融合了路侧感知数据和车辆感知数据之后，融合结果的感知范围包括4个目标啊物体(目标物体1、目标物体2、目标物体3、目标物体4)。
第二种，可以实现使用高置信度的数据对低置信度的数据进行纠正，从而有效地提高路侧传感装置和/或车辆传感装置的数据的置信度。举个例子说明，假设路侧传感装置测量得到的目标物体的速度的置信度低于车辆传感装置测量得到的目标物体的速度的置信度，则路侧传感装置可以使用车辆传感装置测量得到的目标物体的速度对自身测量得到的目标物体的速度进行纠正，从而获得高置信度的数据。
文章的上述内容重点介绍了如何实现将路侧传感装置在感知范围内侦测到的路侧感知数据和车辆传感装置在感知范围内侦测到的车辆感知数据进行数据融合的方案。下面将从数据融合方发以及相关设备的角度介绍路侧传感装置和/或车辆传感装置如何利用上述的数据融合方案实现扩展感知范围。
如图8所示，本申请实施例提供的第一种数据融合方法的流程示意图。如图8所示，本申请实施例的数据融合方法，具体包括如下步骤：
S101：车辆设备获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置通过车辆传感器对感知范围内的道路环境进行侦测以获得车辆感知数据。
在本申请实施例中，车辆传感设备可以配置有车辆传感装置，所述车辆传感装置至少包括一个车辆传感器，例如组合惯导、微波雷达、毫米波雷达以及摄像头等等，能够识别出感知范围内的目标物体的车辆感知数据。其中，车辆感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为对车辆传感器的举例，不应该构成具体限定。车辆传感装置可以单独使用所述车辆传感器中的任意一种，也可以同时使用所述车辆传感器中的任意几种。
S102：路侧设备获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置通过路侧传感器对感知范围内的道路环境进行侦测得到的。
在本申请实施例中，路侧设备可以配置有路侧传感装置，所述路侧传感装置至少包括一个路侧传感器，例如微波雷达、毫米波雷达等等，能够识别出感知范围内的目标物体的路侧感知数据。其中，路侧感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为路侧传感器的举例，不应该构成具体限定。路侧传感装置可以单独使用所述路侧传感器中的任意一种，也可以同时使用所述路侧传感器中的任意几种。
S103：路侧设备向车辆设备发送路侧感知数据。相应地，车辆设备接收路侧设备发送的路侧感知数据。
S104：车辆设备将路侧感知数据和车辆感知数据进行匹配以获得匹配结果。
在本申请实施例中，车辆设备可以通过偏差网络将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来。具体地，将路侧结果单元和车辆结果单元作为偏差网络的输入，则偏差网络将输出路侧结果单元和车辆结果单元之间的匹配结果。
在本申请实施例中，可以通过以下公式：S＝Deviation(roadsidei，vehiclej)将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
S105：车辆设备通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价，并根据评价结果调整偏差网络。
在本申请实施例中，帧间回环可以定义为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果。其中，第一匹配结果为第i帧的帧内匹配结果，即，路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第二匹配结果为车辆传感装置的帧间匹配结果，即，车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第三匹配结果为第i+1帧的帧内匹配结果，即，车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。第四匹配结果为路侧传感装置的帧间匹配结果，即，路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
在本申请实施例中，多帧关联主要根据多个连续的帧的帧间回环得到。在一具体的实施方式中，多帧关联可以定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…，等等。
S106：车辆设备通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在本申请实施例中，车辆设备可以通过融合公式将路侧传感装置在感知范围内侦测到的路侧感知数据和车辆传感装置在感知范围内侦测到的车辆感知数据进行数据融合以获得第一融合结果。
在本申请实施例中，融合公式可以表示为y＝f(resultr，resultv)，其中，resultr为路侧结果集，resultv为车辆结果集，y为第一融合结果。f用于根据路侧结果集和车辆结果集映射出第一融合结果。
在一具体的实施方式中，函数f可以表示为：
Figure GDA0001806425420000131
其中，wr为路侧传感装置的置信因子，wr可以是多维数据，即wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为路侧传感装置感知范围内目标物体的数量，wri为路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为小于M的自然数。wv为车辆传感装置的置信因子，wv可以是多维数据，即wv＝(wv1，wv2，…，wvN)，N为车辆传感装置感知范围内目标物体的数量，wvj为车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为小于N的自然数。
为了简便起见，本申请实施例不再对路侧感知数据和车辆感知数据的融合进行详细的介绍，详情请参见文章开头关于路侧感知数据和车辆感知数据的融合的介绍。
如图9所示，本申请实施例提供的第二种数据融合方法的流程示意图。如图9所示，本申请实施例的数据融合方法具体包括如下步骤：
S201：路侧设备获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置通过路侧传感器对感知范围内的道路环境进行侦测得到的。
在本申请实施例中，路侧设备可以配置有路侧传感装置，所述路侧传感装置包括至少一个路侧传感器，例如微波雷达、毫米波雷达等等，能够识别出感知范围内的目标物体的路侧感知数据。其中，路侧感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为路侧传感器的举例，不应该构成具体限定。路侧传感装置可以单独使用所述路侧传感器中的任意一种，也可以同时使用所述路侧传感器中的任意几种。
S202：车辆设备获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置通过车辆传感器对感知范围内的道路环境进行侦测以获得车辆感知数据。
在本申请实施例中，车辆设备可以配置有车辆传感装置，所述车辆传感装置至少包括一个车辆传感器，例如组合惯导、微波雷达、毫米波雷达以及摄像头等等，能够识别出感知范围内的目标物体的车辆感知数据。其中，车辆感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为对车辆传感器的举例，不应该构成具体限定。车辆传感装置可以单独使用所述车辆传感器中的任意一种，也可以同时使用所述车辆传感器中的任意几种。
S203：车辆设备向路侧设备发送车辆感知数据。相应地，路侧设备接收车辆设备发送的车辆感知数据。
S204：路侧设备将路侧感知数据和车辆感知数据进行匹配以获得匹配结果。
在本申请实施例中，路侧传感装置可以通过偏差网络将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来。具体地，将路侧结果单元和车辆结果单元作为偏差网络的输入，则偏差网络将输出路侧结果单元和车辆结果单元之间的匹配结果。
在本申请实施例中，可以通过以下公式：S＝Deviation(roadsidei，vehiclej)将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
S205：路侧设备通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价以获得评价结果，并根据评价结果调整偏差网络。
在本申请实施例中，帧间回环可以定义为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果。其中，第一匹配结果为第i帧的帧内匹配结果，即，路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第二匹配结果为车辆传感装置的帧间匹配结果，即，车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第三匹配结果为第i+1帧的帧内匹配结果，即，车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。第四匹配结果为路侧传感装置的帧间匹配结果，即，路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
在本申请实施例中，多帧关联主要根据多个连续的帧的帧间回环得到。在一具体的实施方式中，多帧关联可以定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…，等等。
S206：路侧设备通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在本申请实施例中，路侧传感装置可以通过融合公式将路侧传感装置在感知范围内侦测到的路侧感知数据和车辆传感装置在感知范围内侦测到的车辆感知数据进行数据融合以获得第一融合结果。
在本申请实施例中，融合公式可以表示为y＝f(resultr，resultv)，其中，resultr为路侧结果集，resultv为车辆结果集，y为第一融合结果。f用于根据路侧结果集和车辆结果集映射出第一融合结果。
在一具体的实施方式中，函数f可以表示为：
Figure GDA0001806425420000151
其中，wr为路侧传感装置的置信因子，wr可以是多维数据，即wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为路侧传感装置感知范围内目标物体的数量，wri为路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为小于M的自然数。wv为车辆传感装置的置信因子，wv可以是多维数据，即wv＝(wv1，wv2，…，wvN)，N为车辆传感装置感知范围内目标物体的数量，wvj为车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为小于N的自然数。
为了简便起见，本申请实施例不再对路侧感知数据和车辆感知数据的融合进行详细的介绍，详情请参见文章开头关于路侧感知数据和车辆感知数据的融合的介绍。
如图10所示，本申请实施例提供的第三种数据融合方法的流程示意图。如图10所示，本申请实施例的数据融合方法具体包括如下步骤：
S301：路侧设备获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置通过路侧传感器对感知范围内的道路环境进行侦测得到的。
在本申请实施例中，路侧设备可以配置有路侧传感装置，所述路侧传感装置包括至少一个路侧传感器，例如微波雷达、毫米波雷达等等，能够识别出感知范围内的目标物体的路侧感知数据。其中，路侧感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为路侧传感器的举例，不应该构成具体限定。路侧传感装置可以单独使用所述路侧传感器中的任意一种，也可以同时使用所述路侧传感器中的任意几种。
S302：至少一台车辆设备获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置通过车辆传感器对感知范围内的道路环境进行侦测以获得车辆感知数据。
在本申请实施例中，车辆设备可以配置有车辆传感装置，所述车辆传感装置包括至少一个车辆传感器，例如组合惯导、微波雷达、毫米波雷达以及摄像头等等，能够识别出感知范围内的目标物体的车辆感知数据。其中，车辆感知数据可以包括目标物体的位置、速度、大小以及颜色等等。
可以理解，上述的几个具体例子仅仅是作为对车辆传感器的举例，不应该构成具体限定。车辆传感装置可以单独使用所述车辆传感器中的任意一种，也可以同时使用所述车辆传感器中的任意几种。
S303：至少一台车辆设备向路侧设备发送车辆感知数据。相应地，路侧设备接收至少一台车辆设备发送的车辆感知数据。
S304：路侧设备将路侧感知数据和至少一台车辆设备发送的车辆感知数据进行匹配以获得匹配结果。
在本申请实施例中，路侧设备可以通过偏差网络将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来。具体地，将路侧结果单元和车辆结果单元作为偏差网络的输入，则偏差网络将输出路侧结果单元和车辆结果单元之间的匹配结果。
在本申请实施例中，可以通过以下公式：S＝Deviation(roadsidei，vehiclej)将路侧感知数据中的路侧结果单元和车辆感知数据中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
S305：路侧设备通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价以获得评价结果，并根据评价结果调整偏差网络。
在本申请实施例中，帧间回环可以定义为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果。其中，第一匹配结果为第i帧的帧内匹配结果，即，路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第二匹配结果为车辆传感装置的帧间匹配结果，即，车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果。第三匹配结果为第i+1帧的帧内匹配结果，即，车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。第四匹配结果为路侧传感装置的帧间匹配结果，即，路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
在本申请实施例中，多帧关联主要根据多个连续的帧的帧间回环得到。在一具体的实施方式中，多帧关联可以定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…，等等。
S306：路侧设备通过融合公式对所述至少一台车辆设备发送的车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在本申请实施例中，路侧设备可以通过融合公式将路侧传感装置在感知范围内侦测到的路侧感知数据和车辆传感装置在感知范围内侦测到的车辆感知数据进行数据融合以获得第一融合结果。
在本申请实施例中，融合公式可以表示为y＝f(resultr，resultv)，其中，resultr为路侧结果集，resultv为车辆结果集，y为第一融合结果。f用于根据路侧结果集和车辆结果集映射出第一融合结果。
在一具体的实施方式中，函数f可以表示为：
Figure GDA0001806425420000171
其中，wr为路侧传感装置的置信因子，wr可以是多维数据，即wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为路侧传感装置感知范围内目标物体的数量，wri为路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为小于M的自然数。wv为车辆传感装置的置信因子，wv可以是多维数据，即wv＝(wv1，wv2，…，wvN)，N为车辆传感装置感知范围内目标物体的数量，wvj为车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为小于N的自然数。
在本申请实施例中，第一融合结果可以是路侧传感装置通过融合公式对一个或者多个车辆传感装置发送的车辆感知数据和本身的路侧感知数据进行融合得到的，此处不作具体限定。
为了简便起见，本申请实施例不再对路侧感知数据和车辆感知数据的融合进行详细的介绍，详情请参见文章开头关于路侧感知数据和车辆感知数据的融合的介绍。
S307：路侧设备将第一融合结果向目标车辆设备发送。相应地，目标车辆设备接收路侧设备发送的第一融合结果。其中，所述目标车辆设备属于所述至少一台车辆设备。
S308：目标车辆设备将第一融合结果和目标车辆设备的车辆感知数据进行融合以获得第二融合结果。
在本申请实施例中，目标车辆设备可以通过融合公式将第一融合结果和目标车辆设备的车辆感知数据进行数据融合以获得第二融合结果。其中，第一融合结果和车辆感知数据进行融合的过程与路侧感知数据和车辆感知数据进行融合的过程类似，此处不再展开描述。
在上述方案中，路侧设备可以将多个车辆传感装置发送的车辆感知数据和本身的路侧感知数据进行融合以得到感知范围更大的第一融合结果(这里的感知范围为路侧传感装置的感知范围和多个车辆传感装置的感知范围的叠加)，然后，再将第一融合结果发送给目标车辆设备，以供目标车辆设备将第一融合结果和车辆感知数据进行融合以扩大车辆传感装置的感知范围。
基于同一发明构思，本申请实施例提供了一种融合装置，该设备可以应用在车辆设备中，也可以应用于路侧设备中。该融合装置可以芯片、可编程组件、电路组件、设备(即，融合装置即为车辆设备或者路侧设备)或者系统等等，此处不作具体限定。
如图11所示，以融合装置为车辆设备为例，融合装置100包括：传感器系统104、控制系统106、外围设备108、电源110以及计算装置112。计算装置112可包括处理器113和存储器114。计算装置112可以是融合装置100的控制器或控制器的一部分。存储器114可包括处理器113可运行的指令115，并且还可存储地图数据116。融合装置100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源110可向融合装置100的所有组件提供电力。计算装置111可被配置为从传感器系统104、控制系统106和外围设备108接收数据并对它们进行控制。
在其它示例中，融合装置100可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分。
传感器系统104可包括用于感测关于融合装置100感知范围内的道路环境的若干个传感器。如图所示，传感器系统的传感器包括GPS126、IMU(Inertial Measurement Unit，惯性测量单元)128、无线电检测和雷达测距(RADAR)单元130、激光测距(LIDAR)单元132、相机134以及用于为修改传感器的位置和/或朝向的致动器136。
GPS模块126可以为用于估计车辆的地理位置的任何传感器。为此，GPS模块126可能包括收发器，基于卫星定位数据，估计融合装置100相对于地球的位置。在示例中，计算装置111可用于结合地图数据116使用GPS模块126来估计融合装置100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU 128可以是用于基于惯性加速度及其任意组合来感测车辆的位置和朝向变化。在一些示例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
RADAR单元130可以被看作物体检测系统，其用于使用无线电波来检测目标物体的特性，诸如物体的距离、高度、方向或速度。RADAR单元130可被配置为传送无线电波或微波脉冲，其可从波的路线中的任何物体反弹。物体可将波的一部分能量返回至接收器(例如，碟形天线或天线)，该接收器也可以是RADAR单元130的一部分。RADAR单元130还可被配置为对接收到的信号(从物体反弹)执行数字信号处理，并且可被配置为识别目标物体。
其它类似于RADAR的系统已用在电磁波谱的其它部分上。一个示例是LIDAR(光检测和测距)，其可使用来自激光的可见光，而非无线电波。
LIDAR单元132包括传感器，该传感器使用光感测或检测融合装置100感知范围内的道路环境中的目标物体。通常，LIDAR是可通过利用光照射目标来测量到目标物体的距离或目标物体的其它属性的光学遥感技术。作为示例，LIDAR单元132可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和用于为接收激光脉冲的反射的检测器。例如，LIDAR单元132可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，LIDAR单元132可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。
在示例中，LIDAR单元132可被配置为使用紫外光(UV)、可见光或红外光对物体成像，并且可用于广泛的目标物体，包括非金属物体。在一个示例中，窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。
在示例中，从约10微米(红外)至约250纳米(UV)的范围中的波长可被使用。光通常经由后向散射被反射。不同类型的散射被用于不同的LIDAR应用，诸如瑞利散射、米氏散射和拉曼散射以及荧光。基于不同种类的后向散射，作为示例，LIDAR可因此被称为瑞利激光RADAR、米氏LIDAR、拉曼LIDAR以及钠/铁/钾荧光LIDAR。波长的适当组合可允许例如通过寻找反射信号的强度的依赖波长的变化对物体进行远程地图绘制。
使用扫描LIDAR系统和非扫描LIDAR系统两者可实现三维(3D)成像。“3D选通观测激光RADAR(3D gated viewing laser radar)”是非扫描激光测距系统的示例，其应用脉冲激光和快速选通相机。成像LIDAR也可使用通常使用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)和CCD(Charge Coupled Device，混合互补金属氧化物半导体/电荷耦合器件)制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中，每个像素可通过以高速解调或选通来被局部地处理，以使得阵列可被处理成表示来自相机的图像。使用此技术，可同时获取上千个像素以创建表示LIDAR单元132检测到的物体或场景的3D点云。
点云可包括3D坐标系统中的一组顶点。这些顶点例如可由X、Y、Z坐标定义，并且可表示目标物体的外表面。LIDAR单元132可被配置为通过测量目标物体的表面上的大量点来创建点云，并可将点云作为数据文件输出。作为通过LIDAR单元132的对物体的3D扫描过程的结果，点云可用于识别并可视化目标物体。
在一个示例中，点云可被直接渲染以可视化目标物体。在另一示例中，点云可通过可被称为曲面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3D曲面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场，以及通过移动立方体算法重建这样定义的隐式曲面。
摄像头134可以为用于获取车辆所位于的道路环境的图像的任何摄像头(例如，静态相机、视频相机等)。为此，摄像头可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。摄像头134可以是二维检测器，或可具有三维空间范围。在一些示例中，摄像头134例如可以是距离检测器，其被配置为生成指示从摄像头134到环境中的若干点的距离的二维图像。为此，摄像头134可使用一种或多种距离检测技术。例如，摄像头134可被配置为使用结构光技术，其中融合装置100利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用摄像头134检测从物体的预定光图案的反射。基于反射的光图案中的畸变，融合装置100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
致动器136例如可被配置为修改传感器的位置和/或朝向。传感器系统104可额外地或可替换地包括除了所示出的那些以外的组件。
控制系统106可被配置为控制融合装置100及其组件的操作。为此，控制系统106可包括传感器融合算法144，计算机视觉系统146，导航或路线控制(pathing)系统148以及避障系统150。
传感器融合算法144可以包括例如计算装置111可运行的算法(或者存储算法的计算机程序产品)。传感器融合算法144可被配置为接受来自传感器104的数据作为输入。所述数据可包括例如表示在传感器系统104的传感器处感测到的信息的数据。传感器融合算法144可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法144还可被配置为基于来自传感器系统104的数据来提供各种评价，包括例如对车辆所位于的环境中的个体物体和/或特征的评估、对具体情形的评估和/或基于特定情形的可能影响的评估。其它评价也是可能的。
计算机视觉系统146可以是被配置为处理和分析由相机134捕捉的图像以便识别融合装置100所位于的环境中的物体和/或特征的任何系统，所述物体和/或特征包括例如车道信息、交通信号和障碍物。为此，计算机视觉系统146可使用物体识别算法、从运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪或其它计算机视觉技术。在一些示例中，计算机视觉系统146可以额外地被配置为地图绘制环境、跟随物体、估计物体的速度，等等。
导航和路线控制系统148可以是被配置为确定车辆的驾驶路线的任何系统。导航和路线控制系统148可以额外地被配置为在车辆处于操作中的同时动态地更新驾驶路线。在一些示例中，导航和路线控制系统148可被配置为结合来自传感器融合算法144、GPS模块126和一个或多个预定地图的数据以便为车辆确定驾驶路线。
避障系统150可以是被配置为识别、评估和避免或者以其它方式越过车辆所位于的环境中的障碍物的任何系统。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备108可被配置为允许融合装置100与外部传感器、其它车辆和/或用户交互。为此，外围设备108可包括例如无线通信系统152、触摸屏154、麦克风156和/或扬声器158。
无线通信系统152可以是被配置为直接地或经由通信网络无线耦合至一个或多个其它车辆、传感器或其它实体的任何系统。为此，无线通信系统152可包括用于直接或通过空中接口与其它车辆、传感器或其它实体通信的天线和芯片集。芯片集或整个无线通信系统152可被布置为根据一个或多个其它类型的无线通信(例如，协议)来通信，所述无线通信诸如蓝牙、IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(诸如GSM、CDMA、UMTS(Universal Mobile Telecommunications System，通用移动通信系统)、EV-DO、WiMAX或LTE(Long Term Evolution，长期演进))、紫蜂、DSRC(Dedicated ShortRange Communications，专用短程通信)以及RFID(Radio Frequency Identification，射频识别)通信，等等。无线通信系统152也可采取其它形式。
触摸屏154可被用户用来向融合装置100输入命令。为此，触摸屏154可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一者。触摸屏154可能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏154可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏154也可采取其它形式。
麦克风156可被配置为从融合装置100的用户接收音频(例如，声音命令或其它音频输入)。类似地，扬声器158可被配置为向融合装置100的用户输出音频。
外围设备108可以额外地或可替换地包括除了所示出的那些以外的组件。
电源110可被配置为向融合装置100的一些或全部组件提供电力。为此，电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源110和能量源120可一起实现，如一些全电动车中那样。
包括在计算装置111中的处理器113可包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理器等)。就处理器113包括多于一个处理器而言，这种处理器可单独工作或组合工作。计算装置111可实现基于通过用户接口112接收的输入控制车辆100的功能。
存储器114进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，并且存储器114可全部或部分与处理器113集成。存储器114可包含可由处理器113运行的指令115(例如，程序逻辑)，以运行各种车辆功能，包括本文中描述的功能或方法中的任何一个。
融合装置100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，融合装置100的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。
在实施例一中，融合装置100在处理器113内执行如下指令：
获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的；
获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在实施例二中，融合装置100在处理器113内执行如下指令：
向路侧设备发送车辆感知数据，其中，所述车辆感知数据是车辆传感装置通过车辆传感器对感知范围内的道路环境进行侦测得到的；
接收路侧设备发送的第一融合结果，其中，所述第一融合结果为所述路侧设备通过融合公式将至少一台车辆设备的车辆感知数据以及路侧感知数据进行融合得到的，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
将所述车辆感知数据和所述第一融合结果进行融合以获得第二融合结果。
结合实施例一或者实施例二，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为路侧结果集，所述路侧结果集用于表示所述路侧感知数据，resultv为车辆结果集，所述车辆结果集用于表示所述车辆感知数据，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
在一具体的实施方式中，
Figure GDA0001806425420000211
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
更具体地，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
例如，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
在一具体的实施方式中，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个车辆结果单元中的其中一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
在一具体的实施方式中，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个路侧结果单元中的其中一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
结合实施例一或者实施例二，在所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果之前，将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果，并根据匹配结果将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在一具体的实施方式中，通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
更具体地，所述通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来，具体包括：
通过以下公式：S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
在一具体的实施方式中，在所述将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果之后，通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价以获得评价结果，并根据评价结果对偏差网络进行调整。
具体地，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
具体地，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
需要说明的，图11实施例中未提及的内容可参考图8-10对应的实施例，这里不再赘述。
如图12所示，当融合装置为路侧设备为例，融合装置200包括、RF(RadioFrequency，射频)电路210、存储器220、其他输入设备230、显示屏240、传感器系统250、I/O子系统270、处理器280、以及电源290等部件。本领域技术人员可以理解，图12中示出的路侧传感装置结构并不构成对路侧传感装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领领域技术人员可以理解显示屏240可用于显示用户界面(UI，User Interface)。
下面结合图12对融合装置200的各个构成部件进行具体的介绍：
RF电路210可用于收发数据。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路210还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division MultipleAccess，码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器220可包括处理器280可运行的指令222，并且还可存储地图数据224。
其他输入设备230可用于接收输入的数字或字符信息，以及产生与融合装置200的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备230可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备230与I/O子系统270的其他输入设备控制器271相连接，在其他设备输入控制器271的控制下与处理器280进行信号交互。
显示屏240可包括显示面板241，以及触控面板242。其中显示面板241可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板241。触控面板242，也称为触摸屏、触敏屏等，可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板242上或在触控面板242附近的操作，也可以包括体感操作；该操作包括单点控制操作、多点控制操作等操作类型。)，并根据预先设定的程式驱动相应的连接装置。
传感器系统250可包括用于感测关于融合装置200感知范围内的道路环境的若干个传感器。如图所示，传感器系统的传感器包括GPS251、无线电检测和雷达测距(RADAR)单元255、激光测距(LIDAR)单元257、摄像头258以及用于为修改传感器的位置和/或朝向的致动器259。传感器系统250与I/O子系统270的传感器控制器272相连接，在传感器控制器272的控制下与处理器280进行信号交互。
GPS模块251可以为用于估计车辆的地理位置的任何传感器。为此，GPS模块251可能包括收发器，基于卫星定位数据，估计融合装置200相对于地球的位置。在示例中，融合装置200可用于结合地图数据224使用GPS模块251来估计融合装置200在道路中的位置。GPS模块126也可采取其它形式。
RADAR单元255可以被看作物体检测系统，其用于使用无线电波来检测目标物体的特性，诸如物体的距离、高度、方向或速度。RADAR单元255可被配置为传送无线电波或微波脉冲，其可从波的路线中的任何物体反弹。物体可将波的一部分能量返回至接收器(例如，碟形天线或天线)，该接收器也可以是RADAR单元255的一部分。RADAR单元255还可被配置为对接收到的信号(从物体反弹)执行数字信号处理，并且可被配置为识别目标物体。
其它类似于RADAR的系统已用在电磁波谱的其它部分上。一个示例是LIDAR(光检测和测距)，其可使用来自激光的可见光，而非无线电波。
LIDAR单元257包括传感器，该传感器使用光感测或检测融合装置200感知范围内的道路环境中的目标物体。通常，LIDAR是可通过利用光照射目标来测量到目标物体的距离或目标物体的其它属性的光学遥感技术。作为示例，LIDAR单元257可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和用于为接收激光脉冲的反射的检测器。例如，LIDAR单元257可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，LIDAR单元257可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。
在示例中，LIDAR单元257可被配置为使用紫外光(UV)、可见光或红外光对物体成像，并且可用于广泛的目标物体，包括非金属物体。在一个示例中，窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。
在示例中，从约10微米(红外)至约250纳米(UV)的范围中的波长可被使用。光通常经由后向散射被反射。不同类型的散射被用于不同的LIDAR应用，诸如瑞利散射、米氏散射和拉曼散射以及荧光。基于不同种类的后向散射，作为示例，LIDAR可因此被称为瑞利激光RADAR、米氏LIDAR、拉曼LIDAR以及钠/铁/钾荧光LIDAR。波长的适当组合可允许例如通过寻找反射信号的强度的依赖波长的变化对物体进行远程地图绘制。
使用扫描LIDAR系统和非扫描LIDAR系统两者可实现三维(3D)成像。“3D选通观测激光RADAR(3D gated viewing laser radar)”是非扫描激光测距系统的示例，其应用脉冲激光和快速选通相机。成像LIDAR也可使用通常使用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)和CCD(Charge Coupled Device，混合互补金属氧化物半导体/电荷耦合器件)制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中，每个像素可通过以高速解调或选通来被局部地处理，以使得阵列可被处理成表示来自相机的图像。使用此技术，可同时获取上千个像素以创建表示LIDAR单元257检测到的物体或场景的3D点云。
点云可包括3D坐标系统中的一组顶点。这些顶点例如可由X、Y、Z坐标定义，并且可表示目标物体的外表面。LIDAR单元257可被配置为通过测量目标物体的表面上的大量点来创建点云，并可将点云作为数据文件输出。作为通过LIDAR单元257的对物体的3D扫描过程的结果，点云可用于识别并可视化目标物体。
在一个示例中，点云可被直接渲染以可视化目标物体。在另一示例中，点云可通过可被称为曲面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3D曲面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场，以及通过移动立方体算法重建这样定义的隐式曲面。
摄像头258可以为用于获取车辆所位于的道路环境的图像的任何摄像头(例如，静态相机、视频相机等)。为此，摄像头可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。摄像头258可以是二维检测器，或可具有三维空间范围。在一些示例中，摄像头258例如可以是距离检测器，其被配置为生成指示从摄像头258到环境中的若干点的距离的二维图像。为此，摄像头258可使用一种或多种距离检测技术。例如，摄像头258可被配置为使用结构光技术，其中融合装置200利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用摄像头258检测从物体的预定光图案的反射。基于反射的光图案中的畸变，路侧传感装置258可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
I/O子系统270用来控制输入输出的外部设备，可以包括其他设备输入控制器271、传感器控制器272。可选的，一个或多个其他输入控制设备控制器271从其他输入设备230接收信号和/或者向其他输入设备230发送信号，其他输入设备230可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是，其他输入控制设备控制器271可以与任一个或者多个上述设备连接。传感器控制器272可以从一个或者多个传感器250接收信号和/或者向一个或者多个传感器250发送信号。
处理器280是融合装置200的控制中心，利用各种接口和线路连接整个融合装置200的各个部分，通过运行或执行存储在存储器220内的软件程序和/或模块，以及调用存储在存储器220内的数据，执行融合装置200的各种功能和处理数据，从而对融合装置200进行整体监控。可选的，处理器280可包括一个或多个处理单元；优选的，处理器280可集成2调制解调处理器，其中，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器280中。
融合装置200还包括给各个部件供电的电源290(比如电池)，优选的，电源可以通过电源管理系统与处理器280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
在实施例一中，融合装置200在处理器280内执行如下指令：
获得车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的；
获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。在实施例二中，融合装置200在处理器280内执行如下指令：
接收至少一台车辆设备发送的车辆感知数据，其中，所述车辆感知数据是车辆传感装置对感知范围内的道路环境进行侦测得到的；
通过融合公式将所述至少一台车辆设备的车辆感知数据和路侧感知数据进行融合以获得第一融合结果，其中，所述路侧感知数据是路侧传感装置对感知范围内的道路环境进行侦测得到的；
向目标车辆设备发送所述第一融合结果，其中，所述目标车辆设备用于将所述车辆感知数据和所述第一融合结果进行融合以获得第二融合结果，所述目标车辆设备属于所述至少一台车辆设备。
结合实施例一或者实施例二，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为路侧结果集，所述路侧结果集用于表示所述路侧感知数据，resultv为车辆结果集，所述车辆结果集用于表示所述车辆感知数据，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
在一具体的实施方式中，
Figure GDA0001806425420000261
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
更具体地，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
例如，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
在一具体的实施方式中，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个车辆结果单元中的其中一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
在一具体的实施方式中，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
更具体地，所述至少一个路侧结果单元中的其中一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
结合实施例一或者实施例二，在所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得融合结果之前，将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果，并根据匹配结果将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
在一具体的实施方式中，通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
更具体地，所述通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来，具体包括：
通过以下公式：S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
在一具体的实施方式中，在所述将所述路侧感知数据和所述车辆感知数据进行匹配以获得匹配结果之后，通过帧间回环和/或多帧关联的方式对匹配结果的置信度进行评价以获得评价结果，并根据评价结果调整偏差网络。
具体地，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路测传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
具体地，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
需要说明的，图12实施例中未提及的内容可参考图8-10对应的实施例，这里不再赘述。
基于同一发明构思，图13示出了本发明实施例提供的一种融合装置的结构示意图。如图13所示，融合装置300可以包括：第一获取模块301、第二获取模块302以及融合模块303，
所述第一获取模块301用于获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的；
所述第二获取模块302用于获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
所述融合模块303用于通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
需要说明，图13实施例中未提及的内容以及各个功能单元的具体实现，请参考图8-9对应的实施例，这里不再赘述。
基于同一发明构思，图14示出了本发明实施例提供的一种融合装置的结构示意图。如图14所示，本实施例的融合装置400包括：发送模块401、接收模块402以及融合模块403，
所述发送模块401用于向路侧设备发送车辆感知数据，其中，所述车辆感知数据是车辆传感装置对感知范围内的道路环境进行侦测得到的；
所述接收模块402用于接收所述路侧设备发送的第一融合结果，其中，所述第一融合结果为所述路侧设备过融合公式对至少一台车辆设备的车辆感知数据以及路侧感知数据进行融合得到的，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的；
所述融合模块403用于将所述至少一台车辆设备的车辆感知数据和所述第一融合结果进行融合以获得第二融合结果。
需要说明，图14实施例中未提及的内容以及各个功能单元的具体实现，请参考图10对应的实施例，这里不再赘述。
通过上述方案，将路侧传感装置侦测得到的路侧感知数据和车辆传感装置侦测得到的车辆感知数据进行融合，可以实现将路侧传感装置的感知范围和车辆传感装置的感知范围进行叠加，从而有效地扩展感知范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (34)

1.一种数据融合方法，其特征在于，包括：
获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的，所述车辆感知数据表示为车辆结果集；
获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的，所述路侧感知数据表示为路侧结果集；
通过调整后的偏差网络将所述路侧结果集和所述车辆结果集之间的匹配关系找出来，获得匹配结果，所述调整后的偏差网络是根据评价结果对偏差网络进行调整得到的，所述评价结果是对匹配结果的置信度进行评价得到的；
基于所述匹配结果通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
2.根据权利要求1所述的方法，其特征在于，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为所述路侧结果集，resultv为所述车辆结果集，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
3.根据权利要求2所述的方法，其特征在于，
Figure FDA0003343730570000011
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
4.根据权利要求3所述的方法，其特征在于，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
5.根据权利要求4所述的方法，其特征在于，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
6.根据权利要求2-5任一权利要求所述的方法，其特征在于，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
7.根据权利要求6所述的方法，其特征在于，所述至少一个车辆结果单元中的任一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
8.根据权利要求2-5、7任一权利要求所述的方法，其特征在于，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
9.根据权利要求8所述的方法，其特征在于，所述至少一个路侧结果单元中的任一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
10.根据权利要求1至5任一权利要求所述的方法，其特征在于，通过调整后的偏差网络将所述路侧结果集和所述车辆结果集之间的匹配关系找出来，获得匹配结果，包括：
通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
11.根据权利要求10所述的方法，其特征在于，所述通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来，具体包括：
通过以下公式：S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为所述偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
12.根据权利要求11所述的方法，其特征在于，所述偏差网络Deviation为逆向传播BP神经网络：
其中，Δpij为位置偏差值，Δpij＝fabs(pri-pvj)，pri为所述路侧传感装置侦测到的目标物体i的位置，pvj为所述车辆传感装置侦测到的目标物体j的位置，fabs为求绝对值函数；
Δvij为速度偏差值，Δvij＝fabs(vri-vvj)，vri为所述路侧传感装置侦测到的目标物体i的速度，vvj为所述车辆传感装置侦测到的目标物体j的速度；
Δsij为大小偏差值，Δsij＝fabs(sri-svj)，sri为所述路侧传感装置侦测到的目标物体i的大小，svj为所述车辆传感装置侦测到的目标物体j的大小；
Δcij为颜色偏差值，Δcij＝fabs(cri-cvj)，cri为所述路侧传感装置侦测到的目标物体i的颜色，cvj为所述车辆传感装置侦测到的目标物体j的颜色；
Pp为位置偏差因子，
Figure FDA0003343730570000021
Figure FDA0003343730570000022
为所述路侧传感装置侦测到的目标物体i的位置对应的置信因子，
Figure FDA0003343730570000023
为所述车辆传感装置侦测到的目标物体j的位置对应的置信因子；
Pv为速度偏差因子，
Figure FDA0003343730570000024
Figure FDA0003343730570000025
为所述路侧传感装置侦测到的目标物体i的速度对应的置信因子，
Figure FDA0003343730570000026
为所述车辆传感装置侦测到的目标物体j的速度对应的置信因子；
Ps为大小偏差因子，
Figure FDA0003343730570000031
Figure FDA0003343730570000032
为所述路侧传感装置侦测到的目标物体i的大小对应的置信因子，
Figure FDA0003343730570000033
为所述车辆传感装置侦测到的目标物体j的大小对应的置信因子；
Pc为速度偏差因子，
Figure FDA0003343730570000034
Figure FDA0003343730570000035
为所述路侧传感装置侦测到的目标物体i的颜色对应的置信因子，
Figure FDA0003343730570000036
为所述车辆传感装置侦测到的目标物体j的颜色对应的置信因子；
Figure FDA0003343730570000037
为激活函数。
13.根据权利要求12所述的方法，其特征在于，所述评价结果是对匹配结果的置信度进行评价得到的，具体为：所述评价结果是通过帧间回环或者多帧关联中的一种或者多种对所述匹配结果的置信度进行评价得到的。
14.根据权利要求13所述的方法，其特征在于，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
15.根据权利要求14所述的方法，其特征在于，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
16.根据权利要求1-5、7、9、11-15任一权利要求所述的方法，其特征在于，所述获得车辆感知数据，包括：
接收至少一台车辆设备发送的所述车辆感知数据；
所述通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果之后，还包括：
向目标车辆设备发送所述第一融合结果，其中，所述目标车辆设备用于将所述目标车辆设备的车辆感知数据和所述第一融合结果进行融合以获得第二融合结果，所述目标车辆设备属于所述至少一台车辆设备。
17.一种融合装置，其特征在于，包括：第一获取模块、第二获取模块、匹配模块、融合模块，
所述第一获取模块用于获取车辆感知数据，其中，所述车辆感知数据为车辆传感装置对感知范围内的道路环境进行侦测得到的，所述车辆感知数据表示为车辆结果集；
所述第二获取模块用于获取路侧感知数据，其中，所述路侧感知数据为路侧传感装置对感知范围内的道路环境进行侦测得到的，所述路侧感知数据表示为路侧结果集；
所述匹配模块用于通过调整后的偏差网络将所述路侧结果集和所述车辆结果集之间的匹配关系找出来，获得匹配结果，所述调整后的偏差网络是根据评价结果对偏差网络进行调整得到的，所述评价结果是对匹配结果的置信度进行评价得到的；
所述融合模块用于基于所述匹配结果，通过融合公式将所述车辆感知数据和所述路侧感知数据进行融合以获得第一融合结果。
18.根据权利要求17所述的装置，其特征在于，所述融合公式表示为：
y＝f(resultr，resultv)，
其中，resultr为路侧结果集，所述路侧结果集用于表示所述路侧感知数据，resultv为车辆结果集，所述车辆结果集用于表示所述车辆感知数据，y为所述第一融合结果，函数f用于根据所述路侧结果集和所述车辆结果集映射出所述第一融合结果。
19.根据权利要求18所述的装置，其特征在于，
Figure FDA0003343730570000041
其中，wr为所述路侧传感装置的置信因子，wr＝(wr1，wr2，…，wrM)，resultr(roadside1，roadside2，…，roadsideM)，M为所述路侧传感装置感知范围内目标物体的数量，wri为所述路侧传感装置感知范围内目标物体i对应的置信因子，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，i为自然数，0<i≤M；wv为所述车辆传感装置的置信因子，wv＝(wv1，wv2，…，wvN)，resultv(vehicle1，vehicle2，…，vehicleN)，N为所述车辆传感装置感知范围内目标物体的数量，wvj为所述车辆传感装置感知范围内目标物体j对应的置信因子，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，j为自然数，0<j≤N。
20.根据权利要求19所述的装置，其特征在于，所述置信因子是根据传感装置参数、目标物体的感知距离以及目标物体的感知角度共同确定的。
21.根据权利要求20所述的装置，其特征在于，置信因子w可以根据如下公式获得：
w＝g(Sk，Ri，θj)，w∈[0,1]
其中，Sk为所述传感装置参数，Ri为所述目标物体的感知距离，θj为所述目标物体的感知角度，g为通过传感装置标定得到的标定参数表。
22.根据权利要求17-21任一权利要求所述的装置，其特征在于，所述车辆结果集包括至少一个车辆结果单元，所述至少一个车辆结果单元与至少一个目标物体存在一一对应关系，所述至少一个车辆结果单元中每一个车辆结果单元用于从多维角度对对应的目标物体的特征进行描述。
23.根据权利要求22所述的装置，其特征在于，所述至少一个车辆结果单元中的任一个车辆结果单元表示为vehiclej(pvj，vvj，svj，cvj)，其中，pvj表示为所述车辆传感装置侦测到的目标物体j的位置，vvj表示为所述车辆传感装置侦测到的目标物体j的速度，svj表示为所述车辆传感装置侦测到的目标物体j的大小，cvj表示为所述车辆传感装置侦测到的目标物体j的颜色，N为所述车辆传感装置感知范围内目标物体的数量，j为自然数，0<j≤N。
24.根据权利要求17-21、23任一权利要求所述的装置，其特征在于，所述路侧结果集包括至少一个路侧结果单元，所述至少一个路侧结果单元与至少一个目标物体存在一一对应关系，所述至少一个路侧结果单元中每一个路侧结果单元用于从多维角度对对应的目标物体的特征进行描述。
25.根据权利要求24所述的装置，其特征在于，所述至少一个路侧结果单元中的任一个路侧结果单元表示为roadsidei(pvi，vvi，svi，cvi)，其中，pvi表示为所述路侧传感装置侦测到的目标物体i的位置，vvi表示为所述路侧传感装置侦测到的目标物体i的速度，svi表示为所述路侧传感装置侦测到的目标物体i的大小，cvi表示为所述路侧传感装置侦测到的目标物体i的颜色，M为所述路侧传感装置感知范围内目标物体的数量，i为自然数，0<i≤M。
26.根据权利要求17至21任一权利要求所述的装置，其特征在于，
所述匹配模块还用于通过偏差网络将所述路侧结果集中的路侧结果单元和所述车辆结果集中的车辆结果单元之间的匹配关系找出来。
27.根据权利要求26所述的装置，其特征在于，所述匹配模块还用于通过以下公式：
S＝Deviation(roadsidei，vehiclej)将所述路侧结果集中的路侧结果单元和所述路侧结果集中的车辆结果单元之间的匹配关系找出来，其中，S为匹配结果，Deviation为所述偏差网络，roadsidei为所述路侧传感装置感知范围内目标物体i对应的路侧结果单元，vehiclej为所述车辆传感装置感知范围内目标物体j对应的车辆结果单元，i，j均为自然数。
28.根据权利要求27所述的装置，其特征在于，所述偏差网络Deviation为逆向传播BP神经网络：
其中，Δpij为位置偏差值，Δpij＝fabs(pri-pvj)，pri为所述路侧传感装置侦测到的目标物体i的位置，pvj为所述车辆传感装置侦测到的目标物体j的位置，fabs为求绝对值函数；
Δvij为速度偏差值，Δvij＝fabs(vri-vvj)，vri为所述路侧传感装置侦测到的目标物体i的速度，vvj为所述车辆传感装置侦测到的目标物体j的速度；
Δsij为大小偏差值，Δsij＝fabs(sri-svj)，sri为所述路侧传感装置侦测到的目标物体i的大小，svj为所述车辆传感装置侦测到的目标物体j的大小；
Δcij为颜色偏差值，Δcij＝fabs(cri-cvj)，cri为所述路侧传感装置侦测到的目标物体i的颜色，cvj为所述车辆传感装置侦测到的目标物体j的颜色；
Pp为位置偏差因子，
Figure FDA0003343730570000051
Figure FDA0003343730570000052
为所述路侧传感装置侦测到的目标物体i的位置对应的置信因子，
Figure FDA0003343730570000053
为所述车辆传感装置侦测到的目标物体j的位置对应的置信因子；
Pv为速度偏差因子，
Figure FDA0003343730570000054
Figure FDA0003343730570000055
为所述路侧传感装置侦测到的目标物体i的速度对应的置信因子，
Figure FDA0003343730570000056
为所述车辆传感装置侦测到的目标物体j的速度对应的置信因子；
Ps为大小偏差因子，
Figure FDA0003343730570000057
Figure FDA0003343730570000058
为所述路侧传感装置侦测到的目标物体i的大小对应的置信因子，
Figure FDA0003343730570000059
为所述车辆传感装置侦测到的目标物体j的大小对应的置信因子；
Pc为速度偏差因子，
Figure FDA0003343730570000061
Figure FDA0003343730570000062
为所述路侧传感装置侦测到的目标物体i的颜色对应的置信因子，
Figure FDA0003343730570000063
为所述车辆传感装置侦测到的目标物体j的颜色对应的置信因子；
Figure FDA0003343730570000064
为激活函数。
29.根据权利要求28所述的装置，其特征在于，所述评价结果是通过帧间回环或者多帧关联中的一种或者多种对所述匹配结果的置信度进行评价得到的。
30.根据权利要求29所述的装置，其特征在于，所述帧间回环为：T回环＝T1+T2+T3+T4，其中，T回环为帧间回环，T1为第一匹配结果，T2为第二匹配结果，T3为第三匹配结果，T4为第四匹配结果，第一匹配结果为所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元与所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第二匹配结果为所述车辆传感装置在第i帧侦测到的目标物体j的对应的车辆结果单元与所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元的匹配结果，第三匹配结果为所述车辆传感装置在第i+1帧侦测到的目标物体j的对应的车辆结果单元与所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元的匹配结果，第四匹配结果为所述路侧传感装置在第i+1帧侦测到的目标物体j的对应的路侧结果单元与所述路侧传感装置在第i帧侦测到的目标物体j的对应的路侧结果单元的匹配结果。
31.根据权利要求30所述的装置，其特征在于，所述多帧关联定义为：T多帧＝T回环12+T回环23+T回环34+…，其中，T多帧为多帧关联，T回环12为第一帧和第二帧之间的帧间回环，T回环23为第二帧和第三帧之间的帧间回环，T回环34为第三帧和第四帧之间的帧间回环，…。
32.根据权利要求17-21、23、25、27-31任一权利要求所述的装置，其特征在于，所述装置还包括发送模块，
所述第一获取模块用于接收至少一台车辆设备发送的所述车辆感知数据；
所述发送模块用于向目标车辆设备发送所述第一融合结果，其中，所述目标车辆设备用于将所述目标车辆设备的车辆感知数据和所述第一融合结果进行融合以获得第二融合结果，所述目标车辆设备属于所述至少一台车辆设备。
33.一种融合装置，其特征在于，包括：存储器以及与所述存储器耦合的处理器、通信模块，其中：所述通信模块用于发送或者接收外部发送的数据，所述存储器用于存储程序代码，所述处理器用于调用所述存储器存储的程序代码以执行如权利要求1-16任一权利要求描述的方法。
34.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在融合装置上运行时，使得所述融合装置执行如权利要求1-16任意一项所述的方法。
CN201810232615.5A 2018-03-20 2018-03-20 数据融合方法以及相关设备 Active CN108762245B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810232615.5A CN108762245B (zh) 2018-03-20 2018-03-20 数据融合方法以及相关设备
PCT/CN2019/078646 WO2019179417A1 (zh) 2018-03-20 2019-03-19 数据融合方法以及相关设备
JP2020550669A JP7386173B2 (ja) 2018-03-20 2019-03-19 データ融合方法及び関連装置
EP19771774.7A EP3754448A4 (en) 2018-03-20 2019-03-19 DATA MERGING PROCESS AND ASSOCIATED DEVICE
US17/021,911 US20200409372A1 (en) 2018-03-20 2020-09-15 Data fusion method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810232615.5A CN108762245B (zh) 2018-03-20 2018-03-20 数据融合方法以及相关设备

Publications (2)

Publication Number Publication Date
CN108762245A CN108762245A (zh) 2018-11-06
CN108762245B true CN108762245B (zh) 2022-03-25

Family

ID=63980561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810232615.5A Active CN108762245B (zh) 2018-03-20 2018-03-20 数据融合方法以及相关设备

Country Status (5)

Country Link
US (1) US20200409372A1 (zh)
EP (1) EP3754448A4 (zh)
JP (1) JP7386173B2 (zh)
CN (1) CN108762245B (zh)
WO (1) WO2019179417A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762245B (zh) * 2018-03-20 2022-03-25 华为技术有限公司 数据融合方法以及相关设备
CN109583505A (zh) * 2018-12-05 2019-04-05 百度在线网络技术（北京）有限公司 一种多传感器的物体关联方法、装置、设备及介质
CN112183715A (zh) * 2019-07-03 2021-01-05 本田技研工业株式会社 传感器融合
CN110276972A (zh) * 2019-07-16 2019-09-24 启迪云控(北京)科技有限公司 一种基于车联网的目标物感知方法及系统
CN110164157A (zh) * 2019-07-16 2019-08-23 华人运通(上海)新能源驱动技术有限公司 路侧设备、用于路侧设备的方法和车路协同系统
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
US11867798B2 (en) * 2019-09-13 2024-01-09 Samsung Electronics Co., Ltd. Electronic device including sensor and method of determining path of electronic device
CN111079079B (zh) * 2019-11-29 2023-12-26 北京百度网讯科技有限公司 数据修正方法、装置、电子设备及计算机可读存储介质
CN111209327A (zh) * 2020-01-14 2020-05-29 南京悠淼科技有限公司 一种多传感器分布式感知互联与边缘融合处理系统及方法
CN111583690B (zh) * 2020-04-15 2021-08-20 北京踏歌智行科技有限公司 一种基于5g的矿区无人运输系统的弯道协同感知方法
US20220017115A1 (en) * 2020-07-14 2022-01-20 Argo AI, LLC Smart node network for autonomous vehicle perception augmentation
US20220019225A1 (en) * 2020-07-14 2022-01-20 Argo AI, LLC Smart node for autonomous vehicle perception augmentation
CN114200918A (zh) * 2020-08-31 2022-03-18 罗伯特·博世有限公司 实现自动驾驶的方法、介质、车载计算机及控制系统
CN112085960A (zh) * 2020-09-21 2020-12-15 北京百度网讯科技有限公司 车路协同信息处理方法、装置、设备及自动驾驶车辆
CN112349100B (zh) * 2020-11-09 2021-06-04 紫清智行科技(北京)有限公司 一种基于网联环境的多视角行车风险评估方法及装置
CN114639262B (zh) * 2020-12-15 2024-02-06 北京万集科技股份有限公司 感知设备的状态检测方法、装置、计算机设备和存储介质
CN113012429B (zh) * 2021-02-23 2022-07-15 云控智行(上海)汽车科技有限公司 一种车路多传感器数据融合方法及系统
CN112884892B (zh) * 2021-02-26 2023-05-02 武汉理工大学 基于路侧装置的无人矿车位置信息处理系统和方法
CN112671935A (zh) * 2021-03-17 2021-04-16 中智行科技有限公司 远程控制车辆的方法、路侧设备及云平台
CN113378704B (zh) * 2021-06-09 2022-11-11 武汉理工大学 一种多目标检测方法、设备及存储介质
CN113223297B (zh) * 2021-07-09 2021-10-08 杭州目炬科技有限公司 一种多维度自动车辆识别方法
CN113655494A (zh) * 2021-07-27 2021-11-16 上海智能网联汽车技术中心有限公司 路侧相机与4d毫米波融合的目标检测方法、设备及介质
CN115690119A (zh) * 2021-07-29 2023-02-03 华为技术有限公司 一种数据处理方法及装置
CN113655509B (zh) * 2021-08-13 2023-07-21 中国科学院国家天文台长春人造卫星观测站 一种高重复率卫星激光测距实时控制系统
US11845429B2 (en) * 2021-09-30 2023-12-19 GM Global Technology Operations LLC Localizing and updating a map using interpolated lane edge data
CN114152942B (zh) * 2021-12-08 2022-08-05 北京理工大学 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN114915940B (zh) * 2022-05-13 2023-07-21 山东高速建设管理集团有限公司 一种车路通信链路匹配方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445983B1 (en) * 2000-07-07 2002-09-03 Case Corporation Sensor-fusion navigator for automated guidance of off-road vehicles
US6909997B2 (en) * 2002-03-26 2005-06-21 Lockheed Martin Corporation Method and system for data fusion using spatial and temporal diversity between sensors
CN101231340A (zh) * 2007-12-29 2008-07-30 四川川大智胜软件股份有限公司 多雷达系统航迹融合处理时的误差配准方法
CN101393264A (zh) * 2008-10-12 2009-03-25 北京大学 基于多激光扫描仪的移动目标跟踪方法及系统
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN103105611A (zh) * 2013-01-16 2013-05-15 广东工业大学 一种分布式多传感器智能信息融合方法
CN105446338A (zh) * 2015-12-21 2016-03-30 福州华鹰重工机械有限公司 云辅助自动驾驶方法及系统
CN107063275A (zh) * 2017-03-24 2017-08-18 重庆邮电大学 基于路侧设备的智能车辆地图融合系统及方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229358B2 (ja) * 2001-01-22 2009-02-25 株式会社小松製作所 無人車両の走行制御装置
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
US7548184B2 (en) * 2005-06-13 2009-06-16 Raytheon Company Methods and apparatus for processing data from multiple sources
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP4565022B2 (ja) 2008-06-30 2010-10-20 日立オートモティブシステムズ株式会社 交通情報システムおよび交通情報処理方法
JP2013182490A (ja) 2012-03-02 2013-09-12 Sumitomo Electric Ind Ltd 交通情報変換装置、交通情報システム、中央サーバ、サービスサーバ、及び、交通情報提供方法
JP2013214225A (ja) * 2012-04-03 2013-10-17 Sumitomo Electric Ind Ltd 交通情報システム、中央サーバ、サービスサーバ、及び、交通情報提供方法
CN103226708B (zh) * 2013-04-07 2016-06-29 华南理工大学 一种基于Kinect的多模型融合视频人手分割方法
EP2865575B1 (en) 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
EP2865576B1 (en) 2013-10-22 2018-07-04 Honda Research Institute Europe GmbH Composite confidence estimation for predictive driver assistant systems
US10240930B2 (en) * 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
SG11201607320TA (en) * 2014-03-07 2016-10-28 Capitalogix Llc Systems and methods for allocating capital to trading strategies for big data trading in financial markets
US9563808B2 (en) * 2015-01-14 2017-02-07 GM Global Technology Operations LLC Target grouping techniques for object fusion
CN106503723A (zh) * 2015-09-06 2017-03-15 华为技术有限公司 一种视频分类方法及装置
CN105741545B (zh) * 2016-03-16 2018-07-20 山东大学 一种基于公交车gnss时空轨迹数据判别交通状态的装置及方法
CN105741546B (zh) 2016-03-18 2018-06-29 重庆邮电大学 路侧设备与车传感器融合的智能车辆目标跟踪系统及方法
US10571913B2 (en) * 2016-08-05 2020-02-25 Aptiv Technologies Limited Operation-security system for an automated vehicle
US10317901B2 (en) * 2016-09-08 2019-06-11 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
CN106447707B (zh) * 2016-09-08 2018-11-16 华中科技大学 一种图像实时配准方法及系统
US10692365B2 (en) * 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
CN107229690B (zh) 2017-05-19 2019-01-25 广州中国科学院软件应用技术研究所 基于路侧传感器的高精度动态地图数据处理系统及方法
CN107230113A (zh) * 2017-08-01 2017-10-03 江西理工大学 一种多模型融合的房产评估方法
CN107807633A (zh) * 2017-09-27 2018-03-16 北京图森未来科技有限公司 一种路侧设备、车载设备以及自动驾驶感知方法及系统
US10852426B2 (en) * 2018-01-12 2020-12-01 Tiejun Shan System and method of utilizing a LIDAR digital map to improve automatic driving
JP7058022B2 (ja) * 2018-02-06 2022-04-21 シーエーブイエイチ エルエルシー インテリジェント道路インフラストラクチャシステム（ｉｒｉｓ）：システム及び方法
CN108762245B (zh) * 2018-03-20 2022-03-25 华为技术有限公司 数据融合方法以及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445983B1 (en) * 2000-07-07 2002-09-03 Case Corporation Sensor-fusion navigator for automated guidance of off-road vehicles
US6909997B2 (en) * 2002-03-26 2005-06-21 Lockheed Martin Corporation Method and system for data fusion using spatial and temporal diversity between sensors
CN101231340A (zh) * 2007-12-29 2008-07-30 四川川大智胜软件股份有限公司 多雷达系统航迹融合处理时的误差配准方法
CN101393264A (zh) * 2008-10-12 2009-03-25 北京大学 基于多激光扫描仪的移动目标跟踪方法及系统
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN103105611A (zh) * 2013-01-16 2013-05-15 广东工业大学 一种分布式多传感器智能信息融合方法
CN105446338A (zh) * 2015-12-21 2016-03-30 福州华鹰重工机械有限公司 云辅助自动驾驶方法及系统
CN107063275A (zh) * 2017-03-24 2017-08-18 重庆邮电大学 基于路侧设备的智能车辆地图融合系统及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"Research on Information Fusion Algorithm for Vehicle";Dan Hu,etc.;《2009 International Conference on Mechatronics and Automation》;20090812;全文 *
"Self-adaptive Sensor Weighted Data Fusion in Strain Detection";Zhou Ying,etc.;《2007 8th International Conference on Electronic Measurement and Instruments》;20070818;全文 *
"Sensor Fusion Method Using GPS/IMU Data for Fast UAV Surveillance Video";Yi Wang,etc.;《2009 IEEE International Conference on Acoustics, Speech and Signal Processing》;20090414;全文 *
"多源导航电子地图数据融合更新方法研究";李连营，等;《武汉大学大学学报 信息科学版》;20080430;第33卷(第4期);全文 *
"多源空间数据的融合技术";朱瑞芳，等;《辽宁工程技术大学学报》;20051231;第24卷;全文 *
全景拼接中图像配准算法的研究及应用;向兆威;《中国优秀硕士学位论文全文数据库》;20150815(第8期);I138-1217 *
基于无人车传感器系统的加权平均数据融合算法;谭宝成，等;《电子设计工程》;20150831;第23卷(第16期);95-97 *
基于雷达与图像信息融合的目标跟踪仿真研究;侯志强，等;《系统仿真学报》;20040831;第16卷(第8期);1831-1834 *

Also Published As

Publication number Publication date
JP7386173B2 (ja) 2023-11-24
US20200409372A1 (en) 2020-12-31
CN108762245A (zh) 2018-11-06
WO2019179417A1 (zh) 2019-09-26
EP3754448A1 (en) 2020-12-23
EP3754448A4 (en) 2021-04-28
JP2021516401A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
CN108762245B (zh) 数据融合方法以及相关设备
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
US11754721B2 (en) Visualization and semantic monitoring using lidar data
US20200348408A1 (en) Vehicle Positioning Method and Vehicle Positioning Apparatus
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US9715016B2 (en) Real time multi dimensional image fusing
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
CN111324115B (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
上條俊介 et al. Autonomous vehicle technologies: Localization and mapping
CN207115193U (zh) 一种用于处理任务区域的任务的移动电子设备
CN113673282A (zh) 目标检测方法和装置
CN108603933B (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
CN112558023A (zh) 传感器的标定方法和装置
CN111308415B (zh) 一种基于时间延迟的在线估计位姿的方法和设备
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN113038363B (zh) 资源复用方法、终端和相关设备
WO2022083529A1 (zh) 一种数据处理方法及装置
CN113435224A (zh) 用于获取车辆3d信息的方法和装置
CN115393821A (zh) 一种目标检测方法和装置
Barzaghi Sensors’ Architecture Definition for Energy Consumption Reduction in Urban Battery Electric Vehicles
CN117055016A (zh) 传感器的探测精度测试方法、装置及存储介质
CN117452411A (zh) 障碍物检测方法和装置
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法
KR20230075898A (ko) 다중플랫폼 및 다중센서 융합에 의한 데이터 수집 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant