CN112578781A - 数据处理方法、装置、芯片系统及介质 - Google Patents
数据处理方法、装置、芯片系统及介质 Download PDFInfo
- Publication number
- CN112578781A CN112578781A CN201910934078.3A CN201910934078A CN112578781A CN 112578781 A CN112578781 A CN 112578781A CN 201910934078 A CN201910934078 A CN 201910934078A CN 112578781 A CN112578781 A CN 112578781A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- attribute description
- sensor
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 151
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 230000002457 bidirectional effect Effects 0.000 abstract description 8
- 230000004927 fusion Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开一种数据处理方法、装置、芯片系统及介质。该方法可以应用于自动驾驶或者智能驾驶领域。该方法包括:通过第一识别算法从第一原始数据中获取第一抽象数据,所述第一抽象数据包括第一目标的属性描述数据;接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;根据所述第一反馈数据优化所述第一识别算法;其中,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。采用上述技术方案中的方法,传感器可以与处理单元之间进行双向数据传输,并根据接收到的反馈数据来优化识别算法,提高传感器的识别准确率。
Description
技术领域
本申请涉及自动驾驶技术领域,具体涉及一种数据处理方法。此外,本申请还涉及一种数据处理装置、一种芯片系统,以及一种计算机可读存储介质。
背景技术
随着汽车自动驾驶程度的提高,汽车自身所产生的数据将越来越庞大。据英特尔公司估算,一辆自动驾驶汽车如果配置了全球定位系统(Global Positioning System,GPS)、声纳、摄像头、毫米波雷达(millimeter-wave radar)和激光雷达(Light Detectionand Ranging,LiDAR)等传感器,每天可以产生超过4000GB的数据。这就需要一个数据处理的计算架构来处理如此海量的数据。
请参见图1,图1为一个典型的自动驾驶车辆的数据处理架构示意图。自动驾驶车辆的处理单元负责数据处理,其可以包括三个模块:数据融合模块、规划决策模块和行为控制模块。传感器(例如摄像头、激光雷达、声呐等)在一个交通场景中捕获到电信号之后,会将其进行数字化处理,转换为数字信号数据,即原始数据(raw data)。然后,传感器利用识别算法处理原始数据,得到抽象数据(abstract data)。抽象数据中一般包括了从交通场景中识别出来的交通目标,以及交通目标的属性描述数据,例如车辆的颜色、尺寸、交通标识的指示内容等。每个传感器分别将各自的抽象数据发送给处理单元中的数据融合模块。数据融合模块将这些抽象数据进行融合,综合多个传感器的抽象数据来重新识别交通目标,以及交通目标的属性描述数据,得到融合数据。融合数据中包含的交通目标的属性描述数据,与各个传感器自己识别出的交通目标的属性描述数据可能相同,也可能不同。通过数据融合,可以在一定程度上提高交通目标和交通目标的属性的识别准确率。融合数据可以用于在计算机中构建出世界模型(又名环境模型),从而模拟还原出真实世界中的情况。规划决策模块根据世界模型对车辆的行驶路线进行规划和决策。最后,行为控制模块根据决策来指示执行器(例如油门、刹车、方向盘、车窗、车灯等)执行操作,从而实现对车辆行驶轨迹的控制。
从上述数据处理的过程可见,传感器所提供的抽象数据是否准确,会直接影响到后续行驶路线的规划决策的准确性。一般地,传感器在利用识别算法处理在某一种交通场景中获取到的原始数据,得到抽象数据之后,无论抽象数据与真实情况是否一致,传感器都无从知晓。如果抽象数据与真实情况不一致,那么每一次当传感器获取到同样的原始数据之后,其都会处理得到相同的、与真实情况不一致的抽象数据。这就导致传感器的识别准确率难以提高。
发明内容
本申请提供一种数据处理方法,采用该方法的传感器可以与处理单元之间进行双向数据传输,根据处理单元反馈回来的反馈数据来优化识别算法,从而提高传感器的识别准确率。
第一方面,本申请提供一种数据处理方法,所述方法包括:通过第一识别算法从第一原始数据中获取第一抽象数据,所述第一抽象数据包括第一目标的属性描述数据;接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;根据所述第一反馈数据优化所述第一识别算法;其中,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
采用本实现方式,第一传感器不但向外部发送从交通场景中识别出来的信息,即第一抽象数据,也能够从外部接收第一反馈数据,实现了双向传输。第一传感器进而可以根据同一个交通场景中的第二目标的属性描述数据来优化第一识别算法,以提高通过第一识别算法从第一原始数据中获取第一抽象数据的准确率,即提高第一传感器的识别准确率。
结合第一方面,在第一方面第一种可能的实现方式中,所述第二目标包括至少一个第一特定目标,所述第一目标中存在与所述第一特定目标相同的目标。第一特定目标是第一传感器也识别出来的目标,采用本实现方式,第一传感器利用从其他途径确定的第一特定目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第一方面及上述可能的实现方式,在第一方面第二种可能的实现方式中,所述第二目标包括至少一个第二特定目标,所述第一目标中不存在与所述第二特定目标相同的目标。第二特定目标是第一传感器未识别出来的目标,采用本实现方式,第一传感器利用从其他途径确定的第二特定目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第一方面及上述可能的实现方式,在第一方面第三种可能的实现方式中,所述第一反馈数据包括所述第二特定目标的位置信息和属性描述数据;所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:根据所述至少一个第二特定目标的位置信息和属性描述数据,优化所述第一识别算法。对于第二特定目标而言,由于第一传感器没有识别出该目标,故而采用位置信息将第二特定目标和第一原始数据中对应位置的特征点关联起来。通过这样的方式,第一传感器就可以利用该第二特定目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第一方面及上述可能的实现方式,在第一方面第四种可能的实现方式中,所述第二目标的属性描述数据是基于所述第一抽象数据确定的数据,或者,基于来自云端传感器的交互信息确定的数据。基于第一抽象数据,或者基于自云端传感器的交互信息确定第二目标的属性描述数据,更加接近场景中的目标的实际情况。将这样的数据反馈给第一传感器,有利于第一传感器优化第一识别算法,从而提高识别准确率。
结合第一方面及上述可能的实现方式,在第一方面第五种可能的实现方式中,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中得到所述第一原始数据的时间信息;所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:根据所述时间戳对应的所述第一原始数据、所述第一抽象数据和所述第一反馈数据,优化所述第一识别算法。通过时间戳,第一传感器可以找到时间戳对应的第一原始数据、第一抽象数据和第一反馈数据,避免将不同时间的第一原始信息、第一抽象数据和第一反馈数据混淆导致影响第一传感器的识别准确率的情况。
结合第一方面及上述可能的实现方式,在第一方面第六种可能的实现方式中,所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:根据所述第二目标的属性描述数据,以及所述第二目标的属性描述数据对应的置信度,优化所述第一识别算法;其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。采用本实现方式,第一传感器可以根据第二属性描述数据的置信度的不同,来调节第一识别算法的参数的校正幅度,从而进一步提高优化后的第一传感器的识别准确率。
结合第一方面及上述可能的实现方式,在第一方面第七种可能的实现方式中,所述第二目标的属性描述数据包含来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。采用本实现方式,第一传感器可以根据第二目标的属性描述数据的来源标签来确定对应的置信度,从而调节第一识别算法的参数的校正幅度,进一步提高优化后的第一传感器的识别准确率。
第二方面,本申请提供一种数据处理方法,包括:接收来自第一传感器的第一抽象数据,所述第一抽象数据来源于第一原始数据,所述第一抽象数据包括第一目标的属性描述数据;确定第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;发送所述第一反馈数据给所述第一传感器;其中,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
采用本实现方式,处理单元可以不但可以接收第一传感器从交通场景中识别出来的信息,即第一抽象数据,而且可以将其确定的第一反馈数据发送给第一传感器,从而实现双向传输。这样,第一传感器就可以根据第一反馈数据来对其使用的识别算法进行优化,提高第一传感器的识别准确率。
结合第二方面,在第二方面第一种可能的实现方式中,所述方法还包括:基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第一特定目标;所述第一目标中存在与所述第一特定目标相同的目标;其中,所述第一反馈数据包括所述至少一个第一特定目标的属性描述数据。采用本实现方式,处理单元可以基于第一抽象数据,或者,基于来自云端传感器的交互信息,来确定第一识别传感器也能够识别出来的第一特定目标,从而将利用其他途径确定的第一特定目标的属性描述数据反馈给第一传感器。通过这样的方式,第一传感器就可以利用第一特定目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第二方面及上述可能的实现方式,在第二方面第二种可能的实现方式中,所述方法还包括:基于第二抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第二特定目标;其中,所述第二抽象数据来源于第二原始数据,所述第二原始数据为所述场景的测量数据,所述第二抽象数据包括第三目标的属性描述数据,所述第三目标为所述场景中的目标;所述第一目标中不存在与所述第二特定目标相同的目标;其中,所述第一反馈数据包括所述至少一个第二特定目标的属性描述数据。采用本实现方式,处理单元可以基于第二抽象数据,或者,基于来自云端传感器的交互信息,来确定第一识别传感器未能识别出来的第二特定目标,从而将利用其他途径确定的第二特定目标的属性描述数据反馈给第一传感器。通过这样的方式,第一传感器就可以利用第二特定目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第二方面及上述可能的实现方式,在第二方面第三种可能的实现方式中,所述第一反馈数据还包括所述至少一个第二特定目标的位置信息。对于第二特定目标而言,由于第一传感器没有识别出该目标,故而处理单元可以将第二特定目标的位置信息也反馈给第一传感器。通过这样的方式,第一传感器就能够根据位置信息将第二特定目标和第一原始数据中对应位置的特征点关联起来,并利用该第二特定目标的属性描述数据,来优化第一识别算法,提高第一传感器的识别准确率。
结合第二方面及上述可能的实现方式,在第二方面第四种可能的实现方式中,所述确定第一反馈数据的步骤,包括:基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定所述第二目标的属性描述数据。采用本实现方式,处理单元可以基于第一抽象数据,或者,基于来自云端传感器的交互信息,来确定第二目标的属性描述数据,从而将利用这些途径确定的第二目标的属性描述数据反馈给第一传感器。通过这样的方式,第一传感器就可以利用这些处理单元反馈回来的第二目标的属性描述数据,来优化第一识别算法,从而提高第一传感器的识别准确率。
结合第二方面及上述可能的实现方式,在第二方面第五种可能的实现方式中,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中测量得到所述第一原始数据的时间信息;所述发送所述第一反馈数据给所述第一传感器的步骤,包括:将与所述第一原始数据和所述第一抽象数据的时间戳对应的所述第一反馈数据,发送给所述第一传感器。采用本实现方式,处理单元将时间戳对应的第一反馈数据发送给第一传感器,以便第一传感器可以找到时间戳对应的第一原始数据、第一抽象数据和第一反馈数据,避免将不同时间的第一原始信息、第一抽象数据和第一反馈数据混淆导致影响第一传感器的识别准确率的情况。
结合第二方面及上述可能的实现方式,在第二方面第六种可能的实现方式中,所述第一反馈数据包括与每一条所述第二目标的属性描述数据对应的置信度,其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。采用本实现方式,第一反馈数据中包含每一条第二目标的属性描述数据对应的置信度,从而使第一传感器可以根据第二属性描述数据的置信度的不同,来调节第一识别算法的参数的校正幅度,进一步提高优化后的第一传感器的识别准确率。
结合第二方面及上述可能的实现方式,在第二方面第七种可能的实现方式中,每一条所述第二目标的属性描述数据包含对应的来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。采用本实现方式,每一条所述第二目标的属性描述数据包含对应的来源标签,从而使第一传感器可以根据第二目标的属性描述数据的来源标签来确定对应的置信度,进而调节第一识别算法的参数的校正幅度,进一步提高优化后的第一传感器的识别准确率。
第三方面,本申请提供一种数据处理装置,包括:第一收发模块,用于接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;至少一个第一处理模块,用于通过第一识别算法从第一原始数据中获取第一抽象数据;以及,根据所述第一反馈数据优化所述第一识别算法;其中,所述第一抽象数据包括第一目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
第四方面,本申请提供一种数据处理装置,包括:第二收发模块,用于接收来自第一传感器的第一抽象数据;以及,发送第一反馈数据给所述第一传感器;其中,所述第一抽象数据来源于第一原始数据,所述第一抽象数据包括第一目标的属性描述数据,所述第一反馈数据包括第二目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为从所述场景中识别出的目标;至少一个第二处理模块,用于确定所述第一反馈数据。
第五方面,本申请提供一种芯片系统,包括至少一个处理器以及接口,所述接口用于接收代码指令,并传输所述至少一个处理器;所述至少一个处理器运行所述代码指令,以实现第一方面的任一种方法。
第六方面,本申请提供一种芯片系统,包括至少一个处理器以及接口,所述接口用于接收代码指令,并传输所述至少一个处理器;所述至少一个处理器运行所述代码指令,以实现第二方面的任一种方法。
第七方面,本申请提供一种计算机可读存储介质,用于存储计算机程序或指令,当所述计算机程序或所述指令在电子设备上运行时,使所述电子设备实现第一方面的任一种方法。
第八方面,本申请提供一种计算机可读存储介质,用于存储计算机程序或指令,当所述计算机程序或所述指令在电子设备上运行时,使所述电子设备实现第二方面的任一种方法。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中的附图作简单地介绍。
图1为一个典型的自动驾驶车辆的数据处理架构示意图;
图2为本申请的一个实施例中车辆的数据处理系统架构示意图;
图3为本申请的数据处理方法的实现方式之一的流程图;
图4为本申请的数据处理方法的实现方式之二的流程图;
图5为本申请的数据处理方法的实现方式之三的流程图;
图6为本申请的一种数据处理装置的结构示意图;
图7为本申请的另一种数据处理装置的结构示意图;
图8为本申请的芯片系统的实现方式之一的结构示意图。
具体实施方式
一般地,在自动驾驶、智慧驾驶等领域应用的传感器都是单向向处理单元发送数据,如图1所示。这导致传感器无法对自身的识别算法进行优化,进而导致传感器的识别准确率难以提高。
车辆上一般会安装多个传感器,包括内部传感器和外部传感器。其中,内部传感器是指用于测量车辆本身的一些状态数据的传感器,例如陀螺仪、加速度计、转向角传感器、雨刮器活动传感器、转向指示器等。这些内部传感器可以安装在车辆的内部或者外部。外部传感器是指用于测量车辆周围的环境数据的传感器,例如雷达、激光雷达、超声波雷达、摄像头、全球定位系统、声呐等。这些外部传感器可以安装在车辆的外部或者内部。此外,在路侧等其他位置也可能会安装传感器,例如微波雷达、毫米波雷达、摄像头等,主要用于测量道路上的目标的状况。
除了安装在车辆或者路侧的传感器之外,在自动驾驶、智慧驾驶等领域还可以应用云端传感器。云端传感器,也可以称为元数据传感器,车辆可以与云端传感器建立通信连接,进行交互,从而从云端传感器上获取交通场景中的交通目标的信息。这里的云端传感器可以是云端服务器、与车辆通过车用无线通信(vehicle to everything,V2X)技术连接的其他终端或者基站等。例如,车辆可以与云端服务器建立通信连接,从云端服务器的高精度地图中获取车辆当前所处的位置附近的交通基础设施的信息等。又例如,车辆可以与交通场景中的另一个车辆建立通信连接,然后获取该车辆的尺寸、颜色、速度等信息。
执行本申请实施例的数据处理方法的传感器,可以是前述的安装在车辆或者路侧等位置的传感器。为便于区分,本申请实施例中将任意一个执行本申请的数据处理方法的传感器,称为第一传感器;将除第一传感器以外的其他传感器称为第二传感器。请参见图2,图2为本申请的一个实施例中车辆的数据处理系统架构示意图。其中,该系统包括一个第一传感器、一个或多个第二传感器,以及一个或多个云端传感器。这些传感器均与处理单元连接,处理单元还与多个执行器连接。
本申请的第一个实施例提供一种数据处理方法,该方法由第一传感器来执行。可选地,该方法可以由第一传感器中的电子控制单元(Electronic Control Unit,ECU)来执行。第一传感器通过执行本实施例中的数据处理方法,可以与处理单元进行双向传输,接收反馈回来的反馈数据,并利用反馈数据来优化传感器所使用的识别算法,从而避免相同的识别错误重复发生,提高传感器的识别准确率。
请参见图3,图3为本申请的数据处理方法的实现方式之一的流程图。其中由第一传感器执行的步骤包括以下S101至S103。
S101:第一传感器通过第一识别算法从第一原始数据中获取第一抽象数据。
在本申请实施例中,场景主要指的是交通场景,其可以包含交通场景中的交通参与者或者交通环境,例如马路上的其他车辆、交通标识等,也可以包含一些与自动驾驶、智慧驾驶等没有直接关联的信息,例如马路两侧的绿化带等。
原始数据为场景的测量数据,用于数字化描述交通场景。传感器可以从交通场景中捕获电信号,然后将电信号进行数字化处理,得到原始数据。捕获和处理得到原始数据的具体方法可以通过现有的方法来完成,此处不再赘述。本申请不对获取原始数据的方式进行限定。
为便于区分不同传感器中的原始数据,在本申请实施例中,将第一传感器从交通场景中测量到的数据,称为第一原始数据。当第一传感器为不同的具体传感器时,第一原始数据的具体数据形式可能存在差别。
例如,当第一传感器为摄像头时,摄像头将从交通场景中捕获的光信号转换为电信号。然后,再将这些电信号进行数字化处理,就转换成了能够描述交通场景的画面的数据,即第一原始数据。
又例如,当第一传感器为激光雷达时,激光雷达发射激光,对交通场景进行扫描。交通场景中的人、物等将激光反射回来。由于不同的人、物等反射回来的光线的强度和时间都不同,故而激光雷达可以据此来获取交通场景中的信息。即,激光雷达接收这些反射回来的光线,将光信号转换为电信号。然后,再将这些电信号进行数字化处理,得到能够描述交通场景中的人、物的数据,即激光雷达的点云信息,也就是本申请实施例中的第一原始数据。
本申请中的目标主要指的是交通目标,其可以是交通参与者,也可以是交通环境。其中,交通参与者包括动态的人或物,例如马路上的车辆、行人、动物等,交通环境包括静态的物,例如交通标识(包括车道线、交通灯、交通标识牌等)、护栏等。
本申请中的识别算法,可以采用现有的识别算法,例如特征识别算法、目标识别算法等,更具体地,识别算法可以采用卡尔曼滤波跟踪算法等。
传感器利用识别算法处理原始数据的过程,可以从交通场景中识别出交通目标,以及交通目标的属性描述数据。当交通目标为不同类别的交通参与者或者交通环境时,其属性描述数据也相应不同。例如,当交通目标是马路上行驶的车辆时,其属性描述数据可以是车辆的尺寸、和车辆之间相隔的距离、表面材料、方向角、速度、加速度等。又例如,当交通目标是交通标识时,其属性描述数据可以是交通标识的内容、位置等。
对于不同的传感器而言,其处理原始数据所采用的识别算法可能不同,也可能相同,本申请对此不作限定。为便于区分,在本申请中将第一传感器所采用的识别算法,称为第一识别算法,将第一传感器通过第一识别算法从交通场景中识别出来的交通目标,称为第一目标,将第一传感器通过第一识别算法从第一原始数据中获取的抽象数据,称为第一抽象数据。第一抽象数据包括第一目标的属性描述数据,例如第一目标的类别、尺寸、和车辆之间相隔的距离、表面材料、方向角、速度、加速度、内容或者位置等。
需要说明的是,第一传感器可能识别出一个或多个第一目标,每个第一目标可能对应一个或者多个属性描述数据。此时,第一抽象数据中可以包括全部的第一目标各自对应的属性描述数据。第一传感器还可能未识别出任何交通目标。此时,第一抽象数据中的第一目标的属性描述数据为空。
例如,第一传感器为摄像头,摄像头识别出了多个第一目标,包括目标ID为T001、T002的交通目标。T001对应的属性包括类型、尺寸、颜色等,T002对应的属性包括类型、内容等。第一抽象数据中包括多个第一目标的属性描述数据,其中2个第一目标的部分属性描述数据如表1所示。
表1第一目标的属性描述数据局部示例
S102:所述第一传感器接收第一反馈数据。
第一传感器会将第一抽象数据发送给处理单元,然后接收处理单元发送来的第一反馈数据,其中,第一反馈数据包括第二目标的属性描述数据。这里的第二目标,指的是从前述的同一个交通场景中识别出的交通目标,其与第一目标可能相同,也可能不同。与第一目标的属性描述数据类似地,第二目标的属性描述数据,可以是第二目标的类别、尺寸、和第一目标之间相隔的距离、表面材料、方向角、速度、加速度、内容或者位置等。
处理单元可以通过多种方式来确定第一反馈数据中包括的第二目标的属性描述数据。第二目标的属性描述数据是基于第一抽象数据确定的数据,或者,基于来自云端传感器的交互信息确定的数据。例如,在一种实现方式中,处理单元可以融合来自多个传感器的抽象数据,得到融合后数据,然后基于融合后数据确定第二目标的属性描述数据。又例如,在另一种实现方式中,处理单元可以与云端传感器进行交互,从云端传感器接收交互信息,然后基于交互信息确定第二目标的属性描述数据。通过融合后数据或者交互信息所确定的第二目标的属性描述数据,更加接近交通场景中的交通目标的实际情况。将这样的数据反馈给第一传感器,有利于第一传感器优化第一识别算法,提高识别准确率。
可选地,在确定第一反馈数据之前,处理单元可以先确定第二目标,具体可以采用多种方式来确定。例如,在一种实现方式中,处理单元可以融合来自多个传感器的抽象数据,得到融合后数据,然后基于融合后数据来确定第二目标。又例如,在另一种实现方式中,处理单元可以基于来自云端传感器的交互信息来确定第二目标。
需要说明的是,前述的多种不同的确定第二目标的方式,与多种不同的确定第二目标的属性描述信息的方式可以相互组合。以下将结合例子来对确定第二目标,以及确定第二目标的属性描述数据的其中几种实现方式作进一步说明。
如前所述,车辆或者路侧等位置一般会安装有多个传感器,包括第一传感器和至少一个第二传感器。第一传感器和第二传感器各自从交通场景中测量得到原始数据,并利用各自对应的识别算法处理原始数据,得到对应的抽象数据。
在本申请实施例中,将第二传感器从交通场景中测量到的数据,称为第二原始数据。每个第二传感器利用各自对应的第二识别算法处理各自测量到的第二原始数据,得到对应的第二抽象数据。即,对任一个第二传感器而言,其执行的步骤可以包括S301的步骤。
S301:第二传感器通过第二识别算法从第二原始数据中获取第二抽象数据。
获取第二抽象数据的过程也是每个第二传感器各自从交通场景中识别交通目标的过程。第二传感器在交通场景中识别出的交通目标,在本申请实施例中称为第三目标。第二抽象数据包括了第三目标的属性描述数据。第二原始数据与第一原始数据类似,第二识别算法与第一识别算法类似,第二抽象数据与第一抽象数据类似,可以参考前述相关的描述,此处不再赘述。每个第二传感器都将各自的第二抽象数据发送给处理单元。
例如,其中一个第二传感器1为激光雷达,激光雷达识别出了目标ID为T001、T002、T003共3个第三目标。T001对应的属性包括类型、尺寸、颜色等,T002对应的属性包括类型、内容等,T003对应的属性包括类型、尺寸等。另一个第二传感器2为毫米波雷达,其也识别出了与第一传感器1相同的T001、T002、T003这3个第三目标。第二传感器1对应的第二抽象数据1中包括3个第三目标的属性描述数据,第二传感器2对应的第二抽象数据2中也包括3个第三目标的属性描述数据,如表2所示。
表2第三目标的属性描述数据局部示例
不同的传感器的特点不同,有的善于识别近距离的交通目标,有的善于识别远距离的交通目标,有的善于在恶劣天气中识别交通目标等。单个传感器所识别出的交通目标不一定准确可靠,可能存在遗漏的情况。
为此,在一种实现方式中,处理单元可以融合从多个传感器接收的抽象数据,得到融合后数据。融合后数据综合考虑了多个传感器各自的识别情况,重新确定出交通目标,以便降低遗漏交通目标的概率。重新确定的交通目标,可以作为本申请实施例中的第二目标。本申请中数据融合可以采用现有的数据融合方法,此处不再赘述,本申请对于数据融合的方式不作限定。
在确定第二目标之后,处理单元可以从融合后数据中获得第二目标的属性描述数据,也可以与云端传感器进行通信,来获取第二目标的属性描述数据。然后,处理单元将第一反馈数据发送给第一传感器,第一反馈数据中包括了前述的第二目标的属性描述数据。
例如,处理单元在接收到表1和表2所示的摄像头、激光雷达、毫米波雷达等多个传感器分别发送过来的抽象数据之后,对这些数据进行数据融合,得到融合后数据。融合后数据包括了3个第二目标对应的属性描述数据,每一个第二目标的属性描述数据如表3所示。处理单元将第一反馈数据发送给第一传感器,第一反馈数据中包括了T001、T002和T003这三个第二目标的部分或者全部属性描述数据。
表3融合后数据中包含的第二目标的属性描述数据示例
请参见图4,图4为本申请的数据处理方法的实现方式之二的流程图。在另一种实现方式中,处理单元还可以与云端传感器建立通信连接,从云端传感器中接收交互信息。交互信息中可以包含存储在云端传感器上的交通场景中的交通目标的属性描述数据,例如交通场景中的车辆、交通标识等的属性描述数据。处理单元可以基于交互信息确定第二目标。
例如,云端传感器可以为云端服务器,云端服务器上存储有高精度地图。本申请实施例中的高精度地图,通俗来讲就是比一般的导航地图精度更高、数据维度更多的电子地图。精度更高体现在其精度可以到达厘米级别,数据维度更多体现在其包括了除道路信息之外的与交通相关的周围静态信息。高精度地图将大量的行车辅助信息存储为结构化数据,主要包括两类:第一类是道路数据,比如车道线的位置、类型、宽度、坡度和曲率等车道信息。第二类是车道周边的静态的交通目标的信息,比如交通标志、交通信号灯、下水道口、障碍物、高架物体、防护栏等的信息中的一个或多个。假设处理单元从云端服务器上获取其当前所处的位置附近的障碍物的属性描述数据,如表4所示,则可以将该障碍物确定为第二目标,目标ID为T004。
又例如,云端传感器可以为交通场景中的车辆B。处理单元所在的车辆A可以与车辆B建立通信连接,接收车辆B发送的信息。车辆B可以预先设定好自身的一些允许发送给其他终端的属性描述数据,例如车辆B的尺寸、颜色或者当前时间点的方向角、速度、加速度等。当车辆A与车辆B建立通信连接之后,车辆B就可以将这些信息发送给车辆A。由此,处理单元可以接收到车辆B的属性描述数据,如表4中T001对应的属性描述数据所示。据此,处理单元可以将该车辆B确定为一个第二目标,目标ID为T001。
表4从云端传感器获取的交互信息示例
在确定第二目标之后,处理单元可以基于来自云端传感器的交互信息确定第二目标的属性描述数据。此外,在融合后数据中包括第二目标的属性描述数据的情况下,处理单元也可以从融合后数据中获得第二目标的属性描述数据。然后,处理单元将第一反馈数据发送给第一传感器,第一反馈数据中包括第二目标的属性描述数据。例如,在前述的例子中,处理单元基于表4所示的交互信息,确定第一反馈数据,其中可以包含T001和T004这两个第二目标的部分或者全部的属性描述数据。
需要说明的是,上述两种方式所确定的第二目标,可能存在部分或全部目标相同的情况。在一种实现方式中,可以通过交通目标在交通场景中的位置,来判断两种方法所确定的交通目标是否为同一个。如果为同一个交通目标,可以采用相同的目标ID来标识,例如表3和表4中的ID为T001的交通目标。如果不是同一个交通目标,则采用不同的目标ID来区分,例如表3中的T002、T003和表4中的T004。
处理单元可以根据应用场景或者预设规则的不同,来选择其中一种方式所确定的第二目标的属性描述数据,或者,组合两种方式所确定的第二目标的属性描述数据,然后将包含这些第二目标的属性描述数据的第一反馈数据发送给第一传感器。
请参见图5,图5为本申请的数据处理方法的实现方式之三的流程图。其中,处理单元既从第二传感器接收第二抽象数据,也从云端传感器接收交互信息。在对第一抽象数据和第二抽象数据进行数据融合,得到融合后数据之后,处理单元将融合后数据中的第二目标的属性描述数据,以及交互信息中的第二目标的属性描述数据进行组合,确定需要发送给第一传感器的第一反馈数据。
例如,在前述表3的例子中,处理单元进行数据融合后确定的T001和T002与第一传感器识别出的第一目标相同,T003则是第一传感器未识别出的交通目标。在一种实现方式中,第一反馈数据可以包括表3中的这三个第二目标的属性描述数据,以便后续用于优化第一识别算法,提高第一传感器的识别准确率。
又例如,在前述表4的例子中,处理单元基于交互信息确定的T001与第一传感器识别出的第一目标相同,T004则是第一传感器未识别出的交通目标。在一种实现方式中,第一反馈数据可以包括表4中的这两个第二目标的属性描述数据,以便后续用于优化第一识别算法,提高第一传感器的识别准确率。
还例如,在另一种实现方式中,处理单元还可以根据预设的规则来确定第一反馈数据,使第一反馈数据包括表3中的T002和T003的属性描述数据,以及表4中的T001和T004的属性描述数据。
还需要说明的是,针对同一个第二目标,上述两种方式所确定的第二目标的属性描述数据也可能存在区别。在这种情况下,当处理单元确定第一反馈数据时,可以根据应用场景或者预设规则的不同,来选择其中一种方式所确定的第二目标的属性描述数据,或者,组合两种方式所确定的第二目标的属性描述数据。
例如,前述表3和表4都包括了T001的属性描述数据。在一种实现方式中,在确定第一反馈数据时,处理单元可以优先采用T001发送过来的属性描述数据。在另一种实现方式中,处理单元可以将两种方式确定的属性描述数据进行组合,采用表4中的T001的类型和颜色的数据,以及表3中的T001的尺寸数据。
第一反馈数据中所涉及的第二目标可能有一个或者多个。从上述两种确定第二目标的方式可以发现,第二目标中可能包含了第一传感器识别出的目标,也有可能包含了第一传感器本应当识别出,而未识别出的目标。为了便于说明,在本申请的实施例中,将第二目标中的与第一目标相同的这些交通目标,也就是第一传感器识别出的这些交通目标,称为第一特定目标;将第二目标中的与第一目标不相同的这部分交通目标,也就是第一传感器未识别出的这些交通目标,称为第二特定目标。
第一反馈数据中可以包括至少一个第一特定目标的属性描述数据。其中,第一特定目标可能是处理单元基于对第一抽象数据和第二抽象数据进行数据融合得到的融合后数据,所确定的交通目标。第一特定目标也可能是处理单元基于从云端传感器获取的交互信息而确定的交通目标。
第一反馈数据中可以包括至少一个第二特定目标的属性描述数据。其中,第二特定目标可能是处理单元基于对第二抽象数据和第一抽象数据进行数据融合得到的融合后数据,所确定的交通目标。即第二特定目标可能是第一传感器未能识别出,而第二传感器识别出的目标。第二特定目标也可能是处理单元基于从云端传感器获取的交互信息而确定的交通目标。
这里的第二抽象数据、数据融合、交互信息,以及与第二抽象数据相关的第二原始数据、第三目标、第三目标的属性描述数据等,可以参考前述的相关描述,此处不再赘述。
对于一个第一特定目标而言,由于第一传感器也识别出了该目标(即第一目标中的某一个目标),故而可以采用ID号等将二者关联起来。对于第二特定目标而言,由于第一传感器没有识别出该目标,故而需要采用位置信息将第二特定目标和第一原始数据中对应位置的特征点关联起来,以便后续进行优化。即当第一反馈数据包括一个或多个第二特定目标的属性描述数据时,所述第一反馈数据还包括这一个或多个第二特定目标的位置信息。这里的位置信息可以采用像素位置、坐标位置,或者与车辆之间的相对位置等。通过这样的方式,第一传感器就可以将第二特定目标与第一原始数据中对应位置的特征点关联起来,从而使第一传感器利用该第二特定目标的属性描述数据,来优化第一识别算法。
S103:第一传感器根据第一反馈数据优化第一识别算法。
当第二目标的属性描述数据与第一目标的属性描述数据不相同时,说明第一传感器利用第一识别算法来处理第一原始数据所得到的结果与实际情况不一致。
具体来说,对于某一个第二目标来说,如果其为第一特定目标,即第一传感器也识别出了相同的交通目标,那么可以对比第一抽象数据中该交通目标的属性描述数据,与第一反馈数据中该交通目标的属性描述数据是否相同。如果相同,说明第一传感器所识别的该交通目标的属性描述数据都是准确的,则无需优化。如果不同,则可以认为第二目标的属性描述数据与第一目标的属性描述数据不相同。如果该第二目标为第二特定目标,即第一传感器未能识别出相同的交通目标,那么其属性描述数据必然与第一抽象数据中所有第一目标的属性描述数据都不同,即第二目标的属性描述数据与第一目标的属性描述数据不相同。
在一种实现方式中,无论第二目标的属性描述数据与第一目标的属性描述数据是否相同,处理单元都可以将包含第二目标的属性描述数据的第一反馈数据,发送给第一传感器,由第一传感器来判断二者是否相同。
在另一种实现方式中,由于处理单元能够接收到第一传感器识别出的第一目标的属性描述数据,故而,处理单元可以判断第二目标的属性描述数据与第一目标的属性描述数据是否相同。如果不同,再将包含该第二目标的属性描述数据的第一反馈数据,发送给第一传感器。
当第二目标的属性描述数据与第一目标的属性描述数据不相同时,可以利用能够体现实际情况的数据,也就是第二目标的属性描述数据,来优化第一识别算法。本申请实施例中优化,可以是优化第一识别算法中的一些可被修改的参数,也可以是其他优化方式,本申请对此不作限定。
优化第一识别算法中的参数,也可以理解为校正第一识别算法的参数。一般地,对于一个特定的识别算法而言,其函数本身是不变的,而其中的参数是可以调整的。当将该识别算法应用到不同的应用场景中时,就需要先利用特定的训练样本,来对该识别算法进行训练。训练,也即对该识别算法中的一些参数进行调整,以便使该识别算法在特定的应用场景中获得较好的预测效果。在训练完成之后就可以进入使用阶段。在使用阶段,这些参数通常是不变的。而本申请实施例的技术方案,是在使用阶段,也利用前述的第一反馈数据来再校正识别算法中的这些参数,从而进一步提升预测效果。
校正参数的具体方法可以采用现有的方法。例如,在一种实现方式中,可以根据第一特定目标的属性描述数据和第一抽象数据中同一个交通目标的属性描述数据之间的差值,来更新第一识别算法中的参数的取值。又例如,在另一种实现方式中,可以根据第二特定目标的属性描述数据和第一原始数据,来更新第一识别算法中的参数的取值。
需要说明的是,当第一识别算法为不同的算法时,被校正的参数也相应地存在差异。为便于进一步理解参数校正的过程,以下将以卡尔曼滤波(Kalman filtering)跟踪算法为例来对作简要说明。
卡尔曼滤波跟踪算法是一种最优线性状态估计方法,即利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。卡尔曼滤波跟踪算法常被应用在通信、雷达、导航等领域。实现卡尔曼滤波跟踪算法需要五个公式,其中,预测方程包括以下(1)和(2)两个公式,更新方程包括以下(3)、(4)和(5)三个公式,具体如下:
A表示状态转移矩阵,是一个n×n阶的矩阵。A实际上是对目标状态转换的一种猜想模型。
uk-1表示k-1时刻的控制增益,在一般的应用场景中可以设置为0。
B表示可选的控制输入u的增益,是一个n×l阶的矩阵。在大多数实际情况下并没有控制增益,此时B为0。
Pk-1表示k-1时刻的后验估计协方差,Pk表示k时刻的后验估计协方差,二者都是滤波的结果之一。
Q表示过程激励噪声协方差,该参数用来表示状态转移矩阵与实际过程之间的误差。
Kk表示卡尔曼增益,是滤波的中间计算结果。
H表示测量矩阵,是一个m×n阶矩阵,负责将m维的测量值转换到n维,使之符合状态变量的数学形式,是滤波的前提条件之一。
R表示测量噪声协方差。
zk表示测量值,是一个m阶向量,是滤波的输入。
对于单模型单测量,I取值可以为1。
通过更新方程(3)、(4)、(5)计算出和Pk,然后将其代入到预测方程(1)和(2)中,从而得到新的预测状态值(即k+1时刻的先验状态估计值),以及新的预测预计协方差值(即k+1时刻的先验估计协方差)。
当将上述卡尔曼滤波跟踪算法应用到实际场景中时,在训练阶段需要采用训练样本来进行训练,从而对算法中的Q、R、A、B、H等参数进行调整,以便提升预测效果。一般来说,在训练阶段校正这些参数时,通常采用目标的历史数据和目标的真实数据作为训练样本,将其代入上述方程中,以便计算得到适合实际场景的参数值。而在使用阶段,这些参数通常是不变的。结合本申请的方案,在使用阶段,也可以将前述的第一反馈数据作为目标的真实数据,将第一原始数据作为目标的历史数据,来校正这些参数,从而进一步提升预测效果。
在上述技术方案中,第一传感器首先通过第一识别算法从所述第一原始数据中获取包含了第一目标的属性描述数据的第一抽象数据,然后从处理单元接收包含了第二目标的属性描述数据的第一反馈数据,再根据第一反馈数据来优化第一识别算法。通过这样的方式,第一传感器不但向处理单元发送其从交通场景中识别出来的信息,即第一抽象数据,也能够从处理单元接收第一反馈数据,实现了双向传输。第一传感器进而可以根据同一个交通场景中的第二目标的属性描述数据来优化第一识别算法,以提高通过第一识别算法从第一原始数据中获取第一抽象数据的准确率,即提高第一传感器的识别准确率。
需要说明的是,上述第二传感器可以与一般的传感器一样,仅与处理单元单向传输数据,也可以执行本申请的数据处理方法,与处理单元双向传输数据,例如图2中的第二传感器1所示,本申请对此不作限定。
上述数据处理方法中的第一原始数据指的是某一个时间点从交通场景中测量得到的数据,第一抽象数据和第一反馈数据均是与该第一原始数据对应的数据,即与该时间点对应的数据。而实际上第一传感器在工作时,其通常按照一定的频率在不断地测量不同的交通场景中的数据。例如,当第一传感器为摄像头时,其可以根据不同的帧率(比如30帧每秒或者60帧每秒等),来采集交通场景的图片。又例如,当第一传感器为激光雷达时,其可以按照一定的周期(比如以几十毫秒为一个周期),对交通场景进行扫描。因此,在不同的时间点,第一传感器在不断测量得到第一原始数据。在不同的第一原始数据所对应的交通场景中,交通参与者、交通环境可能发生变化。为了便于区分不同时间点获取到的第一原始数据,可选地,第一原始数据、对应的第一抽象数据都可以包含相应的时间戳。其他传感器在向处理单元传输数据时,发送的第二抽象数据也可以包含相应的时间戳。
本申请实施例中的时间戳,用于指示传感器从场景中测量得到原始数据的时间信息。第一原始数据、第一抽象数据所包含的时间戳,是第一传感器从场景中测量得到第一原始数据的时间信息。相应地,第二原始数据、第二抽象数据所包含的时间戳,用于指示第二传感器从场景中测量得到第二原始数据的时间信息。
这样,处理单元就可以把时间戳相同的抽象数据进行融合,而不会错误地把时间戳不同的抽象数据融合起来。第一反馈数据包含的时间戳,与该第一反馈数据对应的第一抽象数据、第一原始数据的时间戳相同。即在发送第一反馈数据时,处理单元将与所述第一原始数据和所述第一抽象数据的时间戳对应的所述第一反馈数据,发送给第一传感器。基于此,第一传感器就可以通过时间戳,找到对应的第一抽象数据、第一原始数据和第一反馈数据,来优化第一识别算法。
可选地,在前述S103的步骤中,第一传感器携带至少一个识别标签,所述识别标签用于标识所述第一传感器能够识别的目标的属性种类。例如,如果第一传感器为激光雷达,其能够识别出交通场景中的车辆的尺寸、与车辆之间的距离等,但是无法识别出车辆的颜色。这样,就可以为激光雷达配置“尺寸”、“与车辆之间的距离”等识别标签。第二目标的属性描述数据是基于融合后数据或者交互信息得到的,这些属性描述数据中可能包含了“尺寸”等,也可能包含了“颜色”。由于不同传感器的实现原理不同,即便将“颜色”的数值发送给激光雷达,激光雷达也无法用它来优化第一识别算法。为此,处理单元在发送第一反馈数据时,第一反馈数据中仅包含与第一传感器的至少一个识别标签相匹配的第二目标的属性描述数据。沿用前述的例子,当第一传感器为激光雷达时,第一反馈数据中可以包括第二目标的“尺寸”、“与车辆之间的距离”等属性描述数据,而无需包括“颜色”等属性描述数据。
可选地,第一反馈数据包括与其中的每一条第二目标的属性描述数据对应的置信度,所述置信度用于表征第二目标的属性描述数据的可信程度。
需要说明的是,对于某一条第二目标的属性描述数据而言,其对应的置信度可以包含在该条第二目标的属性描述数据中,采用该条第二目标的属性描述数据中的某一个字段来表示,也可以包含在第一反馈数据中,采用一个独立的字符串来表示,本申请对此不作限定。当置信度采用独立的字符串来表示时,第二目标的属性描述数据与相应的置信度之间建立有对应关系。
在一种实现方式中,某一条第二目标的属性描述数据的置信度,可以根据其来源来确定。例如,如果第二目标的属性描述数据来自融合后数据,则可以将其置信度设置为80%;如果第二目标的属性描述数据来自云端服务器,则可以将其置信度设置为95%;如果第二目标的属性描述数据来自第二目标,则可以将其置信度设置为99%。也就是说,第二目标的属性描述数据包含对应的来源标签,该来源标签用于标识第二目标的属性描述数据的来源。可选地,上述来源标签可以采用第二目标的属性描述数据中的某一个字段来表示。由于第二目标的属性描述数据的来源与第二目标的属性描述数据的置信度之间存在对应关系,故而第一传感器可以根据第二目标的属性描述数据的来源,来确定其相应的置信度。
在这种情况下,前述S103的步骤可以包括:根据所述第二目标的属性描述数据,以及所述第二目标的属性描述数据对应的置信度,优化所述第一识别算法。通过这样的方式,第一传感器可以调节第一识别算法的参数的校正幅度,从而进一步提高优化后的第一识别算法的识别准确率。
可选地,为了使第一传感器与处理单元之间实现双向传输,本申请实施例中提供一种通信接口。第一传感器与处理单元之间、第二传感器与处理单元之间均可以采用该通信接口。
该通信接口采用“数据包头+数据体”的形式。其中,数据包头包括了协议版本号、前述的时间戳等信息。此外,数据包头还可以包括周期计数器、传感器的安装位置、数据体个数等,如表5所示。其中,周期计数器用于指示数据传输的周期,传感器的安装位置用于指示传感器在车辆或者路侧等地方的安装位置,数据体个数用于指示当前发送的数据中所包含的数据体的数量。数据体包括了交通目标的属性描述数据,例如前述的交通目标的类别、尺寸、位置、方向角、速度、加速度等,如表5所示。需要说明的是,根据不同的应用场景,可以调整数据包头和数据体中的具体内容。
表5通信接口的实现形式举例
内容 | |
数据包头 | 协议版本号、时间戳、周期计数器、传感器的安装位置、数据体个数…… |
数据体 | 交通目标的位置、方向角、速度、加速度、交通目标的类别、灯光信息…… |
通过采用该通信接口,处理单元可以对接多种不同的传感器,既可以接收传感器发送的数据,也可以向传感器发送数据。此外,处理单元与云端传感器之间,也可以采用该通信接口来进行数据传输。这样,各个传感器与处理单元之间就可以采用统一的接口,从而简化处理单元的软件设计。
在本申请的第二个实施例中提供一种数据处理方法。该方法可以由处理单元来执行。该处理单元可以是具有数据融合功能的处理单元。通过执行该数据处理方法,处理单元可以与传感器进行双向传输,接收传感器发送来的抽象数据,并向传感器发送反馈数据,使传感器可以利用反馈数据来优化传感器所使用的识别算法。
请参见图3,由处理单元所执行的数据处理方法可以包括以下S201至S203的步骤。
S201:处理单元接收来自第一传感器的第一抽象数据。
其中,第一抽象数据来源于第一原始数据。在一种实现方式中,第一抽象数据由第一传感器利用第一识别算法处理第一原始数据得到。第一抽象数据包括第一目标的属性描述数据。第一目标为第一传感器根据第一原始数据从交通场景中识别出的交通目标。第一原始数据为第一传感器从交通场景中测量到的数据。这里的第一原始数据、第一目标、交通目标、第一目标的属性描述数据、第一抽象数据,以及第一识别算法等,均可以参考前述的相关描述,此处不再赘述。
S202:处理单元确定第一反馈数据。
其中,第一反馈数据包括第二目标的属性描述数据,所述第二目标为从前述交通场景中识别出的交通目标。这里的第二目标、第二目标的属性描述数据等,也可以参考前述的相关描述,此处不再赘述。
如前所述,处理单元可以通过多种方式来确定第二目标的属性描述数据。可选地,在S202的步骤之前,还可以包括:处理单元确定第二目标的步骤。第二目标中可以包括第一特定目标和/或第二特定目标。处理单元可以基于第一抽象数据,或者,基于来自云端传感器的交互信息,确定第一特定目标。处理单元可以基于第二抽象数据,或者,基于来自云端传感器的交互信息,确定第二特定目标。具体可以参考前述的相关描述,此处不再赘述。
S203:处理单元发送第一反馈数据给第一传感器。
处理单元将第一反馈数据发送给第一传感器,以使第一传感器利用第一反馈数据优化第一识别算法,具体可以参考前述相关描述,此处不再赘述。
可选地,该数据处理方法还可以包括:
S204:处理单元接收来自第二传感器的第二抽象数据。
第二抽象数据、其包含的第三目标的属性描述数据、第二原始数据等,可以参考第一个实施例中的相关描述,此处不再赘述。
处理单元接收了多个传感器的抽象数据之后,进行数据融合,得到融合后数据。从融合后数据中可以确定出一个或者多个第二目标,其中可能包括了第一传感器识别出的交通目标,即第一特定目标,也可能包括了第一传感器未识别出的交通目标,即第二特定目标。如果其中包括了第二特定目标,那么该第二特定目标为第二传感器识别出的交通目标,即该第二特定目标由处理单元基于第二抽象数据而确定的目标。
请参见图4,图4为本申请的数据处理方法的实现方式之二的流程图。可选地,该数据处理方法还可以包括:
S205:处理单元接收来自云端传感器的交互信息。
处理单元从云端传感器获取的交互信息,其中包含了存储在云端传感器上的交通场景中的交通目标的属性描述数据,例如交通场景中的车辆、交通标识等的属性描述数据。据此,处理单元可以确定一个或者多个第二目标,其中可能包括了第一传感器识别出的交通目标,即前述的第一特定目标,也可能包括了第一传感器未识别出的交通目标,即前述的第二特定目标。
在确定了第二目标之后,处理单元可以从融合后数据,或者交互信息中确定第二目标的属性描述数据。将第一反馈数据发送给第一传感器,第一反馈数据中包括了这些第二目标的属性描述数据。
需要说明的是,在确定第二目标及其属性描述数据时,处理单元与云端传感器之间可以交互一次或者多次,本申请对此不作限定。还需要说明的是,处理单元与云端传感器之间可以T-BOX(Telematics BOX)中的收发模块等间接地进行交互,本申请对此不作限定。上述数据处理方法可以同时包括S204和S205的步骤,如图5所示。
可选地,对于第二目标中的第二特定目标,第一反馈数据中还包括该第二特定目标的位置信息。第二特定目标的位置信息可以参考第一个实施例中的相关描述,此处不再赘述。
可选地,第一反馈数据包括与其中的每一条第二目标的属性描述数据对应的置信度。其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。关于置信度可以参考前述第一个实施例中的相关描述,此处不再赘述。
可选地,第一抽象数据、第一原始数据和第一反馈数据还包含时间戳,以便第一传感器利用时间戳来确定与该第一反馈数据对应的第一抽象数据和第一原始数据。具体可以参考第一个实施例中的相关描述,此处不再赘述。
本申请的第三个实施例提供一种数据处理装置。该装置可以为传感器本身,也可以为传感器中的ECU,还可以传感器中的芯片。请参见图6,图6为本申请实施例中一种数据处理装置的实现方式之一的结构示意图。该数据处理装置400包括:
第一收发模块401,用于接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;
至少一个第一处理模块402,用于通过第一识别算法从第一原始数据中获取第一抽象数据;以及,根据所述第一反馈数据优化所述第一识别算法;
其中,所述第一抽象数据包括第一目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
可选地,所述第二目标包括至少一个第一特定目标,所述第一目标中存在与所述第一特定目标相同的目标。
可选地,所述第二目标包括至少一个第二特定目标,所述第一目标中不存在与所述第二特定目标相同的目标。
可选地,所述第一反馈数据包括所述第二特定目标的位置信息和属性描述数据;所述至少一个第一处理模块402还用于根据所述至少一个第二特定目标的位置信息和属性描述数据,优化所述第一识别算法。
可选地,所述第二目标的属性描述数据是基于所述第一抽象数据确定的数据,或者,基于来自云端传感器的交互信息确定的数据。
可选地,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中得到所述第一原始数据的时间信息;所述至少一个第一处理模块402还用于根据所述时间戳对应的所述第一原始数据、所述第一抽象数据和所述第一反馈数据,优化所述第一识别算法。
可选地,所述至少一个第一处理模块402还用于根据所述第二目标的属性描述数据,以及所述第二目标的属性描述数据对应的置信度,优化所述第一识别算法;其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。
可选地,所述第二目标的属性描述数据包含来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。
本申请的第三个实施例提供另一种数据处理装置。该装置为具有数据融合功能的处理装置。该处理装置可以为车载的中央处理单元本身,也可以是车载的中央处理单元中的芯片或者元件。该处理装置还可以为融合单元,或者融合单元中的芯片或者元件。该处理装置还可以是其它的产品形态。以下通过图7从逻辑功能上对所述数据处理装置进行阐述。请参见图7,图7为本申请实施例中另一种数据处理装置的实现方式之一的结构示意图。该数据处理装置500包括:
第二收发模块501,用于接收来自第一传感器的第一抽象数据;以及,发送第一反馈数据给所述第一传感器;其中,所述第一抽象数据来源于第一原始数据,所述第一抽象数据包括第一目标的属性描述数据,所述第一反馈数据包括第二目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为从所述场景中识别出的目标;
至少一个第二处理模块502,用于确定所述第一反馈数据。
可选地,所述至少一个第二处理模块502还用于基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第一特定目标;所述第一目标中存在与所述第一特定目标相同的目标。在这种情况下,所述第一反馈数据包括所述至少一个第一特定目标的属性描述数据。
可选地,基于第二抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第二特定目标;其中,所述第二抽象数据来源于第二原始数据,所述第二原始数据为所述场景的测量数据,所述第二抽象数据包括第三目标的属性描述数据,所述第三目标为所述场景中的目标;所述第一目标中不存在与所述第二特定目标相同的目标。在这种情况下,所述第一反馈数据包括所述至少一个第二特定目标的属性描述数据。
可选地,所述第一反馈数据还包括所述至少一个第二特定目标的位置信息。
可选地,所述至少一个第二处理模块502还用于基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定所述第二目标的属性描述数据。
可选地,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中测量得到所述第一原始数据的时间信息;
所述至少一个第二处理模块502还用于将与所述第一原始数据和所述第一抽象数据的时间戳对应的所述第一反馈数据,发送给所述第一传感器。
可选地,所述第一反馈数据包括与每一条所述第二目标的属性描述数据对应的置信度,其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。
可选地,每一条所述第二目标的属性描述数据包含对应的来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。
可以理解的是,以上各个模块的划分仅仅是一种逻辑功能的划分,在实际实现时,第一收发模块或第二收发模块的功能可以由收发器实现,第一处理模块或第二处理模块的功能可以由处理器实现。当装置为传感器本身时,收发器可以包括接收天线和发射天线,分别执行接收和发射功能。
在实际应用中,上述第一收发模块401、第二收发模块501均可以通过数据接口或者其他可能的形式来实现,本申请对此不作限定。
上述第一处理模块402、第二处理模块502可以是通用处理器、数字信号处理器、专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,简称GAL)或其任意组合。通用处理器可以是微处理器或者任何常规的处理器等。
本申请的第三个实施例还提供一种芯片系统。请参见图8,图8是本申请实施例提供的芯片系统的一种实现方式的结构示意图。该芯片系统600包括:至少一个处理器601和接口602,接口602用于接收代码指令,并传输至至少一个处理器601,至少一个处理器601运行代码指令以实现前述传感器或者处理单元所执行的任一种方法。
上述处理器601可以是通用处理器、数字信号处理器、专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,简称GAL)或其任意组合。通用处理器可以是微处理器或者任何常规的处理器等。
应理解,上述芯片系统600可以包括一个芯片,也可以包括多个芯片组成的芯片模组,本申请对此不作限定。
本实施例还提供一种车辆,该车辆可以包括前述的任一种数据处理装置400。此外,该车辆还可以包括前述的任一种数据处理装置500。本申请对于车辆的具体实现形式不作限定。
本实施例还提供一种终端,该终端可以设置在交通场景中,例如安装在路侧等位置。该终端可以包括前述任一种数据处理装置400,该终端还可以包括前述的任一种数据处理装置500。本申请对于终端的具体实现形式不作限定。
本实施例还提供一种系统,该系统可以包括前述的任一种数据处理装置400。此外,该系统还可以包括前述的任一种数据处理装置500。
本实施例还提供一种计算机可读存储介质。该计算机可读存储介质用于存储计算机程序或指令,当所述计算机程序或指令在电子设备上运行时,使得所述电子设备实现前述传感器或者处理单元所执行的任一种方法的部分或全部步骤。
这里的可读存储介质可为磁碟、光盘、DVD、USB、只读存储记忆体(ROM)或随机存储记忆体(RAM)等,本申请对具体的存储介质形式不作限定。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solidstate disk,SSD))等。
应理解,在本申请的各种实施例中,各步骤的执行顺序应以其功能和内在逻辑确定,各步骤序号的大小并不意味着执行顺序的先后,不对实施例的实施过程构成限定。
除非另外说明,本说明书中的“多个”,指的是两个或者两个以上。在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解,“第一”、“第二”等字样并不对数量和执行次序构成限定,并且“第一”、“第二”等字样也并不限定一定不同。
应理解,本申请实施例的架构示意图中,各个功能模块之间的连接仅是示意,不代表实际应用中的物理走线和网络连接方式。
应理解,本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于数据处理装置、芯片系统、车辆、终端、计算机可读存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (22)
1.一种数据处理方法,其特征在于,所述方法包括:
通过第一识别算法从第一原始数据中获取第一抽象数据,所述第一抽象数据包括第一目标的属性描述数据;
接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;
根据所述第一反馈数据优化所述第一识别算法;
其中,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
2.根据权利要求1所述的方法,其特征在于,
所述第二目标包括至少一个第一特定目标,所述第一目标中存在与所述第一特定目标相同的目标。
3.根据权利要求1或2所述的方法,其特征在于,
所述第二目标包括至少一个第二特定目标,所述第一目标中不存在与所述第二特定目标相同的目标。
4.根据权利要求3所述的方法,其特征在于,所述第一反馈数据包括所述第二特定目标的位置信息和属性描述数据;
所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:
根据所述至少一个第二特定目标的位置信息和属性描述数据,优化所述第一识别算法。
5.根据权利要求1-4任一项所述的方法,其特征在于,
所述第二目标的属性描述数据是基于所述第一抽象数据确定的数据,或者,基于来自云端传感器的交互信息确定的数据。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中得到所述第一原始数据的时间信息;
所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:
根据所述时间戳对应的所述第一原始数据、所述第一抽象数据和所述第一反馈数据,优化所述第一识别算法。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述第一反馈数据优化所述第一识别算法的步骤,包括:
根据所述第二目标的属性描述数据,以及所述第二目标的属性描述数据对应的置信度,优化所述第一识别算法;其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。
8.根据权利要求7所述的方法,其特征在于,所述第二目标的属性描述数据包含来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。
9.一种数据处理方法,其特征在于,包括:
接收来自第一传感器的第一抽象数据,所述第一抽象数据来源于第一原始数据,所述第一抽象数据包括第一目标的属性描述数据;
确定第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;
发送所述第一反馈数据给所述第一传感器;
其中,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第一特定目标;所述第一目标中存在与所述第一特定目标相同的目标;
其中,所述第一反馈数据包括所述至少一个第一特定目标的属性描述数据。
11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
基于第二抽象数据,或者,基于来自云端传感器的交互信息,确定至少一个第二特定目标;其中,所述第二抽象数据来源于第二原始数据,所述第二原始数据为所述场景的测量数据,所述第二抽象数据包括第三目标的属性描述数据,所述第三目标为所述场景中的目标;所述第一目标中不存在与所述第二特定目标相同的目标;
其中,所述第一反馈数据包括所述至少一个第二特定目标的属性描述数据。
12.根据权利要求11所述的方法,其特征在于,所述第一反馈数据还包括所述至少一个第二特定目标的位置信息。
13.根据权利要求9-12任一项所述的方法,其特征在于,所述确定第一反馈数据的步骤,包括:
基于所述第一抽象数据,或者,基于来自云端传感器的交互信息,确定所述第二目标的属性描述数据。
14.根据权利要求9-13任一项所述的方法,其特征在于,所述第一原始数据、所述第一抽象数据和所述第一反馈数据包含时间戳;其中,所述时间戳用于指示从所述场景中测量得到所述第一原始数据的时间信息;
所述发送所述第一反馈数据给所述第一传感器的步骤,包括:
将与所述第一原始数据和所述第一抽象数据的时间戳对应的所述第一反馈数据,发送给所述第一传感器。
15.根据权利要求9-14任一项所述的方法,其特征在于,所述第一反馈数据包括与每一条所述第二目标的属性描述数据对应的置信度,其中,所述置信度用于表征所述第二目标的属性描述数据的可信程度。
16.根据权利要求15所述的方法,其特征在于,每一条所述第二目标的属性描述数据包含对应的来源标签,所述来源标签用于标识所述第二目标的属性描述数据的来源,所述第二目标的属性描述数据的来源与所述第二目标的属性描述数据的置信度之间存在对应关系。
17.一种数据处理装置,其特征在于,包括:
第一收发模块,用于接收第一反馈数据,所述第一反馈数据包括第二目标的属性描述数据;
至少一个第一处理模块,用于通过第一识别算法从第一原始数据中获取第一抽象数据;以及,根据所述第一反馈数据优化所述第一识别算法;其中,所述第一抽象数据包括第一目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为所述场景中的目标。
18.一种数据处理装置,其特征在于,包括:
第二收发模块,用于接收来自第一传感器的第一抽象数据;以及,发送第一反馈数据给所述第一传感器;其中,所述第一抽象数据来源于第一原始数据,所述第一抽象数据包括第一目标的属性描述数据,所述第一反馈数据包括第二目标的属性描述数据,所述第一原始数据为场景的测量数据,所述第一目标和所述第二目标为从所述场景中识别出的目标;
至少一个第二处理模块,用于确定所述第一反馈数据。
19.一种芯片系统,其特征在于,包括至少一个处理器以及接口,所述接口用于接收代码指令,并传输所述至少一个处理器;所述至少一个处理器运行所述代码指令,以实现权利要求1-8任一项所述的方法。
20.一种芯片系统,其特征在于,包括至少一个处理器以及接口,所述接口用于接收代码指令,并传输所述至少一个处理器;所述至少一个处理器运行所述代码指令,以实现权利要求9-16任一项所述的方法。
21.一种计算机可读存储介质,其特征在于,用于存储计算机程序或指令,当所述计算机程序或所述指令在电子设备上运行时,使所述电子设备实现权利要求1至8任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,用于存储计算机程序或指令,当所述计算机程序或所述指令在电子设备上运行时,使所述电子设备实现权利要求9至16任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910934078.3A CN112578781B (zh) | 2019-09-29 | 2019-09-29 | 数据处理方法、装置、芯片系统及介质 |
EP20869237.6A EP4024974A4 (en) | 2019-09-29 | 2020-08-14 | DATA PROCESSING METHOD AND DEVICE, CHIP SYSTEM AND MEDIUM |
PCT/CN2020/109187 WO2021057324A1 (zh) | 2019-09-29 | 2020-08-14 | 数据处理方法、装置、芯片系统及介质 |
US17/706,351 US20220215197A1 (en) | 2019-09-29 | 2022-03-28 | Data processing method and apparatus, chip system, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910934078.3A CN112578781B (zh) | 2019-09-29 | 2019-09-29 | 数据处理方法、装置、芯片系统及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112578781A true CN112578781A (zh) | 2021-03-30 |
CN112578781B CN112578781B (zh) | 2022-12-30 |
Family
ID=75111059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910934078.3A Active CN112578781B (zh) | 2019-09-29 | 2019-09-29 | 数据处理方法、装置、芯片系统及介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220215197A1 (zh) |
EP (1) | EP4024974A4 (zh) |
CN (1) | CN112578781B (zh) |
WO (1) | WO2021057324A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113252881A (zh) * | 2021-05-17 | 2021-08-13 | 陕西中易泰能源科技有限公司 | 一种油品含水分析系统和信息融合分析方法 |
WO2023109649A1 (zh) * | 2021-12-13 | 2023-06-22 | 深圳市道通智能航空技术股份有限公司 | 一种数据处理方法、设备、系统及介质 |
CN117376391A (zh) * | 2023-09-26 | 2024-01-09 | 广东省水文局江门水文分局 | 应用于水质监测仪的传感器自动识别方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107908655A (zh) * | 2017-10-12 | 2018-04-13 | 北京三快在线科技有限公司 | 一种定位的方法和装置 |
CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院(吴江) | 基于增强学习和多传感器融合的自动驾驶系统 |
CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
CN108732589A (zh) * | 2017-04-24 | 2018-11-02 | 百度(美国)有限责任公司 | 利用3d lidar和定位自动采集用于对象识别的训练数据 |
CN109816033A (zh) * | 2019-01-31 | 2019-05-28 | 清华四川能源互联网研究院 | 一种基于优化的监督学习进行台区用户识别的方法 |
CN109901574A (zh) * | 2019-01-28 | 2019-06-18 | 华为技术有限公司 | 自动驾驶方法及装置 |
US20190228571A1 (en) * | 2016-06-28 | 2019-07-25 | Cognata Ltd. | Realistic 3d virtual world creation and simulation for training automated driving systems |
CN110160804A (zh) * | 2019-05-31 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种自动驾驶车辆的测试方法、装置及系统 |
CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6915239B2 (en) * | 2001-01-19 | 2005-07-05 | International Business Machines Corporation | Method and apparatus for opportunistic decision support from intermittent interconnected sensors and data archives |
US7436884B2 (en) * | 2002-03-26 | 2008-10-14 | Lockheed Martin Corporation | Method and system for wavelet packet transmission using a best base algorithm |
DE102004038494A1 (de) * | 2004-08-07 | 2006-03-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Sensorsystems |
US20060204107A1 (en) * | 2005-03-04 | 2006-09-14 | Lockheed Martin Corporation | Object recognition system using dynamic length genetic training |
CN102947870B (zh) * | 2010-06-23 | 2016-10-12 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 用于验证信息的方法和系统 |
CN102303605A (zh) * | 2011-06-30 | 2012-01-04 | 中国汽车技术研究中心 | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 |
US9201421B1 (en) * | 2013-11-27 | 2015-12-01 | Google Inc. | Assisted perception for autonomous vehicles |
US9916703B2 (en) * | 2015-11-04 | 2018-03-13 | Zoox, Inc. | Calibration for autonomous vehicle operation |
CN105682222B (zh) * | 2016-03-01 | 2019-02-19 | 西安电子科技大学 | 一种基于车辆自组织网络的车辆位置定位信息融合方法 |
US11042155B2 (en) * | 2017-06-06 | 2021-06-22 | Plusai Limited | Method and system for closed loop perception in autonomous driving vehicles |
US10591914B2 (en) * | 2017-11-08 | 2020-03-17 | GM Global Technology Operations LLC | Systems and methods for autonomous vehicle behavior control |
US10535138B2 (en) * | 2017-11-21 | 2020-01-14 | Zoox, Inc. | Sensor data segmentation |
DE102019102769A1 (de) * | 2019-02-05 | 2020-08-06 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug |
EP3805998A1 (de) * | 2019-10-11 | 2021-04-14 | Elektrobit Automotive GmbH | Verarbeitung von sensordaten in einem kraftfahrzeug |
-
2019
- 2019-09-29 CN CN201910934078.3A patent/CN112578781B/zh active Active
-
2020
- 2020-08-14 EP EP20869237.6A patent/EP4024974A4/en active Pending
- 2020-08-14 WO PCT/CN2020/109187 patent/WO2021057324A1/zh unknown
-
2022
- 2022-03-28 US US17/706,351 patent/US20220215197A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190228571A1 (en) * | 2016-06-28 | 2019-07-25 | Cognata Ltd. | Realistic 3d virtual world creation and simulation for training automated driving systems |
CN108732589A (zh) * | 2017-04-24 | 2018-11-02 | 百度(美国)有限责任公司 | 利用3d lidar和定位自动采集用于对象识别的训练数据 |
CN107908655A (zh) * | 2017-10-12 | 2018-04-13 | 北京三快在线科技有限公司 | 一种定位的方法和装置 |
CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院(吴江) | 基于增强学习和多传感器融合的自动驾驶系统 |
CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
CN109901574A (zh) * | 2019-01-28 | 2019-06-18 | 华为技术有限公司 | 自动驾驶方法及装置 |
CN109816033A (zh) * | 2019-01-31 | 2019-05-28 | 清华四川能源互联网研究院 | 一种基于优化的监督学习进行台区用户识别的方法 |
CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
CN110160804A (zh) * | 2019-05-31 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种自动驾驶车辆的测试方法、装置及系统 |
Non-Patent Citations (6)
Title |
---|
JOAO F.等: "High-Speed Tracking with Kernelized Correlation Filters", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
JOAO F.等: "High-Speed Tracking with Kernelized Correlation Filters", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 37, no. 3, 31 May 2015 (2015-05-31), pages 583 - 596, XP055526646, DOI: 10.1109/TPAMI.2014.2345390 * |
LIU, T等: "Real-time part-based visual tracking via adaptive correlation filters", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
LIU, T等: "Real-time part-based visual tracking via adaptive correlation filters", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2015 (2015-12-31), pages 4902 - 4912 * |
杜晓敏: "基于多传感器数据融合的目标跟踪问题研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
杜晓敏: "基于多传感器数据融合的目标跟踪问题研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 9, 15 September 2015 (2015-09-15), pages 1 - 50 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113252881A (zh) * | 2021-05-17 | 2021-08-13 | 陕西中易泰能源科技有限公司 | 一种油品含水分析系统和信息融合分析方法 |
WO2023109649A1 (zh) * | 2021-12-13 | 2023-06-22 | 深圳市道通智能航空技术股份有限公司 | 一种数据处理方法、设备、系统及介质 |
CN117376391A (zh) * | 2023-09-26 | 2024-01-09 | 广东省水文局江门水文分局 | 应用于水质监测仪的传感器自动识别方法及装置 |
CN117376391B (zh) * | 2023-09-26 | 2024-04-02 | 广东省水文局江门水文分局 | 应用于水质监测仪的传感器自动识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4024974A1 (en) | 2022-07-06 |
US20220215197A1 (en) | 2022-07-07 |
EP4024974A4 (en) | 2022-11-02 |
WO2021057324A1 (zh) | 2021-04-01 |
CN112578781B (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109212530B (zh) | 用于确定障碍物速度的方法和装置 | |
US11579307B2 (en) | Method and apparatus for detecting obstacle | |
CN113466822B (zh) | 用于检测障碍物的方法和装置 | |
CN112578781B (zh) | 数据处理方法、装置、芯片系统及介质 | |
CN109767637B (zh) | 倒计时信号灯识别及处理的方法和装置 | |
JP6325806B2 (ja) | 車両位置推定システム | |
US20060220912A1 (en) | Sensing apparatus for vehicles | |
CN111413721A (zh) | 车辆定位的方法、装置、控制器、智能车和系统 | |
CN114051628B (zh) | 一种确定目标对象点云集的方法及装置 | |
US11410429B2 (en) | Image collection system, image collection method, image collection device, recording medium, and vehicle communication device | |
US11977159B2 (en) | Method for determining a position of a vehicle | |
US20200341150A1 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
CN113885062A (zh) | 基于v2x的数据采集融合设备、方法和系统 | |
CN111563450A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112904395A (zh) | 一种矿用车辆定位系统及方法 | |
CN116665212B (zh) | 数据标注方法、装置、处理设备、存储介质 | |
CN114488183A (zh) | 障碍物点云的处理方法、装置、设备以及可读存储介质 | |
CN109029418A (zh) | 一种在封闭区域内对车辆进行定位的方法 | |
CN107545760B (zh) | 提供在定位地点处定位车辆的定位信息的方法和通过另一车辆提供定位车辆的信息的方法 | |
CN115900697B (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
CN114724116A (zh) | 车辆通行信息生成方法、装置、设备和计算机可读介质 | |
CN112733778B (zh) | 一种车辆前导车确定方法、装置及计算机设备 | |
CN112698315B (zh) | 移动设备定位系统、方法及设备 | |
CN111325712B (zh) | 用于检测图像有效性的方法及装置 | |
CN117763342A (zh) | 一种基于环境感知的自动驾驶数据回注方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |