CN110781730A - 智能驾驶感知方法及感知装置 - Google Patents
智能驾驶感知方法及感知装置 Download PDFInfo
- Publication number
- CN110781730A CN110781730A CN201910871232.7A CN201910871232A CN110781730A CN 110781730 A CN110781730 A CN 110781730A CN 201910871232 A CN201910871232 A CN 201910871232A CN 110781730 A CN110781730 A CN 110781730A
- Authority
- CN
- China
- Prior art keywords
- determining
- image
- feature information
- characteristic information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008447 perception Effects 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000803 paradoxical effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种智能驾驶感知方法及感知装置，该感知方法包括：获取有关行车环境的第一图像和第二图像；确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息；确定多个第一特征信息中每个第一特征信息与特定目标的关联概率；确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。本发明的技术方案能够减小数据关联过程中的运算量、提高感知效率。
Description
技术领域
本发明涉及智能驾驶领域，具体涉及一种智能驾驶感知方法及感知装置。
背景技术
智能车感知系统通常配置多种类型的传感器，如视觉、超声波、雷达、激光等传感器，作为提供道路信息以及行车信息的来源。不同类型的传感器获得的信息不同，为了提高车辆对行车环境的感知能力、提高感知的可靠性，需要将各个传感器获得的信息进行关联。
发明内容
有鉴于此，本发明实施例提供了一种智能驾驶感知方法及感知装置，能够减小运算量、提高感知效率。
第一方面，本发明的实施例提供了一种智能驾驶感知方法，包括：获取有关行车环境的第一图像和第二图像；确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息；确定多个第一特征信息中每个第一特征信息与特定目标的关联概率；确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。
在本发明某些实施例中，确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息，包括：基于深度学习网络检测器识别第一图像中至少一个目标的种类、第二图像中特定目标的种类；基于光流场分析算法确定第一图像中至少一个目标的光流信息、第二图像中特定目标的光流信息；基于至少一个目标的种类和至少一个目标的光流信息确定多个第一特征信息，基于特定目标的种类和特定目标的光流信息确定多个第二特征信息。
在本发明某些实施例中，第一方面的智能驾驶感知方法还包括：对第一图像和第二图像进行去噪和/或图像增强处理。
在本发明某些实施例中，基于多个第三特征信息感知特定目标的运动状态，包括：确定与多个第三特征信息中任一第三特征信息关联的事件；基于事件感知特定目标的运动状态。
在本发明某些实施例中，基于事件感知特定目标的运动状态，包括：基于调整余弦函数确定多个第三特征信息中任意两个第三特征信息之间的相似度；基于多个第三特征信息中任一第三特征信息与剩余的第三特征信息之间的相似度之和，确定多个总相似度；基于任一第三特征信息与剩余的第三特征信息之间的相似度之和占多个总相似度之和的比值，确定权重值；基于权重值确定任一第三特征信息的基本概率赋值函数；基于基本概率赋值函数和事件感知特定目标的运动状态。
在本发明某些实施例中，确定多个第一特征信息中每个第一特征信息与特定目标的关联概率，包括：确定多个第一特征信息中每个第一特征信息的原概率；基于多个第一特征信息中每个第一特征信息的原概率确定多个第一特征信息中每个第一特征信息与特定目标的关联概率。
在本发明某些实施例中，确定多个第一特征信息中每个第一特征信息的原概率，包括：基于泊松分布进行似然估计确定多个第一特征信息中每个第一特征信息的原概率。
第二方面，本发明的实施例提供了一种智能驾驶感知装置，包括：获取模块，用于获取有关行车环境的第一图像和第二图像；确定模块，用于确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息；确定多个第一特征信息中每个第一特征信息与特定目标的关联概率；确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。
第三方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的智能驾驶感知方法。
第四方面，本发明的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的智能驾驶感知方法。
本发明实施例提供了一种智能驾驶感知方法及感知装置，通过设置门限阈值，排除小于门限阈值的关联概率对应的特征信息，可以减小数据关联过程中的运算量，能够提高感知效率。
附图说明
图1所示为本发明一示例性实施例提供的智能驾驶感知系统的系统架构示意图。
图2所示为本发明一实施例提供的智能驾驶感知方法的流程示意图。
图3所示为本发明另一实施例提供的智能驾驶感知方法的流程示意图。
图4所示为本发明一实施例提供的智能驾驶感知装置的结构示意图。
图5所示为本发明一示例性实施例示出的用于智能驾驶感知的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于行车道路具有很高的不确定性，导致多传感器获取的数据复杂且含有噪声，尤其在多目标环境下，会出现数据信息不确定性和复杂程度较高、以及跟踪实时性差等问题，这些问题会影响车辆感知系统对行车环境的感知，甚至发生交通事故。
通过数据关联，可以将各个传感器获得的数据与多个目标关联起来，提高感知结果的准确性。
图1所示为本发明一示例性实施例提供的智能驾驶感知系统的系统架构示意图，其示出了一种对可移动设备的行车环境进行感知的应用场景。如图1所示，该感知系统包括电子设备10、可移动设备20、以及图像采集设备30。可移动设备20可以是车辆，该车辆可以是有人驾驶车辆、无人驾驶车辆等。
在一示例性场景中，图像采集设备30用于采集可移动设备20在行车过程中的行车环境的图像，电子设备10用于根据图像采集设备30采集到的图像对可移动设备20的行车环境进行感知，以感知可移动设备20周围各个目标的运动状态，进而便于用户或可移动设备20根据感知结果对可移动设备20的驾驶决策做出适当的调整。
在另一示例性场景中，电子设备10可以集成在可移动设备20上，如电子设备10为可移动设备20上的车载系统，车载系统根据图像采集设备30采集到的图像对可移动设备20的行车环境进行感知，以感知可移动设备20周围各个目标的运动状态，进而对可移动设备20的驾驶决策做出适当的调整。
在上述两个示例性场景中，图像采集设备30可以是独立于可移动设备20的摄像头，也可以是集成在可移动设备20上的车载摄像头。可移动设备20周围的各个目标，可以是车辆、树木、行人或其他事物。
需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施例并不限于此。相反，本发明的实施例可以应用于可能适用的任何场景。
图2所示为本发明一实施例提供的智能驾驶感知方法的流程示意图。如图2所示，该方法包括如下内容。
110：获取有关行车环境的第一图像和第二图像。
具体地，可以通过摄像头采集有关当前车辆在行驶过程中的行车环境的多张图像，该行车环境中可以包括当前车辆、以及当前车辆周围的多个目标。目标可以是车辆、交通标识、行人或其他事物。这里，交通标识可以是红绿灯、限速指示牌、停车指示牌等。
120：确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息。
每张图像中可以包括一个或多个目标，电子设备可以利用该图像区分各个目标。进一步地，电子设备还可以结合当前车辆上的多个传感器获得的数据确定各个目标的运动状态，例如目标的位置和/或速度等。
多个特征信息可以是用于表征目标的种类、位置、速度的数据。目标的种类可以利用视觉传感器确定，目标的位置、速度可以利用激光雷达或毫米波雷达进行确定。
需要说明的是，特定目标可以是需要感知的目标之一，这里以特定目标为例对本发明实施例的方案进行解释说明，其他目标的感知过程与特定目标的感知过程类似。
130：确定多个第一特征信息中每个第一特征信息与特定目标的关联概率。
数据关联方法可以采用最近邻数据关联、全局最近邻数据关联、概率数据关联、模糊C均值聚类算法(Fuzzy Clustering Means，FCM)数据关联以及联合概率数据关联(JointProbabilistic Data Association，JPDA)。
联合概率数据关联方法可以较好地适用密集环境下的目标数据关联，在计算机上较易实现。
140：确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。
运动状态可以包括特定目标的位置、速度、运动轨迹中的至少一项。
在一实施例中，摄像头可以是一台，用于拍摄当前车辆在不同时刻的行车环境的图像。第一图像和第二图像可以分别是摄像头在不同时刻拍摄的。第二图像中包含的各个目标，可能出现在第一图像中，也可能不出现在第一图像中。电子设备可以通过计算目标A的多个第一特征信息与特定目标的关联概率，基于大于门限阈值的关联概率对应的第一特征信息确定第二图像中的特定目标是否出现在第一图像中。若第二图像中的特定目标即是第一图像中的目标A，可以通过数据关联，将有关目标A的大于门限阈值的关联概率对应的第一特征信息与特定目标关联。即可以将大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息视为多个第三特征信息，进而可以利用多个第三特征信息实现对特定目标的运动状态(特定目标的当前位置、当前速度、以及运动轨迹等)的感知。
在另一实施例中，摄像头可以是多台，多台摄像头可以拍摄当前车辆不同方位的行车环境的图像，以实现对当前车辆的整个行车环境更为全面的监控。这里，第一图像和第二图像可以是同一时刻获得的不同方位的行车环境的图像。第二图像中包含的各个目标，可能出现在第一图像中，也可能不出现在第一图像中。电子设备可以通过计算目标A的多个第一特征信息与特定目标的关联概率，基于大于门限阈值的关联概率对应的第一特征信息确定第二图像中的特定目标是否出现在第一图像中。若第二图像中的特定目标即是第一图像中的目标A，可以通过数据关联，将有关目标A的大于门限阈值的关联概率对应的第一特征信息与特定目标关联。即可以利用信息的互补，将大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息视为多个第三特征信息，进而可以利用多个第三特征信息实现对特定目标的运动状态(特定目标的当前位置、当前速度等)较为准确的感知。
根据本发明一实施例，上述数据关联过程可以采用联合概率数据关联方法实现。在数据关联过程中，通过删除关联概率小于和等于门限阈值的第一特征信息，可以减少与特定目标关联的第一特征信息的数量、优化联合概率数据关联方法的计算过程，从而减小运算量、提高感知效率。
本发明实施例提供了一种智能驾驶感知方法，通过设置门限阈值，排除小于门限阈值的关联概率对应的特征信息，可以减小数据关联过程中的运算量，能够提高感知效率。
根据本发明一实施例，120包括：基于深度学习网络检测器识别第一图像中至少一个目标的种类、第二图像中特定目标的种类；基于光流场分析算法确定第一图像中至少一个目标的光流信息、第二图像中特定目标的光流信息；基于至少一个目标的种类和至少一个目标的光流信息确定多个第一特征信息，基于特定目标的种类和特定目标的光流信息确定多个第二特征信息。
具体地，图像中各个目标的种类可以采用深度学习网络检测器进行识别，该深度学习网络检测器可以是利用大量样本图像训练机器学习模型得到的。该机器学习模型可以是卷积神经网络、全连接神经网络、循环神经网络等。在一实施例中，该机器学习模型可以是Caffe-SSD(Single Shot MultiBox Detector)深度学习框架。
目标的光流信息用于表征该目标的运动轨迹的走向，即可以预测该目标的运动轨迹。对于第一图像，基于目标的种类和目标的光流信息确定该目标的多个第一特征信息；对于第二图像，基于特定目标的种类和特定目标的光流信息确定多个第二特征信息。
在本实施例中，通过深度学习网络检测器结合光流场分析算法分析图像以获得目标的特征信息，该特征信息可以用于预测特定目标的运动轨迹，进而对当前车辆的行驶策略做出适当的调整。
根据本发明一实施例，该智能驾驶感知方法还包括：对第一图像和第二图像进行去噪和/或图像增强处理。
具体地，为了提高对图像上目标种类识别的准确性、以及光流信息的准确度，可以对采集的图像进行预处理，例如高斯去噪、图像增强等。
根据本发明一实施例，140中基于多个第三特征信息感知特定目标的运动状态，包括：确定与多个第三特征信息中任一第三特征信息关联的事件；基于事件感知特定目标的运动状态。
具体地，与第三特征信息关联的事件可以是：目标是车辆，目标的颜色，目标是静止的、目标是运动的，目标在加速、目标在减速，等等。
当与多个第三特征信息中任一第三特征信息关联的事件确定后，可以根据事件以及与该事件对应的第三特征信息，进一步感知目标的位置、速度，或目标的位置、速度、运动轨迹。即，可以根据与该事件对应的第三特征信息进一步感知目标的具体位置、具体速度、运动轨迹等信息。
根据本发明一实施例，130包括：确定多个第一特征信息中每个第一特征信息的原概率；基于多个第一特征信息中每个第一特征信息的原概率确定多个第一特征信息中每个第一特征信息与特定目标的关联概率。
根据本发明一实施例，确定多个第一特征信息中每个第一特征信息的原概率，包括：基于泊松分布进行似然估计确定多个第一特征信息中每个第一特征信息的原概率。
本实施例中的原概率、关联概率可以采用联合概率数据关联方法进行确定。
具体地，通过确定多个第一特征信息中每个第一特征信息的原概率，并基于原概率确定第一特征信息与特定目标的关联概率后，将关联概率数值小于和等于门限阈值的第一特征信息删除，而保留关联概率数值大于门限阈值的第一特征信息。进而继续根据联合概率数据关联方法将关联概率数值大于门限阈值的第一特征信息与事件关联起来。
在本实施例中，通过设置门限阈值排除关联概率较小的第一特征信息，可以减少与事件关联的第一特征信息的数量，减小运算量、提高关联效率。
根据本发明一实施例，基于事件感知特定目标的运动状态，包括：基于调整余弦函数确定多个第三特征信息中任意两个第三特征信息之间的相似度；基于多个第三特征信息中任一第三特征信息与剩余的第三特征信息之间的相似度之和，确定多个总相似度；基于任一第三特征信息与剩余的第三特征信息之间的相似度之和占多个总相似度之和的比值，确定权重值；基于权重值确定任一第三特征信息的基本概率赋值函数；基于基本概率赋值函数和事件感知特定目标的运动状态。
具体地，在通过数据关联获得特定目标的多个第三特征信息，以及确定与任一第三特征信息关联的事件后，需要对多个第三特征信息进行融合处理，以消除数据获取过程中可能存在的冗余、矛盾的问题，以提高感知结果的准确度，形成对行车环境一致和完整的感知。
多源数据融合通过对信息的整合能够得出有效的信息和结论，提高感知效率和感知结果的可靠性。由于可以将各信息源采集的不完整信息加以综合，使得能够大大的降低不同来源的信息之间的重复性和彼此有时会相互悖论的关系，提高感知系统的稳定性，缩短感知系统的反应时间。
数据融合方法可以采用：频域方法，包括小波变换(Wavelettransform，DWT)、小波衍生族变换(轮廓波、剪切波等等)；空间域方法，包括主成分分析(PrincipalComponentAnalysis，PCA)等；其他方法，包括压缩感知(Compressedsensing，CS)、DS证据理论(Dempster-Shaferevidencetheory)等。
由于第三特征信息之间的相互支持程度影响数据的合成，第三特征信息之间的相似程度可以用第三特征信息之间的距离衡量，距离越大则相似程度越小，距离越小则相似程度越大。
在本实施例中，可以采用DS证据理论实现第三特征信息之间的融合。在融合过程中，可以利用调整余弦相似度(Adjusted Cosine Similarity)衡量第三特征信息之间的相似程度，来改进第三特征信息之间的“冲突”问题。
具体地，第三特征信息可以是用向量A表示的数据。向量A的维度可以是n维，多个第三特征信息对应多个向量A，多个向量A的均值用表示。任意两个第三特征信息之间的相似度sij可以用如下公式求得：
在一实施例中，第三特征信息(向量A)的个数是n个，通过计算任意两个第三特征信息之间的相似度可以得到如下的相似度矩阵S。
对相似度矩阵S中每行的相似度分别进行求和，可以确定n个总相似度(或者称支持度)
这里，mi是第三特征信息Ai对应的事件的原始概率赋值函数，用于表征第三特征信息Ai对应的事件发生的概率。
以第三特征信息A1为例，与A1对应的总相似度
为相似度矩阵S第一行中除去1以外的n个相似度之和。
通过下面公式可以确定与A1对应的总相似度
占n个总相似度之和的比值，即确定第三特征信息A1对应的事件的原始概率赋值函数m1的权重值w1。
其他原始赋值函数mi的权重值wi的确定过程与m1的类似，在此不做赘述。
基于权重值w1对第三特征信息A1的原始基本概率赋值函数m1进行纠正，得到更新后的基本概率赋值函数m1×w1。
类似地，其他基本概率赋值函数可用mi×wi表示。基于与每个第三特征信息对应的基本概率赋值函数
(如下式)感知特定目标的运动状态。
在本实施例中，通过利用调整余弦相似度算法改进DS证据理论算法，可以提高证据(或者说第三特征信息)之间置信度，降低“冲突”问题，得到更精确的融合信息，从而为决策层提供更有效的感知信息。
图3所示为本发明另一实施例提供的智能驾驶感知方法的流程示意图。图3所示实施例是图2所示实施例的具体例子，为避免重复，相同之处不做具体解释。如图3所示，该方法包括如下内容。
210：获取有关行车环境的第一图像和第二图像。
220：对第一图像和第二图像进行去噪和/或图像增强处理。
第一图像和第二图像的获取过程可以参见上述有关图2的描述，为避免重复，在此不作赘述。
230：基于深度学习网络检测器识别第一图像中至少一个目标的种类、第二图像中特定目标的种类。
240：基于光流场分析算法确定第一图像中至少一个目标的光流信息、第二图像中特定目标的光流信息。
250：基于至少一个目标的种类和至少一个目标的光流信息确定多个第一特征信息，基于特定目标的种类和特定目标的光流信息确定多个第二特征信息。
具体地，目标种类的识别、目标的光流信息的获取，可以参见上述有关图2的描述，在此不作赘述。
260：确定多个第一特征信息中每个第一特征信息与特定目标的关联概率，确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，确定与多个第三特征信息中任一第三特征信息关联的事件。
具体地，260主要是利用联合概率数据关联方法来实现第一特征数据与特定目标、以及事件的关联。在利用联合概率数据关联方法实现数据关联的过程中，通过设置门限阈值排除关联概率较小的第一特征信息，从而减小运算量、提高关联效率。具体的数据关联过程可以参见上述有关图2的描述。
270：利用基于调整余弦相似度算法改进的DS证据理论算法融合多个第三特征信息以及与多个第三特征信息对应的事件以感知特定目标的运动状态。
具体地，运动状态包括特定目标的位置、速度、运动轨迹中的至少一项。利用改进的DS证据理论算法融合数据的具体过程可以参见上述有关图2的描述。
图4所示为本发明一实施例提供的智能驾驶感知装置400的结构示意图。如图4所示，装置400包括：获取模块410以及确定模块420。
获取模块410用于获取有关行车环境的第一图像和第二图像。确定模块420用于：确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息；确定多个第一特征信息中每个第一特征信息与特定目标的关联概率；确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。
本发明实施例提供了一种智能驾驶感知装置，通过设置门限阈值，排除小于门限阈值的关联概率对应的特征信息，可以减小数据关联过程中的运算量，能够提高感知效率。
根据本发明一实施例，确定模块420用于：基于深度学习网络检测器识别第一图像中至少一个目标的种类、第二图像中特定目标的种类；基于光流场分析算法确定第一图像中至少一个目标的光流信息、第二图像中特定目标的光流信息；基于至少一个目标的种类和至少一个目标的光流信息确定多个第一特征信息，基于特定目标的种类和特定目标的光流信息确定多个第二特征信息。
根据本发明一实施例，装置400还包括图像处理模块430，用于对第一图像和第二图像进行去噪和/或图像增强处理。
根据本发明一实施例，确定模块420用于确定与多个第三特征信息中任一第三特征信息关联的事件；基于事件感知特定目标的运动状态。
根据本发明一实施例，确定模块420用于：基于调整余弦函数确定多个第三特征信息中任意两个第三特征信息之间的相似度；基于多个第三特征信息中任一第三特征信息与剩余的第三特征信息之间的相似度之和，确定多个总相似度；基于任一第三特征信息与剩余的第三特征信息之间的相似度之和占多个总相似度之和的比值，确定权重值；基于权重值确定任一第三特征信息的基本概率赋值函数；基于基本概率赋值函数和事件感知特定目标的运动状态。
根据本发明一实施例，确定模块420用于：确定多个第一特征信息中每个第一特征信息的原概率；基于多个第一特征信息中每个第一特征信息的原概率确定多个第一特征信息中每个第一特征信息与特定目标的关联概率。
根据本发明一实施例，确定多个第一特征信息中每个第一特征信息的原概率，包括：基于泊松分布进行似然估计确定多个第一特征信息中每个第一特征信息的原概率。
应当理解，上述实施例中的获取模块410、确定模块420以及图像处理模块430的操作和功能可以参考上述图2和图3提供的智能驾驶感知方法中的描述，为了避免重复，在此不再赘述。
图5所示为本发明一示例性实施例示出的用于智能驾驶感知的电子设备500的框图。
参照图5，电子设备500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述智能驾驶感知方法。
电子设备500还可以包括一个电源组件被配置为执行电子设备500的电源管理，一个有线或无线网络接口被配置为将电子设备500连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器520的操作系统操作电子设备500，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备500的处理器执行时，使得上述电子设备500能够执行一种智能驾驶感知方法，包括：获取有关行车环境的第一图像和第二图像；确定第一图像中至少一个目标的多个第一特征信息，确定第二图像中特定目标的多个第二特征信息；确定多个第一特征信息中每个第一特征信息与特定目标的关联概率；确定大于门限阈值的关联概率对应的第一特征信息、以及多个第二特征信息为多个第三特征信息，并基于多个第三特征信息感知特定目标的运动状态。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种智能驾驶感知方法，其特征在于，包括：
获取有关行车环境的第一图像和第二图像；
确定所述第一图像中至少一个目标的多个第一特征信息，确定所述第二图像中特定目标的多个第二特征信息；
确定所述多个第一特征信息中每个第一特征信息与所述特定目标的关联概率；
确定大于门限阈值的所述关联概率对应的第一特征信息、以及所述多个第二特征信息为多个第三特征信息，并基于所述多个第三特征信息感知所述特定目标的运动状态。
2.根据权利要求1所述的感知方法，其特征在于，所述确定所述第一图像中至少一个目标的多个第一特征信息，确定所述第二图像中特定目标的多个第二特征信息，包括：
基于深度学习网络检测器识别所述第一图像中所述至少一个目标的种类、所述第二图像中所述特定目标的种类；
基于光流场分析算法确定所述第一图像中所述至少一个目标的光流信息、所述第二图像中所述特定目标的光流信息；
基于所述至少一个目标的种类和所述至少一个目标的光流信息确定所述多个第一特征信息，基于所述特定目标的种类和所述特定目标的光流信息确定所述多个第二特征信息。
3.根据权利要求1所述的感知方法，其特征在于，还包括：
对所述第一图像和所述第二图像进行去噪和/或图像增强处理。
4.根据权利要求1所述的感知方法，其特征在于，所述基于所述多个第三特征信息感知所述特定目标的运动状态，包括：
确定与所述多个第三特征信息中任一第三特征信息关联的事件；
基于所述事件感知所述特定目标的运动状态。
5.根据权利要求4所述的感知方法，其特征在于，所述基于所述事件感知所述特定目标的运动状态，包括：
基于调整余弦函数确定所述多个第三特征信息中任意两个第三特征信息之间的相似度；
基于所述多个第三特征信息中任一第三特征信息与剩余的第三特征信息之间的相似度之和，确定多个总相似度；
基于所述任一第三特征信息与剩余的第三特征信息之间的相似度之和占所述多个总相似度之和的比值，确定权重值；
基于所述权重值确定所述任一第三特征信息的基本概率赋值函数；
基于所述基本概率赋值函数和所述事件感知所述特定目标的运动状态。
6.根据权利要求1至5中任一项所述的感知方法，其特征在于，所述确定所述多个第一特征信息中每个第一特征信息与所述特定目标的关联概率，包括：
确定所述多个第一特征信息中每个第一特征信息的原概率；
基于所述多个第一特征信息中每个第一特征信息的原概率确定所述多个第一特征信息中每个第一特征信息与所述特定目标的关联概率。
7.根据权利要求6所述的感知方法，其特征在于，所述确定所述多个第一特征信息中每个第一特征信息的原概率，包括：
基于泊松分布进行似然估计确定所述多个第一特征信息中每个第一特征信息的原概率。
8.一种智能驾驶感知装置，其特征在于，包括：
获取模块，用于获取有关行车环境的第一图像和第二图像；
确定模块，用于确定所述第一图像中至少一个目标的多个第一特征信息，确定所述第二图像中特定目标的多个第二特征信息；确定所述多个第一特征信息中每个第一特征信息与所述特定目标的关联概率；确定大于门限阈值的所述关联概率对应的第一特征信息、以及所述多个第二特征信息为多个第三特征信息，并基于所述多个第三特征信息感知所述特定目标的运动状态。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7中任一项所述的智能驾驶感知方法。
10.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至7中任一项所述的智能驾驶感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871232.7A CN110781730B (zh) | 2019-09-16 | 2019-09-16 | 智能驾驶感知方法及感知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871232.7A CN110781730B (zh) | 2019-09-16 | 2019-09-16 | 智能驾驶感知方法及感知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781730A true CN110781730A (zh) | 2020-02-11 |
| CN110781730B CN110781730B (zh) | 2022-09-27 |
Family
ID=69383438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910871232.7A Expired - Fee Related CN110781730B (zh) | 2019-09-16 | 2019-09-16 | 智能驾驶感知方法及感知装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781730B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN113821873A (zh) * | 2021-08-31 | 2021-12-21 | 重庆长安汽车股份有限公司 | 用于自动驾驶的目标关联的校验方法及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127119A (zh) * | 2016-06-16 | 2016-11-16 | 山东大学 | 基于彩色图像和深度图像多特征的联合数据关联方法 |
| CN109556615A (zh) * | 2018-10-10 | 2019-04-02 | 吉林大学 | 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 |
| CN110103953A (zh) * | 2019-04-30 | 2019-08-09 | 北京百度网讯科技有限公司 | 用于辅助车辆的驾驶控制的方法、设备、介质和系统 |
-
2019
- 2019-09-16 CN CN201910871232.7A patent/CN110781730B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127119A (zh) * | 2016-06-16 | 2016-11-16 | 山东大学 | 基于彩色图像和深度图像多特征的联合数据关联方法 |
| CN109556615A (zh) * | 2018-10-10 | 2019-04-02 | 吉林大学 | 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 |
| CN110103953A (zh) * | 2019-04-30 | 2019-08-09 | 北京百度网讯科技有限公司 | 用于辅助车辆的驾驶控制的方法、设备、介质和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN111815678B (zh) * | 2020-07-10 | 2024-01-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN113821873A (zh) * | 2021-08-31 | 2021-12-21 | 重庆长安汽车股份有限公司 | 用于自动驾驶的目标关联的校验方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781730B (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163904B (zh) | 对象标注方法、移动控制方法、装置、设备及存储介质 | |
| US10417816B2 (en) | System and method for digital environment reconstruction | |
| KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
| EP2713308B1 (en) | Method and system for using fingerprints to track moving objects in video | |
| CN110753892A (zh) | 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统 | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| JP2014071902A5 (zh) | ||
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| CN110879598A (zh) | 车辆用多传感器的信息融合方法和装置 | |
| US9036910B1 (en) | Method and system for processing a sequence of images using fingerprints | |
| CN110781730B (zh) | 智能驾驶感知方法及感知装置 | |
| WO2019097422A2 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| CN112465868A (zh) | 一种目标检测跟踪方法、装置、存储介质及电子装置 | |
| CN116469079A (zh) | 一种自动驾驶bev任务学习方法及相关装置 | |
| Luo et al. | Traffic signal transition time prediction based on aerial captures during peak hours | |
| EP4047515B1 (en) | Platform for perception system development for automated driving systems | |
| JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| CN113158816B (zh) | 面向室外场景物体的视觉里程计二次曲面路标构建方法 | |
| CN110634157B (zh) | 确定变换矩阵的方法 | |
| CN111381587B (zh) | 用于跟随机器人的跟随方法和装置 | |
| KR20220082433A (ko) | 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치 | |
| CN112967399A (zh) | 三维时序图像生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220927 |