CN112150503B - 一种环境动态模型的确定方法、装置、电子设备及存储介质 - Google Patents

一种环境动态模型的确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112150503B
CN112150503B CN202010998416.2A CN202010998416A CN112150503B CN 112150503 B CN112150503 B CN 112150503B CN 202010998416 A CN202010998416 A CN 202010998416A CN 112150503 B CN112150503 B CN 112150503B
Authority
CN
China
Prior art keywords
data
target
fusion data
motion
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010998416.2A
Other languages
English (en)
Other versions
CN112150503A (zh
Inventor
卢红喜
王成
刘卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Ningbo Geely Automobile Research and Development Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010998416.2A priority Critical patent/CN112150503B/zh
Publication of CN112150503A publication Critical patent/CN112150503A/zh
Application granted granted Critical
Publication of CN112150503B publication Critical patent/CN112150503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例所公开的一种环境动态模型的确定方法、装置、电子设备及存储介质，该方法包括通过多个异构感知器件获取连续的多帧数据并传输给服务器，服务器对多帧数据进行时空同步配准处理，得到配准后的多帧融合数据，从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，根据每个目标的属性信息确定对象的属性信息，并基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型，进而根据环境动态模型指示车辆运行。基于本申请实施例，可以降低目标的时空配准误差，提高目标提取的可靠性和棒鲁性。

Description

一种环境动态模型的确定方法、装置、电子设备及存储介质
技术领域
本发明涉及态势感知技术领域，尤其涉及一种环境动态模型的确定方法、装置、电子设备及存储介质。
背景技术
态势感知从全局视角动态地、整体地洞悉环境中的安全风险，是一种对安全威胁的发现识别、理解分析和响应处置能力的提升。无论是在高速封闭道路场景，还是在低速城市道路场景，自动驾驶汽车都需要对车身周边环境以及交通参与者的状态和运动进行精确的感知和预测。在传统方法中，主要采用毫米波雷达、激光雷达或摄像头等单一感知器件进行感知和预测，然而由于单一感知器件自身存在只能感知到感知范围内的特征信息的固有缺陷，其目标生成存在属性割裂现象，这种感知和预测方法往往会丢失置信度不高或者不确却的局部特征信息，是一种局部寻优结果，无法实现对环境的全局感知和预测，直接导致态势感知的准确性大幅度降低。
针对单一的感知器件弊端，现有技术中采用目标融合算法来改善单一感知器件感知属性割裂的现象，然而，现有的目标融合算法大多是在目标层面对目标清单进行处理，对于同一个目标而言，在不同的感知器件生成的目标清单中该目标的空间位置、尺寸数据甚至多普勒效应等特征都会存在一定的偏差，这种偏差不仅与各感知器件的属性感知能力相关，还与目标的时空配准或对齐精度相关。
发明内容
本申请实施例提供一种环境动态模型的确定方法、装置、电子设备及存储介质，可以保证点云数据和图像数据的同步性和准确性，降低目标的时空配准误差，提高目标提取的可靠性和棒鲁性，并且对多帧融合数据中的目标进行关联追踪确定对象和对象的轮廓特征，可以避免对象的轮廓特征丢失，此外，通过对对象进行关联融合建立环境动态模型可以获取具有实时性的高精度的环境感知结果。
本申请实施例提供一种环境动态模型的确定方法，该方法包括：
从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据；
根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征；
根据每个目标的属性信息确定对象的属性信息；
基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象；
根据环境动态模型指示车辆运行。
进一步地，基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型之后，还包括：
基于对象的轮廓特征对配准后的多帧融合数据进行回溯处理；
其中，回溯处理包括从配准后的多帧融合数据的点云数据中剔除与对象的轮廓相距第一预设误差范围外的点云数据，且向配准后的多帧融合数据的点云数据中增加与对象的轮廓相距第二预设范围内的点云数据。
进一步地，根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，包括：
基于预设坐标系确定多帧融合数据的每帧融合数据中的每个目标的位置信息；
根据多帧融合数据中每个目标的位置信息确定每个目标的运动信息；运动信息包括运动速度、运动加速度和运动方向；
对多帧融合数据中运动信息满足预设关联条件的目标进行关联追踪，得到目标对应的对象以及对象的轮廓特征；预设关联条件包括多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。
进一步地，根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，包括：
获取多帧融合数据的每帧融合数据中的每个目标的运动信息；每个目标的运动信息是由感知器件感知得到的，运动信息包括运动速度、运动加速度和运动方向；
对多帧融合数据中运动信息满足预设关联条件的目标进行关联追踪，得到目标对应的对象以及对象的轮廓特征；预设关联条件包括多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。
进一步地，从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，包括：
将每帧融合数据中的点云数据和图像数据输入已训练的目标识别模型，输出多个目标以及每个目标的属性信息。
进一步地，从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，包括：
根据图像数据从点云数据中确定出与图像数据重叠的点云数据集；
根据图像数据确定第一目标集以及第一目标集中每个目标的属性信息；
根据点云数据集确定第二目标集以及第二目标集中每个目标的属性信息；
基于第一目标集、第一目标集中每个目标的属性信息、第二目标集和第二目标集中每个目标的属性信息确定多个目标以及每个目标的属性信息。
进一步地，属性信息包括身份信息、姿态信息、公众信息和运动属性信息。
进一步地，根据环境动态模型指示车辆运行，包括：
确定动态对象对应的目标，以及确定动态对象对应的目标的运动信息；
根据动态对象对应的目标的运动信息确定动态对象的运动趋势；
根据环境动态模型模型和动态对象的运动趋势指示车辆运行。
进一步地，从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息之前，还包括：
对多个感知器件中每个感知器件获取的连续多帧数据进行采样或者插值处理，使得点云数据和图像数据对应的帧率相等，得到时间同步后的点云数据和图像数据；
基于每个感知器件的感知器件坐标系与预设坐标系之间的预设转换规则，将时间同步后的点云数据和图像数据转换至预设坐标系中，得到空间同步后的点云数据和图像数据；
对空间同步后的点云数据和图像数据进行配准，得到配准后的多帧融合数据。
相应地，本申请实施例还提供了一种环境动态模型的确定装置，该装置包括：
第一确定模块，用于从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据；
关联追踪模块，用于根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征；
第二确定模块，用于根据每个目标的属性信息确定对象的属性信息；
建立模型模块，用于基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象；
指示模块，用于根据环境动态模型指示车辆运行。
相应地，本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述环境动态模型的确定方法。
相应地，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述环境动态模型的确定方法。
本申请实施例具有如下有益效果：
本申请实施例所公开的一种环境动态模型的确定方法、装置、电子设备及存储介质，其中，方法包括车辆可以通过安装在车辆上的多个异构感知器件获取连续的多帧数据，随后将多帧数据传输给服务器，服务器首先对多帧数据进行时空同步处理，并对时空同步处理后的数据进行配准，得到配准后的多帧融合数据，随后从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，之后根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，进而根据每个目标的属性信息确定对象的属性信息，进而基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型，其中，环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象，最后服务器根据环境动态模型指示车辆运行。基于本申请实施例，通过对多个异构感知器件感知的点云数据和图像数据进行时空配准，得到配准后多帧融合数据，并基于配准后的多帧融合数据中的确定每帧融合数据中的目标，可以保证点云数据和图像数据的同步性和准确性，降低目标的时空配准误差，提高目标提取的可靠性和棒鲁性，并且对多帧融合数据中的目标进行关联追踪确定对象和对象的轮廓特征，可以避免对象的轮廓特征丢失，此外，通过对对象进行关联融合建立环境动态模型可以获取具有实时性的高精度的环境感知结果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例所提供的一种应用环境的示意图；
图2是本申请实施例所提供的一种环境动态模型的确定方法的流程示意图；
图3是本申请实施例所提供的一种环境动态模型的确定方法的系统框图；
图4是本申请实施例所提供的一种环境动态模型的确定装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
此处所称的“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“为”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、装置、产品或设备固有的其它步骤或模块。
请参阅图1，其所示为本申请实施例所提供的一种应用环境的示意图，包括车辆101和服务器103，其中，该车辆101上安装有多个异构感知器件，例如摄像头、激光雷达、毫米波雷达、超声波雷达、全球导航定位系统、高精地图系统、路侧感知终端、速度感知器件和加速度感知器件等，该多个异构感知器件中每种感知器件的数量可以是一个，也可以是多个。此外，该多个异构感知器件中部分感知器件安装于车端，部分感知器件安装于路端，安装于车端的感知器件的种类和安装于路侧的感知器件的种类可以是完全相同的，也可以是完全不相同的，还可以是有部分相同的。
随着单车智能的轻量化发展，车路协同感知技术可以大大提升单车对行驶环境的感知能力。例如，在本申请实施例中，路侧感知终端可以是具备感知数据分享性能的设备。具体地，其他具备感知数据分享性能的智能汽车在通过边缘计算分析获取周围环境数据后，利用车对外界的信息交换技术(V2X，vehicle to everything)分享给临近的路侧感知终端。路侧感知终端通过诸如车载单元(OBU，On Board Unit)和V2X技术获取边缘计算分析的数据包，该路侧感知终端中的边缘计算插件根据数据包报头的协议格式标志位，以及其对应的通信协议对数据包进行解析，并将解析后的数据转换成自车服务器内部的标准格式，以供后续的感知配准和融合使用。
此外，全球导航定位系统和高精地图系统通过预存储的精细化的道路网和环境信息对车辆周围环境进行精确的三维表征，以格式化矢量的存储方式为服务器提供道路网、车道线、交通标志和对象等地图元素特征，并基于车辆行驶的当前位置对该地图元素特征进行动态更新。服务器可以通过地图插件对全球导航定位系统和高精地图系统存储传输的数据进行解析，并基于解析的结果进行数据融合和实时定位与地图构建，如此，可以确定车辆位姿和自车状态。
一种可选的实施方式中，服务器103可以是一个大型的公共服务器平台或者服务器集群，该服务器平台或者服务器集群可以为所有的行驶车辆提供指示车辆运行服务。该种实施方式中，车辆可以通过安装在车辆上的多个异构感知器件获取连续的多帧数据，随后将多帧数据传输给服务器平台或者服务器集群，服务器平台或者服务器集群首先对多帧数据进行时空同步处理，并对时空同步处理后的数据进行配准，得到配准后的多帧融合数据，随后从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，之后根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，进而根据每个目标的属性信息确定对象的属性信息，最后基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象，并根据环境动态模型指示车辆运行。该种实施方式中，可以在车辆上仅仅设置基础配置的服务器，复杂的运算可以通过公共的服务器平台或者服务器集群承担，如此，可以在降低车辆制造成本，使得车辆在视场中更具竞争力。
另一种可选的实施方式中，服务器103可以是设置在车辆中的车载服务器，每一个车在服务器可以单独为所在的车辆提供指示车辆运行服务。具体地，车辆可以通过安装在车辆上的多个异构感知器件获取连续的多帧数据，随后将多帧数据传输给车载服务器，车载服务器首先对多帧数据进行时空同步处理，并对时空同步处理后的数据进行配准，得到配准后的多帧融合数据，随后从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，之后根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，进而根据每个目标的属性信息确定对象的属性信息，最后基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象，并根据环境动态模型指示车辆运行。该种方式中，由于复杂的计算是由车辆上的车载服务器承担的，因此，车辆需要配置复合条件的软硬件设备。虽然，车价相对于第一种情况来说有所增加，但是由于不需要和公共的服务器平台进行交互，可以减少交互时间，使得车辆能够更快地得到结果，且服务器与车辆一对一，可以避免传输出错的可能性，能够提升服务质量。
下面介绍本申请一种环境动态模型的确定方法的具体实施例，图2是本申请实施例提供的一种环境动态模型的确定方法的流程示意图，图3是本申请实施例提供的一种环境动态模型的确定方法的系统框图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2和图3所示，该方法包括：
S201：从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据。
本申请实施例中，当车辆启动时，安装在车辆上的多个异构感知器件实时不间断感知车辆的周边环境，并将感知到的感知数据传输至服务器进行数据检验，包括检验数据包的有效性、完备性、格式以及时间戳等，并在完成检验数据的基础上，对多个感知器件进行动态校准，使得多个感知器件可以根据相邻两个感知器件对应的两个视场角内的感知数据对该两个视场角间未感知的数据进行动态标定。此外，在设计之初，还需要对软件进行时钟同步处理。
本申请实施例中，由于多个异构感知器件获取的感知数据有着各自对应的感知器件坐标系，且感知器件坐标系与服务器中的预设坐标系之间存在位置平移、空间旋转等几何变换，如此，服务器在接收多个异构感知器件传输的感知数据之后，必须精确统一至预设坐标系中才可以进行有效利用，因而，需要根据车辆位姿和自车状态对获取的感知数据进行相对位置校正。服务器在接收多个异构感知器件传输的感知数据之后，还需要将接收到的感知数据中的点云数据和图像数据精确配准到同一时空尺度下，即对接收的点云数据和图像数据进行时间同步处理和空间同步处理。具体地，对多个感知器件获取的连续多帧点云数据和连续多帧图像数据进行采样或者插值处理，使得点云数据和图像数据对应的帧率相等，可以得到时间同步后的点云数据和图像数据。然后，基于每个感知器件的感知器件坐标系与预设坐标系之间的预设转换规则，将时间同步处理后的点云数据和图像数据转换至预设坐标系中，得到空间同步后的点云数据和图像数据。这里，预设坐标系可以是自车坐标系，也可以是世界坐标系，还可以是服务器预存储的坐标系。之后，对空间同步后的点云数据和图像数据进行配准，得到配准后的多帧融合数据。
本申请实施例中，服务器可以对配准后的多帧融合数据的单帧融合数据进行目标检测，确定出多个目标以及每个目标的属性信息。在一种可选的实施方式中，可以将每帧融合数据中的点云数据和图像数据输入已训练的目标识别模型中，输出多个目标以及每个目标的属性信息。具体地，在已训练的目标识别模型中，通过语义分割、分类处理、聚类处理以及高度/深度估测，可以确定出多个目标以及每个目标的属性信息。这里，每个目标的属性信息包括目标的身份信息、姿态信息、公众信息和运动属性，其中，身份信息是指该目标为行人、车辆或者其他障碍物，姿态信息是指目标的基本轮廓，公众信息是指该目标是公众事物或者非公众事物，例如道路交通标识牌为公众事物，道路上的行人或者其他车辆为非公众事物，运动属性是指目标的常态状态，例如道路交通标识牌是常态静止的，道路上的其他车辆是运动的。
在另一种可选的实施方式中，服务器根据摄像头或者相机传输的多帧图像数据可以确定多个目标，得到第二目标集，并且可以确定该第二目标集中每个目标的属性信息，这里，服务器确定的目标可以是完整的目标，也可以是目标的局部区域。例如，服务器可以根据图像数据确定行人，也可以根据图像数据确定行人的局部区域，比如当行人途径障碍物时，服务器从一帧图像数据中确定出目标为头部，在相邻的另一帧图像数据中确定出目标为手臂，基于此，服务器可以确定该两个目标的身份信息均为行人。服务器根据图像数据从点云数据中确定出与图像数据重叠的点云数据集，并根据点云数据集确定第一目标集以及第一目标集中每个目标的属性信息。基于上面所举的例子继续进行说明，假设服务器从点云数据中确定出与图像数据重叠的点云数据集，根据该点云数据集具体可以确定出目标为手指，且该目标的身份信息为行人。因此，服务器可以基于第一目标集、第一目标集中每个目标的属性信息、第二目标集和第二目标集中每个目标的属性信息确定多个目标以及每个目标的属性信息。上文中所列举的根据图像数据确定行人的局部区域的例子仅仅是确定一个目标，基于同样的实施方式可以确定多个目标。
S203：根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征。
本申请实施例中，服务器可以根据多帧融合数据确定每个目标的运动信息，并确定运动信息满足预设关联条件的多个目标为同一对象，通过对多帧融合数据中的同一对象进行关联追踪，得到对象的轮廓特征。这里，目标的运动信息可以包括目标的运动速度、运动加速度和运动方向。预设关联条件可以包括多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。这里第一差值范围、第二差值范围和第三差值范围可以是基于多次实验结果预先设置的。
在一种可选的实施方式中，服务器对配准后的多帧融合数据的单帧融合数据进行目标检测，得到多个目标后，可以基于上文中所描述的预设坐标系确定在多帧融合数据的每帧融合数据中每个目标的位置信息，并根据多帧融合数据中每个目标的位置信息确定每个目标的运动信息，若确定多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内，确定该两个目标为同一对象，然后，通过对多帧融合数据中的同一对象进行关联追踪，得到对象的轮廓特征。
举个例子，多帧融合数据包括D3、D2和D1，其中，D3中含有目标A1和A0，D2中含有目标B1和B0，D1中含有目标C1和C0。
假设，第一差值范围为[-1m/s,1m/s]，第二差值范围为[-0.5m/s2,0.5m/s2]，第三差值范围为[0°,60°]。
若A1的运动速度为0m/s、运动加速度0m/s2，运动方向为0°；A0的运动速度为5m/s、运动加速度3m/s2，运动方向为10°；
B1的运动速度为0.1m/s、运动加速度0m/s2，运动方向为0°；B0的运动速度为4.8m/s、运动加速度2.8m/s2，运动方向为5°；
C1的运动速度为0m/s、运动加速度0.1m/s2，运动方向为0°，C0的运动速度为10m/s、运动加速度5m/s2，运动方向为90°；
那么，服务器可以确定A1、B1和C1为同一对象，可能是交通标识牌或者路侧树木等静止目标，对D3、D2和D1中的A1、B1和C1进行关联追踪，可以得到对象的轮廓特征，比如说B1可以是路侧树木被微风吹动而微动，但是路侧树木的基本轮廓不会发生变化。服务器还可以确定A0、B0为同一对象，可能是快速行驶的车辆，在感知器件极短的感知时间内，车辆的速度、加速度以及运动方向发生微量变化，但是速度之差在第一差值范围内，且加速度之差在第二差值范围内，且运动方向角之差在第三差值范围内，则可以判定A0、B0为同一对象，对D3和D2中的A0和B0进行关联追踪，可以得到对象的轮廓特征。但是，由于在感知器件极短的感知时间内，B0和C0的速度之差在第一差值范围内，且加速度之差也不在第二差值范围内，且运动方向角之差也在第三差值范围内，则可以判定B0、C0为不同一对象。
在另一种可选的实施方式中，服务器对配准后的多帧融合数据的单帧融合数据进行目标检测，得到多个目标后，可以通过多个感知器件获取多帧融合数据的每帧融合数据中的每个目标的运动信息，这里获取的每个目标的运动信息的感知器件可以是上文中的所描述的速度感知器件和加速度等感知器件直接获取并传输给服务器的。若服务器确定多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内，确定该两个目标为同一对象，然后，通过对多帧融合数据中的同一对象进行关联追踪，得到对象的轮廓特征。
S205：根据每个目标的属性信息确定对象的属性信息。
本申请实施例中，在服务器确定多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且该两个目标的运动加速度的差值在第二差值范围内，且该两个目标的运动方向角的差值在第三差值范围内时，确定两个目标为同一对象后，根据该两个目标的属性信息可以确定对象的属性信息。如此，可以在对每个目标的运动轨迹进行关联追踪之后，根据每个目标的属性信息确定对应对象的属性信息。
S207：基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象。
本申请实施例中，服务器基于确定的对象的属性信息以及对每个目标进行运动轨迹的关联追踪后得到的对象的轮廓特征，对对象进行关联融合，可以得到环境动态模型，这里环境动态模型包括道路信息、可行驶区域、交通识别信息、静态对象以及动态对象中的一种或几种。
在基于对象的属性信息和轮廓特征对对象进行关联融合而建立的实时动态环境模型往往与真实环境存在一定程度的失配，即对象的轮廓可能未包含该对象对应的所有点云数据，或者，对象的轮廓可能包含除该对象对应的其他点云数据。如此，可以基于对象的轮廓特征对上文中所描述的配准后的多帧融合数据的点云数据进行回溯处理，具体地，可以从配准后的多帧融合数据的点云数据中剔除与对象的轮廓相距第一预设误差范围外的点云数据，并且向配准后的多帧融合数据的点云数据中增加与对象的轮廓相距第二预设范围内的点云数据。也就是说，基于预设坐标系去除与对象对应的点云数据不具空间相关性的离群点，同时向对象对应的点云数据中增加与对象对应点云具有空间相关性的聚集点，如此进行循环迭代，可以提升点云数据和图像数据配准的完整性和相干性，也可以提高从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息的精确性和棒鲁性，还可以对对象进行跟踪和轨迹预测，避免对象有效信息的丢失。一种可选的实施方式中，循环迭代的收敛终止条件可以是相邻迭代的模型中对象对应的向量空间的F检验不具备显著性差异，则建立环境动态模型。
本申请实施例中，为使得环境动态模型中的对象在自车实时态势系统中可以进行一致、有效且精确地更新与推送，在建立环境动态模型之前，还可以基于对象对自车实时态势系统中存储的态势图进行实时态势匹配，实现对态势图中的对象数据进行消解、更新或者生成处理。
具体地，对于环境动态模型中未检测到的对象，但态势图中已有的对象数据，生成对象消解指令，并将其发送至自车实时态势系统，完成对象消解处理。在对象存在置信度较低的情况下，在一定时间范围内不进行对象消解处理，当置信度积累到一定阈值后进行对象消解。
对于环境动态模型中已检测到的对象，态势图中已有的对象数据，生成对象更新指令，并将其发送至自车实时态势系统，完成对象更新处理，例如更新对象的位置信息。
对于环境动态模型中首次检测到的对象，态势图中不存在的对象数据，生成对象生成指令，并将其发送至自车实时态势系统，完成对象生成处理。在对象存在置信度较低的情况下，在自车实时态势系统作保留对象，若该对象存在置信度积累低于一定阈值，进行对象消解。
S209：根据环境动态模型指示车辆运行。
本申请实施例中，服务器确定环境动态模型中动态对象对应的目标，以及确定动态对象对应的目标的运行信息，根据动态对象对应的运动信息确定对象的运动趋势，如此，可以根据环境动态模型以及环境动态模型中对象的运动趋势指示车辆运行，指示车辆运行具体可以包括指示车辆进行停止行车、减速行车、偏移行车或者换道行车。
采用本申请实施例所提供的环境动态模型的确定方法，通过对多个异构感知器件感知的点云数据和图像数据进行时空配准，得到配准后多帧融合数据，并基于配准后的多帧融合数据中的确定每帧融合数据中的目标，可以保证点云数据和图像数据的同步性和准确性，降低目标的时空配准误差，提高目标提取的可靠性和棒鲁性，并且对多帧融合数据中的目标进行关联追踪确定对象和对象的轮廓特征，可以避免对象的轮廓特征丢失，此外，通过对象进行关联融合建立环境动态模型可以获取具有实时性的高精度的环境感知结果。
本申请实施例还提供的一种环境动态模型的确定装置，图4是本申请实施例提供的一种环境动态模型的确定装置的结构示意图，如图4所示，该装置包括：
第一确定模块401用于从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据；
关联追踪模块403用于根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征；
第二确定模块405用于根据每个目标的属性信息确定对象的属性信息；
建立模型模块407用于基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型；环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象；
指示模块409用于根据环境动态模型指示车辆运行。
本申请实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种环境动态模型的确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的环境动态模型的确定方法。
本申请实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种环境动态模型的确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述环境动态模型的确定方法。
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Read-only Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的环境动态模型的确定方法、装置、电子设备或存储介质的实施例可见，本申请中方法包括车辆可以通过安装在车辆上的多个异构感知器件获取连续的多帧数据，随后将多帧数据传输给服务器，服务器首先对多帧数据进行时空同步处理，并对时空同步处理后的数据进行配准，得到配准后的多帧融合数据，随后从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，之后根据多帧融合数据对每个目标进行运动轨迹的关联追踪，得到基于目标确定的对象的轮廓特征，进而根据每个目标的属性信息确定对象的属性信息，进而基于对象的属性信息和轮廓特征对对象进行关联融合，建立环境动态模型，其中，环境动态模型模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象，最后服务器根据环境动态模型指示车辆运行。基于本申请实施例，通过对多个异构感知器件感知的点云数据和图像数据进行时空配准，得到配准后多帧融合数据，并基于配准后的多帧融合数据中的确定每帧融合数据中的目标，可以保证点云数据和图像数据的同步性和准确性，降低目标的时空配准误差，提高目标提取的可靠性和棒鲁性，并且对多帧融合数据中的目标进行关联追踪确定对象和对象的轮廓特征，可以避免对象的轮廓特征丢失，此外，通过对象进行关联融合建立环境动态模型可以获取具有实时性的高精度的环境感知结果。
需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (11)

1.一种环境动态模型的确定方法，其特征在于，包括：
从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，所述多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据；
根据所述多帧融合数据对所述每个目标进行运动轨迹的关联追踪，得到基于所述目标确定的对象的轮廓特征；
根据所述每个目标的属性信息确定所述对象的属性信息；
基于所述对象的属性信息和轮廓特征对所述对象进行关联融合，建立环境动态模型；所述环境动态模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象；
根据所述环境动态模型指示车辆运行；
所述根据所述多帧融合数据对所述每个目标进行运动轨迹的关联追踪，得到基于所述目标确定的对象的轮廓特征，包括：
基于预设坐标系确定所述多帧融合数据的每帧融合数据中的所述每个目标的位置信息；
根据所述多帧融合数据中所述每个目标的位置信息确定所述每个目标的运动信息；所述运动信息包括运动速度、运动加速度和运动方向；
对所述多帧融合数据中所述运动信息满足预设关联条件的目标进行关联追踪，得到所述目标对应的对象以及所述对象的轮廓特征；所述预设关联条件包括所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。
2.根据权利要求1所述的方法，其特征在于，所述基于所述对象的属性信息和轮廓特征对所述对象进行关联融合，建立环境动态模型之后，还包括：
基于所述对象的轮廓特征对所述配准后的多帧融合数据进行回溯处理；
其中，所述回溯处理包括从所述配准后的多帧融合数据的点云数据中剔除与所述对象的轮廓相距第一预设误差范围外的点云数据，且向所述配准后的多帧融合数据的点云数据中增加与所述对象的轮廓相距第二预设范围内的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多帧融合数据对所述每个目标进行运动轨迹的关联追踪，得到基于所述目标确定的对象的轮廓特征，包括：
获取所述多帧融合数据的每帧融合数据中的所述每个目标的运动信息；所述每个目标的运动信息是由感知器件感知得到的，所述运动信息包括运动速度、运动加速度和运动方向；
对所述多帧融合数据中所述运动信息满足预设关联条件的目标进行关联追踪，得到所述目标对应的对象以及所述对象的轮廓特征；所述预设关联条件包括所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。
4.根据权利要求1所述的方法，其特征在于，所述从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，包括：
将所述每帧融合数据中的点云数据和图像数据输入已训练的目标识别模型，输出所述多个目标以及所述每个目标的属性信息。
5.根据权利要求1所述的方法，其特征在于，所述从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息，包括：
根据所述图像数据从所述点云数据中确定出与所述图像数据重叠的点云数据集；
根据所述图像数据确定第一目标集以及所述第一目标集中每个目标的属性信息；
根据所述点云数据集确定第二目标集以及所述第二目标集中每个目标的属性信息；
基于所述第一目标集、所述第一目标集中每个目标的属性信息、所述第二目标集和所述第二目标集中每个目标的属性信息确定所述多个目标以及所述每个目标的属性信息。
6.根据权利要求1所述的方法，其特征在于，所述属性信息包括身份信息、姿态信息、公众信息和运动属性信息。
7.根据权利要求1所述的方法，其特征在于，所述根据所述环境动态模型指示车辆运行，包括：
确定所述动态对象对应的目标，以及确定所述动态对象对应的目标的运动信息；
根据所述动态对象对应的目标的运动信息确定所述动态对象的运动趋势；
根据所述环境动态模型和所述动态对象的运动趋势指示车辆运行。
8.根据权利要求1所述的方法，其特征在于，所述从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息之前，还包括：
对多个感知器件中每个感知器件获取的连续多帧数据进行采样或者插值处理，使得所述点云数据和所述图像数据对应的帧率相等，得到所述时间同步后的点云数据和图像数据；
基于所述每个感知器件的感知器件坐标系与所述预设坐标系之间的预设转换规则，将所述时间同步后的点云数据和图像数据转换至所述预设坐标系中，得到空间同步后的点云数据和图像数据；
对所述空间同步后的点云数据和图像数据进行配准，得到配准后的多帧融合数据。
9.一种环境动态模型的确定装置，其特征在于，包括：
第一确定模块，用于从配准后的多帧融合数据的融合数据中确定出多个目标以及每个目标的属性信息；其中，所述多帧融合数据中每帧融合数据包括时间同步以及空间同步后的点云数据和图像数据；
关联追踪模块，用于根据所述多帧融合数据对所述每个目标进行运动轨迹的关联追踪，得到基于所述目标确定的对象的轮廓特征；
第二确定模块，用于根据所述每个目标的属性信息确定所述对象的属性信息；
建立模型模块，用于基于所述对象的属性信息和轮廓特征对所述对象进行关联融合，建立环境动态模型；所述环境动态模型包括道路信息、可行驶区域、交通识别信息、静态对象和/或动态对象；
指示模块，用于根据所述环境动态模型指示车辆运行；
所述关联追踪模块，用于基于预设坐标系确定所述多帧融合数据的每帧融合数据中的所述每个目标的位置信息；
根据所述多帧融合数据中所述每个目标的位置信息确定所述每个目标的运动信息；所述运动信息包括运动速度、运动加速度和运动方向；
对所述多帧融合数据中所述运动信息满足预设关联条件的目标进行关联追踪，得到所述目标对应的对象以及所述对象的轮廓特征；所述预设关联条件包括所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动速度的差值在第一差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动加速度的差值在第二差值范围内，且所述多帧融合数据中相邻两帧融合数据所含有的两个目标的运动方向角的差值在第三差值范围内。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-8任意一项所述环境动态模型的确定方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-8任意一项所述环境动态模型的确定方法。
CN202010998416.2A 2020-09-21 2020-09-21 一种环境动态模型的确定方法、装置、电子设备及存储介质 Active CN112150503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010998416.2A CN112150503B (zh) 2020-09-21 2020-09-21 一种环境动态模型的确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010998416.2A CN112150503B (zh) 2020-09-21 2020-09-21 一种环境动态模型的确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112150503A CN112150503A (zh) 2020-12-29
CN112150503B true CN112150503B (zh) 2023-05-02

Family

ID=73893676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010998416.2A Active CN112150503B (zh) 2020-09-21 2020-09-21 一种环境动态模型的确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112150503B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724610A (zh) * 2018-12-29 2019-05-07 河北德冠隆电子科技有限公司 一种全信息实景导航的方法及装置
CN110007675A (zh) * 2019-04-12 2019-07-12 北京航空航天大学 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
US10528818B1 (en) * 2013-03-14 2020-01-07 Hrl Laboratories, Llc Video scene analysis system for situational awareness
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721350B2 (en) * 2015-06-26 2017-08-01 Getalert Ltd. Methods circuits devices systems and associated computer executable code for video feed processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528818B1 (en) * 2013-03-14 2020-01-07 Hrl Laboratories, Llc Video scene analysis system for situational awareness
CN109724610A (zh) * 2018-12-29 2019-05-07 河北德冠隆电子科技有限公司 一种全信息实景导航的方法及装置
CN110007675A (zh) * 2019-04-12 2019-07-12 北京航空航天大学 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统

Also Published As

Publication number Publication date
CN112150503A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN108280442B (zh) 一种基于轨迹匹配的多源目标融合方法
US10668921B2 (en) Enhanced vehicle tracking
US11776155B2 (en) Method and apparatus for detecting target object in image
Kim et al. Sensor fusion algorithm design in detecting vehicles using laser scanner and stereo vision
Zhao et al. Detection and tracking of moving objects at intersections using a network of laser scanners
CN110785774A (zh) 用于自动驾驶车辆中的闭环感知的方法和系统
KR20190082712A (ko) 차량의 예상 주행 의도에 관한 정보를 제공하는 방법
Fleck et al. Towards large scale urban traffic reference data: Smart infrastructure in the test area autonomous driving baden-württemberg
CN111856507B (zh) 一种环境感测实现方法、智能移动设备和存储介质
CN113112643A (zh) 预测轨迹的评价方法、装置以及电子设备和存储介质
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN112150503B (zh) 一种环境动态模型的确定方法、装置、电子设备及存储介质
EP4160269A1 (en) Systems and methods for onboard analysis of sensor data for sensor fusion
CN113611112B (zh) 一种目标关联方法、装置、设备及存储介质
Xu et al. An efficient multi‐sensor fusion and tracking protocol in a vehicle‐road collaborative system
CN114550116A (zh) 一种对象识别方法和装置
Abdelhafid et al. Visual and light detection and ranging-based simultaneous localization and mapping for self-driving cars.
CN114049767A (zh) 一种边缘计算方法、装置及可读存储介质
Frijters Adaptive recursive clustering and target tracking
CN112462381B (zh) 一种基于车路协同的多激光雷达融合方法
JP2019152976A (ja) 画像認識制御装置、画像認識制御プログラム
EP4138048A1 (en) Training of 3d lane detection models for automotive applications
US20230011829A1 (en) Multi-channel object matching
US10650553B2 (en) Method of image processing and image processing device
CN116679298A (zh) 基于目标感知的观测点云对准方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lu Hongxi

Inventor after: Wang Cheng

Inventor after: Liu Weiguo

Inventor before: Lu Hongxi

Inventor before: Wang Cheng

Inventor before: Liu Weiguo

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant