CN116152770B - 一种3d目标匹配模型建立方法及装置 - Google Patents

一种3d目标匹配模型建立方法及装置 Download PDF

Info

Publication number
CN116152770B
CN116152770B CN202310418204.6A CN202310418204A CN116152770B CN 116152770 B CN116152770 B CN 116152770B CN 202310418204 A CN202310418204 A CN 202310418204A CN 116152770 B CN116152770 B CN 116152770B
Authority
CN
China
Prior art keywords
point cloud
frame
target
simulation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310418204.6A
Other languages
English (en)
Other versions
CN116152770A (zh
Inventor
程飞洋
郑伟
杨广
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Youjia Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youjia Innovation Technology Co ltd filed Critical Shenzhen Youjia Innovation Technology Co ltd
Priority to CN202310418204.6A priority Critical patent/CN116152770B/zh
Publication of CN116152770A publication Critical patent/CN116152770A/zh
Application granted granted Critical
Publication of CN116152770B publication Critical patent/CN116152770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种3D目标匹配模型建立方法及装置。所述方法包括：响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型。本发明能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。

Description

一种3D目标匹配模型建立方法及装置
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种3D目标匹配模型建立方法及装置。
背景技术
在自动驾驶领域中，分析自车周围目标相对于自车的距离和运动轨迹对自车的安全行驶尤为重要，因此，需要对自车周围目标的3D目标框进行时序关联，以便分析自车周围目标的运动轨迹、运动方向和运动速度等。
目前，常用的3D目标跟踪方法主要有两种，一是先采用3D目标检测器检测当前帧点云或图像中的3D目标框，再采用恒速模型将当前帧3D目标框与前一帧3D目标框关联以进行3D目标跟踪，二是采用深度学习模型直接在点云或图像空间中进行3D目标检测和跟踪。第一种方法对非恒定速度目标具有一定的局限性，比如在目标运动速度过快的情况下，容易因前后帧目标运动距离过大，前后帧3D目标框不重合而出现跟踪失效的情况，且目标的关联规则过于简单，无法过滤前期误检的3D目标框。第二种方法的优点是端到端计算，但缺点是模型设计一般较为复杂又计算量大，需要大量标注数据进行训练，计算资源和数据获取的成本较高。
综上，如何简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框，成为当前急需解决的一大难题。
发明内容
为了克服现有技术的缺陷，本发明提供一种3D目标匹配模型建立方法及装置，能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。
为了解决上述技术问题，第一方面，本发明的实施例提供一种3D目标匹配模型建立方法，包括：
响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；
结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；
根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型。
进一步地，所述响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据，具体为：
响应所述训练数据获取请求，通过所述仿真软件，根据所述用户选择的地图和交通参与者生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧所述仿真点云；
通过所述仿真软件的交通流数据，输出每一帧所述仿真点云中的3D目标框，得到各帧所述仿真点云中的若干个3D目标框；
遍历每一帧所述仿真点云中的每一个3D目标框，截取当前所述3D目标框内的点云数据，将各帧所述仿真点云中各个3D目标框内的所有点云数据作为所述训练数据。
进一步地，在所述通过所述仿真软件的交通流数据，输出每一帧所述仿真点云中的3D目标框，得到各帧所述仿真点云中的若干个3D目标框之后，还包括：
遍历每一帧所述仿真点云，根据所述自车在当前帧所述仿真点云的全局位姿，分别将当前帧所述仿真点云中每一个3D目标框的坐标转换为全局坐标。
进一步地，在所述根据所述训练数据训练所述初始3D目标匹配模型之前，还包括：
对所述训练数据进行归一化处理和复筛选处理。
进一步地，所述对所述训练数据进行归一化处理，具体为：
遍历每一帧所述仿真点云中的每一个3D目标框，分别将当前所述3D目标框内每一个点云数据的坐标转换为以当前所述3D目标框的中心点为原点的坐标。
进一步地，所述对所述训练数据进行复筛选处理，具体为：
遍历每一帧所述仿真点云中的每一个3D目标框，将当前所述3D目标框内所有点云数据的总量与预设点云数据总量进行比较；
在当前所述3D目标框内所有点云数据的总量大于所述预设点云数据总量时，随机剔除当前所述3D目标框内若干个点云数据，使当前所述3D目标框内所有点云数据的总量等于所述预设点云数据总量；
在当前所述3D目标框内所有点云数据的总量小于所述预设点云数据总量时，在当前所述3D目标框内添加若干个初始点云数据，使当前所述3D目标框内所有点云数据的总量等于所述预设点云数据总量。
进一步地，在所述根据所述训练数据训练所述初始3D目标匹配模型之前，还包括：
遍历每一帧所述仿真点云，随机剔除当前帧所述仿真点云中处于第一目标区域的预设数量的3D目标框，从预存数据集中随机抽取所述预设数量的3D目标框添加到当前帧所述仿真点云的第二目标区域，并对当前帧所述仿真点云中各个3D目标框进行随机抖动；其中，所述第一目标区域为与所述自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域，所述第二目标区域为背景区域。
进一步地，所述根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型，具体为：
从第二帧所述仿真点云开始遍历每一帧所述仿真点云，将当前帧所述仿真点云中各个3D目标框内的所有点云数据和上一帧所述仿真点云中各个3D目标框内的所有点云数据输入所述初始3D目标匹配模型；
通过所述点云编码模块，提取当前帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到当前帧所述仿真点云中各个3D目标框的点云特征向量，以及提取上一帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到上一帧所述仿真点云中各个3D目标框的点云特征向量；
通过所述全局编码模块，根据当前帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取当前帧所述仿真点云中各个3D目标框的特征，得到当前帧所述仿真点云中各个3D目标框的位置特征向量，以及根据上一帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取上一帧所述仿真点云中各个3D目标框的特征，得到上一帧所述仿真点云中各个3D目标框的位置特征向量；
通过特征匹配模块，结合当前帧所述仿真点云中各个3D目标框的位置特征向量和上一帧所述仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧所述仿真点云中各个3D目标框与上一帧所述仿真点云中各个3D目标框的匹配分数；
根据所述匹配分数矩阵得到所述初始3D目标匹配模型的网络损失，以基于所述网络损失反向优化所述初始3D目标匹配模型的模型参数，并在累计优化次数达到预设优化次数阈值时，将训练后的所述初始3D目标匹配模型作为所述3D目标匹配模型。
进一步地，所述点云编码模块包括依次连接的若干个1×1卷积层和一个全局池化层；所述全局编码模块为Transformer全局编码模块；其中，所述全局池化层为均值池化层或最大池化层。
第二方面，本发明一实施例提供一种3D目标匹配模型建立装置，包括：
训练数据获取单元，用于响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；
初始模型建立单元，用于结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；
初始模型训练单元，用于根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型。
本发明的实施例，具有如下有益效果：
通过响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；根据训练数据训练初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型，以便在实际场景中应用3D目标匹配模型对前后帧雷达点云中的3D目标框进行匹配。相比于现有技术，本发明的实施例通过选用仿真软件生成的仿真点云获取训练数据，可便捷获取大量训练数据也无需预先对训练数据进行标注，通过结合点云编码模块、全局编码模块和特征匹配模块建立初始3D目标匹配模型，根据训练数据训练初始3D目标匹配模型来得到3D目标匹配模型，可有效学习3D目标框的特征进行匹配，从而能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。
附图说明
图1为本发明第一实施例中的一种3D目标匹配模型建立方法的流程示意图；
图2为本发明第一实施例中示例的点云编码模块的结构示意图；
图3为本发明第一实施例中示例的训练初始3D目标匹配模型的流程示意图；
图4为本发明第二实施例中的一种3D目标匹配模型建立装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以处理器作为执行主体为例进行说明。
如图1所示，第一实施例提供一种3D目标匹配模型建立方法，包括步骤S1~S3：
S1、响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；
S2、结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；
S3、根据训练数据训练初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型。
作为示例性地，在步骤S1中，接收用户发起的训练数据获取请求，响应该训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据。其中，仿真点云中分布有若干个3D目标框和若干个点云数据。
在步骤S2中，基于卷积神经网络架构，设计点云编码模块、全局编码模块和特征匹配模块，结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型。
在步骤S3中，根据训练数据训练初始3D目标匹配模型，优化初始3D目标匹配模型的模型参数，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型，以便在实际场景中应用3D目标匹配模型对前后帧雷达点云中的3D目标框进行匹配。
本实施例通过选用仿真软件生成的仿真点云获取训练数据，可便捷获取大量训练数据也无需预先对训练数据进行标注，通过结合点云编码模块、全局编码模块和特征匹配模块建立初始3D目标匹配模型，根据训练数据训练初始3D目标匹配模型来得到3D目标匹配模型，可有效学习3D目标框的特征进行匹配，从而能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。
在优选的实施例当中，所述响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据，具体为：响应训练数据获取请求，通过仿真软件，根据用户选择的地图和交通参与者生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧仿真点云；通过仿真软件，分别检测每一帧仿真点云中的3D目标框，得到各帧仿真点云中的若干个3D目标框；遍历每一帧仿真点云中的每一个3D目标框，截取当前3D目标框内的点云数据，将各帧仿真点云中各个3D目标框内的所有点云数据作为训练数据。
作为示例性地，响应训练数据获取请求，确定用户选择的地图和车辆、行人等若干个交通参与者，通过仿真软件，结合地图和各个交通参与者的运动学模型，生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧仿真点云，以及通过仿真软件，对于每一帧仿真点云，检测该帧仿真点云中的3D目标框，得到该帧仿真点云中的若干个3D目标框，并分别截取每一3D目标框内的点云数据，同时获取每一3D目标框的序列跟踪ID，将各帧仿真点云中各个3D目标框内的所有点云数据作为训练数据。
本实施例通过对仿真软件生成的仿真点云进行预筛选处理，仅选择仿真点云中各个3D目标框内的所有点云数据作为训练数据，能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。
在优选的实施例当中，在所述通过仿真软件，分别检测每一帧仿真点云中的3D目标框，得到各帧仿真点云中的若干个3D目标框之后，还包括：遍历每一帧仿真点云，根据自车在当前帧仿真点云的全局位姿，分别将当前帧仿真点云中每一个3D目标框的坐标转换为全局坐标。
作为示例性地，在通过仿真软件获取若干帧仿真点云和各帧仿真点云中的若干个3D目标框的过程中，可同时获取自车在各帧仿真点云的全局位姿，以及各帧仿真点云中所有3D目标框的位置、大小、朝向角。考虑到仿真点云是模拟自车上的雷达采集的，需要在得到各帧仿真点云中的若干个3D目标框之后，对各帧仿真点云中的所有3D目标框进行自运动补偿，即对于每一帧仿真点云，根据自车在该帧仿真点云的全局位姿，分别将该帧仿真点云中每一个3D目标框的坐标转换为全局坐标，使得该帧仿真点云中所有3D目标框的坐标均在全局坐标系下。
本实施例通过对各帧仿真点云中的所有3D目标框进行自运动补偿，能够有效避免训练数据之间的数据差异影响后续的模型训练，有利于保证3D目标匹配模型快速准确地关联前后帧3D目标框。
在优选的实施例当中，在所述根据训练数据训练初始3D目标匹配模型之前，还包括：对训练数据进行归一化处理和复筛选处理。
在优选的实施例当中，所述对训练数据进行归一化处理，具体为：遍历每一帧仿真点云中的每一个3D目标框，分别将当前3D目标框内每一个点云数据的坐标转换为以当前3D目标框的中心点为原点的坐标。
在优选的实施例当中，所述对训练数据进行复筛选处理，具体为：遍历每一帧仿真点云中的每一个3D目标框，将当前3D目标框内所有点云数据的总量与预设点云数据总量进行比较；在当前3D目标框内所有点云数据的总量大于预设点云数据总量时，随机剔除当前3D目标框内若干个点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量；在当前3D目标框内所有点云数据的总量小于预设点云数据总量时，在当前3D目标框内添加若干个初始点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量。
作为示例性地，在一帧仿真点云中，每一个3D目标框内的点云数据有三维坐标信息和反射率信息。由于仿真数据存在反射率失真的问题，考虑到模型泛化到实际场景下，只采用点云数据的三维坐标信息作为模型输入。
在根据训练数据训练初始3D目标匹配模型之前，对各帧仿真点云中所有3D目标框的坐标进行归一化处理，具体为：对于每一帧仿真点云中的每一个3D目标框，以该3D目标框的中心点为原点，归一化该3D目标框内所有点云数据的坐标，将该3D目标框内所有点云数据的坐标均转换为以该3D目标框的中心点为原点的坐标。
在一帧仿真点云中，不同3D目标框容易受自车上的雷达扫描的角度、目标本身的尺寸以及周围环境的遮挡关系等影响，包含有不等数量的点云数据。为统一各个3D目标框内点云数据的总量，根据实际需求确定预设点云数据总量，假设预设点云数据总量为100。
对于每一帧仿真点云中的每一个3D目标框，统计该3D目标框内所有点云数据的总量，将该3D目标框内所有点云数据的总量与预设点云数据总量进行比较，若该3D目标框内所有点云数据的总量大于预设点云数据总量，即100，则随机剔除当前3D目标框内若干个点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量，若3D目标框内所有点云数据的总量小于预设点云数据总量时，在当前3D目标框内添加若干个初始点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量。其中，初始点云数据的三维坐标信息为[0,0,0]。
本实施例通过在根据训练数据训练初始3D目标匹配模型之前，对训练数据进行归一化处理和复筛选处理，能够有效避免训练数据之间的数据差异影响后续的模型训练，有利于保证3D目标匹配模型快速准确地关联前后帧3D目标框。
在优选的实施例当中，在所述根据训练数据训练初始3D目标匹配模型之前，还包括：遍历每一帧仿真点云，随机剔除当前帧仿真点云中处于第一目标区域的预设数量的3D目标框，从预存数据集中随机抽取预设数量的3D目标框添加到当前帧仿真点云的第二目标区域，并对当前帧仿真点云中各个3D目标框进行随机抖动；其中，第一目标区域为与自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域，第二目标区域为背景区域。
作为示例性地，在模型训练过程中，训练数据的3D目标框都非常准确，而在模型测试过程中，3D目标框一般通过3D目标检测器预测得到，因此不可避免地存在误检、漏检和预测3D目标框不精确的情况。
为了增强模型的鲁棒性，需要在模型训练过程中模拟相似的数据分布。本实施例提出以下数据增强方法：对于每一帧仿真点云，首先，考虑到距离自车较远的或者包含点云数据较少的3D目标框这类目标是3D目标检测器实际容易漏检的目标，根据预设距离阈值或预设点云数据总量阈值，将该帧仿真点云中与自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域确定为第一目标区域，针对该帧仿真点云中处于第一目标区域的所有3D目标框，随机剔除预设数量的3D目标框；其次，从预存数据集中随机抽取预设数量的3D目标框，可以理解的是，预存数据集中存储有若干个3D目标框及其大小、位置、朝向信息，将抽取的所有3D目标框随机分布添加到该帧仿真点云中的第二目标区域，即背景区域，以模拟误检测；最后，对该帧仿真点云中保留用于训练的各个3D目标框进行随机抖动，具体包括朝向角的偏移、中心点的偏移以及长宽高的放大缩小等。
本实施例通过在根据训练数据训练初始3D目标匹配模型之前，模拟相似的数据分布增强训练数据，有利于提高3D目标匹配模型的鲁棒性。
在优选的实施例当中，所述根据训练数据训练初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型，具体为：从第二帧仿真点云开始遍历每一帧仿真点云，将当前帧仿真点云中各个3D目标框内的所有点云数据和上一帧仿真点云中各个3D目标框内的所有点云数据输入初始3D目标匹配模型；通过点云编码模块，提取当前帧仿真点云中各个3D目标框内的所有点云数据的特征，得到当前帧仿真点云中各个3D目标框的点云特征向量，以及提取上一帧仿真点云中各个3D目标框内的所有点云数据的特征，得到上一帧仿真点云中各个3D目标框的点云特征向量；通过全局编码模块，根据当前帧仿真点云中各个3D目标框的点云特征向量和位置编码，提取当前帧仿真点云中各个3D目标框的特征，得到当前帧仿真点云中各个3D目标框的位置特征向量，以及根据上一帧仿真点云中各个3D目标框的点云特征向量和位置编码，提取上一帧仿真点云中各个3D目标框的特征，得到上一帧仿真点云中各个3D目标框的位置特征向量；通过特征匹配模块，结合当前帧仿真点云中各个3D目标框的位置特征向量和上一帧仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧仿真点云中各个3D目标框与上一帧仿真点云中各个3D目标框的匹配分数；根据匹配分数矩阵得到初始3D目标匹配模型的网络损失，以基于网络损失反向优化初始3D目标匹配模型的模型参数，并在累计优化次数达到预设优化次数阈值时，将训练后的初始3D目标匹配模型作为3D目标匹配模型。
在优选的实施例当中，点云编码模块包括依次连接的若干个1×1卷积层和一个全局池化层；全局编码模块为Transformer全局编码模块；其中，全局池化层为均值池化层或最大池化层。
作为示例性地，假设点云编码模块采用依次连接的三个1×1卷积层和一个全局池化层进行设计得到，点云编码模块的结构示意图如图2所示，全局编码模块采用Transformer全局编码模块进行设计得到，结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型。
如图3所示，考虑到3D目标框中的点云数据是不均匀非规则分布的稀疏数据，三维卷积神经网络结构应用于此类数据计算量大且不高效，因此本实施例采用类似pointnet的结构，设计如图2所示的点云编码模块，先用三个1×1卷积层编码单个点云数据的特征，再用一个全局池化层编码一个3D目标框内所有点云数据的特征作为该3D目标框的点云特征向量。
其中，全局池化层可以是均值池化层也可以是最大池化层。在实际应用中，因为大部分点云数据属于目标本身，所以少量的噪声点经过全局池化层后对目标特征的影响有限，优先选用均值池化层。
假设第一帧仿真点云有3D目标框集合P=（p1，p2，...，pN1）共N1个3D目标框，第二帧仿真点云有3D目标框集合Q=（q1，q2，...，qN2）共N2个3D目标框，经过相同的点云编码器，编码成为一个d维的点云特征向量，共N=N1+N2个点云特征向量。
由于激光雷达采集的仿真点云缺乏纹理信息，对于位置相近、三维结构相似的不同3D目标框，其点云结构也十分相似，且在自动驾驶场景下，目标的运动是相互影响和制约的，因此目标的跟踪除了利用各个3D目标框自身的点云结构信息，还需要利用空间范围内所有3D目标框的相对位置信息，判断上一帧仿真点云中各个3D目标框在当前帧仿真点云中的最佳匹配目标。
在得到两帧仿真点云中各个3D目标框的点云特征向量后，通过Transformer全局编码模块，根据两帧仿真点云中各个3D目标框的点云特征向量和位置编码，对应提取两帧仿真点云中各个3D目标框的特征，得到两帧仿真点云中各个3D目标框的位置特征向量。
Transformer全局编码模块能够利用注意力机制，编码不同目标特征的相互关系，并具备在较小的算力消耗下，在空间中离散稀疏分布的目标的能力。在Transformer全局编码模块编码的过程中，需要对仿真点云中各个3D目标框的3D位置坐标进行位置编码，作为Transformer全局编码模块的额外输入，用于显式编码不同3D目标框之间真实的三维空间位置关系。其中，位置编码的定义如下：
（1）；
式（1）中，d为输入特征维度，PEt为第t个输入的位置编码，i为特征维度的索引。
具体地，分别将N个点云特征向量和N个位置编码对应相加，使各个3D目标框的点云特征向量中包含其自身的3D位置信息，构成Transformer全局编码模块的输入特征。经过Transformer全局编码模块编码，得到共N=N1+N2个位置特征向量。
结合当前帧仿真点云中各个3D目标框的位置特征向量和上一帧仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧仿真点云中各个3D目标框与上一帧仿真点云中各个3D目标框的匹配分数
在得到两帧仿真点云中各个3D目标框的位置特征向量后，通过特征匹配模块计算N1个3D目标框和N2个3D目标框的位置特征向量两两匹配的匹配分数，组成匹配分数矩阵。
具体地，对N1个3D目标框和N2个3D目标框的位置特征向量进行内积运算，得到N1个3D目标框和N2个3D目标框的位置特征向量两两匹配的匹配分数，用来评价N1个3D目标框和N2个3D目标框的位置特征向量两两之间的相似程度。
考虑到上一帧仿真点云中部分3D目标框可能存在消失的状态，而当前帧仿真点云可能出现新的3D目标框，这都会导致上一帧仿真点云中部分3D目标框无法在当前帧仿真点云中找到匹配目标，因此需要在匹配分数矩阵中增加额外的一行一列，用来描述这种状态，最终的匹配分数矩阵的维度为（N1+1）行*（N2+1）列。
在训练初始3D目标匹配模型的过程中，点云编码模块和Transformer全局编码模块是联合训练的，联合训练的损失函数为：
（2）；
式（2）中，Pi,j表示上一帧仿真点云中第i个3D目标框和当前帧仿真点云中第j个3D目标框匹配为同一目标；表示上一帧仿真点云中第i个3D目标框在当前帧仿真点云中没有匹配目标，/>表示当前帧仿真点云中第j个目标在上一帧仿真点云中没有匹配目标。
在训练初始3D目标匹配模型的过程中，基于损失函数，根据匹配分数矩阵得到初始3D目标匹配模型的网络损失，并采用梯度下降的优化方法，基于网络损失不断循环反向优化初始3D目标匹配模型的模型参数，直至累计优化次数达到预设优化次数阈值，此时完成训练初始3D目标匹配模型，将训练后的初始3D目标匹配模型作为3D目标匹配模型。其中，损失函数在验证集上达到最小值时的模型参数作为最佳参数用于后续测试。
本实施例通过设计初始3D目标匹配模型并训练初始3D目标匹配模型，能够保证最终得到的3D目标匹配模型可有效学习3D目标框的特征进行匹配，实现快速准确地关联前后帧3D目标框。
基于与第一实施例相同的发明构思，第二实施例提供如图4所示的一种3D目标匹配模型建立装置，包括：训练数据获取单元21，用于响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；初始模型建立单元22，用于结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；初始模型训练单元23，用于根据训练数据训练初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型。
在优选的实施例当中，训练数据获取单元21，具体用于：响应训练数据获取请求，通过仿真软件，根据用户选择的地图和交通参与者生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧仿真点云；通过仿真软件，分别检测每一帧仿真点云中的3D目标框，得到各帧仿真点云中的若干个3D目标框；遍历每一帧仿真点云中的每一个3D目标框，截取当前3D目标框内的点云数据，将各帧仿真点云中各个3D目标框内的所有点云数据作为训练数据。
在优选的实施例当中，训练数据获取单元21，具体还用于在所述通过仿真软件，分别检测每一帧仿真点云中的3D目标框，得到各帧仿真点云中的若干个3D目标框之后，遍历每一帧仿真点云，根据自车在当前帧仿真点云的全局位姿，分别将当前帧仿真点云中每一个3D目标框的坐标转换为全局坐标。
在优选的实施例当中，初始模型训练单元23，还用于在所述根据训练数据训练初始3D目标匹配模型之前，还包括：对训练数据进行归一化处理和复筛选处理。
在优选的实施例当中，所述对训练数据进行归一化处理，具体为：遍历每一帧仿真点云中的每一个3D目标框，分别将当前3D目标框内每一个点云数据的坐标转换为以当前3D目标框的中心点为原点的坐标。
在优选的实施例当中，所述对训练数据进行复筛选处理，具体为：遍历每一帧仿真点云中的每一个3D目标框，将当前3D目标框内所有点云数据的总量与预设点云数据总量进行比较；在当前3D目标框内所有点云数据的总量大于预设点云数据总量时，随机剔除当前3D目标框内若干个点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量；在当前3D目标框内所有点云数据的总量小于预设点云数据总量时，在当前3D目标框内添加若干个初始点云数据，使当前3D目标框内所有点云数据的总量等于预设点云数据总量。
在优选的实施例当中，初始模型训练单元23，还用于在所述根据训练数据训练初始3D目标匹配模型之前，遍历每一帧仿真点云，随机剔除当前帧仿真点云中处于第一目标区域的预设数量的3D目标框，从预存数据集中随机抽取预设数量的3D目标框添加到当前帧仿真点云的第二目标区域，并对当前帧仿真点云中各个3D目标框进行随机抖动；其中，第一目标区域为与自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域，第二目标区域为背景区域。
在优选的实施例当中，初始模型训练单元23，具体用于：从第二帧仿真点云开始遍历每一帧仿真点云，将当前帧仿真点云中各个3D目标框内的所有点云数据和上一帧仿真点云中各个3D目标框内的所有点云数据输入初始3D目标匹配模型；通过点云编码模块，提取当前帧仿真点云中各个3D目标框内的所有点云数据的特征，得到当前帧仿真点云中各个3D目标框的点云特征向量，以及提取上一帧仿真点云中各个3D目标框内的所有点云数据的特征，得到上一帧仿真点云中各个3D目标框的点云特征向量；通过全局编码模块，根据当前帧仿真点云中各个3D目标框的点云特征向量和位置编码，提取当前帧仿真点云中各个3D目标框的特征，得到当前帧仿真点云中各个3D目标框的位置特征向量，以及根据上一帧仿真点云中各个3D目标框的点云特征向量和位置编码，提取上一帧仿真点云中各个3D目标框的特征，得到上一帧仿真点云中各个3D目标框的位置特征向量；通过特征匹配模块，结合当前帧仿真点云中各个3D目标框的位置特征向量和上一帧仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧仿真点云中各个3D目标框与上一帧仿真点云中各个3D目标框的匹配分数；根据匹配分数矩阵得到初始3D目标匹配模型的网络损失，以基于网络损失反向优化初始3D目标匹配模型的模型参数，并在累计优化次数达到预设优化次数阈值时，将训练后的初始3D目标匹配模型作为3D目标匹配模型。
在优选的实施例当中，点云编码模块包括依次连接的若干个1×1卷积层和一个全局池化层；全局编码模块为Transformer全局编码模块；其中，全局池化层为均值池化层或最大池化层。
综上所述，实施本发明的实施例，具有如下有益效果：
通过响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；根据训练数据训练初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的初始3D目标匹配模型作为3D目标匹配模型，以便在实际场景中应用3D目标匹配模型对前后帧雷达点云中的3D目标框进行匹配。相比于现有技术，本发明的实施例通过选用仿真软件生成的仿真点云获取训练数据，可便捷获取大量训练数据也无需预先对训练数据进行标注，通过结合点云编码模块、全局编码模块和特征匹配模块建立初始3D目标匹配模型，根据训练数据训练初始3D目标匹配模型来得到3D目标匹配模型，可有效学习3D目标框的特征进行匹配，从而能够简化训练数据的获取及模型训练的计算，建立一种3D目标匹配模型，利用3D目标匹配模型快速准确地关联前后帧3D目标框。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

Claims (7)

1.一种3D目标匹配模型建立方法，其特征在于，包括：
响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；所述响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据，包括：响应所述训练数据获取请求，通过所述仿真软件，根据所述用户选择的地图和交通参与者生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧所述仿真点云；通过所述仿真软件的交通流数据，输出每一帧所述仿真点云中的3D目标框，得到各帧所述仿真点云中的若干个3D目标框；遍历每一帧所述仿真点云中的每一个3D目标框，截取当前所述3D目标框内的点云数据，将各帧所述仿真点云中各个3D目标框内的所有点云数据作为所述训练数据；
结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；
根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型；
在所述根据所述训练数据训练所述初始3D目标匹配模型之前，还包括：遍历每一帧所述仿真点云，随机剔除当前帧所述仿真点云中处于第一目标区域的预设数量的3D目标框，从预存数据集中随机抽取所述预设数量的3D目标框添加到当前帧所述仿真点云的第二目标区域，并对当前帧所述仿真点云中各个3D目标框进行随机抖动；其中，所述第一目标区域为与所述自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域，所述第二目标区域为背景区域；
所述根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型，包括：从第二帧所述仿真点云开始遍历每一帧所述仿真点云，将当前帧所述仿真点云中各个3D目标框内的所有点云数据和上一帧所述仿真点云中各个3D目标框内的所有点云数据输入所述初始3D目标匹配模型；通过所述点云编码模块，提取当前帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到当前帧所述仿真点云中各个3D目标框的点云特征向量，以及提取上一帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到上一帧所述仿真点云中各个3D目标框的点云特征向量；通过所述全局编码模块，根据当前帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取当前帧所述仿真点云中各个3D目标框的特征，得到当前帧所述仿真点云中各个3D目标框的位置特征向量，以及根据上一帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取上一帧所述仿真点云中各个3D目标框的特征，得到上一帧所述仿真点云中各个3D目标框的位置特征向量；通过特征匹配模块，结合当前帧所述仿真点云中各个3D目标框的位置特征向量和上一帧所述仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧所述仿真点云中各个3D目标框与上一帧所述仿真点云中各个3D目标框的匹配分数；根据所述匹配分数矩阵得到所述初始3D目标匹配模型的网络损失，以基于所述网络损失反向优化所述初始3D目标匹配模型的模型参数，并在累计优化次数达到预设优化次数阈值时，将训练后的所述初始3D目标匹配模型作为所述3D目标匹配模型。
2.如权利要求1所述的3D目标匹配模型建立方法，其特征在于，在所述通过所述仿真软件的交通流数据，输出每一帧所述仿真点云中的3D目标框，得到各帧所述仿真点云中的若干个3D目标框之后，还包括：
遍历每一帧所述仿真点云，根据所述自车在当前帧所述仿真点云的全局位姿，分别将当前帧所述仿真点云中每一个3D目标框的坐标转换为全局坐标。
3.如权利要求1所述的3D目标匹配模型建立方法，其特征在于，在所述根据所述训练数据训练所述初始3D目标匹配模型之前，还包括：
对所述训练数据进行归一化处理和复筛选处理。
4.如权利要求3所述的3D目标匹配模型建立方法，其特征在于，所述对所述训练数据进行归一化处理，具体为：
遍历每一帧所述仿真点云中的每一个3D目标框，分别将当前所述3D目标框内每一个点云数据的坐标转换为以当前所述3D目标框的中心点为原点的坐标。
5.如权利要求3所述的3D目标匹配模型建立方法，其特征在于，所述对所述训练数据进行复筛选处理，具体为：
遍历每一帧所述仿真点云中的每一个3D目标框，将当前所述3D目标框内所有点云数据的总量与预设点云数据总量进行比较；
在当前所述3D目标框内所有点云数据的总量大于所述预设点云数据总量时，随机剔除当前所述3D目标框内若干个点云数据，使当前所述3D目标框内所有点云数据的总量等于所述预设点云数据总量；
在当前所述3D目标框内所有点云数据的总量小于所述预设点云数据总量时，在当前所述3D目标框内添加若干个初始点云数据，使当前所述3D目标框内所有点云数据的总量等于所述预设点云数据总量。
6.如权利要求1所述的3D目标匹配模型建立方法，其特征在于，所述点云编码模块包括依次连接的若干个1×1卷积层和一个全局池化层；所述全局编码模块为Transformer全局编码模块；其中，所述全局池化层为均值池化层或最大池化层。
7.一种3D目标匹配模型建立装置，其特征在于，包括：
训练数据获取单元，用于响应用户发起的训练数据获取请求，对仿真软件生成的仿真点云进行预筛选处理，得到训练数据；具体用于：响应所述训练数据获取请求，通过所述仿真软件，根据所述用户选择的地图和交通参与者生成交通流数据，并模拟自车上的雷达采集点云，得到若干帧所述仿真点云；通过所述仿真软件的交通流数据，输出每一帧所述仿真点云中的3D目标框，得到各帧所述仿真点云中的若干个3D目标框；遍历每一帧所述仿真点云中的每一个3D目标框，截取当前所述3D目标框内的点云数据，将各帧所述仿真点云中各个3D目标框内的所有点云数据作为所述训练数据；
初始模型建立单元，用于结合点云编码模块、全局编码模块和特征匹配模块，建立初始3D目标匹配模型；
初始模型训练单元，用于根据所述训练数据训练所述初始3D目标匹配模型，并在满足预先定义的训练结束条件时，将训练后的所述初始3D目标匹配模型作为3D目标匹配模型；具体用于：遍历每一帧所述仿真点云，随机剔除当前帧所述仿真点云中处于第一目标区域的预设数量的3D目标框，从预存数据集中随机抽取所述预设数量的3D目标框添加到当前帧所述仿真点云的第二目标区域，并对当前帧所述仿真点云中各个3D目标框进行随机抖动；其中，所述第一目标区域为与所述自车的距离超过预设距离阈值或包含点云数据的总量小于预设点云数据总量阈值的区域，所述第二目标区域为背景区域；从第二帧所述仿真点云开始遍历每一帧所述仿真点云，将当前帧所述仿真点云中各个3D目标框内的所有点云数据和上一帧所述仿真点云中各个3D目标框内的所有点云数据输入所述初始3D目标匹配模型；通过所述点云编码模块，提取当前帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到当前帧所述仿真点云中各个3D目标框的点云特征向量，以及提取上一帧所述仿真点云中各个3D目标框内的所有点云数据的特征，得到上一帧所述仿真点云中各个3D目标框的点云特征向量；通过所述全局编码模块，根据当前帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取当前帧所述仿真点云中各个3D目标框的特征，得到当前帧所述仿真点云中各个3D目标框的位置特征向量，以及根据上一帧所述仿真点云中各个3D目标框的点云特征向量和位置编码，提取上一帧所述仿真点云中各个3D目标框的特征，得到上一帧所述仿真点云中各个3D目标框的位置特征向量；通过特征匹配模块，结合当前帧所述仿真点云中各个3D目标框的位置特征向量和上一帧所述仿真点云中各个3D目标框的位置特征向量，得到匹配分数矩阵，以确定当前帧所述仿真点云中各个3D目标框与上一帧所述仿真点云中各个3D目标框的匹配分数；根据所述匹配分数矩阵得到所述初始3D目标匹配模型的网络损失，以基于所述网络损失反向优化所述初始3D目标匹配模型的模型参数，并在累计优化次数达到预设优化次数阈值时，将训练后的所述初始3D目标匹配模型作为所述3D目标匹配模型。
CN202310418204.6A 2023-04-19 2023-04-19 一种3d目标匹配模型建立方法及装置 Active CN116152770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310418204.6A CN116152770B (zh) 2023-04-19 2023-04-19 一种3d目标匹配模型建立方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310418204.6A CN116152770B (zh) 2023-04-19 2023-04-19 一种3d目标匹配模型建立方法及装置

Publications (2)

Publication Number Publication Date
CN116152770A CN116152770A (zh) 2023-05-23
CN116152770B true CN116152770B (zh) 2023-09-22

Family

ID=86339262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310418204.6A Active CN116152770B (zh) 2023-04-19 2023-04-19 一种3d目标匹配模型建立方法及装置

Country Status (1)

Country Link
CN (1) CN116152770B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256589A (zh) * 2020-11-11 2021-01-22 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN114186612A (zh) * 2021-11-17 2022-03-15 南方科技大学 模型训练方法、地形环境识别方法、装置及电子设备
CN114663879A (zh) * 2022-02-09 2022-06-24 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN114692720A (zh) * 2022-02-25 2022-07-01 广州文远知行科技有限公司 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN114943870A (zh) * 2022-04-07 2022-08-26 阿里巴巴（中国）有限公司 线特征提取模型的训练方法及装置、点云匹配方法及装置
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备
CN115421127A (zh) * 2022-09-26 2022-12-02 中汽创智科技有限公司 一种激光雷达仿真模型的生成方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256589A (zh) * 2020-11-11 2021-01-22 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN115205610A (zh) * 2021-04-08 2022-10-18 阿里巴巴新加坡控股有限公司 感知模型的训练方法、训练装置及电子设备
CN114186612A (zh) * 2021-11-17 2022-03-15 南方科技大学 模型训练方法、地形环境识别方法、装置及电子设备
CN114663879A (zh) * 2022-02-09 2022-06-24 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN114692720A (zh) * 2022-02-25 2022-07-01 广州文远知行科技有限公司 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN114943870A (zh) * 2022-04-07 2022-08-26 阿里巴巴（中国）有限公司 线特征提取模型的训练方法及装置、点云匹配方法及装置
CN115421127A (zh) * 2022-09-26 2022-12-02 中汽创智科技有限公司 一种激光雷达仿真模型的生成方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Augmented LiDAR Simulator for Autonomous Driving;Jin Fang等;《arXiv》;第1-10页 *

Also Published As

Publication number Publication date
CN116152770A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及系统
CN105654066A (zh) 一种车辆识别方法及装置
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
WO2019171628A1 (en) Image processing system and image processing method
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
Lyu et al. Small object recognition algorithm of grain pests based on SSD feature fusion
Pavel et al. Recurrent convolutional neural networks for object-class segmentation of RGB-D video
CN116311214B (zh) 车牌识别方法和装置
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN116152770B (zh) 一种3d目标匹配模型建立方法及装置
CN112084815A (zh) 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
KR101391667B1 (ko) 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
CN115984443A (zh) 一种可见光相机的空间卫星目标图像仿真方法
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法
CN115049901A (zh) 一种基于特征图加权注意力融合的小目标检测方法及设备
CN116168062B (zh) 一种3d目标跟踪方法及装置
CN114155524A (zh) 单阶段3d点云目标检测方法及装置、计算机设备、介质
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
KR101972095B1 (ko) 물체탐지 성능 향상용 인공물체 추가 방법 및 장치
CN113628272A (zh) 室内定位方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Applicant before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant