CN116883960A - 目标检测方法、设备、驾驶设备和介质 - Google Patents
目标检测方法、设备、驾驶设备和介质 Download PDFInfo
- Publication number
- CN116883960A CN116883960A CN202311148549.0A CN202311148549A CN116883960A CN 116883960 A CN116883960 A CN 116883960A CN 202311148549 A CN202311148549 A CN 202311148549A CN 116883960 A CN116883960 A CN 116883960A
- Authority
- CN
- China
- Prior art keywords
- data
- enhanced
- target detection
- time sequence
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 136
- 230000008447 perception Effects 0.000 claims abstract description 69
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims description 56
- 238000010586 diagram Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标检测方法、设备、驾驶设备和介质,包括获取第一时序的感知数据;将第一时序的感知数据输入目标检测模型进行检测,得到目标检测结果;其中,标检测模型的训练过程包括:获取第二时序的样本感知数据和样本感知数据对应的真值标签;基于坐标变换和坐标逆变换的方式,分别对样本感知数据和样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和增强感知数据对应的增强真值标签;利用样本感知数据、增强感知数据、真值标签和增强真值标签对初始的目标检测模型进行训练,得到目标检测模型。这样,可保证得到增强数据在不同时刻之间有效保持坐标变换关系,得到性能较高的目标检测模型,进而提高目标检测的精度。
Description
技术领域
本发明涉及目标检测技术领域,具体提供一种目标检测方法、设备、驾驶设备和介质。
背景技术
基于点云等感知数据的机器学习技术在各个领域被广泛使用,以自动驾驶领域为例,可基于目标检测模型根据感知数据对自动驾驶场景的目标进行检测。其中,在目标检测模型中引入时序能力,从而解决时序任务(例如,轨迹预测)或者提升单帧的感知能力(例如,引入连续帧优化目标检测)等,是目前算法研发的趋势。
数据增强是提升具有时序能力的目标检测模型性能的重要手段,决定目标检测模型性能的一个关键步骤。然而,由于多时帧之间运动不一致的问题,在数据增强的过程中容易导致不同时帧之间的坐标变换关系失效,造成增强的数据的质量较差,进而影响目标检测的精度。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决由于多时帧之间运动不一致的问题,在数据增强的过程中容易导致不同时帧之间的坐标变换关系失效,造成增强的数据的质量较差,进而影响目标检测精度的技术问题的目标检测方法、设备、驾驶设备和介质。
在第一方面,本发明提供一种目标检测方法,该目标检测方法包括:
获取第一时序的感知数据;
将所述第一时序的感知数据输入训练好的目标检测模型进行检测,得到目标检测结果;
其中,所述目标检测模型的训练过程包括:
获取第二时序的样本感知数据和所述样本感知数据对应的真值标签;
基于坐标变换和坐标逆变换的方式,分别对所述样本感知数据和所述样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和所述增强感知数据对应的增强真值标签;
利用所述样本感知数据、所述增强感知数据、所述真值标签和所述增强真值标签对初始的目标检测模型进行训练,得到所述训练好的目标检测模型。
进一步地,上述所述的目标检测方法中,基于坐标变换和坐标逆变换的方式,分别对所述样本感知数据和所述样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和所述增强感知数据对应的增强真值标签,包括:
分别将所述样本感知数据和所述样本感知数据对应的真值标签变换到同一个坐标系下,得到坐标统一的感知数据和坐标统一的真值标签;
分别对所述坐标统一的感知数据和所述坐标统一的真值标签进行数据增强,得到初始增强感知数据和初始增强真值标签;
分别将所述初始增强感知数据和所述初始增强真值标签进行逆变换,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签。
进一步地,上述所述的目标检测方法中,分别将所述样本感知数据和所述样本感知数据对应的真值标签变换到同一个坐标系下,得到坐标统一的感知数据和坐标统一的真值标签,包括:
根据不同时刻自身相对于大地坐标系的位姿矩阵,计算得到不同时刻自身位姿之间的坐标变换矩阵;
根据所述坐标变换矩阵,分别将所述第二时序中历史时刻的样本感知数据和历史时刻的样本感知数据对应的真值标签变换到第二时序中当前时刻的自身坐标系下,得到坐标统一的感知数据和坐标统一的真值标签。
进一步地,上述所述的目标检测方法中,分别将所述初始增强感知数据和所述初始增强真值标签进行逆变换,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签,包括:
对所述坐标变换矩阵取逆得到不同时刻自身位姿之间的坐标变换逆矩阵;
根据所述坐标变换逆矩阵,分别将所述坐标统一的感知数据和坐标统一的真值标签变换到第二时序下每个时刻的自身坐标系下,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签。
进一步地,上述所述的目标检测方法中,将所述第一时序的感知数据输入训练好的目标检测模型进行检测,得到目标检测结果,包括:
对所述第一时序的感知数据进行特征编码得到所述第一时序下每个时刻的特征图;
将所有时刻的特征图进行对齐,得到所述第一时序下的对齐特征图;
将所述对齐特征图输入预先训练的目标检测模型进行检测,得到目标检测结果。
进一步地,上述所述的目标检测方法中,将所有时刻的特征图进行对齐,得到所述第一时序下的对齐特征图,包括:
获取第一时序下当前时刻的特征图到第一时序下当前时刻的自身坐标系的第一转换关系、第一时序下当前时刻的自身坐标系到大地坐标系的第二转换关系、大地坐标系到第一时序下历史时刻的自身坐标系的第三转换关系、第一时序下历史时刻的自身坐标系到第一时序下历史时刻的特征图之间的第四转换关系;
根据所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系,得到所述第一时序下当前时刻的特征图与所述第一时序下历史时刻的特征图之间的第五转换关系;
根据所述第五转换关系,将第一时序下历史时刻的特征图转换到第一时序下当前时刻的自身坐标系下,得到所述第一时序下的对齐特征图。
进一步地,上述所述的目标检测方法中,根据所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系,得到所述第一时序下当前时刻的特征图与所述第一时序下历史时刻的特征图之间的第五转换关系,包括:
将所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系相乘得到的乘积作为所述第五转换关系。
在第二方面,本发明提供一种目标检测设备,该目标检测设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的目标检测方法。
在第三方面,提供一种驾驶设备,该驾驶设备包括如上所述的目标检测设备。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述任一项所述的目标检测方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明的技术方案中,过利用坐标变换和坐标逆变换的方式,分别对获取的样本感知数据和样本感知数据对应的真值标签进行数据增强,使得样本感知数据能够在同一坐标系下进行增强后,再逆变换到各自的坐标系,保证得到第二时序的增强感知数据和增强感知数据对应的增强真值标签能够在不同时刻之间有效保持坐标变换关系,提高了第二时序的增强感知数据和增强感知数据对应的增强真值标签的质量,这样,后续利用样本感知数据、增强感知数据、真值标签和增强真值标签对初始的目标检测模型进行训练,得到训练好的目标检测模型性能较高,进而使得利用训练好的目标检测模型进行目标检测时,提高了目标检测的精度。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的目标检测模型的训练方法的主要步骤流程示意图;
图3是第二时序的增强感知数据的对齐结果示意图;
图4是根据本发明的另一个实施例的目标检测方法的主要步骤流程示意图;
图5是目标检测模型中时序特征对齐模块的原理图;
图6是将第一时序下所有时刻的特征图进行对齐后的示意图;
图7是采用本发明的目标检测方法与常规目标检测方法下轨迹预测结果对比图;
图8是根据本发明的一个实施例的目标检测设备的主要结构框图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
数据增强是提升具有时序能力的目标检测模型性能的重要手段,决定目标检测模型性能的一个关键步骤。然而,由于多时帧之间运动不一致的问题,在数据增强的过程中容易导致不同时帧之间的坐标变换关系失效,造成增强的数据的质量较差,进而影响目标检测的精度。
因此,为了解决上述技术问题,本发明提供了以下技术方案:
参阅附图1,图1是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图。如图1所示,本发明实施例中的目标检测方法主要包括下列步骤101-步骤102。
步骤101、获取第一时序的感知数据;
在一个具体实现过程中,可以利用传感器、摄像机等实时采集当前环境的数据作为感知数据,并可以将需要进行目标检测的时刻与其之前历史时刻形成第一时序,从而可以获取到第一时序的感知数据。其中,需要进行目标检测的时刻可以为第一时序的当前时刻。第一时序的感知数据可以包括图像、点云数据等。例如,第一时序的感知数据可以为n帧点云数据,其中/>为第一时序中当前时刻的点云数据,其余n-1帧为第一时序中历史时刻的点云数据。
步骤102、将所述第一时序的感知数据输入利用坐标变换和坐标逆变换的方式进行数据增强的数据集训练好的目标检测模型进行检测,得到目标检测结果。
图2是根据本发明的一个实施例的目标检测模型的训练方法的主要步骤流程示意图。如图2所示,可以根据如下步骤201-步骤203训练目标检测模型。
步骤201、获取第二时序的样本感知数据和所述样本感知数据对应的真值标签;
在一个具体实现过程中,可以将需要进行目标检测模型训练的时刻与其之前历史时刻形成第二时序,从而可以获取到第二时序的样本感知数据,并在对第二时序的样本感知数据进行标注后,得到第二时序的样本感知数据对应的真值标签。其中,需要进行目标检测模型训练的时刻可以为第二时序的当前时刻。例如,第二时序的样本感知数据可以为m帧点云数据,其中/>为第二时序中当前时刻的点云数据,其余m-1帧为第二时序中历史时刻的点云数据。
步骤202、基于坐标变换和坐标逆变换的方式,分别对所述样本感知数据和所述样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和所述增强感知数据对应的增强真值标签;
在一个具体实现过程中,可以根据如下方式实现步骤202:
(1)分别将所述样本感知数据和所述样本感知数据对应的真值标签变换到同一个坐标系下,得到坐标统一的感知数据和坐标统一的真值标签;
具体地,随着设置感知数据采集装置的设备的运动,感知数据采集装置所处的位置也在不停的移动,感知数据的坐标原点也在变动,不同的坐标系不利于网络去学习时序间的关系。因此,可以根据不同时刻自身相对于大地坐标系的位姿矩阵,计算得到不同时刻自身位姿之间的坐标变换矩阵;根据所述坐标变换矩阵,分别将所述第二时序中历史时刻的样本感知数据和历史时刻的样本感知数据对应的真值标签变换到第二时序中当前时刻的自身坐标系下,得到坐标统一的感知数据和坐标统一的真值标签。
(2)分别对所述坐标统一的感知数据和所述坐标统一的真值标签进行数据增强,得到初始增强感知数据和初始增强真值标签;
在一个具体实现过程中,可以通过旋转、平移、加噪、随机翻转等数据增强手段,分别对所述坐标统一的感知数据和所述坐标统一的真值标签进行数据增强,得到初始增强感知数据和初始增强真值标签。这样,初始增强感知数据和初始增强真值标签均在同一坐标系下,进行数据增强过程中是整体的第二时序的样本感知数据进行增强,从而可以使得不同时序之间的增强后的数据之间的坐标变换关系能够有效保持。
(3)分别将所述初始增强感知数据和所述初始增强真值标签进行逆变换,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签。
在一个具体实现过程中,可以对所述坐标变换矩阵取逆得到所述不同时刻自身位姿之间的坐标变换逆矩阵;然后根据所述坐标变换逆矩阵,分别将所述坐标统一的感知数据和坐标统一的真值标签变换到第二时序下每个时刻的自身坐标系下,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签,这样可以使得增强后的数据的时序得以维持。另外,由于不同时序之间的增强后的数据之间的坐标变换关系能够有效保持,这样则可以为后续训练目标检测模型提供了较高质量的数据集,以便得到性能较高的目标检测模型,以便提了目标检测的精度。
图3是第二时序的增强感知数据的对齐结果示意图。如图3所示,图3中左侧是第二时序的增强感知数据对齐前的示意图,可以看到有很多边缘没有叠到一起(如图中线1至3)。图3中右侧是第二时序的增强感知数据对齐后的示意图。可以看到大部分边缘都叠到了一起(如图中线4),因此,由图3可以看出,不同时序之间的增强后的数据之间的坐标变换关系能够有效保持,为后续训练目标检测模型提供了较高质量的数据集。
步骤203、利用所述样本感知数据、所述增强感知数据、所述真值标签和所述增强真值标签对初始的目标检测模型进行训练,得到所述训练好的目标检测模型。
在一个具体实现过程中,可以利用所述样本感知数据、所述增强感知数据、所述真值标签和所述增强真值标签组成训练数据集,并对初始的目标检测模型进行训练,得到所述训练好的目标检测模型。这样,再将所述第一时序的感知数据输入训练好的目标检测模型后,可以得到目标检测结果。例如,该目标检测结果可以包括障碍物、标识牌等目标对象;语义/实例分割结果;可行驶区域检测结果;轨迹预测结果;意图预测结果等。
本实施例的目标检测方法,通过利用坐标变换和坐标逆变换的方式,分别对获取的样本感知数据和样本感知数据对应的真值标签进行数据增强,使得样本感知数据能够在同一坐标系下进行增强后,再逆变换到各自的坐标系,保证得到第二时序的增强感知数据和增强感知数据对应的增强真值标签能够在不同时刻之间有效保持坐标变换关系,提高了第二时序的增强感知数据和增强感知数据对应的增强真值标签的质量,这样,后续利用样本感知数据、增强感知数据、真值标签和增强真值标签对初始的目标检测模型进行训练,得到训练好的目标检测模型性能较高,进而使得利用训练好的目标检测模型进行目标检测时,提高了目标检测的精度。
图4是根据本发明的另一个实施例的目标检测方法的主要步骤流程示意图。如图4所示,本发明实施例中的目标检测方法主要包括下列步骤401-步骤404。
步骤401、获取第一时序的感知数据;
步骤402、对所述第一时序的感知数据进行特征编码得到所述第一时序下每个时刻的特征图;
在一个具体实现过程中,可以对所述第一时序的感知数据进行特征编码得到所述第一时序下每个时刻的特征图。其中,编码方式可以是任意的,例如可以使用卷积神经网络进行编码。通过这种方式,可以从感知数据中提取出每个时刻的特征信息,用于后续的识别和分类任务。
步骤403、将所有时刻的特征图进行对齐,得到所述第一时序下的对齐特征图;
在一个具体实现过程中,不同时刻的特征图分别是同一空间位置在不同时刻的特征图下的坐标索引,特征对齐的本质是计算不同时刻的特征图之间的变换关系。其中,可以通过但不限制于利用车体位姿进行间接求解不同时刻的特征图之间的变换关系。
具体地,可以获取第一时序下当前时刻的特征图到第一时序下当前时刻的自身坐标系的第一转换关系、第一时序下当前时刻的自身坐标系到大地坐标系的第二转换关系、大地坐标系到第一时序下历史时刻的自身坐标系的第三转换关系、第一时序下历史时刻的自身坐标系到第一时序下历史时刻的特征图之间的第四转换关系;根据所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系,得到所述第一时序下当前时刻的特征图与所述第一时序下历史时刻的特征图之间的第五转换关系;根据所述第五转换关系,将第一时序下历史时刻的特征图转换到第一时序下当前时刻的自身坐标系下,得到所述第一时序下的对齐特征图。其中,可以将所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系相乘得到的乘积作为所述第五转换关系。
参见图5,图5是目标检测模型中时序特征对齐模块的原理图。如图5所示,以计算第一时序中当前时刻的特征图的坐标索引和第一时序中历前时刻的特征图的坐标索引/>的变换关系/>为例进行说明。图5中/>,/>,/>分别代表当前时刻身坐标系,大地坐标系,历史时刻自身坐标系,/>,/>,/>,/>分别代表第一时序中当前时刻的特征图到自身坐标系、当前时刻自身坐标系到大地坐标系、大地坐标系到历史时刻自身坐标系、历史时刻自身坐标系到第一时序中历史时刻的特征图之间的转换关系。/>,/>,/>,/>可以根据栅格化过程以及自车定位信息直接计算得到。可以t通过如下计算式,得到/>。
在得到后,可以利用/>将第一时序下所有时刻的特征图进行对齐,其中,图6是将第一时序下所有时刻的特征图进行对齐后的示意图,如图6所示,图6中左侧是第一时序下所有时刻的特征图对齐前的示意图,可以看到有很多边缘没有叠到一起(如图中线11至13)。图3中右侧是第一时序下所有时刻的特征图对齐后的示意图。可以看到大部分边缘都叠到了一起(如图中线14)。
步骤404、将所述对齐特征图输入预先训练的目标检测模型进行检测,得到目标检测结果。
在一个具体实现过程中,可以将得到的对齐特征图输入预先训练的目标检测模型进行检测,得到目标检测结果。其中,可以通过预先训练的目标检测模型中不同的检测头网络得到不同的目标信息的检测结果。例如,该目标测结果可以包括障碍物、标识牌等目标对象;语义/实例分割结果;可行驶区域检测结果;轨迹预测结果;意图预测结果等。
图7是采用本发明的目标检测方法与常规目标检测方法下轨迹预测结果对比图。如图7所示,在车辆拐弯场景中,常规目标检测方法预测的车辆行驶轨迹a为直线,与车道线不一致(图7中上方的图),而采用本发明的目标检测方法时,其预测的车辆行驶轨迹a则为曲线,与车道线一致(图7中下方的图)。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种目标检测设备。
参阅附图8,图8是根据本发明的一个实施例的目标检测设备的主要结构框图。如图8所示,本发明实施例中的目标检测设备可以包括处理器81和存储装置82。
存储装置82可以被配置成存储执行上述方法实施例的目标检测方法的程序,处理器81可以被配置成用于执行存储装置82中的程序,该程序包括但不限于执行上述方法实施例的目标检测方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该目标检测设备可以是包括各种电子设备形成的控制设备。
在一个具体实现过程中,该存储装置82和处理器81的数目均可以为多个。而执行上述方法实施例的目标检测方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器81加载并运行以执行上述方法实施例的目标检测方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置82中,每个处理器81可以被配置成用于执行一个或多个存储装置82中的程序,以共同实现上述方法实施例的目标检测方法,即每个处理器81分别执行上述方法实施例的目标检测方法的不同步骤,来共同实现上述方法实施例的目标检测方法。
上述多个处理器81可以是部署于同一个设备上的处理器,例如上述设备可以是由多个处理器组成的高性能设备,上述多个处理器81可以是该高性能设备上配置的处理器。此外,上述多个处理器81也可以是部署于不同设备上的处理器,例如上述设备可以是服务器集群,上述多个处理器81可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的智能家居设备的控制方法的程序,该程序可以由处理器加载并运行以实现上述目标检测方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
需要说明的是,本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
申请人处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
申请人非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种目标检测方法,其特征在于,包括:
获取第一时序的感知数据;
将所述第一时序的感知数据输入训练好的目标检测模型进行检测,得到目标检测结果;
其中,所述目标检测模型的训练过程包括:
获取第二时序的样本感知数据和所述样本感知数据对应的真值标签;
基于坐标变换和坐标逆变换的方式,分别对所述样本感知数据和所述样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和所述增强感知数据对应的增强真值标签;
利用所述样本感知数据、所述增强感知数据、所述真值标签和所述增强真值标签对初始的目标检测模型进行训练,得到所述训练好的目标检测模型。
2.根据权利要求1所述的目标检测方法,其特征在于,基于坐标变换和坐标逆变换的方式,分别对所述样本感知数据和所述样本感知数据对应的真值标签进行数据增强,得到第二时序的增强感知数据和所述增强感知数据对应的增强真值标签,包括:
分别将所述样本感知数据和所述样本感知数据对应的真值标签变换到同一个坐标系下,得到坐标统一的感知数据和坐标统一的真值标签;
分别对所述坐标统一的感知数据和所述坐标统一的真值标签进行数据增强,得到初始增强感知数据和初始增强真值标签;
分别将所述初始增强感知数据和所述初始增强真值标签进行逆变换,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签。
3.根据权利要求2所述的目标检测方法,其特征在于,分别将所述样本感知数据和所述样本感知数据对应的真值标签变换到同一个坐标系下,得到坐标统一的感知数据和坐标统一的真值标签,包括:
根据不同时刻自身相对于大地坐标系的位姿矩阵,计算得到不同时刻自身位姿之间的坐标变换矩阵;
根据所述坐标变换矩阵,分别将所述第二时序中历史时刻的样本感知数据和历史时刻的样本感知数据对应的真值标签变换到第二时序中当前时刻的自身坐标系下,得到坐标统一的感知数据和坐标统一的真值标签。
4.根据权利要求3所述的目标检测方法,其特征在于,分别将所述初始增强感知数据和所述初始增强真值标签进行逆变换,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签,包括:
对所述坐标变换矩阵取逆得到不同时刻自身位姿之间的坐标变换逆矩阵;
根据所述坐标变换逆矩阵,分别将所述坐标统一的感知数据和坐标统一的真值标签变换到第二时序下每个时刻的自身坐标系下,得到所述第二时序的增强感知数据和所述增强感知数据对应的增强真值标签。
5.根据权利要求1所述的目标检测方法,其特征在于,将所述第一时序的感知数据输入训练好的目标检测模型进行检测,得到目标检测结果,包括:
对所述第一时序的感知数据进行特征编码得到所述第一时序下每个时刻的特征图;
将所有时刻的特征图进行对齐,得到所述第一时序下的对齐特征图;
将所述对齐特征图输入预先训练的目标检测模型进行检测,得到目标检测结果。
6.根据权利要求5所述的目标检测方法,其特征在于,将所有时刻的特征图进行对齐,得到所述第一时序下的对齐特征图,包括:
获取第一时序下当前时刻的特征图到第一时序下当前时刻的自身坐标系的第一转换关系、第一时序下当前时刻的自身坐标系到大地坐标系的第二转换关系、大地坐标系到第一时序下历史时刻的自身坐标系的第三转换关系、第一时序下历史时刻的自身坐标系到第一时序下历史时刻的特征图之间的第四转换关系;
根据所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系,得到所述第一时序下当前时刻的特征图与所述第一时序下历史时刻的特征图之间的第五转换关系;
根据所述第五转换关系,将第一时序下历史时刻的特征图转换到第一时序下当前时刻的自身坐标系下,得到所述第一时序下的对齐特征图。
7.根据权利要求6所述的目标检测方法,其特征在于,根据所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系,得到所述第一时序下当前时刻的特征图与所述第一时序下历史时刻的特征图之间的第五转换关系,包括:
将所述第一转换关系、所述第二转换关系、所述第三转换关系和所述第四转换关系相乘得到的乘积作为所述第五转换关系。
8.一种目标检测设备,其特征在于,包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的目标检测方法。
9.一种驾驶设备,其特征在于,包括如权利要求8所述的目标检测设备。
10.一种计算机可读存储介质,其特征在于,存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311148549.0A CN116883960B (zh) | 2023-09-07 | 2023-09-07 | 目标检测方法、设备、驾驶设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311148549.0A CN116883960B (zh) | 2023-09-07 | 2023-09-07 | 目标检测方法、设备、驾驶设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116883960A true CN116883960A (zh) | 2023-10-13 |
CN116883960B CN116883960B (zh) | 2023-12-01 |
Family
ID=88259142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311148549.0A Active CN116883960B (zh) | 2023-09-07 | 2023-09-07 | 目标检测方法、设备、驾驶设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116883960B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8369622B1 (en) * | 2009-10-29 | 2013-02-05 | Hsu Shin-Yi | Multi-figure system for object feature extraction tracking and recognition |
CN110081875A (zh) * | 2019-04-25 | 2019-08-02 | 北京航空航天大学 | 一种仿鸽子智能的无人机自主导航系统及方法 |
CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
US20220244740A1 (en) * | 2021-02-02 | 2022-08-04 | Wuhan University Of Science And Technology | Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform |
CN114972654A (zh) * | 2022-06-15 | 2022-08-30 | 清华大学 | 一种基于路侧点云补全的三维目标检测方法 |
CN115562499A (zh) * | 2022-11-16 | 2023-01-03 | 深圳市未来感知科技有限公司 | 基于智能指环的精准交互控制方法、系统及存储介质 |
CN115984637A (zh) * | 2022-12-21 | 2023-04-18 | 上海交通大学 | 时序融合的点云3d目标检测方法、系统、终端及介质 |
CN116246096A (zh) * | 2022-12-20 | 2023-06-09 | 浙江大学 | 一种基于前景强化知识蒸馏的点云3d目标检测方法 |
-
2023
- 2023-09-07 CN CN202311148549.0A patent/CN116883960B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8369622B1 (en) * | 2009-10-29 | 2013-02-05 | Hsu Shin-Yi | Multi-figure system for object feature extraction tracking and recognition |
CN110081875A (zh) * | 2019-04-25 | 2019-08-02 | 北京航空航天大学 | 一种仿鸽子智能的无人机自主导航系统及方法 |
CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
US20220244740A1 (en) * | 2021-02-02 | 2022-08-04 | Wuhan University Of Science And Technology | Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform |
CN114972654A (zh) * | 2022-06-15 | 2022-08-30 | 清华大学 | 一种基于路侧点云补全的三维目标检测方法 |
CN115562499A (zh) * | 2022-11-16 | 2023-01-03 | 深圳市未来感知科技有限公司 | 基于智能指环的精准交互控制方法、系统及存储介质 |
CN116246096A (zh) * | 2022-12-20 | 2023-06-09 | 浙江大学 | 一种基于前景强化知识蒸馏的点云3d目标检测方法 |
CN115984637A (zh) * | 2022-12-21 | 2023-04-18 | 上海交通大学 | 时序融合的点云3d目标检测方法、系统、终端及介质 |
Non-Patent Citations (1)
Title |
---|
王教金;蹇木伟;刘翔宇;林培光;耿蕾蕾;崔超然;尹义龙;: "基于3D全时序卷积神经网络的视频显著性检测", 计算机科学, no. 08 * |
Also Published As
Publication number | Publication date |
---|---|
CN116883960B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11205276B2 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
AU2017389535A1 (en) | Image tampering detection method and system, electronic apparatus and storage medium | |
CN110084238B (zh) | 基于LadderNet网络的指静脉图像分割方法、装置和存储介质 | |
CN116912257B (zh) | 基于深度学习的混凝土路面裂缝识别方法及存储介质 | |
CN115965943A (zh) | 目标检测方法、设备、驾驶设备和介质 | |
CN116883960B (zh) | 目标检测方法、设备、驾驶设备和介质 | |
CN117727010A (zh) | 目标检测方法、图像脱敏方法、设备、介质及车辆 | |
CN112149596A (zh) | 一种异常行为检测方法、终端设备及存储介质 | |
CN117292122A (zh) | 一种rgb-d显著性物体检测、语义分割方法及系统 | |
CN114841870A (zh) | 图像处理方法、相关装置和系统 | |
CN114973410A (zh) | 视频帧的动作特征提取方法及装置 | |
CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
CN113192149A (zh) | 图像深度信息单目估计方法、设备及可读存储介质 | |
Yan et al. | Research on multiscene vehicle dataset based on improved FCOS detection algorithms | |
CN116778170B (zh) | 点云全景分割方法、控制装置、可读存储介质及车辆 | |
CN112966569B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN115965944B (zh) | 目标信息的检测方法、设备、驾驶设备和介质 | |
CN117475092B (zh) | 位姿优化方法、设备、智能设备和介质 | |
CN116132645B (zh) | 基于深度学习的图像处理方法、装置、设备和介质 | |
EP4390871A1 (en) | Video anonymization method and apparatus, electronic device, and storage medium | |
CN117912001A (zh) | 一种车牌检测方法、装置、设备及介质 | |
CN117912054A (zh) | 人体重识别模型的训练方法、装置、设备及介质 | |
CN116563318A (zh) | 一种基于边缘特征注意力引导的医学图像分割方法及系统 | |
CN115147489A (zh) | 图像分析方法、装置、存储介质、电子设备及产品 | |
CN117789189A (zh) | 基于透视变换和多重融合后处理网络的车牌篡改数据生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |