CN117789196A - 一种目标对象的检测方法、装置及设备 - Google Patents
一种目标对象的检测方法、装置及设备 Download PDFInfo
- Publication number
- CN117789196A CN117789196A CN202311814530.5A CN202311814530A CN117789196A CN 117789196 A CN117789196 A CN 117789196A CN 202311814530 A CN202311814530 A CN 202311814530A CN 117789196 A CN117789196 A CN 117789196A
- Authority
- CN
- China
- Prior art keywords
- image data
- target object
- data
- radar data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种目标对象的检测方法、装置及设备，其中，所述方法包括：获取目标对象的在预设时段内的图像数据和雷达数据；根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，获得检测结果。本发明提供的方案提高了目标对象的检测效率及准确度。
Description
技术领域
本发明涉及目标检测技术领域，特别是指一种目标对象的检测方法、装置及设备。
背景技术
单一传感器对远景小目标的检测面临着许多挑战，容易受到光照、障碍物的影响。传统的单一传感器通常只能获得被检测目标的部分特征，无法全面描述多种目标信息，往往无法满足对远景小目标进行准确检测和定位的要求。
随着技术的发展，开始结合多个传感器的优点，通过融合各传感器的数据，弥补单一传感器的缺点对目标进行检测，但对于远景小目标的检测研究少，且多传感器虽然获取到的信息特征较全面，单对于检测远景目标难度很大，依然存在远景小目标漏检或误检等问题。因此，为了提高远景小目标检测的效果，迫切需要一种新的算法来对远景小目标进行检测。
发明内容
本发明要解决的技术问题是提供一种目标对象的检测方法、装置及设备，以提高目标对象的检测效率及准确度。
为解决上述技术问题，本发明的实施例提供一种目标对象的检测方法，包括：
获取目标对象的在预设时段内的图像数据和雷达数据；
根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；
将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；
根据所述三维预测框对所述目标对象进行检测，获得检测结果。
可选的，在获取目标对象的在预设时段内的图像数据和雷达数据之后，还包括：
对所述图像数据和所述雷达数据进行预处理，获得预处理后的图像数据和预处理后的雷达数据。
可选的，根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据，包括：
根据所述预处理后的图像数据，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据。
可选的，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据，包括：
获取所述目标对象在所述预处理后的图像数据中的至少一个第一特征点以及在所述预处理后的雷达数据中的至少一个第二特征点；
根据至少一个所述第一特征点和至少一个所述第二特征点，确定所述预处理后的雷达数据与所述预处理后的图像数据的变换参数；
根据所述变换参数，对所述预处理后的雷达数据进行坐标转换，获得所述坐标转换后的雷达数据。
可选的，所述预设三维检测网络模型包括：特征提取层、特征融合层以及回归层；所述预设三维检测网络模型的训练过程包括以下步骤：
获取训练数据集；所述训练数据集包括目标对象的历史图像数据以及历史雷达数据；
将所述历史图像数据以及所述历史雷达数据输入到所述特征提取层中进行特征提取，获得所述历史图像数据的第一训练特征图以及所述历史雷达数据的第二训练特征图；
将所述第一训练特征图以及所述第二训练特征图输入到所述特征融合层进行处理，获得目标对象的训练特征数据；
将所述训练特征数据输入到所述回归层中进行处理，获得预测的三维预测框；
将所述预测的三维预测框带入到预设损失函数中，在所述预设损失函数收敛时，训练完成。
可选的，将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框，包括：
将所述预处理后的图像数据以及所述坐标转换后的雷达数据输入到所述特征提取层中进行处理，获得所述预处理后的图像数据的至少一个第一特征图以及所述坐标转换后的雷达数据的至少一个第二特征图；
将至少一个所述第一特征图和至少一个所述第二特征图输入到所述特征融合层中进行处理，获得所述目标对象的特征数据；
将所述特征数据输入到所述回归层中进行处理，获得并输出所述目标对象的三维预测框。
可选的，所述特征提取层包括：网络骨干层以及编码层；
所述网络骨干层对输入的所述预处理后的图像数据以及所述坐标转换后的雷达数据分别进行卷积运算-提取特征，获得至少一个所述第一特征图以及至少一个所述第二特征图；
所述编码层对所述第一特征图以及所述第二特征图进行采样，获得采样后的所述第一特征图以及所述第二特征图。
本发明的实施例还提供一种目标对象的检测装置，包括：
获取模块，用于获取目标对象的在预设时段内的图像数据和雷达数据；
处理模块，用于根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，获得检测结果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述任一项所述的方法。
本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述任一项所述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取目标对象的在预设时段内的图像数据和雷达数据；根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，获得检测结果，以提高目标对象的检测效率及准确度。
附图说明
图1是本发明实施例提供的目标对象的检测方法流程图；
图2是本发明一可选实施例提供的预设三维检测网络模型结构示意图；
图3是本发明实施例提供的目标对象的检测装置的模块框示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种目标对象的检测方法，包括：
步骤11，获取目标对象的在预设时段内的图像数据和雷达数据；
步骤12，根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；
步骤13，将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；
步骤14，根据所述三维预测框对所述目标对象进行检测，获得检测结果。
该实施例中，所述图像数据可以通过相机设备进行采集，以提供高分辨率的图像信息，能够准确的捕捉目标对象的外观特征并检测出目标的种类；所述雷达数据为K波雷达的点云数据，可以提供精确地距离、方位角信息；在本申请中K波雷达的探测距离最远为1500m，距离分辨率为0.75m，对识别远景小目标具有优异的性能；
通过所述图像数据中的图像信息对所述雷达数据进行坐标转换，以使所述雷达数据与图像数据可以实现空间上的对齐，以满足后续模型的输入要求，同时保证获得三维预测框的准确性；优选的，在进行坐标转换之前，可以优先通过ROS系统实现时间上的对齐，以保证后续进行坐标转换、对齐的准确性；进一步的，将进行坐标转换后的雷达数据以及所述图像数据，输入到所述预设三维检测网络模型中进行处理，获得所述目标对象的三维预测框所述三维预测框主要为所述目标对象的三维轮廓；进而根据所述三维预测框，可以实现对目标对象高效及准确的检测。
本发明的一可选实施例中，在获取目标对象的在预设时段内的图像数据和雷达数据之后，还可以包括：
步骤111，对所述图像数据和所述雷达数据进行预处理，获得预处理后的图像数据和预处理后的雷达数据。
该实施例中，为避免数据采集过程中的信号衰减和噪声问题，在获取到所述图像数据以及所述雷达点云数据进行预处理；
这里，对于所述雷达点云数据以及所述图像数据的预处理过程是不同的；由于所述图像数据可能会受到光照、噪声等影响，可以通过图像增强算法，如直方图均衡化、自适应对比度增强等，来增强图像数据的对比度和细节；同时，也可以进行图像去噪，以便于后续能够提取更为清晰的目标对象的信息；进一步的，在对所述图像数据进行预处理之后，可以对与处理后的图像数据进行畸变校正，即消除图像中由于摄像头镜头失真造成的畸变，以保证后续融合数据的有效性及准确性；
由于所述雷达点云数据可能存在信号衰减和噪声等影响，这里，可以通过滤波算法如中值滤波、均值滤波等来平滑雷达数据，减少噪声的影响；此外，在远距离目标对象的检测与信号传输过程中，所述雷达点云数据的强度通常会随距离增加而衰减，可以通过进行距离补偿或标定，对所述雷达点云数据进行预处理，以保证后续融合数据的有效性及准确性。
本发明的一可选实施例中，上述步骤12，可以包括：
步骤121，根据所述预处理后的图像数据，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据。
该实施例中，通过对所述预处理后的雷达数据进行坐标转换，将所述预处理后的雷达数据与所述图像数据进行坐标统一，以保证后续数据处理的准确性。
本发明的一可选实施例中，上述步骤121，具体可以包括：
步骤1211，获取所述目标对象在所述预处理后的图像数据中的至少一个第一特征点以及在所述预处理后的雷达数据中的至少一个第二特征点；
步骤1212，根据至少一个所述第一特征点和至少一个所述第二特征点，确定所述预处理后的雷达数据与所述预处理后的图像数据的变换参数；
步骤1213，根据所述变换参数，对所述预处理后的雷达数据进行坐标转换，获得所述坐标转换后的雷达数据。
该实施例中，提取所述预处理后的图像数据的至少一个第一特征点、所述预处理后的雷达数据中的至少一个第二特征点；所述第一特征点可以包括：图像中的锚点、图像边框中的中点等；由于所述预处理后的雷达数据通常为离散的点数据，这里可以通过将所述预处理后的雷达数据对应的距离、角度、强度等信息转换点的三维坐标，形成点云数据，并从点云数据中提取所述第二特征点；在本发明的一可选实施例中，可以通过预设算法提取特征点，如点云滤波算法、SIFT(Scale-invariant feature transform)尺度不变特征转换算法等；
在获取到所述第一特征点与所述第二特征点之后进行匹配操作，获得变换参数，具体的：可以通过计算所述第二特征点与所述第一特征点之间的距离或相似性度量，获得最佳的变换参数；如：可以通过最近邻匹配算法，对每个第二特征点，在所述预处理后的图像数据对应的多个第一特征点中找到与当前第二特征点距离最近的第一特征点作为匹配点，并通过计算二者之间的欧氏距离、汉明距离、余弦相似度等度量方法来计算二者之间的距离或相似性，进而获得所述变换参数；
进一步的，将所述变换参数与所述预处理后的雷达数据对应的坐标相乘，即获得所述坐标转换后的雷达数据，以保证后续进行三维预测框预测的准确性，进而提高目标对象检测的准确性。
如图2所示，在本发明的一可选实施例中，所述预设三维检测网络模型包括：特征提取层、特征融合层以及回归层；所述预设三维检测网络模型的训练过程包括以下步骤：
步骤21，获取训练数据集；所述训练数据集包括目标对象的历史图像数据以及历史雷达数据；
步骤22，将所述历史图像数据以及所述历史雷达数据输入到所述特征提取层中进行特征提取，获得所述历史图像数据的第一训练特征图以及所述历史雷达数据的第二训练特征图；
步骤23，将所述第一训练特征图以及所述第二训练特征图输入到所述特征融合层进行处理，获得目标对象的训练特征数据；
步骤24，将所述训练特征数据输入到所述回归层中进行处理，获得预测的三维预测框；
步骤25，将所述预测的三维预测框带入到预设损失函数中，在所述预设损失函数收敛时，训练完成。
该实施例中，在训练之前，首先初始化所述特征提取层以及所述特征融合层的权重参数，并可以通过梯度反传算法进行迭代训练；
所述特征提取层中可以使用可变形的卷积网络，同时嵌入感受野增强的残差网络，对所述历史图像数据以及所述历史雷达数据进行特征提取，并获得对应的训练特征图；
所述特征融合陈包含多个3D卷积层、全连接层以及激活函数，用于对所述特征提取层输入的训练特征图记性处理，生成目标对象的训练预测框和训练目标中心数据；这里，为了处理不同尺度的目标对象，在输入的训练特征图上会构建特征金字塔；通常使用不同尺度的卷积核上采样操作，进而可以生成一系列的具有不同分辨率的训练特征图；
进一步的，在所述特征融合层中生成的训练特征数据包括：目标对象的训练类别得分、目标对象的训练三维边界框以及目标对象的训练预测框；在所述特征融合层中可以通过对训练特征图中每个空间位置的目标对象进行分类，生成每个类别的训练类别得分；这里，通常使用卷积层和全连接层操作实现；对于每个空间位置，生成目标对象的中心坐标、宽度、高度和深度等信息；根据目标对象的中心坐标和尺寸信息，以及先验框(AnchorBoxes)的定义，生成最终的训练预测框；
在所述回归层中：将不同尺度的训练预测框进行融合，通常采用非极大值抑制来消除重叠的训练预测框，选择具有最高得分的训练预测框作为最终的检测结果；
在进行迭代训练处理的过程中，网络会计算批量损失相对于权重的梯度，并相应地更新权重；经过多轮计算之后，网络损失值将变得足够小；通过梯度反传算法进行权重的训练，增强模型自学习的性能，通过交叉验证，调整模型的参数，进一步提高模型的处理效率及精确度；这里，模型的预设损失函数可以包括：第一损失函数、第二损失函数以及第三损失函数；其中，所述第一损失函数为中心坐标损失函数，可以采用焦点损失计算；所述第二损失函数为偏移损失函数，表示所述特征融合层在处理时导致目标对象的中心点偏差，可以采用回归损失函数计算；所述第三损失函数为分类损失函数，所述分类损失函数可以表示为：
其中，L为损失值，T为样本的总数量，S为样本中类别的数量，Pic为样本i属于c类的预测概率，Pic越大说明样本i属于c类的概率越大；yic为符号函数(其值为0或1)，如果样本i的真实类别等于c类取1，否则取0。
本发明的一可选实施例中，上述步骤13，可以包括：
步骤131，将所述预处理后的图像数据以及所述坐标转换后的雷达数据输入到所述特征提取层中进行处理，获得所述预处理后的图像数据的至少一个第一特征图以及所述坐标转换后的雷达数据的至少一个第二特征图；
步骤132，将至少一个所述第一特征图和至少一个所述第二特征图输入到所述特征融合层中进行处理，获得所述目标对象的特征数据；
步骤133，将所述特征数据输入到所述回归层中进行处理，获得并输出所述目标对象的三维预测框。
进一步的，所述特征提取层包括：网络骨干层以及编码层；
上述步骤132，可以包括：
步骤1321，所述网络骨干层对输入的所述预处理后的图像数据以及所述坐标转换后的雷达数据分别进行卷积运算-提取特征，获得至少一个所述第一特征图以及至少一个所述第二特征图；
步骤1322，所述编码层对所述第一特征图以及所述第二特征图进行采样，获得采样后的所述第一特征图以及所述第二特征图。
该实施例中，所述编码层对所述第一特征图进行上采样和下采样，同时对所述第二特征图进行上采样和下采样，使得输入到所述特征融合层中的特征语义信息更丰富，以保证最终输出的三维预测框的准确性；
本发明上述实施例，通过获取目标对象的在预设时段内的图像数据和雷达数据；根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据，以保证后续预测的准确性；及进一步的，将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，并将检测到的目标对象通过三维预测框进行框起来表示，实现了对远景小目标对象的检测，同时提高了检测的准确性及效率。
如图3所示，本发明的实施例还提供一种目标对象的检测装置30，包括：
获取模块31，用于获取目标对象的在预设时段内的图像数据和雷达数据；
处理模块32，用于根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，获得检测结果。
可选的，在获取目标对象的在预设时段内的图像数据和雷达数据之后，所述处理模块32还用于：
对所述图像数据和所述雷达数据进行预处理，获得预处理后的图像数据和预处理后的雷达数据。
可选的，所述处理模块32根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据，包括：
根据所述预处理后的图像数据，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据。
可选的，所述处理模块32对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据，包括：
获取所述目标对象在所述预处理后的图像数据中的至少一个第一特征点以及在所述预处理后的雷达数据中的至少一个第二特征点；
根据至少一个所述第一特征点和至少一个所述第二特征点，确定所述预处理后的雷达数据与所述预处理后的图像数据的变换参数；
根据所述变换参数，对所述预处理后的雷达数据进行坐标转换，获得所述坐标转换后的雷达数据。
可选的，所述预设三维检测网络模型包括：特征提取层、特征融合层以及回归层；所述预设三维检测网络模型的训练过程包括以下步骤：
获取训练数据集；所述训练数据集包括目标对象的历史图像数据以及历史雷达数据；
将所述历史图像数据以及所述历史雷达数据输入到所述特征提取层中进行特征提取，获得所述历史图像数据的第一训练特征图以及所述历史雷达数据的第二训练特征图；
将所述第一训练特征图以及所述第二训练特征图输入到所述特征融合层进行处理，获得目标对象的训练特征数据；
将所述训练特征数据输入到所述回归层中进行处理，获得预测的三维预测框；
将所述预测的三维预测框带入到预设损失函数中，在所述预设损失函数收敛时，训练完成。
可选的，将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框，包括：
将所述预处理后的图像数据以及所述坐标转换后的雷达数据输入到所述特征提取层中进行处理，获得所述预处理后的图像数据的至少一个第一特征图以及所述坐标转换后的雷达数据的至少一个第二特征图；
将至少一个所述第一特征图和至少一个所述第二特征图输入到所述特征融合层中进行处理，获得所述目标对象的特征数据；
将所述特征数据输入到所述回归层中进行处理，获得并输出所述目标对象的三维预测框。
可选的，所述特征提取层包括：网络骨干层以及编码层；
所述网络骨干层对输入的所述预处理后的图像数据以及所述坐标转换后的雷达数据分别进行卷积运算-提取特征，获得至少一个所述第一特征图以及至少一个所述第二特征图；
所述编码层对所述第一特征图以及所述第二特征图进行采样，获得采样后的所述第一特征图以及所述第二特征图。
需要说明的是，该装置是与上述目标对象的检测方法相对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种目标对象的检测方法，其特征在于，包括：
获取目标对象的在预设时段内的图像数据和雷达数据；
根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；
将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；
根据所述三维预测框对所述目标对象进行检测，获得检测结果。
2.根据权利要求1所述的目标对象的检测方法，其特征在于，在获取目标对象的在预设时段内的图像数据和雷达数据之后，还包括：
对所述图像数据和所述雷达数据进行预处理，获得预处理后的图像数据和预处理后的雷达数据。
3.根据权利要求2所述的目标对象的检测方法，其特征在于，根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据，包括：
根据所述预处理后的图像数据，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据。
4.根据权利要求3所述的目标对象的检测方法，其特征在于，对所述预处理后的雷达数据进行坐标转换处理，获得与所述预处理后的图像数据对应的坐标转换后的雷达数据，包括：
获取所述目标对象在所述预处理后的图像数据中的至少一个第一特征点以及在所述预处理后的雷达数据中的至少一个第二特征点；
根据至少一个所述第一特征点和至少一个所述第二特征点，确定所述预处理后的雷达数据与所述预处理后的图像数据的变换参数；
根据所述变换参数，对所述预处理后的雷达数据进行坐标转换，获得所述坐标转换后的雷达数据。
5.根据权利要求3所述的目标对象的检测方法，其特征在于，所述预设三维检测网络模型包括：特征提取层、特征融合层以及回归层；所述预设三维检测网络模型的训练过程包括以下步骤：
获取训练数据集；所述训练数据集包括目标对象的历史图像数据以及历史雷达数据；
将所述历史图像数据以及所述历史雷达数据输入到所述特征提取层中进行特征提取，获得所述历史图像数据的第一训练特征图以及所述历史雷达数据的第二训练特征图；
将所述第一训练特征图以及所述第二训练特征图输入到所述特征融合层进行处理，获得目标对象的训练特征数据；
将所述训练特征数据输入到所述回归层中进行处理，获得预测的三维预测框；
将所述预测的三维预测框带入到预设损失函数中，在所述预设损失函数收敛时，训练完成。
6.根据权利要求5所述的目标对象的检测方法，其特征在于，将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框，包括：
将所述预处理后的图像数据以及所述坐标转换后的雷达数据输入到所述特征提取层中进行处理，获得所述预处理后的图像数据的至少一个第一特征图以及所述坐标转换后的雷达数据的至少一个第二特征图；
将至少一个所述第一特征图和至少一个所述第二特征图输入到所述特征融合层中进行处理，获得所述目标对象的特征数据；
将所述特征数据输入到所述回归层中进行处理，获得并输出所述目标对象的三维预测框。
7.根据权利要求6所述的目标对象的检测方法，其特征在于，所述特征提取层包括：网络骨干层以及编码层；
所述网络骨干层对输入的所述预处理后的图像数据以及所述坐标转换后的雷达数据分别进行卷积运算-提取特征，获得至少一个所述第一特征图以及至少一个所述第二特征图；
所述编码层对所述第一特征图以及所述第二特征图进行采样，获得采样后的所述第一特征图以及所述第二特征图。
8.一种目标对象的检测装置，其特征在于，包括：
获取模块，用于获取目标对象的在预设时段内的图像数据和雷达数据；
处理模块，用于根据所述图像数据，对所述雷达数据进行坐标转换，获得坐标转换后的雷达数据；将所述图像数据和所述坐标转换后的雷达数据输入到预设三维检测网络模型中，获得所述目标对象的三维预测框；所述预设三维检测网络模型是基于卷积神经网络对目标对象的历史图像数据与雷达数据进行训练得到的；根据所述三维预测框对所述目标对象进行检测，获得检测结果。
9.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311814530.5A CN117789196A (zh) | 2023-12-26 | 2023-12-26 | 一种目标对象的检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311814530.5A CN117789196A (zh) | 2023-12-26 | 2023-12-26 | 一种目标对象的检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789196A true CN117789196A (zh) | 2024-03-29 |
Family
ID=90388703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311814530.5A Pending CN117789196A (zh) | 2023-12-26 | 2023-12-26 | 一种目标对象的检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789196A (zh) |
-
2023
- 2023-12-26 CN CN202311814530.5A patent/CN117789196A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| CN107767358B (zh) | 一种图像中物体模糊度确定方法和装置 | |
| CN110598613B (zh) | 一种高速公路团雾监测方法 | |
| CN111462012A (zh) | 一种基于条件生成对抗网络的sar图像仿真方法 | |
| CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
| CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
| CN117809168B (zh) | 一种基于水下目标的固有属性特征进行检测的方法及装置 | |
| CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
| JP7072765B2 (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
| CN112818840A (zh) | 无人机在线检测系统和方法 | |
| CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN117789196A (zh) | 一种目标对象的检测方法、装置及设备 | |
| CN113240638B (zh) | 基于深度学习的目标检测方法、设备及介质 | |
| CN114842506A (zh) | 一种人体姿态估计方法及系统 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN113762271A (zh) | 基于不规则卷积核神经网络模型的sar图像语义分割方法和系统 | |
| JP5773935B2 (ja) | シーンにおけるオブジェクトを分類する方法 | |
| CN118037610B (zh) | 一种针对复杂环境的水尺图像畸变校正方法和系统 | |
| CN110580451A (zh) | 一种基于三维优化子曲面的人脸识别方法及系统 | |
| CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
| CN117745786B (zh) | 基于三维点云数据的道路裂缝深度检测装置及检测方法 | |
| CN115223002B (zh) | 模型训练方法、开门动作检测方法、装置以及计算机设备 | |
| CN116071658B (zh) | 一种基于深度学习的sar图像小目标检测识别方法及设备 | |
| CN113971755B (zh) | 基于改进yolov3模型的全天候海面目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |