CN111476099B - 一种目标检测方法、目标检测装置及终端设备 - Google Patents

一种目标检测方法、目标检测装置及终端设备 Download PDF

Info

Publication number
CN111476099B
CN111476099B CN202010155391.XA CN202010155391A CN111476099B CN 111476099 B CN111476099 B CN 111476099B CN 202010155391 A CN202010155391 A CN 202010155391A CN 111476099 B CN111476099 B CN 111476099B
Authority
CN
China
Prior art keywords
target object
measurement data
data
radar measurement
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010155391.XA
Other languages
English (en)
Other versions
CN111476099A (zh
Inventor
赵舒静
贺悦茂
陈勇全
钱辉环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Chinese University of Hong Kong Shenzhen
Shenzhen Institute of Artificial Intelligence and Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen, Shenzhen Institute of Artificial Intelligence and Robotics filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202010155391.XA priority Critical patent/CN111476099B/zh
Publication of CN111476099A publication Critical patent/CN111476099A/zh
Application granted granted Critical
Publication of CN111476099B publication Critical patent/CN111476099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本申请适用于检测技术领域，提供了一种目标检测方法、目标检测装置及终端设备，包括：通过拍摄装置获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。通过上述方法，能够有效提高目标检测结果的准确度。

Description

一种目标检测方法、目标检测装置及终端设备
技术领域
本申请属于检测技术领域，尤其涉及一种目标检测方法、目标检测装置及终端设备。
背景技术
目标检测是指对目标物体进行类别识别、并获取目标物体的位置信息的过程。随着目标检测技术的发展，该技术被广泛应用于各个领域，如智能监控系统和自动化交通系统等等。
现有的目标检测方法主要是基于图像视觉的检测方法，即获取目标物体所在环境的拍摄图像，通过对拍摄图像进行图像处理来实现对目标物体的检测。但是，当目标物体所在环境较恶劣时(如夜晚光线不足、雨雪天气等)，获取到的拍摄图像往往不清晰、不准确，进而影响了目标检测结果的准确度。
发明内容
本申请实施例提供了一种目标检测方法、目标检测装置及终端设备，可以解决现有的目标检测方法的检测结果准确度较低的问题。
第一方面，本申请实施例提供了一种目标检测方法，包括：
通过拍摄装置获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；
通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；
将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。
在第一方面的一种可能的实现方式中，所述根据所述雷达测量数据提取所述目标物体的第二特征信息，包括：
将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据；
根据所述映射数据提取所述目标物体的第二特征信息。
在第一方面的一种可能的实现方式中，所述将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据，包括：
获取所述雷达所在坐标系与所述拍摄图像所在坐标系之间的投影矩阵；
将所述雷达测量数据构建成与所述投影矩阵相匹配的向量；
根据所述投影矩阵和所述向量计算所述映射数据。
在第一方面的一种可能的实现方式中，所述雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积；
所述将所述雷达测量数据构建成与所述投影矩阵相匹配的向量，包括：
若所述雷达测量数据的数据个数小于所述投影矩阵的列数，则将所述雷达测量数据和L个预设常数生成N1维列向量，其中，所述N1等于所述测量数据的数据个数与所述L之和。
在第一方面的一种可能的实现方式中，所述雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积；
所述将所述雷达测量数据构建成与所述投影矩阵相匹配的向量，包括：
若所述雷达测量数据的数据个数等于所述投影矩阵的列数，则将所述雷达测量数据生成N2维列向量，其中，所述N2等于所述雷达测量数据的数据个数。
在第一方面的一种可能的实现方式中，所述根据所述映射数据提取所述目标物体的第二特征信息，包括：
将所述映射数据输入到预设的Resnet-18卷积神经网络中进行特征提取，得到所述第二特征信息。
在第一方面的一种可能的实现方式中，所述根据所述拍摄图像提取所述目标物体的第一特征信息，包括：
将所述拍摄图像输入到预设的Darknet-53卷积神经网络中进行特征提取，得到所述第一特征信息。
第二方面，本申请实施例提供了一种目标检测装置，包括：
第一特征提取单元，用于通过拍摄装置获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；
第二特征提取单元，用于通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；
目标检测单元，用于将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的目标检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的目标检测方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的目标检测方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例通过获取目标物体的拍摄图像和雷达测量数据，并分别对拍摄图像和雷达测量数据进行特征提取，得到拍摄图像中的第一特征信息和雷达测量数据中的第二特征信息，这样能够获取到关于目标物体的较多的特征信息，而不仅仅局限于目标物体的图像信息；然后将第一特征信息和第二特征信息进行信息融合得到第三特征信息，并根据所述第三特征信息对所述目标物体进行检测，即综合考虑了关于目标物体的多个特征信息，避免了当某个特征信息不准确时造成的检测结果的不准确。通过上述方法，有效提高了目标检测结果的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的目标检测系统的示意图；
图2是本申请一实施例提供的目标方法的流程示意图；
图3是本申请一实施例提供Darknet-53卷积神经网络的结构示意图；
图4是本申请一实施例提供Resnet-18卷积神经网络的结构示意图；
图5是本申请一实施例提供的目标检测神经网络的结构示意图；
图6是本申请实施例提供的目标检测装置的结构框图；
图7是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
图1为本申请实施例提供的目标检测系统的示意图。如图1所示，目标检测系统可以包括：雷达101、拍摄装置102和终端设备103。其中，雷达可以是毫米波雷达、激光雷达等。拍摄装置可以是照相机、录像机等，也可以是具有拍摄功能等设备，如行车记录仪、手机等等。终端设备可以是具有数据处理功能等设备，如电脑、服务器等等。雷达、拍摄装置分别与终端设备通信连接。另外，目标检测系统可以是一个独立的系统，也可以安装于其他装置/设备上，以为该装置/设备提供目标检测功能。
以汽车为例，下面介绍本申请实施例的一个应用场景。汽车上的车载雷达可以作为目标检测系统中的雷达，汽车上的行车记录仪可以作为目标检测系统中的拍摄装置，汽车的控制器可以作为目标检测系统中的终端设备，控制器分别与车载雷达和行车记录仪通信连接。在汽车行进过程中，汽车的控制器利用本申请实施例中的目标检测方法，通过行车记录仪获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；通过车载雷达获取汽车前方目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。通过上述方法，可以在夜晚光照不足或遇到雨雪等恶劣天气时，提高对汽车前方目标检测的准确度，进而提高汽车行驶的安全性。
图2为本申请一实施例提供的目标方法的流程示意图，作为示例而非限定，所述方法可以包括以下步骤：
S201，通过拍摄装置获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息。
其中，目标物体可以是指一个物体，也可以指多个物体，而且目标物体可以是一类物体，也可以是多类物体。例如，在图1实施例的汽车示例中，汽车前方的目标物体可以指汽车前方的行人、汽车、树木、围栏等障碍物。
在一个实施例中，根据所述拍摄图像提取所述目标物体的第一特征信息，可以直接利用神经网络对拍摄图像进行特征提取。优选的，可以采用预设的Darknet-53卷积神经网络。该网络既能够提取到较准确的特征，又可以避免特征提取过程中的特征损失。
其中，Darknet-53卷积神经网络的结构可参见图3(a)。图3(a)中，Convolutional表示卷积层，用于对输入的图像进行卷积处理。Residual表示残差层，用于降低图像的特征损失、保证网络输出的特征表达能力。Avgpool表示平均池化层，用于将输入的图像分成若干个大小相同的图像块，并分别计算每个图像块中的像素平均值。Connected表示全连接层，用于对提取到的特征进行整合处理。Softmax表示卷机神经网络的激活函数，用于根据提取到的特征进行分类并确定各个类别的标签和概率。卷积层的结构可参见图3(b)，图3(b)中，conv2d表示二维卷积层，Bach Normalization表示标准化层，用于对输入端数据进行标准化/归一化处理，LeakyReLU表示激活函数层。残差层的结构可参见图3(c)，图3(c)中，残差层包括不同维度的卷积层的级联。
当然也可以采用其他结构的神经网络，如采样一个Resnet-50网络与特征金字塔网络组合的神经网络。可以根据实际需要调整神经网络的结构，在此不做具体限定。
S202，通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息。
优选的，本申请实施例中的雷达可以采用毫米波雷达。毫米波雷达，是工作在毫米波波段探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的。毫米波雷达穿透雾、烟、灰尘的能力强，具有全天候全天时的特点，另外，毫米波雷达能分辨识别很小的目标，而且能同时识别多个目标；具有空间分辨率高、体积小、机动性和隐蔽性好等特点。
雷达获取的目标物体的雷达测量数据，可以包括以下至少一项：目标物体在雷达所在坐标系中的坐标、目标物体相对于雷达的相对速度和目标物体的横截面积。当然，在实际应用中，只要雷达可以探测到的关于目标物体的数据，都可以作为目标物体的雷达测量数据，在此不做具体限定。
在一个实施例中，根据所述雷达测量数据提取所述目标物体的第二特征信息，可以直接利用神经网络对雷达测量数据进行特征提取。优选的，可以采用预设的Resnet-18卷积神经网络。该网络包括18层卷积层，可以提取到更精确的特征信息。
其中，Resnet-18卷积神经网络的结构可参见图4。图4中，Conv表示卷积层，用于对输入的图像进行卷积处理。Maxpool表示最大池化层，用于将输入的图像分成若干个大小相同的图像块，并取各个图像块中的最大像素值组成新的图像，最大池化层通常用于对数据进行降维处理。Avgpool表示平均池化层，用于将输入的图像分成若干个大小相同的图像块，并分别计算每个图像块中的像素平均值。Fully Connected表示全连接层，用于对提取到的特征进行整合处理。
当然也可以采用其他结构的神经网络，可以根据实际需要调整神经网络的结构，在此不做具体限定。
在另一个实施例中，根据所述雷达测量数据提取所述目标物体的第二特征信息，还可以先对雷达测量数据进行映射处理，再利用神经网络对映射处理后的数据进行特征提取。具体的，可以包括以下步骤：
S2021，将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据。
由于雷达测量数据所在坐标系和拍摄图像所在坐标系不同，为了使其二者便于进行后续的信息融合，可以先将二者映射到同一个坐标系下。
可选的，步骤S2021可以包括：
I、获取所述雷达所在坐标系与所述拍摄图像所在坐标系之间的投影矩阵。
实际应用中，可以先获取雷达与拍摄装置之间的标定矩阵(即雷达所在坐标系与拍摄装置所在坐标系之间的转换关系，该标定矩阵通常为4×4的矩阵)。然后获取拍摄装置的内参矩阵(该内参矩阵通常是在拍摄装置出厂时设定好的，该内参矩阵决定了拍摄装置所在坐标系与拍摄图像所在坐标系之间的转换关系，该内参矩阵通常为3×4的矩阵)。标定矩阵乘以内参矩阵即为投影矩阵(通常投影矩阵为3×4的矩阵)。
II、将所述雷达测量数据构建成与所述投影矩阵相匹配的向量。
由于雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积，换句话说，雷达测量数据可能只包括一个数据，也可能包括多个数据。而投影矩阵通常为3×4的矩阵，所以需要将雷达测量数据转化为与投影矩阵的维度相匹配的向量。主要分为以下几种情况：
1)若所述雷达测量数据的数据个数小于所述投影矩阵的列数，则将所述雷达测量数据和L个预设常数生成N1维列向量，其中，所述N1等于所述测量数据的数据个数与所述L之和。
通常情况下，预设常数为1。如果预设常数不为1，可以在生成N1维列向量后，再进行归一化处理，即将列向量中的每个元素分别除以该预设常数。
2)若所述雷达测量数据的数据个数等于所述投影矩阵的列数，则将所述雷达测量数据生成N2维列向量，其中，所述N2等于所述雷达测量数据的数据个数。
3)若所述雷达测量数据的数据个数大于所述投影矩阵的列数，则从雷达测量数据中选取N3个数据，并将该N3个数据生成N3维列向量，其中，N3等于投影矩阵的列数。
III、根据所述投影矩阵和所述向量计算所述映射数据。
示例性的，可以利用公式XC＝PTXR计算映射数据，其中，P是拍摄装置的内参矩阵(通常为3×4的矩阵)，T是毫米波雷达到相机的外部标定矩阵，XR是雷达测量数据构成的列向量，XC是映射数据。
S2022，根据所述映射数据提取所述目标物体的第二特征信息。
可选的，可以将映射数据输入到预设的Resnet-18卷积神经网络中进行特征提取，得到所述第二特征信息。其中，Resnet-18卷积神经网络的结构可参见图4。
S203，将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。
由于在映射之后，第一特征信息所在坐标系和第二特征信息所在的坐标系相同，可选的，在将所述第一特征信息和所述第二特征信息进行信息融合时，可以根据坐标相同的原则进行融合，即将对应的坐标相同的第一特征信息和第二特征信息进行融合。
示例性的，在拍摄图像所在坐标系中，第一特征信息t1和第二特征信息t2均对应拍摄图像所在坐标系中的坐标(x1，y1)，将t1和t2进行融合。第一特征信息t3和第二特征信息t4均对应拍摄图像所在坐标系中的坐标(x2，y2)分别对应，将t3和t4进行信息融合。
当然，也可以将第一特征信息和第二特征信息输入到神经网络的全连接层，通过全连接层将二者进行信息融合。
其中，信息融合是指，使同一个图像像素对应多个不同的特征信息的过程。示例性的，当某个图像像素对应的第一特征信息和第二特征信息均为坐标信息时，可以直接将两者进行加权求和，得到该图像像素对应的新的坐标信息。当某个图像像素对应的第一特征信息和第二特征信息不均为坐标信息时(例如，第一特征信息为坐标信息，而第二特征信息包括坐标信息、速度信息以及横截面积信息)，可以将两者中的坐标信息进行加权求和，而将非坐标信息标记为该图像像素的其他/附属特征信息。
步骤S203中，根据所述第三特征信息对所述目标物体进行检测，可以包括，对目标物体进行类别的识别，以及预测目标物体的位置。可选的，可以采用两个神经网络分别进行类别的识别和位置的预测，也可以采用同一个神经网络同时进行类别的识别和位置的预测。目标检测神经网络的结构可参见图5。
本申请实施例通过获取目标物体的拍摄图像和雷达测量数据，并分别对拍摄图像和雷达测量数据进行特征提取，得到拍摄图像中的第一特征信息和雷达测量数据中的第二特征信息，这样能够获取到关于目标物体的较多的特征信息，而不仅仅局限于目标物体的图像信息；然后将第一特征信息和第二特征信息进行信息融合得到第三特征信息，并根据所述第三特征信息对所述目标物体进行检测，即综合考虑了关于目标物体的多个特征信息，避免了当某个特征信息不准确时造成的检测结果的不准确。通过上述方法，有效提高了目标检测结果的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法，图6示出了本申请实施例提供的目标检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该装置包括：
第一特征提取单元61，用于通过拍摄装置获取所述目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息。
第二特征提取单元62，用于通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息。
目标检测单元63，用于将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测。
可选的，第二特征提取单元62包括：
映射模块，用于将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据。
提取模块，用于根据所述映射数据提取所述目标物体的第二特征信息。
可选的，映射模块包括：
获取子模块，用于获取所述雷达所在坐标系与所述拍摄图像所在坐标系之间的投影矩阵。
构建子模块，用于将所述雷达测量数据构建成与所述投影矩阵相匹配的向量。
计算子模块，用于根据所述投影矩阵和所述向量计算所述映射数据。
可选的，所述雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积。
可选的，构建子模块还用于，若所述雷达测量数据的数据个数小于所述投影矩阵的列数，则将所述雷达测量数据和L个预设常数生成N1维列向量，其中，所述N1等于所述测量数据的数据个数与所述L之和。
可选的，构建子模块还用于，若所述雷达测量数据的数据个数等于所述投影矩阵的列数，则将所述雷达测量数据生成N2维列向量，其中，所述N2等于所述雷达测量数据的数据个数。
可选的，提取模块还用于，将所述映射数据输入到预设的Resnet-18卷积神经网络中进行特征提取，得到所述第二特征信息。
可选的，第一特征提取单元61还用于，将所述拍摄图像输入到预设的Darknet-53卷积神经网络中进行特征提取，得到所述第一特征信息。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图6所示的装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个目标检测方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到目标检测装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种目标检测方法，其特征在于，所述方法包括：
通过拍摄装置获取目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；
通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；
将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测；
所述根据所述雷达测量数据提取所述目标物体的第二特征信息，包括：
将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据；
根据所述映射数据提取所述目标物体的第二特征信息；
所述将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据，包括：
获取所述雷达所在坐标系与所述拍摄图像所在坐标系之间的投影矩阵；
将所述雷达测量数据构建成与所述投影矩阵相匹配的向量；
根据所述投影矩阵和所述向量计算所述映射数据；
所述雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积；
所述将所述雷达测量数据构建成与所述投影矩阵相匹配的向量，包括：
若所述雷达测量数据的数据个数小于所述投影矩阵的列数，则将所述雷达测量数据和L个预设常数生成N1维列向量，其中，所述N1等于所述雷达测量数据的数据个数与所述L之和；
若所述雷达测量数据的数据个数等于所述投影矩阵的列数，则将所述雷达测量数据生成N2维列向量，其中，所述N2等于所述雷达测量数据的数据个数；
若所述雷达测量数据的数据个数大于所述投影矩阵的列数，则从雷达测量数据中选取N3个数据，并将该N3个数据生成N3维列向量，其中N3等于投影矩阵的列数。
2.如权利要求1所述的目标检测方法，其特征在于，所述根据所述映射数据提取所述目标物体的第二特征信息，包括：
将所述映射数据输入到预设的Resnet-18卷积神经网络中进行特征提取，得到所述第二特征信息。
3.如权利要求1至2任一项所述的目标检测方法，其特征在于，所述根据所述拍摄图像提取所述目标物体的第一特征信息，包括：
将所述拍摄图像输入到预设的Darknet-53卷积神经网络中进行特征提取，得到所述第一特征信息。
4.一种目标检测装置，其特征在于，包括：
第一特征提取单元，用于通过拍摄装置获取目标物体的拍摄图像，并根据所述拍摄图像提取所述目标物体的第一特征信息；
第二特征提取单元，用于通过雷达获取目标物体的雷达测量数据，并根据所述雷达测量数据提取所述目标物体的第二特征信息；
目标检测单元，用于将所述第一特征信息和所述第二特征信息进行信息融合，生成所述目标物体的第三特征信息，并根据所述第三特征信息对所述目标物体进行检测；
所述第二特征提取单元还用于：
将所述雷达测量数据映射到所述拍摄图像所在的坐标系中，得到映射数据；
根据所述映射数据提取所述目标物体的第二特征信息；
获取所述雷达所在坐标系与所述拍摄图像所在坐标系之间的投影矩阵；
将所述雷达测量数据构建成与所述投影矩阵相匹配的向量；
根据所述投影矩阵和所述向量计算所述映射数据；
所述雷达测量数据包括以下至少一项：所述目标物体在所述雷达所在坐标系中的坐标、所述目标物体相对于所述雷达的相对速度和所述目标物体的横截面积；
所述第二特征提取单元还用于：
若所述雷达测量数据的数据个数小于所述投影矩阵的列数，则将所述雷达测量数据和L个预设常数生成N1维列向量，其中，所述N1等于所述雷达测量数据的数据个数与所述L之和；
若所述雷达测量数据的数据个数等于所述投影矩阵的列数，则将所述雷达测量数据生成N2维列向量，其中，所述N2等于所述雷达测量数据的数据个数；
若所述雷达测量数据的数据个数大于所述投影矩阵的列数，则从雷达测量数据中选取N3个数据，并将该N3个数据生成N3维列向量，其中，N3等于投影矩阵的列数。
5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
CN202010155391.XA 2020-03-09 2020-03-09 一种目标检测方法、目标检测装置及终端设备 Active CN111476099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010155391.XA CN111476099B (zh) 2020-03-09 2020-03-09 一种目标检测方法、目标检测装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010155391.XA CN111476099B (zh) 2020-03-09 2020-03-09 一种目标检测方法、目标检测装置及终端设备

Publications (2)

Publication Number Publication Date
CN111476099A CN111476099A (zh) 2020-07-31
CN111476099B true CN111476099B (zh) 2024-04-16

Family

ID=71748112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010155391.XA Active CN111476099B (zh) 2020-03-09 2020-03-09 一种目标检测方法、目标检测装置及终端设备

Country Status (1)

Country Link
CN (1) CN111476099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016483A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN114445307A (zh) * 2020-10-30 2022-05-06 高新兴科技集团股份有限公司 一种基于雷达和可见光图像获取目标信息的方法、设备、mec及介质
CN112766302B (zh) * 2020-12-17 2024-03-29 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112991311B (zh) * 2021-03-29 2021-12-10 深圳大学 车辆超重检测方法、装置、系统及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250323B2 (en) * 2008-12-10 2016-02-02 The United States Of America As Represented By The Secretary Of The Army Target detection utilizing image array comparison

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨一丰."基于CNN的目标跟踪算法研究".《中国优秀硕士学位论文全文数据库》.2020,第8-42页. *

Also Published As

Publication number Publication date
CN111476099A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476099B (zh) 一种目标检测方法、目标检测装置及终端设备
CN111247525A (zh) 一种车道检测方法、装置及车道检测设备、移动平台
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN116027318A (zh) 多传感器信号融合的方法、装置、电子设备及存储介质
CN114463372A (zh) 车辆识别方法、装置、终端设备及计算机可读存储介质
CN113205510B (zh) 铁路侵限异物检测方法、装置及终端
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112699854A (zh) 一种识别停止行驶车辆的方法与设备
CN111814769A (zh) 一种信息采集方法、装置、终端设备及存储介质
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN113111883B (zh) 车牌检测方法、电子设备及存储介质
CN115731179A (zh) 轨道部件检测方法、终端及存储介质
CN111462176B (zh) 一种目标追踪方法、目标追踪装置及终端设备
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN115829890A (zh) 一种图像融合方法、装置、设备、存储介质及产品
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN113625249A (zh) 反光板定位方法、机器人及计算机可读存储介质
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN113743151A (zh) 一种检测路面抛洒物的方法、装置及存储介质
CN113050056B (zh) 一种雷达工作环境识别方法、装置及终端设备
CN112823377B (zh) 一种路沿分割方法、装置、终端设备及可读存储介质
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
CN115205900A (zh) 基于rgbd图像的行人重识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant