CN111739005B - 图像检测方法、装置、电子设备及存储介质 - Google Patents

图像检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111739005B
CN111739005B CN202010575273.4A CN202010575273A CN111739005B CN 111739005 B CN111739005 B CN 111739005B CN 202010575273 A CN202010575273 A CN 202010575273A CN 111739005 B CN111739005 B CN 111739005B
Authority
CN
China
Prior art keywords
network
image
detection frame
point cloud
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010575273.4A
Other languages
English (en)
Other versions
CN111739005A (zh
Inventor
叶晓青
谭啸
孙昊
章宏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010575273.4A priority Critical patent/CN111739005B/zh
Publication of CN111739005A publication Critical patent/CN111739005A/zh
Application granted granted Critical
Publication of CN111739005B publication Critical patent/CN111739005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Abstract

本申请公开了图像检测方法、装置、电子设备及存储介质，涉及图像处理、深度学习领域。具体实现方案为：对待处理图像进行深度估计得到该待处理图像的深度图；基于该待处理图像的深度图以及相机参数计算得到该待处理图像的伪点云；将该待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到该第一网络输出的该第一检测框所包含的目标对象的属性信息；其中，该第一网络为基于第二网络采用特征迁移的方式得到的网络；该第二网络为基于图像对应的雷达点云训练得到的网络。通过本申请实施例提供的图像检测方法可以提高三维物体检测的精度，同时可应用于自动驾驶领域。

Description

图像检测方法、装置、电子设备及存储介质
技术领域
本申请涉及信息处理领域。本申请尤其涉及图像处理、深度学习领域、可应用于自动驾驶领域。
背景技术
三维物体检测技术的一种方式是通过单目深度估计获取深度，并将图像转换为伪点云，再应用点云三维检测的方法。再一种是利用激光雷达进行检测。
其中，基于激光雷达的三维物体检测方法精度较高，但是激光雷达成本高、采集复杂。基于单目相机的方法是替代激光雷达的一种选择，但由于缺少深度信息和尺度信息，其精度与激光雷达的方法差距较大，精度较低。
发明内容
本公开提供了一种图像检测方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种图像检测方法，包括：
对待处理图像进行深度估计得到该待处理图像的深度图；
基于该待处理图像的深度图以及相机参数计算得到该待处理图像的伪点云；
将该待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到该第一网络输出的该第一检测框所包含的目标对象的属性信息；
其中，该第一网络为基于第二网络采用特征迁移的方式得到的网络；该第二网络为基于图像对应的雷达点云训练得到的网络，并且该第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
根据本公开的第二方面，提供了一种图像检测装置，包括：
图像预处理模块，用于对待处理图像进行深度估计得到该待处理图像的深度图；基于该待处理图像的深度图以及相机参数计算得到该待处理图像的伪点云；
目标检测模块，用于将该待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到该第一网络输出的该第一检测框所包含的目标对象的属性信息；
其中，该第一网络为基于第二网络采用特征迁移的方式得到的网络；该第二网络为基于图像对应的雷达点云训练得到的网络，并且该第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术，能够将待处理图像对应的深度图以及相应的伪点云输入至第一网络，进而得到待处理图像中的前景物体的属性信息，并且本申请中第一网络为基于第二网络进行特征迁移得到的。由于第一网络为基于第二网络采用特征迁移方式得到的，并且第二网络为基于精度较高的雷达点云训练得到的网络，因此，在使用基于第二网络特征迁移后得到的第一网络对图像的伪点云进行处理时，能够得到与较为精确的第二网络一致的输出，从而保证了采用伪点云作为输入的第一网络的输出也与采用激光雷达进行检测的结果相同，使得图像的检测结果更加精确。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的图像检测方法流程示意图；
图2是根据本申请实施例的伪点云示意图；
图3是根据本申请实施例的雷达点云示意图；
图4是根据本申请实施例的第二网络训练流程示意图；
图5是根据本申请实施例的图像检测方法的处理过程示意图；
图6是根据本申请实施例的图像检测装置组成结构示意图一；
图7是根据本申请实施例的图像检测装置组成结构示意图二；
图8是用来实现本申请实施例的图像检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例提供了一种图像检测方法，如图1所示，包括：
步骤S101、对待处理图像进行深度估计得到该待处理图像的深度图；
步骤S102、基于该待处理图像的深度图以及相机参数计算得到该待处理图像的伪点云；
步骤S103、将该待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到该第一网络输出的该第一检测框所包含的目标对象的属性信息；
其中，该第一网络为基于第二网络采用特征迁移的方式得到的网络；该第二网络为基于图像对应的雷达点云训练得到的网络，并且该第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
本申请实施例中，第一网络中输入的伪点云的一种示例可以参见图2。第二网络中输入的雷达点云为通过激光雷达采集到的真实点云，雷达点云的一种示例可以参见图3。
本实施例提供的方案，以多个真实点云作为样本输入第二网络，经过学习和训练使得第二网络能够输出检测框对应的对象的相应的属性信息。然后，采用特征迁移的方式基于第二网络得到第一网络，其中，第一网络与第二网络的输入是不同的，但是输出相同或近似相同，具体来说，第一网络的输入为前述检测框所对应的伪点云，第二网络的输入为前述检测框所对应的真实点云也就是雷达点云，但是第一网络的输出与第二网络的输出可以相同(或相似)为检测框对应的对象的属性信息。
上述实施方式中，步骤S101中对待处理图像进行深度估计得到待处理图像的深度图可以为通过现有技术中的任意一种深度估计算法得到，本申请实施例对此不做限定。其中，待处理图像为拍摄到的单目图像，为需要进行目标预测的任意图像。
步骤S102中，记深度图为D，对图像上每个点I(u,v)，有如下公式：
其中：K为相机参数，包括相机的焦距(cx/cy)和主点的xy轴坐标(fx,fy)；Pc为待处理图像的伪点云。
基于该深度图D和相机参数计算得到该待处理图像的伪点云为：
S103中，在使用第一网络进行待处理图像的预测阶段，仅需要使用第一网络，将单目图像(也就是待处理图像)通过2D检测器和深度估计得到的伪点云输入至第一网络提取特征，预测得到第一检测框内的目标对象的属性信息；其中，所述目标对象的属性可以包括有以下至少之一：目标对象对应的长宽高、朝向角和中心点坐标。
需要指出的是，上述S103中，第一检测框可以为通过2D检测器得到的待处理图像中的多个检测框中的任意一个。
上述基于2D检测器得到第一检测框或多个检测框的方式，本实施例中不进行限定。
通过采用上述方案，能够将待处理图像通过步骤S101和步骤S102得到深度图以及相应的伪点云输入至第一网络，进而得到待处理图像中的前景物体的属性信息，属性信息包括了前景物体的位置和尺寸信息，以便于无人驾驶、辅助驾驶、车路协同等场景中根据获得的属性信息做出判断。
由于第一网络为基于第二网络采用特征迁移方式得到的，并且第二网络为基于精度较高的雷达点云训练得到的网络，因此，在使用基于第二网络特征迁移后得到的第一网络对图像的伪点云进行处理时，能够得到与较为精确的第二网络一致的输出，从而保证了采用伪点云作为输入的第一网络的输出也更加精确。
本申请实施例的图像检测方法可以应用于无人驾驶、辅助驾驶、车路协同等场景，能够对单目图像进行三维的车辆、行人等物体进行自动检测定位，并且检测定位的精确度能够与采用雷达定位的处理方式中较为一致的结果，从而使得无人驾驶、辅助驾驶、车路协同场景的后续处理的参考信息更加准确，也有利于这些场景的后续分析更加准确。
本申请实施例中，还可以将第二网络称为教师网络，第一网络称为学生网络。
基于上述说明可以看出，本申请实施例执行前述S101-S103之前，需要先对教师网络也就是第二网络进行训练，在一种示例中，针对如何确定或训练第二网络进行说明，如图4所示，该方法还包括：
步骤S201、获取训练图像中包含的目标检测框对应的雷达点云；
步骤S202、基于该目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络；该第二网络为训练后的网络。
其中，训练图像可以为训练图像库或训练图像样本集中的任意一个图像，需要理解的是，在训练第二网络的阶段中，可以重复执行上述S201以及S202，直至得到最终的第二网络；相应的，不同次的训练中可以采用不同的训练图像。
每一个训练图像均可以预先得到对应的雷达点云。得到雷达点云的方式，可以为通过高精度的激光雷达检测方法获得训练图像中目标检测框对应的雷达点云。
另外，在训练第二网络的处理中，还需要预先使用2D图像检测结果，也就是训练图像中的目标检测框。还会标注目标检测框中的目标对象的属性信息。其中，目标检测框在一次训练中可以为一个或多个，如果为多个的话，那么需要根据每一个目标检测框、及其对应的雷达点云及其标注的目标对象的属性信息，训练第二网络。
本实施例中，对象(或目标对象)的属性信息，具体可以包括有以下至少之一：目标对象的尺寸大小、朝向、以及中心点的位置信息。
目标检测框为包含目标对象的图像部分，目标对象为训练图像中包含了前景物体的部分，以针对前景物体进行检测。前景物体可以为车辆、行人、骑行者中任意一种。
在一种实施方式中，前述S202，基于该目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络，包括：
将该目标检测框对应的雷达点云转换为相机点云，将该目标检测框所对应的相机点云作为输入信息对第二网络进行训练，得到能够输出该目标检测框包含的目标对象的属性信息的第二网络。
在一种示例中，通过相机采集单目图像，单目图像中包含目标对象的目标检测框；根据相机参数与雷达之间的变换关系Tvelo2cam将该目标检测框对应激光雷达采集的雷达点云转换为相机点云，再以相机点云作为输入，对第二网络进行构建和训练，使得第二网络输出预先标注的目标对象的属性信息。
这里，先将雷达点云转换为相机点云的作用是，使得真实的雷达电源能够与目标图像在相同的坐标系下。
基于上述处理得到训练好的第二网络。总的来说，上述S201-S202可以理解为本申请整个处理流程中的预训练阶段，该阶段需要2D检测器与3D雷达点云检测网络(也就是构建好的第二网络)，训练好后第二网络的权重固定，不再更新。
又一示例中，基于前述训练后的第二网络，确定第一网络，或者理解为基于第二网络进行特征迁移得到第一网络，具体的该方法还包括：
采用特征迁移的方式，基于第二网络得到第一网络；该第一网络为训练后的网络；其中，该第一网络的输入信息为训练图像中的目标检测框所对应的伪点云，该第一网络的输出与第二网络的输出相同。
得到前述预训练的第二网络后，将在2D图像数据集基于单目深度估计进行第一网络的训练和特征迁移。该特征迁移网络包括两部分，教师网络与学生网络。
这里，第一网络的输入信息也就是训练图像同样可以为训练图像集或训练图像样本集中的任意一个图像。上述处理可以理解为多次采用不同的训练图像，基于特征迁移的方式根据第二网络训练第一网络，最终得到第一网络。也就是，第二网络作为教师网络，也就是在真实雷达点云上训练的3D检测模型，第一网络即学生网络，其输入为单张图经过2D检测器后对应的伪点云部分。
所述特征迁移可以理解为，第二网络与第一网络在输入不同的情况下，对第一网络中的各个函数进行训练或调整，使得第一网络的输出与第二网络相同。
在一种示例中，第一网络的训练过程可以分为两个阶段：第一阶段，对目标对象进行前背景分割，同时增加损失函数，以优化训练过程；第二阶段，不增加损失函数，通过自监督的学习跟前景物体有关的分割图，输出属性信息，提高学习能力。
其中，第一阶段与第二阶段的划分可以根据实际情况进行设置，比如，如果基于1000张图像进行训练，那么可以前600张的训练图像的训练阶段为第一阶段，剩余的训练图像对应的训练为第二阶段，又或者，前300张对应第一阶段，剩余的为第二阶段，这里不进行穷举。
在第一阶段中采用各种损失函数，是为了第一网络能够更好的进行学习；第二阶段不采用损失函数，是为了第一网络通过自监督学习到更合适的特征参数。经实验验证，分段式训练对学习前景点更有帮助。
另外，在训练第一网络的处理中，还可以包括：根据损失函数的反向传播对该第一网络进行训练；
其中，该损失函数包括以下至少一种：特征迁移的相似度损失函数、前背景分割损失函数，检测框类别损失函数、检测框长宽高朝向角损失函数，以及重投影的角点损失函数。
具体地，损失函数可以表示如下：
L＝Ltransfer+Lseg+Lclass+Lbbox+Lcorner (3)
其中：Ltransfer为特征迁移的相似度损失函数；
Lseg为前背景分割损失函数；
Lclass为检测框类别损失函数；
Lbbox为检测框长宽高朝向角损失函数；
Lcorner为重投影的角点损失函数。
在一种实施方式中，该特征迁移的相似度损失函数，与第一网络的输出层的特征、以及第二网络的输出层的特征相关。
具体地，特征迁移的相似度损失函数Ltransfer可以通过下式表示：
Ltransfer＝‖Fperceptual-Fconceptual‖L2*Mforeground； (4)
其中:Mforeground为前景点云；
Fperceptual为真实雷达点云数据得到的第二网络的输出层的特征；
Fconceptual为伪点云数据得到的第一网络的输出层的特征；L2为2范数，表示绝对值的平方。
在一种实施方式中，该重投影的角点损失函数，与预测得到的目标对象的检测框的顶点坐标在训练图像中的像素点、以及目标对象的标注的检测框的顶点坐标在训练图像中的像素点之间的差值相关。具体地，根据第一网络训练输出的属性信息，反投影到图像上的八个投影点的计算步骤如下：
a)朝向角ry转换为旋转矩阵(Rodrigues公式)
b)八个顶点的相对位置，其中l、h以w为相对的长、高、宽：
c)相机坐标系下的8个顶点坐标：
其中是网络估计的3D包围框的中心点位置。
d)最后投影到图像上
其中Ci和分别是第一网络预测与真实的3D包围框的8个顶点在图像上的像素点。
以图5为例，对教师网络也就是第二网络的训练进行说明，图5中上半部分为第二网络的处理，图中上半部分的方框内为第二网络中包含的处理函数，上半部分的左边为上述训练图像，目标检测框为其中的白色方框，将该目标检测框对应的雷达电源实例作为输入，构建和训练3D点云检测网络(Frustum-pointnet)也就是前述第二网络。检测框架可细分为三维点云实例分割模块(即图中的3D前背景分割)，通过3D前背景分割得到前景点，再经过3D包围框估计模块(或称为3D包围框检测模块)，最终输出该实例对应的长宽高、朝向角、中心点、类别等属性。上半部分在训练完成后权重固定。
图5下半部分为第一网络(或称为学生网络)，在对第一网络进行训练的阶段，上半部分第二网络已经完成训练，因此第二网络的权重不再变化；第一网络的输入为基于深度估计得到的伪点云，经过第一网络中的前背景分割、掩码点以及3D包围框估计模块等处理得到最后一层特征后，结合上半部分的第二网络以及预设的损失函数进行处理，最终得到训练好的第一网络，该第一网络的输出为检测框内的目标对象的大小、位置、朝向角等等。另外，图中的优化可以理解为对3D检测框进行进一步优化的处理。
图6示出了本申请实施例的图像检测装置结构框图，如图6所示，包括：
图像预处理模块61，用于对待处理图像进行深度估计得到该待处理图像的深度图；基于该待处理图像的深度图以及相机参数计算得到该待处理图像的伪点云；
目标检测模块62，用于将该待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到该第一网络输出的该第一检测框所包含的目标对象的属性信息；
其中，该第一网络为基于第二网络采用特征迁移的方式得到的网络；该第二网络为基于图像对应的雷达点云训练得到的网络，并且该第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
参见图7，在一种实施方式中，该装置还包括：
第一模型训练模块63，用于获取训练图像中包含的目标检测框对应的雷达点云；基于该目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络；该第二网络为训练后的网络。
在一种实施方式中，该第一模型训练模块63，用于将该目标检测框对应的雷达点云转换为相机点云，将该目标检测框所对应的相机点云作为输入信息对第二网络进行训练，得到能够输出该目标检测框包含的目标对象的属性信息的第二网络。
在一种实施方式中，该装置还包括：
第二模型训练模块64，用于采用特征迁移的方式，基于第二网络得到第一网络；该第一网络为训练后的网络；
其中，该第一网络的输入信息为预设图像中的目标检测框所对应的伪点云，该第一网络的输出与第二网络的输出相同。
在一种实施方式中，该第二模型训练模块64，用于根据损失函数的反向传播对该第一网络进行训练；
其中，该损失函数包括以下至少一种：特征迁移的相似度损失函数、前背景分割损失函数，检测框类别损失函数、检测框长宽高朝向角损失函数，以及重投影的角点损失函数。
在一种实施方式中，该特征迁移的相似度损失函数，与第一网络的输出层的特征、以及第二网络的输出层的特征相关。
在一种实施方式中，该重投影的角点损失函数，与预测得到的目标对象的检测框的顶点坐标在训练图像中的像素点、以及目标对象的标注的检测框的顶点坐标在训练图像中的像素点之间的差值相关。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质一种计算机程序产品。
如图8所示，是根据本申请实施例的图像检测方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像检测方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像检测方法对应的程序指令/模块(例如，附图7所示的图像预处理模块、目标检测模块、第一模型训练模块、第二模型训练模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像检测方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像检测方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，能够将待处理图像对应的深度图以及相应的伪点云输入至第一网络，进而得到待处理图像中的前景物体的属性信息，并且本申请中第一网络为基于第二网络进行特征迁移得到的。由于第一网络为基于第二网络采用特征迁移方式得到的，并且第二网络为基于精度较高的雷达点云训练得到的网络，因此，在使用基于第二网络特征迁移后得到的第一网络对图像的伪点云进行处理时，能够得到与较为精确的第二网络一致的输出，从而保证了采用伪点云作为输入的第一网络的输出也与采用激光雷达进行检测的结果相同，使得图像的检测结果更加精确。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种图像检测方法，包括：
对待处理图像进行深度估计得到所述待处理图像的深度图；
基于所述待处理图像的深度图以及相机参数计算得到所述待处理图像的伪点云；
将所述待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到所述第一网络输出的所述第一检测框所包含的目标对象的属性信息；
其中，所述第一网络为基于第二网络采用特征迁移的方式得到的网络；所述第二网络为基于图像对应的雷达点云训练得到的网络，并且所述第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
2.根据权利要求1所述的方法，所述方法还包括：
获取训练图像中包含的目标检测框对应的雷达点云；
基于所述目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络；所述第二网络为训练后的网络。
3.根据权利要求2所述的方法，其中，基于所述目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络，包括：
将所述目标检测框对应的雷达点云转换为相机点云，将所述目标检测框所对应的相机点云作为输入信息对第二网络进行训练，得到能够输出所述目标检测框包含的目标对象的属性信息的第二网络。
4.根据权利要求2或3所述的方法，所述方法还包括：
采用特征迁移的方式，基于第二网络得到第一网络；所述第一网络为训练后的网络；
其中，所述第一网络的输入信息为训练图像中的目标检测框所对应的伪点云，所述第一网络的输出与第二网络的输出相同。
5.根据权利要求4所述的方法，其中，所述方法还包括：
根据损失函数的反向传播对所述第一网络进行训练；
其中，所述损失函数包括以下至少一种：特征迁移的相似度损失函数、前背景分割损失函数，检测框类别损失函数、检测框长宽高朝向角损失函数，以及重投影的角点损失函数。
6.根据权利要求5所述的方法，其中，所述特征迁移的相似度损失函数，与第一网络的输出层的特征、以及第二网络的输出层的特征相关。
7.根据权利要求5所述的方法，其中，所述重投影的角点损失函数，与第一网络预测得到的目标对象的检测框的顶点坐标在训练图像中的像素点、以及目标对象的标注的检测框的顶点坐标在训练图像中的像素点之间的差值相关。
8.一种图像检测装置，包括：
图像预处理模块，用于对待处理图像进行深度估计得到所述待处理图像的深度图；基于所述待处理图像的深度图以及相机参数计算得到所述待处理图像的伪点云；
目标检测模块，用于将所述待处理图像中包含的第一检测框对应的伪点云输入至第一网络，得到所述第一网络输出的所述第一检测框所包含的目标对象的属性信息；
其中，所述第一网络为基于第二网络采用特征迁移的方式得到的网络；所述第二网络为基于图像对应的雷达点云训练得到的网络，并且所述第一网络与第二网络在分别采用相同图像所对应的伪点云和雷达点云作为输入的情况下得到的输出相同。
9.根据权利要求8所述的装置，所述装置还包括：
第一模型训练模块，用于获取训练图像中包含的目标检测框对应的雷达点云；基于所述目标检测框所对应的雷达点云、以及目标检测框包含的目标对象的属性信息，得到第二网络；所述第二网络为训练后的网络。
10.根据权利要求9所述的装置，所述第一模型训练模块，用于将所述目标检测框对应的雷达点云转换为相机点云，将所述目标检测框所对应的相机点云作为输入信息对第二网络进行训练，得到能够输出所述目标检测框包含的目标对象的属性信息的第二网络。
11.根据权利要求9或10所述的装置，所述装置还包括：
第二模型训练模块，用于采用特征迁移的方式，基于第二网络得到第一网络；所述第一网络为训练后的网络；
其中，所述第一网络的输入信息为预设图像中的目标检测框所对应的伪点云，所述第一网络的输出与第二网络的输出相同。
12.根据权利要求11所述的装置，其中，所述第二模型训练模块，用于根据损失函数的反向传播对所述第一网络进行训练；
其中，所述损失函数包括以下至少一种：特征迁移的相似度损失函数、前背景分割损失函数，检测框类别损失函数、检测框长宽高朝向角损失函数，以及重投影的角点损失函数。
13.根据权利要求12所述的装置，其中，所述特征迁移的相似度损失函数，与第一网络的输出层的特征、以及第二网络的输出层的特征相关。
14.根据权利要求12所述的装置，其中，所述重投影的角点损失函数，与第一网络预测得到的目标对象的检测框的顶点坐标在训练图像中的像素点、以及目标对象的标注的检测框的顶点坐标在训练图像中的像素点之间的差值相关。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202010575273.4A 2020-06-22 2020-06-22 图像检测方法、装置、电子设备及存储介质 Active CN111739005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010575273.4A CN111739005B (zh) 2020-06-22 2020-06-22 图像检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010575273.4A CN111739005B (zh) 2020-06-22 2020-06-22 图像检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111739005A CN111739005A (zh) 2020-10-02
CN111739005B true CN111739005B (zh) 2023-08-08

Family

ID=72652011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010575273.4A Active CN111739005B (zh) 2020-06-22 2020-06-22 图像检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111739005B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365510B (zh) * 2020-11-12 2022-12-30 Oppo（重庆）智能科技有限公司 图像处理方法、装置、设备及存储介质
CN112819890A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
US11823465B2 (en) 2021-04-13 2023-11-21 Ford Global Technologies, Llc Neural network object identification
CN113362444B (zh) * 2021-05-21 2023-06-16 北京百度网讯科技有限公司 点云数据的生成方法、装置、电子设备及存储介质
CN113392795B (zh) * 2021-06-29 2023-07-04 北京百度网讯科技有限公司 联合检测模型训练、联合检测方法、装置、设备及介质
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN116740498A (zh) * 2023-06-13 2023-09-12 北京百度网讯科技有限公司 模型预训练方法、模型训练方法、对象处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN110390302A (zh) * 2019-07-24 2019-10-29 厦门大学 一种三维目标检测方法
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418309B2 (en) * 2013-09-17 2016-08-16 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN110390302A (zh) * 2019-07-24 2019-10-29 厦门大学 一种三维目标检测方法
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111160302A (zh) * 2019-12-31 2020-05-15 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Maximilian Brell.3D hyperspectral point cloud generation: Fusing airborne laser scanning and hyperspectral imaging sensors for improved object-based information extraction.《ISPRS Journal of Photogrammetry and Remote Sensing》.2019,全文. *

Also Published As

Publication number Publication date
CN111739005A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
US11200696B2 (en) Method and apparatus for training 6D pose estimation network based on deep learning iterative matching
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN112132829A (zh) 车辆信息的检测方法、装置、电子设备和存储介质
JP7258066B2 (ja) 測位方法、測位装置及び電子機器
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
CN111767853B (zh) 车道线检测方法和装置
CN113920307A (zh) 模型的训练方法、装置、设备、存储介质及图像检测方法
CN111401251B (zh) 车道线提取方法、装置、电子设备及计算机可读存储介质
JP2021507388A (ja) インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN112487979B (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
EP3847619A1 (en) Unsupervised depth prediction neural networks
CN113591573A (zh) 多任务学习深度网络模型的训练及目标检测方法、装置
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN111967297A (zh) 图像的语义分割方法、装置、电子设备及介质
JP2022050311A (ja) 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム
CN111797745A (zh) 一种物体检测模型的训练及预测方法、装置、设备及介质
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN112749701B (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
Zhang et al. Densely connecting depth maps for monocular depth estimation
CN115330851A (zh) 单目深度估计方法、装置、电子设备、存储介质及车辆
CN111866493A (zh) 基于头戴显示设备的图像校正方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant