CN113569896A - 基于图像和深度数据进行对象3d定位的计算机实现方法 - Google Patents

基于图像和深度数据进行对象3d定位的计算机实现方法 Download PDF

Info

Publication number
CN113569896A
CN113569896A CN202110477515.0A CN202110477515A CN113569896A CN 113569896 A CN113569896 A CN 113569896A CN 202110477515 A CN202110477515 A CN 202110477515A CN 113569896 A CN113569896 A CN 113569896A
Authority
CN
China
Prior art keywords
data
layers
image data
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110477515.0A
Other languages
English (en)
Inventor
K·Y·普法伊费尔
N·瓦斯凯维丘斯
T·林德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113569896A publication Critical patent/CN113569896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像数据和深度数据进行对象的3D定位的计算机实现的方法，其方法应用具有第一组连续的层、第二组连续的层和第三组连续的层的卷积神经网络，每个层被配置为具有一个或两个以上滤波器，卷积神经网络被训练为将对对象的识别/分类和所识别/分类的对象的3D定位数据与图像数据项和深度数据项相关联，所述方法包括：应用第一组层从图像数据提取一个或两个以上图像数据特征；应用第二组层从深度数据提取一个或两个以上深度数据特征；融合一个或两个以上图像数据特征和一个或两个以上深度数据特征以获得至少一个融合特征图；应用第三组层处理至少一个融合特征图以对对象进行识别/分类并提供所识别/分类的对象的3D定位数据。

Description

基于图像和深度数据进行对象3D定位的计算机实现方法
技术领域
本发明涉及图像处理、尤其涉及基于图像和深度数据进行对象的3D定位的领域。
背景技术
对于要与环境互动的服务、家用和工业机器人，由计算机实现的对3D空间中的个体和对象的检测必不可少。最近的进展已基本解决了关于2D图像的单模2D对象识别问题。着重于2D检测还研究了融合多种传感器模式、例如图像和深度数据的不同策略。
但是，这些检测模型的一个具体问题是，如果个体/对象在三维空间中具有不可忽略的空间尺寸，则要定位由图像和深度数据表示的该个体或对象的3D对象参考点、例如3D形心。此外，使用3D地面实况注释用于3D检测的大规模真实世界训练数据集是缺乏且昂贵的，这使得检测模型应特别被配置为能够通过较小的训练数据集进行训练而表现出色的检测质量。
对于基于图像数据的对象识别，诸如YOLO v3一级检测的高性能算法是公知的。YOLO v3算法允许获取对象轮廓数据、例如表示所检测的个体/对象位于其中的2D区域的边界框。但是，由于待检测的个体/对象在深度尺寸上可能也有很大的延伸，因此，许多应用、例如在机器人应用中都需要确定对象边界内的3D对象参考点、例如个体/对象的质心或3D形心。用于2D对象检测的常规算法不提供这样的3D对象参考点。它们还没有充分利用可以使用现有传感器同时获取的附加深度数据。
发明内容
根据本发明，提供了一种基于图像数据和深度数据使用检测模型进行个体或对象的3D定位的计算机实现的方法、一种用于训练这种检测模型的计算机实现的方法、一种根据其他的独立权利要求的系统和移动主体。
在从属权利要求中示出了其他实施例。
根据第一方面，提供了一种基于图像数据和指示由图像数据表示的图像的像素的距离信息的深度数据进行对象的3D定位的计算机实现的方法，其中，所述方法应用具有第一组连续的层、第二组连续的层和第三组连续的层的卷积神经网络，每个层均被配置为具有一个或两个以上滤波器，其中，所述卷积神经网络被训练为能够将对对象的识别/分类和针对所识别/分类的对象的相应的3D定位数据与图像数据项和深度数据项相关联，所述方法包括以下步骤：
-应用所述卷积神经网络的第一组的层从图像数据提取一个或两个以上图像数据特征；
-应用所述卷积神经网络的第二组的层从深度数据提取一个或两个以上深度数据特征；
-融合所述一个或两个以上图像数据特征和所述一个或两个以上深度数据特征，以获得至少一个融合特征图；
-通过应用所述卷积神经网络的第三组的层来对所述至少一个融合特征图进行处理，以对对象进行识别/分类，并提供针对所识别/分类的对象的3D定位数据，其中，所述3D定位数据包括对象参考点数据。
上述方法应用卷积神经网络来从图像数据和深度数据提取3D定位数据。图像和深度数据可以对应于像素矩阵，其中，特别是图像数据可以被设置为RGB数据。对于图像数据，像素通常指示亮度和/或颜色，深度数据指示其每个像素的距离信息。
卷积神经网络被配置为能够分别从图像数据和深度数据单独执行特征提取。这由许多连续的(卷积)层来完成，每个层都具有相关联的一个或两个以上滤波器，使得从提供的输入数据中单独提取图像数据特征和深度数据特征。
在融合阶段，将图像数据特征和深度数据特征进行组合以获得融合特征图，然后通过应用第三组连续的层对融合特征图进行进一步处理。卷积神经网络的第一、第二和第三组的层通过训练数据进行训练的，所述训练数据包括图像数据和相应的深度数据以及待识别/分类的对象的3D定位数据，其中，3D定位数据包括指示代表性的3D位置(3D像素)的对象参考点数据。即使对象被部分遮挡，对象参考点数据也适合于表示对象的相关点。
卷积神经网络的上述架构是灵活的，事实证明可以使用合成的图像和深度数据对其进行有效训练，以学习包括对象参考点数据的3D定位。
特别地，为了训练卷积神经网络，可以利用对象轮廓数据相应的调整通过放大和缩小来对基于图像和深度数据的样本图像进行裁剪和扩展。这之后可以将结果图像的尺寸调整到固定大小的矩形输入图像，以获得用于训练卷积神经网络的输入数据。但是，直接对图像和深度数据应用裁剪/扩展增强并对其进行尺寸调整会扰乱在感知环境中对对象度量比例的理解，而这对于准确进行3D定位至关重要。因此，为了生成训练数据，可设置为通过根据增强过程中裁剪或扩展的缩放程度来适配深度数据，以保留原始图像的度量比例和长宽比。
此外，为了进行训练，可以使用预先训练的RGB YOLO v3检测器模型作为起点，该模型已使用大规模2D对象检测数据集进行了训练。对于第一和第三组的层，可以从预训练的模型中复制权重。来自第一组的层的权重也可以被转移到第二组的层，而从头开始随机初始化第二组的获取单通道深度图像的第一层。
此外，融合的步骤可以包括：将图像数据特征和深度数据特征进行连结，随后应用具有调整数量的滤波器的1x1卷积层，以保持通道的原始数量。
可这样设置，将连结的特征图的尺寸减小到所述一个或两个以上图像数据特征的尺寸。
此外，对象参考点数据可以包括指示对象的几何中心的3D坐标的3D形心或对象的质心。
可以执行通过应用卷积神经网络的第三组的层来对至少一个融合特征图进行处理的步骤，以获得指示所识别/分类的对象的轮廓的边界数据。
可这样设置，第一、第二和/或第三组的层包括一个或两个以上激活层和/或一个或两个以上具有跳跃连接的残差块。
根据另一方面，提供了一种卷积神经网络，所述卷积神经网络具有第一组连续的层、第二组连续的层和第三组连续的层，每个层均被配置为具有一个或两个以上滤波器，其中，融合层被配置为能够融合由第一组的层获得的一个或两个以上图像数据特征和由第二组的层获得的一个或两个以上深度数据特征，其中，所述卷积神经网络被训练为能够将图像数据项和深度数据项与对对象的识别/分类和针对所识别/分类的对象的相应的3D定位数据相关联，其中，所述3D定位数据包括对象参考点数据。
根据另一方面，提供了一种用于训练上述卷积神经网络的方法，其中，使用训练数据来训练所述卷积神经网络，其中，每个训练数据项包括图像数据和深度数据以及3D定位数据，其中，训练数据项的至少一部分是合成生成的。
特别地，合成生成的训练数据使用3D图形引擎利用前景和背景随机化来渲染，其中，一个或两个以上前景对象被包括在每个训练数据项中。
根据一个实施例，通过以下步骤从训练数据项的图像数据项和对应的深度数据项生成另外的训练数据项：
-随机裁剪或扩展来自训练数据项的图像数据，同时保持长宽比；
-通过应用基于训练数据项的图像数据的尺寸和裁剪后的图像数据的尺寸的缩放因子，将裁剪/扩展后的图像数据项尺寸调整到训练数据项的图像数据的尺寸；
-基于所述缩放因子适配深度数据项和所识别/分类的对象的相关联的3D定位数据，以获得所述另外的训练数据项。
根据另一方面，提供了一种基于图像数据和指示由图像数据表示的图像的像素的距离信息的深度数据进行对象/个体的3D定位的装置，其中，卷积神经网络被配置为具有第一组连续的层、第二组连续的层和第三组连续的层，每个层均被配置为具有一个或两个以上滤波器，其中，融合层被配置为能够融合由第一组的层获得的一个或两个以上图像数据特征和由第二组的层获得的一个或两个以上深度数据特征，以获得至少一个融合特征图以由所述第三组的层进一步处理，其中，所述卷积神经网络被训练为能够将对对象的识别/分类和针对所识别的对象的相应的3D定位数据与图像数据项和深度数据项相关联，其中，所述装置还被配置为能够执行以下步骤：
-应用所述卷积神经网络的第一组的层从图像数据提取一个或两个以上图像数据特征；
-应用所述卷积神经网络的第二组的层从深度数据提取一个或两个以上深度数据特征；
-融合所述一个或两个以上图像数据特征和所述一个或两个以上深度数据特征，以获得至少一个融合特征图；
-通过应用所述卷积神经网络的第三组的层来对所述至少一个融合特征图进行处理，以对对象进行识别，并提供针对所识别的对象的3D定位数据，其中，所述3D定位数据包括对象参考点数据。
附图说明
结合附图更详细地描述实施例，其中：
图1是训练为用于从图像数据项和相应的深度数据项确定3D定位数据的检测模型的卷积神经网络的架构的示意图。
具体实施方式
图1示意性地示出了用于处理包括诸如RGB数据的图像数据和相应的深度数据的输入数据的卷积神经网络1的架构。每个图像数据项都与一个深度数据项相关联，以使得它们都指代相同的场景。可以借助于例如相机来获取图像数据。图像数据可包括一个或两个以上像素矩阵通道、例如RGB数据的颜色通道等。
深度数据可以通过基于激光雷达(LiDAR)、雷达、超声波传感器或其他传感器的适当深度传感器来获得，这些传感器能够捕获像素矩阵，其中，每个像素与距离值相关联。
网络架构可类似于YOLO v3网络，该YOLO v3网络被修改为还考虑深度数据并估算3D定位数据。
大体上，卷积神经网络1包括第一组2连续的层21。第一组2的层21可以包括连续的卷积层、激活层和标准化层以及残差块，其相应的配置是公知的。第一组2的连续的卷积层的数量可以在4至60之间、优选地在5至30之间。图像数据项I被馈送到第一组的层21的输入中。第一组2的层21用作图像数据项I的特征提取器，以获取一个或两个以上图像数据特征。
此外，设置有第二组3连续的层31。第二组3的层31可以包括连续的卷积层、激活层和对应的标准化层以及残差块，其配置是公知的。第二组3的连续的卷积层31的数量可以在5至30之间。深度数据项D被馈送到第二组3的层31的输入中。第二组3的层31用作深度数据项D的特征提取器，以获取一个或两个以上深度数据特征。
图像数据特征和深度数据特征借助于融合层4而融合。特别地，应用连结层41以沿着通道维度连结特征图。使用1x1卷积层42，通过将通道数减半到原始通道尺寸来减少连结特征图的增加大小。
融合层4的输出在第三组5连续的层51中被进一步处理。第三组5的层51可以包括连续的卷积层、激活层和相关的标准化层以及残差块，其配置是公知的。第三组5的连续的卷积层的数量可以在5至30之间。第三组5的层51用作组合的图像和深度数据特征的特征提取器。
第三组5的层51的输出被馈送到输出块6。
输出块6的层可以被包括在连续的卷积层62的块的一个或两个以上级61中，每个级61特别地包括用于相应卷积层的激活层和/或关联的标准化层，随后是上采样层63和连结层64，连结层64将上采样层63的结果与第三组的层51的残差块的输出连结起来。残差块的配置在本领域中是公知的。输出块6中每个块的连续的卷积层62的数量可以在5至30之间。每个块的卷积层62的输出被输入到1x1输出层65。
输出块6的一个或两个以上连结层64可以使用跳跃连接(skip connection)来组合来自第三组5的层51的特征图。此外，可以设置上采样层63，特别地，可以将上采样层63直接设置在连结层64之前。
上采样层63在宽度和高度尺寸上增加了特征图的大小，因此是对于特征提取器中减少特征图大小的原始卷积的相配部。上采样可经由反卷积实现。整个构造(先降低分辨率，然后再提高分辨率)类似于“功能金字塔”。
像原始的YOLO v3中一样，上采样层允许获得三种不同比例的预测。上采样层63的功能是公知的YOLO v3架构的一部分。
来自输出块6的一个或两个以上层61的特征图被分接并提供到提供表示边界数据和3D定位数据的输出的1x1卷积层。1x1输出层65被配置为能够计算回归目标tcu、tcv、tcz和用于2D边界框的现有目标。这可以完全从数据来学习。在以下等式中，描述了如何使用1x1层的输出(tcu、tcv、tcz是其中的一部分)来计算cu、cv、cz，然后计算cx、cy、cz。在网络前传完成后，这会在后处理步骤中发生。
边界数据B可以对应于表示所提供的图像和深度数据中已经识别出对象的区域的边界框数据。对于每个所识别/分类的对象，已经确定了表示对象参考点L的3D定位数据。对象参考点表示由边界数据(边界框)限定的区域内的重要位置。因此，对象参考点可以表示3D形心、质心、几何中心、人体关节等。
为了估算对象参考点的度量3D坐标cx、cy、cz，可以从像素坐标cu、cv推断出cx和cy坐标。像素坐标cu、cv相对于具有左上角bu、bv以及宽度和高度bw、bh的预测2D边界框来表示。使用S形函数来使得对象参考点位于2D边界框内。回归目标tcu、tcv是此S型函数的变量，而不是直接回归cu、cv。相反，cz经由回归目标tcz以度量比例直接回归：
Figure BDA0003046281930000071
Figure BDA0003046281930000072
Figure BDA0003046281930000073
在计算了cu、cv和cz之后，可以通过使用cz和给定的相机矩阵K反映射cu和cv来获得cx和cy坐标。在计算机视觉中，相机矩阵或(相机)投影矩阵是描述针孔相机从现实世界3D点到图像中2D点的映射的矩阵。这在计算机视觉中是公知的概念，通常是通过对相机进行校准而获得的。
输出参数结构基本上可以对应于标准YOLO v3配置，其中输出级的最终1x1卷积被扩展以预测每个边界框的回归目标tcu、tcv、tcz。训练基于在训练过程中被最小化的损失(即，向后传递以计算梯度所需的)。例如，tcz可以使用11损失，tcu和tcv可以使用S型二进制交叉熵损失。
为了训练卷积神经网络1，可以应用基本上随机的梯度下降，其可选地具有不同的学习率。基本上，训练是通过训练数据集进行的，所述数据集包括图像数据、深度数据以及由边界数据、例如边界框和由3D定位数据、例如对象参考点来表示的关联对象。
训练数据集可以从真实环境设置中获得，或者可以合成生成、例如基于CAD模型或摄影测量3D扫描合成生成。为了获得足够多样化的训练数据集，可以通过例如更改对象姿态、对象数和照明条件来执行域随机化。特别地，可以使用半真实感计算机图形引擎来生成合成图像和深度数据项，来至少部分地渲染训练数据集。一些传感器效果、例如噪声模式可被模拟在RGB和/或深度数据中。关联对象的边界数据和3D定位数据可以直接从CAD模型中获得。
训练过程可能涉及2D数据增强步骤，该步骤包括利用边界数据(边界框)的相应调整来进行随机选择的图像部分的裁剪和扩展，以使得可以放大和缩小包含对象的图像部分。然后获得的图像部分被尺寸调整到固定的像素矩阵尺寸，以对用于卷积神经网络1的图像和深度数据尺寸进行标准化。直接应用这种现有的裁剪和扩展的增强的形式以及到训练数据的像素矩阵尺寸的尺寸调整可能扭曲在感知环境中对对象矩阵比例的“理解”，所以这种增强被加强到成为深度感知，以使得关联对象的边界数据和3D定位数据适用于当前缩放因子。
缩放因子基于用于到训练卷积神经网络所需的像素矩阵尺寸的尺寸调整的因子。对于dnxdn像素的正方形的输入分辨率，选择大小为dcx dc的随机正方形裁剪。在具有已知相机矩阵K的单个图像传感器的假设下，可应用缩放因了
Figure BDA0003046281930000081
将裁剪尺寸调整到输入尺寸dnxdn。由于缩放通常归因于焦距的变化并使固有参数保持不变，因此将比例缩放施加于深度值，使得
Figure BDA0003046281930000082
其中，x、y、z是在图像传感器帧中解析的3D点，
Figure BDA0003046281930000083
是输入图像像素(u，v)处的新的比例缩放后的深度。
除了进行深度比例缩放以用于生成具有图像数据项和相应深度数据项的训练数据集外，还对关联对象的3D定位数据进行比例缩放。
此外，可以应用转移学习策略，该转移学习策略可以受益于现有的大规模2D对象检测数据集。从而，第一组和第三组的层21、51可以借助于以现有的2D对象检测数据集预训练的现有的YOLO v3 RGB检测器权重来初始化。这意味着可以最初为第一组2的层21和第三组5的层来设置权重，而对于第二组3的层31，则复制第一组2的层21的权重。然而，可以从头开始初始化第二组3的层31中的第一层。
在训练开始时，对融合层4进行初始化，以便将第一组2的层21的输出处的图像数据特征不变地转发到第三组5的层51的输入。输出块的新添加的神经元的权重被随机初始化，而原始2D检测权重保持不变。
借助于这种初始化策略，不管网络架构如何发生变化，仍可以保持预先训练的2D性能。

Claims (13)

1.一种基于图像数据和指示由图像数据表示的图像的像素的距离信息的深度数据进行对象的3D定位的计算机实现的方法，其中，所述方法应用具有第一组(2)连续的层(21)、第二组(3)连续的层(31)和第三组(5)连续的层(51)的卷积神经网络(1)，每个层均被配置为具有一个或两个以上滤波器，其中，所述卷积神经网络(1)被训练为能够将对对象的识别/分类和针对所识别/分类的对象的相应的3D定位数据与图像数据项和深度数据项相关联，所述方法包括以下步骤：
-应用所述卷积神经网络(1)的第一组(2)的层(21)从图像数据提取一个或两个以上图像数据特征；
-应用所述卷积神经网络(1)的第二组(3)的层(31)从深度数据提取一个或两个以上深度数据特征；
-融合所述一个或两个以上图像数据特征和所述一个或两个以上深度数据特征，以获得至少一个融合特征图；
-通过应用所述卷积神经网络(1)的第三组(5)的层(51)来对所述至少一个融合特征图进行处理，以对对象进行识别/分类，并提供针对所识别/分类的对象的3D定位数据，其中，所述3D定位数据包括对象参考点数据。
2.根据权利要求1所述的方法，其中，融合的步骤包括：将图像数据特征和深度数据特征进行连结，随后应用具有调整数量的滤波器的1×1卷积层，以保持通道数量。
3.根据权利要求2所述的方法，其中，连结的特征图的尺寸被减小到所述一个或两个以上图像数据特征的尺寸。
4.根据权利要求1至3中任一项所述的方法，其中，所述对象参考点数据包括指示对象的几何中心的3D坐标的3D形心或对象的质心。
5.根据权利要求1至4中任一项所述的方法，其中，执行通过应用所述卷积神经网络(1)的第三组(5)的层(51)来对所述至少一个融合特征图进行处理的步骤，以获得指示所识别/分类的对象的轮廓的边界数据。
6.根据权利要求1至5中任一项所述的方法，其中，第一组、第二组和/或第三组(2、3、5)的层(21、31、51)包括一个或两个以上卷积层、激活层和/或一个或两个以上标准化层和/或一个或两个以上残差块、特别是具有跳跃连接的残差块和/或一个或两个以上上采样层。
7.一种卷积神经网络(1)，所述卷积神经网络(1)具有第一组(2)连续的层(21)、第二组(3)连续的层(31)和第三组(5)连续的层(51)，每个层均被配置为具有一个或两个以上滤波器，其中，融合层(4)被配置为能够融合由第一组(2)的层(21)获得的一个或两个以上图像数据特征和由第二组(3)的层(31)获得的一个或两个以上深度数据特征，其中，所述卷积神经网络(1)被训练为能够将图像数据项和深度数据项与对对象的识别/分类和针对所识别/分类的对象的相应的3D定位数据相关联，其中，所述3D定位数据包括对象参考点数据。
8.一种用于训练根据权利要求7所述的卷积神经网络(1)的方法，其中，使用训练数据来训练所述卷积神经网络(1)，其中，每个训练数据项包括图像数据和深度数据以及3D定位数据，其中，训练数据项的至少一部分是合成生成的。
9.根据权利要求8所述的方法，其中，合成生成的训练数据使用3D图形引擎利用前景和背景随机化来渲染，其中，一个或两个以上前景对象被包括在每个训练数据项中。
10.根据权利要求8或9所述的方法，其中，通过以下步骤从训练数据项的图像数据项和对应的深度数据项生成另外的训练数据项：
-随机裁剪或扩展来自训练数据项的图像数据，同时保持长宽比；
-通过应用基于训练数据项的图像数据的尺寸和裁剪后的图像数据的尺寸的缩放因子，将裁剪/扩展后的图像数据项尺寸调整到训练数据项的图像数据的尺寸；
-基于所述缩放因子适配深度数据项和所识别/分类的对象的相关联的3D定位数据，以获得所述另外的训练数据项。
11.一种基于图像数据和指示由图像数据表示的图像的像素的距离信息的深度数据进行对象/个体的3D定位的装置，其中，卷积神经网络(1)被配置为具有第一组(2)连续的层(21)、第二组(3)连续的层(31)和第三组(5)连续的层(51)，每个层均被配置为具有一个或两个以上滤波器，其中，融合层(4)被配置为能够融合由第一组(2)的层(21)获得的一个或两个以上图像数据特征和由第二组(3)的层(31)获得的一个或两个以上深度数据特征，以获得至少一个融合特征图以由第三组的层进一步处理，
其中，所述卷积神经网络(1)被训练为能够将对对象的识别/分类和针对所识别的对象的相应的3D定位数据与图像数据项和深度数据项相关联，其中，所述装置还被配置为能够执行以下步骤：
-应用所述卷积神经网络(1)的第一组(2)的层(21)从图像数据提取一个或两个以上图像数据特征；
-应用所述卷积神经网络(1)的第二组(3)的层(31)从深度数据提取一个或两个以上深度数据特征；
-融合所述一个或两个以上图像数据特征和所述一个或两个以上深度数据特征，以获得至少一个融合特征图；
-通过应用所述卷积神经网络(1)的第三组(5)的层(51)来对所述至少一个融合特征图进行处理，以对对象进行识别，并提供针对所识别的对象的3D定位数据，其中，所述3D定位数据包括对象参考点数据。
12.一种包括计算机可读介质的计算机程序产品，其上具有计算机程序代码工具，当所述程序被加载时，使得计算机运行程序以执行根据权利要求1至10中任一项所述的方法的所有步骤。
13.一种机器可读介质，其上记录有程序，其中，所述程序用于使计算机执行根据权利要求1至10中任一项所述的方法。
CN202110477515.0A 2020-04-29 2021-04-29 基于图像和深度数据进行对象3d定位的计算机实现方法 Pending CN113569896A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20172027.3A EP3905130B1 (en) 2020-04-29 2020-04-29 Computer-implemented method for 3d localization of an object based on image data and depth data
EP20172027.3 2020-04-29

Publications (1)

Publication Number Publication Date
CN113569896A true CN113569896A (zh) 2021-10-29

Family

ID=70476137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477515.0A Pending CN113569896A (zh) 2020-04-29 2021-04-29 基于图像和深度数据进行对象3d定位的计算机实现方法

Country Status (2)

Country Link
EP (1) EP3905130B1 (zh)
CN (1) CN113569896A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114748086B (zh) * 2021-12-21 2023-08-08 首都医科大学附属北京友谊医院 Ct扫描方法和系统、电子设备和计算机可读存储介质
WO2023220892A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Expanded neural network training layers for convolution

Also Published As

Publication number Publication date
EP3905130B1 (en) 2023-12-20
EP3905130A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN110033475B (zh) 一种高分辨率纹理生成的航拍图运动物体检测与消除方法
CN110674829A (zh) 一种基于图卷积注意网络的三维目标检测方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
JP7499280B2 (ja) 人物の単眼深度推定のための方法およびシステム
WO2020131134A1 (en) Systems and methods for determining depth information in two-dimensional images
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN110490924B (zh) 一种基于多尺度Harris的光场图像特征点检测方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
EP3905107A1 (en) Computer-implemented method for 3d localization of an object based on image data and depth data
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN112270694A (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN113920455B (zh) 一种基于深度神经网络的夜间视频着色方法
CN112102347B (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination