CN112950767A - 目标遮挡判断方法、装置、计算机设备和存储介质 - Google Patents

目标遮挡判断方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112950767A
CN112950767A CN202110316093.9A CN202110316093A CN112950767A CN 112950767 A CN112950767 A CN 112950767A CN 202110316093 A CN202110316093 A CN 202110316093A CN 112950767 A CN112950767 A CN 112950767A
Authority
CN
China
Prior art keywords
image
dimensional
correlation value
sub
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110316093.9A
Other languages
English (en)
Inventor
邹俊成
王建城
乔红
尹威华
吕彦锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Original Assignee
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloud Computing Industry Technology Innovation and Incubation Center of CAS filed Critical Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority to CN202110316093.9A priority Critical patent/CN112950767A/zh
Publication of CN112950767A publication Critical patent/CN112950767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标遮挡判断方法、装置、计算机设备和存储介质。所述方法包括：将重建后的三维图像进行图像分割，获取不少于一个三维子图像；将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。采用本方法能够实现基于目标的整体信息对目标的遮挡判断和还原。

Description

目标遮挡判断方法、装置、计算机设备和存储介质
技术领域
本申请涉及三维图像处理技术领域，特别是涉及一种目标遮挡判断方法、装置、计算机设备和存储介质。
背景技术
随着深度相机、激光传感器、图像处理器等硬件的发展及深度神经网络的发展，三维视觉技术已广泛应用于辅助智能驾驶汽车、服务机器人及工业机器人。智能驾驶汽车在行驶过程中会遇到行人、汽车、树木、房屋等多类型目标；服务机器人在家庭或商场等场景中，常常会遇到行人、桌子、椅子等目标；工业机器人在工业场景中也会遇到多个同类型目标。这些多个同类或不同类目标之间往往会形成多种遮挡，这些遮挡会引起识别准确率的下降，如何能准确判断这些目标是否处于遮挡状态及如何还原出未被遮挡的状态对于提高多目标识别准确率十分重要。
传统技术中，通常使用比较判断法来判断目标是否被遮挡，但是比较判断法需要基于距离、面积、直方图。而现实应用场景中，这些语义信息都比较有限，不能基于目标的整体信息实现遮挡判断。因此，如何基于目标的整体信息实现对目标的遮挡判断成为亟待解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够基于目标的整体信息实现对目标的遮挡判断的目标遮挡判断方法、装置、计算机设备和存储介质。
一种目标遮挡判断方法，所述方法包括：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
在其中一个实施例中，还包括：通过图像采集装置，获取拍摄对象在不同时刻的图像；对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像。
在其中一个实施例中，还包括：根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
在其中一个实施例中，还包括：获取三维样本图像；提取所述三维样本图像的图像特征，生成三维样本图像训练集；构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
在其中一个实施例中，还包括：从预设模板库中获取与所述三维子图像相适用的三维图像模板；根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；获取所述第一相关值集合中的最大值作为第一相关值；根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；获取所述第二相关值集合中的最大值作为第二相关值。
在其中一个实施例中，还包括：比较所述第一相关值和所述第二相关值的大小；若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
在其中一个实施例中，还包括：输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
一种目标遮挡判断装置，所述装置包括：
分割模块，用于将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
还原模块，用于将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
获取模块，用于基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
判断模块，用于根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
上述目标遮挡判断方法、装置、计算机设备和存储介质，将重建后的三维图像进行图像分割获取三维子图像；将三维子图像进行还原获取还原后的三维子图像；基于三维图像模板和相关值计算公式，获取三维子图像与三维图像模板之间的第一相关值和还原后的三维子图像与三维图像模板之间的第二相关值；根据第一相关值和第二相关值的大小，判断三维子图像是否被遮挡。实现了基于目标的整体信息对目标的遮挡判断和还原。
附图说明
图1为一个实施例中目标遮挡判断方法的应用环境图；
图2为一个实施例中目标遮挡判断方法的流程示意图；
图3为一个实施例中遮挡还原网络模型的网络拓扑图；
图4为另一个实施例中目标遮挡判断步骤的流程示意图；
图5为一个实施例中不同时刻的工件在传送带的位置示意图；
图6为一个实施例中目标遮挡判断装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的目标遮挡判断方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102和服务器104可分别单独用于执行本申请提供的目标遮挡判断方法。终端102和服务器104也可用于协同执行本申请提供的目标遮挡判断方法。例如，服务器104用于将重建后的三维图像进行图像分割，获取不少于一个三维子图像；将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
其中，终端102可以但不限于能够获取图像的的深度相机等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种目标遮挡判断方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，将重建后的三维图像进行图像分割，获取不少于一个三维子图像。
具体地，在计算机视觉中，对三维图像进行重建是指根据单视图或者多视图的图像重建三维信息的过程。单视频的信息不完全，因此根据单视图进行三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系，然后利用多个二维图象中的信息重建出三维信息。
将重建后的三维图像进行图像分割，获取不少于一个三维子图像。将三维图像进行图像分割的方法本实施例不作具体限定；例如，可以采用3D Unet网络进行图像分割，采用半自动分割或全自动分割等。三维图像分割获取的三维子图像是进行遮挡判断的基本单位。例如，重建后的三维图像为O，分割后的三维子图像数量为n，分割后的三维子图像分别为{O1、O2、O3……On}。
步骤204，将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像。
具体地，预设的遮挡还原网络模型是根据三维样本图像提取的训练集训练获取的，训练集的样本越多，训练生成的遮挡还原网络模型的精度越高，获取的还原后的三维子图像越准确。遮挡还原网络模型可以是由单个神经网络模型构成，例如长短期记忆人工神经网络；也可以是由多个神经网络组成的复合神经网络模型例如由多个长短期记忆人工神经网络和反向长短期记忆人工神经网络组成的复合神经网络模型。
例如，将三维子图像{O1、O2、O3……On}分别输入预设的遮挡还原网络模型中，获取还原后的三维子图像为{O1'、O2'、O3'……On'}。
步骤206，基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值。
具体地，从预设的三维图像模板库中获取与各三维子图像匹配的三维图像模板，分别计算各三维子图像与对应的三维图像模板之间的相关值以及计算各还原后的三维子图像与对应的三维图像模板之间的相关值。相关值的计算是通过预设的相关值计算公式，根据三维图像模板的边界值和三维子图像获取的。
例如，对于将三维子图像{O1、O2、O3……On}，经过相关值计算公式后，获取三维子图像与预设的三维图像模板之间的第一相关值为{C1、C2、C3……Cn}；获取还原后的三维子图像{O1'、O2'、O3'……On'}与预设的三维图像模板之间的第二相关值为{C1'、C2'、C3'……Cn'}。
步骤208，根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
具体地，用于表征三维子图像与预设的三维图像模板之间相关程度的第一相关值能够反映出三维子图像和三维图像模板之间的相似程度，第一相关值越大，三维子图像与三维图像模板之间愈接近；同理，用于表征还原后的三维子图像与预设的三维图像模板之间相关程度的第二相关值能够反映出还原后的三维子图像和三维图像模板之间的相似程度，第二相关值越大，还原后的三维子图像与三维图像模板之间相关性愈接近。
上述目标遮挡判断方法中，将重建后的三维图像进行图像分割，获取不少于一个三维子图像；将获取的三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；基于预设的三维图像模板和相关值计算公式，获取第一相关值和第二相关值，根据第一相关值和第二相关值的大小关系，判断三维子图像是否被遮挡。能够基于目标的整体信息，通过获取三维子图像并通过计算三维子图像和对应三维图像模板之间相关值，实现对目标的遮挡判断。
在一个实施例中，所述将重建后的三维图像进行图像分割，获取不少于一个三维子图像，之前还包括：
通过图像采集装置，获取拍摄对象在不同时刻的图像；
对所述拍摄对象的图像进行三维重建，获取重建后的三维图像。
具体地，图像采集装置可以是相机搭载在机器人系统上，机器人系统通过相机采集的信息完成多目标识别，机器人系统可以是指包括智能驾驶汽车、服务机器人、工业机器人等；拍摄对象可以指汽车、人、工业零件等。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。根据拍摄对象的图像进行三维重建，获取重建后的三维图像通常包括摄像机标定、特征提取、立体匹配和三维重建。
本实施例中，通过图像采集装置，获取拍摄对象在不同时刻的图像；并对所述拍摄对象的图像进行三维重建，获取重建后的三维图像，能够获取重建后的三维图像。能够基于拍摄对象的整体信息实现对拍摄对象的遮挡判断。
在一个实施例中，所述对所述拍摄对象的图像进行三维重建，获取重建后的三维图像包括：
根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；
根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
具体地，基于拍摄对象在不同时刻的三维点云信息和彩色图像信息，对拍摄对象进行三维重建，获取全局点云信息。然后选取与全局点云信息对应的区域存在重叠区的局部区域进行测量，获取局部点云信息再进行配准并更新全局点云信息，重复此过程直至完成所有表面区域的测量，最后对测量完成后更新的全局点云数据进行全局优化处理，得到点云模型。
本实施例中，通过根据拍摄对象在不同时刻的三维点云信息和彩色图像信息，对拍摄对象的三维图像进行三维重建，获取重建后的三维图像。能够基于拍摄对象的整体信息实现对拍摄对象的遮挡判断。
在一个实施例中，所述遮挡还原网络模型通过以下方法获取：获取三维样本图像；
提取所述三维样本图像的图像特征，生成三维样本图像训练集；
构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
具体地，遮挡还原网络模型是根据三维样本图像提取的训练集训练获取的，遮挡还原网络模型可以是由单个神经网络模型构成，例如长短期记忆人工神经网络；也可以是由多个神经网络组成的复合神经网络模型例如由多个长短期记忆人工神经网络和反向长短期记忆人工神经网络组成的复合神经网络模型。
例如，遮挡还原网络模型包括依次串联的输入层、不少于一个注意力层、不少于一个长短期记忆网络层、不少于一个反向长短期记忆网络层和输出层；所述注意力层用于对接收到的图像特征执行卷积注意力计算得到注意力图像特征。长短期记忆网络层和反向长短期记忆网络层用于根据接收的图像特征进行三维图像还原。
如图3所示，为一个实施例中遮挡还原网络模型的网络拓扑图，图3中的遮挡还原网络模型中依次串联输入层、卷积注意力层、三维长短期记忆网络层、卷积注意力层、3个三维长短期记忆网络层、2个三维反向长短期记忆网络层、卷积注意力层、三维反向长短期记忆网络层、卷积注意力层、2个三维反向长短期记忆网络层和输出层。图3包含网络基本配置及处理后张量的尺寸(网络中每层处理后的输出成为张量)。“2*2*2*64”指卷积核的尺寸是2*2*2，步长是2，卷积核个数是64，每层都需要进行补零操作。例如，“[l/2,w/2,h/2,64]”指的是经过处理的张量的尺寸。三维长短期记忆网络层与三维反向长短期记忆网络层结合的结构因本身是时序结构，能更好地学习目标三维图像的运动时序关系。引入卷积注意力层能促进网络更关注三维图像的主要部分，提升网络学习和预测三维图像的能力。
在一个实施例中，所述基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值包括：
从预设模板库中获取与所述三维子图像相适用的三维图像模板；
根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；
获取所述第一相关值集合中的最大值作为第一相关值；
根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；
获取所述第二相关值集合中的最大值作为第二相关值。
具体地，如图4所示，为另一个实施例中目标遮挡判断步骤的流程示意图，预设的模板库需要先采集拍摄对象多张三维图像，再从所采集的拍摄对象的多张三维图像中分割出各个目标物体的三维子图像以分别建立模板库。通过预设的相关值计算公式，能够获取各三维子图像和各三维图像模板之间的第一相关值集合，选择第一相关值集合的最大值作为第一相关值。同理，通过预设的相关值计算公式，能够获取还原后的各三维子图像和各三维图像模板之间的第二相关值集合，选择第二相关值集合的最大值作为第二相关值。
其中，预设的相关值计算公式为：
Figure BDA0002991252980000091
其中，x、y、z分别是三维图像I的三维坐标；W是三维图像模板，s、t、u分别是W的三维边界值；C是三维图像I与三维图像模板的相关值。
本实施例中，通过从预设模板库中获取与三维子图像相适用的三维图像模板，并获根据预设的相关值计算公式，从第一相关值集合中获取最大值作为第一相关值；以及从第二相关值集合中获取最大值作为第二相关值。提高了获取的第一相关值和第二相关值的准确度，并提高了遮挡判断的准确率。
在一个实施例中，所述根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡包括：
比较所述第一相关值和所述第二相关值的大小；
若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；
若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
具体地，在获取第一相关值和第二相关值以后，需要根据第一相关值和第二相关值的大小判断三维子图像是否被遮挡。若第一相关值大于第二相关值，证明三维子图像与对应三维图像模板的相关性大于还原后的三维子图像与对应三维图像模板之间的相关性；判定三维子图像中的目标未被遮挡。反之，若第一相关值小于第二相关值，证明三维子图像与对应三维图像模板的相关性小于还原后的三维子图像与对应三维图像模板之间的相关性；判定三维子图像中的目标被遮挡。
例如，对于三维子图像O1，O1与对应的三维图像模板之间的第一相关值为C1；O1还原后的三维子图像为O1’，O1’与还原后的三维子图像的第二相关值为C1’；若C1>C1’，则三维子图像O1中的目标未被遮挡；若C1<C1’，则三维子图像O1中的目标被遮挡。
本实施例中，通过比较第一相关值和第二相关值的大小，实现了基于目标的整体信息实现对目标的遮挡判断。
在一个实施例中，所述判定所述三维子图像中的目标被遮挡，之后还包括：输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
具体地，若三维子图像中的目标被遮挡，还需要对被遮挡的三维子图像中的被遮挡目标进行还原；此时，将被遮挡的三维子图像对应的还原后的三维子图像输出，实现对被遮挡的三维子图像中目标的还原。
例如，对于三维子图像O1，O1与对应的三维图像模板之间的第一相关值为C1；O1还原后的三维子图像为O1’，O1’与还原后的三维子图像的第二相关值为C1’；当C1<C1’时，三维子图像O1中的目标被遮挡；此时，输出三维子图像O1还原后的三维子图像O1’。
如图5所示，为一个实施例中不同时刻的工件在传送带的位置示意图，工件在传送带上移动(传送带会发生速度变化的情况)，工件在t2时刻发生遮挡，系统可以通过t0和t1时刻采集的三维图像预测出t2时刻工件的图像。工业机器人可以通过预测的图像引导到被遮挡的位置完成操作。
本实施例中，通过将重建后的三维图像进行图像分割获取三维子图像；将三维子图像进行还原获取还原后的三维子图像；基于三维图像模板和相关值计算公式，获取三维子图像与三维图像模板之间的第一相关值和还原后的三维子图像与三维图像模板之间的第二相关值；根据第一相关值和第二相关值的大小，判断三维子图像是否被遮挡。实现了基于目标的整体信息对目标的遮挡判断和还原。
应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种目标遮挡判断装置，包括：分割模块601、还原模块602、获取模块603和判断模块604，其中：
分割模块601，用于将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
还原模块602，用于将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
获取模块603，用于基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
判断模块604，用于根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
在其中一个实施例中，分割模块601，还用于通过图像采集装置，获取拍摄对象在不同时刻的图像；对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像。
在其中一个实施例中，分割模块601，还用于根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
在其中一个实施例中，还原模块602，还用于获取三维样本图像；提取所述三维样本图像的图像特征，生成三维样本图像训练集；构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
在其中一个实施例中，获取模块603，还用于从预设模板库中获取与所述三维子图像相适用的三维图像模板；根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；获取所述第一相关值集合中的最大值作为第一相关值；根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；获取所述第二相关值集合中的最大值作为第二相关值。
在其中一个实施例中，判断模块604，还用于比较所述第一相关值和所述第二相关值的大小；若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
在其中一个实施例中，判断模块604，还用于输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
上述目标遮挡判断装置，通过将重建后的三维图像进行图像分割获取三维子图像；将三维子图像进行还原获取还原后的三维子图像；基于三维图像模板和相关值计算公式，获取三维子图像与三维图像模板之间的第一相关值和还原后的三维子图像与三维图像模板之间的第二相关值；根据第一相关值和第二相关值的大小，判断三维子图像是否被遮挡。实现了基于目标的整体信息对目标的遮挡判断和还原。
关于目标遮挡判断装置的具体限定可以参见上文中对于目标遮挡判断方法的限定，在此不再赘述。上述目标遮挡判断装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标遮挡判断方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过图像采集装置，获取拍摄对象在不同时刻的图像；对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取三维样本图像；提取所述三维样本图像的图像特征，生成三维样本图像训练集；构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从预设模板库中获取与所述三维子图像相适用的三维图像模板；根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；获取所述第一相关值集合中的最大值作为第一相关值；根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；获取所述第二相关值集合中的最大值作为第二相关值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：比较所述第一相关值和所述第二相关值的大小；若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
上述计算机设备，通过将重建后的三维图像进行图像分割获取三维子图像；将三维子图像进行还原获取还原后的三维子图像；基于三维图像模板和相关值计算公式，获取三维子图像与三维图像模板之间的第一相关值和还原后的三维子图像与三维图像模板之间的第二相关值；根据第一相关值和第二相关值的大小，判断三维子图像是否被遮挡。实现了基于目标的整体信息对目标的遮挡判断和还原。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过图像采集装置，获取拍摄对象在不同时刻的图像；对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取三维样本图像；提取所述三维样本图像的图像特征，生成三维样本图像训练集；构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从预设模板库中获取与所述三维子图像相适用的三维图像模板；根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；获取所述第一相关值集合中的最大值作为第一相关值；根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；获取所述第二相关值集合中的最大值作为第二相关值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：比较所述第一相关值和所述第二相关值的大小；若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
上述存储介质，通过将重建后的三维图像进行图像分割获取三维子图像；将三维子图像进行还原获取还原后的三维子图像；基于三维图像模板和相关值计算公式，获取三维子图像与三维图像模板之间的第一相关值和还原后的三维子图像与三维图像模板之间的第二相关值；根据第一相关值和第二相关值的大小，判断三维子图像是否被遮挡。实现了基于目标的整体信息对目标的遮挡判断和还原。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标遮挡判断方法，其特征在于，所述方法包括：
将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
2.根据权利要求1所述的方法，其特征在于，所述将重建后的三维图像进行图像分割，获取不少于一个三维子图像，之前还包括：
通过图像采集装置，获取拍摄对象在不同时刻的图像；
对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述拍摄对象在不同时刻的图像进行三维重建，获取重建后的三维图像包括：
根据所述拍摄对象在不同时刻的图像，获取所述拍摄对象在不同时刻的三维点云信息和彩色图像信息；
根据所述拍摄对象在不同时刻的三维点云信息和彩色图像信息，对所述拍摄对象的三维图像进行三维重建，获取重建后的三维图像。
4.根据权利要求1所述的方法，其特征在于，所述遮挡还原网络模型通过以下方法获取：
获取三维样本图像；
提取所述三维样本图像的图像特征，生成三维样本图像训练集；
构建基于双向长短期记忆网络的深度神经网络，将所述三维样本图像训练集作为输入对所述深度神经网络进行训练，得到遮挡还原网络模型。
5.根据权利要求1所述的方法，其特征在于，所述基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值包括：
从预设模板库中获取与所述三维子图像相适用的三维图像模板；
根据预设的相关值计算公式，获取所述三维子图像和所述三维图像模板之间的第一相关值集合；
获取所述第一相关值集合中的最大值作为第一相关值；
根据预设的相关值计算公式，获取所述还原后的三维子图像和所述三维图像模板之间的第二相关值集合；
获取所述第二相关值集合中的最大值作为第二相关值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡包括：
比较所述第一相关值和所述第二相关值的大小；
若所述第一相关值大于所述第二相关值，判定所述三维子图像中的目标未被遮挡；
若所述第一相关值小于所述第二相关值，判定所述三维子图像中的目标被遮挡。
7.根据权利要求6所述的方法，其特征在于，所述判定所述三维子图像中的目标被遮挡，之后还包括：
输出还原后的三维子图像，实现对被遮挡的三维子图像中目标的还原。
8.一种目标遮挡判断装置，其特征在于，所述装置包括：
分割模块，用于将重建后的三维图像进行图像分割，获取不少于一个三维子图像；
还原模块，用于将所述三维子图像输入预设的遮挡还原网络模型，获取还原后的三维子图像；
获取模块，用于基于预设的与所述三维子图像相适用的三维图像模板和相关值计算公式，获取第一相关值和第二相关值；所述第一相关值是所述三维子图像与预设的三维图像模板之间的相关值；所述第二相关值是所述还原后的三维子图像与预设的三维图像模板之间的相关值；
判断模块，用于根据所述第一相关值和所述第二相关值的大小，判断所述三维子图像是否被遮挡。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110316093.9A 2021-03-24 2021-03-24 目标遮挡判断方法、装置、计算机设备和存储介质 Pending CN112950767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110316093.9A CN112950767A (zh) 2021-03-24 2021-03-24 目标遮挡判断方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110316093.9A CN112950767A (zh) 2021-03-24 2021-03-24 目标遮挡判断方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112950767A true CN112950767A (zh) 2021-06-11

Family

ID=76226673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110316093.9A Pending CN112950767A (zh) 2021-03-24 2021-03-24 目标遮挡判断方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112950767A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685029A (zh) * 2018-12-28 2019-04-26 东莞中国科学院云计算产业技术创新与育成中心 复杂空间结构的柔性物体识别方法、装置、设备和介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685029A (zh) * 2018-12-28 2019-04-26 东莞中国科学院云计算产业技术创新与育成中心 复杂空间结构的柔性物体识别方法、装置、设备和介质
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNCHENG ZOU: "Predictive visual control framework of mobile robot for solving occlusion", 《NEUROCOMPUTING》, pages 474 - 489 *

Similar Documents

Publication Publication Date Title
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN111340922B (zh) 定位与地图构建的方法和电子设备
EP3905194A1 (en) Pose estimation method and apparatus
CN110033481A (zh) 用于进行图像处理的方法和设备
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN112967388B (zh) 三维时序图像神经网络模型的训练方法和装置
WO2020131134A1 (en) Systems and methods for determining depth information in two-dimensional images
JP2021163503A (ja) ２次元カメラによる３次元の姿勢推定
WO2021164887A1 (en) 6d pose and shape estimation method
CN112580434B (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
US20230020713A1 (en) Image processing system and method
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
WO2021198666A1 (en) Image processing system and method
CN116152334A (zh) 图像处理方法及相关设备
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN117333538A (zh) 一种基于局部优化的多视角多人人体姿态估计方法
CN114820755B (zh) 一种深度图估计方法及系统
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
CN112950767A (zh) 目标遮挡判断方法、装置、计算机设备和存储介质
CN112967399A (zh) 三维时序图像生成方法、装置、计算机设备和存储介质
CN112949761A (zh) 三维图像神经网络模型的训练方法、装置和计算机设备
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination