CN111339973A - 一种对象识别方法、装置、设备及存储介质 - Google Patents

一种对象识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111339973A
CN111339973A CN202010138742.6A CN202010138742A CN111339973A CN 111339973 A CN111339973 A CN 111339973A CN 202010138742 A CN202010138742 A CN 202010138742A CN 111339973 A CN111339973 A CN 111339973A
Authority
CN
China
Prior art keywords
point cloud
cloud data
feature vector
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010138742.6A
Other languages
English (en)
Inventor
徐康
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202010138742.6A priority Critical patent/CN111339973A/zh
Publication of CN111339973A publication Critical patent/CN111339973A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本申请公开了一种对象识别方法、装置、设备及存储介质,包括:获取针对于第一对象的点云数据,并将该点云数据输入至预先完成训练的神经网络模型,以便由该神经网络模型输出得到该第一对象对应的第一特征向量,该神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;当第一特征向量与第二对象对应的第二特征向量相匹配时,确定第一对象与第二对象为同一对象。由此可见,在对象识别过程中,利用神经网络模型可以快速得到第一对象的特征向量,从而可以根据该特征向量快速完成对象识别,对象识别的效率可以得到有效提高。

Description

一种对象识别方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种对象识别方法、装置、设备及存储介质。
背景技术
实际应用中的众多场景中,经常需要识别出该场景下的某个特定对象。比如,在身份验证场景中,终端(如手机等)可以通过识别人脸来确定当前使用终端的用户是否属于合法用户。
目前,利用3D识别技术可以进行对象识别,具体可以是通过对该对象进行三维重建,从而根据得到的三维重建结果识别对象。但是,三维重建过程耗时较长,这使得整个对象识别的效率较低。
发明内容
本申请实施例提供了一种对象识别方法、装置、设备及存储介质,以提高对象识别的效率。
第一方面,本申请实施例提供了一种对象识别方法,所述方法包括:
获取针对于第一对象的点云数据;
将所述第一对象的点云数据输入至预先完成训练的神经网络模型,以便所述神经网络模型输出得到所述第一对象对应的第一特征向量,所述神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;
当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象。
在一些可能的实施方式中,当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象,包括:
计算所述第一特征向量与所述第二特征向量之间的余弦距离;
当所述余弦距离大于预设阈值时,确定所述第一对象与所述第二对象为同一对象。
在一些可能的实施方式中,所述获取第一对象的点云数据,包括:
获取针对于所述第一对象的彩色图像;
对所述彩色图像进行图像分割,确定所述彩色图像上所述第一对象的第一图像区域;
根据彩色图像与深度图像之间的对应关系,确定所述深度图像上与所述第一图像区域对应的第二图像区域;
根据所述第二图像区域中各个像素点的坐标,计算得到所述第一对象的点云数据。
在一些可能的实施方式中,所述第一对象的点云数据预先经过去噪和/或补洞处理。
在一些可能的实施方式中,所述第一对象的点云数据预先经过标准化处理,所述标准化处理包括对象姿态矫正、点云数据的下采样以及点云数据的坐标归一化中的任意一种或多种处理。
在一些可能的实施方式中,所述第二对象的第二特征向量是由所述神经网络模型根据所述第二对象的点云数据输出得到的,或,所述第二对象的第二特征向量为预设数据库中的特征向量。
第二方面,本申请实施例还提供了一种对象识别装置,所述装置包括:
获取模块,用于获取针对于第一对象的点云数据;
输入模块,用于将所述第一对象的点云数据输入至预先完成训练的神经网络模型,以便所述神经网络模型输出得到所述第一对象对应的第一特征向量,所述神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;
确定模块,用于当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象。
在一些可能的实施方式中,所述获取模块,包括:
获取单元,用于获取针对于所述第一对象的彩色图像;
图像分割单元,用于对所述彩色图像进行图像分割,确定所述彩色图像上所述第一对象的第一图像区域;
确定单元,用于根据彩色图像与深度图像之间的对应关系,确定所述深度图像上与所述第一图像区域对应的第二图像区域;
计算单元,用于根据所述第二图像区域中各个像素点的坐标,计算得到所述第一对象的点云数据。
在一种可能的实施方式中,确定模块,包括:
余弦距离计算单元,用于计算所述第一特征向量与所述第二特征向量之间的余弦距离;
对象确定单元,用于当所述余弦距离大于预设阈值时,确定所述第一对象与所述第二对象为同一对象。
在一种可能的实施方式中,所述第一对象的点云数据预先经过去噪和/或补洞处理。
在一种可能的实施方式中,所述第一对象的点云数据预先经过标准化处理,所述标准化处理包括对象姿态矫正、点云数据的下采样以及点云数据的坐标归一化中的任意一种或多种。
在一种可能的实施方式中,所述第二对象的第二特征向量是由所述神经网络模型根据所述第二对象的点云数据输出得到的,或,所述第二对象的第二特征向量为预设数据库中的特征向量。
第三方面,本申请实施例还提供了一种设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1至6任一项所述的对象识别方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-6中任一项所述的对象识别方法。
在本申请实施例的上述实现方式中,先获取针对于第一对象的点云数据,并将该第一对象的点云数据输入至预先完成训练的神经网络模型,以便由该神经网络模型输出得到该第一对象对应的第一特征向量,其中,该神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;当第一对象对应的第一特征向量与第二对象对应的第二特征向量相匹配时,可以确定该第一对象与第二对象为同一对象,从而完成对象识别。由此可见,在对象识别过程中,一方面神经网络模型根据输入的点云数据可以快速输出第一对象的特征向量,从而可以根据该特征向量完成对象识别,相对于利用三维重建算法针对于该对象进行三维重建的实施方式而言,对象识别的效率可以得到有效提高;另一方面,本实施例中对象识别过程中并不涉及到相应的对象识别算法,从而对象识别的精度并不依赖于算法的识别精度,因此,本实施例中的对象识别进度不会受到算法识别精度的限制;再一方面,神经网络模型的输入为点云数据本身,而并非是对点云数据进行有损失的变换所得到的数据,因此,基于更全面的数据信息所得到的对象识别结果,其识别精度通常也会相对更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例中一示例性应用场景示意图;
图2为本申请实施例中一种对象识别方法的流程示意图;
图3为本申请实施例中一种对象识别装置的结构示意图;
图4为本申请实施例中一种设备的硬件结构示意图。
具体实施方式
目前,对象识别技术(如人脸识别技术等)可以从所处理的数据类别划分为2D对象识别技术以及3D对象识别技术。其中,随着深度学习技术的发展,2D对象识别(尤其是2D人脸识别)的精度已经超越人类的识别精度,并且该识别技术已经广泛应用于各行各业中,如利用人脸识别来实现终端解锁、手机支付、商场刷脸支付、银行自助取款以及车载辅助系统的身份识别等。但是,2D对象识别还是存在一些无法较好应对的场景,如对象在实际场景中的姿态、外貌等会发生变化,如头部姿态变化、脸部表情变化、脸部有部分遮挡等,识别出对象的成功率不高。
由于对象的3D数据比2D数据多出一个维度的数据,能够更好的表现对象信息,因此,可以利用3D对象识别技术来提高识别对象的成功率。目前,3D对象识别技术大多需要进行三维重建,即通过三维重建的方式模拟出对象在现实环境中的三维形态,以便于进行对象识别。但是,利用三维重建的过程的耗时较长,使得这个对象识别过程需要较长的时长、识别效率较低。同时,对象识别的精度很大程度上取决于三维重建算法的精度,而目前也尚未存在准确度较高的三维重建算法,从而使得目前的对象识别精度普遍较低。
基于此,本申请实施例提供了一种对象识别方法,旨在提高对象识别的效率,还可以使得对象识别的精度处于较高的水平。具体的,可以先获取针对于第一对象的点云数据,并将该第一对象的点云数据输入至预先完成训练的神经网络模型,以便由该神经网络模型输出得到该第一对象对应的第一特征向量,其中,该神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;当第一对象对应的第一特征向量与第二对象对应的第二特征向量相匹配时,可以确定该第一对象与第二对象为同一对象,从而完成对象识别。
由此可见,在对象识别过程中,一方面神经网络模型根据输入的点云数据可以快速输出第一对象的特征向量,从而可以根据该特征向量完成对象识别,相对于利用三维重建算法针对于该对象进行三维重建的实施方式而言,对象识别的效率可以得到有效提高;另一方面,本实施例中对象识别过程中并不涉及到相应的对象识别算法,从而对象识别的精度并不依赖于算法的识别精度,因此,本实施例中的对象识别进度不会受到算法识别精度的限制;再一方面,神经网络模型的输入为点云数据本身,而并非是对点云数据进行有损失的变换所得到的数据,因此,基于更全面的数据信息所得到的对象识别结果,其识别精度通常也会相对更高。
作为一种示例,本申请实施例可以应用于如图1所示的示例性应用场景。在该场景中,则用户101可以将针对于第一对象的点云数据输入至终端102;终端102可以将获取的点云数据输入至预先完成训练的神经网络模型中,以便由该神经网络模型输出得到该第一对象对应的第一特征向量;然后,终端102可以将该第一特征向量与第二对象的第二特征向量进行匹配,当匹配成功时,则可以确定第一对象与第二对象为同一对象,并将对象识别结果呈现给用户101。
可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。比如,在其它可能的场景中,终端102可以将用户101输入的点云数据传输给服务器,由服务器执行上述终端102所执行的方法,并将所得到的对象识别结果传输给终端102,以便由终端102显示给用户101。总之,本申请实施例可以应用于任何可适用的场景中,而不局限于上述场景示例。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合附图对本申请实施例中的各种非限定性实施方式进行示例性说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
参阅图2,图2示出了本申请实施例中一种对象识别方法的流程示意图。该方法可以应用于上述图1所示的终端102,也可以是应用于服务器,也可以是由终端102与服务器协同完成等。该方法具体可以包括:
S201:获取针对于第一对象的点云数据。
对象识别过程中,可以先获取第一对象的点云数据,以便基于该点云数据进行对象识别。由于点云数据比2维数据多了一个维度的信息,因此,点云数据可以包含对象更多的信息,从而基于点云数据所完成的对象识别精度通常也相对较高。
需要说明的是,本实施例中的第一对象是指任何可识别的对象,例如可以是人脸、某种物品等。
在一种可能的获取点云数据的实施方式中,第一对象的点云数据可以是基于对该第一对象进行拍摄得到的彩色图像而得到的。具体的,可以先获取针对于该第一对象的彩色图像,例如,可以是通过对该第一对象进行拍摄得到彩色图像等;然后,可以对得到的彩色图像进行图像分割,确定该彩色图像上第一对象的第一图像区域。由于在拍摄装置中彩色图像与深度图像之间在像素点上存在一定的对应关系,因此,可以根据该对应关系,确定该深度图像上与第一图像区域对应的第二图像区域,该第二图像区域也即为深度图像上第一对象的图像区域,从而在深度图像上实现对该第一对象的区域分割。接着,基于该第二图像区域中各个像素点的坐标值,可以计算得到所需的第一对象的点云数据。由于目前基于彩色图像检测出对象区域的算法较为成熟,对象检测不仅精度高,而且速度快,这相比于直接基于深度图像或者点云数据进行检测以确定第一对象的点云数据的实施方式而言,可以有效提高对象识别精度以及效率。
作为一种示例,在进一步可能的具体实施方式中,可以基于如下公式(1)计算得到第一对象的点云数据。
Figure BDA0002398268680000071
其中xω,yω,zω分别表示世界坐标系下的三维点云坐标,u,v为深度图像坐标系下第二图像区域中每个像素点的坐标点,u0,v0分别为该深度图像的中心坐标,zc表示拍摄装置(如摄像头等)坐标的z轴值,也就是拍摄装置离第一对象的距离。fx,fy分别表示拍摄装置的x方向和y方向的焦距。基于该公式(1),根据第二图像区域中每个像素点的坐标,计算得到该像素点对应的点云数据的坐标,以此可以得到第一对象的点云数据。
本实施例中,在得到第一对象的点云数据之前,还可以预先对得到的点云数据进行预处理,并将经过预处理后所得到的点云数据确定为第一对象的点云数据。
实际应用中,由于部分拍摄装置的拍摄精度较低,这使得基于公式(1)所得到的点云数据可能存在噪声数据和漏洞(即点云数据的值无意义,如都是0等)。基于此,在一些可能的实施方式中,对利用公式(1)计算得到的点云数据所进行的预处理具体可以是去噪和/或补洞处理。示例性的,可以采用高斯滤波算法对点云数据进行去噪处理,采用中值滤波算法对点云数据中的毛刺等;和/或,采用插值算法对点云数据进行补洞处理,如采用cubic插值算法进行点云数据的补洞等。
在其它可能的实施方式中,对点云数据进行预处理具体可以是标准化处理,该标准化处理包括对象姿态矫正、点云数据的下采样以及点云数据的坐标归一化中的任意一种或多种。其中,由于第一对象在不同场景下被拍摄时所呈现的形态可能存在差异,比如,对用户的脸部进行拍摄时用户脸部在不同场景(如不同时刻)具有不同的表情、姿态等,基于此,可以对第一对象的点云数据进行对象姿态矫正,例如对于人脸的点云数据而言,矫正后的姿态可以统一为用户脸部的正面姿态等,从而使得后续输入至神经网络模型中的点云数据为该第一对象在统一姿态时的点云数据。对于点云数据的下采样,可以是指从计算得到的点云数据中选取一定数量的点云数据作为该第一对象的点云数据,以便于作为神经网络模型输入的点云数据统一化。而对于点云数据的坐标归一化,是指将点云数据在各个维度的坐标值归一化至[0,1]之间。不同的深度图最终得到的点云数量以及坐标尺度不同,因此,通过下采样处理以及归一化处理可以使得输入神经网络模型的点云数量和尺度一致。
作为一种示例,可以是通过霍特林变换(Hotelling transform)进行对象姿态的矫正。举例来说,假设计算得到的点云数据P具体包括n个点的数据,其中,P为3*n的矩阵,则该点云数据P具体为:
Figure BDA0002398268680000081
其中,P中的每一列表征三维空间中一个点的三维坐标,也即为一个点的点云数据。例如,P中第一列x1表征第一个点的x方向坐标值,y1表征该点的y方向坐标值,z1表征该点的z方向坐标值。
然后,可以通过公式(3)确定出这些点云数据中的重心m:
Figure BDA0002398268680000082
其中,Pk表征P中的第k列数据所构成的矩阵,矩阵Pk中的元素即为第k个点的三维坐标值。
接着,可以通过公式(4)计算出该点云数据P的协方差C,该协方差C可以是3*3的矩阵:
Figure BDA0002398268680000091
其中,
Figure BDA0002398268680000092
表征为矩阵Pk的转置,mT表征为矩阵m的转置。
最后,可以通过CV=DV求解出协方差的特征向量v1、v2以及v3。其中,V是由特征向量v1、v2以及v3所组成的矩阵[v1;v2;v3],而D是由三个特征向量分别对应的特征值d1、d2以及d3所构成的对角矩阵。
这样,经过对象姿态矫正所得到的点云数据P即可以通过公式(5)进行计算得到:
P′=U(P-m) (5)
其中,U为[v3;v2;v1]T,P为姿态矫正之前的点云数据,P'为经过对象姿态矫正所得到的点云数据。
S202:将第一对象的点云数据输入至原先完成训练的神经网络模型,以便该神经网络模型输出得到第一对象对应的第一特征向量,其中,神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练。
在获取到第一对象的点云数据后,可以将该点云数据输入至预先完成训练的神经网络模型中,并由该神经网络模型根据该点云数据输出得到第一对象对应的特征向量(为便于描述,以下称之为第一特征向量)。这样,一方面,基于预先训练好的神经网络模型可以根据点云数据快速输出得到第一对象的特征向量,从而可以快速完成对象识别过程,这相比于利用三维重建算法针对于对象进行三维重建方式而言,对象识别效率更高;另一方面,神经网络模型的输入为点云数据本身,而无需对该点云数据进行有损失的变换,从而使得基于更加全面的对象信息进行对象识别,通常识别精度更高。
需要说明的是,该神经网络模型预先基于至少一组样本点云数据以及样本对象的样本特征向量完成训练。其中,样本对象的样本点云数据作为神经网络模型的输入,样本对象的样本特征向量作为神经网络模型的输出,对神经网络模型进行训练。作为一种示例,可以采用主干结构带有X-Conv算子的PointCNN的网络模型,其中,使得PointCNN网络模型能够直接处理点云数据的操作被称为X-Conv算子,该算子可以被简化为公式(6):
Figure BDA0002398268680000101
其中,K表示神经网络模型中待训练的卷积核参数,其矩阵大小为k*k*C,p表示当前选择的点云的三维坐标,P表示距离点p最近的K个点组成的点集P=(p1,p2,...,pk)T,大小为k*3,F表示这些点集中的点对应的特征值矩阵F=(f1,f2,...,fk)T,大小为k*C。MLP和MLPδ均表示多层感知机网络,
Figure BDA0002398268680000102
其中,w表示感知机的待训练参数。
Conv表示普通的卷积运算,其可以通过如下公式(7)进行计算得到:
Figure BDA0002398268680000103
其中,k表示卷积参数,b表示偏置,x表示输入,i,j分别表示点云数据中的x方向坐标和y方向坐标。
基于样本点云数据以及样本对象的样本特征向量,可以对神经网络模型X-Conv算子中的待训练参数w进行训练。训练过程中,可以预先随机初始化待训练参数,由神经网络模型基于该待训练参数提取输入的样本点云数据所对应的特征向量,然后可以利用预设的损失函数计算所提取出的特征向量与样本特征向量之间的损失值,并进一步利用梯度反向传播算法将该损失值返传回神经网络模型,以便基于该损失值对待训练参数进行调整,实现对待训练参数的训练,也即为对神经网络模型的训练。
S203:当第一对象对应的第一特征向量与第二对象对应的第二特征向量相匹配时,可以确定该第一对象与第二对象为同一对象。
本实施例中,判断两个对象是否为同一对象,可以是基于这两个对象分别对应的特征向量之间是否匹配进行判断。因此,对象识别过程中并不依赖于三维重建算法的精度,从而对象识别精度也不会因为三维重建算法的精度较低而降低。
在一种示例性的具体实施方式中,在确定第一对象与第二对象是否为同一对象时,可以是计算第一对象对应的第一特征向量与第二对象对应的第二特征向量之间的余弦距离,当所计算出的余弦距离大于预设阈值时,可以确定第一对象与第二对象为同一个对象;反之,当所计算出的余弦距离小于或者等于该预设阈值时,可以确定该第一对象与第二对象为不同的对象。
实际应用场景中,第一对象可以是待识别的对象,第二对象为特征向量预先被保存于数据库中的对象,则,在对第一对象进行识别的过程中,基于上述步骤S201以及步骤S202得到第一对象的第一特征向量后,可以将该第一对象的第一特征向量与预设数据库中保存的每个对象对应的每个特征向量进行逐个匹配,或者是对预设数据库中保存的特定对象所对应的各个特征向量进行逐个匹配,以便从该预设数据库中检索出与第一特征向量相匹配的第二特征向量。进一步的,还可以在预设数据库中,为每个对象的特征向量添加对象标识,表征预设数据库中的一个或者多个特征向量属于同一对象的特征向量,这样,在从预设数据库中检索到与第一特征向量相匹配的第二特征向量后,可以基于对象标识确定该第一对象具体与哪个对象相匹配。
而在另一些可能的应用场景中,也可以是匹配两个对象是否为同一对象。具体实现时,基于步骤S201与步骤S202可以得到第一对象对应的第一特征向量。然后,与上述得到第一特征向量类似,可以将第二对象对应的点云数据输入至神经网络模型中,由神经网络模型输出得到第二对象对应的第二特征向量,即利用同一神经网络模型可以先后得到两个对象分别的对应的两个特征向量,从而可以进一步对这两个特征向量(即第一特征向量以及第二特征向量)进行匹配,如前述通过计算余弦距离确定是否匹配等,从而可以根据匹配结果进一步确定第一对象与第二对象是否为同一对象。
本实施例中,先获取针对于第一对象的点云数据,并将该第一对象的点云数据输入至预先完成训练的神经网络模型,以便由该神经网络模型输出得到该第一对象对应的第一特征向量,其中,该神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;当第一对象对应的第一特征向量与第二对象对应的第二特征向量相匹配时,可以确定该第一对象与第二对象为同一对象,从而完成对象识别。由此可见,在对象识别过程中,一方面神经网络模型根据输入的点云数据可以快速输出第一对象的特征向量,从而可以根据该特征向量完成对象识别,相对于利用三维重建算法针对于该对象进行三维重建的实施方式而言,对象识别的效率可以得到有效提高;另一方面,本实施例中对象识别过程中并不涉及到相应的对象识别算法,从而对象识别的精度并不依赖于算法的识别精度,因此,本实施例中的对象识别进度不会受到算法识别精度的限制;再一方面,神经网络模型的输入为点云数据本身,而并非是对点云数据进行有损失的变换所得到的数据,因此,基于更全面的数据信息所得到的对象识别结果,其识别精度通常也会相对更高。
此外,本申请实施例还提供了一种对象识别装置。参阅图3,图3示出了本申请实施例中一种对象识别装置的结构示意图,该装置300包括:
获取模块301,用于获取针对于第一对象的点云数据;
输入模块302,用于将所述第一对象的点云数据输入至预先完成训练的神经网络模型,以便所述神经网络模型输出得到所述第一对象对应的第一特征向量,所述神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;
确定模块303,用于当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象。
在一些可能的实施方式中,所述获取模块301,包括:
获取单元,用于获取针对于所述第一对象的彩色图像;
图像分割单元,用于对所述彩色图像进行图像分割,确定所述彩色图像上所述第一对象的第一图像区域;
确定单元,用于根据彩色图像与深度图像之间的对应关系,确定所述深度图像上与所述第一图像区域对应的第二图像区域;
计算单元,用于根据所述第二图像区域中各个像素点的坐标,计算得到所述第一对象的点云数据。
在一种可能的实施方式中,确定模块303,包括:
余弦距离计算单元,用于计算所述第一特征向量与所述第二特征向量之间的余弦距离;
对象确定单元,用于当所述余弦距离大于预设阈值时,确定所述第一对象与所述第二对象为同一对象。
在一种可能的实施方式中,所述第一对象的点云数据预先经过去噪和/或补洞处理。
在一种可能的实施方式中,所述第一对象的点云数据预先经过标准化处理,所述标准化处理包括对象姿态矫正、点云数据的下采样以及点云数据的坐标归一化中的任意一种或多种。
在一种可能的实施方式中,所述第二对象的第二特征向量是由所述神经网络模型根据所述第二对象的点云数据输出得到的,或,所述第二对象的第二特征向量为预设数据库中的特征向量。
需要说明的是,上述装置各模块、单元之间的信息交互、执行过程等内容,由于与本申请实施例中方法实施例基于同一构思,其带来的技术效果与本申请实施例中方法实施例相同,具体内容可参见本申请实施例前述所示的方法实施例中的叙述,此处不再赘述。
本实施例中,在对象识别过程中,一方面神经网络模型根据输入的点云数据可以快速输出第一对象的特征向量,从而可以根据该特征向量完成对象识别,相对于利用三维重建算法针对于该对象进行三维重建的实施方式而言,对象识别的效率可以得到有效提高;另一方面,本实施例中对象识别过程中并不涉及到相应的对象识别算法,从而对象识别的精度并不依赖于算法的识别精度,因此,本实施例中的对象识别进度不会受到算法识别精度的限制;再一方面,神经网络模型的输入为点云数据本身,而并非是对点云数据进行有损失的变换所得到的数据,因此,基于更全面的数据信息所得到的对象识别结果,其识别精度通常也会相对更高。
此外,本申请实施例还提供了一种设备。参阅图4,图4示出了本申请实施例中一种设备的硬件结构示意图,该设备400可以包括处理器401以及存储器402。
其中,所述存储器402,用于存储计算机程序;
所述处理器401,用于根据所述计算机程序执行上述方法实施例中所述的对象识别方法。
此外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方法实施例中所述的对象识别方法。
本申请实施例中提到的“第一对象”、“第一特征向量”等名称中的“第一”只是用来做名字标识,并不代表顺序上的第一。该规则同样适用于“第二”等。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请示例性的实施方式,并非用于限定本申请的保护范围。

Claims (10)

1.一种对象识别方法,其特征在于,所述方法包括:
获取针对于第一对象的点云数据;
将所述第一对象的点云数据输入至预先完成训练的神经网络模型,以便所述神经网络模型输出得到所述第一对象对应的第一特征向量,所述神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;
当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象。
2.根据权利要求1所述的方法,其特征在于,所述当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象,包括:
计算所述第一特征向量与所述第二特征向量之间的余弦距离;
当所述余弦距离大于预设阈值时,确定所述第一对象与所述第二对象为同一对象。
3.根据权利要求1所述的方法,其特征在于,所述获取第一对象的点云数据,包括:
获取针对于所述第一对象的彩色图像;
对所述彩色图像进行图像分割,确定所述彩色图像上所述第一对象的第一图像区域;
根据彩色图像与深度图像之间的对应关系,确定所述深度图像上与所述第一图像区域对应的第二图像区域;
根据所述第二图像区域中各个像素点的坐标,计算得到所述第一对象的点云数据。
4.根据权利要求1所述的方法,其特征在于,所述第一对象的点云数据预先经过去噪和/或补洞处理。
5.根据权利要求1所述的方法,其特征在于,所述第一对象的点云数据预先经过标准化处理,所述标准化处理包括对象姿态矫正、点云数据的下采样以及点云数据的坐标归一化中的任意一种或多种处理。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述第二对象的第二特征向量是由所述神经网络模型根据所述第二对象的点云数据输出得到的,或,所述第二对象的第二特征向量为预设数据库中的特征向量。
7.一种对象识别装置,其特征在于,所述装置包括:
获取模块,用于获取针对于第一对象的点云数据;
输入模块,用于将所述第一对象的点云数据输入至预先完成训练的神经网络模型,以便所述神经网络模型输出得到所述第一对象对应的第一特征向量,所述神经网络模型预先基于样本点云数据以及样本对象的样本特征向量完成训练;
确定模块,用于当所述第一特征向量与所述第二对象对应的第二特征向量相匹配时,确定所述第一对象与所述第二对象为同一对象。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,包括:
获取单元,用于获取针对于所述第一对象的彩色图像;
图像分割单元,用于对所述彩色图像进行图像分割,确定所述彩色图像上所述第一对象的第一图像区域;
确定单元,用于根据彩色图像与深度图像之间的对应关系,确定所述深度图像上与所述第一图像区域对应的第二图像区域;
计算单元,用于根据所述第二图像区域中各个像素点的坐标,计算得到所述第一对象的点云数据。
9.一种设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1至6任一项所述的对象识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-6中任一项所述的对象识别方法。
CN202010138742.6A 2020-03-03 2020-03-03 一种对象识别方法、装置、设备及存储介质 Pending CN111339973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010138742.6A CN111339973A (zh) 2020-03-03 2020-03-03 一种对象识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010138742.6A CN111339973A (zh) 2020-03-03 2020-03-03 一种对象识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111339973A true CN111339973A (zh) 2020-06-26

Family

ID=71183917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010138742.6A Pending CN111339973A (zh) 2020-03-03 2020-03-03 一种对象识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111339973A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487868A (zh) * 2020-11-04 2021-03-12 西人马帝言(北京)科技有限公司 一种物体识别方法、装置、设备及存储介质
WO2022126522A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 物体识别方法、装置、可移动平台以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
US20190108396A1 (en) * 2017-10-11 2019-04-11 Aquifi, Inc. Systems and methods for object identification
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110619299A (zh) * 2019-09-12 2019-12-27 北京影谱科技股份有限公司 基于网格的对象识别slam方法和装置
CN110781798A (zh) * 2019-10-22 2020-02-11 浙江工业大学 一种基于树莓派和人脸识别的车载嫌疑犯锁定系统
CN110781920A (zh) * 2019-09-24 2020-02-11 同济大学 一种室内场景点云部件语义信息的识别方法
CN110807439A (zh) * 2019-11-12 2020-02-18 银河水滴科技(北京)有限公司 检测障碍物的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US20190108396A1 (en) * 2017-10-11 2019-04-11 Aquifi, Inc. Systems and methods for object identification
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
CN110060336A (zh) * 2019-04-24 2019-07-26 北京华捷艾米科技有限公司 三维人脸重建方法、装置、介质以及设备
CN110619299A (zh) * 2019-09-12 2019-12-27 北京影谱科技股份有限公司 基于网格的对象识别slam方法和装置
CN110781920A (zh) * 2019-09-24 2020-02-11 同济大学 一种室内场景点云部件语义信息的识别方法
CN110781798A (zh) * 2019-10-22 2020-02-11 浙江工业大学 一种基于树莓派和人脸识别的车载嫌疑犯锁定系统
CN110807439A (zh) * 2019-11-12 2020-02-18 银河水滴科技(北京)有限公司 检测障碍物的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
牛辰庚;刘玉杰;李宗民;李华;: "基于点云数据的三维目标识别和模型分割方法" *
钱昱来;盖绍彦;郑东亮;达飞鹏;: "基于局部和全局信息的快速三维人耳识别" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487868A (zh) * 2020-11-04 2021-03-12 西人马帝言(北京)科技有限公司 一种物体识别方法、装置、设备及存储介质
WO2022126522A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 物体识别方法、装置、可移动平台以及存储介质

Similar Documents

Publication Publication Date Title
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN107742311B (zh) 一种视觉定位的方法及装置
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
CN109960742B (zh) 局部信息的搜索方法及装置
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN109190470B (zh) 行人重识别方法及装置
US20110129118A1 (en) Systems and methods for tracking natural planar shapes for augmented reality applications
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN113033465A (zh) 活体检测模型训练方法、装置、设备以及存储介质
CN111814744A (zh) 一种人脸检测方法、装置、电子设备和计算机存储介质
CN113221771A (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN111353385A (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN113255511A (zh) 用于活体识别的方法、装置、设备以及存储介质
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN115937950A (zh) 一种多角度人脸数据采集方法、装置、设备及存储介质
JP2014038566A (ja) 画像処理装置
CN115424346A (zh) 一种人体坐姿检测方法、装置、计算机设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination