CN111860431A - 图像中对象的识别方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种图像中对象的识别方法和装置、存储介质及电子装置。其中，该方法包括：获取第一图像和第二图像；将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图；通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象，达到了基于遮挡数据实现行人重识别，以及利用完整未遮挡数据提高遮挡情况下的识别效果，进而解决了现有技术中，图像中对象识别的准确性较低的技术问题。

Description

图像中对象的识别方法和装置、存储介质及电子装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像中对象的识别方法和装置、存储介质及电子装置。

背景技术

行人重识别(Person re-identification缩写ReID)技术是一项利用计算器视觉技术在图片库或者视频库中检索特定行人的技术，被广泛应用于智能监控、安防等领域。实际场景中，抓拍到的行人很容易被各种静态或动态的物体所遮挡，而且由于抓拍角度的不同和行人自身移动导致的较大的视角和姿态变化，以及由于天气、时间等造成的光线变化等等都会对行人重识别的最终效果产生比较大的影响。

目前，基于半耦合鉴别字典学习的叶遮挡行人重识别方法及系统，从两个公共的行人重识别数据集上加入真实的枝叶遮挡，包括有遮挡视频和普通视频；然后分别对有遮挡视频和普通视频进行特征提取；其次是对提取出来的样本特征进行处理，引入字典学习方法，从遮挡视频和普通视频中学习投影矩阵；引入鉴别思想学习字典对。只处理树叶遮挡的情况，现实中遮挡情况复杂，比如垃圾桶，建筑物，其他行人等等，只能处理树叶遮挡的情况，其他遮挡效果不好。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像中对象的识别方法和装置、存储介质及电子装置，以至少解决现有技术中，图像中对象识别的准确性较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像中对象的识别方法，包括：获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象。

根据本发明实施例的另一方面，还提供了一种图像中对象的识别装置，包括：第一获取单元，用于获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；第一得到单元，用于将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；识别单元，用于通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像中对象的识别方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像中对象的识别方法。

在本发明实施例中，通过获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象，达到了根据遮挡样本图像和未遮挡样本图像训练的目标神经网络识别图像中的目标对象的目的，从而实现了基于遮挡数据生成图像识别的技术效果，进而解决了现有技术中，图像中对象识别的准确性较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像中对象的识别方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的图像中对象的识别方法的流程图；

图3是根据本发明实施例的一种可选的图像划分示意图；

图4是根据本发明实施例的一种可选的神经网络训练的流程示意图；

图5是根据本发明实施例的一种可选的遮挡行人重识别方法的流程图；

图6是根据本发明实施例的一种可选的图像中对象的识别装置的结构示意图；

图7是根据本发明实施例的一种可选的图像中对象的识别方法的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种基于云服务器与人工智能的图像中对象的识别方法，可选地，作为一种可选的实施方式，上述图片中对象的识别方法可以但不限于应用于如图1所示的环境中。

图1中拍摄设备104可以拍摄用户102的图片。拍摄设备104中包含有存储器106，用于存储拍摄的图片、传输装置108，用于传输数据。拍摄设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有处理模块114，用于处理传输的数据。

上述拍摄设备104可以但不限于为拍摄装置，如摄像头等，或者为手机、平板电脑、笔记本电脑、PC机等终端，上述网络110可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。

上述服务器112可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本方案中的上述服务器112可以部署有上述目标神经网络模型，通过目标神经网络模型获取到第一图片与第二图片，并实现识别第一图片与第二图片中的目标对象是否为同一对象。

其中，目标神经网络模型可以通过不断的机器学习进行优化，进而满足目标神经网络模型的快速计算要求。

可选地，作为一种可选的实施方式，如图2所示，上述图像中对象的识别方法包括：

步骤S202，获取第一图像和第二图像，其中，第一图像中包括第一对象，第二图像中包括第二对象。

步骤S204，将第一图像和第二图像输入目标神经网络模型，得到第一图像的第一特征图和第二图像的第二特征图，其中，目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，训练样本图像集合包括未遮挡的多张样本图像和对应多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，多张遮挡样本图像中共包括多个不同的样本对象，目标神经网络模型满足目标损失条件，目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值。

步骤S206，通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，其中，识别结果用于指示第一图像中的第一对象和第二图像集合中的第二对象为同一对象或者为不同对象。

可选的，在本实施例中，上述图像中对象的识别方法可以但不限于应用于图像识别比对的过程中，例如，比对两张图片中所包含的对象是否为同一对象的过程中。具体的应用领域本实施例并不做具体限定。例如，应用于对象匹配领域、移动轨迹确定领域、对象轨迹跟踪领域等，或者应用于智能交通、智能零售、智能安防等诸多场景。例如，一个对象超出一个摄像头的拍摄范围，被另一个摄像头捕捉，这种情况下利用本方案的技术就能将两个摄像头捕捉地两条轨迹串联起来，进而可以获得顾客在商超内的整个轨迹，有利于后续的各项数据挖掘与分析。

在实际应用中，以对象匹配领域为例，预先保存有多个对象并记录有多个对象的信息，在获取到一张图片后，可以匹配识别比对一张图片中的对象是哪一个对象，实现对象的身份识别。例如，第一张图片中存在对象A，第二张图片中存在对象B，通过目标神经网络模型识别出对象A与对象B是同一个对象。

以移动轨迹确定领域为例，可以识别多张图片中的对象是否为同一对象，获取属于同一对象的图片的拍摄时间与拍摄位置，按照时间先后将位置连线，得到该对象的移动轨迹。

以对象轨迹跟踪领域为例，使用不同的摄像头可以拍摄不同的图片，如果两个摄像头分别拍摄的图片中的对象为同一对象，可以获取两个摄像头分别拍摄的该对象的图像，并分别获取两个摄像头拍摄的该对象的移动轨迹，将两个摄像头拍摄的该对象的移动轨迹拼接，得到该对象的移动轨迹路线，实现该对象的轨迹跟踪。

以上仅为示例，并不是对本方案的应用场景的限定。

通过本申请提供的实施例，获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象，达到了根据遮挡样本图像和未遮挡样本图像训练的目标神经网络识别图像中的目标对象的目的，从而实现了基于遮挡数据生成图像识别的技术效果，进而解决了现有技术中，图像中对象识别的准确性较低的技术问题。

可选的，在本实施例中，将第一图像和第二图像输入目标神经网络模型之前，可以包括：

获取训练样本图像集合，其中，训练样本图像集合包括N张未遮挡样本图像和对应的N张遮挡样本图像，N张未遮挡样本图像中共包括M个不同的样本对象，N张遮挡样本图像中共包括M个不同的样本对象，每个样本对象出现在N张遮挡样本图像中的P张样本图像中和遮挡样本图像中的P张样本图像中，N和M为大于1的自然数，P为自然数；

使用训练样本图像集合对待训练神经网络模型进行训练，得到满足目标损失函数的目标神经网络模型。

可选的，在本实施例在，获取训练样本图像集合，可以包括：

对训练样本图像集合中的每张未遮挡图像进行P*Q网络划分，得到第一目标训练样本图像集合，其中，目标训练样本图像集合中的每张图像被网格化；

获取预设个数的遮挡数据；

将遮挡数据随机填补到每张未遮挡图像中，得到第二目标训练样本图像集合，其中，训练样本图像集合包括第二目标训练图像集合。

在实际应用中，根据下述方式生成遮挡数据：行人P变换到网络输入尺寸H*W，然后对变换后的行人P水平方向平均划分为六个条纹，竖直方向平均划分为三个条纹，划分为18个块patch，如图3所示，图像划分示意图。

patch从左到右从上到下依次赋予标签0-17；随机生成1到9之间的数值k来表明从18个patch中需要遮挡的patch数量，然后根据k随机从18个patch中选取k个patch，同时从遮挡物数据集中也随机选取k个图像，选出的遮挡类型可能相同，把选取的遮挡物均变换为H/6*W/3的尺寸，然后依据k个patch标签顺序把k张遮挡物图像填补到行人图像上；处理后的图像行人id标签不变，并且赋予一个遮挡信息的标签：被遮挡的patch标记为1，未被遮挡的patch标记为0，则图像会对应一个18位的二值编码：000110110001000000，该编码用于patch遮挡训练。

可选的，在本实施例中，将第一图像和第二图像输入目标神经网络模型之前，可以包括：

将训练样本图像集合中未遮挡图像和对应的遮挡对象输入到待训练神经网络中，通过待训练神经网络模型获取每张样本图片的特征图；

根据未遮挡图像对象的特征图获取第一损失函数的取值；

根据遮挡图像对象的特征图获取第二损失函数的取值和第三损失函数值；

在第一损失函数的取值满足第一预定阈值、第二损失函数的取值满足第二预定阈值以及第三损失函数满足第三预定阈值的情况下，确定待训练神经网络模型满足目标损失函数。

如图4所示，神经网络训练的流程示意图。将图像p以及遮挡处理后的图像P’同时送入神经网络，神经网络有卷积和池化操作组成，网络流程如下所示，其中主干网络共享，主干网络得到特征图后分两个分支，其中上面的分支特征图水平切分为六块并经过池化操作得到六个条纹特征，然后每个条纹特征都接分类层，分类层的输出为行人ID的个数；下面的分支为patch遮挡判断，主干网络特征图直接池化操作后接patch遮挡分类层，分类层输出为18，监督信号为第一步骤得到的二值标签。

可选的，在本实施例中，通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，可以包括：

通过目标神经网络模型对第一图像的第一特征图和第二图像第二特征图进行处理，得到第一图像与第二图像之间的相似距离；

将在相似距离小于或等于预定阈值的情况下，确定目标图像中的第二对象与第一图像中的第一对象为同一对象。

神经网络训练完成后，去掉行人ID分类层以及遮挡数据生成的过程，保留遮挡分类层，得到最后部署的网络模型。部署阶段，对于输入的行人P以及待检索的底库G，首先需要计算行人P与G中每张图像的相似度，步骤如下：行人P以及G均通过训练好的神经网络提取六块条纹特征fi(i＝0…5)，同时每个行人通过神经网络后均得到遮挡分类层的结果，即第二步中18维的数据，每一维数据定义为pi，表明该patch是否遮挡的概率值，对于得到的六块条纹特征，定义每块条纹遮挡的概率如下：

S0＝p0+p1+p2

S1＝p3+p4+p5

S2＝p6+p7+p8

S3＝p9+p10+p11

S4＝p12+p13+p14

S5＝p15+p16+p17

则两张图像计算距离时按照以下公式计算：

D＝∑yi*d(fi,gi)如果Si<delta或者Si’<delta，则yi＝0，否则yi＝1。d()为向量的欧式距离。

也就是如果两张图像的对应的条纹任一个的遮挡的概率小于某个阈值，则不计算相应的条纹的相似度，也就是遮挡的条纹对相似度不贡献。

可选的，在本实施例中，在确定第一图像中的第一对象与第二图像中的第二对象为同一对象之后，可以还包括：

在第一图像为第一拍摄设备拍摄到的图像、且第二图像为第二拍摄设备拍摄到的图像的情况下，将第一对象的第一移动轨迹和第二对象的第二移动轨迹进行拼接，得到第一对象的目标移动轨迹，其中，第一移动轨迹为第一拍摄设备获取到第一对象的移动轨迹，第二移动轨迹为第二拍摄设备获取到第二对象的移动轨迹。

作为一种可选的实施例，本申请还提供了一种可选的遮挡行人重识别方法。如图5所示，遮挡行人重识别方法的流程图。

步骤S51，输入检索图像以及待检测底库；

步骤S52，所有图像输入到训练好的神经网络；

需要说明的是，神经网络的训练步骤如下：

第一步，对输入到神经网络的完整未遮挡行人P，根据下述方法生成遮挡数据：行人P变换到网络输入尺寸H*W，然后对变换后的行人P水平方向平均划分为六个条纹，竖直方向平均划分为三个条纹，这样就划分为18个patch，如图3所示。

patch从左到右从上到下依次赋予标签0-17；随机生成1到9之间的数值k来表明从18个patch中需要遮挡的patch数量,然后根据k随机从18个patch中选取k个patch，同时从遮挡物数据集中也随机选取k个图片，选出的遮挡类型可能相同，把选取的遮挡物均变换为H/6*W/3的尺寸，然后依据k个patch标签顺序把k张遮挡物图片填补到行人图片上；处理后的图片行人id标签不变，并且赋予一个遮挡信息的标签：被遮挡的patch标记为1，未被遮挡的patch标记为0，则图片会对应一个18位的二值编码：000110110001000000，该编码用于patch遮挡训练。

在实际监控场景中，由于环境复杂，遮挡是一个影响行人重识别准确率的重大障碍，由于实际场景有大量的遮挡数据，但遮挡数据标注困难，而未遮挡数据标注很容易，因此可充分利用完整未遮挡数据来提高遮挡重识别的效果。在本实施例中针对遮挡行人重识别提出一种基于遮挡数据生成增强的行人重识别方法。在神经网络训练阶段基于深度学习神经网络，需要完整未遮挡的数据集和遮挡物数据集，遮挡物数据集包含现实场景中的各种遮挡物：树叶、垃圾桶、建筑物、车辆、其他行人等。

第二步，将图片p以及遮挡处理后的图片P’同时送入神经网络，神经网络有卷积和池化操作组成，网络流程如下所示，其中主干网络共享，主干网络得到特征图后分两个分支，其中上面的分支特征图水平切分为六块并经过池化操作得到六个条纹特征，然后每个条纹特征都接分类层，分类层的输出为行人ID的个数；下面的分支为patch遮挡判断，主干网络特征图直接池化操作后接patch遮挡分类层，分类层输出为18，监督信号为第一步骤得到的二值标签。

第三步，神经网络训练完成后，去掉行人ID分类层以及遮挡数据生成的过程，保留遮挡分类层，得到最后部署的网络模型。部署阶段，对于输入的行人P以及待检索的底库G，首先需要计算行人P与G中每张图片的相似度，步骤如下：行人P以及G均通过训练好的神经网络提取六块条纹特征fi(i＝0…5)，同时每个行人通过神经网络后均得到遮挡分类层的结果，即第二步中18维的数据，每一维数据定义为pi，表明该patch是否遮挡的概率值，对于得到的六块条纹特征，定义每块条纹遮挡的概率如下：

S0＝p0+p1+p2

S1＝p3+p4+p5

S2＝p6+p7+p8

S3＝p9+p10+p11

S4＝p12+p13+p14

S5＝p15+p16+p17

则两张图片计算距离时按照以下公式计算：

D＝∑yi*d(fi,gi)如果Si<delta或者Si’<delta，则yi＝0，否则yi＝1。d()为向量的欧式距离。

也就是如果两张图像的对应的条纹任一个的遮挡的概率小于某个阈值，则不计算相应的条纹的相似度，也就是遮挡的条纹对相似度不贡献。

步骤S53，输出所有图像的条纹特征以及patch的遮挡概率；

步骤S54，统计每个图像的条纹遮挡概率；

步骤S55，根据距离公式计算检索图像与底库中每张图像的距离；

步骤S56，按照距离从小到大排序得到检索图像的排序检索结果；

步骤S57，在距离满足预定阈值的情况下，确定检索图像与底库中的图像中存在同一个目标对象。

通过本申请提供的实施例，采用端到端的神经网络步骤简洁，计算复杂度低；考虑现实中的各种遮挡情况进行网络训练，不光对树叶遮挡效果好，对其他情况的遮挡效果也有提升。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图像中对象的识别方法的图像中对象的识别装置。如图6所示，该图像中对象的识别装置包括：第一获取单元61、第一得到单元63以及识别单元65。

第一获取单元61，用于获取第一图像和第二图像，其中，第一图像中包括第一对象，第二图像中包括第二对象；

第一得到单元63，用于将第一图像和第二图像输入目标神经网络模型，得到第一图像的第一特征图和第二图像的第二特征图，其中，目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，训练样本图像集合包括未遮挡的多张样本图像和对应多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，多张遮挡样本图像中共包括多个不同的样本对象，目标神经网络模型满足目标损失条件，目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；

识别单元65，用于通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，其中，识别结果用于指示第一图像中的第一对象和第二图像集合中的第二对象为同一对象或者为不同对象。

通过本申请提供的实施例，第一获取单元61第一图像和第二图像，其中，第一图像中包括第一对象，第二图像中包括第二对象；第一得到单元63将第一图像和第二图像输入目标神经网络模型，得到第一图像的第一特征图和第二图像的第二特征图，其中，目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，训练样本图像集合包括未遮挡的多张样本图像和对应多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，多张遮挡样本图像中共包括多个不同的样本对象，目标神经网络模型满足目标损失条件，目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；识别单元65通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，其中，识别结果用于指示第一图像中的第一对象和第二图像集合中的第二对象为同一对象或者为不同对象。达到了根据遮挡样本图像和未遮挡样本图像训练的目标神经网络识别图像中的目标对象的目的，从而实现了基于遮挡数据生成图像识别的技术效果，进而解决了现有技术中，图像中对象识别的准确性较低的技术问题。

可选的，在实施例中，上述装置可以包括：

第二获取单元，用于将第一图像和第二图像输入目标神经网络模型之前，获取训练样本图像集合，其中，训练样本图像集合包括N张未遮挡样本图像和对应的N张遮挡样本图像，N张未遮挡样本图像中共包括M个不同的样本对象，N张遮挡样本图像中共包括M个不同的样本对象，每个样本对象出现在N张遮挡样本图像中的P张样本图像中和遮挡样本图像中的P张样本图像中，N和M为大于1的自然数，P为自然数；

第二得到单元，用于使用训练样本图像集合对待训练神经网络模型进行训练，得到满足目标损失函数的目标神经网络模型。

可选的，在本实施例中，上述第二获取单元，包括：

划分模块，用于对训练样本图像集合中的每张未遮挡图像进行P*Q网络划分，得到第一目标训练样本图像集合，其中，目标训练样本图像集合中的每张图像被网格化；

获取模块，用于获取预设个数的遮挡数据；

第一得到模块，用于将遮挡数据随机填补到每张未遮挡图像中，得到第二目标训练样本图像集合，其中，训练样本图像集合包括第二目标训练图像集合。

可选的，在实施例中，上述装置可以包括：

第三获取单元，用于将第一图像和第二图像输入目标神经网络模型之前，将训练样本图像集合中未遮挡图像和对应的遮挡对象输入到待训练神经网络中，通过待训练神经网络模型获取每张样本图片的特征图；

第四获取单元，用于根据未遮挡图像对象的特征图获取第一损失函数的取值；

第五获取单元，用于根据遮挡图像对象的特征图获取第二损失函数的取值和第三损失函数值；

确定单元，用于在第一损失函数的取值满足第一预定阈值、第二损失函数的取值满足第二预定阈值以及第三损失函数满足第三预定阈值的情况下，确定待训练神经网络模型满足目标损失函数。

可选的，在本实施例中，上述识别单元65，可以包括：

第二得到模块，用于通过目标神经网络模型对第一图像的第一特征图和第二图像第二特征图进行处理，得到第一图像与第二图像之间的相似距离；

确定模块，用于将在相似距离小于或等于预定阈值的情况下，确定目标图像中的第二对象与第一图像中的第一对象为同一对象。

可选的，在实施例中，上述装置可以包括：

拼接单元，用于在确定第一图像中的第一对象与第二图像中的第二对象为同一对象之后，在第一图像为第一拍摄设备拍摄到的图像、且第二图像为第二拍摄设备拍摄到的图像的情况下，将第一对象的第一移动轨迹和第二对象的第二移动轨迹进行拼接，得到第一对象的目标移动轨迹，其中，第一移动轨迹为第一拍摄设备获取到第一对象的移动轨迹，第二移动轨迹为第二拍摄设备获取到第二对象的移动轨迹。

根据本发明实施例的又一个方面，还提供了一种用于实施上述。。。。。方法的电子装置，如图7所示，该电子装置包括存储器702和处理器704，该存储器702中存储有计算机程序，该处理器704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取第一图像和第二图像，其中，第一图像中包括第一对象，第二图像中包括第二对象；

S2，将第一图像和第二图像输入目标神经网络模型，得到第一图像的第一特征图和第二图像的第二特征图，其中，目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，训练样本图像集合包括未遮挡的多张样本图像和对应多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，多张遮挡样本图像中共包括多个不同的样本对象，目标神经网络模型满足目标损失条件，目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；

S3，通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，其中，识别结果用于指示第一图像中的第一对象和第二图像集合中的第二对象为同一对象或者为不同对象。

可选地，本领域普通技术人员可以理解，图7所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图7中所示更多或者更少的组件(如网络接口等)，或者具有与图7所示不同的配置。

其中，存储器702可用于存储软件程序以及模块，如本发明实施例中的图像中对象的识别方法和装置对应的程序指令/模块，处理器704通过运行存储在存储器702内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像中对象的识别方法。存储器702可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器702可进一步包括相对于处理器704远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器702具体可以但不限于用于存储第一图像和第二图像以及识别结果等信息。作为一种示例，如图7所示，上述存储器702中可以但不限于包括上述图像中对象的识别装置中的第一获取单元61、第一得到单元63以及识别单元65。此外，还可以包括但不限于上述图像中对象的识别装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置706包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置706为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器708，用于显示上述识别结果；和连接总线710，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取第一图像和第二图像，其中，第一图像中包括第一对象，第二图像中包括第二对象；

S2，将第一图像和第二图像输入目标神经网络模型，得到第一图像的第一特征图和第二图像的第二特征图，其中，目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，训练样本图像集合包括未遮挡的多张样本图像和对应多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，多张遮挡样本图像中共包括多个不同的样本对象，目标神经网络模型满足目标损失条件，目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；

S3，通过目标神经网络模型对第一图像的第一特征图和第二图像的第二特征图进行处理，得到识别结果，其中，识别结果用于指示第一图像中的第一对象和第二图像集合中的第二对象为同一对象或者为不同对象。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种图像中对象的识别方法，其特征在于，包括：

获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；

将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述未遮挡的多张样本图像进行处理得到的多张遮挡样本图像，未遮挡的多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；

通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象。

2.根据权利要求1所述的方法，其特征在于，将所述第一图像和所述第二图像输入目标神经网络模型之前，所述方法包括：

获取所述训练样本图像集合，其中，所述训练样本图像集合包括N张未遮挡样本图像和对应的N张遮挡样本图像，所述N张未遮挡样本图像中共包括M个不同的样本对象，所述N张遮挡样本图像中共包括M个不同的样本对象，每个所述样本对象出现在所述N张遮挡样本图像中的P张样本图像中和所述遮挡样本图像中的P张样本图像中，N和M为大于1的自然数，P为自然数；

使用所述训练样本图像集合对所述待训练神经网络模型进行训练，得到满足所述目标损失函数的所述目标神经网络模型。

3.根据权利要求2所述的方法，其特征在于，获取所述训练样本图像集合，包括：

对所述训练样本图像集合中的每张未遮挡图像进行P*Q网络划分，得到第一目标训练样本图像集合，其中，所述目标训练样本图像集合中的每张图像被网格化；

获取预设个数的遮挡数据；

将所述遮挡数据随机填补到所述每张未遮挡图像中，得到第二目标训练样本图像集合，其中，所述训练样本图像集合包括所述第二目标训练图像集合。

4.根据权利要求3所述的方法，其特征在于，将所述第一图像和所述第二图像输入目标神经网络模型之前，所述方法包括：

将所述训练样本图像集合中未遮挡图像和对应的遮挡对象输入到所述待训练神经网络中，通过所述待训练神经网络模型获取每张所述样本图片的特征图；

根据所述未遮挡图像对象的特征图获取第一损失函数的取值；

根据所述遮挡图像对象的特征图获取第二损失函数的取值和第三损失函数值；

在所述第一损失函数的取值满足第一预定阈值、第二损失函数的取值满足第二预定阈值以及所述第三损失函数满足第三预定阈值的情况下，确定所述待训练神经网络模型满足目标损失函数。

5.根据权利要求1所述的方法，其特征在于，通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，包括：

通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像所述第二特征图进行处理，得到所述第一图像与所述第二图像之间的相似距离；

将在所述相似距离小于或等于预定阈值的情况下，确定所述目标图像中的所述第二对象与所述第一图像中的第一对象为同一对象。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在确定所述第一图像中的所述第一对象与所述第二图像中的所述第二对象为同一对象之后，所述方法还包括：

在所述第一图像为第一拍摄设备拍摄到的图像、且所述第二图像为第二拍摄设备拍摄到的图像的情况下，将所述第一对象的第一移动轨迹和所述第二对象的第二移动轨迹进行拼接，得到所述第一对象的目标移动轨迹，其中，所述第一移动轨迹为所述第一拍摄设备获取到所述第一对象的移动轨迹，所述第二移动轨迹为所述第二拍摄设备获取到所述第二对象的移动轨迹。

7.一种图像中对象的识别装置，其特征在于，包括：

第一获取单元，用于获取第一图像和第二图像，其中，所述第一图像中包括第一对象，所述第二图像中包括第二对象；

第一得到单元，用于将所述第一图像和所述第二图像输入目标神经网络模型，得到所述第一图像的第一特征图和所述第二图像的第二特征图，其中，所述目标神经网络模型是通过训练样本图像集合对待训练神经网络模型进行训练得到的模型，所述训练样本图像集合包括未遮挡的多张样本图像和对应所述多张样本图像进行处理得到的多张遮挡样本图像，多张样本图像中共包括多个不同的样本对象，所述多张遮挡样本图像中共包括多个不同的样本对象，所述目标神经网络模型满足目标损失条件，所述目标损失条件包括每个样本对象对应的第一损失函数的取值小于第一阈值；

识别单元，用于通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像的所述第二特征图进行处理，得到识别结果，其中，所述识别结果用于指示所述第一图像中的所述第一对象和所述第二图像集合中的所述第二对象为同一对象或者为不同对象。

8.根据权利要求1所述的方法，其特征在于，所述装置包括：

第二获取单元，用于将所述第一图像和所述第二图像输入目标神经网络模型之前，获取所述训练样本图像集合，其中，所述训练样本图像集合包括N张未遮挡样本图像和对应的N张遮挡样本图像，所述N张未遮挡样本图像中共包括M个不同的样本对象，所述N张遮挡样本图像中共包括M个不同的样本对象，每个所述样本对象出现在所述N张遮挡样本图像中的P张样本图像中和所述遮挡样本图像中的P张样本图像中，N和M为大于1的自然数，P为自然数；

第二得到单元，用于使用所述训练样本图像集合对所述待训练神经网络模型进行训练，得到满足所述目标损失函数的所述目标神经网络模型。

9.根据权利要求8所述的装置，其特征在于，所述第二获取单元，包括：

划分模块，用于对所述训练样本图像集合中的每张未遮挡图像进行P*Q网络划分，得到第一目标训练样本图像集合，其中，所述目标训练样本图像集合中的每张图像被网格化；

获取模块，用于获取预设个数的遮挡数据；

第一得到模块，用于将所述遮挡数据随机填补到所述每张未遮挡图像中，得到第二目标训练样本图像集合，其中，所述训练样本图像集合包括所述第二目标训练图像集合。

10.根据权利要求9所述的装置，其特征在于，所述装置包括：

第三获取单元，用于将所述第一图像和所述第二图像输入目标神经网络模型之前，将所述训练样本图像集合中未遮挡图像和对应的遮挡对象输入到所述待训练神经网络中，通过所述待训练神经网络模型获取每张所述样本图片的特征图；

第四获取单元，用于根据所述未遮挡图像对象的特征图获取第一损失函数的取值；

第五获取单元，用于根据所述遮挡图像对象的特征图获取第二损失函数的取值和第三损失函数值；

确定单元，用于在所述第一损失函数的取值满足第一预定阈值、第二损失函数的取值满足第二预定阈值以及所述第三损失函数满足第三预定阈值的情况下，确定所述待训练神经网络模型满足目标损失函数。

11.根据权利要求7所述的装置，其特征在于，识别单元，包括：

第二得到模块，用于通过所述目标神经网络模型对所述第一图像的所述第一特征图和所述第二图像所述第二特征图进行处理，得到所述第一图像与所述第二图像之间的相似距离；

确定模块，用于将在所述相似距离小于或等于预定阈值的情况下，确定所述目标图像中的所述第二对象与所述第一图像中的第一对象为同一对象。

12.根据权利要求7至11中任一项所述的装置，其特征在于，所述装置还包括：

拼接单元，用于在确定所述第一图像中的所述第一对象与所述第二图像中的所述第二对象为同一对象之后，在所述第一图像为第一拍摄设备拍摄到的图像、且所述第二图像为第二拍摄设备拍摄到的图像的情况下，将所述第一对象的第一移动轨迹和所述第二对象的第二移动轨迹进行拼接，得到所述第一对象的目标移动轨迹，其中，所述第一移动轨迹为所述第一拍摄设备获取到所述第一对象的移动轨迹，所述第二移动轨迹为所述第二拍摄设备获取到所述第二对象的移动轨迹。

13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。

14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。

Images