CN110245611B - 图像识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像识别方法、装置、计算机设备和存储介质，方法包括：获取待识别的图像序列，图像序列为对目标区域对应的参考位置进行拍摄得到的；对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置点，得到目标对象对应的位置点集合；确定位置点集合中各个目标位置点与参考位置的第一相对位置关系；当根据第一相对位置关系得到位置点集合中，存在参考位置对应的前向位置点以及后向位置点时，根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序，确定目标对象对应的位置移动方向；根据位置移动方向确定目标对象相对于目标区域的流向。上述方法可以准确确定目标对象相对于目标区域的流向。

Description

图像识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理领域，特别是涉及图像识别方法、装置、计算机设备和存储介质。

背景技术

随着社会的发展和技术的进步，在很多情况下都需要确认用户是否在某个位置上。目前，在确认用户的位置时，通常是通过感应器确定的，例如通过红外感应器进行人体感应，以确定当前位置上是否有人，然而，感应器的范围很难控制且敏感，可能会造成误识别，识别准确度低，识别效果差。

发明内容

基于此，有必要针对上述识别准确度低，识别效果差的问题，提供一种图像识别方法、装置、计算机设备和存储介质。

一种图像识别方法，所述方法包括：获取待识别的图像序列，所述图像序列为对目标区域对应的参考位置进行拍摄得到的，所述图像序列包括多个按照拍摄时间排序的图像帧；对所述图像序列中的各个图像帧进行目标对象识别，识别得到各个所述图像帧中所述目标对象对应的目标位置点，得到所述目标对象对应的位置点集合；确定所述位置点集合中各个所述目标位置点与所述参考位置的第一相对位置关系；当根据所述第一相对位置关系得到所述位置点集合中，存在所述参考位置对应的前向位置点以及后向位置点时，根据所述前向位置点对应的图像帧与所述后向位置点对应的图像帧的排序，确定所述目标对象对应的位置移动方向；根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向。

在一些实施例中，还可以识别所述当前图像帧中所述目标对象对应的目标特征点的位置，根据所述目标特征点的位置确定所述目标对象对应的位置，所述识别所述当前图像帧中所述目标对象对应的目标特征点的位置包括:获取特征点识别模型，所述特征点识别模型包括第一模型以及第二模型，所述第一模型包括多层顺序相接的神经网络层；将所述当前图像帧输入到所述第一模型中，所述第一模型利用各层所述神经网络层对所述当前图像帧进行特征提取，得到各层所述神经网络层输出的特征图；将至少两层所述神经网络层输出的特征图进行拼接，得到拼接特征图，将所述拼接特征图输入到所述第二模型中，识别得到所述当前图像帧中所述目标对象对应的目标特征点的位置。

一种图像识别装置，所述装置包括：图像序列获取模块，用于获取待识别的图像序列，所述图像序列为对目标区域对应的参考位置进行拍摄得到的，所述图像序列包括多个按照拍摄时间排序的图像帧；目标位置点识别模块，用于对所述图像序列中的各个图像帧进行目标对象识别，识别得到各个所述图像帧中所述目标对象对应的目标位置点，得到所述目标对象对应的位置点集合；第一相对位置确定模块，用于确定所述位置点集合中各个所述目标位置点与所述参考位置的第一相对位置关系；位置移动方向确定模块，用于当根据所述第一相对位置关系得到所述位置点集合中，存在所述参考位置对应的前向位置点以及后向位置点时，根据所述前向位置点对应的图像帧与所述后向位置点对应的图像帧的排序，确定所述目标对象对应的位置移动方向；流向确定模块，用于根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向。

在一些实施例中，所述第一相对位置确定模块包括：参考位置函数获取单元，用于获取根据所述参考位置的位置信息确定的参考位置函数；坐标获取单元，用于获取所述目标位置点对应的第一坐标以及第二坐标；参考坐标得到单元，用于将所述第一坐标代入到所述参考位置函数中，得到对应的参考坐标；第一相对位置确定单元，用于比较所述参考坐标与所述第一坐标对应的第二坐标的大小关系，根据所述大小关系确定所述目标位置点与所述参考位置的第一相对位置关系。

在一些实施例中，所述第一相对位置确定单元用于：当所述大小关系为第一大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的前向位置点；当所述大小关系为第二大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的后向位置点；所述第一大小关系与所述第二大小关系相反。

在一些实施例中，获取参考位置的位置信息的模块用于：获取对所述参考位置进行拍摄得到的参考图像帧，所述参考图像帧上包括参考位置标定图形；根据所述参考位置标定图形在所述参考图像帧的位置，得到所述参考位置的位置信息。

在一些实施例中，所述参考图像帧上还包括所述参考位置对应的路径确定辅助图形，所述路径确定辅助图形设置在进入所述参考位置的路径上，所述装置还包括：第一位置获取模块，用于获取所述路径确定辅助图形在所述参考图像帧的位置，得到第一位置；第二相对位置确定模块，用于确定所述位置点集合中所述目标位置点与所述第一位置的第二相对位置关系；目标路径得到模块，用于当根据所述第二相对位置关系得到所述位置点集合中，存在所述第一位置对应的前向位置点以及后向位置点时，获取所述第一位置对应的目标路径，确定所述目标对象通过所述目标路径移动到所述参考位置。

在一些实施例中，所述流向确定模块用于：当所述位置移动方向背向所述目标区域时，确定所述目标对象移出所述目标区域。

在一些实施例中，所述流向确定模块用于：当所述位置移动方向朝向所述目标区域时，确定所述目标对象进入所述目标区域。

在一些实施例中，所述装置还包括：历史进入区域获取模块，用于当确定所述目标对象进入所述目标区域时，获取所述目标对象对应的历史进入区域；提示信息发送模块，用于根据所述历史进入区域向所述目标区域对应的终端发送提示信息。

在一些实施例中，所述提示信息发送模块用于：根据所述历史进入区域确定所述目标对象进入所述目标区域的目标次数；根据所述目标次数确定所述目标对象对应的对象类型，向所述目标区域对应的终端发送对象类型提示信息。

在一些实施例中，所述提示信息发送模块用于：确定所述历史进入区域对应的第一区域类型以及所述目标区域对应的第二区域类型；当所述第一区域类型与所述第二区域类型相似时，确定所述目标对象为目标识别主体，向所述目标区域对应的终端发送目标识别主体提示信息。

在一些实施例中，所述历史进入区域获取模块用于：获取所述目标对象对应的目标图像数据，以及预先存储的图像数据集合，所述图像数据集合包括多个对象分别对应的图像数据；将所述目标图像数据与所述图像数据集合中的图像数据进行相似对比，得到所述目标对象对应的历史图像数据；获取所述历史图像数据对应的历史进入区域，作为所述目标对象对应的历史进入区域。

在一些实施例中，所述目标位置点识别模块用于：获取当前图像帧，识别所述当前图像帧中所述目标对象对应的目标特征点的位置，根据所述目标特征点的位置确定所述目标对象对应的位置。

在一些实施例中，所述目标位置点识别模块用于:获取特征点识别模型，所述特征点识别模型包括第一模型以及第二模型，所述第一模型包括多层顺序相接的神经网络层；将所述当前图像帧输入到所述第一模型中，所述第一模型利用各层所述神经网络层对所述当前图像帧进行特征提取，得到各层所述神经网络层输出的特征图；将至少两层所述神经网络层输出的特征图进行拼接，得到拼接特征图，将所述拼接特征图输入到所述第二模型中，识别得到所述当前图像帧中所述目标对象对应的目标特征点的位置。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像识别方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像识别方法的步骤。

上述图像识别方法、装置、计算机设备和存储介质，存在参考位置的前向位置点和后向位置点表示目标对象经过参考位置的两侧，而根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序可以确定目标对象的位置移动方向，因此根据位置移动方向可以准确确定目标对象相对于目标区域的流向，识别准确度高，识别效果好。

附图说明

图1为一些实施例中提供的图像识别方法的应用环境图；

图2为一些实施例中图像识别方法的流程图；

图3为一些实施例中目标区域的参考位置的示意图；

图4为一些实施例中确定目标位置点与参考位置的第一相对位置关系的流程图；

图5为一些实施例中目标位置点的示意图；

图6为一些实施例中获取参考位置的位置信息的流程图；

图7为一些实施例中目标区域的参考位置对应的参考位置标定图形以及路径确定辅助图形的示意图；

图8为一些实施例中图像识别方法的流程图；

图9为一些实施例中识别当前图像帧中目标对象对应的目标特征点的位置的流程图；

图10为一些实施例中利用特征点识别模型识别得到目标对象的特征点的示意图；

图11为一些实施例中将图像帧输入到模型中，得到眼部特征点以及臀部特征点的位置的示意图；

图12为一些实施例中人流热力图的示意图；

图13为一些实施例中图像识别装置的结构框图；

图14为一些实施例中计算机设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像帧称为第二图像帧，且类似地，可将第二图像帧称为第一图像帧。

图1为一些实施例中提供的图像识别方法的应用环境图，如图1所示，在该应用环境中，包括终端110、服务器120以及摄像头130，摄像头130可以安装在可以拍摄得到目标区域对应的参考位置例如入口的地方，例如门上，用于对目标区域的参考位置进行拍摄得到图像序列，服务器120可以获取图像序列，例如摄像头130可以将图像序列实时的发送给服务器120，摄像头130也可以将拍摄得到的图像序列发送给终端110，再由终端110发送给服务器120，服务器120获取待识别的图像序列后，执行本申请实施例提供的图像识别方法，确定目标对象相对于目标区域的流向，例如确定目标对象是否进入了目标区域，如有，则可以向终端110发送对象进入提示信息，提示目标区域中有对象进入。

本申请实施例提供的图像识别方法还可以是在终端110上执行的。

服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端110以及服务器120可以通过网络等通讯连接方式进行连接，本申请在此不做限制。

如图2所示，在一些实施例中，提出了一种图像识别方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤：

步骤S202，获取待识别的图像序列，图像序列为对目标区域对应的参考位置进行拍摄得到的，图像序列包括多个按照拍摄时间排序的图像帧。

具体地，图像序列是由多个图像帧按照拍摄时间排列组成的。可以通过摄像头拍摄视频，得到视频流，视频流中的图像帧按照顺序依次进行排列，例如是拍摄时间早的图像帧排序在前。一张图像为一帧。“多个”是指至少两个。图像序列中图像帧的个数根据具体情况可以有不同的个数，例如，拍摄得到的视频流可以是3秒的长度，也可以是5秒的长度。

目标区域是需要确认是否有对象进入的区域，例如可以将一家商店当作一个目标区域，也可以将一家公司当作一个目标区域。区域的边界可以是有形的，也可以是无形的。例如，可以将由墙围成的地方作为一个区域，也可以将具有相同特征的地方划分为一个区域。举个实际的例子，可以将商场中摆放衣服的位置作为一个区域，将摆放食品的位置作为另一个区域。

目标区域对应的参考位置是用于确定目标对象相对于目标区域的流向的地方，通过参考位置可以进行移出目标区域或者进入目标区域活动的至少一个。参考位置是预先确定的，可以设置在目标区域内也可以设置在目标区域外。例如，参考位置可以是位于目标区域的门外，可以是设置在目标区域中靠近门的位置，可以是目标区域中的通道、门、窗或者边界线中的至少一个。

在一些实施例中，目标区域对应的参考位置可以是目标区域的入口或者目标区域的出口中的至少一个。入口是指进入目标区域的地方，出口是指从目标区域内出去的地方。出口和入口可以相同，也可以不同。即入口也可以是出口，出口也可以是入口。

在一些实施例中，可以是获取摄像头拍摄的全部视频帧，也可以是获取部分视频帧，例如，一秒视频有25帧，可以从每秒的视频流中选取5个图像帧，组成图像序列。选取图像帧的方法可以根据需要设置，例如可以是随机选取。

步骤S204，对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置点，得到目标对象对应的位置点集合。

具体地，目标对象是指需要进行识别的目标主体，例如可以是人，也可以是动物。目标位置点表示目标对象在图像帧中的位置，可以用像素坐标表示每一个目标位置点所在的像素点。也可以在图像帧中建立坐标系，通过目标对象在该坐标系中的坐标来表示目标位置点。通过对图像序列中的各个图像帧进行目标对象识别，可以识别得到各个图像帧中目标对象对应的目标位置点。例如，假设图像序列中有5张图像帧，则可以识别得到这5张图像帧中，目标对象在每张图像帧对应的位置点，目标对象对应的目标位置点组成位置点集合。

在一些实施例中，可以获取目标对象对应的一个或多个特征点，根据目标对象的特征点确定目标对象的位置，特征点是指对象上的位置点，也可以称为关键点。特征点的选择可以根据需要进行设置。例如，对于人，关键点可以包括头关节点、脖子关节点、左手关节点、左肘关节点、左肩关节点、右手关节点、右肘关节点、右肩关节点、盆骨关节点、左脚关节点、左膝关节点、左臀关节点、右脚关节点、右膝关节点以及右臀关节点等关键点。可以将图像帧输入到特征点识别模型中，由特征点识别模型识别输出各个特征点的位置。以人为例，将包含人的图像帧输入到人的关键点定位(Facial landmark localization)模型中，可以得到一个人各个部位的关键点。特征点识别模型例如可以是深度神经网络模型。特征点识别模型可以是基于PAFs(Part Affinity Fields，关键点亲和场)或者Mask-RCNN的机器学习模型，PAFs将目标对象检测分成了两个分支，通过卷积识别图像中所有目标对象的关键点关节，用PAF将关节组装到不同的目标对象身上。Mask-RCNN首先预测Mask-RCNN的边界框，然后根据此边界框获取目标对象的关键点。

在一些实施例中，当特征点为一个时，可以将该特征点的位置作为目标对象的位置，当特征点为多个时，可以根据多个特征点的位置得到目标对象的位置，例如可以将多个特征点形成的区域的中心作为目标对象的位置。

在一些实施例中，一个图像帧中可以有多个对象，可以对图像帧进行对象检测，得到到每个对象对应的图像区域，在根据图像帧进行对象识别时，可以将每个目标对象所在的图像区域分别输入到特征点识别模型中，以减少模型的数据处理量。例如，图像帧上有两个人A和B，可以将图像帧切分为A所在的图像区域以及B所在的图像区域。将A所在的图像区域输入到特征点识别模型中，识别得到A对应的特征点。将B所在的图像区域输入到特征点识别模型中，识别得到B对应的特征点。

在一些实施例中，图像序列中可以包括多个目标对象，可以识别得到其中的部分或者全部目标对象对应的目标位置点。得到各个目标对象分别对应的位置点集合。例如，可以得到目标对象A对应的位置点集合，以及目标对象B对应的位置点集合。

步骤S206，确定位置点集合各个目标位置点与参考位置的第一相对位置关系。

具体地，可以根据参考位置的位置信息确定目标位置点与参考位置的第一相对位置关系。参考位置的位置信息可以是预先设置的，也可以是根据图像序列中的图像帧检测得到的。例如，可以提前利用摄像头对参考位置进行拍摄，由人工或者计算机设备检测得到参考位置在图像帧中的位置信息，并进行存储。也可以是在获取得到图像序列后，由计算机设备检测参考位置的位置信息。

在一些实施例中，参考位置的位置信息可以用一个或多个坐标表示，也可以用位置函数表示。例如，可以将参考位置看成是一条线，获取这一条线的起点坐标以及终点坐标，作为参考位置的位置信息，也可以根据参考位置对应的坐标得到表示参考位置的参考位置函数，用该参考位置函数表示参考位置对应的位置信息。例如，可以将参考位置看成是一条线段，根据这一条线的起点坐标以及终点坐标得到表示参考位置的位置函数。

相对位置关系表示位置之间的相对关系，相对位置关系可以有三种：重合、前向以及后向。重合是指一个位置在另一个位置上，例如当目标对象在参考位置上，则表示目标对象的目标位置点与参考位置重合。前向表示一个位置在另一位置之前，例如如果目标位置点在参考位置之前，则表示目标位置点是参考位置的前向位置点。后向表示一个位置在另一位置之后，例如如果目标位置点在参考位置后，则表示目标位置点是参考位置的后向位置点。

哪一侧是参考位置的前向，哪一侧是参考位置的后向可以根据需要设置。例如当位置点用坐标表示,包括横坐标以及纵坐标时。可以是当纵坐标相同，目标位置点的横坐标小于参考位置点的横坐标时，则目标位置点为参考位置的前向位置点，当目标位置点的横坐标大于参考位置点的横坐标，则目标位置点为参考位置的后向位置点。也可以是当横坐标相同，目标位置点的纵坐标小于参考位置点的纵坐标时，则目标位置点为参考位置的前向位置点，当目标位置点的纵坐标大于参考位置点的纵坐标，则目标位置点为参考位置的后向位置点。如图3所示，图3的虚线表示入口，即参考位置，目标对象希望通过入口进入目标区域。则可以将目标对象未越过虚线之前时所处的目标位置点作为前向位置点，将目标对象越过虚线之后所处的目标位置点作为后向位置点。

步骤S208，当根据第一相对位置关系得到位置点集合中，存在参考位置对应的前向位置点以及后向位置点时，根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序，确定目标对象对应的位置移动方向。

具体地，目标对象移动的方式例如可以是步行或者通过移动工具例如车移动。位置移动方向是移动时间在前的目标位置点指向移动时间在后的位置点的方向，是根据图像帧的排序得到的。例如假设图像序列中拍摄时间在前的图像帧排序在前，且前向位置点对应的图像帧在后向位置点对应的图像帧之前，则位置移动方向是由前向位置点指向后向位置点的方向。假设图像序列中拍摄时间在前的图像帧排序在前，且前向位置点对应的图像帧在后向位置点对应的图像帧之后，则位置移动方向是由后向位置点指向前向位置点的方向。

步骤S210，根据位置移动方向确定目标对象相对于目标区域的流向。

具体地，目标对象相对于目标区域的流向可以是目标对象进入了目标区域，即流入了目标区域。也可以是目标对象移出了目标区域，即流出了目标区域。如果位置移动方向是朝向目标区域的，则可以确定目标对象进入目标区域。如果位置移动方向是背向目标区域时，则可以确定目标对象移出目标区域。例如，假设参考位置是目标区域内的一条通道，该通道指向目标区域的门，则如果位置移动方向是指向目标区域的门的，则位置移动方向为背向目标区域。

位置移动方向朝向目标区域是指：对象的移动方向是朝着目标区域的，在该位置移动方向下，目标对象可以由参考位置进入目标区域。位置移动方向朝向目标区域可以是位置移动方向正对着目标区域，也可以是以一定的角度指向目标区域，例如45度的方向。当位置点集合中存在参考位置对应的前向位置点以及后向位置点，则说明目标对象通过了参考位置，当根据图像帧的排序得到前向位置点与后向位置点对应的位置移动方向朝向目标区域时，则说明目标对象的目的地是目标区域，因此可以确定目标对象进入目标区域。

位置移动方向背向目标区域是指：对象的移动方向是背离目标区域的。在该位置移动方向下，目标对象可以由参考位置移出目标区域。位置移动方向可以是垂直于目标区域，也可以是以一定的角度背向目标区域，例如60度的方向。当位置点集合中存在参考位置对应的前向位置点以及后向位置点，则说明目标对象通过了参考位置，当根据图像帧的排序得到前向位置点与后向位置点对应的位置移动方向背向目标区域时，则说明目标对象的目的地是目标区域之外，因此可以确定目标对象移出目标区域。

在一些实施例中，根据位置移动方向确定目标对象相对于目标区域的流向包括：当位置移动方向背向目标区域时，确定目标对象移出目标区域。例如，当参考位置是边界或者出口时，如果存在参考位置的前向位置点以及后向位置点，且位置移动方向背向目标区域时，确定目标对象移出目标区域。

在一些实施例中，参考位置包括目标区域的入口，根据位置移动方向确定目标对象相对于目标区域的流向包括：当位置移动方向朝向目标区域时，确定目标对象进入目标区域。当参考位置是边界或者出口时，如果存在参考位置的前向位置点以及后向位置点，且位置移动方向朝向目标区域时，确定目标对象进入目标区域。

上述图像识别方法，存在参考位置的前向位置点和后向位置点表示目标对象经过参考位置的两侧，而根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序可以确定目标对象的位置移动方向，因此根据位置移动方向可以准确确定目标对象相对于目标区域的流向，识别准确度高，识别效果好。

在一些实施例中，如图4所示，确定确定位置点集合中各个目标位置点与参考位置的第一相对位置关系包括：

步骤S402,获取根据参考位置的位置信息确定的参考位置函数。

具体地，参考位置函数是用于描述参考位置的位置的函数，可以根据参考位置对应的位置信息得到描述参考位置的位置函数。例如，假设将参考位置看作是一条直线，参考位置的起点坐标为(0,2)，参考位置的终点坐标为(6,14)，则可以得到参考位置函数为y＝2x+2。

步骤S404,获取目标位置点对应的第一坐标以及第二坐标。

具体地，一个目标位置点的坐标可以用第一坐标和第二坐标表示，例如，第一坐标可以是横坐标，第二坐标可以是纵坐标。或者，第一坐标可以是纵坐标，第二坐标可以是横坐标。目标位置点的坐标可以用像素坐标表示，如图5所示，假设图像帧中，一个格子代表一个像素，从上往下，从左往右数，目标对象在第6行第5列中，则对应的第一坐标可以为5，第二坐标可以为6，目标位置点的坐标表示为(5,6)。

步骤S406,将第一坐标代入到参考位置函数中，得到对应的参考坐标。

具体地，得到目标位置点对应的第一坐标后，可以将第一坐标代入到参考位置函数中，通过参考位置函数进行计算，得到参考坐标，例如，假设目标位置点坐标为(5,6)，则可以将第一坐标5代入到函数y＝2x+2，得到参考坐标为2*5+2＝12。

步骤S408,比较参考坐标与第一坐标对应的第二坐标的大小关系，根据大小关系确定目标位置点与参考位置的第一相对位置关系。

具体地，坐标之间的大小关系可以为大于、小于以及等于中的一个。得到参考坐标后，获取与代入位置函数计算的第一坐标对应的第二坐标，将第二坐标与参考坐标进行对比，比较第二坐标与参考坐标的大小，根据大小关系确定参考位置与目标位置点的第一相对位置关系。如果是等于，则可以确定目标位置点与参考位置重合。如果不是等于，则可以根据预先设置的大小关系与相对位置关系的对应关系确定是前向位置点还是后向位置点。例如，假设目标位置点坐标为(5,6)，则将坐标5代入到函数y＝2x+2，得参考坐标为2*5+2＝12，则将第二坐标6与参考坐标12比较，得到第二坐标小于参考坐标。

在一些实施例中，根据大小关系确定参考位置与目标位置点的第一相对位置关系包括：当大小关系为第一大小关系时，确定第二坐标对应的目标位置点为参考位置对应的前向位置点；当大小关系为第二大小关系时，确定第二坐标对应的目标位置点为参考位置对应的后向位置点；第一大小关系与第二大小关系相反。

具体地，第一大小关系和第二大小关系相反是指：如果第一大小关系为大于，则第二大小关系为小于；如果第一大小关系为小于，则第二大小关系为大于。第一大小关系以及第二大小关系具体哪个是大于哪个是小于具体可以根据实际确定。例如，在建立坐标系后，根据参考位置函数确定当纵坐标相同时，位于参考位置之前的位置的横坐标小于参考位置的横坐标，则当第二坐标是横坐标时，如果第二坐标小于参考坐标，则确定目标位置点为参考位置对应的前向位置点。

在一些实施例中，如图6所示获取参考位置的位置信息的步骤具体可以包括以下步骤：

S602，获取对参考位置进行拍摄得到的参考图像帧，参考图像帧上包括参考位置标定图形。

具体地，参考图像帧可以是图像序列中的图像帧，可以将图像序列中包括参考位置标定图形的图像帧作为参考图像帧。参考图像帧也可以是预先对参考位置进行拍摄得到的。参考位置标定图形是指标定参考位置的位置的图形。图形可以是线段、圆形、三角形或者四边形中的一个或多个，当然也可以是其他图形。

S604，根据参考位置标定图形在参考图像帧的位置，得到参考位置的位置信息。

具体地，可以对参考位置标定图形在参考图像帧中的位置进行识别，得到参考位置的位置信息。在进行识别时，可以识别参考位置标定图形的多个特征点的位置，作为参考位置。例如如果参考位置标定图形是直线线段，则可以识别直线线段的起点和终点。如果参考位置标定图形是四边形，则可以识别得到四边形的四个顶点。

在一些实施例中，参考图像帧可以有一个或多个，当摄像头的拍摄角度与范围是固定不变的时，则参考位置标定图形在图像帧中的位置是固定不变的，则各个图像帧中参考位置对应的参考位置是固定的，因此参考图像帧可以为1个，可以预先拍摄一个参考图像帧，获取参考位置标定图形在参考图像帧的位置，得到参考位置的位置信息。当摄像头的拍摄角度或范围中的一个或多个是随时变化的，则不同的图像帧中，参考位置对应的位置信息也在不断的变化，因此在获取参考位置对应的位置信息，以得到目标位置点与参考位置的相对位置关系时，需要在相同的图像帧中获取参考位置对应的位置信息。即在同一个图像帧中获取目标对象的目标位置点以及参考位置标定图形对应的位置信息，例如假设图像序列中有3个图像帧，则在第一个图像帧中获取目标对象对应的目标位置点以及该目标位置点对应的参考位置的位置信息。在第二个图像帧中获取目标对象对应的目标位置点以及该目标位置点对应的参考位置的位置信息，在第三个图像帧中获取目标对象对应的目标位置点以及该目标位置点对应的参考位置的位置信息。

在一些实施例中，参考图像帧上还包括参考位置对应的路径确定辅助图形，路径确定辅助图形设置在进入参考位置的路径上，图形识别方法还包括：获取路径确定辅助图形在参考图像帧的位置，得到第一位置；确定位置点集合中目标位置点与第一位置的第二相对位置关系；当根据第二相对位置关系得到位置点集合中，存在第一位置对应的前向位置点以及后向位置点时，获取第一位置对应的目标路径，确定目标对象通过目标路径移动到参考位置。

具体地，路径确定辅助图形是用于辅助确定目标对象进入目标区域的路径的，辅助图形可以是线段、圆形、三角形或者四边形中的一个或多个，当然也可以是其他图形。路径确定辅助图形设置在进入目标区域的路径上。进入目标区域的路径可以有一个或多个，可以在部分或者全部路径上分别画上路径确定辅助图形。例如，如图7所示，假设虚线1是参考位置，为入口对应的位置，则进入目标区域有三个路径，第一个是从虚线2到虚线1，第二个是从虚线3到虚线1，第三个是从虚线4到虚线1，在这三个路径上都画上了路径确定辅助图形：虚线2、虚线3以及虚线4。确定第二相对位置关系可以参考确定第一相对位置关系的方法，在此不再赘述。当确定了位置集合中存在第一位置对应的前向位置点以及后向位置点时，则说明目标对象是通过该第一位置对应的路径进入入口的，因此可以获取第一位置对应的目标路径，确定目标对象通过目标路径进入入口，通过入口进入目标区域。例如，假设位置点集合中，存在虚线2对应的第一位置的前向位置点以及后向位置点，则确定目标对象是从虚线2到虚线1这一条路径进入目标区域的。

在一些实施例中，如图8所示，图像识别方法还可以包括以下步骤：

步骤S802，当确定目标对象进入目标区域时，获取目标对象对应的历史进入区域。

具体地，历史进入区域是指目标对象曾经进入过的区域。例如，目标对象昨天进入过商店H，则商店H为目标对象的历史进入区域。目标对象的历史进入区域预先存储在数据库中，例如可以存储目标对象的人脸图像与历史进入区域的对应关系。当确定目标对象进入目标区域时，获取目标对象对应的历史进入区域。

在一些实施例中，获取目标对象对应的历史进入区域包括：获取目标对象对应的目标图像数据，以及预先存储的图像数据集合，图像数据集合包括多个对象分别对应的图像数据；将目标图像数据与图像数据集合中的图像数据进行相似对比，得到目标对象对应的历史图像数据；获取历史图像数据对应的历史进入区域，作为目标对象对应的历史进入区域。

具体地，目标图像数据是目标对象的图像数据，可以是整个目标对象对应的图像数据，也可以是目标对象的一部分对应的图像数据，例如，假设目标对象是人，则目标图像数据可以是人脸的图像。目标图像数据可以是从图像序列的图像帧中获取的。预先存储的图像数据集合中包括了多个对象分别对应的图像数据，具体数量根据实际可以不同。例如，可以在人第一次进入商场时，则利用摄像头拍摄人的人脸图像，并存储在数据库中。当确定了人进入了某一个商店，则获取图像序列中该人的人脸图像，与图像数据集合中的人脸图像进行对比，将预先存储的人脸图像数据中，与目标对象相似的图像数据作为目标对象对应的历史图像数据，以确定数据库中是否存储了该人曾经的图像数据。例如将与目标图像数据的相似度大于预设相似度的图像数据作为该人的历史图像数据，预设相似度可以根据需要设置，例如可以是0.99。可以预先存储历史图像数据与进入区域的对应关系，得到历史图像数据后，可以获取历史图像数据对应的历史进入区域，作为目标对象对应的历史区域。

本申请实施例中，通过获取目标对象的目标图像数据，与预先存储的图像数据集合的图像数据进行对比，以确定目标对象对应的历史进入区域，可以在不知道目标对象的具体身份例如名字或者身份证号的情况下，也可以获取得到目标对象的历史进入区域，方便快捷。

举个实际的例子，数据库中可以存储数十个人的人脸图像，以及人脸图像对应的人曾进入过哪些区域，当确定某个人X进入了目标区域，则获取图像序列中X的人脸图像数据，作为目标图像数据，将X的人脸图像数据与数据库的图像数据集合中存储的人脸图像进行对比，从图像数据集合找出X的人脸图像，这样就可以获取X曾经进入过哪些区域，这样，无需获取X的姓名或者身份证号等信息，也可以确定X进入过哪些区域。

步骤S804，根据历史进入区域向目标区域对应的终端发送提示信息。

具体地，提示信息是根据历史进入区域得到的，是与历史进入区域相关的信息。例如提示信息可以是历史进入区域的名称，也可以是对历史进入区域的类型进行统计，得到的历史进入区域的类型，以对目标对象历史进入区域的类型进行提示。提示信息的形式可是文字、图像、视频或者声音中的至少一个。目标区域对应的终端可以设置在目标区域上，也可以是目标区域中的管理人员的终端。例如，目标区域对应的终端可以是目标区域中的电脑，也可以是目标区域中的销售人员的手机。通过根据历史进入区域向目标区域对应的终端发送提示信息，从而使得提示信息更加具有针对性，提示效果好。

在一些实施例中，根据历史进入区域确定目标对象进入目标区域的目标次数；根据目标次数确定目标对象对应的对象类型，向目标区域对应的终端发送对象类型提示信息。

在一些实施例中，历史进入区域可以是目标区域。对象类型是与目标次数有关的，可以统计目标对象进入目标区域的次数，作为目标次数，根据目标次数对该目标对象进行分类。对象类型提示信息是提示目标对象的类型的提示信息。例如，对于商店，可以将进入次数小于第一预设次数的作为新客户，将进入次数大于第二预设次数的作为老客户。对于新客户，则对象类型提示信息可以是：“有顾客进门啦，为新的顾客哦”。对于老客户，则对象类型提示信息可以是：“有顾客进门啦，为老顾客哦”。而对于安全级别高的目标区域，对于从未进入过目标区域的目标对象，则对象类型提示信息可以是：“有新的访客进入，请注意检查该访客的身份，避免陌生人随意进入，造成信息泄露”。通过发送对象类型提示信息，可以使得目标区域对应的人员根据对象类型提示信息确定针对目标对象的应对措施，提示信息针对性强。

在一些实施例中，根据历史进入区域向目标区域对应的终端发送提示信息包括：确定历史进入区域对应的第一区域类型以及目标区域对应的第二区域类型；当第一区域类型与第二区域类型相似时，确定目标对象为目标识别主体，向目标区域对应的终端发送目标识别主体提示信息。

具体地，区域类型可以是根据该区域提供的商品的类型确定的，商品可以是有形的商品，例如，鞋子，也可以是无形的商品，例如可以是理发服务，化妆服务。举个实际的例子，对于商店，可以根据商店售卖的商品进行分类，可以分为售卖鞋子的，售卖衣服的或者食品的。第一区域类型与第二区域类型相似可以是指提供相同的商品，也可以是指商品的种类相似，区域类型是否相似可以根据需要设置。目标识别主体是指该目标对象为希望识别得到的主体，例如，为目标顾客。目标识别主体提示信息用于提示目标对象为目标识别主体，例如可以为“潜在的具有购买意向的客户到了”。通过发送目标识别主体提示信息，可以使得目标区域的人员有针对性的为该目标对象提供服务。举个实际的例子，假设目标区域为家具店，服务器得到顾客X的历史进入区域包括了家具店，则可以发送提示X为潜在客户的提示信息，以提示目标区域的店员客户X是有兴趣购买家具的顾客。

在一些实施例中，对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置包括：获取当前图像帧，识别当前图像帧中目标对象对应的目标特征点的位置，根据目标特征点的位置确定目标对象对应的位置。

具体，当前图像帧是图像序列中的图像帧，可以按照顺序依次将图像序列中的图像帧作为当前图像帧。得到当前图像帧后，识别当前图像帧中，目标对象的特征点。根据目标特征点的位置确定目标对象在当前图像帧的哪个位置上，从而得到目标对象对应的位置。目标特征点可以有一个或多个。可以将目标特征点的中心点作为目标对象所在的位置。也可以将包括所有目标特征点的人体外形框的位置作为目标对象的位置。

在一些实施例中，如图9所示，识别当前图像帧中目标对象对应的目标特征点的位置包括:

步骤S902,获取特征点识别模型，特征点识别模型包括第一模型以及第二模型，第一模型包括多层顺序相接的神经网络层。

具体地，特征点识别模型是用于识别特征点的模型，特征点识别机器学习模型是预先训练得到的机器学习模型，可以采用有监督的训练方法，例如采用训练样本对特征点识别机器学习模型进行训练，根据训练样本中实际的特征点位置与特征点识别模型预测得到的特征点位置的差异得到模型损失值，朝着模型损失值下降的方向调整模型参数，直至模型收敛，得到特征点识别模型。特征点模型可以包括第一模型以及第二模型，第一模型的输出是第二模型的输入，即可以将第一模型的输出结果输入到第二模型中。神经网络层是模型中用于对数据进行处理的隐层，例如可以是卷积神经网络中的卷积层。神经网络层的个数可以根据需要设置，例如可以为5层。神经网络层顺序相接是指神经网络层是按照顺序依次连接的，例如假设有3层神经网络层，则第一层之后为第二层，第二层接收第一层输出的结果作为输入，第二层之后为第三层，第三层接收第二层输出的结果作为输入。

步骤S904,将当前图像帧输入到第一模型中，第一模型利用各层神经网络层对当前图像帧进行特征提取，得到各层神经网络层输出的特征图。

具体地，特征提取是指提取图像信息，以得到图像的特征。例如可以用卷积核进行特征提取，得到每层神经网络层输出的特征图(feature map)，特征图是指利用模型参数对输入图像进行处理例如进行卷积后，得到的图像的特征。

步骤S906,将至少两层神经网络层输出的特征图进行拼接，得到拼接特征图，将拼接特征图输入到第二模型中，识别得到当前图像帧中目标对象对应的目标特征点的位置。

具体地，拼接是指顺序连接，得到各层神经网络层输出的特征图后，可以将特征图拼接在一起，得到拼接特征图。拼接时，可以是每一层的特征图都进行拼接，也可以是挑选部分特征图进行拼接，例如如果神经网络层有5层，将第2～第5层输出的特征图进行拼接。目标对象对应的目标特征点的位置可以用坐标值来表示，例如(2,3)。第二模型可以对拼接特征图进行处理，输出当前图像帧中目标对象对应的目标特征点的位置。本申请实施例中，第一模型包括多层神经网络层，排序在前的神经网络层提取到的特征图有着较高的空间分辨率，随着网络深度的增加，特征图经过多次的卷积和池化，排序在后的神经网络层输出的特征图在语义信息较多，但空间分辨率较低，因此通过将神经网络模型输出的特征图进行拼接，得到拼接特征图，能够使得拼接特征图可以同时保留特征层的空间分辨率和语义信息，从而使得特征点识别效果好。

在一些实施例中，第一模型可以是基于ResNet(残差网络)的机器学习模型。可以把第2到第5层卷积层输出的残差块即特征图分别表示为：C2、C3、C4、C5,将C2、C3、C4以及C5拼接在一起，输入到第二模型中。卷积层中卷积核的大小可以是3*3。

在一些实施例中，第一模型可以是特征金字塔网络(feature pyramid network，FPN)。第二模型可以是提炼网络(RefineNet)。RefineNet提供了融合高分辨语义特征和低分辨语义特征来生成高分辨分割图的模型结构。RefineNet可以在不同网络层之间传输信息，并通过上采样和网络层的连接把这些信息整合起来，提升了信息传输的效率，保证信息完整性。通过特征金字塔网络可以学习一个好的特征表征，并且金字塔特征可以提供充足的语境信息，帮助推断遮挡和不可见的特征点。在特征金字塔网络的基础上，可以利用RefineNet处理遮挡和不可见的特征点，因此特征点识别效果好。

在一些实施例中，在进行模型训练时，模型参数是朝着损失值减小的方向上进行调整的，为了使得RefineNet可以重点关注难识别的特征点，在调整模型参数时，可以获取实际位置与模型的预测位置的差异大于预设差异的特征点，作为目标特征点，根据目标特征点实际位置与模型的预测位置的差异计算损失值，这样，可以根据训练损失选择难识别的特征点，并可以只从选择的目标关键点中反向传播梯度，从而使得特征点识别模型可以识别得到较难识别的特征点，提高了模型进行特征点识别的准确度。

在进行模型训练时，可以使用adam算法训练模型，adam算法基于训练数据迭代地更新神经网络权重，可以通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。初始学习速率为5*e^-4。可以在每3600000次迭代后，会将学习率降低2倍，模型训练时一次训练所选取的样本数(batch)的大小可以为32。可以使用批量标准化(Batch Normalization)的方法，并采用ImageNet预训练模型，来对模型的权重进行初始化。在获取训练集时，可以从MS COCO中训练集，还可以将图片进行水平翻转操作生成相应的翻转图片与标签，作为训练样本，这样可以将训练集的样本的数量扩大为原有数据集的样本数量的两倍。MS COCO训练集是微软公司提供的用于进行图像识别模型训练的图像训练样本的集合。

如图10所示，为一些实施例中利用特征点识别模型识别得到目标对象的特征点的示意图。将图像帧输入到模型中，第一模型对图像帧进行处理，输出处理结果，将处理结果进行拼接，将处理结果输入到第二模型中，第二模型输出图像帧中特征点的位置，如图10右边的人中的方框所示，为特征点的位置。其中，图10中“bottleneck”是指隐层为瓶颈结构的隐层，假设bottleneck隐层的输入为x，则bottleneck隐层的输出为y＝f(x)+x，f(x)是指利用隐层的隐层参数对输入x进行处理得到的结果。Upsampling A times是指进行A倍的上采样处理，A可以根据需要设置。例如2X指进行2倍的上采样处理，ele-sum是指element-wiseproduct，即元素积，也可指对元素进行阿达玛积计算，例如，将矩阵a与矩阵k进行阿达玛积计算。图中的第一损失值和第二损失值是在进行模型训练时计算的，第二损失值可以是根据难识别的特征点的实际位置与预测位置的差异计算得到的，难识别的特征点例如可以是臀部的特征点。

例如，如图11所示，当目标对象为人，则人的眼睛中的特征点，是容易识别得到的，而对于人的臀部的特征点，则由于被遮挡，比较难识别得到。通过将图像帧输入到第一模型中，第一模型各层神经网络层提取得到的特征图已经可以体现人的眼睛中的特征点的位置，再将第一模型的输出结果输入到第二模型中，重点识别难识别的臀部特征点，因此第二模型可以输出眼睛的位置以及臀部的特征点位置。这样在特征点被隐藏或不可见、背景拥挤的场景下，仍能较准确的识别特征点。

在一些实施例中，可以统计预设时长例如每小时进入目标区域的对象的数量，并发送到目标区域对应的终端中。例如，可以统计早上8：00到9:00这一个时间段内进入目标区域的人的数量。举个实际的例子，可以统计得到某个商店早上8点到9点的进店人数为3人，9点到10点的进店人数为5人，10点到11点的进店人数为8人。这样可以帮助管理人员提高销售人员的效率，也可以根据进入商店的人数安排商店中销售人员的人数。

在一些实施例中，可以统计预设时长例如每小时从目标区域出去的对象的数量，还可以将从目标区域出去的对象的数量发送到目标区域对应的终端中。

在一些实施例中，还可以统计目标对象进入目标区域到移出目标区域的时长，即目标对象在目标区域的停留时长。根据目标区域中展示的资源，以及目标对象在目标区域的停留时长确定目标对象的兴趣。还可以根据目标对象的兴趣向目标对象推送对应的信息。例如，如果目标对象在目标区域的时间长度大于预设长度，则可以向目标对象对应的终端发送目标区域中展示的商品对应的商品推荐信息。举个实际的例子，假设用户在售卖运动装的服饰店停留时间超过一小时，则可以向用户对应的终端发送与运动装有关的推荐信息。

在一些实施例中，还可以获取同一个目标对象在多个目标区域的停留时长，比较各个目标区域的停留时长，得到目标对象对应的兴趣。例如可以将停留时长最长的目标区域中展示的资源作为目标对象感兴趣的资源，向目标对象对应的终端发送与该资源相关的推送信息。

在一些实施例中，可以统计路过目标区域的参考位置的对象的总数量，计算通过参考位置进入目标区域的对象的数量与路过参考位置的对象的总数量。可以利用摄像头对人体进行捕捉，最终得到经过门口的对象总数量，并采用本申请实施例的方法统计进入目标区域的对象的数目，将进入目标区域的对象的数目除以总数量，得到该目标区域的对象进入率。例如，假设统计得到路过商店的门口的人的总数量为2295人，针对每一个路过门店的参考位置的顾客，检测其是否进入商店，并进行统计，最终检测到有984人进店，则进店率为984/12295＝42.87％。进店率数据可以帮助商店对客流有更好的把控。例如当商店采取了不同的促销活动，可以通过进店率来判断促销效果的好坏，帮助商店分析促销手段的好坏，从而帮助提升门店的经营效率。

在一些实施例中，可以统计进入目标区域的目标对象的数量，以及移出目标区域的目标对象的数量，根据进入目标区域的目标对象的数量，以及移出目标区域的目标对象的数量得到目标区域中目标对象的数量，以对目标区域中的人流数量进行统计。例如，假设计算得到进入目标区域的人数为100人，而从目标区域出去的人数为60人，则可以得到当前在目标区域的人数为40人。

在一些实施例中，目标区域可以有多个，例如一个商场可以有多家商店，一家商店可以为一个目标区域。可以统计各个区域的对象的数量，根据各区域的对象的数量生成区域的对象热力图，对象热力图表示各个区域中对象数量的多少。可以通过预设标记方式来体现各个区域中的人流数量。预设标记方式可以包括颜色或者在区域上增加对应的说明信息等方式中的至少一种，说明信息可以是文字说明信息或者图形说明信息的至少一种。例如可以在各个区域上加上表示该区域中人流数量的数字，也可以用三角形表示人流量巨大，用正方形表示人流量少。如图12所示，为一些实施例中生成的商场人流热力图，区域的颜色越深，代表该区域中人的数量越多。如区域1201的颜色最深，为黑色，则表示人流量最大，区域1202的颜色比区域1201浅，则说明人流量比区域1201少，区域1203以及区域1204的颜色为灰色，比区域1202的颜色浅，则说明人流量比区域1202少。不同的颜色也可以代表不同的人数，例如黑色可以表示人流量大于100，灰色表示人流量小于10。通过热力图，商场区域的管理人员可以根据各个目标区域的人数进行管理，例如在人流量大的地方派遣更多的安全保卫人员，对人流大的区域进行客流控制等。

在一些实施例中，当检测到对象进入目标区域后，可以向目标区域的终端发送对象进入区域的提示信息，例如向商店的到店提示音箱发送提示信息，使得在有人进入商店时，可以及时提醒店员有客户进入商店。

本申请实施例提供的图像识别方法可以在搭载有AI(Artificial Intelligence，人工智能)摄像头、Jetson TX1芯片以及含有GPU(Graphics Processing Unit，图形处理器)的计算机设备上运行，例如X86服务器。Jetson TX1是英伟达公司新出的GPU开发板。

以下结合具体的应用环境对本申请实施例提供的图像识别方法进行说明。包括以下步骤：

1、获取目标对象的图像数据，并存储在数据库中。

例如，当顾客通过商场的大门进入商场时，位于商场大门的摄像头可以对顾客进行拍照，得到顾客的人脸图像数据，为该人脸图像数据分配用户标识，并存储在数据库中。

2、目标区域参考位置处的摄像头进行拍摄，得到图像序列，发送到服务器中。

例如，商场可以有多家商店，每家商店的门口可以设置有摄像头，F商店的摄像头通过摄像头对商店的门口进行拍摄，得到图像序列，并发送到服务器中。

3、服务器获取待识别的图像序列。

4、服务器对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置点，得到目标对象对应的位置点集合。

例如，服务器可以识别得到第一张图像中A顾客所在的位置点，第二张图像中A顾客所在的位置点，第三张图像中A顾客所在的位置点，得到A顾客对应的位置点集合。服务器可以识别得到第一张图像中B顾客所在的位置点，第三张图像中B顾客所在的位置点，第五张图像中B顾客所在的位置点，得到B顾客对应的位置点集合。

5、获取参考位置对应的参考位置，确定位置点集合中各个目标位置点与参考位置的第一相对位置关系。

6、当根据第一相对位置关系得到位置点集合中，存在参考位置对应的前向位置点以及后向位置点，且根据图像帧的排序得到目标对象对应的位置移动方向朝向目标区域时，确定目标对象进入目标区域。

例如，假设得到A顾客在第一张图像帧的目标位置点为参考位置的前向位置点，第三张图像帧的目标位置点为参考位置的后向位置点，且根据图像帧的排序得到由前向位置点到后向位置点的移动方向为朝向目标区域，则确定A顾客进入目标区域。假设得到B顾客在第三张图像帧的目标位置点为参考位置的前向位置点，第五张图像帧的目标位置点为参考位置的后向位置点，但根据图像帧的排序得到由前向位置点到后向位置点的移动方向并不是朝向目标区域，则确定B顾客没有进入目标区域。

7、获取目标对象对应的历史进入区域。

假设在步骤2之前，通过同样的图像识别方法识别得到顾客A进入了G商店，则在识别得到顾客A进入了G商店时，服务器可以获取在G商店时顾客A的图像数据，与数据库中的图像数据进行对比，假设比对得到与进入商城的大门时顾客A的图像数据相似，为同一个人，则服务器中可以存储顾客A的历史进入区域为G商店。当确定顾客A进入了F商店时，服务器可以获取顾客A在F商店门口时的人脸图像，与数据库中的人脸图像进行对比，假设对比得到与进入商场的大门时顾客A的图像数据相似，为同一个人，则由于服务器已经存储了顾客A的历史进入区域为G商店。因此服务器可以得到顾客A曾经进入的区域为G商店。

8、根据历史进入区域向目标区域对应的终端发送提示信息。

例如，假设F商店与G商店均为家具店，即区域类型相同，则服务器可以向F商店中的电脑中发送提示信息：“购买家具的潜在客户来了”。

如图13所示，在一些实施例中，提供了一种图像识别装置，该图像识别装置可以集成于上述的计算机设备120中，具体可以包括图像序列获取模块1302、目标位置点识别模块1304、第一相对位置确定模块1306、位置移动方向确定模块1308以及流向确定模块1310。

图像序列获取模块1302，用于获取待识别的图像序列，图像序列为对目标区域对应的参考位置进行拍摄得到的，图像序列包括多个按照拍摄时间排序的图像帧。

目标位置点识别模块1304，用于对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置点，得到目标对象对应的位置点集合。

第一相对位置确定模块1306，用于确定位置点集合中各个目标位置点与参考位置的第一相对位置关系。

位置移动方向确定模块1308，用于当根据第一相对位置关系得到位置点集合中，存在参考位置对应的前向位置点以及后向位置点时，根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序，确定目标对象对应的位置移动方向。

流向确定模块1310，用于根据位置移动方向确定目标对象相对于目标区域的流向。

在一些实施例中，第一相对位置确定模块1306包括：

参考位置函数获取单元，用于获取根据参考位置对应的位置信息确定的参考位置函数。

坐标获取单元，用于获取目标位置点对应的第一坐标以及第二坐标。

参考坐标得到单元，用于将第一坐标代入到参考位置函数中，得到对应的参考坐标。

第一相对位置确定单元，用于比较参考坐标与第一坐标对应的第二坐标的大小关系，根据大小关系确定目标位置点与参考位置的第一相对位置关系。

在一些实施例中，第一相对位置确定单元用于：当大小关系为第一大小关系时，确定第二坐标对应的目标位置点为参考位置对应的前向位置点；当大小关系为第二大小关系时，确定第二坐标对应的目标位置点为参考位置对应的后向位置点；第一大小关系与第二大小关系相反。

在一些实施例中，获取参考位置的位置信息的模块用于：获取对参考位置进行拍摄得到的参考图像帧，参考图像帧上包括参考位置标定图形；根据参考位置标定图形在参考图像帧的位置，得到参考位置的位置信息。

在一些实施例中，参考图像帧上还包括参考位置对应的路径确定辅助图形，路径确定辅助图形设置在进入参考位置的路径上，图像识别装置还包括：

第一位置获取模块，用于获取路径确定辅助图形在参考图像帧的位置，得到第一位置。

第二相对位置确定模块，用于确定位置点集合中目标位置点与第一位置的第二相对位置关系。

目标路径得到模块，用于当根据第二相对位置关系得到位置点集合中，存在第一位置对应的前向位置点以及后向位置点时，获取第一位置对应的目标路径，确定目标对象通过目标路径移动到参考位置。

在一些实施例中，参考位置包括目标区域的出口，流向确定模块1310用于：当位置移动方向背向目标区域时，确定目标对象移出目标区域。

在一些实施例中，参考位置包括目标区域的入口，流向确定模块1310用于：当位置移动方向朝向目标区域时，确定目标对象进入目标区域。

在一些实施例中，图像识别装置还包括：

历史进入区域获取模块，用于当确定目标对象进入目标区域时，获取目标对象对应的历史进入区域。

提示信息发送模块，用于根据历史进入区域向目标区域对应的终端发送提示信息。

在一些实施例中，提示信息发送模块用于：

根据历史进入区域确定目标对象进入目标区域的目标次数。

根据目标次数确定目标对象对应的对象类型，向目标区域对应的终端发送对象类型提示信息。

在一些实施例中，提示信息发送模块用于：

确定历史进入区域对应的第一区域类型以及目标区域对应的第二区域类型。

当第一区域类型与第二区域类型相似时，确定目标对象为目标识别主体，向目标区域对应的终端发送目标识别主体提示信息。

在一些实施例中，历史进入区域获取模块用于：

获取目标对象对应的目标图像数据，以及预先存储的图像数据集合，图像数据集合包括多个对象分别对应的图像数据。

将目标图像数据与图像数据集合中的图像数据进行相似对比，得到目标对象对应的历史图像数据。

获取历史图像数据对应的历史进入区域，作为目标对象对应的历史进入区域。

在一些实施例中，目标位置点识别模块用于：获取当前图像帧，识别当前图像帧中目标对象对应的目标特征点的位置，根据目标特征点的位置确定目标对象对应的位置。

在一些实施例中，目标位置点识别模块用于:

获取特征点识别模型，特征点识别模型包括第一模型以及第二模型，第一模型包括多层顺序相接的神经网络层。

将当前图像帧输入到第一模型中，第一模型利用各层神经网络层对当前图像帧进行特征提取，得到各层神经网络层输出的特征图。

将至少两层神经网络层输出的特征图进行拼接，得到拼接特征图，将特征图输入到第二模型中，识别得到当前图像帧中目标对象对应的目标特征点的位置。

图14示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图14所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像识别方法。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，本申请提供的图像识别装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像识别装置的各个程序模块，比如，图13所示的图像序列获取模块1302、目标位置点识别模块1304、第一相对位置确定模块1306、位置移动方向确定模块1308以及流向确定模块1310。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像识别方法中的步骤。

例如，图14所示的计算机设备可以通过如图13所示的图像识别装置中图像序列获取模块1302获取待识别的图像序列，图像序列为对目标区域对应的参考位置进行拍摄得到的，图像序列包括多个按照拍摄时间排序的图像帧。通过目标位置点识别模块1304对图像序列中的各个图像帧进行目标对象识别，识别得到各个图像帧中目标对象对应的目标位置点，得到目标对象对应的位置点集合。通过第一相对位置确定模块1306确定位置点集合中各个目标位置点与参考位置的第一相对位置关系。通过位置移动方向确定模块1308当根据第一相对位置关系得到位置点集合中，存在参考位置对应的前向位置点以及后向位置点时，根据前向位置点对应的图像帧与后向位置点对应的图像帧的排序，确定目标对象对应的位置移动方向。通过流向确定模块1310，用于根据位置移动方向确定目标对象相对于目标区域的流向。

在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像识别方法的步骤。此处图像识别方法的步骤可以是上述各个实施例的图像识别方法中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像识别方法的步骤。此处图像识别方法的步骤可以是上述各个实施例的图像识别方法中的步骤。

应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (28)

1.一种图像识别方法，所述方法包括：

获取待识别的图像序列，所述图像序列为对目标区域对应的参考位置进行拍摄得到的，所述图像序列包括多个按照拍摄时间排序的图像帧；

对所述图像序列中的各个图像帧进行目标对象识别，识别得到各个所述图像帧中所述目标对象对应的目标位置点，得到所述目标对象对应的位置点集合；

确定所述位置点集合中各个所述目标位置点与所述参考位置的第一相对位置关系；

当根据所述第一相对位置关系得到所述位置点集合中，存在所述参考位置对应的前向位置点以及后向位置点时，根据所述前向位置点对应的图像帧与所述后向位置点对应的图像帧的排序，确定所述目标对象对应的位置移动方向；

根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向；

获取参考位置对应的路径确定辅助图形在参考图像帧的位置，得到第一位置，所述参考图像帧是对所述参考位置进行拍摄得到的，所述路径确定辅助图形设置在进入所述参考位置的路径上；

确定所述位置点集合中所述目标位置点与所述第一位置的第二相对位置关系；

当根据所述第二相对位置关系得到所述位置点集合中，存在所述第一位置对应的前向位置点以及后向位置点时，获取所述第一位置对应的目标路径，确定所述目标对象通过所述目标路径移动到所述参考位置。

2.根据权利要求1所述的方法，其特征在于，所述确定所述位置点集合中各个所述目标位置点与所述参考位置的第一相对位置关系包括：

获取根据所述参考位置的位置信息确定的参考位置函数；

获取所述目标位置点对应的第一坐标以及第二坐标；

将所述第一坐标代入到所述参考位置函数中，得到对应的参考坐标；

比较所述参考坐标与所述第一坐标对应的第二坐标的大小关系，根据所述大小关系确定所述目标位置点与所述参考位置的第一相对位置关系。

3.根据权利要求2所述的方法，其特征在于，所述根据所述大小关系确定所述参考位置与所述目标位置点的第一相对位置关系包括：

当所述大小关系为第一大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的前向位置点；

当所述大小关系为第二大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的后向位置点；

所述第一大小关系与所述第二大小关系相反。

4.根据权利要求2所述的方法，其特征在于，获取所述参考位置的位置信息的步骤包括：

获取对所述参考位置进行拍摄得到的参考图像帧，所述参考图像帧上包括参考位置标定图形；

根据所述参考位置标定图形在所述参考图像帧的位置，得到所述参考位置的位置信息。

5.根据权利要求1所述的方法，其特征在于，所述参考位置为所述目标区域的入口或者所述目标区域的出口。

6.根据权利要求1所述的方法，其特征在于，所述根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向包括：

当所述位置移动方向背向所述目标区域时，确定所述目标对象移出所述目标区域。

7.根据权利要求1所述的方法，其特征在于，所述根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向包括：

当所述位置移动方向朝向所述目标区域时，确定所述目标对象进入所述目标区域。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

当确定所述目标对象进入所述目标区域时，获取所述目标对象对应的历史进入区域；

根据所述历史进入区域向所述目标区域对应的终端发送提示信息。

9.根据权利要求8所述的方法，其特征在于，所述根据所述历史进入区域向所述目标区域对应的终端发送提示信息包括：

根据所述历史进入区域确定所述目标对象进入所述目标区域的目标次数；

根据所述目标次数确定所述目标对象对应的对象类型，向所述目标区域对应的终端发送对象类型提示信息。

10.根据权利要求8所述的方法，其特征在于，所述根据所述历史进入区域向所述目标区域对应的终端发送提示信息包括：

确定所述历史进入区域对应的第一区域类型以及所述目标区域对应的第二区域类型；

当所述第一区域类型与所述第二区域类型相似时，确定所述目标对象为目标识别主体，向所述目标区域对应的终端发送目标识别主体提示信息。

11.根据权利要求8所述的方法，其特征在于，所述获取所述目标对象对应的历史进入区域包括：

获取所述目标对象对应的目标图像数据，以及预先存储的图像数据集合，所述图像数据集合包括多个对象分别对应的图像数据；

将所述目标图像数据与所述图像数据集合中的图像数据进行相似对比，得到所述目标对象对应的历史图像数据；

获取所述历史图像数据对应的历史进入区域，作为所述目标对象对应的历史进入区域。

12.根据权利要求1所述的方法，其特征在于，所述对所述图像序列中的各个图像帧进行目标对象识别，识别得到各个所述图像帧中所述目标对象对应的目标位置包括：

获取当前图像帧，识别所述当前图像帧中所述目标对象对应的目标特征点的位置，根据所述目标特征点的位置确定所述目标对象对应的位置。

13.根据权利要求12所述的方法，其特征在于，所述识别所述当前图像帧中所述目标对象对应的目标特征点的位置包括：

获取特征点识别模型，所述特征点识别模型包括第一模型以及第二模型，所述第一模型包括多层顺序相接的神经网络层；

将所述当前图像帧输入到所述第一模型中，所述第一模型利用各层所述神经网络层对所述当前图像帧进行特征提取，得到各层所述神经网络层输出的特征图；

将至少两层所述神经网络层输出的特征图进行拼接，得到拼接特征图，将所述拼接特征图输入到所述第二模型中，识别得到所述当前图像帧中所述目标对象对应的目标特征点的位置。

14.一种图像识别装置，所述装置包括：

图像序列获取模块，用于获取待识别的图像序列，所述图像序列为对目标区域对应的参考位置进行拍摄得到的，所述图像序列包括多个按照拍摄时间排序的图像帧；

目标位置点识别模块，用于对所述图像序列中的各个图像帧进行目标对象识别，识别得到各个所述图像帧中所述目标对象对应的目标位置点，得到所述目标对象对应的位置点集合；

第一相对位置确定模块，用于确定所述位置点集合中各个所述目标位置点与所述参考位置的第一相对位置关系；

位置移动方向确定模块，用于当根据所述第一相对位置关系得到所述位置点集合中，存在所述参考位置对应的前向位置点以及后向位置点时，根据所述前向位置点对应的图像帧与所述后向位置点对应的图像帧的排序，确定所述目标对象对应的位置移动方向；

流向确定模块，用于根据所述位置移动方向确定所述目标对象相对于所述目标区域的流向；

第一位置获取模块，用于获取参考位置对应的路径确定辅助图形在参考图像帧的位置，得到第一位置，所述参考图像帧是对所述参考位置进行拍摄得到的，所述路径确定辅助图形设置在进入所述参考位置的路径上；

第二相对位置确定模块，用于确定所述位置点集合中所述目标位置点与所述第一位置的第二相对位置关系；

目标路径得到模块，用于当根据所述第二相对位置关系得到所述位置点集合中，存在所述第一位置对应的前向位置点以及后向位置点时，获取所述第一位置对应的目标路径，确定所述目标对象通过所述目标路径移动到所述参考位置。

15.根据权利要求14所述的装置，其特征在于，所述第一相对位置确定模块包括：

参考位置函数获取单元，用于获取根据所述参考位置的位置信息确定的参考位置函数；

坐标获取单元，用于获取所述目标位置点对应的第一坐标以及第二坐标；

参考坐标得到单元，用于将所述第一坐标代入到所述参考位置函数中，得到对应的参考坐标；

第一相对位置确定单元，用于比较所述参考坐标与所述第一坐标对应的第二坐标的大小关系，根据所述大小关系确定所述目标位置点与所述参考位置的第一相对位置关系。

16.根据权利要求15所述的装置，其特征在于，所述第一相对位置确定单元用于：

当所述大小关系为第一大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的前向位置点；

当所述大小关系为第二大小关系时，确定所述第二坐标对应的目标位置点为所述参考位置对应的后向位置点；

所述第一大小关系与所述第二大小关系相反。

17.根据权利要求15所述的装置，其特征在于，获取所述参考位置的位置信息的模块用于：

获取对所述参考位置进行拍摄得到的参考图像帧，所述参考图像帧上包括参考位置标定图形；

根据所述参考位置标定图形在所述参考图像帧的位置，得到所述参考位置的位置信息。

18.根据权利要求14所述的装置，其特征在于，所述参考位置为所述目标区域的入口或者所述目标区域的出口。

19.根据权利要求14所述的装置，其特征在于，所述流向确定模块用于：

当所述位置移动方向背向所述目标区域时，确定所述目标对象移出所述目标区域。

20.根据权利要求14所述的装置，其特征在于，所述流向确定模块用于：

当所述位置移动方向朝向所述目标区域时，确定所述目标对象进入所述目标区域。

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

历史进入区域获取模块，用于当确定所述目标对象进入所述目标区域时，获取所述目标对象对应的历史进入区域；

提示信息发送模块，用于根据所述历史进入区域向所述目标区域对应的终端发送提示信息。

22.根据权利要求21所述的装置，其特征在于，所述提示信息发送模块用于：

根据所述历史进入区域确定所述目标对象进入所述目标区域的目标次数；

根据所述目标次数确定所述目标对象对应的对象类型，向所述目标区域对应的终端发送对象类型提示信息。

23.根据权利要求21所述的装置，其特征在于，所述提示信息发送模块用于：

确定所述历史进入区域对应的第一区域类型以及所述目标区域对应的第二区域类型；

当所述第一区域类型与所述第二区域类型相似时，确定所述目标对象为目标识别主体，向所述目标区域对应的终端发送目标识别主体提示信息。

24.根据权利要求21所述的装置，其特征在于，所述历史进入区域获取模块用于：

获取所述目标对象对应的目标图像数据，以及预先存储的图像数据集合，所述图像数据集合包括多个对象分别对应的图像数据；

将所述目标图像数据与所述图像数据集合中的图像数据进行相似对比，得到所述目标对象对应的历史图像数据；

获取所述历史图像数据对应的历史进入区域，作为所述目标对象对应的历史进入区域。

25.根据权利要求14所述的装置，其特征在于，所述目标位置点识别模块用于：

获取当前图像帧，识别所述当前图像帧中所述目标对象对应的目标特征点的位置，根据所述目标特征点的位置确定所述目标对象对应的位置。

26.根据权利要求25所述的装置，其特征在于，所述目标位置点识别模块用于:

获取特征点识别模型，所述特征点识别模型包括第一模型以及第二模型，所述第一模型包括多层顺序相接的神经网络层；

将所述当前图像帧输入到所述第一模型中，所述第一模型利用各层所述神经网络层对所述当前图像帧进行特征提取，得到各层所述神经网络层输出的特征图；

将至少两层所述神经网络层输出的特征图进行拼接，得到拼接特征图，将所述拼接特征图输入到所述第二模型中，识别得到所述当前图像帧中所述目标对象对应的目标特征点的位置。

27.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至13中任一项权利要求所述图像识别方法的步骤。

28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至13中任一项权利要求所述图像识别方法的步骤。

Images