CN112164096A - 一种对象识别方法、装置及设备 - Google Patents
一种对象识别方法、装置及设备 Download PDFInfo
- Publication number
- CN112164096A CN112164096A CN202011064287.6A CN202011064287A CN112164096A CN 112164096 A CN112164096 A CN 112164096A CN 202011064287 A CN202011064287 A CN 202011064287A CN 112164096 A CN112164096 A CN 112164096A
- Authority
- CN
- China
- Prior art keywords
- target object
- designated
- target
- area
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种对象识别方法、装置及设备,该方法包括:获取目标对象的运动轨迹;若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。通过本申请的技术方案,能够准确识别出指定类型对象的运动轨迹和非指定类型对象的运动轨迹。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种对象识别方法、装置及设备。
背景技术
近年来,随着人员用工成本的逐年增加,房租成本的逐渐攀升,使得便利店的利润空间不断被挤压。同时,受到劳动力成本和空间限制,一般便利店很难配备足够的服务人员,导致高峰排队现象普遍,顾客的购物体验较差。
基于上述情况,无人便利店得到快速发展,无人便利店无需雇佣收银员,降低了人力成本。无人便利店模式简单,应用场景多,容易大规模复制。无人便利店能够最大程度的减少排队、付款等待时间,从而提升了顾客的体验。
在无人便利店中,基于计算机视觉技术,可以实现指定区域中的自助商品(如不需要临时加工的商品,比如矿泉水、饼干等)的无感支付。
为了实现自助商品的无感支付,一个重要过程是识别无人便利店内的人员是顾客还是店员,例如,通过摄像头采集所有人员的图像,基于这些图像对每个人员进行跟踪,得到每个人员的运动轨迹。对于每个人员的运动轨迹,需要识别这个运动轨迹是顾客的运动轨迹,还是店员的运动轨迹。但是,相关技术的识别准确率较低,无法准确识别出是顾客的运动轨迹,还是店员的运动轨迹。
发明内容
本申请提供一种对象识别方法,所述方法包括:
获取目标对象的运动轨迹;
若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;
获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
在一种可能的实施方式中,所述运动轨迹包括多个物理坐标,所述基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,包括:若所述多个物理坐标包括第一类物理坐标和第二类物理坐标,则确定所述目标对象从非指定区域进入指定区域;其中,所述第一类物理坐标是位于非指定区域的物理坐标,所述第二类物理坐标是位于指定区域的物理坐标;所述第一类物理坐标的采集时刻早于所述第二类物理坐标的采集时刻。
在一种可能的实施方式中,所述基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象,包括:若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,且所述运动轨迹包括的物理坐标的采集时刻位于指定时间区间,则将所述目标对象识别为指定类型对象;所述指定时间区间是指定类型对象进入所述指定区域的时间区间。
在一种可能的实施方式中,所述通过所述训练图像训练对象识别模型之后,所述方法还包括:将所述对象识别模型部署到摄像机,由摄像机获取到目标图像后,基于所述对象识别模型从所述目标图像中确定出目标对象的特征信息及与该特征信息对应的标签信息,并基于所述标签信息确定所述目标对象是否为指定类型对象。
所述获取目标对象的运动轨迹之后,还包括:若基于所述运动轨迹确定所述目标对象在指定区域中活动,则将所述目标对象识别为指定类型对象。
在一种可能的实施方式中,所述获取所述目标对象对应的至少一个训练图像,包括:获取所述目标对象在非指定区域内的训练图像;和/或,
获取所述目标对象在指定区域内的训练图像。
在一种可能的实施方式中,所述获取目标对象的运动轨迹,包括:
获取第一摄像机探测到的第一目标在所述第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在所述第二摄像机探测范围内的第二运动轨迹;其中,所述第一摄像机和所述第二摄像机具有重叠探测范围;
当根据所述第一运动轨迹和所述第二运动轨迹确定所述第一目标和所述第二目标为同一目标对象时,则获取所述目标对象的运动轨迹;其中,所述目标对象的运动轨迹包括所述第一运动轨迹和所述第二运动轨迹。
本申请提供一种对象识别装置,所述装置包括:
获取模块,用于获取目标对象的运动轨迹;
处理模块,用于若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,所述指定区域是非指定类型对象不能进入的区域;
训练模块,用于获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
本申请提供一种管理设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取目标对象的运动轨迹;
若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;
获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
本申请提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现上述方法步骤。
由以上技术方案可见,本申请实施例中,若基于目标对象的运动轨迹确定目标对象从非指定区域进入指定区域,则将目标对象识别为指定类型对象(如店员类型),从而基于目标对象的运动轨迹识别出目标对象的类型,即识别出目标对象是指定类型对象还是非指定类型对象(如顾客类型),继而识别出指定类型对象的运动轨迹和非指定类型对象的运动轨迹,识别准确率较高,能够准确识别出指定类型对象的运动轨迹和非指定类型对象的运动轨迹。在将目标对象识别为指定类型对象之后,还可以通过机器学习技术训练出目标对象的特征信息,在后续过程中,可以基于该特征信息确定出目标对象为指定类型对象,从而通过机器学习技术学习指定类型对象的特征信息来确定身份。上述方式能够有效减少由于指定类型对象的轨迹中断引起的异常事件,减轻处理异常的工作量,提升系统的可维护性,提升指定类型对象的识别效果和识别率。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的对象识别方法的流程示意图;
图2A是本申请一种实施方式中的指定区域的示意图;
图2B和图2C是本申请一种实施方式中的目标对象的运动轨迹的示意图;
图3是本申请一种实施方式中的系统结构示意图;
图4是本申请一种实施方式中的对象识别方法的流程示意图;
图5是本申请一种实施方式中的对象识别方法的流程示意图;
图6是本申请一种实施方式中的对象识别装置的结构示意图;
图7是本申请一种实施方式中的管理设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请的技术方案之前,先介绍与本申请实施例有关的如下概念:
机器学习:机器学习是实现人工智能的一种途径,用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类,是一种使用数学模型对真实世界中的特定问题进行建模,以解决该领域内相似问题的过程。神经网络是深度学习的实现方式,为了方便描述,本文以神经网络为例,介绍神经网络的结构和功能,对于机器学习的其它子类,与神经网络的结构和功能类似。
神经网络:神经网络包括但不限于卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等,神经网络的结构单元包括但不限于卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等,对此不做限制。
在实际应用中,可以根据不同需求,将一个或多个卷积层,一个或多个池化层,一个或多个激励层,以及一个或多个全连接层进行组合构建神经网络。
在卷积层中,通过使用卷积核对输入数据特征进行卷积运算,使输入数据特征增强,该卷积核可以是m*n大小的矩阵,卷积层的输入数据特征与卷积核进行卷积,可以得到卷积层的输出数据特征,卷积运算实际是一个滤波过程。
在池化层中,通过对输入数据特征(如卷积层的输出)进行取最大值、取最小值、取平均值等操作,从而利用局部相关性的原理,对输入数据特征进行子抽样,减少处理量,并保持特征不变性,池化层运算实际是一个降采样过程。
在激励层中,可以使用激活函数(如非线性函数)对输入数据特征进行映射,从而引入非线性因素,使得神经网络通过非线性的组合增强表达能力。
该激活函数可以包括但不限于ReLU(Rectified Linear Units,整流线性单元)函数,该ReLU函数用于将小于0的特征置0,而大于0的特征保持不变。
在全连接层中,用于将输入给本全连接层的所有数据特征进行全连接处理,从而得到一个特征向量,且该特征向量中可以包括多个数据特征。
指定类型对象和非指定类型对象:指定类型对象可以为工作人员,如店员、管理者、职工、营业员等,对此指定类型对象不做限制,具有服务属性的人员均可以作为指定类型对象。非指定类型对象可以为非工作人员,如顾客、消费者、客户等,对此非指定类型对象不做限制,具有接受服务属性的人员均可以作为非指定类型对象。在后续实施例中,以指定类型对象是店员,非指定类型对象是顾客为例,对于其它类型的指定类型对象和非指定类型对象不再赘述。
为了准确识别出指定类型对象和非指定类型对象,本申请实施例提出一种对象识别方法,该方法可以应用于管理设备(如服务器、个人计算机、智能终端等),参见图1所示,为对象识别方法的流程图,该方法可以包括:
步骤101,获取目标对象的运动轨迹。
示例性的,目标对象可以为在指定范围(例如无人便利店)内活动的任一对象(如店员、顾客等),为了描述方便,将该对象称为目标对象。
在一种可能的实施方式中,针对每个目标对象,管理设备可以获取该目标对象的运动轨迹,基于该目标对象的运动轨迹识别该目标对象是否为指定类型对象,具体识别方式参见后续实施例。或者,摄像机可以先确定该目标对象的特征信息,若基于该特征信息无法识别出该目标对象是指定类型对象,则将该目标对象的运动轨迹发送给管理设备,由管理设备获取该目标对象的运动轨迹,基于该目标对象的运动轨迹识别该目标对象是否为指定类型对象,具体识别方式参见后续实施例。若摄像机基于该特征信息能够识别出该目标对象是指定类型对象,则直接确定目标对象为指定类型对象,结束该目标对象的识别流程,不需要基于目标对象的运动轨迹识别该目标对象是否为指定类型对象。
示例性的,针对上述过程,可以采用如下步骤实现:
步骤a1、摄像机获取目标对象对应的目标图像,该目标图像包括该目标对象。比如说,通过摄像头采集视野范围内的图像,该图像中可能包括至少一个对象,为了区分方便,将图像中的每个对象称为目标对象,并将该图像称为目标图像,每个目标对象的处理方式相同,后续以一个目标对象为例进行说明。
步骤a2、摄像机从该目标图像中确定出该目标对象的特征信息。
示例性的,由于目标图像包括目标对象,因此,摄像机可以从该目标图像中确定出该目标对象的特征信息,如身高信息,服饰信息,头肩信息中的至少一种,当然,上述只是特征信息的几个示例,对此特征信息不做限制,所有能够表征目标对象的属性,均可以作为特征信息。
步骤a3、若存在与该特征信息对应的标签信息,且该标签信息用于表示该目标对象为指定类型对象,则摄像机确定该目标对象为指定类型对象。
步骤a4、若不存在与该特征信息对应的标签信息,或者,虽然存在与该特征信息对应的标签信息,但是该标签信息用于表示该目标对象不为指定类型对象,则摄像机将该目标对象的运动轨迹发送给管理设备,管理设备获取该目标对象的运动轨迹,并基于该目标对象的运动轨迹识别该目标对象是否为指定类型对象,管理设备识别该目标对象是否为指定类型对象的方式参见后续实施例。
示例性的,管理设备可以采用机器学习算法训练出对象识别模型,该对象识别模型用于确定与特征信息对应的标签信息,且该标签信息用于表示是否为指定类型对象,并将该对象识别模型部署到摄像机,由摄像机基于该对象识别模型执行步骤a2-步骤a4,比如说,摄像机基于该对象识别模型从该目标图像中确定出该目标对象的特征信息,并确定该特征信息对应的标签信息。若该标签信息用于表示该目标对象为指定类型对象,则对象识别模型输出目标对象为指定类型对象;若该标签信息用于表示该目标对象不为指定类型对象,或者不存在与该特征信息对应的标签信息,则对象识别模型输出目标对象不为指定类型对象。至此,摄像机可以确定该目标对象为指定类型对象或不为指定类型对象。
以机器学习算法采用神经网络为例,对对象识别模型的训练过程进行说明。
首先,需要获取训练样本集合,对此获取方式不做限制。该训练样本集合包括多个正样本图像,该训练样本集合可能包括多个负样本图像或者也可能不包括负样本图像,本文以包括多个负样本图像为例。针对每个正样本图像来说,正样本图像是指包括指定类型对象的图像,且正样本图像的标签信息为第一取值,第一取值表示正样本图像中的对象是指定类型对象。针对每个负样本图像来说,负样本图像是指不包括指定类型对象的图像,且负样本图像的标签信息为第二取值,第二取值表示负样本图像中的对象不是指定类型对象。
其次,将训练样本集合中的多个正样本图像和多个负样本图像输入给神经网络,以通过多个正样本图像和多个负样本图像对神经网络进行训练,即,训练神经网络内的各神经网络参数,如卷积层参数(如卷积核参数)、池化层参数、激励层参数、全连接层参数等,对此神经网络的训练过程不做限制。
最后,在神经网络训练完成后,将已训练的神经网络作为对象识别模型,该对象识别模型用于确定与特征信息对应的标签信息,该特征信息表示对象特征(如指定类型对象的对象特征或者非指定类型对象的对象特征),该标签信息为第一取值或者第二取值,第一取值表示对象是指定类型对象,第二取值表示对象不是指定类型对象。然后,将对象识别模型部署到摄像机。
综上所述,针对步骤a2-步骤a4,基于该对象识别模型,摄像机可以从目标图像中确定目标对象的特征信息,并确定该特征信息对应的标签信息,若该标签信息为第一取值,则可以确定该目标对象为指定类型对象。若该标签信息为第二取值,则可以确定该目标对象不为指定类型对象。若不存在与该特征信息对应的标签信息,则可以确定该目标对象不为指定类型对象。
若获知该目标对象为指定类型对象,则摄像机直接确定该目标对象为指定类型对象,结束该目标对象的识别流程,不需要由管理设备基于目标对象的运动轨迹识别该目标对象是否为指定类型对象。若获知该目标对象不为指定类型对象,则表示摄像机基于该特征信息无法识别出该目标对象为指定类型对象,摄像机获取该目标对象的运动轨迹,将该目标对象的运动轨迹发送给管理设备,由管理设备基于该目标对象的运动轨迹识别该目标对象是否为指定类型对象。
在一种可能的实施方式中,可以采用如下方式获取目标对象的运动轨迹:
情况一、若一个摄像机采集包括目标对象的多个目标图像,则基于这些目标图像对目标对象进行跟踪,得到目标对象在该摄像机的探测范围内的运动轨迹,并将该运动轨迹发送给管理设备,由管理设备获取该运动轨迹。其中,该运动轨迹包括多个轨迹点,每个轨迹点包括目标对象的物理坐标和物理坐标的采集时刻,表示目标对象在该采集时刻处于该物理坐标,即,针对摄像机在该采集时刻采集的目标图像,可以确定目标对象处于该物理坐标。
示例性的,物理坐标是目标对象在真实世界的物理位置,例如,以真实世界的某位置为原点建立世界坐标系,物理坐标是该世界坐标系下的物理位置。
示例性的,基于多个目标图像,可以采用任意目标跟踪算法对目标对象进行跟踪,对此目标跟踪算法不做限制,得到目标对象的运动轨迹。
情况二、若至少两个摄像机采集包括目标对象的多个目标图像,则基于每个摄像机采集的多个目标图像,对目标对象进行跟踪,得到目标对象在该摄像机的探测范围内的运动轨迹,该运动轨迹包括多个轨迹点,每个轨迹点包括目标对象的物理坐标和该物理坐标的采集时刻。然后,每个摄像机将自身获取的该目标对象的运动轨迹发送给管理设备,由管理设备接收每个摄像机获取的该目标对象的运动轨迹,并将该目标对象在每个摄像机的探测范围内的运动轨迹进行融合,得到该目标对象的完整运动轨迹,将该完整运动轨迹称为全局轨迹。
比如说,管理设备得到目标对象在摄像机1的探测范围内的运动轨迹1,目标对象在摄像机2的探测范围内的运动轨迹2,目标对象在摄像机3的探测范围内的运动轨迹3。然后,将运动轨迹1、运动轨迹2和运动轨迹3进行融合,得到目标对象的全局轨迹。由于运动轨迹1、运动轨迹2和运动轨迹3会有重复部分,因此,需要去掉重复部分。全局轨迹包括多个摄像机的探测范围内的多个轨迹点,每个轨迹点可以包括目标对象的物理坐标和该物理坐标的采集时刻。
示例性的,管理设备可以得到多个目标对象的运动轨迹,如何将同一目标对象在多个摄像机的探测范围内的运动轨迹进行匹配,可以采用如下方式:
获取第一摄像机探测到的第一目标在第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在第二摄像机探测范围内的第二运动轨迹;第一摄像机和第二摄像机具有重叠探测范围;当根据第一运动轨迹和第二运动轨迹确定第一目标和第二目标为同一目标对象时,则获取该目标对象的运动轨迹,该目标对象的运动轨迹包括该第一运动轨迹和该第二运动轨迹。
比如说,若第一运动轨迹的某个轨迹点包括物理坐标a1和物理坐标a1的采集时刻b1,第二运动轨迹的某个轨迹点包括物理坐标a2和物理坐标a2的采集时刻b2。假设物理坐标a1和物理坐标a2相同,采集时刻b1和采集时刻b2相同,则第一运动轨迹和第二运动轨迹存在相同轨迹点,第一运动轨迹和第二运动轨迹是同一目标对象的运动轨迹,确定第一目标和第二目标为同一目标对象。
比如说,摄像机1和摄像机2存在重叠探测范围,摄像机2和摄像机3存在重叠探测范围,得到目标对象1在摄像机1探测范围的运动轨迹11和目标对象2在摄像机1探测范围的运动轨迹12,得到目标对象1在摄像机2探测范围的运动轨迹21,得到目标对象1在摄像机3探测范围的运动轨迹31。
在此基础上,若确定运动轨迹11对应的目标对象和运动轨迹21对应的目标对象为同一目标对象时,则获取该目标对象的运动轨迹s1,该运动轨迹s1可以包括运动轨迹11和运动轨迹21。若确定运动轨迹s1对应的目标对象和运动轨迹31对应的目标对象为同一目标对象时,则获取该目标对象的运动轨迹s2,该运动轨迹s2可以包括运动轨迹s1和运动轨迹31,以此类推。显然,运动轨迹s1和运动轨迹s2均是全局轨迹,即目标对象的全局轨迹不断更新。
步骤102,若基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域,则将该目标对象识别为指定类型对象。示例性的,指定区域是指定类型对象能够进入的区域,且指定区域是非指定类型对象不能进入的区域。
示例性的,可以预先配置至少一个区域作为指定区域,如针对无人便利店的应用场景,可以配置鲜食操作区,仓储区,收银区等区域作为指定区域,指定区域是指定类型对象能够进入的区域,且非指定类型对象不能进入的区域。
基于此,若基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域,则说明该目标对象具有进入指定区域的权限。由于指定类型对象具有进入指定区域的权限,非指定类型对象不具有进入指定区域的权限,因此,在目标对象具有进入指定区域的权限时,将该目标对象识别为指定类型对象。
在一种可能的实施方式中,目标对象的运动轨迹可以包括多个物理坐标以及每个物理坐标的采集时刻,基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域,可以包括但不限于:若多个物理坐标包括第一类物理坐标和第二类物理坐标,则确定目标对象从非指定区域进入指定区域。第一类物理坐标是位于非指定区域的物理坐标,第二类物理坐标是位于指定区域的物理坐标,且第一类物理坐标的采集时刻早于第二类物理坐标的采集时刻。
参见图2A所示,为指定区域的示意图,图2A以矩形为例,在预先配置指定区域时,可以配置指定区域的几个顶点(如A、B、C、D)的物理坐标,基于这些顶点的物理坐标,就可以获知指定区域的区间范围,即获知指定区域内的所有物理坐标。或者,可以配置指定区域的某个顶点(如A)的物理坐标、指定区域的宽和高,基于这些信息,就可以获知指定区域的区间范围,即获知指定区域内的所有物理坐标。当指定区域为其它形状时,如多边形、圆形等,在预先配置指定区域时,也可以配置指定区域的区间范围,对此指定区域的配置方式不做限制,只要能够获知指定区域内的所有物理坐标即可,如穷举指定区域内的所有物理坐标。综上所述,针对每个物理坐标来说,可以确定出该物理坐标位于指定区域内,或者,可以确定出该物理坐标位于指定区域外。
示例性的,可以将指定区域之外的区域作为非指定区域,基于此,若物理坐标位于指定区域外,则可以确定出该物理坐标位于非指定区域。
示例性的,在得到目标对象的运动轨迹后,该运动轨迹可以包括多个物理坐标和每个物理坐标的采集时刻。参见图2B所示,为目标对象的运动轨迹的示意图,该运动轨迹包括物理坐标x1-物理坐标x4,物理坐标y1-物理坐标y3。
从图2B可以看出,物理坐标x1-物理坐标x4位于非指定区域,物理坐标y1-物理坐标y3位于指定区域,若物理坐标x1-物理坐标x4的采集时刻早于物理坐标y1-物理坐标y3的采集时刻,则物理坐标x1-物理坐标x4是第一类物理坐标,物理坐标y1-物理坐标y3是第二类物理坐标,即运动轨迹的多个物理坐标包括第一类物理坐标和第二类物理坐标,因此,基于目标对象的运动轨迹确定目标对象从非指定区域进入指定区域,并将该目标对象识别为指定类型对象。
在一种可能的实施方式中,指定时间区间(如每天的早8点到晚8点)是指定类型对象能够进入指定区域的时间区间,指定区域是指定类型对象在指定时间区间能够进入的区域,指定类型对象在非指定时间区间不会进入指定区域,非指定类型对象在指定时间区间和非指定时间区间均不进入指定区域。
基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域,则将目标对象识别为指定类型对象,可以包括但不限于:若基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域(如该运动轨迹包括的多个物理坐标包括第一类物理坐标和第二类物理坐标,则确定该目标对象从非指定区域进入指定区域,具体方式参见上述实施例),且目标对象的运动轨迹包括的物理坐标的采集时刻位于指定时间区间,则将该目标对象识别为指定类型对象。
比如说,参见图2B所示,若物理坐标x1-物理坐标x4、物理坐标y1-物理坐标y3的采集时刻均位于指定时间区间,且物理坐标x1-物理坐标x4位于非指定区域,物理坐标y1-物理坐标y3位于指定区域,物理坐标x1-物理坐标x4的采集时刻早于物理坐标y1-物理坐标y3的采集时刻,则可以确定目标对象从非指定区域进入指定区域,并将该目标对象识别为指定类型对象。
在一种可能的实施方式中,在获取目标对象的运动轨迹之后,若基于目标对象的运动轨迹确定该目标对象在指定区域中活动(即目标对象的运动轨迹一直处于指定区域,而不是从非指定区域进入指定区域),则将该目标对象识别为指定类型对象。例如,目标对象的运动轨迹可以包括多个物理坐标以及每个物理坐标的采集时刻,若该运动轨迹包括的多个物理坐标的采集时刻均位于指定时间区间,且所述多个物理坐标均为第二类物理坐标,则确定该目标对象在指定区域中活动。示例性的,第二类物理坐标可以是位于指定区域的物理坐标,指定时间区间可以是指定类型对象能够进入指定区域的时间区间。
参见图2C所示,为目标对象的运动轨迹的示意图,该运动轨迹可以包括物理坐标y1-物理坐标y3,若物理坐标y1-物理坐标y3的采集时刻均位于指定时间区间,且物理坐标y1-物理坐标y3位于指定区域,则基于目标对象的运动轨迹确定目标对象在指定区域中活动,并将该目标对象识别为指定类型对象。
综上所述,可以基于目标对象的运动轨迹确定该目标对象是否为指定类型对象,若该目标对象为指定类型对象,则可以执行步骤103。
步骤103,获取该目标对象对应的至少一个训练图像,并通过该训练图像训练对象识别模型,该对象识别模型用于确定与该目标对象的特征信息对应的标签信息,且该标签信息用于表示该目标对象为指定类型对象。
在一种可能的实施方式中,获取该目标对象对应的至少一个训练图像,可以包括但不限于:获取目标对象在非指定区域内的训练图像;和/或,获取目标对象在指定区域内的训练图像,对此不做限制,只要能够得到训练图像即可。
在一种可能的实施方式中,管理设备通过该训练图像训练出对象识别模型后,还可以将该对象识别模型部署到摄像机,以使摄像机获取到目标图像后,基于该对象识别模型从该目标图像中确定出目标对象的特征信息及与该特征信息对应的标签信息,并基于该标签信息确定该目标对象是否为指定类型对象。
参见上述实施例,管理设备已训练出对象识别模型,在此基础上,管理设备可以基于目标对象对应的至少一个训练图像对该对象识别模型进行增量训练,得到训练后的新对象识别模型,并将该新对象识别模型部署到摄像机。
比如说,管理设备可以获取训练样本集合,该训练样本集合包括该目标对象在非指定区域内的训练图像;和/或,目标对象在指定区域内的训练图像。上述训练图像可以作为正样本图像,且上述训练图像的标签信息为第一取值,该第一取值用于表示该训练图像中的目标对象是指定类型对象。
然后,将训练样本集合中的训练图像输入给对象识别模型,以通过这些训练图像对该对象识别模型进行增量训练。在对象识别模型训练完成后,已训练的新对象识别模型可以用于确定出与特征信息对应的标签信息。
显然,由于基于目标对象对应的训练图像对对象识别模型进行增量训练,因此,该特征信息可以包括该目标对象的特征信息,且该目标对象的特征信息对应的标签信息为第一取值,第一取值用于表示该目标对象为指定类型对象。
在得到新对象识别模型后,管理设备可以将该新对象识别模型部署到摄像机,摄像机再次获取到目标对象的目标图像后,基于该对象识别模型从该目标图像中确定出该目标对象的特征信息,并基于与该特征信息对应的标签信息确定该目标对象为指定类型对象,具体过程参见上述步骤101的步骤a1-步骤a4。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本实施例中,若基于目标对象的运动轨迹确定目标对象从非指定区域进入指定区域,则将目标对象识别为指定类型对象,从而基于目标对象的运动轨迹识别出目标对象的类型,识别出指定类型对象和非指定类型对象,识别准确率较高,能够准确识别出指定类型对象的运动轨迹和非指定类型对象的运动轨迹。在将目标对象识别为指定类型对象后,可以通过机器学习训练目标对象的特征信息,继而基于该特征信息确定出目标对象为指定类型对象,从而通过机器学习技术学习指定类型对象的特征信息来确定身份。上述方式能够有效减少由于指定类型对象的轨迹中断引起的异常事件,减轻处理异常的工作量,提升系统的可维护性,提升指定类型对象的识别效果和识别率。
以下结合具体应用场景,对本申请实施例的上述技术方案进行说明。
参见图3所示,为本申请实施例的系统结构示意图,摄像机可以为模拟摄像机,也可以为IPC(IP CAMERA,网络摄像机),对此不做限制。模型训练模块、轨迹模块和处理模块可以部署在同一设备,也可以部署在不同设备,为了方便描述,以模型训练模块、轨迹模块和处理模块部署在同一设备为例,将该设备记为管理设备,即模型训练模块、轨迹模块和处理模块部署在管理设备。
摄像机用于获取目标对象对应的目标图像,基于该目标图像确定该目标对象是否为指定类型对象。以及,摄像机用于获取目标对象的运动轨迹,并将目标对象的运动轨迹发送给轨迹模块。示例的,摄像机可以每采集到一帧目标图像后,基于该帧目标图像识别图像中包括的各个目标对象,并确定各个目标对象是否为指定类型对象和确定各个目标对象的轨迹点信息,以及实时将各个目标对象的运动轨迹(单个轨迹点信息)发送给轨迹模块;或者,摄像机可以每采集到一帧目标图像后,基于该帧目标图像识别图像中包括的各个目标对象,并确定各个目标对象是否为指定类型对象和确定各个目标对象的轨迹点信息,以及融合一定时间段内的各个目标对象的轨迹点信息后,将各个目标对象的运动轨迹(融合后的轨迹)发送给轨迹模块。轨迹模块用于接收每个摄像机提供的运动轨迹,对同一目标对象的运动轨迹进行融合,得到该目标对象的完整运动轨迹,并输出全局唯一的完整运动轨迹。处理模块用于基于目标对象的运动轨迹(即轨迹模块输出的目标对象的完整运动轨迹)识别目标对象是否为指定类型对象。模型训练模块用于基于训练图像训练对象识别模型,对象识别模型用于确定与该目标对象的特征信息对应的标签信息,该标签信息用于表示该目标对象为指定类型对象。
参见图4所示,为对象识别方法的流程示意图,该方法可以包括:
步骤401,摄像机识别目标对象是否为指定类型对象。若为指定类型对象,则可以执行步骤402,若不为指定类型对象,则可以执行步骤404。
摄像机获取目标对象对应的目标图像,将目标图像输入给对象识别模型,由对象识别模型从该目标图像中确定该目标对象的特征信息,并确定与该特征信息对应的标签信息,基于该标签信息确定该目标对象为指定类型对象或不为指定类型对象,并输出该目标对象为指定类型对象或不为指定类型对象的结果。
步骤402,摄像机获取目标对象的运动轨迹,为该运动轨迹添加指定标识,通过指定标识表示目标对象的运动轨迹是指定类型对象的运动轨迹。摄像机将目标对象的运动轨迹输入给轨迹模块,轨迹模块对该目标对象的运动轨迹进行融合(将多个摄像机输入的该目标对象的运动轨迹融合),得到该目标对象的完整运动轨迹,将该目标对象的完整运动轨迹输入给处理模块,执行步骤403。
步骤403,处理模块判定目标对象是指定类型对象,该目标对象的运动轨迹是指定类型对象的运动轨迹,过滤该目标对象的运动轨迹产生的事件,即,不需要基于该目标对象的运动轨迹执行无感支付等操作,对此不做限制。
示例性的,处理模块基于运动轨迹的指定标识(如店员标识)确定目标对象是指定类型对象,并确定该目标对象的运动轨迹是指定类型对象的运动轨迹。
步骤404,摄像机获取目标对象的运动轨迹,为该运动轨迹添加新的轨迹标识,通过该新的轨迹标识表示该运动轨迹是中断轨迹。摄像机将该目标对象的运动轨迹输入给轨迹模块,轨迹模块对目标对象的运动轨迹进行融合,得到目标对象的完整运动轨迹,将该完整运动轨迹输入给处理模块,执行步骤405。
步骤405,处理模块基于目标对象的运动轨迹确定该目标对象是否位于指定区域。若是,则可以执行步骤406,若否,则在更新该目标对象的运动轨迹后,重新基于目标对象的运动轨迹确定该目标对象是否位于指定区域,以此类推。
示例性的,处理模块在得到目标对象的运动轨迹后,确定该运动轨迹是否已绑定身份信息。若否,则解析该运动轨迹的轨迹信息,若该轨迹信息包括指定标识(如店员标识),则将该运动轨迹绑定为指定类型对象的运动轨迹,即判定该目标对象是指定类型对象,参见步骤403所示。若该轨迹信息包括新的轨迹标识,而不是包括指定标识,则处理模块可以确定该运动轨迹是中断轨迹,并基于目标对象的运动轨迹确定该目标对象是否位于指定区域。
示例性的,在运动轨迹是中断轨迹时,会存在如下三种情况:
情况1:运动轨迹是非指定类型对象的运动轨迹,即每次更新目标对象的运动轨迹后,基于该目标对象的运动轨迹确定该目标对象是否位于指定区域,由于目标对象是非指定类型对象,因此,该目标对象不会位于指定区域,基于此,确定该目标对象为未知身份,即不是指定类型对象,如目标对象为顾客等。
情况2:运动轨迹是指定类型对象的运动轨迹,且指定类型对象的运动轨迹在指定区域内发生中断。基于此,在得到目标对象的运动轨迹后,基于该目标对象的运动轨迹确定该目标对象是否位于指定区域,由于目标对象的运动轨迹在指定区域内发生中断,因此,确定该目标对象位于指定区域,执行步骤406。
情况3:运动轨迹是指定类型对象的运动轨迹,且指定类型对象的运动轨迹在指定区域外发生中断。基于此,在得到目标对象的运动轨迹后,若该目标对象仍然未进入到指定区域内,则基于该目标对象的运动轨迹确定该目标对象不位于指定区域。在经过一段时间后,假设该目标对象进入到指定区域内,在得到目标对象的运动轨迹后,基于该目标对象的运动轨迹确定该目标对象位于指定区域,即,基于目标对象的运动轨迹确定该目标对象从非指定区域进入指定区域,因此,确定该目标对象位于指定区域,执行步骤406。
步骤406,处理模块判定该目标对象是指定类型对象,该目标对象的运动轨迹是指定类型对象的运动轨迹,以及,处理模块还可以获取包括该目标对象的图像,将这些图像作为该目标对象对应的训练图像(训练图像的数量可以为至少一个),并将目标对象的训练图像发送给模型训练模块。
比如说,摄像机可以实时采集目标对象的视频,处理模块可以从该视频中获取包括该目标对象的图像,如目标对象位于指定区域或非指定区域的图像。
步骤407,模型训练模块通过训练图像对对象识别模型进行增量建模,得到训练后的对象识别模型,将训练后的对象识别模型发送给摄像机,以使摄像机基于训练后的对象识别模型识别目标对象是否为指定类型对象。
参见图5所示,为对象识别方法的流程示意图,该方法可以包括:
步骤501,摄像机识别目标对象是否为指定类型对象。若为指定类型对象,则可以执行步骤502,若不为指定类型对象,则可以执行步骤503。
步骤502,摄像机获取该目标对象的运动轨迹,为该运动轨迹添加指定标识(如店员标识),并将该目标对象的运动轨迹输入给轨迹模块。
步骤503,摄像机获取该目标对象的运动轨迹,为该运动轨迹添加轨迹标识,且不为该运动轨迹添加指定标识,并将该目标对象的运动轨迹输入给轨迹模块。
步骤504,轨迹模块对该目标对象的运动轨迹进行融合,得到该目标对象的完整运动轨迹,将该目标对象的完整运动轨迹输入给处理模块。
步骤505,处理模块确定目标对象的运动轨迹是否关联身份。若是,则更新该身份对应的运动轨迹(即运动轨迹越来越多)。若否,则执行步骤506。
步骤506,处理模块确定目标对象的运动轨迹是否包括指定标识。若是,则更新目标对象的运动轨迹,并标定为指定类型对象。若否,则执行步骤507。
步骤507,处理模块基于目标对象的运动轨迹确定该目标对象是否位于指定区域(如直接进入指定区域,或从非指定区域进入指定区域)。
如果是,则可以执行步骤508。如果否,则确定该目标对象为未知身份,即该目标对象不是指定类型对象,如目标对象为顾客等,结束处理。
步骤508,处理模块判定目标对象是指定类型对象,根据该目标对象的运动轨迹的采集时刻从录像中抽取目标对象的图像(即目标对象对应的训练图像),将该训练图像发送给模型训练模块,以使模型训练模块对对象识别模型进行增量建模,得到训练后的对象识别模型,将训练后的对象识别模型发送给摄像机。
基于与上述方法同样的申请构思,本申请实施例中提出一种对象识别装置,参见图6所示,为所述对象识别装置的结构示意图,所述装置可以包括:
获取模块61,用于获取目标对象的运动轨迹;
处理模块62,用于若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;所述指定区域是指定类型对象能够进入的区域,所述指定区域是非指定类型对象不能进入的区域;
训练模块63,用于获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,所述标签信息用于表示所述目标对象为指定类型对象。
在一种可能的实施方式中,所述运动轨迹包括多个物理坐标,所述处理模块62基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域时具体用于:若所述多个物理坐标包括第一类物理坐标和第二类物理坐标,则确定所述目标对象从非指定区域进入指定区域;其中,所述第一类物理坐标是位于非指定区域的物理坐标,所述第二类物理坐标是位于指定区域的物理坐标;所述第一类物理坐标的采集时刻早于所述第二类物理坐标的采集时刻。
在一种可能的实施方式中,所述处理模块62基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象时具体用于:若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,且所述运动轨迹包括的物理坐标的采集时刻位于指定时间区间,则将所述目标对象识别为指定类型对象;其中,所述指定时间区间是指定类型对象进入所述指定区域的时间区间。
在一种可能的实施方式中,所述训练模块63通过所述训练图像训练对象识别模型之后还用于:将所述对象识别模型部署到摄像机,由摄像机获取到目标图像后,基于所述对象识别模型从所述目标图像中确定出目标对象的特征信息及与该特征信息对应的标签信息,并基于所述标签信息确定所述目标对象是否为指定类型对象。
在一种可能的实施方式中,所述处理模块62还用于:若基于所述运动轨迹确定所述目标对象在指定区域中活动,则将所述目标对象识别为指定类型对象。
所述训练模块63获取所述目标对象对应的至少一个训练图像时具体用于:获取所述目标对象在非指定区域内的训练图像;和/或,获取所述目标对象在指定区域内的训练图像。
在一种可能的实施方式中,所述获取模块61获取目标对象的运动轨迹时具体用于:获取第一摄像机探测到的第一目标在所述第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在所述第二摄像机探测范围内的第二运动轨迹;其中,所述第一摄像机和所述第二摄像机具有重叠探测范围;
当根据所述第一运动轨迹和所述第二运动轨迹确定所述第一目标和所述第二目标为同一目标对象时,则获取所述目标对象的运动轨迹;其中,所述目标对象的运动轨迹包括所述第一运动轨迹和所述第二运动轨迹。
基于与上述方法同样的申请构思,本申请实施例中提出一种管理设备,参见图7所示,所述管理设备包括:处理器71和机器可读存储介质72,所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令;所述处理器71用于执行机器可执行指令,以实现如下步骤:
获取目标对象的运动轨迹;
若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;
获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的对象识别方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种对象识别方法,其特征在于,所述方法包括:
获取目标对象的运动轨迹;
若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;
获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
2.根据权利要求1所述的方法,其特征在于,所述运动轨迹包括多个物理坐标,所述基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,包括:若所述多个物理坐标包括第一类物理坐标和第二类物理坐标,则确定所述目标对象从非指定区域进入指定区域;其中,所述第一类物理坐标是位于非指定区域的物理坐标,所述第二类物理坐标是位于指定区域的物理坐标;所述第一类物理坐标的采集时刻早于所述第二类物理坐标的采集时刻。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象,包括:若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,且所述运动轨迹包括的物理坐标的采集时刻位于指定时间区间,则将所述目标对象识别为指定类型对象;
其中,所述指定时间区间是指定类型对象进入所述指定区域的时间区间。
4.根据权利要求1所述的方法,其特征在于,
所述通过所述训练图像训练对象识别模型之后,所述方法还包括:
将所述对象识别模型部署到摄像机,由摄像机获取到目标图像后,基于所述对象识别模型从所述目标图像中确定出目标对象的特征信息及与该特征信息对应的标签信息,并基于所述标签信息确定所述目标对象是否为指定类型对象。
5.根据权利要求1所述的方法,其特征在于,
所述获取目标对象的运动轨迹之后,还包括:若基于所述运动轨迹确定所述目标对象在指定区域中活动,则将所述目标对象识别为指定类型对象。
6.根据权利要求1所述的方法,其特征在于,
所述获取所述目标对象对应的至少一个训练图像,包括:
获取所述目标对象在非指定区域内的训练图像;和/或,
获取所述目标对象在指定区域内的训练图像。
7.根据权利要求1所述的方法,其特征在于,
所述获取目标对象的运动轨迹,包括:
获取第一摄像机探测到的第一目标在所述第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在所述第二摄像机探测范围内的第二运动轨迹;其中,所述第一摄像机和所述第二摄像机具有重叠探测范围;
当根据所述第一运动轨迹和所述第二运动轨迹确定所述第一目标和所述第二目标为同一目标对象时,则获取所述目标对象的运动轨迹;其中,所述目标对象的运动轨迹包括所述第一运动轨迹和所述第二运动轨迹。
8.一种对象识别装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象的运动轨迹;
处理模块,用于若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,所述指定区域是非指定类型对象不能进入的区域;
训练模块,用于获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
9.一种管理设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现如下步骤:
获取目标对象的运动轨迹;
若基于所述运动轨迹确定所述目标对象从非指定区域进入指定区域,则将所述目标对象识别为指定类型对象;其中,所述指定区域是指定类型对象能够进入的区域,且所述指定区域是非指定类型对象不能进入的区域;
获取所述目标对象对应的至少一个训练图像,通过所述训练图像训练对象识别模型;所述对象识别模型用于确定与所述目标对象的特征信息对应的标签信息,且所述标签信息用于表示所述目标对象为指定类型对象。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现如权利要求1-7任一项所述的方法步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064287.6A CN112164096A (zh) | 2020-09-30 | 2020-09-30 | 一种对象识别方法、装置及设备 |
CN202110071200.6A CN112669352A (zh) | 2020-09-30 | 2021-01-19 | 一种对象识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064287.6A CN112164096A (zh) | 2020-09-30 | 2020-09-30 | 一种对象识别方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112164096A true CN112164096A (zh) | 2021-01-01 |
Family
ID=73860974
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011064287.6A Withdrawn CN112164096A (zh) | 2020-09-30 | 2020-09-30 | 一种对象识别方法、装置及设备 |
CN202110071200.6A Pending CN112669352A (zh) | 2020-09-30 | 2021-01-19 | 一种对象识别方法、装置及设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110071200.6A Pending CN112669352A (zh) | 2020-09-30 | 2021-01-19 | 一种对象识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112164096A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344974A (zh) * | 2021-06-15 | 2021-09-03 | 中冶赛迪重庆信息技术有限公司 | 一种长材识别跟踪方法、系统、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7957565B1 (en) * | 2007-04-05 | 2011-06-07 | Videomining Corporation | Method and system for recognizing employees in a physical space based on automatic behavior analysis |
JP5097187B2 (ja) * | 2009-10-14 | 2012-12-12 | 技研トラステム株式会社 | 店員顧客分離集計装置 |
CN108304757A (zh) * | 2017-06-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 身份识别方法及装置 |
US10872235B2 (en) * | 2018-09-27 | 2020-12-22 | Ncr Corporation | Tracking shoppers and employees |
-
2020
- 2020-09-30 CN CN202011064287.6A patent/CN112164096A/zh not_active Withdrawn
-
2021
- 2021-01-19 CN CN202110071200.6A patent/CN112669352A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344974A (zh) * | 2021-06-15 | 2021-09-03 | 中冶赛迪重庆信息技术有限公司 | 一种长材识别跟踪方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112669352A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | A smart unstaffed retail shop based on artificial intelligence and IoT | |
CN112424769A (zh) | 用于地理位置预测的系统和方法 | |
CN111985385B (zh) | 一种行为检测方法、装置及设备 | |
Nam et al. | Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata | |
CN112419368A (zh) | 运动目标的轨迹跟踪方法、装置、设备及存储介质 | |
US10984239B2 (en) | Context-aided machine vision | |
TW200929077A (en) | Tagging and path reconstruction method utilizing unique identification and the system thereof | |
CN110399908B (zh) | 基于事件型相机的分类方法和装置、存储介质、电子装置 | |
CN106295598A (zh) | 一种跨摄像头目标跟踪方法及装置 | |
CN110472516A (zh) | 一种人物图像识别系统的构建方法、装置、设备及系统 | |
CN110348463A (zh) | 用于识别车辆的方法和装置 | |
CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
CN113537107A (zh) | 一种基于深度学习的人脸识别及追踪方法、装置及设备 | |
CN112164096A (zh) | 一种对象识别方法、装置及设备 | |
Rusdi et al. | Student attendance using face recognition technology | |
Yuganthini et al. | Activity tracking of employees in industries using computer vision | |
Zaghetto et al. | Agent-based framework to individual tracking in unconstrained environments | |
KR20220025004A (ko) | 데이터 처리 방법, 장치, 기기 및 저장 매체 | |
CN112132868B (zh) | 一种支付信息的确定方法、装置及设备 | |
CN112329616A (zh) | 目标检测方法、装置、设备以及存储介质 | |
CN112950674B (zh) | 一种基于多种识别技术协同的跨摄像头轨迹跟踪方法、装置及存储介质 | |
JP7337354B2 (ja) | 情報処理装置及び情報処理プログラム | |
Panahi et al. | Automated Progress Monitoring in Modular Construction Factories Using Computer Vision and Building Information Modeling | |
Huu et al. | Detecting Abnormal and Dangerous Activities Using Artificial Intelligence on The Edge for Smart City Application | |
CN114782883A (zh) | 基于群体智能的异常行为检测方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210101 |