CN108399411A - 一种多摄像头识别方法及装置 - Google Patents

一种多摄像头识别方法及装置 Download PDF

Info

Publication number
CN108399411A
CN108399411A CN201810158998.6A CN201810158998A CN108399411A CN 108399411 A CN108399411 A CN 108399411A CN 201810158998 A CN201810158998 A CN 201810158998A CN 108399411 A CN108399411 A CN 108399411A
Authority
CN
China
Prior art keywords
image
feature
alternative objects
target object
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810158998.6A
Other languages
English (en)
Other versions
CN108399411B (zh
Inventor
刘审川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810158998.6A priority Critical patent/CN108399411B/zh
Publication of CN108399411A publication Critical patent/CN108399411A/zh
Application granted granted Critical
Publication of CN108399411B publication Critical patent/CN108399411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种多摄像头识别方法及装置,方法包括:获取备选对象的第一图像序列;对所述第一图像序列进行特征提取,得到备选对象的第一特征;将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。本申请可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率,并且不需要借助图像深度信息,可以节省硬件升级的成本。

Description

一种多摄像头识别方法及装置
技术领域
本申请涉及本申请涉及图像处理技术领域,尤其涉及一种多摄像头识别方法及装置。
背景技术
在监控网络中,移动物体会在不同的摄像头下出现,例如行人。尤其是监控网络中行人的身份的鉴定,将曾经在监控网络中出现过的目标对象在其他摄像机的场景内再次识别出来是一个亟需解决的问题。而现有的移动物体在不同摄像头的识别方案,需要提取海量的图像序列特征,计算量很大。
发明内容
有鉴于此,本申请提供一种多摄像头识别方法及装置,可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率。
具体地,本申请是通过如下技术方案实现的:
根据本申请的第一方面,提出了一种多摄像头识别方法,包括:
获取备选对象的第一图像序列;
对所述第一图像序列进行特征提取,得到备选对象的第一特征;
将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
在一实施例中,所述获取备选对象的第一图像序列,包括:
获取与备选对象关联的摄像头所采集的第一图像集合;
从所述第一图像集合中检测所述备选对象,得到所述备选对象的多幅图像框;
根据所述多幅图像框生成所述备选对象的第一图像序列,所述第一图像序列中每一帧图像对应一幅所述图像框。
在一实施例中,所述对所述第一图像序列进行特征提取,得到备选对象的第一特征,包括:
对所述第一图像序列的各幅图像框进行图像分割,得到多幅子图像;
对所述多幅子图像进行图像特征提取,得到多个子图像特征;
对所述多个子图像特征进行融合,得到备选对象的第一特征。
在一实施例中,所述对所述第一图像序列的各幅图像框进行图像分割,包括:
计算所述第一图像序列的各幅图像框之间的相似度;
根据所述相似度的计算结果对所述第一图像序列的各幅图像框进行排序;
对排序后的各幅图像框进行图像分割。
在一实施例中,所述对所述多幅子图像进行图像特征提取,包括:
对所述多幅子图像进行颜色分类,生成各幅所述子图像对应的多个颜色通道子图像;
对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取。
在一实施例中,所述对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取,包括:
对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征;
构建每幅所述子图像的统计直方图,得到多个统计直方图;
基于预设直方图宽度对每个所述统计直方图进行二进制编码,得到所述多个颜色通道的直方图特征;
将各个所述LBP特征和直方图特征进行连接,得到多个子图像特征。
在一实施例中,所述对所述多个子图像特征进行融合,得到备选对象的第一特征,包括:
将多个所述子图像特征对应的向量进行连接,得到总特征向量;
对所述总特征向量进行主成份分析PCA降维处理,得到备选对象的第一特征。
在一实施例中,所述将所述第一特征与预先获取的目标对象的第二特征进行比对之前,所述方法还包括:
获取与目标对象关联的摄像头所采集的第二图像集合;
从所述第二图像集合中检测所述目标对象,得到所述目标对象的多幅图像框;
根据所述目标对象的多幅图像框生成所述目标对象的第二图像序列,所述第二图像序列中每一帧图像对应一幅所述目标对象的图像框;
对所述第二图像序列进行特征提取,得到所述目标对象的第二特征。
根据本申请的第二方面,提出了一种多摄像头识别装置,包括:
第一序列获取模块,用于获取备选对象的第一图像序列;
第一特征提取模块,用于对所述第一图像序列进行特征提取,得到备选对象的第一特征;
对象特征比对模块,用于将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
根据本申请的第三方面,提出了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一所述的多摄像头识别方法。
由以上技术方案可见,本申请通过获取备选对象的第一图像序列,并对所述第一图像序列进行特征提取,得到备选对象的第一特征,然后将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头,由于以图像序列为单位进行特征提取,并将提取的将备选对象的第一特征与目标对象的第二特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率,并且不需要借助图像深度信息,因而可以节省硬件升级的成本。
附图说明
图1是本申请一示例性实施例示出的一种多摄像头识别方法的流程图;
图2是本申请一示例性实施例示出的如何获取备选对象的第一图像序列的流程图;
图3是本申请一示例性实施例示出的如何对所述第一图像序列进行特征提取的流程图;
图4是本申请一示例性实施例示出的如何对所述第一图像序列的各幅图像框进行图像分割的流程图;
图5是本申请一示例性实施例示出的如何对所述多幅子图像进行图像特征提取的流程图;
图6是本申请一示例性实施例示出的如何对多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取的流程图;
图7是本申请一示例性实施例示出的如何对所述多个子图像特征进行融合的流程图;
图8是本申请又一示例性实施例示出的一种多摄像头识别方法的流程图;
图9是本申请一示例性实施例示出的一种行人多摄像头识别装置的结构框图;
图10是本申请又一示例性实施例示出的一种行人多摄像头识别装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是本申请一示例性实施例示出的一种多摄像头识别方法的流程图;该实施例可以用于智能终端(例如,智能手机、平板电脑和台式笔记本等),也可以用于服务端(例如,一台服务器和多台服务器组成的服务器集群等)。如图1所示,该方法包括步骤S101-S103:
S101:获取备选对象的第一图像序列。
在一实施例中,上述备选对象可以为通过图像采集装置(如,摄像头和具有摄像功能的终端设备等)获取的图像集合中的各个人物或物体,具体视待识别的目标对象的种类而定。
在一实施例中,上述备选对象用于对目标对象进行再识别。其中,备选对象与目标对象关联不同的摄像头。举例来说,目标人物甲在摄像头A中出现过,再经过摄像头B的时候,要识别出备选人物甲’就是之前的目标人物甲,因此可以说目标人物甲和备选人物甲’关联不同的摄像头。
值得说明的是,目标对象和备选对象的种类相同,例如:若目标对象为行人,则备选对象也为行人;若目标对象为行驶的车辆,则备选对象也为交通工具,本实施例对目标对象和备选对象的具体种类不进行限定。
在一实施例中,上述备选对象的第一图像序列中可以包括多帧图像,且每一帧图像对应一幅备选对象的图像框,其中,图像框用于将备选对象从图像采集装置所采集的图像中框出来。
在一实施例中,获取备选对象的第一图像序列的方式还可以参见下述图2所示实施例,在此先不进行详述。
S102:对所述第一图像序列进行特征提取,得到备选对象的第一特征。
在一实施例中,当获取备选对象的第一图像序列后,可以对所述第一图像序列进行图像序列特征提取,得到该备选对象的第一特征。
值得说明的是,上述图像序列特征即以图像序列为单位所提取的特征,而不是从每一帧图像提取的特征。
在一实施例中,对所述第一图像序列进行特征提取,得到备选对象的第一特征的方式可以参见下述图3所示实施例,在此先不进行详述。
S103:将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象。
在一实施例中,当获取备选对象的第一特征后,为了确定该备选对象是否是待识别的目标对象,可以将所述第一特征与预先获取的目标对象的第二特征进行比对,以根据比对的结果确定所述备选对象是否为所述目标对象。举例来说,若所述比对的结果一致,则可以确定所述备选对象即为所述目标对象;否则,可以确定所述备选对象不为所述目标对象。
由上述描述可知,本实施例通过获取备选对象的第一图像序列,并对所述第一图像序列进行特征提取,得到备选对象的第一特征,然后将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头,由于以图像序列为单位进行特征提取,并将提取的将备选对象的第一特征与目标对象的第二特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率,并且不需要借助图像深度信息,因而可以节省硬件升级的成本。
图2是本申请一示例性实施例示出的如何获取备选对象的第一图像序列的流程图;本实施例在上述实施例的基础上,以如何获取备选对象的第一图像序列为例进行示例性说明。如图2所示,步骤S101中所述获取备选对象的第一图像序列,可以包括以下步骤S201-S203:
S201:获取与备选对象关联的摄像头所采集的第一图像集合。
在一实施例中,可以通过与备选对象关联的摄像头(或者具有摄像功能的终端设备等)获取第一图像集合(如,视频文件)。
在一实施例中,上述第一图像集合可以为RGB视频。
S202:从所述第一图像集合中检测所述备选对象,得到所述备选对象的多幅图像框。
在一实施例中,当获取第一图像集合后,可以在所述第一图像集合的各幅视频图像中检测备选对象。
在一实施例中,若备选对象为行人,则可以对所述第一图像集合进行行人检测,以将检测出的各个行人作为备选对象。
在一实施例中,可以采用预设行人检测算法,在所述第一图像集合的各幅视频图像中检测的各个行人的图像框,得到每个备选对象的多幅图像框。
在一实施例中,上述预设行人检测算法可以采用tracking-by-detction算法或核相关滤波KCF算法等,本实施例对此不进行限定。
S203:根据所述多幅图像框生成所述备选对象的第一图像序列,所述第一图像序列中每一帧图像对应一幅所述图像框。
在一实施例中,当根据上述第一图像集合得到备选对象的多幅图像框后,可以根据该多幅图像框生成该备选对象的第一图像序列(tracklet),其中,该第一图像序列中包括多帧图像,且每一帧图像均对应一幅所述图像框。
由上述描述可知,本实施例通过获取与备选对象关联的摄像头所采集的第一图像集合,并从所述第一图像集合中检测所述备选对象,得到所述备选对象的多幅图像框,进而根据所述多幅图像框生成所述备选对象的第一图像序列,所述第一图像序列中每一帧图像对应一幅所述图像框,可以获取备选对象的第一图像序列,进而实现后续对提取的将备选对象的第一特征与目标对象的第二特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率。
图3是本申请一示例性实施例示出的如何对所述第一图像序列进行特征提取的流程图;本实施例在上述实施例的基础上,以如何对所述第一图像序列进行特征提取为例进行示例性说明。如图3所示,步骤S102中所述对所述第一图像序列进行特征提取,得到备选对象的第一特征,可以包括以下步骤S301-S303:
S301:对所述第一图像序列的各幅图像框进行图像分割,得到多幅子图像。
在一实施例中,当得到第一图像序列后,可以对该第一图像序列的各幅图像分别进行图像分割,以得到多幅子图像。
在一实施例中,可以将每一幅图像分割成N块,即N幅子图像,则对于包含M幅图像的第一图像序列而言,共可以得到N*M幅子图像,其中N、M均为正整数,且N、M的数值可以根据实际需要进行设置。
在一实施例中,对所述第一图像序列的各幅图像框进行图像分割的方式还可以参见下述图4所示实施例,在此先不进行详述。
S302:对所述多幅子图像进行图像特征提取,得到多个子图像特征。
在一实施例中,当得到备选对象的多幅子图像后,可以分别对每一幅子图像进行特征提取,进而可以得到多个子图像特征。
在一实施例中,所提取的特征可以为既能很好地突出该幅子图像的特点,又能表现出与该备选对象的其他子图像的区别与联系的特征,以增强特征辨识度。
在一实施例中,对每幅子图像进行图像特征提取的方式可以参见下述图5所示实施例,在此先不进行详述。
S303:对所述多个子图像特征进行融合,得到备选对象的第一特征。
在一实施例中,当得到多个子图像特征后,可以将多个子图像特征进行融合,例如,将各个子图像特征进行连接,得到一个总的图像特征作为备选对象的第一特征。
在一实施例中,对上述多个子图像特征进行融合的方式可以参见下述图7所示实施例,在此先不进行赘述。
由上述描述可知,本实施例通过对所述第一图像序列的各幅图像框进行图像分割,得到多幅子图像,并对所述多幅子图像进行图像特征提取,得到多个子图像特征,进而对所述多个子图像特征进行融合,得到备选对象的第一特征,可以实现以图像序列为单位进行特征提取,进而实现后续对提取的将备选对象的第一特征与目标对象的第二特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率。
图4是本申请一示例性实施例示出的如何对所述第一图像序列的各幅图像框进行图像分割的流程图;本实施例在上述实施例的基础上,以如何对第一图像序列的各幅图像进行图像分割为例进行示例性说明。如图3所示,步骤S201中所述对所述第一图像序列的各幅图像进行图像分割,可以包括以下步骤S301-S303:
S301:计算所述第一图像序列的各幅图像框之间的相似度。
在一实施例中,当获得上述备选对象的第一图像序列后,可以采用预设相似度算法计算该第一图像序列中的各幅图像框之间的相似度。
在一实施例中,上述预设相似度算法可以根据实际需要进行选择,如通过计算马氏距离、Jaccard距离或马氏距离与Jaccard距离的加权和的方式来计算各幅图像框之间的相似度,本实施例对此不进行限定。
S302:根据所述相似度的计算结果对所述第一图像序列的各幅图像框进行排序。
在一实施例中,当计算所述第一图像序列的各幅图像框之间的相似度后,可以得到相似度的计算结果,进而可以根据该计算结果对所述第一图像序列的各幅图像框进行重新排序(re-rank)。例如,可以按照相似度从大到小的顺序对所述第一图像序列的各幅图像框进行重新排序。
S301:对排序后的各幅图像框进行图像分割。
在一实施例中,当对所述第一图像序列的各幅图像框进行排序后,可以对排序后的各幅图像框进行图像分割。
由上述描述可知,本实施例通过计算所述第一图像序列的各幅图像框之间的相似度,并根据所述相似度的计算结果对所述第一图像序列的各幅图像框进行排序,进而对排序后的各幅图像框进行图像分割,可以提升后续提取的图像序列特征的检索精度,可以提高对目标对象进行再识别的准确性。
图5是本申请一示例性实施例示出的如何对所述多幅子图像进行图像特征提取的流程图;本实施例在上述实施例的基础上,以如何对多幅子图像进行图像特征提取为例进行示例性说明。如图5所示,步骤S302中所述对所述多幅子图像进行图像特征提取,可以包括以下步骤S501-S502:
S501:对所述多幅子图像进行颜色分类,生成各幅所述子图像对应的多个颜色通道子图像。
在一实施例中,在得到多幅子图像后,可以采用预设图像分类方法对所述多幅子图像进行颜色分类,以生成各幅所述子图像对应的多个颜色通道子图像。
在一实施例中,上述预设图像分类方法可以包括基于预先训练的神经网络颜色分类模型对所述多幅子图像进行颜色分类,具体的模型训练方法可以根据实际需要进行选择,本实施例对此不进行限定。
值得说明的是,对所述多幅子图像进行颜色分类,得到多个颜色通道子图像,因而后续可以基于多个颜色通道子图像进行特征提取,可以降低不同曝光条件对于子图像特征提取的准确性的影响,进而可以提取不同曝光条件下的备选对象的第一特征的准确率。
S502:对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取。
在一实施例中,在得到各幅所述子图像对应的多个颜色通道子图像后,可以分别对其中的各颜色通道子图像进行图像特征提取。
由上述描述可知,本实施例通过对所述多幅子图像进行颜色分类,生成各幅所述子图像对应的多个颜色通道子图像,并对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取,可以提高提取不同曝光条件下的备选对象的第一特征的准确率,进而可以提高对目标对象进行再识别的准确性。
图6是本申请一示例性实施例示出的如何对多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取的流程图;本实施例在上述实施例的基础上,以如何对多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取为例进行示例性说明。如图6所示,步骤S502中所述对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取,可以包括以下步骤S601-S604:
S601:对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征。
在一实施例中,在得到多幅子图像后,可以对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征。
举例来说,针对每幅子图像的每一个像素,将相邻的8个像素的灰度值与其灰度值进行比较,若周围像素的灰度值大于中心像素,则将该中心像素的位置标记为1;否则,标记为0。这样,3*3邻域内的8个点经比较可产生8位二进制数,得到该幅子图像的LBP特征。
S602:构建每幅子图像的统计直方图,得到多个统计直方图。
在一实施例中,在得到多幅子图像后,可以为每幅子图像构建对应的统计直方图,即统计每幅子图像中每个像素点出现的频率,进而可以得到多幅子图像的多个统计直方图。
在一实施例中,还可以对构建的直方图进行归一化处理。
S603:基于预设直方图宽度对每个所述统计直方图进行二进制编码,得到所述多个颜色通道的直方图特征。
在一实施例中,当得到每幅子图像的统计直方图后,可以为每个统计直方图选择相应的直方图宽度,进而基于该直方图宽度对每个所述统计直方图进行二进制编码,得到各个颜色通道的直方图特征。
S604:将各个所述LBP特征和直方图特征进行连接,得到多个子图像特征。
在一实施例中,当得到每幅子图像的LBP特征和直方图特征后,可以将该LBP特征和直方图特征进行连接,得到该幅子图像子图像特征,进而可以得到多幅子图像的多个子图像特征。
由上述描述可知,本实施例通过对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征,并构建每幅所述子图像的统计直方图,得到多个统计直方图,然后基于预设直方图宽度对每个所述统计直方图进行二进制编码,得到各个颜色通道的直方图特征,进而将各个所述LBP特征和直方图特征进行连接,得到多个子图像特征,可以准确提取多幅子图像的图像特征,进而可以提高后续备选对象的第一特征的准确性。
图7是本申请一示例性实施例示出的如何对所述多个子图像特征进行融合的流程图;本实施例在上述实施例的基础上,以如何对所述多个子图像特征进行融合为例进行示例性说明。如图7所示,步骤S303中所述对所述多个子图像特征进行融合,得到备选对象的第一特征,可以包括以下步骤S701-S702:
S701:将多个所述子图像特征对应的向量进行连接,得到总特征向量。
在一实施例中,当获取多个子图像特征后,可以将多个所述子图像特征对应的向量进行连接,得到一个总特征向量。
S702:对所述总特征向量进行主成份分析PCA降维处理,得到备选对象的第一特征。
由上述描述可知,本实施例通过将多个所述子图像特征对应的向量进行连接,得到总特征向量,并对所述总特征向量进行主成份分析PCA降维处理,得到备选对象的第一特征,可以实现以图像序列为单位进行特征提取,进而实现后续对提取的将备选对象的第一特征与目标对象的第二特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率。
图8是本申请又一示例性实施例示出的一种多摄像头识别方法的流程图;如图8所示,该方法包括以下步骤S801-S807:
S801:获取与目标对象关联的摄像头所采集的第二图像集合。
在一实施例中,可以通过与目标对象关联的摄像头(或者具有摄像功能的终端设备等)获取第二图像集合(如,视频文件)。
在一实施例中,上述第二图像集合可以为RGB视频。
S802:从所述第二图像集合中检测所述目标对象,得到所述目标对象的多幅图像框。
在一实施例中,当获取第二图像集合后,可以在所述第二图像集合的各幅视频图像中检测目标对象。
在一实施例中,若目标对象为行人,则可以对所述第二图像集合进行行人检测,以将检测出的各个行人作为目标对象。
在一实施例中,可以采用预设行人检测算法,在所述第二图像集合的各幅视频图像中检测的各个行人的图像框,得到每个目标对象的多幅图像框。
在一实施例中,上述预设行人检测算法可以采用tracking-by-detction算法或核相关滤波KCF算法等,本实施例对此不进行限定。
S803:根据所述目标对象的多幅图像框生成所述目标对象的第二图像序列,所述第二图像序列中每一帧图像对应一幅所述目标对象的图像框。
在一实施例中,当根据上述第二图像集合得到目标对象的多幅图像框后,可以根据该多幅图像框生成该目标对象的第二图像序列(tracklet),其中,该第二图像序列中包括多帧图像,且每一帧图像均对应一幅所述图像框。
S804:对所述第二图像序列进行特征提取,得到所述目标对象的第二特征。
在一实施例中,对所述第二图像序列进行特征提取,得到所述目标对象的第二特征的具体过程可以参见上述图3至图7所示实施例示出的获取备选对象的第一特征的过程,本实施例对此不进行赘述。
S805:获取备选对象的第一图像序列。
S806:对所述第一图像序列进行特征提取,得到备选对象的第一特征。
S807:将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
其中,步骤S805-S807与前述图1所示实施例中的步骤S101-103相同,相关解释和说明可以参见前述实施例,在此不进行赘述。
由上述描述可知,本实施例通过获取与目标对象关联的摄像头所采集的第二图像集合,并对所述第二图像集合进行图像序列特征提取,得到目标对象的第二特征,由于以图像序列为单位进行特征提取,并将提取的目标对象的第二特征与备选对象的第一特征进行比对,不需要逐一比对每一幅图像的特征,因而可以降低多摄像头识别方案的计算量,提高多摄像头识别的效率,并且不需要借助图像深度信息,因而可以节省硬件升级的成本。
值得说明的是,上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图9是本申请一示例性实施例示出的一种行人多摄像头识别装置的结构框图;如图9所示,该装置包括:第一序列获取模块110、第一特征提取模块120和对象特征比对模块130,其中:
第一序列获取模块110,用于获取备选对象的第一图像序列;
第一特征提取模块120,用于对所述第一图像序列进行特征提取,得到备选对象的第一特征;
对象特征比对模块130,用于将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
图10是本申请又一示例性实施例示出的一种行人多摄像头识别装置的结构框图;其中,第一序列获取模块230、第一特征提取模块240和对象特征比对模块250与前述图9所示实施例中的第一序列获取模块110、第一特征提取模块120和对象特征比对模块130的功能相同,在此不进行赘述。如图10所示,第一序列获取模块230,还可以包括:
第一集合获取单元231,用于获取与备选对象关联的摄像头所采集的第一图像集合;
备选对象检测单元232,用于从所述第一图像集合中检测所述备选对象,得到所述备选对象的多幅图像框;
第一序列生成单元233,用于根据所述多幅图像框生成所述备选对象的第一图像序列,所述第一图像序列中每一帧图像对应一幅所述图像框;
在一实施例中,第一特征提取模块240,还可以包括:
图像序列分割单元241,用于对所述第一图像序列的各幅图像框进行图像分割,得到多幅子图像;
图像特征提取单元242,用于对所述多幅子图像进行图像特征提取,得到多个子图像特征;
图像特征融合单元243,用于对所述多个子图像特征进行融合,得到备选对象的第一特征。
在一实施例中,图像序列分割单元241还可以用于:
计算所述第一图像序列的各幅图像框之间的相似度;
根据所述相似度的计算结果对所述第一图像序列的各幅图像框进行排序;
对排序后的各幅图像框进行图像分割。
在一实施例中,图像特征提取单元242还可以用于:
对所述多幅子图像进行颜色分类,生成各幅所述子图像对应的多个颜色通道子图像;
对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取。
在一实施例中,图像特征提取单元242还可以用于:
对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征;
构建每幅所述子图像的统计直方图,得到多个统计直方图;
基于预设直方图宽度对每个所述统计直方图进行二进制编码,得到所述多个颜色通道的直方图特征;
将各个所述LBP特征和直方图特征进行连接,得到多个子图像特征。
在一实施例中,图像特征融合单元243还可以用于:
将多个所述子图像特征对应的向量进行连接,得到总特征向量;
对所述总特征向量进行主成份分析PCA降维处理,得到备选对象的第一特征。
在一实施例中,上述装置还可以包括:第二序列获取模块210和第二特征提取模块220;
其中,第二序列获取模块210还可以包括:
第二集合获取单元211,用于获取与目标对象关联的摄像头所采集的第二图像集合;
目标对象检测单元212,用于从所述第二图像集合中检测所述目标对象,得到所述目标对象的多幅图像框;
第二序列生成单元213,用于根据所述目标对象的多幅图像框生成所述目标对象的第二图像序列,所述第二图像序列中每一帧图像对应一幅所述目标对象的图像框;
第二特征提取模块220可以用于对所述第二图像序列进行特征提取,得到所述目标对象的第二特征;
在一实施例中,第二特征提取模块220还可以包括:
图像序列分割单元221,用于对所述第二图像序列的各幅图像框进行图像分割,得到多幅子图像;
图像特征提取单元222,用于对所述多幅子图像进行图像特征提取,得到多个子图像特征;
图像特征融合单元223,用于对所述多个子图像特征进行融合,得到备选对象的第一特征。
另一方面,本申请还提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述图1~图7所示实施例提供的多摄像头识别方法。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种多摄像头识别方法,其特征在于,包括:
获取备选对象的第一图像序列;
对所述第一图像序列进行特征提取,得到备选对象的第一特征;
将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
2.根据权利要求1所述的方法,其特征在于,所述获取备选对象的第一图像序列,包括:
获取与备选对象关联的摄像头所采集的第一图像集合;
从所述第一图像集合中检测所述备选对象,得到所述备选对象的多幅图像框;
根据所述多幅图像框生成所述备选对象的第一图像序列,所述第一图像序列中每一帧图像对应一幅所述图像框。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一图像序列进行特征提取,得到备选对象的第一特征,包括:
对所述第一图像序列的各幅图像框进行图像分割,得到多幅子图像;
对所述多幅子图像进行图像特征提取,得到多个子图像特征;
对所述多个子图像特征进行融合,得到备选对象的第一特征。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一图像序列的各幅图像框进行图像分割,包括:
计算所述第一图像序列的各幅图像框之间的相似度;
根据所述相似度的计算结果对所述第一图像序列的各幅图像框进行排序;
对排序后的各幅图像框进行图像分割。
5.根据权利要求3所述的方法,其特征在于,所述对所述多幅子图像进行图像特征提取,包括:
对所述多幅子图像进行颜色分类,生成各幅所述子图像对应的多个颜色通道子图像;
对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取。
6.根据权利要求5所述的方法,其特征在于,所述对所述多个颜色通道子图像中的各颜色通道子图像分别进行图像特征提取,包括:
对所述多幅子图像中每幅子图像内的每个像素点提取局部二值模式LBP特征;
构建每幅所述子图像的统计直方图,得到多个统计直方图;
基于预设直方图宽度对每个所述统计直方图进行二进制编码,得到所述多个颜色通道的直方图特征;
将各个所述LBP特征和直方图特征进行连接,得到多个子图像特征。
7.根据权利要求3所述的方法,其特征在于,所述对所述多个子图像特征进行融合,得到备选对象的第一特征,包括:
将多个所述子图像特征对应的向量进行连接,得到总特征向量;
对所述总特征向量进行主成份分析PCA降维处理,得到备选对象的第一特征。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述将所述第一特征与预先获取的目标对象的第二特征进行比对之前,所述方法还包括:
获取与目标对象关联的摄像头所采集的第二图像集合;
从所述第二图像集合中检测所述目标对象,得到所述目标对象的多幅图像框;
根据所述目标对象的多幅图像框生成所述目标对象的第二图像序列,所述第二图像序列中每一帧图像对应一幅所述目标对象的图像框;
对所述第二图像序列进行特征提取,得到所述目标对象的第二特征。
9.一种多摄像头识别装置,其特征在于,包括:
第一序列获取模块,用于获取备选对象的第一图像序列;
第一特征提取模块,用于对所述第一图像序列进行特征提取,得到备选对象的第一特征;
对象特征比对模块,用于将所述第一特征与预先获取的目标对象的第二特征进行比对,确定所述备选对象是否为所述目标对象;其中,备选对象与目标对象关联不同的摄像头。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一所述的多摄像头识别方法。
CN201810158998.6A 2018-02-26 2018-02-26 一种多摄像头识别方法及装置 Active CN108399411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810158998.6A CN108399411B (zh) 2018-02-26 2018-02-26 一种多摄像头识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810158998.6A CN108399411B (zh) 2018-02-26 2018-02-26 一种多摄像头识别方法及装置

Publications (2)

Publication Number Publication Date
CN108399411A true CN108399411A (zh) 2018-08-14
CN108399411B CN108399411B (zh) 2019-07-05

Family

ID=63096706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810158998.6A Active CN108399411B (zh) 2018-02-26 2018-02-26 一种多摄像头识别方法及装置

Country Status (1)

Country Link
CN (1) CN108399411B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210461A (zh) * 2019-06-27 2019-09-06 北京澎思智能科技有限公司 基于摄像机网格的多视图协同异常行为检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008046A1 (en) * 2006-07-11 2008-01-17 Agency For Science, Technology And Research Method and system for multi-object tracking
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
CN101916383A (zh) * 2010-08-25 2010-12-15 浙江师范大学 基于多摄像机的车辆检测跟踪识别系统
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN102930556A (zh) * 2012-09-21 2013-02-13 公安部第三研究所 实现多摄像机目标跟踪的视频图像结构化描述处理的方法
CN104598883A (zh) * 2015-01-21 2015-05-06 西安理工大学 一种多摄像机监控网络中目标再识别的方法
WO2017003557A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008046A1 (en) * 2006-07-11 2008-01-17 Agency For Science, Technology And Research Method and system for multi-object tracking
CN101751677A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
CN101916383A (zh) * 2010-08-25 2010-12-15 浙江师范大学 基于多摄像机的车辆检测跟踪识别系统
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN102930556A (zh) * 2012-09-21 2013-02-13 公安部第三研究所 实现多摄像机目标跟踪的视频图像结构化描述处理的方法
CN104598883A (zh) * 2015-01-21 2015-05-06 西安理工大学 一种多摄像机监控网络中目标再识别的方法
WO2017003557A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOSHENG SHEN ET AL;: "《Method of Motion Detection and Tracking Based on Multi-camera》", 《20IO 3RD INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER THEORY AND ENGINEERING》 *
牛文昊 等;: "《多监控摄像头特定目标检索方法研究》", 《通信技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210461A (zh) * 2019-06-27 2019-09-06 北京澎思智能科技有限公司 基于摄像机网格的多视图协同异常行为检测方法
CN110210461B (zh) * 2019-06-27 2021-03-05 北京澎思科技有限公司 基于摄像机网格的多视图协同异常行为检测方法

Also Published As

Publication number Publication date
CN108399411B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
Zhao et al. Inter-frame passive-blind forgery detection for video shot based on similarity analysis
US9158985B2 (en) Method and apparatus for processing image of scene of interest
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
Mahapatra et al. Coherency based spatio-temporal saliency detection for video object segmentation
CN117095349A (zh) 外观搜索系统、方法和非暂时性计算机可读介质
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
CN112818149B (zh) 一种基于时空轨迹数据的人脸聚类方法、装置及存储介质
US20090290752A1 (en) Method for producing video signatures and identifying video clips
CN112514373B (zh) 用于特征提取的图像处理装置和方法
Shen et al. Real-time and robust compressive background subtraction for embedded camera networks
Su et al. A novel forgery detection algorithm for video foreground removal
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
Lee et al. Video saliency detection based on spatiotemporal feature learning
US12056212B2 (en) Methods and systems for generating composite image descriptors
CN111753642B (zh) 一种确定关键帧的方法及装置
Patel et al. Top‐Down and Bottom‐Up Cues Based Moving Object Detection for Varied Background Video Sequences
KR102096784B1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
Kroneman et al. Accurate pedestrian localization in overhead depth images via Height-Augmented HOG
CN108399411B (zh) 一种多摄像头识别方法及装置
Mizher et al. Action key frames extraction using l1-norm and accumulative optical flow for compact video shot summarisation
Ferreira et al. A generic framework for optimal 2D/3D key-frame extraction driven by aggregated saliency maps
CN113158818B (zh) 用于识别伪造视频的方法、装置和设备
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant