CN109902550A - 行人属性的识别方法和装置 - Google Patents

行人属性的识别方法和装置 Download PDF

Info

Publication number
CN109902550A
CN109902550A CN201811324908.2A CN201811324908A CN109902550A CN 109902550 A CN109902550 A CN 109902550A CN 201811324908 A CN201811324908 A CN 201811324908A CN 109902550 A CN109902550 A CN 109902550A
Authority
CN
China
Prior art keywords
pedestrian
video frame
attribute
occurred
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811324908.2A
Other languages
English (en)
Inventor
杨旭东
张晓博
侯章军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811324908.2A priority Critical patent/CN109902550A/zh
Publication of CN109902550A publication Critical patent/CN109902550A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

说明书披露一种行人属性的识别方法和装置。所述方法包括:获取摄像头采集到的视频,并从所述视频中提取出视频帧;将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;基于去重结果识别所述视频帧中出现的行人的属性。

Description

行人属性的识别方法和装置
技术领域
本说明书涉及人工智能技术领域,尤其涉及一种行人属性的识别方法和装置。
背景技术
随着视频监控技术的发展,越来越多的场景部署有摄像头,可用于采集监控画面,例如医院、商场、火车站等,采集到的监控画面可为安防、商业等领域的监控、分析提供有力的数据基础。
发明内容
有鉴于此,本说明书提供一种行人属性的识别方法和装置。
具体地,本说明书是通过如下技术方案实现的:
一种行人属性的识别方法,包括:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
一种行人属性的识别装置,包括:
视频帧提取单元,获取摄像头采集到的视频,并从所述视频中提取出视频帧;
行人检测单元,将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
行人去重单元,根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
属性识别单元,基于去重结果识别所述视频帧中出现的行人的属性。
一种行人属性的识别装置,包括:
处理器;
用于存储机器可执行指令的存储器;
其中,通过读取并执行所述存储器存储的与行人属性的识别逻辑对应的机器可执行指令,所述处理器被促使:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
一种行人属性的识别系统,包括摄像头和与所述摄像头相连的嵌入式开发板,
所述摄像头采集视频;
所述嵌入式开发板获取所述摄像头采集到的视频,并从所述视频中提取出视频帧;
所述嵌入式开发板将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
所述嵌入式开发板根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
所述嵌入式开发板基于去重结果识别所述视频帧中出现的行人的属性。
由以上描述可以看出,本说明书可从摄像头采集到的视频中检测出行人所在的区域图像和位置信息,并可根据所述区域图像和位置信息对视频帧中出现的行人进行去重处理,然后可基于去重结果识别出视频中行人的属性,从而为安防、商业等领域提供有力的数据基础。
附图说明
图1是本说明书一示例性实施例示出的一种行人属性的识别方法的流程示意图。
图2是本说明书一示例性实施例示出的一种视频帧的示意图。
图3是本说明书一示例性实施例示出的一种行人去重的方法的流程示意图。
图4是本说明书一示例性实施例示出的一种用于行人属性的识别装置的一结构示意图。
图5是本说明书一示例性实施例示出的一种行人属性的识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本说明书提供一种行人属性的识别方案,可从摄像头采集到的实时视频中检测出行人,并可实现对行人属性的识别,从而为安防、商业等领域提供有力的数据基础。
在一个例子中,所述行人属性的识别方案可应用在服务端。例如,部署在应用场景中的摄像头采集实时视频,并将采集到的视频上传到服务端,由服务端进行行人属性的识别。
在另一个例子中,所述行人属性的识别方案可应用在嵌入式开发板中。例如,可采用USB线连接摄像头与嵌入式开发板,由摄像头采集实时视频,嵌入式开发板可获取摄像头采集到的视频,并可在本地对所述视频中出现的行人属性进行识别。采用嵌入式开发板的实现方案,无需将视频上传到服务端,可大大节省网络带宽,减少网络传输压力。
当然,除嵌入式开发板之外,所述行人属性的识别方案还可应用在其他与摄像头连接的非服务端硬件设备中,本说明书对此不作特殊限制。
图1是本说明书一示例性实施例示出的一种行人属性的识别方法的流程示意图。
请参考图1,所述行人属性的识别方法可包括以下步骤:
步骤102,获取摄像头采集到的视频,并从所述视频中提取出视频帧。
以上述方法应用在嵌入式开发板中为例,嵌入式开发板接收摄像头采集到的视频,并可从所述视频中提取出视频帧。
例如,可提取所述视频中的每一个视频帧。
再例如,可根据预定的帧间隔从所述视频中提取出视频帧,所述帧间隔可根据嵌入式开发板的性能预先设置。以所述帧间隔是1帧为例,可提取所述视频的第1帧、第3帧、第5帧等,依次类推。
步骤104,将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息。
在本实施例中,可采用训练好的Faster R-CNN、SSD或YOLO等模型作为所述行人检测模型,本说明书对此不作特殊限制。
以实时性较好的YOLO模型为例,可将提取到的视频帧作为入参输入训练好的YOLO模型,通过该模型可输出所述视频帧中各个行人所在的区域图像和位置信息。
其中,所述区域图像通常为所述视频帧中所述行人所在的矩形区域。所述位置信息通常为所述矩形区域在所述视频帧中的位置信息,例如,所述矩形区域中心点的位置坐标等。
请参考图2的示例,图2所示的视频帧中出现两个行人,图2虚线框出的矩形区域图像是这两个行人所在区域的图像,在本例中,基于行人检测模型可输出图2所示的两个虚线的矩形区域图像(即行人区域图像)和这两个区域图像的位置信息。
当然,在实际应用中,为标注识别出的行人所属的视频帧,所述输出结果还可包括所述行人所属的视频帧标识,例如帧ID等,本说明书对此不作特殊限制。
步骤106,根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理。
在本实施例中,可先计算前后两个相邻的视频帧中两两行人之间的行人相似度,然后可根据行人相似度确定前后两个相邻的视频帧中行人之间的匹配结果。
当两个行人匹配时,可确定这两个行人是同一个人。
当两个行人不匹配时,可确定这两个行人不是同一个人。
在本实施例中,根据得到的匹配结果,可对提取的所有视频帧中出现的同一个人进行识别,从而实现对行人的去重处理。
步骤108,基于去重结果识别所述视频帧中出现的行人的属性。
在本实施例中,所述行人的属性可包括:性别、年龄段、衣着、附属物等。所述视频帧中出现的行人的属性就是上述摄像头采集到的视频中出现的行人的属性。
基于所述属性,可从预定的维度对视频中出现的行人属性进行统计,例如统计视频中出现的行人的年龄分布、性别分布等。
由以上描述可以看出,本说明书可从摄像头采集到的视频中检测出行人所在的区域图像和位置信息,并可根据所述区域图像和位置信息对视频帧中出现的行人进行去重处理,然后可基于去重结果识别出视频中行人的属性,从而为安防、商业等领域提供有力的数据基础。
下面分别从行人去重、行人属性识别两个方面来描述本说明书的具体实现过程。
一、行人去重
在本实施例中,摄像头采集到的视频中出现的同一个行人通常会出现在多个视频帧中,在对行人进行去重处理时,可选取前后两个相邻的视频帧,并确定这两个相邻视频帧中各个行人之间的匹配结果,然后基于所提取的所有视频帧中行人之间的匹配结果在多张视频帧中识别出同一个人,以进行去重。
图3是本说明书一示例性实施例示出的一种行人去重的方法的流程示意图。
请参考图3,所述去重方法可包括以下步骤:
步骤302,针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度。
在本实施例中,以对摄像头采集到的视频进行实时识别为例,可计算当前视频帧中每个行人与上一个视频帧中每个行人之间的行人相似度。
以将提取的视频帧顺序编号为例,假设当前处理的视频帧是视频帧2,则可计算视频帧2中出现的每个行人与视频帧1中出现的每个行人之间的行人相似度。
假设行人检测模型检测视频帧2中出现3个行人,分别为A、B和C,而视频帧1中出现2个行人,分别为X和Y,则可计算行人A与行人X、Y之间的行人相似度,计算行人B与行人X、Y之间的行人相似度,计算行人C与行人X、Y之间的行人相似度。
下面以计算行人A和行人X之间的行人相似度为例:
一方面,可根据行人A和行人X的位置信息计算行人A和行人X之间的距离相似度。
以所述位置信息是对应区域图像的中心点坐标为例,可根据所述中心点坐标计算行人A和行人X之间的曼哈顿距离,然后对所述曼哈顿距离做归一化处理,得到行人A和行人X之间的距离相似度。其中,所述曼哈顿距离可采用像素点数量来表示。
当然,在其他例子中,也可采用直线距离作为所述距离相似度,本说明书对此不作特殊限制。
另一方面,可根据行人A和行人X所在的区域图像计算行人A和行人X之间特征相似度。
在计算特征相似度时,可分别将行人A和行人X所在的区域图像输入训练好的行人重识别模型,经过行人重识别模型可输出对应行人的特征向量。
在本例中,可计算行人A和行人X的特征向量之间的余弦相似度作为行人A和行人X之间的特征相似度。
当然,在其他例子中,也可采用其他方式计算特征向量之间的相似度作为所述特征相似度,本说明书对此不作特殊限制。
在计算得到行人A和行人X之间的距离相似度和特征相似度之后,可计算所述距离相似度和所述特征相似度的平均值,作为行人A和行人X之间的行人相似度。
在本实施例中,视频帧2中出现的每个行人与视频帧1中出现的每个行人之间的行人相似度可组成如下3×2矩阵:
步骤304,将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果。
在本实施例中,可将前述步骤302中计算得到的行人相似度矩阵作为入参,采用匈牙利算法计算得到视频帧2和视频帧1中行人之间的匹配结果。
假设匹配结果是视频帧2中的行人A与视频帧1中的行人X匹配,其他行人之间均不匹配,则可说明行人A和行人X是同一个人;而行人B和行人C未在较早的视频帧1中出现,可说明行人B和行人C是视频帧2中新出现的行人;行人Y在较早的视频帧1中出现,但是未出现在较晚的视频帧2中,可说明行人Y最后出现在视频帧1中,然后走出了摄像头的监控区域。
步骤306,根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
在本实施例中,根据提取的所有视频帧中两两视频帧之间的行人匹配结果,可对所有视频帧中出现的同一个人进行识别,进而可对出现在多个视频帧中的同一个人进行去重处理,得到视频帧中实际出现的行人。
举例来说,针对预定时间段内摄像头采集到的视频,假设提取出2000张视频帧,基于行人检测模型在这些视频帧中一共检测出5000行人,通过去重处理可确定这些视频帧中一共出现过800行人。
二、行人属性识别
在本实施例中,基于行人去重结果,可对提取的视频帧中出现的行人的属性进行识别。
在一个例子中,仍以前述一共检测出5000行人,去重后确定800行人为例。针对确定的800行人中的每个行人,可获取这个行人所在的若干张区域图像,并可采用行人属性识别模型分别对每张区域图像中该行人的属性进行识别。基于一张区域图像可得到对应该行人的一组属性,基于若干张区域图像可得到对应该行人的若干组属性,然后可对这若干组属性进行汇总,从而得到这个行人的属性。
上述获取的区域图像数量可预先设置,例如5、8等,本说明书对此不作特殊限制。值得注意的是,若预先设置的数量大于某个行人实际所在的区域图像数量,则可获取所述行人实际所在的全部区域图像。
以行人A为例,假设在提取的2000张视频帧中,行人A出现在5张视频帧中,即行人A所在的区域图像数量是5。在进行属性识别时,若预先设置的数量是4,则可获取行人A所在的任意4张区域图像,然后分别将这4张区域图像输入行人属性识别模型,得到对应这4张图像的4组属性。
其中,每组属性都可包括多个属性值,每个属性值可对应某一类别的属性,例如一组属性可以是(性别、年龄段、衣着、附属物、…)等。
在对属性进行汇总时,针对同一类别的属性,可将数量最多的属性值确定为最终属性。例如,以属性类别是年龄段为例,假设有3组属性中年龄段对应的属性值表示行人A是青少年,有1组属性中年龄段对应的属性值表示行人A是成年人,则可确定行人A是青少年。
本实施例通过对多组属性的汇总,可提高行人属性识别的准确度。
在另一个例子中,在进行属性识别时,可将行人检测模型输出的所有行人所在的区域图像作为入参输入已训练的行人属性识别模型,即将检测出的5000行人所在的所有区域图像作为入参输入已训练的行人属性识别模型,输出对应每张区域图像的属性。
针对去重后确定的800行人中的每个行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性,然后可对这若干组属性进行汇总,从而得到这个行人的属性。
仍以行人A为例,假设在提取的2000张视频帧中,行人A出现在5张视频帧中,即行人A所在的区域图像数量是5。通过行人属性识别模型,可得到行人A对应的5组属性。在本例中,仍假设预先设置的数量是4,则可从识别出的5组属性中任取4组属性,并对这4组属性进行汇总,得到行人A的属性。
在本例中,由于行人属性识别模型的入参是行人检测模型输出的行人所在区域图像,为提高行人属性识别的实时性,针对识别出的同一个行人,可依次获取行人属性识别模型识别出的与该行人对应的前4组属性,忽略后续识别出的属性。在获取到这4组属性后,可进行属性汇总,从而得到这个行人的属性。
在本例中,可采用多任务学习的方法将行人属性识别模型和行人重识别模型所需的神经网络通过权重共享整合在一起,从而有效减少计算量。
在本实施例中,在识别出提取的视频帧中出现的行人的属性之后,可基于预定的维度对行人的属性信息进行统计。例如,统计出现的行人的年龄分布、性别分布等。
在本实施例中,嵌入式开发板还可将识别出的行人属性上传到服务端,由服务端对相应场景中的行人属性进行统计分析。
举例来说,某大型商场部署有20个嵌入式开发板,这20个嵌入式开发板获取相连的摄像头采集到的实时视频,然后对实时视频中出现的行人的属性进行识别,并可将识别结果发送至服务端。服务端可根据嵌入式开发板上报的行人属性对商场客流进行分析,例如,分析预定时间段内客流的年龄分布、性别分布等,从而为运营策略的指定提供有力的数据基础。
与前述行人属性的识别方法的实施例相对应,本说明书还提供了行人属性的识别装置的实施例。
本说明书行人属性的识别装置的实施例可以应用在嵌入式开发板上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在嵌入式开发板的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本说明书行人属性的识别装置所在嵌入式开发板的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的嵌入式开发板通常根据该服务器的实际功能,还可以包括其他硬件,对此不再赘述。
图5是本说明书一示例性实施例示出的一种行人属性的识别装置的框图。
请参考图5,所述行人属性的识别装置400可以应用在前述图4所示的嵌入式开发板中,包括有:视频帧提取单元401、行人检测单元402、行人去重单元403、属性识别单元404以及属性统计单元405。
其中,视频帧提取单元401,获取摄像头采集到的视频,并从所述视频中提取出视频帧;
行人检测单元402,将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
行人去重单元403,根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
属性识别单元404,基于去重结果识别所述视频帧中出现的行人的属性。
可选的,所述行人去重单元403:
针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度;
将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果;
根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
可选的,所述行人去重单元403:
针对待计算相似度的两个行人,根据所述行人的位置信息计算这两个行人的距离相似度;
根据所述行人的区域图像计算这两个行人的特征相似度;
联合所述距离相似度和所述特征相似度计算这两个行人的行人相似度。
可选的,所述行人去重单元403:
将所述行人的区域图像作为入参输入行人重识别模型,输出对应所述行人的特征向量;
计算这两个行人的特征向量的余弦相似度,作为所述特征相似度。
可选的,所述属性识别单元404:
针对识别出的同一行人,获取所述行人所在的若干张区域图像;
将所述区域图像作为入参输入行人属性识别模型,输出与所述行人对应的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,所述属性识别单元404:
将行人检测模型输出的行人所在区域图像作为入参输入行人属性识别模型,输出对应的行人属性;
针对识别出的同一行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,所述视频帧提取单元401,根据预定的帧间隔从所述视频中提取出视频帧。
属性统计单元405,基于预定的维度对所述视频帧中出现的行人的属性信息进行统计。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与前述行人属性的识别方法的实施例相对应,本说明书还提供一种行人属性的识别装置,该装置包括:处理器以及用于存储机器可执行指令的存储器。其中,处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中,所述设备还可能包括外部接口,以能够与其他设备或者部件进行通信。
在本实施例中,通过读取并执行所述存储器存储的与行人属性的识别逻辑对应的机器可执行指令,所述处理器被促使:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
可选的,在根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理时,所述处理器被促使:
针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度;
将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果;
根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
可选的,在根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度时,所述处理器被促使:
针对待计算相似度的两个行人,根据所述行人的位置信息计算这两个行人的距离相似度;
根据所述行人的区域图像计算这两个行人的特征相似度;
联合所述距离相似度和所述特征相似度计算这两个行人的行人相似度。
可选的,在根据所述行人的区域图像计算这两个行人的特征相似度时,所述处理器被促使:
将所述行人的区域图像作为入参输入行人重识别模型,输出对应所述行人的特征向量;
计算这两个行人的特征向量的余弦相似度,作为所述特征相似度。
可选的,在基于去重结果识别所述视频帧中出现的行人的属性时,所述处理器被促使:
针对识别出的同一行人,获取所述行人所在的若干张区域图像;
将所述区域图像作为入参输入行人属性识别模型,输出与所述行人对应的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,在基于去重结果识别所述视频帧中出现的行人的属性时,所述处理器被促使:
将行人检测模型输出的行人所在区域图像作为入参输入行人属性识别模型,输出对应的行人属性;
针对识别出的同一行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,在从所述视频中提取出视频帧时,所述处理器被促使:
根据预定的帧间隔从所述视频中提取出视频帧。
可选的,所述处理器还被促使:
基于预定的维度对所述视频帧中出现的行人的属性信息进行统计。
可选的,所述方法应用于与所述摄像头相连的嵌入式开发板中。
与前述行人属性的识别方法的实施例相对应,本说明书还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现以下步骤:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
可选的,所述根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理,包括:
针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度;
将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果;
根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
可选的,所述根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度,包括:
针对待计算相似度的两个行人,根据所述行人的位置信息计算这两个行人的距离相似度;
根据所述行人的区域图像计算这两个行人的特征相似度;
联合所述距离相似度和所述特征相似度计算这两个行人的行人相似度。
可选的,所述根据所述行人的区域图像计算这两个行人的特征相似度,包括:
将所述行人的区域图像作为入参输入行人重识别模型,输出对应所述行人的特征向量;
计算这两个行人的特征向量的余弦相似度,作为所述特征相似度。
可选的,所述基于去重结果识别所述视频帧中出现的行人的属性,包括:
针对识别出的同一行人,获取所述行人所在的若干张区域图像;
将所述区域图像作为入参输入行人属性识别模型,输出与所述行人对应的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,所述基于去重结果识别所述视频帧中出现的行人的属性,包括:
将行人检测模型输出的行人所在区域图像作为入参输入行人属性识别模型,输出对应的行人属性;
针对识别出的同一行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
可选的,从所述视频中提取出视频帧,包括:
根据预定的帧间隔从所述视频中提取出视频帧。
可选的,还包括:
基于预定的维度对所述视频帧中出现的行人的属性信息进行统计。
可选的,所述方法应用于与所述摄像头相连的嵌入式开发板中。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (20)

1.一种行人属性的识别方法,包括:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
2.根据权利要求1所述的方法,所述根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理,包括:
针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度;
将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果;
根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
3.根据权利要求2所述的方法,所述根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度,包括:
针对待计算相似度的两个行人,根据所述行人的位置信息计算这两个行人的距离相似度;
根据所述行人的区域图像计算这两个行人的特征相似度;
联合所述距离相似度和所述特征相似度计算这两个行人的行人相似度。
4.根据权利要求3所述的方法,所述根据所述行人的区域图像计算这两个行人的特征相似度,包括:
将所述行人的区域图像作为入参输入行人重识别模型,输出对应所述行人的特征向量;
计算这两个行人的特征向量的余弦相似度,作为所述特征相似度。
5.根据权利要求1所述的方法,所述基于去重结果识别所述视频帧中出现的行人的属性,包括:
针对识别出的同一行人,获取所述行人所在的若干张区域图像;
将所述区域图像作为入参输入行人属性识别模型,输出与所述行人对应的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
6.根据权利要求1所述的方法,所述基于去重结果识别所述视频帧中出现的行人的属性,包括:
将行人检测模型输出的行人所在区域图像作为入参输入行人属性识别模型,输出对应的行人属性;
针对识别出的同一行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
7.根据权利要求1所述的方法,从所述视频中提取出视频帧,包括:
根据预定的帧间隔从所述视频中提取出视频帧。
8.根据权利要求1所述的方法,还包括:
基于预定的维度对所述视频帧中出现的行人的属性信息进行统计。
9.根据权利要求1所述的方法,所述方法应用于与所述摄像头相连的嵌入式开发板中。
10.一种行人属性的识别装置,包括:
视频帧提取单元,获取摄像头采集到的视频,并从所述视频中提取出视频帧;
行人检测单元,将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
行人去重单元,根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
属性识别单元,基于去重结果识别所述视频帧中出现的行人的属性。
11.根据权利要求10所述的装置,所述行人去重单元:
针对前后两个相邻的视频帧,根据所述区域图像和所述位置信息计算前一个视频帧中出现的每个行人与后一个视频帧中出现的每个行人的行人相似度;
将所述行人相似度作为入参,采用匈牙利算法计算得到所述前后两个相邻的视频帧中行人的匹配结果;
根据所述匹配结果对所提取的视频帧中出现的行人进行去重处理。
12.根据权利要求11所述的装置,所述行人去重单元:
针对待计算相似度的两个行人,根据所述行人的位置信息计算这两个行人的距离相似度;
根据所述行人的区域图像计算这两个行人的特征相似度;
联合所述距离相似度和所述特征相似度计算这两个行人的行人相似度。
13.根据权利要求12所述的装置,所述行人去重单元:
将所述行人的区域图像作为入参输入行人重识别模型,输出对应所述行人的特征向量;
计算这两个行人的特征向量的余弦相似度,作为所述特征相似度。
14.根据权利要求10所述的装置,所述属性识别单元:
针对识别出的同一行人,获取所述行人所在的若干张区域图像;
将所述区域图像作为入参输入行人属性识别模型,输出与所述行人对应的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
15.根据权利要求10所述的装置,所述属性识别单元:
将行人检测模型输出的行人所在区域图像作为入参输入行人属性识别模型,输出对应的行人属性;
针对识别出的同一行人,获取基于该行人所在的若干不同区域图像识别出的若干组属性;
对所述若干组属性进行汇总,得到所述行人的属性。
16.根据权利要求10所述的装置,
所述视频帧提取单元,根据预定的帧间隔从所述视频中提取出视频帧。
17.根据权利要求10所述的装置,还包括:
属性统计单元,基于预定的维度对所述视频帧中出现的行人的属性信息进行统计。
18.根据权利要求10所述的装置,所述装置应用于与所述摄像头相连的嵌入式开发板中。
19.一种行人属性的识别装置,包括:
处理器;
用于存储机器可执行指令的存储器;
其中,通过读取并执行所述存储器存储的与行人属性的识别逻辑对应的机器可执行指令,所述处理器被促使:
获取摄像头采集到的视频,并从所述视频中提取出视频帧;
将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
基于去重结果识别所述视频帧中出现的行人的属性。
20.一种行人属性的识别系统,包括摄像头和与所述摄像头相连的嵌入式开发板,
所述摄像头采集视频;
所述嵌入式开发板获取所述摄像头采集到的视频,并从所述视频中提取出视频帧;
所述嵌入式开发板将所述视频帧作为入参输入行人检测模型,输出行人检测结果,所述行人检测结果包括所述视频帧中出现的行人所在的区域图像和位置信息;
所述嵌入式开发板根据所述区域图像和所述位置信息对所提取的视频帧中出现的行人进行去重处理;
所述嵌入式开发板基于去重结果识别所述视频帧中出现的行人的属性。
CN201811324908.2A 2018-11-08 2018-11-08 行人属性的识别方法和装置 Pending CN109902550A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811324908.2A CN109902550A (zh) 2018-11-08 2018-11-08 行人属性的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811324908.2A CN109902550A (zh) 2018-11-08 2018-11-08 行人属性的识别方法和装置

Publications (1)

Publication Number Publication Date
CN109902550A true CN109902550A (zh) 2019-06-18

Family

ID=66943242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811324908.2A Pending CN109902550A (zh) 2018-11-08 2018-11-08 行人属性的识别方法和装置

Country Status (1)

Country Link
CN (1) CN109902550A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781733A (zh) * 2019-09-17 2020-02-11 浙江大华技术股份有限公司 图像去重方法、存储介质、网络设备和智能监控系统
CN111046825A (zh) * 2019-12-19 2020-04-21 杭州晨鹰军泰科技有限公司 人体姿态识别方法、装置、系统及计算机可读存储介质
CN112541374A (zh) * 2019-09-20 2021-03-23 南京行者易智能交通科技有限公司 一种基于深度学习的乘客属性的获取方法、装置及模型训练方法
CN113221807A (zh) * 2021-05-26 2021-08-06 新疆爱华盈通信息技术有限公司 一种多摄像头的行人重识别方法及系统
WO2021238664A1 (zh) * 2020-05-29 2021-12-02 北京沃东天骏信息技术有限公司 信息采集方法和装置、关注度检测方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781733A (zh) * 2019-09-17 2020-02-11 浙江大华技术股份有限公司 图像去重方法、存储介质、网络设备和智能监控系统
CN110781733B (zh) * 2019-09-17 2022-12-06 浙江大华技术股份有限公司 图像去重方法、存储介质、网络设备和智能监控系统
CN112541374A (zh) * 2019-09-20 2021-03-23 南京行者易智能交通科技有限公司 一种基于深度学习的乘客属性的获取方法、装置及模型训练方法
CN112541374B (zh) * 2019-09-20 2024-04-30 南京行者易智能交通科技有限公司 一种基于深度学习的乘客属性的获取方法、装置及模型训练方法
CN111046825A (zh) * 2019-12-19 2020-04-21 杭州晨鹰军泰科技有限公司 人体姿态识别方法、装置、系统及计算机可读存储介质
WO2021238664A1 (zh) * 2020-05-29 2021-12-02 北京沃东天骏信息技术有限公司 信息采集方法和装置、关注度检测方法、装置和系统
CN113221807A (zh) * 2021-05-26 2021-08-06 新疆爱华盈通信息技术有限公司 一种多摄像头的行人重识别方法及系统

Similar Documents

Publication Publication Date Title
CN109858371B (zh) 人脸识别的方法及装置
CN109902550A (zh) 行人属性的识别方法和装置
Baraldi et al. Gesture recognition in ego-centric videos using dense trajectories and hand segmentation
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN108229314B (zh) 目标人物的搜索方法、装置和电子设备
CN108229335A (zh) 关联人脸识别方法和装置、电子设备、存储介质、程序
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
CN110781733B (zh) 图像去重方法、存储介质、网络设备和智能监控系统
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN104794446B (zh) 基于合成描述子的人体动作识别方法及系统
CN109614933A (zh) 一种基于确定性拟合的运动分割方法
CN111553327A (zh) 一种服饰识别方法、装置、设备和介质
CN105844204B (zh) 人体行为识别方法和装置
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN115115976A (zh) 视频处理方法、装置、电子设备及存储介质
Chakraborty et al. Person reidentification using multiple egocentric views
CN114387648A (zh) 异常图像检测方法、装置、计算机设备及存储介质
Zhang et al. Multi-surface analysis for human action recognition in video
CN110751034B (zh) 行人行为识别方法及终端设备
Vu et al. Anomaly detection in surveillance videos by future appearance-motion prediction
Huang et al. Two-stream convolutional network extracting effective spatiotemporal information for gait recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190618

RJ01 Rejection of invention patent application after publication