CN111178132A - 图像识别方法、装置及电子设备 - Google Patents

图像识别方法、装置及电子设备 Download PDF

Info

Publication number
CN111178132A
CN111178132A CN201911211500.9A CN201911211500A CN111178132A CN 111178132 A CN111178132 A CN 111178132A CN 201911211500 A CN201911211500 A CN 201911211500A CN 111178132 A CN111178132 A CN 111178132A
Authority
CN
China
Prior art keywords
target object
information
target
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911211500.9A
Other languages
English (en)
Other versions
CN111178132B (zh
Inventor
谢榛
孟伟
夏菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911211500.9A priority Critical patent/CN111178132B/zh
Publication of CN111178132A publication Critical patent/CN111178132A/zh
Application granted granted Critical
Publication of CN111178132B publication Critical patent/CN111178132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像识别方法,一种图像识别装置以及一种电子设备。所述方法包括:获得目标图像;提取目标图像的场景特征,根据场景特征,获得目标图像的场景信息;根据目标图像的场景信息,获得目标图像中的目标对象行为属性信息与目标对象群体属性信息;其中,目标对象群体属性信息包括目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标。采用该方法获得的目标对象行为属性信息与目标对象群体属性信息,能够解决现有的对视频或者图像中人的分析的通用性输出参数不符合人群仿真软件需求的问题;同时采用该方法获得的目标对象数量和目标对象真实位置可以解决一般目标对象计数方法对小目标不准确以及没有真实位置的问题。

Description

图像识别方法、装置及电子设备
技术领域
本申请涉及图像处理领域,具体涉及图像识别方法、装置及电子设备。
背景技术
随着现代信息处理技术的发展,利用视频或者图像处理技术对视频或者图像中人进行分析变得越来越重要。这主要是由于得到这些视频或者图像中人的分析信息,能够模拟监控视频或者监控图像中的人的相关信息。例如,在交通疏导、安防监控、活动保障、自动驾驶等领域利用视频或者图像处理技术对人进行分析有着重要的作用。
现有技术中,对视频或者图像中人的分析主要只是视频分析能力的通用性输出,例如检测出人在图像中的位置信息,年龄信息以及性别信息,但并未给出视频或者图像中人的行为属性和群体属性;同时,也未考虑实际场景的特点。而在人群仿真中,需要得到人的行为属性,群体属性以及实际场景的信息。因此上述现有技术获得的通用性输出参数无法在人群仿真软件中进行使用。
发明内容
本申请提供一种图像识别方法,以解决现有的对视频或者图像中人的分析的通用性输出参数不符合人群仿真软件的需求,无法在人群仿真软件中进行使用的问题;同时采用该方法获得的目标对象数量和目标对象真实位置可以解决一般目标对象计数方法对小目标不准确以及没有真实位置的问题。本申请同时提供一种图像识别装置以及一种电子设备。
本申请提供一种图像识别方法,包括:
获得目标图像;
提取所述目标图像的场景特征,根据所述场景特征,获得所述目标图像的场景信息;
根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息;
其中,所述目标对象群体属性信息包括所述目标对象的数量以及目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
可选的,所述根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息,包括:
根据所述场景信息,获得所述目标图像中的与所述场景信息对应的元参数信息;其中,所述元参数信息是指用于获取所述场景信息的目标对象行为属性信息与目标对象群体属性信息的所述目标图像中对应的原始数据;
按照所述元参数信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息。
可选的,所述获得目标图像中的目标对象群体属性信息,包括:
获得所述目标图像的目标对象整体密度分布信息以及目标图像中的目标对象的数量;
检测所述目标图像中目标对象的指定特征分布信息;
根据所述目标对象的指定特征分布信息,获得所述目标图像中的目标对象密度分布信息;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标;
其中,所述图像位置坐标是指所述目标图像中的每个像素点在目标图像中的位置坐标。
可选的,所述检测所述目标图像中目标对象的指定特征分布信息,包括:
获得与所述目标图像的场景信息对应的用于检测目标对象的指定特征的模块;
根据所述目标对象整体密度分布信息,调整所述用于检测目标对象的指定特征的模块的尺寸;
利用所述调整尺寸后的用于检测目标对象的指定特征的模块检测所述目标图像中目标对象的指定特征分布信息。
可选的,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系为所述目标图像中的像素点在所述目标图像中的位置坐标与所述目标图像中的像素点在应用场景中的真实地理位置坐标之间的对应关系。
可选的,所述根据所述目标对象的指定特征分布信息,获得所述目标图像中的目标对象密度分布信息,包括:
根据所述目标对象的指定特征分布信息,以及,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的不同目标对象的指定特征的尺寸变化信息;
根据所述不同目标对象的指定特征的尺寸变化信息,获得所述目标图像中的目标对象密度分布信息。
可选的,还包括:
根据所述目标图像的目标对象整体密度分布信息,获得所述目标图像中目标对象的指定特征辅助分布信息;
所述根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标,包括:
获得所述目标对象整体密度分布信息的权重因子以及所述目标对象密度分布信息的权重因子;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,所述目标对象整体密度分布信息的权重因子,所述目标对象密度分布信息的权重因子以及所述目标图像中目标对象的指定特征辅助分布信息,获得所述目标对象整体密度分布信息与所述目标对象密度分布信息的目标对象融合后的融合密度分布信息;
根据所述融合密度分布信息,获得所述目标图像中目标对象在所述目标图像中的图像位置坐标;
根据所述目标图像中目标对象的图像位置坐标,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
可选的,还包括:
获得所述目标图像中的目标对象的生理属性信息;
根据所述目标图像的场景信息,获得所述目标图像中的目标对象的行为属性信息与目标对象群体属性信息,包括:
根据所述目标图像的场景信息,获得所述目标对象的生理属性信息的类型对应的目标对象的行为属性信息与目标对象群体属性信息。
可选的,所述目标图像中的目标对象的生理属性信息包括所述目标图像中的目标对象的生理属性概率分布信息。
可选的,还包括:
获得针对所述目标图像输入的场景信息;
将所述输入的场景信息作为所述目标图像的场景信息。
可选的,还包括:
获得同一目标对象在不同目标图像中的行为属性信息;
根据同一目标对象在不同目标图像中的行为属性信息,获得所述目标对象的行为轨迹信息;
将所述目标对象的行为轨迹信息作为所述目标图像中的目标对象的行为属性信息。
本申请提供一种图像识别装置,包括:
目标图像获得单元,用于获得目标图像;
场景信息单元,用于提取所述目标图像的场景特征,根据所述场景特征,获得所述目标图像的场景信息;
属性信息获得单元,根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息;
其中,所述目标对象群体属性信息包括所述目标对象的数量以及目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
本申请还提供一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如上所述的图像识别方法的步骤。
本申请还提供一种电子设备,包括:
处理器;
存储器,用于存储对终端设备产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如上所述的图像识别方法的步骤。
与现有技术相比,本申请具有以下优点:
本申请提供一种图像识别方法,一种图像识别装置以及一种电子设备。所述方法包括:获得目标图像;提取目标图像的场景特征,根据场景特征,获得目标图像的场景信息;根据目标图像的场景信息,获得目标图像中的目标对象行为属性信息与目标对象群体属性信息;其中,目标对象群体属性信息包括目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标。本申请通过在获得目标图像后,获得目标图像的场景特征,再获得目标图像中的目标对象行为属性信息与目标对象群体属性信息。采用该方法获得的目标对象行为属性信息与目标对象群体属性信息,能够解决现有的对视频或者图像中人的分析的通用性输出参数不符合人群仿真软件需求的问题;同时采用该方法获得的目标对象数量和目标对象真实位置可以解决一般目标对象计数方法对小目标不准确以及没有真实位置的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请提供的应用场景实施例的示意图。
图2为本申请实施例一提供的图像识别方法流程图。
图3为本申请实施例一提供的获得目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标的示意图。
图4为本申请实施例二提供的图像识别装置示意图。
图5为本申请实施例三提供的图像识别电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此,本申请不受下面公开的具体实施的限制。
本申请提供一种图像识别方法与装置,电子设备,以及计算机存储介质。
本申请提供的一些实施例可以识别图像中人的各种行为(包括行为属性信息与群体属性信息)的场景。如图1所示,其为本申请提供的应用场景实施例的示意图。首先,服务端从终端获得视频流或者图像帧,可以是利用视频流或者图像帧获得当前图像。对当前图像进行场景分析。在获得当前图像的场景后,获得该场景下的人的行为属性(即:行为属性估计)与人的群体属性(即:群体属性估计)。同时,获得人的生理属性(即:生理属性估计),然后,根据人的生理属性的类型将人的行为属性与人的群体属性分类。或者,也可以是在获得当前图像的场景后,获得该场景下的人的行为属性(即:行为属性估计)与人的群体属性(即:群体属性估计)。然后,直接根据人的行为属性与人的群体对人数以及人群密度进行估计。得到上述参数后,可以将参数返回至终端,终端可将参数输入仿真软件,以对图像中对应的人的行为进行仿真。需要说明的是,应用场景仅仅是应用场景的一个实施例,提供此应用场景实施例的目的是便于理解本申请的图像识别方法,而并非用于限定本申请的图像识别方法。
本申请提供一种图像识别方法,以下为具体实施例。
如图2所示,其为本申请实施例一的一种图像识别方法实施例的流程图。所述方法包括如下步骤。
步骤S201:获得目标图像。
在本申请中,获得目标图像的方式有多种,其中的一种方式如下:获得录像设备录制的视频或者实时的视频。具体地,获得目标图像可以是获得视频的图像帧。
步骤S202:提取目标图像的场景特征,根据场景特征,获得目标图像的场景信息。
具体地,作为提取目标图像的场景特征的其中一种方式可以是:提取目标图像中的有关场景信息的文字,从有关场景信息的文字中获得场景特征。或者,作为提取目标图像的场景特征的另外一种方式可以是:提取目标图像中的有关场景信息的标识,从有关场景信息的标识中获得场景特征。例如,在目标图像中的场景标识中,识别到有多个有地点的信息,场景可能是交通枢纽。同样地,若识别到有多个交通标识的信息,场景可能是某条街道。
在获得场景特征后,根据场景特征,获得目标图像的场景信息。根据场景特征,获得目标图像的场景信息,可以是将场景特征直接作为场景信息。当然,也可以是将场景特征的一部分作为场景信息。在本实施例中,不同的场景信息对应不同的目标对象行为属性信息与不同的目标对象群体属性信息。因此,在步骤S203获取目标对象行为属性信息与目标对象群体属性信息之前,首先要获得场景信息。例如,在场景信息为交通枢纽时,目标对象行为属性信息包括目标对象的出发地以及目的地信息,目标对象群体属性信息包括在交通枢纽的排队长度信息。在场景信息为商场时,目标对象行为属性信息包含目标对象在商铺浏览轨迹信息以及目标对象在店铺逗留时间信息,目标对象群体属性信息包括商场的热点区域信息。当然,可以理解的是,每个场景除包含上述列举的目标对象行为属性信息以及目标对象群体属性信息之外,还可以是其它目标对象行为属性信息以及目标对象群体属性信息。同时,需要说明的是,在上述不同的场景信息中,包含的目标对象行为属性信息与目标对象群体属性信息也会有所差异。因此,欲获得目标对象行为属性信息与目标对象群体属性信息,先获取目标对象对应的场景信息。
步骤S203:根据目标图像的场景信息,获得目标图像中的目标对象行为属性信息与目标对象群体属性信息;其中,目标对象群体属性信息包括目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标。
在下述的描述方式中,主要是以获得目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标,作为获得目标对象群体属性信息的方式。当然,在本申请中,还可以是通过获得其它参数作为获得目标对象群体属性信息,例如,可以是通过轨迹聚类的路径选择方式。这些都属于获得目标对象群体属性信息的方式。
具体地,作为根据目标图像的场景信息,获得目标图像中的目标对象行为属性信息与目标对象群体属性信息,可以是按照如下的方式。
首先,根据场景信息,获得目标图像中的与场景信息对应的元参数信息;其中,元参数信息是指用于获取场景信息的目标对象行为属性信息与目标对象群体属性信息的目标图像中对应的原始数据。
之后,按照元参数信息,获得目标图像中的目标对象行为属性信息与目标对象群体属性信息。
在上述描述中,已经指明不同的应用场景所对应的目标对象行为属性信息不同,具体的目标对象行为属性信息参见上述的举例描述部分。在本实施例中,获得目标图像中的目标对象群体属性信息,可以是按照如下描述的方式。
首先,获得目标图像的目标对象整体密度分布信息以及目标图像中的目标对象的数量。在实际中,获得目标图像中的目标对象的数量有多种方式。例如采用目标检测法能够检测到目标对象在目标图像中的位置,然后得到整体的人数,并将得到的整体人数作为获得目标图像中的目标对象的数量。还可以是利用特征回归方法从目标图像画面整体得到整体的人数,并将得到的整体人数作为获得目标图像中的目标对象的数量。然而,采用上述方法中的某一种方法获得目标对象的数量,都存在一定的使用限制。对于目标图像存在拥挤人群的情形,由于存在遮挡、人体尺度和密度的巨大变化,一般的目标检测方法无法准确获得目标对象的数量。基于特征回归的方法,由于是从目标图像画面整体得到一个整体的人数及密度分布,显然无法给出目标对象的位置。因此,在本实施例中,结合两种方法共同获得目标图像中的目标对象的数量,在后续的描述中结合图3,将对获得目标图像中的目标对象的数量进行详细阐述。
在本实施例中,在获得目标图像中的目标对象的数量同时,也同时获得目标对象在场景信息对应的应用场景中的真实地理位置坐标。作为获得目标对象在场景信息对应的应用场景中的真实地理位置坐标的一种方式,可以先获取目标图像的目标对象整体密度分布信息。
具体地,获取目标图像的目标对象整体密度分布信息可以是指,按照回归特征法(利用多层卷积网络)来获得目标图像的目标对象整体密度分布信息。
同时,检测目标图像中目标对象的指定特征分布信息。具体地,检测目标图像中目标对象的指定特征分布信息,可以是指按照目标检测法获得图像中目标对象的指定特征分布信息。例如,在需要获得一张图像中的人群的总数目时,需要获得目标图像中人头的分布信息。此时,仅需采用目标检测法检测得目标图像中人头的分布信息即可。在本实施中,在实际处理中,人头的分布信息在一些场景还会细分,比如正脸,侧脸,后脑勺,带佩饰,戴帽子等类别,检测出这些类别都会归属为人头。
再次,根据目标对象的指定特征分布信息,获得目标图像中的目标对象密度分布信息。在获得目标对象的指定特征分布信息,根据目标对象的指定特征分布信息,获得目标图像中的目标对象密度分布信息。
最终,根据目标对象整体密度分布信息、目标对象密度分布信息,以及,图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系,获得目标图像中的目标对象在场景信息对应的应用场景中的真实地理位置坐标;其中,图像位置坐标是指目标图像中的每个像素点在目标图像中的位置坐标。
在本实施例中,检测目标图像中目标对象的指定特征分布信息可以按照如下描述的方式。
首先,获得与目标图像的场景信息对应的用于检测目标对象的指定特征的模块;目标图像的场景信息对应的用于检测目标对象的指定特征的模块,是指目标检测法的anchor。该方法的原理是:首先选择不同的长宽比和尺度,随机生成一些anchor,而这些anchor的设计以往都是以VOC,COCO之类的公共数据集为依据,无法适应实际的业务场景。本申请的anchor,针对实际场景的数据,自动分析长宽比和尺寸分布。同时根据回归特征法获得的目标图像的目标对象整体密度分布信息,进行尺寸的调整。
根据目标对象整体密度分布信息,调整用于检测目标对象的指定特征的模块的尺寸。即,按照上述描述的方式,anchor会根据整体密度分布信息进行尺寸的调整。例如,在人数较密集的位置,anchor尺寸会变大以详细查找人头部位置;相反,在人数较稀疏的位置,anchor尺寸会变小。
利用调整尺寸后的用于检测目标对象的指定特征的模块检测目标图像中目标对象的指定特征分布信息。具体地,在检测图像不同位置的人头部位置时,需要根据目标对象整体密度分布信息,调整用于检测目标对象的指定特征的模块的尺寸。即每检测一个位置,都是先将anchor尺寸调整,再进行该位置的指定特征的检测。
需要说明的是,上述提及的图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系为目标图像中的像素点在目标图像中的位置坐标与目标图像中的像素点在应用场景中的真实地理位置坐标之间的对应关系。例如,在图像中选择某一像素点,则该像素点必然在图像中存在位置坐标,同时在应用场景中的真实地理位置中存在坐标。将该像素点的在图像中的位置坐标与在应用场景中的真实地理位置中的坐标对应起来。采用类似的方式,将图像中所有的像素点在图像中的位置坐标与在应用场景中的真实地理位置中的坐标对应起来,即可获得图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系。
另外,在本实施例中,根据目标对象的指定特征分布信息,获得目标图像中的目标对象密度分布信息按照如下描述的方式。
首先,根据目标对象的指定特征分布信息,以及,图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系,获得目标图像中的不同目标对象的指定特征的尺寸变化信息。
之后,根据不同目标对象的指定特征的尺寸变化信息,获得目标图像中的目标对象密度分布信息。
在获得目标图像的目标对象整体密度分布信息、目标对象密度分布信息、图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系后,可以将目标图像的目标对象整体密度分布信息以及目标对象密度分布信息先进行拟合,得到融合密度分布信息。
具体地,要获得融合密度分布信息,还需要获得目标图像中目标对象的指定特征辅助分布信息。其中,目标图像中目标对象的指定特征辅助分布信息可以是指按照回归特征法进行的人头位置的估计信息。
获得目标图像中目标对象的指定特征辅助分布信息的方式之一可以是:根据目标图像的目标对象整体密度分布信息,获得目标图像中目标对象的指定特征辅助分布信息。
在获得目标图像中目标对象的指定特征辅助分布信息后,根据目标对象整体密度分布信息、目标对象密度分布信息,以及,图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系,获得目标图像中的目标对象在场景信息对应的应用场景中的真实地理位置坐标,可以是按照如下方式。
首先,获得目标对象整体密度分布信息的权重因子以及目标对象密度分布信息的权重因子。
之后,根据目标对象整体密度分布信息、目标对象密度分布信息,以及,目标对象整体密度分布信息的权重因子,目标对象密度分布信息的权重因子以及目标图像中目标对象的指定特征辅助分布信息,获得目标对象整体密度分布信息与目标对象密度分布信息的目标对象融合后的融合密度分布信息。
再次,根据融合密度分布信息,获得目标图像中目标对象在目标图像中的图像位置坐标。
最终,根据目标图像中目标对象的图像位置坐标,以及,图像位置坐标与场景信息对应的应用场景中的真实地理位置坐标映射关系,获得目标图像中目标对象在场景信息对应的应用场景中的真实地理位置坐标。
具体地,获得目标对象的数量以及目标对象在场景信息对应的应用场景中的真实地理位置坐标的示意图如图3所示。
首先输入图像,分别使用回归子网络与检测子网络对输入图像进行处理。
具体地,回归子网络得到输入图像的目标对象整体密度分布信息,以及,估计目标对象的指定特征的位置。同时,检测子网络根据anchor进行密度图构建(目标对象密度分布信息),在检测子网络构建密度图时,根据输入的真实矢量图与输入图像构建相机标定映射,相机标定映射结合在密度图构建中。之后,构建的密度图与整体密度分布信息,以及,目标对象的指定特征的位置估计形成融合模块,根据融合模块获得输入图像总人数以及人头图像坐标,人头图像坐标经过相机标定映射,获得输入图像人员真实坐标。
此外,在本实施例中,还可以按照目标对象的生理属性信息,获得目标对象的行为属性信息与目标对象群体属性信息。具体地,首先,获得目标图像中的目标对象的生理属性信息。之后,根据目标图像的场景信息,获得目标对象的生理属性信息的类型对应的目标对象的行为属性信息与目标对象群体属性信息。
具体地,目标图像中的目标对象的生理属性信息包括目标图像中的目标对象的生理属性概率分布信息。目标对象的生理属性信息主要是指性别信息和年龄信息,例如可以基于卷积神经网络根据人群仿真参数的需求,将目标对象的生理属性信息中的性别信息定义为2分类问题,年龄定义为3个年龄段,分别为儿童、中年以及老年。而不同的性别和年龄的行为属性会有一定的差异。以交通枢纽的场景为例,行为属性主要是指目标对象的平均速度、出发地、目的地以及特殊行为(例如是否持有大件行李、是否坐轮椅),平均速度与一般个体的速度估计方法不同,平均速度是基于上述提及的生理属性中的年龄和性别,若年龄为3类,性别2类,则一共可分为有6类群体,根据这6类群体分别统计目标图像中或者视频帧图像中目标对象的行走速度。出发地和目的地可以是根据场景分析中得到的场景信息,同时根据摄像头所在的位置,配合人工配置的几何规则,获得目标图像中或者视频帧图像中目标对象的出发地和目的地,以及某一位置(例如某一出入口)进出的人数。
在使用本实施例的方法时,若对当前图像进行场景分析不能获得场景时,可以获得针对目标图像输入的场景信息;并将输入的场景信息作为目标图像的场景信息。例如,在一些不能根据文字识别场景信息的图像中,可以预先输入该目标图像的场景信息,若在指定的识别时间内不能识别目标图像的场景信息,则自动获取预先输入的该目标图像的场景信息,并将获取的该场景信息作为目标图像的场景信息。
另外,为了获得某一目标对象的行为轨迹信息,可以是按照在连续的图像中获得同一目标对象在不同目标图像中的行为属性信息。之后,根据同一目标对象在不同目标图像中的行为属性信息,获得目标对象的行为轨迹信息。最终,将目标对象的行为轨迹信息作为目标图像中的目标对象的行为属性信息。
本实施例的图像识别方法,同样可以应用在视频识别上。具体地,可以获得视频中的视频帧图像,并按照本实施例的图像识别方法获得视频帧图像的目标对象行为属性信息与目标对象群体属性信息。
在实际中,利用该实施例的方法可以预估交通枢纽站点场所或者人群较为密集的其他场所的人数以及人群分布情况,并根据预估的人数以及人群分布情况来管理这类场所。交通枢纽站点场所可以是如汽车客运车站、铁路车站、机场、地铁、港口码头等此类的交通枢纽站点;人群较为密集的其他场所可以是如商场、旅游景点、会议场景,以及大型集会(如体育赛事,演唱会)诸如此类的场所。在获得这类场所场景较为精确的人数以及人群分布情况的同时,可以更有效地管理这类场所。例如,在节假日期间,交通枢纽站点人数较多,可以多开通一些人行通道以保证人来人往的通畅,同时增强安保措施保证人们的安全。除此之外,还可以在这些交通枢纽增加一些帮助措施帮助需要帮助的人群。
通过本实施例的方法可以实时获得某一上述场所的较为准确的人数以及人群分布情况,从而使得在人数较多时,输出符合人群仿真软件需求的参数,以更好地管理人数较多的场所。为了有效地利用资源与节省资源,在这类场所人数较少时,则不需要执行该方法。
本申请通过在获得目标图像后,获得目标图像的场景特征,再获得目标图像中的目标对象行为属性信息与目标对象群体属性信息。采用该方法获得的目标对象行为属性信息与目标对象群体属性信息,能够解决现有的对视频或者图像中人的分析的通用性输出参数不符合人群仿真软件需求的问题;同时采用该方法获得的目标对象数量和目标对象真实位置可以解决一般目标对象计数方法对小目标不准确以及没有真实位置的问题。
在上述的实施例一中,提供了一种图像识别方法,与之相对应的,本申请还提供一种图像识别装置。如图4所示,其为本申请实施例二的一种图像识别装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本实施例的一种图像识别装置,包括:
目标图像获得单元401,用于获得目标图像;
场景信息单元402,用于提取所述目标图像的场景特征,根据所述场景特征,获得所述目标图像的场景信息;
属性信息获得单元403,根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息;
其中,所述目标对象群体属性信息包括所述目标对象的数量以及目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
可选的,所述属性信息获得单元,具体用于:
根据所述场景信息,获得所述目标图像中的与所述场景信息对应的元参数信息;其中,所述元参数信息是指用于获取所述场景信息的目标对象行为属性信息与目标对象群体属性信息的所述目标图像中对应的原始数据;
按照所述元参数信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息。
可选的,所述属性信息获得单元,具体用于:
获得所述目标图像的目标对象整体密度分布信息以及目标图像中的目标对象的数量;
检测所述目标图像中目标对象的指定特征分布信息;
根据所述目标对象的指定特征分布信息,获得所述目标图像中的目标对象密度分布信息;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标;
其中,所述图像位置坐标是指所述目标图像中的每个像素点在目标图像中的位置坐标。
可选的,所述属性信息获得单元,具体用于:
获得与所述目标图像的场景信息对应的用于检测目标对象的指定特征的模块;
根据所述目标对象整体密度分布信息,调整所述用于检测目标对象的指定特征的模块的尺寸;
利用所述调整尺寸后的用于检测目标对象的指定特征的模块检测所述目标图像中目标对象的指定特征分布信息。
可选的,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系为所述目标图像中的像素点在所述目标图像中的位置坐标与所述目标图像中的像素点在应用场景中的真实地理位置坐标之间的对应关系。
可选的,所述属性信息获得单元,具体用于:
根据所述目标对象的指定特征分布信息,以及,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的不同目标对象的指定特征的尺寸变化信息;
根据所述不同目标对象的指定特征的尺寸变化信息,获得所述目标图像中的目标对象密度分布信息。
可选的,还包括:
辅助分布信息单元,用于根据所述目标图像的目标对象整体密度分布信息,获得所述目标图像中目标对象的指定特征辅助分布信息;
所述根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标,包括:
获得所述目标对象整体密度分布信息的权重因子以及所述目标对象密度分布信息的权重因子;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,所述目标对象整体密度分布信息的权重因子,所述目标对象密度分布信息的权重因子以及所述目标图像中目标对象的指定特征辅助分布信息,获得所述目标对象整体密度分布信息与所述目标对象密度分布信息的目标对象融合后的融合密度分布信息;
根据所述融合密度分布信息,获得所述目标图像中目标对象在所述目标图像中的图像位置坐标;
根据所述目标图像中目标对象的图像位置坐标,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
可选的,还包括:
生理属性信息获得单元,用于获得所述目标图像中的目标对象的生理属性信息;
根据所述目标图像的场景信息,获得所述目标图像中的目标对象的行为属性信息与目标对象群体属性信息,包括:
根据所述目标图像的场景信息,获得所述目标对象的生理属性信息的类型对应的目标对象的行为属性信息与目标对象群体属性信息。
可选的,所述目标图像中的目标对象的生理属性信息包括所述目标图像中的目标对象的生理属性概率分布信息。
可选的,还包括:
场景信息获得单元,用于获得针对所述目标图像输入的场景信息;
将所述输入的场景信息作为所述目标图像的场景信息。
可选的,所述属性信息获得单元,还用于:
获得同一目标对象在不同目标图像中的行为属性信息;
根据同一目标对象在不同目标图像中的行为属性信息,获得所述目标对象的行为轨迹信息;
将所述目标对象的行为轨迹信息作为所述目标图像中的目标对象的行为属性信息。
本申请实施例一给出了一种图像识别方法,本申请实施例三给出了与该图像识别方法对应的电子设备。
如图5所示,其示出了本申请实施例三提供的图像识别方法电子设备示意图。
本申请提供一种电子设备,包括:
处理器501;
存储器502,用于存储图像识别方法的程序后,并执行如上所述的图像识别方法的步骤。
本申请实施例一给出了一种图像识别方法,本申请实施例四给出了与该图像识别方法对应的计算机存储介质。
本实施例的一种计算机存储介质,所述计算机存储介质存储图像识别方法的程序,该程序被处理器运行,执行如上所述的图像识别方法的步骤。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (14)

1.一种图像识别方法,其特征在于,包括:
获得目标图像;
提取所述目标图像的场景特征,根据所述场景特征,获得所述目标图像的场景信息;
根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息;
其中,所述目标对象群体属性信息包括所述目标对象的数量以及目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息,包括:
根据所述场景信息,获得所述目标图像中的与所述场景信息对应的元参数信息;其中,所述元参数信息是指用于获取所述场景信息的目标对象行为属性信息与目标对象群体属性信息的所述目标图像中对应的原始数据;
按照所述元参数信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息。
3.根据权利要求1所述的方法,其特征在于,所述获得目标图像中的目标对象群体属性信息,包括:
获得所述目标图像的目标对象整体密度分布信息以及目标图像中的目标对象的数量;
检测所述目标图像中目标对象的指定特征分布信息;
根据所述目标对象的指定特征分布信息,获得所述目标图像中的目标对象密度分布信息;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标;
其中,所述图像位置坐标是指所述目标图像中的每个像素点在目标图像中的位置坐标。
4.根据权利要求3所述的方法,其特征在于,所述检测所述目标图像中目标对象的指定特征分布信息,包括:
获得与所述目标图像的场景信息对应的用于检测目标对象的指定特征的模块;
根据所述目标对象整体密度分布信息,调整所述用于检测目标对象的指定特征的模块的尺寸;
利用所述调整尺寸后的用于检测目标对象的指定特征的模块检测所述目标图像中目标对象的指定特征分布信息。
5.根据权利要求3所述的方法,其特征在于,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系为所述目标图像中的像素点在所述目标图像中的位置坐标与所述目标图像中的像素点在应用场景中的真实地理位置坐标之间的对应关系。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标对象的指定特征分布信息,获得所述目标图像中的目标对象密度分布信息,包括:
根据所述目标对象的指定特征分布信息,以及,所述图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的不同目标对象的指定特征的尺寸变化信息;
根据所述不同目标对象的指定特征的尺寸变化信息,获得所述目标图像中的目标对象密度分布信息。
7.根据权利要求6所述的方法,其特征在于,还包括:
根据所述目标图像的目标对象整体密度分布信息,获得所述目标图像中目标对象的指定特征辅助分布信息;
所述根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中的目标对象在所述场景信息对应的应用场景中的真实地理位置坐标,包括:
获得所述目标对象整体密度分布信息的权重因子以及所述目标对象密度分布信息的权重因子;
根据所述目标对象整体密度分布信息、所述目标对象密度分布信息,以及,所述目标对象整体密度分布信息的权重因子,所述目标对象密度分布信息的权重因子以及所述目标图像中目标对象的指定特征辅助分布信息,获得所述目标对象整体密度分布信息与所述目标对象密度分布信息的目标对象融合后的融合密度分布信息;
根据所述融合密度分布信息,获得所述目标图像中目标对象在所述目标图像中的图像位置坐标;
根据所述目标图像中目标对象的图像位置坐标,以及,图像位置坐标与所述场景信息对应的应用场景中的真实地理位置坐标映射关系,获得所述目标图像中目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
8.根据权利要求1所述的方法,其特征在于,还包括:
获得所述目标图像中的目标对象的生理属性信息;
根据所述目标图像的场景信息,获得所述目标图像中的目标对象的行为属性信息与目标对象群体属性信息,包括:
根据所述目标图像的场景信息,获得所述目标对象的生理属性信息的类型对应的目标对象的行为属性信息与目标对象群体属性信息。
9.根据权利要求8所述的方法,其特征在于,所述目标图像中的目标对象的生理属性信息包括所述目标图像中的目标对象的生理属性概率分布信息。
10.根据权利要求1所述的方法,其特征在于,还包括:
获得针对所述目标图像输入的场景信息;
将所述输入的场景信息作为所述目标图像的场景信息。
11.根据权利要求1所述的方法,其特征在于,还包括:
获得同一目标对象在不同目标图像中的行为属性信息;
根据同一目标对象在不同目标图像中的行为属性信息,获得所述目标对象的行为轨迹信息;
将所述目标对象的行为轨迹信息作为所述目标图像中的目标对象的行为属性信息。
12.一种图像识别装置,其特征在于,包括:
目标图像获得单元,用于获得目标图像;
场景信息单元,用于提取所述目标图像的场景特征,根据所述场景特征,获得所述目标图像的场景信息;
属性信息获得单元,根据所述目标图像的场景信息,获得所述目标图像中的目标对象行为属性信息与目标对象群体属性信息;
其中,所述目标对象群体属性信息包括所述目标对象的数量以及目标对象在所述场景信息对应的应用场景中的真实地理位置坐标。
13.一种计算机存储介质,用于存储网络平台产生数据,以及对应所述网络平台产生数据进行处理的程序;
所述程序在被读取执行时,执行如权利要求1至11任意一项所述的图像识别方法的步骤。
14.一种电子设备,包括:
处理器;
存储器,用于存储对终端设备产生数据进行处理的程序,所述程序在被所述处理器读取执行时,执行如权利要求1至11任意一项所述的图像识别方法的步骤。
CN201911211500.9A 2019-12-02 2019-12-02 图像识别方法、装置及电子设备 Active CN111178132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211500.9A CN111178132B (zh) 2019-12-02 2019-12-02 图像识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211500.9A CN111178132B (zh) 2019-12-02 2019-12-02 图像识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111178132A true CN111178132A (zh) 2020-05-19
CN111178132B CN111178132B (zh) 2023-06-16

Family

ID=70657256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211500.9A Active CN111178132B (zh) 2019-12-02 2019-12-02 图像识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111178132B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388752A (zh) * 2018-03-22 2018-08-10 中国科学院计算技术研究所 一种群体仿真方法
US20190011917A1 (en) * 2017-07-10 2019-01-10 Toyota Research Institute, Inc. Providing user assistance in a vehicle based on traffic behavior models
CN109977856A (zh) * 2019-03-25 2019-07-05 中国科学技术大学 一种多源视频中复杂行为识别的方法
CN110059668A (zh) * 2019-04-29 2019-07-26 中国民用航空总局第二研究所 行为预测处理方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190011917A1 (en) * 2017-07-10 2019-01-10 Toyota Research Institute, Inc. Providing user assistance in a vehicle based on traffic behavior models
CN108388752A (zh) * 2018-03-22 2018-08-10 中国科学院计算技术研究所 一种群体仿真方法
CN109977856A (zh) * 2019-03-25 2019-07-05 中国科学技术大学 一种多源视频中复杂行为识别的方法
CN110059668A (zh) * 2019-04-29 2019-07-26 中国民用航空总局第二研究所 行为预测处理方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周艳;罗云馨;江荣贵;张叶廷;杨清清;陈启凡;: "基于视频场景多因素的人群运动状态分析" *
郝林倩;黄金凤;: "图像理解技术在交通视频分析中的应用研究" *

Also Published As

Publication number Publication date
CN111178132B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US10592771B2 (en) Multi-camera object tracking
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
US10366263B2 (en) Object detection for video camera self-calibration
US10102431B2 (en) Visual monitoring of queues using auxillary devices
CN113111838B (zh) 行为识别方法及装置、设备和存储介质
KR102097781B1 (ko) 객체 정보 제공 장치 및 방법
Gupta et al. CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster
CN113537172B (zh) 人群密度确定方法、装置、设备及存储介质
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN109145127A (zh) 图像处理方法及装置、电子设备和存储介质
CN114708426A (zh) 目标检测方法、模型训练方法、装置、设备及存储介质
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN114627526A (zh) 基于多摄像头抓拍图像的融合去重方法、装置及可读介质
CN117576634B (zh) 基于密度检测的异常分析方法、设备以及存储介质
CN112989916A (zh) 一种结合密度估计与目标检测的人群计数方法
CN116863405A (zh) 一种基于yolox的目标检测方法、装置及存储介质
CN116611977A (zh) 失联人员路径溯源及救援方法和装置
CN111178132B (zh) 图像识别方法、装置及电子设备
Qi et al. Birdseyeview: aerial view dataset for object classification and detection
Priyadharshini et al. Vehicle data aggregation from highway video of madurai city using convolution neural network
KR102624088B1 (ko) 광고 효과 분석 서비스를 제공하는 방법 및 그를 이용한 서버
CN109063675A (zh) 车流密度计算方法、系统、终端及计算机可读存储介质
CN114820692B (zh) 跟踪目标的状态分析方法、装置、存储介质和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant