CN114092957A - 识别、人流统计、追踪、检测及报警方法、装置和设备 - Google Patents

识别、人流统计、追踪、检测及报警方法、装置和设备 Download PDF

Info

Publication number
CN114092957A
CN114092957A CN202010746548.6A CN202010746548A CN114092957A CN 114092957 A CN114092957 A CN 114092957A CN 202010746548 A CN202010746548 A CN 202010746548A CN 114092957 A CN114092957 A CN 114092957A
Authority
CN
China
Prior art keywords
target
feature
image
information corresponding
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010746548.6A
Other languages
English (en)
Inventor
林钧燧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010746548.6A priority Critical patent/CN114092957A/zh
Publication of CN114092957A publication Critical patent/CN114092957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种识别、人流统计、追踪、检测及报警方法、装置和设备;所述识别方法包括:获取目标图像;采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支,从而能够使得特征提取的速度更快,识别效率更高。

Description

识别、人流统计、追踪、检测及报警方法、装置和设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种识别方法和装置、一种人流统计方法和装置、一种轨迹追踪方和装置、一种检测方法和装置、一种报警方法和装置、以及一种电子设备和一种存储介质。
背景技术
行人重识别也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。旨在弥补固定的摄像头的视觉局限,并可与行人检测/行人跟踪技术相结合,可应用于智能视频监控、智能安保等领域。
其中,对人体特征的提取是行人重识别关键步骤之一。现有技术中,通常采用多粒度网络进行人体特征的提取;多粒度网络是一个多分支的深度网络,通过将图片划分成多个局部条带,并且改变不同局部分支的条带数量来获得多粒度局部特征表示。
为了提高提取的人体特征的准确性,可以增加特定的局部特征分支;但增加分支会造成网络参数量增加,会导致特征提取速度下降,耗时增加;从而降低行人识别的效率。
发明内容
本申请实施例提供了一种识别方法,以在保证提高识别精度的同时,提高识别的效率。
相应的,本申请实施例还提供了一种识别装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
本申请实施例提供了一种人流统计方法,以在保证提高人流统计精度的同时,提高人流统计的效率。
相应的,本申请实施例还提供了一种人流统计装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
本申请实施例提供了一种轨迹追踪方法,以在保证提高轨迹追踪精度的同时,提高轨迹追踪识别的效率。
相应的,本申请实施例还提供了一种轨迹追踪装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
本申请实施例提供了一种检测方法,以在保证提高检测精度的同时,提高检测的效率。
相应的,本申请实施例还提供了一种检测装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
本申请实施例提供了一种报警方法,以在降低误报警率。
相应的,本申请实施例还提供了一种报警装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种识别方法,所述方法包括:获取目标图像;采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
可选地,所述依据所述目标图像中对象对应的特征信息进行识别,确定所述目标图像是否具有目标对象,包括:确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。
可选地,所述采用特征提取器提取所述目标图像中对象对应的特征信息,包括:将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
可选地,所述的方法还包括构建所述特征提取器的步骤:构建树状分支结构的卷积层;在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。
可选地,所述构建树状分支结构的卷积层,包括:以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。
可选地,所述以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层,包括:构建M层共用的卷积层;以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
可选地,所述以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层,包括:分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
可选地,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。
本申请实施例还公开了一种人流统计方法,所述方法包括:获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像;采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
本申请实施例还公开了一种轨迹追踪方法,所述方法包括:获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像;采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构;将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中选取存在目标行人的目标图像;依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
本申请实施例还公开了一种检测方法,所述方法包括:确定未支付商品丢失时,确定所述未支付商品所在目标货架;获取目标视频数据,所述目标视频数据包括多帧待检测图像;采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;检测目标行人是否拿取所述未支付商品。
本申请实施例还公开了一种报警方法,所述方法包括:获取目标图像;采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像的目标行人对应的人体特征信息进行比对;确定所述目标图像中存在目标行人时进行报警处理。
本申请实施例还公开了一种检测方法,所述方法包括:确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像;采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构;依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有所述预设商品的目标图像;从所述目标图像中,检测拿取所述预设商品的目标行人。
本申请实施例还公开了一种识别装置,所述装置包括:第一获取模块,用于获取目标图像;第一特征提取模块,用于采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;第一识别模块,用于依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
可选地,所述第一识别模块,用于确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。
可选地,所述第一特征提取模块,用于将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
可选地,所述的装置还包括:构建模块,用于构建所述特征提取器;所述构建模块,包括:卷积层构建子模块,用于构建树状分支结构的卷积层;计算模块构建子模块,用于在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。
可选地,所述卷积层构建子模块,用于以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。
可选地,所述卷积层构建子模块,用于构建M层共用的卷积层;以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
可选地,所述卷积层构建子模块,用于分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
可选地,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。
本申请实施例还公开了一种人流统计装置,所述装置包括:第二获取模块,用于获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像;第二特征提取模块,用于采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;第二识别模块,用于依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;人流统计模块,用于基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
本申请实施例还公开了一种轨迹追踪装置,所述装置包括:第三获取模块,用于获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像;第三特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构;选取模块,用于将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中选取存在目标行人的目标图像;轨迹生成模块,用于依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
本申请实施例还公开了一种检测装置,所述装置包括:货架确定模块,用于确定未支付商品丢失时,确定所述未支付商品所在目标货架;第四获取模块,用于获取目标视频数据,所述目标视频数据包括多帧待检测图像;第四特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;识别分组模块,用于依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;第一目标行人确定模块,用于分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;检测模块,用于检测目标行人是否拿取所述未支付商品。
本申请实施例还公开了一种报警装置,所述装置包括:第五获取模块,用于获取目标图像;第五特征提取模块,用于采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;比对模块,用于将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像的目标行人对应的人体特征信息进行比对;报警模块,用于确定所述目标图像中存在目标行人时进行报警处理。
本申请还公开了一种检测装置,所述的装置包括:第六获取模块,用于确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像;第六特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构;图像确定模块,用于依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有预设商品的目标图像;第二目标行人确定模块,用于从所述目标图像中,检测拿取所述预设商品的目标行人。
本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例中,在获取目标图像后,可以采用特征提取器提取所述目标图像中对象对应的特征信息;然后再依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象;其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高识别精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支,从而能够使得特征提取的速度更快,识别效率更高。
附图说明
图1A是本申请实施例的一种识别方法数据处理过程示意图;
图1B是本申请实施例的一种特征提取器的结构框架示意图;
图1C是本申请的一种识别方法实施例的步骤流程图;
图2是本申请的一种识别方法可选实施例的步骤流程图;
图3是本申请的一种人流统计方法实施例的步骤流程图;
图4是本申请的一种轨迹追踪方法实施例的步骤流程图;
图5是本申请的一种检测方法实施例的步骤流程图;
图6是本申请的又一种检测方法实施例的步骤流程图;
图7是本申请的一种报警方法实施例的步骤流程图;
图8是本申请的一种识别装置实施例的结构框图;
图9是本申请的一种识别装置可选实施例的结构框图;
图10是本申请的一种人流统计装置实施例的结构框图;
图11是本申请的一种轨迹追踪装置实施例的结构框图;
图12是本申请的一种检测装置实施例的结构框图;
图13是本申请的又一种检测装置实施例的结构框图;
图14是本申请的一种报警装置实施例的结构框图;
图15是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例提供了一种识别方法,能够识别出图像中是否具有目标对象。该识别方法可以基于具有树状分支结构的特征提取器提取的特征信息进行识别;其中,该具有树状分支结构的特征提取器能够增加分支,进而能够增加特征提取的精度,从而提高识别精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够提高特征提取的速度,从而提高识别效率。
参照图1A,示出了本申请实施例的一种识别方法数据处理过程示意图。可以将图像输入至特征提取器中,由特征提取器提取该张图像的特征信息;再基于该张图像的特征信息进行识别,判断该张图像是否具有目标对象。
本申请的一个实施例中,可以预先构建特征提取器,再采用特征提取器进行特征提取。
其中,所述构建特征提取器的步骤可以包括:构建树状分支结构的卷积层;在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。其中,卷积层与卷积计算模块连接,卷积计算模块与池化模块连接;可以参照图1B,示出了本申请实施例的一种特征提取器的结构框架示意图。其中,图像输入至特征提取器后,特征提取器进行特征提取的过程可以如下:将图像输入至卷积层进行计算并输出对应的结果至卷积计算模块;卷积计算模块对输入的数据进行卷积计算并将对应的结果输出至池化计算模块;池化计算模块对输入的数据进行池化,输出该输入数据对应的特征信息。
本申请实施例中,可以提取图像的全局特征信息和局部特征信息(可以包括水平局部特征信息和竖直局部特征信息);基于全局特征信息和局部特征信息,以提高识别精度。对应的,也可以基于全局特征信息和局部特征信息构建卷积层;所述构建树状分支结构的卷积层,包括:以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。其中,所述全局特征分支可以用于提取全局特征信息,所述水平局部特征分支用于提取水平局部特征信息,所述竖直局部特征分支用于提取竖直局部特征信息。进而能够构建出可以提取全局特征信息、水平局部特征信息和竖直局部特征信息的卷积层。
本申请实施例中,所述以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层,包括:构建M层共用的卷积层;以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。所述M与N为正整数,本申请实施例不限制M和N的大小(如图1B中N=3),M与N之和为卷积层的总层数。其中,可以先构建M层卷积层,则这M层卷积层没有分支,这M层卷积层是后续具有分支的N层卷积层所共用的卷积层。如图1B中的X1所示。然后再在第M层之后,构建具有分支结构的N层卷积层;其中,可以以第M层的卷积层为根节点,以树状分支的方式构建具有多个分支的N层卷积层。这N层卷积层所包含分支有:全局特征分支、水平局部特征分支和竖直局部特征分支。
本申请的一个可选实施例中,所述以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层,包括:分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
其中,可以预先根据需求如识别的精度需求、识别的效率需求,确定全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及竖直局部特征分支对应的第三数量;也就是需要确定需要构建的分支数。本申请实施例中,对卷积层用于提取全局特征信息的分支数量、对卷积层用于提取水平局部特征信息的分支数量、以及对卷积层用于提取竖直局部特征信息的分支数量不作限制。其中,图1B中卷积层的分支数为8,其中,全局特征分支的第一数量为1,对应分支1;水平局部特征分支的第二数量为6,对应分支2~分支6;竖直局部分支的第三数量为2,对应分支7和分支8。当然,第一数量、第二数量和第三数量可以是其它数值,本申请实施例对此不作限制。
然后在根据需求和水平局部特征分支对应的第二数量,分别确定每个水平局部特征分支对应提取哪些水平局部的特征信息;以及根据需求和竖直局部特征分支对应的第三数量,分别确定每个竖直局部特征分支对应提取哪些竖直局部的特征信息。
本申请的一个示例中,特征提取器的卷积层在进行局部特征信息提取时,可以将图像切分为多个子块;然后提取其中至少一个子块的特征信息,得到局部特征信息。其中,在水平局部特征信息提取时,可以将图像水平切分为多个子块;在竖直局部特征信息提取时,可以将图像竖直切分为多个子块。例如,假设将图像水平切分为6个子块,水平局部特征分支的数量为5个;其中,一个分支如分支2,可以用于提取第1~5个子块的特征信息和第2~6个子块的特征信息,该分支对应的水平局部信息可以是:水平子块1~5和水平子块2~6。又一个分支如分支3,分别提取第1~4个子块的特征信息、第2~5个子块的特征信息和第3~6个子块的特征信息;该分支对应的水平局部信息可以是:水平子块1~4、水平子块2~5和水平子块3~6。又一个分支如分支4,分别提取第1~3个子块的特征信息、第2~4个子块的特征信息、第3~5个子块的特征信息和第4~6个子块的特征信息;该分支对应的水平局部信息可以是:水平子块1~3、水平子块2~4、水平子块3~5和水平子块4~6;依次类推。又例如,假设将图像竖直切分为8个子块,水平局部特征分支的数量为2个。其中一个分支如分支7,提取这8个子块的中间4个子块的特征信息;该分支对应的竖直局部信息可以是:水平子块3~6。另一个分支如分支8,提取这8个子块的中间6个子块的特征信息;该分支对应的竖直局部信息可以是:水平子块2~7。
然后可以以第M层共用的卷积层作为根节点,以树状分支的方式,构建第一数量的可提取全局特征信息的全局特征分支,构建第二数量的可提取对应水平局部信息对应局部特征信息的水平局部特征分支,以及构建第三数量提取对应竖直局部信息对应局部特征信息的竖直局部特征分支;进而可以得到包括分支数为第一数量、第二数量和第三数量之和的N层卷积层。
本申请实施例中,不限制每一次分支的分支数量,每一次分支的分支数可以是大于或等于两个;如图1B示出的是每次分支的分支数为2。且在后N层卷积层中,每一个卷积层可以有至少一个分支。
本申请的一个可选实施例中,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。也就是说,在后N层中,不限制分支间隔,可以是每层都进行分支,也可以是间隔一层或多层再进行分支。例如,图1B示出的是后3层每层都进行分支的情况。
本申请的一个示例中,所述特征提取器的结构可以是神经网络结构。
其中,假设卷积层的分支数为8,层数为10,从卷积层的第8层开始分支;那么采用现有技术的平行分支结构,需要在第8层得到8个分支,进而后3层每一层包含8个卷积层,从而后3层的卷积层的总数量为(8+8+8)=24层。采用本申请实施例的树状分支结构,如按照图1B的分支方式,得到后3层卷积层的总数量为(2+4+8)=14层;也就是第8层包括2个卷积层,第9层包括4个卷积层,第10层包括8个卷积层。又例如从卷积层的第8层开始分为4个分支,第9层不进行分支(也就是说倒数第2层的分支总数为4),第10层每个分支又分为2个分支(也就是说倒数第1层的分支总数为8);那么后3层卷积层的总数量为(4+4+8)=16层。可见,无论本申请实施例按照哪种形式进行树状分支,本申请实施例特征提取器中节点数即卷积层的数量比现有技术特征提取器的数量少,进而本申请实施例的特征提取器提取的速度更快,从而能够提高识别效率。且本申请实施例还进行了分支,能够增加特定的局部特征分支,可以提高特征提取的精度,从而提高识别精度。
图像输入至特征提取器后,特征提取器进行特征提取的过程可以如下:将图像输入卷积层进行计算;然后分别将每个分支的卷积层输出的结果进行卷积计算,再将每个分支的卷积计算结果进行池化,输出该图像对应的特征信息。
参照图1C,示出了本申请的一种识别方法实施例的步骤流程图。
步骤102、获取目标图像。
当需要检测图像中是否具有目标对象时,可以获取该张图像,并将该张图像确定为目标图像。其中,所述目标对象可以是人,也可以是物,本申请实施例对此不作限制。
步骤104、采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器为树状分支结构。
本申请实施例中,可以采用上述介绍的具有树状分支结构的特征提取器,提取目标图像中对象对应的特征信息;进而能够提高特征提取的速度,以及精度。
其中,所述步骤104可以包括如下子步骤S1042-S1044:
S1042、将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息。
其中,可以将该张目标图像输入至特征提取器中,特征提取器的卷积层可以对该张目标图像的进行特征提取。其中,特征提取器的卷积层的每个分支所提取的特征可以不同,一部分分支可以提取目标图像中对象的全局特征信息,另一部分分支可以提取目标图像中对象的局部特征信息。所述局部特征信息可以包括水平局部特征信息和竖直局部特征信息,所述水平局部特征信息可以是通过将目标图像水平划分为多个子块,然后对各水平划分的子块进行特征提取得到的特征信息。所述竖直局部特征信息可以是通过将目标图像竖直划分为多个子块,然后对各竖直划分的子块进行特征提取得到的特征信息。
本申请的一个示例中,卷积层的用于提取水平局部特征信息的多个分支中,每个分支可以提取多个水平局部特征信息,每个分支所提取的水平局部特征信息的数量可以不同。例如图1B中,卷积层的用于提取水平局部特征信息的分支包括五个:分支2、分支3、分支4、分支5和分支6。其中,分支2提取2个水平局部特征信息,2分支3提取3个水平局部特征信息,分支4提取4个水平局部特征信息,分支5提取5个水平局部特征信息,分支6提取6个水平局部特征信息。假设将目标图像水平切分为6个子块,分支2分别提取第1~5个子块的特征信息和第2~6个子块的特征信息,得到2个水平局部特征信息。对应的,分支3分别提取第1~4个子块的特征信息、第2~5个子块的特征信息和第3~6个子块的特征信息,得到3个水平局部特征信息。分支4分别提取第1~3个子块的特征信息、第2~4个子块的特征信息、第3~5个子块的特征信息和第4~6个子块的特征信息,得到4个水平局部特征信息;依次类推。
本申请的一个示例中,卷积层的用于提取竖直局部特征信息的多个分支中,每个分支可以提取一个竖直局部特征信息,且各分支所提取的竖直局部特征信息对应的局部不同。例如,图1B中,卷积层的用于提取竖直局部特征的分支包括两个:分支7和分支8。其中,分支7和分支8均提取1个竖直局部特征信息。假设将目标图像竖直切分为8个子块,分支7可以提取这8个子块的中间4个子块的特征信息,得到对应的竖直局部特征信息;分支8提取这8个子块的中间6个子块的特征信息,得到对应的竖直局部特征信息。
然后分别对卷积层的每个分支输出的特征依次进行卷积计算和池化计算,并输出。进而可以得到该张目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息。
S1044、采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
其中,可以采用该张目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成该张目标图像中对象对应的特征信息;从而可以通过上述方式,得到目标图像中对象对应的特征信息。
步骤106、依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
本申请的一个可选实施例中,所述步骤106可以包括:确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。其中,确定所述目标图像中对象对应的特征信息,与目标对象对应的特征信息之间的距离方式包括多种,对应计算得到距离也可以包括多种如欧式距离、余弦距离等等,本申请实施例对此不作限制。
本申请的一个实施例中,所述依据所述距离判断所述目标图像是否具有目标对象,包括:判断所述距离是否小于预设距离阈值,若所述距离小于或等于预设距离阈值,则确定所述目标图像具有目标对象;若所述距离大于预设距离阈值,则确定所述目标图像不具有目标对象。其中,所述预设距离阈值可以按照需求设置,本申请实施例对此不作限制。
综上,本申请实施例中,在获取目标图像后,可以采用特征提取器提取所述目标图像中对象对应的特征信息;然后再依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象;其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高识别精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得特征提取的速度更快,识别效率更高。
在上述实施例的基础上,本申请实施例还可以应用于判断至少两张图像中是否具有相同对象。
参照图2,示出了本申请的一种识别方法可选实施例的步骤流程图。
步骤202、获取至少两张目标图像。
当需要检测两张或两张以上图像中是否具有相同对象时,可以获取这两张或两张以上的图像,并将这两张或两张以上的图像确定为目标图像;即获取的目标图像可以包括至少两张。
其中,可以从一个图像采集设备采集的数据中获取目标图像,也可以从多个图像采集的数据中获取目标图像,具体按照需求确定,本申请实施例对此不作限制。
步骤204、采用特征提取器提取分别所述至少两张目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构。
所述步骤204,可以包括如下子步骤2042~子步骤2044:
子步骤2042、将所述至少两张目标图像分别输入所述特征提取器中,分别得到所述至少两张目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;
子步骤2044、分别采用所述两张目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述至少两张目标图像中对象对应的特征信息。
其中,所述子步骤2042~子步骤2044,与上述子步骤1042~子步骤1044类似,在此不再赘述。
步骤206、依据所述至少两张目标图像中对象对应的特征信息进行识别,判断所述至少两张图像是否具有相同对象。
当目标图像为两张时,可以比对这两张目标图像中对象对应的特征信息,判断这两张目标图像是否具有目标对象。
当目标图像为大于两张时,可以依次比对两两目标图像中对象对应的特征信息,判断两两目标图像是否具有相同对象;然后根据针对两两目标图像是否具有相同对象的判断结果,判断这多张目标图像是否具有相同对象。当存在任意两张目标图像不具有相同对象时,可以确定这多张目标图像中不具有相同对象。
本申请的一个可选实施例中,所述步骤206可以包括:确定所述至少两张目标图像中对象对应的特征信息之间的距离,依据所述距离判断所述至少两张目标图像是否具有相同对象。
本申请的一个实施例中,所述依据所述距离判断所述至少两张目标图像是否具有相同对象,包括:判断所述距离是否小于预设距离阈值,若所述距离小于或等于预设距离阈值,则确定所述至少两张目标图像具有相同对象;若所述距离大于预设距离阈值,则确定所述至少两张目标图像不具有相同象。
在上述实施例介绍的识别方法的基础上,本申请实施例还公开一种人流统计方法,应用于商场、超市、办公区、道路、商铺等,能够快速准确的进行人流统计。
参照图3,示出了本申请的一种人流统计方法实施例的步骤流程图。
步骤302、获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像。
本申请实施例中,当需要统计设定时间段内的人流量时,可以获取该设定时间段内的视频数据,并将该设定时间段内的视频数据确定为目标视频数据。然后基于上述介绍的识别方法和设定时间段内的目标视频数据,统计设定时间段内的人流量。其中,所述设定时间段可以按照需求设置,如12:00~2:00,21:00~23:00等,本申请实施例对此不作限制。
例如,需要统计某个商场/超市中午12:00~2:00这个时间段内的人流量时,可以获取安装在该商场/超市各个出入口的,图像采集设备在12:00~2:00这个时间段内采集的视频数据,将该视频数据作为目标视频数据。
又例如,需要统计某步行街在早上8:00~10:00这个时间段内的人流量时,可以获取该步行街再8:00~10:00这个时间段内的监控视频数据,将该监控视频数据作为目标视频数据。
其中,所述目标视频数据可以包括多帧图像。
步骤304、采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构。
然后可以采用具有树状分支结构的特征提取器,分别提取目标视频数据的各帧图像中行人对应的人体特征信息;这与上述步骤104类似,在此不再赘述。
步骤306、依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同。
实际场景中,同一行人可能会在同一个地点出现多次,例如反复进出商场等,也可能会在同一地点出现一定时长如在商场门口等待朋友等;这都会使得目标视频数据所包含的图像中的多张图像均对应同一个行人的情况。且可能出现部分行人在同一个地点出现多次/或在同一地点出现一定时长,这会使得目标视频数据所包含的图像中多次出现多张图像均对应同一个行人,且每次的多张图像所对应的行人不同的情况。因此本申请实施例可以依据所述目标视频数据的多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同。
其中,可以将目标视频数据的多帧图像中,任意两帧图像的人体特征信息进行比对,判断这两帧图像是否具有相同行人的图像;并将具有相同行人的图像作为一个图像组。可以基于上述步骤206中的方式,判断任意两帧图像是否具有相同行人的图像,在此不再赘述。
步骤308、基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
其中,可以确定所述图像组的数量,并将图像组的数量作为设定时间段内的一部分人流量(为了便于后续说明,可以称为第一人流量)。以及分别确定各图像组所包含的图像的数量,并确定所述图像组所包含的图像的总数量。然后可以采用目标视频数据所述包含的图像的总数量,减去图像组所包含的图像的总数量,得到所述图像组之外的图像的数量;并将所述图像组之外的图像的数量,作为设定时间段内的另一部分人流量(为了便于后续说明,可以称为第二人流量)。再将第一人流量和第二人流量相加,得到设定时间段内的人流量。
例如,某个商场中午12:00~2:00这个时间段内的目标视频数据,包括1000帧图像;其中,80帧图像对应行人1,180帧图像对应行人2,300帧图像对应行人3,剩余440张图像是所述图像组之外的图像。可以确定该商场在中午12:00~2:00这个时间段内的人流量为:443。
综上,本申请实施例中,可以获取设定时间段内的目标视频数据,然后采用特征提取器分别提取所述目标视频数据的多帧图像中行人对应的人体特征信息;再依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同,并基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量;其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高人流统计的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得特征提取的速度更快,从而提高人流统计的效率。
在上述实施例介绍的识别方法的基础上,本申请实施例还公开一种轨迹追踪方法,能够快速准确的对特定行人进行追踪。
参照图4,示出了本申请的一种轨迹追踪方法实施例的步骤流程图。
步骤402、获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像。
本申请实施例中,当需要对某个行人进行轨迹追踪时,可以获取行人的图像;其中,为了便于后续说明,可以将需要进行轨迹追踪的行人称为目标行人,将获取的目标行人的图像称为目标行人图像。
以及获取各场所、道路等监控视频数据,并基于这些监控视频数据,确定目标视频数据。其中,可以基于其他信息对监控视频数据进行筛选,确定目标视频数据,如过滤部分道路/场所的监控视频数据。当然,也可以将这些监控视频数据均作为目标视频数据;本申请实施例对此不作限制。所述目标视频数据中包括多帧待检测图像。
步骤404、采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构。
然后可以采用具有树状分支结构特征提取器,分别提取每帧待检测图像中行人对应的人体特征信息;以及采用具有树状分支结构特征提取器,提取目标行人图像中目标行人的人体特征信息。这与上述步骤104类似,在此不再赘述。
步骤406、将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中提取存在目标行人的目标图像。
然后可以将每张待检测图像中行人对应的人体特征信息,与所述所述目标行人图像中目标行人的人体特征信息进行比对,判断该张待检测图像中是否存在目标行人;若该张待检测图像中存在目标行人时,可以将该张待检测图像确定为目标图像。
其中,判断该张待检测图像中是否存在目标行人的过程,也就是判断判断该张待检测图像与目标行人图像是否具有相同对象的过程;这与上述步骤206类似,在此不再赘述。
步骤408、依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
在从目标视频数据所包括的多张待检测图像中,筛选出目标图像后,可以获取目标图像的标识如ID。然后基于各张目标图像的标识,确定各张图像的拍摄时间和拍摄地点;再基于各张图像的拍摄时间和拍摄地点,生成所述目标行人的运动轨迹。
综上,本申请实施例中,可以获取目标视频数据和目标行人图像,并采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息;然后将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中确定存在目标行人的目标图像,并依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高行人追踪的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得特征提取的速度更快,从而提高行人追踪的效率。
在上述实施例介绍的识别方法的基础上,本申请实施例还公开一种检测方法,可以应用于商铺、超市等场景中,能够基于具有相同行人的图像,快速准确检测出拿取商品的目标行人。
参照图5,示出了本申请的一种检测方法实施例的步骤流程图。
步骤502、确定未支付商品丢失时,确定所述为支付商品所在目标货架。
步骤504、获取目标视频数据,所述目标视频数据包括多帧待检测图像。
在确定未支付商品丢失时,可以确定该未支付商品所在的目标货架。然后可以获取所述目标货架对应场所的监控视频数据,并将该监控视频数据作为目标视频数据。再基于所述目标视频数据和特征提取器,生成该场所中行人的轨迹;然后基于各行人的轨迹,筛选出经过目标货架的目标行人,再从目标行人中筛除出拿取所述未支付商品的行人。
步骤506、采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构。
该步骤506与上述步骤104类似,在此不再赘述。
步骤508、依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同。
本步骤508与上述步骤206类似,在此不再赘述。
步骤510、分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人。
然后可以分别基于每个图像组,生成该图像组对应行人的运动轨迹,这与上述步骤408类似,在此不再赘述。并分别分析每个行人的运动轨迹,确定经过目标货架的目标行人。
步骤512、检测目标行人是否拿取所述未支付商品。
本申请的一个实施例中,可以将对目标行人对应的图像进行图像识别;当从目标行人对应的图像中识别出该未支付商品时,可以确定该目标行人拿取该未支付商品。
本申请的一个示例中,可以获取其他场所以及道路的监控视频数据,基于该拿取未支付商品的目标行人的图像和监控视频数据,采用上述实施例的方式对该拿取未支付商品的目标行人进行轨迹追踪。本申请的另一个示例中,还可以将该拿取未支付商品的目标行人的图像上报至相关部门,进行报警等。
综上,本申请实施例中,在确定未支付商品丢失时,可以确定丢失的该未支付商品所在目标货架,以及获取目标视频数据;然后采用特征提取器分别提取所述目标视频数据中多帧待检测图像中行人对应的人体特征信息,并依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;再分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;检测目标行人是否拿取所述未支付商品。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高检测的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得检测的速度更快,从而提高检测出拿取未支付商品的行人的效率。
在上述实施例介绍的识别方法的基础上,本申请实施例还公开一种检测方法,可以应用于商铺、超市等场景中,能够基于具有预设商品的图像,快速准确检测出拿取预设商品的行人。
参照图6,示出了本申请的又一种检测方法实施例的步骤流程图。
步骤602、确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像。
本申请实施例中,所述预设商品可以按照需求设置,如用户指定的商品、易丢失商品、贵重商品等等。
在确定预设商品丢失时,可以获取所述预设商品所在场所的监控视频数据,并将该监控视频数据作为目标视频数据。
步骤604、采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构。
步骤606、依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有预设商品的目标图像。
本申请实施例中,可以采用特征提取器,分别提取目标视频数据中多帧检测图像中商品对应的特征信息;然后基于各帧待检测图像中商品对应的特征信息,从所述多帧待检测图像中查找具有预设商品的目标图像。
其中,可以将各帧待检测图像对应的特征信息,与预设商品对应的特征信息进行比对,查找与预设商品对应的特征信息之间的距离小于预设距离的图像,将这些图像确定为目标图像。其中,所述目标图像可以包括多张。
其中,步骤604-步骤606,可以参照上述实施例中步骤204-步骤206,在此不再赘述。
步骤608、从所述目标图像中,检测拿取所述预设商品的目标行人。
本申请实施例中,针对一张目标图像,可以识别该张目标图像中行人手部位置与预设商品位置的关系,来确定该行人是否拿取该预设商品。当确定该行人拿取了该预设商品时,可以从目标图像中查找是否存在该行人对预设商品进行支付的图像。若未查找到该行人对该预设商品进行支付的图像,则说明该行人未对拿取的预设商品进行支付,此时可以将该行人确定为目标行人。
本申请的一个可选实施例中,在确定目标行人后,可以获取其他场所以及道路的监控视频数据,基于包含目标行人的目标图像和监控视频数据,采用上述实施例的方式对该目标行人进行轨迹追踪。本申请的另一个示例中,还可以将目标行人的图像上报至相关部门,进行报警等。
综上,本申请实施例中,在确定预设商品丢失时,可以获取目标视频数据,然后采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息;再依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有所述预设商品的目标图像,进而从所述目标图像中,检测拿取所述预设商品的目标行人。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高检测的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得检测的速度更快,从而提高检测出拿取预设商品的行人的效率。
在上述实施例介绍的识别方法的基础上,本申请实施例还公开一种报警方法,可以应用于商铺、超市等场景中,能够快速准确检的进行报警。
参照图7,示出了本申请的一种报警方法实施例的步骤流程图。
步骤702、获取目标图像。
步骤704、采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构。
步骤706、将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像中目标行人对应的人体特征信息进行比对。
步骤708、确定所述目标图像中存在目标行人时进行报警处理。
本申请实施例中,可以预先采用目标行人图像,生成黑名单;所述目标行人可以是指定的行人,也可以是不法分子,本申请实施例对此不作限制。当然,也可以预先采用特征提取器提取目标行人图像中目标行人的人体特征信息,然后采用目标行人的人体特征信息,生成黑名单;本申请实施例对此不作限制。
在监控设备运行过程中,可以获取监控设备实时采集的每一个视频帧,作为目标图像。然后采用具有树状分支结构的特征提取器,提取所述目标图像中行人对应的人体特征信息;再将所述目标图像中行人对应的人体特征信息分别与目标行人图像中目标行人对应的人体特征信息进行比对,判断目标图像中是否存在目标行人;这与上述实施例类似,在此不再赘述。
其中,可以在获取目标图像后,采用具有树状分支结构的特征提取器,提取所述目标行人图像中目标行人对应的人体特征信息;也可以在采用目标行人图像生成黑名单后,采用具有树状分支结构的特征提取器,提取所述黑名单中各目标行人图像中目标行人对应的人体特征信息,以提高确定所述目标图像中存在目标行人的效率,及时的进行报警处理;本申请实施例对此不作限制。
当确定所述目标图像中存在目标行人时可以进行报警处理,如进行语音告警、播放告警提示音,以及上报给相关部门等等。当确定所述目标图像中不存在目标行人时,可以获取下一目标图像,判断下一目标图像中是否存在目标行人。
本申请的一个示例中,可以将该报警方法应用到超市中,可以采用历史确定的拿取超市中未支付商品的目标行人的图像,生成黑名单。然后可以获取超市出入口监控设备实时采集的目标图像,再执行步骤604-步骤606;并在确定所述目标图像中存在目标行人时,可以向超市的安保部门发出报警信息,如目标行人的位置、目标图像等;便于超市的安保部门采取对应的措施。
综上,本申请实施例中,在获取实时采集的目标图像后,可以采用特征提取器提取所述目标图像对应的人体特征信息,以及提取预设黑名单中目标行人图像对应的人体特征信息;然后将所述目标图像对应的人体特征信息分别与目标行人图像对应的人体特征信息进行比对,并确定所述目标图像中存在目标行人时进行报警处理。其中,所述特征提取器具有树状分支结构,能够增加分支,进而增加特征提取的精度,从而能够降低误报警率。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够及时的进行报警。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
在上述识别方法实施例的基础上,本实施例还提供了一种识别装置,应用于终端设备、服务器等电子设备中。
参照图8,示出了本申请的一种识别装置实施例的结构框图,具体可以包括如下模块:
第一获取模块802,用于获取目标图像;
第一特征提取模块804,用于采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;
第一识别模块806,用于依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
参照图9,示出了本申请的一种识别装置可选实施例的结构框图。
本申请一个可选实施例中,所述第一识别模块802,用于确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。
本申请一个可选实施例中,所述第一特征提取模块804,用于将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
本申请一个可选实施例中,所述的装置还包括:
构建模块808,用于构建所述特征提取器:
所述构建模块808,包括:
卷积层构建子模块8082,用于构建树状分支结构的卷积层;
计算模块构建子模块8084,用于在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。
本申请一个可选实施例中,所述卷积层构建子模块8082,用于以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。
本申请一个可选实施例中,所述卷积层构建子模块8082,用于构建M层共用的卷积层;以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
本申请一个可选实施例中,所述卷积层构建子模块8082,用于分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
本申请一个可选实施例中,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。
综上,本申请实施例中,在获取目标图像后,可以采用特征提取器提取所述目标图像中对象对应的特征信息;然后再依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象;其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高识别精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支,从而能够使得特征提取的速度更快,识别效率更高。
在上述人流统计方法实施例的基础上,本实施例还提供了一种人流统计装置,应用于终端设备、服务器等电子设备中。
参照图10、示出了本申请的一种人流统计装置实施例的结构框图。
第二获取模块1002,用于获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像;
第二特征提取模块1004,用于采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
第二识别模块1006,用于依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
人流统计模块1008,用于基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
综上,本申请实施例中,可以获取设定时间段内的目标视频数据,然后采用特征提取器分别提取所述目标视频数据的多帧图像中行人对应的人体特征信息;再依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同,并基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量;其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高人流统计的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得特征提取的速度更快,从而提高人流统计的效率。
在上述轨迹追踪方法实施例的基础上,本实施例还提供了一种轨迹追踪装置,应用于终端设备、服务器等电子设备中。
参照图11、示出了本申请的一种轨迹追踪装置实施例的结构框图。
第三获取模块1102,用于获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像;
第三特征提取模块1104,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构;
选取模块1106,用于将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中选取存在目标行人的目标图像;
轨迹生成模块1108,用于依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
综上,本申请实施例中,可以获取目标视频数据和目标行人图像,并采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息;然后将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中确定存在目标行人的目标图像,并依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高行人追踪的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得特征提取的速度更快,从而提高行人追踪的效率。
在上述检测方法实施例的基础上,本实施例还提供了一种检测装置,应用于终端设备、服务器等电子设备中。
参照图12、示出了本申请的一种检测装置实施例的结构框图。
货架确定模块1202,用于确定未支付商品丢失时,确定所述未支付商品所在目标货架;
第四获取模块1204,用于获取目标视频数据,所述目标视频数据包括多帧待检测图像;
第四特征提取模块1206,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
识别分组模块1208,用于依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
第一目标行人确定模块1210,用于分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;
检测模块1212,用于检测目标行人是否拿取所述未支付商品。
综上,本申请实施例中,在确定未支付商品丢失时,可以确定丢失的该未支付商品所在目标货架,以及获取目标视频数据;然后采用特征提取器分别提取所述目标视频数据中多帧待检测图像中行人对应的人体特征信息,并依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;再分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;检测目标行人是否拿取所述未支付商品。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高检测的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得检测的速度更快,从而提高检测出拿取未支付商品的行人的效率。
在上述检测方法实施例的基础上,本实施例还提供了一种检测装置,应用于终端设备、服务器等电子设备中。
参照图13、示出了本申请的一种检测装置可选实施例的结构框图。
第六获取模块1302,用于确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像;
第六特征提取模块1304,用于采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构;
图像确定模块1306,用于依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有预设商品的目标图像;
第二目标行人确定模块1308,用于从所述目标图像中,检测拿取所述预设商品的目标行人。
综上,本申请实施例中,在确定预设商品丢失时,可以获取目标视频数据,然后采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息;再依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有所述预设商品的目标图像,进而从所述目标图像中,检测拿取所述预设商品的目标行人。其中,所述特征提取器具有树状分支结构,能够增加分支,进而能够增加特征提取的精度,从而提高检测的精度。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够使得检测的速度更快,从而提高检测出拿取预设商品的行人的效率。
在上述报警方法实施例的基础上,本实施例还提供了一种报警装置,应用于终端设备、服务器等电子设备中。
参照图14、示出了本申请的一种检测装置可选实施例的结构框图。
第五获取模块1402,用于获取目标图像;
第五特征提取模块1404,用于采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
比对模块1406,用于将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像的目标行人对应的人体特征信息进行比对;
报警模块1408,用于确定所述目标图像中存在目标行人时进行报警处理。
综上,本申请实施例中,在获取实时采集的目标图像后,可以采用特征提取器提取所述目标图像对应的人体特征信息,以及提取预设黑名单中目标行人图像对应的人体特征信息;然后将所述目标图像对应的人体特征信息分别与目标行人图像对应的人体特征信息进行比对,并确定所述目标图像中存在目标行人时进行报警处理。其中,所述特征提取器具有树状分支结构,能够增加分支,进而增加特征提取的精度,从而能够降低误报警率。此外,由于现有的平行分支结构在分支开始,就需要分支出目标数量的分支,而本申请实施例具有树状分支结构的特征提取器,只需在分支结束时达到目标数量的分支即可;进而本申请相对于现有技术而言,能够使用更少的节点数实现相同数量的分支;进而能够及时的进行报警。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务器(集群)等电子设备。图15示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1500。
对于一个实施例,图15示出了示例性装置1500,该装置具有一个或多个处理器1502、被耦合到(一个或多个)处理器1502中的至少一个的控制模块(芯片组)1504、被耦合到控制模块1504的存储器1506、被耦合到控制模块1504的非易失性存储器(NVM)/存储设备1508、被耦合到控制模块1504的一个或多个输入/输出设备1510,以及被耦合到控制模块1504的网络接口1512。
处理器1502可包括一个或多个单核或多核处理器,处理器1502可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1500能够作为本申请实施例中所述终端设备、服务器(集群)等设备。
在一些实施例中,装置1500可包括具有指令1514的一个或多个计算机可读介质(例如,存储器1506或NVM/存储设备1508)以及与该一个或多个计算机可读介质相合并被配置为执行指令1514以实现模块从而执行本公开中所述的动作的一个或多个处理器1502。
对于一个实施例,控制模块1504可包括任意适当的接口控制器,以向(一个或多个)处理器1502中的至少一个和/或与控制模块1504通信的任意适当的设备或组件提供任意适当的接口。
控制模块1504可包括存储器控制器模块,以向存储器1506提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1506可被用于例如为装置1500加载和存储数据和/或指令1514。对于一个实施例,存储器1506可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1506可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块1504可包括一个或多个输入/输出控制器,以向NVM/存储设备1508及(一个或多个)输入/输出设备1510提供接口。
例如,NVM/存储设备1508可被用于存储数据和/或指令1514。NVM/存储设备1508可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1508可包括在物理上作为装置1500被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备1508可通过网络经由(一个或多个)输入/输出设备1510进行访问。
(一个或多个)输入/输出设备1510可为装置1500提供接口以与任意其他适当的设备通信,输入/输出设备1510可以包括通信组件、音频组件、传感器组件等。网络接口1512可为装置1500提供接口以通过一个或多个网络通信,装置1500可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置1500可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1500可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1500包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括包括网络接口。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种识别、人流统计、追踪、检测及报警方法和装置,一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (28)

1.一种识别方法,其特征在于,所述方法包括:
获取目标图像;
采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;
依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
2.根据权利要求1所述的方法,其特征在于,所述依据所述目标图像中对象对应的特征信息进行识别,确定所述目标图像是否具有目标对象,包括:
确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。
3.根据权利要求1所述的方法,其特征在于,所述采用特征提取器提取所述目标图像中对象对应的特征信息,包括:
将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;
采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
4.根据权利要求1所述的方法,其特征在于,所述的方法还包括构建所述特征提取器的步骤:
构建树状分支结构的卷积层;
在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。
5.根据权利要求4所述的方法,其特征在于,所述构建树状分支结构的卷积层,包括:
以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。
6.根据权利要求5所述的方法,其特征在于,所述以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层,包括:
构建M层共用的卷积层;
以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
7.根据权利要求6所述的方法,其特征在于,所述以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层,包括:
分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;
确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;
以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
8.根据权利要求6或7所述的方法,其特征在于,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。
9.一种人流统计方法,其特征在于,所述的方法包括:
获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像;
采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
10.一种轨迹追踪方法,其特征在于,所述的方法包括:
获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像;
采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构;
将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中选取存在目标行人的目标图像;
依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
11.一种检测方法,其特征在于,所述的方法包括:
确定未支付商品丢失时,确定所述未支付商品所在目标货架;
获取目标视频数据,所述目标视频数据包括多帧待检测图像;
采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;
检测目标行人是否拿取所述未支付商品。
12.一种报警方法,其特征在于,所述的方法包括:
获取目标图像;
采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像的目标行人对应的人体特征信息进行比对;
确定所述目标图像中存在目标行人时进行报警处理。
13.一种检测方法,其特征在于,所述的方法包括:
确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像;
采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构;
依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有所述预设商品的目标图像;
从所述目标图像中,检测拿取所述预设商品的目标行人。
14.一种识别装置,其特征在于,包括:
第一获取模块,用于获取目标图像;
第一特征提取模块,用于采用特征提取器提取所述目标图像中对象对应的特征信息,其中,所述特征提取器具有树状分支结构;
第一识别模块,用于依据所述目标图像中对象对应的特征信息进行识别,判断所述目标图像是否具有目标对象。
15.根据权利要求14所述的装置,其特征在于,
所述第一识别模块,用于确定所述目标图像中对象对应的特征信息与目标对象对应的特征信息之间的距离,依据所述距离判断所述目标图像是否具有目标对象。
16.根据权利要求14所述的装置,其特征在于,
所述第一特征提取模块,用于将所述目标图像输入所述特征提取器中,得到所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息;采用所述目标图像对应的全局特征信息、水平局部特征信息和竖直局部特征信息,生成所述目标图像中对象对应的特征信息。
17.根据权利要求14所述的装置,其特征在于,所述的装置还包括:
构建模块,用于构建所述特征提取器;
所述构建模块,包括:
卷积层构建子模块,用于构建树状分支结构的卷积层;
计算模块构建子模块,用于在所述卷积层之后依次构建卷积计算模块和池化计算模块,得到所述特征提取器。
18.根据权利要求17所述的装置,其特征在于,
所述卷积层构建子模块,用于以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的卷积层。
19.根据权利要求18所述的装置,其特征在于,
所述卷积层构建子模块,用于构建M层共用的卷积层;以第M层共用的卷积层作为根节点,以树状分支的方式,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
20.根据权利要求19所述的装置,其特征在于,
所述卷积层构建子模块,用于分别确定所述全局特征分支对应的第一数量、水平局部特征分支对应的第二数量,以及所述竖直局部特征分支对应的第三数量;确定所述第二数量的水平局部特征分支分别对应的水平局部信息,以及确定所述第三数量的竖直局部特征分支分别对应的竖直局部信息;以第M层共用的卷积层作为根节点,以树状分支的方式,依据所述第一数量、第二数量、第三数量、水平局部信息和竖直局部信息,构建包含全局特征分支、水平局部特征分支和竖直局部特征分支的N层卷积层。
21.根据权利要求19或20所述的装置,其特征在于,所述后N层卷积层中相邻两层的后一层包含的卷积层的数量大于或等于前一层包含的卷积层的数量。
22.一种人流统计装置,其特征在于,所述的装置包括:
第二获取模块,用于获取设定时间段内的目标视频数据,所述目标视频数据包括多帧图像;
第二特征提取模块,用于采用特征提取器分别提取所述多帧图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
第二识别模块,用于依据所述多帧图像中行人对应的人体特征信息进行识别,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
人流统计模块,用于基于所述图像组的数量和所述图像组之外的图像的数量,统计设定时间段内的人流量。
23.一种轨迹追踪装置,其特征在于,所述的装置包括:
第三获取模块,用于获取目标视频数据和目标行人图像,所述目标视频数据包括多帧待检测图像;
第三特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,以及提取所述目标行人图像中目标行人的人体特征信息,其中,所述特征提取器具有树状分支结构;
选取模块,用于将所述多帧待检测图像中行人对应的人体特征信息分别与所述目标行人图像中目标行人的人体特征信息进行比对,从所述多帧待检测图像中选取存在目标行人的目标图像;
轨迹生成模块,用于依据存在目标行人的目标图像,生成所述目标行人的运动轨迹。
24.一种检测装置,其特征在于,所述的装置包括:
货架确定模块,用于确定未支付商品丢失时,确定所述未支付商品所在目标货架;
第四获取模块,用于获取目标视频数据,所述目标视频数据包括多帧待检测图像;
第四特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
识别分组模块,用于依据所述多帧待检测图像中行人对应的人体特征信息,确定具有相同行人的图像并得到多个图像组,所述图像组包括多张图像,不同图像组对应的行人不同;
第一目标行人确定模块,用于分别基于所述多个图像组生成对应的多个行人的运动轨迹,并基于所述多个行人的运动轨迹确定经过目标货架的目标行人;
检测模块,用于检测目标行人是否拿取所述未支付商品。
25.一种报警装置,其特征在于,所述的装置包括:
第五获取模块,用于获取目标图像;
第五特征提取模块,用于采用特征提取器提取所述目标图像中行人对应的人体特征信息,其中,所述特征提取器具有树状分支结构;
比对模块,用于将所述目标图像中行人对应的人体特征信息分别与预设黑名单中目标行人图像的目标行人对应的人体特征信息进行比对;
报警模块,用于确定所述目标图像中存在目标行人时进行报警处理。
26.一种检测装置,其特征在于,所述的装置包括:
第六获取模块,用于确定预设商品丢失时,获取目标视频数据,所述目标视频数据包括多帧待检测图像;
第六特征提取模块,用于采用特征提取器分别提取所述多帧待检测图像中商品对应的特征信息,其中,所述特征提取器具有树状分支结构;
图像确定模块,用于依据所述多帧待检测图像中商品对应的特征信息,确定所述多帧待检测图像中具有预设商品的目标图像;
第二目标行人确定模块,用于从所述目标图像中,检测拿取所述预设商品的目标行人。
27.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-13中一个或多个所述的方法。
28.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-13中一个或多个所述的方法。
CN202010746548.6A 2020-07-29 2020-07-29 识别、人流统计、追踪、检测及报警方法、装置和设备 Pending CN114092957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010746548.6A CN114092957A (zh) 2020-07-29 2020-07-29 识别、人流统计、追踪、检测及报警方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746548.6A CN114092957A (zh) 2020-07-29 2020-07-29 识别、人流统计、追踪、检测及报警方法、装置和设备

Publications (1)

Publication Number Publication Date
CN114092957A true CN114092957A (zh) 2022-02-25

Family

ID=80294939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746548.6A Pending CN114092957A (zh) 2020-07-29 2020-07-29 识别、人流统计、追踪、检测及报警方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114092957A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110076A (zh) * 2023-02-09 2023-05-12 国网江苏省电力有限公司苏州供电分公司 基于混合粒度网络的输电高空作业人员身份重识别方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110076A (zh) * 2023-02-09 2023-05-12 国网江苏省电力有限公司苏州供电分公司 基于混合粒度网络的输电高空作业人员身份重识别方法和系统
CN116110076B (zh) * 2023-02-09 2023-11-07 国网江苏省电力有限公司苏州供电分公司 基于混合粒度网络的输电高空作业人员身份重识别方法和系统

Similar Documents

Publication Publication Date Title
CN108629791B (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
US10880524B2 (en) System and method for activity monitoring using video data
KR101606100B1 (ko) 비디오 축약 방법 및 장치
US8582816B2 (en) Method and apparatus for video analytics based object counting
CN111160243A (zh) 客流量统计方法及相关产品
CN111383039A (zh) 信息推送方法、装置及信息展示系统
CN110111565A (zh) 一种基于实时视频流下的人车流量统计系统与方法
CN112163525B (zh) 一种事件类型预测方法、装置、电子设备及存储介质
KR20160033800A (ko) 카운팅 방법 및 카운팅 장치
Tsai et al. Swin-JDE: Joint detection and embedding multi-object tracking in crowded scenes based on swin-transformer
CN113111838A (zh) 行为识别方法及装置、设备和存储介质
WO2021022698A1 (zh) 尾随检测方法、装置、电子设备及存储介质
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
Hu et al. A novel approach for crowd video monitoring of subway platforms
Ma et al. Scene invariant crowd counting using multi‐scales head detection in video surveillance
CN113963438A (zh) 行为识别方法及装置、设备和存储介质
CN107590431B (zh) 一种基于图像识别的数量统计方法及装置
CN114092957A (zh) 识别、人流统计、追踪、检测及报警方法、装置和设备
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Pazzaglia et al. People counting on low cost embedded hardware during the SARS-CoV-2 pandemic
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
CN107563257B (zh) 视频理解方法及装置
Qi et al. Gpu-accelerated key frame analysis for face detection in video
Wahyuni et al. People counting for indoor monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination