CN111710008A - 人流密度的生成方法、装置、电子设备以及存储介质 - Google Patents
人流密度的生成方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN111710008A CN111710008A CN202010478194.1A CN202010478194A CN111710008A CN 111710008 A CN111710008 A CN 111710008A CN 202010478194 A CN202010478194 A CN 202010478194A CN 111710008 A CN111710008 A CN 111710008A
- Authority
- CN
- China
- Prior art keywords
- attention
- prediction result
- image
- processing
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000010586 diagram Methods 0.000 claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了人流密度的生成方法、装置、电子设备以及存储介质，涉及深度学习和计算机视觉领域。具体实现方案为：获取图像；将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i‑1层网络的第i‑1预测结果生成第i层的3D注意力掩码，并根据所述3D注意力掩码对所述第i‑1预测结果进行3D注意力处理，并将经过3D注意力处理之后的所述第i‑1预测结果输入至所述第i层网络，其中，N为正整数，且i为小于或等于N的正整数；以及根据所述热力图生成所述人流密度。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及深度学习和计算机视觉技术领域，尤其涉及人流密度的生成方法、装置、电子设备以及存储介质。
背景技术
随着互联网和人工智能技术的不断发展，越来越多的领域开始涉及自动化计算与分析，其中监控安防领域是最为重要的场景之一。对于一些人流密度大的区域，如机场、车站、广场、公园等，常因为人群过于密集而存在发生踩踏事件的隐患。对这些易发生踩踏事件的区域进行实时人流密度的估计，以根据人流密度估计结果及时进行人流疏导，可以有效避免此类事件的发生。
而如何提高人流密度估计结果的准确性，对于有效避免密集人群的拥挤、踩踏等危险事件的发生具有重要意义。
发明内容
提供了一种人流密度的生成方法、装置、设备以及存储介质，以提高人流密度估计结果的准确性，进而有效避免密集人群的拥挤、踩踏等危险事件的发生。
根据第一方面，提供了一种人流密度的生成方法，包括：获取图像；将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据所述3D注意力掩码对所述第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络，其中，N为正整数，且i为小于或等于N的正整数；以及根据所述热力图生成所述人流密度。
根据第二方面，提供了一种人流密度的生成装置，包括第一获取模块，用于获取图像；第一生成模块，用于将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据所述3D注意力掩码对所述第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络，其中，N为正整数，且i为小于或等于N的正整数；以及第二生成模块，用于根据所述热力图生成所述人流密度。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本申请的技术，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是待进行人流密度估计的图像的示例图；
图2是特征维度的示例图；
图3是根据本申请第一实施例的示意图；
图4是人流密度估计模型的部分示例图；
图5是根据本申请第二实施例的示意图；
图6是高阶注意力模块的结构示意图；
图7是根据本申请第三实施例的示意图；
图8是根据本申请第四实施例的示意图；
图9是根据本申请第五实施例的示意图；
图10是用来实现本申请实施例的人流密度的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
可以理解的是，对于一些人流密度大的区域，如机场、车站、广场、公园等，常因为人群过于密集而存在发生踩踏事件的隐患。对这些易发生踩踏事件的区域进行实时人流密度的估计，以根据人流密度估计结果及时进行人流疏导，可以有效避免此类事件的发生。
相关技术中，通常利用预先训练的人流密度估计模型对待进行人流密度估计的图像进行处理，以估计人流密度，在模型训练过程中，通常如图1所示，在图像的人头位置打点，以对图像中人头位置进行标注。然而，在实际应用中，经常会出现待进行人流密度估计的图像中存在复杂易混淆背景或噪声，例如，图1所示的区域A中，人的距离较远，人头较小，且不清晰。由于无法准确标记这些区域的人头位置，因此，相关技术中的人流密度估计方法，对于存在复杂易混淆背景或噪声的图像的人流密度估计结果并不准确。
本申请为了提高人流密度估计结果的准确性，提出一种人流密度的生成方法，首先获取图像，然后将图像输入至人流密度估计模型以生成图像对应的热力图，再根据热力图生成人流密度，其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了易发生踩踏事件等安全隐患。
为了对本申请提供的人流密度的生成方法进行清楚说明，首先，对本申请实施例中的一些相关词语进行简要说明。
首先结合图2所示的特征维度的示例，对特征的维度进行说明。
如图2所示，在利用机器学习进行数据处理的过程中，经常使用的特征可以包括H*W*C三个维度，其中，H为特征的高度(Height)，W为特征的宽度(Width)，C为特征的通道(Channel)。
另外，注意力机制(Attention Mechanism)，是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中，它能使机器更专注于对当前任务目标更关键的信息，而忽视一些对当前任务目标不重要的信息，从而提高处理效率和处理结果的准确性。
在注意力机制中，可以产生注意力掩码，以对机器学习模型提取的特征进行约束，即通过注意力掩码对机器学习模型增加限制条件，从而使得机器学习模型的预测结果更准确。
下面参考附图描述本申请实施例的人流密度的生成方法、装置、电子设备以及非瞬时计算机可读存储介质。
下面结合图3，对本申请提供的人流密度的生成方法进行详细描述。
图3是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例提供的人流密度的生成方法，执行主体为人流密度的生成装置，人流密度的生成装置可以被配置在电子设备中，以实现提高人流密度估计结果的准确性。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。
如图3所示，人流密度的生成方法，可以包括以下步骤：
步骤101，获取图像。
其中，图像，可以是直接拍摄的静态图像，例如拍照设备按照一定的拍摄频率进行拍摄后实时获得的图像。或者，图像，也可以是从动态图像截取的一帧图像，例如从监控设备拍摄的监控视频截取的一帧图像。或者，图像，也可以是通过其它方式获取的图像，本申请对此不作限制。
另外，图像，可以是RGB图像(彩色图像)、黑白图像、灰度图像，等等，本申请对图像的类型不作限制。
步骤102，将图像输入至人流密度估计模型以生成图像对应的热力图。
步骤103，根据热力图生成人流密度。
其中，人流密度估计模型，可以是任意深度神经网络模型，例如卷积神经网络模型、递归神经网络模型等，或者，也可以是其它类型的数据处理模型，本申请对人流密度估计模型的类型不作限制。
具体的，可以预先训练人流密度估计模型，人流密度估计模型的输入为图像，输出为图像对应的热力图，从而可以在获取图像后，将图像输入人流密度估计模型，以生成获取的图像对应的热力图。
在示例性实施例中，图像对应的热力图，可以与输入人流密度估计模型的图像的尺寸相同。
可以理解的是，本申请利用人流密度估计模型生成的热力图，可以根据人流密度大小渲染地图颜色，从而反映出人体所在的区域。其中，热力图中像素点的像素值，可以反映出是否为人体的概率，例如，像素值越大，表示为人体的概率越高，像素值越小，表示为人体的概率越低，也就是说，热力图中的某个区域的颜色越高亮，表示该区域包含人体的概率越高。
具体的，人流密度估计模型可以包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。
其中，3D注意力掩码，为与人流密度估计模型输出的第i-1预测结果的特征维度相同的注意力掩码，即，在人流密度估计模型输出的第i-1预测结果的特征维度为H*W*C三个维度时，3D注意力掩码也为H*W*C三个维度。
可以理解的是，本申请为了降低易混淆背景或噪声对人流密度估计结果准确性的影响，采用了注意力机制，在人流密度估计模型的训练过程中，可以产生3D注意力掩码，对人流密度估计模型的预测结果进行约束，从而使人流密度估计模型更专注于图像中无易混淆背景或噪声的区域，而将复杂易混淆背景或噪声区域对于人流密度估计结果的影响减小，以提高人流密度估计结果准确性。
由于本申请实施例训练的人流密度估计模型中，3D注意力掩码的维度与第i-1预测结果的特征维度相同，因此，通过3D注意力掩码对第i-1预测结果进行3D注意力处理，可以使得第i-1预测结果的每个通道中的每个点的特征都有各自独立的注意力掩码。相比仅生成一个H*W维度的注意力掩码，从而人流密度估计模型输出的预测结果的每个通道的特征利用相同的注意力掩码进行处理，或者仅生成一个C维度的注意力掩码，从而人流密度估计模型输出的预测结果的各通道内的每个特征点利用相同的注意力掩码进行处理，本申请实施例中利用3D注意力掩码对第i-1预测结果进行的3D注意力处理，能够对人流密度估计模型的第i-1层网络输出的第i-1预测结果的每个通道中的每个点的特征均利用独立的注意力掩码进行处理，处理之后的第i-1预测结果更有区分度，能够表示更丰富的信息，从而再将处理之后的第i-1预测结果输入至第i层网络，能够使人流密度估计模型最终生成的热力图更准确的反映出图像中的各区域是否为人体。
由于训练得到的人流密度估计模型生成的热力图能够更准确的反映出图像中的各区域是否为人体，因此本申请在将获取的图像输入至训练得到的人流密度估计模型后，得到的图像的热力图能更准确的反映人流密度，从而根据热力图生成的人流密度更准确。
可以理解的是，本申请实施例中的人流密度估计模型，如图4所示，相当于在人流密度估计模型的第i-1层网络与第i层网络之间，增加了高阶注意力模块，该高阶注意力模块可以根据第i-1网络输出的预测结果生成3D注意力掩码，并根据3D注意力掩码对第i-1层网络输出的预测结果进行3D注意力处理，并将处理后的第i-1预测结果输入至第i层网络，从而使人流密度估计模型最终生成的热力图更准确的反映出图像中的各区域是否为人体，进而提高根据热力图生成的人流密度的准确性。
可以理解的是，本申请实施例中，高阶注意力模块的输入为第i-1层网络输出的第i-1预测结果，输出为经过3D注意力处理之后的第i-1预测结果，且输入输出的维度完全一致。如图4所示，高阶注意力模块输入和输出的特征的维度均为H*W*C。由于高阶注意力模块不依赖人流密度估计模型的N层网络中的其它信息，且计算量较小，不会显著影响原人流密度估计模型的性能，因此，可以方便的作为可插入模块，嵌入任意类型的人流密度估计模型中，以提高人流密度估计模型的估计结果的准确性。
在示例性实施例中，可以根据需要，设置在人流密度估计模型的任意两层之间增加高阶注意力模块。另外，增加的高阶注意力模块的个数也可以根据需要设置，本申请对此不作限制。例如，在人流密度估计模型的每两层网络之间，均可以增加高阶注意力模块，即对人流密度估计模型的每一层网络的预测结果，均生成3D注意力掩码，并利用生成的3D注意力掩码进行3D注意力处理，然后，将处理后的预测结果输入下一层网络。
在示例性实施例中，人流密度估计模型可以以人的头部为目标对象，因此，利用人流密度估计模型生成的图像对应的热力图的高亮区域主要集中在人群的头部范围。
具体的，在利用人流密度估计模型生成图像对应的热力图后，根据热力图中各像素点的像素值，即可生成人流密度。
本申请实施例中，由于通过生成的图像对应的热力图进行人流密度估计，在热力图中不需要识别每个人体占用的区域，从而简化了人流密度估计的难度。
本申请实施例的人流密度生成方法，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
通过上述分析可知，本申请实施例中，在获取图像后，可以将图像输入至预先训练的人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，下面结合图5，对本申请实施例中人流密度估计模型的训练过程进行详细说明。
图5是根据本申请第二实施例的示意图。如图5所示，本申请提供的人流密度的生成方法，可以包括以下步骤：
步骤201，训练得到人流密度估计模型。
具体的，可以预先获取训练集，其中，训练集中包括大量的样本图像，及各样本图像分别对应的热力图，并预先设置人流密度估计模型的结构及初始参数等，然后从训练集中获取一幅样本图像，假设获取的样本图像为A1，训练集中A1对应的热力图为B1，再将A1输入预先设置的人流密度估计模型中，得到A1对应的热力图C1，并根据B1和C1之间的差异，确定第一修正系数，再利用第一修正系数，对预先设置的人流密度估计模型进行第一次修正。然后，再从训练集中获取另一幅样本图像，假设获取的样本图像为A2，训练集中A2对应的热力图为B2，再将A2输入预先设置的人流密度估计模型中，得到A2对应的热力图C2，并根据B2和C2之间的差异，确定第二修正系数，再利用第二修正系数，对第一次修正后的人流密度估计模型进行第二次修正。通过类似过程，对预先设置人流密度估计模型进行多次修正，即可得到训练后的人流密度估计模型。
在本申请实施例中，人流密度估计模型可以包括N层网络，N为正整数，i为小于或等于N的正整数。
其中，在训练第i层网络时，可以先获取第i-1层网络的第i-1预测结果，然后根据第i-1预测结果生成第i层的3D注意力掩码，再根据第i层的3D注意力掩码对第i-1预测结果进行3D注意力处理，再将经过3D注意力处理之后的第i-1预测结果输入至第i层网络。
也就是说，在训练集中的一幅样本图像输入人流密度估计模型后，可以根据人流密度估计模型的第i-1层网络输出的第i-1预测结果，生成第i层的3D注意力掩码，然后根据第i层的3D注意力掩码对第i-1预测结果进行3D注意力处理，再将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，在人流密度估计模型输出样本图像对应的热力图后，再将人流密度估计模型输出的样本图像对应的热力图与训练集中该样本图像对应的热力图进行比较，以确定修正系数。
具体生成第i层的3D注意力掩码时，可以先计算第i-1预测结果的第1至第M阶的第1至第M注意力特征，然后根据第1至第M注意力特征生成第i层的3D注意力掩码。其中，M为大于1的正整数。
其中，M可以根据需要任意设置。
具体实现时，计算得到第i-1预测结果的第1至第M注意力特征后，对第1至第M注意力特征进行求和以生成注意力特征之和，再对注意力特征之和进行Sigmoid函数处理，即可生成第i层的3D注意力掩码。
可以理解的是，本申请实施例中，在训练人流密度估计模型时，首先计算第i-1预测结果的第1至第M阶的第1至第M注意力特征，然后对第1至第M注意力特征进行求和以生成注意力特征之和，再对注意力特征之和进行Sigmoid函数处理以生成第i层的3D注意力掩码，由于不同阶数下的注意力特征具有不同的表现力，例如，低阶的注意力特征比如第1阶的第1注意力特征更关注图像的局部信息，高阶的注意力特征比如第3阶的第3注意力特征更关注图像的整体信息，因此，本申请通过同时计算不同阶数的多个注意力特征，再根据不同阶数的多个注意力特征生成第i层的3D注意力掩码，可以使得生成的3D注意力掩码的效果更好，从而利用生成的3D注意力掩码对第i-1预测结果进行3D注意力处理后的第i-1预测结果能够表现更丰富的信息。
进一步的，可以通过预设乘法，对第i层的3D注意力掩码和第i-1预测结果进行运算，以实现对第i-1预测结果进行3D注意力处理。
其中，预设乘法，可以包括普通矩阵乘法、矩阵点乘即Hadamard积、克罗内克积等等，本申请对此不作限制。
在示例性实施例中，可以通过将第i层的3D注意力掩码和第i-1预测结果进行Hadamard乘积，以实现对第i-1预测结果进行3D注意力处理。
可以理解的是，通过利用预设乘法对第i层的3D注意力掩码与第i-1预测结果进行运算，可以实现利用3D注意力掩码从H*W*C三个维度上实施注意力对第i-1预测结果进行约束，以使处理后的第i-1预测结果能够表示更丰富的信息。
可以理解的是，本申请中训练得到的人流密度估计模型，相当于在人流密度估计模型的第i-1层网络与第i层网络之间，增加了高阶注意力模块，该高阶注意力模块可以根据第i-1网络输出的预测结果生成3D注意力掩码，并根据3D注意力掩码对第i-1层网络输出的预测结果进行3D注意力处理，并将处理后的第i-1预测结果输入至第i层网络，从而使人流密度估计模型最终生成的热力图更准确的反映出图像中的各区域是否为人体，进而提高根据热力图生成的人流密度的准确性。
下面结合图6，以M＝3，人流密度估计模型为卷积神经网络模型，第i层的3D注意力掩码和第i-1预测结果做Hadamard乘积为例，对本申请实施例中，对高阶注意力模块的具体结构进行说明。
具体的，高阶注意力模块可以嵌入人流密度估计模型的第i-1层网络和第i层网络之间，如图6所示，高阶注意力模块的输入可以为第i-1层网络的第i-1预测结果(图6中的特征x)，输出可以为经过3D注意力处理后的特征y。
在本申请实施例中，高阶注意力模块可以先获取第i-1层网络的第i-1预测结果，然后将第i-1预测结果分别输入阶数为1、2、3的三个分支，以计算第i-1预测结果的第1阶的第1注意力特征、第2阶的第2注意力特征及第3阶的第3注意力特征。
其中，图6的各个模块中的C、D1、D2、D3分别表示对应模块的通道数，Conv1*1表示1*1卷积操作，ReLU为卷积神经网络中常用的ReLU激活函数，Sigmoid表示Sigmoid函数，☉表示Hadamard乘积，z的上标表示对应特征阶数，z的下标表示同一阶内部的序号，比如，z2表示该模块对应的特征阶数为2。
如图6所示，将第i-1预测结果分别输入阶数为1、2、3的三个分支后，得到第1注意力特征、第2注意力特征和第3注意力特征后，通过对第1注意力特征、第2注意力特征和第3注意力特征进行Sigmoid函数处理，即可得到第i层的3D注意力掩码，将第i层的3D注意力掩码与第i-1预测结果x做Hadamard乘积，即可得到经过3D注意力处理后的新的特征y，新的特征y可以输入第i层网络。
通过上述方式，即可训练得到包含高阶注意力模块的人流密度估计模型，由于训练过程中利用3D注意力掩码对第i-1预测结果进行的3D注意力处理，能够对人流密度估计模型的第i-1层网络输出的第i-1预测结果的每个通道中的每个点的特征均利用独立的注意力掩码进行处理，处理之后的第i-1预测结果能够表示更丰富的信息，从而再将处理之后的第i-1预测结果输入至第i层网络，能够使训练得到的人流密度估计模型最终生成的热力图更准确的反映出图像中的各区域是否为人体。
步骤202，获取图像。
步骤203，将图像输入至人流密度估计模型以生成图像对应的热力图。
步骤204，根据热力图生成人流密度。
可以理解的是，在训练得到人流密度估计模型后，获取待进行人流密度估计的图像后，即可将图像输入至人流密度估计模型以生成图像对应的热力图，进而根据热力图生成人流密度。
本申请提供的人流密度的生成方法，首先获取第i-1层网络的第i-1预测结果，然后根据第i-1预测结果生成第i层的3D注意力掩码，再根据第i层的3D注意力掩码对第i-1预测结果进行3D注意力处理，再将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，通过这种方式训练得到人流密度估计模型后，在获取图像后，即可将图像输入至人流密度估计模型以生成图像对应的热力图，进而根据热力图生成人流密度。由于人流密度估计模型生成的热力图能够更准确的反映出图像中的各区域是否为人体，因此在将获取的图像输入至训练得到的人流密度估计模型后，得到的图像的热力图能更准确的反映人流密度，从而根据热力图生成的人流密度更准确，进而有效避免了密集人群的拥挤、踩踏等危险事件的发生。
通过上述分析可知，本申请实施例中，可以在获取图像后，将图像输入至人流密度估计模型，以生成图像对应的热力图，进而根据热力图生成人流密度，在一种可能的实现方式中，在将获取的图像输入至人流密度估计模型之前，还可以对获取的图像进行预处理，以提高输入人流密度估计模型的图像的质量，进而进一步提高生成的人流密度的准确性，下面针对上述情况，结合图7，对本申请实施例提供的人流密度的生成方法进行进一步说明。
图7是根据本申请第三实施例的示意图。如图7所示，本申请提供的人流密度的生成方法，可以包括以下步骤：
步骤301，获取图像。
步骤302，对图像进行归一化处理以生成归一化图像。
步骤303，获取归一化图像之中每个像素点的像素值。
步骤304，将每个像素点的像素值减去预设均值。
步骤305，将每个像素点的像素值除以预设方差。
其中，预设均值，可以通过对大规模的通用图像数据集的整体数据求平均得到，例如，在某个通用图像数据集中，所求得的预设均值可以为RGB均值[0.485,0.456,0.406]，即R(Red，红色)通道的均值为0.485，G(Green，绿色)通道的均值为0.456，B(Blue，蓝色)通道的均值为0.406。
预设方差，也可以通过对大规模的通用图像数据集进行统计得到，例如，在某个通用图像数据集中，所求得的预设方差可以为RGB均值[0.229,0.224,0.225]，即R通道的均值为0.229，G通道的均值为0.224，B通道的均值为0.225。
在实际应用中，所采用的通用图像数据集不同，所得到的预设均值和预设方差也可以不同。
在本申请实施例中，将归一化图像之中每个像素点的像素值减去预设均值，再将每个像素点的像素值除以预设方差，可以使得得到的像素值均被拉到0附近，从而可以提高人流密度估计模型在估计人头数量时对人头识别的灵敏度，进而能够提高人流密度估计的准确性。
可以理解的是，在对图像进行归一化之前，还可以先将图像缩放至预设尺寸，其中，预设尺寸可以根据需要任意设置，例如，可以将图像缩放至448*448像素。通过将图像缩放至预设尺寸后再对缩放后的图像进行处理，简化了数据处理难度，提升了数据处理效率。
步骤306，将处理后的图像输入至人流密度估计模型以生成图像对应的热力图。
其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。
步骤307，获取热力图之中每个像素点的像素值。
步骤308，根据每个像素点的像素值生成热力图对应的像素值。
步骤309，根据热力图对应的像素值生成人流密度。
可以理解的是，本申请生成的热力图，可以根据人流密度大小渲染地图颜色，从而反映出人体所在的区域。其中，热力图中各像素点的像素值，可以反映出是否为人体的概率，例如，像素值越大，表示为人体的概率越高，像素值越小，表示为人体的概率越低，也就是说，热力图中的某个区域的颜色越高亮，表示该区域包含人体的概率越高。
在示例性实施例中，人流密度估计模型可以以人的头部为目标对象，因此，利用人流密度估计模型生成的图像对应的热力图的高亮区域主要集中在人群的头部范围。
在示例性实施例中，热力图中像素点的像素值的取值范围可以为(0,1)。在热力图中像素点的像素值的取值范围大于1时，可以对像素值进行归一化处理。例如，像素值的最大值为100，则归一化后，取值为5的像素值的取值可以为0.05。
具体的，对热力图中每个像素点的像素值进行逐点求和，即可生成热力图对应的像素值。
具体实现时，可以设置热力图对应的像素值与人口数量的对应关系，从而在获取热力图对应的像素值后，可以根据热力图对应的像素值、预先设置的热力图对应的像素值与人口数量的对应关系，确定获取的图像中的人口数量，以生成人流密度值。
可以理解的是，在利用人流密度估计模型生成图像对应的热力图后，通过根据热力图中各像素点的像素值生成热力图对应的像素值，进而根据热力图对应的像素值得到获取的图像中的人口数量，定量的生成人流密度值，进一步提高了人流密度估计结果的准确性。
本申请提供的人流密度的生成方法，在获取图像后，首先对图像进行归一化处理以生成归一化图像，然后获取归一化图像之中每个像素点的像素值，再将每个像素点的像素值减去预设均值，再将每个像素点的像素值除以预设方差，再将处理后的图像输入至人流密度估计模型以生成图像对应的热力图，然后获取热力图之中每个像素点的像素值，并根据每个像素点的像素值生成热力图对应的像素值，进而根据热力图对应的像素值生成人流密度。由此，实现了对获取图像的预处理，及对预处理后的图像利用人流密度估计模型进行人流密度估计，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
为了实现图1至图7所述实施例，本申请实施例还提出一种人流密度的生成装置。
图8是根据本申请第四实施例的示意图。如图8所示，该人流密度的生成装置10包括：第一获取模块11、第一生成模块12、第二生成模块13。
具体的，本申请提供的人流密度的生成装置，可以执行本申请上述实施例提供的人流密度的生成方法，该人流密度的生成装置，可以被配置在电子设备中，以实现提高人流密度估计结果的准确性。其中，电子设备可以是任意能够进行数据处理的终端设备或服务器等，本申请对此不作限制。
其中，第一获取模块11，用于获取图像。
第一生成模块12，用于将图像输入至人流密度估计模型以生成图像对应的热力图。
第二生成模块13，用于根据热力图生成人流密度。
其中，人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。
需要说明的是，上述实施例中对人流密度的生成方法的说明，也适用于本申请实施例中的人流密度的生成装置10，此处不再赘述。
本申请实施例的人流密度的生成装置，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
图9是根据本申请第五实施例的示意图。
如图9所示，在图8所示的基础上，本申请提供的人流密度的生成装置10，还可以包括训练模块14。
具体的，训练模块14，可以包括
第一获取子模块141，用于获取第i-1层网络的第i-1预测结果；
第一生成子模块142，用于根据第i-1预测结果生成第i层的3D注意力掩码；
第一处理子模块143，用于根据第i层的3D注意力掩码对第i-1预测结果进行3D注意力处理；以及
第二处理子模块144，用于将经过3D注意力处理之后的第i-1预测结果输入至第i层网络。
在示例性实施例中，第一生成子模块142，包括：
计算单元，用于计算第i-1预测结果的第1至第M阶的第1至第M注意力特征，其中，M为大于1的正整数；
生成单元，用于根据第1至第M注意力特征生成第i层的3D注意力掩码。
在示例性实施例中，生成单元，包括：
第一处理子单元，用于对第1至第M注意力特征进行求和以生成注意力特征之和；
第二处理子单元，用于对注意力特征之和进行Sigmoid函数处理以生成第i层的3D注意力掩码。
在示例性实施例中，上述第一处理子模块143，包括:
处理单元，用于将第i层的3D注意力掩码和第i-1预测结果输入乘积矩阵实现对第i-1预测结果进行3D注意力处理。
在示例性实施例中，上述第二生成模块13，可以包括：
第二获取子模块，用于获取热力图之中每个像素点的像素值；
第二生成子模块，用于根据每个像素点的像素值生成热力图对应的像素值；以及
第三生成子模块，用于根据热力图对应的像素值生成人流密度。
在示例性实施例中，如图9所示，本申请提供的人流密度的生成装置10，还可以包括：
第三生成模块15，用于对图像进行归一化处理以生成归一化图像；
第二获取模块16，用于获取归一化图像之中每个像素点的像素值；以及
第一处理模块17，用于将每个像素点的像素值减去预设均值。
在示例性实施例中，如图9所示，本申请提供的人流密度的生成装置10，还可以包括：
第二处理模块18，用于将每个像素点的像素值除以预设方差。
需要说明的是，上述实施例中对人流密度的生成方法的说明，也适用于本申请实施例中的人流密度的生成装置10，此处不再赘述。
本申请实施例的人流密度的生成装置，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的人流密度的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人流密度的生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人流密度的生成方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人流密度的生成方法对应的程序指令/模块(例如，附图8所示的第一获取模块11、第一生成模块12、第二生成模块13)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人流密度的生成方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人流密度的生成的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至人流密度的生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人流密度的生成方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与人流密度的生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，首先获取图像，然后将图像输入至人流密度估计模型，以利用人流密度估计模型生成图像对应的热力图，进而根据热力图生成人流密度，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据3D注意力掩码对第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的第i-1预测结果输入至第i层网络，其中，N为正整数，且i为小于或等于N的正整数。由此，提高了人流密度估计结果的准确性，有效避免了密集人群的拥挤、踩踏等危险事件的发生。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种人流密度的生成方法，包括：
获取图像；
将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据所述3D注意力掩码对所述第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络，其中，N为正整数，且i为小于或等于N的正整数；以及
根据所述热力图生成所述人流密度。
2.如权利要求1所述的人流密度的生成方法，其中，所述人流密度估计模型通过以下步骤训练得到：
获取第i－1层网络的第i－1预测结果；
根据所述第i－1预测结果生成第i层的3D注意力掩码；
根据所述第i层的3D注意力掩码对所述第i-1预测结果进行3D注意力处理；以及
将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络。
3.如权利要求2所述的人流密度的生成方法，其中，所述根据所述第i－1预测结果生成第i层的3D注意力掩码，包括：
计算所述第i－1预测结果的第1至第M阶的第1至第M注意力特征，其中，M为大于1的正整数；
根据所述第1至第M注意力特征生成所述第i层的3D注意力掩码。
4.如权利要求3所述的人流密度的生成方法，其中，所述根据所述第1至第M注意力特征生成所述第i层的3D注意力掩码，包括：
对所述第1至第M注意力特征进行求和以生成注意力特征之和；
对所述注意力特征之和进行Sigmoid函数处理以生成所述第i层的3D注意力掩码。
5.如权利要求2所述的人流密度的生成方法，其中，所述根据所述第i层的3D注意力掩码对所述第i-1预测结果进行3D注意力处理，包括:
通过预设乘法，对所述第i层的3D注意力掩码和所述第i-1预测结果进行运算，以实现对所述第i-1预测结果进行3D注意力处理。
6.如权利要求1所述的人流密度的生成方法，其中，所述根据所述热力图生成所述人流密度，包括：
获取所述热力图之中每个像素点的像素值；
根据所述每个像素点的像素值生成所述热力图对应的像素值；以及
根据所述热力图对应的像素值生成所述人流密度。
7.如权利要求1所述的人流密度的生成方法，其中，在所述获取图像之后，还包括：
对所述图像进行归一化处理以生成归一化图像；
获取所述归一化图像之中每个像素点的像素值；以及
将所述每个像素点的像素值减去预设均值。
8.如权利要求7所述的人流密度的生成方法，其中，在所述将所述每个像素点的像素值减去预设均值之后，还包括：
将所述每个像素点的像素值除以预设方差。
9.一种人流密度的生成装置，包括：
第一获取模块，用于获取图像；
第一生成模块，用于将所述图像输入至人流密度估计模型以生成所述图像对应的热力图，其中，所述人流密度估计模型包括N层网络，其中，当训练第i层网络时，根据第i-1层网络的第i-1预测结果生成第i层的3D注意力掩码，并根据所述3D注意力掩码对所述第i-1预测结果进行3D注意力处理，并将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络，其中，N为正整数，且i为小于或等于N的正整数；以及
第二生成模块，用于根据所述热力图生成所述人流密度。
10.如权利要求9所述的人流密度的生成装置，还包括训练模块；
其中，所述训练模块，包括：
第一获取子模块，用于获取第i－1层网络的第i－1预测结果；
第一生成子模块，用于根据所述第i－1预测结果生成第i层的3D注意力掩码；
第一处理子模块，用于根据所述第i层的3D注意力掩码对所述第i-1预测结果进行3D注意力处理；以及
第二处理子模块，用于将经过3D注意力处理之后的所述第i-1预测结果输入至所述第i层网络。
11.如权利要求10所述的人流密度的生成装置，其中，所述第一生成子模块，包括：
计算单元，用于计算所述第i－1预测结果的第1至第M阶的第1至第M注意力特征，其中，M为大于1的正整数；
生成单元，用于根据所述第1至第M注意力特征生成所述第i层的3D注意力掩码。
12.如权利要求11所述的人流密度的生成装置，其中，所述生成单元，包括：
第一处理子单元，用于对所述第1至第M注意力特征进行求和以生成注意力特征之和；
第二处理子单元，用于对所述注意力特征之和进行Sigmoid函数处理以生成所述第i层的3D注意力掩码。
13.如权利要求10所述的人流密度的生成装置，其中，所述第一处理子模块，包括:
处理单元，用于通过预设乘法对所述第i层的3D注意力掩码和所述第i-1预测结果进行运算，以实现对所述第i-1预测结果进行3D注意力处理。
14.如权利要求9所述的人流密度的生成装置，其中，所述第二生成模块，包括：
第二获取子模块，用于获取所述热力图之中每个像素点的像素值；
第二生成子模块，用于根据所述每个像素点的像素值生成所述热力图对应的像素值；以及
第三生成子模块，用于根据所述热力图对应的像素值生成所述人流密度。
15.如权利要求9所述的人流密度的生成装置，还包括：
第三生成模块，用于对所述图像进行归一化处理以生成归一化图像；
第二获取模块，用于获取所述归一化图像之中每个像素点的像素值；以及
第一处理模块，用于将所述每个像素点的像素值减去预设均值。
16.如权利要求15所述的人流密度的生成装置，还包括：
第二处理模块，用于将所述每个像素点的像素值除以预设方差。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1－8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010478194.1A CN111710008B (zh) | 2020-05-29 | 2020-05-29 | 人流密度的生成方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010478194.1A CN111710008B (zh) | 2020-05-29 | 2020-05-29 | 人流密度的生成方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111710008A true CN111710008A (zh) | 2020-09-25 |
| CN111710008B CN111710008B (zh) | 2023-07-11 |
Family
ID=72538207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010478194.1A Active CN111710008B (zh) | 2020-05-29 | 2020-05-29 | 人流密度的生成方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111710008B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132430A (zh) * | 2023-10-26 | 2023-11-28 | 中电科大数据研究院有限公司 | 一种基于大数据和物联网的校园管理方法及装置 |
| CN117476114A (zh) * | 2023-12-25 | 2024-01-30 | 墨卓生物科技(浙江)有限公司 | 一种基于生物多组学数据的模型构建方法与系统 |
| CN117831254A (zh) * | 2024-03-06 | 2024-04-05 | 山东捷瑞信息技术产业研究院有限公司 | 基于数字孪生的踩踏事故预警方法、装置、设备及介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100246954A1 (en) * | 2009-03-31 | 2010-09-30 | Samsung Electronics Co., Ltd. | Apparatus, method, and medium of generating visual attention map |
| US20170316598A1 (en) * | 2015-05-22 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | 3d human face reconstruction method, apparatus and server |
| US20180165547A1 (en) * | 2016-12-08 | 2018-06-14 | Shenzhen University | Object Recognition Method and Device |
| US20180181803A1 (en) * | 2016-12-27 | 2018-06-28 | Shenzhen University | Pedestrian head identification method and system |
| WO2018187632A1 (en) * | 2017-04-05 | 2018-10-11 | Carnegie Mellon University | Deep learning methods for estimating density and/or flow of objects, and related methods and software |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| CN109447008A (zh) * | 2018-11-02 | 2019-03-08 | 中山大学 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
| CN109447053A (zh) * | 2019-01-09 | 2019-03-08 | 江苏星云网格信息技术有限公司 | 一种基于双重限制注意力神经网络模型的人脸识别方法 |
| CN109460855A (zh) * | 2018-09-29 | 2019-03-12 | 中山大学 | 一种基于聚焦机制的群体流量预测模型及方法 |
| CN109543510A (zh) * | 2018-10-08 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 人流密度估计方法、装置和电子设备 |
| US20190130213A1 (en) * | 2017-10-27 | 2019-05-02 | Google Llc | Attention-based image generation neural networks |
| CN109829396A (zh) * | 2019-01-16 | 2019-05-31 | 广州杰赛科技股份有限公司 | 人脸识别运动模糊处理方法、装置、设备及存储介质 |
| CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
| CN110610143A (zh) * | 2019-08-27 | 2019-12-24 | 汇纳科技股份有限公司 | 多任务联合训练的人群计数网络方法、系统、介质及终端 |
| CN110826389A (zh) * | 2019-09-02 | 2020-02-21 | 东华大学 | 基于注意力3d频率卷积神经网络的步态识别方法 |
| CN110909701A (zh) * | 2019-11-28 | 2020-03-24 | 北京百度网讯科技有限公司 | 行人特征的提取方法、装置、设备及介质 |
| CN111027387A (zh) * | 2019-11-11 | 2020-04-17 | 北京百度网讯科技有限公司 | 人数评估及评估模型获取方法、装置及存储介质 |
| CN111061868A (zh) * | 2019-11-05 | 2020-04-24 | 百度在线网络技术（北京）有限公司 | 读法预测模型获取及读法预测方法、装置及存储介质 |
| US20200134380A1 (en) * | 2018-10-30 | 2020-04-30 | Beijing Horizon Robotics Technology Research And Development Co., Ltd. | Method for Updating Neural Network and Electronic Device |
| CN111161535A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于注意力机制的图神经网络交通流量预测方法及系统 |
| US20200162136A1 (en) * | 2017-06-05 | 2020-05-21 | JRD Communication (Shenzhen) Ltd. | 3d mimo based radio transmission method and device |
-
2020
- 2020-05-29 CN CN202010478194.1A patent/CN111710008B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100246954A1 (en) * | 2009-03-31 | 2010-09-30 | Samsung Electronics Co., Ltd. | Apparatus, method, and medium of generating visual attention map |
| US20170316598A1 (en) * | 2015-05-22 | 2017-11-02 | Tencent Technology (Shenzhen) Company Limited | 3d human face reconstruction method, apparatus and server |
| US20180165547A1 (en) * | 2016-12-08 | 2018-06-14 | Shenzhen University | Object Recognition Method and Device |
| US20180181803A1 (en) * | 2016-12-27 | 2018-06-28 | Shenzhen University | Pedestrian head identification method and system |
| WO2018187632A1 (en) * | 2017-04-05 | 2018-10-11 | Carnegie Mellon University | Deep learning methods for estimating density and/or flow of objects, and related methods and software |
| US20200162136A1 (en) * | 2017-06-05 | 2020-05-21 | JRD Communication (Shenzhen) Ltd. | 3d mimo based radio transmission method and device |
| US20190130213A1 (en) * | 2017-10-27 | 2019-05-02 | Google Llc | Attention-based image generation neural networks |
| CN108830157A (zh) * | 2018-05-15 | 2018-11-16 | 华北电力大学（保定） | 基于注意力机制和3d卷积神经网络的人体行为识别方法 |
| CN109460855A (zh) * | 2018-09-29 | 2019-03-12 | 中山大学 | 一种基于聚焦机制的群体流量预测模型及方法 |
| CN109543510A (zh) * | 2018-10-08 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 人流密度估计方法、装置和电子设备 |
| US20200134380A1 (en) * | 2018-10-30 | 2020-04-30 | Beijing Horizon Robotics Technology Research And Development Co., Ltd. | Method for Updating Neural Network and Electronic Device |
| CN109447008A (zh) * | 2018-11-02 | 2019-03-08 | 中山大学 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
| CN109447053A (zh) * | 2019-01-09 | 2019-03-08 | 江苏星云网格信息技术有限公司 | 一种基于双重限制注意力神经网络模型的人脸识别方法 |
| CN109829396A (zh) * | 2019-01-16 | 2019-05-31 | 广州杰赛科技股份有限公司 | 人脸识别运动模糊处理方法、装置、设备及存储介质 |
| CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
| CN110610143A (zh) * | 2019-08-27 | 2019-12-24 | 汇纳科技股份有限公司 | 多任务联合训练的人群计数网络方法、系统、介质及终端 |
| CN110826389A (zh) * | 2019-09-02 | 2020-02-21 | 东华大学 | 基于注意力3d频率卷积神经网络的步态识别方法 |
| CN111061868A (zh) * | 2019-11-05 | 2020-04-24 | 百度在线网络技术（北京）有限公司 | 读法预测模型获取及读法预测方法、装置及存储介质 |
| CN111027387A (zh) * | 2019-11-11 | 2020-04-17 | 北京百度网讯科技有限公司 | 人数评估及评估模型获取方法、装置及存储介质 |
| CN110909701A (zh) * | 2019-11-28 | 2020-03-24 | 北京百度网讯科技有限公司 | 行人特征的提取方法、装置、设备及介质 |
| CN111161535A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于注意力机制的图神经网络交通流量预测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MIN LIU: "Recurrent 3D attentional networks for end-to-end active object recognition", 《COMPUTATIONAL VISUAL MEDIA》, vol. 5, no. 1, pages 91 - 103 * |
| 李钰钰: "基于双层注意力机制的评分预测推荐模型", 《中国科技论文》, vol. 13, no. 18, pages 2076 - 2081 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132430A (zh) * | 2023-10-26 | 2023-11-28 | 中电科大数据研究院有限公司 | 一种基于大数据和物联网的校园管理方法及装置 |
| CN117132430B (zh) * | 2023-10-26 | 2024-03-05 | 中电科大数据研究院有限公司 | 一种基于大数据和物联网的校园管理方法及装置 |
| CN117476114A (zh) * | 2023-12-25 | 2024-01-30 | 墨卓生物科技(浙江)有限公司 | 一种基于生物多组学数据的模型构建方法与系统 |
| CN117476114B (zh) * | 2023-12-25 | 2024-04-05 | 墨卓生物科技(浙江)有限公司 | 一种基于生物多组学数据的模型构建方法与系统 |
| CN117831254A (zh) * | 2024-03-06 | 2024-04-05 | 山东捷瑞信息技术产业研究院有限公司 | 基于数字孪生的踩踏事故预警方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111710008B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507914B (zh) | 人脸修复模型的训练方法、修复方法、装置、设备和介质 | |
| CN111710008B (zh) | 人流密度的生成方法、装置、电子设备以及存储介质 | |
| WO2022041830A1 (zh) | 行人重识别方法和装置 | |
| CN111783620A (zh) | 表情识别方法、装置、设备及存储介质 | |
| CN111860362A (zh) | 生成人脸图像校正模型及校正人脸图像的方法和装置 | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN111833340A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN112149636A (zh) | 用于检测目标物体的方法、装置、电子设备及存储介质 | |
| CN111783605A (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| JP2021119535A (ja) | 画像処理方法、装置、電子機器及び記憶媒体 | |
| KR102551835B1 (ko) | 능동적 인터랙션 방법, 장치, 전자 기기 및 판독 가능 기록 매체 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN112561879B (zh) | 模糊度评价模型训练方法、图像模糊度评价方法及装置 | |
| CN112241716B (zh) | 训练样本的生成方法和装置 | |
| CN111523467B (zh) | 人脸跟踪方法和装置 | |
| KR20220153667A (ko) | 특징 추출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN111798356B (zh) | 一种基于大数据的轨道交通客流异常模式识别方法 | |
| US20230115765A1 (en) | Method and apparatus of transferring image, and method and apparatus of training image transfer model | |
| CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
| CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN113313048B (zh) | 脸部表情识别方法和装置 | |
| WO2020194378A1 (ja) | 画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体 | |
| CN111027387B (zh) | 人数评估及评估模型获取方法、装置及存储介质 | |
| CN112560679A (zh) | 表情识别方法、装置、设备及计算机存储介质 | |
| CN111932530A (zh) | 三维对象检测方法、装置、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |