CN113298811A - 智能教室人数的自动计数方法、装置、设备及存储介质 - Google Patents

智能教室人数的自动计数方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113298811A
CN113298811A CN202110844153.4A CN202110844153A CN113298811A CN 113298811 A CN113298811 A CN 113298811A CN 202110844153 A CN202110844153 A CN 202110844153A CN 113298811 A CN113298811 A CN 113298811A
Authority
CN
China
Prior art keywords
people
information
image segmentation
image
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110844153.4A
Other languages
English (en)
Other versions
CN113298811B (zh
Inventor
熊海飞
黄雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202110844153.4A priority Critical patent/CN113298811B/zh
Publication of CN113298811A publication Critical patent/CN113298811A/zh
Application granted granted Critical
Publication of CN113298811B publication Critical patent/CN113298811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种智能教室人数的自动计数方法、装置、设备及存储介质，所述方法包括：采集智能教室的人数图像信息，提取人数图像信息的特征图像信息；根据预设图像分割算法对特征图像信息对应图像进行分割，得到对应的人数图像分割块；根据预设单次检测算法模型对人数图像分割块进行检测；在检测后的人数图像分割块满足目标终止分割条件时，根据检测后的人数图像分割块得到智能教室的人数数量；本发明通过预设图像分割算法和预设单次检测算法模型对智能教室的人数图像信息进行分割和检测，得到智能教室的人数数量，相较于现有技术通过光电式传感器的光线中断次数统计人数，能够有效提高统计人数的效率和准确率。

Description

智能教室人数的自动计数方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及智能教室人数的自动计数方法、装置、设备及存储介质。
背景技术
随着智能化技术的不断发展和完善，使得人们对智能化的需求逐渐加大，因此，智能化技术被运用在不同的领域，例如教育领域，而在教育领域最常见的就是智能教室，而智能教室的应用设备和位置都是有明确规定的，如果人数太多会造成教学质量和教学计划的滞后，因此，需要对智能教室内的人数进行精确的统计，而目前常用的技术方案是在只能教室门口安装光电式传感器，主要包括由红外线监测装置、热量监测装置、光电监测器件，气胎压力监测报警反馈回路等组成，红外线监测单元通常装配在车门，它通过对红外线光束流的中断次数的计算智能教室内的人数，但是在智能教室会出现进入或者出去的情况，而上述方式不能有效的判断进入或者出去，造成人数统计不准确。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种智能教室人数的自动计数方法、装置、设备及存储介质，旨在解决现有技术无法有效提高统计人数的效率和准确率的技术问题。
为实现上述目的，本发明提供了一种智能教室人数的自动计数方法，所述智能教室人数的自动计数方法包括以下步骤:
采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；
获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；
在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
可选地，所述获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块，包括：
提取所述特征图像信息中的人头尺度信息和身体尺度信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块。
可选地，所述获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块，包括：
分别对所述人头尺度信息和身体尺度信息进行边缘化处理，得到人头边缘信息和身体边缘信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述人头边缘信息和身体边缘信息进行匹配；
根据匹配成功的人头边缘信息和身体边缘信息生成对应的人数图像分割块。
可选地，所述获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测，包括：
获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类；
提取所述预设单次检测算法模型的卷积核信息；
根据所述卷积核信息对不同类别的人数图像分割块进行检测。
可选地，所述根据所述卷积核信息对不同类别的人数图像分割块进行检测，包括：
提取不同类别的人数图像分割块的人脸特征信息和胳膊特征信息；
根据所述人脸特征信息确定对应的人脸权重；
根据所述胳膊特征信息确定对应的胳膊权重；
获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值；
根据所述卷积核信息、人脸特征损失值以及胳膊特征损失值对不同类别的人数图像分割块进行检测。
可选地，所述获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值，包括：
获取人脸边框图像信息和胳膊边框图像信息；
根据所述人脸边框图像信息得到第一定位误差值和第一置信度损失；
根据所述胳膊边框图像信息得到第二定位误差值和第二置信度损失；
获取第一损失函数，根据所述第一损失函数、第一定位误差值和第一置信度损失得到人脸权重；
根据所述第一损失函数、第二定位误差值和第二置信度损失得到胳膊权重；
获取第二损失函数，根据所述第二损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值。
可选地，所述获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测之后，还包括：
在检测后的人数图像分割块不满足目标终止分割条件时，根据预设图像分割算法对所述检测后的人数图像分割块进行分割；
通过预设单次检测算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足目标终止分割条件。
此外，为实现上述目的，本发明还提出一种智能教室人数的自动计数装置，所述智能教室人数的自动计数装置包括：
采集模块，用于采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；
分割模块，用于获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；
检测模块，用于获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；
判断模块，用于在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
此外，为实现上述目的，本发明还提出一种智能教室人数的自动计数设备，所述智能教室人数的自动计数设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能教室人数的自动计数程序，所述智能教室人数的自动计数程序配置为实现如上文所述的智能教室人数的自动计数方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有智能教室人数的自动计数程序，所述智能教室人数的自动计数程序被处理器执行时实现如上文所述的智能教室人数的自动计数方法。
本发明提出的智能教室人数的自动计数方法，通过采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量；本发明通过预设图像分割算法和预设单次检测算法模型对智能教室的人数图像信息进行分割和检测，得到智能教室的人数数量，相较于现有技术通过光电式传感器的光线中断次数统计人数，能够有效提高统计人数的效率和准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的智能教室人数的自动计数设备的结构示意图；
图2为本发明智能教室人数的自动计数方法第一实施例的流程示意图；
图3为本发明智能教室人数的自动计数方法第二实施例的流程示意图；
图4为本发明智能教室人数的自动计数方法一实施例的整体流程示意图；
图5为本发明智能教室人数的自动计数方法第三实施例的流程示意图；
图6为本发明智能教室人数的自动计数装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的智能教室人数的自动计数设备结构示意图。
如图1所示，该智能教室人数的自动计数设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对智能教室人数的自动计数设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及智能教室人数的自动计数程序。
在图1所示的智能教室人数的自动计数设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明智能教室人数的自动计数设备中的处理器1001、存储器1005可以设置在智能教室人数的自动计数设备中，所述智能教室人数的自动计数设备通过处理器1001调用存储器1005中存储的智能教室人数的自动计数程序，并执行本发明实施例提供的智能教室人数的自动计数方法。
基于上述硬件结构，提出本发明智能教室人数的自动计数方法实施例。
参照图2，图2为本发明智能教室人数的自动计数方法第一实施例的流程示意图。
在第一实施例中，所述智能教室人数的自动计数方法包括以下步骤：
步骤S10，采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息。
需要说明的是，本实施例的执行主体为智能教室人数的自动计数设备，还可为其他可实现相同或相似功能的设备，例如自动计数服务终端等，本实施例对此不作限制，在本实施例中，以自动计数服务终端为例进行说明。
应当理解的是，人数图像信息指的是在智能教室内的人员图像信息，采集设备可以为摄像头，也可以为其他图像采集设备，本实施例对此不作限制，以摄像头为例进行说明，摄像头设置在智能教室的正中央，以便于采集到智能教室内所有人数图像信息，该人数图像信息包括真实人员图像信息和虚拟人员图像信息，由于智能教室配备有智能多媒体设备，智能多媒体设备所播放的内容也会影响到人数图像信息的统计，因此，在采集到人数图像信息后，需要将智能多媒体设备播放影响计数的虚拟人员图像信息进行剔除，特征图像信息指的是智能教室内的真实人员图像信息。
在具体实施中，自动计数服务终端采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息。
步骤S20，获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块。
应当理解的是，预设图像分割算法指的是对图像进行阈值分割的算法，图像分割算法的分割方式一般分为三类，分别为基于边缘分割、基于区域分割以及基于纹理分割，本实施例可为上述分割方式中的一种，并以边缘分割为例进行说明，人数图像分割块指的是通过预设分割算法对图像进行分割后的图像分割块。
在具体实施中，自动计数服务终端获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块。
步骤S30，获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测。
应当理解的是，预设单次检测算法模型指的是基于目标检测网络模型改进得到的算法模型，目标检测网络模型可以为是高精度目标检测网络模型（Regions with CNNfeature，R-CNN），也可以为其他检测网络模型，本实施对此不作限制，以R-CNN模型为例进行说明，而预设单次检测算法模型具有特征提取、分类以及检测等作用，预设单次检测算法模型为单次多目标检测算法模型（Single Shot Multi Box Detector，SSD），通过SSD算法模型对人数图像分割块依次进行检测，为了有效提高检测人数图像分割块的效率，在对人数图像分割块进行检测时，采用高级图像处理器进行加速。
在具体实施中，自动计数服务终端获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测。
步骤S40，在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
应当理解的是，目标终止分割条件指的是将人数图像进行准确分割且从分割结果中可以准确统计智能教室人数数量，在检测后的人数图像分割块满足目标终止分割条件时，则不会再进行下次分割，对于智能教室人数的图像存在重叠的情况时，通过未重叠部分的图像块判定是否属于同一人，进而得到对应的人数数量。
在具体实施中，自动计数服务终端在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
进一步地，为了有效提高统计人数的准确率，步骤S40之后，还包括：在检测后的人数图像分割块不满足目标终止分割条件时，根据预设图像分割算法对所述检测后的人数图像分割块进行分割；通过预设单次检测算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足目标终止分割条件。
可以理解的是，在检测后的人数图像分割块不满足目标终止分割条件时，即不能通过检测后的人数图像分割块准确判定在智能教室的人数数量，表示对图像分割的单元较大，此时需要通过预设图像分割算法对检测后的人数图像分割块进行再次分割，同时还需要对分割后的人数图像分割块进行再次检测，直至检测后的人数图像块满足目标终止分割条件。
本实施例通过采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量；通过预设图像分割算法和预设单次检测算法模型对智能教室的人数图像信息进行分割和检测，得到智能教室的人数数量，相较于现有技术通过光电式传感器的光线中断次数统计人数，能够有效提高统计人数的效率和准确率。
在一实施例中，如图3所述，基于第一实施例提出本发明智能教室人数的自动计数方法第二实施例，所述步骤S20，包括：
步骤S201，提取所述特征图像信息中的人头尺度信息和身体尺度信息。
应当理解的是，人头尺度信息指的是特征图像信息中关于人头尺度的信息，即在智能教室内的人员的头部特征信息，头部特征信息在整个图像中是以框图的格式标记的，而智能教室内的人员的形式分为多种，例如，智能教室的站台上的人员是采用站立式，座位上的人员采用坐立式，身体尺度信息指的是特征图像信息中关于身体尺度的信息，即在智能教室内的人员的身体特征信息。
在具体实施中，自动计数服务终端提取所述特征图像信息中的人头尺度信息和身体尺度信息。
步骤S202，获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块。
可以理解的是，预设图像分割算法指的是对图像进行阈值分割的算法，在得到人头尺度信息和身体尺度信息后，通过预设图像分割算法分别对人头尺度信息和身体尺度信息进行分割，根据分割后的人头尺度信息和身体尺度信息得到对应的人数图像分割块。
进一步地，为了有效提高得到人数图像分割块的准确率，步骤S202，包括：分别对所述人头尺度信息和身体尺度信息进行边缘化处理，得到人头边缘信息和身体边缘信息；获取预设图像分割算法，根据所述预设图像分割算法对所述人头边缘信息和身体边缘信息进行匹配；根据匹配成功的人头边缘信息和身体边缘信息生成对应的人数图像分割块。
应当理解的是，边缘化处理指的是对图像轮廓的边缘处理，若想从整个图像中剥离出自己需要的特征图像，就需要对特征图像进行边缘化处理，以加大特征图像与整个图像之间的区别，在得到人头边缘信息和身体边缘信息时，通过预设图像分割算法分别对人头边缘信息与身体边缘信息进行匹配，具体是将人头边缘信息与身体边缘信息最近的区域进行匹配，在未匹配成功时，将未匹配成功的人头边缘信息和身体边缘信息单独作为人数图像分割块，在匹配成功时，将匹配成功的人头边缘信息和身体边缘信息共同组成一个人数图像分割块。
在具体实施中，自动计数服务终端获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块。
可以理解的是，参考图4，图4为本发明智能教室人数的自动计数方法一实施例的整体流程示意图，具体流程为：通过摄像头在采集智能教室内的人数图像信息，提取人数图像信息中的特征图像信息，通过预设图像分割算法对特征图像信息进行分割，得到对应的人数图像分割块，通过SSD算法模型对人数图像分割块进行检测，得到对应的检测结果集合，在检测结果集合满足终止分割条件时，根据检测结果集合得到智能教室的人数数量，在不满足终止分割条件时，通过预设图像分割算法继续对检测结果集合中的人数图像分割块进行分割，通过SSD算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足终止分割条件。
本实施例通过提取所述特征图像信息中的人头尺度信息和身体尺度信息；获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块；通过预设图像分割算法对特征图像信息中的人头尺度信息和身体尺度信息分别进行分割，得到对应的人数图像分割块，从而有效提高得到人数图像分割块的准确率。
在一实施例中，如图5所述，基于第一实施例提出本发明智能教室人数的自动计数方法第三实施例，所述步骤S30，包括：
步骤S301，获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类。
可以理解的是，预设单次检测算法模型指的是预设单次检测算法模型指的是基于目标检测网络模型改进得到的算法模型，预设单次检测算法模型为SSD算法模型，对于坐在智能教室内的人员来说，只能看到身体尺度信息的部分信息，而胳膊对于整个人来说，活动范围是最明显的，人脸对于人头信息来说是最具代表性的，因此，将人数图像分割块分为两类，一类是人脸尺度信息，另一类是胳膊尺度信息。
在具体实施中，自动计数服务终端获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类。
步骤S302，提取所述预设单次检测算法模型的卷积核信息。
可以理解的是，卷积核信息指的是模型中卷积层的内核信息，卷积层数越多，对图像信息的检测更准确，具体操作为：卷积核与人数图像分割块对应位置相乘再求和，然后将所求和放在人数图像的中心位置。
在具体实施中，自动计数服务终端提取所述预设单次检测算法模型的卷积核信息。
步骤S303，根据所述卷积核信息对不同类别的人数图像分割块进行检测。
应当理解的是，在得到卷积核信息后，通过卷积核信息对应的卷积层对人数图像分割块进行检测，由于此时的人数图像分割块的类别有人脸尺度信息和胳膊尺度信息，而人脸尺度信息的尺寸与胳膊尺度信息的尺寸不同，因此，需要根据不同尺寸的卷积层对人脸尺度信息和胳膊尺度信息分别进行检测。
进一步地，为了有效提高对人数图像分割块的检测效率，步骤S303，包括：提取不同类别的人数图像分割块的人脸特征信息和胳膊特征信息；根据所述人脸特征信息确定对应的人脸权重；根据所述胳膊特征信息确定对应的胳膊权重；获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值；根据所述卷积核信息、人脸特征损失值以及胳膊特征损失值对不同类别的人数图像分割块进行检测。
可以理解的是，人脸特征信息指的是可以唯一识别人脸的特征信息，包括人脸轮廓信息和其他五官特征信息，胳膊特征信息指的是能够唯一识别胳膊的特征信息，包括胳膊的弧度信息、长度信息等等，权重值是根据人脸特征信息和胳膊特征信息进行设定的，例如，人脸权重信息为70%，胳膊特征信息为30%，人脸特征损失值是根据第一损失函数对人脸权重信息进行计算得到的，胳膊特征损失值是根据第一损失函数对胳膊权重信息进行计算得到的，此时，卷积核信息基于人脸特征损失值以及胳膊特征损失值对不同类别的人数图像分割块进行检测。
需要说明的是，获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值，包括：获取人脸边框图像信息和胳膊边框图像信息；根据所述人脸边框图像信息得到第一定位误差值和第一置信度损失；根据所述胳膊边框图像信息得到第二定位误差值和第二置信度损失；获取第一损失函数，根据所述第一损失函数、第一定位误差值和第一置信度损失得到人脸权重；根据所述第一损失函数、第二定位误差值和第二置信度损失得到胳膊权重；获取第二损失函数，根据所述第二损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值。
应当理解的是，第一损失函数指的是对权重损失值进行计算的函数，人脸边框图像信息指的是人脸在整个人数图像上使用边框标记的图像信息，同理，胳膊边框图像信息指的是胳膊在整个人数图像上使用边框标记的图像信息，人脸边框图像信息会与实际人脸边框图像信息进行匹配，胳膊边框图像信息也会与实际胳膊边框图像信息进行匹配，定位误差值指的是边框图像信息相对于实际边框图像信息的位置误差，置信度损失指的是边框图像信息相对于实际边框图像信息的置信度的损失，具体为：
Figure 113700DEST_PATH_IMAGE001
；
其中，
Figure 936163DEST_PATH_IMAGE002
表示人脸特征损失值，N表示匹配数量，c表示预测值，x表示的是匹配结果，l表示人脸边框图像信息，g表示实际人脸边框图像信息，conf表示置信度损失，loc表示定位误差值。
Figure 265513DEST_PATH_IMAGE003
；
其中，
Figure 464413DEST_PATH_IMAGE004
表示胳膊特征损失值，N表示匹配数量，c表示预测值，x表示的是匹配结果，l表示胳膊边框图像信息，g表示实际胳膊边框图像信息，conf表示置信度损失，loc表示定位误差值。
在得到人脸特征损失值和胳膊特征损失值后，根据人脸特征损失值和胳膊特征损失值计算对应的人数图像损失值，具体为：
Figure 133292DEST_PATH_IMAGE005
；
其中，Loss表示人数图像损失值，
Figure 126656DEST_PATH_IMAGE006
表示人脸特征损失值，
Figure 694034DEST_PATH_IMAGE007
表示胳膊特征损失值
在具体实施中，自动计数服务终端根据所述卷积核信息对不同类别的人数图像分割块进行检测。
本实施例通过获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类；提取所述预设单次检测算法模型的卷积核信息；根据所述卷积核信息对不同类别的人数图像分割块进行检测；通过预设单次检测算法模型对人数图像分割块进行分类，基于卷积核信息对不同类别的人数图像分割块进行检测，从而能够有效提高对人数图像分割块的检测效率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有智能教室人数的自动计数程序，所述智能教室人数的自动计数程序被处理器执行时实现如上文所述的智能教室人数的自动计数方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图6，本发明实施例还提出一种智能教室人数的自动计数装置，所述智能教室人数的自动计数装置包括：
采集模块10，用于采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息。
应当理解的是，人数图像信息指的是在智能教室内的人员图像信息，采集设备可以为摄像头，也可以为其他图像采集设备，本实施例对此不作限制，以摄像头为例进行说明，摄像头设置在智能教室的正中央，以便于采集到智能教室内所有人数图像信息，该人数图像信息包括真实人员图像信息和虚拟人员图像信息，由于智能教室配备有智能多媒体设备，智能多媒体设备所播放的内容也会影响到人数图像信息的统计，因此，在采集到人数图像信息后，需要将智能多媒体设备播放影响计数的虚拟人员图像信息进行剔除，特征图像信息指的是智能教室内的真实人员图像信息。
在具体实施中，自动计数服务终端采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息。
分割模块20，用于获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块。
应当理解的是，预设图像分割算法指的是对图像进行阈值分割的算法，图像分割算法的分割方式一般分为三类，分别为基于边缘分割、基于区域分割以及基于纹理分割，本实施例可为上述分割方式中的一种，并以边缘分割为例进行说明，人数图像分割块指的是通过预设分割算法对图像进行分割后的图像分割块。
在具体实施中，自动计数服务终端获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块。
检测模块30，用于获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测。
应当理解的是，预设单次检测算法模型指的是基于目标检测网络模型改进得到的算法模型，目标检测网络模型可以为是高精度目标检测网络模型（Regions with CNNfeature，R-CNN），也可以为其他检测网络模型，本实施对此不作限制，以R-CNN模型为例进行说明，而预设单次检测算法模型具有特征提取、分类以及检测等作用，预设单次检测算法模型为单次多目标检测算法模型（Single Shot Multi Box Detector，SSD），通过SSD算法模型对人数图像分割块依次进行检测，为了有效提高检测人数图像分割块的效率，在对人数图像分割块进行检测时，采用高级图像处理器进行加速。
在具体实施中，自动计数服务终端获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测。
判断模块40，用于在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
应当理解的是，目标终止分割条件指的是将人数图像进行准确分割且从分割结果中可以准确统计智能教室人数数量，在检测后的人数图像分割块满足目标终止分割条件时，则不会再进行下次分割，对于智能教室人数的图像存在重叠的情况时，通过未重叠部分的图像块判定是否属于同一人，进而得到对应的人数数量。
在具体实施中，自动计数服务终端在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
进一步地，为了有效提高统计人数的准确率，步骤S40之后，还包括：在检测后的人数图像分割块不满足目标终止分割条件时，根据预设图像分割算法对所述检测后的人数图像分割块进行分割；通过预设单次检测算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足目标终止分割条件。
可以理解的是，在检测后的人数图像分割块不满足目标终止分割条件时，即不能通过检测后的人数图像分割块准确判定在智能教室的人数数量，表示对图像分割的单元较大，此时需要通过预设图像分割算法对检测后的人数图像分割块进行再次分割，同时还需要对分割后的人数图像分割块进行再次检测，直至检测后的人数图像块满足目标终止分割条件。
本实施例通过采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量；通过预设图像分割算法和预设单次检测算法模型对智能教室的人数图像信息进行分割和检测，得到智能教室的人数数量，相较于现有技术通过光电式传感器的光线中断次数统计人数，能够有效提高统计人数的效率和准确率。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的智能教室人数的自动计数方法，此处不再赘述。
在一实施例中，所述分割模块20，还用于提取所述特征图像信息中的人头尺度信息和身体尺度信息；获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块。
在一实施例中，所述分割模块20，还用于分别对所述人头尺度信息和身体尺度信息进行边缘化处理，得到人头边缘信息和身体边缘信息；获取预设图像分割算法，根据所述预设图像分割算法对所述人头边缘信息和身体边缘信息进行匹配；根据匹配成功的人头边缘信息和身体边缘信息生成对应的人数图像分割块。
在一实施例中，所述检测模块30，还用于获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类；提取所述预设单次检测算法模型的卷积核信息；根据所述卷积核信息对不同类别的人数图像分割块进行检测。
在一实施例中，所述检测模块30，还用于提取不同类别的人数图像分割块的人脸特征信息和胳膊特征信息；根据所述人脸特征信息确定对应的人脸权重；根据所述胳膊特征信息确定对应的胳膊权重；获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值；根据所述卷积核信息、人脸特征损失值以及胳膊特征损失值对不同类别的人数图像分割块进行检测。
在一实施例中，所述检测模块30，还用于获取人脸边框图像信息和胳膊边框图像信息；根据所述人脸边框图像信息得到第一定位误差值和第一置信度损失；根据所述胳膊边框图像信息得到第二定位误差值和第二置信度损失；获取第一损失函数，根据所述第一损失函数、第一定位误差值和第一置信度损失得到人脸权重；根据所述第一损失函数、第二定位误差值和第二置信度损失得到胳膊权重；获取第二损失函数，根据所述第二损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值。
在一实施例中，所述检测模块40，还用于在检测后的人数图像分割块不满足目标终止分割条件时，根据预设图像分割算法对所述检测后的人数图像分割块进行分割；通过预设单次检测算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足目标终止分割条件。
本发明所述智能教室人数的自动计数装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不在赘余。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智能教室人数的自动计数方法，其特征在于，所述智能教室人数的自动计数方法包括以下步骤：
采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；
获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；
在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
2.如权利要求1所述的智能教室人数的自动计数方法，其特征在于，所述获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块，包括：
提取所述特征图像信息中的人头尺度信息和身体尺度信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块。
3.如权利要求2所述的智能教室人数的自动计数方法，其特征在于，所述获取预设图像分割算法，根据所述预设图像分割算法对所述人头尺度信息和身体尺度信息进行分割，得到对应的人数图像分割块，包括：
分别对所述人头尺度信息和身体尺度信息进行边缘化处理，得到人头边缘信息和身体边缘信息；
获取预设图像分割算法，根据所述预设图像分割算法对所述人头边缘信息和身体边缘信息进行匹配；
根据匹配成功的人头边缘信息和身体边缘信息生成对应的人数图像分割块。
4.如权利要求1所述的智能教室人数的自动计数方法，其特征在于，所述获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测，包括：
获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行分类；
提取所述预设单次检测算法模型的卷积核信息；
根据所述卷积核信息对不同类别的人数图像分割块进行检测。
5.如权利要求4所述的智能教室人数的自动计数方法，其特征在于，所述根据所述卷积核信息对不同类别的人数图像分割块进行检测，包括：
提取不同类别的人数图像分割块的人脸特征信息和胳膊特征信息；
根据所述人脸特征信息确定对应的人脸权重；
根据所述胳膊特征信息确定对应的胳膊权重；
获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值；
根据所述卷积核信息、人脸特征损失值以及胳膊特征损失值对不同类别的人数图像分割块进行检测。
6.如权利要求5所述的智能教室人数的自动计数方法，其特征在于，所述获取第一损失函数，根据所述第一损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值，包括：
获取人脸边框图像信息和胳膊边框图像信息；
根据所述人脸边框图像信息得到第一定位误差值和第一置信度损失；
根据所述胳膊边框图像信息得到第二定位误差值和第二置信度损失；
获取第一损失函数，根据所述第一损失函数、第一定位误差值和第一置信度损失得到人脸权重；
根据所述第一损失函数、第二定位误差值和第二置信度损失得到胳膊权重；
获取第二损失函数，根据所述第二损失函数分别对所述人脸权重和胳膊权重进行计算，得到人脸特征损失值和胳膊特征损失值。
7.如权利要求1至6中任一项所述的智能教室人数的自动计数方法，其特征在于，所述获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测之后，还包括：
在检测后的人数图像分割块不满足目标终止分割条件时，根据预设图像分割算法对所述检测后的人数图像分割块进行分割；
通过预设单次检测算法模型对分割后的人数图像分割块进行检测，直至在检测结果中人数图像分割块满足目标终止分割条件。
8.一种智能教室人数的自动计数装置，其特征在于，所述智能教室人数的自动计数装置包括：
采集模块，用于采集智能教室的人数图像信息，提取所述人数图像信息的特征图像信息；
分割模块，用于获取预设图像分割算法，根据所述预设图像分割算法对所述特征图像信息对应图像进行分割，得到对应的人数图像分割块；
检测模块，用于获取预设单次检测算法模型，根据所述预设单次检测算法模型对所述人数图像分割块进行检测；
判断模块，用于在检测后的人数图像分割块满足目标终止分割条件时，根据所述检测后的人数图像分割块得到所述智能教室的人数数量。
9.一种智能教室人数的自动计数设备，其特征在于，所述智能教室人数的自动计数设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能教室人数的自动计数程序，所述智能教室人数的自动计数程序配置有实现如权利要求1至7中任一项所述的智能教室人数的自动计数方法。
10.一种存储介质，其特征在于，所述存储介质上存储有智能教室人数的自动计数程序，所述智能教室人数的自动计数程序被处理器执行时实现如权利要求1至7中任一项所述的智能教室人数的自动计数方法。
CN202110844153.4A 2021-07-26 2021-07-26 智能教室人数的自动计数方法、装置、设备及存储介质 Active CN113298811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110844153.4A CN113298811B (zh) 2021-07-26 2021-07-26 智能教室人数的自动计数方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110844153.4A CN113298811B (zh) 2021-07-26 2021-07-26 智能教室人数的自动计数方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113298811A true CN113298811A (zh) 2021-08-24
CN113298811B CN113298811B (zh) 2021-11-09

Family

ID=77330966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110844153.4A Active CN113298811B (zh) 2021-07-26 2021-07-26 智能教室人数的自动计数方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113298811B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079419A (ja) * 2008-09-24 2010-04-08 Mitsubishi Electric Corp 人数計数装置及び人数計数方法
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
CN106960195A (zh) * 2017-03-27 2017-07-18 深圳市丰巨泰科电子有限公司 一种基于深度学习的人群计数方法及装置
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法
CN110084173A (zh) * 2019-04-23 2019-08-02 精伦电子股份有限公司 人头检测方法及装置
CN111178208A (zh) * 2019-12-20 2020-05-19 华瑞新智科技（北京）有限公司 基于深度学习的行人检测方法、装置及介质
CN111860390A (zh) * 2020-07-27 2020-10-30 西安建筑科技大学 一种电梯候梯人数检测统计方法、装置、设备及介质
CN112001274A (zh) * 2020-08-06 2020-11-27 腾讯科技（深圳）有限公司 人群密度确定方法、装置、存储介质和处理器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079419A (ja) * 2008-09-24 2010-04-08 Mitsubishi Electric Corp 人数計数装置及び人数計数方法
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
CN106960195A (zh) * 2017-03-27 2017-07-18 深圳市丰巨泰科电子有限公司 一种基于深度学习的人群计数方法及装置
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法
CN110084173A (zh) * 2019-04-23 2019-08-02 精伦电子股份有限公司 人头检测方法及装置
CN111178208A (zh) * 2019-12-20 2020-05-19 华瑞新智科技（北京）有限公司 基于深度学习的行人检测方法、装置及介质
CN111860390A (zh) * 2020-07-27 2020-10-30 西安建筑科技大学 一种电梯候梯人数检测统计方法、装置、设备及介质
CN112001274A (zh) * 2020-08-06 2020-11-27 腾讯科技（深圳）有限公司 人群密度确定方法、装置、存储介质和处理器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENQIANG GAO 等: "People counting based on head detection combining Adaboost and CNN in crowded surveillance environment", 《NEUROCOMPUTING》 *
田枫: "基于GMM的视频图像人数统计算法", 《西北大学学报( 自然科学版)》 *

Also Published As

Publication number Publication date
CN113298811B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
US8639042B2 (en) Hierarchical filtered motion field for action recognition
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
US20130243343A1 (en) Method and device for people group detection
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN111310645A (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
US20130251206A1 (en) Object detection method and object detector using the method
CN105631418A (zh) 一种人数统计的方法和装置
JP2015082245A (ja) 画像処理装置、画像処理方法及びプログラム
CN110674680B (zh) 活体识别的方法、装置、存储介质
TW200529093A (en) Face image detection method, face image detection system, and face image detection program
CN111160169B (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111291749B (zh) 手势识别方法、装置及机器人
KR20230060605A (ko) 폐기물 정보 분석 시스템 및 방법
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN113298811B (zh) 智能教室人数的自动计数方法、装置、设备及存储介质
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant