CN111652168A - 基于人工智能的群体检测方法、装置、设备及存储介质 - Google Patents
基于人工智能的群体检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111652168A CN111652168A CN202010516220.5A CN202010516220A CN111652168A CN 111652168 A CN111652168 A CN 111652168A CN 202010516220 A CN202010516220 A CN 202010516220A CN 111652168 A CN111652168 A CN 111652168A
- Authority
- CN
- China
- Prior art keywords
- target
- machine learning
- learning model
- distribution density
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的群体检测方法、装置、设备及存储介质,所述方法包括获取目标图像;将目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;将目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。本发明适用于群体密度变化的场景。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及基于人工智能的群体检测方法、装置、设备及存储介质。
背景技术
基于图像识别的群体检测技术是人工智能在视觉领域的一个重要研究方向,在很多场景中都可以发挥作用。以人群检测为例,可以基于人工智能检测得到图像中的总人数,现有技术中提供了基于检测的方法和基于回归的方法来进行人群检测,基于检测的方法和基于回归的方法各有利弊,其适用于不同的人群场景。
基于检测的方法可以通过检测人体某一部分(通常是人头)对人体进行识别,进而实现人群检测。这类方法在人头尺度较大的情况下可以取得较好的效果,适用于稀疏人群场景下的人群检测,但是在人群拥挤,人头重叠严重的场景中识别准确率降低,导致产生较大的统计误差。
基于回归的方法可以通过回归人群分布热力图实现人群统计,这类方法适用于密集人群场景下的人群检测,在人头尺度小并且密集分布时可以较为准确地估计出总人数,但是在人头尺度较大的情况下会导致统计结果偏低。
可见,现有技术中不同的目标群体检测技术适用于不同的群体检测场景,但是在实际应用中群体检测场景可以经常随时间发生变化,单一的群体检测技术难以满足在变化的群体检测场景中进行群体检测的需求。
发明内容
为了解决现有技术中群体检测技术对于群体密度的要求较高,导致难以满足变化性群体检测场景下对群体检测的需求的技术问题,本发明实施例提供基于人工智能的群体检测方法、装置、设备及存储介质。
一方面,本发明提供了一种基于人工智能的群体检测方法,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
另一方面,本发明提供一种基于人工智能的群体检测方法,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
另一方面,本发明提供一种基于人工智能的群体检测装置,所述装置包括:
目标图像获取模块,用于获取目标图像;
第一目标集合获取模块,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
目标分布密度图获取模块,用于将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一修正模块,用于基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
第一统计模块,用于根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
第二统计模块,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
另一方面,本发明提供一种基于人工智能的群体检测装置,所述装置包括:
目标图像获取模块,用于获取目标图像;
第一目标集合获取模块,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
第二修正模块,用于基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
目标分布密度图获取模块,用于将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一统计模块,用于根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
第二统计模块,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
另一方面,本发明提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种基于人工智能的群体检测方法。
另一方面,本发明提供了一种基于人工智能的群体检测设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行上述的一种基于人工智能的群体检测方法。
本发明提供了一种基于人工智能的群体检测方法、装置、设备及存储介质。本发明结合第一机器学习模型对大尺度目标检测准确的优势和第二机器学习模型对小尺度目标检测准确的优势,通过优势互补使得其在大尺度和/或小尺度场景中都可以准确进行群体检测,对场景的适应能力显著增强,尤其适用于群体密度变化的场景之中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明提供的一种基于人工智能的群体检测方法的实施环境示意图;
图2是本发明提供的一种基于人工智能的群体检测方法流程图;
图3是本发明提供的第一机器学习模型的输出结果示意图;
图4是本发明提供的第一目标检测神经网络的结构示意图;
图5是本发明提供的第二目标检测神经网络的结构示意图;
图6是本发明提供的通过第一目标集合去除所述目标分布密度图中的大尺度目标流程图;
图7是本发明提供的第一目标与其对应的检测掩码的关系示意图;
图8是本发明提供的一种基于人工智能的群体检测方法的示意图;
图9是本发明提供的一种基于人工智能的群体检测方法的流程图;
图10是本发明提供的基于所述第一目标集合和所述目标图像得到修正图像的流程图;
图11是本发明提供的一种基于人工智能的群体检测装置框图;
图12是本发明提供的另一种基于人工智能的群体检测装置框图;
图13是本发明提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明实施例,并不用于限定本发明实施例。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。为了便于理解本发明实施例所述的技术方案及其产生的技术效果,本发明实施例首先对于相关专业名词进行解释:
人工智能:是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
IoU:Intersection over Union(IOU)是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IoU来进行测量。IoU给出了在图像中存在的对象的预测区域和实况区域之间的相似性。
VGG16网络:由13个卷积层,3个全链接层构成的深度学习神经网络。
CSRNet网络:能够支持在高度拥挤的场景执行准确的计数估计以及输出高质量密度图的神经网络。
为了解决现有技术中群体检测技术对于群体密度的要求较高,导致难以满足变化性群体检测场景下对群体检测的需求的技术问题,本发明实施例提供一种基于人工智能的群体检测方法。
首先,本发明实施例公开了在一个可行的实施例中所述一种基于人工智能的群体检测方法的实施环境。
参见图1,该实施环境包括:至少一个客户端01和应用服务器03。
客户端01可以是用于拍摄图像的客户端,可以是摄像头或包括摄像头的其它实体设备,所述客户端01还可以包括运行于实体设备中的软体,例如运行可以进行图像处理,并且与应用服务器03进行交互的通信程序等。所述客户端01可以基于浏览器/服务器模式(Browser/Server,B/S)或客户端/服务器模式C/S(Client/Server,C/S)与所述应用服务器03通信连接。
所述应用服务器03可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。所述应用服务器03通过获取来自客户端01中的图像,基于所述图像进行群体检测并得到检测结果。
在公开可行的实施方式后,本发明实施例提供一种基于人工智能的群体检测方法,如图2所示,所述方法包括:
S101.获取目标图像。
具体地,所述目标图像可以来自所述客户端01。通过将所述客户端01布设于需要进行群体检测的场景之中,将客户端01拍摄到的图像传输至应用服务器03即可对所述场景进行群体检测。
S103.将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值。
具体地,所述第一机器学习模型可以单独用于稀疏群体密度场景中对于群体中的目标进行识别,当群体密度较低时,组成群体的各个目标的尺度均较大,可以基于所述第一机器学习模型将各个目标均识别出来。在本发明实施例中第一目标集合中的各个元素均是被所述第一机器学习模型识别出来的第一目标。由于第一机器学习模型适用于稀疏群体密度场景,其对于尺度较小目标的识别能力有限,对于小于其识别阈值的目标可能无法进行识别。
在一个优选的实施例中,所述第一机器学习模型以检测框的形式输出第一目标集合,如图3所示,其示出了第一机器学习模型的输出结果,被检测框框中的位置存在第一目标,每个检测框中有且仅有一个第一目标,检测框的数量即为第一目标集合中的第一目标的总数,检测框的中心位置即为位于所述检测框中的第一目标的中心位置。
所述第一机器学习模型可以通过训练第一目标检测神经网络而得到,本发明实施例并不限定具体的第一目标检测神经网络的结构,也不限定具体的训练方法。事实上,第一目标检测神经网络的建模比较灵活,可根据实际使用场景来选择,只需保证最后训练得到的第一机器学习模型对大尺度目标的检测精度高即可。
在一个优选的实施例中,所述第一目标检测神经网络的结构如图4所示,所述第一目标检测神经网络由多个卷积层(Convolutional),多个最大池化层(Maxpool)、平均池化层(Avgpool)和归一化层(Softmax)构成,图4中示出了各个层之间的层级关系。所述第一目标检测神经网络用于将目标图像分为S*S个格子,每个格子用于预测中心点落入所述格子中的检测框的坐标,所述检测框通过四参数(x,y,w,h)标识,(x,y)表征检测框中心点坐标,w表征检测框宽度,h表征检测框高度。
在第一目标检测神经网络的基础上,基于第一目标函数通过训练大量样本得到第一机器学习模型,所述第一目标函数由坐标误差损失部分,IoU误差损失部分和分类误差损失部分构成。
其中,坐标误差损失部分由公式来表征,其中1obj ij表征第i个格子负责预测第j个检测框,(xi,yi,wi,hi)表征第i个检测框的预测坐标值,表征第i个检测框的真实坐标值,λcoord,S,B分别表征第一预设参数,格子数量和检测框数量,λcoord作为第一预设参数,是个已知量。
在一个优选的实施例中,还可以对所述第一目标检测神经网络通过非极大值抑制去重的方式进行优化,输出置信度大于预设阈值的目标检测结果,在一个优选的实施例中,所述预设阈值为0.5。
S105.将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标。
具体地,所述第二机器学习模型在本发明实施例中也可以被称为密度估计模型,其对于大尺度目标响应较低,从而可能导致对包含大尺度目标的图像的群体检测结果偏低。
事实上,在忽视大尺度目标的前提下,也可以直接对所述目标分布密度图进行积分,并将积分结果确定为群体总数,显然这个群体总数在存在大尺度目标的场景中会低于实际的群体总数。
所述目标分布密度图基于下述原理生成:
基于每个目标的中心点pi,得到一张与原始图像同样大小的图δ(p-pi),图δ(p-pi)中只有位置pi取值为1,其余位置取值为零,则多个目标可以别表示为图其中N表征目标的数量。基于高斯核对所述图进行卷积操作即可得到目标分布密度图。显然,由于高斯核是归一化的,因此对卷积后得到的目标分布密度图进行积分可以得到0标总数。
为了根据目标图像得到目标分布密度图,本发明实施例设计得到第二机器学习模型,所述第二机器学习模型通过训练第二目标检测神经网络而得到,其可以使用现有技术中的回归的方法得到目标分布密度图。本发明实施例并不限定具体的第二目标检测神经网络的结构,也不限定具体的训练方法。事实上,第二目标检测神经网络的建模比较灵活,可根据实际使用场景来选择,只需保证最后训练得到的第二机器学习模型可以输出对小尺度目标识别效果较好的目标分布密度图即可,但是对其对大尺度目标的识别能力不做苛求。
在一个优选的实施例中,所述第二目标检测神经网络的结构如图5所示,所述第二目标检测神经网络由VGG16前端网络和CSRNet后端网络构成,所述VGG16前端网络包括多个卷积层(Conv),多个最大池化层(Max-pooling),所述CSRNet后端网络包括多个卷积层(Conv),图5中示出了各个层之间的层级关系。卷积层的三个参数分别表征卷积核大小,通道数和空洞率,比如Conv3-64-1指卷积核大小是3x3,通道数是64,空洞率是1。
S107.基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图。
为了避免第二目标检测神经网络对于大尺度目标响应低导致的目标分布密度图中大尺度目标不足的弊端,本发明实施例中基于第一目标集合对所述目标分布密度图修正,以便于去除所述目标分布密度图中的大尺度目标,主动放弃目标分布密度图的大尺度目标,避免在后续统计中大尺度目标被重复统计。
显然,所述基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图,即为通过第一目标集合去除所述目标分布密度图中的大尺度目标。
在一个可行的实施例中所述第一目标集合中每个第一目标均使用检测框表征,所述通过第一目标集合去除所述目标分布密度图中的大尺度目标,如图6所示,包括:
S1071.为所述第一目标集合中每个第一目标生成其对应的检测掩码。
具体地,如图7所示,其示出了一个实施例中的第一目标与其对应的检测掩码的关系,所述检测掩码为以所述第一目标对应的检测框为外接矩形的椭圆形或圆形。
S1073.将根据所述第一目标集合得到的各个检测掩码叠加至所述目标分布密度图中,以便于所述检测掩码覆盖所述目标分布密度图中被第一目标对应的检测框命中的目标,得到修正后目标分布密度图。
检测掩码基于第一目标集合得到,第一目标集合中的第一目标均是大尺度目标,因此,通过检测掩码的遮挡使得修正后目标分布密度图中的大尺度目标被抹除。
S109.根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值。
具体地,所述根据所述第一目标集合得到第一统计值,包括:将所述第一目标集合中元素的总数确定为所述第一统计值。
若所述第一目标集合中以检测框表征第一目标,则检测框的总数即为第一统计值。
具体地,所述根据所述修正后目标分布密度图得到第二统计值,包括:对所述修正后目标分布密度图进行积分,将积分结果确定为所述第二统计值。
S1011.将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
如图8所示,其示出了本发明实施例中提出的一种基于人工智能的群体检测方法的示意图,通过将目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中各个第一目标均为大尺度目标,将所述目标图像输入第二机器学习模型得到目标分布密度图,所述目标分布密度图中大尺度目标是偏少的,但是小尺度目标是准确的,通过将根据第一目标集合得到的检测掩码与目标分布密度图进行叠加抹除目标分布密度图中不准确的大尺度目标,从而得到包括准确小尺度目标的修正后目标分布密度图,根据修正后目标分布密度图和第一目标集合即可得到目标图像中的目标总数。显然,本发明实施例中提供的一种基于人工智能的群体检测方法可以结合第一机器学习模型对大尺度目标检测准确的优势和第二机器学习模型对小尺度目标检测准确的优势,通过优势互补使得其在大尺度和/或小尺度场景中都可以准确进行群体检测,对场景的适应能力显著增强,尤其适用于群体密度变化的场景之中。
本发明实施例提出的一种基于人工智能的群体检测方法使用了两种机器学习模型,事实上构成了一种混合专家模型,其可以用于在各种密度场景中进行各种目标的群体检测。以人群检测为例,可以用于安防监控场景下的人数统计,实现对监控区域的流量管控、安全预警等,如在轨道交通场景下通过监控人流量变化来实现公共交通资源的优化配置,在旅游景点通过人群密度统计来进行安全预警和景区规划。
在另一可行的实施例中,还提出了另一种基于人工智能的群体检测方法,如图9所示,所述方法包括:
S201.获取目标图像。
S203.将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值。
S205.基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中。
在一个可行的实施例中所述第一目标集合中每个第一目标均使用检测框表征,所述基于所述第一目标集合和所述目标图像得到修正图像,如图10所示,包括:
S2051.为所述第一目标集合中每个第一目标生成其对应的检测掩码。
S2053.将根据所述第一目标集合得到的各个检测掩码叠加至所述目标图像中,以便于所述检测掩码覆盖所述目标图像中的目标,得到修正图像。
检测掩码基于第一目标集合得到,第一目标集合中的第一目标均是大尺度目标,因此,通过检测掩码的遮挡使得修正图像中的大尺度目标被抹除。
S207.将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标。
S209.根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值。
S2011.将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
本发明实施例提供的一种基于人工智能的群体检测方法,与上一个实施例基于相同发明构思,详情不再赘述。
本发明实施例公开了一种基于人工智能的群体检测装置,如图11所示,所述装置包括:
目标图像获取模块301,用于获取目标图像;
第一目标集合获取模块303,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
目标分布密度图获取模块305,用于将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一修正模块307,用于基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
第一统计模块309,用于根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
第二统计模块3011,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
具体地,本发明实施例公开一种基于人工智能的群体检测装置与上述方法实施例均基于相同发明构思。详情请参见方法实施例,在此不再赘述。
本发明实施例公开了一种基于人工智能的群体检测装置,如图12所示,所述装置包括:
目标图像获取模块401,用于获取目标图像;
第一目标集合获取模块403,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
第二修正模块405,用于基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
目标分布密度图获取模块407,用于将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一统计模块409,用于根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
第二统计模块4011,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
具体地,本发明实施例公开一种基于人工智能的群体检测装置与上述方法实施例均基于相同发明构思。详情请参见方法实施例,在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质可以存储有多条指令。所述指令可以适于由处理器加载并执行本发明实施例所述的一种基于人工智能的群体检测方法,所述方法至少包括下述步骤:
一种基于人工智能的群体检测方法,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
在另一可行的是实例中,所述方法至少包括下述步骤:
一种基于人工智能的群体检测方法,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
进一步地,图13示出了一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图,所述设备可以参与构成或包含本发明实施例所提供的装置或系统。如图13所示,设备10可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,设备10还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中所述的方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种基于人工智能的群体检测方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(NetworkInterfaceController,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的群体检测方法,其特征在于,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
3.根据权利要求1或2所述的方法,其特征在于,所述第一目标集合中每个第一目标均使用检测框表征,所述基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图,包括:
为所述第一目标集合中每个第一目标生成其对应的检测掩码;
将根据所述第一目标集合得到的各个检测掩码叠加至所述目标分布密度图中,以便于所述检测掩码覆盖所述目标分布密度图中被第一目标对应的检测框命中的目标,得到修正后目标分布密度图。
4.根据权利要求1或2所述的方法,其特征在于:
所述根据所述第一目标集合得到第一统计值,包括:将所述第一目标集合中元素的总数确定为所述第一统计值;
所述根据所述修正后目标分布密度图得到第二统计值,包括:对所述修正后目标分布密度图进行积分,将积分结果确定为所述第二统计值。
5.一种基于人工智能的群体检测方法,其特征在于,所述方法包括:
获取目标图像;
将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
6.根据权利要求5所述的方法,其特征在于,所述第一目标集合中每个第一目标均使用检测框表征,所述基于所述第一目标集合和所述目标图像得到修正图像,包括:
为所述第一目标集合中每个第一目标生成其对应的检测掩码;
将根据所述第一目标集合得到的各个检测掩码叠加至所述目标图像中,以便于所述检测掩码覆盖所述目标图像中的目标,得到修正图像。
7.一种基于人工智能的群体检测装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;
第一目标集合获取模块,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
目标分布密度图获取模块,用于将所述目标图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一修正模块,用于基于所述第一目标集合对所述目标分布密度图进行修正,得到修正后目标分布密度图;
第一统计模块,用于根据所述第一目标集合得到第一统计值,根据所述修正后目标分布密度图得到第二统计值;
第二统计模块,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
8.一种基于人工智能的群体检测装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;
第一目标集合获取模块,用于将所述目标图像输入第一机器学习模型得到第一目标集合,所述第一目标集合中的第一目标的尺度均大于或等于所述第一机器学习模型的识别阈值;
第二修正模块,用于基于所述第一目标集合和所述目标图像得到修正图像,所述修正图像中满足预设条件的目标被遮挡,所述预设条件为:被所述第一目标集合中的第一目标命中;
目标分布密度图获取模块,用于将所述修正图像输入第二机器学习模型得到目标分布密度图,所述第二机器学习模型能够识别尺度小于所述第一机器学习模型的识别阈值的目标;
第一统计模块,用于根据所述第一目标集合得到第一统计值,根据所述目标分布密度图得到第二统计值;
第二统计模块,用于将所述第一统计值和第二统计值的总和值确定为所述目标图像中的目标总数。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1或5所述的一种基于人工智能的群体检测方法。
10.一种基于人工智能的群体检测设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行如权利要求1或5所述的一种基于人工智能的群体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010516220.5A CN111652168B (zh) | 2020-06-09 | 2020-06-09 | 基于人工智能的群体检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010516220.5A CN111652168B (zh) | 2020-06-09 | 2020-06-09 | 基于人工智能的群体检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652168A true CN111652168A (zh) | 2020-09-11 |
CN111652168B CN111652168B (zh) | 2023-09-08 |
Family
ID=72349059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010516220.5A Active CN111652168B (zh) | 2020-06-09 | 2020-06-09 | 基于人工智能的群体检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652168B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112221151A (zh) * | 2020-10-23 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 一种地图生成方法、装置、计算机设备及存储介质 |
WO2022067514A1 (zh) * | 2020-09-29 | 2022-04-07 | 京东方科技集团股份有限公司 | 区域人数统计方法、计算机设备、计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
US20180005071A1 (en) * | 2013-06-25 | 2018-01-04 | University Of Central Florida Research Foundation, Inc. | Multi-Source, Multi-Scale Counting in Dense Crowd Images |
CN107944327A (zh) * | 2016-10-10 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 一种人数统计方法及装置 |
CN109697435A (zh) * | 2018-12-14 | 2019-04-30 | 重庆中科云从科技有限公司 | 人流量监测方法、装置、存储介质及设备 |
CN109858424A (zh) * | 2019-01-25 | 2019-06-07 | 佳都新太科技股份有限公司 | 人群密度统计方法、装置、电子设备和存储介质 |
CN109886085A (zh) * | 2019-01-03 | 2019-06-14 | 四川弘和通讯有限公司 | 基于深度学习目标检测的人群计数方法 |
CN109934072A (zh) * | 2017-12-19 | 2019-06-25 | 浙江宇视科技有限公司 | 人员统计方法及装置 |
CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
CN110276264A (zh) * | 2019-05-27 | 2019-09-24 | 东南大学 | 一种基于前景分割图的人群密度估计方法 |
CN110930384A (zh) * | 2019-11-20 | 2020-03-27 | 山东师范大学 | 基于密度信息的人群计数方法、装置、设备以及介质 |
CN111295689A (zh) * | 2017-11-01 | 2020-06-16 | 诺基亚技术有限公司 | 深度感知对象计数 |
-
2020
- 2020-06-09 CN CN202010516220.5A patent/CN111652168B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005071A1 (en) * | 2013-06-25 | 2018-01-04 | University Of Central Florida Research Foundation, Inc. | Multi-Source, Multi-Scale Counting in Dense Crowd Images |
WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
CN107944327A (zh) * | 2016-10-10 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 一种人数统计方法及装置 |
CN111295689A (zh) * | 2017-11-01 | 2020-06-16 | 诺基亚技术有限公司 | 深度感知对象计数 |
CN109934072A (zh) * | 2017-12-19 | 2019-06-25 | 浙江宇视科技有限公司 | 人员统计方法及装置 |
CN109697435A (zh) * | 2018-12-14 | 2019-04-30 | 重庆中科云从科技有限公司 | 人流量监测方法、装置、存储介质及设备 |
CN109886085A (zh) * | 2019-01-03 | 2019-06-14 | 四川弘和通讯有限公司 | 基于深度学习目标检测的人群计数方法 |
CN109858424A (zh) * | 2019-01-25 | 2019-06-07 | 佳都新太科技股份有限公司 | 人群密度统计方法、装置、电子设备和存储介质 |
CN110245579A (zh) * | 2019-05-24 | 2019-09-17 | 北京百度网讯科技有限公司 | 人流密度预测方法及装置、计算机设备及可读介质 |
CN110276264A (zh) * | 2019-05-27 | 2019-09-24 | 东南大学 | 一种基于前景分割图的人群密度估计方法 |
CN110930384A (zh) * | 2019-11-20 | 2020-03-27 | 山东师范大学 | 基于密度信息的人群计数方法、装置、设备以及介质 |
Non-Patent Citations (1)
Title |
---|
覃勋辉等: "多种人群密度场景下的人群计数", 中国图象图形学报, vol. 18, no. 4 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022067514A1 (zh) * | 2020-09-29 | 2022-04-07 | 京东方科技集团股份有限公司 | 区域人数统计方法、计算机设备、计算机可读存储介质 |
US11995863B2 (en) | 2020-09-29 | 2024-05-28 | Boe Technology Group Co., Ltd. | Method for counting regional population, computer device and computer readable storage medium |
CN112221151A (zh) * | 2020-10-23 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 一种地图生成方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111652168B (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Overview and methods of correlation filter algorithms in object tracking | |
CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
CN111444828B (zh) | 一种模型训练的方法、目标检测的方法、装置及存储介质 | |
CN109840500B (zh) | 一种三维人体姿态信息检测方法及装置 | |
CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
CN112862874B (zh) | 点云数据匹配方法、装置、电子设备及计算机存储介质 | |
CN108399386A (zh) | 饼图中的信息提取方法及装置 | |
CN110705478A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
CN108182695B (zh) | 目标跟踪模型训练方法及装置、电子设备和存储介质 | |
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN111222486A (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
CN111652168B (zh) | 基于人工智能的群体检测方法、装置、设备及存储介质 | |
CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
Gao et al. | Forest fire smoke detection based on visual smoke root and diffusion model | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
CN113673505A (zh) | 实例分割模型的训练方法、装置、系统及存储介质 | |
CN115496911B (zh) | 一种目标点检测方法、装置、设备及存储介质 | |
Yu et al. | Visual Perception and Control of Underwater Robots | |
CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
CN111353349B (zh) | 人体关键点检测方法、装置、电子设备及存储介质 | |
Orts-Escolano et al. | Processing point cloud sequences with Growing Neural Gas | |
CN113378608B (zh) | 人群计数方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |