CN112862023A - 对象密度确定方法、装置、计算机设备和存储介质 - Google Patents

对象密度确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112862023A
CN112862023A CN202110453975.XA CN202110453975A CN112862023A CN 112862023 A CN112862023 A CN 112862023A CN 202110453975 A CN202110453975 A CN 202110453975A CN 112862023 A CN112862023 A CN 112862023A
Authority
CN
China
Prior art keywords
density
image
standard
predicted
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110453975.XA
Other languages
English (en)
Other versions
CN112862023B (zh
Inventor
王昌安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110453975.XA priority Critical patent/CN112862023B/zh
Publication of CN112862023A publication Critical patent/CN112862023A/zh
Application granted granted Critical
Publication of CN112862023B publication Critical patent/CN112862023B/zh
Priority to PCT/CN2022/086848 priority patent/WO2022228142A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本申请涉及一种对象密度确定方法、装置、计算机设备和存储介质,可应用于智慧交通、智慧商超等场景。方法包括:将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图;获取标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块;分别对标准图像块和预测图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值以及预测图像块对应的预测密度统计值;基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,训练对象密度确定模型。其中对象密度确定模型是人工智能模型,可以将该对象密度确定模型部署于云服务器中,提供人工智能云服务。采用本方法能够提高对象密度确定准确性。

Description

对象密度确定方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种对象密度确定方法、装置、计算机设备和存储介质。
背景技术
随着人工智能中的图像处理技术的发展,出现了基于图像确定对象密度的技术。通过对象密度确定技术能够自动推理出图像中的人群的密度,在视频监控、公共交通安全等领域发挥着重要的作用。
传统技术中,在进行对象密度确定时,主要是使用对象密度图回归的方式进行预测,利用基于人工智能的深度学习技术进行端到端的训练与推理。然而,经常存在训练得到的对象密度确定模型所输出的对象密度图中的密度值并不准确,导致所获取的对象密度图的准确性低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高对象密度确定准确性的对象密度确定方法、装置、计算机设备和存储介质。
一种对象密度确定方法,所述方法包括:获取训练样本图像以及所述训练样本图像对应的标准密度图;将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
一种对象密度确定装置,所述装置包括:图像获取模块,用于获取训练样本图像以及所述训练样本图像对应的标准密度图;图像输入模块,用于将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;图像划分模块,用于分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;密度统计模块,用于对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;训练模块,用于将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取训练样本图像以及所述训练样本图像对应的标准密度图;将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取训练样本图像以及所述训练样本图像对应的标准密度图;将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
上述对象密度确定方法、装置、计算机设备和存储介质,由于分别对标准密度图和预测密度图进行了划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块,并且对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值,那么在训练过程中,可以将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,从而可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性。
一种对象密度确定方法,其特征在于,所述方法包括:获取待确定密度的目标图像;将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
一种对象密度确定装置,其特征在于,所述装置包括:图像获取模块,用于获取待确定密度的目标图像;密度确定模块,用于将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;密度图获取模块,用于获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取待确定密度的目标图像;将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取待确定密度的目标图像;将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
上述对象密度确定方法、装置、计算机设备和存储介质,由于对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的,其中,图像对是标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成的,标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的,预测图像块是通过对预测密度图进行划分得到的,预测密度图是将训练样本图像输入到待训练的对象密度确定模型中处理得到,在对待训练的对象密度确定模型进行训练的过程中可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性,从而将目标图像输入训练后的对象密度确定模型中,该对象密度确定模型可以输出准确的对象密度图。
附图说明
图1为一些实施例中对象密度确定方法的应用环境图;
图2为一些实施例中对象密度确定方法的流程示意图;
图3为一些实施例中对象密度确定模型的结构示意图;
图4为一些实施例中跳跃连接的具体示意图;
图5为一些实施例中图像位置对应关系的示意图;
图6为一些实施例中确定图像对损失值的损失值权重步骤的流程示意图;
图7为另一些实施例中对象密度确定方法的流程示意图;
图8为一些实施例中高斯核在两个不同尺寸的人头处的示意图;
图9为一些实施例中对象密度确定方法的应用示意图;
图10为一些实施例中对象密度确定装置的结构框图;
图11为另一些实施例中对象密度确定装置的结构框图;
图12为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的对象密度模型可以应用于基于人工智能的云服务中。例如可以将对象密度模型部署在云服务器中,云服务器获取待确定密度的目标图像,基于对象密度模型确定该目标图像所对应的对象密度图,并返回至终端进行显示。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例所提供的对象密度确定方法,其中训练样本图像以及通过对象密度确定模型生成的对象密度图可保存于区块链上。区块链可对保存的训练样本图像以及对象密度图分别生成查询码,将生成的查询码返回至终端,基于训练样本图像对应的查询码,可对训练样本图像进行查询,基于对象密度图对应的查询码,可对对象密度图进行查询。
本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习等技术,具体通过如下实施例进行说明:
本申请提供的对象密度确定方法,可以应用于如图1所示的应用环境中。其中,终端102、摄像设备106分别通过网络与服务器104进行通信。其中的网络可以是有线网络获取是无线网络,无线网络可以是局域网、城域网以及广域网中的任意一种。
终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。摄像设备106可以包括一个或者多个摄像头。多个指的是至少二个。
本申请实施例所提供的对象密度确定方法或装置,其中多个服务器可组成为一区块链,而服务器为区块链上的节点。
在一些实施例中,服务器104在通过获取的训练样本图像对待训练的对象密度确定模型进行训练,得到训练后的对象密度确定模型后,部署该对象密度确定模型,此后,服务器104可以接收摄像设备106实时采集并传输的图像,对这些图像进行对象密度确定得到对象密度图,将对象密度图发送至终端,终端可以以热力图的形式对对象密度图进行展示。
在一些实施例中,服务器104在通过获取的训练样本图像对待训练的对象密度确定模型进行训练,得到训练后的对象密度确定模型后,当接收到终端102的请求时,可以通过有线或无线的方式,将该训练后的对象密度确定模型发送至终端102中,终端102接收到该训练后的对象密度确定模型并进行部署,用户使用该终端对图像进行处理时,该终端可以根据训练后的该对象密度确定模型进行图像数据的处理,以实现对象密度的确定。
在一些实施例中,如图2所示,提供了一种对象密度确定方法,该对象密度确定方法可应用于计算机设备,该计算机可以是图1中的终端或者服务器,还可以是终端和服务器组成的交互系统,该方法具体包括以下步骤:
步骤202,获取训练样本图像以及训练样本图像对应的标准密度图。
其中,训练样本图像指的是用于对待训练的对象密度确定模型进行有监督训练的图像。训练样本图像中包括一个或者多个目标对象。多个指的是至少二个。目标对象具体可以是独立的生命体或者物体,比如自然人、动物、车辆、虚拟角色等,也可以是特定部位,比如头部、手部等。由于是有监督训练,训练样本图像存在对应的标准密度图。标准密度图是真实反映训练样本图像的对象密度的密度图,为对模型训练进行监督的密度图。训练样本图像对应的标准密度图可以是根据训练样本图像中的对象位置点确定的密度图。密度图反映了图像各个位置的对象数量,例如人群密度图可以反映单位像素在实际场景中对应位置的平均人数。通过密度图可以确定图像中目标对象的总数量。
在一些实施例中,计算机设备可以获取标注有目标对象的对象位置点的图像作为训练样本图像,对象位置点具体可以是目标对象的位置中心点,例如,目标对象为自然人时,训练样本图像中的对象位置点为人头中心点。
例如,计算机设备可以通过对包含一个或多个目标对象的场景进行拍照的方式获取包含一个或多个目标对象的图像,包含目标对象的图像被人工标注出对象位置点后即可作为训练样本图像;计算机设备还可以通过有线或者无线的方式从第三方计算机设备获取包括一个或多个目标对象并且已标注对象位置点的图像作为训练样本图像。
计算机设备在获取到训练样本图像后,根据训练样本图像所对应的对象位置点,确定训练样本图像对应的对象响应图,根据该对象响应图得到训练样本图像对应的标准密度图。
在另一些实施例中,计算机设备还可直接获取已确定了标准密度图的图像作为训练样本图像。例如,计算机设备可从第三方的公开数据库中获取已确定了标准密度图的图像作为训练样本图像。
步骤204,将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图。
其中,待训练的对象密度确定模型指的是需要进行训练来确定模型参数的对象密度确定模型。对象密度确定模型为用于确定图像中目标对象的密度的机器学习模型。对象密度确定模型可以采用包含多个卷积神经网络的深度学习模型。
具体地,计算机设备将训练样本图像输入待训练的对象密度确定模型中,对象密度确定模型对训练样本图像中的对象密度进行预测,得到预测密度图,计算机设备获取对象密度确定模型输出的预测密度图。可以理解的是,标准密度图和预测密度图都是基于同一张训练样本图像得到的,因此标准密度图和预测密度图可以为尺寸相同的图像。
在一些实施例中,对象密度确定模型包括编码层、解码层及预测层;将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图包括:将训练样本图像输入编码层,通过编码层进行下采样处理,得到第一目标特征,然后将第一目标特征输入解码层,通过编码层进行上采样处理,得到第二目标特征,最后将第二目标特征输入预测层,通过预测层进行密度预测,得到标准密度图。
其中,编码层、解码层可采用VGGnet((Visual Geometry Group,牛津大学计算机视觉组)系列神经网络、ResNet(残差网络)系列神经网络等等,其中,VGGnet系列神经网络是由牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出的深度卷积神经网络,由5层卷积层、3层全连接层、softmax输出层构成,层与层之间使用max-pooling(最大化池)分开,所有隐层的激活单元都采用ReLU函数,ResNet系列神经网络是由残差块(Residual block)构建的神经网络。
通过编码层对训练样本图像进行下采样处理可以提取训练样本图像的高级语义信息,得到的第一目标特征为具有高级语义信息的低分辨率图像,通过解码层进行上采样处理可以将低分辨率的高级语义信息还原为较高分辨率的语义信息,最终得到的第二目标特征为具有高级语义信息的高分辨率特征图像。
在一些实施例中,编码层和解码层采用跳跃链接;编码层包括多个第一卷积层;解码层包括多个第二卷积层;将训练样本图像输入编码层,通过编码层进行下采样处理,得到第一目标特征包括:在编码层中,通过第一卷积层对前一个第一卷积层输出的中间特征进行下采样,获取最后一个第一卷积层的输出作为第一目标特征;将第一目标特征输入解码层,通过编码层进行上采样处理,得到第二目标特征包括:在解码层,通过第二卷积层根据前一个第二卷积层输出的中间特征以及所连接的第一卷积层输出的中间特征进行上采样,获取最后一个第二卷积层的输出作为第二目标特征。
通过跳跃链接能够将比较靠前的卷积层输出的特征综合比较靠后的卷积层输出的特征共同作为某个卷积层的输入,这样该卷积层的输入特征既包括通过多个卷积层一步一步卷积处理得到的具有高级语义信息的上下文特征,又包括局部的细节信息,提取到的特征更完善、更准确。
举例说明,如图3所示,为一些具体的实施例中,对象密度确定模型的结构示意图。其中,编码层包括五个首尾相连的第一卷积层,每一个第一卷积层分别将上一个卷积层输出的中间特征进行卷积处理实现下采样,依次输出五个特征即
Figure 784758DEST_PATH_IMAGE001
,获取最后一层第一卷积层的输出特征
Figure 294237DEST_PATH_IMAGE002
作为第一目标特征,将得到的第一目标特征输入解码层,解码层包括五个首尾相连的第二卷积层,每一个第二卷积层根据前一个第二卷积层输出的中间特征以及所连接的第一卷积层输出的中间特征进行上采样,依次输出五个特征即
Figure 15068DEST_PATH_IMAGE003
,获取最后一层第二卷积层输出的特征
Figure 180470DEST_PATH_IMAGE004
作为第二目标特征输入预测层,预测层一方面将第二目标特征通过三个并列的卷积层分别对第二目标特征进行卷积处理,将各个卷积层的输出与第二目标特征进行通道串联(channel-wise concatenation),再通过一个卷积层进行卷积处理,最终输出预测密度图。
如图4所示,为跳跃连接的具体示意图。参考图4,第二卷积层对输入的特征
Figure 277739DEST_PATH_IMAGE005
进行上采样得到的输出特征与所跳跃连接的第一卷积层输出的中间特征首先进行通道串联,得到中间特征,再通过卷积层进行融合处理,得到
Figure 110566DEST_PATH_IMAGE006
作为下一个第二卷积层的输入特征。
步骤206,分别对标准密度图和预测密度图进行划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块。
具体地,计算机设备对标准密度图进行划分,得到多个标准图像块,对预测密度图进行划分,得到多个预测图像块。这里的划分指的是将图像块中的像素进行区域划分。其中多个指的是至少两个。在一些实施例中,多个预测图像块中至少存在一个与标准图像块存在图像位置对应关系的图像块,计算机设备在进行图像块划分时,可以首先对标准密度图进行划分,得到标准密度图对应的多个标准图像块,然后根据至少一个标准图像块在标准密度图中的位置对预测密度图进行划分,得到与标准图像块存在图像位置对应关系的预测图像块。
举个例子,假设对标准密度图进行划分得到四个标准图像块,分别为图像块A、图像块B、图像块C和图像块D,那么计算机设备可以根据图像块A中各个像素所在的位置对预测密度图进行划分,使得预测密度图中与图像块A 中各个像素位置相同的像素划分到同一个区域内,得到与图像块A对应的预测图像块。
在一些实施例中,计算机设备可以采用相同的图像块划分方式对标准密度图以及预测密度图分别进行划分,从而使得预测图像块与标准图像块的数量、位置以及尺寸是匹配的。
在一些实施例中,计算机设备可以获取滑动窗口,按照预设滑动方式将滑动窗口在标准密度图上进行滑动,将处于滑动窗口内的图像区域作为标准图像块,按照该预设滑动方式将滑动窗口在预测密度图上进行滑动,将处于滑动窗口内的图像区域作为预测图像块,从而可以得到尺寸、数量完全相同,且图像位置一一对应的标准图像块和预测图像块。
步骤208,对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值。
其中,对象密度指的是图像块中各个像素的密度值。对图像块中的对象密度进行统计指的是对图像块内所有像素的密度值用一个统计值进行表示,统计具体可以是对图像块中所有像素的密度值求和,或者是对所有像素的密度值求平均,或者是对图像块中所有像素的密度值求中位数等等。
具体地,计算机设备在得到标准图像块和预测图像块后,对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行相同方式地统计,得到预测图像块对应的预测密度统计值。举个例子,假设对标准图像块中的对象密度进行累加,得到标准图像块对应的标准密度统计值,则同样对预测图像块中的对象密度进行累加,得到预测图像块对应的预测密度统计值。
步骤210,将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,训练后的对象密度确定模型用于生成对象密度图。
其中,标准图像块与预测图像块之间存在图像位置对应关系指的是标准图像块在标准密度图中的位置与预测图像块在预测密度图中的位置对应,那么对于标准密度图中每个像素,在与其位置对应的预测图像块中均存在位置相同的像素。图像对所对应的标准密度统计值指的是图像对中的标准图像块对应的标准密度统计值。图像对所对应的预测密度统计值指的是图像对中的预测图像块所对应的预测密度统计值。
举个例子,假设标准密度图A划分为4个标准图像块A1、A2、A3、A4,预测密度图B按照相同的方式划分为尺寸、位置及数量相同的4个预测图像块B1、B2、B3、B4,则图像位置对应关系如图5所示,其中,虚线箭头表示图像位置对应关系,由图5可以看出,标准图像块A1和预测图像块B1之间存在位置对应关系,标准图像块A2和预测图像块B2之间存在位置对应关系,标准图像块A3和预测图像块B3之间存在位置对应关系,标准图像块A4和预测图像块B4之间存在位置对应关系,即组成图像对的标准图像块和预测图像块在图像中所处的位置是一致的。
具体地,计算机设备对于划分得到的标准图像块,从划分得到的多个预测图像块中,确定与该标准图像块存在图像位置对应关系的预测图像块,将该标准图像块与该预测图像块组成图像对,基于该图像对所对应的标准密度统计值与预测密度统计值之间的差异,计算机设备可得到该图像对所对应的图像对损失值,基于图像对损失值进行统计,计算机设备可得到目标损失值,基于该目标损失值计算机设备可对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。对象密度确定模型用于生成对象密度图是指对象密度确定模型可以输出图像中各个位置对应的对象密度值,例如各个位置对应的人的数量。在实际中,当需要显示对象密度图时,可以根据需要采用不同的形式来体现对象密度图中各个位置对应的对象密度值,例如可以确定各个对象密度值所对应的颜色,以热力图的形式显示对象密度图。
在一些实施例中,计算机设备在对标准密度图和预测密度图进行划分时,按照相同的滑动方式将相同的滑动窗口在标准密度图和预测密度图上进行滑动,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块,那么在确定图像位置对应关系时,计算机设备可按照滑动顺序来进行确定,基于滑动顺序对得到的标准图像块进行编号,并基于滑动顺序对得到的预测图像块进行编号,将编号相同的两个图像块确定为存在图像位置对应关系的图像块,将这两个图像块组成图像对。
在一些实施例中,当多个预测图像块中存在与任意一个标准图像块均不具有图像位置对应关系的图像块时,对该图像块中的每一个像素,计算该像素与标准密度图中对应位置像素的密度值的差异,最后基于这些像素的密度值的差异以及图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
在一些实施例中,在得到训练后的对象密度确定模型,计算机设备可通过该对象密度确定模型生成对象密度图。具体地,将待确定密度的目标图像输入训练后的对象密度确定模型中,通过对象密度确定模型进行对象密度确定,获取对象密度确定模型输出的目标图像对应的对象密度图。
在一些实施例中,计算机设备在得到对象密度图后,可对该对象密度图进行积分,得到目标图像中目标对象的总数量。
上述对象密度确定方法中,由于分别对标准密度图和预测密度图进行了划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块,并且对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值,那么在训练过程中,可以将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,从而可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性。
在一些实施例中,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型包括:基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到图像对所对应的图像对损失值;对图像对损失值进行统计,得到目标损失值;基于目标损失值对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
本实施例中,对标准密度图进行划分得到的多个标准图像块中的每一个标准图像块,在预测密度图中均存在与之具有图像位置对应关系的预测图像块,计算机设备对标准密度图中的每一个标准图像块中的对象密度进行统计,得到每一个标准图像块对应的标准密度统计值,用标准密度统计值代替标准图像块所在区域的密度值,相当于得到了标准密度图对应的标准局部计数图,对预测密度图中的每一个预测图像块中的对象密度进行统计,得到每一个预测图像块对应的预测密度统计值,用预测密度统计值代替预测图像块所在区域的密度值,即可得到预测密度图对应的预测局部计数图,将标准局部计数图和预测局部计数图中存在图像位置对应关系的图像块组成对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到图像对所对应的图像对损失值,进而在进行训练时,计算机设备可以对所有图像对所对应的图像对损失值进行统计,得到标准局部计数图和预测局部计数图之间的目标损失值,最终,计算机设备可以将该目标损失值反向传播至对象密度确定模型中,并通过梯度下降算法来调整对象密度确定模型的模型参数,直至满足停止条件时,得到训练后的对象密度确定模型。其中,梯度下降算法包括但不限于随机梯度下降算法、Adagrad((Adaptive Gradient,自适应梯度)算法、Adadelta(AdaGrad算法的改进)、RMSprop(AdaGrad算法的改进)等等。
在一些实施例中,计算机设备可以基于图像对所对应的标准密度统计值与预测密度统计值之间的差异构建损失函数,基于该损失函数得到图像对所对应的图像对损失值。其中损失函数可以交叉熵(Cross Entropy)损失函数、MERS (mean-square error,均方误差)损失函数等等。
在一些实施例中,计算机设备对图像对损失值进行统计,得到目标损失值具体可以是:对所有图像对各自的图像对损失值进行求和,得到目标损失值。在其他一些实施例中,计算机设备对图像对损失值进行统计,得到目标损失还可以是:对所有图像对各自的图像对损失值进行求平均值,得到目标损失值。
上述实施例中,通过对图像对损失值进行统计,得到目标损失值,基于目标损失值对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,可以最大程度地避免逐像素拟合密度值带来的训练误差。
在一些实施例中,如图5所示,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到图像对所对应的图像对损失值包括:按照目标收缩方式对图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值,目标收缩方式所对应的收缩幅度与待收缩数值的大小成正相关;按照目标收缩方式对图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值;根据收缩后的标准密度统计值与收缩后的预测密度统计值的差值,得到图像对所对应的图像对损失值,其中图像对损失值与差值的成正相关关系。
其中,目标收缩方式指的是能够对数值进行收缩以使得数值减小的数学运算方式。目标收缩方式所对应的收缩幅度与待收缩数值的大小成正相关关系,即待收缩数值越大,收缩幅度越大;反之,待收缩数值越小,收缩幅度越小。其中的待收缩数值在本申请实施例中指的是标准密度统计值或者预测密度统计值。收缩幅度指的是收缩后的数值与收缩前的数值之间的差值。
具体地,计算机设备可以按照目标收缩方式对图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值,按照目标收缩方式对图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值,进一步计算机设备可以将收缩后的标准密度统计值减去收缩后的预测密度统计值,当得到的差值大于0时,将该差值作为图像对所对应的图像对损失值,当得到的差值小于0时,取该差值的绝对值作为图像对所对应的图像对损失值。其中图像对损失值与差值成正相关关系,这里的差值指的是绝对差值,绝对差值越大,图像对损失值越大;反之,绝对差值越小,图像对损失值越小。
在一些实施例中,按照目标收缩方式对图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值包括:按照目标收缩方式对图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值包括:将预设数值作为底数,以标准密度统计值作为真数进行对数变换,将所得到的对数作为收缩后的标准密度统计值,预设数值大于1;按照目标收缩方式对图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值包括:将预设数值作为底数,以预测密度统计值作为真数进行对数变换,将所得到的对数作为收缩后的预测密度统计值。
具体地,假设预设数值为a,标准密度统计值为N,预测密度统计值为M,则收缩后的标准密度值为
Figure 799036DEST_PATH_IMAGE007
,收缩后的预测密度统计值为
Figure 454664DEST_PATH_IMAGE008
,那么计算机设备可根据
Figure 355624DEST_PATH_IMAGE007
Figure 308536DEST_PATH_IMAGE008
的差值,得到图像对所对应的图像对损失值。其中,预设数值大于1,例如可以是e。
在另外一些实施例中,考虑到训练样本图像中部分区域可能存在没有目标对象的情况,此时,标准密度图和预测密度图中该区域的密度统计值可能为0,为了避免取对数时出现错误,可以对每一个密度统计值加上一个常量偏差,该常量偏差可以根据需要设定,例如可以是1e-3(即0.001),再按照上述实施例中的方式进行对数变换,图像对损失值的具体计算方式参照如下公式(1),其中
Figure 636750DEST_PATH_IMAGE009
为某个图像对中预测图像块对应的预测密度统计值,
Figure 573482DEST_PATH_IMAGE010
为该图像对中标准图像块对应的标准密度统计值,
Figure 278132DEST_PATH_IMAGE011
指的是图像对损失值,
Figure 554393DEST_PATH_IMAGE012
指的是对数变换,
Figure 53507DEST_PATH_IMAGE013
的底数可以是大于1的数,例如可以是e:
Figure 477536DEST_PATH_IMAGE014
上述实施例中,按照目标收缩方式分别对图像对所对应的标准密度统计值和预测度统计值进行收缩,根据收缩后的标准密度统计值与收缩后的预测密度统计值的差值,得到图像对所对应的图像对损失值,由于目标收缩方式所对应的收缩幅度与待收缩数值的大小成正相关关系,可以将难以预测的样本(即高密度区域图像块)的预测偏差减小,反传梯度也会相应减小,而高密度区域图像块很可能是错误样本,从而有利于削弱某些错误样本带来过大的梯度,突出有用样本的梯度,有利于训练过程中的模型参数优化。
在一些实施例中,对图像对损失值进行统计,得到目标损失值包括:根据图像对所对应的标准密度统计值确定图像对损失值的损失值权重,损失值权重与标准密度统计值成负相关关系;基于损失值权重以及图像对损失值进行加权求和,得到目标损失值。
具体地,考虑到密度值较小的区域往往占据图像的大部分,那么在训练的过程中,可以给予密度值较小的区域对应的图像块更多的关注,从而使得这类样本(即图像块)总的密度统计值误差更小。基于此,计算机设备可根据图像对所对应的标准密度统计值确定图像对损失值的损失值权重,该损失值权重与标准密度统计值成负相关关系,即标准密度统计值越大,该损失值权重越小,标准密度统计值越小,该损失值权重越大。
在一些实施例中,可以设置一个预设阈值Y,当图像对所对应的标准密度统计值X大于该预设阈值Y时,判定该图像对所对应的标准密度统计值较大,计算机设备对该图像对对应的图像对损失值确定一个较小的损失值权重a,当图像对所对应的标准密度统计值X小于该预设阈值Y时,判定该图像对所对应的标准密度统计值较小,计算机设备对该图像对对应的图像对损失值确定一个较大的损失值权重b,其中,b大于a。
在一些实施例中,如图6所示,根据图像对所对应的标准密度统计值确定图像对损失值的损失值权重包括:
步骤602,对标准密度统计值进行密度区间划分,得到多个密度区间。
具体地,假设对标准密度图进行划分得到N个标准图像块,这些标准图像块中,除了对象数量为0的标准图像块外,其他标准图像块的标准密度统计值中,最小值为a,最大值为b,则可以将标准密度统计值划分为
Figure 720298DEST_PATH_IMAGE015
个密度区间,K具体可以根据需要取值,例如K可以为4,且使得第
Figure 851065DEST_PATH_IMAGE016
个密度区间的统计值范围如下公式(2)所示:
Figure 521081DEST_PATH_IMAGE017
步骤604,获取标准密度统计值处于密度区间的标准图像块的图像块数量。
步骤606,基于标准图像块所对应的密度区间的图像块数量,确定标准图像块所对应的图像对损失值的损失值权重;图像块数量与损失值权重呈正相关关系。
具体地,对于每一个密度区间,计算机设备统计落在该密度区间内的标准图像块的图像块数量
Figure 635667DEST_PATH_IMAGE018
在一些实施例中,计算机设备可参照如下公式(3)计算密度区间内的图像块数量
Figure 216209DEST_PATH_IMAGE019
占总的标准图像块数量N的比例
Figure 732641DEST_PATH_IMAGE020
Figure 307979DEST_PATH_IMAGE021
根据该比例确定该密度区间内的标准图像块所对应的图像对损失值的损失值权重。例如,计算机设备可以直接将该比例确定为该密度区间内的标准图像块所对应的图像对损失值的损失值权重。
在一些具体的实施例中,计算机设备在计算得到密度区间内的图像块数量占总的标准图像块数量N的比例后,可参照以下公式(4)计算该密度区间内的标准图像块所对应的图像对损失值,其中,
Figure 909861DEST_PATH_IMAGE022
可以根据需要进行取值,例如
Figure 494426DEST_PATH_IMAGE022
取值可以为20.0:
Figure 662103DEST_PATH_IMAGE023
上述实施例中,通过对标准密度统计值进行区间划分,得到多个密度区间,获取标准密度统计值处于密度区间的标准图像块的图像块数量,基于标准图像块所对应的密度区间的图像块数量,确定标准图像块所对应的图像对损失值的损失值权重,由于图像块数量与损失值权重呈正相关关系,可以使得图像块数量偏多的密度区间对应的图像块给予更多的关注,从而使得这些图像块总的预测误差更小。
在一些实施例中,对图像对损失值进行统计,得到目标损失值包括:根据目标衰减方式对图像对损失值进行衰减,得到衰减后的图像对损失值,其中,目标衰减方式所对应的衰减幅度与图像对损失值成正相关关系;对衰减后的图像对损失值进行求和运算,得到目标损失值。
其中,目标衰减方式指的是能够对图像对损失值进行减小的方式。目标衰减方式所对应的衰减幅度与图像对损失值的大小成正相关关系,即图像对损失值越大,衰减幅度越大;反之,图像对损失值越小,衰减幅度越小。衰减幅度指的是衰减前的图像对损失值与衰减后的图像对损失值之间的差值。
具体地,考虑到越是错误的样本(即对象密度值不准确的标准图像块),其预测误差就越有可能很大,基于此,计算机设备在训练对象密度确定模型时,可以根据目标衰减方式对图像对损失值进行衰减,得到衰减后的图像对损失值,对对衰减后的图像对损失值进行求和运算,得到目标损失值。
在一些实施例中,可以对所有图像对各自的图像对损失值进行排序,根据排序结果选取预设数量(例如10%)数值较大的图像对损失值,将这些图像对损失值置为0,从而可以在训练时过滤掉这些有可能是错误标注的样本,从而稳定网络的训练过程。举例说明,假设有100个图像对,那么计算机设备可以对这100个图像对的图像对损失值进行降序排列,然后选取排列在前的10个图像对损失值,将这些图像对损失值直接置为0。
在另外一些实施例中,计算机设备可获取预设的指数函数,通过该指数函数对图像对损失值进行加权,该指数函数的取值大小与图像对损失值成负相关,即图像对损失值越大,该指数函数的取值越大;反之,图像对损失值越小,该指数函数的取值越小,这样,即可以让这类预测误差大的样本参与训练,又可以避免这类样本主导整个训练过程的梯度信息。其中,指数函数例如可以
Figure 673921DEST_PATH_IMAGE024
,其中,
Figure 497521DEST_PATH_IMAGE025
为图像对损失值,
Figure 885777DEST_PATH_IMAGE026
为衰减后的图像对损失值。
上述实施例中,计算机按照目标衰减方式对图像对损失值进行衰减,得到衰减后的图像对损失值,再对衰减后的图像对损失值进行求和运算,得到目标损失值,通过该目标损失值反向传播调整对象密度确定模型的模型参数时,由于通过衰减抑制了图像损失值最大的部分样本,可以突出有用样本带来的梯度信息,因为这些有益梯度信息来自正确标注样本的比例会更大,所以对模型的训练会更有帮助。
在一些实施例中,分别对标准密度图和预测密度图进行划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块包括:获取滑动窗口;按照预设滑动方式将滑动窗口在标准密度图上进行滑动,将处于滑动窗口内的图像区域作为标准图像块;按照预设滑动方式将滑动窗口在预测密度图上进行滑动,将处于滑动窗口内的图像区域作为预测图像块。
其中,滑动窗口可以是一个或者多个。多个指的是至少二个。滑动窗口的尺寸可以根据需要进行确定,例如,可以根据训练样本图像的尺寸大小进行确定。多个滑动窗口的尺寸可以相同也可以不同。预设滑动方式指的是从训练图像上确定滑动起点,按照一定的顺序遍历整个训练样本图像进行滑动。
具体地,计算机设备在获取到预测滑动窗口后,按照预设滑动方式将滑动窗口在标准密度图上进行滑动,每一次滑动,将处于滑动窗口内的图像区域作为标准图像块,计算机设备进一步按照上述相同的滑动方式将滑动窗口在预测密度图上进行滑动,每一滑动,将将处于滑动窗口内的图像区域作为预测图像块。
在一些实施例中,为了提高滑动效率,将滑动窗口在图像上进行滑动时,可以使得滑动窗口不重叠的滑动。不重叠指的是两个相邻的滑动得到的两个图像块之间不存在重叠的像素。
举例说明,假设标准密度图的尺寸为128*128,如果将4*4的尺寸的滑动窗口在标准密度图上进行不重叠的滑动,则可以获得1024个4*4大小的标准图像块,如果将8*8的尺寸的滑动窗口在标准密度图上进行不重叠的滑动,则可以获得具有256个8*8大小标准图像块,如果将16*16的尺寸的滑动窗口在标准密度图上进行不重叠的滑动,则可以获得64个16*16大小的标准图像块,如果将32*32的尺寸的滑动窗口在标准密度图上进行不重叠的滑动,则可以获得16个32*32大小的标准图像块。
上述实施例中,由于可以按照相同的滑动方式,将相同的滑动窗口分别在标准密度图和预测密度图进行滑动,可以得到尺寸大小相同,位置一一对应的标准图像块和预测图像块,保证标准图像块和预测图像块之间图像位置对应关系的准确性。
在一些实施例中,训练样本图像标注有多个对象位置点;获取训练样本图像以及训练样本图像对应的标准密度图包括:根据训练样本图像所对应的对象位置点,确定训练样本图像对应的对象响应图;对象响应图中对象位置点的像素值为第一像素值,非对象位置点的像素值为第二像素值;对对象响应图进行卷积处理,得到训练样本图像对应的标准密度图。
其中,对象位置点用于表征目标对象在训练样本图像中的实际位置。对象位置点具体可以是对象中心点,例如,当目标对象为自然人时,对象中心点具体可以是人头中心点。对象响应图指的是对对象中心点位置进行响应得到的图像,该图像与训练样本图像的尺寸相同。在对象响应图中,对象位置点的像素值为第一像素值,非对象位置点的像素值为第二像素值,第一像素值与第二像素值为不同的像素值,从而可以在对象响应图中区别对象位置点和非对象位置点。第一像素值例如可以是1,第二相似值例如可以是0。
具体地,计算机设备可以分别对训练样本图像所对应的各个对象位置点进行响应,得到各个对象位置点的响应图,该响应图与信仰样本图像尺寸相同,然后将所有的响应图进行像素叠加,得到训练样本图像对应的对象响应图,计算机设备进一步可以按照预设的高斯核对对象响应图进行卷积处理,得到训练样本图像对应的标准密度图。
举个例子,假设目标对象为自然人,训练样本图像中标注有N个人头中心点
Figure 845642DEST_PATH_IMAGE027
,那么对于某个人头中心点
Figure 825100DEST_PATH_IMAGE028
,可以将其表示成与训练样本图像同样大小的一张图
Figure 401574DEST_PATH_IMAGE029
, 即只有位置
Figure 327942DEST_PATH_IMAGE030
为1,其余位置均为0,那么N个人头可表示为
Figure 145244DEST_PATH_IMAGE031
,参照以下公式(5):
Figure 764444DEST_PATH_IMAGE032
可以注意到对该图进行积分就可以得到训练样本图像中的总人数,然后使用一个高斯核
Figure 359374DEST_PATH_IMAGE033
对该图进行卷积处理即可得到训练样本图像对应的标准密度图D,参考以下公式(6):
Figure 89432DEST_PATH_IMAGE034
可以理解的是,由于高斯核是归一化的,因此对卷积后的密度图D进行积分同样可以得到训练样本图中的总人数。
上述实施例中,计算机设备根据训练样本图像所对应的对象位置点,确定训练样本图像对应的对象响应图,再对对象响应图进行卷积处理,得到训练样本图像对应的标准密度图,可以消除对象响应图中特征的稀疏性,得到的标准密度图更加有利于模型的学习。
在一些实施例中,如图7所示,提供了一种对象密度确定方法,该对象密度确定方法可应用于计算机设备,该计算机可以是图1中的终端或者服务器,还可以是终端和服务器组成的交互系统,该方法具体包括以下步骤:
步骤702,获取待确定密度的目标图像。
其中,待确定密度的目标图像可以是需要进行密度确定的目标图像。目标图像中包含一个或多个目标对象。
具体地,计算机设备可以对包含一个或多个目标对象的场景进行拍摄得到待确定密度的目标图像。计算机设备还可以通过网络从其他计算机设备获取待确定密度的目标图像。根据需求的不同,目标图像可以是各种场景的图像。例如,目标图像可以是对目标场所内的人群进行监控的图像,目标场所例如可以是地铁、商场等等。
步骤704,将目标图像输入训练后的对象密度确定模型中,通过对象密度确定模型进行对象密度确定。
对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,图像对是标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成的,标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;预测图像块是通过对预测密度图进行划分得到的,预测密度图是将训练样本图像输入到待训练的对象密度确定模型中处理得到
步骤706,获取对象密度确定模型输出的目标图像对应的对象密度图。
关于步骤702-步骤704的详细描述可参考前文中的实施例,本申请在此不赘述。
上述对象密度确定方法,由于对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的,其中,图像对是标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成的,标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的,预测图像块是通过对预测密度图进行划分得到的,预测密度图是将训练样本图像输入到待训练的对象密度确定模型中处理得到,在对待训练的对象密度确定模型进行训练的过程中可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性,从而将目标图像输入训练后的对象密度确定模型中,该对象密度确定模型可以输出准确的对象密度图。
在一些实施例中,计算机设备在获取到对象密度确定模型输出的目标图像对应的对象密度图后,可对该对象密度图进行积分,确定该目标图像中目标对象的总数量。
在一些实施例中,计算机设备在在获取到对象密度确定模型输出的目标图像对应的对象密度图后,可通过热力图的形式展示该对象密度图。在展示的对象密度图中,颜色越深,代表目标对象的密集程度越大。
在一些实施例中,该对象密度确定方法还包括对象密度确定模型的训练步骤,该训练步骤具体包括:获取训练样本图像以及训练样本图像对应的标准密度图;将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图;分别对标准密度图和预测密度图进行划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块;对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值;将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
关于训练步骤的具体描述可参考上位实施例中的描述,本申请在此不赘述。
本申请还提供一种应用场景,该应用场景应用上述的对象密度确定方法以实现智慧交通。在该应用场景中,本申请实施例提供的对象密度确定方法可以对任意交通地点进行客流统计,在该应用场景中,可以通过摄像头等监控设备获取检测的交通地点实时的人群图像,将人群图像发送至服务器,服务器部署有训练后的人群密度确定模型(即上文实施例中的对象密度确定模型)。
具体地,该对象密度确定方法在该应用场景的应用如下:
(一)服务器上预先通过以下步骤训练得到对象密度确定模型:
1、服务器获取训练样本集,训练样本集中的训练样本图像标注有人头中心点,根据训练样本图像获得大小相同的人群响应图,该人群响应图中,各个人头中心点的像素为1,其他位置的像素值为0,服务器进一步采用预设的高斯核对该响应图进行卷积处理,得到训练样本图像对应的标准密度图。
需要说明的是,此处的高斯核标准差都是人工指定的或估计出的,因此对于不同尺度的人头,高斯核所覆盖的区域不一致,如图8所示,为高斯核在两个不同尺寸的人头处的示意图,其中(a)图中高斯核覆盖的区域为区域802,(b)图中高斯核覆盖的区域为区域804,可以明显地看出这两个区域的语义信息是不相同的。
这种语义信息的不一致,使得得到的训练样本图像对应的标准密度图中的密度值并不准确,而相关技术中,在训练的过程中需要逐像素去拟合这些密度值,导致训练得到的人群密度确定模型用于确定人群密度时准确性低。而本申请实施例提供的对象密度确定方法可以有效地避免这种现象。
2、将训练样本图像输入待训练的人群密度确定模型中,得到对象密度确定模型输出的预测密度图。
其中,人群密度确定模型基于深度学习技术,以单张图像为输入,通过深度卷积网络提取图像特征,由于人群密度确定任务既需要具有高语义信息的上下文特征,也需要局部的细节信息,因此为了获得同时具有高级语义信息和细节信息的高分辨率特征图,通常使用先下采样然后上采样的U形网络结构,并引入跳跃链接来为上采样引入细节信息,最后使用预测输出人群密人群密度图,人群密度确定模型的网络结构如图3所示。
3、获取预设滑动窗口,按照预设滑动方式将滑动窗口在标准密度图上进行滑动,将处于滑动窗口内的图像区域作为标准图像块,得到多个标准图像块,按照该预设滑动方式将滑动窗口在预测密度图上进行滑动,将处于滑动窗口内的图像区域作为预测图像块,得到多个预测图像块。
4、分别对每一个标准图像块中的对象密度进行统计,得到每一个标准图像块标准图像块对应的标准密度统计值,对每一个标准图像块预测图像块中的对象密度进行统计,得到每一个标准图像块预测图像块对应的预测密度统计值。
具体地,服务器可以对每个标准图像块中的人群密度值进行累加得到该标准图像块对应的标准密度统计值,同样对每个预测图像块中的人群密度值进行累加得到该预测图像块对应的预测密度统计值。
5、将每一个标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,得到多个图像对,对于每一个图像对的标准密度统计值和预测密度统计值:首先分别加上一个常量偏差,然后以e为底数,分别以标准密度统计值、预测密度统计值作为真数进行对数变换,得到标准密度统计值对应的对数以及预测密度统计值对应的对数,对这两个对数作差并取差值的绝对值作为该图像对的图像对损失值。
6、基于各个标准图像块的标准密度值进行密度区间划分,得到多个个密度区间。
7、对于每一个密度区间,统计该密度区间内的标准图像块的图像块数量,计算该标准图像块的图像块数量占图像块总数量的比例,根据该比例确定该密度区间内的标准图像块所对应的图像对的图像对损失值的损失值权重,其中,该比例与损失值权重呈正相关关系。
8、对于每一个图像对,计算该图像对对应的标准密度统计值和预测密度统计值之间的差值,选择差值最大的10%的图像对,将这些图像对的图像对损失值置为0,将其他图像对的图像对损失值进行加权求和,得到目标损失值,根据目标损失值反向传播调整人群密度确定模型的模型参数,直至满足收敛条件时,得到训练后的人群密度确定模型。
(二)服务器将人群图像输入训练后的人群密度确定模型中,通过人群密度确定模型对该人群图像进行密度确定,得到该人群图像对应的人群密度图,并基于人群密度图进行积分得到该人群图像的总人数(人数以人头中心点在图像中进行统计),将人群密度图及总人数发送至终端,终端以热力图的形式展示该人群密度图。
举个例子,如图9所示,应用本申请提供的对象密度确定方法,服务器能够对图9中的 (a)图进行对象密度确定,得到人群密度图,还能够根据人群密度图确定出该人群图像中的总人数,例如,总人数为208,服务器将人群密度图发送至终端,终端对图像中人群密度程度进行显示,如图9中的(b)图所示。在(b)图中示出了总人数208,不同图像区域的人群密度程度可能不同,在(b)图中可以以不同的颜色进行显示,该(b)图中以不同的图案代替颜色进行了示意。当监测到图像中存在大于预设阈值的密度值,终端还可以生成提示信息,以提示可能存在客流过大的情况。
本申请还提供另一种应用场景,该应用场景应用上述的对象密度确定方法以实现智慧商超。在该应用场景中,可以对目标区域例如超市的人流密度进行监控,在目标区域的人流密度超过阈值时,可以进行提示,以提高目标区域的安全性。
本申请实施例提供的对象密度确定方法可以从多个角度来缓解相关技术在回归人工生成密度图时所存在的问题。首先将标准密度图回归转化为密度统计值回归,然后对密度统计值进行对数变化,减小预测偏差较大的样本所产生的梯度,最后过滤掉预测误差大的样本的梯度信息,从而稳定网络的优化过程。在消除了不准确的人工生成的密度图所带来的负面影响后,网络能够优化到更优的局部最优点,从而取得更好地泛化能力。同时,本方案充分考虑到了密度值偏低的多数样本对于最终计数误差的贡献,因此在优化过程中通过分区间挖掘的方法来缓解该问题,有利于进一步减小训练误差。
应该理解的是,虽然图2-9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中,如图10所示,提供了一种对象密度确定装置1000,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:
图像获取模块1002,用于获取训练样本图像以及训练样本图像对应的标准密度图;
图像输入模块1004,用于将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图;
图像划分模块1006,用于分别对标准密度图和预测密度图进行划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块;
密度统计模块1008,用于对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值;
训练模块1010,用于将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,训练后的对象密度确定模型用于生成对象密度图。
上述对象密度确定装置,由于分别对标准密度图和预测密度图进行了划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块,并且对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值,那么在训练过程中,可以将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,从而可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性。
在一些实施例中,训练模块1010还用于基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到图像对所对应的图像对损失值;对图像对损失值进行统计,得到目标损失值;基于目标损失值对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
在一些实施例中,训练模块1010还用于按照目标收缩方式对图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值,目标收缩方式所对应的收缩幅度与待收缩数值的大小成正相关关系;按照目标收缩方式对图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值;根据收缩后的标准密度统计值与收缩后的预测密度统计值的差值,得到图像对所对应的图像对损失值,其中图像对损失值与差值的成正相关关系。
在一些实施例中,训练模块1010还用于将预设数值作为底数,以标准密度统计值作为真数进行对数变换,将所得到的对数作为收缩后的标准密度统计值,预设数值大于1;将预设数值作为底数,以预测密度统计值作为真数进行对数变换,将所得到的对数作为收缩后的预测密度统计值。
在一些实施例中,训练模块1010还用于根据图像对所对应的标准密度统计值确定图像对损失值的损失值权重,损失值权重与标准密度统计值成负相关关系;基于损失值权重以及图像对损失值进行加权求和,得到目标损失值。
在一些实施例中,训练模块1010还用于对标准密度统计值进行密度区间划分,得到多个密度区间;获取标准密度统计值处于密度区间的标准图像块的图像块数量;基于标准图像块所对应的密度区间的图像块数量,确定标准图像块所对应的图像对损失值的损失值权重;图像块数量与损失值权重呈正相关关系。
在一些实施例中,训练模块1010还用于 根据目标衰减方式对图像对损失值进行衰减,得到衰减后的图像对损失值,其中,目标衰减方式所对应的衰减幅度与图像对损失值成正相关关系;对衰减后的图像对损失值进行求和运算,得到目标损失值。
在一些实施例中,图像划分模块1006还用于获取滑动窗口;按照预设滑动方式将滑动窗口在标准密度图上进行滑动,将处于滑动窗口内的图像区域作为标准图像块;按照预设滑动方式将滑动窗口在预测密度图上进行滑动,将处于滑动窗口内的图像区域作为预测图像块。
在一些实施例中,训练样本图像标注有多个对象位置点;图像划分模块1006还用于根据训练样本图像所对应的对象位置点,确定训练样本图像对应的对象响应图;对象响应图中对象位置点的像素值为第一像素值,非对象位置点的像素值为第二像素值;对对象响应图进行卷积处理,得到训练样本图像对应的标准密度图。
在一些实施例中,如图11所示,提供了一种对象密度确定装置1100,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:
图像获取模块1102,用于获取待确定密度的目标图像;
密度确定模块1104,用于将目标图像输入训练后的对象密度确定模型中,通过对象密度确定模型进行对象密度确定;对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,图像对是标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成的,标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;预测图像块是通过对预测密度图进行划分得到的,预测密度图是将训练样本图像输入到待训练的对象密度确定模型中处理得到;
密度图获取模块1106,用于获取对象密度确定模型输出的目标图像对应的对象密度图。
上述对象密度确定装置,由于对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的,其中,图像对是标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成的,标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的,预测图像块是通过对预测密度图进行划分得到的,预测密度图是将训练样本图像输入到待训练的对象密度确定模型中处理得到,在对待训练的对象密度确定模型进行训练的过程中可以以图像块为单位去拟合局部区域的密度值,综合考虑了局部区域的整体密度值,提高了训练得到的对象密度确定模型用于确定对象密度时的准确性,从而将目标图像输入训练后的对象密度确定模型中,该对象密度确定模型可以输出准确的对象密度图。
在一些实施例中,上述装置还包括:训练模块,用于获取训练样本图像以及训练样本图像对应的标准密度图;将训练样本图像输入待训练的对象密度确定模型中,得到对象密度确定模型输出的预测密度图;分别对标准密度图和预测密度图进行划分,得到标准密度图对应的多个标准图像块以及预测密度图对应的多个预测图像块;对标准图像块中的对象密度进行统计,得到标准图像块对应的标准密度统计值,对预测图像块中的对象密度进行统计,得到预测图像块对应的预测密度统计值;将标准图像块以及与标准图像块存在图像位置对应关系的预测图像块组成图像对,基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
关于对象密度确定装置的具体限定可以参见上文中对于对象密度确定方法的限定,在此不再赘述。上述对象密度确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练样本图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象密度确定方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种对象密度确定方法,其特征在于,所述方法包括:
获取训练样本图像以及所述训练样本图像对应的标准密度图;
将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;
分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;
对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;
将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
2.根据权利要求1所述的方法,其特征在于,所述基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型包括:
基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到所述图像对所对应的图像对损失值;
对所述图像对损失值进行统计,得到目标损失值;
基于所述目标损失值对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,得到所述图像对所对应的图像对损失值包括:
按照目标收缩方式对所述图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值,所述目标收缩方式所对应的收缩幅度与待收缩数值的大小成正相关关系;
按照所述目标收缩方式对所述图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值;
根据收缩后的标准密度统计值与收缩后的预测密度统计值的差值,得到所述图像对所对应的图像对损失值,其中所述图像对损失值与所述差值的成正相关关系。
4.根据权利要求3所述的方法,其特征在于,所述按照目标收缩方式对所述图像对所对应的标准密度统计值进行收缩,得到收缩后的标准密度统计值包括:
将预设数值作为底数,以所述标准密度统计值作为真数进行对数变换,将所得到的对数作为所述收缩后的标准密度统计值,所述预设数值大于1;
所述按照所述目标收缩方式对所述图像对所对应的预测密度统计值进行收缩,得到收缩后的预测密度统计值包括:
将所述预设数值作为底数,以所述预测密度统计值作为真数进行对数变换,将所得到的对数作为所述收缩后的预测密度统计值。
5.根据权利要求2所述的方法,其特征在于,所述对所述图像对损失值进行统计,得到目标损失值包括:
根据所述图像对所对应的标准密度统计值确定所述图像对损失值的损失值权重,所述损失值权重与所述标准密度统计值成负相关关系;
基于所述损失值权重以及所述图像对损失值进行加权求和,得到目标损失值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述图像对所对应的标准密度统计值确定所述图像对损失值的损失值权重包括:
对所述标准密度统计值进行密度区间划分,得到多个密度区间;
获取标准密度统计值处于所述密度区间的标准图像块的图像块数量;
基于所述标准图像块所对应的密度区间的图像块数量,确定所述标准图像块所对应的图像对损失值的损失值权重;所述图像块数量与所述损失值权重呈正相关关系。
7.根据权利要求2所述的方法,其特征在于,所述对所述图像对损失值进行统计,得到目标损失值包括:
根据目标衰减方式对所述图像对损失值进行衰减,得到衰减后的图像对损失值,其中,所述目标衰减方式所对应的衰减幅度与图像对损失值成正相关关系;
对衰减后的图像对损失值进行求和运算,得到目标损失值。
8.根据权利要求1至7任意一项所述的方法,其特征在于,所述分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块包括:
获取滑动窗口;
按照预设滑动方式将所述滑动窗口在所述标准密度图上进行滑动,将处于所述滑动窗口内的图像区域作为标准图像块;
按照所述预设滑动方式将所述滑动窗口在所述预测密度图上进行滑动,将处于所述滑动窗口内的图像区域作为预测图像块。
9.根据权利要求8所述的方法,其特征在于,所述训练样本图像标注有多个对象位置点;所述获取训练样本图像以及所述训练样本图像对应的标准密度图包括:
根据所述训练样本图像所对应的对象位置点,确定所述训练样本图像对应的对象响应图;所述对象响应图中所述对象位置点的像素值为第一像素值,非对象位置点的像素值为第二像素值;
对所述对象响应图进行卷积处理,得到所述训练样本图像对应的标准密度图。
10.一种对象密度确定方法,其特征在于,所述方法包括:
获取待确定密度的目标图像;
将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;
获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
11.根据权利要求10所述的方法,其特征在于,所述对象密度确定模型的生成步骤包括:
获取训练样本图像以及所述训练样本图像对应的标准密度图;
将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;
分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;
对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;
将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型。
12.一种对象密度确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取训练样本图像以及所述训练样本图像对应的标准密度图;
图像输入模块,用于将所述训练样本图像输入待训练的对象密度确定模型中,得到所述对象密度确定模型输出的预测密度图;
图像划分模块,用于分别对所述标准密度图和所述预测密度图进行划分,得到所述标准密度图对应的多个标准图像块以及所述预测密度图对应的多个预测图像块;
密度统计模块,用于对所述标准图像块中的对象密度进行统计,得到所述标准图像块对应的标准密度统计值,对所述预测图像块中的对象密度进行统计,得到所述预测图像块对应的预测密度统计值;
训练模块,用于将所述标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成图像对,基于所述图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整,得到训练后的对象密度确定模型,所述训练后的对象密度确定模型用于生成对象密度图。
13.一种对象密度确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取待确定密度的目标图像;
密度确定模块,用于将所述目标图像输入训练后的对象密度确定模型中,通过所述对象密度确定模型进行对象密度确定;所述对象密度确定模型是基于图像对所对应的标准密度统计值与预测密度统计值之间的差异,对待训练的对象密度确定模型进行参数调整得到的;其中,所述图像对是标准图像块以及与所述标准图像块存在图像位置对应关系的预测图像块组成的,所述标准图像块是通过对训练样本图像所对应的标准密度图进行划分得到的;所述预测图像块是通过对预测密度图进行划分得到的,所述预测密度图是将所述训练样本图像输入到待训练的对象密度确定模型中处理得到;
密度图获取模块,用于获取所述对象密度确定模型输出的所述目标图像对应的对象密度图。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202110453975.XA 2021-04-26 2021-04-26 对象密度确定方法、装置、计算机设备和存储介质 Active CN112862023B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110453975.XA CN112862023B (zh) 2021-04-26 2021-04-26 对象密度确定方法、装置、计算机设备和存储介质
PCT/CN2022/086848 WO2022228142A1 (zh) 2021-04-26 2022-04-14 对象密度确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110453975.XA CN112862023B (zh) 2021-04-26 2021-04-26 对象密度确定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112862023A true CN112862023A (zh) 2021-05-28
CN112862023B CN112862023B (zh) 2021-07-16

Family

ID=75992901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110453975.XA Active CN112862023B (zh) 2021-04-26 2021-04-26 对象密度确定方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN112862023B (zh)
WO (1) WO2022228142A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758243A (zh) * 2022-04-29 2022-07-15 广东技术师范大学 基于补充训练与双类位置预测的茶叶采摘方法和装置
WO2022228142A1 (zh) * 2021-04-26 2022-11-03 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN108615027A (zh) * 2018-05-11 2018-10-02 常州大学 一种基于长短期记忆-加权神经网络对视频人群计数的方法
CN110705698A (zh) * 2019-10-16 2020-01-17 南京林业大学 尺度自适应感知的目标计数深度网络设计方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN111898578A (zh) * 2020-08-10 2020-11-06 腾讯科技(深圳)有限公司 人群密度的获取方法、装置、电子设备及计算机程序
CN111985381A (zh) * 2020-08-13 2020-11-24 杭州电子科技大学 一种基于伸缩卷积神经网络的引导区域密集人群计数方法
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN111582252A (zh) * 2020-06-16 2020-08-25 上海眼控科技股份有限公司 人群密度图的获取方法、装置、计算机设备和存储介质
CN112560829B (zh) * 2021-02-25 2021-06-04 腾讯科技(深圳)有限公司 人群数量确定方法、装置、设备及存储介质
CN112862023B (zh) * 2021-04-26 2021-07-16 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN108615027A (zh) * 2018-05-11 2018-10-02 常州大学 一种基于长短期记忆-加权神经网络对视频人群计数的方法
CN110705698A (zh) * 2019-10-16 2020-01-17 南京林业大学 尺度自适应感知的目标计数深度网络设计方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN111898578A (zh) * 2020-08-10 2020-11-06 腾讯科技(深圳)有限公司 人群密度的获取方法、装置、电子设备及计算机程序
CN111985381A (zh) * 2020-08-13 2020-11-24 杭州电子科技大学 一种基于伸缩卷积神经网络的引导区域密集人群计数方法
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIYANG LIU ET AL: "Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting", 《ECCV 2020》 *
王陆洋: "基于卷积神经网络的图像人群计数研究", 《中国博士学位论文全文数据库信息科技辑》 *
赵振兵 等: "基于动态焦点损失函数和样本平衡方法的绝缘子缺陷检测方法", 《电力自动化设备》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228142A1 (zh) * 2021-04-26 2022-11-03 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质
CN114758243A (zh) * 2022-04-29 2022-07-15 广东技术师范大学 基于补充训练与双类位置预测的茶叶采摘方法和装置
CN114758243B (zh) * 2022-04-29 2022-11-11 广东技术师范大学 基于补充训练与双类位置预测的茶叶采摘方法和装置

Also Published As

Publication number Publication date
WO2022228142A1 (zh) 2022-11-03
CN112862023B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US11200424B2 (en) Space-time memory network for locating target object in video content
CN110929622B (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
US20210319232A1 (en) Temporally distributed neural networks for video semantic segmentation
CN110866509B (zh) 动作识别方法、装置、计算机存储介质和计算机设备
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN108780519A (zh) 卷积神经网络中的结构学习
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN110889450B (zh) 超参数调优、模型构建方法和装置
CN114418030B (zh) 图像分类方法、图像分类模型的训练方法及装置
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN110222718A (zh) 图像处理的方法及装置
CN111310821A (zh) 多视图特征融合方法、系统、计算机设备及存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN117581232A (zh) 基于NeRF的机器学习模型的加速训练
CN115830449A (zh) 显式轮廓引导和空间变化上下文增强的遥感目标检测方法
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40048706

Country of ref document: HK