CN116485713A - 针对图像的计数方法、装置、电子设备及介质 - Google Patents

针对图像的计数方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116485713A
CN116485713A CN202310186536.6A CN202310186536A CN116485713A CN 116485713 A CN116485713 A CN 116485713A CN 202310186536 A CN202310186536 A CN 202310186536A CN 116485713 A CN116485713 A CN 116485713A
Authority
CN
China
Prior art keywords
image
network model
counting
processed
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310186536.6A
Other languages
English (en)
Inventor
梁孔明
谢嘉豪
徐威
马占宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310186536.6A priority Critical patent/CN116485713A/zh
Publication of CN116485713A publication Critical patent/CN116485713A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请公开了一种针对图像的计数方法、装置、电子设备及介质。具体可以获取第一待处理图像，并将第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；利用图像检测网络模型，将第一待处理图像的图像特征进行还原，得到第二待处理图像；利用计数网络模型，对第二待处理图像中的目标对象进行计数统计，得到计数结果。通过应用本申请的技术方案，可以由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的，进而在对提高图像精度后的图像进行计数统计。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。

Description

针对图像的计数方法、装置、电子设备及介质
技术领域
本申请中涉及图像数据处理技术，尤其是一种针对图像的计数方法、装置、电子设备及介质。
背景技术
相关技术中，目标计数是计算机视觉界的一个热门话题，例如在视频监控、公共安全和城市管理中发挥着重要作用。
其中，目标计数的目的是计算图像或视频序列中出现的某个目标对象的数量。然而对于一些低质量图像(例如图像存在遮挡、尺度变化、图像模糊和透视变形等情况)来说，由于受到图像中的细节信息丢失等因素的影响，使得图像计数功能的准确性也有一定的影响。
发明内容
本申请实施例提供一种针对图像的计数方法、装置、电子设备及介质。从而解决相关技术中出现的，对于无法对低质量图像进行准确目标计数的问题。
其中，根据本申请实施例的一个方面，提供的一种针对图像的计数方法，包括：
获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；
利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像；
利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
可选地，在基于本申请上述方法的另一个实施例中，所述利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像，包括：
利用所述图像检测网络模型中的卷积层以及预设的放大系数，将所述第一待处理图像中的所有元素进行重构建，得到通道元素集合；
利用所述图像检测网络模型中的亚像素卷积层，将所述通道元素集合中的每个元素按照预设公式进行排列组合，得到对图像特征进行还原的第二待处理图像。
可选地，在基于本申请上述方法的另一个实施例中，所述利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果，包括：
利用所述计数网络模型，生成所述第二待处理图像对应的密度图；
对所述密度图进行积分求和计算，并将所述积分求和的计算结果作为所述计数结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取由第一分辨率组成的第一待处理图像之前，还包括：
获取多个由不同的初始分辨率组成的样本图像；以及，获取包含初始超分辨网络模型以及初始计数网络模型的初始图像检测网络模型；
将所述多个样本图像按照多个不同的预设放大系数进行缩小，得到对应的多个更新样本图像；
利用第一部分的更新样本图像对初始超分辨网络模型进行迭代训练，得到超分辨网络模型；以及，利用第二部分的更新样本图像对初始计数网络模型进行迭代训练，得到所述计数网络模型；
利用所述超分辨网络模型，对所述初始图像检测网络模型进行优化，直至得到能够对输入图像进行特征还原的所述图像检测网络模型；
将所述图像检测网络模型中的超分辨网络模型去除，得到所述包括计数网络模型的图像检测网络模型。
可选地，在基于本申请上述方法的另一个实施例中，通过下述公式训练对所述初始超分辨网络模型进行迭代训练：
ISR＝fn(ILR；Wn，bn)＝ξ(Wn*fn-1(ILR)+bn)；
其中，ILR为第一分辨率,ISR为第二分辨率，Wn,为所述超分辨网络模型的权重，bn为所述超分辨网络模型的偏差参数，n为所述超分辨网络模型的层数，ξ为所述超分辨网络模型的周期性排列算子。
其中，根据本申请实施例的又一个方面，提供的一种针对图像的计数装置，包括：
输入模块，被配置为获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；
处理模块，被配置为利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像；
生成模块，被配置为利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器执行所述可执行指令从而完成上述任一所述针对图像的计数方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述针对图像的计数方法的操作。
本申请中，可以获取第一待处理图像，并将第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；利用图像检测网络模型，将第一待处理图像的图像特征进行还原，得到第二待处理图像；利用计数网络模型，对第二待处理图像中的目标对象进行计数统计，得到计数结果。通过应用本申请的技术方案，可以由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的，进而在对提高图像精度后的图像进行计数统计。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种针对图像的计数方法示意图；
图2为本申请提出的一种针对图像的计数方法中的流程示意图；
图3为本申请提出的一种样本图像的示意图；
图4为本申请提出的一种将第一待处理图像进行重构建的示意图；
图5为本申请提出的另一种针对图像的计数方法中的流程示意图；
图6示出了本申请一实施例所提供的一种电子装置的结构示意图；
图7示出了本申请一实施例所提供的一种电子设备的结构示意图；
图8示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图5来描述根据本申请示例性实施方式的用于进行针对图像的计数方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种针对图像的计数方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种针对图像的计数方法的流程示意图。如图1所示，包括：
S101，获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中。
S102，利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像。
S103，利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
相关技术中，目标计数是计算机视觉界的一个热门话题，在视频监控、公共安全和城市管理中发挥着重要作用。
其中，目标计数的目的是计算图像或视频序列中出现的目标数量。例如包括对用户、车辆、建筑等等一个或多个对象的计数。
一种方式中，由于严重的遮挡、尺度变化、图像模糊和透视变形的情况均会导致图像的像素质量不佳。且由于当下目标计数方法主要专注于应对尺度变化和背景噪声，而忽略了模糊现象，一般来说，低分辨率(LR)图像通常会出现模糊现象，即失去目标的大量内容细节。实际上，在实际应用中，低分辨率图像确实很常见，例如，图像采集设备老化、图像存储空间有限、为实现实时推理而降采样、透视效应、偶尔的抖动等等。这些都会导致图像计数功能的准确性降低。
进一步的，正是为了针对上述存在的问题，本申请提出一种针对图像的计数方法，其思想为由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的,进而在为提高图像精度后的图像生成对应的高质量密度图从而实现精确计数统计的目的。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。
进一步的，在此结合图2对方案进行具体说明：
步骤1、获取多个由不同的初始分辨率组成的样本图像。
一种方式中，本申请不对样本图像的数量进行具体限定。且同样不对各个样本图像的初始分辨率进行限定。
作为示例的，如图3所示，本申请实施例可以收集分辨率为2048(即初始分辨率)的密集场景下的多目标图像。进而再根据不同的预设放大系数(例如为2倍和4倍)。对该样本图像进来调整相应的比例，使图像分辨率等于2048作为2倍放大的图像以及4倍放大的图像。
一种方式中，本申请实施例还可以对这些图像进行2倍和4倍的降采样，然后，根据缩放系数调整目标中心坐标，生成低分辨率的样本图像的真值密度图。可以理解的，2倍和4倍放大的图像被用来作为超分辨率的真值。
步骤2、将多个样本图像按照多个不同的预设放大系数进行缩小，得到对应的多个更新样本图像。
步骤3a、利用第一部分的更新样本图像对初始超分辨网络模型进行迭代训练，得到超分辨网络模型。
一种方式中，本申请可以利用特征网络学习输入图片的特征，将其一部分送入初始的超分辨网络中，以使其学习低分辨率图像到高分辨率图像的映射，从而实现指导网络增强特征空间的细节信息的目的。
具体的，本申请实施例中的图像检测网络模型可以使用预训练的VGG-16网络作为骨干网络。需要说明的是，本申请实施例还可以将VGG-16网络的最后一个池化层进行去除以达到保留空间信息的目的。一种方式中，本申请实施例还可以去除VGG-16网络的全连接层以使网络结构适应任意分辨率的输入。
进一步的，利用VGG-16网络提取样本图像的特征后，一部分送入初始计数网络模型进行训练。其中计数网络模型由一个3×3卷积层和一个1×1卷积层组成。另一部分则送入初始超分辨网络模型进行训练。
一种方式中，本申请实施例在对初始超分辨网络模型进行训练的过程中，可以使用利用超分辨网络模型中的亚像素卷积层，将通道元素集合中的每个元素按照预设公式进行排列组合，得到由第二分辨率组成的第二待处理图像。
一种方式中，如附图4所示。预设公式可表示为：
ISR＝fn(ILR；Wn，bn)＝ξ(Wn*fn-1(ILR)+bn)；
其中，ISR为高分辨率，ILR为低分辨率，Wn，为所述超分辨网络模型的权重，bn为所述超分辨网络模型的偏差参数，n为所述超分辨网络模型的层数，ξ为所述超分辨网络模型的周期性排列算子。
可以理解的，本申请实施例通过引入超分辨网络模型来协助图像检测网络学习低分辨率图像中的细节，这相当于给图像检测网络增加了一个约束条件。以达到最终的图像检测网络可以生成高质量的密度图，并在较低的计算成本下表现得更好的目的。
其中，在对超分辨网络模型训练时，可以使用L2Loss来对输出的密度图和高分辨率特征进行学习，其可表示为：
步骤3b、利用第二部分的更新样本图像对初始计数网络模型进行迭代训练，得到计数网络模型。
另一种方式中，本申请可以利用特征网络学习输入图片的特征，将另一部分送入初始的计数网络中，以使其学习后续将输入图像转换为密度图的目的。
步骤4、利用超分辨网络模型，对初始图像检测网络模型进行优化，直至得到能够对输入图像进行特征还原的图像检测网络模型后，将超分辨网络模型进行移除。
一种方式中，本申请实施例在利用超分辨率网络优化图像检测网络模型之后，需要将超分辨率网络模型从图像检测网络模型中进行移除(也可以不移除，但需要其不参与图像检测网络的后续计算)，从而达到不增加计数网络运算的目的。
步骤5、获取第一待处理图像，并将第一待处理图像输入到预先训练完毕的图像检测网络模型中。
其中，图像检测网络模型包括已训练完毕的计数网络模型。
步骤6、利用图像检测网络模型中的卷积层以及预设的放大系数，将第一待处理图像中的所有元素进行重构建，得到通道元素集合。
作为示例的，超分辨网络模型由一个3×3卷积层和一个亚像素卷积层组成。其中，3×3卷积层用于将待处理图像的输入特征重塑为一个通道元素集合。例如为r2通道，其中r代表放大系数。然后，亚像素卷积层将H×W×C×r2形状的张量元素按照预设公式重新排列成rH×rW×C形状的张量，，进行周期性洗牌，从而得到由第二分辨率组成的第二待处理图像。
步骤7、利用图像检测网络模型中的亚像素卷积层，将通道元素集合中的每个元素按照预设公式进行排列组合，得到对图像特征进行还原的第二待处理图像。
步骤8、利用计数网络模型，生成第二待处理图像对应的密度图。
步骤9、对密度图进行积分求和计算，并将积分求和的计算结果作为计数结果。
一种方式中，本申请实施例可以对于生成的高质量密度图进行积分求和，获取目标总数。
可以理解的，本申请可以用于解决现有技术在低分辨率图像场景下计数性能不佳的问题。具体来说，可以通过对低分辨率图像进行图像重建的方式来使得图像检测网络即使在低分辨率场景下仍可以学到细节信息，同时所引入的超分辨率技术在不会提高推理成本的同时提高计数性能。
另一种方式中，本申请所提出的技术可即插即用，同时也可迁移到其他主流方法中，在加强低分率图片感知能力的同时提高性能。
本申请中，可以获取第一待处理图像，并将第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；利用图像检测网络模型，将第一待处理图像的图像特征进行还原，得到第二待处理图像；利用计数网络模型，对第二待处理图像中的目标对象进行计数统计，得到计数结果。通过应用本申请的技术方案，可以由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的，进而在对提高图像精度后的图像进行计数统计。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。
可选地，在基于本申请上述方法的另一个实施例中，所述利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像，包括：
利用所述图像检测网络模型中的卷积层以及预设的放大系数，将所述第一待处理图像中的所有元素进行重构建，得到通道元素集合；
利用所述图像检测网络模型中的亚像素卷积层，将所述通道元素集合中的每个元素按照预设公式进行排列组合，得到对图像特征进行还原的第二待处理图像。
可选地，在基于本申请上述方法的另一个实施例中，所述利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果，包括：
利用所述计数网络模型，生成所述第二待处理图像对应的密度图；
对所述密度图进行积分求和计算，并将所述积分求和的计算结果作为所述计数结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取由第一分辨率组成的第一待处理图像之前，还包括：
获取多个由不同的初始分辨率组成的样本图像；以及，获取包含初始超分辨网络模型以及初始计数网络模型的初始图像检测网络模型；
将所述多个样本图像按照多个不同的预设放大系数进行缩小，得到对应的多个更新样本图像；
利用第一部分的更新样本图像对初始超分辨网络模型进行迭代训练，得到超分辨网络模型；以及，利用第二部分的更新样本图像对初始计数网络模型进行迭代训练，得到所述计数网络模型；
利用所述超分辨网络模型，对所述初始图像检测网络模型进行优化，直至得到能够对输入图像进行特征还原的所述图像检测网络模型；
将所述图像检测网络模型中的超分辨网络模型去除，得到所述包括计数网络模型的图像检测网络模型。
可选地，在基于本申请上述方法的另一个实施例中，通过下述公式训练对所述初始超分辨网络模型进行迭代训练：
ISR＝fn(ILR；Wn，bn)＝ξ(Wn*fn-1(ILR)+bn)；
其中，ILR为第一分辨率,ISR为第二分辨率，Wn,为所述超分辨网络模型的权重，bn为所述超分辨网络模型的偏差参数，n为所述超分辨网络模型的层数，ξ为所述超分辨网络模型的周期性排列算子。
一种方式中，如图5所示，本申请进一步对针对图像的计数方法进行具体说明，其中包括：
步骤A、输入级数据集处理步骤：为了更好的学习低分率图片的细节信息，需要收集多对密集场景下高低分辨率图片作为训练输入。之后再根据各个目标注释点的坐标生成point-map，再利用高斯核卷积生成密度图作为网络训练的真值。
步骤B、中间级利用神经网络进行学习和计数的步骤：
首先利用图像检测网络学习待处理图像的特征，将其一部分送入计数网络生成合适的目标密度图，另一部分送入超分辨网络中，学习低分辨率图像到高分辨率图像的映射，指导图像检测网络增强待处理图像中存在的特征空间的细节信息。
步骤C、输出级计数步骤：对结合超分辨率信息所生成的密度图进行积分求和来获得目标的数量，从而达到即使在低分率图片下依然可以实现准确计数的目的。
通过应用本申请的技术方案，可以由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的，进而在对提高图像精度后的图像进行计数统计。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。
可选的，在本申请的另外一种实施方式中，如图6所示，本申请还提供一种针对图像的计数装置。包括：
输入模块201，被配置为获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；
处理模块202，被配置为利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像；
生成模块203，被配置为利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
通过应用本申请的技术方案，可以由图像检测网络模型将接收到的低分辨率的待处理图像进行特征重构建以达到提高其图像精度的目的，进而在对提高图像精度后的图像进行计数统计。进而避免出现相关技术中存在的，在低分辨率图像场景下计数性能不佳的问题。
在本申请的另外一种实施方式中，生成模块203，被配置为：
利用所述图像检测网络模型中的卷积层以及预设的放大系数，将所述第一待处理图像中的所有元素进行重构建，得到通道元素集合；
利用所述图像检测网络模型中的亚像素卷积层，将所述通道元素集合中的每个元素按照预设公式进行排列组合，得到对图像特征进行还原的第二待处理图像。
在本申请的另外一种实施方式中，生成模块203，被配置为：
利用所述计数网络模型，生成所述第二待处理图像对应的密度图；
对所述密度图进行积分求和计算，并将所述积分求和的计算结果作为所述计数结果。
在本申请的另外一种实施方式中，生成模块203，被配置为：
获取多个由不同的初始分辨率组成的样本图像；以及，获取包含初始超分辨网络模型以及初始计数网络模型的初始图像检测网络模型；
将所述多个样本图像按照多个不同的预设放大系数进行缩小，得到对应的多个更新样本图像；
利用第一部分的更新样本图像对初始超分辨网络模型进行迭代训练，得到超分辨网络模型；以及，利用第二部分的更新样本图像对初始计数网络模型进行迭代训练，得到所述计数网络模型；
利用所述超分辨网络模型，对所述初始图像检测网络模型进行优化，直至得到能够对输入图像进行特征还原的所述图像检测网络模型；
将所述图像检测网络模型中的超分辨网络模型去除，得到所述包括计数网络模型的图像检测网络模型。
在本申请的另外一种实施方式中，生成模块203，被配置为：
通过下述公式训练对所述初始超分辨网络模型进行迭代训练：
ISR＝fn(ILR；Wn，bn)＝ξ(Wn*fn-1(ILR)+bn)；
其中，ILR为第一分辨率,ISR为第二分辨率，Wn,为所述超分辨网络模型的权重，bn为所述超分辨网络模型的偏差参数，n为所述超分辨网络模型的层数，ξ为所述超分辨网络模型的周期性排列算子。
图7是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是电子设备。
其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图7所示，电子设备3包括：处理器300，存储器301，总线302和通信接口303，所述处理器300、通信接口303和存储器301通过总线302连接；所述存储器301中存储有可在所述处理器300上运行的计算机程序，所述处理器300运行所述计算机程序时执行本申请前述任一实施方式所提供的针对图像的计数方法。
其中，存储器301可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口303(可以是有线或者无线)实现该装置网元与至少一个其它网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线302可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器301用于存储程序，所述处理器300在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述针对图像的计数方法可以应用于处理器300中，，或者由处理器300实现。
处理器300可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器300中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器300可以是通用处理器，包括处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器300读取存储器301中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的针对图像的计数方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的针对图像的计数方法对应的计算机可读存储介质，请参考图8，其示出的计算机可读存储介质为光盘40，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的针对图像的计数方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的针对图像的计数方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
类似的，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。
更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种针对图像的计数方法，其特征在于，包括：
获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；
利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像；
利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
2.如权利要求1所述的方法，其特征在于，所述利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像，包括：
利用所述图像检测网络模型中的卷积层以及预设的放大系数，将所述第一待处理图像中的所有元素进行重构建，得到通道元素集合；
利用所述图像检测网络模型中的亚像素卷积层，将所述通道元素集合中的每个元素按照预设公式进行排列组合，得到对图像特征进行还原的第二待处理图像。
3.如权利要求1所述的方法，其特征在于，所述利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果，包括：
利用所述计数网络模型，生成所述第二待处理图像对应的密度图；
对所述密度图进行积分求和计算，并将所述积分求和的计算结果作为所述计数结果。
4.如权利要求1所述的方法，其特征在于，在所述获取由第一分辨率组成的第一待处理图像之前，还包括：
获取多个由不同的初始分辨率组成的样本图像；以及，获取包含初始超分辨网络模型以及初始计数网络模型的初始图像检测网络模型；
将所述多个样本图像按照多个不同的预设放大系数进行缩小，得到对应的多个更新样本图像；
利用第一部分的更新样本图像对初始超分辨网络模型进行迭代训练，得到超分辨网络模型；以及，利用第二部分的更新样本图像对初始计数网络模型进行迭代训练，得到所述计数网络模型；
利用所述超分辨网络模型，对所述初始图像检测网络模型进行优化，直至得到能够对输入图像进行特征还原的所述图像检测网络模型；
将所述图像检测网络模型中的超分辨网络模型去除，得到所述包括计数网络模型的图像检测网络模型。
5.如权利要求4所述的方法，其特征在于，通过下述公式训练对所述初始超分辨网络模型进行迭代训练：
ISR＝fn(ILR；Wn，bn)＝ε(Wn*fn-1(ILR)+bn)；
其中，ILR为第一分辨率,ISR为第二分辨率，Wn,为所述超分辨网络模型的权重，bn为所述超分辨网络模型的偏差参数，n为所述超分辨网络模型的层数，ξ为所述超分辨网络模型的周期性排列算子。
6.一种针对图像的计数装置，其特征在于，包括：
输入模块，被配置为获取第一待处理图像，并将所述第一待处理图像输入到预先训练完毕的包括计数网络模型的图像检测网络模型中；
处理模块，被配置为利用所述图像检测网络模型，将所述第一待处理图像的图像特征进行还原，得到所述第二待处理图像；
生成模块，被配置为利用所述计数网络模型，对所述第二待处理图像中的目标对象进行计数统计，得到计数结果。
7.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器执行所述可执行指令从而完成权利要求1-5中任一所述针对图像的计数方法的操作。
8.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-5中任一所述针对图像的计数方法的操作。
CN202310186536.6A 2023-03-01 2023-03-01 针对图像的计数方法、装置、电子设备及介质 Pending CN116485713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310186536.6A CN116485713A (zh) 2023-03-01 2023-03-01 针对图像的计数方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310186536.6A CN116485713A (zh) 2023-03-01 2023-03-01 针对图像的计数方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116485713A true CN116485713A (zh) 2023-07-25

Family

ID=87216692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310186536.6A Pending CN116485713A (zh) 2023-03-01 2023-03-01 针对图像的计数方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116485713A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111080531A (zh) * 2020-01-10 2020-04-28 北京农业信息技术研究中心 一种水下鱼类图像的超分辨率重建方法、系统及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111080531A (zh) * 2020-01-10 2020-04-28 北京农业信息技术研究中心 一种水下鱼类图像的超分辨率重建方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁健等: "基于图像视野划分的公共场所人群计数模型", 计算机应用研究, pages 1256 - 1260 *

Similar Documents

Publication Publication Date Title
US20210350168A1 (en) Image segmentation method and image processing apparatus
CN112308200B (zh) 神经网络的搜索方法及装置
KR101137753B1 (ko) 고속의 메모리 효율적인 변환 구현 방법
CN112102411A (zh) 一种基于语义误差图像的视觉定位方法及装置
CN112037129B (zh) 图像超分辨率重建方法、装置、设备及存储介质
JP2021100247A (ja) 歪んだドキュメント画像の矯正方法及び装置
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
CN110544214A (zh) 一种图像修复方法、装置及电子设备
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN112001923B (zh) 一种视网膜图像分割方法及装置
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
US9171227B2 (en) Apparatus and method extracting feature information of a source image
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN115358962B (zh) 一种端到端视觉里程计方法及装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN116485713A (zh) 针对图像的计数方法、装置、电子设备及介质
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN111932466B (zh) 一种图像去雾方法、电子设备及存储介质
CN114170087A (zh) 一种基于跨尺度低秩约束的图像盲超分辨率方法
CN113947521A (zh) 基于深度神经网络的图像分辨率转换方法及装置、终端设备
CN114841884B (zh) 增强红外偏振图像与局部细节的方法、设备及储存介质
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN117788295B (zh) 一种遥感图像的超分辨率重建方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination