CN111860344A - 确定图像中目标对象数量的方法及装置 - Google Patents

确定图像中目标对象数量的方法及装置 Download PDF

Info

Publication number
CN111860344A
CN111860344A CN202010713691.5A CN202010713691A CN111860344A CN 111860344 A CN111860344 A CN 111860344A CN 202010713691 A CN202010713691 A CN 202010713691A CN 111860344 A CN111860344 A CN 111860344A
Authority
CN
China
Prior art keywords
target
target frame
image
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010713691.5A
Other languages
English (en)
Inventor
唐圣
傅凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010713691.5A priority Critical patent/CN111860344A/zh
Publication of CN111860344A publication Critical patent/CN111860344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种确定图像中目标对象数量的方法及装置,包括:将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在目标图像中的位置信息,其中,目标框用于标注所述目标图像中的目标对象;根据目标框在所述目标图像中的位置信息生成多张局部图;将局部图输入至第二网络模型,得到局部图中目标框标注的目标对象的种类和数量。通过本发明,解决了对开阔区域内监控对象识别的准确率较低的问题,进而达到了提高对目标对象的种类和数量识别准确率的效果。

Description

确定图像中目标对象数量的方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种确定图像中目标对象数量的方法及装置。
背景技术
随着视频监控技术的发展,视频监控已应用到生活中各个领域,室内室外等公共场所大部分通过视频进行监控。
目前为了更好的保护濒危物种,以及为野生动物提供栖息地,设立了大量的自然保护区。通过了解保护区内野生动物群落的发展状况,可以采取针对性的保护策略,为野生动物提供更好的生活环境和救助。但是现有技术中对开阔地区进行全面监控的难度较大,对野生动物群落的种类和数量的识别准确利率较低。
针对相关技术中,对开阔区域内监控对象识别的准确率较低的问题,目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种确定图像中目标对象数量的方法及装置,以至少解决相关技术中对开阔区域内监控对象识别的准确率较低的问题。
根据本发明的一个实施例,提供了一种确定图像中目标对象数量的方法,包括:将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;根据所述目标框在所述目标图像中的位置信息生成多张局部图;将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
可选地,所述根据所述目标框在所述目标图像中的位置信息生成多张局部图,包括:在所述目标图像中包括N个所述目标框的情况下,根据N个所述目标框分别在所述目标图像中的位置信息,按照坐标值由小到大的顺序对N个所述目标框进行排序,得到第一目标框集合,N为大于1的整数;将所述第一目标框集合拆分为M个目标框子集,每个目标框子集中包括至少一个目标框,1≤M≤N;确定每个目标子集在所述目标图像中所占的局部区域为所述局部图,所述局部区域的长度和宽度满足预定范围。
可选地,所述将所述第一目标框集合拆分为M个目标框子集,包括:确定所述目标图像中第一目标框的左边界为第一局部区域的左边界,所述第一目标框为所述第一目标框集合中排序第一的目标框;在所述第一目标框的宽度大于或等于第一预设值的情况下,确定所述目标图像中所述第一目标框的右边界为所述第一局部区域的右边界,否则确定所述第一目标框的左边界右移所述第一预设值为所述第一局部区域的右边界;在所述第一目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第一目标框的上边界为所述第一局部区域的上边界,所述第一目标框的下边界为所述第一局部区域的下边界;确定所述目标图像中位于所述第一局部区域内的目标框集合为第一目标框子集,所述M个目标框子集包括所述第一目标框子集;对所述第一目标框集合中包括的所述第一目标框子集中的目标框执行删除操作。
可选地,所述方法还包括:在所述第一目标框的高度小于所述第二预设值的情况下,确定所述第一目标框集合中与所述第一目标框存在交集的对象为第二目标框;确定与所述第一目标框和/或所述第二目标框存在交集的目标框集合为第二目标框子集;对所述第一目标框集合中包括的所述第二目标框子集中的目标框执行删除操作。
可选地,在执行所述删除操作之后,所述方法还包括:确定所述第一目标框集合中剩余的目标框为第二目标框集合;确定所述目标图像中第三目标框的左边界为第二局部区域的左边界,所述第三目标框为所述第二目标框集合中排序第一的目标框;在所述第三目标框的宽度大于或等于所述第一预设值的情况下,确定所述目标图像中所述第三目标框的右边界为所述第二局部区域的右边界,否则确定所述第三目标框的左边界右移所述第一预设值为所述第二局部区域的右边界;在所述第三目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第三目标框的上边界为所述第二局部区域的上边界,所述第三目标框的下边界为所述第二局部区域的下边界;确定所述目标图像中位于所述第二局部区域内的目标框集合为第三目标框子集,所述M个目标框子集包括所述第三目标框子集;对所述第二目标框集合中包括的所述第三目标框子集中的目标框执行删除操作。
可选地,所述方法还包括:在所述第三目标框的高度小于所述第二预设值的情况下,确定所述第二目标框对象集合中与所述第三目标框存在交集的对象为第四目标框;确定与所述第三目标框和/或所述第四目标框存在交集的对象集合为第四目标框子集;对所述第二目标框集合中包括的所述第四目标框子集中的目标框执行删除操作。
可选地,所述方法还包括:统计在预定时间段内所述图像采集设备的视频文件中,所述目标对象在不同时刻的种类和数量,得到拍摄区域内目标对象的动态变化信息,其中,所述拍摄区域为目标图像采集设备所拍摄的区域,所述预定时间段包括所述目标时刻,所述视频文件中包括所述目标图像。
根据本发明的另一个实施例,提供了一种确定图像中目标对象数量的装置,包括:第一输入模块,用于将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;生成模块,用于根据所述目标框在所述目标图像中的位置信息生成多张局部图;第二输入模块,用于将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,由于将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所目标框在目标图像中的位置信息,目标框用于标注目标图像中的目标对象;根据目标框在目标图像中的位置信息生成多张局部图;将局部图输入至第二网络模型,得到局部图中目标框标注的目标对象的种类和数量。因此,可以解决对开阔区域内监控对象识别的准确率较低问题,达到提高对目标对象的种类和数量识别准确率的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种确定图像中目标对象数量的方法的移动终端的硬件结构框图;
图2是根据本发明实施例的确定图像中目标对象数量的方法的流程图;
图3是根据本发明实施例一种可选的目标框的排序示意图;
图4是根据本发明实施例的确定图像中目标对象数量的装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种确定图像中目标对象数量的方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的确定图像中目标对象数量的方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的确定图像中目标对象数量的方法,图2是根据本发明实施例的确定图像中目标对象数量的的流程图,如图2所示,该流程包括如下步骤:
步骤S202,将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象。
其中,所述第一网络模型是使用多组第一训练数据通过机器学习训练得到的,所述多组第一训练数据中的每组第一训练数据包括:第一训练图像和训练框,所述训练框用于标注所述第一训练图像中的第一训练对象;
步骤S204,根据所述目标框在所述目标图像中的位置信息生成多张局部图;
其中,每张局部图的长度和宽度满足预定范围。
步骤S206,将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
其中,所述第二网络模型是使用多组第二训练数据通过机器学习训练得到的,所述多组第二训练数据中的每组第二训练数据包括:第二训练图像和所述第二训练图像中的第二训练对象的种类。
通过上述步骤,由于将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所目标框在目标图像中的位置信息,目标框用于标注目标图像中的目标对象;根据目标框在目标图像中的位置信息生成多张局部图;将局部图输入至第二网络模型,得到局部图中目标框标注的目标对象的种类和数量。因此,可以解决对开阔区域内监控对象识别的准确率较低问题,达到提高对目标对象的种类和数量识别准确率的效果。
可选地,上述步骤的执行主体可以为终端等,但不限于此。
作为一个可选的实施方式,图像采集设备可以是摄像机或监控摄像头,目标图像可以是图像采集设备对开阔区域进行拍摄的视频文件中的一帧或几帧图像。在本实施例中,图像采集设备可以实时进行图像采集,可以选用高分辨率的监控设备,调整角度让监控设备对准选择的开阔区域,对该区域的野生动物进行监控,并选择固定的帧率从监控视频中采集图片得到目标图像,目标图像中包括目标对象,目标对象可以是野生动物,也可以是行人或车辆等。
作为一个可选的实施方式,第一网络模型可以是神经网络模型,第一网络模型的使用过程可以包括三个部分:构建第一网络模型、训练第一网络模型、使用第一网络模型对目标图像进行识别。具体地,可以包括如下步骤:
步骤S1,构建第一网络模型:本实施例中采用轻量级深度神经网络ShuffleNet作为基础网络从图片中提取特征,并在SqueezeNet的fire4、fire8和fire9三个模块后连接一阶段检测框架Yolo v3的检测分支,从而构建第一网络模型;
步骤S2,训练第一网络模型:采集开阔地区场景视频和图片作为第一训练图像,图片中的对象作为第一训练对象,本实施例中图片中对象可以是野生动物对象,也可以是其他对象,例如人物、车辆等,可以通过训练框的方式对图片中的训练对象进行标注,将训练框转化为训练框中心点坐标和宽高,对深度神经网络模型进行训练得到第一网络模型。
步骤S3,使用第一网络模型对目标图像进行识别:将目标图像输入至第一网络模型,目标图像的数量可以是一张也可以是多张,得到第一网络模型输出的图片中的目标框和目标框所在的位置信息,通过目标框表示图像中的目标对象以及目标对象所在的位置。第一网络模型还输出的目标框的分数,分数可以用于表示目标框的可信度,用于表示第一网络模型输出的图像中存在目标框所表示的野生动物的可能性。可以设定一个分数阈值对第一网络模型输出的目标框进行筛选,可以确定超过该分数阈值的目标框作为最终的检测结果,以完成非极大值抑制过程。分数阈值可以根据实际情况而定,例如可以是0.5、0.3、0.8等。
作为一个可选的实施方式,可以将目标图像剪裁成多张局部图,每张局部图中均存在有第一网络模型识别出的目标框,局部图的大小满足预定范围,预定范围根预先设置好的参数和局部图中目标框的大小相关。
作为一个可选的实施方式,通过第二网络模型对局部图进行分析可以识别出局部图中所包括的目标对象的种类和数量。在本实施例中,以深度学习目标检测技术为基础构建第二网络模型,从图片目标区域融合生成的局部图中检测野生动物的位置、种类和分数。此过程包含三个部分:构建第二网络模型、训练第二网络模型、使用第二网络模型对局部图中的目标对象的种类和数量进行识别,具体可以包括如下步骤:
步骤S1,构建第二网络模型:以ShuffleNet为基础,采用Yolo v3的检测框架。
步骤S2,训练第二网络模型:采集包含第二训练对象的第二训练图像,可以通过训练框对第二训练对象进行标注,并标注出该训练框对应的第二训练对象的种类,可以将训练框转化为训练框中心点坐标和宽高。
步骤S3,使用第二网络模型对局部图中的目标对象的种类和数量进行识别:目标图像图片目标区域融合生成的局部图输入第二网络模型,得到目标框所标注的目标对象的种类和分数。分数用于表示第二网络模型输出的目标对象种类的可信度,可以设定分数阈值对目标框标注的目标对象进行筛选,并设定阈值完成非极大值抑制过程,最后剩下的目标框标注的目标对象和相应的种类为最终的检测结果,具体的分数阈值可以根据实际情况而定,例如0.5、0.8等。
可选地,所述根据所述目标框在所述目标图像中的位置信息生成多张局部图,包括:在所述目标图像中包括N个所述目标框的情况下,根据N个所述目标框分别在所述目标图像中的位置信息,按照坐标值由小到大的顺序对N个所述目标框进行排序,得到第一目标框集合,N为大于1的整数;将所述第一目标框集合拆分为M个目标框子集,每个目标框子集中包括至少一个目标框,1≤M≤N;确定每个目标子集在所述目标图像中所占的局部区域为所述局部图,所述局部区域的长度和宽度满足预定范围。
作为一个可选的实施方式,如图3是根据本发明实施例一种可选的目标框的排序示意图。在本实施例中,以x轴从小到大,y轴从小到大,并以x轴方向为主,y轴方向为辅,根据目标框左上顶点坐标对所有目标框进行排序,并生成第一目标框集合A={obj1,obj2,obj3,…},其中,objn代表排序后的第n个目标框。可以将第一目标框集合包括的多个目标框进行拆分,拆分为M个目标框子集,每个目标框子集中所包括的目标框构成一个局部图。该局部图的大小可以根据目标框子集中所包括的目标框的大小确定。
可选地,所述将所述第一目标框集合拆分为M个目标框子集,包括:确定所述目标图像中第一目标框的左边界为第一局部区域的左边界,所述第一目标框为所述第一目标框集合中排序第一的目标框;在所述第一目标框的宽度大于或等于第一预设值的情况下,确定所述目标图像中所述第一目标框的右边界为所述第一局部区域的右边界,否则确定所述第一目标框的左边界右移所述第一预设值为所述第一局部区域的右边界;在所述第一目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第一目标框的上边界为所述第一局部区域的上边界,所述第一目标框的下边界为所述第一局部区域的下边界;确定所述目标图像中位于所述第一局部区域内的目标框集合为第一目标框子集,所述M个目标框子集包括所述第一目标框子集;对所述第一目标框集合中包括的所述第一目标框子集中的目标框执行删除操作。
可选地,所述方法还包括:在所述第一目标框的高度小于所述第二预设值的情况下,确定所述第一目标框集合中与所述第一目标框存在交集的对象为第二目标框;确定与所述第一目标框和/或所述第二目标框存在交集的目标框集合为第二目标框子集;对所述第一目标框集合中包括的所述第二目标框子集中的目标框执行删除操作。
作为一个可选的实施方式,以第一网络模型输出的目标图像中的目标框的检测结果为基础,生成包含目标对象的局部图,局部图的生成方式可以包括如下步骤:
步骤S1,目标框排序,如图3所示是一种可选的目标框的排序示意图。在本实施例中,以x轴从小到大,y轴从小到大,并以x轴方向为主,y轴方向为辅,根据目标框左上顶点坐标对所有目标框进行排序,并生成第一目标框集合A={obj1,obj2,obj3,…},其中,objn代表排序后的第n个目标框;
步骤S2,固定局部区域的左边界:根据排序后的目标框的位置确定局部图所占区域,第一局部图所占的区域可以为第一局部区域。以第一目标框集合中排序第一的目标框为第一目标框,第一目标框的左边界作为第一局部区域的左边界,以此固定第一局部区域的左边界;
步骤S3,固定局部区域的右边界:判断第一目标框的宽是否大于或等于第一预设值,第一预设值可以是预先设定的局部图的宽度最小值W,W值可以根据实际情况而定,例如可以是5厘米,10厘米等。若第一目标框的宽度大于或等于第一预设值,则确定第一目标框的右边界为第一局部区域的右边界。若第一目标框的宽度小于或等于第一预设值,则将固定好的第一局部区域的左边界右移第一预设值W作为第一局部区域的右边界,以此固定出第一局部区域的右边界。
步骤S4,固定局部区域的上下边界,判断第一目标框的高度是否大于或等于第二预设值H,若大于则确定第一目标框的上下边界为第一局部区域的上下边界,以此固定第一局部区域的上下和左右边界,确定出第一局部区域,继续执行步骤S5。若判断第一目标框的高度是小于第二预设值H,则执行步骤S6;
步骤S5,判断第一目标框集合A中的目标框是否位于第一局部区域内,确定位于第一局部区域内的目标框集合第一目标框子集。在集合A中剔除第一目标框子集中的目标框;
步骤S6,在第一目标框集合A中确定出与第一目标框存在交集的目标框为第二目标框,第二目标框的数量可以是多个,依次判断第一目标框集合A中与第二目标框存在交集的目标框,将第一目标框集合A所有与第一目标框和第二目标框存在交集的目标框集合作为第二目标框子集,并在集合A中剔除第二目标框子集中的目标框。
作为一个可选的实施方式,在目标图像中剪裁出第一局部区域,以此提取出第一局部图。
可选地,在执行所述删除操作之后,所述方法还包括:确定所述第一目标框集合中剩余的目标框为第二目标框集合;确定所述目标图像中第三目标框的左边界为第二局部区域的左边界,所述第三目标框为所述第二目标框集合中排序第一的目标框;在所述第三目标框的宽度大于或等于所述第一预设值的情况下,确定所述目标图像中所述第三目标框的右边界为所述第二局部区域的右边界,否则确定所述第三目标框的左边界右移所述第一预设值为所述第二局部区域的右边界;在所述第三目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第三目标框的上边界为所述第二局部区域的上边界,所述第三目标框的下边界为所述第二局部区域的下边界;确定所述目标图像中位于所述第二局部区域内的目标框集合为第三目标框子集,所述M个目标框子集包括所述第三目标框子集;对所述第二目标框集合中包括的所述第三目标框子集中的目标框执行删除操作。
可选地,所述方法还包括:在所述第三目标框的高度小于所述第二预设值的情况下,确定所述第二目标框对象集合中与所述第三目标框存在交集的对象为第四目标框;确定与所述第三目标框和/或所述第四目标框存在交集的对象集合为第四目标框子集;对所述第二目标框集合中包括的所述第四目标框子集中的目标框执行删除操作。
作为一个可选的实施方式,确定出目标图像中的第一局部图之后,继续对目标图像进行剪裁,确定出包含目标对象的其他局部图,其他局部图可以称为第二局部图,第二局部图在目标图像中的区域可以称为第二局部区域。具体地,对第一目标框集合中第一局部区域内的目标框执行完删除操作后,剩余的目标框集合为第二目标框集合B,对第二目标框集合中的目标框执行以下步骤:
步骤S7,固定第二局部区域的左边界:以第二目标框集合中排序第一的目标框为第三目标框,第三目标框的左边界作为第二局部区域的左边界,以此固定第二局部区域的左边界;
步骤S8,固定第二局部区域的右边界:判断第三目标框的宽是否大于或等于第一预设值W。若第三目标框的宽度大于或等于第一预设值,则确定第三目标框的右边界为第二局部区域的右边界。若第三目标框的宽度小于或等于第一预设值,则将固定好的第二局部区域的左边界右移第一预设值W作为第二局部区域的右边界,以此固定出第二局部区域的右边界。
步骤S9,固定第二局部区域的上下边界,判断第三目标框的高度是否大于或等于第二预设值H,若大于则确定第三目标框的上下边界为第二局部区域的上下边界,以此固定第二局部区域的上下和左右边界,确定出第二局部区域,继续执行步骤S10。若判断第三目标框的高度是小于第二预设值H,则执行步骤S11;
步骤S10,判断第二目标框集合B中的目标框是否位于第二局部区域内,确定位于第二局部区域内的目标框集合第三目标框子集。在第二目标框集合B中剔除第一目标框子集中的目标框;
步骤S11,在第二目标框集合B中确定出与第三目标框存在交集的目标框为第四目标框,第四目标框的数量可以是多个,依次判断第二目标框集合B中与第四目标框存在交集的目标框,将第二目标框集合B所有与第三目标框和第四目标框存在交集的目标框集合作为第四目标框子集,并在集合A中剔除第四目标框子集中的目标框。
作为一个可选的实施方式,重复执行上述步骤S7到S11,直到第一目标框集合为空集,由此实现第一目标框集合拆分为M个目标框子集,每个目标框子集中的目标框组成一个局部区域,在目标图像中对应于该局部区域的图像为局部图,以此实现了目标图像的局部图划分。将目标图像中的局部图裁剪出来,其他区域填补灰色,可以按照宽比例(w_Gj/W)和高比例(h_Gj/H)缩放剪裁出来的局部图,w_Gj为剪裁出的局部图的宽,h_Gj为剪裁出的局部图的高,作为最终的局部图。
可选地,所述方法还包括:统计在预定时间段内所述图像采集设备的视频文件中,所述目标对象在不同时刻的种类和数量,得到拍摄区域内目标对象的动态变化信息,其中,所述拍摄区域为目标图像采集设备所拍摄的区域,所述预定时间段包括所述目标时刻,所述视频文件中包括所述目标图像。
作为一个可选的实施方式,以第二网络模型输出的目标图像中的目标对象的种类和数量为基础,,统计图片目标区域融合生成的所有局部图中野生动物的种类和对应数量,最后汇总所有监控区域的结果生成野生动物数量表,随着视频转化为图片流,野生动物数量表将会随着时间动态变化,图下表1是一种可选的监控区域内野生动物的监控数量表。
表1
监控区域ID 野生动物种类 野生动物种类数量
0001 种类A 10000
0001 种类B 2000
0002 种类C 500
... ... ...
本申请通过采用对图片整体进行野生动物检测,然后抽取图片部分包含目标区域进行二次目标检测的方式提高开阔地区野生动物检测的准确性,支持图片局部目标检测。本申请利用目标检测技术实现对开阔地区野生动物的自动化数量统计,并且利用目标检测获取高像素图片包好目标的区域,将目标区域进行融合,从而支持高像素图片的局部目标检测,从而获取准确性更高的野生动物检测结果。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种确定图像中目标对象数量的装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的确定图像中目标对象数量的装置的结构框图,如图4所示,该装置包括:第一输入模块42,用于将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;生成模块44,用于根据所述目标框在所述目标图像中的位置信息生成多张局部图;第二输入模块46,用于将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
可选地,上述装置还用于通过如下方式实现所述根据所述目标框在所述目标图像中的位置信息生成多张局部图:在所述目标图像中包括N个所述目标框的情况下,根据N个所述目标框分别在所述目标图像中的位置信息,按照坐标值由小到大的顺序对N个所述目标框进行排序,得到第一目标框集合,N为大于1的整数;将所述第一目标框集合拆分为M个目标框子集,每个目标框子集中包括至少一个目标框,1≤M≤N;确定每个目标子集在所述目标图像中所占的局部区域为所述局部图,所述局部区域的长度和宽度满足预定范围。
可选地,上述装置还用于通过如下方式实现所述将所述第一目标框集合拆分为M个目标框子集:确定所述目标图像中第一目标框的左边界为第一局部区域的左边界,所述第一目标框为所述第一目标框集合中排序第一的目标框;在所述第一目标框的宽度大于或等于第一预设值的情况下,确定所述目标图像中所述第一目标框的右边界为所述第一局部区域的右边界,否则确定所述第一目标框的左边界右移所述第一预设值为所述第一局部区域的右边界;在所述第一目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第一目标框的上边界为所述第一局部区域的上边界,所述第一目标框的下边界为所述第一局部区域的下边界;确定所述目标图像中位于所述第一局部区域内的目标框集合为第一目标框子集,所述M个目标框子集包括所述第一目标框子集;对所述第一目标框集合中包括的所述第一目标框子集中的目标框执行删除操作。
可选地,上述装置还用于在所述第一目标框的高度小于所述第二预设值的情况下,确定所述第一目标框集合中与所述第一目标框存在交集的对象为第二目标框;确定与所述第一目标框和/或所述第二目标框存在交集的目标框集合为第二目标框子集;对所述第一目标框集合中包括的所述第二目标框子集中的目标框执行删除操作。
可选地,上述装置还用于在执行所述删除操作之后,确定所述第一目标框集合中剩余的目标框为第二目标框集合;确定所述目标图像中第三目标框的左边界为第二局部区域的左边界,所述第三目标框为所述第二目标框集合中排序第一的目标框;在所述第三目标框的宽度大于或等于所述第一预设值的情况下,确定所述目标图像中所述第三目标框的右边界为所述第二局部区域的右边界,否则确定所述第三目标框的左边界右移所述第一预设值为所述第二局部区域的右边界;在所述第三目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第三目标框的上边界为所述第二局部区域的上边界,所述第三目标框的下边界为所述第二局部区域的下边界;确定所述目标图像中位于所述第二局部区域内的目标框集合为第三目标框子集,所述M个目标框子集包括所述第三目标框子集;对所述第二目标框集合中包括的所述第三目标框子集中的目标框执行删除操作。
可选地,上述装置还用于在所述第三目标框的高度小于所述第二预设值的情况下,确定所述第二目标框对象集合中与所述第三目标框存在交集的对象为第四目标框;确定与所述第三目标框和/或所述第四目标框存在交集的对象集合为第四目标框子集;对所述第二目标框集合中包括的所述第四目标框子集中的目标框执行删除操作。
可选地,上述装置还用于统计在预定时间段内所述图像采集设备的视频文件中,所述目标对象在不同时刻的种类和数量,得到拍摄区域内目标对象的动态变化信息,其中,所述拍摄区域为目标图像采集设备所拍摄的区域,所述预定时间段包括所述目标时刻,所述视频文件中包括所述目标图像。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;
S2,根据所述目标框在所述目标图像中的位置信息生成多张局部图;
S3,将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;
S2,根据所述目标框在所述目标图像中的位置信息生成多张局部图;
S3,将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种确定图像中目标对象数量的方法,其特征在于,包括:
将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;
根据所述目标框在所述目标图像中的位置信息生成多张局部图;
将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标框在所述目标图像中的位置信息生成多张局部图,包括:
在所述目标图像中包括N个所述目标框的情况下,根据N个所述目标框分别在所述目标图像中的位置信息,按照坐标值由小到大的顺序对N个所述目标框进行排序,得到第一目标框集合,N为大于1的整数;
将所述第一目标框集合拆分为M个目标框子集,每个目标框子集中包括至少一个目标框,1≤M≤N;
确定每个目标子集在所述目标图像中所占的局部区域为所述局部图,所述局部区域的长度和宽度满足预定范围。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一目标框集合拆分为M个目标框子集,包括:
确定所述目标图像中第一目标框的左边界为第一局部区域的左边界,所述第一目标框为所述第一目标框集合中排序第一的目标框;
在所述第一目标框的宽度大于或等于第一预设值的情况下,确定所述目标图像中所述第一目标框的右边界为所述第一局部区域的右边界,否则确定所述第一目标框的左边界右移所述第一预设值为所述第一局部区域的右边界;
在所述第一目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第一目标框的上边界为所述第一局部区域的上边界,所述第一目标框的下边界为所述第一局部区域的下边界;
确定所述目标图像中位于所述第一局部区域内的目标框集合为第一目标框子集,所述M个目标框子集包括所述第一目标框子集;
对所述第一目标框集合中包括的所述第一目标框子集中的目标框执行删除操作。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述第一目标框的高度小于所述第二预设值的情况下,确定所述第一目标框集合中与所述第一目标框存在交集的对象为第二目标框;
确定与所述第一目标框和/或所述第二目标框存在交集的目标框集合为第二目标框子集;
对所述第一目标框集合中包括的所述第二目标框子集中的目标框执行删除操作。
5.根据权利要求3或4所述的方法,其特征在于,在执行所述删除操作之后,所述方法还包括:
确定所述第一目标框集合中剩余的目标框为第二目标框集合;
确定所述目标图像中第三目标框的左边界为第二局部区域的左边界,所述第三目标框为所述第二目标框集合中排序第一的目标框;
在所述第三目标框的宽度大于或等于所述第一预设值的情况下,确定所述目标图像中所述第三目标框的右边界为所述第二局部区域的右边界,否则确定所述第三目标框的左边界右移所述第一预设值为所述第二局部区域的右边界;
在所述第三目标框的高度大于或等于第二预设值的情况下,确定所述目标图像中所述第三目标框的上边界为所述第二局部区域的上边界,所述第三目标框的下边界为所述第二局部区域的下边界;
确定所述目标图像中位于所述第二局部区域内的目标框集合为第三目标框子集,所述M个目标框子集包括所述第三目标框子集;
对所述第二目标框集合中包括的所述第三目标框子集中的目标框执行删除操作。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述第三目标框的高度小于所述第二预设值的情况下,确定所述第二目标框对象集合中与所述第三目标框存在交集的对象为第四目标框;
确定与所述第三目标框和/或所述第四目标框存在交集的对象集合为第四目标框子集;
对所述第二目标框集合中包括的所述第四目标框子集中的目标框执行删除操作。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
统计在预定时间段内所述图像采集设备的视频文件中,所述目标对象在不同时刻的种类和数量,得到拍摄区域内目标对象的动态变化信息,其中,所述拍摄区域为目标图像采集设备所拍摄的区域,所述预定时间段包括所述目标时刻,所述视频文件中包括所述目标图像。
8.一种确定图像中目标对象数量的装置,其特征在于,包括:
第一输入模块,用于将由图像采集设备在目标时刻拍摄得到的目标图像输入至第一网络模型,得到目标框和所述目标框在所述目标图像中的位置信息,其中,所述目标框用于标注所述目标图像中的目标对象;
生成模块,用于根据所述目标框在所述目标图像中的位置信息生成多张局部图;
第二输入模块,用于将所述局部图输入至第二网络模型,得到所述局部图中所述目标框标注的所述目标对象的种类和数量。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述程序可被终端设备或计算机运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202010713691.5A 2020-07-22 2020-07-22 确定图像中目标对象数量的方法及装置 Pending CN111860344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713691.5A CN111860344A (zh) 2020-07-22 2020-07-22 确定图像中目标对象数量的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713691.5A CN111860344A (zh) 2020-07-22 2020-07-22 确定图像中目标对象数量的方法及装置

Publications (1)

Publication Number Publication Date
CN111860344A true CN111860344A (zh) 2020-10-30

Family

ID=72950981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713691.5A Pending CN111860344A (zh) 2020-07-22 2020-07-22 确定图像中目标对象数量的方法及装置

Country Status (1)

Country Link
CN (1) CN111860344A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284164A (zh) * 2021-05-19 2021-08-20 中国农业大学 虾群自动计数方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
US20200184260A1 (en) * 2018-12-11 2020-06-11 Industrial Technology Research Institute Object detection method using cnn model and object detection apparatus using the same
CN111353342A (zh) * 2018-12-21 2020-06-30 浙江宇视科技有限公司 肩头识别模型训练方法、装置、人数统计方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416250A (zh) * 2017-02-10 2018-08-17 浙江宇视科技有限公司 人数统计方法及装置
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
US20200184260A1 (en) * 2018-12-11 2020-06-11 Industrial Technology Research Institute Object detection method using cnn model and object detection apparatus using the same
CN111353342A (zh) * 2018-12-21 2020-06-30 浙江宇视科技有限公司 肩头识别模型训练方法、装置、人数统计方法、装置
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技(深圳)有限公司 一种图像目标检测方法、装置及存储介质
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284164A (zh) * 2021-05-19 2021-08-20 中国农业大学 虾群自动计数方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2021042682A1 (zh) 变电站异物识别方法、装置、系统、电子设备和存储介质
CN110378235A (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN111898581A (zh) 动物检测方法、装置、电子设备及可读存储介质
CN110310301B (zh) 一种检测目标对象的方法及装置
CN111008561A (zh) 一种牲畜的数量确定方法、终端及计算机存储介质
CN105637343A (zh) 检测控制装置、程序、检测系统、存储介质和检测控制方法
CN111382808A (zh) 一种车辆检测处理方法及装置
CN112307853A (zh) 航拍图像的检测方法、存储介质和电子装置
CN113312957A (zh) 基于视频图像的脱岗识别方法、装置、设备及存储介质
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN111598176B (zh) 一种图像匹配处理方法及装置
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN111401215A (zh) 一种多类别目标检测的方法及系统
CN114051630A (zh) 多种杂草检测
CN114241012B (zh) 一种高空抛物的判定方法及装置
CN115512238A (zh) 病害区域的确定方法、装置、存储介质及电子装置
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111860344A (zh) 确定图像中目标对象数量的方法及装置
CN110414322B (zh) 提取图片的方法、装置、设备及存储介质
CN111506769A (zh) 视频文件的处理方法、装置、存储介质及电子装置
CN114724011B (zh) 一种行为的确定方法、装置、存储介质及电子装置
CN116152177A (zh) 疫木识别方法、装置、计算机设备及计算机可读存储介质
CN112804446B (zh) 基于云平台大数据的大数据处理方法及装置
CN116580054A (zh) 视频数据处理方法、装置、设备以及介质
CN112766481B (zh) 神经网络模型的训练方法、装置及图像检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination