CN115151949A - 目标物归集方法、设备和存储介质 - Google Patents

目标物归集方法、设备和存储介质 Download PDF

Info

Publication number
CN115151949A
CN115151949A CN202280002333.0A CN202280002333A CN115151949A CN 115151949 A CN115151949 A CN 115151949A CN 202280002333 A CN202280002333 A CN 202280002333A CN 115151949 A CN115151949 A CN 115151949A
Authority
CN
China
Prior art keywords
density
density map
target object
map
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280002333.0A
Other languages
English (en)
Inventor
王雷
陈熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecoflow Technology Ltd
Original Assignee
Ecoflow Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecoflow Technology Ltd filed Critical Ecoflow Technology Ltd
Publication of CN115151949A publication Critical patent/CN115151949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种目标物归集方法包括:对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。

Description

目标物归集方法、设备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种目标物归集方法、设备和存储介质。
背景技术
这里的陈述仅提供与本申请有关的背景信息,而不必然地构成示例性技术。
随着计算机技术和人工智能技术的不断进步,类似于智能目标物归集设备的自动化工作设备已经开始慢慢的走进人们的生活。例如,通过小型低功耗的目标物归集设备来实现对纸屑、落叶以及杂物等目标物的归集,以提高清理效率。但是,目前常见的具有清理功能的目标物归集设备,无论目标物归集设备所在区域内是否有待清理的目标物都会执行一遍清理功能,大大增加目标物归集设备的工作量,影响目标物的归集效率。
发明内容
根据本申请的各种实施例,提供了一种目标物归集方法、设备和存储介质。
第一方面,本申请实施例提供了一种目标物归集方法,所述方法包括:
对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;
在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;
根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。
第二方面,本申请实施例提供了一种目标物归集装置,所述装置包括:
获取模块,被配置为对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;
确定模块,被配置为在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;
生成模块,被配置为根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。
第三方面,本申请实施例提供了一种目标物归集设备,包括存储器和处理器;
所述存储器被配置为存储计算机程序;
所述处理器,被配置为执行所述计算机程序并在执行所述计算机程序时,实现如上第一方面所述的目标物归集方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述目标归集方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其他特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中目标物归集方法的场景架构图。
图2为本申请实施例中目标物归集方法的流程图。
图3为本申请实施例中密度和密度等级协同估计模型的网络结构示意图。
图4为本申请实施例中环境图像的密度图的示意性图。
图5为本申请实施例中密度图的密度等级示意图。
图6为本申请实施例中区域密度图的示意性图。
图7为本申请实施例提供的目标物归集设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是,本申请实施例提供的目标物归集方法、装置、设备及存储介质,可以减少目标物归集设备的工作量,提高目标物归集效率。
可以理解的是,本申请实施例提供的目标物归集方法能够应用于任意具有图像处理能力的目标物归集设备。该目标物归集设备可以是具有中央处理器(CentralProcessing Unit,CPU)和/或图形处理器(Graphics Processing Unit,GPU)的设备。其中,目标物归集设备包括但不限于割草设备、扫地机器人或垃圾清理设备等可以自移动的设备。该目标物归集设备也可以同时具有CPU和GPU,在有些情况下,该目标物归集设备可以与终端和/或服务器协同实现上述目标物归集方法。其中,终端包括但不限于个人计算机、工作站等。服务器可以是独立的,也可以是服务器集群。
在实际应用时,本申请提供的目标物归集方法包括但不限于应用在如图1所示的应用环境中。
如图1所示,目标物归集设备120与摄像机140、终端160通过网络连接、摄像机140可以对一个地理区域例如广场、公园等区域进行拍摄得到对应地理区域的环境图像。该环境图像中包括有纸屑、落叶和/或其它杂物等目标物;目标物归集设备120中部署有目标物归集装置1200,该目标物归集装置1200的功能可以在逻辑上划分成多个模块,每个模块可以具有不同的功能,每个模块的功能由目标物归集设备120中的处理器读取并执行存储器中的指令来实现。
示例性地,目标物归集装置1200可以包括获取模块1201、确定模块1202和生成模块1203。在一种具体实现方式中,该目标物归集装置1200可以执行下文描述的步骤S201-S203中描述的内容。需要说明的是,本申请实施例仅对目标物归集装置1200的结构和功能模块进行示例性。
其中,获取模块1201,被配置为可以从摄像机140获取对环境图像进行目标物密度分析,获取目标物在环境图像中分布的密度图和对应密度图的密度等级;确定模块1202,被配置为可以根据获取模块1201获取的密度等级与预设等级阈值,确定在密度等级满足预设等级阈值时,根据获取模块1201获取的密度图和密度等级确定目标物在密度图中的目标区域;生成模块1203,被配置为可以根据目标物在密度图中的目标区域生成控制指令,其中,控制指令用于控制目标物归集设备运行至目标区域后对目标物进行归集。进一步,在本实施例中,目标物归集设备120还可以将控制指令发送至终端160,终端根据控制指令控制目标物归集设备120运行至目标区域后对目标物进行归集。
另外,在一些可能的情况中,上述的目标物归集装置1200包括的多个模块中的部分模块的也可以合并为一个模块,例如,上述的获取模块1201和确定模块1202可以合并为分析模块,也即,该分析模块集合了获取模块1201和确定模块1202的功能。
在本申请实施例中,上述介绍的目标物归集装置1200可以灵活的部署。例如,目标物归集装置1200可以部署在终端160。终端160通过处理器读取并执行存储器中的指令来生成控制目标物归集设备的控制指令,根据生成的控制指令控制目标物归集设备运行至目标区域后对目标物进行归集。
请参阅图2所示,图2为本申请实施例中目标物归集方法的流程图。需要说明的是,图2是从目标物归集设备的角度对本申请实施例提供的目标物归集方法的各个步骤进行详细说明。其中,目标物归集设备可以是垃圾清理设备、割草设备或者扫地机器人等。
由图2可知,本申请实施例提供的目标物归集方法包括步骤S201至步骤S203。详述如下:
S201,对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级。
其中,环境图像中包括待归集的目标物,该目标物可以是任意待归集对象。在不同的地理区域内,目标物可以是不同的待归集对象。例如,在广场区域内,待归集对象可以是纸屑、水果皮等待归集的垃圾,基于该广场区域的环境图像进行垃圾密度分析,获取对应环境图像的密度图和密度图对应的密度等级,可以实现基于环境图像的密度图和密度等级,从环境图像中确定堆积有一定程度垃圾的区域,有效防止垃圾收集设备在不存在垃圾的区域进行垃圾归集,提高垃圾归集的效率。
又如,在草坪修剪区域,待归集对象可以是落叶等,基于该草坪修剪区域的环境图像进行落叶密度分析,获取草坪修剪区域的环境图像的密度图和密度图对应的密度等级,可以实现基于环境图像的密度图和密度图对应的密度等级,从环境图像中确定堆积有一定程度落叶的区域,有效防止割草设备在不存在落叶的区域进行落叶归集,提高落叶归集的效率。
可以理解的是,需要进行目标物归集的地理区域如广场、道路或者草坪等场所一般部署有摄像机,摄像机中至少包括摄像头,该摄像机可以通过摄像头对上述地理区域进行拍摄得到环境图像,目标物归集设备可以从摄像机获取对应的环境图像。需要说明的是,目标物归集设备可以接收摄像机发送的环境图像,也可以是主动从摄像机获取对应的环境图像,还可以直接将摄像机安装在目标物归集设备上。目标物归集设备可以实时获取对应的环境图像,也可以是按照预设周期获取对应的环境图像,本实施例对此不作限定。
此外,安装在需要进行目标物归集的地理区域如广场、道路或者草坪等场所的摄像机,还可以将拍摄得到的环境图像发送至终端或者服务器。由终端或者服务器对环境图像进行分析,并在终端或者服务器得到目标物在环境图像的密度图中的目标区域后,由终端或者服务器生成控制指令,并由终端或者服务器将生成的控制指令发送至目标物归集设备,以控制目标物归集设备运转至目标区域对目标物进行归集,本实施例对此不作限定。
在一实施方式种,当检测到目标物时,获取环境图像。
具体地,通过深度学习的检测算法检测到摄像机拍摄的图像有目标物时,确定包括目标物的图像为环境图像,使得不包括目标物的图像不做目标物密度分析处理,减少机器的计算量,从而提高目标物密度分析的效率。
在具体实施时,对环境图像进行目标物密度分析可以是评估目标物密集程度的过程,具体需要从环境图像中评估出目标物的密集程度满足预设收集条件的区域,并作为目标物归集的目标区域,以防止目标物归集设备在不满足预设收集条件的区域进行目标物归集,也就是防止目标物归集设备在目标物不够密集的区域进行目标物归集,目标物归集设备在满足预设收集条件的区域进行目标物归集能够有效减少目标物归集设备的工作量,提高目标物归集效率。
示例性地,对环境图像进行目标物密度分析,获取环境图像的密度图和密度图的密度等级,可以包括:获取环境图像的特征图;对提取的特征图进行分割,得到环境图像的密度图;根据预设密度值对环境图像的特征图进行分类,以确定环境图像的密度图对应的密度等级,密度值与密度等级一一对应。
具体地,可以基于预训练的密度和密度等级协同估计模型,得到环境图像的密度图和密度图对应的密度等级。其中,预训练的密度和密度等级协同估计模型可以对环境图像中的目标物进行检测,确定环境图像中目标物的密集程度,得到密度图;进一步对环境图像的密度图进行分类,评估出密度图对应的密度等级。
示例性地,如图3所示,图3为本申请实施例提供的密度和密度等级协同估计模型的网络结构示意图。
由图3可知,在本实施例中,密度和密度等级协同估计模型300包括特征图提取网络层301、特征图分割网络层302和特征图分类网络层303。其中,密度和密度等级协同估计模型300是一种对图像中目标物的密度和密度等级进行估计的网络,其以环境图像为输入,以环境图像对应的密度图和密度图的密度等级为输出。具体地,将环境图像输入至特征图提取网络层301,特征图提取网络层301可以提取环境图像中的特征图,通过特征图分割网络层302对特征图提取网络层301提取的特征图进行分割,得到环境图像的密度图,通过特征图分类网络层303基于预设密度值对特征图提取网络层301提取的特征图进行分类,得到环境图像的密度图对应的密度等级。
具体地,特征图提取网络层301可以是密度和密度等级协同估计模型300的共享特征提取层,该共享特征提取层用于提取环境图像中的特征图。特征图分割网络层302可以是密度和密度等级协同估计模型300的分割任务层,该分割任务层能够用于对特征图提取网络层301提取的特征图进行分割,得到环境图像的密度图。特征图分类网络层303可以是密度和密度等级协同估计模型300的分类任务层,该分类任务层能够基于预设密度值对特征图提取网络层301提取的特征图进行分类,得到环境图像的密度图对应的密度等级。
具体可以参见图4和图5所示,图4示出了环境图像的密度图中各像素点的像素值。图5示出了密度图的密度等级。
其中,图4所示密度图304中每个像素点,其中各像素点的像素值用于表征输入环境图像中对应像素点的密度。具体地,如像素点1、像素点2、像素点3,…,像素点n等,该密度图304可以展示环境图像的密度分布情况,进而展示目标物的分布情况。具体地,密度图304中对应像素点的像素值可以表征目标物的聚集状况,像素值越大的像素点表征目标物越聚集,像素值越小的像素点表征目标物越分散。例如,区域3041内各像素点的像素值为0.2或者大于0.2,区域3042内各像素点的像素值为0,则可以基于区域3041内各像素点的像素值和区域3042内各像素点的像素值,确定区域3041内的密度分布大于区域3042的密度分布,进而确定目标物集中分布在区域3041内,而在区域3042内不存在目标物,或者存在密集程度较低的目标物,而在目标物密集程度较低的区域无法触发对该区域内进行目标物清理的条件。也就是说,像素值越大的像素点对应的区域,目标物越集中,像素值越小的像素点对应的区域,目标物越分散。通过环境图像的密度图,有效反映出目标物的分布情况,有利于基于目标物的分布情况进而确定存在目标物的区域,避免对不存在目标物的区域进行目标物收集,提高目标物收集效率。
图5所示密度等级示意图305中的每个值,分别代表不同的密度值,本申请实施例采用密度概率值来表示密度值,即密度概率值与密度等级一一对应。具体地,如密度概率值分别为0.1、0.2、0.3,…,1,其分别代表对应的密度等级为第1等级、第2等级、第3等级,…,第10等级等。也就是说,密度图和密度等级协同估计模型300会对环境图像的特征图进行分割,得到各特征图对应的密度图,并对对应的密度图进行分类。根据各密度图的密度概率值,得到各密度图的密度等级后,同时输出环境图像的密度图和对应密度图的密度等级。使得目标物归集设备在判断出密度图对应的密度等级满足预设等级阈值时,根据密度图和对应的密度等级确定环境图像中存在目标物的目标区域,以控制目标物归集设备在目标区域进行目标物归集,提高目标物归集效率。具体地,密度概率值与目标物的分布情况呈正比关系,也就是说,密度概率越大,对应的密度等级越高,目标物的分布越集中。密度概率值越小,对应的密度等级越低,目标物分布越离散。
具体地,当密度等级大于或等于预设等级阈值时,判定密度等级满足预设等级阈值,进而根据密度图和对应的密度等级确定环境图像中存在目标物的目标区域,以控制目标物归集设备在目标区域进行目标物归集,提高目标物归集效率。
其中,预设等级阈值可以由专业人员进行预定义,例如为0.7或者0.8等。
需要说明的是,本申请实施例提供的多任务协同深度学习模型可以通过对一个深度学习模型进行训练后获得。其中,深度学习模型可以是卷积神经网络模型,例如可以是多列卷积神经网络(multicolumn convolutional neural network,MCNN)、规模自适应卷积神经网络(scaleadaptive CNN,SaCNN)或者拥挤场景识别网络(congested scenerecognition net,CSRNet)、多任务协同神经网络(Perspective Crowd Counting viaSpatial Convolutional Network,PCC-NET)等模型。
以PCC-NET为例,该网络与常见的多任务协同神经网络相比,去除了数据在传输层(Transmission)与分割层(Segmentation Map)之间的数据传递过程。具体地,常见的多任务协同神经网络需要通过传输层将共享特征提取层提取的特征图传输至分割层,分割层对特征图进行语义分割和实例分割后,将具有不同语义的图像部分再通过传输层回传至对应的任务检测层。而本实施例中,该网络通过共享特征提取层直接与分割任务层和分类任务层连接,有效避免了传输层与分割层之间的数据传递过程,且实现了两种类型信息的输出。其中,两种类型信息的输出分别为密度图和密度图等级。本实施例实现了将密度图和密度图等级相结合来确定目标物在环境图像中的分布,进而实现控制目标物归集设备在存在目标物的区域进行目标物归集,避免目标物归集设备在不存在目标物的区域执行目标物归集操作,尤其是在目标物归集设备的处理能力有限,或者目标物归集设备电量不足时,本实施例能够有效避免目标物归集设备资源的浪费,提高工作效率。
在具体实现时,上述密度和密度等级协同估计模型的训练过程,可以通过服务器实现。例如可以通过云端服务器或者本地服务器完成对密度和密度等级协同估计模型的训练,并由云端服务器或者本地服务器下发至目标物归集设备。其中,对密度和密度等级协同估计模型的训练过程在本实施例中不做具体限定。
S202,在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域。
若环境图像的密度图的密度等级大于或者等于预设等级阈值时,则判定环境图像的密度图的密度等级满足预设等级阈值。其中,密度等级阈值可以根据实际场景进行预定义。
在根据密度图和密度等级确定目标物在密度图中的目标区域时,可以根据密度图中各像素点的像素值对密度图进行第一预处理,以去除密度图中不包含目标物的区域,再将第一预处理后的密度图与密度等级进行融合处理,确定出包含有目标物的目标区域。以控制目标物归集设备在目标区域进行目标物归集,有效避免目标物归集设备在不包含目标物的区域执行目标物归集任务,造成电量以及CPU的浪费,提高目标物归集效率的同时,达到节省目标物归集设备资源消耗的目的。其中,第一预处理过程是基于像素值进行像素点过滤的过程,以过滤掉密度图中像素值低于预设像素阈值的点,并进一步地基于过滤后的像素点的像素值确定密度图中目标物密集的区域。
在一实施例中,根据密度图和密度等级确定目标物在密度图中的目标区域,可以包括:根据预设像素阈值对密度图进行第一预处理。将第一预处理后的密度图与密度等级进行融合处理,得到各个目标物在第一预处理后的密度图中的分布区域。对各个分布区域进行筛选,以确定目标区域。
在一实施例中,根据预设像素阈值对密度图进行第一预处理,可以包括:对密度图进行第二预处理。将第二预处理后的密度图中的像素值大于预设像素阈值的像素点作为第一像素点,并将除第一像素点之外的像素点作为第二像素点。对第一像素点和第二像素点进行二值化处理,得到二值化图像。将第二预处理后的密度图和二值化图像进行融合,得到第一预处理后的密度图。
在具体实施时,根据预设像素值对密度图进行第一预处理,可以过滤掉密度图中的部分像素点,例如过滤掉10%的像素点,以有效降低目标物归集设备对密度图处理的功耗,提高对密度图处理的效率。示例性地,第一预处理可以通过预设像素阈值的方式进行密度图中预设数量像素点的过滤。具体地,预设像素阈值为与需过滤的像素点数量相关。例如,若需要过滤掉10%的像素点,取预设像素阈值为最大像素值除以10得到的整数值。又如,若需要过滤掉15%的像素点,去预设像素阈值为最大像素值除以15得到的整数值。本实施例可以通过将密度图像中部分像素点进行过滤,不仅提高了对目标物分布情况的分析效率,同时能够有效降低目标物归集设备的功耗。
在具体实施时,对密度图进行第二处理的过程,可以包括:对密度图进行灰度化处理;将灰度化处理后的密度图进行归一化处理,并将归一化处理得到的密度图作为第二预处理后的密度图。
其中,对密度图可以基于分量法、最大值法、平均值法或者加权平均法中的任意一种算法进行灰度化处理,将多通道的密度图转化为单通道的灰度图。
具体地,分量法是将多通道的彩色图像中的三分量的亮度作为三个灰度图像的灰度值,在具体实施例中可以根据应用需要选取灰度图像的灰度值的灰度化处理。最大值法是将多通道的彩色图像中的三分量亮度的最大值作为灰度图的灰度值的灰度化处理。平均值法是将多通道的彩色图像中的三分量亮度求平均值得到灰度图的灰度值的灰度化处理。加权平均法是根据重要性及其它指标,将多通道的彩色图像中三个分量以不同的权值进行加权平均,得到灰度图像的灰度值的灰度化处理。
在具体实施中,可以灵活选取上述灰度化处理的任意一种进行密度图的灰度化处理,在此不做任何限定。
应理解,本实施例在将灰度化处理后的单一通道密度图,再进行归一化处理后,可以将密度图中各个像素点的像素值归一化在0至255之间。本实施例可以进一步将各个像素点的像素值与预设像素阈值进行比较,以大于预设像素阈值的像素点作为第一像素点,将除第一像素点之外的其它像素点作为第二像素点。
在具体实施时,可以分别将各第一像素点的像素值设置为1,将各第二像素点的像素值设置为0,实现对第一像素点和第二像素点的二值化处理,得到二值化图像;进一步将第二预处理后的密度图中各个像素点的像素值分别和二值化图像中对应各个像素点的像素值进行相乘,实现对第二预处理后的密度图和二值化图像的融合,在对第二预处理后的密度图和二值化图像的进行融合时,能够有效去除二值化图像中像素值为0的各个像素点,去除了密度图中不包含目标物区域的部分。进而对只包含有目标物的密度图进行目标物分布情况分析,能够高效准地对目标物分布区域进行筛选,以确定需要进行目标物归集的目标区域,提高对目标物的归集效率。
在一实施例中,将第一预处理后的密度图与密度等级进行融合处理,得到各个目标物在第一预处理后的密度图中的分布区域,可以包括:将第一预处理后的密度图中的每个像素值和密度等级进行相乘,得到区域密度图;对区域密度图进行二值化处理;根据二值化处理后的区域密度图,划分各个目标物所在的分布区域。
其中,第一预处理后的密度图为过滤掉部分像素点的密度图,具体地,过滤掉的部分像素点对应的像素值不满足预设像素阈值,例如小于或者等于预设像素阈值。
在具体实施例时,可以将过滤掉部分像素点的密度图中的每个像素值和密度等级进行相乘,有效减少目标物归集设备的工作量,降低目标物归集设备功耗的同时提高了工作效率。
具体地,区域密度图中各像素点的像素值可以用于表征环境图像中对应像素点的密度,因此,该区域密度图可以展示环境图像的密度分布情况,进而展示目标物分布情况。具体地,区域密度图中像素值为0的像素点聚集的区域,可以表征环境图像的对应区域不存在目标物,区域密度图中像素值不为0的像素点聚集的区域,可以表征环境图像的对应区域存在目标物,环境图像中的目标物可以通过区域密度图中像素值呈不同分布的多个像素点表征,因此,可以根据多个像素点的像素值对区域密度图中目标物所在的各个分布区域进行划分。
在一实施例中,可以通过对区域密度图进行二值化处理,例如,将表征有目标物聚集的区域内多个像素点的像素值分别以预设阈值进行二值化处理,将表征有目标物聚集的区域内各像素点的像素值设置为1,将表征没有目标物聚集的区域内各像素点的值设置为0,根据二值化处理后的区域密度图,可以更高效划分出目标物所在的各个分布区域。
具体地,请参阅图6所示,图6为本申请实施例中区域密度图对应的二值化处理后的区域密度图。由图6可知,二值化处理后的区域密度图610中,区域611和区域612内的像素值为1,其余区域内的像素值为0。像素值为1,表征对应的区域611和区域612内存在目标物,像素值为0,表征除区域611和区域612外,其它区域不存在目标物。在具体实施时,可以预先根据各区域内的像素值进行区域标签类别设置,或者也称为先根据各区域内的像素值进行像素值类别设置。具体地,区域标签类别与区域内的像素值存在关联映射关系。像素值为1的区域标签类别代表该区域内有目标物聚集,像素值为0的区域标签类别代表该区域内没有目标物聚集。其中,区域标签类别可以由数字、符号、文字或者数字、符号与文字的任意组合构成,具体不做任何限定。
在一实施例中,对各个分布区域进行筛选,以确定目标区域,可以包括:获取各个分布区域所对应的类别。将同一类别的分布区域进行连通,以得到多个连通区域。获取多个连通区域的面积;将面积大于或等于预设的面积阈值的连通区域确定为目标区域。
其中,各个分布区域所对应的类别包括预先设置的区域标签类别,区域标签类别代表对应分布区域内存在目标物或者不存在目标物,将存在目标物的各个分布区域进行连通,可以得到存在目标物的各个分布区域的连通区域。进一步地,预设的面积阈值的大小可以预先根据目标物归集需要进行设置,具体不做任何限定。
S203,根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。
目标区域为包含有目标物的分布区域,且目标区域的面积大于预设面积阈值。根据目标区域生成控制指令,该控制指令用于控制目标物归集设备运行至目标区域,并在目标区域对目标物进行归集。
通过上述分析可知,本申请实施例提供的目标物归集方法、装置、设备和存储介质,首先需要对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;然后在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;再根据所述目标区域生成控制指令,其中,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。通过根据目标物在环境图像中的密度图和密度图对应的密度等级,确定目标物所在的目标区域,能够有效控制目标物归集设备在目标物比较集中的目标区域内进行目标物归集,而无需进行全区域目标物归集,有效减少目标物归集设备的工作量,提高目标物归集的效率。
上文中结合图1至图6,详细描述了本申请所提供的目标物归集方法,下面将结合附图,描述根据本申请所提供的目标物归集装置和目标物归集设备。
参见图1所示的系统架构图中目标物归集装置的结构示意图,目标物归集装置1200包括:
获取模块1201,被配置为对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;
确定模块1202,被配置为在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;
生成模块1203,被配置为根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。
在一实施例中,获取模块1201,包括:
获取单元,用于获取所述环境图像的特征图;得到单元,用于对所述特征图进行分割,得到所述密度图;分类单元,用于根据预设密度值对所述特征图进行分类,以确定所述密度等级,所述密度值与所述密度等级一一对应。
在一实施例中,确定模块1202,包括:第一处理单元,用于根据预设像素阈值对所述密度图进行第一预处理;第二处理单元,用于将所述第一预处理后的密度图与所述密度等级进行融合处理,得到各个目标物在所述第一预处理后的密度图中的分布区域;筛选单元,用于对各个分布区域进行筛选,以确定目标区域。
在一实施例中,第一处理单元,包括:第一处理子单元,用于对所述密度图进行第二预处理;将所述第二预处理后的密度图中的像素值大于预设像素阈值的像素点作为第一像素点,并将除所述第一像素点之外的像素点作为第二像素点;第二处理子单元,用于对所述第一像素点和所述第二像素点进行二值化处理,得到二值化图像;融合子单元,用于将所述第二预处理后的密度图和所述二值化图像进行融合,得到第一预处理后的密度图。
在一实施例中,第一处理子单元,具体用于:对所述密度图进行灰度化处理;将所述灰度化处理后的密度图进行归一化处理,并将所述归一化处理得到的密度图作为所述第二预处理后的密度图。
在一实施例中,第二处理单元,包括:第一得到子单元,用于将所述第一预处理后的密度图中的每个像素值和所述密度等级进行相乘,得到区域密度图;第三处理子单元,用于对所述区域密度图进行二值化处理;划分子单元,用于根据所述二值化处理后的区域密度图,划分各个目标物所在的分布区域。
在一实施例中,筛选单元,包括:第一获取子单元,用于获取各个分布区域所对应的类别;第二得到子单元,用于将同一类别的分布区域进行连通,以得到多个连通区域;第二获取子单元,用于获取多个所述连通区域的面积;确定子单元,用于将所述面积大于或等于预设的面积阈值的连通区域确定为目标区域。
在一实施例种,获取模块1201,包括环境图像获取单元,用于当检测到目标物时,获取环境图像。
根据本申请实施例的对象计数装置可对应于执行本申请实施例中描述的方法,并且对象计数装置中的各个模块的上述和其它操作和/或功能分别为了实现图2中的各个方法的相应流程,为了简洁,在此不再赘述。
另外需说明的是,以上所描述的实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
请参阅图7所示,图7为本申请实施例提供的目标物归集设备的示意性框图。
如图7所示,目标物归集设备100包括处理器101、存储器102、通信接口103和总线104。其中,处理器101、存储器102、通信接口103通过总线104进行通信,也可以通过无线传输等其他手段实现通信。该存储器102存储可执行程序代码,且处理器101可以调用存储器102中存储的程序代码执行前述方法实施例中的目标物归集方法。
应理解,在本申请实施例中,该处理器101可以是中央处理单元CPU,该处理器101还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
该存储器102可以包括只读存储器和随机存取存储器,并向处理器101提供指令和数据。存储器102还可以包括非易失性随机存取存储器。例如,存储器102还可以存储数据集。
该存储器102可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
该总线104除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线104。
应理解,根据本申请实施例的目标物归集设备120可对应于本申请实施例中的目标物归集装置,并可以对应于执行根据本申请实施例中图2所示方法中的相应主体,并且目标物归集设备120中的各个器件的上述和其它操作和/或功能分别为了实现图2中的各个方法的相应流程,为了简洁,在此不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。
但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (10)

1.一种目标物归集方法,所述方法包括:
对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级;
在所述密度等级满足预设等级阈值时,根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域;
根据所述目标区域生成控制指令,所述控制指令用于控制所述目标物归集设备运行至所述目标区域后对所述目标物进行归集。
2.根据权利要求1所述的方法,其中,所述对环境图像进行目标物密度分析,获取所述环境图像的密度图和所述密度图的密度等级,包括:
获取所述环境图像的特征图;
对所述特征图进行分割,得到所述密度图;
根据预设密度值对所述特征图进行分类,以确定所述密度等级,所述密度值与所述密度等级一一对应。
3.根据权利要求1所述的方法,其中,所述根据所述密度图和所述密度等级确定所述目标物在所述密度图中的目标区域,包括:
根据预设像素阈值对所述密度图进行第一预处理;
将所述第一预处理后的密度图与所述密度等级进行融合处理,得到各个目标物在所述第一预处理后的密度图中的分布区域;
对各个分布区域进行筛选,以确定目标区域。
4.根据权利要求3所述的方法,其中,所述根据预设像素阈值对所述密度图进行第一预处理,包括:
对所述密度图进行第二预处理;
将所述第二预处理后的密度图中的像素值大于预设像素阈值的像素点作为第一像素点,并将除所述第一像素点之外的像素点作为第二像素点;
对所述第一像素点和所述第二像素点进行二值化处理,得到二值化图像;
将所述第二预处理后的密度图和所述二值化图像进行融合,得到第一预处理后的密度图。
5.根据权利要求4所述的方法,其中,所述对所述密度图进行第二预处理,包括:
对所述密度图进行灰度化处理;
将所述灰度化处理后的密度图进行归一化处理,并将所述归一化处理得到的密度图作为所述第二预处理后的密度图。
6.根据权利要求4所述的方法,其中,所述将所述第一预处理后的密度图与所述密度等级进行融合处理,得到各个目标物在所述第一预处理后的密度图中的分布区域,包括:
将所述第一预处理后的密度图中的每个像素值和所述密度等级进行相乘,得到区域密度图;
对所述区域密度图进行二值化处理;
根据所述二值化处理后的区域密度图,划分各个目标物所在的分布区域。
7.根据权利要求3所述的方法,其中,所述对各个分布区域进行筛选,以确定目标区域,包括:
获取各个分布区域所对应的类别;
将同一类别的分布区域进行连通,以得到多个连通区域;
获取多个所述连通区域的面积;
将所述面积大于或等于预设的面积阈值的连通区域确定为目标区域。
8.根据权利要求1所述的方法,其中,所述方法还包括:
当检测到目标物时,获取环境图像。
9.一种目标物归集设备,包括存储器和处理器;
所述存储器被配置为存储计算机程序;
所述处理器,被配置为执行所述计算机程序并在执行所述计算机程序时,实现如权利要求1至8任一项所述目标归集方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至8任一项所述目标归集方法的步骤。
CN202280002333.0A 2022-06-02 2022-06-02 目标物归集方法、设备和存储介质 Pending CN115151949A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/096974 WO2023231021A1 (zh) 2022-06-02 2022-06-02 目标物归集方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115151949A true CN115151949A (zh) 2022-10-04

Family

ID=83416455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280002333.0A Pending CN115151949A (zh) 2022-06-02 2022-06-02 目标物归集方法、设备和存储介质

Country Status (2)

Country Link
CN (1) CN115151949A (zh)
WO (1) WO2023231021A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041484A (zh) * 2023-07-18 2023-11-10 中建科工集团运营管理有限公司 基于物联网的人流密集区域监控方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125235A1 (en) * 2014-11-05 2016-05-05 Baidu Online Network Technology (Beijing) Co., Ltd. Image segmentation method and image segmentation device
CN109446959A (zh) * 2018-10-18 2019-03-08 广州极飞科技有限公司 目标区域的划分方法及装置、药物的喷洒控制方法
WO2019084854A1 (en) * 2017-11-01 2019-05-09 Nokia Technologies Oy Depth-aware object counting
CN110117942A (zh) * 2019-05-30 2019-08-13 南京涵铭置智能科技有限公司 一种落叶清扫机器人及清扫方法
CN110674731A (zh) * 2019-09-22 2020-01-10 江苏悦达专用车有限公司 一种基于深度学习的道路清洁度量化方法
CN111178235A (zh) * 2019-12-27 2020-05-19 卓尔智联(武汉)研究院有限公司 一种目标数量确定方法、装置、设备及存储介质
WO2020253119A1 (zh) * 2019-06-18 2020-12-24 深圳壹账通智能科技有限公司 图形验证码识别方法、装置、可读存储介质及终端设备
CN114299383A (zh) * 2021-12-03 2022-04-08 河海大学 基于密度图与注意力机制融合的遥感图像目标检测方法
KR20220071885A (ko) * 2020-11-24 2022-05-31 주식회사 더브라이트 청소용 로봇 시스템 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276363A (zh) * 2018-03-15 2019-09-24 北京大学深圳研究生院 一种基于密度图估计的鸟类小目标检测方法
CN113468995A (zh) * 2021-06-22 2021-10-01 之江实验室 一种基于密度等级感知的人群计数方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125235A1 (en) * 2014-11-05 2016-05-05 Baidu Online Network Technology (Beijing) Co., Ltd. Image segmentation method and image segmentation device
WO2019084854A1 (en) * 2017-11-01 2019-05-09 Nokia Technologies Oy Depth-aware object counting
CN109446959A (zh) * 2018-10-18 2019-03-08 广州极飞科技有限公司 目标区域的划分方法及装置、药物的喷洒控制方法
CN110117942A (zh) * 2019-05-30 2019-08-13 南京涵铭置智能科技有限公司 一种落叶清扫机器人及清扫方法
WO2020253119A1 (zh) * 2019-06-18 2020-12-24 深圳壹账通智能科技有限公司 图形验证码识别方法、装置、可读存储介质及终端设备
CN110674731A (zh) * 2019-09-22 2020-01-10 江苏悦达专用车有限公司 一种基于深度学习的道路清洁度量化方法
CN111178235A (zh) * 2019-12-27 2020-05-19 卓尔智联(武汉)研究院有限公司 一种目标数量确定方法、装置、设备及存储介质
KR20220071885A (ko) * 2020-11-24 2022-05-31 주식회사 더브라이트 청소용 로봇 시스템 및 그 제어 방법
CN114299383A (zh) * 2021-12-03 2022-04-08 河海大学 基于密度图与注意力机制融合的遥感图像目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANGLIN LI等: "Density Map Guided Object Detection in Aerial Images", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》, 28 July 2020 (2020-07-28), pages 737 - 746 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041484A (zh) * 2023-07-18 2023-11-10 中建科工集团运营管理有限公司 基于物联网的人流密集区域监控方法及系统
CN117041484B (zh) * 2023-07-18 2024-05-24 中建科工集团运营管理有限公司 基于物联网的人流密集区域监控方法及系统

Also Published As

Publication number Publication date
WO2023231021A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
WO2020164282A1 (zh) 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN110046631B (zh) 用于自动推断时空图像的变化的系统和方法
Bisen Deep convolutional neural network based plant species recognition through features of leaf
CN109801260B (zh) 牲畜个数的识别方法、装置、控制装置及可读存储介质
CN108776819A (zh) 一种目标识别方法、移动终端及计算机可读存储介质
CN107316016A (zh) 一种基于Hadoop和监控视频流的车辆轨迹统计方法
US20070065003A1 (en) Real-time recognition of mixed source text
US9418440B2 (en) Image segmenting apparatus and method
CN112949704B (zh) 一种基于图像分析的烟叶成熟度状态识别方法及装置
CN111353491B (zh) 一种文字方向确定方法、装置、设备及存储介质
CN111986183A (zh) 一种染色体散型图像自动分割识别系统及装置
CN112711983B (zh) 核型分析系统、方法、电子设备及可读存储介质
CN116403094B (zh) 一种嵌入式图像识别方法及系统
CN111401215B (zh) 一种多类别目标检测的方法及系统
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN115151949A (zh) 目标物归集方法、设备和存储介质
KR20100116404A (ko) 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치
CN113963438A (zh) 行为识别方法及装置、设备和存储介质
CN113378609B (zh) 代理商代签名的识别方法及装置
CN113177554A (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN115115369A (zh) 数据处理方法、装置、设备及存储介质
Sosa-Trejo et al. Vision-based techniques for automatic marine plankton classification
CN112613521B (zh) 基于数据转换的多层次数据分析系统及方法
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN112241954B (zh) 基于肿块差异化分类的全视野自适应分割网络配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination