CN114758258A - 基于几何外观特征推断垃圾位置的方法 - Google Patents

基于几何外观特征推断垃圾位置的方法 Download PDF

Info

Publication number
CN114758258A
CN114758258A CN202210380377.9A CN202210380377A CN114758258A CN 114758258 A CN114758258 A CN 114758258A CN 202210380377 A CN202210380377 A CN 202210380377A CN 114758258 A CN114758258 A CN 114758258A
Authority
CN
China
Prior art keywords
object detection
image
geometric
features
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210380377.9A
Other languages
English (en)
Inventor
夏于
陈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zero Data Technology Co ltd
Beijing Zero Vision Network Technology Co ltd
Original Assignee
Beijing Zero Data Technology Co ltd
Beijing Zero Vision Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zero Data Technology Co ltd, Beijing Zero Vision Network Technology Co ltd filed Critical Beijing Zero Data Technology Co ltd
Priority to CN202210380377.9A priority Critical patent/CN114758258A/zh
Publication of CN114758258A publication Critical patent/CN114758258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供了基于几何外观特征推断垃圾位置的方法、装置、设备和计算机可读存储介质。所述方法包括获取图像信息；通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；基于所述物体的几何特征和物体检测的结果，确定垃圾位置。以此方式，实现了对现实场景中的垃圾定位。

Description

基于几何外观特征推断垃圾位置的方法
技术领域
本申请的实施例涉及图像处理领域，尤其涉及基于几何外观特征推断垃圾位置的方法、装置、设备和计算机可读存储介质。
背景技术
城市治理巡检中，对于卫生检查治理是一项繁重而重要的日常工作，而卫生检查中常见的检查类型为垃圾检测。实际生活场景中存在的垃圾常是成堆出现且杂乱无章的。
目前市场上已有的垃圾分类方案都是基于具体垃圾类别进行识别分类，无法对现实场景中错终复杂、杂乱无章的垃圾进行检测定位。
发明内容
根据本申请的实施例，提供了一种基于几何外观特征推断垃圾位置的方案。
在本申请的第一方面，提供了一种基于几何外观特征推断垃圾位置的方法。该方法包括：
获取图像信息；
通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；
基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；
将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；
基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
进一步地，所述多层残差卷积神经网络包括basebone网络结构。
进一步地，所述基于所述图像特征，通过物体检测模型完成物体检测包括：
提取所述图像特征中第n、n+1和n+2层的输出特征，采用金字塔结构对所述输出特征进行融合，得到三层特征矩阵和每层分别输出的融合特征信息；
基于所述三层特征矩阵，分别使用不同宽高尺寸比例进行每一层的anchor构建；
将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，完成物体检测。
进一步地，所述将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，完成物体检测包括：
将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，选取预设数值的anchor作为模型检测的物体，完成物体检测。
进一步地，所述几何外观提取模型包括：
Figure BDA0003592662930000021
其中，所述pj为，物体表面颜色梯度信息；
所述
Figure BDA0003592662930000022
为，物体轮廓点矩阵；
所述
Figure BDA0003592662930000023
为，物体轮廓相对矩阵；
所述pi为，上一层物体的几何外观特征信息矩阵；
所述η、
Figure BDA0003592662930000024
δ为，网络参数；
所述Wij为，每个物体点轮廓结构的权重；
所述qi为，当前物体的几何外观特征信息矩阵。
进一步地，所述基于所述物体的几何特征和物体检测的结果，确定垃圾位置包括：
将所述物体的几何特征和物体检测的结果进行高维映射，采用语意背景去除后，降维到物体类别和位置空间，按照预设的置信度抽取anchor，进行物体剔除，确定垃圾位置。
进一步地，所述多层残差卷积神经网络通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括图像及对应图像特征；
将所述训练样本集合中的图像集合作为输入，将与所述图像对应的图像特征作为期望输出，当输出的结果与标注的结果的统一率满足预设阈值时，完成对多层残差卷积神经网络的训练。
在本申请的第二方面，提供了一种基于几何外观特征推断垃圾位置的装置。该装置包括：
获取模块，用于获取图像信息；
第一提取模块，通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；
检测模块，用于基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；
第二提取模块，用于将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；
确定模块，用于基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。
本申请实施例提供的基于几何外观特征推断垃圾位置的方法，通过获取图像信息；通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；基于所述物体的几何特征和物体检测的结果，确定垃圾位置，实现了对现实场景中错终复杂、杂乱无章的垃圾定位。
应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本申请的实施例提供的方法所涉及的系统架构图。
图2示出了根据本申请的实施例的基于几何外观特征推断垃圾位置的方法的流程图；
图3示出了根据本申请的实施例的基于几何外观特征推断垃圾位置的装置的方框图；
图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请的基于几何外观特征推断垃圾位置的方法或基于几何外观特征推断垃圾位置的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如模型训练类应用、视频识别类应用、网页浏览器应用、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
当终端101、102、103为硬件时，其上还可以安装有视频采集设备。视频采集设备可以是各种能实现采集视频功能的设备，如摄像头、传感器等等。用户可以利用终端101、102、103上的视频采集设备来采集视频。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的数据处理的后台服务器。后台服务器可以对接收到的数据进行分析等处理，并可以将处理结果(例如识别结果)反馈给终端设备。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。特别地，在目标数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
如图2所示，是本申请实施例基于几何外观特征推断垃圾位置的方法的流程图。从图2中可以看出，本实施例的基于几何外观特征推断垃圾位置的方法，包括以下步骤：
S210，获取图像信息。
在本实施例中，用于基于几何外观特征推断垃圾位置的方法的执行主体(例如图1所示的服务器)可以通过有线方式或者无线连接的方式获取图像信息。
进一步地，上述执行主体可以获取与之通信连接的电子设备(例如图1所示的终端设备)发送的图像信息，也可以是预先存储于本地的图像信息。
通常所述图像信息中包括成堆出现、杂乱无章的垃圾堆放点图像。
S220，通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征。
其中，所述多层残差卷积神经网络可为basebone网络结构，可通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括图像及对应图像特征；
将所述训练样本集合中的图像集合作为输入，将与所述图像对应的图像特征作为期望输出，当输出的结果与标注的结果的统一率满足预设阈值时，完成对多层残差卷积神经网络的训练。
在一些实施例中，所述多层残差卷积神经网络的的结构如下：
Figure BDA0003592662930000071
其提取公式为：y＝x+w(ax+b)：
其中，所述y为，当前层特征信息；
所述x为，前一层网络输出的特征信息；
所述a、b为，网络参数；
所述w为，当前层的权重。
在一些实施例中，将图像信息输入至已训练的多层残差卷积神经网络，得到图像特征。
S230，基于所述图像特征，通过物体检测模型完成物体检测。
其中，所述物体检测模型包括anchor和IOU结构。
在一些实施例中，提取所述图像特征中第n、n+1和n+2层的输出特征，采用金字塔结构对所述输出特征进行融合，得到三层特征矩阵和每层分别输出的融合特征信息；其中，所述n为大于0的正整数，优选为3，即提取basebone网络结构的3，4，5层网络结构的输出特征。
基于所述三层特征矩阵，分别使用不同宽高尺寸比例，进行每一层的anchor构建；
将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，选取预设数值的anchor作为模型检测的物体，完成物体检测；其中，所述预设数值优选为0.6，即选择置信度为0.6的anchor作为模型检测的物体。
S240，将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征。
在一些实施例中，输入的信息包括以下三部分：
第一部分，basebone的3，4，5层进行金字塔融合后的特征信息；
第二部分，每层检测出的物体anchor信息；
第三部分，常规几何规则先验信息，包括色彩、几何特征点及相对关系矩阵(外观物理特征等常识信息)。
进一步地，将上述三种输入信息，输入至如下模型，提取图像中的几何特征：
Figure BDA0003592662930000081
其中，所述pj为，物体表面颜色梯度信息，用于描述物体色彩变化；
所述
Figure BDA0003592662930000082
为，物体轮廓点矩阵，轮廓点矩阵在语意分割后，将语意分割外围像素点位置组成二维点矩阵，再经过网络的高维映射，形成轮廓点矩阵；
所述
Figure BDA0003592662930000083
为，物体轮廓相对矩阵，轮廓相对矩阵由外围轮廓几何关系高维映射决定，轮廓几何关系按照现实生活中物体几何规则加上轮廓点矩阵进行高维融合构建；；
所述pi为，上一层物体的几何外观特征信息矩阵，用于在加深模型的网络层级下，防止模型坍塌等作用；
所述η、
Figure BDA0003592662930000091
δ为，网络参数，可根据实际应用场景进行预先设定；
所述Wij为，每个物体点轮廓结构的权重，可根据实际应用场景进行预先设定；
所述qi为，当前物体的几何外观特征信息矩阵，用于输入到网络的下一层结构，即物体的几何特征。
S250，基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
在一些实施例中，将所述物体的几何特征和物体检测的结果进行高维映射，采用语意背景去除后，轮廓几何外观特征矩阵进行映射然后在降维到物体类别和位置空间，按照一定置信度(例如0.6，根据应用场景进行预先设定)抽取anchor，进行物体剔除，即可得到垃圾位置信息。
根据本公开的实施例，实现了以下技术效果：
基于对现实生活中已有物体的几何形状，外观物理特征等常识信息，结合图像检测中物体特征，对物体几何特征缺陷进行推断，从而形成图像不完整区域判断，识别垃圾位置。
即，对图像信息中的物体和背景剔除，并根据物体的色彩、轮廓点以及轮廓相对矩阵三要素融合的算法，进行判断物体是否符合常规几何外观特征，并以此筛选出垃圾位置信息，实现了对现实场景中错终复杂、杂乱无章的垃圾定位。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图3示出了根据本申请的实施例的基于几何外观特征推断垃圾位置的装置300的方框图，如图3所示，装置300包括：
获取模块310，用于获取图像信息；
第一提取模块320，通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；
检测模块330，用于基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；
第二提取模块340，用于将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；
确定模块350，用于基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
如图4所示，终端设备或服务器400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本申请的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于几何外观特征推断垃圾位置的方法，其特征在于，包括：
获取图像信息；
通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；
基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；
将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；
基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
2.根据权利要求1所述的方法，其特征在于，所述多层残差卷积神经网络包括basebone网络结构。
3.根据权利要求2所述的方法，其特征在于，所述基于所述图像特征，通过物体检测模型完成物体检测包括：
提取所述图像特征中第n、n+1和n+2层的输出特征，采用金字塔结构对所述输出特征进行融合，得到三层特征矩阵和每层分别输出的融合特征信息；
基于所述三层特征矩阵，分别使用不同宽高尺寸比例进行每一层的anchor构建；
将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，完成物体检测。
4.根据权利要求3所述的方法，其特征在于，所述将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，完成物体检测包括：
将所述每层分别输出的融合特征信息和每一层的anchor，进行IOU操作，选取预设数值的anchor作为模型检测的物体，完成物体检测。
5.根据权利要求4所述的方法，其特征在于，所述几何外观提取模型包括：
Figure FDA0003592662920000021
其中，所述pj为，物体表面颜色梯度信息；
所述
Figure FDA0003592662920000022
为，物体轮廓点矩阵；
所述
Figure FDA0003592662920000023
为，物体轮廓相对矩阵；
所述pi为，上一层物体的几何外观特征信息矩阵；
所述η、
Figure FDA0003592662920000024
δ为，网络参数；
所述Wij为，每个物体点轮廓结构的权重；
所述qi为，当前物体的几何外观特征信息矩阵。
6.根据权利要求5所述的方法，其特征在于，所述基于所述物体的几何特征和物体检测的结果，确定垃圾位置包括：
将所述物体的几何特征和物体检测的结果进行高维映射，采用语意背景去除后，降维到物体类别和位置空间，按照预设的置信度抽取anchor，进行物体剔除，确定垃圾位置。
7.根据权利要求6所述的方法，其特征在于，所述多层残差卷积神经网络通过如下方式进行训练：
生成训练样本集合，其中，训练样本包括图像及对应图像特征；
将所述训练样本集合中的图像集合作为输入，将与所述图像对应的图像特征作为期望输出，当输出的结果与标注的结果的统一率满足预设阈值时，完成对多层残差卷积神经网络的训练。
8.一种基于几何外观特征推断垃圾位置的装置，其特征在于，包括：
获取模块，用于获取图像信息；
第一提取模块，通过预设的多层残差卷积神经网络，提取所述图像信息中的图像特征；
检测模块，用于基于所述图像特征，通过物体检测模型完成物体检测；所述物体检测模型包括anchor和IOU结构；
第二提取模块，用于将所述图像特征和物体检测结果，输入至几何外观提取模型，得到物体的几何特征；
确定模块，用于基于所述物体的几何特征和物体检测的结果，确定垃圾位置。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
CN202210380377.9A 2022-04-12 2022-04-12 基于几何外观特征推断垃圾位置的方法 Pending CN114758258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210380377.9A CN114758258A (zh) 2022-04-12 2022-04-12 基于几何外观特征推断垃圾位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210380377.9A CN114758258A (zh) 2022-04-12 2022-04-12 基于几何外观特征推断垃圾位置的方法

Publications (1)

Publication Number Publication Date
CN114758258A true CN114758258A (zh) 2022-07-15

Family

ID=82329863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210380377.9A Pending CN114758258A (zh) 2022-04-12 2022-04-12 基于几何外观特征推断垃圾位置的方法

Country Status (1)

Country Link
CN (1) CN114758258A (zh)

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN108734185B (zh) 图像校验方法和装置
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
TW202207077A (zh) 一種文本區域的定位方法及裝置
CN109740539B (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN112464803A (zh) 图像比较方法和装置
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN112801132A (zh) 一种图像处理方法和装置
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN110895811A (zh) 一种图像篡改检测方法和装置
CN111523399A (zh) 敏感视频检测及装置
CN110895699B (zh) 用于处理图像的特征点的方法和装置
CN108776959B (zh) 图像处理方法、装置及终端设备
CN109886865A (zh) 自动屏蔽不良信息的方法、装置、计算机设备以及存储介质
CN114758258A (zh) 基于几何外观特征推断垃圾位置的方法
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN108921792B (zh) 用于处理图片的方法和装置
CN113344064A (zh) 事件处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination