CN111723772B - 基于图像识别的易腐垃圾识别方法、装置及计算机设备 - Google Patents

基于图像识别的易腐垃圾识别方法、装置及计算机设备 Download PDF

Info

Publication number
CN111723772B
CN111723772B CN202010620565.5A CN202010620565A CN111723772B CN 111723772 B CN111723772 B CN 111723772B CN 202010620565 A CN202010620565 A CN 202010620565A CN 111723772 B CN111723772 B CN 111723772B
Authority
CN
China
Prior art keywords
garbage
target
electronic fence
area
perishable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010620565.5A
Other languages
English (en)
Other versions
CN111723772A (zh
Inventor
林勇
王震
施伟豪
罗电花
钟凌
黄起春
王峰
刘丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010620565.5A priority Critical patent/CN111723772B/zh
Publication of CN111723772A publication Critical patent/CN111723772A/zh
Application granted granted Critical
Publication of CN111723772B publication Critical patent/CN111723772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00—Vehicles particularly adapted for collecting refuse
    • B65F3/001—Vehicles particularly adapted for collecting refuse for segregated refuse collecting, e.g. vehicles with several compartments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明公开了基于图像识别的易腐垃圾识别方法、装置、计算机设备及存储介质，涉及人工智能的图像检测和智慧环保，当判定垃圾收运车辆在多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域时，先将垃圾收运车辆上传的回收视频数据进行视频拆分和关键帧提取得到目标图像集，然后通过卷积神经网络对每一目标图像进行识别，以得到与目标图像集对应的目标结果集，最后获取分类结果为非易腐垃圾的目标结果对应的目标图片以组成筛选图片集。该方法实现了由视频图像识别技术自动识别垃圾回收的回收视频数据中是否存在非易腐垃圾，无需人工目测、抽检方式进行分类，而且提高了识别效率。该方法可应用于智慧环保场景中，从而推动智慧城市的建设。

Description

基于图像识别的易腐垃圾识别方法、装置及计算机设备
技术领域
本发明涉及人工智能的图像检测技术领域，尤其涉及一种基于图像识别的易腐垃圾识别方法、装置、计算机设备及存储介质。
背景技术
生活垃圾分类是一项系统工程，其最终目标是实现各类垃圾进入预定的处理渠道，实现生活垃圾的减量化、资源化、无害化，减轻城市在生活垃圾末端处理设施建设、运营方面的压力，实现城市可持续发展。
垃圾分类全流程物流管理涉及分类投放、分类收集、分类运输、分类处理四大环节，每个环节的分类实效都对后一环节及整个物流体系的有效运行带来影响。在实际运行中，经常发生进入处理设施的垃圾分类质量不好，不符合处理工艺的设计要求，从而造成处理设施运营效率下降、环境污染增加等问题。
综合各类垃圾的分类难度、及处理工艺要求，易腐垃圾分类质量管控问题尤为突出，各地在物流规划设计中易腐垃圾通常采用好氧发酵或厌氧产沼两种处理工艺，这两种工艺均要求进场垃圾具备较高的纯净度，才能达到处理技术工艺要求，保证设施正常运行。
目前，通常应用图像识别技术，对单个物品的对应垃圾类别进行智能识别，用于指导居民开展垃圾分类。但是对于居住区、单位分类后收集的易腐垃圾整体分类质量、专用收运车辆运输的易腐垃圾质量、进入到专用处理设施的易腐垃圾质量尚无有效技术解决方案，仅靠管理人员目测、抽检等方式进行规范，人力成本高，检查覆盖面、检查结果的准确性等均难以支撑全程分类体系要求。
发明内容
本发明实施例提供了一种基于图像识别的易腐垃圾识别方法、装置、计算机设备及存储介质，旨在解决现有技术中对居住区、公共场所等分类收集垃圾中易腐垃圾整体分类准确情况仅靠管理人员目测、抽检等方式进行，不仅成本高而且效率低下的问题。
第一方面，本发明实施例提供了一种基于图像识别的易腐垃圾识别方法，其包括：
接收垃圾收运车辆上传的当前定位信息；
若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆；
接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集；
按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集；
调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集；
获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集；以及
自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
第二方面，本发明实施例提供了一种基于图像识别的易腐垃圾识别装置，其包括：
当前定位接收单元，用于接收垃圾收运车辆上传的当前定位信息；
采集视频指令发送单元，用于若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆；
视频拆分单元，用于接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集；
目标图片选择单元，用于按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集；
图像识别单元，用于调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集；
图片筛选单元，用于获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集；以及
图片存储单元，用于自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于图像识别的易腐垃圾识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于图像识别的易腐垃圾识别方法。
本发明实施例提供了一种基于图像识别的易腐垃圾识别方法、装置、计算机设备及存储介质，当判定垃圾收运车辆在本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域时，先将垃圾收运车辆上传的回收视频数据进行视频拆分和关键帧图片提取得到目标图像集，然后通过卷积神经网络对目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集，最后获取分类结果为非易腐垃圾的目标结果对应的目标图片以组成筛选图片集。该方法实现了由视频图像识别技术自动识别垃圾回收的回收视频数据中是否存在非易腐垃圾，无需人工目测、抽检等方式进行分类，而且提高了识别效率。该方法可应用于智慧环保场景中，从而推动智慧城市的建设。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像识别的易腐垃圾识别方法的应用场景示意图；
图2为本发明实施例提供的基于图像识别的易腐垃圾识别方法的流程示意图；
图3为本发明实施例提供的基于图像识别的易腐垃圾识别装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本申请中，为了更清楚的了解本申请的技术方案，下面对所涉及的终端进行详细介绍。本申请是在服务器的角度描述技术方案。
第一是垃圾收运车辆，在垃圾收运车辆的垃圾倾倒口处安装设置有车载摄像头和定位模块，在车载摄像头中设置有如4G模块、5G模块等无线通讯模块，且车载摄像头中预先配置了IP地址和端口地址，定位模块为GPS定位模块或北斗定位模块，且该车载摄像头与定位模块通讯连接(例如两者通过蓝牙连接)。垃圾收运车辆的作用是回收若干个目标区域内部署的垃圾投放点处垃圾桶内搜集的易腐垃圾(也即厨余垃圾、湿垃圾，主要包括剩菜剩饭、菜梗菜叶、肉食内脏、果壳瓜皮等)，运输至专用处理点之后进行集中处理。为了评判某一垃圾投放点对易腐垃圾分类处理是否准确时，需首先判断垃圾收运车辆是否到达该垃圾投放点。当判定垃圾收运车辆到达该垃圾投放点，垃圾收运车辆上的车载摄像头自动开启以实时采集该垃圾投放点处垃圾桶内易腐垃圾投放至垃圾收运车辆上的视频数据，之后上传至服务器评判该垃圾投放点对垃圾分类处理是否准确。
第二是服务器，其作用如下：一是接收垃圾收运车辆的上传的定位数据判断其是否到达某一垃圾投放点；二是接收垃圾收运车辆上传的在回收垃圾投放点处垃圾桶内易腐垃圾的投放过程实时视频；三是对投放过程实时视频进行关键帧图像识别，判断是否有易腐垃圾之外的物体存在(易腐垃圾之外的物体例如餐盒、塑料袋、瓶子等)，以对应对本次投放过程实时视频进行评级评分。
请参阅图1和图2，图1为本发明实施例提供的基于图像识别的易腐垃圾识别方法的应用场景示意图；图2为本发明实施例提供的基于图像识别的易腐垃圾识别方法的流程示意图，该基于图像识别的易腐垃圾识别方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S170。
S110、接收垃圾收运车辆上传的当前定位信息。
在本实施例中，获取当前定位信息，是垃圾收运车辆按照预先设置的位置上报周期(如1s)将当前定位信息上报至服务器。服务器在接收到了某一垃圾收运车辆上传的当前定位信息后，即可进行后续易腐垃圾的识别过程。
S120、若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆。
在本实施例中，当服务器接收到了垃圾收运车辆上传的当前定位信息，且判定该定位信息对应的当前位置是处于某一个垃圾投放点电子围栏区域，表示垃圾收运车辆已到达目标垃圾投放点。此时，为了便于后续对易腐垃圾由垃圾投放点倾倒进入垃圾收运车辆中的易腐垃圾中是否有非易腐垃圾的存在进行判断，此时需远程通知垃圾收运车辆上的车载摄像头开启进行实时视频采集。具体是在服务器中生成采集实时视频指令，将所述采集实时视频指令发送至垃圾收运车辆。
在一实施例中，步骤S120之前还包括：
获取本地已存储的多个垃圾投放点电子围栏区域信息分别对应的垃圾投放点电子围栏区域；
获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域；
判断所述当前定位信息对应的当前位置是否位于所述目标垃圾投放点电子围栏区域内；若所述当前定位信息对应的当前位置位于所述目标垃圾投放点电子围栏区域内，判定所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域。
在本实施例中，由于在居住区等区域部署了多个垃圾投放点，每一垃圾投放点对应一个垃圾投放点电子围栏区域，故当获取了垃圾收运车辆上传的当前定位信息后，最优先的是判断垃圾收运车辆是否进入与其间距最近的一个垃圾投放点电子围栏区域。由于垃圾收运车辆的当前定位信息对应的当前位置是已知的，且各垃圾投放点对应的垃圾投放点电子围栏区域也是已知的，此时采用电子地图(例如百度地图、高德地图等)中测算两个定位点之间的间距相同的方法，来计算垃圾收运车辆的当前位置与各垃圾投放点对应的垃圾投放点电子围栏区域之间的间距，从而获取多个垃圾投放点电子围栏区域中与当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域。
在一实施例中，作为该步骤的第一具体实施例，所述获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域的步骤，包括：
获取每一垃圾投放点电子围栏区域在电子地图中的标注区域；
获取所述当前定位信息对应的当前位置在电子地图中的当前定位区域；
计算所述当前定位区域与各标注区域之间的间距，获取与所述当前定位区域之间最小的间距对应的目标标注区域，以目标标注区域作为目标垃圾投放点电子围栏区域。
在本实施例中，服务器本地已存储的多个垃圾投放点电子围栏区域信息，可以有多种方式获取，其中第一种是直接在电子地图上标注每一垃圾投放点电子围栏区域信息对应的垃圾投放点电子围栏区域，也即每一个垃圾投放点在电子地图上均是对应一个被限定了范围的区域，也可以理解为每一垃圾投放点电子围栏区域在电子地图中均对应一个标注区域。
之后在获取了当前定位信息的当前位置后，可获取所述当前定位信息对应的当前位置在电子地图中的当前定位区域。
最后在各标注区域中获取与所述当前定位区域之间最小的间距对应的目标标注区域，这一目标标注区域则是与当前定位区域在位置在最接近的区域，此时该目标标注区域即可作为目标垃圾投放点电子围栏区域。通过结合电子地图的方式来定位垃圾转运车辆是否达到某一垃圾投放点电子围栏区域，能够结合已有的电子地图数据来实现车辆精准定位。
在一实施例中，作为该步骤的第二具体实施例，所述获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域的步骤，包括：
获取每一垃圾投放点电子围栏区域分别对应的蓝牙标签矩形区域；其中，每一蓝牙标签矩形区域由4个顶角蓝牙标签定位位置所限定；
若接收到垃圾收运车辆上传的垃圾投放点电子围栏区域中4个顶角蓝牙标签成功读取指令，以对应的垃圾投放点电子围栏区域为目标垃圾投放点电子围栏区域。
在本实施例中，服务器本地已存储的多个垃圾投放点电子围栏区域信息，其第二种获取方式是：在每一垃圾投放点的四周地表上放置蓝牙标签(例如设置4个蓝牙标签形成一个矩形区域，以将该垃圾投放点对应的垃圾桶包围在该矩形范围内，上述4个蓝牙标签中每一个蓝牙标签均具有标签唯一标识值)，当垃圾收运车辆上设置的蓝牙读写器能读取到某一垃圾投放点的所有蓝牙标签时，则表示垃圾收运车辆到达了该垃圾投放点对应的垃圾投放点电子围栏区域中。
具体实施时，每当在某一新增的垃圾投放点周围部署4个新的蓝牙标签后，通过一个可与服务器通讯连接的蓝牙读写器(如具有蓝牙模块的智能手机可以当作蓝牙读写器，且该智能手机也具有定位功能)在该新增的垃圾投放点读取到这4个蓝牙标签时，将这4个蓝牙标签对应的标签唯一标识值及对应的垃圾投放点电子围栏区域信息作为新增信息发送至服务器进行存储。通过存储多个蓝牙标签矩形区域的方式，是一种无须电子地图数据也能快速判断垃圾收运车辆是否到达某一垃圾投放点电子围栏区域的方式，其结合简单的蓝牙标签部署即可实现对垃圾转运车辆是否到达目标区域的快速定位。
S130、接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集。
在本实施例中，可以通过现有的视频拆分技术将回收视频数据按时序拆分为多帧图片，从而得到与所述回收视频数据对应的目标初始图片集。例如，已知1s的视频是由24-30帧图片组成，假设所采集到的回收视频数据的视频时长为2分钟，则该回收视频数据最少可以拆分为24*120＝2880张图片，以组成目标初始图片集。
S140、按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集。
在本实施例中，为了减少后续图像识别的图片处理总张数，此时可以从目标初始图片集中挑选出部分关键帧进行识别。此时，可以按预设的间隔数获取所述目标初始图片集中的多帧视频图像时，可以将预设的间隔数设置为24。此时可以第一帧视频图像为起始点，还选择第25、49、……、1+24n(其中1+24n≤2880，且n的取值为正整数)帧视频图像组成目标图像集。
S150、调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集。
在本实施例中，该预先训练的卷积神经网络主要用于识别如餐盒、塑料袋、瓶子等非易腐垃圾。也即所述目标图像集中有目标图像通过卷积神经网络进行识别后，得到的目标结果是餐盒、塑料袋或瓶子，则表示该垃圾投放点的易腐垃圾分类存在不合格的情况，此时需要将目标垃圾投放点电子围栏区域内垃圾分类不合格的关键帧图像进行保存，以作为证据数据。
其中，可以作为一个区块链节点设备，以将卷积神经网络对应的第一模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络。具体实施时，所述卷积神经网络是EfficientNet-b0网络。
其中，基于所述第一模型参数集得到对应的摘要信息，具体来说，摘要信息由第一模型参数集进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述第一模型参数集是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一实施例中，步骤S150包括：
获取目标图像集中每一目标图像分别对应的目标像素矩阵；
将各目标像素矩阵分别输入至卷积神经网络进行卷积、池化和全连接运算，得到与各目标像素矩阵分别对应的特征向量；
根据每一目标图像分别对应的特征向量，获取与目标图像集中每一目标图像分别对应的目标结果，以组成目标结果集。
在本实施例中，以通过卷积神经网络对某一帧目标图像进行图像识别为例，来说明获取目标结果的具体过程，具体如下：
1)获取目标图像对应的目标像素矩阵；
2)将所述目标像素矩阵输入至卷积神经网络的卷积层，得到多个特征图；
3)将多个特征图输入至卷积神经网络的池化层，得到与每一特征图对应的最大值所对应一维向量；
4)将每一特征图对应的最大值所对应一维向量对应的一维向量输入至卷积神经网络的全连接层，得到对应的特征向量；
5)根据所述目标图像对应的特征向量，获取与所述目标图像对应的目标结果；
由于卷积神经网络一般包括卷积层、池化层和全连接层，将一个目标图像输入至卷积神经网络进行运算后，其对应输出的特征向量也是一个一维向量，代表该目标图像属于每一分类的概率，此时可以选择其中的最大值对应的分类，作为该目标图像对应的目标结果，
例如特征向量＝[0.230.410.150.21],假设特征向量中第一个数值0.23表示该目标图像对应的分类结果是餐盒的概率，特征向量中第二个数值0.41表示该目标图像对应的分类结果是塑料袋的概率，特征向量中第三个数值0.15表示该目标图像对应的分类结果是瓶子的概率，特征向量中第四个数值0.21表示该目标图像对应的分类结果是易腐垃圾的概率。可见，通过卷积神经网络能有效对易腐垃圾中的餐盒、塑料袋、瓶子等非易腐垃圾进行准确识别，以判断易腐垃圾中是否掺杂有非易腐垃圾。
S160、获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集。
在本实施例中，由于所述目标结果集中分类结果至少包括易腐垃圾和非易腐垃圾两种，此时可以先获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，将这些目标图片的集合组成筛选图片集。通过这一方式，准确筛选出分类结果为非易腐垃圾的目标图片。
S170、自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
在本实施例中，在服务器中会预先创建第一存储区域，以专用于存储对某一回收视频数据的关键帧进行图像识别后，若关键帧中存在的目标结果是非易腐垃圾(如餐盒、塑料袋、瓶子)，则将这些关键帧自动增加目标结果标注(也即在图片中增加非易腐垃圾的标注文字戳，与增加时间戳类似)后，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。可见，该方法可应用于智慧环保场景中，从而推动智慧城市的建设
在一实施例中，步骤是170之前还包括：
获取所述回收视频数据对应的目标垃圾投放点电子围栏区域；
获取所述目标垃圾投放点电子围栏区域对应的垃圾投放点编号、以及负责人信息；
以目标垃圾投放点电子围栏区域对应的垃圾投放点编号在第一存储区域对应创建子文件夹。
在本实施例中，为了便于清楚是哪一垃圾投放点对应的垃圾回收的回收视频数据中识别到了非易腐垃圾，此时需要先获取上传垃圾回收的回收视频数据对应的目标垃圾投放点电子围栏区域；然后获取目标垃圾投放点电子围栏区域对应的垃圾投放点编号，及目标垃圾投放点电子围栏区域对应的负责人信息；以目标垃圾投放点电子围栏区域对应的垃圾投放点编号在第一存储区域对应创建子文件夹，将增加目标结果标注的筛选图片集存储至该子文件夹。
通过上述步骤，实现了对各垃圾投放点的筛选图片集分类存储至与其垃圾投放点编号对应的子文件夹中，可有效获取各垃圾投放点的易腐垃圾分类的准确性情况。而且由于每一子文件夹对应了负责人信息，此时可以由服务器根据负责人信息中包括的联系号码，自动发送该子文件夹对应的分类结果中存在非易腐垃圾的通知信息至该负责人使用的智能终端，以提示及时整改。
在一实施例中，步骤S170之后还包括：
获取所述筛选图片集对应的筛选图片总张数，将所述筛选图片总张数除以目标图像集对应的目标图片总张数，得到非易腐垃圾第一比例。
在本实施例中，计算目标垃圾投放点电子围栏区域对应的分类准确度的积分时，可以是将筛选图片集对应的筛选图片总张数除以目标图像集对应的目标图片总张数，得到非易腐垃圾第一比例，将非易腐垃圾第一比例乘以100即可得到目标垃圾投放点电子围栏区域对应的分类准确度的积分。
该方法实现了由视频图像识别技术自动识别垃圾回收的回收视频数据中是否存在非易腐垃圾，无需人工目测、抽检等方式进行分类，而且提高了识别效率。
本发明实施例还提供一种基于图像识别的易腐垃圾识别装置，该基于图像识别的易腐垃圾识别装置用于执行前述基于图像识别的易腐垃圾识别方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于图像识别的易腐垃圾识别装置的示意性框图。该基于图像识别的易腐垃圾识别装置100可以配置于服务器中。
如图3所示，基于图像识别的易腐垃圾识别装置100包括：当前定位接收单元110、采集视频指令发送单元120、视频拆分单元130、目标图片选择单元140、图像识别单元150、图片筛选单元160、图片存储单元170。
当前定位接收单元110，用于接收垃圾收运车辆上传的当前定位信息。
在本实施例中，获取当前定位信息，是垃圾收运车辆按照预先设置的位置上报周期(如1s)将当前定位信息上报至服务器。服务器在接收到了某一垃圾收运车辆上传的当前定位信息后，即可进行后续易腐垃圾的识别过程。
采集视频指令发送单元120，用于若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆。
在本实施例中，当服务器接收到了垃圾收运车辆上传的当前定位信息，且判定该定位信息对应的当前位置是处于某一个垃圾投放点电子围栏区域，表示垃圾收运车辆已到达目标垃圾投放点。此时，为了便于后续对易腐垃圾由垃圾投放点倾倒进入垃圾收运车辆中的易腐垃圾中是否有非易腐垃圾的存在进行判断，此时需远程通知垃圾收运车辆上的车载摄像头开启进行实时视频采集。具体是在服务器中生成采集实时视频指令，将所述采集实时视频指令发送至垃圾收运车辆。
在一实施例中，基于图像识别的易腐垃圾识别装置100还包括：
本地存储数据获取单元，用于获取本地已存储的多个垃圾投放点电子围栏区域信息分别对应的垃圾投放点电子围栏区域；
目标区域获取单元，用于获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域；
区域判断单元，用于判断所述当前定位信息对应的当前位置是否位于所述目标垃圾投放点电子围栏区域内；若所述当前定位信息对应的当前位置位于所述目标垃圾投放点电子围栏区域内，判定所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域。
在本实施例中，由于在居住区等区域部署了多个垃圾投放点，每一垃圾投放点对应一个垃圾投放点电子围栏区域，故当获取了垃圾收运车辆上传的当前定位信息后，最优先的是判断垃圾收运车辆是否进入与其间距最近的一个垃圾投放点电子围栏区域。由于垃圾收运车辆的当前定位信息对应的当前位置是已知的，且各垃圾投放点对应的垃圾投放点电子围栏区域也是已知的，此时采用电子地图(例如百度地图、高德地图等)中测算两个定位点之间的间距相同的方法，来计算垃圾收运车辆的当前位置与各垃圾投放点对应的垃圾投放点电子围栏区域之间的间距，从而获取多个垃圾投放点电子围栏区域中与当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域。
在一实施例中，作为目标区域获取单元的第一具体实施例，所述目标区域获取单元，包括：
标注区域获取单元，用于获取每一垃圾投放点电子围栏区域在电子地图中的标注区域；
当前定位区域获取单元，用于获取所述当前定位信息对应的当前位置在电子地图中的当前定位区域；
目标标注区域获取单元，用于计算所述当前定位区域与各标注区域之间的间距，获取与所述当前定位区域之间最小的间距对应的目标标注区域，以目标标注区域作为目标垃圾投放点电子围栏区域。
在本实施例中，服务器本地已存储的多个垃圾投放点电子围栏区域信息，可以有多种方式获取，其中第一种是直接在电子地图上标注每一垃圾投放点电子围栏区域信息对应的垃圾投放点电子围栏区域，也即每一个垃圾投放点在电子地图上均是对应一个被限定了范围的区域，也可以理解为每一垃圾投放点电子围栏区域在电子地图中均对应一个标注区域。
之后在获取了当前定位信息的当前位置后，可获取所述当前定位信息对应的当前位置在电子地图中的当前定位区域。
最后在各标注区域中获取与所述当前定位区域之间最小的间距对应的目标标注区域，这一目标标注区域则是与当前定位区域在位置在最接近的区域，此时该目标标注区域即可作为目标垃圾投放点电子围栏区域。通过结合电子地图的方式来定位垃圾转运车辆是否达到某一垃圾投放点电子围栏区域，能够结合已有的电子地图数据来实现车辆精准定位。
在一实施例中，作为目标区域获取单元的第二具体实施例，所述目标区域获取单元，包括：
蓝牙标签矩形区域获取单元，用于获取每一垃圾投放点电子围栏区域分别对应的蓝牙标签矩形区域；其中，每一蓝牙标签矩形区域由4个顶角蓝牙标签定位位置所限定；
读取成功处理单元，用于若接收到垃圾收运车辆上传的垃圾投放点电子围栏区域中4个顶角蓝牙标签成功读取指令，以对应的垃圾投放点电子围栏区域为目标垃圾投放点电子围栏区域。
在本实施例中，服务器本地已存储的多个垃圾投放点电子围栏区域信息，其第二种获取方式是：在每一垃圾投放点的四周地表上放置蓝牙标签(例如设置4个蓝牙标签形成一个矩形区域，以将该垃圾投放点对应的垃圾桶包围在该矩形范围内，上述4个蓝牙标签中每一个蓝牙标签均具有标签唯一标识值)，当垃圾收运车辆上设置的蓝牙读写器能读取到某一垃圾投放点的所有蓝牙标签时，则表示垃圾收运车辆到达了该垃圾投放点对应的垃圾投放点电子围栏区域中。
具体实施时，每当在某一新增的垃圾投放点周围部署4个新的蓝牙标签后，通过一个可与服务器通讯连接的蓝牙读写器(如具有蓝牙模块的智能手机可以当作蓝牙读写器，且该智能手机也具有定位功能)在该新增的垃圾投放点读取到这4个蓝牙标签时，将这4个蓝牙标签对应的标签唯一标识值及对应的垃圾投放点电子围栏区域信息作为新增信息发送至服务器进行存储。通过存储多个蓝牙标签矩形区域的方式，是一种无须电子地图数据也能快速判断垃圾收运车辆是否到达某一垃圾投放点电子围栏区域的方式，其结合简单的蓝牙标签部署即可实现对垃圾转运车辆是否到达目标区域的快速定位。
视频拆分单元130，用于接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集。
在本实施例中，可以通过现有的视频拆分技术将回收视频数据按时序拆分为多帧图片，从而得到与所述回收视频数据对应的目标初始图片集。例如，已知1s的视频是由24-30帧图片组成，假设所采集到的回收视频数据的视频时长为2分钟，则该回收视频数据最少可以拆分为24*120＝2880张图片，以组成目标初始图片集。
目标图片选择单元140，用于按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集。
在本实施例中，为了减少后续图像识别的图片处理总张数，此时可以从目标初始图片集中挑选出部分关键帧进行识别。此时，可以按预设的间隔数获取所述目标初始图片集中的多帧视频图像时，可以将预设的间隔数设置为24。此时可以第一帧视频图像为起始点，还选择第25、49、……、1+24n(其中1+24n≤2880，且n的取值为正整数)帧视频图像组成目标图像集。
图像识别单元150，用于调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集。
在本实施例中，该预先训练的卷积神经网络主要用于识别如餐盒、塑料袋、瓶子等非易腐垃圾。也即所述目标图像集中有目标图像通过卷积神经网络进行识别后，得到的目标结果是餐盒、塑料袋或瓶子，则表示该垃圾投放点的易腐垃圾分类存在不合格的情况，此时需要将目标垃圾投放点电子围栏区域内垃圾分类不合格的关键帧图像进行保存，以作为证据数据。
其中，可以作为一个区块链节点设备，以将卷积神经网络对应的第一模型参数集上传至区块链网络，充分利用区块链数据不可篡改的特性，实现数据固化存储。而且，服务器可以从区块链中下载得到该卷积神经网络对应的第一模型参数集，以在本地生成卷积神经网络。具体实施时，所述卷积神经网络是EfficientNet-b0网络。
其中，基于所述第一模型参数集得到对应的摘要信息，具体来说，摘要信息由第一模型参数集进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述第一模型参数集是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一实施例中，图像识别单元150包括：
像素矩阵获取单元，用于获取目标图像集中每一目标图像分别对应的目标像素矩阵；
特征向量获取单元，用于将各目标像素矩阵分别输入至卷积神经网络进行卷积、池化和全连接运算，得到与各目标像素矩阵分别对应的特征向量；
分类结果获取单元，用于根据每一目标图像分别对应的特征向量，获取与目标图像集中每一目标图像分别对应的目标结果，以组成目标结果集。
在本实施例中，由于卷积神经网络一般包括卷积层、池化层和全连接层，将一个目标图像输入至卷积神经网络进行运算后，其对应输出的特征向量也是一个一维向量，代表该目标图像属于每一分类的概率，此时可以选择其中的最大值对应的分类，作为该目标图像对应的目标结果，
例如特征向量＝[0.230.410.150.21],假设特征向量中第一个数值0.23表示该目标图像对应的分类结果是餐盒的概率，特征向量中第二个数值0.41表示该目标图像对应的分类结果是塑料袋的概率，特征向量中第三个数值0.15表示该目标图像对应的分类结果是瓶子的概率，特征向量中第四个数值0.21表示该目标图像对应的分类结果是易腐垃圾的概率。可见，通过卷积神经网络能有效对易腐垃圾中的餐盒、塑料袋、瓶子等非易腐垃圾进行准确识别，以判断易腐垃圾中是否掺杂有非易腐垃圾。
图片筛选单元160，用于获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集。
在本实施例中，由于所述目标结果集中分类结果至少包括易腐垃圾和非易腐垃圾两种，此时可以先获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，将这些目标图片的集合组成筛选图片集。通过这一方式，准确筛选出分类结果为非易腐垃圾的目标图片。
图片存储单元170，用于自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
在本实施例中，在服务器中会预先创建第一存储区域，以专用于存储对某一回收视频数据的关键帧进行图像识别后，若关键帧中存在的目标结果是非易腐垃圾(如餐盒、塑料袋、瓶子)，则将这些关键帧自动增加目标结果标注(也即在图片中增加非易腐垃圾的标注文字戳，与增加时间戳类似)后，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
在一实施例中，基于图像识别的易腐垃圾识别装置100还包括：
目标围栏区域获取单元，用于获取所述回收视频数据对应的目标垃圾投放点电子围栏区域；
信息获取单元，用于获取所述目标垃圾投放点电子围栏区域对应的垃圾投放点编号、以及负责人信息；
子文件夹创建单元，用于以目标垃圾投放点电子围栏区域对应的垃圾投放点编号在第一存储区域对应创建子文件夹。
在本实施例中，为了便于清楚是哪一垃圾投放点对应的垃圾回收的回收视频数据中识别到了非易腐垃圾，此时需要先获取上传垃圾回收的回收视频数据对应的目标垃圾投放点电子围栏区域；然后获取目标垃圾投放点电子围栏区域对应的垃圾投放点编号，及目标垃圾投放点电子围栏区域对应的负责人信息；以目标垃圾投放点电子围栏区域对应的垃圾投放点编号在第一存储区域对应创建子文件夹，将增加目标结果标注的筛选图片集存储至该子文件夹。
通过上述方式，实现了对各垃圾投放点的筛选图片集分类存储至与其垃圾投放点编号对应的子文件夹中，可有效获取各垃圾投放点的易腐垃圾分类的准确性情况。而且由于每一子文件夹对应了负责人信息，此时可以由服务器根据负责人信息中包括的联系号码，自动发送该子文件夹对应的分类结果中存在非易腐垃圾的通知信息至该负责人使用的智能终端，以提示及时整改。
在一实施例中，基于图像识别的易腐垃圾识别装置100还包括：
比例计算单元，用于获取所述筛选图片集对应的筛选图片总张数，将所述筛选图片总张数除以目标图像集对应的目标图片总张数，得到非易腐垃圾第一比例。
在本实施例中，计算目标垃圾投放点电子围栏区域对应的分类准确度的积分时，可以是将筛选图片集对应的筛选图片总张数除以目标图像集对应的目标图片总张数，得到非易腐垃圾第一比例，将非易腐垃圾第一比例乘以100即可得到目标垃圾投放点电子围栏区域对应的分类准确度的积分。
该装置实现了由视频图像识别技术自动识别垃圾回收的回收视频数据中是否存在非易腐垃圾，无需人工目测、抽检等方式进行分类，而且提高了识别效率。
上述基于图像识别的易腐垃圾识别装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于图像识别的易腐垃圾识别方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于图像识别的易腐垃圾识别方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于图像识别的易腐垃圾识别方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于图像识别的易腐垃圾识别方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图像识别的易腐垃圾识别方法，其特征在于，包括：
接收垃圾收运车辆上传的当前定位信息；
若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆；
接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集；
按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集；
调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集；
获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集；以及
自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
2.根据权利要求1所述的基于图像识别的易腐垃圾识别方法，其特征在于，还包括：
获取本地已存储的多个垃圾投放点电子围栏区域信息分别对应的垃圾投放点电子围栏区域；
获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域；
判断所述当前定位信息对应的当前位置是否位于所述目标垃圾投放点电子围栏区域内；若所述当前定位信息对应的当前位置位于所述目标垃圾投放点电子围栏区域内，判定所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域。
3.根据权利要求2所述的基于图像识别的易腐垃圾识别方法，其特征在于，所述获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域，包括：
获取每一垃圾投放点电子围栏区域在电子地图中的标注区域；
获取所述当前定位信息对应的当前位置在电子地图中的当前定位区域；
计算所述当前定位区域与各标注区域之间的间距，获取与所述当前定位区域之间最小的间距对应的目标标注区域，以目标标注区域作为目标垃圾投放点电子围栏区域。
4.根据权利要求2所述的基于图像识别的易腐垃圾识别方法，其特征在于，所述获取多个垃圾投放点电子围栏区域中与所述当前定位信息对应的当前位置之间间距为最小值的目标垃圾投放点电子围栏区域，包括：
获取每一垃圾投放点电子围栏区域分别对应的蓝牙标签矩形区域；其中，每一蓝牙标签矩形区域由4个顶角蓝牙标签定位位置所限定；
若接收到垃圾收运车辆上传的垃圾投放点电子围栏区域中4个顶角蓝牙标签成功读取指令，以对应的垃圾投放点电子围栏区域为目标垃圾投放点电子围栏区域。
5.根据权利要求1所述的基于图像识别的易腐垃圾识别方法，其特征在于，所述通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集，包括：
获取目标图像集中每一目标图像分别对应的目标像素矩阵；
将各目标像素矩阵分别输入至卷积神经网络进行卷积、池化和全连接运算，得到与各目标像素矩阵分别对应的特征向量；
根据每一目标图像分别对应的特征向量，获取与目标图像集中每一目标图像分别对应的目标结果，以组成目标结果集。
6.根据权利要求1所述的基于图像识别的易腐垃圾识别方法，其特征在于，所述自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域之前，还包括：
获取所述回收视频数据对应的目标垃圾投放点电子围栏区域；
获取所述目标垃圾投放点电子围栏区域对应的垃圾投放点编号、以及负责人信息；
以目标垃圾投放点电子围栏区域对应的垃圾投放点编号在第一存储区域对应创建子文件夹；
所述将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域，包括：
将所述增加目标结果标注的筛选图片集存储至以目标垃圾投放点电子围栏区域对应的子文件夹。
7.根据权利要求6所述的基于图像识别的易腐垃圾识别方法，其特征在于，所述将所述增加目标结果标注的筛选图片集存储至以目标垃圾投放点电子围栏区域对应的子文件夹之后，还包括：
获取所述筛选图片集对应的筛选图片总张数，将所述筛选图片总张数除以目标图像集对应的目标图片总张数，得到非易腐垃圾第一比例。
8.一种基于图像识别的易腐垃圾识别装置，其特征在于，包括：
当前定位接收单元，用于接收垃圾收运车辆上传的当前定位信息；
采集视频指令发送单元，用于若所述当前定位信息对应的当前位置位于本地已存储的多个垃圾投放点电子围栏区域其中一个垃圾投放点电子围栏区域，将采集实时视频指令发送至垃圾收运车辆；
视频拆分单元，用于接收垃圾收运车辆根据所述采集实时视频指令对应采集的回收视频数据，将所述回收视频数据进行视频拆分，得到对应的目标初始图片集；
目标图片选择单元，用于按预设的间隔数值获取所述目标初始图片集中的多帧视频图像，以作为目标图像集；
图像识别单元，用于调用预先训练的卷积神经网络，通过卷积神经网络对所述目标图像集中每一目标图像进行识别，以得到与所述目标图像集对应的目标结果集；
图片筛选单元，用于获取所述目标结果集中分类结果为非易腐垃圾的目标结果对应的目标图片，以组成筛选图片集；以及
图片存储单元，用于自动对筛选图片集中每一筛选图片增加目标结果标注，将增加目标结果标注的筛选图片集存储至预先创建的第一存储区域。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于图像识别的易腐垃圾识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于图像识别的易腐垃圾识别方法。
CN202010620565.5A 2020-06-30 2020-06-30 基于图像识别的易腐垃圾识别方法、装置及计算机设备 Active CN111723772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010620565.5A CN111723772B (zh) 2020-06-30 2020-06-30 基于图像识别的易腐垃圾识别方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010620565.5A CN111723772B (zh) 2020-06-30 2020-06-30 基于图像识别的易腐垃圾识别方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN111723772A CN111723772A (zh) 2020-09-29
CN111723772B true CN111723772B (zh) 2024-03-19

Family

ID=72570751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620565.5A Active CN111723772B (zh) 2020-06-30 2020-06-30 基于图像识别的易腐垃圾识别方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111723772B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215147A (zh) * 2020-10-12 2021-01-12 平安国际智慧城市科技股份有限公司 垃圾投放位置的溯源方法、装置、设备及存储介质
CN112488167A (zh) * 2020-11-19 2021-03-12 安徽理工大学 基于改进的EfficientNet网络的垃圾辨识分类系统
CN112613413A (zh) * 2020-12-25 2021-04-06 平安国际智慧城市科技股份有限公司 易腐垃圾分类质量判定方法、装置及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107472752A (zh) * 2017-09-21 2017-12-15 左勤 一种生活垃圾分类收集及智能监督的方法和系统
CN108133178A (zh) * 2017-12-08 2018-06-08 重庆广睿达科技有限公司 一种基于图像识别的智能环境监控系统与方法
CN110473130A (zh) * 2019-07-30 2019-11-19 五邑大学 一种基于深度学习的垃圾分类评价方法、装置和存储介质
CN110633638A (zh) * 2019-08-13 2019-12-31 深圳市锐明技术股份有限公司 一种垃圾收运监管方法、装置、存储介质和智能设备
CN110703709A (zh) * 2019-10-18 2020-01-17 深圳菲尔斯通信息技术有限公司 一种智慧环卫云平台综合管理系统
CN110740189A (zh) * 2019-10-26 2020-01-31 厦门大学嘉庚学院 一种基于物联网技术的智慧环保监管系统
CN110795999A (zh) * 2019-09-21 2020-02-14 万翼科技有限公司 垃圾投递行为分析方法及相关产品
CN110921154A (zh) * 2019-12-06 2020-03-27 深圳市爱深盈通信息技术有限公司 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车
DE102018216947A1 (de) * 2018-10-02 2020-04-02 Robert Bosch Gmbh Verfahren zur automatisierten Ansteuerung eines Müllfahrzeugs
CN111046974A (zh) * 2019-12-25 2020-04-21 珠海格力电器股份有限公司 一种物品分类方法、装置、存储介质及电子设备
CN111115069A (zh) * 2020-01-09 2020-05-08 湘潭大学 一种基于gis技术的垃圾回收系统及回收方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107472752A (zh) * 2017-09-21 2017-12-15 左勤 一种生活垃圾分类收集及智能监督的方法和系统
CN108133178A (zh) * 2017-12-08 2018-06-08 重庆广睿达科技有限公司 一种基于图像识别的智能环境监控系统与方法
DE102018216947A1 (de) * 2018-10-02 2020-04-02 Robert Bosch Gmbh Verfahren zur automatisierten Ansteuerung eines Müllfahrzeugs
CN110473130A (zh) * 2019-07-30 2019-11-19 五邑大学 一种基于深度学习的垃圾分类评价方法、装置和存储介质
CN110633638A (zh) * 2019-08-13 2019-12-31 深圳市锐明技术股份有限公司 一种垃圾收运监管方法、装置、存储介质和智能设备
CN110795999A (zh) * 2019-09-21 2020-02-14 万翼科技有限公司 垃圾投递行为分析方法及相关产品
CN110703709A (zh) * 2019-10-18 2020-01-17 深圳菲尔斯通信息技术有限公司 一种智慧环卫云平台综合管理系统
CN110740189A (zh) * 2019-10-26 2020-01-31 厦门大学嘉庚学院 一种基于物联网技术的智慧环保监管系统
CN110921154A (zh) * 2019-12-06 2020-03-27 深圳市爱深盈通信息技术有限公司 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车
CN111046974A (zh) * 2019-12-25 2020-04-21 珠海格力电器股份有限公司 一种物品分类方法、装置、存储介质及电子设备
CN111115069A (zh) * 2020-01-09 2020-05-08 湘潭大学 一种基于gis技术的垃圾回收系统及回收方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Application of electronic fence technology based on GIS in Oncomelania hupensis snail monitoring;Zhi-Hua, Chen;Chinese journal of schistosomiasis control;第29卷(第5期);615-618 *
智能垃圾分类系统的研究设计;杨会玲;叶利华;刘小晶;王宝旭;商永全;张刚;;电脑知识与技术(第04期);全文 *

Also Published As

Publication number Publication date
CN111723772A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111723772B (zh) 基于图像识别的易腐垃圾识别方法、装置及计算机设备
CN106845890B (zh) 一种基于视频监控的仓储监控方法及装置
CN101657697B (zh) 对点地址产生参考地理编码的系统和方法
CN109977921B (zh) 一种输电线路隐患检测方法
CN110458082B (zh) 一种城市管理案件分类识别方法
US20180165552A1 (en) All-weather thermal-image pedestrian detection method
CN104881770A (zh) 一种快递单信息识别系统和方法
CN107767548A (zh) 一种智能物品回收装置、智能物品回收系统及回收方法
CN111523527B (zh) 特种运输车辆监控方法、装置、介质及电子设备
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
JP2018125031A (ja) 流通管理システム、端末装置及び照合端末装置
CN112541372B (zh) 一种困难样本筛选方法及装置
CN113155173A (zh) 感知性能评测方法、装置、电子装置和存储介质
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN112836657A (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN114627394B (zh) 一种基于无人机的渣土车套牌识别方法及系统
CN111401215A (zh) 一种多类别目标检测的方法及系统
CN110490127A (zh) 位置合规识别方法及装置、存储介质、电子装置
CN108446330B (zh) 一种推广对象处理方法、装置及一种计算机可读存储介质
CN112278647A (zh) 智能垃圾分类系统及其实现方法
CN110502605B (zh) 基于人工智能技术的电力资产lcc成本归集系统
CN112215147A (zh) 垃圾投放位置的溯源方法、装置、设备及存储介质
CN110633639A (zh) 一种收运监管方法及收运监管系统
CN113313098B (zh) 视频处理方法、设备、系统及存储介质
US11954955B2 (en) Method and system for collecting and monitoring vehicle status information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant