CN113420730B - 基于计算机视觉的环境卫生监测方法及设备 - Google Patents

Abstract

本申请提供一种基于计算机视觉的环境卫生监测方法及设备，包括：获取监控空间所处的经纬度数据以及位于监控空间内的图像传感器采集到的监控空间的多帧连续的图像数据，确定经纬度数据对应的已训练的气候识别模型，并使用气候识别模型对多帧连续的图像数据进行识别，确定监控空间内的气候信息，确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的图像数据进行处理获得前景数据，使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息，以实现提高识别准确度。

Description

基于计算机视觉的环境卫生监测方法及设备

技术领域

本申请涉及环境监控技术领域，尤其涉及一种基于计算机视觉的环境卫生监测方法及设备。

背景技术

智慧城市是指利用各种信息技术或创新概念，将城市的系统和服务打通、集成，以提升资源运用的效率，优化城市管理和服务，以及改善市民生活质量。城市的环境卫生状况不仅关系到市民的生活质量，也关系到城市的对外形象，所以城市的环境卫生一直是打造智慧城市的重要内容。

传统的环卫方案主要通过将城区划分成责任区，采用环卫工人各自负责的工作模式，实现对环境卫生的不定时巡查，发现卫生状况后进行清洁操作。这种传统的环卫治理方法对人力需求量大且效率低，难以支撑智慧城市对环卫的要求。随着科学技术的逐渐发展，基于计算机视觉的环卫系统开始逐步被学术界和产业界提出。

现有的基于计算机视觉的解决方案主要存在两个方面问题：其一，传统的方案均采用单一视觉模型，没有考虑实际应用中对模型识别率有重大影响的气候因素，所以在实际应用中识别效果不稳定，难以落地；其二，传统的方案一般只考虑空间中的环卫问题，并没有考量对产生环卫问题的行为人的识别，无法完成责任人责任追究等职能。

发明内容

本申请提供一种基于计算机视觉的环境卫生监测方法及设备，用以提供一种更加准确的垃圾以及行为人的识别方法。

第一方面，本申请提供一种基于计算机视觉的环境卫生监测方法，方法应用于处理设备，方法包括：

获取监控空间所处的经纬度数据以及位于监控空间内的图像传感器采集到的监控空间的多帧连续的图像数据；

确定经纬度数据对应的已训练的气候识别模型，并使用气候识别模型对多帧连续的图像数据进行识别，确定监控空间内的气候信息；

确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的图像数据进行处理获得前景数据；

使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息。

在一实施例中，在使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息之后，方法还包括：

获取采集每帧图像数据的第一时间信息以及位于监控空间内的温湿度传感器采集到的温湿度数据；

根据温湿度数据、第一时间信息以及经纬度数据确定第一天气信息和第一季节信息；

将第一天气信息与第二天气信息比较，将第一季节信息和第二季节信息比较，将第一时间信息和第二时间信息比较获得比较结果；

根据比较结果生成用于提示可信度的提示信息，其中，气候信息包括第二天气信息、第二季节信息以及第二时间信息。

在一实施例中，在根据比较结果生成用于提示可信度的提示信息之后，方法还包括：

当提示信息指示低可信度时接收用户输入的图像数据的标记数据；

使用图像数据和标记信息对气候识别模型进行修正。

在一实施例中，使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息，具体包括：

对多帧连续的图像数据的前景数据进行人脸识别处理以及步态识别处理；

将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息。

在一实施例中，将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息，具体包括：

将多帧连续的图像所对应的人脸识别结果相互关联，获得第一关联结果；

将多帧连续的图像所对应的步态识别结果相互关联，获得第二关联结果；

将同一帧图像数据中人脸识别结果和步态识别结果与垃圾识别结果相互关联，以获得第三关联结果；

将第一关联结果、第二关联结果以及第三关联结果进行合并，以获得垃圾信息关联的行为人信息。

在一实施例中，方法还包括：

获取位于第一经纬度区域内的多个训练空间的训练图像、采集每帧训练图像的第三时间信息以及训练空间内的温湿度数据；

根据温湿度数据、第一经纬度区域以及第三时间信息确定第三天气信息和第三季节信息；

使用训练图像和训练图像对应的第三季节信息、第三天气信息以及第三时间信息对气候识别模型进行训练，获得已训练的第一经纬度区域所对应的气候识别模型。

在一实施例中，方法还包括：

获取训练空间的经纬度数据、训练空间的多个训练图像和每个训练图像的背景标记信息；

确定训练空间的经纬度数据对应的已训练的气候识别模型；

使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息；

使用气候信息相同的训练图像和训练图像的背景标记信息对背景提取模型进行训练，获得某一气候信息对应的已训练的背景提取模型。

在一实施例中，方法还包括：

获取训练空间的经纬度数据、训练空间的多帧连续的训练图像和每个训练图像的垃圾标记信息；

确定训练空间的经纬度数据对应的已训练的气候识别模型，使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息；

确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的训练图像进行处理获得前景数据；

使用多帧连续的训练图像的前景数据和训练图像的行为人标记信息对行为人识别模型进行训练，获得已训练的行为人识别模型。

在一实施例中，方法还包括：

根据垃圾信息生成垃圾清扫任务，并向清扫机器人发送垃圾清扫任务，以使清扫机器人执行垃圾清扫任务。

第二方面，本申请提供一种处理设备，包括：存储器，处理器；

存储器；用于存储处理器可执行的计算机指令；

其中，处理器在执行计算机指令时用于实现第一方面及可选方案所涉及的基于计算机视觉的环境卫生监测方法。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现第一方面及可选方案所涉及的基于计算机视觉的环境卫生监测方法。

第四方面，本申请提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现第一方面及可选方案所涉及的基于计算机视觉的环境卫生监测方法。

本申请实施例提供的基于计算机视觉的环境卫生监测方法及设备，在从监控空间的图像数据中提取背景时，考虑监控空间内气候信息对图像传感器采集的图像数据的影响，使用气候识别模型对图像数据进行处理，以确定监控场景内的气候信息，进而根据气候信息选择对应的背景提取模型，从图像数据中准确提取出前景数据，以使垃圾识别模型和行为人识别模型可以更准确的识别出垃圾信息和行为信息，从而提升监控准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请一实施例提供的监控系统的功能框图；

图2为本申请一实施例提供的监控系统的结构示意图；

图3为本申请一实施例提供的基于计算机视觉的环境卫生监测方法的流程示意图；

图4为本申请另一实施例提供的基于计算机视觉的环境卫生监测方法的流程示意图；

图5为本申请另一实施例提供的基于计算机视觉的环境卫生监测方法的流程示意图；

图6为本申请另一实施例提供的基于计算机视觉的环境卫生监测方法的流程示意图；

图7为本申请一实施例提供的监测装置的结构框图；

图8为本申请一实施例提供的处理设备的结构框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

如图1所示，本申请旨在提供一种基于计算机视觉的环境卫生监测方法及设备，从而提出一种智慧城市下的环卫管理方案，主要基于计算机和互联网技术，通过使用计算机视觉技术，并建立空间内的各种气候下的背景提取模型，通过对不同气候下的背景剥离获得前景数据，并使用前景数据进行垃圾识别和行为人信息识别，实现对核心城市区域环卫的实时监控、垃圾识别、任务分配、行为人识别、改善效果评估以及问题记录和管理。

本申请的技术核心是基于计算机视觉的目标识别，即垃圾识别和行为人识别。一般此类方案采用单一视觉模型，但在实际空间中，由于季节、天气和时间因素会对视觉特征产生比较大的影响，所以在实际监测过程中会出现错误识别，而使得准确率降低。本申请提出基于不同气候的视觉多模型训练方法，旨在通过选择不同气候条件下的背景识提取模型，准确从图像数据中提取前景数据，再对前景数据进行垃圾信息识别和行为人识别，从而提高识别率。

本申请的技术构思是：在进行垃圾识别模型和行为人识别模型训练时，考虑气候和空间的因素。也就是，在背景提取模型训练时，考虑气候因素的影响，以建立不同气候下的背景提取模型，再由背景提取模型从训练图像中进行背景数据剥离，以获得前景数据，再基于前景数据进行垃圾识别模型和行为人识别模型训练，从而提高模型的识别率和效果。此外，本申请利用人脸识别和步态识别，增加对责任人的识别，从而完成责任人锁定功能，使得环卫系统进一步形成闭环。

如图2所示，本申请一实施例提供一种监控系统，该监控系统包括图像传感器101、温湿度传感器102以及处理设备103。其中，处理设备103与图像传感器101相连接，处理设备103还与温湿度传感器102连接。图像传感器101用于采集监控空间的图像数据，温湿度传感器102用于采集监控空间内的温湿度数据，处理设备103用于根据温湿度数据确定监控空间内的气候信息，并基于气候信息对图像数据进行处理，以实现对监控空间内垃圾信息以及垃圾信息所关联的行为人信息的监控，从而基于监控结果生成清扫任务，以使机器人可以执行清扫任务，最终实现对监控空间内的环境卫生的监控。

如图3所示，本申请一实施例提供一种基于计算机视觉的环境卫生监测方法，该监控方法应用于处理设备，该方法具体包括如下步骤：

S201、获取监控空间所处的经纬度数据以及位于监控空间内的图像传感器采集到的监控空间的图像数据。

在该步骤中，可以通过查找经纬度数据表确定所监控空间所处的经纬度数据，通过在监控空间内布置图像传感器，由图像传感器采集监控空间内的图像数据，并将监控空间内的图像数据传输值处理设备。

S202、确定经纬度数据对应的已训练的气候识别模型，并使用气候识别模型对图像数据进行识别，确定监控空间内的气候信息。

在该步骤中，在处理设备内配置有多个已训练的气候识别模型，每个气候识别模型对应一个经纬度区域，将监控空间所处的经纬度数据与每个气候识别模型对应的经纬度区域比较，当经纬度数据落入到经纬度区域内，则将该经纬度区域对应的气候识别模型作为该监控空间的气候识别模型。

在确定该监控空间的气候识别模型后，将监控空间的图像数据输入到已训练的气候识别模型，以获得监控空间内的气候信息。

气候识别模型可以为现有的机器学习模型，此处不再描述气候识别模型的具体结构。

S203、确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对图像数据进行处理获得前景数据。

在该步骤中，在处理设备内配置多个背景提取模型，每个背景提取模型对应一个气候信息，通过查询各个背景提取模型和气候信息之间的映射表，确定监控空间的气候信息对应的背景提取模型。

在从多个背景提取模型中选择出相应的背景提取模型后，将图像数据输入到背景提取模型进行背景提取，以获得图像数据的前景数据。

S204、使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息。

在该步骤中，在处理设备内配置有垃圾识别模型和人物识别模型，在获得图像数据的前景数据后，将前景数据输入到垃圾识别模型以及人物识别模型中，以从前景数据中提取垃圾信息，并确定垃圾信息所关联的行为人信息。

在上述实施例中，在从监控空间的图像数据中提取背景时，考虑监控空间内气候信息对图像传感器采集的图像数据的影响，使用气候识别模型对图像数据进行处理，以确定监控场景内的气候信息，进而根据气候信息选择对应的背景提取模型，从图像数据中准确提取出前景数据，以使垃圾识别模型和行为人识别模型可以更准确的识别出垃圾信息和行为信息，从而提升监控准确性。

如图4所示，本申请一实施例提供一种基于计算机视觉的环境卫生监测方法，该监控方法应用于处理设备，该方法具体包括如下步骤：

S301、获取监控空间所处的经纬度数据以及位于监控空间内的图像传感器采集到的监控空间的多帧图像数据。

其中，该步骤已经在上述实施例中详细说明，此次不再赘述。

S302、确定经纬度数据对应的已训练的气候识别模型，并使用气候识别模型对图像数据进行识别，确定监控空间内的气候信息。

例如：深圳的某一个公园的经纬度是北纬N22°和东经E114°，落入北纬N20°~N30°和东经E110°~ E120°的经纬度区域，从本地配置的已训练的气候识别模型中选择该经纬度区域对应的气候识别模型。

在将拍摄的深圳公园的图像数据输入到选择的气候识别模型中，识别出深圳公园当前所处的季节、天气和时间。例如：识别出当前所处的气候是冬天的早上，且天气晴朗。

S303、确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧图像数据进行处理获得前景数据。

在该步骤中，本地配置有多个已训练的背景提取模型，例如：冬天晴朗早晨对应的背景提取模型，冬天下雪傍晚对应的背景提取模型，秋天下雨中午对应的背景提取模型。从多个已训练的背景提取模型中选择冬天晴朗早晨对应的背景提取模型，再使用该背景提取模型从深圳公园的图像数据中提取背景数据，以获得深圳公园的图像数据的前景数据。

S304、使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息。

在该步骤中，在获得深圳公园的图像数据的前景数据后，将深圳公园的图像数据的前景数据输入到垃圾识别模型和人物识别模型中，以获得垃圾信息和与垃圾信息关联的行为人信息。

在进行人物识别时，可以进行人脸识别和步态识别，通过人脸识别结果和步态识别结果确定垃圾信息关联的行为人信息。

在一实施例中，对多帧连续的图像数据的前景数据进行人脸识别处理以及步态识别处理，将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息。

在进行信息关联时，将多帧连续的图像所对应的人脸识别结果相互关联获得第一关联结果，将多帧连续的图像所对应的步态识别结果相互关联获得第二关联结果，将同一帧图像数据中人脸识别结果和步态识别结果与垃圾识别结果相互关联获得第三关联结果。将第一关联结果、第二关联结果以及第三关联结果进行合并，以获得垃圾信息关联的行为人信息。

其中，关联的目的主要是从两帧连续的图像数据中识别出同一行为人，通过将两帧连续的图像数据中的人脸信息比较，若有相同的人脸信息，则将两帧连续图像数据中的人脸信息相互关联。同样地，通过将两帧连续的图像数据中的步态信息比较，若有相同的步态信息，则将两帧连续图像数据中的步态信息相互关联。

在将第一关联结果、第二关联结果以及第三关联结果进行合并时，先对第一关联结果和第二关联结果合并后，再与第三关联结果进行合并。

在对第一关联结果和第二关联结果合并时，针对两帧相邻的图像数据，若上一帧和当前帧可以识别到人脸信息，则根据人脸信息确定关联信息。若上一帧和当前帧可以识别到步态信息，则根据步态信息确定关联信息。再将同一帧的人脸信息和步态信息相互关联，以实现第一关联结果和第二关联结果之间的合并，从而获得每个行为人的行走轨迹。

在获得每个行为人的行走轨迹后，将每个行为人的行走轨迹与垃圾识别结果进行关联，以获得垃圾信息所关联的行为人信息。

在上述技术方案中，根据图像传感器采集到的图像数据利用气候识别模型生成气候信息，并利用气候信息和实时采集的图像数据，结合背景提取模型获得图像数据的前景数据，再使用行为人识别模型和垃圾识别模型进行行为人识别和垃圾识别，充分考虑气候和空间背景对垃圾识别和行为人识别的影响，从而提高识别准确率。此外，通过步态识别和人脸识别结合的方式确定垃圾信息所关联的行为人信息，在行为人被遮挡情况下也可以实现识别。

S305、根据垃圾信息生成垃圾清扫任务，并向清扫机器人发送垃圾清扫任务，以使清扫机器人执行垃圾清扫任务。

在该步骤中，垃圾信息可以包括垃圾大小、垃圾数量以及垃圾位置信息。在从图像数据中识别到垃圾信息后，根据垃圾信息生成垃圾清扫任务，并向清扫机器人发送清扫任务，由清扫机器人行走至目的地，完成垃圾清扫任务。

S306、获取采集每帧图像数据的第一时间信息以及位于监控空间内的温湿度传感器采集到的温湿度数据。

在该步骤中，获取图像传感器采集图像数据时的时间信息，从温湿度传感器处读取监控空间内的温湿度数据。

S307、根据温湿度数据、经纬度数据以及第一时间信息确定第一天气信息和第一季节信息。

在该步骤中，在本地存储不同经纬度数据下不同天气在不同时间的温湿度数据，根据传感器采集到的温湿度数据和深圳公园的经纬度数据查找本地存储的信息，以获得第一天气信息。

在本地存储不同经纬度数据下不同时间信息季节信息，根据深圳公园的经纬度数据和第一时间信息查找本地存储的信息，以获得第一季节信息。

S308、将第一天气信息与第二天气信息比较，将第一季节信息和第二季节信息比较，将第一时间信息和第二时间信息比较，获得比较结果。

在该步骤中，监控空间的气候信息包括第二天气信息、第二季节信息和第二时间信息。在进行信息比较时，计算两个天气信息之间的相似度、两个季节信息之间的相似度以及两个时间信息之间的相似度，并根据三个相似度获得比较结果。

在一实施例中，计算两个天气信息之间的语义相似度，计算两个天气信息之间的语义相似度，并计算两个语义相似度之间的权重平均值，获得加权后的相似度，并将加权后的相似度作为比较结果。

S309、根据比较结果生成用于提示可信度的提示信息，当提示信息指示低可信度时接收用户输入的图像数据的标记数据。

在该步骤中，当加权后的相似度比较高时，生成用于提示可性度高的提示信息。当加权后的相似度比较低时，生成用于提示可性度低的提示信息。当提示信息指示低可信度时，可以确定环境识别模型的识别可靠度不高，则接收用户输入的图像数据的标记数据，以根据图像数据的标记数据对环境识别模型进行修正，以实现对气候识别模型的优化，从而提升识别结果的准确性。

在上述技术方案中，利用图像传感器基于计算机视觉方法可以对环境卫生进行实时监控，不需要组织人力进行巡查，降低了对政府组织能力的要求，并且由于不需要组织大量人工进行环境巡查，可节约人力成本。此外，本方案的计算机视觉建模首先针对气候和背景建模，再进行垃圾识别模型和行为人识别模型建立，以提高识别率。并且，上述方案中加入责任人识别，进一步的有利于环卫问题的管理和改善，本方案还可以针对监控的问题进行任务分配，对问题改善具有实时高效的特点。

本申请一实施例提供一种基于计算机视觉的环境卫生监测方法，该方法应用于上述监控系统，该方法具体包括如下步骤：

S401、获取位于第一经纬度区域内的多个训练空间的训练图像、采集每帧训练图像的第三时间信息以及训练空间内的温湿度数据。

在该步骤中，在同一个经纬度区域内选择多个训练空间，并采集每个训练空间的训练图像，并获取采集每帧训练图像的第三时间信息。此外，还需要采集训练空间内的温湿度数据。

S402、根据温湿度数据、第一经纬度区域以及第三时间信息确定第三天气信息和第三季节信息。

在该步骤中，根据传感器采集到的温湿度数据和训练空间的经纬度数据进行查表获得第三天气信息。并根据训练空间的经纬度数据和第三时间信息进行查表获得第三季节信息。

S403、使用训练图像和训练图像对应的第三季节信息、第三天气信息以及第三时间信息对气候识别模型进行训练，获得已训练的第一经纬度区域所对应的气候识别模型。

在该步骤中，将训练图像作为气候识别模型的输入样本，将训练图像对应的第三季节信息、第三天气信息以及第三时间信息作为输出样本，使用该输入样本和输出样本对气候识别模型进行训练，获得已训练的第一经纬度区域所对应的气候识别模型。

在上述技术方案中，采集训练空间的温湿度数据、经纬度数据以及图像数据的采集时间，并根据采集的信息对图像数据进行气候信息标记，从而实现根据气候信息标记和图像数据对环境识别模型训练。无需人工标记，可以提升模型训练效率。气候识别模型主要输出为天气、季节以及时段和三者之间组合。比如晴朗、多云、雨、雪等天气类型，清晨、中午、黄昏、深夜等时段类型，春季、夏季、秋季以及冬季等季节类型。

如图5所示，本申请一实施例提供一种基于计算机视觉的环境卫生监测方法，该方法应用于上述监控系统，该方法具体包括如下步骤：

S501、获取训练空间的经纬度数据、训练空间的多个训练图像和每个训练图像的背景标记信息。

在该步骤中，选择训练空间并获取该训练空间的经纬度数据，使用图像传感器采集训练空间的多个训练图像，并对每帧训练图像进行背景信息标记，以获得每帧训练图像的背景标记信息。

S502、确定训练空间的经纬度数据对应的已训练的气候识别模型。使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息。

在该步骤中，从本地配置的多个已训练的气候识别模型中选择该训练空间的经纬度数据所对应的已训练的气候识别模型。

将训练图像输入到已训练的气候识别模型，由已训练的气候识别模型进行处理，输出训练图像对应的气候信息。

S503、使用气候信息相同的训练图像和训练图像的背景标记信息对背景提取模型进行训练，获得某一气候信息对应的已训练的背景提取模型。

在该步骤中，根据气候信息对训练图像进行分类，并使用气候信息相同的训练图像作为输入样本，气候信息相同的训练图像的背景标记信息作为输出样本对背景提取模型进行训练，获得某一气候信息对应的已训练的背景提取模型。

在进行背景提取模型训练时，先将图像数据输入到环境识别模型，提取到每个训练图像的环境信息，并将环境信息相同的训练图像作为背景识别模型的输入样本，将环境信息相同的训练图像的背景标记信息作为背景识别模型的输出样本，以获得某一气候信息对应的已训练的背景提取模型。

如图6所示，本申请一实施例提供一种基于计算机视觉的环境卫生监测方法，该方法应用于上述监控系统，该方法具体包括如下步骤：

S601、获取训练空间的经纬度数据、训练空间的多帧连续的训练图像、每个训练图像的垃圾标记信息以及行为人标记信息。

在该步骤中，选择训练空间并获取该训练空间的经纬度数据，使用图像传感器采集训练空间的多个训练图像，并对每帧训练图像进行垃圾信息标记，以获得每帧训练图像的垃圾标记信息。

S602、确定训练空间的经纬度数据对应的已训练的气候识别模型，使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息。

在该步骤中，从本地配置的多个已训练的气候识别模型中选择该训练空间的经纬度数据所对应的已训练的气候识别模型。将训练图像输入到已训练的气候识别模型，由已训练的气候识别模型进行处理，输出训练图像对应的气候信息。

S603、确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的训练图像进行处理获得前景数据。

在该步骤中，从本地配置的多个已训练的背景提取模型中选择气候信息所对应的已训练的背景提取模型。将训练图像输入到已训练的背景提取模型，由已训练的背景提取模型进行处理，输出训练图像的前景数据。

S604、使用多帧连续的训练图像的前景数据和训练图像的行为人标记信息对行为人识别模型进行训练，获得已训练的行为人识别模型。

在该步骤中，使用多帧连续的训练图像的前景数据和训练图像的行为人标记信息对行为人识别模型进行训练，获得已训练的行为人识别模型。

更具体地，利用气候识别模型和背景提取模型，从拍摄的监控空间在某一个气候下的图像数据中提取前景数据，从而建立对应气候标签和背景图像信息下的入侵物品识别问题，主要针对常见的环卫垃圾，如建筑堆积物、垃圾桶垃圾堆积、果皮、纸屑、塑料垃圾、落叶、烟头等进行建模，模型可输出入侵环卫垃圾的类别。再结合人脸识别库和步态识别库，建立入侵行为人的身份识别模型，可识别环卫问题产生的责任人的身份。此步骤，可以产生针对不同环境和背景的环卫问题及责任人识别模型库，便于后续应用从中选择合适的模型。

S605、使用多帧连续的训练图像的前景数据和训练图像的垃圾标记信息对垃圾识别模型进行训练，获得已训练的垃圾识别模型。

在上述技术方案中，在进行行为人识别模型训练时，先将训练输入到气候识别模型，提取到每个训练图像的气候信息，确定气候信息对应的背景提取模型，将训练图像输入到行为背景提取模型中，以获得训练图像的前景数据，并将所获得训练图像的前景数据作为输入样本，将行为人标记信息作为输出样本，对行为人识别模型进行训练，以获得已训练的行为人识别模型，相较于现有方案，本方案在制作输入样本时，考虑到不同气候对训练图像的影响，将训练图像的背景因素去除，再进行模型训练，可以提高模型训练的准确性。

如图7所示，本申请一实施例提供一种监测装置700，监测装置700具体包括：

获取模块701，用于获取监控空间所处的经纬度数据以及位于监控空间内的图像传感器采集到的监控空间的多帧连续的图像数据；

处理模块702，用于确定经纬度数据对应的已训练的气候识别模型，并使用气候识别模型对多帧连续的图像数据进行识别，确定监控空间内的气候信息；

处理模块702还用于确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的图像数据进行处理获得前景数据；

处理模块702还用于使用已训练的垃圾识别模型对前景数据识别获得垃圾信息，并使用已训练的人物识别模型对前景数据识别获得垃圾信息关联的行为人信息。

在一实施例中，处理模块702还用于：

获取采集每帧图像数据的第一时间信息以及位于监控空间内的温湿度传感器采集到的温湿度数据；

根据温湿度数据、第一时间信息以及经纬度数据确定第一天气信息和第一季节信息；

将第一天气信息与第二天气信息比较，并第一季节信息和第二季节信息比较，将第一时间信息和第二时间信息比较，获得比较结果；

根据比较结果生成用于提示可信度的提示信息，其中，气候信息包括第二天气信息、第二季节信息以及第二时间信息。

在一实施例中，处理模块702还用于：

当提示信息指示低可信度时接收用户输入的图像数据的标记数据；

使用图像数据和标记信息对气候识别模型进行修正。

在一实施例中，处理模块702具体用于：

对多帧连续的图像数据的前景数据进行人脸识别处理以及步态识别处理；

将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息。

在一实施例中，处理模块702具体用于：

将多帧连续的图像所对应的人脸识别结果相互关联，获得第一关联结果；

将多帧连续的图像所对应的步态识别结果相互关联，获得第二关联结果；

将同一帧图像数据中人脸识别结果和步态识别结果与垃圾识别结果相互关联，以获得第三关联结果；

将第一关联结果、第二关联结果以及第三关联结果进行合并，以获得垃圾信息关联的行为人信息。

在一实施例中，处理模块702还用于：

获取位于第一经纬度区域内的多个训练空间的训练图像、采集每帧训练图像的第三时间信息以及训练空间内的温湿度数据；

根据温湿度数据、第一经纬度区域以及第三时间信息确定第三天气信息和第三季节信息；

使用训练图像和训练图像对应的第三季节信息、第三天气信息以及第三时间信息对气候识别模型进行训练，获得已训练的第一经纬度区域所对应的气候识别模型。

在一实施例中，处理模块702还用于：

获取训练空间的经纬度数据、训练空间的多个训练图像和每个训练图像的背景标记信息；

确定训练空间的经纬度数据对应的已训练的气候识别模型；

使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息；

使用气候信息相同的训练图像和训练图像的背景标记信息对背景提取模型进行训练，获得某一气候信息对应的已训练的背景提取模型。

在一实施例中，处理模块702还用于：

获取训练空间的经纬度数据、训练空间的多帧连续的训练图像和每个训练图像的垃圾标记信息；

确定训练空间的经纬度数据对应的已训练的气候识别模型，使用已训练的气候识别模型对训练图像进行处理，确定训练图像对应的气候信息；

确定气候信息对应的已训练的背景提取模型，并使用背景提取模型对多帧连续的训练图像进行处理获得前景数据；

使用多帧连续的训练图像的前景数据和训练图像的行为人标记信息对行为人识别模型进行训练，获得已训练的行为人识别模型。

在一实施例中，处理模块702还用于：

根据垃圾信息生成垃圾清扫任务，并向清扫机器人发送垃圾清扫任务，以使清扫机器人执行垃圾清扫任务。

如图8所示，本申请一实施例提供一种电子设备800，电子设备800包括存储器801和处理器802。

其中，存储器801用于存储处理器可执行的计算机指令；

处理器802在执行计算机指令时实现上述实施例中方法中的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，上述存储器801既可以是独立的，也可以跟处理器802集成在一起。当存储器801独立设置时，该电子设备还包括总线，用于连接存储器801和处理器802。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当处理器执行计算机指令时，实现上述实施例中方法中的各个步骤。

本申请实施例还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现上述实施例中方法中的各个步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (8)

1.一种基于计算机视觉的环境卫生监测方法，其特征在于，所述方法应用于处理设备，所述方法包括：

获取监控空间所处的经纬度数据以及位于所述监控空间内的图像传感器采集到的所述监控空间的多帧连续的图像数据；

确定所述经纬度数据对应的已训练的气候识别模型，并使用所述气候识别模型对所述多帧连续的图像数据进行识别，确定所述监控空间内的气候信息；

确定所述气候信息对应的已训练的背景提取模型，并使用所述背景提取模型对所述多帧连续的图像数据进行处理获得前景数据；

使用已训练的垃圾识别模型对所述前景数据识别获得垃圾信息，并使用已训练的人物识别模型对所述前景数据识别获得所述垃圾信息关联的行为人信息；

其中，所述方法还包括：

获取位于第一经纬度区域内的多个训练空间的训练图像、采集每帧训练图像的第三时间信息以及所述训练空间内的温湿度数据；

根据所述温湿度数据、所述第一经纬度区域以及所述第三时间信息确定第三天气信息和第三季节信息；

使用所述训练图像和所述训练图像对应的第三季节信息、第三天气信息、第三时间信息对所述气候识别模型进行训练，获得已训练的所述第一经纬度区域所对应的气候识别模型；

其中，所述方法还包括：

获取所述训练空间的经纬度数据、所述训练空间的多个训练图像和每个训练图像的背景标记信息；

确定所述训练空间的经纬度数据对应的已训练的气候识别模型；

使用已训练的气候识别模型对所述训练图像进行处理，确定所述训练图像对应的气候信息；

使用气候信息相同的训练图像和所述训练图像的背景标记信息对所述背景提取模型进行训练，获得某一气候信息对应的已训练的背景提取模型。

2.根据权利要求1所述的方法，其特征在于，在使用已训练的垃圾识别模型对所述前景数据识别获得垃圾信息，并使用已训练的人物识别模型对所述前景数据识别获得所述垃圾信息关联的行为人信息之后，所述方法还包括：

获取采集每帧图像数据的第一时间信息以及位于监控空间内的温湿度传感器采集到的温湿度数据；

根据所述温湿度数据、所述第一时间信息以及所述经纬度数据确定第一天气信息和第一季节信息；

将所述第一天气信息与第二天气信息比较，将第一季节信息和第二季节信息比较，将第一时间信息和第二时间信息比较，获得比较结果；

根据所述比较结果生成用于提示可信度的提示信息，其中，所述气候信息包括所述第二天气信息、所述第二季节信息以及所述第二时间信息。

3.根据权利要求2所述的方法，其特征在于，在根据所述比较结果生成用于提示可信度的提示信息之后，所述方法还包括：

当所述提示信息指示低可信度时接收用户输入的所述图像数据的标记数据；

使用所述图像数据和所述标记信息对所述气候识别模型进行修正。

4.根据权利要求2所述的方法，其特征在于，使用已训练的人物识别模型对所述前景数据识别获得所述垃圾信息关联的行为人信息，具体包括：

对多帧连续的图像数据的前景数据进行人脸识别处理以及步态识别处理；

将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息。

5.根据权利要求4所述的方法，其特征在于，将多帧连续的图像数据所对应的人脸识别结果和步态识别结果、以及垃圾识别结果进行关联，以获得垃圾信息关联的行为人信息，具体包括：

将多帧连续的图像所对应的人脸识别结果相互关联，获得第一关联结果；

将多帧连续的图像所对应的步态识别结果相互关联，获得第二关联结果；

将同一帧图像数据中人脸识别结果和步态识别结果与垃圾识别结果相互关联，以获得第三关联结果；

将所述第一关联结果、所述第二关联结果以及所述第三关联结果进行合并，以获得垃圾信息关联的行为人信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述训练空间的经纬度数据、所述训练空间的多帧连续的训练图像和每个训练图像的垃圾标记信息；

确定所述训练空间的经纬度数据对应的已训练的气候识别模型，使用已训练的气候识别模型对所述训练图像进行处理，确定所述训练图像对应的气候信息；

确定所述气候信息对应的已训练的背景提取模型，并使用所述背景提取模型对所述多帧连续的训练图像进行处理获得前景数据；

使用所述多帧连续的训练图像的前景数据和所述训练图像的行为人标记信息对所述人物识别模型进行训练，获得已训练的人物识别模型。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述垃圾信息生成垃圾清扫任务，并向清扫机器人发送所述垃圾清扫任务，以使所述清扫机器人执行所述垃圾清扫任务。

8.一种处理设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行的计算机指令；

其中，所述处理器在执行所述计算机指令时用于实现如权利要求1至7中任意一项所述的基于计算机视觉的环境卫生监测方法。

Images