CN113110785B - 图像处理方法、装置、电子设备以及计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备以及计算机可读存储介质，其中，该方法包括：展示采集到的图像；响应于作用在所述图像上的目标触发操作，在所述图像中提取包含多个目标对象的待处理子图像；根据所述待处理子图像，确定并展示各目标对象的分类信息。本公开实施例通过在摄像装置采集到的图像中选择待分类的目标对象，可以实现在不需要对目标对象进行拍照的情况下，对用户所想要分类的目标对象进行分类操作，相对于现有技术中需要反复对待分类的对象进行拍照的方式，本公开技术方案删除了拍照的过程，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

Description

图像处理方法、装置、电子设备以及计算机可读存储介质

技术领域

本公开涉及图像处理的技术领域，具体而言，涉及一种图像处理方法、装置、电子设备以及计算机可读存储介质。

背景技术

目前，垃圾分类已经进入到人们的日常生活中，每个小区都在推进分类垃圾桶的建设。然而，人们垃圾分类的知识储备量却与垃圾分类的硬件普及不成比例，条目繁多的垃圾分类准则，为人们带来了相应的心智负担，因此，垃圾自动分类技术随之应用而生。

现有的垃圾自动分类技术所采用的技术方案，一般通过服务器对用户终端所拍摄的图片进行分类的方式来实现。然而，在多实体识别时，即待分类的垃圾为多个时，现有的技术方案每次识别操作只能识别一个垃圾，因此需要反复的对多个实体进行拍照，从而完成全部实体的分类操作，这就导致用户确认垃圾所属类别的时间较长。此外，在终端设备与服务器之间网络质量较差的情况下，会进一步增加垃圾自动分类的时间，并降低待分类的垃圾的识别准确率，从而带来较差的用户体验。

发明内容

本公开实施例至少提供一种图像处理方法、装置、电子设备以及计算机可读存储介质。

第一方面，本公开实施例提供了一种图像处理方法，所述方法包括：展示采集到的图像；响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；根据所述待处理子图像，确定并展示各所述目标对象的分类信息。

一种可选的实施方式中，响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像，包括：在所述图像上确定所述目标触发操作触发位置信息；根据所述触发位置信息，在所述图像中提取包括所述多个目标对象的待处理子图像。

一种可选的实施方式中，所述在所述图像中提取包括多个目标对象的待处理子图像，包括：通过目标检测模型在所述图像中检测出目标包围框，其中，所述目标包围框为包括各所述目标对象的框体；在所述图像中将位于所述目标包围框内的子图像作为所述待处理子图像。

一种可选的实施方式中，所述通过目标检测模型在所述图像中检测出目标包围框，包括：通过所述目标检测模型提取所述图像的图像特征，并基于所述图像特征和所述目标触发操作在所述图像上的触发位置信息确定包含所述目标对象的至少一个包围框；计算每个所述包围框和所述触发位置信息指示的目标位置之间的距离信息；将对应的距离信息最小的包围框确定为所述目标包围框。

一种可选的实施方式中，通过目标检测模型在所述图像中检测出目标包围框之前，还包括：通过浏览器加载服务器提供的所述目标检测模型，或者，在本地缓存中调用所述目标检测模型。

一种可选的实施方式中，通过浏览器加载服务器提供的所述目标检测模型，包括：在确定出目标网页的历史打开记录清理后首次打开该目标网页的情况下，通过浏览器加载服务器提供的所述目标检测模型，并将所述目标检测模型存储到本地缓存中。

一种可选的实施方式中，所述根据所述待处理子图像，确定各所述目标对象的分类信息，包括：将所述待处理子图像输入至垃圾分类模型中进行分类处理，得到各所述目标对象的分类信息；所述分类信息包括目标对象的垃圾种类，和/或，所述目标对象的分类回收容器的指示标志信息。

一种可选的实施方式中，所述展示采集到的图像包括：在得到所述目标对象的分类信息之后，确定并在所述图像中展示与所述分类信息相匹配的分类回收容器的位置信息。

一种可选的实施方式中，所述方法还包括：在确定出所述目标对象的分类信息之后，展示目标特效动画，其中，所述目标特效动画为将所述目标对象投入至与所述分类信息相对应的垃圾收纳容器中的动画。

第二方面，本公开实施例还提供一种图像处理装置，所述装置包括：展示单元，用于展示采集到的图像；提取单元，用于响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；垃圾分类单元，用于根据所述待处理子图像，确定并展示各所述目标对象的分类信息。

第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本公开实施例提供的图像处理方法、装置、电子设备以及计算机可读存储介质，与现有技术中通过服务器对用户终端所拍摄的图片进行分类的方式来实现垃圾的分类的技术方案相比，本公开实施例中，通过终端设备对用户所选中的目标对象进行分类处理，可以省略终端设备和服务器之间的交互操作，从而就不需要等待图片的上传和服务器的处理，进而缩短了对象分类的时间，提高了对象分类的效率。通过在摄像装置采集到的图像中选择目标对象，可以实现在不需要对目标对象进行拍照的情况下，对用户所想要分类的目标对象进行分类操作，相对于现有技术中需要反复对待分类的垃圾进行拍照的方式，删除了拍照的过程，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了现有技术的一种图像处理方法的流程图；

图2示出了本公开实施例所提供的一种图像处理方法的流程图；

图3示出了本公开实施例所提供的一种终端设备中所显示的图像的示意图；

图4示出了本公开实施例所提供的一种终端设备中所显示的图像的垃圾分类结果的示意图；

图5示出了本公开实施例所提供的图像处理方法中，通过目标检测模型在所述图像中检测出目标包围框的具体方法的流程图；

图6示出了本公开实施例所提供的一种终端设备中所显示的图像中目标对象的目标包围框的示意图；

图7示出了本公开实施例所提供的一种终端设备中所显示的图像中多个目标对象的垃圾分类结果的示意图；

图8示出了本公开实施例所提供的另一种图像处理方法的流程图；

图9示出了本公开实施例所提供的图像处理方法中，另一种通过目标检测模型在所述图像中检测出目标包围框的流程图；

图10示出了本公开实施例所提供的一种图像处理装置的示意图；

图11示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

如图1所示的即为一种现有的垃圾自动分类方法的流程示意图。从图1中可以看出，首先，用户通过客户端对待分类垃圾进行拍照，得到相应的图片；然后，客户端通过网络向服务器端上传该图片。服务器端在接收到该图片之后，通过神经网络模型对该图片进行分类，得到垃圾分类结果。之后，服务器端向客户端反馈该垃圾分类结果。客户端在接收到该垃圾分类结果之后，在客户端的显示界面上显示该垃圾分类结果。

如图1所示，现有的垃圾自动分类技术所采用的技术方案是，通过服务器对用户终端所拍摄的图片进行分类的方式来实现垃圾的分类。然而，在多实体识别时，即待分类的垃圾为多个时，现有的技术方案每次识别操作只能识别一个垃圾，因此需要反复的对多个实体进行拍照，从而完成全部实体的分类操作，这就导致用户确认垃圾所属类别的时间较长。此外，在终端设备与服务器之间网络质量较差的情况下，会进一步增加垃圾自动分类的时间，并降低待分类的垃圾的识别准确率，从而带来较差的用户体验。如图1所示的垃圾自动分类技术对于图片进行分类得到的垃圾分类结果并不准确。在图片中，除了包含待分类的垃圾，可能还包含其他不需要丢弃的非垃圾物体，此时，服务器端在对该图片进行分类处理时，将无法准确的对用户所希望丢弃的垃圾进行分类。

基于上述研究，本公开提供了一种图像处理方法，与现有技术中通过服务器对用户终端所拍摄的图片进行分类的方式来实现垃圾的分类的技术方案相比，本公开实施例中，通过目标网页对用户端所选中的目标垃圾进行分类处理，可以省略目标网页和服务器之间的交互操作，从而就不需要等待图片的上传和服务器的处理，进而缩短了垃圾分类的时间，提高了垃圾分类的效率。通过在摄像装置采集到的图像中选择目标垃圾，可以在不需要对垃圾进行拍照的情况下，对用户所想要分类的目标垃圾进行分类操作，相对于现有技术中需要反复对待分类的垃圾进行拍照的方式，删除了拍照的过程，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图2所示，为本公开实施例提供的一种图像处理方法的流程图，所述方法包括步骤S201～S205，其中：

S201：展示采集到的图像。

在本公开实施例中，可以预先在终端设备上设置一个用于进行垃圾分类的目标网页，该目标网页可以为设置于终端设备上支持网页展示的客户端，例如，某浏览器中的网页通过APP的形式设置在终端设备的界面上。在用户打开目标网页之后，目标网页调用其所在终端设备的摄像装置，以通过该摄像装置实时采集图像，并将实时采集到的图像显示在目标网页的显示界面上。

应理解的是，在采集到的图像中，除了可以包含至少一个待分类垃圾之外，还可以包含其他不需要进行分类的物体。例如，在采集到的图像中包含水果皮和水果，其中，水果皮为至少一个待分类垃圾，水果为不需要进行分类的物体。

如图3所示的为采集到的图像的任意一帧图像，从图3中可以看出，在该帧图像中，包含苹果核、香蕉皮、汉堡和饮料瓶。其中，苹果核和香蕉皮为待分类垃圾，汉堡为不需要进行垃圾分类的物体。

S203：响应于作用在所述图像中的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像。

在本公开实施例中，在目标网页的显示界面上显示该采集到的图像之后，用户可以在采集到的图像所包含的至少一个对象中选择希望进行分类的目标对象(也即，待分类垃圾)进行垃圾分类处理，并对该目标对象执行相应的目标触发操作；进而，响应于该目标触发操作，在采集到的图像中提取包含多个目标对象的待处理子图像。

这里，待处理子图像的数量可以为多个，还可以为一个。例如，可以为每个目标对象提取一个待处理子图像；还可以为多个目标对象提取一个待处理子图像；还可以为多个目标对象中的至少部分目标对象提取一个待处理子图像，本公开对待处理子图像的数量不作具体限定。

需要说明的是，上述目标触发操作可以为以下任意一种操作：点击操作，长按操作，滑动操作，本公开对此不作具体限定。

针对图3来说，若用户想要确定苹果核的分类信息，则可以在如图3所示的图像中点击该苹果核，目标网页在检测到用户对苹果核的目标触发操作之后，就可以在采集到的如图3所示的图像中提取包含苹果核的待处理子图像。

通过上述描述可知，在本公开实施例中，在调用该摄像装置之后，并不是对待分类垃圾进行拍照，而是采集包含至少一个待分类垃圾(也即，多个目标对象)的图像。此时，如果待分类垃圾为多个，则不必反复的对待分类垃圾进行拍照，通过图像就可以实现对每个待分类垃圾进行分类。

S205：根据所述待处子图像，确定并展示各目标对象的分类信息。

在本公开实施例中，在确定出待处理子图像之后，就可以对该待处理子图像进行分类处理，从而分类处理得到目标对象的分类信息。

如图4所示，可以在目标网页的显示界面上显示苹果核的分类信息，例如，该苹果核为厨余垃圾，那么可以在该显示界面上显示苹果核的垃圾类型为厨余垃圾，以及该厨余垃圾所对应的标识信息。

本公开实施例提供的图像处理方法、装置、电子设备以及计算机可读存储介质，与现有技术中通过服务器对用户终端所拍摄的图片进行分类的方式来实现垃圾的分类的技术方案相比，本公开实施例中，通过终端设备对用户所选中的目标对象进行分类处理，可以省略终端设备和服务器之间的交互操作，从而就不需要等待图片的上传和服务器的处理，进而缩短了对象分类的时间，提高了对象分类的效率。通过在摄像装置采集到的图像中选择目标对象，可以实现在不需要对目标对象进行拍照的情况下，对用户所想要分类的目标对象进行分类操作，相对于现有技术中需要反复对待分类的垃圾进行拍照的方式，删除了拍照的过程，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

通过上述描述可知，在本公开实施例中，在终端设备中打开目标网页之后，目标网页调用终端设备的摄像装置，以通过该摄像装置实时采集图像，其中，此处的图像为实时的动态图像。在采集到图像之后，用户可以对图像中所包含的目标对象执行目标触发操作，其中，该目标对象可以为图像中待分类的垃圾。终端设备在检测到该目标触发操作之后，响应于该目标触发操作，在采集到的图像中提取包含多个目标对象的待处理子图像。

在一个可选的实施方式中，步骤S203：响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像，包括：

步骤S2031：在所述图像上确定所述目标触发操作触发位置信息；

步骤S2032：根据所述触发位置信息，在所述图像中提取包括所述多个目标对象的待处理子图像。

在本公开实施例中，在检测到目标触发操作之后，就可以确定该目标触发操作在终端设备所展示的图像上确定目标触发操作对应的触发位置信息，其中，该触发位置信息可以理解为目标触发操作的触发位置在图像中的坐标信息。例如，该目标触发操作为点击操作，那么该触发位置信息为点击位置在图像中的坐标信息。又例如，该目标触发操作为滑动操作，那么该触发位置信息为滑动操作所对应的滑动轨迹在图像中的位置信息，例如，滑动轨迹中每个轨迹点在图像中的位置信息。

在确定出触发位置信息之后，就可以根据该触发位置信息在图像中提取出包含多个目标对象的待处理子图像。

在本公开实施方式中，通过确定目标触发操作的触发位置信息，进而根据触发位置信息确定待处理子图像的方式，可以在待分类的目标对象为多个的情况下，避免反复的对待分类的目标对象进行拍照，通过实时采集图像，并对该实时图像进行目标触发操作，就可以实现对多个目标对象进行分类操作，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

在另一个可选实施方式中，如图5所示，上述步骤S203，响应于作用在所述图像上的目标触发操作，在所述图像中提取包含多个目标对象的待处理子图像，包括：

步骤S501，通过目标检测模型在所述图像中检测出目标包围框，其中，所述目标包围框为包括各目标对象的框体；

步骤S502，在图像中将位于所述目标包围框内的子图像作为所述待处理子图像。

这里，在检测到目标触发操作之后，可以响应于该目标触发操作，获取目标检测模型，进而，通过该目标检测模型在图像中检测包含目标对象的目标包围框，如图6中A1所示的即为包含目标对象的目标包围框。

在本公开实施例中，获取目标检测模型主要包括以下两种方式。

方式一：通过浏览器加载服务器提供的所述目标检测模型，其中，在该方式一中，主要过程描述如下：

当用户首次打开目标网页时，目标网页可以向服务器发送模型获取请求，以请求加载目标检测模型。之后，服务器响应于该模型获取请求，向目标网页发送目标检测模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载目标检测模型的操作。在加载得到目标检测模型之后，可以将该目标检测模型存储在目标网页所属终端设备的本地缓存中。当用户再次进入到该目标网页时，就可以直接从本地缓存中调用该目标检测模型，以通过该目标检测模型在图像中检测出目标包围框。

如果本地缓存中的数据需要定期执行清理操作，那么预先加载在本地缓存中的目标检测模型也需要执行清理操作。在此情况下，还可以设置在确定出目标网页的历史打开记录清理后首次打开该目标网页的情况下，通过浏览器加载服务器提供的所述目标检测模型，并将所述目标检测模型存储到本地缓存中。

一种可选的实施方式为，在终端设备清理目标网页的历史打开记录清理之后，用户打开目标网页，并通过该目标网页执行垃圾分类操作。在目标网页获取到该图像之后，响应于作用在图像中的目标触发操作，确定触发位置信息，并在本地缓存中调用目标检测模型。如果调用结果为调用失败，则本地缓存中的目标检测模型可能被清理，此时，目标网页需要重新向服务器发送模型获取请求，以请求加载目标检测模型。之后，服务器响应于该模型获取请求，向目标网页发送目标检测模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载目标检测模型的操作。

另一种可选的实施方式为，在终端设备清理目标网页的历史打开记录清理之后，若用户首次打开目标网页，则直接向服务器发送模型获取请求，以请求加载目标检测模型。之后，服务器响应于该模型获取请求，向目标网页发送目标检测模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载目标检测模型的操作。

通过上述描述可知，在本公开实施例中，通过浏览器加载服务器提供的所述目标检测模型的方式，可以缩短用户二次通过目标网页进行垃圾分类的时间。

方式二：在本地缓存中调用所述目标检测模型。

通过上述描述可知，在本公开实施例中，可以在首次打开该目标网页，或者，终端设备为缓存清理后首次打开目标网页之后，通过浏览器加载服务器提供的所述目标检测模型，并将加载到的目标检测模型缓存至终端设备的本地缓存中。在二次进入该目标网页之后，就可以在本地缓存中调用该目标检测模型，以通过该目标检测模型在所述图像中检测出目标包围框，其中，所述目标包围框为包含所述目标对象的包围框。

需要说明的是，在本公开实施例中，可以通过PWA技术的离线缓存能力，来实现目标检测模型的离线化存储在本地缓存中，从而实现将二次进入目标网页时目标检测模型的加载时间从数秒缩短至数毫秒，进而缩短用户二次通过目标网页进行垃圾分类的时间。

在一个可选的实施方式中，上述步骤S501，通过目标检测模型在所述图像中检测出目标包围框，包括如下过程：

(1)、通过所述目标检测模型提取所述图像的图像特征，并基于所述图像特征和所述目标触发操作在所述图像上的触发位置信息确定包含所述目标对象的至少一个包围框；

(2)、计算每个包围框和触发位置信息指示的目标位置之间的距离信息；

(3)、将对应的距离信息最小的包围框确定为所述目标包围框。

在本公开实施例中，还可以在检测到目标触发操作之后，可以响应于该目标触发操作，在所述图像上确定所述目标触发操作触发位置信息。之后，获取目标检测模型，并将采集到的图像和触发位置信息输入至目标检测模型中。此时，就可以通过该目标检测模型提取图像的图像特征，并基于图像特征和触发位置信息确定包含所述目标对象的至少一个包围框。其中，该包围框的形状可以为四边形，可以为三角形，还可以为圆形，本公开对此不作具体限定。

在得到至少一个包围框之后，就可以计算每个包围框的顶点坐标和触发位置信息之间的距离信息，还可以计算每个包围框的中心点坐标和触发位置信息之间的距离信息。在计算得到上述距离信息之后，可以将对应的距离信息最小的包围框确定为所述目标包围框。

在本公开实施例中，在确定出目标包围框之后，就可以将目标包围框对应的图像作为待处理子图像，之后，就可以根据待处理子图像，确定目标对象的分类信息，具体包括如下过程：

将所述待处理子图像输入至垃圾分类模型中进行分类处理，得到所述目标对象的分类信息；其中，该分类信息包括：目标对象的垃圾种类，和/或，目标对象的分类回收容器的指示标志信息。

可以理解的是，垃圾分类模型与上述所描述的目标检测模型为不相同的模型，垃圾分类模型和目标检测模型可以为结构不相同的卷积神经网络模型，本公开对垃圾分类模型和目标检测模型的具体结构不作具体限定。

在本公开实施例中，在得到待处理子图像之后，可以将待处理子图像输入至垃圾分类模型中进行垃圾分类处理，得到相应的输出数据，即：目标对象的垃圾种类，和/或，目标对象的分类回收容器的指示标志信息。

在本公开实施例中，在通过垃圾分类模型进行垃圾分类处理之前，还需要获取该垃圾分类模型。其中，获取垃圾分类模型主要包括以下两种方式。

方式一：通过浏览器加载服务器提供的所述垃圾分类模型，其中，在该方式一中，主要过程描述如下：

当用户首次打开目标网页时，目标网页可以向服务器发送模型获取请求，以请求加载垃圾分类模型。之后，服务器响应于该模型获取请求，向目标网页发送垃圾分类模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载垃圾分类模型的操作。在加载得到垃圾分类模型之后，可以将该垃圾分类模型存储在目标网页所属终端设备的本地缓存中。当用户再次进入到该目标网页时，就可以直接从本地缓存中调用该垃圾分类模型，以通过该垃圾分类模型对待处理子图像进行垃圾分类处理。

如果本地缓存中的数据需要定期执行清理操作，那么预先加载在本地缓存中的垃圾分类模型也需要执行清理操作。在此情况下，还可以设置在确定所述终端设备为缓存清理后首次打开目标网页的情况下，通过浏览器加载服务器提供的所述垃圾分类模型，并将所述垃圾分类模型存储到本地缓存中。

一种可选的实施方式为，在终端设备清理缓存之后，用户打开目标网页，并通过该目标网页执行垃圾分类操作。在目标网页获取到该图像之后，响应于作用在图像中的目标触发操作，确定触发位置信息，并根据该触发位置信息，在所述图像中提取目标对象的待处理子图像。之后，在本地缓存中调用垃圾分类模型。如果调用结果为调用失败，则本地缓存中的垃圾分类模型可能被清理，此时，目标网页需要重新向服务器发送模型获取请求，以请求加载垃圾分类模型。之后，服务器响应于该模型获取请求，向目标网页发送垃圾分类模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载垃圾分类模型的操作。

另一种可选的实施方式为，在终端设备清理缓存之后，若用户首次打开目标网页，则直接向服务器发送模型获取请求，以请求加载垃圾分类模型。之后，服务器响应于该模型获取请求，向目标网页发送垃圾分类模型的加载地址。接下来，目标网页就可以根据该加载地址执行加载垃圾分类模型的操作。

通过上述描述可知，在本公开实施例中，在获取到相应的模型之后(即：目标检测模型和垃圾分类模型)，对该模型进行了压缩，压缩之后，保存在浏览器端的文件缓存中，从而实现在浏览器端通过该模型进行相应的计算。然而，由于直接通过该模型进行相应计算时，可能会导致终端设备的性能下降，例如，终端设备的处理效率较慢，此时，在本公开实施例中，可以利用了浏览器端WebGL的加速，在终端设备上完成了该模型的加载。在此之后，用户的交互操作都是沉浸式在应用中进行，不会收到网络环境波动变化的影响，也不会存在一个等待的过程，实现了实时的对话式的交互体验。

通过上述描述可知，在本公开实施例中，通过浏览器加载服务器提供的所述垃圾分类模型的方式，可以缩短用户二次通过目标网页进行垃圾分类的时间。

方式二：在本地缓存中调用所述垃圾分类模型。

通过上述描述可知，在本公开实施例中，可以在首次打开该目标网页，或者，终端设备为缓存清理后首次打开目标网页之后，通过浏览器加载服务器提供的所述垃圾分类模型，并将加载到的垃圾分类模型缓存至终端设备的本地缓存中。在二次进入该目标网页之后，就可以在本地缓存中调用该垃圾分类模型，以通过该垃圾分类模型对待处理子图像进行垃圾分类处理。

在本公开实施例中，在得到所述目标对象的分类信息之后，还可以确定并在图像中展示与所述分类信息相匹配的分类回收容器的位置信息。

具体地，确定出相匹配的分类回收容器的位置信息之后，可以在终端设备的显示界面上显示地图数据，进而在地图数据中标注该相匹配的分类回收容器的位置信息。除此之外，还可以在地图数据中设置导航功能，当用户点击导航按钮之后，可以自动为用户导航至距离用户最近的分类回收容器所在位置。

在本公开实施例中，在确定出目标对象的分类信息之后，还可以展示目标特效动画，其中，目标特效动画为将目标对象投入至与所述分类信息相对应的垃圾收纳容器中的动画。

这里，如果与分类信息相对应的垃圾收纳容器与当前时刻用户所在位置之间的距离大于预设距离，则上述目标特效动画中可以包含以下动画：由当前时刻用户所在位置移动至垃圾收纳容器所在位置，并将目标对象投入至与所述分类信息相对应的垃圾收纳容器中。

通过展示“由当前时刻用户所在位置移动至垃圾收纳容器所在位置”的动画，可以为用户展示出相应的导航信息，从而方便用户对垃圾进行分类操作，进而节省了垃圾收纳容器的寻找过程。通过展示“将目标对象投入至与所述分类信息相对应的垃圾收纳容器中”的动画，可以增加用户对垃圾进行分类的趣味性，同时，可以准确的指导用户对垃圾进行分类。

在本公开实施例中，用户可以对终端设备中的图像执行单指操作，还可以执行多指操作。例如，多指操作为多指点击操作，那么在终端设备的显示界面上将对应包含多个触发位置信息。

基于此，在确定出多个触发位置信息之后，可以通过所述目标检测模型，在图像中确定与每个触发位置信息相对应的目标包围框，得到多个目标包围框。之后，计算多个目标包围框的交并比，根据交并比确定每个所述目标包围框所框选的目标对象是否为相同的对象；在确定出不相同的情况下，根据每个所述目标包围框的位置信息确定对应的目标对象在所述图像中的位置信息，进而根据该位置信息提取目标对象的待处理子图像，并根据待处理子图像，确定每个目标对象的分类信息，例如，如图7所示的分类信息。

在本公开实施例中，通过上述操作，可以实现通过一次操作对多个目标对象进行垃圾分类操作，得到对应目标对象的分类信息，从而提高用户的垃圾分类效率，缩短垃圾分类时间。

参见图8所示，为本公开实施例提供的另一种图像处理方法的流程图，所述方法包括如下过程：

首先，用户点击进入目标网页；调用摄像装置采集图像，其中，目标网页调用其所在终端设备的摄像装置，并通过摄像装置采集图像。用户可以对图像执行目标触发操作，例如，点击图像中的待分类垃圾(也即，目标对象)。目标网页响应于作用在图像中的目标触发操作，确定触发位置信息；根据触发位置信息，在图像中确定待分类垃圾(也即，目标对象)的实际位置；根据该实际位置在图像中提取待分类垃圾(也即，目标对象)的待处理子图像。根据待处理子图像，确定待分类垃圾(也即，目标对象)的分类信息。并向用户推送该分类信息，以通过该分类信息指引用户去特定分类的垃圾桶丢弃该垃圾。

通过上述描述可知，在本公开实施例中，在用户进入目标网页之后，借力于PWA应用以及端智能技术，整个交互流程中不存在前后端的交互，不需执行拍照的操作，只需要点击终端设备的屏幕上图像中所期望要识别的垃圾，就能实时得到反馈以确定该垃圾的分类信息。在该过程中，不存在一个等到服务器反馈的过程，不涉及前端设备和后端设备之间的交互，而且在不同垃圾的切换检测识别中也能够顺畅的进行垃圾分类。相对于现有技术中拍照等待再拍照等待的切换方案，通过在图像中实时点击待分类垃圾的方式，可以更好地达到了沉浸式交互的体验，对于用户而言更加地友好。对于用户而言，沉浸式的交互往往是最佳的方案，在使用过程中，用户不需要感受到有前后端请求的交互等待，多个交互操作之间的切换顺畅丝滑，不存在卡顿。

参见图9所示，为本公开实施例提供的一种根据所述触发位置信息，在所述图像中提取目标对象的待处理子图像的流程图，所述方法包括如下过程：

获取终端设备的摄像装置采集到的图像；对图像中的垃圾进行微检测，得到图像中垃圾的实际位置；根据该实际位置在图像中提取包含垃圾的待处理子图像，对待处理子图像进行垃圾分类处理，得到垃圾分类结果。其中，对图像中的垃圾进行微检测包括如下过程：根据所述触发位置信息，通过目标检测模型在所述图像中检测出目标包围框，根据目标包围框确定图像垃圾的实际位置。

现有技术中采用直接对于包含垃圾的图片进行分类所得到的垃圾分类结果并不是准确的。因为一张图片中往往存在多个物体，此时，在进行垃圾分类的过程中，多个物体之间相互存在干扰。而且，针对任意一张待分类的图像来说，在该图像中可能包含待分类的垃圾，还可能包含其他不需要丢弃的非垃圾物体，此时，采用直接对一整张图片进行分类的方式，并不能在该图片中准确的确定出待分类垃圾。

通过上述描述可知，在本公开实施例中，在对垃圾进行分类之前，通过目标检测模型来确定图像中待处理对象的实际位置，进而根据该实际来确定包含待处理对象的待处理子图像的方式，一方面排除了多个物体之间的干扰，另一方面在交互上让用户能够显式感知到所反馈的分类结是根据用户所期望的物体去进行分类的。

综上所示，在本公开实施例中，该方法相比同类垃圾分类产品，能够大大提高用户体验，降低了垃圾分类对于用户的使用门槛，提升用户进行垃圾分类的意愿，并能有效降低垃圾分类的设备成本。用户进行垃圾分类的积极性得到提升后，对当前垃圾分类政策的推行和环境保护具有一定的推动作用。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图10所示，为本公开实施例提供的一种图像处理装置的示意图，所述装置包括：展示单元11、提取单元12、垃圾分类单元13；其中，

展示单元11，用于展示采集到的图像；

提取单元12，用于响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；

垃圾分类单元13，用于根据所述待处理子图像，确定并展示各所述目标对象的分类信息。

本公开实施例提供的图像处理方法、装置、电子设备以及计算机可读存储介质，与现有技术中通过服务器对用户终端所拍摄的图片进行分类的方式来实现垃圾的分类的技术方案相比，本公开实施例中，通过终端设备对用户所选中的目标对象进行分类处理，可以省略终端设备和服务器之间的交互操作，从而就不需要等待图片的上传和服务器的处理，进而缩短了对象分类的时间，提高了对象分类的效率。通过在摄像装置采集到的图像中选择目标对象，可以实现在不需要对目标对象进行拍照的情况下，对用户所想要分类的目标对象进行分类操作，相对于现有技术中需要反复对待分类的垃圾进行拍照的方式，删除了拍照的过程，从而缩短了用户等待的时间，为用户提供了更加流畅顺滑的交互体验。

一种可能的实施方式中，提取单元，还用于：在所述图像上确定所述目标触发操作触发位置信息；根据所述触发位置信息，在所述图像中提取包括所述多个目标对象的待处理子图像。

一种可能的实施方式中，提取单元，还用于：通过目标检测模型在所述图像中检测出目标包围框，其中，所述目标包围框为包括各所述目标对象的框体；在所述图像中将位于所述目标包围框内的子图像作为所述待处理子图像。

一种可能的实施方式中，提取单元，还用于：通过所述目标检测模型提取所述图像的图像特征，并基于所述图像特征和所述目标触发操作在所述图像上的触发位置信息确定包含所述目标对象的至少一个包围框；计算每个所述包围框和所述触发位置信息指示的目标位置之间的距离信息；将对应的距离信息最小的包围框确定为所述目标包围框。

一种可能的实施方式中，该装置还，用于：在通过目标检测模型在所述图像中检测出目标包围框之前，通过浏览器加载服务器提供的所述目标检测模型，或者，在本地缓存中调用所述目标检测模型。

一种可能的实施方式中，该装置还，用于：在确定出目标网页的历史打开记录清理后首次打开该目标网页的情况下，通过浏览器加载服务器提供的所述目标检测模型，并将所述目标检测模型存储到本地缓存中。

一种可能的实施方式中，垃圾分类单元，还用于：将所述待处理子图像输入至垃圾分类模型中进行分类处理，得到各所述目标对象的分类信息；所述分类信息包括：目标对象的垃圾种类，和/或，所述目标对象的分类回收容器的指示标志信息。

一种可能的实施方式中，垃圾分类单元，还用于：通过浏览器加载服务器提供的所述垃圾分类模型，或者，在本地缓存中调用所述垃圾分类模型。

一种可能的实施方式中，垃圾分类单元，还用于：在确定所述终端设备为缓存清理后首次打开目标网页的情况下，通过浏览器加载服务器提供的所述垃圾分类模型，并将所述垃圾分类模型存储到本地缓存中。

一种可能的实施方式中，该装置还，用于：在得到所述目标对象的分类信息之后，确定并在所述图像中展示与所述分类信息相匹配的分类回收容器的位置信息。

一种可能的实施方式中，该装置还，用于：在确定出所述目标对象的分类信息之后，展示目标特效动画，其中，所述目标特效动画为将所述目标对象投入至与所述分类信息相对应的垃圾收纳容器中的动画。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1中的图像处理方法，本公开实施例还提供了一种电子设备1100，如图11所示，为本公开实施例提供的电子设备1100结构示意图，包括：

处理器111、存储器112、和总线113；存储器112用于存储执行指令，包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器111中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器111通过内存1121与外部存储器1122进行数据交换，当所述电子设备1100运行时，所述处理器111与所述存储器112之间通过总线113通信，使得所述处理器111执行以下指令：

展示采集到的图像；

响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；

根据所述待处理子图像，确定并展示各所述目标对象的分类信息。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

展示采集到的图像；其中，所述图像为实时的动态图像；

响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；

根据所述待处理子图像，确定并展示各所述目标对象的分类信息；

其中，响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像，包括：

在所述图像上确定所述目标触发操作触发位置信息；其中，所述触发位置信息为所述目标触发操作的触发位置在图像中的坐标信息；

根据所述触发位置信息，在图像中确定待目标对象的实际位置，根据所述实际位置在所述图像中提取包括所述多个目标对象的待处理子图像。

2.根据权利要求1所述的方法，其特征在于，所述在所述图像中提取包括多个目标对象的待处理子图像，包括：

通过目标检测模型在所述图像中检测出目标包围框，其中，所述目标包围框为包括各所述目标对象的框体；

在所述图像中将位于所述目标包围框内的子图像作为所述待处理子图像。

3.根据权利要求2所述的方法，其特征在于，所述通过目标检测模型在所述图像中检测出目标包围框，包括：

通过所述目标检测模型提取所述图像的图像特征，并基于所述图像特征和所述目标触发操作在所述图像上的触发位置信息确定包含所述目标对象的至少一个包围框；

计算每个所述包围框和所述触发位置信息指示的目标位置之间的距离信息；

将对应的距离信息最小的包围框确定为所述目标包围框。

4.根据权利要求2所述的方法，其特征在于，通过目标检测模型在所述图像中检测出目标包围框之前，还包括：

通过浏览器加载服务器提供的所述目标检测模型，或者，在本地缓存中调用所述目标检测模型。

5.根据权利要求4所述的方法，其特征在于，通过浏览器加载服务器提供的所述目标检测模型，包括：

在确定出目标网页的历史打开记录清理后首次打开该目标网页的情况下，通过浏览器加载服务器提供的所述目标检测模型，并将所述目标检测模型存储到本地缓存中。

6.根据权利要求1所述的方法，其特征在于，所述根据所述待处理子图像，确定各所述目标对象的分类信息，包括：

将所述待处理子图像输入至垃圾分类模型中进行分类处理，得到各所述目标对象的分类信息；所述分类信息包括：目标对象的垃圾种类，和/或，所述目标对象的分类回收容器的指示标志信息。

7.根据权利要求6所述的方法，其特征在于，根据以下步骤获取所述垃圾分类模型：

通过浏览器加载服务器提供的所述垃圾分类模型，或者，在本地缓存中调用所述垃圾分类模型。

8.根据权利要求1所述的方法，其特征在于，所述展示采集到的图像包括：

在得到所述目标对象的分类信息之后，确定并在所述图像中展示与所述分类信息相匹配的分类回收容器的位置信息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定出所述目标对象的分类信息之后，展示目标特效动画，其中，所述目标特效动画为将所述目标对象投入至与所述分类信息相对应的垃圾收纳容器中的动画。

10.一种图像处理装置，其特征在于，所述装置包括：

展示单元，用于展示采集到的图像；其中，所述图像为实时的动态图像；

提取单元，用于响应于作用在所述图像上的目标触发操作，在所述图像中提取包括多个目标对象的待处理子图像；

垃圾分类单元，用于根据所述待处理子图像，确定并展示各所述目标对象的分类信息；

其中，提取单元，还用于：

在所述图像上确定所述目标触发操作触发位置信息；其中，所述触发位置信息为所述目标触发操作的触发位置在图像中的坐标信息；

根据所述触发位置信息，在图像中确定待目标对象的实际位置，根据所述实际位置在所述图像中提取包括所述多个目标对象的待处理子图像。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的图像处理方法的步骤。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的图像处理方法的步骤。

Images